"Заметки по теме информационных технологий"

О продвижении сайта в Интернете и о его индексации в поисковых системах Google и Яндекс

январь 2021 г.

Гаэтано Беллей. Нелегкий выбор
Гаэтано Беллей. Нелегкий выбор

Данный материал подготовлен на основе того опыта, который возник у меня при работе над сайтом https://dualium.ru/. Сейчас это небольшой, объемом 99 страниц, статический сайт довольно узкой направленности. Почти весь контент, размещенный на нем является оригинальным. На сайте нет видео (что плохо для посещаемости) и нет рекламы (что хорошо для посетителей).

После публикации сайта в Интернете у меня, как и у многих в подобной ситуации, возникло ощущение, что посещений маловато. Принято считать, что чем больше - тем лучше. Но ведь не любой ценой. А сколько должно быть? Вот как может выглядеть ответ на этот вопрос. Конечно такая оценка очень приблизительна, но все же она позволяет получить некий ориентир.

Если учесть людей в возрасте от 15 до 60 лет, достаточно хорошо владеющих русским языком и имеющих доступ в Интернет, тех, кто интересуется хотя бы чем то кроме хлеба и зрелищ, то можно получить близкое к реальности количество потенциальных посетителей сайтов такого типа. Остается определить, какова среди них доля тех, кто не только интересуется живописью, но и рисует самостоятельно, а также периодически ищет информацию по этой теме в Интернете. У меня получилось максимум 25 посещений сайта в сутки.

Кажется, что мало? Ведь в Интернете все измеряется числами со многими нулями. Действительно, в мире в 2019 году по разным оценкам насчитывалось 1,2-1,7 миллиарда сайтов. При этом трафик на сотне лучших в мире сайтах (0,000007% от общего числа) в среднем составил 74 млн. посещений в день. Да, за одни сутки - 74 млн.

Некоторые вещи легко могут вскружить голову. И все же нельзя отрываться от реальности. Потому что старое исследование 2011 года, проведенное компанией "ИнтерЛабс" показало, что:

    Менее 1% сайтов посещают более 5000 пользователей в день.
    Менее 4% сайтов посещают более 1000 пользователей в день.
    Около 43% сайтов посещает менее 10 человек в день.
    Около 12% сайтов посещает 1 пользователь в день.

Если принять, что Интернет-трафик растет на 10% в год, что похоже на правду, то можно попытаться экстраполировать приведенные выше данные на 2020 год:

    Менее 1% сайтов посещают более 12000 пользователей в день.
    Менее 4% сайтов посещают более 2500 пользователей в день.
    Около 43% сайтов посещает менее 25 человек в день.
    Около 12% сайтов посещает 2 пользователь в день.

Видно, что основная часть достается немногим. Так что попасть в 43% - это тоже неплохой результат.

Для более полного понимания места сайта в глобальной сети очень полезно представлять себе именно свою аудиторию, ту, которой интересны затронутые на нем темы. По большей части небольшие сайты узкой направленности интересны немногим. Поэтому не стоит рассчитывать на сотни и тысячи посещений каждый день. Конечно многое зависит от объема и качества, от регулярности появления новых материалов, а также от тех целей, которые ставились при создании сайта. Но даже "свои" 25 посетителей в сутки еще надо суметь получить. Как это сделать?

Если подумать о том, как посетители попадают на сайт, то становится понятно, что может упростить им этот путь. А значит увеличить количество посещений.

Старое доброе сарафанное радио до сих пор работает. Электронная почта и даже такой древний способ как раздача визитных карточек вполне годятся для привлечения некоторого количества посетителей сайта, особенно если его тематика интересна узкому кругу и эти люди лично знакомы автору.

Довольно часто на сайт приводит ссылка на стороннем ресурсе - сайте, блоге или странице в социальной сети. Честный обмен ссылками по сходной тематике - это хорошая практика. Возможно даже один из лучших способов повышения посещаемости. И, кроме того, это несколько ускоряет индексацию в поисковых системах, а значит увеличивает видимость сайта.

В Интернете существуют сайты-каталоги сайтов. В них можно разместить ссылку на свой ресурс и это тоже сделает его более известным. Есть платные каталоги, а есть и те, которые поддерживаются энтузиастами. При добавлении ссылки некоторые каталоги требуют разместить какой-либо код (что не всегда возможно по тем или иным причинам), а некоторые - нет. Ссылки в каталогах индексируются поисковыми системами, а значит рано или поздно приведут к нам, что сделает сайт чуточку более известным.

И все же чаще для нахождения нужной информации люди используют поисковики, такие как Google, Яндекс или другие, менее известные. Поисковые системы сами, с помощью программ-пауков, ботов обходят сайт за сайтом и заносят в базы ключевую информацию о них. Именно это позволяет искать что-либо по запросу с помощью ключевых слов. Если сайт не проиндексирован, то найти его в поисковых системах не получится. И здесь есть проблема - хотя индексация производится автоматически, очередь до конкретного сайта может дойти через несколько недель и даже месяцев после его появления в Интернете. Поэтому имеет смысл самому сообщить поисковой системе о появлении нового сайта.

Тем, кому не терпится увидеть результат, можно сразу перейти к выводам.

Как происходит индексация на примере Google

Сначала выполняется сканирование страниц сайта. Для сканирования используется программа-робот Googlebot. Она имеет два вида агентов: для имитации посещения с мобильного устройства (вариант Смартфоны) или с компьютера (вариант ПК). Один из этих агентов является Основным и сканирует весь сайт, а другой Дополнительным и может применяться для некоторых страниц. Это позволяет получить больше информации о том, как сайт виден на устройствах разных типов.

Googlebot сканирует страницы сайта и при этом анализирует как текстовый контент, так и медийный (если может его распознать). При сканировании робот переходит по всем ссылкам. Дизайн страниц тоже анализируется, а также запускаются все скрипты, которые имеются на них. Для отображения страниц Googlebot использует браузер Chrome последней версии. Результат индексируется - обрабатывается и сохраняется в индексе Google - базе данных, размещенной на множестве серверов по всему миру.

Сканирование и индексирование - разные процессы. Первое это обход страниц ботом, а второе - добавление страниц в индекс. Поэтому возможна ситуация, когда сканирование уже завершилось, а индексирование еще находится в процессе.

Следует понимать, что на сканирование и индексирование нового контента иногда требуется от несколько дней до несколько недель. Поэтому данные в поиске появляются не сразу. Ускорить сканирование и индексацию не получится, система сама управляет очередью. Хотя пара способов все же есть. Добавление карты сайта, файла sitemap.xml, несколько ускоряет процесс. Также отдельные страницы можно отправить на переиндексацию и это происходит довольно быстро. Подробности - ниже.

Индексирование страниц - процесс динамический. Какие-то страницы сайта могут попадать в индекс, а другие - исключаться из него в соответствии с той логикой, которая заложена в систему. Поэтому не стоит удивляться, если вчера в индексе было 50 страниц, а на следующий день 30 или 70.

Как проверить количество проиндексированных страниц сайта в Google и в Яндекс

Индексы Google и Яндекс никак не связаны между собой. Это разные системы и работать надо с каждой отдельно.

Проверка в Google. Если сайт небольшой, то проще всего посмотреть количество проиндексированных страниц прямо в поисковике. Для этого не потребуются какие-то программы или регистация. Для Google нужно ввести в строке поиска оператор "site:" и URL сайта без префиксов "www", "http://" или "https://". Оператор "site:" работает не только в Google, но и в поисковике Bing. Вот пример:

site:dualium.ru

Если нужно, то можно посмотреть, проиндексирована ли конкр