Как определить роботность сайта
Практические способы распознать ботов в статистике по трафику и немного теории о причинах их появления.
______
Следить за динамикой и составом трафика нужно всегда, не важно — занимаетесь вы SEO проекта самостоятельно или отдали продвижение на аутсорс. Трафик в системах статистики может не совпадать с фактическими посещениями сайта пользователями. Например, нечестный сторонний сеошник может нагнать ботов вместо продвижения и показывать вам красивую статистику.
Проверяйте роботность сайта, если:
- вы сами развиваете проект и хотите быть в курсе всего, что с ним происходит;
- вашим сайтом занимается сторонний сеошник и вы хотите проверить его работу;
- вы наблюдаете что-то странное: например, резкий скачок трафика, много посещений, но нет заказов,или ухудшение позиций.
Как это сделать, рассказала команда PR-CY. Они делают сервис для автоматического анализа сайта, который проверяет SEO, технические параметры, скорость, трафик, ссылки и другие моменты. К примеру, можно сравнивать показатели своего сайта и конкурентных:
Сначала немного теории о роботах в трафике.
Что такое роботность сайта
Роботность отображает, сколько переходов на сайт из общей массы приходится на разных ботов.
Можно выделить два вида роботов:
- явные — боты поисковых систем и других сервисов, которые так и представляются роботами. Они нужны для сканирования сайта, чтобы тот попал в выдачу. Боты поисковиков — краулеры — так и называются как боты — Googlebot, Googlebot Images, YandexBot YandexNews.
- маскирующиеся — делают вид, что они живые пользователи. С их помощью обманывают поисковики, чтобы повысить позиции. Боты посещают сайт и совершают целевые действия, а поисковик считывает высокий интерес к сайту и поднимает его в выдаче.
Их посещения могут быть видны в статистике сайта, если вы не отключили отображение информации о визитах роботов. Но иногда стоит посматривать на роботность, по количеству их посещений можно узнать некоторые факты о продвижении сайта и работе конкурентов.
Зачем проверять роботность
Есть как минимум три причины:
Искажение статистики и ложные всплески
Посещения краулеров и других ботов будут добавлять трафика в статистику. Из-за этого веб-мастер может сделать неправильные выводы об эффективности его действий на сайте. Например, в один день увидит всплеск трафика и решит, что причина в удачном недавнем материале, и будет использовать это в будущем. А на деле это окажется набег ботов.
Переоценка ресурсов для монетизации
Если отслеживание ботов не отключено, график их посещений будет увеличивать общую статистику. Веб-мастер может решить, что пользователей больше, чем на самом деле, и его ожидания от рекламы не оправдаются.
Недобросовестность продвижения
Исполнители попадаются разные, так что полезно проверять специалистов, будь это аутсорс или штатный специалист. Нечестные сеошники могут взять деньги за продвижение и нагнать ботов. Формально трафик будет расти, отчеты получатся эффектными, но владелец компании будет сидеть без заказов. Это в лучшем случае, а в худшем сайт попадет под санкции поисковиков из-за попыток манипулировать выдачей. Иногда так могут поступать конкуренты.
Посмотрим, какие инструменты позволяют следить за трафиком, выделяя роботный в отдельную категорию.
Как обнаружить ботов в трафике сайта
Краулеры поисковых систем и боты других важных сервисов не сильно смещают статистику посещений, так что не будут выглядеть подозрительно, в отличие от накрутки.
Признаки накрутки ботов в трафике:
- разные показатели в Яндекс и Google — выглядит странно, если в одной поисковой системе посещаемость варьируется в рамках обычного, а в другой видны внезапные пики;
- перекос в поведении пользователей и переходах по поисковым фразам — живые люди ведут себя естественно, у них разное поведение и естественно сформулированные запросы;
- нелогичное количество переходов по низкочастотнику — если вы знаете, что запрос имеет показатель 10 по Вордстату, по нему вряд ли возможны 500 переходов на сайт.
Отслеживать искусственный трафик можно в Яндекс.Метрике. В Поиске и Директе Яндекса тоже есть свои Антифроды, они не учитывают ботов, чтобы не искажать показатели, а Метрика показывает аналитику в реальном времени, полностью как она есть, чтобы веб-мастер был в курсе.
Как посмотреть посещаемость ботами в Яндекс.Метрике
С сентября 2021 в Метрике для всех пользователей обновлена система распознавания ботов и им выделили отдельную метрику. Теперь пользователь может сам выбрать, как смотреть статистику: с учетом роботов или без них.
Дни посещений роботами
У роботов есть своя вкладка в Метрике, можно посмотреть отчёт о том, когда роботы посещали сайт. Для этого необходимо перейти в «Отчеты» — «Стандартные отчеты» — «Мониторинг» — «Роботы».
Динамика посещения сайта ботами
Сравнение посещений: люди и роботы
На общем графике визитов можно вывести людей и сравнить с роботами:
- Откройте вкладку «Визиты».
- Для отображения новой метрики переключите ползунок «Метрика Роботность в отчетах».
- Выберите режим отображения «Данные: с роботами».
Теперь в отчете можно сравнить визиты людей и роботов.
Включение новой метрики
Сравнительный график
На демонстрации отображена плавная динамика. Если бы на общем графике были внезапные пики, отдельный вывод искусственного трафика мог бы показать, в ботах причина или нет.
Пример: как после закупки трафика увидеть, сколько пришлось на роботов
Доля роботности входит в показатели качества трафика. Если веб-мастер не фильтрует искусственный трафик, приходящий из рекламных каналов, то не сможет оценить, какой канал эффективнее для продвижения — откуда приходят настоящие люди и где лучше покупать рекламу.
Нужно сравнить источники трафика по процентам роботов от всех посетителей. Примером поделился канал «Трафик и клики». На обоих графиках показаны источники переходов на сайт, который продвигали закупкой трафика через Kadam, Pushhouse, Telegram и Propellerads.
На верхней картинке график прихода всех пользователей с перечисленных каналов. Есть синий пик посещений из Kadam и красный пик из Pushhouse.
На нижней картинке включили режим «Данные: с роботами» и сегмент «Роботность» — «Только роботы». Видно, что внушительная часть покупного трафика из Kadam оказалась роботами, хотя на общем графике это самый пиковый источник. От Propellerads и Pushhouse оказалось примерно 2-3% ботов.
Сравнение видов трафика
Так можно проверять источники и рекламодателей на добросовестность.
Прокачивание роботов на вашем сайте
Причина большого наплыва ботов может быть не из-за накрутки трафика и не из-за манипуляций вашего сеошника.
Бывает, что сайт используют для прокачивания роботов, чтобы наработать им естественное поведение: как будто они заходят на сайт, изучают страницы, нажимают на кнопки, совершают конверсии, но не доходят до покупки. Так делают, чтобы Метрика поверила, что это не бот, а живой человек. Тогда его можно будет использовать для накрутки на нужном сайте.
Выявить таких ботов можно с помощью отчета «Долгосрочные интересы» и столбца «Аффинити-индекс»:
Отчет с интересами в Метрике
Нужно обратить внимание на значение аффинити-индекса в столбце. Значение больше 100% — это хорошо, значит тематика входит в долгосрочные интересы пользователей. Если большая часть посетителей чаще интересовалась тематиками, не свойственными сайту, это знак, что они могут быть ботами, которые на вашем сайте набирали «жизненный опыт» для Метрики.
Что касается ботов в Google Analytics
Отдельного просмотра ботов в этой системе аналитики нет. Можно включить фильтрацию данных в настройках, исключив роботов и краулеров из данных для отчетов.
Фильтрация включается в меню настроек — вкладка Администратор — раздел «Настройки представления» — отметка на «Фильтрация роботов: исключить обращения роботов и пауков».
Настройка в Google Аналитике
Полезно разделить роботный трафик и общую статистику, чтобы не принимать искусственный трафик за пользовательские посещения. Но это не значит, что роботов нужно убрать из статистики и забыть о них. Смотрите отдельно посещаемость ботами, чтобы отслеживать набеги и внезапные всплески их визитов.
Как вы следите за трафиком? Расскажите в комментариях, какие странности в посещаемости наблюдали.
