Зачем анализировать логи сервера, как это поможет SEO

Эффективная оптимизация интернет-ресурса для продвижения в поисковых системах давно перестала представлять собой выделение ключей в тексте тегами <stront>. Специалисты изучают логи серверов, где размещены сайты. И это помогает с SEO.

Для получения ценной информации о поведении поисковых ботов в пределах конкретных сайтов, достаточно проанализировать логи. Процесс непростой, потому следует довериться продвинутому специалисту либо приобрести сопутствующее программное обеспечение.

Лог-файлы: что это

Файлы с расширением .log представляют собой обыкновенные текстовые документы. Открыть их можно при помощи стандартного приложения Windows «Блокнот» или посредством «Notepad++». Внутри ожидает информация не только по действиям поисковых ботов, но и по действиям посетителей ресурса. В частности, это:

1. Фиксация точной даты и времени посещения.
2. УРЛы.
3. Реферер юзеров (откуда пришёл конкретный пользователь).
4. Статус, код и ответ.
5. Прочая инфа вплоть до времени загрузки страниц.

Зачем нужен анализ .log-файлов?

Из проведённого анализа сможете выделить следующее:

• как ботом сканируется ресурс;
• какие страницы ресурса не индексируются (поисковый бот до них не добирается);
•  что конкретно требует оптимизации и насколько приоритетна данная задача;
• правильно ли расходуется краулинговый бюджет.

Рекомендуем изучать лог-файлы минимум за последние 6 месяцев, после проводить внутреннюю оптимизацию. Это скажется на:

• повышении видимости сайта в поисковых системах;
• увеличении прироста органического трафика;
• устранении проблем с SEO-оптимизацией, ранее незамеченных.

 Читайте также

 Как оптимизировать страницу 404

Удастся понять:

• какие страницы индексируются поисковыми ботами;
• каким образом происходит перемещение по сайту (карте);
• периодичность посещения определённых страниц;
• вследствие чего получено «письмо счастья» с уведомлением о блокировке ресурса.

Важно знать: непосещаемые или редко посещаемые веб-страницы могут выпасть из индекса (нерелевантные, у конкурентов более информативные и т.д.). Часто посещаемые ботом веб-страницы достойны дополнительного внимания, сделайте их информативнее, дополните и т.п.

Когда .log-файлам следует уделить больше внимания

У небольших интернет-проектов с 10, 100, 200 страницами, как правило редко возникают проблемы с оптимизацией. Если какая-то из страниц выпадет из индекса или будет получать слишком мало трафика, это довольно легко заметить. Если же число страниц перевалило за несколько тысяч, то избежать ошибок гораздо сложнее и анализ .log-файлов принесет ощутимую пользу.

Второй случай связан с переездом на новое доменное имя. Аналогично со сменой хостинга или сервера. Некоторые данные искажаются, теряются, изменяются – подобное всегда сказывается на индексации ресурса. Отрицательно. Проконтролируйте процесс самостоятельно, потеряв при переезде минимум органического трафика из поисковых систем.

Анализ логов для эффективного краулинга

На масштабных ресурсах поисковые боты часто не успевают проиндексировать все страницы, так как расходуют краулинговый бюджет – время на проверку. Чтобы этого избежать необходима правильная перелинковка и корректно настроенный файл sitemap.

Log – позволяет понять, как действуют боты в пределах сайта: какие страницы сканируют в первую очередь, а к какие – в последнюю, и оптимизировать их работу. Эффективный краулинг – важное условие поискового продвижения, ведь SEO не даст результатов, если ПС не сможет увидеть изменения.

Настройка краулинга и разбор написанного в логах – задачи непростые. Они требуют специализированных знаний. Основная трудность – большие объемы почти не структурированных данных. Потому, если вы хотите заняться анализом самостоятельно, то понадобится большой запас терпения и, первое время, помощь специалиста.