Как просто проверить индексацию сайта

10–25% дохода интернет-магазины теряют из-за банальной ошибки робота. Вы боретесь за позиции в выдаче и вложились в каждую страницу — а поисковик их не проиндексировал. Рейтинг падает, но в этом никто не виноват. Люди просто не видят ваш сайт в выдаче.

Выделите 5–10 минут в неделю, чтобы проверить индексацию сайта. Вы узнаете, какие страницы отсутствуют в поиске, и почему. В этой статье мы расскажем, как это сделать бесплатно, поможем быстро исправить ошибки индексации и наглядно покажем процесс на примере сайта seoftraf.ru.

Коротко о том, что такое процесс индексирования сайта

Как вы понимаете, в основе поисковиков — работа алгоритмов. Именно они и выполняют процесс индексации веб-ресурса. Если коротко, то суть их работы состоит в следующем:

• боты выполняют сканирование содержимого сайта и находят добавленные страницы;
• после перехода по ссылке они отправляют запрос на сервер для получения контента;
• после этого анализируется и оценивается важность содержимого;
• по завершении процесса робот отправляет отчет.

В случае положительного решения об индексации страница имеет все шансы быть отображенной в выдаче пользователя, рейтинг веб-ресурса увеличивается. Однако, когда по каким-то причинам контент не индексируется, эта часть сайта будет фактически закрыта от посетителей, кроме случаев с прямым переходом по ссылке. Все это, естественно, будет мешать успешному продвижению веб-ресурса в поиске.

Индексацией можно управлять с помощью определенных директив в файле robots.txt и тегов на веб-страницах, при желании можно закрывать доступ роботам к некоторым разделам или всему сайту. Но для начала работы в этом направлении необходимо знать, какими способами можно проверить сайт на индексацию.

Что из себя представляет проверка индексации сайта

Индексация сайта — то, ради чего затевают любое продвижение сайта в поисковых системах. Оптимизируя страницы, наполняя их качественным контентом и ключевыми фразами, мы помогаем роботу понять, о чем ваш сайт, и каким пользователям его нужно показывать.

У нас есть большая статья о том, что такое индексация сайта и как ее улучшить. Кстати, вот и она.

Когда проверять индексацию сайта

Поисковые роботы индексируют страницы медленно и частями. В зависимости от количества страниц и настроек, на проверку уйдет от 1 недели до 4 месяцев.

Проверяйте прогресс каждые 1–2 недели, если:

1. У вас новый сайт.
2. Реальное количество страниц не соответствует числу проиндексированных.
3. Есть существенная разница между числом страниц, которые проиндексировали в поисковиках.
4. Вы меняли или добавляли страницы/контент.

Если у вас есть надежная SEO-команда, вам больше не нужно будет этого делать — подрядчик все выполнит за вас: промониторит ситуацию, ускорит проверку, добьется повторной индексации ошибочных страниц.

Какие есть варианты проверки индексации

Существует огромное количество способов проверить индексацию сайтов — платно и бесплатно, для любителей и профессионалов, в виде отдельного инструмента или в комплексе набора SEO-функционала. Вот основные:

• операторы в браузере;
• панели вебмастеров;
• плагины и букмарклеты;
• платные и бесплатные онлайн-сервисы для проверки индексации;
• профессиональные программы для веб-мастеров.

Первые 2 способа — самые простые. Остальные требуют дополнительных навыков, но дают больше понимания об индексации и найденных ошибках.

Альтернативный способ — заказать услугу у специалистов. Они уже знают, что делать.

Пошаговая инструкция проверки индексации

Давайте проверим сайт seoftraf.ru разными способами, чтобы увидеть минусы и плюсы каждой из проверок.

1. Проверка индексации в панели вебмастера

Google Search Console — базовый инструмент SEO для вебмастеров, маркетологов и владельцев сайта.

Чтобы узнать, есть ли страница в индексе, авторизуемся в аккаунте Google. Если вы еще этого не делали — пройдите регистрацию, для этого нужно ввести адрес ресурса и выполнить действия по инструкции. Чтобы получить информацию о вашем ресурсе через Google Search Console вам необходимо иметь доступ к его админ-панели. Подробнее, как это сделать, читайте здесь.

После верификации открываем «Покрытие» во вкладке «Обзор». Видим понятный график, как изменялось количество проиндексированных страниц за указанный интервал времени. Ниже есть список обнаруженных ошибок.

Сервис предлагает возможность проверить сайт на индексацию. После решения ошибок здесь же можно отправить страницу на повторную переиндексацию, кликнув по кнопке «Запросить индексирование». Этой же кнопкой можно отправить новые страницы на первое индексирование.

Важно: не нужно запрашивать индексацию несколько раз для одной и той же страницы — это не ускорит процесс.

Преимущества: бесплатно, наглядные графики.

Недостатки: необходим доступ к админ-панели проверяемого сайта, неточное отображение информации — сервис показывает отчеты, оперируя данными последнего обхода, ситуация на текущий период может несколько отличаться. После регистрации в аккаунте данные для отчета появляются не сразу.

2. Проверка индексации через операторы в поисковых запросах

Если нужно быстро и не прибегая к помощи сервисов узнать количество проиндексированных страниц, воспользуйтесь операторами — для этого вводим в поисковую строку браузера следующую конструкцию:

site:https://seoftraf.ru

Этот способ больше подходит для одноразового использования, он не дает глубокого анализа и не предоставляет графики.

3. Использование онлайн-сервисов для проверки индексации

Sitechecker

Позволяет отследить степень видимости, изменение позиций по ключам, дает рекомендации по улучшению.

Плюсы: бюджетный, подходит для десктопных и мобильных устройств, присылает на почту ежедневные и еженедельные отчеты с динамикой изменений позиций, фильтрует ключи по условиям и сортирует их по амплитуде позиций, делает анализ выдачи по каждому ключевому слову.

Минусы: не предусмотрен анализ трафика.

Netpeak Checker

Подходит для веб-мастеров и специалистов SEO. Подходит для решения широкого спектра задач: глубокого SEO-аудита, сравнения нескольких URL, кастомного парсинга веб-сайтов, анализа стратегии раскрутки конкурентов. К плюсам стоит также отнести возможность возврата продукта в течение 14 дней после покупки и возможность интеграции с другими сервисами для аналитики.

Минусы: десктопный и требует установки.

Screamingfrog

Программа, которая будет полезна для выполнения технического аудита и мониторинга позиций сайта.

Плюсы: может сканировать, как весь сайт, так и заданные вручную отдельные страницы или разделы, отображает коды сервера для всех обнаруженных страниц, гибкие настройки, широкий набор опций для выгрузки информации в CSV, возможность отображения древовидной структуры веб-сайта.

Еще одно важное преимущество заключается в том, что программы можно в любой момент поставить на стоп, закрыть, открыть через время и продолжить дальше.

Минусы: не считает статистический вес веб-страниц, неудобная реализации выгрузки исходящих внешних ссылок, требовательность к возможностям ПК, запутанный интерфейс.

Ahrefs

Удобная программа для оптимизации и подготовки веб-сайта, отслеживания показателей продвижения.

Плюсы: широкий набор функций, простой интерфейс, удобность в работе, работает на облачных вычислениях, автоматическое сохранение параметров после сканирования, автообновление.

Минусы: относительно высокая стоимость использования.

SE Ranking

Эта программа включает в себя широкий набор инструментов для SEO и интернет-маркетинга, оснащен конструктором отчетов, есть опция анализа конкурентов, мониторинга обратных ссылок.

Плюсы: функциональность, возможность проверки отдельных параметров, есть бесплатное приложение для смартфонов на ОС Android и iOS, интуитивно понятный интерфейс.

Минусы: слабоватая поддержка пользователей, стоимость десктопной версии.

4. Запуск букмарклетов

Букмарклеты представляют собой маленькие программы на JavaScript, которые сохраняются в виде закладок. Они создаются для того, чтобы автоматически проверить индексацию страниц.

Для запуска процесса сначала просто перетащите ссылку из файла «Проверка индексации» на панель закладок. Затем потребуется открыть страницу или сайт и кликнуть по закладке. Появится новая вкладка Google с запросом, содержащим оператор «site:», позволяя вам увидеть результаты индексации.

5. Чем полезен индексатор Google Indexing API

Это современный и, главное, бесплатный инструмент, разработанный мегагигантом Google для того, чтобы проверить индексирование сайта. Он поможет выполнить такие операции:

• получить информацию о последнем запросе Google по конкретному URL-адресу;
• отправить запрос на переиндексацию страницы;
• отправить запрос на удаление страницы из индекса.

Фактически это возможность напрямую информировать поисковых роботов о добавлении или удалении страниц. Проще говоря, вы имеете полный контроль над процессом краулинга. Этот инструмент особенно полезен для проектов, для работы которых важно, чтобы новые страницы максимально быстро отображались в выдаче (например, для новостных веб-ресурсов).

Одним из важных преимуществ Google Indexing API является возможность отправки на индексацию объединенных пакетных запросов (до 100 в одном пакете). В день можно отправить не более 200 запросов. На данный момент Indexing API поддерживает сканирование страниц со структурированными данными типа JobPosting или BroadcastEvent, которые встроены в объект VideoObject.

Как запросить индексацию в Search Console

Мы уже с вами говорили о том, что это базовый сервис для того, чтобы узнать количество проиндексированных страниц. В нем также можно исправить ошибки, если вы получите информацию о проблеме.

Напоминаем: проверить, проиндексирован ли контент, размещенный на конкретной странице, можно в одноименном разделе. Для запуска процесса необходимо указать ссылку в строке поиска.

Если же вы получите негативный ответ или вам нужно, чтобы содержимое сайта появилось в системе побыстрее, то отправить запрос на индексацию страницы можно, попросту нажав на кнопку внизу экрана.

Как отправить на индексацию пакет ссылок одновременно?

Мы уже выяснили, как проверить индексацию страницы сайта и определились с тем, как отправить запрос для отдельного адреса. Но иногда возникает ситуация, когда требуется запросить индексацию для большого списка страниц. Это можно сделать двумя способами:

• через Консоль Google. Для этого необходимо заранее подготовить файл карты сайта со всеми адресами, которые требуется проиндексировать. Его нужно будет загрузить на сервис и послать запрос на индексацию;
• через Google Indexing API. Возможности этого инструмента позволяют отправить пакетный запрос на индексацию. Но мы уже говорили, что есть ограничения по количеству адресов в пакете (до 100). Поэтому данный метод подходит для индексирования небольших сайтов.

И помните: потребуется определенное время, прежде чем все страницы обновленного проекта будут проиндексированы. Но об этом далее.

Время, необходимое для индексации сайта

Время, необходимое для сканирования и индексации сайта в поисковиках, может значительно варьироваться. В среднем это занимает от нескольких дней до нескольких недель. Однако некоторые страницы могут быть проиндексированы намного быстрее, особенно если они имеют высокую степень активности и релевантности.

Длительность этого процесса может зависеть от различных факторов: качества контента, общего технического состояния и четкости структуры сайта, авторитета и положительной истории веб-проекта.

Как скрыть сайт или страницу от индексации?

Иногда требуется противоположное действие — исключить отдельные страницы из индекса. Для того чтобы скрыть содержимое веб-ресурса или каких-то его разделов от поисковых ботов и далее — от отображения в выдаче Google, нужно добавить команду Disallow с указанием «/» (корневой директории) в файле robots.txt. Это указание запрещает всем поисковым роботам индексировать любые разделы веб-ресурса.

Если нужно запретить индексирование отдельных блоков на портале, то поможет добавление метатега «noindex, nofollow» на эти страницы.

Почему не индексируется сайт?

Вот причины, по которым поисковые алгоритмы не могут проиндексировать веб-страницу:

1. Ошибки в файле robots.txt.

   При неправильном использовании закрывает от индексации весь ресурс или локальные страницы.

2. Отсутствие файла sitemap.xml.

   Наличие этого файла помогает поисковым алгоритмам быстро и правильно проиндексировать ресурс. В нем должны содержаться ссылки на все страницы сайта, которые подлежат индексации.

3. Новый сайт.

   Поисковые алгоритмы проверяют не сразу и не все страницы. Периодически стоит проводить проверку индексации — если количество проверенных URL постепенно увеличивается, все в порядке.

4. Приватные настройки.

   В админ-панели сайта может быть по умолчанию настроено скрытие от индекса.

5. Теги «noindex/nofollow».

   Такие теги, прописанные в коде, закрывают от индекса страницы.

6. Мусорные страницы.

   Если на сайте много страниц с «мусорным», неуникальным контентом, роботы будут тратить время на их индексацию, пока не дойдут до действительно полезных URL-ов.

Как исправить ошибки индексации

Чек-лист по исправлению страниц для переиндексации:

• настроить и оптимизировать файлы robots.txt, sitemap. xml;
• увеличить скорость загрузки сайта специальными сервисами;
• уникализировать контент, сделать его полезным для ЦА;
• удалить дублированные страницы;
• выполнить грамотную перелинковку.

Выводы и рекомендации наших экспертов

Наша цель — добиться, чтобы все полезные страницы сайта прошли индексацию. Так пользователи смогут увидеть контент в выдаче и ничего не упустить. Важно следить, чтобы не было ощутимой разницы между показателями разных поисковых систем — это, а также резкие сдвиги в положительную или отрицательную сторону, может говорить о проблеме.

Пока вы настраиваете сайт и исправляете ошибки, кто-то уже гуглит ваши товары/услуги. Сэкономить время и ускорить индексацию поможет опытная команда SEO-специалистов.