Як просто перевірити індексацію сайту

10–25% доходу інтернет-магазини втрачають через банальну помилку робота. Ви боретеся за позиції у видачі та вклалися у кожну сторінку — а пошуковик їх не проіндексував. Рейтинг падає, але цього ніхто не винен. Люди просто не бачать ваш сайт у видачі.

Виділіть 5-10 хвилин на тиждень, щоб перевірити індексацію сайту. Ви дізнаєтесь, які сторінки відсутні у пошуку, та чому. У цій статті ми розповімо, як це зробити безкоштовно, допоможемо швидко виправити помилки індексації та наочно покажемо процес на прикладі сайту seoftraf.ru.

Коротко про те, що таке процес індексування сайту

Як ви розумієте, в основі пошукових систем — робота алгоритмів. Саме вони виконують процес індексації вебресурсу. Якщо коротко, то суть їхньої роботи полягає в наступному:

• боти виконують сканування вмісту сайту та знаходять додані сторінки;
• після переходу за посиланням вони надсилають запит на сервер для отримання контенту;
• після цього аналізується та оцінюється важливість вмісту;
• після завершення процесу робот надсилає звіт.

У разі позитивного рішення про індексацію сторінка має всі шанси бути відображеною у видачі користувача, рейтинг вебресурсу збільшується. Однак, коли з якихось причин контент не індексується, ця частина сайту буде фактично закрита від відвідувачів, крім випадків прямого переходу за посиланням. Все це, звісно, заважатиме успішному просуванню вебресурсу в пошуку.

Індексацією можна керувати за допомогою певних директив у файлі robots.txt та тегів на вебсторінках. Якщо є бажання, можна закривати доступ роботам до деяких розділів або всього сайту. Перш ніж розпочинати працювати в цьому напряму, необхідно знати, якими способами можна перевірити сайт на індексацію.

Що являє собою перевірка індексації сайту

Індексація сайту - те, заради чого починають будь-яке просування сайту в пошукових системах . Оптимізуючи сторінки, наповнюючи їх якісним контентом та ключовими фразами, ми допомагаємо роботу зрозуміти, про що ваш сайт та яким користувачам його потрібно показувати.

У нас є велика стаття про те, що таке індексація сайту та як її покращити. До речі, ось і вона .

Коли перевіряти індексацію сайту

Пошукові роботи індексують сторінки повільно та частинами. Залежно від кількості сторінок та налаштувань, на перевірку піде від 1 тижня до 4 місяців.

Перевіряйте прогрес кожні 1–2 тижні, якщо:

1. У вас є новий сайт.
2. Реальна кількість сторінок не відповідає кількості проіндексованих.
3. Є суттєва різниця між кількістю сторінок, які проіндексували у пошукових системах.
4. Ви змінювали або додавали сторінки/контент.

Якщо у вас є надійна SEO-команда, вам більше не потрібно буде цього робити — підрядник все виконає за вас: промоніторить ситуацію, прискорить перевірку, доб'ється повторної індексації помилкових сторінок.

Які є варіанти перевірки індексації

Існує безліч способів перевірити індексацію сайтів - платно і безкоштовно, для любителів і професіоналів, у вигляді окремого інструменту або в комплексі набору SEO-функціоналу. Ось основні:

• оператори у браузері;
• панелі вебмайстрів;
• плагіни та букмарклети;
• платні та безкоштовні онлайн-сервіси для перевірки індексації;
• професійні програми для веб-майстрів.

Перші 2 способи - найпростіші. Інші вимагають додаткових навичок, але дають більше розуміння про індексацію та знайдені помилки.

Альтернативний спосіб – замовити послугу у фахівців. Вони вже знають, що робити.

Покрокова інструкція перевірки індексації

Давайте перевіримо сайт seoftraf.ru різними способами, щоб побачити мінуси та плюси кожної з перевірок.

1. Перевірка індексації на панелі вебмайстра

Google Search Console - базовий інструмент SEO для вебмайстрів, маркетологів та власників сайту.

Щоб дізнатися, чи є сторінка в індексі, авторизуємося в обліковому записі Google. Якщо ви цього ще не робили — пройдіть реєстрацію, для цього потрібно ввести адресу ресурсу і виконати дії за інструкцією. Щоб отримати інформацію про ваш ресурс через Google Search Console, вам необхідно мати доступ до його адмін-панелі. Докладніше, як це зробити, читайте тут.

Після верифікації відкриваємо "Покриття" у вкладці "Огляд". Бачимо зрозумілий графік, як змінювалася кількість проіндексованих сторінок за вказаний проміжок часу. Нижче наведено список виявлених помилок.

Сервіс пропонує можливість перевірити веб-сайт на індексацію. Після вирішення помилок тут же можна відправити сторінку на повторну переіндексацію, натиснувши кнопку «Запросити індексування». Цією ж кнопкою можна надіслати нові сторінки на перше індексування.

Важливо: не потрібно запитувати індексацію кілька разів для однієї сторінки - це не прискорить процес.

Переваги: безкоштовно, графіки наочні.

Недоліки: необхідний доступ до адмін-панелі сайту, що перевіряється, неточне відображення інформації — сервіс показує звіти, оперуючи даними останнього обходу, ситуація на поточний період може дещо відрізнятися. Після реєстрації в обліковому записі дані для звіту з'являються не відразу.

2. Перевірка індексації через оператори у пошукових запитах

Якщо потрібно швидко і не вдаючись до допомоги сервісів дізнатися кількість проіндексованих сторінок, скористайтеся операторами - для цього вводимо в пошуковий рядок браузера таку конструкцію:

site:https://seoftraf.ru

Цей спосіб більше підходить для одноразового використання, він не дає глибокого аналізу та не надає графіки.

3. Використання онлайн-сервісів для перевірки індексації

Sitechecker

Дозволяє відстежити ступінь видимості, зміну позицій за ключами, дає рекомендації щодо покращення.

Плюси: бюджетний, підходить для десктопних та мобільних пристроїв, надсилає на пошту щоденні та щотижневі звіти з динамікою змін позицій, фільтрує ключі за умовами та сортує їх за амплітудою позицій, робить аналіз видачі за кожним ключовим словом.

Мінуси: не передбачено аналізу трафіку.

Netpeak Checker

Підходить для веб-майстрів та фахівців SEO. Підходить для вирішення широкого спектру завдань: глибокого SEO-аудиту, порівняння кількох URL-адрес, кастомного парсингу веб-сайтів, аналізу стратегії розкрутки конкурентів. До плюсів варто також віднести можливість повернення товару протягом 14 днів після покупки та можливість інтеграції з іншими сервісами для аналітики.

Мінуси: десктопний та потребує установки.

Screamingfrog

Програма, яка буде корисною для виконання технічного аудиту та моніторингу позицій сайту.

Плюси: може сканувати як весь сайт, так і задані вручну окремі сторінки або розділи, відображає коди сервера для всіх виявлених сторінок, гнучкі налаштування, широкий набір опцій для вивантаження інформації в CSV, можливість відображення деревоподібної структури веб-сайту.

Ще одна важлива перевага полягає в тому, що програми можна будь-якої миті поставити на стоп, закрити, відкрити через час і продовжити далі.

Мінуси: не вважає статистичний вага веб-сторінок, незручна реалізації вивантаження вихідних зовнішніх посилань, вимогливість до можливостей ПК, заплутаний інтерфейс.

Ahrefs

Зручна програма для оптимізації та підготовки веб-сайту, відстеження показників просування.

Плюси: широкий набір функцій, простий інтерфейс, зручність у роботі, працює на хмарних обчисленнях, автоматичне збереження параметрів після сканування, автооновлення.

Мінуси: відносно висока вартість використання.

SE Ranking

Ця програма включає широкий набір інструментів для SEO та інтернет-маркетингу, оснащений конструктором звітів, є опція аналізу конкурентів, моніторингу зворотних посилань.

Плюси: функціональність, можливість перевірки окремих параметрів, є безкоштовна програма для смартфонів на ОС Android та iOS, інтуїтивно зрозумілий інтерфейс.

Мінуси: слабка підтримка користувачів, вартість десктопної версії.

4. Запуск букмарклетів

Букмарклети являють собою маленькі програми на JavaScript, які зберігаються у вигляді закладок. Вони створюються для того, щоб автоматично перевірити індексацію сторінок.

Для запуску процесу спочатку просто перетягніть посилання з файлу «Перевірка індексації» на панель закладок. Потім потрібно відкрити сторінку або сайт і клікнути по закладці. З'явиться нова вкладка Google з запитом, що містить оператор «site:», дозволяючи вам побачити результати індексації.

5. Чим корисний індексатор Google Indexing API

Це сучасний і, головне, безкоштовний інструмент, розроблений мегагігантом Google для того, щоб перевірити індексування сайту. Він допоможе виконати такі операції:

• отримати інформацію про останній запит Google за конкретною URL-адресою;
• надіслати запит на переіндексацію сторінки;
• надіслати запит на видалення сторінки з індексу.

Фактично це можливість безпосередньо інформувати пошукових роботів про додавання чи видалення сторінок. Простіше кажучи, ви маєте повний контроль за процесом краулінгу. Цей інструмент особливо корисний для проєктів, для роботи яких важливо, щоб нові сторінки максимально швидко відображалися у видачі (наприклад, для вебресурсів новин).

Однією з важливих переваг Google Indexing API є можливість надсилання на індексацію об'єднаних пакетних запитів (до 100 в одному пакеті). За день можна надіслати не більше 200 запитів. На цей момент Indexing API підтримує сканування сторінок зі структурованими даними типу JobPosting або BroadcastEvent, які вбудовані в об'єкт VideoObject.

Як запросити індексацію в Search Console

Ми вже з вами говорили про те, що це базовий сервіс для того, щоб дізнатися кількість проіндексованих сторінок. У ньому можна виправити помилки, якщо ви отримаєте інформацію про проблему.

Нагадуємо: перевірити, чи проіндексований контент, розміщений на конкретній сторінці, можна в однойменному розділі. Для запуску процесу необхідно вказати посилання в рядку пошуку.

Якщо ж ви отримаєте негативну відповідь або вам потрібно, щоб вміст сайту з'явився в системі швидше, відправити запит на індексацію сторінки можна, просто натиснувши кнопку внизу екрана.

Як надіслати на індексацію пакет посилань одночасно?

Ми вже з'ясували, як перевірити індексацію сторінки сайту та визначилися з тим, як надіслати запит на окрему адресу. Але іноді виникає ситуація, коли потрібно запросити індексацію для великого списку сторінок. Це можна зробити двома способами:

• через Консоль Google. Для цього необхідно заздалегідь підготувати файл картки сайту з усіма адресами, які необхідно проіндексувати. Його потрібно буде завантажити на сервіс та надіслати запит на індексацію;
• через Google Indexing API. Можливості цього інструменту дозволяють надіслати пакетний запит на індексацію. Але ми вже говорили, що є обмеження щодо кількості адрес у пакеті (до 100). Тому цей метод підходить для індексування невеликих сайтів.

І пам'ятайте: знадобиться певний час, перш ніж усі сторінки оновленого проєкту будуть проіндексовані. Але про це далі.

Скільки часу потрібно для індексації сайту

Час, необхідний для сканування та індексації сайту в пошукових системах, може значно змінюватись. У середньому це займає від кількох днів до декількох тижнів. Однак деякі сторінки можуть бути проіндексовані набагато швидше, особливо якщо вони мають високий рівень активності та релевантності.

Тривалість цього процесу може залежати від різних факторів: якості контенту, загального технічного стану та чіткості структури сайту, авторитету та позитивної історії вебпроєкту.

Як приховати сайт чи сторінку від індексації?

Іноді потрібна протилежна дія — виключити окремі сторінки з індексу. Для того щоб приховати вміст вебресурсу або якихось його розділів від пошукових ботів і далі — від відображення у видачі Google, потрібно додати команду Disallow із зазначенням «/» (кореневої директорії) у файлі robots.txt. Ця інструкція забороняє всім пошуковим роботам індексувати будь-які розділи вебресурсу.

Якщо потрібно заборонити індексування окремих блоків на порталі, допоможе додавання метатегу «noindex, nofollow» на ці сторінки.

Чому сайт не індексується?

Ось причини, через які пошукові алгоритми не можуть проіндексувати веб-сторінку:

1. Помилки у файлі robots.txt.

   У разі неправильного використання закриває від індексації весь ресурс або локальні сторінки.

2. Відсутність файлу sitemap.xml.

   Наявність цього файлу допомагає пошуковим алгоритмам швидко та правильно проіндексувати ресурс. У ньому мають бути посилання на всі сторінки сайту, які підлягають індексації.

3. Новий сайт

   Пошукові алгоритми перевіряють не одразу і не всі сторінки. Періодично варто проводити перевірку індексації – якщо кількість перевірених URL поступово збільшується, все гаразд.

4. Приватні опції.

   В адмін-панелі сайту може бути налаштовано приховування від індексу.

5. Мітки «noindex/nofollow».

   Такі теги, написані в коді, закривають від індексу сторінки.

6. Сміттєві сторінки.

   Якщо на сайті багато сторінок із «сміттєвим», неунікальним контентом, роботи будуть витрачати час на їх індексацію, поки не дійдуть дійсно корисних URL-ів.

Як виправити помилки індексації

Чек-лист із виправлення сторінок для переіндексації:

• налаштувати та оптимізувати файли robots.txt, sitemap. xml;
• збільшити швидкість завантаження сайту спеціальними сервісами;
• унікалізувати контент, зробити його корисним для ЦА;
• видалити дубльовані сторінки;
• виконати грамотну перелінковку.

Висновки та рекомендації наших експертів

Наша мета – домогтися, щоб усі корисні сторінки сайту пройшли індексацію. Так користувачі зможуть побачити контент у видачі і нічого не проґавити. Важливо стежити, щоб не було відчутної різниці між показниками різних пошукових систем — це, а також різкі зрушення на позитивний чи негативний бік може говорити про проблему.

Поки ви налаштовуєте сайт та виправляєте помилки, хтось уже глумить ваші товари/послуги. Заощадити час та прискорити індексацію допоможе досвідчена команда SEO-фахівців.