Що таке індексація сайту пошуковою системою та як її покращити

Індексація в пошукових системах — що це?

Якщо говорити простою мовою, то індексування сайту являє собою внесення його сторінок до бази пошукових систем. У ході цього процесу система збирає інформацію про зміст ресурсу. Пошукові роботи (їх ще називають павуками) сканують й обробляють вебсторінки, відео, зображення тощо. Після того, як аналіз завершений, сторінки зберігаються до пошукового індексу — тобто бази даних. І саме в ній надалі система шукає результати, які відповідають запитам користувачів.

Як відбувається індексація сайту пошуковими системами

Один запит — це тисячі адрес, які потенційно містять відповідь. По суті Google знає його до того, як користувач ввів запит у пошуковий рядок. Індексація — безперервний процес, оскільки веб-роботи регулярно сканують нові та оновлені сайти, додаючи отриману інформацію до індексу (бази даних). Виходить, коли користувач щось шукає в інтернеті, насправді шукає індекс.

Підсторінки сайту, тобто дочірні, що йдуть після основної, індексуються по одній. Після введення запиту робот виконує пошук за індексом та знаходить усі відповідні йому сторінки. Таким чином, ми отримуємо справді величезну кількість результатів.

Щоб дати користувачеві найточнішу відповідь, Google використовує алгоритми, які вибирають сайти в індексі на основі кількох сотень різних факторів. Вони враховують не лише кількість та розміщення ключових слів, релевантних словосполучень, а й якість, юзабіліті сайту, наскільки добре він захищає конфіденційні дані. Факторів ранжирування безліч, і потрібно відповідати кожному. При цьому сам процес визначення позиції сайту та відображення результатів пошуку займає у Google приблизно півсекунди.

Скільки www-адрес в індексі? Сотні мільярдів. Вони займають понад 100 000 000 гігабайт. Google призначає сайт для індексу відповідно до слів, які він містить.

Завантаження, індексація та робота алгоритмів

Щоб визначити сайт, який найкраще відповідає запитам користувача, повинні спрацювати пошукові алгоритми. Саме завдяки їм результати в індексі вибираються та впорядковуються у визначеному порядку. Google постійно працює над покращенням своїх алгоритмів, тому він може розпізнавати ключові слова, контекст і навіть помилки, які можуть з'являтися під час введення запиту. При цьому алгоритми оцінюють не лише текст, а й інші аспекти, наприклад, довіру до сайту, достовірність та інформативність контенту, якість посилань та навіть наміри користувача.

Індексування та сканування

Що таке індексація сторінок ми розглянули. Однак у контексті пошукових систем ви можете знайти термін «сканування». Сканування ще не індексує сторінки, а лише переміщує робота між ними.

Crawling - це відправка бота на аналізований сайт, тоді як індексування - це завантаження, обробка та збір даних для включення його до індексу пошукової системи. Сканування не означає, що адреса була проіндексована і з'явиться в результатах пошуку.

Розміщення веб-адреси в індексі – це наступний етап після сканування. Не кожна просканована сторінка індексується, але кожна проіндексована просканована раніше.

Краулінговий бюджет сканування

Краулінговий бюджет - це максимальний обсяг даних, які пошукова система може отримати з домену за одне відвідування роботом. Щоб отримати максимальну користь з обходу роботом, необхідно розглянути два аспекти:

• обмеження швидкості сканування;
• прискорення індексування сайту

Під час одного відвідування сайту роботи хочуть просканувати максимально можливу кількість URL-адрес. Обмеження швидкості сканування у тому, щоб вони робили обхід без перевантаження сервера. Якщо краулер завантажуватиме надто велику кількість сторінок, сайт почне завантажуватися повільніше, а це, у свою чергу, розчарує його відвідувача.

Раніше для цього обмеження слід було вказувати директиву crawl-delay у файлі robots.txt. Сьогодні вона вважається застарілою, оскільки пошукові системи самі керують швидкістю. Якщо навантаження на сервер занадто велике, сканування припиняється автоматично, тому «важкі» сторінки необхідно оптимізувати, щоб їхня вага зменшилася, і на їхню обробку роботи витрачали менше часу.

Щоб прискорити індексування, робота примусово повертають на сайт. Для цього нові або оновлені сторінки надсилаються на повторне сканування через панель вебмайстра. Варто відзначити, що популярні сайти, що часто оновлюються, обробляються частіше, оскільки зміни на них привертають увагу пошукових роботів. Саме тому припинення робіт із оптимізації стає причиною зниження позицій у видачі.

Якщо коротко, бюджет індексації сайту — кількість URL-адрес, які пошукова система може і хоче проіндексувати. Виражається у мегабайтах (Мб).

На кожен домен виділено щоденний бюджет. Боти переглядають сторінки до краю та припиняють індексування після його витрати. Потім вони повертаються, щоб перевірити поновлення на вже завантажених адресах. Якщо архітектура сайту погано опрацьована, сторінки, розташовані надто глибоко, можуть взагалі не індексуватися. Щоб цього уникнути, потрібно наголошувати не стільки на красивому дизайні, скільки на юзабіліті з урахуванням подальшої оптимізації. Важливі підсторінки повинні бути серед перших в ієрархії структури сайту, інші впорядковуються зі зниження пріоритетності.

Коли пошуковий робот повертається на сайт, ніхто не знає. За ідеєю, сканування здійснюється щодня, але ніде не зазначено, коли саме бот його припиняє і коли відновлює.

Циклічна індексація

Індексування носить циклічний характер, тому потрібно постійно дбати про якість сайту та оновлення, щоб займати високі позиції в результатах видачі. Після першого відвідування роботи час від часу повертаються, щоб перевірити та проіндексувати будь-які зміни. Чим частіше вони зустрічають новий, цінний контент, тим більша ймовірність, що повернуться знову. І як результат: чим раніше він буде проіндексований, тим швидше з'явиться в результатах пошуку.

Часті питання в процесі індексації сайтів.

1. Чому я не можу знайти свою сторінку в Google?

1.1. Час індексації.

Скільки часу займає індексація сторінки Google? На це питання немає однозначної відповіді. Однак практика веб-майстрів показує — завантаження нового сайту в індекс пошукової системи може зайняти від кількох днів до кількох місяців. У цій статті ми розглянемо фактори, які прискорюють та уповільнюють цей процес, і спробуємо відповісти на питання, чи можна оцінити реальний час індексації сторінки Google.

Як перевірити, чи була сторінка збережена у пошуковій системі?

Спосіб 1: введіть сайт у вікно пошукової системи на посилання Вашого сайту. Якщо ви отримуєте результати, сайт був проіндексований. Відсутність посилань на сайт означає, що він, ймовірно, ще не оброблений роботом Google.

Спосіб 2: перевірити статистичний звіт у консолі Google для веб-майстрів. Він містить інформацію про дії на сайті, виконані пошуковим роботом за останні 90 днів.

1.2. Коли Google не зберігає адресу в індексі?

Google не зберігає url сайту з різних причин. Декілька прикладів, чому це може статися:

• неправильно налаштований robots.txt. При цьому пошукова система, як і раніше, може переглядати сторінку, заблоковану у файлі robots.txt, але не бачитиме її вміст. У цьому випадку поруч із результатом з'явиться повідомлення: «Опис цього результату недоступний через robots.txt»,
  обмежено вибраними каталогами,

наприклад:
User-agent: *
Disallow: / images /
Disallow: / private /

Тут ми не блокуємо індексацію всієї сторінки, а лише елементи, що зберігаються у двох каталогах, тобто images та Private.

Або

User-agent: *
Disallow: /

Тут блокуємо доступ до всього сайту.

• неправильно налаштований файл .htaccess, який дозволяє, серед іншого, блокувати користувачів, наприклад, за IP-адресами. Якщо адміністратор випадково заблокував IP-адреси Google, сторінка не проіндексується;
• застаріла карта сайту;
• Низький сайт.

1.3. Коли варто переіндексувати сайт?

Надсилання запитів на панелі веб-майстра на сканування сторінок не є обов'язковим, але може допомогти прискорити відвідування сайту роботом Google. Пам'ятайте, що робота автоматично повертається, щоб отримати актуальну інформацію про його вміст. Таким чином, запит на індексування можна повторити, але на практиці це необов'язково, тому що достеменно невідомо, чи це дійсно прискорить процес. У загальних рекомендаціях, доступних у Довідці Google, є інформація про те, що індексація займає від декількох днів до декількох тижнів (у деяких випадках навіть місяців), і надсилання великої кількості запитів на повторне збереження однієї й тієї ж URL-адреси ніяк не прискорить її.

2. Як прискорити індексацію сторінки Google?

2.1. Зміни на сайті та індексація.

Систематичне оновлення сайту новим і корисним контентом може призвести до того, що роботи пошукових систем частіше відвідуватимуть його, тим самим прискорюючи індексацію. Це, звісно, лише одне метод, але дуже важливий з погляду пошукового просування. Перш ніж дізнатися, чому деякі адреси скануються швидше, інші сповільнюються, варто вивчити способи прискорення всього процесу.

2.2. Методи прискорення індексації сторінки.

Ось кілька SEO-методів, які допоможуть прискорити індексацію сайту:

• додавання посилань на сторінки з великим трафіком.

Чим більше посилань пов'язано з сайтом, тим вища ймовірність того, що він буде проіндексований. Також контент, який потрібно швидко проіндексувати, має бути пов'язаний із головною. Крім того, що ближче до неї знаходиться важлива сторінка, то краще. Теоретично пошукова система повинна сканувати її швидше. Ось чому варто враховувати це під час планування структури сайту. Щоб прискорити цей процес, варто також розмістити важливі посилання у своєму блозі, соціальних мережах, тематичному форумі або написати статтю, яка містить посилання;

• використання карт XML та HTML.

Карта сайту допоможе прискорити процес індексації сайту, хоча загалом відсутність файлів XML та HTML не завадить роботі зробити це і без них. Карта сайту – це перелік наявних підсторінок. Вона мінімізує кількість переходів робота по сторінках, завдяки чому зменшується час на їх пошуки;

• надсилання запиту на індексацію сторінок за допомогою Google Search Console .

Увага! Прискорення індексації - це не те саме, що збільшення позиції сайту в результатах пошуку. Індексація безпосередньо не впливає на неї, але дуже позначається на самому просуванні. Непроіндексований контент не буде включений до результатів пошуку, але в той же час індексування не означає, що позиції сторінки будуть високими.

3. Швидка індексація сторінок Google: скільки часу це займе?

3.1. Чому одна адреса сканується швидше, ніж інша?

Як зазвичай буває з Google, коли доходить до індексації, експерти компанії нічого не пояснюють безпосередньо. У 2018 році Джон Мюллер з Google підтвердив, що URL-адреси зберігаються відповідно до різних факторів і що пошукова система не сканує URL-адреси з однаковою частотою весь час. Тому не дивно, що деякі сайти роботи відвідуватимуть щодня, інші – щотижня, треті – раз на кілька місяців або навіть за півроку.

Варто підкреслити, що рідкісне сканування сайту не означає, що з ним щось не так з технічного боку. Період обробки кілька місяців цілком нормальний і природний. Як приклад, слід додати, що внесення значних змін на сайті призведе до того, що частина сторінок проіндексується швидко. Решті доведеться деякий час почекати. Чому так відбувається? На це впливають багато факторів: перелінкування, структура сторінки, частота змін. Наприклад, якщо сайт давно не оновлювався, пошукова система може не відправити до нього робота. Тим не менш, коли відбувається оновлення, це може зайняти якийсь час, але зрештою робот Google обов'язково відвідає сторінку, що змінилася.

3.2. Як швидко пошукова система може проіндексувати сторінку?

У більшості випадків на це потрібно кілька днів. Це може зайняти до 24 годин, хоча не можна сказати, що це відбувається постійно. Веб-майстри визнають, що буває й інакше: сторінка може з'явитися в індексі того ж дня, через тиждень чи навіть місяць.

3.3. Скільки часу займає індексація змін на сторінках?

На це питання немає однозначної відповіді. Google працює в певному темпі, але відомо, що крім частоти оновлень, він також враховує й інші фактори. Щоб пошуковий робот відвідував сайт частіше, його потрібно регулярно оновлювати. Після внесених змін, наприклад, видалення або додавання сторінок, надішліть запит на перехід через панель вебмайстра. Також можна залишати посилання на новий контент у соціальних мережах, блогах, тематичних форумах.

3.4. Від індексації до ранжування.

Без індексації ви не зможете отримати високих позицій у результатах пошуку, тому що це необхідний крок для включення сайту до індексу Google. Саме індексування іноді займає кілька місяців. Після збереження сайту в кеші Google потрібен час, щоб оцінити зміни. На даний момент сторінка вже знаходиться на якомусь рівні у рейтингу. Ви вносите зміни, щоб поліпшити рейтинг і цикл починається знову.

4. Повільна індексація сторінок у Google.

4.1. Очікування індексації: скільки часу це займає, у чому причина?

4.1.1. Довге очікування на індексацію: наслідки для сайту.

Час, необхідний індексації, впливає тимчасово просування загалом. Підняття позицій або змін у ранжируванні можна спостерігати лише після індексації сторінки.

4.2. Повільна індексація нових сторінок.

Для появи нової сторінки в результатах пошуку може знадобитися від 24 годин до кількох місяців. Це тому, що сайт новий, він не має вхідних посилань.

Очікування протягом кількох тижнів появи адреси у результатах пошуку – природний процес. Як користувачі інтернету, ми звикли до миттєвого отримання відповідей на запити, але з іншого боку, веб-майстра це відбувається не так швидко, як хотілося б. Щоб підвищити ймовірність швидкого сканування сторінки, виконайте дії, описані в розділі «Як прискорити індексацію сторінки Google?».

4.3. Повільна індексація змінених сторінок.

Варто розуміти, що регулярне та часте оновлення контенту прискорює індексацію і, отже, підвищує шанс піднятися у рейтингу пошукової системи. Чим частіше щось відбувається на сайті, тим більша ймовірність того, що Google вважатиме його активним і частіше відправлятиме свій сканер для аналізу змін.

Як заборонити сайту виконувати індексацію сторінок

Існує декілька способів зробити це:

1. Використовуйте в html-коді сторінки атрибут noindex. Так пошукова система «зрозуміє», що цю сторінку необхідно виключити з результатів пошуку.
2. Обмежте індексацію через файл конфігурації .htaccess за допомогою пароля.
3. Використовуйте файл robots.txt. За допомогою цього документа можна заборонити індексацію ресурсу цілком або ж заблокувати доступ до вибраних сторінок.
4. Видаліть URL через спеціальні плагіни.

Кожен із методів підходить під окрему ситуацію. Тому вибирати, як закрити сайт або сторінки від індексування, потрібно індивідуально.