Чому сторінки товарів не індексуються в Google

Кількість адрес зі статусом Not indexed сама по собі не відображає стан пошукової оптимізації інтернет-магазину. Спочатку потрібно відокремити сторінки, які мають потрапляти в пошук, а потім перевірити причини виключення саме для цієї групи.

Для інтернет-магазинів це особливо помітно через варіанти товарів, фільтри, сортування, розбиття списків на сторінки та інші механізми, які можуть створювати значно більше адрес, ніж магазин має окремих товарів і категорій.

Перевірка окремої сторінки починається з інструмента перевірки URL у Google Search Console. Там можна побачити, чи відома адреса Google, коли її востаннє просканували, чи дозволена її індексація, яку основну адресу вказав сайт і яку адресу обрав Google.

Статуси потрібно розділяти, оскільки однаковий результат у пошуку може мати різні технічні причини.

Google розділяє сканування, індексацію та вибір основної сторінки на окремі процеси. Наявність адреси в карті сайту або можливість відкрити сторінку в браузері не означає, що її буде включено до індексу.^[1]

Цей статус означає, що Google уже знає адресу, але ще не просканував сторінку.

Для нового товару такий стан може бути тимчасовим. Якщо він охоплює велику частину каталогу, потрібно перевірити спосіб виявлення сторінок і загальну кількість адрес, доступних пошуковому роботу.

Наприклад, магазин може мати 20 000 товарів, але через фільтри, сортування й параметри створювати сотні тисяч адрес. У такому разі частина сканування може припадати на адреси, які не мають окремої цінності для пошуку.

Перевіряються карта сайту, внутрішні посилання з категорій і підкатегорій, розбиття списків на сторінки, кількість адрес із параметрами та відповіді сервера. У журналах сервера можна окремо подивитися, які типи сторінок фактично запитує Googlebot.

Google рекомендує використовувати зрозумілу структуру адрес і звичайні HTML-посилання для виявлення сторінок. Карта сайту допомагає повідомити про адресу, але не зобов’язує Googlebot негайно її просканувати.^[2]

Одна адреса зі статусом Discovered не дає достатньо даних для висновку. Якщо однаковий статус мають тисячі сторінок, корисніше розподілити їх за шаблоном, категорією, датою створення та глибиною у внутрішній структурі.

У цьому випадку Google уже отримав сторінку, але не включив її до індексу.

Повторне надсилання адреси через Request indexing не пояснює причину такого стану. Якщо проблема стосується великої кількості сторінок, потрібно порівняти сторінки, які залишилися поза індексом, з подібними сторінками, які Google індексує.

Перевіряються директиви для роботів, основна адреса, код відповіді сервера, готовий HTML-код сторінки, внутрішні посилання та характер вмісту. Окремо шукаються ознаки, спільні для всієї групи адрес.

Наприклад, може виявитися, що статус стосується лише товарів:

• без внутрішніх посилань із категорій;
• створених за одним шаблоном;
• з основною адресою, що веде на іншу сторінку;
• із майже однаковим основним вмістом;
• доступних також через дублікати з параметрами;
• певного типу варіантів товару.

Фраза «2 400 товарів не індексуються» описує масштаб, але не причину. Для виправлення потрібно знайти властивість, яка об’єднує ці 2 400 сторінок.

Загальний принцип переходу від зміни показника до перевіреної причини докладніше описано у статті «Чому ваші SEO-дашборди та інструменти неефективні».

Сторінка може успішно відкриватися та повертати код 200, але містити директиву:

<meta name="robots" content="noindex">

Інший варіант — основна адреса веде на іншу сторінку або після виконання JavaScript сторінка відрізняється від початкової HTML-відповіді.

Для товарних сторінок зазвичай перевіряються:

• код відповіді сервера;
• meta robots;
• X-Robots-Tag;
• robots.txt;
• <link rel="canonical">;
• готовий HTML-код сторінки;
• перенаправлення;
• внутрішні посилання;
• наявність у карті сайту.

Ці перевірки краще виконувати для великої кількості сторінок. Помилка в шаблоні товару може стосуватися тисяч сторінок, хоча в браузері кожна з них виглядатиме нормально.

Google об’єднує дубльовані або дуже схожі сторінки та вибирає одну адресу як основну. Позначення rel="canonical" є важливим сигналом, але остаточну основну адресу Google визначає сам.^[3]

Для товарів це часто пов’язано з параметрами або варіантами.

Наприклад:

/product/shoes
/product/shoes?color=black
/product/shoes?color=white

Якщо параметр змінює варіант одного товару, зазначення основною базової сторінки може відповідати структурі магазину. Відсутність адрес із параметрами в індексі тоді не є помилкою.

Інша ситуація виникає, якщо окремі товари помилково вказують одну й ту саму основну сторінку:

/product/model-a

містить:

<link rel="canonical" href="https://example.com/product/model-b">

Google отримує сигнал об’єднати model-a з model-b. Якщо це різні товари, потрібно виправляти формування основної адреси, а не повторно надсилати model-a на індексацію.

Google рекомендує використовувати узгоджені адреси в основній сторінці, карті сайту та внутрішніх посиланнях. Для сторінок, призначених для індексації, документація Google для інтернет-магазинів також рекомендує вказувати саму сторінку як основну.^[4]

Карта сайту повідомляє Google про адреси, які сайт вважає важливими для сканування та показу в пошуку. Google рекомендує включати до неї основні адреси сторінок.^[5]

Тому в карті сайту інтернет-магазину не повинні без потреби міститися:

• сторінки з перенаправленнями;
• сторінки з noindex;
• сторінки з кодом 404;
• дублікати з параметрами;
• неосновні варіанти;
• службові сторінки.

Якщо товар є в карті сайту і залишається зі статусом Crawled – currently not indexed, повторне додавання тієї самої адреси нічого не змінює. Потрібно перевіряти причину виключення сторінки.

Розбіжність між картою сайту та основною адресою також створює непотрібну неоднозначність. Наприклад, карта сайту містить /product-a?variant=1, основною вказано /product-a, а внутрішні посилання ведуть на обидві адреси.

Google аналізує зв’язки між сторінками за посиланнями. Для інтернет-магазинів рекомендована структура, у якій категорії ведуть на підкатегорії, а ті — на сторінки товарів. Google також рекомендує використовувати звичайні <a href> замість навігації, яка працює лише через JavaScript.^[6]

Проблеми виникають, коли товар є в базі та карті сайту, але майже відсутній у внутрішній структурі.

Наприклад, адреса доступна лише:

• через внутрішній пошук;
• після кількох рівнів фільтрації;
• на сторінці списку з великою кількістю переходів;
• через взаємодію з JavaScript без звичайного посилання.

Окремо потрібно шукати сторінки без внутрішніх посилань — сторінки, які можна індексувати, але на які не веде жодне посилання з інших сторінок сайту.

Кількість внутрішніх посилань не потрібно перетворювати на формальний показник. Її оцінюють разом зі структурою категорій, глибиною сторінки та способом її виявлення.

Категорія з фільтрами за брендом, кольором, розміром, ціною та матеріалом може створювати окрему адресу для кожної комбінації.

Наприклад:

/shoes
/shoes?color=black
/shoes?color=black&size=42
/shoes?color=black&size=42&brand=nike
/shoes?brand=nike&size=42&color=black

Google окремо описує навігацію за фільтрами як джерело потенційно дуже великої кількості адрес. Надмірне сканування таких сторінок може сповільнювати виявлення нових корисних сторінок.^[7]

Налаштування залежить від того, які сторінки фільтрів потрібні в пошуку. Комбінація бренд + категорія може відповідати окремому пошуковому запиту, тоді як сторінка з п’ятьма випадковими параметрами може існувати лише для роботи каталогу.

Тому рішення не зводиться до однакового noindex або основної адреси для всіх фільтрів. Спочатку адреси потрібно розділити за призначенням.

Google рекомендує, щоб варіанти товару можна було визначити за окремими адресами, якщо магазин використовує окремі сторінки або параметри для таких варіантів. Для необов’язкових параметрів документація також описує варіант із зазначенням основною базової сторінки товару.^[4]

Наприклад:

/t-shirt
/t-shirt?color=black
/t-shirt?color=white

або:

/t-shirt-black
/t-shirt-white

Кількість таких адрес не можна безпосередньо порівнювати з кількістю сторінок в індексі.

Спочатку визначається, які адреси представляють окремі товари, а які лише стани одного товару. Після цього можна оцінювати вибір основної сторінки та охоплення індексацією.

У магазині може бути 20 000 товарів і 150 000 доступних адрес через фільтри, розбиття списків на сторінки, параметри відстеження, варіанти та службові сторінки.

Показник:

150 000 адрес знайдено, 32 000 проіндексовано

без розподілу за типами не дозволяє оцінити проблему.

Потрібно окремо порахувати основні типи сторінок і визначити очікуваний стан кожної групи.

Наприклад:

У такому звіті вже видно, чи Google виключає сторінки, які планувалися для пошуку.

Сторінка може бути проіндексованою, але не отримувати показів у результатах пошуку.

У такій ситуації перевірка robots.txt, карти сайту або повторна індексація зазвичай не стосується причини. Потрібно переглянути звіт про ефективність у Search Console, пошукові запити, сторінки-конкуренти, відповідність наміру користувача та внутрішню структуру.

Наприклад, сторінка товару може конкурувати зі сторінкою категорії за той самий загальний запит. Інший товар може не мати фактичного пошукового попиту за назвою, яку використовує магазин.

До діагностики індексації це вже не належить.

Якщо покази або трафік змінилися після перенесення магазину, скористайтеся окремою послідовністю діагностики падіння після міграції на Shopify.

Послідовна ручна перевірка тисяч адрес не дає змоги швидко знайти причину. Спочатку формується вибірка з різних груп: проіндексовані та виключені товари, нові й старі адреси, категорії, шаблони та різні рівні вкладеності.

Для цих сторінок порівнюються стан індексації, основна адреса, директиви для роботів, відповідь сервера, внутрішні посилання, наявність у карті сайту та готовий вміст сторінки. Після виявлення повторюваної ознаки її поширення перевіряється на всій групі за допомогою сканування сайту, експорту з системи керування, Search Console або журналів сервера.

Так можна отримати висновок рівня:

1 840 товарних сторінок одного шаблону містять основною адресу категорії.

Або:

Товари після п’ятої сторінки списку не мають звичайних внутрішніх посилань і знаходяться Google переважно через карту сайту.

Обидва результати можна перевірити та виправити. Загальна кількість виключених сторінок без класифікації не дає такої інформації.

Звіт про індексацію сторінок потрібен для розподілу адрес за причинами виключення. Discovered, Crawled, duplicate, alternate canonical, noindex, redirects, 404 і server errors не потрібно об’єднувати в один показник.

Інструмент перевірки URL використовується для перевірки конкретних представників кожної групи: вказаної основної адреси, обраної основної адреси, сканування та можливості індексації.

Звіт про ефективність потрібен після підтвердження індексації, якщо сторінки не отримують показів або переходів.

Для великих магазинів ці дані доповнюються скануванням сайту та журналами сервера. Search Console показує стан із боку Google, але не замінює повний список адрес, який фактично створює сайт.

Request indexing корисний для окремої нової або зміненої сторінки. Він не замінює виправлення шаблону, основної адреси, внутрішніх посилань або структури каталогу.

Якщо одна помилка стосується 5 000 адрес, повторне надсилання кожної з них не усуває причину на сайті. Після виправлення перевіряється сама реалізація, кілька представників групи та зміна охоплення індексацією з часом.

Google також зазначає, що сканування та повторна оцінка сторінок потребують часу; карта сайту й запити на повторне сканування не гарантують негайної індексації.^[2]

Search Console не пояснює алгоритмічну причину кожного рішення про індексацію. Статус Crawled – currently not indexed підтверджує, що адресу було проскановано й на момент формування звіту не включено до індексу, але сам статус не визначає конкретну зміну, яку потрібно зробити.

Так само обрана Google основна адреса показує результат об’єднання сторінок, але для пошуку причини потрібно перевіряти вміст, перенаправлення, позначення основної адреси, карту сайту та внутрішні посилання. Google може вибрати основну адресу, відмінну від зазначеної сайтом.^[3]

Тому однаковий статус у Search Console може мати різні пояснення на різних сайтах.

Перевірка індексації інтернет-магазину починається з класифікації адрес, а не зі спроби збільшити загальну кількість проіндексованих сторінок.

Для товарів і категорій, які мають отримувати органічний трафік, зіставляються фактичний стан у Google, основна адреса, можливість індексації, карта сайту та внутрішні посилання. Якщо виключення повторюється в межах одного шаблону або типу сторінки, перевіряється вся група.

Такий аналіз відокремлює технічні помилки від нормального об’єднання варіантів, фільтрів та інших адрес, які не планувалися як окремі сторінки для пошуку.

Для масових проблем індексації використовується технічний SEO-аудит.

Якщо перевірка охоплює також категорії, навігацію за фільтрами, структуру товарів та органічні сторінки для пошуку, ці завдання входять у SEO для інтернет-магазинів.