Индексация сайта: почему страницы не попадают в поиск и как это исправить

Когда поисковый бот — Googlebot или YandexBot — приходит на сайт, он не просто «смотрит» на страницы. Он скачивает HTML-код, разбирает его, извлекает ссылки, текст, структуру и передаёт всё это в базу данных поисковика. Только после этого этапа страница может появиться в выдаче.

Важно понимать: краулинг и индексация — разные вещи. Страница может быть просканирована, но не попасть в индекс — если на ней стоит мета-тег noindex, если контент признан дублем, если он слишком тонкий или нерелевантный. Сканирование — это «бот побывал на странице». Индексация — это «страница добавлена в базу и может показываться в выдаче».

Главное ограничение, о котором большинство владельцев сайтов не знает — краулинговый бюджет. Это лимит страниц, которые поисковый робот готов обойти за определённый период. Он не безграничен. Если сайт перегружен мусорными URL — важные страницы остаются без внимания. Бот просто не доберётся до них за один визит.

У небольших сайтов этот лимит обычно достаточен — робот обходит всё. Но уже при нескольких сотнях страниц управление краулинговым бюджетом становится реальной SEO-задачей: нужно закрывать технические страницы, убирать дубли, выстраивать структуру так, чтобы бот тратил время на нужное.

Google использует статистический метод для оценки того, как часто будет обновляться новый документ. Система анализирует исторические данные о частоте изменений похожих документов на том же домене, чтобы определить оптимальную частоту сканирования. Проще говоря: чем активнее и регулярнее обновляется сайт, тем чаще робот на него заходит. Это хороший стимул поддерживать контент в актуальном состоянии.

Не всегда проблему видно сразу. Но есть сигналы, которые стоит отслеживать.

Вы регулярно публикуете материалы, но количество проиндексированных страниц в Яндекс Вебмастере не растёт. Вы обновили цены или описание услуг — а в выдаче по-прежнему старые данные. Новая статья не находится в поиске по точному заголовку спустя 3–5 дней после публикации. Это не норма. Это повод разобраться с причиной.

Первый инструмент — Яндекс Вебмастер. Раздел «Индексирование» покажет, сколько страниц в базе, какие из них исключены и по каким причинам. Для Google — Search Console, раздел «Покрытие индексом», хотя с 2022 года российским пользователям без ранее подключённого аккаунта создать новый проект значительно сложнее.

Быстрая проверка конкретной страницы: введите в поиске site:вашдомен.ru/нужная-страница — если Яндекс её не находит, скорее всего, страница не проиндексирована.

Первая причина: robots.txt блокирует нужные страницы. Один из самых частых сценариев — разработчик закрыл раздел на время тестирования и забыл открыть после запуска. Директива Disallow: / в robots.txt запретит индексацию всего сайта. Проверяйте этот файл после каждых изменений в настройках хостинга или CMS.

Вторая причина: тег noindex стоит там, где не должен. Иногда шаблоны CMS автоматически добавляют noindex на категории, страницы пагинации или товары — чтобы «не дублировать». Но в результате важные коммерческие страницы оказываются невидимы для поисковика.

Третья причина: дубли страниц съедают краулинговый бюджет. URL с косой чертой и без неё (site.ru/page и site.ru/page/), http и https, www и без www, страницы с параметрами сортировки и фильтрации — всё это дубли. Бот тратит на них ресурс, который мог потратить на нужные страницы.

Четвертая причина: медленный сервер. Скорость напрямую влияет на краулинговый бюджет: медленные сайты сканируются реже, даже при наличии карты сайта и ссылок. Если сервер отвечает дольше 1,5–2 секунд, робот может прервать визит раньше времени.

Пятая причина: страница-сирота. Новая страница без единой внутренней ссылки на неё — это страница, которую бот может просто не найти. Краулер движется по ссылкам. Нет ссылок — нет пути.

Шестая причина: слабый или дублированный контент. Тонкие страницы, дубли и автоматически сгенерированные тексты чаще получают статус «просканировано, но не проиндексировано». Это официальный статус в Google Search Console, который означает: бот был, но решил не добавлять страницу в базу.

Седьмая причина: JavaScript-рендеринг без SSR. Если сайт построен на React, Vue или Angular и контент загружается через JavaScript на стороне клиента — бот видит пустой HTML. Для таких проектов обязателен серверный рендеринг (SSR) или пререндеринг.

Прежде чем использовать дополнительные инструменты, нужно убедиться, что сайт физически доступен для робота.

Robots.txt должен быть корректным: нет лишних Disallow, важные разделы открыты, в конце файла прописан путь к sitemap. Проверить можно через Яндекс Вебмастер — раздел «Инструменты» — «Анализ robots.txt».

Sitemap.xml должен содержать только важные страницы с актуальными URL и без ошибок 404. Если CMS поддерживает автоматическое обновление карты сайта при публикации — включайте эту функцию. Тег <lastmod> в sitemap сообщает поисковику дату последнего изменения страницы — это сигнал для переобхода.

Дубли — устранять через 301-редиректы и канонические ссылки (rel="canonical"). Для технических страниц, фильтров и параметров сортировки — закрытие через robots.txt или noindex.

Скорость сервера — держать отклик в пределах 1–1,5 секунды. Чем быстрее загружаются страницы, тем больше URL успеет просканировать робот за один визит.

Бот идёт по ссылкам. Если на новую страницу ссылается уже проиндексированная страница с хорошим весом — бот найдёт её быстро.

Практические правила: любая важная страница должна быть доступна за 2–3 клика от главной. Новые статьи блога — получают ссылку из похожих материалов через блок «Читайте также». Новые страницы услуг — ссылаются с главной и из смежных разделов. Карточки товаров — связаны через блоки «С этим покупают», «Похожие товары».

Хабовые страницы, тематические разделы и блоки рекомендаций ускоряют сканирование. Это работает как сеть дорог: чем больше путей ведёт к странице, тем выше её приоритет для бота.

IndexNow — протокол, который позволяет сайту самому сообщить поисковой системе: «Вот новая страница, приди посмотри». Не ждать, пока бот доберётся сам — а уведомить напрямую.

Яндекс поддерживает IndexNow в полном объёме. Протокол работает без ограничений для российских сайтов, позволяет отправлять пакеты до 10 000 URL за один запрос и особенно эффективен для интернет-магазинов с большим каталогом, новостных ресурсов и сайтов с частыми обновлениями.

Для подключения нужно: сгенерировать ключ через indexnow.org, разместить текстовый файл с ключом в корне сайта, настроить отправку уведомлений — вручную через API или автоматически через плагин CMS.

Для отдельных приоритетных страниц — коммерческих посадочных, обновлённых статей, новых разделов — можно запросить переобход вручную. В Яндекс Вебмастере это делается через «Инструменты» — «Переобход страниц». Лимит запросов зависит от истории и качества сайта, но даже небольшой лимит позволяет быстро провести важные страницы через очередь.

Размещение анонсов новых материалов в социальных сетях не только привлекает прямых посетителей, но и создаёт дополнительные внешние ссылки, по которым могут перейти роботы.

Для России актуальны: ВКонтакте, Telegram, Яндекс Дзен. Внешняя ссылка — это ещё один путь, по которому бот может прийти на страницу, особенно если ВКонтакте или Дзен уже хорошо проиндексированы.

Поисковики отдают предпочтение «живым» сайтам. Алгоритм Google прогнозирует частоту визитов бота на основе истории изменений похожих страниц на том же домене. Сайт, который регулярно обновляется, получает более частые визиты — а значит, новые страницы попадают в индекс быстрее.

Что считается обновлением: добавленный блок в статью, актуализированные цифры, новый раздел FAQ, обновлённая цена. Необязательно переписывать страницу целиком — достаточно реального изменения, которое даёт сигнал свежести.

Для большинства российских сайтов Яндекс — основной источник органического трафика. Несколько нюансов, которые важно понимать.

Яндекс может использовать данные Яндекс Метрики для определения приоритетности страниц: если реальные пользователи заходят на страницу через Метрику, это дополнительный сигнал для ускорения обхода. Поэтому подключение Метрики и включение функции «Обход по счётчику» в Вебмастере — не просто аналитика, а часть стратегии индексации.

Яндекс пока отдаёт приоритет десктопной версии — в отличие от Google с его Mobile-first indexing. Это означает: убедитесь, что десктопная версия технически безупречна, и только затем работайте с мобильной.

Качество сниппета тоже влияет на частоту обхода. Корректные метатеги, читаемые заголовки, микроразметка Schema.org — всё это помогает Яндексу правильно понять страницу и включить её в нужную часть индекса.

Публикация — это не финальный шаг, а стартовый. После того как страница появилась на сайте, запустите следующую цепочку:

Шаг первый: добавьте внутреннюю ссылку на новую страницу с уже проиндексированного раздела — категории, похожей статьи, главной.

Шаг второй: убедитесь, что страница есть в sitemap.xml с актуальным тегом <lastmod>.

Шаг третий: отправьте URL через IndexNow — вручную или через автоматизацию.

Шаг четвёртый: запросите переобход в Яндекс Вебмастере, если страница приоритетная.

Шаг пятый: опубликуйте анонс с ссылкой в Telegram или ВКонтакте.

Шаг шестой: через 3–5 дней проверьте индексацию в Яндекс Вебмастере — раздел «Страницы в поиске».

Если страница не появилась — смотрим на причины: robots.txt, noindex, технические ошибки сервера, тонкий контент. Устраняем и отправляем повторно.

Ошибка первая:
Добавлять в sitemap технические страницы. Фильтры, корзина, административные разделы, страницы с параметрами — всё это должно быть закрыто от индексации, а не включено в карту сайта. Иначе вы сами направляете бота туда, куда не нужно.

Ошибка вторая:
Менять URL без редиректов. Если страница переехала на другой адрес — старый URL должен вести на новый через 301-редирект. Иначе бот продолжает ходить по мёртвой ссылке, а новая страница начинает жизнь с нуля.

Ошибка третья:
Ждать, что индексация случится сама. На новых сайтах или при резком росте контента бот не успевает обойти всё сам — нужны активные действия: перелинковка, IndexNow, запросы на переобход.