Проверьте сайт за 15 минут
Четыре шага займут 10–15 минут. Последний шаг делается на компьютере.
Шаги показывают частые препятствия, но не все. Полную техническую проверку сайта может сделать только разработчик.
Шаг 1. Есть ли сайт в поиске Яндекса и Google
Зачем. По справке Яндекса, Алиса AI при подготовке ответа обращается к поиску Яндекса и использует его результаты. По справке Google, чтобы страница могла появиться ссылкой в AI Mode, она должна быть в индексе Google и подходить для показа в поиске. Попадание в индекс не гарантирует, что страница появится в AI Mode.
Как проверить.
- Откройте Яндекс и введите в поиск: site:ваш-сайт.ru. Без «https://», без «www» и без пробела после двоеточия.
- Посмотрите, есть ли в результатах страницы вашего сайта.
- Введите то же самое в Google.
Что означает результат.
Страницы есть. Сайт есть в поиске этой системы. Поиск показывает не все страницы, поэтому если в списке нет какой-то одной страницы, это ещё не значит, что её нет в поиске.
Пусто. Проверьте, что адрес написан без ошибок. Если снова пусто, сайт может быть новым или не попал в поиск. Подробную информацию об индексации сайта можно посмотреть в Яндекс Вебмастере и Google Search Console.
Страница в поиске не означает, что нейросеть возьмёт её в ответ. О ChatGPT, Perplexity и других нейросетях этот шаг ничего не говорит.
Если пройти шаг не удалось. Например, Яндекс просит подтвердить, что вы не робот, или Google не открывается. Пропустите шаг и попросите того, кто ведёт сайт, посмотреть сайт в Яндекс Вебмастере и Google Search Console.
Кому передать. Если страниц нет, тому, кто ведёт сайт. Можно написать так:
Шаг 2. Не закрыт ли сайт в файле robots.txt
Зачем. robots.txt — файл с правилами для роботов, которые обходят сайты, и одна строка в нём может закрыть весь сайт.
Как проверить.
- Откройте в браузере адрес ваш-сайт.ru/robots.txt и посмотрите, что открылось.
Что означает результат.
«Страница не найдена» или ошибка 404. Файла нет. По документации Google, в таком случае робот Google считает, что ограничений нет. Отсутствие этого файла само по себе не закрывает сайт для роботов, но и не гарантирует, что страницы доступны для индексирования.
Ошибка сервера (500, 502, 503) или сайт не открылся. Передайте это разработчику. По документации Google, при такой ошибке робот Google первые 12 часов не обходит сайт и пытается получить файл снова. Затем до 30 дней он может пользоваться последней успешно полученной версией файла и продолжает запрашивать новую. Что происходит после этого, зависит от того, доступен ли сайт. Как поступают другие поисковые системы и нейросети, в этой документации не описано.
Открылся текст из коротких строк. Найдите строку «User-agent: *», звёздочка означает «все роботы». Посмотрите строки под ней. Если среди них есть «Disallow: /» и после косой черты ничего нет, это общий запрет на обход всего сайта. Он действует на тех роботов, для которых в файле нет своих правил. Если в файле есть отдельная строка «User-agent:» с именем конкретного робота, этот робот следует своим правилам, а общие к нему не относятся. Покажите файл разработчику.
Видите запреты для отдельных роботов или непонятные правила. То есть в строке «User-agent:» написано имя конкретного робота. Такие запреты могут закрывать сайт для одного робота и оставлять открытым для других. Например, сайт может быть открыт для основного робота Яндекса, но закрыт для YandexAdditionalBot. Разбираться в каждом таком правиле самому не нужно. Передайте файл разработчику: у разных роботов разное назначение, и решать, какие запреты оставить, лучше вместе с ним.
Ничего из этого нет. Очевидного запрета для всего сайта в файле нет.
Для справки: чем различаются часто встречающиеся роботы. Разбираться в них самому не нужно; это пригодится для разговора с разработчиком.
- GPTBot. По документации OpenAI, запрет для него означает, что материалы сайта не должны использоваться для обучения моделей OpenAI.
- OAI-SearchBot. Робот поиска ChatGPT. OpenAI рекомендует разрешать его, чтобы сайт мог появляться в результатах поиска.
- Google-Extended. По документации Google, управляет тем, можно ли использовать материалы сайта для обучения моделей Gemini и для ответов в приложениях Gemini. На присутствие сайта в поиске Google он не влияет.
- ClaudeBot. По документации Anthropic, запрет для него означает, что новые материалы сайта не должны попадать в данные для обучения моделей Anthropic.
- YandexAdditionalBot. По документации Яндекса, правила для этого робота определяют, может ли содержимое страниц показываться в ответах Алисы AI в поиске. Сам он страницы не индексирует: правила применяются к страницам, которые уже проиндексировал основной робот Яндекса.
Если пройти шаг не удалось или не понятно, что означают строки, перешлите ссылку на файл разработчику. Для Яндекса есть точная проверка: Анализ robots.txt в Яндекс Вебмастере, нужен вход с Яндекс ID.
Кому передать. Разработчику. Можно написать так:
Менять файл самому не стоит.
Шаг 3. Актуальны ли сведения о компании на сайте и в справочниках
Зачем. Чтобы сведения о вашей компании были полными, актуальными и не противоречили друг другу: услуги, регион работы, название и контакты.
Как проверить.
- Выпишите 2–5 основных услуг, по которым вас выбирают клиенты (если вы уже работаете с PositionLift — они в настройках компании).
- Для каждой услуги найдите на сайте страницу или раздел. Посмотрите, понятно ли из текста, что это за услуга и в каком городе или регионе вы её оказываете.
- Откройте карточку компании на Яндекс Картах и, если есть, в 2ГИС или других справочниках. Проверьте, что телефон, адрес и часы работы там актуальны и не противоречат тому, что написано на сайте.
Что означает результат.
Всё в порядке. У каждой основной услуги есть понятное описание с регионом, а контакты актуальны и не противоречат друг другу. Разное написание одного и того же, например «ул.» и «улица», противоречием не считается.
Что-то устарело или противоречит другим сведениям. Это стоит поправить: добавить описание услуги, указать регион, обновить старый телефон или адрес.
Шаг касается полноты сведений. Появление компании в ответах нейросетей он не гарантирует.
Если пройти шаг не удалось. Например, карточки на Яндекс Картах нет. Её можно создать в Яндекс Бизнесе; для работы с PositionLift это не нужно.
Кому передать. Часто это можно сделать самому: тексты — в конструкторе сайта, карточку — в личном кабинете Яндекс Бизнеса. Или поручите это тому, кто ведёт сайт.
Шаг 4. Есть ли текст услуги в коде страницы
Что проверяем. Есть ли текст страницы в её коде сразу, до работы скриптов. Это предварительный ориентир; как сайт видят нейросети, этот шаг не показывает.
Зачем. Поисковые системы и нейросети получают и обрабатывают страницы по-разному. По справке Google, его робот умеет выполнять скрипты страницы, но там же сказано, что не все роботы на это способны. Текст, который есть в коде сразу, не зависит от того, выполняет ли робот скрипты.
Как проверить.
- Нужен компьютер и браузер Chrome или Яндекс Браузер.
- Откройте страницу вашей основной услуги.
- Скопируйте 5–7 слов подряд из описания услуги: обычный текст, не заголовок и не телефон.
- Нажмите Ctrl+U (на Mac — Option+Cmd+U). Откроется вкладка с кодом страницы.
- Нажмите Ctrl+F (на Mac — Cmd+F) и вставьте скопированные слова.
Что означает результат.
Слова нашлись. Текст этой страницы есть в её коде сразу. Это хороший признак для этой страницы. Как сайт отвечает конкретным роботам, шаг не показывает.
Слова не нашлись. Попробуйте другую фразу из того же описания, без кавычек и цифр. Если и она не нашлась, возможно, текст появляется только после работы скриптов. Это не окончательный вывод, точно скажет разработчик.
Если пройти шаг не удалось. Например, есть только телефон или комбинация клавиш не сработала. Пропустите его и сразу передайте вопрос разработчику.
Кому передать. Разработчику. Можно написать так:
Что дальше
Если все шаги прошли без замечаний, очевидных препятствий, которые можно заметить самостоятельно, на сайте нет. Есть и такие, которые эти шаги не показывают. Например, Google советует проверять, что обход сайта разрешён не только в robots.txt, но и в настройках хостинга и сети доставки контента (CDN). Это может проверить разработчик.
Эти шаги убирают частые препятствия, из-за которых нейросети могут не видеть ваш сайт. Что ещё сделать, чтобы нейросети называли вашу компанию, подскажут рекомендации PositionLift по вашим вопросам.
Если какой-то шаг не получилось пройти, это не мешает работе с PositionLift. Вернитесь к нему позже. После исправлений следующая проверка покажет, изменилось ли что-то в ответах нейросетей. Ответы могут меняться и без изменений на сайте: по справке Яндекса, ответ Алисы AI на один и тот же запрос может отличаться в разные дни и даже часы.