Аудит сайта под ChatGPT: 5 проверок, если конкурент в ответах, а вы нет

Аудит сайта под ChatGPT отвечает на один вопрос: может ли бот OpenAI дойти до страницы, прочитать текст и взять его в ответ. Проверьте три вещи: не закрыт ли OAI-SearchBot в robots.txt, не режет ли его защита сервера, лежит ли основной текст в HTML, а не в скрипте. Первая проверка занимает пять минут.

Конкурент есть в ответах ChatGPT, а вас нет: откуда разрыв 🔍

Директор московской компании, которая продаёт промышленное оборудование, просит ChatGPT назвать поставщиков своей категории. В ответе три фирмы. Его среди них нет, хотя в Яндексе по тому же запросу он на первой странице. Он звонит подрядчику по SEO, тот показывает позиции, и оба не понимают, в чём дело.

Разгадка в том, что Яндекс и ChatGPT собирают информацию разными роботами. У Яндекса свой робот, у OpenAI свои боты, а часть источников поиск ChatGPT берёт из индекса Bing, которым владельцы русскоязычных сайтов часто не занимаются вовсе. Позиции в Яндексе поэтому ничего не говорят о том, что видит нейросеть. Сайт может быть в порядке для одного робота и закрыт для других.

Ставка простая. Покупатель просит нейросеть составить шорт-лист поставщиков и звонит тем, кто в нём оказался. Ваш звонок не состоялся, и увидеть это негде: в Метрике нет отчёта «заявки, которых не было». Спрос уходит незаметно, поэтому проблему замечают поздно, если замечают.

Сразу оговорка: гарантий попадания в ответ не даёт никто. Даже с безупречным сайтом ChatGPT может выбрать другого поставщика. Аудит решает более скромную задачу: убирает технические причины, из-за которых вы вообще не участвуете в отборе.

Три бота OpenAI и что даёт блокировка каждого 🤖

У OpenAI три пользовательских агента, и владельцы сайтов путают их чаще всего. Из опасения, что «контент украдут», закрывают всех сразу и вместе с обучением моделей отключают себя от поисковых ответов.

Четвёртая строка относится не к OpenAI, а к Microsoft, но без неё картина неполная.

Для B2B-сайта рабочая схема такая. GPTBot закрывайте, если не хотите отдавать тексты на обучение. OAI-SearchBot оставляйте открытым всегда. Настройки независимы друг от друга: закрыв GPTBot, вы остаётесь в поисковых ответах.

Проверки 1 и 2: robots.txt и защита сервера 🚧

Типичная история после запуска нового сайта. На тестовом стенде разработчик поставил Disallow: /, чтобы черновик не попал в поиск. На боевом домене для Яндекса добавили отдельный блок с разрешением, а общее правило для остальных ботов осталось прежним. Владелец увидел трафик из Яндекса и решил, что всё в порядке. Но остальные роботы, включая ботов OpenAI, получают отказ, поэтому в нейросети сайта нет.

Проверка 1: robots.txt

1. ✓Откройте ваш-домен/robots.txt в браузере.
2. ✓Найдите блок User-agent: * и посмотрите, нет ли под ним строки Disallow: /. Она закрывает весь сайт.
3. ✓Проверьте, есть ли отдельные блоки для OAI-SearchBot, GPTBot и ChatGPT-User и что в них написано.
4. ✓Убедитесь, что закрыты только служебные разделы: корзина, личный кабинет, поиск по сайту. Каталог, услуги, цены и статьи должны быть открыты.

Минимальный вариант для сайта, который хочет в поиск ChatGPT, но не на обучение: блок User-agent: GPTBot с правилом Disallow: / и блок User-agent: OAI-SearchBot с правилом Allow: /. Общие правила для User-agent: * остаются, но без Disallow: /.

Проверка 2: ответ сервера

Бывает, что в robots.txt всё разрешено, а бот всё равно не доходит. Хостинг, CDN или антибот-защита отдают незнакомому user-agent код 403 или страницу с капчей. Яндекс и Google обычно стоят в белом списке, боты OpenAI нет. Откройте логи веб-сервера и найдите обращения OAI-SearchBot и GPTBot. Если за несколько недель нет ни одного обращения или на каждое приходит 403, режет защита. OpenAI публикует списки IP-адресов своих ботов, по ним настраивают исключения. Если сайт стоит на вашем сервере, это правка в настройках защиты.

Проверка 3: что остаётся от страницы без JavaScript 📄

Сайт на современном фреймворке, карточки услуг с анимацией. В браузере всё на месте. Отключаешь JavaScript, и остаётся белый экран с надписью «Загрузка». Примерно это получает бот, который читает HTML из ответа сервера и скрипты не запускает.

Не рассчитывайте, что бот OpenAI выполнит ваш скрипт и дождётся подгрузки. Закладывайтесь на обратное. Если цены, описания услуг и контакты приходят отдельным запросом уже после загрузки страницы, для бота этих данных нет, и цитировать ему нечего.

Проверить можно за минуту: откройте страницу услуги, нажмите Ctrl+U и поищите в исходном коде заголовок и цену. Есть в коде, значит бот прочтёт. Нет, значит текст рисует скрипт. Ту же проблему создают прайсы в виде картинок: текст на изображении бот не прочитает, поэтому дублируйте цены в HTML.

Лечится это серверным рендерингом или предварительной генерацией страниц: сервер отдаёт готовый HTML, а скрипт только оживляет интерфейс. На готовом сайте это доработка, которую оценивают по объёму. Проверка рендеринга есть в аудите сайта: мы смотрим страницы так, как их видит бот без скриптов.

Проверки 4 и 5: индекс Bing и текст, который можно процитировать ✍️

Проверка 4: сайт в Bing

Зарегистрируйте сайт в Bing Webmaster Tools. Подтвердить права можно импортом из Google Search Console или мета-тегом. Затем загрузите sitemap.xml и откройте отчёт об индексации. Если страниц услуг там нет, разбирайтесь с этим раньше всего остального. Ускорить обход помогает протокол IndexNow: его поддерживают Bing и Яндекс, так что одна настройка работает на обоих.

Проверка 5: страница отвечает на вопрос

ChatGPT цитирует фрагменты, которые отвечают на вопрос целиком. Если на странице услуги после трёх абзацев про «команду профессионалов» сразу идёт форма заявки, цитировать нечего. Сверьтесь со списком:

• ✓ответ на главный вопрос клиента стоит в первых абзацах, а не в середине страницы;
• ✓цена, срок, регион работы и условия написаны в тексте цифрами и словами;
• ✓заголовки повторяют вопросы, которые клиенты задают по телефону;
• ✓в разметке Schema.org описаны организация и услуга;
• ✓на странице указаны юрлицо, ИНН и адрес в Москве, а дата обновления соответствует действительности.

Отдельно проверьте, что название, адрес и описание компании одинаковы на сайте, в справочниках и на картах. Так бот легче понимает, что перед ним одна и та же фирма.

Что делаем мы и что получаете вы 🧰

Пять проверок из статьи можно пройти самостоятельно за вечер. Труднее то, что идёт после: править robots.txt в CMS, вносить ботов в белый список защиты, переводить готовый сайт на серверный рендеринг. Здесь нужен разработчик или администратор, а не только SEO-специалист.

В аудите сайта по 9 направлениям мы проходим эти пункты вместе с остальной технической частью: индексацией, ответами сервера, скоростью, структурой страниц. На выходе вы получаете список проблем, расставленных по срочности: что закрывает доступ ботам и чинится первым, а что подождёт до следующего месяца. Актуальные условия есть на странице цен и тарифов.

Если сайт стоит в топе Яндекса, а в ответах нейросети вас нет, начните с robots.txt: файл открывается за минуту. Когда там чисто, а результата нет, причина глубже, и её ищут в логах сервера и в исходном коде страниц.

❓ Частые вопросы

Нужно ли пускать GPTBot, чтобы попасть в ответы ChatGPT?

Нет. GPTBot собирает тексты для обучения моделей, а за поисковые ответы отвечает OAI-SearchBot. Если не хотите отдавать контент на обучение, закройте GPTBot в robots.txt и оставьте открытым OAI-SearchBot. Эти настройки OpenAI считывает независимо друг от друга, поэтому в поисковых ответах вы останетесь.

Как понять, что боты OpenAI заходят на сайт?

Откройте логи веб-сервера и найдите обращения с user-agent OAI-SearchBot, GPTBot и ChatGPT-User. Смотрите на коды ответа: 200 означает, что страница отдана, 403 или 429 говорят о том, что защита сервера режет бота. Если доступа к логам нет, запросите выгрузку у хостинг-провайдера.

Гарантирует ли аудит, что ChatGPT начнёт упоминать компанию?

Нет, и любое обещание гарантии стоит считать красным флагом. Аудит убирает технические причины, из-за которых бот вас не видит: закрытый доступ, пустой HTML, отсутствие в индексе. Будет ли ChatGPT называть компанию, зависит от содержания страниц и от того, что о вас пишут другие сайты.

Чем аудит под ChatGPT отличается от обычного SEO-аудита?

Основа общая: индексация, скорость, структура страниц. Для ChatGPT добавляются проверки: robots.txt по ботам OpenAI, ответы сервера на незнакомые user-agent, читаемость страницы без JavaScript, наличие сайта в индексе Bing и текст, из которого можно вырезать готовый ответ на вопрос клиента. Аудит под Яндекс их не требует.

Что делать, если сайт на конструкторе и я не могу править robots.txt?

Сначала проверьте настройки SEO в панели конструктора: у многих есть поле для robots.txt. Если правки недоступны, откройте файл по адресу ваш-домен/robots.txt и посмотрите, что в нём стоит сейчас. Когда закрыто лишнее, а править нечем, вопрос к поддержке платформы или повод переехать на площадку, где файл под вашим контролем.