Технический аудит сайта для ИИ: что проверить, чтобы нейросети читали ваш сайт

Нейросети отвечают на вопросы пользователей и всё чаще ссылаются на сайты. В ответ попадает только та страница, которую бот смог открыть, прочитать и понять. Технический аудит сайта для ИИ проверяет именно это: пускает ли сайт ботов, отдаёт ли текст без JavaScript, однозначно ли описывает компанию, цены и контакты.

Ниже разобрали, что входит в такой аудит, когда он нужен и как закрыть основные проблемы самостоятельно. Во второй половине статьи описали, как мы проводим аудит в UKVED.

Что такое технический аудит сайта для ИИ

Под «ИИ» здесь понимаем три сценария: поиск с нейросетевыми ответами и ссылками на источники, чат-ассистенты, которые открывают страницы по запросу пользователя, и сбор данных для обучения моделей. Во всех трёх случаях бот сначала обращается к вашему серверу, и от ответа сервера зависит всё остальное.

Классический SEO-аудит отвечает на вопрос «почему сайт не растёт в Яндексе и Google». Аудит для ИИ задаёт соседний вопрос: «может ли нейросеть получить из сайта точный ответ». Пересечение большое: скорость, коды ответа, карта сайта и разметка работают в обоих сценариях. Но есть три отличия.

• Боты другие. У OpenAI, Anthropic, Perplexity, Google и Яндекса свои user-agent, и каждый сайт сам решает, кого пускать.
• Рендеринг проще. Многие ИИ-боты не выполняют JavaScript. Если текст появляется в браузере только после загрузки скриптов, бот получает пустую оболочку.
• Нужны факты, а не позиции. Модель берёт со страницы утверждения: цену, срок, адрес, условия. Противоречия между страницами повышают риск, что модель возьмёт устаревшее значение или пропустит сайт.

Когда сайту нужен технический аудит для ИИ

Запускайте аудит, если замечаете хотя бы один признак:

• Нейросеть называет неверные цены, адрес или услуги, когда её спрашивают о вашей компании.
• Конкуренты появляются в ответах ИИ-поиска, а ваш сайт нет, хотя в обычной выдаче позиции близкие.
• Вы недавно сменили движок, перешли на SPA-фреймворк или подключили защиту от ботов: WAF, CDN, капчу.
• После переезда на боевой сайт попал тестовый robots.txt или метатег noindex.
• Сайт берёт каталог, цены или остатки из 1С, и данные на страницах расходятся с учётной системой.
• В логах сервера много запросов от ботов с кодами 403, 429 или 5xx.
• Вы запускаете новый раздел и хотите заложить требования сразу, а не переделывать потом.

Как ИИ-боты обращаются к сайту

Запросы от нейросетей различаются по цели. От цели зависит, что вы настраиваете.

Бот получает HTML и часто не ждёт загрузки скриптов, не принимает cookie-баннеры и не проходит капчу. Закрыть обучающих ботов и пустить поисковых — рабочая стратегия, но принимать это решение нужно осознанно. Чаще доступ закрывается случайно: общим правилом Disallow: / для неизвестных агентов или настройкой WAF, о которой все забыли.

Что входит в технический аудит: чек-лист

Аудит идёт сверху вниз. Сначала проверяем, что бот вообще получает страницу, потом — что он из неё извлекает.

Доступ для ботов

• robots.txt. Правила для GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended и ботов Яндекса. Проверяем, что общие правила не закрывают нужные разделы.
• WAF, CDN и антибот-защита. Фильтры часто режут незнакомые user-agent или выдают капчу. Сверяем настройки с логами.
• Геофильтры. Если сайт закрывает зарубежные IP-адреса, часть ботов получает отказ. Это одна из причин невидимости для сайтов, которые закрылись от зарубежного трафика.
• Коды ответа. Нужные страницы возвращают 200, редиректы идут в один шаг, несуществующие адреса отдают 404, а не «мягкую» ошибку с кодом 200.

Рендеринг и структура страницы

• Основной текст, цены и контакты лежат в HTML-ответе сервера, а не подгружаются скриптом.
• Заголовки H1–H3 идут по порядку и отражают структуру ответа, а таблицы размечены как таблицы, а не вставлены картинкой.
• Ключевые данные не прячутся во вкладках, которые открываются только по клику, и не лежат в PDF без текстового слоя.

Разметка и однозначность данных

• Schema.org: Organization, LocalBusiness, Service, Product, Article, FAQPage — по типу страницы. Проверяем валидность и совпадение с видимым текстом.
• Название компании, адрес, телефон, цены и реквизиты совпадают на всех страницах и во внешних карточках.
• Canonical и пагинация не создают дубли, которые путают бота.

Структура контента для цитирования

• Прямой ответ на главный вопрос страницы стоит в первых абзацах, а не в конце.
• Определения, сроки и условия оформлены короткими утверждениями, которые модель может процитировать без правок.
• На странице указаны дата обновления и источник данных.

Скорость и служебные файлы

• Время ответа сервера под нагрузкой от ботов: долгие запросы бот обрывает и уходит.
• sitemap.xml с реальными датами изменений в lastmod.
• llms.txt: общепринятого стандарта нет, и крупные поисковики не обещают его учитывать. Добавляем файл как недорогое дополнение, но не считаем решающим фактором.

Как исправить основные проблемы самостоятельно

Идите в том же порядке, что и аудит: доступ, рендеринг, разметка, контент. Если бот не может открыть страницу, остальные правки ничего не изменят.

1. Откройте robots.txt и решите отдельно про обучающих ботов и отдельно про поисковых.
2. Выгрузите логи сервера за две–четыре недели и найдите запросы с user-agent GPTBot, ClaudeBot, PerplexityBot. Посмотрите, какие коды получили боты.
3. Отключите JavaScript в браузере и откройте ключевые страницы. Всё, что исчезло, бот может не увидеть.
4. Проверьте разметку в валидаторе Schema.org и в инструментах вебмастера Яндекса и Google.
5. Соберите цены, адреса и условия со всех страниц в одну таблицу и сверьте с источником данных: прайсом или 1С.
6. Поставьте в sitemap.xml актуальные даты и обновляйте их только при реальных правках.

Эти шаги закрывают самые частые проблемы. Сложнее, когда сайт собран на нестандартном движке, стоит за несколькими прокси или обменивается данными с учётной системой: тогда проверке мешает отсутствие доступа к серверу и логам.

Аудит сайта, который работает с 1С

Интернет-магазины, личные кабинеты и каталоги часто берут данные из 1С. ИИ-бот видит то, что отдал сайт, и не знает, что в учёте цена уже другая. Типичные причины расхождений:

• обмен с 1С запускается раз в сутки или падает без уведомления;
• карточки товаров кэшируются дольше, чем обновляются остатки;
• выгрузка создаёт дубли карточек с разными адресами;
• медленный сервер 1С задерживает ответ, и страница отдаёт ошибку.

Такие случаи мы разбираем вместе с обменом. Если логику выгрузки нужно переписать, подключаем разработку на 1С. Если 1С только внедряется и вы выбираете схему обмена с сайтом, начните с внедрения 1С. Когда причина в мощности инфраструктуры, переносим базу на отдельный сервер: сервер 1С стоит от 3300 руб/мес, аренда 1С — от 1100 руб/мес.

Как проходит технический аудит сайта для ИИ в UKVED

Мы проводим аудит для компаний в Москве, большую часть работы делаем удалённо. Процесс состоит из пяти шагов.

1. Бриф. Уточняем цели, важные разделы, источник данных для каталога и того, кто администрирует сервер.
2. Доступы. Просим логи сервера, доступ к панелям вебмастера и просмотр настроек CDN и WAF.
3. Проверка. Запрашиваем страницы с user-agent разных ботов, сравниваем HTML-ответ с отрисованной страницей, валидируем разметку, сверяем данные.
4. Отчёт. Список проблем по приоритету: критично, важно, желательно. К каждой — примеры URL и конкретная правка.
5. Передача в работу. Отдаём техзадание вашим разработчикам или вносим правки сами.

Стоимость аудита зависит от размера сайта, числа шаблонов и интеграций, поэтому называем её после брифа. Условия работы и ставки собраны на странице тарифов. Если правки требуют системного администратора, час работы стоит 3800 руб.

Что вы получите по итогам аудита

• Список ошибок по приоритету с адресами страниц и ответами сервера.
• Готовые правила для robots.txt и рекомендации по настройке WAF и CDN.
• Шаблоны разметки Schema.org под ваши типы страниц.
• Перечень противоречий в данных с указанием источника.
• План работ со сроками и ответственными.

После внедрения правок проверяем сайт по тому же сценарию, чтобы вы видели разницу в ответах сервера и логах. Нейросети обновляют данные с разной частотой, поэтому мы не обещаем дату появления сайта в ответах. Гарантируем другое: технических препятствий для ботов не останется.

Частые вопросы