Сайт в топе Яндекса, а нейросеть называет конкурентов: что проверить

Нейросеть пропускает коммерческий сайт по четырём причинам: её робот заблокирован в robots.txt или на сервере, цены и услуги появляются только после работы JavaScript, на странице нет короткого прямого ответа, а реквизиты компании в разных местах не совпадают. Каждую причину можно проверить за вечер без разработчика.

Почему топ Яндекса не гарантирует место в ответе нейросети

Представьте компанию по аренде спецтехники в Москве. Директор вводит в нейросеть вопрос «где арендовать мини-экскаватор на неделю» и получает три названия. Своей компании среди них нет, хотя по этому запросу сайт стоит в первой тройке Яндекса. Подрядчик по SEO присылает скриншот позиций, и скриншот настоящий.

Но выдача и ответ нейросети собираются по-разному. Поисковик ранжирует страницы по множеству сигналов. Нейросеть с доступом в интернет отправляет робота за текстом, вырезает фрагменты, которые отвечают на вопрос, и пересобирает их в ответ. Если робота не пустили, страница пришла пустой или ответ спрятан под слоганом, фрагментов нет, и в ответ попадает конкурент, чей сайт прочитался.

Цена такого молчания считается в заявках. Клиент, получивший от нейросети три названия, обычно начинает обзвон с них. Запросы, которые раньше приводили вас с поиска, теперь частично заканчиваются в чате, и вас там нет. Точную долю потерь не назовёт никто: она зависит от ниши и от того, как ищут ваши клиенты. Зато причины почти всегда технические и проверяются быстро.

Одно ограничение лучше назвать сразу. Часть знаний нейросеть берёт из собственного обучения, и повлиять на них быстро нельзя. Другая часть приходит из поиска в момент вопроса, и вот здесь сайт можно подготовить. Ответы Яндекса с нейросетью опираются на его поисковый индекс, поэтому статус ключевых страниц в Яндекс Вебмастере проверьте до всего остального. Гарантировать упоминание в ответах не может ни один подрядчик. Аудит убирает технические препятствия, а решение о цитировании остаётся за алгоритмом.

🤖 Проверка 1: кого вы выставили за дверь в robots.txt и на сервере

Откройте адрес вашего сайта с окончанием /robots.txt. Ищите две вещи. Первая: строку Disallow: / под User-agent: *, оставшуюся со времён тестовой версии. Вторая: отдельные блоки для роботов нейросетей. Самые частые названия: GPTBot, OAI-SearchBot и ChatGPT-User у OpenAI, ClaudeBot у Anthropic, PerplexityBot у Perplexity.

Роботы делятся по задачам, и решение по ним разное. Одни собирают тексты для обучения моделей (например, GPTBot), другие приходят за страницей в момент вопроса пользователя (OAI-SearchBot, ChatGPT-User). Коммерческому сайту, который хочет попадать в ответы, закрывать вторых невыгодно. Закрывать ли первых, вопрос вашей политики по контенту, единого правильного ответа нет.

Теперь вторая половина проверки, которую пропускают чаще. Файл robots.txt только просит, а запретить может защита сайта: настройки хостинга, антибот-фильтр, правила в панели CDN. Такая защита иногда отвечает незнакомым роботам кодом 403 или 429 либо показывает капчу, пока robots.txt выглядит безупречно. Запросите главную страницу с User-Agent одного из роботов через curl или расширение браузера и сравните код ответа с обычным. Если коды разные, робот до сайта не дошёл.

И в обратную сторону. Не открывайте роботам то, что не должно быть публичным: личные кабинеты, страницы заказов, выгрузки с контактами клиентов. Персональные данные в открытом доступе остаются предметом 152-ФЗ независимо от того, кто их читает: поисковик, нейросеть или конкурент.

🧩 Проверка 2: что остаётся на странице без JavaScript

Вы открываете страницу «Цены» на красивом сайте, и на вид там всё есть: калькулятор, вкладки, карточки тарифов. Теперь отключите JavaScript в настройках браузера или нажмите Ctrl+U и посмотрите исходный код. Если вместо цен там пустой блок и надпись «Загрузка», робот увидит ровно это.

Часть роботов нейросетей скрипты не выполняет, часть выполняет не всегда, а надёжных публичных сведений на этот счёт нет. Поэтому ориентируйтесь на худший случай: всё важное должно лежать в HTML, который сервер отдаёт сразу. В этот минимум входят название и описание услуги, цена или её формула, регион работы, телефон, адрес, условия оплаты и сроки.

Что чаще всего прячет текст от робота:

• ✓цены в картинках и в PDF-сканах без текстового слоя;
• ✓тарифы, которые подгружаются запросом к API после клика по вкладке;
• ✓всплывающее окно или проверка «вы не робот», закрывающая страницу раньше, чем загрузится текст;
• ✓контент, который вставляется в страницу только после выбора города.

Если сайт собран на конструкторе или самописной системе, исправление упирается в отрисовку страниц. Обычно хватает серверной отрисовки (SSR) для страниц услуг и цен или их статичных копий. Что выбрать, зависит от движка, и это задача для разработчика, а не для маркетолога.

✍️ Проверка 3: есть ли на странице ответ, который читается без контекста

Нейросеть вынимает из страницы фрагмент и показывает его отдельно от остального сайта. Фрагмент должен работать в одиночку. Возьмите страницу главной услуги и прочитайте два первых абзаца под заголовком так, будто больше ничего не видели. Понятно, что вы делаете, для кого, где и на каких условиях?

Типичный провал выглядит так. Первый экран занимает слоган «Мы заботимся о каждом клиенте», ниже идут преимущества в иконках, а сама услуга называется на третьем скролле. Рабочий вариант для той же страницы: «Выездной ремонт офисных серверов в Москве. Диагностика на месте, стоимость называем после неё, условия гарантии прописаны в договоре». Это пример для иллюстрации, условия подставьте свои, но каркас остаётся: что, где, как считается цена, что в договоре.

Ещё четыре правки на том же шаге:

• ✓Заголовки H2 формулируйте как вопросы клиентов: «Сколько стоит выезд», «Как быстро приедете». В первых двух предложениях под ними давайте ответ.
• ✓Цену пишите текстом с единицей и условием: за выезд, за час, за пользователя в месяц. Фразу «доступные цены» нейросеть процитировать не может.
• ✓Сравнения и тарифы верстайте таблицей, а не картинкой.
• ✓Ставьте дату обновления прайса и страницы: устаревший прайс нейросеть может выдать за действующий.

Отдельно о разметке Schema.org (Organization, LocalBusiness, Service, FAQPage). Она связывает цену с услугой, а адрес с организацией на языке, понятном машинам. Поисковики используют такую разметку давно. Какие её части учитывает конкретная нейросеть, публично не раскрывают, поэтому считайте разметку недорогой страховкой, а не рычагом.

🔎 Проверка 4: что о вас сообщают источники за пределами сайта

Нейросеть редко опирается на один сайт. Она сопоставляет его с картами, справочниками, отзывами и профилями компании в Telegram и ВКонтакте. Если сайт говорит одно, а справочник другое, нейросеть не знает, какой версии верить.

Заведите таблицу на листе: название юрлица и бренда, адрес, телефон, часы работы, ИНН, ориентиры по ценам. Сверьте строки с сайтом, Яндекс Бизнесом, 2ГИС, картами, профилями в Telegram и ВКонтакте и отраслевыми каталогами. Находки обычно одни и те же: переехали, а в одном каталоге старый адрес; два телефона, один из которых давно не отвечает; в каталоге прайс двухлетней давности. Каждое расхождение исправьте на месте. На сайте заведите страницу «О компании» с реквизитами, адресом и перечнем услуг.

⚖️ Сделать самому, заказать правки или аудит: сравнение четырёх путей

Четыре проверки выше закрывают основу. Дальше вы решаете, как довести сайт до результата и кто будет править.

Начните с проверок 1 и 2: на них уходит примерно час, а самые дорогие ошибки прячутся именно там. Закрытый робот или цена в скрипте лишают смысла любые правки текстов.

Что вы получите в нашем аудите и как узнать стоимость

Аудит сайта у нас идёт по 9 направлениям. Под задачу видимости для ИИ мы берём из него техническую часть и контент и добавляем четыре проверки из этой статьи: доступ роботов на уровне сервера, текст без JavaScript, самодостаточные ответы на страницах услуг и сверку с внешними источниками.

На выходе вы получаете список найденных проблем с порядком исправления по влиянию на заявки и формулировки задач, которые можно отдать вашему разработчику или нам. От автоматического сканера это отличается тем, что мы смотрим на страницы, которые продают: услуги, цены, форму заявки, контакты. Сайт с отличной скоростью, но с ценой в картинке получит у нас высокий приоритет на правку именно этой цены.

Стоимость зависит от размера сайта и числа типов страниц, поэтому единой цифры мы не называем. Актуальные цены опубликованы на странице тарифов. Если хотите начать с проверки вашего сайта, оставьте заявку на странице аудита сайта. Гарантий попадания в ответы нейросетей мы не даём и не советуем верить тем, кто даёт.

❓ Частые вопросы

Как проверить, видит ли нейросеть мой сайт?

Откройте robots.txt и убедитесь, что роботы нейросетей не закрыты, затем запросите страницу с их User-Agent и сравните код ответа с обычным. После этого отключите JavaScript и проверьте, остались ли на странице цены и услуги. Если текст виден в исходном коде, робот его прочитает.

Нужно ли открывать сайт всем роботам нейросетей?

Зависит от цели. Роботы поиска приходят за страницей в момент вопроса пользователя, и их закрытие лишает вас упоминаний в ответах. Роботов, собирающих тексты для обучения, закрывают те, кто не хочет отдавать контент. Личные кабинеты и страницы с персональными данными закрывайте от всех роботов.

Гарантирует ли аудит, что нейросеть начнёт упоминать компанию?

Нет, гарантию не даст ни один подрядчик: правила отбора источников алгоритмы не раскрывают. Аудит убирает технические препятствия: закрытый доступ, пустой для робота текст, расхождения в данных о компании. Это необходимое условие попадания в ответы, но решение о цитировании принимает сама нейросеть.

Что делать, если цены на сайте подгружаются скриптом?

Попросите разработчика отдавать цены в HTML сразу: серверной отрисовкой страниц услуг или статичной копией раздела с ценами. До исправления продублируйте цены текстом на странице услуги. Калькулятор на скрипте можно оставить, но ориентиры по стоимости должны лежать в тексте страницы.

Сколько стоит аудит коммерческого сайта?

Стоимость зависит от размера сайта и числа типов страниц, единой цифры нет. Актуальные цены опубликованы на странице тарифов ukved.ru. Аудит идёт по 9 направлениям, а проверки доступности для нейросетей добавляются к технической части и контенту.