Дубли страниц от фильтров каталога: как мы нашли и закрыли лишние URL

Дубли страниц каталога возникают не от «плохого SEO», а от параметров URL: сортировки, фильтров, пагинации, utm-меток. Яндекс индексирует каждый вариант ссылки как отдельную страницу, размывает вес между копиями и тратит на них бюджет обхода вместо карточек товара. Решение — закрыть параметры через Clean-param, canonical и robots.txt, а не переписывать контент.

первый сигнал: трафик на карточки упал, хотя бренд держится

Оптовый интернет-магазин крепежа и метизов в Москве, около 4000 товарных позиций в каталоге. Менеджер по маркетингу заметил в Яндекс.Метрике, что визиты на карточки товаров из групп «саморезы» и «дюбели» снижаются третью неделю подряд, хотя брендовый трафик и переходы по названию компании держатся на прежнем уровне. Первая мысль — сбой хостинга или ручные санкции. Открыли Яндекс.Вебмастер, раздел «Индексирование», и статистику обхода: количество URL в индексе оказалось в несколько раз больше, чем реальных товарных карточек в каталоге. Это и был первый настоящий симптом, а не падение позиций само по себе.

что оказалось внутри: три источника лишних URL

При выгрузке списка проиндексированных страниц через оператор site: и отчёт обхода в Вебмастере нашли три группы дублей одного и того же контента:

• ✓параметры сортировки — ?sort=price_asc, ?sort=name_desc и похожие, которые генерировали кнопки сортировки в каталоге
• ✓параметры фасетного фильтра — ?filter[brand]=..., ?in_stock=1, комбинации которых умножались на количество брендов и складов
• ✓utm-метки от рекламных кампаний и страницы пагинации без канонической ссылки на первую страницу категории

Каждая комбинация параметров вела на тот же список товаров, что и страница без параметров. Но Яндекс индексировал её как отдельный документ со своим сниппетом и своей историей обхода — и именно поэтому дублей оказалось на порядок больше, чем ожидал маркетолог.

почему robots.txt и canonical не остановили рост дублей

В файле robots.txt было правило на закрытие utm_source, а на карточках товаров стоял rel canonical, указывающий на страницу категории без параметров. По логике этого хватало. Но фильтры на сайте генерировал JS-виджет, и параметры добавлялись в разном порядке: ?filter[brand]=x&in_stock=1 и ?in_stock=1&filter[brand]=x — для робота это два разных адреса. Оба получали внутренние ссылки из карточек товаров и других страниц категории быстрее, чем робот успевал сверить canonical на каждой из них. Поэтому число дублей росло быстрее, чем поисковик их вычищал: на каждую закрытую ссылку виджет фильтра при переходе пользователя добавлял две новых.

что теряет магазин, пока дубли копятся

Пока никто не трогал параметры фильтров, магазин терял не позиции сами по себе, а конкретные вещи. Новые карточки товаров — например, партия новых крепежных изделий — попадали в индекс с задержкой, потому что бюджет обхода уходил на бесконечные комбинации сортировки и фильтра. Несколько дублей одной категории конкурировали друг с другом в выдаче по одному и тому же запросу, и ни один не набирал веса, чтобы обойти конкурентов. Маркетолог тратил время не на новые описания и фото, а на объяснение падения трафика руководству и разбор отчётов обхода.

Три месяца это никто не трогал, потому что визуально всё выглядело нормально: страница открывалась, товар отображался, ошибка не бросалась в глаза ни разработчику, ни менеджеру. Подобные вещи обычно всплывают на плановом техническом аудите сайта, а не в момент, когда трафик уже упал и нужно тушить пожар.

⚙️ как выбирали способ закрытия — сравнение четырёх вариантов

Обычно параметрические дубли предлагают закрыть одним универсальным способом. На практике для каталога с фасетной навигацией разумнее комбинировать два-три метода, а не полагаться на один — у каждого свои ограничения.

что показал повторный обход через три недели

После того как в Яндекс.Вебмастере настроили Clean-param для параметров sort и filter, закрыли страницы пагинации через meta robots noindex, follow и обновили canonical на всех вариантах карточек, отчёт обхода стал показывать снижение количества дублирующихся URL с каждым новым заходом робота. Новые карточки товаров начали попадать в индекс за дни, а не за недели. Трафик на карточки саморезов и дюбелей вернулся к уровню, который был до начала падения. Отдельно показательно, что робот стал чаще заходить на страницы без параметров — бюджет обхода освободился для реальных товаров вместо мусорных комбинаций фильтра.

как ищем такие дубли в аудите сайта ukved.ru

Эта история типична: чинили один симптом, а рядом с дублями от параметров почти всегда живут другие — версии с www и без www, http и https, страницы для печати, забытые тестовые поддомены с копией каталога. В техническом блоке аудита сайта по 9 направлениям эти источники проверяются вместе, а не по одной жалобе клиента на упавший трафик.

На выходе — не общий отчёт «у вас есть дубли», а список конкретных URL с указанием причины дублирования и рекомендацией: canonical, Clean-param, robots.txt или объединение страниц на уровне шаблона. Сроки и стоимость такого аудита под конкретный каталог можно посчитать на странице тарифов — объём работ зависит от количества товарных позиций и того, насколько запущена ситуация с параметрами.

❓ Частые вопросы

Как быстро дубли страниц от фильтров влияют на позиции в Яндексе?

Влияние накапливается за недели, а не за один день: робот постепенно тратит бюджет обхода на дубли вместо новых страниц, и новые карточки товаров начинают индексироваться с задержкой. Заметное падение трафика на конкретные категории — обычно признак, что дубли копились уже месяц-два.

Можно ли закрыть дубли от параметров только через robots.txt, без canonical?

Можно, но это не убирает уже проиндексированные страницы — они держатся в индексе месяцами. Robots.txt останавливает обход новых дублей, а уже попавшие в индекс страницы нужно закрывать через Clean-param в Яндекс.Вебмастере или meta robots noindex, follow.

Что делать с дублями от utm-меток в рекламных кампаниях?

Utm-метки не должны индексироваться в принципе. Обычно достаточно правила в robots.txt на параметр utm_source и canonical на версию без параметров. Если такие страницы уже в индексе, дополнительно нужен Clean-param в Яндекс.Вебмастере.

Как проверить, есть ли дубли на моём сайте, без сложных инструментов?

Простой способ — сравнить количество страниц в индексе в Яндекс.Вебмастере с реальным числом товаров или статей на сайте. Если цифра в индексе заметно выше, скорее всего в поиске гуляют версии с параметрами сортировки, фильтра или пагинации.

Входит ли поиск дублей страниц в аудит сайта ukved.ru?

Да, это часть технического блока аудита по 9 направлениям. Проверяются дубли от параметров, версий www/без www, http/https, страниц печати и поддоменов — результат оформляется как список конкретных URL с причиной и способом устранения для каждого.