Параметры URL и UTM-метки: как не засорить индекс мусором
Параметры URL — это тихий разрушитель индекса, который превращает один полезный товар в сотню бесполезных дублей. Фильтры, сортировки, пагинация, сессии и особенно рекламные UTM-метки плодят адреса с одинаковым содержимым, съедают краулинговый бюджет и заставляют поисковик метаться между копиями. На крупном интернет-магазине параметрические дубли могут составлять девяносто процентов всех просканированных URL, при том что реальной поисковой ценности в них ноль. В этом руководстве разберём, какие бывают параметры, чем они вредят, и как с ними бороться по-разному в Яндексе и Google.
Какие бывают параметры URL
Параметр — это всё, что идёт после знака вопроса в адресе. Например, в URL site.ru/katalog/?color=red&sort=price параметров два: color и sort. Параметры выполняют разные функции, и относиться к ним нужно по-разному.
- Фильтры — ?color=red, ?brand=nike. Сужают выборку товаров по характеристике.
- Сортировки — ?sort=price, ?order=desc. Меняют порядок вывода, но не состав.
- Пагинация — ?page=2. Разбивает длинный список на страницы.
- Сессионные — ?sid=abc123, ?PHPSESSID=. Идентифицируют сессию пользователя.
- UTM-метки — ?utm_source=yandex&utm_medium=cpc. Отслеживают источники рекламного трафика.
Ключевое различие: одни параметры меняют контент существенно (некоторые фильтры формируют осмысленную выборку под спрос), а другие не меняют его вовсе (UTM-метки, сессии, большинство сортировок). Именно вторая группа — главный источник мусора в индексе.
Как параметры плодят дубли и съедают бюджет
Представьте категорию с тремя фильтрами по цвету, размеру и бренду, каждый с десятком значений, плюс четыре варианта сортировки. Комбинаторика даёт тысячи уникальных URL, каждый из которых робот воспринимает как отдельную страницу. Добавьте UTM-метки из рекламных кампаний — и одна категория порождает десятки тысяч адресов с практически идентичным контентом.
Последствия двойные. Во-первых, краулинговый бюджет — лимит страниц, которые робот готов обойти за визит, — тратится на бесполезные комбинации вместо новых товаров и важных страниц. Робот может неделями ходить по фильтрам, так и не добравшись до свежих карточек. Подробно механика расхода бюджета разобрана в материале об оптимизации краулингового бюджета и обхода. Во-вторых, вес ссылок и поведенческие сигналы размываются между копиями, и ни одна версия не получает достаточной силы для хорошего ранжирования.
Каждый параметр, не меняющий контент, — это потенциальный дубль. Сто меток на одной странице означают сто конкурентов самой себе.
Почему UTM-страницы попадают в индекс и чем это вредит
UTM-метки добавляются к ссылкам в рекламе, email-рассылках и постах в соцсетях для отслеживания источников трафика в системах аналитики. Сами по себе они безвредны для пользователя, но опасны для SEO. Когда человек делится ссылкой с UTM-меткой, ставит её на сторонний сайт или метка попадает в карту сайта по ошибке, поисковик находит этот адрес и индексирует его как отдельную страницу.
В результате в выдаче появляются страницы с длинными хвостами параметров вместо чистых URL. Это портит вид сниппета, размывает сигналы и создаёт дубли. Хуже того, если рекламная посадочная с UTM-меткой проиндексировалась и набрала вес, чистая версия страницы может проигрывать ей в ранжировании — абсурдная ситуация, когда страница конкурирует сама с собой. Эта проблема — частный случай более общей темы, описанной в гайде о том, как найти и устранить дублированный контент.
Решения: чем чистить индекс от параметров
Существует арсенал инструментов, и правильный выбор зависит от типа параметра и поисковой системы.
Canonical на чистый URL
Самый универсальный приём: каждая параметрическая страница содержит canonical, указывающий на чистую версию без параметров. Адрес ?utm_source=yandex каноничен на адрес без меток. Это работает и в Яндексе, и в Google. Детально механика канонизации разобрана в гайде по canonical URL и rel=canonical. Важно: canonical не запрещает обход, поэтому бюджет он экономит не полностью, но консолидирует сигналы.
Директива Clean-param для Яндекса
Яндекс предлагает мощный инструмент — директиву Clean-param в файле robots.txt. Она сообщает роботу, какие параметры игнорировать при обходе, склеивая все вариации с чистым URL. Синтаксис: Clean-param: utm_source&utm_medium&utm_campaign для всего сайта, либо с указанием пути. Например, строка Clean-param: sort /katalog/ скажет Яндексу не различать страницы каталога по параметру sort.
Clean-param эффективнее canonical для Яндекса, потому что напрямую экономит краулинговый бюджет: робот вообще не обходит параметрические версии. Правильное оформление этой директивы и всего файла описано в руководстве о том, как настроить robots.txt и sitemap.xml.
Управление параметрами в Google
Раньше в Google Search Console был отдельный инструмент параметров URL, но он закрыт. Сегодня для Google остаётся два рычага: корректный canonical на чистую версию и единообразие внутренних ссылок. Если все ссылки на сайте ведут на чистые URL без параметров, а параметрические версии каноничны на них, Google со временем сам разберётся и сконцентрирует сигналы на правильных адресах.
Noindex и robots.txt
Для заведомо бесполезных комбинаций фильтров можно применить noindex, follow — страница не попадёт в индекс, но ссылки на товары останутся живыми. Закрытие в robots.txt уместно лишь тогда, когда вы точно не хотите, чтобы робот тратил на эти URL обход, и при этом они уже не нужны в индексе. Помните о ловушке: нельзя одновременно закрывать в robots.txt и ставить noindex — робот не увидит вторую директиву.
Разница подхода: Яндекс против Google
Поскольку поисковики работают с параметрами по-разному, грамотная стратегия учитывает оба. Сведём различия в таблицу.
| Инструмент | Яндекс | |
|---|---|---|
| Clean-param в robots.txt | Поддерживается, рекомендуется | Не учитывается |
| rel=canonical | Учитывается | Учитывается, основной способ |
| Инструмент параметров в консоли | Нет | Закрыт |
| Экономия краулингового бюджета | Через Clean-param напрямую | Через единообразие ссылок |
Оптимальная связка для большинства сайтов: самоссылающийся canonical на чистые URL для обоих поисковиков плюс директива Clean-param для UTM-меток и сессионных параметров специально для Яндекса. Так вы покрываете обе системы их родными инструментами.
Как найти параметрические дубли
Прежде чем чистить, нужно понять масштаб проблемы. Есть три надёжных источника данных.
- Логи сервера — самый честный источник. В них видно, по каким URL реально ходит робот. Если в логах десятки тысяч заходов на адреса с UTM-метками и фильтрами, проблема налицо. Методика разбора описана в материале об анализе логов сервера для SEO.
- Google Search Console — отчёт об индексировании показывает проиндексированные параметрические URL и страницы, помеченные как дубли с выбранным каноническим адресом.
- Краулер Screaming Frog или Netpeak Spider при полном сканировании покажет всё дерево параметрических URL и позволит отфильтровать адреса с конкретными параметрами.
Хорошие и плохие параметры
Не все параметры — зло. Некоторые фильтры создают ценные посадочные страницы под реальный спрос. Запрос «купить красные кроссовки nike» — это спрос, и страница фильтра, отвечающая на него, должна быть в индексе и приносить трафик. Закрывать или каноникализировать её на общую категорию — потеря денег.
| Параметр | Решение | Почему |
|---|---|---|
| UTM-метки | Canonical + Clean-param | Не меняют контент, мусор |
| Сортировки | Canonical на чистый URL | Тот же состав, другой порядок |
| Сессии | Clean-param, не плодить | Полный мусор |
| Фильтр под спрос | Индексировать, ЧПУ | Отвечает на реальный запрос |
| Редкий фильтр без спроса | Canonical или noindex | Дубль без ценности |
Решение о том, какие комбинации фильтров превратить в полноценные индексируемые страницы, принимается на основе анализа спроса и подробно разбирается в материале о фасетной навигации и фильтрах в SEO. Ценные фильтры лучше переводить на человекопонятные URL, а не оставлять в виде параметров. Грамотная реализация такой системы — часть работ по доработке сайта.
Чек-лист по работе с параметрами
- Все параметрические URL имеют canonical на чистую версию.
- Для Яндекса настроена директива Clean-param для UTM и сессий.
- Внутренние ссылки ведут на чистые URL без параметров.
- UTM-метки не попадают в карту сайта.
- Ценные фильтры под спрос индексируются, желательно на ЧПУ.
- Бесполезные комбинации фильтров закрыты canonical или noindex.
- Проверены логи сервера на расход бюджета параметрами.
- Search Console не показывает параметрический мусор как проиндексированный.
- Сессионные параметры не генерируются в URL без необходимости.
- Сайт просканирован краулером для полной картины параметров.
Чистый индекс без параметрического мусора — это эффективный расход краулингового бюджета, сконцентрированные сигналы и стабильные позиции. Разобраться, какие из тысяч параметрических URL вашего магазина нужно закрыть, какие склеить, а какие превратить в трафиковые посадочные, — задача для опытного специалиста. Закажите SEO-продвижение сайта или закажите комплексный SEO-аудит, и мы наведём порядок в параметрах, освободим бюджет робота для важных страниц и превратим полезные фильтры в источник дополнительного трафика.
Услуги LSI Продвижение
Наша команда предлагает полный спектр услуг по SEO-продвижению и технической доработке сайтов. Мы работаем только белыми методами, ориентируемся на реальный бизнес-результат — трафик, заявки и продажи, а не только позиции в отчёте, — и выстраиваем продвижение системно, под конкретные задачи и нишу вашего проекта. Начать можно с бесплатной диагностики, чтобы понять текущее состояние сайта и точки роста, а затем перейти к комплексной работе. Выберите подходящую услугу из списка ниже:
- Бесплатный SEO аудит сайта — автоматическая проверка на 50+ параметров за 2 минуты
- Комплексный SEO аудит — глубокий ручной анализ с рекомендациями от эксперта
- Продвижение сайтов — вывод в ТОП Яндекса и Google по целевым запросам
- SEO консультация — разбор вашего сайта с конкретными рекомендациями
- LSI тексты — экспертный контент, оптимизированный для поисковых систем
- Доработка сайта — техническая оптимизация и исправление ошибок
- Создание сайта под ключ — разработка с нуля с SEO-оптимизацией
- Стоимость продвижения — прозрачные тарифы и условия
- Портфолио и кейсы — реальные результаты наших клиентов
Закажите SEO продвижение сайта
Выведем ваш сайт в ТОП Яндекса и Google. Бесплатная консультация — разберём сайт, найдём точки роста и предложим стратегию продвижения.
Comments
Девяносто процентов просканированных URL — параметрический мусор. У меня примерно так и вышло на магазине, когда посмотрел логи. Робот тратит бюджет на фильтры, а новые товары индексирует неделями.
Спасибо за раздел про Clean-param. Всегда видела эту директиву в справке Яндекса, но боялась трогать. Теперь понятно, что она как раз для склейки страниц с UTM и сессионными параметрами.
А если у меня и Яндекс, и Google — я же должен и Clean-param в robots.txt прописать, и canonical поставить? Или что-то одно перекрывает другое?
Антон, конфликта нет — эти инструменты работают в связке для разных систем. Для Яндекса прописываете Clean-param в robots.txt, а canonical на чистый URL остаётся для Google и как общий сигнал. Они не перекрывают, а дополняют друг друга. У нас в аудитах это стандартная двойная настройка.
У меня UTM-метки из рассылки попали в индекс, и теперь в выдаче болтается страница с ?utm_campaign вместо чистой. Обидно, что своими же руками насорил. Буду чистить по вашей схеме.
Вопрос про разницу подходов. Правильно понял, что для Яндекса главный инструмент — Clean-param, а для Google ставку делаем на canonical, потому что старый параметр-хендлер в Search Console убрали?
Классно расписали, какие параметры хорошие, а какие плохие. Не думала, что параметры пагинации и фильтров нужно обрабатывать по-разному от рекламных меток.
А как искать параметрические дубли, если сайт большой? В Вебмастере вижу общую цифру, но конкретные URL с параметрами вытащить не получается.
Фёдор, конкретные URL удобнее всего вытаскивать краулером вроде Screaming Frog или Netpeak Spider — они покажут все адреса с параметрами и их дубли. Плюс в Яндекс.Вебмастере есть выгрузка обойдённых страниц, а в логах сервера видно, на что реально ходит робот. По этой троице картина складывается полностью.
Владелец небольшого магазина. У меня сортировка по цене и по популярности создаёт одинаковый контент под разными адресами. Canonical на чистый URL это ведь решает?
Не соглашусь, что все параметры зло. У меня параметр языка ?lang=en реально меняет контент, его закрывать нельзя. Хорошо, что в статье это разделили.
Спасибо за предостережение про noindex и robots.txt для параметров. Чуть не закрыла всё разом в robots, а тогда бы робот не увидел мой canonical. Логика та же, что и с обычными страницами.
А Clean-param нужно указывать для каждого параметра отдельно или можно списком через амперсанд? В справке написано мутновато, у вас понятнее.
Валерий, Clean-param позволяет перечислять несколько параметров через амперсанд в одной строке, а можно и отдельными директивами — как удобнее. Главное указать правильный путь, к которому применяется правило. Если параметров много и логика непростая, лучше собрать всё аккуратно, мы такое настраиваем на технических аудитах.
Прочитала и сразу пошла в аналитику. Оказалось, что почти весь мой краулинговый бюджет уходит на сортировки, которые вообще никому в поиске не нужны. Спасибо, глаза открылись.
У меня вопрос про сессионные параметры типа ?sid. Они у каждого пользователя свои, и таких дублей бесконечность. Их тоже через Clean-param гасить или лучше вообще убрать из URL?
Матвей, сессионные параметры типа sid — идеальный кандидат и на Clean-param, и на устранение из URL по возможности. Лучший вариант — не отдавать sid в адресе вовсе, а хранить сессию в куках, тогда и дублей не будет. Если по-быстрому убрать нельзя, Clean-param их склеит.
Начинающий вебмастер. Не до конца понимаю, чем UTM-страницы вредят, если контент на них тот же. Ну висит копия в индексе, что такого? Можете пояснить, в чём именно вред?
Нина, вред в трёх вещах: во-первых, копия размывает сигналы между несколькими адресами вместо одного сильного; во-вторых, робот тратит бюджет на переобход бесполезных клонов вместо новых страниц; в-третьих, в выдаче может выскочить некрасивый URL с метками вместо чистого. Так что чистить стоит.
Отличный чек-лист. Взял пункт про то, что рекламные метки лучше вести на канонизированные URL, чтобы аналитика работала, а дубли не плодились. Раньше не связывал одно с другим.
А что делать с уже проиндексированными сотнями UTM-страниц? Canonical поставил, но они всё ещё висят в выдаче. Ждать или как-то ускорить выкидывание?
Спасибо, очень структурно. Отдельно порадовало, что вы честно написали про разницу Яндекс против Google, а не свалили всё в одну кучу, как в большинстве статей.
Оставить комментарий
Мы используем cookies
Для улучшения работы сайта и вашего удобства. Оставаясь на сайте, вы соглашаетесь с политикой конфиденциальности.