Летом 2016 года оптимизаторы жили от анонса до анонса: фильтр Penguin почти два года не получал обновлений, и сайты, наказанные за покупные ссылки, месяцами сидели в низах выдачи без права на пересмотр. 23 сентября 2016 года правила изменились навсегда: Penguin вошёл в состав основного алгоритма, заработал в режиме реального времени и перестал понижать сайты за плохие ссылки. Дальше разобрано, как теперь устроена работа с токсичными ссылками, чем алгоритмическое обесценивание отличается от ручной санкции, когда disavow файл действительно оправдан и как собрать его без ошибок.
От громкого запуска 2012 года до тихой работы внутри основного алгоритма
Penguin стартовал 24 апреля 2012 года и, по оценке Google, затронул около 3,1 процента англоязычных запросов. Целью были не сами сайты, а манипуляции ссылочной массой: прогоны по каталогам, обмен постовыми, комментарии с ключевыми анкорами, сети сателлитов, собранные ради одной задачи - передать вес коммерческой странице. Через два дня после запуска Google открыл форму обратной связи с двумя разделами: жалобы на спам, который не выпал из топа, и жалобы на несправедливое попадание под фильтр. Индустрия восприняла новость как смену эпохи - ссылочные бюджеты впервые потребовали оправдывать перед кем-то, кроме собственного отчёта о продвижении.
Первые годы фильтр работал порциями. После третьей версии в октябре 2014 года наступила пауза почти на два года, и пострадавшие сайты успели вычистить свои профили до блеска, но понижение снималось только со следующим рефрешем, без гарантий и сроков. Ожидание превратилось в отдельный жанр: одни писали письма владельцам доноров, другие просто меняли домен и переносили контент. Именно тогда, в октябре 2012 года, Мэтт Каттс представил на конференции Pubcon инструмент disavow - текстовый список ссылок, которые сайт просит поисковик игнорировать. Для индустрии это был клапан сброса давления: хотя бы часть судьбы вернулась в руки вебмастера.
Что изменилось 23 сентября 2016 года для владельцев сайтов
Четвёртая версия Penguin, объявленная 23 сентября 2016 года и ставшая седьмым обновлением семейства, отменила конструкцию "фильтр с рефрешами" целиком. Изменилось три вещи. Первая: Penguin встроен в основной алгоритм и переоценивает ссылки по мере переобхода страниц, без анонсов и волн. Вторая: оценка стала постраничной, наказывать весь домен за единичные ссылки система больше не обязана. Третья, самая существенная: вместо понижения сайта Penguin теперь обесценивает подозрительные ссылки, то есть просто перестаёт их учитывать.
Хорошая новость в том, что очищенный профиль восстанавливается без ритуального ожидания обновления: донора переобошли, ссылку переварили, вес пересчитали. Плохая новость в том, что сайты, чьи позиции держались на купленном весе, теряют его тихо и по-настоящему. Никакого сообщения в Search Console, никаких предупреждений - ссылки просто перестают работать, и страница оседает до своих естественных высот. Современная работа с токсичными ссылками и состоит в честном ответе на вопрос: какой вес остался бы у сайта, если из профиля убрать всё купленное и насыпанное?
Есть и практическая тонкость. Реальное время не означает мгновенное чудо: пересчёт привязан к переобходу донора, и если заброшенный форум бот навещает раз в квартал, эффект чистки растянется на этот самый квартал. Зато исчезла самая мучительная неопределённость прошлых лет - неизвестная дата следующего рефреша. Теперь единственный честный срок, который можно назвать клиенту, звучит так: как только система переварит исправленный профиль, изменения войдут в силу.
Диагностика ссылочного профиля через отчёт Search Console и внешние краулеры
Начинают с родного отчёта Search Console в разделе "Ссылки". Внутри три рабочих среза: ссылающиеся сайты, целевые страницы и тексты ссылок. Список ссылающихся доменов можно выгрузить, хотя инструмент честно предупреждает о неполноте выборки. Картину дополняют внешними индексами: Ahrefs с отчётом Referring Domains, Semrush с Backlink Audit, Majestic с парой метрик Trust Flow и Citation Flow, LinkResearchTools с режимом Link Detox. Один индекс - это чьё-то мнение, два независимых списка - уже картина.
Дальше смотрят динамику ссылающихся доменов по неделям. Здоровый профиль растёт плавно, с ускорениями вокруг резонансных публикаций и спокойными паузами. Резкий всплеск на пустом месте - повод открыть список новых ссылок и выяснить их происхождение. Отдельно изучают анкор-лист: когда коммерческие анкоры вида "купить диван недорого" кратно перевешивают естественные упоминания бренда, адреса страницы и пустые анкоры, ссылочную историю сайта кто-то писал вручную, и этот кто-то явно не заботился о её правдоподобии. В здоровом профиле основную массу составляют как раз брендовые упоминания и голые адреса, а точные коммерческие вхождения держатся в единицах процентов.
Ещё один рабочий срез - целевые страницы. Естественный профиль чаще всего сосредоточен на главной и на материалах, которые люди цитируют. Если сотни ссылок с точными анкорами ведут на глубокую коммерческую страницу, которую никто не станет цитировать по доброй воле, перед вами не цитирование, а закупка. Тот же отчёт подсказывает и обратное: когда внешние ссылки распылены по мусорным разделам, а деньги страницы остаются без опоры, ссылочная стратегия строилась без оглядки на бизнес.
Практический маршрут диагностики выглядит так: выгрузка доменов из Search Console и одного внешнего индекса, дедупликация по корневому домену, затем оценка каждого донора по четырём вопросам: его тематика, его собственный трафик, тип размещения ссылки и возраст домена с историей регистраций. Мёртвые каталоги, склады статей и сайты без единого посетителя выдают себя сразу - им нечего предложить кроме исходящих ссылок, которых там порой сотни на страницу.
Признаки токсичных ссылок и следы купленных ссылочных схем
Токсичность определяется не формальной метрикой, а происхождением ссылки. Классические маркеры: сайдбарные и футерные ссылки на всех страницах чужого сайта; ссылки из профилей форумов и из комментариев, годами копившихся без модерации; анкоры на языке, не связанном с темой донора; страницы без трафика, но с десятками исходящих ссылок на разные тематики.
Отдельный пласт - ссылки со взломанных сайтов: в адресах таких страниц часто встречаются бессмысленные ключевые фразы на ломаном языке. Сети сателлитов выдают себя следами: общий хостинг, одинаковые шаблоны, история истёкших доменов, слабые тексты с точными вхождениями. Рынок при этом живёт: по одной из оценок, в 2019 году средняя цена купленной ссылки держалась около 290 долларов, а без учёта маркетинговых блогов - почти 390. С 10 сентября 2019 года у Google появились атрибуты rel="sponsored" для платных размещений и rel="ugc" для пользовательского контента; сам nofollow существует с 2005 года, когда его предложили Мэтт Каттс и Джейсон Шеллен, а WordPress после обновления политик перевёл ссылки из комментариев на rel="ugc".
Как отличить естественную ссылку от покупной, если обе выглядят прилично? Смотреть на контекст. Естественная живёт внутри осмысленного абзаца, автор упомянул страницу потому, что она помогла ему в сюжете статьи. Покупная чаще стоит в конце текста, оформлена как "по теме:" или "источник:", а сама страница-донор написана вокруг нужного анкора. Ещё один след - трекер в адресе перехода вида "/redirect?url=", который выдаёт партнёрскую природу размещения. Платное размещение без пометки - тот самый случай, когда ссылка честно просится в disavow файл.
Синтаксис disavow файла и порядок его подачи без ошибок
Файл - обычный текст в кодировке UTF-8, одна строка - один адрес. Ключевое слово domain: закрывает весь домен со всеми поддоменами, отдельный URL бьёт точечно. Комментарии начинаются с решётки, лимиты скромные: до 100 тысяч строк и 2 МБ. Новый файл при загрузке полностью заменяет предыдущий, а не дополняет его.
# сайдбарные ссылки со всего домена
domain:example.com
# единичные страницы с комментариями
https://www.example.org/blog/post-123
http://sub.example.com/forum/profileКлассический порядок работы с файлом выглядит так:
- выгрузить ссылающиеся домены из Search Console и хотя бы одного внешнего индекса;
- сверить списки, убрать дубли и привести адреса к корневым доменам;
- разметить каждую ссылку по происхождению: покупка, хостинг, взлом, побочный мусор;
- перенести в disavow только подтверждённые искусственные ссылки и домены;
- загрузить файл на страницу Disavow links в Search Console и записать дату отправки;
- при ручной санкции приложить файл к заявке на пересмотр и ждать решения.
Типичные ошибки: заливать в файл весь экспорт краулера без разбора, писать домены через http:// вместо ключевого слова domain:, годами хранить древний файл, потерявший связь с реальностью. Полезно помнить и позицию Google: в декабре 2022 года специалисты компании публично напомнили, что подавляющему большинству сайтов disavow не нужен вовсе, а ссылочное обновление того же месяца нейтрализовывало покупные ссылки автоматически через систему SpamBrain. Файл оправдан в трёх ситуациях: ручная санкция за неестественные ссылки, документированная кампания покупок, которую вы признаёте и прекращаете, и мутное ссылочное наследие домена после его покупки.
Ручная санкция за неестественные ссылки и повторная заявка
Алгоритм обесценивает ссылки молча, но ручные действия живы. Сообщение "Неестественные ссылки на ваш сайт" появляется в Search Console в разделе безопасности и ручных действий вместе с выборкой проблемных URL. Это признак того, что ссылочную карту сайта изучал человек, и разбираться придётся по всей цепочке: попытаться удалить ссылки через владельцев доноров, остальное отправить в disavow, затем подать заявку на пересмотр.
Ручные действия за ссылки приходят двух видов. Первый - "неестественные ссылки на ваш сайт": либо вы сами покупали, либо кто-то насыпал мусор в промышленных масштабах. Второй - "неестественные ссылки с вашего сайта": вы продаёте размещения или раздаёте их в обмен. Во втором случае лечение другое - убрать или пометить все сомнительные исходящие ссылки атрибутами, а не чистить чужие.
В заявке работает только конкретика: сколько ссылок удалено со словом "удалено" рядом с каждым адресом, сколько отправлено в disavow и когда, какая доля профиля пришлась на долю платных размещений. Фразы "мы не знали о покупках" и "это конкуренты нас топят" проверяющие читают десятки раз в день и пропускают мимо сердца. Проверка занимает от нескольких дней до нескольких недель, отрицательное решение приходит с пояснением, и цикл повторяется. С алгоритмическим обесцениванием всё тише: ни сообщений, ни заявок - чистите профиль, ждите переобхода доноров и наблюдайте за позициями.
Профилактика негативного SEO и регулярный мониторинг новых ссылок
Негативный SEO в виде насыпанных конкурентом ссылок звучит пугающе, но после 2016 года выгода от таких фокусов стремится к нулю: мусор алгоритм просто не засчитает. Разумная гигиена всё равно нужна. Раз в месяц просматривайте отчёт о новых ссылающихся доменах: в Ahrefs и Semrush для этого есть уведомления, а в Search Console - свежий срез отчёта по ссылкам. При покупке домена проверяйте его ссылочное прошлое: наследство в виде сети сателлитов способно испортить жизнь новому проекту на годы.
Ведите внутренний реестр платных размещений и помечайте их rel="sponsored", не полагаясь на честность подрядчика. У подрядчиков запрашивайте список доноров до публикации, а не после: ссылка, которую вы не видели до появления в индексе, почти наверняка не та, за которую вы платили. Ссылки теперь не прощают и не забывают - их просто перестают считать, и в этом есть своя справедливость: сайт в итоге стоит ровно столько, сколько стоит его собственная польза, без чужих подпорок. Penguin стал невидимым и беззвучным, но дисциплина ссылочной гигиены никуда не делась, и те, кто её поддерживает, никогда не узнают, где именно проходит граница фильтра.