Сканер битых ссылок онлайн — проверка 404, редиректов и ошибок сайта

Что такое битая ссылка и почему одного 404 недостаточно

В разговорной речи битой называют ссылку, по которой пользователь не получает ожидаемую страницу или файл. Классический пример — ответ 404 Not Found, однако технический аудит должен смотреть шире. Страница может вернуть 410, сервер — 500 или 503, соединение — завершиться таймаутом, DNS — не разрешить домен, а HTTPS — не пройти проверку сертификата. Для посетителя итог один: переход или загрузка ресурса не работает как задумано.

При этом автоматический сканер не должен объявлять «битым» любой необычный ответ. 401 Unauthorized и 403 Forbidden часто означают, что ресурс существует, но закрыт авторизацией или правилами доступа. 429 Too Many Requests говорит об ограничении частоты запросов. Редирект 301 сам по себе тоже не ошибка. Поэтому LinkScanner разделяет ошибки, редиректы и предупреждения вместо одного красного списка.

Такой подход особенно полезен на больших сайтах. Если смешать настоящие 404 с защищённой админкой, временным 429 и корректным 301, отчёт быстро превращается в шум. Чем точнее классификация, тем проще определить, что действительно требует изменения ссылки в шаблоне, меню, статье или базе данных.

Какие HTTP-коды нужно анализировать при проверке ссылок

2xx — успешные ответы

Коды семейства 2xx обычно означают, что запрос обработан успешно. Для обычной веб-страницы чаще всего встречается 200. Но даже успешный код не гарантирует качество контента: приложение может ошибочно отдавать 200 для страницы с текстом «ничего не найдено». Это уже отдельная задача поиска soft 404, требующая анализа содержимого, а не только заголовков HTTP.

3xx — перенаправления

Редиректы нужны при переезде страниц, смене структуры URL, объединении дублей и переходе на другой канонический адрес. В техническом аудите важно видеть не только первый код, но и всю цепочку и конечный URL. Ссылка вида A → B → C → D формально может работать, но каждый лишний переход добавляет задержку и усложняет поддержку.

Если на сайте уже известен конечный адрес D, внутреннюю ссылку разумнее сразу поставить на D. Это не означает, что любой 301 нужно срочно удалять: постоянные серверные перенаправления являются нормальным механизмом миграции. Проблемой становится лишняя цепочка, цикл, переход на нерелевантную страницу или редирект, который в итоге заканчивается ошибкой.

4xx — проблемы со стороны запрашиваемого URL

404 показывает, что ресурс не найден. 410 явнее сообщает об удалённом ресурсе. Если внутренний URL больше не нужен и не имеет подходящей замены, ссылку на него следует убрать. Если материал действительно переехал, внутреннюю ссылку лучше заменить новым URL, а старый адрес при необходимости оставить с постоянным редиректом.

401 и 403 LinkScanner показывает отдельно, потому что они не доказывают отсутствие ресурса. Код 429 также вынесен в предупреждения: при массовой проверке сервер или CDN может временно ограничить частоту запросов. В этом случае полезно повторить проверку позже и оценить настройки защиты сайта.

5xx — ошибки сервера

Ответы 500, 502, 503 и 504 обычно требуют внимания к серверной части, прокси, приложению или инфраструктуре. Если один URL стабильно возвращает 500, проблема может быть в конкретном обработчике или данных. Если ошибки появляются по всему сайту, нужно проверять нагрузку, логи PHP, веб-сервер, соединение с базой и внешние зависимости.

Ошибки сети, DNS и SSL

HTTP-кода может не быть вообще. Например, домен перестал разрешаться, соединение отклонено, сервер не ответил вовремя или сертификат HTTPS не прошёл проверку. Такие случаи LinkScanner выводит как сетевые ошибки и сохраняет понятное описание причины. Для внешних ссылок это особенно важно: устаревший домен может исчезнуть полностью и никогда не вернуть красивый 404.

Внутренние и внешние битые ссылки: что исправлять сначала

Внутренняя ссылка ведёт на тот же домен, который сканируется. Именно внутренние URL обычно проще и важнее исправлять в первую очередь, потому что владелец сайта контролирует меню, карточки, хлебные крошки, статьи и шаблоны. Они влияют на навигацию пользователей и на то, как краулеры переходят между страницами проекта.

Внешняя ссылка ведёт на другой домен. Здесь владелец исходного сайта не может исправить чужой сервер, зато может заменить источник, найти актуальный адрес, удалить устаревшую ссылку или добавить пояснение. LinkScanner проверяет внешний URL, но не начинает обходить чужой сайт в глубину: это сохраняет проверку предсказуемой и не создаёт лишнюю нагрузку на сторонние ресурсы.

Практичный порядок такой: сначала навигация и важные внутренние страницы, затем ссылки в коммерческих блоках и формах, потом контентные внутренние ссылки, после этого — внешние источники. Но реальный приоритет зависит от сайта. Битая кнопка «Купить» важнее старой внешней ссылки в архивной статье, даже если оба URL дают 404.

Редиректы: когда 301 полезен, а когда мешает

Постоянные редиректы 301 и 308 применяют, когда страница окончательно переехала на другой адрес. Временные 302 и 307 подходят для ситуаций, когда исходный URL планируется вернуть. Внутренние ссылки при этом лучше по возможности вести сразу на актуальную конечную страницу, а не полагаться на редирект как на постоянный слой навигации.

Отдельного внимания требуют цепочки. Они появляются после нескольких миграций: старый URL перенаправили на промежуточный, затем структура снова изменилась, и к старому правилу добавили ещё одно. Сканер сохраняет последовательность переходов, поэтому можно увидеть не только факт 301, но и маршрут до конечной страницы.

Ещё одна проблема — циклический редирект, когда A отправляет на B, а B возвращает на A, либо цикл состоит из нескольких адресов. Пользователь получает ошибку браузера, а обычная проверка первого HTTP-кода может ошибочно показать «301 — всё нормально». Поэтому новый движок ограничивает число переходов и отслеживает повторное появление URL в одной цепочке.

Почему страница-источник важнее простого списка 404

Список из сотни проблемных URL мало помогает, если неизвестно, где именно они стоят. Одна и та же устаревшая ссылка может встречаться в меню на каждой странице, в одном виджете футера или только в старой статье. Исправление тоже будет разным: изменить шаблон один раз намного эффективнее, чем вручную редактировать десятки страниц.

Поэтому отчёт хранит страницу-источник, целевой URL, анкор и тип HTML-элемента. Если один битый адрес найден на 50 страницах, HTTP-запрос к нему выполняется один раз, но все 50 вхождений остаются в отчёте. Это одновременно снижает нагрузку и сохраняет информацию, необходимую для ремонта сайта.

Анкор помогает понять назначение ссылки без открытия каждой страницы. Для изображения вместо текста может использоваться alt, для stylesheet — rel, для iframe — title. Даже если описание пустое, тип элемента показывает, что именно сломалось: обычная гиперссылка, картинка, скрипт или форма.

Битые изображения, CSS и JavaScript — это тоже ссылки

HTML-страница может вернуть 200 и выглядеть сломанной, потому что часть её ресурсов недоступна. Ошибка у изображения оставит пустое место, недоступный CSS изменит оформление, а отсутствующий JavaScript способен полностью остановить интерактивный интерфейс. Поэтому режим проверки ресурсов анализирует не только теги <a href>, но и основные src/href у изображений, скриптов, стилей, iframe, source, video, audio и форм.

Для SEO это полезно ещё и потому, что техническое состояние страницы не ограничивается самим HTML-документом. Ресурс может быть заблокирован, удалён после смены CDN, переименован при сборке фронтенда или случайно остаться со ссылкой на тестовый домен. Отдельный фильтр «Ресурсы» позволяет быстро отделить такие проблемы от обычных переходов пользователей.

На крупном проекте проверка ресурсов увеличивает количество HTTP-запросов. Если нужен только аудит навигации, её можно отключить перед запуском. Для полного технического прохода лучше оставить включённой.

Как LinkScanner использует sitemap.xml и robots.txt

sitemap.xml как дополнительный источник страниц

Обычный краулер находит страницу, только если до неё можно добраться по внутренним ссылкам. Но в карте сайта могут оставаться URL, которые выпали из навигации. Включённый sitemap помогает добавить их в очередь и проверить вместе с остальной структурой. Это удобно после миграций, массового удаления материалов и смены ЧПУ.

Карта сайта не отменяет обычный обход. Наоборот, два источника дополняют друг друга: внутренние ссылки показывают фактическую навигацию, а sitemap — заявленный владельцем набор URL. Если страница есть в sitemap, но нигде не связана с сайтом, это уже отдельный сигнал для анализа структуры.

robots.txt и технический аудит

По умолчанию LinkScanner может учитывать правила robots.txt для обхода внутренних страниц. Это полезно, чтобы не заходить в технические разделы, которые владелец явно исключил для роботов. При аудите собственного проекта опцию можно отключить, если нужно проверить закрытую структуру и у вас есть право на такую проверку.

Важно понимать различие: robots.txt управляет обходом, а не гарантирует доступность URL для обычного пользователя. Поэтому ссылка на закрытый раздел сама по себе не обязательно битая. Сканер отмечает исключённые правилами адреса отдельно, не приравнивая их к классическому 404.

Порядок исправления битых ссылок после сканирования

1. Отфильтруйте реальные ошибки

Начните с вкладки «Ошибки»: там находятся 404/410, 5xx и сетевые сбои. Остальные ответы 4xx смотрите во вкладках «Предупреждения» и «4xx». Коды 401, 403, 418, 429 и 451 сами по себе не означают битую ссылку: они могут быть связаны с авторизацией, защитой от ботов, ограничением частоты запросов или политикой доступа.

2. Сгруппируйте проблемы по целевому URL

Если один адрес встречается много раз, найдите общий источник: меню, шаблон карточки, футер, виджет или автоматически формируемое поле. Одно исправление в шаблоне может убрать сотни одинаковых ошибок.

3. Решите судьбу каждого старого адреса

Если контент переехал и есть очевидный новый URL — замените внутренние ссылки и настройте постоянный редирект со старого адреса. Если страница удалена без подходящей замены — не нужно перенаправлять её на главную только ради отсутствия 404; лучше убрать ссылку и отдавать корректный статус отсутствующего ресурса.

4. Сократите цепочки редиректов

Откройте фильтр «Редиректы» и замените внутренние ссылки конечными адресами. Особое внимание уделите циклам, переходам через несколько доменов и цепочкам, которые заканчиваются 404 или 5xx.

5. Повторите сканирование

После изменений запустите проверку снова и сравните количество ошибок. История сканирований помогает видеть результат исправлений без ручного сохранения каждого промежуточного отчёта.

Как безопасно интерпретировать результат автоматической проверки

Автоматический сканер показывает состояние URL в момент запроса с сервера IT’S NEW. Это не абсолютный приговор. Внешний сайт может блокировать дата-центры, требовать cookie, географически ограничивать доступ или временно отвечать 429. Поэтому для критически важной ссылки полезно открыть её вручную и при необходимости повторить проверку позже.

С другой стороны, стабильный 404 на собственной внутренней ссылке обычно не требует долгих исследований: найдите источник и исправьте адрес. Технический отчёт максимально полезен, когда помогает быстро отделить очевидные ошибки от случаев, где нужен контекст.

Часто задаваемые вопросы

Итог

Хороший сканер битых ссылок должен отвечать не только на вопрос «какой URL вернул 404», но и показывать где ссылка находится, что именно вернул сервер, был ли редирект, куда он привёл и повторяется ли проблема на других страницах. Именно под такой рабочий сценарий построен LinkScanner.

Используйте полный проход после миграции, смены ЧПУ, переноса сайта, массового редактирования контента или обновления шаблона. Для живого проекта разумно повторять проверку после заметных изменений и отдельно контролировать важные пользовательские маршруты: меню, формы, карточки товаров или услуг и ключевые посадочные страницы.

Информация обновлена — 10.08.2026. Удалены неподтверждённые статистические утверждения старой статьи, расширена техническая часть и добавлено описание новых возможностей сканера.