Как проверить сайт на битые внутренние и внешние исходящие ссылки

Доброго времени суток, уважаемые читатели. Большинство из вас, кто читает мой блог, ведут свои собственные блоги. Многие из вас качают шаблоны из сети, в которых могут быть лишние внешние ссылки. Часто мы ссылаемся на различные ресурсы, на какие-то файлы в сети, которые со времени могут быть удалены владельцами. Естественно, нас никто никогда не предупредит, если страница, на которую мы ссылаемся будет удалена. Таким образом на нашем сайте возникают битые ссылки. Что такое битая ссылка?

Как проверить сайт на битые внутренние и внешние исходящие ссылки

Битая ссылка – это ссылка, ведущая на несуществующую страницу или файл. Это как раз тот случай, когда мы переходим по ссылке и получаем страницу об ошибке 404.

Часто мы собственными руками создаем битые ссылки внутри своего же сайта. Например, когда удаляем статью, на которую уже где-то ссылались в своем же блоге.

Глупо говорить о том, что битая ссылка на сайте – это плохо, это и так очевидно. Во-первых, это плохо для наших посетителей, которые читают наши статьи и переходят по ссылкам на рекомендуемые ресурсы. Во-вторых, большое количество внутренних битых ссылок могут затруднить индексацию вашего сайта поисковыми роботами. Ведь бот всегда будет пытать перейти по ссылке и получать ответ сервера 404.

Поэтому надо взять себе за правило периодически проверять свой сайт на наличие битых ссылок. И тут встает вопрос, как проверить десятки, сотни, а у кого-то и тысячи страниц? Если необходимо проверить только внутренние ссылки, то достаточно посетить любой из инструментов для вебмастеров от поисковых систем.

Яндекс Вебмастер – раздел Индексирование сайта – Исключенные страницы – по типу. Переходим по ссылке HTTP-статус: Ресурс не найден (404), получаем список всех ссылок, которые были найдены Яндекс внутри сайта.

КАк проверить битые ссылки в Яндекс Вебмастер
Или Google – раздел Диагностика – Ошибки сканирования – Не найдено. Будет список ссылок, которые ведут на несуществующие страницы вашего же сайта.

Как проверить битые ссылки в инструментах для вебмастеров от Google
Но, как вы уже поняли, поисковые системы показывают только ссылки, которые находятся на вашем сайте и ведут на страницы вашего же сайта или ссылки, которые ведут на ваш сайта с других сайтов и вы не можете их исправить. Но мы же ссылаемся не только на свои статьи, и не только на нас ссылаются, часто мы сами ссылаемся на чужие материалы. Почему поисковые системы не сообщают нам, что у нас есть внешние битые ссылки? И как теперь решить эту проблему? Решение есть.

Когда я поставила перед собой задачу найти решение для проверки битых ссылок, то мне попадались различные платные программы, рекомендации нанять фрилансера, который это сделает неизвестно как, а также условно бесплатные, а на деле платные онлайн инструменты для проверки битых ссылок. Но к счастью, поиски мои были не долгими, и мне попалось описание одной программы – Xenu. Это было как раз то, что я искала. Теперь я делюсь своей находкой с вами.


Это иностранная разработка, поэтому единственный минус программы – это английский интерфейс, но в целом она очень простая и понятная. Официальная страничка программы находится здесь, а это ссылка на скачивание.
Устанавливаем программу на свой компьютер, открываем. Заходим File – Check URL.

Проверить битые ссылки с помощью программы Xenu
Появляется окно настроек, в которое мы должны вписать условия поиска битых ссылок.

Настройки программы Xenu
В поле под номером 1 указываем адрес сайта, который хотим проверить. Можно указывать как главную страницу, так и любую внутреннюю, главное, адрес должен начинаться с протокола http:// и заканчиваться слешем /. Если нам нужно проверить внешние ссылки, куда мы ссылаемся, то обязательно ставим галочку Check external links.

Во втором поле указываем адреса, которые относятся к нашему сайту, это могут быть поддомены.

В третьем указываем адреса, которые не нужно проверять. К ним относятся адреса рейтингов и счетчиков, которые установлены у вас на сайте, адрес RSS ленты.

Если у вас блог на Blogger или любой другой бесплатной платформе, то стоит указать адрес платформы, т.к. в шаблоне или в комментариях может быть много ссылок на платформу.

Я в своем примере на картинке указала адрес http://blogger.com/ без www, на самом деле нужно указать с www.
Но также стоит сказать, что в комментариях у вас могут быть ссылки на профиль пользователя и если этот профиль удален, то получается битая ссылка. Исключив адрес платформы из поиска, мы лишаемся возможности узнать, есть ли на блоге битые ссылки на удаленные профили.

URL адреса указываются по одному в верхней строчке и добавляются в список кнопкой Add.

После этого можно перейти к более подробным настройкам – кнопка More options…

Детальные настройки в Xenu
Но я не буду на них останавливаться. Лично я вообще туда не залезала и ничего не меняла, оставив настройки по умолчанию.

Осталось только нажать OK и программа начнет проверять все URL адреса сайта, которые встретит. По окончании проверки появится окно с сообщением:

Проверка страниц на которые нет ссылок
Программа предлагает подключиться к сайту по ftp, чтобы проверить, нет ли на сервере таких страниц, на которые не стоит ни одной ссылки. Если вам это не нужно или у вас блог на бесплатной платформе, то отказываемся от этого. После этого программа сохранит отчет, который откроется в вашем браузере по умолчанию.

Начинается самая рутинная работа, перебрать все ссылки на наличие битых ссылок.

Я сделала скрин отчета, автоматически переведенного браузером, чтобы вам было проще разобраться, что есть что.

Отчет Xenu о исходящих битых ссылках
Как видите, у меня исключен поддомен domen.amateurblogger.ru, программой найдено 66 ссылок.

Ниже идет список адресов, которые вы исключили из поиска. У меня с этой настройкой не срослось, т.к. кроме ссылки на форум все остальное я указала неправильно. Поэтому будьте внимательны и указывайте адреса правильно! Не берите с меня пример.

Но самое интересное начинается ниже, со слова Оглавление, а точнее, если не переводить, то со слов Table of contents.

Я не буду расписывать каждый пункт Оглавления, оставлю самое сладкое вам для самостоятельного изучения. Сейчас у нас тема статьи – как проверить битые ссылки на сайте. Ответ на этот вопрос нам дают первые два пункта Оглавления.

Broken links, ordered by link/Неработающие ссылки, упорядоченные по ссылке – сначала показан URL адрес, на который вы ссылаетесь и он не найден, а потом перечислены страницы вашего сайта, на которых найдена ссылка на этот ресурс.

Broken links, ordered by page/Неработающие ссылки, упорядоченные по странице – указана ваша страница, на которой стоит битая ссылка, а под ней адрес страницы, на которую ссылается ваша страница.
На мой взгляд первый вариант удобней.

Найдя битую ссылку, не торопитесь сразу ее удалять из блога, тем более, если вы обменивались постовыми или разместили ссылку за деньги. Необходимо сначала лично убедиться в том, что страница, на которую вы ссылаетесь действительно удалена. Ведь может быть и такое, что в момент проверки сайт был временно недоступен, или просто произошел обрыв связи. Поэтому…

  1. Сначала пытаемся открыть сайт в браузере.
  2. Затем проверяем статус страницы через специальный инструмент. Я пользуюсь этим инструментом. Тут вам нужно понимать, что такое код ответа сервера. Я немного писала об этом в предпоследней статье Как создать страницу ошибки 404 от 26 апреля.
  3. Если есть возможность, связаться с владельцем ресурса (для случаев, если вы обменивались постовыми или размещали ссылку за деньги).

На всякий случай предупрежу, в некоторых случаях программа выдает ссылки, которые якобы принадлежат вашему сайту, хотя адрес имеют совершенно другой. В моем случае это были ссылки на файлы, расположенные в документах Google.

Вообще программа обладает более широким функционалом и есть ряд возможностей, о которых хотелось бы рассказать. Но я не буду это делать сейчас.
На этом все. Желаю успехов.


Запись опубликована автором в рубрике Как создавать сайты с метками , .

Как проверить сайт на битые внутренние и внешние исходящие ссылки: 21 комментарий

  1. Si.A.A.

    Меня просто удивляет Ваша способность выдавать огромное количество полезной блогерам информации.
    Поздравляю с праздниками. Желаю здоровья, благополучия и подольше сохранять способность сообщать другим много полезного.

  2. SEO-Дилетант'ка

    Мой блог программа проверила быстро, минут за 5, а вот форум терзала долго, т.к. время было позднее, я остановила проверку. Проверю позже.

  3. SEO-Дилетант'ка

    Я считаю, что если я веду блог, смысл которого заключается в том, чтобы помогать начинающим вебмастерам, то я просто не могу позволить себе писать бесполезные статьи:).
    Спасибо за поздравления, взаимно:).

  4. MD

    Здравствуйте,у меня вопросы не по теме этой статьи — 30.04.2011 был апдейт у яндекса,в этот же день вечером заметил,что сильно упал трафик с яндекса,на следующее утро,т.е. вчера,зашел в Яндекс.Вебмастер и обнаружил следующее «Страниц в поиске о».

    Вопросы:

    1.Из за чего сайт мог полностью вылетить из яндекса ? (сайту почти 2 года,ссылки никогда не продавал,сапу не ставил,копипаста нет,уже давно принят в Яндекс.Директ,прямые рекламодатели и т.д.,т.е. СДЛ).

    2.Когда сайт снова будет проиндексирован,яндекс будет считать его «новичком» ?

    Я сейчас реально в шоке,тематика сайта очень дорогая (финансы) ,постоянно тратил деньги на покупку уникальных статей,много различных сервисов (нанимал программистов) ,никогда не ставил сапу,много времени и сил ушло,чтобы по основным ключевым был на первой странице yandex.ru и т.д., и тут вдруг такое «Страниц в поиске о»,как будто лопатой по лицу врезали 🙁

    P.S. Сайт вроде бы не забанен,спокойно добавлется в форме яндекса «Сообщить о новом сайте».

  5. Domzoom

    Ксенус хорошая прога, пользуюсь давно, но с удовольствие прочел всю статью. SEO-Дилетант’ка, спасибо, все подробно описано, переведено, новичкам очень полезно. Спасибо!

  6. Баловень

    Отличная статья. Пришёл из Яши по запросу «проверить исходящие ссылки», у тебя  3-е место.

    Я где-то видел сервис, который находит именно исходящие ссылки, но не могу его найти 🙁

  7. AlexGur

    Отличная программа. А главное, что можно и конкурентов пошерстить.
    Использую в помощь у Сайтэксплореру, ну и иногда для проверок ссылок на своем блоге. А вот почему иногда все просто мой блог — http://topmarketing.by эта прога мучала около часа. Думал что зависла. Убил, включил еще. Опять долго. Так что теперь использую только когда есть много времени свободного. Или в настройках что-то не то?Кто что посоветует?

  8. Roman8833

    Здравствуйте, а у меня такой вопрос, давно этой прогой пользуюсь, что значить в столбике status, напротив картинки timeout, красным светиться проверял все картинки — робят

  9. SEO-Дилетант'ка

    Вообще, timeout в переводе с английского означает «взятие паузы», т.е. логично предположить, что программа не дождалась загрузки изображения и сообщила об этом. Вообще, изображения часто тормозят загрузку страницы, вот и программа не ждет, пока все изображения прогрузятся.

  10. Demorostx

    я поставил кнопку нравится себе на сайт от вонючего твитера и она через какое то время начала , вернее перестала работать, это что получается эти вонючки, что то сделали!

  11. Tatyana

    Огромное спасибо!! Очень понятно изложено, но после работы этой прогр. обнаружила что проверенные страницы полугодовой давности. Как обновить кеш в интернете?
     

  12. Алла

    Здравствуйте. Если бы у нас все дилетанты обладали такими познаниями…
    Воспользовалась вашими советами и проверила сайт на битые ссылки с помощью Xenu. Некоторые исправила, а некоторые просто не понимаю что такое. Вот в таком виде: url(data:,%7B%20%22url%22%3A%20%22http%253A%252F%252Fznaniya2011.ru%252Fpritchi%252Fpritcha-chem-otvechat-na-dobro%22%2 …7D). Вы не знаете что это такое? Может в вашей практике случались такие ошибки?

  13. Гость

    Я раз нашел сервис, на котором вбивашь ссылку, и сразу выбивает количество ссылок, и естественно ссылки.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *