Ничто не вечно и не идеально, время от времени на вашем сайте могут появляться ошибки, иногда мало, иногда много, но если есть сам факт наличия ошибок, то эта статья для вас. В ней я разберу все вопросы связанные с клиентскими ошибками от 400 до 499 и серверными ошибками от 500 до 511. Конечно же я не буду все их описывать, потому что многие из них не относятся к техническому аудиту сайта. Только важные аспекты и нужные решения.

Выявить ошибки на сайте можно самостоятельно, если он подключен к панели вебмастеров Google или Яндекс. Для этого достаточно войти на вкладку «Ошибки сканирования» из раздела «Сканирование» для Google, и на вкладку «исключенные страницы» из раздела «Индексирование» для Яндекс.

Но это один из самых неэффективных методов обнаружения ошибок.

Во-первых из-за скорости обнаружения. Очень медленно поисковики обходят сайты и видят на них ошибки, а если и находят, то информация в панели часто становится неактуальной, из-за решения проблем автоматически:

Например, какой либо хостинг «лежал» и на него у вас стояла ссылка, или ссылка на какой-либо сайт на этом хостинге. При проходе поискового робота он увидел ошибку 404 и выдал информацию в панель. Но информация про это может лежать там неделями, когда по факту, сервер был восстановлен за пару часов или меньше.

Во-вторых из-за скудно малой информации по количеству самих ошибок. Точнее сказать: их катастрофически мало.

Какие бывают типы ошибок

Объясню всю эту сложную систему простыми словами. От пользователя идет запрос сначала на сервер, если на сервере все хорошо, то ваш запрос идет дальше на сайт. Если и на сайте все хорошо, то вы видите сайт в своем браузере. Но по этому маленькому пути нас могут встречать ошибки.

Если это ошибки со стороны сервера 5xx, то вы дальше сервера не пойдете и ничего не увидите на сайте.

Если вы прошли сервер, а дальше что-то не заработало, то вы увидите клиентские ошибки. Это могут быть как ошибки на самом сайте, так и с вашей стороны, как пользователя.

Расшифровка кодов ошибок, которые могут быть в техническом аудите:

5xx ошибки:

• 500 — Internal Server Error, любая внутренняя ошибка на сервере, которой нет классификации. Это может быть что угодно. Чаще всего из-за файла htaccess.
• 502 — Bad Gateway, неверный шлюз в получении ответа от сервера. Это может быть проблемы с DNS сайта, маршрутизатора, хостинга, прокси и так далее. Часто встречается при больших нагрузках на сайте, когда что-то из устройств по пути ответа не сработало как надо. Попробуйте перезагрузить сервер.
• 503 — Service Unavailable, ошибка, когда слишком много запросов на сервер, и он больше не принимает новые, пока не «разберется» со старыми. Также попробуйте перезагрузить сервер.
• 504 — Gateway Timeout, сервер в роли шлюза или прокси-сервера не дождался ответа от вышестоящего сервера для завершения текущего запроса.

Это все ошибки со стороны сервера, и если в отчетах вы увидите ссылки, которые отдают один из этих кодов, обязательно свяжитесь с вашим хостингом, или системным администратором, чтобы быстро решить эти проблемы. Эти ошибки зависят только от сервера, никак не касаются пользователей. Вы можете потерять клиентов, если не следите за ошибками 5xx.

4xx ошибки:

• 403 — Forbidden, ошибка при которой пользователю запрещено смотреть контент на странице по запросу. Это может быть закрытый документ, либо запрет на просмотр по определенным странам.
• 404 — Not Found, одна из самых распространенных ошибок на сайтах. Пользователь задал запрос, но в ответ получил, что нет такого документа (html, jpg и т.п.) на сервере. Либо ошибка в самой структуре запроса URL, либо действительно нет документа. Решение простое — удалить либо поправить URL на корректный.

Теперь перейдем к самому важному делу, к поиску серверных и клиентских ошибок на вашем сайте.

Как найти 4xx и 5xx ошибки на сайте

Все эти цифры и буквы в ошибках — это ответы сервера или клиента при запросах по протоколу HTTP. Весь интернет построен на этом протоколе и поэтому очень важно избавляться от ошибок, которые возникают в работе с ответами сервера вашего сайта. Если это ответы на запросы, то это означает, что ошибки могу возникать только в работе со ссылками. Это могут быть ссылки на другие ресурсы в интернете, может быть ссылка на ваши стили CSS, может быть ссылка на изображение в вашей новости и так далее. Т.е. нам важно найти все ссылки на нашем сайте, точнее не все, а абсолютно все и везде, чтобы проверить их работоспособность и код ответа на наличие ошибки.

Для точного сравнения и поиска самых удобный и лучших инструментов поиска ссылок с ошибками 4хх и 5хх я взял свой блог. Моему блогу уже почти 4 года и я знаю, что 100% мы найдем ссылки с ошибками. Нам нужно выбрать лучшие инструменты для поиска всех битых ссылках на страницах сайта, поэтому воспользуемся списком Аудит сайта из моего онлайн-хранилища SEO инструментов.

И так, поехали:

Опять вернемся к нашим панелям вебмастеров от Google и Яндекса. Первым возьмем Google. В общей сложности он показал всего 8 ссылок с кодом 404 (Не найдено).

Как видно с картинки, первые три ошибки на битую ссылку внутри постов, остальные ссылки на битые картинки в постах. Удивительно то, что дата стоит 14-15 ноября прошлого года на многих из них. Сегодня 19 января 2016, поэтому абсолютно все ошибки были устранены еще в начале года, когда я взялся за оптимизацию кода блога и провел несколько технических аудитов. Ему большой плюс, что нашел не только битую ссылку на сайте но и битые ссылки на картинки внутри постов. Но это все равно не то, что нам нужно, поэтому ищем инструмент дальше.

Теперь посмотрим на ошибки из панели вебмастера от Яндекса:

Яндекса нашел 1 битую ссылку и опять же смотрим на дату: 14 апреля 2015 года. Я ее давно уже исправил, но роботы от яндекса настолько ленивые, что уже сотни цитат по интернету про него. Поэтому Яндекс мы полностью исключаем из наших методов поиска битых ссылок. Настолько низкое качество обнаружения, что в ручную на блокноте, на старом компьютере и без света можно найти быстрее и больше ошибок, чем он.

DeadLinkChecker — бесплатный онлайн сервис по проверке Всех битый ссылок на всем сайте. Т.е. его робот ходит по всем страницам сайта и ищите битые ссылки везде, где можно их найти. Вот что он нашел на моем блоге:

30 ошибок которые нужно устранить. Довольно неплохой сервис и очень удобный. В первой колонке мы видим тип ошибки, во второй битую ссылку, в третьей — анкор и место расположения этой ссылки. Можно быстро почистить ваш сайт от многих ошибок буквально за пару кликов. И мы уже видим, что этот сервис нашел ровно в 30 раз больше ошибок чем Яндекс.

Online Broken Link Checker — еще один бесплатный онлайн сервис по поиску всех битых ссылок на вашем сайте.

Этот сервис тоже довольно интересный. Он нашел 48 битых ссылок на блоге. Этот сервер еще хорош тем, что при клике на SRC возле любой битой ссылки он откроет вам окно с кодом вашего сайта и укажет точное местоположение этой ссылки. Это намного ускоряет процесс поиска ошибок на сайте. Довольно много в интернете есть различных чеккеров, проверщиков, плагинов и так далее, но сервисов, чтобы проверяли весь сайт целиком, довольно мало. Вот этот второй найденный мной сервис. Если вы еще знаете аналогичные сервисы, пишите в комментарии к этой статье, и я добавлю его в этот пост и на страницу с SEO инструментами.

LinkChecker — бесплатный софт, который проверяет сайт на наличие всех типов ошибок HTTP протокола, всех видов редиректа, и множеств различных ошибок, которые могут быть у вас на сайте. Этот софт не закрасовался в почете «Кто нашел больше битых ссылок», но он достойно занял свое место в этом топе инструментов для улучшения вашего сайта. Почему?

Он нашел всего 10 битых ссылок, но он также, как и вышесказанный онлайн сервис показывает точное местоположение ошибок в ссылках ДАЖЕ в CSS. Он нашел 3 ошибки в одном из CSS файлов, которые не находили прошлые сервисы.

WebSite Auditor — SEO софт от специалистов из Беларуси, который ищет не только битые ссылки но и решает много других проблем в качестве SEO. Она платная, но в демо версии доступен анализ сайта до 500 страниц.

Софт нашел 35 битых ссылок, за что ему хорошее человеческое спасибо. Очень удобный и профессиональный софт, с ним очень комфортно работать в целом. Показывает место расположения битой ссылки, ее анкор, куда она ведет и сам тип ошибки.

Xenu — ну и наш рекордсмен на сегодня. Самая популярная и известная по всему миру программа по поиску битых ссылок на сайте.

Самый старый, самый известный и самый сложный по пользованию. У начинающих вебмастеров сначала будут с ним проблемы в работе. Но со временем вы разберетесь и все у вас получится.

Самое интересное в этом посту, что каждый инструмент и этой статьи не нашел ВСЕ ошибки на сайте. А вот если их результаты совместить, то тогда нам открывается полная картина битых ссылок блога. Это говорит о том, что не стоит проверять свой сайт только одним инструментом. Лучше пусть поработают все сразу, но не одновременно. Есть вероятность того, что от количества запросов роботов этих сервисов ваш сайт не справится и «уйдет» немного «поспать».

На сегодня давайте закончим, мне пора все-таки решить проблему со своими ошибками на блоге =)

С вами был, ленивый Staurus.