adminНаходишь всегда то, что не искал
(Закон Мэрианна)
Одно, из самых первых, что оптимизаторы делают на новом сайте клиента — технический аудит. Это очень важная часть этапа в продвижении, как аудит сделаешь, так сайт и поплывет в поисковых системах, и чистейший от ошибок сайт — хорошая гарантия правильного ранжирования, конечно же это не панацея в SEO, а лишь малая капля крови оптимизатора.
Хороший технический аудит сайта нуждается в хорошем софте. Каждый комар хвалит свой софт, а если такового нет — выбирает один из популярнейших в интернете. Почти у всех оптимизаторов на слух попадаются несколько известных софтин — SEO Frog Spider, Xenu, и новенькое чудо от Нетпика — Netpeak Spider. В этой статье я напишу обзор-анализ 15-ти краулеров для технического аудита сайта, и покажу все программы наизнанку.
Что такое технический аудит сайта
Исправление ошибок аудита Обзор краулеров
— Screaming Frog SEO
— WebSite Auditor
— NetPeak Spider
— Xenu
— LinkChecker
— Visual SEO Studio
— WildSharkSEO spider
— Webbee
— Forecheck
— Site Visualizer
— Darcy SEO Checker
— Page-Weight
— IIS SEO Tooltip
— Beam Us Up
Таблицы сравнений:
Скорость работы краулеров
Поиск ошибок краулерами
Личные оценки
Итоги
Что такое технический аудит сайта
Квадратное колесо не крутится, автомобиль без двигателя — груда металлолома, в iPhone 7 не вставить Jack 3.5 — это и многое другое является косяками, с которыми так или иначе что-то не работает. На Веб-сайте все практически тоже самое. Технические ошибки на сайте могут негативно повлиять на его ранжирование в поисковых системах.
Также, как с iPhone, многие поисковики закрывают глаза на старые ошибки и стараются их не считать в позиционировании сайта. Вебмастера лентяи и много чего просто не хотят или не могут сделать. Поэтому Яндекс и Google иногда могут закрыть глаза на дубли страниц, на дубли описаний, на то, что нет robots на сайте, что нет sitemap, и как то в виде запорожца без передней двери дать сайту выехать на высокоскоростной автобан интернета, а там как пойдет. Днище отвалится, заглохнет, доедет с горем пополам, а может и нет. Поэтому, какой бы «запорожец» у вас не стоял на хостинге, всегда нужно делать для него техобслуживание.
Я почти 11 лет продвигаю сайты и для себя я выделил определенные ошибки, которые в первую очередь устраняю на сайте клиента:
- Дубликаты Заголовков (Title)
- Дубликаты Описаний (Meta Description)
- Дубликаты страниц (все возможные варианты дублирования страниц — www, двойные слеши, символьные коды в url и другое)
- Битые ссылки
- Бесконечные редиректы
- 5хх и 4хх ошибки
Второстепенные ошибки, которые зачастую тоже устраняю:
- Дубликаты H1
- Не прописаны Alt на картинках
- Нет описаний на страницах
- Нет robots или sitemap
- Другие ошибки
Всего видов ошибок на сайте может быть больше сотни. Главных около 10-ти, и всегда вам нужно следить за тем, чтобы ваш «запорожец» не обзаводился новыми ошибками. Профессиональный софт-краулер — залог успешного аудита, который найдет все ошибки. Не все краулеры могут показать критичные ошибки. Почему? Об этом вы узнаете в конце статьи.
Хороший аудит для сайта можно найти здесь.
Исправление ошибок аудита
При получении аудита на руки, вы видите только вид и количество ошибок. Редко кто пишет, как это исправить, «клиент сам загуглит». Я всегда пишу как и где, но и напишу вам небольшую инструкцию к применению:
- Удаление дублей на сайте — не всегда это прямое удаление, а скорее всего корректировка дублей. Вы же не можете удалить вторую статью или текст на 5000 символов в которых одинаковые заголовки. Дубли с текстом в заголовках или описаниях — просто переписываем под другой ключ. Ошибка связана со страницами пагинаций или дубли с неправильным отображением в url символом, просто закрываем все это в robots. На страницы пагинации (страница 1, страница 2 и т.д.) рекомендую ставить в коде этих страниц , это даст роботу команду — не индексировать их содержимое, но смело ходить по всем ссылкам и индексировать только их. Другие дубли бывают с неправильной структурой CMS или иные ошибки и устраняются программистами. И так, три варианта решения дублей на сайте: переписать текст дублей, добавить в robots, обратится за помощью к программистам.
- Ошибки 4хх и 5хх. Многие такие ошибки устраняются в ручную — просто удаляются или корректируются ссылки на правильные, если их много и создаются самой CMS — идем за помощью к программистам.
- Нет alt на картинках, настраиваем их вручную или с помощью настроек CMS, если нет настроек — пишем программистам.
- Нет Robots или sitemap — создаем с помощью встроенных функций CMS или других сервисов. Также можно заказать у программистов отдельные модули для вашего сайта.
- В любой непонятной ситуации — пишите программистам.
Хороший SEO специалист может исправить почти все ошибки самостоятельно. Зачастую мы обращаемся, все таки, к услугам программистов. Поэтому за такую услугу практически всегда приходится платить клиенту.
Очень хорошо помогают различные плагины ко многим известным CMS — это плагины по удалению битых ссылок, по настройке meta name robots, и другие, если такие есть для вашей CMS — не проходите мимо — поставьте.
Обзор краулеров
Некоторые ниже перечисленные программы как целые комбайны, некоторые имеют только 1 функцию, и те и другие нам помогают определить все технические ошибки сайта без преувеличений. Только вот одна незадача — нет универсального решения. Как я не старался его найти — это наверное сговор всех создателей SEO краулеров, не делать идеальную софтину.
Comparser
Comparser — как заявляет автор Александр Алаев, это программа для изучения индексации сайта, в чем я соглашусь на 100%. Он может найти ошибки в дублях, битые ссылки и внешние, узнать какие страницы вашего сайта есть в индексе Яндекс и Google, а какие отсутствуют. Может сравнить заголовки вашего сайта с заголовками, которые показывают поисковые машины. Может составить Sitemap для сайта и сделать красивую структуру вашего проекта.
В целом, для тех кто заботится про индексацию своего сайта, хочет найти плохие страницы и исправить типичные ошибки — это программа хорошо подойдет.
Что нравится: проверка индексации сайта по многим параметрам поиска (список, sitemap, либо парсинг сайта по правилам робота), дерево сайта, удобный список просмотра всех внешних ссылок с сайта, поиск кода на сайте. Проверка орфографии.
Что не нравится: иногда очень долго парсит и создает нагрузку на сайт.
Цена: 2000 рублей за лицензию, есть демо версия (парсит только первые 150 страниц сайта)
Screaming Frog SEO Spider
Screaming Frog SEO Spider — всем известная софтина от Британской SEO компании. Мощный комбайн с невероятным количеством различных параметров проверок сайта. Покажет почти все ошибки, которые у вас есть на сайте, построит Sitemap, покажет структуру и скорость загрузки страниц. Мастхевных инструмент SEO специалистов по аудитам. Одна из самых старых программ, первый релиз был 23 ноября 2010 года.
Что нравится: Простой, быстрый и понятливый уже на протяжении многих лет. Удобное меню и настройки. Множество параметров проверок.
Что не нравится: Стоимость лицензии. Иногда, чтобы найти размещение битой ссылки, нужно постараться.
Цена: £149 в год, есть демо версия (парсинг первых 500 страниц сайта)
WebSite Auditor
WebSite Auditor — один из моих любимчиков. Делает практически все, только не варит кофе. Помимо хорошего краулера и множества параметров проверок на ошибки, в нем есть уникальная функция проверки качества контента страницы под запросы. То есть вы вводите сайт, жмете одну кнопку и получаете на выходе все ваши ошибочки, их полное описание, сравнение топ-10 по запросу и рекомендации к правке на странице под любой поисковик и плюс красивые pdf отчеты. И еще создать robots.txt, Sitemap и многое другое.
Разве не чудо?
Что нравится: Визуальная составляющая программы. Отчеты. Анализ контента.
Что не нравится: Разводняк с лицензией. После покупки программы, нужно оплачивать подписку. Ужасно неудобный список внешних ссылок. Нельзя пересканировать выделенные страницы.
Цена: от 124,75$ за программу
NetPeak Spider
NetPeak Spider — совсем новый и очень хороший проект от NetPeak. С каждым обновлением он становится все лучше и лучше и я надеюсь такая тенденция продолжится долго. Может быстро и качественно просканировать ваш сайт на наличие многочисленных ошибок. Разработчики очень часто слушают пользователей и быстро делают изменения в лучшую сторону.
Что нравится: Удобный показ ошибок по значимости. Быстрые переходы к ошибкам. Быстрый.
Что не нравится: Нельзя пересканировать выделенные страницы. Не удобно смотреть битые ссылки.
Цена: от 9,80$ в месяц
Xenu
Xenu’s Link Sleuth — самая древняя программа для аудита. Она проверяет только битые ссылки, и все. Последнее обновление программы было в 2010 году, но она до сих пор делает все хорошо и как надо. Правда может положить слабый сайт или загнать ваш ip в черный список, но это уже не важно.
Что нравится: Очень быстро проверяет сайт. Находит битые ссылки даже в css.
Что не нравится: Кроме как битый ссылок больше ничего не ищет.
Цена: бесплатно
LinkChecker
LinkChecker — миниатюрный софт по проверке битых ссылок на всем сайте. Особенностью этой программы есть фактор подсказки — где именно в коде содержится ошибка. Также очень хорошо проверяет битые ссылки в CSS файлах.
Что нравится: Находит битые ссылки в CSS, показывает в какой именно линии кода находится ошибка. Может сканировать сайт с помощью антивируса ClamAV.
Что не нравится: Не проверяет ни один параметров из SEO. Одну и ту же ошибку выдает как разные. Медленный.
Цена: бесплатно
Visual SEO Studio
Visual SEO Studio — это не студия. Это фабрика. Это на самом деле очень огромный завод для аудитов сайтов. Легче сказать чего здесь нет, чем есть. Он один заменяет очень много сервисов и программ вместе взятых.
Что нравится: очень много информации по вашему сайту.
Что не нравится: структура программы не обычная. Ценник программы.
Цена: 149.00 € + налоги в год, есть бесплатная версия (до 500 страниц и ограничения), есть 30-ти дневный период полной версии.
WildSharkSEO spider
WildSharkSEO spider — гибридная «дикая акула с пауком». Программа написана на коленке, тугая, медленная, без функций сохранений проектов и других плюшек. Наверное создавали для личного пользования и зарелизили в паблик. Но для неимения ничего — вполне годный вариант.
Что нравится: красивый отчет, рич сниппеты.
Что не нравится: абсолютная антипатия к данному софту, хорошо хоть ошибки сайта показывает, не дружит с некоторыми кодировками.
Цена: бесплатно.
Webbee
Webbee — криворукий аналог Frog Spider только далекий от него. Вам просто стоит его установить и один раз запустить чтобы понять это. Хотя делает свою работу хорошо, но край неудобно. Чекает сайт на различные виды ошибок и показывает, как они считают, красивые графики.
Что нравится: выгрузка всех ошибок в одной папке.
Что не нравится: внешний вид.
Цена: 15$ в месяц. Есть бесплатная версия до 500 страниц.
Forecheck
Forecheck — еще один завод подъехал. На этот софт у меня только положительные впечатления. Наверное он один из самых лучших в наши времена, в нем есть все. Практически. Я же говорил в самом начале, что нет идеального софта, а эта программа почти дотягивает до идеала. Самый красивый отчет, интуитивно понятное меню и в тоже время нужна практика, чтобы выучить его, быстрый краулер.
Что нравится: Отчет. Функционал.
Что не нравится: Часто подвисает, нет выгрузки всех ошибок со всеми страницами одновременно.
Цена: от 49$ в месяц. Есть бесплатная версия до 10000 страниц или проект до 10Мб и не вся информация отображается.
Site Visualizer
Site Visualizer — легкий и маленький софт для визуализации вашего сайта. Как? Он делает крутую визуальную карту ваших страниц, показывает куда какая ссылка ведет. В целом софт можно назвать полезным, помимо визуализации он показывает битые ссылки и более-менее дубли некоторых страниц. И на этом все.
Что нравится: Визуальный сайтмап сайта. Ищет битые ссылки в скриптах
Что не нравится: скудные отчеты, мало параметров проверки.
Цена: 69$ за лицензию. Есть бесплатная версия и триал версия. В бесплатной не весь функционал доступен.
Darcy SEO Checker
Darcy SEO Checker — во время написания статьи, официальный сайт не работал, но я его все равно нашел. Отсутствие отчетности да и большого выбора параметров проверки здесь нет, и поэтому эта программа вряд ли вам поможет в плане SEO. Но сделать быстрый анализ небольшого сайта — может.
Что нравится: название =) Наверное в честь жены автора.
Что не нравится: все остальное.
Цена: она платная, а вот сколько стоит — не знаю. Программа уже не обновляется и не поддерживается.
Page-Weight
Page-Weight — почему именно эта программа в этой статье? Это краулер, и у него есть функции по обнаружению битых ссылок. Хотя основная функция ее — это анализ «веса» ссылок на сайте, также есть функция перелинковки.
Что нравится: быстро краулит сайт, калькулятор веса страниц, перелинковка.
Что не нравится: скудный функционал.
Цена: 2000р за лицензию. Есть бесплатная версия.
IIS SEO Tooltip
IIS SEO Tooltip — самая мощная бесплатная софтина в данный момент на рынке. Это мини комбайн в SEO, который поможет любому оптимизатору понять, что с вашим сайтом не так. Покажет структуру сайта по типам файлов, покажет все ошибки с дублями и битыми ссылками. Рекомендую эту программу как мастхевную.
Что нравится: много информации о сайте.
Что не нравится: сложен в установке, качает много файлов с сайта на компьютер
Цена: бесплатно.
Beam Us Up
Beam Us Up — одна из самых быстрых бесплатных программ на рынке. Легкая, быстрая, и довольно информативная программка для аудитов сайтов. Реальная альтернатива многим платным программам если кроме ошибок, вам ничего не надо. Хорошо сортирует ошибки.
Что нравится: быстрая, мало «весит».
Что не нравится: не удобные отчеты
Цена: бесплатно.
Скорость работы краулеров
Провести качественный аудит — это конечно хорошо, но как долго вы сможете ждать, пока «паучок» вашей программы обойдет 10 000 страниц? 10 минут? Час? Три часа?
А если страниц около 100 000. Сколько по времени ваш краулер будет проходить все ссылки? Вот по этим вопросам я собрался духом и сделал сравнение.
У всех краулеров было одинаковое положение:
PC: Intel Core [email protected] Ghz, 10Gb DDR3, SSD.
Выключены почти все службы, программы и плагины. Открыты три вкладки в Chrome и только работает еще одна программа — это проверяемый краулер.
Всем программам давались одни и те же сайты, на разных географических серверах с хорошей пропускной способностью, с отключенными антиддос системами.
Все краулеры были настроены на максимальное количество потоков и максимальную скорость, если таковы были в настройках.
Результаты (Ч:М:С.дС):
- Маленький сайт: около 30 страниц
- Средний сайт: около 300 страниц
- Большой сайт: около 3000 страниц
Я не брал больше 3000 страниц, ведь тесты продлились бы вечно, некоторые программы не справлялись с большим сайтом (перепроверял три раза каждый софт). Некоторые парсеры удивили, а некоторые расстроили. Но все видно с таблицы, и для удобности я дал баллы по каждому сайту от 1 до 15 и в итоге получилась вот такая таблица лидеров за анализ трех различных сайтов по скорости:
Frog быстрее справился с большим сайтом, NetPeak Spider на большом «задумался», а beam us up дал средние хорошие результаты. Хуже всех справился LinkChecker, у него плохо настроен обход по ссылкам. Я заметил, что он проходит повторно по тем же ссылкам, на которых был ранее и скорость существенно падает. Например на сайте где было 300 страниц, он нашел более 40 тысяч ссылок, т.е. он ходил по одним и тем же ссылкам, например с каждой странице переходил на один и тот же CSS или JS и проверял повторно.
По скорости парсинга я рекомендую всех из ТОП-10 таблицы. Если брать программу ниже 10 позиции, то запасайтесь попкорном, заваривайте по три раза чай, и вперед, к новым впечатлениям.
Поиск ошибок краулерами
А теперь проверим функциональность каждого краулера. Совсем недавно, полтора месяца назад, я просил людей дать пару сайтов, над которыми можно «поиздеваться» и найти все ошибочки совершенно бесплатно. Так как откликнулось очень много народу (целый ноль), я решил поискать сайт для проверки самостоятельно, и сразу вспомнил, что «сапожник без сапог». Свои ошибки на блоге я устранил в начале года, и просто взял наобум популярный сайт Сергея Кокшарова — Devaka.ru, и не прогадал.
Webbee и IIS SEO tooltip не справились с блогом, и просто не выдали ничего. Первый вообще отказался сканировать сайт, второй из-за множества внешний ссылок не сохранил проект и закрылся ссылаясь на ошибку в приложении (возможно некоторые внешние ссылки были с вирусом).
Победителя в этой номинации не будет. Вы сами видите, что каждый находи что-то свое. А как же по вашему делать аудит, если столько софтов пишут разное?
Вот выборка из моей последней работы по устранению ошибок на одном сайте:
Первичным аудит SEO FROG Повторный аудит SEO FROG Работа на сайте Повторный аудит SEO FROG Работа на сайте Аудит Netpeak Spider Работа на сайте Повторный аудит Netpeak Spider Аудит Forecheck Аудит LinkChecker Работа на сайте Повторный аудит LinkChecker Повторный аудит Forecheck Работа на сайте Повторный аудит Forecheck Аудит WebSite Auditor
Отчет клиенту о проделанной работе
Это те программы, которыми я пользовался постоянно до этой статьи. После нее я переосмыслил немного приоритеты и структура поиска ошибок немного улучшилась.
Как все происходит на самом деле: первый раз сканируем сайт (Frog), находим все шаблоны ошибок по дублям, закрываем их в роботс, и пересканируем сайт. Затем ручная работа по устранению дублей, которые не исправляются в роботсе. Затем работа по исправлению битых ссылок. Потом поиск в другом софте (netpeak, forecheck, beams up), другой софт находит другие ошибки — и опять работа на сайте. Затем проверяем массово все ссылки на сайте (xenu, linkchecker), устраняем все ошибки с ссылками и спрайтами. Затем делаем красивые отчеты для клиента (Website Auditor, Forecheck) и все довольны.
Среднее количество используемых программ для нормального аудита: 4-5
Конечно, все можно сделать одним, но а вдруг вы что-нибудь упустите? Поэтому создайте себе косяк программ для аудита, которые найдут всё.
Личные оценки
Для выставление своих оценок я придумал вот такое сравнение:
И теперь постараюсь отсортировать программы по некоторым признакам.
Аудит комбайны — это программы, в которых уйма функций, которые реально полезные и могут неплохо просканировать сайт на наличие ошибок. Как на мужских шампунях 8 в 1.
WebSite Auditor — сканируем сайт, получаем неплохой отчет, который не стыдно, а нужно показать клиенту. Параллельно проверяем страницы на оптимизацию текста в сравнении с ТОП-10 по вашей ПС и вообще огонь выходит.
Forecheck — сканируем сайт, видим сразу же отличный аудит, устраняем все ошибочки, смотрим на другую информацию с сайта и отчетик бросаем клиенту. Все довольны.
Visual SEO Studio — сканер хороший, отчет не очень, но вот по другим параметрам, не уступает предыдущим. Он со своими фишками, которых нет у других.
IIS SEO Tooltip — бесплатная альтернатива всех конкурентов выше. Много информации, все разбито по полочкам. Очень полезен, если ищите вирусы на сайте, он просто как рентген видит все, что у вас на сайте. Отчетов только нет красивых. Но бесплатен полностью!
Каракурты аудитов — программы, которые отсканируют ваш сайт вдоль и поперек. Именно с них нужно начинать проверку сайта на ошибки.
NetPeak Spider — главное отличие от его прямого конкурента то, что вы сразу видите где сидит фазан и в каких кустах его ловить. Быстрый, умелый, красивый, наш!
SEO Frog Spider — а вот и конкурент нетпика. Древний и могучий паучок, который разворотит ваш сайт изнутри и покажет все его интимные места.
Битоссылочники — программы, которые ничего кроме битых ссылок в жизни не видели, но очень полезны для нас.
Xenu — по поиску битых ссылок он ветеран. Медалей на его груди за хорошие анализы сайтов столько, сколько и медалей за небольшое «убийство» сайта своим миниdDosом.
LinkChecker — тугой, но годный поисковик всех битых ссылок даже внутри ваших CSS. И точечно показывает, где эти битые ссылки в коде и на какой строке. Иногда выручает, когда ты уже третий час ищешь битую ссылку на странице, а он такой бац — она на 439 строке бро. Спасибо!
Недооцененные — название говорит само за себя. Это софты, о которых мало кто знает, или не видят в них ничего хорошего. А оно есть!
Beams Us Up — легкий, шустрый, информативный. Ну и что, что по сути в ней только скелет программы. Криво выглядит, но он, по некоторым параметрам, даже обгоняет лидеров. Присмотритесь к этому бесплатному монстру в юбке.
WildShark SEO Spider — еще один гвардеец бесплатного и хорошего. Большие сайты, конечно же, ему не по плечу, а вот с мелкотней справляется на ура.
Остальные — это программы, которые по некоторым причинам не попали ни в один из пунктов сортировки.
Comparser — он хорош для тех, кто страдает манией «хочу чтобы все нужные мне страницы сидели в индексе». А таких много, я знаю. И этот софт идеально видит все ваши страницы в Яндексе и Google. Он нужен, но не всегда. Раньше он сканировал сайты намного быстрее, после некоторых обновлений, начал кашлять и теперь показывает один из худших результатов по скорости. Сейчас он на компьютере как чемодан без ручек. Иногда в него заглядываю. А так лежит в уголку и пылится.
Webbee — а давай сделаем софт, который глючит, плохо сканирует сайты, нарисуем красивый логотип, выпустим в паблик с багами, и сделаем его платным?! — А давай. Именно так я представляю разговоры создателей этого «чудо» парсера. Единственное что в нем хорошее — это функция сохранения всех вкладок программ в одну папку по excel файликам. Этого не хватает многим конкурентам.
Site Visualizer — визуальная карта сайта, это конечно огонь. Но других полезных качеств я, честно, не заметил.
Darcy SEO Checker — мог быть хорошим софтом, но сдулся шарик.
Page Weight — альбинос в нашем списке, но только он нашел 14000 внешних ссылок у Деваки. Остальные даже половины не увидели.
Вы можете еще почитать Как сделать аудит большим сайтам ведь у многих программ с большими сайтами большие проблемы.
Итоги
ТОП 5 лучших софтов для аудитов сайтов от Staurus.net:
В этом топе я учитывал всё: цена, удобство, возможности, качество. Была бы программа, которая делала все идеально, я бы поставил в топ только эту программу.
Авторам программ: смотрите на конкурентов и берите лучшее, улучшайте это и внедряйте себе. И я думаю придет время, и all-in-one решение по аудитам все таки выйдет в свет и не будет этих сравнительных статей.
С вами был, ленивый Staurus.
