В этой статье ответим на частые вопросы о странице 404, объясним, почему она важна для SEO, и покажем, как правильно ее оформить.
Что такое ошибка 404 и почему она возникает
Ошибка 404 или Not Found появляется, если страница, на которую вы переходите, не найдена. Чтобы лучше понять, как возникает ошибка Not Found, рассмотрим этот процесс детально:
- Переход по ссылке. Пользователь кликает ссылку на сайте или вводит URL в адресной строке браузера.
- Отправка запроса на сервер. Браузер соединяется с сервером — физическим компьютером, где располагается сайт со всеми его файлами и базами данных.
- Ответ сервера. Браузер получает от сервера закодированный ответ с трехзначным кодом. Код показывает, как именно сервер обработал запрос браузера.
Если соединиться с сервером не получилось, вы увидите сообщение «не удается получить доступ к сайту».
Если соединение с сервером установлено и страница, которую вы запросили, существует, браузер получит ответ с кодом 200 OK. Этот код означает, что сервер успешно обработал запрос и запрашиваемая страница будет загружена. А вот если страница, которую вы искали, не найдена, появится экран 404.
Пример страницы 404
Причины ошибки 404 Not Found:
- Страница удалена.
- Битая ссылка. URL, на который вы перешли, когда-то существовал, но был изменен. Адрес также мог быть введен с опечаткой, поэтому браузер не нашел страницу на сервере.
- Проблемы сервера. В редких случаях на сервере происходят сбои, которые провоцируют подобные ошибки.
Что такое ложная ошибка 404 и почему она возникает
Ложная ошибка появляется, когда браузер получает успешный ответ 200 OK, но все равно выводится сообщение 404 Not Found. Также можно увидеть страницу, на которой мало контента, или пустой экран.
Причины ложной ошибки 404:
- Некорректная настройка кода ответа: Для несуществующих страниц сообщение об ошибке 404 владелец сайта заменил на страницу-заглушку с кодом 200 OK.
- Недостаточное количество контента. На странице мало материалов или они отсутствуют.
- Нет доступа к ресурсам. В корневом каталоге сайта помимо прочих находится файл robots.txt. Он содержит информацию для поисковых систем о том, какие ресурсы сайта можно сканировать, а какие — нет. Если в robots.txt заблокирован доступ к странице или каким-то ее файлам, это может вызывать ошибку Soft 404.
- «Тяжелая» страница. На странице слишком много файлов или у них очень большой размер. Из-за этого страница загружается долго и в итоге провоцирует ошибку.
Чем вредны ошибки 404 для SEO
Падает рейтинг сайта. Негативно влияют на SEO не столько страницы 404, сколько внешние URL-адреса, которые ссылаются на эти страницы. Большое количество таких адресов указывает на плохое качество сайта. Это может ухудшить индексацию ресурса и привести к потере его позиций в поисковой выдаче. Также возникает негатив со стороны пользователей — растут показатели отказов и снижается время взаимодействия с сайтом.
Тратится краулинговый бюджет. У каждой поисковой системы есть бот, который анализирует страницы сайтов. Максимальное количество URL-адресов, которые он может обойти за один визит, называется краулинговым бюджетом. Ошибки 404 впустую тратят этот бюджет, поскольку вместо действительно важных страниц бот будет сканировать некорректные URL-адреса.
Как найти внутренние и внешние ссылки на страницы 404
Битые ссылки бывают внутренние и внешние. Внутренние расположены на самом сайте и ведут на внутренние страницы своего же сайта. Внешние битые ссылки расположены на сторонних ресурсах и отправляют на страницы своего сайта.
Обнаружить оба вида ссылок помогут бесплатные сервисы Яндекс.Вебмастер, Google Search Console, Xenu's Link Sleuth, условно-бесплатный Screaming Frog SEO Spider Tool и платный Netpeak Spider.
Яндекс.Вебмастер
Как найти внутренние ссылки: добавьте URL сайта → зайдите в панель «Ссылки» → «Внутренние ссылки».
Раздел «Внутренние ссылки» в «Яндекс.Вебмастере»
Как найти внешние ссылки: добавьте URL сайта → зайдите в панель «Ссылки» → «Внешние ссылки» → «Текущие ссылки» → поставьте галочку «Только неработающие».
Раздел «Внешние ссылки» в «Яндекс.Вебмастере»
Google Search Console
Чтобы проверить сайт на ошибки 404, нужно добавить URL ресурса → зайти в раздел «Покрытие» → статус «Исключено». Появятся сведения о страницах с типами «Ошибка 404» и «Не найдено (404)».
Раздел «Покрытие» в Google Search Console
Xenu's Link Sleuth
Программа для поиска внутренних битых ссылок, которую легко настроить и использовать. Отметим, что продукт давно не обновлялся и на некоторых устройствах может работать некорректно.
Чтобы найти неработающие страницы нажмите File → Check URL → введите URL нужного сайта → поставьте галочку «Check external links» → OK. Появится отчет, в котором ошибки 404 будут отмечены статусом «not found».
Отчет с ошибками в Xenu's Link Sleuth
Screaming Frog SEO Spider Tool
Одна из самых многофункциональных программ для сканирования сайта. Чтобы найти ошибки 404, введите URL сайта в адресной строке программы → нажмите Start → вкладка Response Codes → Filter → Client Error (4xx). Чтобы узнать, откуда идет ошибка 404, нажмите на строку нужного URL и перейдите во вкладку «Inlinks».
Отчет с ошибками 404 в Screaming Frog SEO Spider Tool
Netpeak Spider
Это платная программа для SEO-анализа сайта, которая в том числе находит ошибки 404. Чтобы посмотреть несуществующие страницы, нужно ввести URL сайта → нажать «Старт» → вкладка «Отчеты» → вкладка «Сводка». Далее выберите «Статус страницы» → «Битые» или «Код ответа сервера → 404 Not Found.
Вкладка «Отчет по ошибке» в Netpeak Spider
Что делать с битыми ссылками
Внутренние битые ссылки нужно убрать или заменить на работающие URL-адреса. Проверять ресурс на наличие неработающих внутренних ссылок следует минимум раз в месяц.
Когда вы собрали внешние битые ссылки, нужно:
- Сделать выборку битых URL-адресов с сайтов, у которых ИКС больше 500. Это сайты с хорошей репутацией и посещаемостью, поэтому с них идет большой трафик. С битыми ссылками на этих ресурсах нужно разобраться в первую очередь.
- Настроить с этих ссылок переадресацию (301 редирект) на страницы с перемещенным или похожим контентом. Пользователь перейдет по битой ссылке, а попадет на ту страницу, которую вы укажете. Таким образом посетитель увидит материал, который ожидал, и не покинет сайт.
Некоторые веб-мастера настраивают с внешних битых ссылок 301 редирект на главную страницу сайта. Это не очень хорошая практика. Например, посетитель при переходе по ссылке хотел увидеть каталог смартфонов, а попал на главную страницу интернет-магазина. Теперь он должен найти нужную категорию в меню и отфильтровать позиции, чтобы увидеть нужный товар. Такой сценарий может привести к тому, что покупатель покинет сайт. Поэтому 301 редирект на главную страницу используйте только в крайних случаях.
Как оформить страницу 404
Главная цель экрана 404 — объяснить юзеру, что произошло и какие действия дальше предпринять. Четких правил оформления страницы нет. Выделяют четыре основных варианта дизайна: развлекательный, рекламный, страница с поиском и карта сайта.
Развлечь пользователя
Здесь могут быть встроены мини-игры или приложения, красивая анимация и интересные факты. Можно сделать ссылки на главную и другие страницы сайта. Но важно знать меру, поскольку есть риск, что пользователь так увлечется контентом, что забудет изначальную цель.
Страница 404 сайта «РИА Новости»
Прорекламировать продукцию
Покажите пользователям продукты или услуги и предложите перейти по ссылке за подробной информацией. Еще один вариант — сделать спецпредложение или выдать промокод всем, кто столкнулся с ошибкой 404.
Страница 404 сайта Wildberries
Добавить строку поиска
Функциональность страницы 404 можно расширить с помощью поисковой строки. Обычно она ищет информацию на этом же сайте, но бывает, что и по всему Интернету.
Страница 404 сайта Rambler Group
Показать основные разделы
Разместите на странице 404 ссылки на главные разделы, чтобы посетитель быстро вернулся на интересующую страницу или узнал, что еще полезного предлагает ваш сайт.
Страница 404 сайта «Афиша Daily»
Чек-лист: как избежать проблем с ошибкой 404
- Создайте простые URL для основных страниц сайта, например nic.ru/about. Это снизит опечатки пользователей, когда они будут вводить адрес вручную.
- Тщательно продумайте структуру сайта, чтобы радикально не менять ее в будущем. Часто страницы 404 — следствие перестроек на сайте, когда у некоторых страниц изменяются URL. Например, была nic.ru/about, а стала nic.ru/company. Пользователь переходит по старому адресу и обнаруживает ошибку.
- Регулярно проверяйте сайт на наличие битых ссылок. Это можно сделать с помощью таких программ, как Яндекс.Вебмастер, Google Search Console, Xenu's Link Sleuth, Screaming Frog SEO Spider Tool, Netpeak Spider.
- Убедитесь, что со всех страниц Not Found приходит код ответа HTTP 404. Так поисковые системы будут знать, что этот адрес сканировать не нужно и потратят краулинговый бюджет на действительно важные URL.
- Не оставляейте страницу 404 стандартной — оформите ее, чтобы не потерять трафик. Грамотно составленная страница удержит людей на сайте и сгладит негатив от увиденной ошибки. Сообщение на странице должно объяснить пользователю, что произошло.
- Если делаете 301 редирект со страницы 404, перенаправляйте только на страницы с аналогичным контентом. Например, на страницу с новой версией того же товара. Переадресация на нерелевантные страницы вводит пользователей в заблуждение: они ожидали одну страницу, а непонятным образом оказались на другой.
Туториал: Что делать с ошибкой 404