Определение soft 404: когда сервер лжёт

Soft 404 возникает, когда веб-сервер отдаёт код 200 OK, но на странице либо совсем нет контента, либо находится сообщение об ошибке. На первый взгляд парадокс: сервер сообщает, что всё хорошо, что страница существует и доступна, но по факту это мягкая ошибка — успешный ответ сервера, который скрывает серьёзную проблему.

Когда пользователь запрашивает несуществующую страницу на сайте, возможны два сценария. Первый: сервер возвращает код 404 Not Found и честно сообщает, что страницы не существует. Второй: отдаёт код 200 OK и показывает какой-то контент, предполагая, что это поможет пользователю найти нужное. В реальности второй сценарий превращается в soft 404 — обман поисковых систем.

Для Google и других поисковиков это создаёт путаницу. Робот видит код 200 OK и думает, что с ней всё в порядке, что страница действительно существует на сайте. Он индексирует её. Но потом система анализирует содержимое страницы — и замечает, что там либо пусто, либо это сообщение об ошибке, либо просто шаблон ошибки. Поисковые системы понимают, что произошла проблема, и в итоге игнорируют такие страницы при ранжировании результатов поиска.

Реальные примеры soft 404

Удалённая страница товара в интернет-магазине

Магазин удалил товар из каталога. Ссылки на страницу этого товара остались в поисковых системах — люди по ним переходят. Но сервер вместо кода 404 или перенаправления возвращает главную страницу сайта с кодом 200 OK. Пользователь видит главную, не находит нужного товара, уходит разочарованным. Поисковый робот видит 200 OK и пустоту там, где должен быть контент товара — это классический soft 404.

Категория товара с отсутствующим содержимым

На сайте существует раздел или категория товаров, такие URL-адреса доступны. Но в этой категории в данный момент нет товаров. Сервер возвращает код 200 OK и показывает страницу с сообщением «товара в этой категории нет» или просто пустую страницу. Технически страница существует и возвращает успешный HTTP-код ответа. Но содержимое не несёт пользу. Это мягкая ошибка в чистом виде.

Maintenance-страница с неправильным статусом ответа

Сервер находится на техническом обслуживании. Администратор вместо кода 503 Service Unavailable настроил так, что сервер возвращает 200 OK и показывает сообщение об обслуживании. Или существует редирект, который технически не срабатывает правильно и тоже возвращает 200 OK. Поисковые системы видят 200 OK и индексируют страницу. При следующем краулинге робот замечает, что на всех адресах одинаковый контент — это паттерн soft 404.

Как поисковый робот определяет soft 404

Google анализирует не только HTTP-коды. Система смотрит на содержимое страницы и ищет сигналы проблемы. Вот что помогает роботу найти ошибки soft 404:

На странице с кодом 200 OK очень мало текста или его совсем нет. Обычная работающая страница должна иметь достаточный объём контента. Если страница пустая — это первый сигнал проблемы.

На странице видны фразы типа «страница не найдена», «404», «контент отсутствует», «ошибка» — это явный признак, что страница сообщает об ошибке, несмотря на успешный код ответа сервера.

Множество разных несуществующих URL-адресов возвращают один и тот же контент (например, всегда главную страницу) с кодом 200. Это паттерн, который явно указывает на массовые soft 404 на сайте.

На странице товара отсутствует основная информация: цена, название, описание товара. На странице статьи в блоге нет самого текста статьи. На странице контактов нет контактной информации. Это признаки того, что сервер отдал неправильный ответ — технически успешный, но на самом деле это soft 404.

Отличие soft 404 от обычной ошибки 404

Hard 404 (обычная ошибка) честна. Когда страница действительно не существует, сервер возвращает код 404 Not Found. Поисковый робот моментально понимает, что делать: не индексировать эту страницу, удалить из индекса, если она там была. Всё просто и понятно.

Soft 404 создаёт обман. Сервер говорит, что «всё хорошо, страница доступна» (код 200 OK), но на самом деле там либо пусто, либо это шаблон ошибки, либо редирект, который не сработал. Робот тратит ресурсы на анализ такой страницы, её индексирование, попытку разобраться, что с ней не так. Это крадёт время краулера от анализа по-настоящему важных страниц сайта.

От обычной ошибки 404 мягкая ошибка отличается тем, что создаёт неопределённость. Посетитель переходит по ссылке и видит главную страницу сайта или пустоту. Он не понимает, что произошло — ошибка ли это или страница действительно работает так. Система индексации видит 200 OK и начинает анализ, пытаясь найти признаки проблемы. Это замораживает индексацию других адресов на сайте.

Аналогия для владельцев: пустые полки при статусе «в наличии»

Представьте обычный розничный магазин. В нормальном магазине — если товара нет на полке, на ней висит честная табличка «Товара нет» или «Ожидается поступление». Покупатель сразу видит, что произошло, и это как стандартная 404 ошибка — прямолинейно и понятно.

Soft 404 в магазине выглядел бы совсем иначе:

На полке табличка говорит «Товар в наличии», счётчик показывает «5 штук». Но когда покупатель подходит к полке, там совершенно пусто. Он теряет время на поиски, разочаровывается, может начать искать товар в других местах магазина.

Или при попытке взять товар касса автоматически перенаправляет покупателя на главный вход магазина и говорит, что товар доступен. Но главный вход — не то, что нужно покупателю, он хочет найти конкретный товар.

Или кассир говорит «Вот ваша покупка готова» (код 200 OK), но когда покупатель открывает пакет, там ничего нет (контент отсутствует).

В каждом из этих сценариев покупатель теряет доверие к магазину. Он начинает сомневаться в честности и компетентности персонала. То же самое происходит с посетителями сайта, когда они сталкиваются с soft 404 ошибками. Поисковые системы также теряют доверие к сайту — они видят, что с кодами ответов сервера что-то не так, что хозяин сайта не контролирует ситуацию. Это напрямую влияет на позиции сайта в результатах поиска.