Джон Мюллер, известный всем сотрудник Google, провёл очередную традиционную видеовстречу с вебмастерами, на которой рассказал об особенностях деиндексации сайтов. Первоначально он отвечал на вопрос касательно потере позиций страницы в результате деиндексации, однако вскоре это превратилось в небольшую лекцию о причинах, которые могли привести к подобной санкции со стороны поисковика.
Выяснилось, что владелец перевёл свой сайт на премиумную версию плагина Yoast SEO, что в результате выкинуло его из Google по всем позициям ключевиков. Как утверждал вебмастер, через некоторое время он вернулся на прежнее место, однако вскоре снова исчез и с тех пор не восстанавливался. Первое, что сделал вебмастер - проверил файл robots.txt на предмет введённых вручную санкций, однако всё было в порядке.
Джон сказал, что индексация сайта вряд ли связана с переходом на платную версию Yoast, это скорее всего было совпадением. Как правило, деиндексация осуществляется в Google двумя способами - удаляя нерелевантные фрагменты сайта из поиска, и удаляя целый сайт целиком. Второй способ неизменно более быстрый, поэтому чаще всего применяется именно он, как и бот для увеличения посещаемости сайта.
Проблемы с сайтом скорее всего связана с какой-либо технической поломкой, которая и вызвала подобный исход. Мюллер уточнил, что при деиндексации стоит проверять не только robots.txt, но и осмотреть исходный код ряда страниц. Там может находиться директива noindex, которая и препятствует индексации, что довольно часто встречается в практике вебмастеров.
Нельзя исключать и более простые причины, например, взлом сайта. Системы определяют действия злоумышленника и препятствуют распространению вредоносного кода, попросту удаляя заражённый сайт из выборки.