Back to Question Center
0

Semalt Expert: руководство по предотвращению Google из сканирования старых файлов Sitemap

1 answers:

По мере роста вашего сайта вы постараетесь изо всех сил найти способы улучшить свою видимость и доверие в Интернете. Иногда последствия того, как наши сайты работали, остаются позади, и на этом мы должны обратить внимание.

Ознакомьтесь с приведенными ниже советами Максима Белла, менеджера по успеваемости клиентов Semalt , чтобы Google не мог сканировать старые сайты.

Несколько недель назад один из моих клиентов сказал мне, что у него есть сайт электронной коммерции. Он прошел через различные изменения: от структуры URL-адреса до карты сайта все было изменено, чтобы сделать сайт более заметным.

Клиент заметил некоторые изменения в своей Консоли Google Search и обнаружил ошибки Crawl. Он заметил, что существует большое количество старых и новых URL-адресов, которые генерируют фальшивый трафик. Некоторые из них, однако, показывали ошибки «Отказано в доступе 403» и «Не найдено 404».

Мой клиент сказал мне, что самая большая проблема, с которой он столкнулся, - это старая карта сайта, которая существовала в корневой папке. На его веб-сайте раньше использовались различные плагины Google XML Sitemaps, но теперь он зависел от WordPress SEO от Yoast за карту сайта. Различные старые плагины sitemap, однако, создали беспорядок для него. Они присутствовали в корневой папке с именем sitemap.xml.gz. Поскольку он начал использовать плагины Yoast для создания sitemaps для всех сообщений, категорий страниц и тегов, ему больше не нужны эти плагины. К сожалению, человек не отправил файл sitemap.xml. gz в Google Search Console. Он только представил свою карту сайта Yoast, и Google тоже сканировал свои старые файлы Sitemap.

Что сканировать?

Лицо не удаляло старый файл Sitemap из корневой папки, поэтому он также индексировался. Я вернулся к нему и объяснил, что карта сайта - это всего лишь предложение о том, что нужно сканировать в результатах поисковой системы . Вероятно, вы думаете, что удаление старых файлов Sitemap не позволит Google обходить отсутствующий URL, но это неверно. Мой опыт говорит, что Google пытается индексировать каждый старый URL-адрес несколько раз в день, убедившись, что ошибки 404 являются реальными, а не случайными.

Googlebot может хранить память старых и новых ссылок, которые он найдет в карте сайта вашего сайта. Он посещает ваш сайт через определенные промежутки времени, следя за тем, чтобы каждая страница была проиндексирована правильно. Googlebot пытается оценить, являются ли ссылки действительными или недействительными, чтобы у посетителей не возникало никаких проблем.

Очевидно, что веб-мастера будут запутаны, когда число их ошибок сканирования увеличится. Все они хотят в значительной степени уменьшить его. Как сообщить Google о том, чтобы игнорировать все старые файлы Sitemap? Вы можете сделать это, убив все нежелательные и нечетные прокрутки sitemap. Раньше единственным способом сделать это был файл .htaccess. Благодаря WordPress для предоставления нам некоторых плагинов.

Веб-сайты WordPress имеют этот файл в своих корневых папках. Таким образом, вам просто нужно получить доступ к FTP и включить скрытые файлы в cPanel. Перейдите в File Manager, чтобы изменить этот файл в соответствии с вашим требованием. Вы не должны забывать, что неправильное редактирование может повредить ваш сайт, поэтому вы всегда должны делать резервную копию всех данных.

После того, как вы добавили фрагмент файла, все URL-адреса с истекшим сроком действия исчезнут из-за ошибок сканирования. Вы не должны забывать, что Google хочет, чтобы вы сохраняли свой сайт в сети, уменьшая вероятность 404 ошибок.

November 24, 2017
Semalt Expert: руководство по предотвращению Google из сканирования старых файлов Sitemap
Reply