В Google Search Console появился новый отчет robots.txt

Google добавил в Search Console новый отчет robots.txt, содержащий всю информацию об индексации страниц на сайте. 

В частности, из отчета можно узнать, какие файлы robots.txt Google нашел для 20 лучших хостов на сайте, дату последнего сканирования документа, а также предупреждения об обнаруженных ошибках. 

Теперь, если у вебмастера возникают какие-либо проблемы с индексированием и сканированием страниц, с помощью отчета можно понять, связаны ли они с файлом robots.txt.

Информация о состоянии robots.txt также доступна из отчета об индексации страниц в Search Console. 

В Google сообщили, что новый отчет заменит собой инструмент проверки robots.txt, в котором больше нет необходимости.

Источник