Из видео вы узнаете, как настроить и добавить файл robots.txt на сайт.
00:00 Введение
00:11 Зачем нужен файл robots.txt
00:38 Что такое файл robots.txt
01:08 Как создать robots.txt
01:44 Пример, как может выглядеть файл
01:54 Какие страницы нужно исключать из индексации
02:19 Как загрузить файл robots.txt в конструкторе сайтов RU-CENTER
02:57 Настройка файла robots.txt вручную
03:36 Параметр Sitemap
03:50 Параметр Clean Param
04:27 Где найти и настроить шаблон файла robots.txt
04:57 Сервисы для создание и настройки robots.txt
05:53 Как исправить ошибки при настройке файла robots.txt
07:10 Чек-лист настройки файла robots.txt