Закрыть сайт от индексации robots.txt
Закрыть робот от индексации можно с помощью файла robots.txt размещенного в корневой папке вашего сайта.
Чтобы закрыть сайт от поисковиков необходимо в файле robots.txt написать следующее:
plaintext
User-agent: *Disallow: /
Открыть сайт для поисковиков:
plaintext
User-agent: *Disallow: