Закрыть робот от индексации можно с помощью файла robots.txt размещенного в корневой папке вашего сайта.
Чтобы закрыть сайт от поисковиков необходимо в файле robots.txt написать следующее:
User-agent: * Disallow: /
Открыть сайт для поисковиков:
User-agent: * Disallow: