Закрыть сайт от индексации

Иногда требуется выполнить такую простую задачу, как закрыть сайт от поисковых роботов. Для этого в корне сайта нужно разместить файл robots.txt с содержимым:

User-agent: *
Disallow: /