Если есть на странице повторяющийся контент , хотя бы частично, такую страницу можно запретить индексировать как раз с помощью файла robots. txt
Помимо этого на вашем блоге существуют области, куда не нужно пускать поисковики. К примеру различные служебные папки с программами, скриптами , что-то для скачивания для читателей и т.д.
Читать полностью: — Зачем нужен файл robots.txt?
Мой блог 