# Можно указывать несколько записей, т.е. несколько групп User-Agent: и Disallow:
# 

# Позволяет индексировать всем роботам, в противном случае надо писать имена роботов
User-Agent: * 

# Запрет на индексацию всех файлов сервера
#Disallow: /

# Запрещается индексировать эти директории, можно использовать маски (указание /t запретит индексацию всех директорий имена которых начинаются с буквы t)
Disallow: /cgi-bin/ /tmp/ /temp/ /h/ 

# Общее описание формата записи. 
#
# [ # comment string NL ]* 
#
# User-Agent: [ [ WS ]+ agent_id ]+ [ [ WS ]* # comment string ]? NL 
#
# [ # comment string NL ]* 
#
# Disallow: [ [ WS ]+ path_root ]* [ [ WS ]* # comment string ]? NL 
#
# [ 
#
# # comment string NL 
#
# | 
#
# Disallow: [ [ WS ]+ path_root ]* [ [ WS ]* # comment string ]? NL 
#
# ]* 
#
# [ NL ]+ 
#
########################################################################
# Параметры 
#
# Описание параметров, применяемых в записях /robots.txt 
#
# [...]+ Квадратные скобки со следующим за ними знаком + означают, что в качестве параметров должны быть указаны один или несколько терминов. 
#
# Например, после "User-Agent:" через пробел могут быть указаны один или несколько agent_id. 
#
# [...]* Квадратные скобки со следующим за ними знаком * означают, что в качестве параметров могут быть указаны ноль или несколько терминов. 
#
# Например, Вы можете писать или не писать комментарии. 
#
# [...]? Квадратные скобки со следующим за ними знаком ? означают, что в качестве параметров могут быть указаны ноль или один термин. 
#
# Например, после "User-Agent: agent_id" может быть написан комментарий. 
#
# ..|.. означает или то, что до черты, или то, что после. 
#
# WS один из символов - пробел (011) или табуляция (040) 
#
# NL один из символов - конец строки (015) , возврат каретки (012) или оба этих символа (Enter) 
#
# User-Agent: ключевое слово (заглавные и прописные буквы роли не играют). 
#
# Параметрами являются agent_id поисковых роботов. 
#
# Disallow: ключевое слово (заглавные и прописные буквы роли не играют). 
#
# Параметрами являются полные пути к неиндексируемым файлам или директориям 
#
# # начало строки комментариев, comment string - собственно тело комментария. 
#
# agent_id любое количество символов, не включающих WS и NL, которые определяют agent_id различных поисковых роботов. Знак * определяет всех роботов сразу. 
#
# path_root любое количество символов, не включающих WS и NL, которые определяют файлы и директории, не подлежащие индексированию.