# /robots.txt - указывает поисковым роботам какие каталоги
#               брать длиндексации не следует.
#               Если пуст или не существует, то все можно брать
#
#     Пример /robots.txt file
#
#     User-agent: webcrawler
#     Disallow:
#
#     User-agent: lycra
#     Disallow: /

     User-agent: *
     Disallow: /cgi-bin/
     Disallow: /data/