User-agent: *
Disallow: /cgi-bin/         #Запрет индексации папки cgi
Disallow: /img/             #Запрет индексации папки img
Disallow: /emailer/         #Запрет индексации папки emailer
Disallow: /files/           #Запрет индексации папки files
Disallow: /counters/        #Запрет индексации папки counters
Disallow: /books/admin/     #Запрет индексации папки books/admin
Disallow: all_generator.php #Запрет индексации файла all_generator.php