# robots.txt for http:www.ars-ulm.de
# Gibt an, welche Unterverzeichnisse nicht durch Crawler durchsucht werden sollen
# angepasst für Online-Stellung: Allow und Disallow 

User-agent: *
Allow: /index.htm 
Allow: /index2.htm
Disallow: /logs/
Disallow: /main/
Disallow: /main-tmp/

# Mehr Info: http://www.google.de/intl/de/webmasters/
User-agent: Googlebot*
Disallow: /*.zip$
#Disallow: /*.gif$
#Disallow: /*.jpg$

# Bilder bleiben hier!
User-Agent: Googlebot-Image
Disallow: /

# AltaVista's Photo Finder
User-Agent: vscooter   
Disallow: /

# Fiese Sauger

User-Agent: ia_archiver
Disallow: /

User-agent: Teleport* 
Disallow: / 

User-agent: Webwhacker* 
Disallow: / 

User-agent: Webzip* 
Disallow: / 

User-agent: Net Attache* 
Disallow: / 

User-agent: SiteSnagger* 
Disallow: / 

User-agent: HTTrack* 
Disallow: / 

User-agent: WebCapture* 
Disallow: / 

User-agent: WebSauger* 
Disallow: / 

User-agent: WebReaper* 
Disallow: / 

User-agent: Roverbot*
Disallow: /