#robots.txt für die Domain www.southlondonmuseum.de
#erzeugt am 9.02.2008
 
# Diese Webcrawler schlie§e ich aus
User-agent: Sidewinder
User-agent: Microsoft.URL.Control

# Diese Verzeichnisse/Dateien sollen nicht durchsucht werden

Disallow: /*.pdf$

Disallow: bookmarks/
 
Disallow: de/uploads/
Disallow: de/pub/
Disallow: de/local/
Disallow: de/cgi-bin/
Disallow: de/wikilib.d/
Disallow: de/scripts/
Disallow: de/icon/
Disallow: de/docs/
Disallow: de/cookbook/
Disallow: de/icon/

Disallow: de/wiki.d/Main/images
Disallow: de/wiki.d/Main/Site.SideBar
Disallow: de/wiki.d/Main/Site.RecentChanges

Disallow: en/uploads/
Disallow: en/pub/
Disallow: en/local/
Disallow: en/cgi-bin/
Disallow: en/wikilib.d/
Disallow: en/scripts/
Disallow: en/icon/
Disallow: en/docs/
Disallow: en/cookbook/
Disallow: en/icon/

Disallow: en/wiki.d/Main/images
Disallow: en/wiki.d/Main/Site.SideBar
Disallow: en/wiki.d/Main/Site.RecentChanges

Crawl-delay: 120

Sitemap: http://southlondonmuseum.de/sitemap.xml