# ===================================
# Erstellt am: 04.09.2017, 14:25
# Webseite: http://http://g-v-o.de
# ===================================

Crawl-delay: 10
Sitemap: http://g-v-o.de/sitemap.xml

# ===================================
# Folgende Seiten sollen nicht indexiert werden:
# ===================================

User-agent: *
Disallow: /import_extern/
Disallow: /tmp/
Disallow: /uploads/
Disallow: /media/newsletter_themen/

# ===================================
# Schließe folgende Spider komplett aus:
# ===================================

User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /