16 lines
386 B
Text
16 lines
386 B
Text
# robots.txt für https://go.vanityontour.de
|
|
# Erlaubt allen Crawlern das Durchsuchen der Seite
|
|
User-agent: *
|
|
Disallow:
|
|
|
|
# Optionale Verlangsamung für Crawler, falls der Server stark belastet wird
|
|
# (wird z.B. von Google ignoriert, aber von anderen Bots beachtet)
|
|
# Crawl-delay: 10
|
|
|
|
# Sonderregeln für bestimmte Crawler
|
|
User-agent: Googlebot
|
|
Disallow:
|
|
|
|
User-agent: Bingbot
|
|
Disallow:
|
|
|