From f5d030d9c37687cdd3b3c1f9aa4874d3c15b1d46 Mon Sep 17 00:00:00 2001 From: Oliver G Date: Tue, 24 Feb 2026 12:21:00 +0100 Subject: [PATCH] Erstellung robots.txt --- robots.txt | 16 ++++++++++++++++ 1 file changed, 16 insertions(+) create mode 100644 robots.txt diff --git a/robots.txt b/robots.txt new file mode 100644 index 0000000..a9b8471 --- /dev/null +++ b/robots.txt @@ -0,0 +1,16 @@ +# robots.txt für https://go.vanityontour.de +# Erlaubt allen Crawlern das Durchsuchen der Seite +User-agent: * +Disallow: + +# Optionale Verlangsamung für Crawler, falls der Server stark belastet wird +# (wird z.B. von Google ignoriert, aber von anderen Bots beachtet) +# Crawl-delay: 10 + +# Sonderregeln für bestimmte Crawler +User-agent: Googlebot +Disallow: + +User-agent: Bingbot +Disallow: +