Suchmaschinen besitzen Programme, die Ihre Webseite nach vorhandenen Links durchsuchen, und diese rekursiv weiterverfolgen. Viele Webmaster wollen aber bestimmte Teilbereiche Ihrer Webpräsenz nicht in den Suchmaschinen gelistet haben, wie z.B. Zugriffsstatistiken oder nicht öffentliche Seiten.
Mit der Datei robots.txt kann man Suchmaschinen anweisen, nur bestimmte Seiten bzw. Verzeichnisse zu besuchen.
Allen Spidern erlauben, Ihre Webseiten zu indizieren.
User-agent: *
Disallow:
Allen Spidern verbieten, Ihre Webseite zu indizieren.
User-agent: *
Disallow: /
Bitte kopieren Sie bitte den rot hinterlegten Text in eine leere Textdatei. Speichern diese unter dem Dateinamen robots.txt ab. Achten Sie dabei unbedingt auf Groß- und Kleinschreibung, es müssen ALLE Buchstaben klein geschrieben werden. Kopieren Sie diese Datei in das Stammverzeichnis Ihrer Domain. Pro Domain darf nur eine robots.txt existieren!
