InSEO

Robots.txt

Die robots.txt Datei ist eine normale Textdatei die Informationen darüber enthält, welche Informationen die Suchmaschinen-Spider crawlen dürfen und welche nicht. Dabei kann je nach Spider unterschieden werden. Sie haben also die Möglichkeit über die robots.txt die Anweisung zu geben, dass der Google-Bot Ihre komplette Seite spidern darf und der Yahoo-Bot nur einen bestimmten Bereich.

Grundsätzlich ist die robtos.txt also dazu gedacht bestimmten Crawlern oder allen Crawlern den Weg auf Ihre Seite oder einen definierten Teil der Seite zu blockieren. Nützlich ist das insbesondere für Spider die nicht die Absicht haben Ihre Seite zu spidern, sondern Ihre Mail-Adresse. Heutzutage kennt jeder die nervigen Mails in denen einem Viagra angeboten wird. Um so verwunderlicher ist es, dass kaum eine Internetseite diese Datei zum Schutz verwendet.

Verwenden Sie diese Datei und sagen Sie dem Robot was er darf und was nicht. Es hat nur Vorteile, wenn Sie die Datei richtig einsetzen. Die Datei kann natürlich auch dazu führen, dass Sie Ihre Seite für jegliche Robots unzugänglich machen.

Vorteile im Überblick:

  • Spam-Robotoren können ausgeschlossen werden
  • geschütze Bereiche Ihrer Internetseite können geheim gehalten werden
  • noch nicht fertiggestelle Seiten können dem Spider vorenthalten werden. Unvollständige Seite können Ihr Ranking negativ beeinflussen.

Wie Sie eine robots.txt erstellen werden wir Ihnen grob erklären, falls Sie jedoch tiefere Einblicke haben möchten, verwenden Sie bitte dieses Tutorial: Tutorial Robots.txt

Vereinfachter Aufbau einer robot.txt:

User-agent: *
Disallow: /geheim/
Disallow: /admin.html

Die Bezeichnung User-Agent steht für die Angabe des ensprechenden Robots. In diesem Fall haben wir ein * gewählt. Das Bedeutet für alle Robots trifft dieser Punkt zu. Über Disallow ist es jetzt möglich den Spidern mitzuteilen, welche Verzeichnisse oder Dateien diese nicht betrachten dürfen.

Jetzt müssen Sie nur noch die robots.txt in das Root-Verzeichnis oder auch Wurzelverzeichnis Ihrer Webpage legen.


Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *