Was ist die Meta-Information – Robots auf meiner Website?

Wie kann man einer Suchmaschine mitteilen, welche Seiten in den Index der Suchmaschine aufgenommen werden soll und für welche Seiten dies nicht gilt. Hierzu gibt es zwei Möglichkeiten. Die eine Möglichkeit besteht in der Erstellung einer Robots.txt – Datei. Alternativ oder in Kombination kann man aber auch die Information in den Kopfdaten einer jeden einzelnen Website hinterlegen. Hierzu ein Beispiel.

Information Meta Robots in den Kopfdaten einer Website

Stellen Sie sich vor, Sie erstellen gerade eine neue Website, die aber noch nicht von den Suchmaschinen aufgenommen werden soll. Allerdings wird der aktuelle Stand der Webseitenentwicklung immer auf den Server abgelegt, damit der Entwicklungsprozess auch für diejenigen zugänglich ist, die aktiv an der Gestaltung der neuen Website mitarbeiten. Sofern man bei diesem Prozess vergisst, den Suchmaschinen mitzuteilen, diese Website noch nicht in den Index der Suchmaschine aufzunehmen, kann es geschehen, dass zukünftig in den Suchergebnissen der Suchmaschine veraltete oder falsche Ergebnisse von der eigenen Website angezeigt werden.

Wie muss man sich dies genau vorstellen? Viele Programmierer und Designer verwenden als Fülltext den lateinischen Ausdruck „Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed…..“ um Design, Schriftgröße und Schriftart für den Webauftritt erstellen zu können. Stellen Sie sich jetzt vor, jemand sucht ihr Angebot, nach dem Start ihrer Website und erhält in den Informationen zu ihrer Website diesen Text. Würden Sie auf dieses Angebot klicken?

Sie können aus Interesse gerne einmal den Text in der Suchmaske ihrer Suchmaschine eingeben. Anfang 2011 lag die Anzahl der Treffer bei 1,4 Millionen. Darunter auch viele große, bekannte Seiten, die diesen Text als Platzhalter verwendeten.

Sobald die Website online ist und indexiert werden soll, kann man auf den Meta-Robots Eintrag verzichten. Es empfiehlt sich jedoch den folgenden Wortlaut zu verwenden, mit der die Seite und alle weiterführenden Links von Suchmaschinen durchsucht werden.

Wie sehen Sie dies? Welche Erfahrungen haben Sie mit diesem Thema?