Suchmaschinenoptimierung, AdWords-Kampagnen, Webseitenoptimierung, Webseitenvaildierung » Optimierungstipps » Sonstiges » Robots

Robots

Robots haben Sie bereits kennengelernt. Per Crawltrack protokollieren Sie am besten ihre Robots-Besuche. Die Bot-Datenbank gibt Auskunft über neue und alte Robots bzw. Crawler.

Robots.txt

Die Datei robots.txt liegt gewöhnlich im Wurzelverzeichnis eines Netzauftritts. Sie unterrichtet Crawler, welche Verzeichnisse und welche Dateien durchsucht werden dürfen. Bevor ein Crawler eine Domäne indiziert, sucht er nach dieser Datei. Erst danach geht es an das Inhalte-Indizieren und das Neue-Links-Sammeln.

Suchmaschinentechnische Bedeutung dieser Datei liegt darin, speziellen Crawlern zu verbieten, bestimmte Dateien bzw. Verzeichnisse zu besuchen, zu indizieren bzw. den dort enthaltenen Links zu folgen. Einige dieser Anweisungen können aber in Metatags untergebracht werden.

Bei der Suchmaschinenoptimierung hat die robots.txt keinerlei Bedeutung.

Weitere Infos zur Robots.txt bzw. die Web Robots Page


Schlagwörter: Suchmaschinenoptimierung, AdWords-Kampagnen, Webseitenoptimierung, Webseitenvaildierung, Optimierungstipps, Sonstiges, Robots.

[ ⇐ Zurück ]   [ ⇑ Nach oben ]   [ Π Drucken ]  
 
Besucher:      Letzte Änderung: Montag, 24.09.2007