Massenindizierung großer Netzauftritte

Damit Nutzer alle Ihre Webseiten finden können, müssen dieseim Suchmaschinenindex einschlägiger Suchdienste enthalten sein. Ihre Aufgabeist also, die Suchdienste dazu zu bringen, alle Ihre Webseiten zu indizieren. Erfahrungsgemäßdauert einerseits eine vollständige Indizierung gewisse Zeit und andererseitsgehen dabei die Crawler, wie die Indizierungsprogramme auch genannt werden,nicht gerade sorgfältig vor.

Diese Aufgabe ist umso schwieriger, je mehr Webseiten IhrNetzauftritt beherbergt.

Hinzu kommt, dass neue Netzauftritte scheinbar erst einmalbeobachtet werden. Trotz Crawlerbesuch dauert es immer noch einige Tage biserste Webseiten im Index gefunden werden können. Das Alter einer Domäne spieltalso auch eine Rolle. Denn Suchdienste wollen nicht jede Webseite indizieren,sondern nur das, was gut ist oder neue Informationen enthält.

Da die Linkpopularität ein Gradmesser der Wichtigkeit einesNetzauftritts im Internet ist, folgt im Umkehrschluss: Verweist niemand zuIhnen, dann sind Sie auch nicht wichtig. Je mehr fremde Webseiten zu Ihnenverlinken, umso wichtiger müssen Sie sein. Je wichtiger Sie sind, umso mehrIhrer Webseiten werden indiziert und umso mehr Webseiten können von Nutzern in denTrefferlisten gefunden werden.

Der Crawler errechnet sogar, bevor er Ihren Netzauftrittbesucht, wie viel Arbeit er gewillt ist zu tun, d.h. wie viele Webseiten erindizieren möchte. Dazu verwendet er folgende vereinfachte Formel:

G= S + ∑1..N(Q*B)

Anders ausgedrückt:

1. Seitenzahl = Startwert
2.    + Summe über alle Links (Qualitätsfaktor eines Links * Basisfaktor)

• Die Seitenzahl G beschreibt die Anzahl von Webseiten, die der Crawler gewillt ist, sich anzuschauen.
• Der StartwertS ist Ihr Vertrauensvorschuss, z.B. 1.Denn eine Webseite ist jeder Crawlergewillt sich anzuschauen, wenn er sich schon auf den Weg zu Ihnen macht.
• ∑steht für die Summe, die linkweise berechnet und addiert wird.
• DerQualitätsfaktor Q ist ein Wert zwischen 0 und 10 ähnlich dem Seitenrang,aber nicht zwangsläufig der Seitenrang. Alles weitere gehört ins Reich derSpekulation.
• Der Basisfaktor B beschreibt die Menge anUnterseiten, die der Crawler pro Lauf indizieren sollte, z.B. 10.

• Siehe auch Quelle: Massenindizierung von sehr großen Netzauftritten