Massenindizierung großer Netzauftritte

Damit Nutzer alle Ihre Webseiten finden können, müssen diese im Suchmaschinenindex einschlägiger Suchdienste enthalten sein. Ihre Aufgabe ist also, die Suchdienste dazu zu bringen, alle Ihre Webseiten zu indizieren. Erfahrungsgemäß dauert einerseits eine vollständige Indizierung gewisse Zeit und andererseits gehen dabei die Crawler, wie die Indizierungsprogramme auch genannt werden, nicht gerade sorgfältig vor.

Diese Aufgabe ist umso schwieriger, je mehr Webseiten Ihr Netzauftritt beherbergt.

Hinzu kommt, dass neue Netzauftritte scheinbar erst einmal beobachtet werden. Trotz Crawlerbesuch dauert es immer noch einige Tage bis erste Webseiten im Index gefunden werden können. Das Alter einer Domäne spielt also auch eine Rolle. Denn Suchdienste wollen nicht jede Webseite indizieren, sondern nur das, was gut ist oder neue Informationen enthält.

Da die Linkpopularität ein Gradmesser der Wichtigkeit eines Netzauftritts im Internet ist, folgt im Umkehrschluss: Verweist niemand zu Ihnen, dann sind Sie auch nicht wichtig. Je mehr fremde Webseiten zu Ihnen verlinken, umso wichtiger müssen Sie sein. Je wichtiger Sie sind, umso mehr Ihrer Webseiten werden indiziert und umso mehr Webseiten können von Nutzern in den Trefferlisten gefunden werden.

Der Crawler errechnet sogar, bevor er Ihren Netzauftritt besucht, wie viel Arbeit er gewillt ist zu tun, d.h. wie viele Webseiten er indizieren möchte. Dazu verwendet er folgende vereinfachte Formel:

G= S + ∑_1..N(Q*B)

Anders ausgedrückt:

Seitenzahl = Startwert
+ Summe über alle Links (Qualitätsfaktor eines Links * Basisfaktor)

Die Seitenzahl G beschreibt die Anzahl von Webseiten, die der Crawler gewillt ist, sich anzuschauen.
Der Startwert S ist Ihr Vertrauensvorschuss, z.B. 1. Denn eine Webseite ist jeder Crawler gewillt sich anzuschauen, wenn er sich schon auf den Weg zu Ihnen macht.
∑ steht für die Summe, die linkweise berechnet und addiert wird.
Der Qualitätsfaktor Q ist ein Wert zwischen 0 und 10 ähnlich dem Seitenrang, aber nicht zwangsläufig der Seitenrang. Alles weitere gehört ins Reich der Spekulation.
Der Basisfaktor B beschreibt die Menge an Unterseiten, die der Crawler pro Lauf indizieren sollte, z.B. 10.

Weiter mit

Netzauftrittstruktur Ein bedeutender Umstand ist die Struktur eines Netzauftritts.
Vernetzung von Detailseiten Amazon macht es vor, auch wenn es nicht stimmt: Käufer, die dieses Buch gekauft haben, kauften auch...
Wechselnde Seitenverzeichnisse Google empfiehlt, nur maximal 100 Verweise auf einer Webseite unterzubringen.
Subdomänen Die Kategorien auf Subdomänen legen.

Siehe auch Quelle: Massenindizierung von sehr großen Netzauftritten