Wie funktioniert der Googlebot?

Googlebot ist ein Crawler (User-Agent). Diese Programme, genannt „Webcrawler“ oder „SEO-Spider“, analysieren Seiten und holen Ressourcen. Es ist nur ein Computerprogramm, aber die Kenntnis seiner Arbeitsweise ist für das organische Ranking entscheidend.

Auf Deutsch lässt sich „crawl“ mit „krabbeln / kriechen“ wiedergeben. Das beschreibt, wie Googlebot die Seiten des World Wide Web durchläuft.

Die Rolle des SEO-Spiders von Google

Ausgehend von einem Verzeichnis bereits gecrawlter URLs, ergänzt um Sitemap-Daten der Webmaster (Strukturplan einer Site), besteht seine Rolle darin:

• die Daten jeder Website zu durchlaufen und herunterzuladen, indem er von Link zu Link, von Seite zu Seite geht.

• festzulegen, welche Site wann besucht wird und wie viele Seiten damit verbunden sind.

• alle neuen, in Suchmaschinen zu indexierenden Domains zu erfassen, Site-Aktualisierungen, Links auf URLs und Bilder sowie tote Links.

• diese Daten dann zu nutzen, um den Google-Index zu aktualisieren, und sie der zuvor genannten URL-Liste hinzuzufügen.

Der Index der Suchmaschine Google ist das Verzeichnis von Milliarden Websites, das Nutzern zur Verfügung steht. Jeder neue Inhalt muss indexiert sein, um in der SERP (Search Engine Results Pages oder Suchergebnisseite) sichtbar zu sein. Indexierung heißt, einen Inhalt (Domain, Website, Seite, Artikel usw.) über die Suchergebnisse erreichbar zu machen. Googlebot kommt nur vorbei. Er legitimiert die erfassten Inhalte nicht, das ist die Aufgabe des Google-Index.

Dieses Computerprogramm ist der Ausgangspunkt des organischen Rankings von Websites, der erste Schritt, bevor ein Inhalt in einer Suchmaschine erscheint. Der Roboter arbeitet gleichzeitig und in wenigen Sekunden von Rechnern nahe am Site-Server. So bleiben Leistung und Reichweite erhalten, vor allem wird die Bandbreite der analysierten Server nicht verstopft. Rund eine Million Server crawlen das Internet, die IP eines Roboters ist daher nicht fest.

Nutzererfahrung, Frequenz und Crawl-Budget

Der User-Agent legt Wert auf die Nutzererfahrung

Der Roboter erkundet eine Site wie eine nutzende Person, in einer Frequenz, die er selbst festlegt (nach Popularität Ihrer Site, nach Ihren technischen Entscheidungen usw.). Er achtet stets darauf, die Nutzererfahrung nicht zu gefährden. Der Roboter testet die Site und setzt eine Grenze für die „Crawl-Frequenz“ (wie viele Rechner gleichzeitig crawlen und die Wartezeit zwischen zwei Durchläufen) anhand von:

• der Serververbindung. Antwortet die Site über längere Zeit schnell, steigt die Grenze. Braucht die Site Zeit oder tritt ein Serverfehler auf, sinkt sie.

• der von Webmastern in der Search Console gesetzten Crawl-Grenze. Wird sie erhöht, intensiviert sich der Crawl nicht unbedingt, weil Googlebot seine Aktionen selbst steuert.

Ein Crawl-Budget, das Sie leicht nehmen können

Das Crawl-Budget ist die Kombination aus Crawl-Frequenz und der Menge der Crawl-Ressourcen. Die für eine Erkundung bereitgestellten Ressourcen sind die Zahl gleichzeitiger Verbindungen zu einer URL und die Pause zwischen zwei Besuchen.

In vielen Fällen wird eine Website am Tag ihrer Veröffentlichung gesehen. Google sagt, das Crawl-Budget sei leicht zu nehmen.

Mehr Ressourcen stehen einer Site zur Verfügung, die:

• populär ist, damit der Google-Index aktuell bleibt.

• migriert, angesichts der großen Zahl zu indexierender URLs.

• Gefahr läuft, veraltet zu werden. Google setzt auf Nutzererfahrung und will verlassene Sites deindexieren.

Laut Google wird eine Domain mit weniger als mehreren Tausend URLs effizient gecrawlt. Umgekehrt beschränkt Googlebot seine Crawl-Kapazität für Sites oder Seiten, die nie in einer Indexierungsanfrage vorkamen, selbst wenn die Grenze nicht erreicht ist.

Geht es um eine große Site, müssen Sie messen, wie crawlbar sie ist: wie oft und mit welchen Ressourcen. Je nach Crawl-Frequenz belegt Googlebot einen größeren oder kleineren Teil der Bandbreite Ihres Webservers. Deshalb müssen Sie die Frequenz im Verhältnis zu Ihrem Traffic kennen.

Legen Sie die Aktionen von Googlebot selbst fest

Google nutzt viele User-Agents wie Googlebot, um im Web zu handeln. Sie können ihnen die Marschrichtung vorgeben. Hier die Liste der verschiedenen User-Agents:

Quelle: https://support.google.com/webmasters/answer/1061943?hl=fr&ref_topic=4610900

Es gibt drei Wege, ihnen Direktiven zu geben:

Lernen Sie die Datei robots.txt kennen

Sie können einem User-Agent den Zugang zu Ihrer Site sperren. Googlebot allein in der robots.txt zu sperren, sperrt jedoch alle.

Die ersten beiden Zeilen geben ihm vollen Zugang, die folgenden beiden das Gegenteil.

Schließlich nennen Sie ihm den Standort der Sitemap-Daten.

Wie zuvor gesagt, erfasst Googlebot alle Links, folgt ihnen und katalogisiert, was auf der Seite liegt. Sie können ihm jedoch sagen, ob er einem Link folgen soll oder nicht.

Ein Hinweis zur robots.txt ist nötig. Es ist die erste Datei, die Google beim Crawlen einer Site liest. Sie liegt ganz oben im Serverordner, und dieser Standort entscheidet: Sitzt sie nicht genau oben, existiert sie für Google nicht.

Liegt die robots.txt mit den User-Agent-Angaben auf Ihrem Server, steigt Ihre Glaubwürdigkeit im Ranking. Google sanktioniert Sie außerdem, wenn die Datei fehlt, mit der Anmerkung: „robots.txt – file not found“.

Wichtiger Hinweis: Mit „follow“ oder „nofollow“ markierte Links werden ohne Unterschied erfasst und besucht, wenn auf dem Server keine robots.txt existiert.

Die HTTP-Anweisungen X-Robots-Tag

Sagen Sie den Robotern, diese Seite nicht zu indexieren, und geben Sie ihnen trotzdem Zugang zum Inhalt.

Sie können mehrere Anweisungen kombinieren.

Hinweis: Steht das Attribut index, werden der gesamte Inhalt und die Bilder indexiert.

Die Meta-Tags

Wie beim „X-Robots-Tag“ geben diese Meta-Tags den Robotern vor, Ihre Seite zu durchlaufen und zu indexieren oder nicht.

Direktiven für alle User-Agents ohne Unterschied.

Die Bilder auf der Seite nicht indexieren.

In der Search Console können Sie die Seite der Crawl-Fehler einsehen. Dort wird jeder von Googlebot getroffene Crawl-Fehler vermerkt. Sie können sie dann korrigieren und weitergehen.

Jede Fehlerquelle schadet Ihrem organischen Ranking (SEO) und damit Ihrer Sichtbarkeit. Null Fehler sind unerreichbar, Google empfiehlt aber, diese Berichte regelmäßig zu lesen. Der Support enthält außerdem viele Informationen, Tipps und Tools zum „Crawl“.

Googlebot ist der Ausgangspunkt Ihres organischen Rankings. Es lohnt sich, ihn für eine gute SEO-Strategie zu kennen. Unsere SEO-Agentur besteht aus Fachleuten, die die Arbeitsweise des Googlebot täglich analysieren und Sie bei SEO-Projekten begleiten können.