Was ist das SEO-Crawl-Budget für Google?

Das Crawl-Budget ist ein zentrales Konzept im SEO. Dennoch fällt es vielen schwer zu verstehen, was wirklich dahintersteckt … und deshalb vernachlässigen sie es. Dabei ist es SEHR wichtig, ja geradezu entscheidend, seine Existenz zu berücksichtigen und Ihre Website entsprechend zu optimieren!

In diesem Artikel hilft Ihnen unsere SEO-Agentur, das Konzept des Crawl-Budgets im SEO zu verstehen: die Definition eines Crawlers, die Funktionsweise des Googlebot, die Crawl-Reserve … Am Ende dieser Lektüre wissen Sie alles über das Crawling und haben alle Schlüssel in der Hand, um Ihr Crawl-Budget zu optimieren. Legen wir los!

Was ist ein Crawler?

Wie der Name schon andeutet, besteht die Hauptaufgabe eines Crawlers, auch Indexierungsroboter genannt, darin, eine Website zu crawlen. Aber was bedeutet das genau?

Alle Websites, die über die Google-Suchmaschine erreichbar sind, wurden zuvor gecrawlt, das heißt, ein Roboter hat die Website durchlaufen und ihre Inhalte analysiert. Ohne diese Roboter wäre Google nicht die unerschöpfliche Informationsquelle, die wir heute kennen und täglich nutzen.

Von Link zu Link surfen die Googlebots rund um die Uhr, 24/7, durch das Web. Diese kleinen autonomen Programme sind ständig auf der Suche nach neuen Inhalten und Aktualisierungen. Ihr Ziel? Neue Seiten zu indexieren und der Suchmaschine dabei zu helfen, sie nach Qualität und Relevanz zu ordnen.

Es gibt verschiedene Arten von Google-Crawlern, um jeden Bereich abzudecken:

• Suche,
• Mobile,
• Anzeigen,
• Bilder,
• Videos …

Der Googlebot im Überblick

Die Indexierungsroboter des Unternehmens aus Mountain View werden gemeinhin „Googlebots“ genannt. Jede Suchmaschine verfügt über ihre eigenen Tools: Bingbot für Bing, Slurp für Yahoo!, Baiduspider für Baïdu …

Mit einem Marktanteil von fast 93 % befindet sich Google weltweit in einer Quasi-Monopolstellung.

Quelle: Webrankinfo

Zu verstehen, wie der Googlebot funktioniert, ist heute unerlässlich für jeden, der seine Website indexieren lassen und online sichtbar werden möchte! Wie funktioniert er also?

Die Hauptaufgabe des Googlebot besteht darin, das Web zu durchsuchen – entweder ausgehend von einem Verzeichnis bereits bekannter URLs, von den Daten in den Sitemaps oder durch das Springen von Link zu Link. Um zu sehen, wie der Googlebot die verschiedenen Bereiche Ihrer Website besucht, können Sie die berühmte robots.txt-Datei verwenden. In dieser Datei können Sie auch die URLs angeben, die nicht indexiert werden sollen.

Nach dem Durchgang eines Googlebot wird die besuchte oder gecrawlte Seite indexiert, das heißt, sie wird auf der SERP positioniert. Von diesem Moment an ist sie sichtbar und somit für Internetnutzer über die Suchmaschine zugänglich. Achten Sie jedoch darauf, Indexierung und Ranking nicht zu verwechseln: Der Googlebot besucht und erfasst die Seiten lediglich, während das Ranking dieser Seiten auf der SERP nicht von ihm abhängt, sondern von einer Reihe von SEO-Ranking-Kriterien, die Google definiert hat.

Was ist das Crawl-Rate-Limit?

Das Crawlen einer Website beansprucht eine gewisse Menge an Serverressourcen. So wie eine große Zahl gleichzeitig auf einer Website anwesender Besucher den Server überlastet und die Performance der Website beeinträchtigen kann, kann auch ein zu intensives Crawlen durch die Googlebots ein Nachteil sein. Aus diesem Grund legt Google für jede Website ein Crawl-Limit fest: Der Roboter besucht eine bestimmte Anzahl von Seiten gleichzeitig, nicht mehr. So wird vermieden, dass die Ladeperformance und damit die Qualität des Surferlebnisses „echter“ Besucher beeinträchtigt wird.

Was ist eine Crawl-Anfrage?

Eine Crawl-Anfrage, also eine Anfrage zur Erkundung, zu stellen, kann nützlich sein, wenn Sie kürzlich eine Seite hinzugefügt oder neue Änderungen an einer Website vorgenommen haben.

Wenn Sie keine Crawl-Anfrage stellen, bedeutet das, dass Sie geduldig auf den nächsten Durchgang des Googlebot warten müssen. Und das kann mehrere Tage oder sogar mehrere Wochen dauern – je nach Art der Website und der üblichen Besuchshäufigkeit des Roboters.

Sehr häufig aktualisierte Websites, Medien, Nachrichtenseiten und Marktplätze werden mehrmals täglich von den Robotern gecrawlt. Aber das gilt längst nicht für alle Websites!

Um Transparenz über den Crawl-Status Ihrer Seiten zu erhalten, wird Ihnen das Tool Search Console eine wertvolle Hilfe sein. Es steht Ihnen außerdem ein Tool zur URL-Prüfung zur Verfügung.

Um bei Google eine Crawl-Anfrage zu stellen, haben Sie zwei Möglichkeiten:

• eine URL direkt an den Index übermitteln – ideal bei einer geringen Anzahl zu erkundender Links,
• eine vollständige Sitemap übermitteln – die beste Alternative, um das Crawlen einer Website oder einer großen Anzahl von URLs anzufordern.

Was ist eine Crawl-Budget-Reserve?

Um das Konzept der „Crawl-Budget-Reserve“ besser zu verstehen, ist es wichtig zu wissen, dass jede Website über eine bestimmte Ressource verfügt – abhängig von ihrer Bekanntheit, ihrer Bedeutung, ihrer Aktualisierungshäufigkeit, der Anzahl der Seiten, die sie enthält … Es werden mehrere Kriterien berücksichtigt.

Wenn Ihre Website Seiten mit 4XX-Fehlern oder viele veraltete Inhalte enthält, sollten Sie wissen, dass ein Teil des Ihrer Website zugewiesenen Crawl-Budgets für das Crawlen dieser Seiten verbraucht wird. Das bedeutet, dass die Googlebots Zeit damit verbringen, diese Seiten zu erkunden, die sich als nutzlos erweisen. Und während sie damit beschäftigt sind, besuchen sie keine anderen, vermutlich interessanteren und für Ihre Marke strategischeren Seiten. Es gibt keine bessere Art, Ihr Crawl-Budget unnötig zu verschwenden …

Anstatt zu versuchen, die Anzahl der von Google gecrawlten URLs zu maximieren, konzentrieren Sie sich stärker auf all die unnötig gecrawlten Seiten. Zusammengenommen stellen diese URLs sicherlich eine erhebliche Crawl-Budget-Reserve dar, die sich sinnvoll nutzen ließe!

Was kann den Crawl von Google verlangsamen?

Mehrere Elemente beeinflussen direkt oder indirekt die Crawl-Häufigkeit der Google-Roboter. Die Herausforderung besteht darin, diejenigen schnell zu identifizieren, die Ihre Website unmittelbar betreffen, um rasch handeln zu können.

Zu den häufigsten gehören:

• Crawler Traps, auf Deutsch „Crawl-Fallen“. Diese mehr oder weniger gravierenden Probleme in der Website-Struktur werden oft dafür verantwortlich gemacht und können Ihr SEO ernsthaft beeinträchtigen. Sie verlangsamen die Arbeit der Crawler erheblich – zum Beispiel, wenn es eine unendliche Anzahl irrelevanter URLs gibt. Die Roboter verlieren sich dann in den Abgründen der Architektur und der Seiten Ihrer Website, anstatt Ihre strategischen Seiten anzusteuern. Facettennavigation oder automatisch generierte, parametrierbare URLs sind gute Beispiele dafür. Willkommen in der Crawl-Budget-Verschwendung!
• die Aktualisierungshäufigkeit der Website. Stellen wir uns vor, die Googlebots besuchen Ihre Website gewöhnlich viermal pro Woche und finden dort stets neue Inhalte zum Indexieren. Wenn Sie plötzlich aufhören, Ihre Website zu aktualisieren, kommen die Roboter weiterhin, stellen bei ihren Besuchen jedoch keine Aktualisierung fest. Nach mehreren erfolglosen Besuchen gewöhnen sie sich daran, Ihre Website seltener zu crawlen. Umgekehrt kann das regelmäßige Aktualisieren der Inhalte den Crawl Ihrer Website auf dieser Seite in gewisser Weise „ankurbeln“.
• die Ladezeit der Website. Bei einer langsamen Website werden bei jedem Durchgang eines Crawlers nur wenige Seiten gecrawlt, während eine leistungsstarke Website eine steigende Crawl-Rate verzeichnet.
• Weiterleitungen und Weiterleitungsschleifen. Echte Sackgassen für die Roboter – diese Art von Links verschwendet viel Crawl-Budget für nichts!
• eine zu komplexe und tiefe Architekturebene. Diese Art von Problem führt dazu, dass wenig relevante Seiten besucht werden, während die interessantesten unbeachtet bleiben …
• eine schlechte Paginierung. In einem Forum beispielsweise ist der Besuch eines Roboters auf den Seiten 2, 3, 4, 5 nicht unbedingt sinnvoll!
• zu viele JavaScript-Ladevorgänge. Lang und mühsam für die Server, erfordert der Crawl von JavaScript-Code das Abrufen aller Ressourcen und erweist sich als echtes Crawl-Budget-Grab …
• Duplicate Content. Wenn Ihre Website internen Duplicate Content enthält, verbraucht sich Ihr Crawl-Budget von selbst, weil der Roboter mehrmals über denselben Inhalt läuft … Ebenso verbrauchen minderwertige Inhalte wie FAQs unnötig Crawl-Budget …
• Mobile First. Es ist wichtig, den Durchgang des für Mobilgeräte zuständigen Googlebot mit dem für Desktop zuständigen zu vergleichen. Mehr denn je gilt eine einzige Devise: Denken Sie Mobile First!

Eine nicht vorhandene Sitemap oder eine Sitemap, die nicht aktualisiert wurde, obwohl es Änderungen auf der Website gab, kann ebenfalls die Ursache für eine Verlangsamung des Google-Crawls sein.

Warum sollten Sie sich um Ihr Crawl-Budget kümmern?

Für manche Webmaster und SEO-Experten verdient das Crawl-Budget keine längere Beschäftigung. Für andere erfordert dieses Element besondere Aufmerksamkeit. Was stimmt also wirklich?

Angesichts der astronomischen Menge an Seiten, die im Internet vorhanden sind, sind die Crawler gezwungen, jeder Website eine vorab definierte – und vor allem begrenzte – Erkundungsressource zuzuweisen. Ja, es muss ja für alle reichen! Sie möchten, dass Ihre Website und genauer gesagt Ihre strategischen Seiten schnell indexiert werden? Dann denken Sie an die Optimierung Ihres Crawl-Budgets.

Um die positiven Effekte der Optimierung Ihres Crawl-Budgets festzustellen, ist die Technik einfach: Vergleichen Sie die Anzahl der neu gecrawlten Seiten vor und nach der Optimierung.

Wie viele URLs meiner Website werden täglich gecrawlt?

Um genau zu wissen, wie viele URLs von Google gecrawlt werden, ist die Analyse der Logdateien die zuverlässigste Methode – und das aus einem guten Grund: Sie erlaubt Ihnen zu erkennen, welches Bild Ihrer Website an die Suchmaschinen zurückgespielt wird. Diese Analyse ermöglicht es unter anderem, Informationen wie die gecrawlten Seiten, Kategorien und Bereiche der Website, die Crawl-Häufigkeit sowie die zu diesen verschiedenen Seiten erhaltenen Informationen zu sammeln.

Wie so oft liefert Ihnen auch die berühmte Search Console sehr wichtige Informationen über das Crawlen Ihrer Website.

Sie ziehen es vor, den Crawl Ihrer Seiten einzeln zu untersuchen? Der URL-Prüfer in der Search Console wird Ihr bester Freund sein! Die Rückmeldungen des Tools zur betreffenden Seite geben Ihnen einen Überblick über die Verbesserungsbereiche, die Sie weiterverfolgen sollten.

Wie können Sie Ihr Crawl-Budget optimieren?

Angesichts all der zuvor in diesem Artikel genannten Elemente gibt es mehrere Techniken, die kombiniert das eigene Crawl-Budget deutlich verbessern können. Aus SEO-Sicht ist es ratsam, darüber nachzudenken, wie sich diese kostbare Ressource, das Crawl-Budget, einsparen lässt.

Seiten identifizieren, die unnötig Crawl-Budget verbrauchen

Auf nahezu jeder Website werden viele Seiten von den Robotern gecrawlt, obwohl das gar nicht nötig wäre. Diese Verschwendung von Crawl-Budget beeinträchtigt zudem die SEO-Performance der Website.

Über die Search Console können Sie die Anzahl der Seiten sehen, die gecrawlt, aber nicht indexiert werden. Diese Daten bieten einen ersten Überblick über das Crawl-Budget, das anderen, wichtigeren und strategischeren Seiten gewidmet werden könnte. Doch erst dank der Loganalyse können Sie das Volumen des verschwendeten Crawl-Budgets genau ermitteln. Die Technik besteht darin, die Anzahl der gecrawlten Seiten mit der Gesamtzahl der Seiten der Website zu vergleichen, um zu ermitteln:

• welcher Prozentsatz der Website wird gecrawlt?
• welche für Ihr SEO strategischen Seiten werden nicht gecrawlt?
• welche Seiten verbrauchen unnötig Crawl-Budget?

Quelle: Screamingfrog

Den Googlebot zu den strategischen Seiten lenken

Auch wenn die Struktur Ihrer Website in erster Linie für die Nutzer gedacht sein muss, wäre es ein Fehler, das Verhalten und die Erwartungen der Crawler zu vernachlässigen.

Den Robotern den Durchgang über die Säulenseiten Ihrer Website zu erleichtern, ist ein exzellentes Mittel, um deren Indexierung zu beschleunigen. Die Zahl der Aktionen, die nötig sind, um die betreffenden Seiten zu erreichen, sollte auf maximal 3 begrenzt sein.

Auch die Qualität der internen Verlinkung ist entscheidend für den Weg der Roboter. Aus diesem Grund sollten die Seiten, die von vielen Links profitieren, nicht zufällig ausgewählt werden.

Quelle: Oncrawl

Auf die Genauigkeit der robots.txt-Datei achten

Um einen unnötigen Verbrauch von Crawl-Budget zu vermeiden, ist es wichtig, über die robots.txt-Datei alle URLs anzugeben, die nicht gecrawlt werden sollen. Das Blockieren bestimmter URLs ermöglicht es, den Crawl automatisch auf nützliche Seiten umzuleiten.

Alle Seiten, die das Tag enthalten, werden nicht indexiert, aber sie werden durchaus gecrawlt. Zögern Sie nicht, all diese absichtlich nicht indexierten Seiten unter die Lupe zu nehmen und sie bei Bedarf von den Crawlern auszuschließen.

Um Ihr Crawl-Budget zu optimieren, müssen Sie unbedingt wissen, welche Seiten von den Robotern besucht werden und welche nicht. Wenn Ihre Website nicht regelmäßig von den Googlebots gecrawlt wird, bedeutet das wahrscheinlich, dass viele Ihrer Seiten nicht erkundet werden – sie werden also weder indexiert noch gerankt … und sind somit für Internetnutzer unsichtbar: ein enormer Traffic-Verlust! Ihre Positionierung auf der SERP wird dadurch negativ beeinflusst.

Eine häufige – und für Ihr SEO recht ärgerliche – Situation ist, dass die Roboter zu viele Seiten von mittlerer oder geringer Qualität indexieren.

Zusammengefasst lauten die 3 goldenen Regeln, die Sie sich zur Optimierung Ihres Crawl-Budgets unbedingt merken sollten:

• einzigartige, originelle und relevante Inhalte,
• sehr regelmäßige Aktualisierungen Ihrer Website,
• eine optimale Ladegeschwindigkeit Ihrer Seiten.

Möchten Sie von der Expertise unserer SEO-Agentur profitieren, um Ihr Crawl-Budget und Ihre organische Suchmaschinenoptimierung zu verbessern? Zögern Sie nicht, uns zu kontaktieren!