Als Crawl Budget wird die Menge der Unterseiten einer Website bezeichnet, welche die Crawler der Suchmaschinen pro Tag innerhalb eines bestimmten Zeitraums prüfen können. Bei den Crawlern selbst handelt es sich um eine Software, welche die Inhalte den Websites analysiert und für die Indexierung auswählt. Nur diejenigen Inhalte, die von den Suchmaschinen in den Datenbanken indexiert wurden, können in den Suchergebnissen angezeigt werden. Das heißt, im optimalen Fall muss der Crawler regelmäßig sämtliche Unterseiten einer Website prüfen. Doch das lässt sich in der Praxis bei sehr umfangreichen Websites nicht erreichen. Mit der gezielten Beeinflussung der Crawler ist eine Unterart der Suchmaschinenoptimierung entstanden, die Crawl Optimization genannt wird.
Wovon hängt das Crawl Budget ab?
Einen sehr großen Einfluss auf das Crawl Budget hat das Ranking der Website. Auch wenn Google keinen öffentlichen Pagerank mehr ausgibt, wird doch ein interner Rangerank von den Algorithmen gebildet. Je besser dieser Pagerank ist, desto mehr Kapazitäten stellt der Crawler für die Prüfung und Indexierung der Inhalte zur Verfügung. Doch dabei gibt es eine Ausnahme. Mittlerweile ist zumindest Google dazu übergegangen, sämtliche Websites in gewissen Abständen komplett zu überprüfen. Ein regelmäßiger Turnus ist aber bisher (Stand Juli 2017) dabei nicht zu erkennen. Das hier zur Verfügung stehende Budget wird für eine Schnellindexierung verwendet. Das heißt, die durch den Crawler vorgenommene Indexierung kann bis zu einer tiefergehenden Überprüfung kurzzeitig sämtliche Unterseiten umfassen.
Welche weiteren Faktoren beeinflussen das Crawl Budget?
Wer regelmäßig neue Inhalte in unterschiedlicher Zahl einpflegt, wird feststellen, dass Google Aktualisierungen mit einem größeren Crawl Budget belohnt. Offenbar wird das Budget auch von der Zahl der von einer Website erzielten Impressionen beeinflusst. In Phasen erhöhter Impressionszahlen steigt auch die Anzahl der von Google pro Tag gecrawlten Unterseiten.
Andere Faktoren wirken sich negativ aus. Auffällig ist, dass die Zahl der täglich gecrawlten Seiten spürbar sinkt, wenn die Website vorübergehend nicht erreichbar war. Dafür reichen schon kurze Ausfälle der Server aus, wenn sie genau dann auftreten, wenn der Crawler die darauf bereitgestellte Website auf seiner Arbeitsliste stehen hat. Die dadurch verursachten Fehlermeldungen führen parallel dazu, dass auch die Anzahl der für die Anzeige in den Suchergebnissen indexierten Unterseiten drastisch sinkt.
Auffällig ist außerdem ein direkter Zusammenhang zwischen Veränderungen der durchschnittlichen Ladezeit und dem Crawl Budget. Bei der Berechnung des Budgets scheint also neben dem Ranking und der Anzahl der vorhandenen Unterseiten auch der Zeitfaktor eine wichtige Rolle zu spielen. Umgekehrt fällt auf, dass ein Komplett-Crawl vorübergehend die Ladezeit einer Website nachteilig beeinflussen kann. Ist das der Fall, sollten die vom Server bereitgestellten Leistungsreserven dringend überprüft und verbessert werden.
Wie lässt sich das Crawl Budget optimal ausnutzen?
Der Crawler prüft grundsätzlich nur die Bereiche einer Website, welche vom Betreiber für die Indexierung freigegeben wurden. Das heißt im Umkehrschluss, dass es möglich ist, den Crawler auf die Hauptinhalte zu lenken. Login-Seiten, Seiten mit Kontaktformularen, das Impressum und die Datenschutzbestimmungen sollten genau deshalb mit dem Attribut „noindex“ versehen werden. Diese Vorgehensweise bietet sich außerdem für unwichtige Artikel an, die zeitlich überholt sind.
Außerdem kann bei der Verlinkung das Attribut „nofollow“ verwendet werden, um eine Mehrfachprüfung und Mehrfachindexierung der verlinkten Inhalte zu verhindern. Hier ist allerdings Vorsicht geboten, seit Google einen „nofollow“-Algorithmus nutzt. Sehr viele „nofollow“-Links können sich seither negativ auf das Ranking einer Website auswirken. Um kein Crawl Budget zu verschenken, kommt außerdem die Bereitstellung einer selektierten Sitemap in Frage, in welcher nur die URLs der wichtigsten Inhalte enthalten sind. Ergänzend sollten flache Strukturen beim Aufbau der gesamten Website mit möglichst wenigen Ebenen genutzt werden.
