Online Marketing

Seit September 2019 unterstützt Google das Robots Exclusion Protocol nicht mehr. Wir zeigen alternative Wege für das Indexierungsverbot auf.

Google hat Änderungen zum Robots Exclusion Protocol angekündigt

Die von Google mitgeteilten Veränderungen zum Umgang mit dem Robots Exclusion Protocol sollen ab dem 1. September 2019 gelten. Das heißt, Webmaster müssen die notwendigen Änderungen sehr schnell vornehmen.Das Problem beim Robots Exclusion Protocol ist, dass das bisher nie als offizieller Standard anerkannt wurde. Dennoch berücksichtigen die meisten Suchmaschinen die dort hinterlegte Anweisung „no index“. Das wird sich bei Google ab dem Spätsommer 2019 ändern. Allerdings bedeutet das nicht, dass Webmaster die Indexierung einzelner Inhalte nicht mehr verbieten können. Es sind lediglich andere Vorgehensweisen erforderlich.

Google hat den Quellcode zum Robots Exclusion Protocol offengelegt

Die Ankündigung der Offenlegung des vom Google-Parser genutzten Codes zum Auslesen der robots.txt dürfte zahlreiche Webmaster überrascht haben. Sie erfolgte am 1. Juli 2019 im hauseigenen Google-Blog. Zuerst hieß es, dass sich dadurch nichts ändern würde, aber inzwischen ist klar, dass es Änderungen geben wird. Google wird ab Herbst die Anweisung „no index“ in der robots.txt nicht mehr im bisher gewohnten Umfang beachten. Der am 1. Juli 2019 veröffentlichte Quellcode entfällt Anfang September aus den Bestandteilen des Google-Crawlers. Das heißt, es werden grundsätzlich alle Inhalte einer Website für die Suchergebnisse indexiert. Inhalte, die nicht in den Suchergebnissen erscheinen sollen, benötigen deshalb eine besondere Kennzeichnung.

Wie lässt sich das Robots Exclusion Protocol ersetzen?

Eine Möglichkeit des Ersatzes ist die Nutzung der Robots-Meta-Tags für einzelne Seiten und Artikel. Die Anweisung „no index“ lässt sich dort wahlweise via HTML-Code oder in den HTTP-Headern integrieren. Führende SEO-Experten schätzen diese Variante aktuell als die effektivste Vorgehensweise beim Verbot der Indexierung ein. Alternativ kommen als Indexierungsverbot die Statuscodes 404 und 410 in Frage. Sie geben an, dass eine angeforderte Seite nicht vorhanden ist. Bekommt der Google-Crawler mehrfach diese Antwort, entfernt er die betreffende Adresse aus der Indexierungsdatenbank.

Google selbst bietet über die Search Console ein Tool an, mit dem Webmaster einzelne Seiten aus den Suchergebnissen entfernen können. Allerdings hat das kostenlose Tool einen entscheidenden Nachteil im Vergleich zum Robots Exclusion Protocol der robots.txt. Die Entfernung aus den Suchergebnissen ist lediglich für einen Zeitraum von 90 Tagen möglich. Das heißt, die Webmaster brauchen einen Zeitplan, um die Verlängerung der Indexierungssperre nicht zu verpassen. Außerdem ist damit ein erheblicher Mehraufwand verbunden.

Was eignet sich noch als Ersatz für das Robots Exclusion Protocol?

Die robots.txt bietet neben dem Indexierungsverbot die Chance, dem Crawler von Google ein Verbot für den Zugriff zu erteilen. Wenn der Crawler die Inhalte nicht kennt, kann er sie auch nicht indexieren. Für eine Differenzierung bei der Indexierung verschiedener Inhalte ist dieser Weg allerdings ebenfalls sehr zeitaufwändig. Die robots.txt müsste bei jeder hinzukommenden Unterseite aktualisiert werden. Das ist in der Praxis vor allem bei Seiten mit umfangreichen Aktualisierungen binnen kurzer Zeit nicht machbar.

Als vierte Alternative zum Robots Exclusion Protocol steht der Passwortschutz zur Wahl. Artikel, die mit einem Passwortschutz versehen sind, kann auch der Google Crawler nicht einsehen. Die Konsequenz ist, dass diese Inhalte aus den Suchergebnissen verschwinden. Genauso ist es mit Inhalten, die Webmaster hinter einer Paywall verstecken. Das ist ein Grund dafür, warum die Online-Portale der großen Zeitungen kostenlose Auszüge auf der Startseite anzeigen. Nur über diese Auszüge gelangen die Inhalte in die Suchergebnisse.

 

Lassen Sie sich jetzt von uns individuell beraten.

We create for You

Unter der Überschrift „Kreation“ vereinen wir die 4 Kernkompetenzen von baseplus®: Das Design, die Entwicklung, das Online Marketing und Print, in der jeweils anmutenden Farbe. Das konsequente Color-Coding dient der optimierten Benutzerführung, die Claims kommunizieren jeden Bereich zusätzlich.

Klicken Sie hier, um zu sehen was wir meinen