Das Crawlen des Googlebots ist ein wichtiger Prozess, bei dem der Suchmaschinen-Crawler von Google die Inhalte einer Webseite analysiert und indexiert.
Der Googlebot durchsucht das Internet systematisch, indem er sich von Seite zu Seite bewegt und dabei Links folgt. Er erkennt neue Seiten, aktualisiert bereits indexierte Seiten und überprüft die Relevanz der Inhalte für die Suchergebnisse. Während des Crawling-Prozesses sammelt der Googlebot Informationen über die Struktur der Website, den Inhalt, die Metadaten und andere relevante Signale.
Indem er die Interaktion des Googlebots mit der eigenen Webseite kontrolliert, kann ein Webseitenbetreiber die Sichtbarkeit, Effizienz und Indexierung der Website optimieren. Dies beinhaltet die Steuerung der Crawling-Frequenz, die Priorisierung wichtiger Seiten, die Blockierung von bestimmten Inhalten und die Behebung von Crawling-Fehlern. Durch eine gezielte Kontrolle kann die Website besser in den Suchergebnissen erscheinen und mehr organischen Traffic generieren.
Warum schränken manche Webseiten die Interaktion mit dem Googlebot ein?
Es gibt verschiedene Gründe, warum Webseitenbetreiber die Interaktionen mit dem Googlebot oder anderen Suchmaschinen-Crawlern einschränken.
- Crawling-Effizienz: Der Googlebot hat begrenzte Ressourcen und kann nicht unendlich viele Seiten einer Website crawlen. Durch die Kontrolle der Interaktion kann der Website-Betreiber bestimmte Bereiche der Website priorisieren und sicherstellen, dass wichtige Seiten und Inhalte häufiger gecrawlt werden. Dies ist besonders wichtig bei Websites mit umfangreichen Inhalten oder solchen, die häufig aktualisiert werden. Der Webseitenbetreiber kann so auch sicherstellen, dass nur SEO-relevante Inhalte gecrawlt werden.
- Vertraulichkeit: Möglicherweise enthält die Website vertrauliche Informationen, die nicht öffentlich zugänglich sein sollen. Indem der Zugriff auf den Googlebot beschränkt wird, kann der Website-Betreiber sicherstellen, dass sensible Daten nicht in den Suchergebnissen auftauchen.
- Exklusiver Inhalt: Manche Webseiten bieten exklusive Inhalte nur für zahlende Abonnenten oder registrierte Benutzer an. Indem der Zugriff auf den Googlebot eingeschränkt wird, kann der Website-Betreiber sicherstellen, dass dieser exklusive Inhalt nicht öffentlich zugänglich ist und nur den berechtigten Nutzern zur Verfügung steht.
Wie können die Interaktionen mit dem Googlebot gesteuert werden?
In der neuesten Folge des “Search Off The Record”-Podcast gibt das Search Relations-Team von Google interessante Einblicke in die Kontrolle der Interaktionen des Googlebots mit Webseiten.
Im Fokus stand unter anderem die Frage, wie man den Googlebot davon abhalten kann, bestimmte Abschnitte einer Webseite zu crawlen.
Das Search Relations-Team von Google verriet, dass das Crawlen eines bestimmten Abschnitts auf einer HTML-Seite nicht blockiert werden kann. Es gibt dennoch zwei Strategien, die dieser Problematik ausweichen können, aber keine davon sei laut Google ideal
Zum einen könnte das HTML-Attribut data-nosnippet verwendet werden, damit die Informationen nicht im Such-Snippet erscheinen.
Die andere Möglichkeit ist, ein iframe oder JavaScript zu benutzen, dessen Quelle durch robots.txt blockiert wird. Das ist allerdings nicht empfehlenswert, da dies zu Problemen beim Crawling und Indexieren führen kann, die oft nur schwer zu beseitigen sind.
Eine weitere Frage, die vom Google-Team beantwortet wurde war, wie man verhindern kann, dass der Googlebot auf einen bestimmten Teil einer Webseite zugreift. Hierfür gibt es eine simple Lösung mithilfe von robots.txt. Hier wird ein disallow: / für den Googlebot hinterlegt. Solange dies hinterlegt ist, lässt der Bot diesen Teil der Webseite außer Acht.
