Suchmaschinenoptimierung (SEO) entwickelt sich ständig weiter, und immer wieder kommen neue Technologien auf, die das Spielfeld verändern. Eine dieser Neuerungen sind Vector Embeddings – eine Methode, mit der semantische Beziehungen zwischen Inhalten auf eine ganz neue Art sichtbar gemacht werden können.
Vielleicht hast du schon gehört, dass Google solche Technologien bereits seit Jahren nutzt, während viele von uns häufig noch auf traditionelle, lexikalische Modelle setzen. Aber dies ändert sich gerade: Mit Tools wie Screaming Frog kannst du nun auch die Möglichkeiten von Vector Embeddings für deine SEO-Strategien nutzen!
In diesem Blogpost zeigen wir dir, wie die Technologie funktioniert, warum sie so viel Potenzial bietet und wie du sie einsetzen kannst, um deine SEO Erkenntnisse zu erweitern.
Was sind Vector Embeddings?
Hast du dich schon mal gefragt, wie Suchmaschinen wie Google es schaffen, nicht nur die Wörter in einer Suchanfrage zu verstehen, sondern auch deren Bedeutung und Kontext? Die Antwort darauf sind (BERT) Vector Embeddings.
Stell dir vor, jedes Wort, jeder Satz oder sogar ein komplettes Dokument wird als Punkt in einem mehrdimensionalen Raum dargestellt. Die Position dieses Punktes ist dabei nicht zufällig – sie spiegelt die semantische Bedeutung und die Beziehungen zu anderen Wörtern wider. Wörter, die ähnlich sind oder im gleichen Kontext verwendet werden, liegen also enger beieinander.
Im Vergleich zu traditionellen Methoden wie TF-IDF, die vor allem auf der Häufigkeit von Wörtern basieren, gehen moderne Vector Embeddings viel tiefer. Sie sind „dichter“, was bedeutet, dass sie auch Bedeutung, Kontext und sogar Mehrdeutigkeit (Polysemie) erfassen können. Ein Wort wie „Bank“ kann so je nach Zusammenhang als Finanzinstitut oder als Sitzgelegenheit interpretiert werden.
Diese Fähigkeit hat die Art und Weise, wie wir semantische Suche verstehen, stark verändert. Google nutzt Vektoren bereits seit Jahren, um Abfragen, Entitäten, Sätze, Autoren oder sogar ganze Websites zu modellieren. Sie nutzen dabei ihr eigenes Modell namens BERT. Durch LLM-Anbieter wie OpenAI kann aber mittlerweile jeder Vector Embeddings erstellen lassen.
Wie kann man das am besten anhand eines Beispiels erklären?
Angenommen, du hast einen mehrdimensionalen Raum, in dem du die Worte “Hund”, “Katze” und “Auto” platzierst. Die Position der Wörter ist davon abhängig, welche Bedeutung und Beziehungen sie zueinander haben. Beispielsweise sind “Hund” und “Katze” nah beieinander, weil sie beide Tiere sind und ähnliche Eigenschaften teilen. Das Wort “Auto” hingegen ist weiter entfernt, weil es im Gegensatz zu den Tieren ein Objekt ist und damit einen anderen Kontext hat. Jedes dieser Wörter wird durch einen Vektor dargestellt. Jetzt stell dir vor, dass eine ganze URL aus mehreren Vektorgruppen besteht und diese Vektoren den Inhalt einer Seite wiedergeben.
Warum sind Vector Embeddings für SEO wichtig?
Mit der zunehmenden Integration von maschinellem Lernen in die Ranking-Systeme von Suchmaschinen werden Vector Embeddings immer wichtiger. Sie helfen dabei, die Bedeutung und Relevanz von Inhalten nicht nur anhand von Keyword-Übereinstimmungen zu erfassen, sondern auch auf einer tieferen semantischen Ebene. Für SEOs bedeutet dies, dass ein tieferes Verständnis der semantischen Beziehungen zwischen Inhalten erforderlich ist, um in den Suchergebnissen erfolgreich zu sein.
Screaming Frog und Vector Embeddings
Mit einer Custom-JavaScript-Funktion kannst du direkt in Screaming Frog Vector Embeddings generieren – und das eröffnet dir ganz neue Möglichkeiten für deine SEO-Strategie.
Screaming Frog gibt dir die Freiheit, eigene JavaScript-Funktionen auszuführen und sogar, per API Call, Daten von Drittanbietern abzurufen. Das bedeutet, du kannst z. B. das Feature „(ChatGPT) Extract embeddings from page content“ nutzen, um semantische Beziehungen innerhalb deiner Inhalte sichtbar zu machen.
Um loszulegen, musst du Screaming Frog lediglich passend einrichten: Dazu gehört die Eingabe deines OpenAI API-Schlüssels und einige Anpassungen in den Crawl-Einstellungen. Keine Sorge, das ist einfacher, als es klingt – und du wirst schnell die Vorteile sehen!
Falls du lieber andere Embeddings-Modelle ausprobieren möchtest, ist das auch kein Problem. Screaming Frog unterstützt alternative Optionen wie Google’s Vertex AI oder Open-Source-Tools wie Meta’s Llama. Damit hast du die Flexibilität, genau die Technologie zu nutzen, die für dich am besten passt.
So setzt du Vector Embeddings mit Screaming Frog ein
- Datenextraktion: Crawle deine Website mit Screaming Frog und exportiere die benötigten Daten, wie z. B. Seitentitel, Meta-Beschreibungen und Hauptinhalte.
- Vector Embeddings erstellen: Nutze ein vortrainiertes Sprachmodell, um Vector Embeddings für deine Inhalte zu generieren. Dies kann mit Programmiersprachen wie Python und Bibliotheken wie TensorFlow oder PyTorch erfolgen.
- Analyse und Visualisierung: Verwende Tools zur Datenvisualisierung, um die Beziehungen zwischen den Inhalten darzustellen und Muster zu erkennen.
- Maßnahmen ableiten: Basierend auf der Analyse kannst du Optimierungen vornehmen, z. B. interne Links setzen, neue Inhalte erstellen oder bestehende Inhalte überarbeiten.
Wie erstellt man Vector Embeddings?
Mit Vector Embeddings kannst du interne Verlinkungsmöglichkeiten identifizieren und so deine SEO-Bemühungen deutlich verbessern. Dieser datenbasierte Ansatz hilft dir nicht nur, versteckte Verlinkungschancen aufzudecken, sondern steigert auch die Relevanz der Links – sowohl für Suchmaschinen als auch für Nutzer.
Hier findest du eine Schritt-für-Schritt-Anleitung, die dir den Prozess erleichtert, selbst wenn du noch keine Erfahrung mit Python oder Vector Embeddings hast:
Schritt 1: OpenAI API-Schlüssel beschaffen
Erstelle zuerst einen neuen geheimen API-Key auf der OpenAI-Website und kopiere ihn. Du brauchst diesen Schlüssel später in Screaming Frog.
Schritt 2: Screaming Frog einrichten
- Öffne Screaming Frog und gehe zu Konfiguration > Benutzerdefiniert > Benutzerdefiniertes JavaScript.
- Klicke auf Aus Bibliothek hinzufügen und wähle (ChatGPT) Embeddings aus Seiteninhalten extrahieren.
- Füge deinen OpenAI API-Schlüssel in den Code ein.
- Teste die Einrichtung mit einer beliebigen URL deiner Website, um sicherzustellen, dass alles funktioniert.
Passe anschließend die Screaming Frog Einstellungen an:
- JavaScript-Rendering aktivieren: Gehe zu Konfiguration > Crawl-Konfiguration > Spider > Rendering > JavaScript und aktiviere das JavaScript-Rendering.
- Crawl-Einstellungen anpassen: Unter Konfiguration > Crawl-Konfiguration > Crawl kannst du festlegen, dass nur textuelle Inhalte, und alles andere was du speziell für deinen Use-Case benötigst, gecrawlt werden.
- Datenextraktion konfigurieren: Gehe zu Konfiguration > Crawl-Konfiguration > Spider > Extraktion und wähle nur die benötigten Daten aus.
Starte dann den Crawl. Nach etwa einer Minute siehst du in der Registerkarte Benutzerdefiniertes JavaScript Zahlen neben den URLs.
Was du mit den gewonnenen Daten machen kannst
Nachdem du die Vektoren mit Screaming Frog extrahiert hast, gibt es viele Möglichkeiten, diese weiterzuverarbeiten und daraus wertvolle Erkenntnisse zu gewinnen.
Die extrahierten Vektoren lassen sich für verschiedene SEO-Analysen weiterverarbeiten:
- Keyword-Mapping: Durch Vektorähnlichkeitssuchen können Keywords den relevantesten Seiten zugeordnet werden, um die Keyword-Ausrichtung und interne Verlinkung zu optimieren.
- Keyword-Relevanz: Die Kosinusähnlichkeit zwischen Keywords und URLs hilft dabei, die Relevanz von Inhalten für bestimmte Suchbegriffe zu bewerten.
- Internes Linking & Redirects: Semantische Beziehungen zwischen Seiten ermöglichen eine gezielte interne Verlinkung und die optimale Abbildung von Weiterleitungen bei Website-Migrationen.
- Linkaufbau: Vergleich der Vektoreinbettungen zur Bewertung potenzieller Backlink-Quellen, um relevante und wertvolle Links zu identifizieren.
- Content Clustering: Thematische Gruppierung von Inhalten zur Optimierung der Struktur und Identifikation von Ausreißern, z. B. mit BERTopic.
- Ähnlichkeits- und Diversitätsmessung: Analyse der Unterschiede und Gemeinsamkeiten zwischen Datenpunkten für verschiedene Anwendungsfälle.
- Anomalie-Erkennung: Aufspüren ungewöhnlicher oder abweichender Elemente innerhalb der Daten.
Für die Berechnungen müssen die Vektoren aus Screaming Frog, die als kommagetrennte Zeichenketten gespeichert sind, in numerische Werte umgewandelt werden. Dazu kann Python mit NumPy verwendet werden. Für die Vektorsuche eignen sich Tools wie SCaNN (Google), FAISS (Facebook) oder Annoy (Spotify). Alternativ lassen sich die Daten in BigQuery für Vektorsuchen nutzen. Auch eine Vektorisierung von Keyword-Listen mit CSV-Dateien ist möglich, um gezielte Analysen durchzuführen.
Durch den Einsatz von Vector Embeddings kannst du nicht nur die semantische Bedeutung deiner Inhalte besser verstehen, sondern auch gezielte, datengestützte SEO-Strategien entwickeln. Die Integration dieser Technologie in Tools wie Screaming Frog eröffnet neue Möglichkeiten für die Optimierung deiner Website und das Auffinden von SEO-Chancen. Indem du diese Techniken anwendest, kannst du nicht nur deine SEO-Ergebnisse verbessern, sondern auch eine tiefere, langfristige Strategie für die Auffindbarkeit und Relevanz deiner Website entwickeln. Es lohnt sich also, Vector Embeddings zu nutzen, um die Leistung deiner Website im Wettbewerb zu steigern.