Unternehmen investieren zunehmend in ihre Sichtbarkeit bei ChatGPT, Perplexity und anderen KI-Systemen. Inhalte werden überarbeitet, strukturierte Daten ergänzt und Websites für AI Search optimiert. Doch eine grundlegende Frage bleibt häufig unbeantwortet: Greifen diese Systeme überhaupt auf die eigene Website zu? Und falls ja, welche Seiten werden besucht?
Mit neuen Analysefunktionen von Microsoft Clarity und Cloudflare lassen sich solche Zugriffe inzwischen besser nachvollziehen. Das eröffnet neue Möglichkeiten für die technische Analyse einer Website. Gleichzeitig ist es wichtig zu verstehen, was diese Daten tatsächlich aussagen und wo ihre Grenzen liegen.
Warum Google Analytics nicht die ganze Geschichte zeigt
Wer die Performance seiner Website analysieren möchte, nutzt häufig Google Analytics, Microsoft Clarity oder vergleichbare Tools. Diese erfassen vor allem das Verhalten menschlicher Besucher: welche Seiten sie aufrufen, wie lange sie bleiben und welche Aktionen sie ausführen.
KI-Crawler funktionieren anders. Sie rufen Websites automatisiert ab, um Informationen zu sammeln, Inhalte zu indexieren oder aktuelle Daten für KI-Anwendungen bereitzustellen. Dabei führen sie normalerweise keinen JavaScript-Tracking-Code aus, wie er beispielsweise für Google Analytics oder klassische Clarity-Sitzungsaufzeichnungen verwendet wird.
Dadurch entsteht eine Lücke. Eine Website kann regelmässig von KI-Systemen besucht werden, ohne dass diese Aktivität in den gewohnten Analytics-Dashboards sichtbar wird. Um solche Zugriffe nachzuvollziehen, benötigt man Informationen auf Server- oder CDN-Ebene, wo HTTP-Anfragen unabhängig vom Browser erfasst werden.
Nicht jeder Besuch einer Website erscheint in Google Analytics. Gerade die automatisierten Zugriffe von KI-Systemen bleiben dort häufig unsichtbar.
Welche KI-Systeme besuchen eine Website?
Nicht alle KI-Crawler erfüllen dieselbe Aufgabe. Manche sammeln Informationen für Such- und Indexierungsfunktionen, andere werden eingesetzt, um bei konkreten Nutzeranfragen aktuelle Inhalte abzurufen. Wieder andere dienen der Datensammlung für das Training von KI-Modellen.
OpenAI unterscheidet beispielsweise zwischen GPTBot für die Sammlung potenzieller Trainingsdaten, OAI-SearchBot für Suchfunktionen und ChatGPT-User für bestimmte nutzerinitiierte Zugriffe.
Diese Unterscheidung ist wichtig. Ein Unternehmen könnte beispielsweise zulassen wollen, dass seine Inhalte für KI-Suchfunktionen erreichbar sind, ohne gleichzeitig jede Form der Datensammlung für Modelltraining zu erlauben. Entsprechend sollte KI-Traffic nicht einfach als eine einzige Kategorie betrachtet werden.
Wie funktioniert AI Bot Activity in Microsoft Clarity?
Microsoft hat seine Analyseplattform Clarity 2026 um Funktionen erweitert, mit denen automatisierte Zugriffe sichtbar werden. Mit AI Bot Activity können Unternehmen erkennen, welche KI-Crawler ihre Website besuchen, wie häufig Anfragen erfolgen und welche Seiten besonders oft abgerufen werden.
Anders als beim klassischen Clarity-Tracking stammen diese Informationen nicht aus einem Script im Browser. Stattdessen nutzt Clarity serverseitige Logdaten aus unterstützten Infrastrukturen wie Cloudflare, Fastly oder Amazon CloudFront.
Das Dashboard zeigt unter anderem Anfragevolumen, häufig besuchte Seiten und HTTP-Antwortstatus. Besonders interessant ist letzterer: Wenn wichtige KI-Crawler wiederholt auf Fehlerseiten treffen oder Inhalte nicht erfolgreich abrufen können, entsteht ein konkreter Ansatzpunkt für technische Optimierungen.
Crawler-Daten zeigen nicht nur, welche KI-Systeme eine Website besuchen, sondern auch, ob sie die angefragten Inhalte erfolgreich abrufen können.
Warum Cloudflare dabei eine wichtige Rolle spielt
Cloudflare übernimmt bei vielen Websites die Rolle eines Content Delivery Networks (CDN). Anfragen laufen über dessen Infrastruktur, bevor Inhalte ausgeliefert werden. Dadurch verfügt Cloudflare über Informationen, die klassische browserbasierte Analytics-Tools nicht erfassen können.
Über eine entsprechende Integration können diese Daten in Microsoft Clarity ausgewertet werden. Interessant ist, dass dies inzwischen auch mit Cloudflare ausserhalb des Enterprise-Tarifs möglich ist.
Allerdings muss die technische Konfiguration stimmen. Nur weil eine Website Cloudflare für ihre DNS-Verwaltung verwendet, bedeutet das nicht, dass ihre gesamten Zugriffe über das CDN laufen. Bei vollständig verwalteten Plattformen kann dies eine Einschränkung sein. So funktioniert das normale Clarity-Tracking beispielsweise problemlos über ein Script in Webflow, während die serverseitigen Crawler-Daten dadurch nicht automatisch verfügbar werden.
Bei einer individuell gehosteten Website, etwa mit Astro und Cloudflare, lässt sich die Infrastruktur gezielter konfigurieren. Die technische Architektur beeinflusst damit nicht nur Performance und Entwicklung, sondern auch die Möglichkeiten zur Analyse automatisierter Zugriffe.
Was lässt sich aus diesen Daten lernen?
Nehmen wir an, ein Unternehmen betreibt eine mehrsprachige Website mit Leistungsseiten, Blogartikeln und Case Studies. Die Crawler-Analyse zeigt, dass bestimmte Fachartikel regelmässig abgerufen werden, während zentrale Leistungsseiten kaum in den Logs erscheinen.
Das ist zunächst eine Beobachtung, noch keine Erklärung. Die Unterschiede können mit interner Verlinkung, Aktualität, Crawling-Verhalten oder technischen Faktoren zusammenhängen. Trotzdem ergeben sich daraus sinnvolle Fragen: Sind die wichtigsten Leistungen klar beschrieben? Existieren eindeutige URLs? Werden Inhalte serverseitig ausgeliefert? Können Crawler alle relevanten Informationen erreichen?
Auch Veränderungen im Zeitverlauf sind interessant. Wenn eine Website ihre Informationsarchitektur verbessert oder technische Zugriffsprobleme behebt, lässt sich anschliessend beobachten, ob sich das Abrufverhalten verändert. Diese Daten ersetzen keine SEO-Analyse. Sie ergänzen sie um eine technische Perspektive, die bisher häufig gefehlt hat.
Bedeutet mehr Crawling automatisch mehr Sichtbarkeit in ChatGPT?
Nein. Und genau diese Unterscheidung ist zentral. Ein erfolgreicher Seitenabruf zeigt lediglich, dass ein bestimmtes System die angefragte Ressource erreichen konnte. Daraus lässt sich nicht ableiten, dass Inhalte tatsächlich für eine Antwort verwendet wurden oder dass ChatGPT das Unternehmen empfiehlt.
Crawling ist ein technisches Signal, keine Sichtbarkeitsgarantie. Eine Website kann häufig besucht werden, ohne in KI-Antworten aufzutauchen.
Deshalb sollten Unternehmen unterschiedliche Ebenen der KI-Sichtbarkeit getrennt betrachten. Crawler-Analysen zeigen automatisierte Zugriffe, Zitationsanalysen untersuchen Erwähnungen als Quelle und Referral-Analysen geben Hinweise darauf, ob Nutzer anschliessend tatsächlich auf die Website gelangen.
In Kombination entsteht ein differenzierteres Bild. Ein direkter Zusammenhang zwischen einem einzelnen Crawler-Zugriff und einer späteren Empfehlung lässt sich daraus allerdings nicht zuverlässig herstellen.
Was sollten Unternehmen jetzt überprüfen?
Bevor zusätzliche Tools integriert oder technische Anpassungen vorgenommen werden, lohnt sich eine Bestandsaufnahme. Besonders relevant sind fünf Punkte:
- Erreichbarkeit: Können wichtige KI-Crawler die öffentlichen Inhalte tatsächlich abrufen?
- Zugriffsregeln: Welche Bots werden über robots.txt, CDN-Regeln oder andere Schutzmechanismen zugelassen beziehungsweise blockiert?
- Technische Antworten: Werden relevante Seiten erfolgreich ausgeliefert oder treten Fehler und blockierte Requests auf?
- Content-Struktur: Sind Leistungen und Fachinformationen über klare URLs erreichbar und sinnvoll miteinander verknüpft?
- Messbarkeit: Welche serverseitigen Daten stehen bereits zur Verfügung und welche zusätzliche Infrastruktur wäre notwendig?
Nicht jede Website benötigt dafür einen neuen Technologie-Stack. Zunächst sollte geprüft werden, welche Möglichkeiten mit der bestehenden Infrastruktur vorhanden sind und welche zusätzlichen Anforderungen an Datenschutz und Logverarbeitung entstehen.
Fazit: KI-Sichtbarkeit beginnt mit technischer Transparenz
Mit AI Bot Activity von Microsoft Clarity und entsprechenden Funktionen von Cloudflare erhalten Unternehmen neue Möglichkeiten, automatisierte Zugriffe auf ihre Websites zu verstehen. Sie können erkennen, welche KI-Systeme Anfragen stellen, welche Inhalte abgerufen werden und wo technische Probleme auftreten.
Diese Informationen sind wertvoll, müssen aber richtig eingeordnet werden. Viele Crawler-Zugriffe bedeuten nicht automatisch hohe Sichtbarkeit in ChatGPT. Umgekehrt lässt sich aus wenigen beobachteten Anfragen nicht schliessen, dass ein Unternehmen für KI-Systeme irrelevant ist.
Wer seine Sichtbarkeit in KI-Systemen verbessern möchte, sollte nicht nur Inhalte optimieren, sondern auch verstehen, ob und wie diese Inhalte technisch abgerufen werden.
Genau darin liegt eine sinnvolle Ergänzung zu klassischem SEO und AEO: weniger Vermutungen über KI-Systeme und mehr Transparenz darüber, was auf der eigenen Website tatsächlich passiert.
