With the three guides that explain how to read a report: how to read a CrawlCheck report, how to check whether AI crawlers can read your site, and how to measure AI visibility. Each is a check you can run on any domain today.

What is a finding, as opposed to a guide?

A finding is a dated case from a real scan — what was served, what was declared, what differed — with the bytes behind it. A guide is the reusable check that case taught. Findings never name a site before contact has been made.

Are the rates in the guides real?

Yes. The rate printed in a guide is the share of scans in the public dataset that carried that finding, read live from the same counts the data pages publish.

Is the glossary the same vocabulary the product uses?

Yes. A term is defined once; the report, the API and the specifications use that definition and link back to it.

Lernen · Leitfäden, Befunde, Glossar

Wie prüft man eine Website für das agentische Web?

In einem Satz

Die CrawlCheck-Bibliothek sind die Leitfäden, Befunde und das Glossar hinter dem Scanner: Jeder Leitfaden prüft eine Sache auf jeder Website und berichtet, wie oft sie über alle Scans fehlschlägt, jeder Befund ist ein datierter Fall aus einer echten Messung, und jeder Glossarbegriff ist einmal definiert und vom Bericht verlinkt, der ihn misst.

64 Leitfäden, 93 gemessene Befunde und ein Glossar mit 751 Begriffen — jeweils aus einer Messung geschrieben, mit der Rate, mit der die Sache über alle Scans vorkommt.

Nichts hier ist Rat aus einer Umfrage. Ein Leitfaden sagt Ihnen, wie Sie eine Sache auf jeder Website prüfen und was die Prüfung üblicherweise findet; ein Befund ist ein Fall aus einem echten Scan mit den Bytes dahinter; ein Begriff ist einmal definiert und vom Bericht verlinkt, der ihn misst.

Bezahlen ändert nie eine Messung. Das Regelwerk · Die Crawler · So funktioniert ein Scan

Signierte Antwort · eine öffentliche Website, täglich gemessen · beobachtet vor 12 Tagendenverpost.comlesenwarnenzitierenwarnenverbindennichts erklärtabwickelnbraucht einen Menschen8 von 9 KI-Crawler-Identitäten erhielten die Seite; robots.txt erlaubt 73 von 114 getesteten AgentenCrawl-Richtlinieerklärt · 73 von 114 Agenten erlaubtAuslieferungbeobachtet · 14 Identitäten, 1 abgelehntMaschinendateienbeobachtet · 5 gelesen, Inhalte gehashtBefunde8 offen · 4 schwerEd25519 · offline prüfbarSignierte Antwort öffnen →

Drei Wege nach unten

Leitfäden. Befunde. Glossar.

Leitfäden

Wie man eine Sache prüft.

Jeder Leitfaden ist eine Prüfung: was abzurufen ist, worauf zu achten ist, was es bedeutet und wie oft es über alle Scans fehlschlägt. Beginnen Sie mit den drei, die erklären, wie man einen Bericht liest.

Alle Leitfäden · Hier beginnen

Befunde

Was echte Scans gefunden haben.

Datierte Fallstudien aus dem öffentlichen Datensatz: eine robots.txt, die sich nicht lesen ließ, ein Crawler-Name, den Google nach eigener Aussage nie sendet, eine Seite, die zwei Unternehmen eine Identität gab.

Alle Befunde · Die Daten dahinter

Glossar

Jeder Begriff, einmal definiert.

751 Begriffe aus der Maschinenebene, jeder mit der Seite, die ihn misst. Die Definitionen sind dieselben, die Bericht und API verwenden.

Das Glossar · Agentisches Web · Regeln

Die Bibliothek, gezählt

Jede Zahl hier wird aus dem Manifest gelesen, das sie veröffentlicht.

64LeitfädenWie man eine Sache prüft, mit der Rate, mit der sie über alle Scans fehlschlägt.Leitfäden →93gemessene BefundeFallstudien aus echten Scans: was ausgeliefert wurde, was deklariert wurde, was abwich.Befunde →751GlossarbegriffeJeder Begriff, den das Produkt verwendet, einmal definiert und von dort verlinkt, wo er gemessen wird.Glossar →86veröffentlichte RegelnWas jeder Befund prüft, seine Schwere und wie man ihn behebt. Aus dem laufenden Dienst berechnet.Das Regelwerk →15Crawler-IdentitätenWer das Web für Agenten und Antwortmaschinen abruft, und wie jede Identität getestet wird.Die Crawler →

Hier beginnen

Drei Leitfäden, die den Bericht erklären.

Nach Thema

Was die Leitfäden abdecken.

Sicherheit und E-Mail — Header und DNS-Einträge, die ein Crawler lesen kann: HSTS, CSP, DMARC, SPF, DKIM. (3)
KI-Crawler und Zugang — Wer abruft, ob er hineinkommt und ob er ist, wer er vorgibt zu sein. (18)
KI-Sichtbarkeit und Antwortmaschinen — Was sich über eine Website in einer generierten Antwort tatsächlich messen lässt. (8)
Entitäten, Schema und lokale Präsenz — Deklarieren, wer Sie sind, damit ein Resolver nicht raten muss: JSON-LD, NAP, Einträge. (6)
Maschinendateien und Auslieferung — robots.txt, llms.txt, Sitemaps, Canonicals, Caches, Statuscodes. (12)
Website-Qualität, Links und Barrierefreiheit — Was ein Leser, ein Screenreader und ein Link-Checker jeweils von einer Seite brauchen. (17)

Neueste Befunde

Diesen Monat gemessen.

Alle Befunde →

Fragen zu dieser Seite

QWo fange ich an?

Mit den drei Leitfäden, die erklären, wie man einen Bericht liest: wie man einen CrawlCheck-Bericht liest, wie man prüft, ob KI-Crawler Ihre Website lesen können, und wie man KI-Sichtbarkeit misst. Jede davon ist eine Prüfung, die Sie heute auf jeder Domain ausführen können.

QWas ist ein Befund, im Unterschied zu einem Leitfaden?

Ein Befund ist ein datierter Fall aus einem echten Scan — was ausgeliefert wurde, was deklariert wurde, was abwich — mit den Bytes dahinter. Ein Leitfaden ist die wiederverwendbare Prüfung, die dieser Fall gelehrt hat. Befunde nennen nie eine Website, bevor Kontakt aufgenommen wurde.

QSind die Raten in den Leitfäden echt?

Ja. Die in einem Leitfaden gedruckte Rate ist der Anteil der Scans im öffentlichen Datensatz, die diesen Befund trugen, live aus denselben Zählungen gelesen, die die Datenseiten veröffentlichen.

QIst das Glossar dasselbe Vokabular, das das Produkt verwendet?

Ja. Ein Begriff wird einmal definiert; der Bericht, die API und die Spezifikationen verwenden diese Definition und verlinken darauf zurück.