Guides, findings and the glossary, filed separately.
In einem Satz
Die CrawlCheck-Bibliothek sind die Leitfäden, Befunde und das Glossar hinter dem Scanner: Jeder Leitfaden prüft eine Sache auf jeder Website und berichtet, wie oft sie über alle Scans fehlschlägt, jeder Befund ist ein datierter Fall aus einer echten Messung, und jeder Glossarbegriff ist einmal definiert und vom Bericht verlinkt, der ihn misst.
Nichts hier ist Rat aus einer Umfrage. Ein Leitfaden sagt Ihnen, wie Sie eine Sache auf jeder Website prüfen und was die Prüfung üblicherweise findet; ein Befund ist ein Fall aus einem echten Scan mit den Bytes dahinter; ein Begriff ist einmal definiert und vom Bericht verlinkt, der ihn misst.
Bezahlen ändert nie einen Messwert. CrawlCheck Certified: the free course · The rulebook · The crawlers · How a scan works · Videos · Einen Befund einreichen
Leitfäden. Befunde. Glossar.
Leitfäden
Wie man eine Sache prüft.
Jeder Leitfaden ist eine Prüfung: was abzurufen ist, worauf zu achten ist, was es bedeutet und wie oft es über alle Scans fehlschlägt. Beginnen Sie mit den drei, die erklären, wie man einen Bericht liest.
Befunde
Was echte Scans gefunden haben.
Datierte Fallstudien aus dem öffentlichen Datensatz: eine robots.txt, die sich nicht lesen ließ, ein Crawler-Name, den Google nach eigener Aussage nie sendet, eine Seite, die zwei Unternehmen eine Identität gab.
Glossar
Jeder Begriff, einmal definiert.
772 Begriffe aus der Maschinenebene, jeder mit der Seite, die ihn misst. Die Definitionen sind dieselben, die Bericht und API verwenden.
Jede Zahl hier wird aus dem Manifest gelesen, das sie veröffentlicht.
Drei Leitfäden, die den Bericht erklären.
Was die Leitfäden abdecken.
- Sicherheit und E-Mail — Header und DNS-Einträge, die ein Crawler lesen kann: HSTS, CSP, DMARC, SPF, DKIM. (3)
- KI-Crawler und Zugang — Wer abruft, ob er hineinkommt und ob er ist, wer er vorgibt zu sein. (14)
- KI-Sichtbarkeit und Antwortmaschinen — Was sich über eine Website in einer generierten Antwort tatsächlich messen lässt. (5)
- Entitäten, Schema und lokale Präsenz — Deklarieren, wer Sie sind, damit ein Resolver nicht raten muss: JSON-LD, NAP, Einträge. (6)
- Maschinendateien und Auslieferung — robots.txt, llms.txt, Sitemaps, Canonicals, Caches, Statuscodes. (12)
- Website-Qualität, Links und Barrierefreiheit — Was ein Leser, ein Screenreader und ein Link-Checker jeweils von einer Seite brauchen. (22)
Diesen Monat gemessen.
- Our crawler counts missed about 45% of hits 2026-11-06
- Most of our 'referring pages' were forged Referer headers 2026-11-06
- Our AI accuracy check ran for six days and measured nothing 2026-11-06
- 18 DMARC reports, 7 domains: every failure was a spoofer 2026-11-06
- One Cloudflare setting is behind most of the new AI training blocks on top sites 2026-11-03