Acht kostenlose Prüfungen, ohne Anmeldung.
Domain eingeben. Kein Konto, nichts zu installieren. Was ein Agent über Ihre Website erfährt, bevor er handelt; ob eine Maschine Ihre Dateien lesen kann; ob der Crawler in Ihren Logs echt ist; was Ihre robots.txt jedem KI-Agenten tatsächlich erlaubt; ein erster Entwurf Ihrer llms.txt aus den Seiten, die Sie bereits veröffentlichen; wie Sie gegen einen Wettbewerber abschneiden; woran Google in einem Video ankern kann; und ob eine signierte Bot-Anfrage vom genannten Bot stammt. Jede Prüfung ist zugleich ein öffentlicher Endpunkt, den ein Agent aufrufen kann.
In einem Satz
Die Seite mit den kostenlosen Tools beantwortet acht Fragen ohne Konto, jede auch als öffentlicher Endpunkt für Agenten aufrufbar: was ein KI-Agent über eine Domain durch die signierte Resolve-Antwort erfährt (eine Entscheidung pro Aktion, was die Website deklariert, was ihr ausgeliefert wurde, was fehlt); ob eine Maschine ihre robots.txt, Sitemap und llms.txt im richtigen Content-Type lesen kann oder ein Cache Veraltetes ausliefert; ob eine Anfrage in Ihren Zugriffslogs, die sich als GPTBot, ClaudeBot, Googlebot oder ein anderer benannter Crawler ausgibt, aus den vom Betreiber veröffentlichten IP-Bereichen kam (verifiziert, gefälscht oder nicht verifizierbar, nie nur zwei Ausgänge); was eine robots.txt jedem KI-Crawler an einem Pfad tatsächlich erlaubt; ein erster llms.txt-Entwurf aus bereits veröffentlichten Seiten; ein Vergleich mit einem Wettbewerber; woran ein Suchergebnis in einem Video ankern kann; und ob eine mit Web Bot Auth signierte Anfrage vom genannten Bot stammt.
- 01Was erfährt ein Agent über Ihre Website?die signierte Resolve-Antwort, dargestellt
- 02Kann eine Maschine Ihre Dateien lesen?robots.txt · Sitemap · llms.txt · Startseite
- 03Ist dieser Crawler in Ihren Logs echt?verifiziert · gefälscht · nicht prüfbar
- 04Was erlaubt Ihre robots.txt jedem KI-Crawler?pro Agent, am Pfad Ihrer Wahl
- 05Eine llms.txt aus dem entwerfen, was Sie schon veröffentlichenStartseite + bis zu 25 deklarierte Seiten
- 06Wie schneiden Sie gegen einen Wettbewerber ab?zwei Startseiten, je ein Scan
- 07Ist diese signierte Bot-Anfrage echt?Web Bot Auth, jeder Schritt sichtbar
- 08Woran kann Google in Ihrem Video andocken?Kapitel · Untertitel · Beschreibung · Themen
Ist Ihre Website eine davon? Kostenlos prüfen → Alle 52 Raten →
01
Was erfährt ein Agent über Ihre Website?
Die öffentliche, signierte Antwort, die Resolve jedem Agenten gibt, der nach einer Domain fragt, bevor er liest, zitiert, sich verbindet oder Transaktionen ausführt, für Menschen dargestellt: eine Entscheidung pro Aktion, was die Website deklariert, was ihr ausgeliefert wurde, was fehlt.
Agenten lesen nicht Ihre Startseite und bilden sich einen Eindruck. Sie fragen einen Endpunkt und handeln nach den Feldern. Hier sehen Sie diese Felder für Ihre eigene Domain, und wenn es noch keinen Eintrag gibt, sagt die Seite das so, wie es dem Agenten gesagt wird: nicht gemessen, nichts geraten.
Agenten: GET /api/v1/resolve?domain=
02
Kann eine Maschine Ihre Dateien lesen?
Vier Anfragen an die Domain, die Sie nennen: robots.txt, Sitemap, llms.txt und die Startseite, gelesen nach Inhaltstyp und Cache-Alter.
Agenten: GET /api/tool/files?domain=
03
Ist der Crawler in Ihren Logs echt?
Fügen Sie rohe Zeilen aus dem Zugriffsprotokoll ein. Jede, die einen bekannten Crawler nennt, wird gegen die Adressbereiche geprüft, die dieser Betreiber tatsächlich veröffentlicht.
Diese Prüfung macht fast niemand, und sie kehrt Schlussfolgerungen um. Ein Log voller GPTBot 403-Antworten sieht aus, als würde Ihr Host OpenAI blockieren — bis Sie feststellen, dass jede davon von einer einzigen Adresse kam, die sieben verschiedene Crawler-Namen trug. Genau das haben wir auf echten Websites gemessen. Gruppieren Sie nach Adresse, bevor Sie Schlüsse ziehen.
Agenten: GET /api/v1/visitor?ip=&ua=
04
Was erlaubt Ihre robots.txt jedem KI-Crawler?
Ein Abruf der Datei, dann wird jede benannte Antwortmaschine, jeder Suchindex und jeder Trainings-Crawler so dagegen aufgelöst, wie ein Crawler es tut: nur die eigene Gruppe, längste Übereinstimmung, bei Gleichstand gewinnt allow.
Die Regel, die alle falsch verstehen: Ein Disallow unter User-agent: * gilt nie für einen Agenten, der eine eigene Gruppe hat. Nennen Sie GPTBot irgendwo in der Datei ein einziges Mal, und jede Regel mit * gilt für ihn nicht mehr. Dies zeigt, was pro Agent auf dem gewählten Pfad tatsächlich gilt.
Agenten: GET /api/tool/robots?domain=&path=
05
Eine llms.txt aus dem entwerfen, was Sie bereits veröffentlichen
Liest Ihre Startseite und bis zu 25 angegebene Seiten mit ihren eigenen Titeln und Beschreibungen und schreibt einen ersten Entwurf in der üblichen Form.
Es ist absichtlich ein Entwurf. Eine generierte Datei ist eine Linksammlung mit Titeln als Beschreibungen; der Wert der Datei liegt in der Auswahl. Kürzen Sie sie auf die Seiten, nach denen jemand einen Assistenten fragen würde, schreiben Sie die Beschreibungen selbst und liefern Sie sie dann als text/plain aus und prüfen Sie die nackte URL — die Prüfung oben zeigt Ihnen, ob sie angekommen ist.
06
Wie schneiden Sie im Vergleich zu einem Wettbewerber ab?
Zwei Startseiten, derselbe Scan auf beiden: jeder Abschnitt, den eine Antwortmaschine braucht, nebeneinander, mit den Befunden, die nur einer von Ihnen hat.
07
Ist diese signierte Bot-Anfrage echt?
Mit Web Bot Auth signiert ein Bot jede Anfrage mit einem Schlüssel, den er veröffentlicht. Geben Sie den Host des Bots ein oder fügen Sie die Header einer signierten Anfrage ein, und jeder Schritt der Prüfung wird gezeigt: das Schlüsselverzeichnis, die Signaturen darauf, der Fingerabdruck jedes Schlüssels, die abgedeckten Komponenten und das Zeitfenster.
Einen User-Agent kann jeder eintippen; eine Signatur über Ihren eigenen Hostnamen nicht. Ein Schlüssel zählt nur, wenn er das Verzeichnis signiert hat, in dem er steht, sodass eine kopierte oder bearbeitete Schlüsselliste nichts beweist. Es funktioniert für jeden signierenden Agenten, nicht nur für unseren.
Agenten: GET /api/tool/wba?agent=
08
Woran kann Google in Ihrem Video ansetzen?
Fügen Sie eine YouTube-URL ein: Kapitel, Art der Untertitel, Beschreibung, Sprache und Themen, jede Zeile gegen das, woran ein Suchergebnis ansetzen kann. Ganze Kanäle und die Anbindung an die Website gibt es in Watch.
Drei Ergebnisse, nie zwei
Die nicht prüfbaren als gefälscht zu zählen, würde die Rate aufblähen; sie als echt zu zählen, würde sie unterschätzen. Deshalb teilt die Fälschungsrate nur durch verifiziert plus gefälscht, und die Antwort nennt diesen Nenner, statt Sie einen annehmen zu lassen.
Verifiziert
Die Adresse liegt im Bereich, den der Betreiber veröffentlicht. Die Anfrage ist, was sie vorgibt zu sein.
Gefälscht
Der Betreiber veröffentlicht Bereiche, und diese Adresse liegt außerhalb aller. Jemand anderes trägt den Namen.
Nicht prüfbar
Der Betreiber veröffentlicht überhaupt keinen Feed, daher kann die Angabe weder bestätigt noch als gefälscht eingestuft werden. Amazonbot und Meta-ExternalAgent stehen dauerhaft hier.
Was die beiden Prüfungen finden
Wann ausführen: nach jeder Änderung an einer Maschinendatei, nach jeder Cache- oder CDN-Konfigurationsänderung und immer dann, wenn eine crawler-seitige Korrektur „eigentlich“ live sein sollte. Prüfen Sie die nackte URL außerhalb Ihrer eigenen Sitzung, denn Ihr eingeloggter Browser ist der am wenigsten repräsentative Client Ihrer Website.
Die Maschinendatei-Prüfung
Ruft Ihre robots.txt, llms.txt und Sitemap so ab, wie ein Crawler es tut, und liest Content-Type und Body, nicht nur den Status. Der Fehler, für den sie existiert: ein Bot-Schutz, der mit HTTP 200 und HTML antwortet, wo eine Textdatei sein sollte. Jeder Uptime-Monitor nennt das gesund; ein Validator liest es als alles erlaubt.
Die Purge-Prüfung
Hat der gerade ausgeführte Purge wirklich etwas entfernt? Sie ruft die URL vorher und nachher ohne Cache-Busting ab, vergleicht die Bytes und liest die age - und Cache-Status-Header. Eine 200 von einem Purge-Endpunkt ist eine Aussage über den API-Aufruf, nicht über den Cache.
Dieselben zwei Prüfungen, für ein Terminal.
Keines ist ein Produkt. Es sind die Prüfungen, die in diesem Projekt echte Fehler gefunden haben, veröffentlicht, weil ein Beitrag über ein Werkzeug, das man nicht haben kann, Werbung ist. Nutzen Sie sie, ändern Sie sie, keine Namensnennung nötig. Sie stellen keine Netzwerkanfrage außer an die URL, die Sie ihnen geben.
cachecheck.sh
Fragt, ob ein Cache ein Dokument ausliefert, das Ihr Origin nicht mehr erzeugt. Statuscodes ignoriert es völlig: Ein PURGE, der 200 zurückgibt, beweist, dass etwas geantwortet hat, nicht, dass etwas entfernt wurde. Es ruft die nackte URL und eine mit Cache-Busting ab, vergleicht sie und urteilt nicht, wenn eine der beiden Messungen eine Prüfseite ist.
Ansehen oder herunterladen → · curl -sO https://crawlcheck.io/tools/cachecheck.sh
verify.sh
Prüft, ob eine Änderung, die Sie ausgeliefert haben, tatsächlich auf der Seite ankommt, die ein Fremder erhält. Es zählt Ihr Markup außerhalb von style- und script-Tags, damit ein Klassenname in einem Stylesheet nicht als Element auf der Seite durchgeht; es ruft dreimal ab, damit alles Bedingte auffällt; und es sagt, dass es die anonyme Ansicht misst.
Ansehen oder herunterladen → · curl -sO https://crawlcheck.io/tools/verify.sh
Sollen diese Prüfungen zweimal täglich für Sie laufen?
Diese Prüfungen laufen, wenn Sie daran denken. Watch misst zweimal täglich auf drei Domains neu, was jeder benannte KI-Crawler ausgeliefert bekommt, und schreibt Ihnen nur, wenn sich ein Ergebnis ändert: die Antwort, die ein Agent über Ihre Website erhält, aktuell gehalten, ohne dass jemand ans Nachprüfen denken muss.
Die acht Prüfungen oben bleiben kostenlos und brauchen kein Konto.