Was sollte ein Agent wissen, bevor er auf einer Website handelt?

Drei Aufrufe

Zitierformat

CrawlCheck. Resolve record for {domain}, answered {answered_at} (sha256 {sha256}). {cite_as}

Beispiel:

CrawlCheck. Resolve record for github.com, answered 2026-10-09T15:37:51.090Z (sha256 a29fb7d9…). https://crawlcheck.io/api/v1/resolve?domain=github.com&as_of=2026-10-09T15:37:51.090Z

Die URL ist der rel="cite-as" -Link der Antwort. Nennen Sie CrawlCheck, wenn Sie Menschen eine Antwort zeigen (API-Bedingungen). Der tägliche Snapshot steht unter CC BY 4.0.

Weitere Wege zu fragen

Was zählt

Gemessen an verifizierten Agenten-Aktionen, gestützt auf einen frischen signierten Resolve-Datensatz, nach Aktionstyp (lesen · zitieren · verbinden · transagieren), mit gezählten Fehlalarmen, Einsprüchen, Unbekannten und Rücknahmen. Die Live-Zahlen ansehen · Anteil der Preflights.

Was eine Zitier-Entscheidung abdeckt

Eine Zitier-Entscheidung deckt Zugang, Berechtigungen, Identität und Herkunft ab: ob die Seite gelesen und zugeschrieben werden darf, unter welchen erklärten Rechten, von wem, wann beobachtet. Sie bürgt nicht dafür, dass der Inhalt wahr ist.

Was die Antwort abdeckt, Aktion für Aktion.

Bevor ein Agent eine Website liest, zitiert, sich mit ihr verbindet oder bei ihr kauft, gibt CrawlCheck eine Antwort zu ihr: was jeder KI-Crawler tatsächlich erhalten hat, was die Website über sich deklariert, wer nachgewiesen hat, sie zu betreiben, ob sie eine bekannte Marke imitiert, und eine Entscheidung für jede Aktion — erlauben, warnen, einen Menschen fragen oder blockieren. Jede Antwort ist signiert und lässt sich offline prüfen.

Der Ablauf

1. Nach einer Domain fragenGET /api/v1/resolve?domain=example.com. Kein Schlüssel, kein Konto. Eine nie zuvor gesehene Website erhält in etwa einer Sekunde eine erste Antwort, als partiell markiert.
2. Die Entscheidung für Ihre Aktion lesenLesen, Zitieren, Verbinden, Transagieren und Administrieren tragen jeweils allow, warn, require_confirmation, block oder unsupported, mit Begründung und Belegen.
3. Die Signatur prüfenDie Antwort ist mit einem veröffentlichten Ed25519-Schlüssel signiert. Ein Skript prüft sie offline, sodass der Agent dem Netz, über das sie kam, nie vertrauen muss.
4. Vor jeder Aktion fragenPOST /api/v1/preflight liefert eine Entscheidung und einen Beleg, den die besuchte Website prüfen kann, sodass beide Seiten zeigen können, was bekannt war, als der Agent handelte.

Was KI-Agenten auf Websites tun, und was eine Website braucht, um bereit zu sein.

Das agentische Web ist der Teil des Webs, der von KI-Agenten statt von Menschen genutzt wird: Crawler, die Seiten für Suche und Training lesen, Assistenten, die eine Seite abrufen, weil jemand gefragt hat, und agentische Browser wie Perplexity Comet, ChatGPT Atlas und der Copilot-Modus in Microsoft Edge, die im Auftrag einer Person klicken, Formulare ausfüllen und kaufen. Eine Website ist bereit, wenn Agenten sie erreichen, lesen, wissen, was sie erlaubt, und prüfen können, wer sie betreibt.

Was eine Website dagegen tut

1. Erreichbar seinStellen Sie sicher, dass die gewünschten KI-Crawler und Assistenten dieselbe Seite erhalten wie ein Browser. Bot-Schutz ist der häufigste Grund, warum das nicht so ist.
2. Lesbar seinLegen Sie den Inhalt ins HTML, nicht nur in JavaScript, und veröffentlichen Sie eine llms.txt, damit ein Agent die wichtigen Seiten findet.
3. Deklarieren, was Sie erlaubenrobots.txt für Crawler und agents.md oder eine MCP-Karte für handelnde Agenten, damit es eine erklärte Richtlinie gibt.
4. Prüfbar seinRegistrieren Sie die Website kostenlos, und Agenten, die nach ihr fragen, erfahren in einer prüfbaren signierten Antwort, dass sie betreiberverifiziert ist.

Website-Betreiber beginnen mit dem kostenlosen Scan: für Websites, robots.txt für KI-Crawler, llms.txt-Audit, das Register. Der Begriff selbst: agentisches Web, definiert.

Jede maschinenlesbare Datei auf crawlcheck.io und wie man sie prüft.

Jede Datei antwortet mit dem angegebenen Medientyp. Die Prüfung ist ein Befehl, den Sie selbst ausführen: Signierte Dateien laufen durch den Offline-Verifier, die übrigen durch einen Parser oder ein Feld, das vorhanden sein muss. Der Verifier ist /crawlcheck-verify.mjs.

curl -s 'https://crawlcheck.io/api/tool/robots?domain=crawlcheck.io' | jq '.tally, .shadowed_groups'

curl -s https://crawlcheck.io/sitemap.xml | xmllint --noout - && echo valid

curl -s https://crawlcheck.io/llms.txt | sed -n '1p;3p'

curl -s https://crawlcheck.io/llms-full.txt | grep -c '^## '

curl -s https://crawlcheck.io/agents.md | head -1

curl -s https://crawlcheck.io/SKILL.md | sed -n '2p'

curl -s https://crawlcheck.io/.well-known/agent-skills/index.json | jq -e '.skills[0].name'

curl -s -H 'Accept: text/markdown' https://crawlcheck.io/for-agents | head -1

curl -s https://crawlcheck.io/.well-known/api-catalog | jq -e '.linkset | length'

npx -y @redocly/cli lint https://crawlcheck.io/openapi.json

curl -s https://crawlcheck.io/openapi.yaml | python3 -c 'import sys,yaml;print(len(yaml.safe_load(sys.stdin)["paths"]))'

curl -s https://crawlcheck.io/.well-known/mcp/server-card.json | jq -e '.serverInfo.name'

curl -s https://crawlcheck.io/.well-known/agent-card.json | jq -e '.protocolVersion'

curl -s https://crawlcheck.io/schemas/resolve.json -o s.json && curl -s 'https://crawlcheck.io/api/v1/resolve?domain=example.com' -o a.json && npx -y ajv-cli validate --spec=draft2020 --strict=false -s s.json -d a.json

curl -s https://crawlcheck.io/.well-known/crawlcheck.json -o m.json && node crawlcheck-verify.mjs m.json --online

curl -s https://crawlcheck.io/.well-known/crawlcheck-staple.json | jq .answer > a.json && node crawlcheck-verify.mjs a.json --online

curl -sO https://crawlcheck.io/crawlcheck-verify.mjs && node crawlcheck-verify.mjs m.json --online

curl -sD - https://crawlcheck.io/.well-known/http-message-signatures-directory | grep -i '^signature'

curl -s https://crawlcheck.io/.well-known/signature-agent-card | jq -e '.client_name'

curl -s https://crawlcheck.io/.well-known/key-transparency.json | jq '.entries | length'

curl -s https://crawlcheck.io/.well-known/security-key-rotation.json | jq -e '.directory'

curl -s https://crawlcheck.io/.well-known/ips.json | jq '.prefixes'

curl -s https://crawlcheck.io/.well-known/crawlcheck-observers.json | jq '.observers | length'

curl -s https://crawlcheck.io/.well-known/media-kit.json | jq -e '."@graph"[0]."@type"'

curl -s https://crawlcheck.io/entitymap.json | jq -e '.publisher.name'

curl -s https://crawlcheck.io/ns.jsonld | jq '."@context" | keys | length'

curl -s https://crawlcheck.io/.well-known/security.txt | grep -E '^(Contact|Expires):'

curl -s https://crawlcheck.io/.well-known/assetlinks.json | jq -e '.[0].target.package_name'

curl -s https://crawlcheck.io/.well-known/agentic-verify.txt | wc -c

curl -s https://crawlcheck.io/subprocessors.json | jq '.services | length'

curl -s https://crawlcheck.io/feed.json | jq '.items | length'

curl -s https://crawlcheck.io/feed.xml | xmllint --noout - && echo valid

curl -s https://crawlcheck.io/glossary.json | jq '.hasDefinedTerm | length'

curl -s https://crawlcheck.io/ai-crawlers.json | jq '.agents | length'

curl -s https://crawlcheck.io/directory.json | jq '.measured_n'

curl -s https://crawlcheck.io/directory.csv | head -1

curl -s https://crawlcheck.io/api/glossary/cadence | jq '.this_week'

Maschinenlesbar

• /.well-known/crawlcheck.json — diese Seite als signiertes Manifest
• /for-agents.md — diese Seite als Markdown
• /openapi.json
• /llms.txt
• MCP-Server-Karte
• Resolve-Spezifikation

Was eine Antwort nicht ist

Eine signierte Antwort sagt, was CrawlCheck gemessen und entschieden hat, und wann. Sie ist keine Garantie für die Website. Prüfen Sie fresh_until: danach ist die Antwort veraltet. Einsprüche und Korrekturen sind öffentlich unter /disputes.