So funktioniert CrawlCheck
In einem Satz
So funktioniert es ist die Seite, die jeden CrawlCheck-Schritt in Reihenfolge bringt: eine Website wird von außen gemessen, wie die Crawler sie sehen, ihre Erklärungen werden gelesen wie geschrieben, veröffentlichte Regeln entscheiden die Befunde, unabhängige Beobachter bestätigen die Messungen, eine signierte Antwort löst eine Entscheidung je Aktion auf (lesen, zitieren, verbinden, abwickeln), und jeder kann die ganze Kette offline mit einem Skript und den veröffentlichten Schlüsseln prüfen. Website-Betreiber lesen dieselbe Messung als kostenloses A–F-Audit.
Domain scannen — kostenlos Fragen, bevor Ihr Agent handelt → Bezahlen ändert nie eine Messung. Eine Lizenz fügt die Belege hinter jedem Befund und das Protokoll über die Zeit hinzu — nie eine andere Antwort.
Von einer Domain zu einer signierten Antwort
Von oben nach unten lesen. In keinem Schritt wird geraten: ein Abschnitt, der nicht gemessen werden konnte, sagt es, und eine darauf gebaute Entscheidung sagt warum.
- 1
1 · Messen
Beobachten, was die Website tatsächlich ausliefert
16 Crawler-Identitäten rufen die Startseite ab, und jede Antwort wird aufbewahrt: Status, Bytes, Wörter, Weiterleitungen. Fünf Maschinendateien werden auf beiden Hosts gelesen. Jeder Inhalt wird in ein Manifest gehasht, das täglich in Bitcoin versiegelt wird.
- 2
2 · Messen
Lesen, was die Website erklärt
robots.txt wird nach RFC 9309 für 115 benannte Agenten entschieden; Content-Signal- und Rechtezeilen werden gelesen wie geschrieben; Fähigkeitserklärungen werden gesammelt: MCP-Server-Karten, Agent-Skills-Indizes, API-Kataloge, A2A-Karten. Erklärt bleibt immer von beobachtet getrennt.
- 3
3 · Entscheiden
Die Befunde nach veröffentlichten Regeln entscheiden
111 Regeln, jede mit ihren Eingaben, Schwere, Test und Behebung auf einer öffentlichen Seite. Jeder Befund trägt die Regelrevision, die ihn entschied, und die Abrufe, die sie las, sodass er über die versiegelten Bytes erneut abgespielt werden kann. Keine Lizenz, kein Plan und keine Zahlung verschiebt einen.
- 4
4 · Entscheiden
Mit unabhängigen Beobachtern bestätigen
Registrierte Beobachter in anderen Netzen lesen dieselbe URL erneut und signieren, was sie bekamen. Messungen werden Feld für Feld verglichen; eine Ablehnung, die nur ein Netz sieht, wird als solche benannt. Jeder kann mit einem Schlüssel einen Beobachter registrieren, und jeder kann Einspruch einlegen.
- 5
5 · Antworten
Resolve: eine Antwort, eine Entscheidung je Aktion
Every section of the answer is declared, observed or not measured, with when. From it, a decision for read, cite, connect, transact and administer. The outcomes are allow, warn, require_confirmation, block and unsupported. An agent’s own policy can make a decision stricter, never looser.
- 6
6 · Signieren
Signieren, damit jeder es offline prüfen kann
Antworten, Quittungen, Exporte und Entscheidungen werden mit Ed25519 unter veröffentlichten Schlüsseln signiert. Ein Skript prüft jedes davon ohne Konto und ohne Anfrage an uns. Eine Website kann die Quittung eines Agenten über ihren Digest prüfen, bevor sie die Anfrage bedient.
Die Messung, bewertet auf einem Live-Bericht.
Ringe sind die Stufenwerte, die ein Website-Betreiber liest — erreichen, lesen, zitieren — und Balken die Abschnitte in jeder Stufe. Dieselbe Messung speist die signierte Antwort. Bericht öffnen →
Five decision outcomes
Resolve returns one decision per action for read, cite, connect, transact and administer. The agent can apply a stricter policy.
| Entscheidung | Wann sie gegeben wird | Was der Agent tut |
|---|---|---|
| erlauben | Die gemessenen Abschnitte erfüllen die Mindestsicherheit der Aktion, und nichts widerspricht ihnen. | Fortfahren. Die Quittung bei der Aktion aufbewahren. |
| warnen | Erreichbar, aber ein benannter Zweifel bleibt: eine agentenspezifische robots-Regel, ein ungemessener Abschnitt, eine veraltete Messung. | Nur fortfahren, wenn die eigene Richtlinie den benannten Zweifel akzeptiert. |
| require_confirmation | The signed decision calls for human approval before proceeding. | Ein Mensch gibt frei, bevor der Agent handelt. |
| blockieren | Access is refused, policy blocks the action, identity is suspect, or the action is administer. | Nicht handeln. Die Antwort nennt eine Alternative, wenn eine beobachtet wurde. |
| nicht unterstützt | Die Website erklärt nichts, womit man sich verbinden könnte. | Hier gibt es nichts zu tun; stattdessen lesen oder zitieren, wenn diese erlaubt sind. |
Die Schichten sind gemietet. Der Nachweis nicht.
Modelle, Clouds und Agenten-Frameworks werden jedes Jahr billiger und leichter austauschbar. Was ein Agent nicht austauschen kann: zu wissen, wer eine Website ist, und einen Nachweis vorzeigen zu können. Genau diesen Teil liefert CrawlCheck.
Identität
Die Identitätssignale, die wir bestätigt haben
Die Profile, die eine Website angibt, werden mit den Profilen abgeglichen, die zurückverlinken. Ein von beiden Seiten bestätigtes Unternehmen wird von einem unterschieden, das es nur behauptet.
Nachweis
Ein Nachweis, den ein Fremder prüfen kann
Jede Antwort ist signiert, jede gelesene Seite wird mit ihrem Fingerabdruck aufbewahrt, und jeder Tag wird versiegelt. Niemand muss uns beim Wort nehmen.
Die Prüfung
Bevor der Agent handelt
Ein Aufruf vor dem Lesen, Zitieren, Verbinden oder Kaufen liefert erlauben, warnen, eine Person fragen oder blockieren – mit den Gründen dazu.
Jeder Stack
Funktioniert mit dem, was Sie mieten
Jedes Modell, jedes Agenten-Framework, jede Cloud: einfaches HTTP, ein MCP-Server und SDKs. Tauschen Sie die Schichten darunter; die Prüfung bleibt dieselbe.
Was es zusammenhält
Vier Eigenschaften machen aus einer Messung etwas, worauf sich ein Fremder verlassen kann.
Regeln
Nichts wird im Verborgenen entschieden
Jeder Befundcode, sein Test, seine Schwere und seine Behebung sind veröffentlicht, und die Liste wird aus dem laufenden Dienst berechnet statt getippt.
Nachweis
Jede Messung wird gehasht und versiegelt
Jeder abgerufene Inhalt wird in ein Manifest gehasht; die Manifeste jedes Tages werden über OpenTimestamps in Bitcoin verankert. Eine Messung kann wiederholt werden, solange ihre gespeicherten Bytes vorliegen. Nach deren Löschung bleiben der Hash und sein Zeitstempel: eine anderswo aufbewahrte Kopie kann weiterhin daran geprüft werden, aber die gelöschten Bytes lassen sich bei CrawlCheck nicht mehr einsehen oder erneut abspielen.
Beobachter
Mehr als ein Standpunkt
Unabhängige Netze lesen dieselbe URL und signieren ihre Messungen. Übereinstimmung und Abweichung werden beide veröffentlicht, je Feld.
Prüfung
Der Mathematik vertrauen, nicht uns
Signiert mit veröffentlichten Schlüsseln, offline prüfbar mit einem Skript, mit einer öffentlichen Konformitätssuite, gegen die jeder Prüfer laufen kann.
Öffentlich, und was eine Lizenz hinzufügt
Alles, was ein Agent braucht, ist öffentlich und kostenlos: die Antwort, die Entscheidung, die Regeln, die Schlüssel, der Zensus, die SDKs. Eine Lizenz kauft die Tiefe, die ein Website-Betreiber braucht: die Belege hinter jedem Befund, das Protokoll über die Zeit und Quittungen für Behebungen.
PUBLIC
- Scannen Sie jede Domain: Note, jeder Befund benannt, der wichtigste in voller Länge
- Resolve eine signierte Antwort je Domain und eine Entscheidung je Aktion
- Regelwerk, Schlüssel, Konformitätssuite, Zensus und das Beobachter-Protokoll
- SDKs auf npm und PyPI mit gebündeltem Offline-Prüfer
LICENCE
- Belege hinter jedem Befund: die Bytes, der Fundort, die Regel-Wiedergabe
- Das Protokoll über die Zeit: Fingerabdrücke, Änderungsquittungen, das tägliche Siegel je Domain
- Behebungsquittungen, die ein Kunde prüfen kann, und Ergebnisse nach einer Behebung
- API-Kontingente, Batch-Scans, Webhooks und ein CI-Gate