So funktioniert CrawlCheck
In einem Satz
So funktioniert es ist die Seite, die jeden CrawlCheck-Schritt in Reihenfolge bringt: eine Website wird von außen gemessen, wie die Crawler sie sehen, ihre Erklärungen werden gelesen wie geschrieben, veröffentlichte Regeln entscheiden die Befunde, unabhängige Beobachter bestätigen die Messungen, eine signierte Antwort löst eine Entscheidung je Aktion auf (lesen, zitieren, verbinden, abwickeln), und jeder kann die ganze Kette offline mit einem Skript und den veröffentlichten Schlüsseln prüfen. Website-Betreiber lesen dieselbe Messung als kostenloses A–F-Audit.
Domain scannen — kostenlos Fragen, bevor Ihr Agent handelt → Bezahlen ändert nie eine Messung. Eine Lizenz fügt die Belege hinter jedem Befund und das Protokoll über die Zeit hinzu — nie eine andere Antwort.
Von einer Domain zu einer signierten Antwort
Von oben nach unten lesen. In keinem Schritt wird geraten: ein Abschnitt, der nicht gemessen werden konnte, sagt es, und eine darauf gebaute Entscheidung sagt warum.
- 1
1 · Messen
Beobachten, was die Website tatsächlich ausliefert
15 Crawler-Identitäten rufen die Startseite ab, und jede Antwort wird aufbewahrt: Status, Bytes, Wörter, Weiterleitungen. Fünf Maschinendateien werden auf beiden Hosts gelesen. Jeder Inhalt wird in ein Manifest gehasht, das täglich in Bitcoin versiegelt wird.
- 2
2 · Messen
Lesen, was die Website erklärt
robots.txt wird nach RFC 9309 für 114 benannte Agenten entschieden; Content-Signal- und Rechtezeilen werden gelesen wie geschrieben; Fähigkeitserklärungen werden gesammelt: MCP-Server-Karten, Agent-Skills-Indizes, API-Kataloge, A2A-Karten. Erklärt bleibt immer von beobachtet getrennt.
- 3
3 · Entscheiden
Die Befunde nach veröffentlichten Regeln entscheiden
77 Regeln, jede mit ihren Eingaben, Schwere, Test und Behebung auf einer öffentlichen Seite. Jeder Befund trägt die Regelrevision, die ihn entschied, und die Abrufe, die sie las, sodass er über die versiegelten Bytes erneut abgespielt werden kann. Keine Lizenz, kein Plan und keine Zahlung verschiebt einen.
- 4
4 · Entscheiden
Mit unabhängigen Beobachtern bestätigen
Registrierte Beobachter in anderen Netzen lesen dieselbe URL erneut und signieren, was sie bekamen. Messungen werden Feld für Feld verglichen; eine Ablehnung, die nur ein Netz sieht, wird als solche benannt. Jeder kann mit einem Schlüssel einen Beobachter registrieren, und jeder kann Einspruch einlegen.
- 5
5 · Antworten
Resolve: eine Antwort, eine Entscheidung je Aktion
Jeder Abschnitt der Antwort ist erklärt, beobachtet oder nicht gemessen, mit Zeitpunkt. Daraus eine Entscheidung für lesen, zitieren, verbinden und abwickeln: erlauben, warnen, braucht einen Menschen oder blockieren. Die eigene Richtlinie eines Agenten kann eine Entscheidung strenger machen, nie lockerer.
- 6
6 · Signieren
Signieren, damit jeder es offline prüfen kann
Antworten, Quittungen, Exporte und Entscheidungen werden mit Ed25519 unter veröffentlichten Schlüsseln signiert. Ein Skript prüft jedes davon ohne Konto und ohne Anfrage an uns. Eine Website kann die Quittung eines Agenten über ihren Digest prüfen, bevor sie die Anfrage bedient.
Die Messung, bewertet auf einem Live-Bericht.
Ringe sind die Stufenwerte, die ein Website-Betreiber liest — erreichen, lesen, zitieren — und Balken die Abschnitte in jeder Stufe. Dieselbe Messung speist die signierte Antwort. Bericht öffnen →
Fünf Entscheidungen, und was jede bedeutet
Eine je Aktion — lesen, zitieren, verbinden, abwickeln — entschieden aus den eigenen Abschnitten der Antwort zum Zeitpunkt der Signatur und verschärft durch die eigene Richtlinie des Agenten.
| Entscheidung | Wann sie gegeben wird | Was der Agent tut |
|---|---|---|
| erlauben | Die gemessenen Abschnitte erfüllen die Mindestsicherheit der Aktion, und nichts widerspricht ihnen. | Fortfahren. Die Quittung bei der Aktion aufbewahren. |
| warnen | Erreichbar, aber ein benannter Zweifel bleibt: eine agentenspezifische robots-Regel, ein ungemessener Abschnitt, eine veraltete Messung. | Nur fortfahren, wenn die eigene Richtlinie den benannten Zweifel akzeptiert. |
| braucht einen Menschen | Die Aktion ist abwickeln, oder Ihre Richtlinie verlangt eine Freigabe dafür. | Ein Mensch gibt frei, bevor der Agent handelt. |
| blockieren | Abgelehnt, für Ihren Agenten untersagt, Verdacht auf Nachahmung oder auf Ihrer Sperrliste. | Nicht handeln. Die Antwort nennt eine Alternative, wenn eine beobachtet wurde. |
| nicht unterstützt | Die Website erklärt nichts, womit man sich verbinden könnte. | Hier gibt es nichts zu tun; stattdessen lesen oder zitieren, wenn diese erlaubt sind. |
Was es zusammenhält
Vier Eigenschaften machen aus einer Messung etwas, worauf sich ein Fremder verlassen kann.
Regeln
Nichts wird im Verborgenen entschieden
Jeder Befundcode, sein Test, seine Schwere und seine Behebung sind veröffentlicht, und die Liste wird aus dem laufenden Scanner berechnet statt getippt.
Belege
Jedes Byte wird aufbewahrt und versiegelt
Jeder abgerufene Inhalt wird in ein Manifest gehasht; die Manifeste jedes Tages werden über OpenTimestamps in Bitcoin verankert. Eine Messung kann Jahre später erneut abgespielt werden.
Beobachter
Mehr als ein Standpunkt
Unabhängige Netze lesen dieselbe URL und signieren ihre Messungen. Übereinstimmung und Abweichung werden beide veröffentlicht, je Feld.
Prüfung
Der Mathematik vertrauen, nicht uns
Signiert mit veröffentlichten Schlüsseln, offline prüfbar mit einem Skript, mit einer öffentlichen Konformitätssuite, gegen die jeder Prüfer laufen kann.
Öffentlich, und was eine Lizenz hinzufügt
Alles, was ein Agent braucht, ist öffentlich und kostenlos: die Antwort, die Entscheidung, die Regeln, die Schlüssel, der Zensus, die SDKs. Eine Lizenz kauft die Tiefe, die ein Website-Betreiber braucht: die Belege hinter jedem Befund, das Protokoll über die Zeit und Quittungen für Behebungen.
PUBLIC
- Scannen Sie jede Domain: Note, jeder Befund benannt, der wichtigste in voller Länge
- Resolve eine signierte Antwort je Domain und eine Entscheidung je Aktion
- Regelwerk, Schlüssel, Konformitätssuite, Zensus und das Beobachter-Protokoll
- SDKs auf npm und PyPI mit gebündeltem Offline-Prüfer
LICENCE
- Belege hinter jedem Befund: die Bytes, der Fundort, die Regel-Wiedergabe
- Das Protokoll über die Zeit: Fingerabdrücke, Änderungsquittungen, das tägliche Siegel je Domain
- Behebungsquittungen, die ein Kunde prüfen kann, und Ergebnisse nach einer Behebung
- API-Kontingente, Batch-Scans, Webhooks und ein CI-Gate