Comment fonctionne CrawlCheck
En une phrase
Comment ça marche est la page qui met chaque étape de CrawlCheck dans l’ordre : un site est mesuré de l’extérieur tel que les crawlers le voient, ses déclarations sont lues telles quelles, des règles publiées décident les constats, des observateurs indépendants corroborent les lectures, une réponse signée résout une décision par action (lire, citer, se connecter, transiger), et n’importe qui peut vérifier toute la chaîne hors ligne avec un script et les clés publiées. Les propriétaires de sites lisent la même mesure sous forme d’audit A–F gratuit.
Analyser un domaine — gratuit Demandez avant que votre agent agisse → Payer ne change jamais une mesure. Une licence ajoute les preuves derrière chaque constat et l’historique — jamais une réponse différente.
D’un domaine à une réponse signée
À lire de haut en bas. Rien n’est deviné à aucune étape : une section qui n’a pas pu être mesurée le dit, et une décision bâtie dessus dit pourquoi.
- 1
1 · Mesurer
Observer ce que le site sert réellement
16 identités de crawlers récupèrent la page d’accueil et chaque réponse est conservée : statut, octets, mots, redirections. Cinq fichiers machine sont lus sur les deux hôtes. Chaque corps est haché dans un manifeste scellé dans Bitcoin chaque jour.
- 2
2 · Mesurer
Lire ce que le site déclare
robots.txt est décidé selon la RFC 9309 pour 115 agents nommés ; les lignes Content-Signal et de droits sont lues telles quelles ; les déclarations de capacités sont collectées : cartes de serveur MCP, index agent-skills, catalogues d’API, cartes A2A. Le déclaré reste toujours séparé de l’observé.
- 3
3 · Décider
Décider les constats selon des règles publiées
111 règles, chacune avec ses entrées, sa gravité, son test et sa correction sur une page publique. Chaque constat porte la révision de règle qui l’a décidé et les requêtes qu’elle a lues, pour se rejouer sur les octets scellés. Aucune licence, aucun forfait, aucun paiement n’en déplace un.
- 4
4 · Décider
Corroborer avec des observateurs indépendants
Des observateurs inscrits sur d’autres réseaux relisent la même URL et signent ce qu’ils ont reçu. Les lectures sont comparées champ par champ ; un refus qu’un seul réseau voit est nommé comme tel. N’importe qui peut inscrire un observateur avec une clé, et n’importe qui peut déposer une contestation.
- 5
5 · Répondre
Resolve : une réponse, une décision par action
Every section of the answer is declared, observed or not measured, with when. From it, a decision for read, cite, connect, transact and administer. The outcomes are allow, warn, require_confirmation, block and unsupported. An agent’s own policy can make a decision stricter, never looser.
- 6
6 · Signer
La signer, pour que n’importe qui la vérifie hors ligne
Réponses, reçus, exports et résolutions sont signés en Ed25519 sous des clés publiées. Un script vérifie n’importe lequel sans compte et sans nous appeler. Un site peut vérifier le reçu d’un agent par son empreinte avant de servir la requête.
La mesure, notée sur un rapport en direct.
Les anneaux sont les scores d’étape qu’un propriétaire de site lit — atteindre, lire, citer — et les barres les sections de chacune. La même mesure alimente la réponse signée. Ouvrir le rapport →
Five decision outcomes
Resolve returns one decision per action for read, cite, connect, transact and administer. The agent can apply a stricter policy.
| Décision | Quand elle est donnée | Ce que fait l’agent |
|---|---|---|
| autoriser | Les sections mesurées atteignent l’assurance minimale de l’action et rien ne les contredit. | Procéder. Garder le reçu avec l’action. |
| avertir | Joignable, mais un doute nommé subsiste : une règle robots propre à l’agent, une section non mesurée, une lecture périmée. | Procéder seulement si votre propre politique accepte le doute nommé. |
| require_confirmation | The signed decision calls for human approval before proceeding. | Une personne approuve avant que l’agent agisse. |
| bloquer | Access is refused, policy blocks the action, identity is suspect, or the action is administer. | Ne pas agir. La réponse nomme une alternative quand une a été observée. |
| non pris en charge | Le site ne déclare rien à quoi se connecter. | Rien à faire ici ; lire ou citer à la place si ces actions sont autorisées. |
Les couches sont louées. La preuve, non.
Les modèles, les clouds et les frameworks d’agents deviennent chaque année moins chers et plus faciles à remplacer. Ce qu’un agent ne peut pas remplacer, c’est savoir qui est un site et disposer d’un dossier qu’il peut montrer. C’est la part que fournit CrawlCheck.
Identité
Les signaux d’identité que nous avons corroborés
Les profils revendiqués par un site sont comparés à ceux qui renvoient vers lui. Une entreprise confirmée des deux côtés se distingue de celle qui se contente de l’affirmer.
Preuve
Un dossier vérifiable par un inconnu
Chaque réponse est signée, chaque page lue est conservée avec son empreinte, et chaque jour est scellé. Personne n’a à nous croire sur parole.
La vérification
Avant que l’agent agisse
Un appel avant de lire, citer, se connecter ou acheter renvoie autoriser, avertir, demander à une personne ou bloquer, avec les raisons jointes.
Toute pile
Fonctionne avec ce que vous louez
Tout modèle, tout framework d’agents, tout cloud : du HTTP simple, un serveur MCP et des SDK. Changez les couches en dessous ; la vérification reste la même.
Ce qui fait tenir l’ensemble
Quatre propriétés font d’une mesure quelque chose sur quoi un inconnu peut compter.
Règles
Rien n’est décidé en privé
Chaque code de constat, son test, sa gravité et sa correction sont publiés, et la liste est calculée depuis CrawlCheck en service plutôt que tapée.
Preuve
Chaque lecture est hachée et scellée
Chaque corps récupéré est haché dans un manifeste ; les manifestes de chaque jour sont ancrés dans Bitcoin via OpenTimestamps. Une lecture peut être rejouée tant que ses octets stockés sont conservés. Une fois supprimés, l’empreinte et son horodatage demeurent : une copie conservée ailleurs peut encore être vérifiée contre eux, mais les octets supprimés ne peuvent plus être inspectés ni rejoués depuis CrawlCheck.
Observateurs
Plus d’un point de vue
Des réseaux indépendants lisent la même URL et signent leurs lectures. L’accord comme le désaccord sont publiés, champ par champ.
Vérification
Faire confiance aux maths, pas à nous
Signé avec des clés publiées, vérifiable hors ligne par un script, avec une suite de conformité publique contre laquelle tout vérificateur peut être testé.
Public, et ce qu’une licence ajoute
Tout ce dont un agent a besoin est public et gratuit : la réponse, la décision, les règles, les clés, le recensement, les SDK. Une licence achète la profondeur dont un propriétaire de site a besoin : les preuves derrière chaque constat, l’historique, et des reçus pour les corrections.
PUBLIC
- Scanner n’importe quel domaine : la note, chaque constat nommé, le premier en entier
- Resolve une réponse signée par domaine, et une décision par action
- Règlement, clés, suite de conformité, recensement et le protocole d’observation
- SDK sur npm et PyPI avec le vérificateur hors ligne inclus
LICENCE
- Preuves derrière chaque constat : les octets, le localisateur, le rejeu de la règle
- L’historique : empreintes, reçus de changement, le sceau quotidien par domaine
- Reçus de correction qu’un client peut vérifier, et les résultats après une correction
- Quotas d’API, scans par lot, webhooks et une barrière CI