Comment fonctionne CrawlCheck
En une phrase
Comment ça marche est la page qui met chaque étape de CrawlCheck dans l’ordre : un site est mesuré de l’extérieur tel que les crawlers le voient, ses déclarations sont lues telles quelles, des règles publiées décident les constats, des observateurs indépendants corroborent les lectures, une réponse signée résout une décision par action (lire, citer, se connecter, transiger), et n’importe qui peut vérifier toute la chaîne hors ligne avec un script et les clés publiées. Les propriétaires de sites lisent la même mesure sous forme d’audit A–F gratuit.
Analyser un domaine — gratuit Demandez avant que votre agent agisse → Payer ne change jamais une mesure. Une licence ajoute les preuves derrière chaque constat et l’historique — jamais une réponse différente.
D’un domaine à une réponse signée
À lire de haut en bas. Rien n’est deviné à aucune étape : une section qui n’a pas pu être mesurée le dit, et une décision bâtie dessus dit pourquoi.
- 1
1 · Mesurer
Observer ce que le site sert réellement
15 identités de crawlers récupèrent la page d’accueil et chaque réponse est conservée : statut, octets, mots, redirections. Cinq fichiers machine sont lus sur les deux hôtes. Chaque corps est haché dans un manifeste scellé dans Bitcoin chaque jour.
- 2
2 · Mesurer
Lire ce que le site déclare
robots.txt est décidé selon la RFC 9309 pour 114 agents nommés ; les lignes Content-Signal et de droits sont lues telles quelles ; les déclarations de capacités sont collectées : cartes de serveur MCP, index agent-skills, catalogues d’API, cartes A2A. Le déclaré reste toujours séparé de l’observé.
- 3
3 · Décider
Décider les constats selon des règles publiées
77 règles, chacune avec ses entrées, sa gravité, son test et sa correction sur une page publique. Chaque constat porte la révision de règle qui l’a décidé et les requêtes qu’elle a lues, pour se rejouer sur les octets scellés. Aucune licence, aucun forfait, aucun paiement n’en déplace un.
- 4
4 · Décider
Corroborer avec des observateurs indépendants
Des observateurs inscrits sur d’autres réseaux relisent la même URL et signent ce qu’ils ont reçu. Les lectures sont comparées champ par champ ; un refus qu’un seul réseau voit est nommé comme tel. N’importe qui peut inscrire un observateur avec une clé, et n’importe qui peut déposer une contestation.
- 5
5 · Répondre
Resolve : une réponse, une décision par action
Chaque section de la réponse est déclarée, observée ou non mesurée, avec la date. De là, une décision pour lire, citer, se connecter et transiger : autoriser, avertir, requiert un humain, ou bloquer. La politique propre d’un agent peut rendre une décision plus stricte, jamais plus souple.
- 6
6 · Signer
La signer, pour que n’importe qui la vérifie hors ligne
Réponses, reçus, exports et résolutions sont signés en Ed25519 sous des clés publiées. Un script vérifie n’importe lequel sans compte et sans nous appeler. Un site peut vérifier le reçu d’un agent par son empreinte avant de servir la requête.
La mesure, notée sur un rapport en direct.
Les anneaux sont les scores d’étape qu’un propriétaire de site lit — atteindre, lire, citer — et les barres les sections de chacune. La même mesure alimente la réponse signée. Ouvrir le rapport →
Cinq décisions, et ce que chacune signifie
Une par action — lire, citer, se connecter, transiger — décidée à partir des sections de la réponse au moment de la signature, et resserrée par la politique propre de l’agent.
| Décision | Quand elle est donnée | Ce que fait l’agent |
|---|---|---|
| autoriser | Les sections mesurées atteignent l’assurance minimale de l’action et rien ne les contredit. | Procéder. Garder le reçu avec l’action. |
| avertir | Joignable, mais un doute nommé subsiste : une règle robots propre à l’agent, une section non mesurée, une lecture périmée. | Procéder seulement si votre propre politique accepte le doute nommé. |
| requiert un humain | L’action est transiger, ou votre politique exige une approbation pour elle. | Une personne approuve avant que l’agent agisse. |
| bloquer | Refusé, interdit à votre agent, usurpation soupçonnée, ou sur votre liste de refus. | Ne pas agir. La réponse nomme une alternative quand une a été observée. |
| non pris en charge | Le site ne déclare rien à quoi se connecter. | Rien à faire ici ; lire ou citer à la place si ces actions sont autorisées. |
Ce qui fait tenir l’ensemble
Quatre propriétés font d’une mesure quelque chose sur quoi un inconnu peut compter.
Règles
Rien n’est décidé en privé
Chaque code de constat, son test, sa gravité et sa correction sont publiés, et la liste est calculée depuis le scanner en service plutôt que tapée.
Preuves
Chaque octet est conservé et scellé
Chaque corps récupéré est haché dans un manifeste ; les manifestes de chaque jour sont ancrés dans Bitcoin via OpenTimestamps. Une lecture peut être rejouée des années plus tard.
Observateurs
Plus d’un point de vue
Des réseaux indépendants lisent la même URL et signent leurs lectures. L’accord comme le désaccord sont publiés, champ par champ.
Vérification
Faire confiance aux maths, pas à nous
Signé avec des clés publiées, vérifiable hors ligne par un script, avec une suite de conformité publique contre laquelle tout vérificateur peut être testé.
Public, et ce qu’une licence ajoute
Tout ce dont un agent a besoin est public et gratuit : la réponse, la décision, les règles, les clés, le recensement, les SDK. Une licence achète la profondeur dont un propriétaire de site a besoin : les preuves derrière chaque constat, l’historique, et des reçus pour les corrections.
PUBLIC
- Scanner n’importe quel domaine : la note, chaque constat nommé, le premier en entier
- Resolve une réponse signée par domaine, et une décision par action
- Règlement, clés, suite de conformité, recensement et le protocole d’observation
- SDK sur npm et PyPI avec le vérificateur hors ligne inclus
LICENCE
- Preuves derrière chaque constat : les octets, le localisateur, le rejeu de la règle
- L’historique : empreintes, reçus de changement, le sceau quotidien par domaine
- Reçus de correction qu’un client peut vérifier, et les résultats après une correction
- Quotas d’API, scans par lot, webhooks et une barrière CI