D’autres crawlers récupèrent le web pour les agents. CrawlCheck le vérifie.
CrawlCheck est la couche de vérification du web agentique. Il mesure ce qu’un site sert réellement — récupéré en tant que GPTBot, ClaudeBot, PerplexityBot, Googlebot et huit autres identités de crawlers, plus ses fichiers machine, sa politique de crawl, ses droits et capacités déclarés — décide les constats selon des règles publiées, et signe la réponse pour qu’un agent puisse la vérifier hors ligne avant de lire, citer, se connecter ou agir. Les propriétaires de sites reçoivent la même mesure sous forme d’audit A–F gratuit, chaque défaut nommé.
- Mesuré — 15 identités de crawlers, 5 fichiers machine sur les deux hôtes, chaque octet haché et scellé dans Bitcoin chaque jour.
- Signé — Ed25519 sur chaque réponse, clés publiées, un seul script vérifie tout hors ligne.
- Indépendant — 6 réseaux d’observation, un règlement public, un registre des contestations. Payer ne change jamais une mesure.
Vous construisez un agent ? Une décision signée par action · Protocole Resolve · SDK npm et PyPI
Ed25519 · vérifiable hors ligneOuvrir la réponse signée →200,867
sites mesurés
177
décisions signées, 30 derniers jours
117,586
visites réelles de robots enregistrées
0
chiffres qu’un paiement peut modifier
Construit et exploité par une seule personne à Denver, d’abord sur les sites clients qu’il mesure — la démo est un enregistrement réel, non retouché. Le scan est gratuit, toujours. Corriger une fois pour $749, ou garder un historique dès $29/mois →
Ce qu’un agent reçoit.
Un site est observé et ses déclarations lues ; des règles publiées décident les constats ; la décision pour chaque action est signée dans un reçu. Rien n’est deviné : une section non mesurée le dit.
La mesure
Ce que 14 identités de robots ont reçu de denverpost.com
Un vrai site, analysé il y a 4 jours — 1 identité a été refusée, 10 ont reçu d’autres octets que le navigateur, chacune avec les mêmes 2,061 mots. Ouvrir l’enregistrement complet ou analysez votre propre site ci-dessus.
Quatre façons de commencer.
Créateur d’agents
Demandez avant que votre agent agisse.
Une décision signée par action : lire, citer, se connecter ou transiger. Construite à partir de ce que le site déclare, de ce qui lui a vraiment été servi, de ses constats et de votre propre politique, qui ne peut que la rendre plus stricte. SDK typés sur npm et PyPI.
Developer
Utiliser les preuves dans le code.
Enregistrements machine avec les octets derrière chaque constat, exports OpenTelemetry et PROV, scans par lot, webhooks et une barrière CI, dès 2,000 scans par mois.
Agency
Surveillez vos clients et prouvez le travail.
40 domaines sur une clé, des rapports sûrs pour vos clients, des reçus de changement signés qu’un client peut vérifier, et l’API : 5,000 scans par mois.
Propriétaire du site
Savoir ce que reçoivent les agents, et le corriger.
Scan gratuit. Nous appliquons la liste de corrections pour $749 et la vérifions par un nouveau scan ; la surveillance la maintient dès $29 par mois, avec un certificat qui expire le jour où une mesure décroche.
L’état du web agentique, chaque jour.
Les mêmes mille sites, mesurés chaque jour depuis le même point de vue. Les refus se lisent « refusé d’ici », jamais « bloqué » — les adresses des vrais crawlers ne sont pas les nôtres.
Chaque ligne indique son propre dénominateur. Chaque chiffre, chaque passage, et les enregistrements d’où ils sont comptés →
Les couches sur lesquelles un agent peut compter.
Chaque tuile est un comptage en direct ou un artefact publié, avec la page qui permet de le vérifier.
Ce qu’il mesure, et ce qu’il ne prétend pas.
Méthode
Chaque règle est publiée.
Ce que signifie chaque constat, comment le corriger, et la seule limite : les identités des robots sont testées depuis notre adresse, pas depuis celle d’un opérateur.
Confidentialité
Ce qu’une analyse envoie et conserve.
About 30 read-only requests. Reports are kept: 90 days in the fast store, then from the sealed archive; any domain can opt out without an account.
Cœur ouvert
Le lecteur est open source.
Le lecteur de robots.txt est sous licence MIT et testé contre la production.
Limites
Des preuves, pas une promesse de citation.
Une analyse prouve ce que votre serveur a envoyé. Elle ne prétend jamais qu’un moteur de réponse vous a cité, et payer ne change jamais un score.
Commencez par un scan gratuit, ou demandez avant que votre agent agisse.
Un propriétaire de site obtient la note et chaque constat nommé en une minute, sans rien installer. Un constructeur d’agent obtient une décision signée par action et les preuves derrière, vérifiables hors ligne. Ni l’un ni l’autre ne coûte rien, et les scans ponctuels ne sont jamais publiés nommément.
