Que doit savoir un agent avant d’agir sur un site ?

Trois appels

Format de citation

CrawlCheck. Resolve record for {domain}, answered {answered_at} (sha256 {sha256}). {cite_as}

Exemple :

CrawlCheck. Resolve record for github.com, answered 2026-10-09T15:37:51.090Z (sha256 a29fb7d9…). https://crawlcheck.io/api/v1/resolve?domain=github.com&as_of=2026-10-09T15:37:51.090Z

L’URL est le lien rel="cite-as" de la réponse. Mentionnez CrawlCheck lorsque vous montrez une réponse à des personnes (conditions de l’API). L’instantané quotidien est sous CC BY 4.0.

Autres façons de demander

Ce qui compte

Mesuré par des actions d’agents vérifiées, adossées à un enregistrement Resolve signé et frais, par type d’action (lire · citer · se connecter · transiger), avec les faux positifs, contestations, inconnus et retours en arrière comptés. Voir les chiffres en direct · Part de preflight.

Ce que couvre une décision de citation

Une décision de citation couvre l’accès, les permissions, l’identité et la provenance : si la page peut être lue et attribuée, sous quels droits déclarés, de qui, observée quand. Elle ne garantit pas que le contenu est vrai.

Ce que la réponse couvre, action par action.

Avant qu’un agent lise, cite, se connecte à un site ou y achète, CrawlCheck donne une réponse à son sujet : ce que chaque robot d’IA a réellement reçu, ce que le site déclare sur lui-même, qui a prouvé qu’il l’exploite, s’il imite une marque connue, et une décision pour chaque action — autoriser, avertir, demander à un humain ou bloquer. Chaque réponse est signée et vérifiable hors ligne.

Le déroulé

1. Demander pour un domaineGET /api/v1/resolve?domain=example.com. Aucune clé, aucun compte. Un site jamais vu obtient une première réponse en une seconde environ, marquée partielle.
2. Lire la décision pour votre actionlire, citer, se connecter, transiger et administrer portent chacun allow, warn, require_confirmation, block ou unsupported, avec la raison et les preuves.
3. Vérifier la signatureLa réponse est signée avec une clé Ed25519 publiée. Un script la vérifie hors ligne, de sorte que l’agent n’a jamais à faire confiance au réseau par lequel elle est arrivée.
4. Demander avant chaque actionPOST /api/v1/preflight renvoie une décision et un reçu que le site visité peut vérifier, de sorte que les deux parties peuvent montrer ce qui était connu quand l’agent a agi.

Ce que les agents IA font sur les sites, et ce qu’un site doit préparer.

Le web agentique est la partie du web utilisée par des agents IA plutôt que par des personnes : des robots qui lisent des pages pour la recherche et l’entraînement, des assistants qui récupèrent une page parce que quelqu’un l’a demandé, et des navigateurs agentiques comme Perplexity Comet, ChatGPT Atlas et le mode Copilot de Microsoft Edge qui cliquent, remplissent des formulaires et achètent pour le compte d’une personne. Un site est prêt quand les agents peuvent l’atteindre, le lire, savoir ce qu’il autorise et vérifier qui l’exploite.

Ce qu’un site fait pour y répondre

1. Être joignableAssurez-vous que les robots et assistants IA que vous voulez reçoivent la même page qu’un navigateur. La protection anti-bots est la raison la plus fréquente pour laquelle ce n’est pas le cas.
2. Être lisibleMettez le contenu dans le HTML, pas seulement dans JavaScript, et publiez un llms.txt pour qu’un agent trouve les pages qui comptent.
3. Déclarer ce que vous autorisezrobots.txt pour les robots, et agents.md ou une carte MCP pour les agents qui agissent, afin qu’il y ait une seule politique énoncée.
4. Être vérifiableEnregistrez le site gratuitement : les agents qui l’interrogent apprennent, dans une réponse signée qu’ils peuvent vérifier, que son propriétaire est vérifié.

Les propriétaires de sites partent de l’analyse gratuite : pour les sites, robots.txt pour les robots d’IA, audit llms.txt, le registre. Le terme lui-même : le web agentique, défini.

Chaque fichier lisible par machine sur crawlcheck.io, et comment le vérifier.

Chaque fichier répond avec le type de média indiqué. La vérification tient en une commande que vous lancez vous-même : les fichiers signés passent par le vérificateur hors ligne, les autres par un analyseur ou un champ qui doit être présent. Le vérificateur est /crawlcheck-verify.mjs.

curl -s 'https://crawlcheck.io/api/tool/robots?domain=crawlcheck.io' | jq '.tally, .shadowed_groups'

curl -s https://crawlcheck.io/sitemap.xml | xmllint --noout - && echo valid

curl -s https://crawlcheck.io/llms.txt | sed -n '1p;3p'

curl -s https://crawlcheck.io/llms-full.txt | grep -c '^## '

curl -s https://crawlcheck.io/agents.md | head -1

curl -s https://crawlcheck.io/SKILL.md | sed -n '2p'

curl -s https://crawlcheck.io/.well-known/agent-skills/index.json | jq -e '.skills[0].name'

curl -s -H 'Accept: text/markdown' https://crawlcheck.io/for-agents | head -1

curl -s https://crawlcheck.io/.well-known/api-catalog | jq -e '.linkset | length'

npx -y @redocly/cli lint https://crawlcheck.io/openapi.json

curl -s https://crawlcheck.io/openapi.yaml | python3 -c 'import sys,yaml;print(len(yaml.safe_load(sys.stdin)["paths"]))'

curl -s https://crawlcheck.io/.well-known/mcp/server-card.json | jq -e '.serverInfo.name'

curl -s https://crawlcheck.io/.well-known/agent-card.json | jq -e '.protocolVersion'

curl -s https://crawlcheck.io/schemas/resolve.json -o s.json && curl -s 'https://crawlcheck.io/api/v1/resolve?domain=example.com' -o a.json && npx -y ajv-cli validate --spec=draft2020 --strict=false -s s.json -d a.json

curl -s https://crawlcheck.io/.well-known/crawlcheck.json -o m.json && node crawlcheck-verify.mjs m.json --online

curl -s https://crawlcheck.io/.well-known/crawlcheck-staple.json | jq .answer > a.json && node crawlcheck-verify.mjs a.json --online

curl -sO https://crawlcheck.io/crawlcheck-verify.mjs && node crawlcheck-verify.mjs m.json --online

curl -sD - https://crawlcheck.io/.well-known/http-message-signatures-directory | grep -i '^signature'

curl -s https://crawlcheck.io/.well-known/signature-agent-card | jq -e '.client_name'

curl -s https://crawlcheck.io/.well-known/key-transparency.json | jq '.entries | length'

curl -s https://crawlcheck.io/.well-known/security-key-rotation.json | jq -e '.directory'

curl -s https://crawlcheck.io/.well-known/ips.json | jq '.prefixes'

curl -s https://crawlcheck.io/.well-known/crawlcheck-observers.json | jq '.observers | length'

curl -s https://crawlcheck.io/.well-known/media-kit.json | jq -e '."@graph"[0]."@type"'

curl -s https://crawlcheck.io/entitymap.json | jq -e '.publisher.name'

curl -s https://crawlcheck.io/ns.jsonld | jq '."@context" | keys | length'

curl -s https://crawlcheck.io/.well-known/security.txt | grep -E '^(Contact|Expires):'

curl -s https://crawlcheck.io/.well-known/assetlinks.json | jq -e '.[0].target.package_name'

curl -s https://crawlcheck.io/.well-known/agentic-verify.txt | wc -c

curl -s https://crawlcheck.io/subprocessors.json | jq '.services | length'

curl -s https://crawlcheck.io/feed.json | jq '.items | length'

curl -s https://crawlcheck.io/feed.xml | xmllint --noout - && echo valid

curl -s https://crawlcheck.io/glossary.json | jq '.hasDefinedTerm | length'

curl -s https://crawlcheck.io/ai-crawlers.json | jq '.agents | length'

curl -s https://crawlcheck.io/directory.json | jq '.measured_n'

curl -s https://crawlcheck.io/directory.csv | head -1

curl -s https://crawlcheck.io/api/glossary/cadence | jq '.this_week'

Lisible par les machines

• /.well-known/crawlcheck.json — cette page en manifeste signé
• /for-agents.md — cette page en Markdown
• /openapi.json
• /llms.txt
• Carte de serveur MCP
• Spécification Resolve

Ce qu’une réponse n’est pas

Une réponse signée dit ce que CrawlCheck a mesuré et décidé, et quand. Ce n’est pas une garantie sur le site. Vérifiez fresh_until : passé ce moment, la réponse est périmée. Les contestations et corrections sont publiques sur /disputes.