O que um agente deve saber antes de agir em um site?

Três chamadas

Formato de citação

CrawlCheck. Resolve record for {domain}, answered {answered_at} (sha256 {sha256}). {cite_as}

Exemplo:

CrawlCheck. Resolve record for github.com, answered 2026-10-09T15:37:51.090Z (sha256 a29fb7d9…). https://crawlcheck.io/api/v1/resolve?domain=github.com&as_of=2026-10-09T15:37:51.090Z

A URL é o link rel="cite-as" da resposta. Atribua o CrawlCheck quando mostrar uma resposta a pessoas (termos da API). O snapshot diário é CC BY 4.0.

Outras formas de perguntar

O que conta

Medido por ações de agentes verificadas, respaldadas por um registro Resolve assinado e recente, por tipo de ação (ler · citar · conectar · transacionar), com falsos positivos, disputas, desconhecidos e reversões contados. Ver os números ao vivo · Parcela de preflight.

O que uma decisão de citação cobre

Uma decisão de citação cobre acesso, permissões, identidade e proveniência: se a página pode ser lida e atribuída, sob quais direitos declarados, de quem, observada quando. Ela não garante que o conteúdo seja verdadeiro.

O que a resposta cobre, ação por ação.

Antes que um agente leia, cite, se conecte ou compre em um site, o CrawlCheck dá uma resposta sobre ele: o que cada rastreador de IA realmente recebeu, o que o site declara sobre si, quem provou que o opera, se ele imita uma marca conhecida, e uma decisão para cada ação — permitir, avisar, perguntar a um humano ou bloquear. Toda resposta é assinada e pode ser conferida offline.

O fluxo de trabalho

1. Pergunte por um domínioGET /api/v1/resolve?domain=example.com. Sem chave, sem conta. Um site nunca visto antes recebe uma primeira resposta em cerca de um segundo, marcada como parcial.
2. Leia a decisão para a sua açãoler, citar, conectar, transacionar e administrar carregam cada um allow, warn, require_confirmation, block ou unsupported, com o motivo e as provas.
3. Verifique a assinaturaA resposta é assinada com uma chave Ed25519 publicada. Um script a confere offline, então o agente nunca precisa confiar na rede pela qual ela chegou.
4. Pergunte antes de cada açãoPOST /api/v1/preflight devolve uma decisão e um recibo que o site visitado pode conferir, de modo que os dois lados podem mostrar o que se sabia quando o agente agiu.

O que os agentes de IA fazem nos sites, e o que um site precisa para estar pronto.

A web agêntica é a parte da web usada por agentes de IA em vez de pessoas: rastreadores que leem páginas para busca e treinamento, assistentes que buscam uma página porque alguém pediu, e navegadores agênticos como Perplexity Comet, ChatGPT Atlas e o modo Copilot do Microsoft Edge, que clicam, preenchem formulários e compram em nome de uma pessoa. Um site está pronto quando os agentes conseguem alcançá-lo, lê-lo, saber o que ele permite e verificar quem o opera.

O que um site faz a respeito

1. Seja alcançávelGaranta que os rastreadores e assistentes de IA que você quer recebam a mesma página que um navegador. A proteção contra bots é o motivo mais comum de isso não acontecer.
2. Seja legívelColoque o conteúdo no HTML, não só no JavaScript, e publique um llms.txt para que um agente encontre as páginas que importam.
3. Declare o que você permiterobots.txt para rastreadores, e agents.md ou um cartão MCP para agentes que agem, de modo que exista uma única política declarada.
4. Seja verificávelRegistre o site grátis e os agentes que perguntarem sobre ele saberão, em uma resposta assinada que podem conferir, que o dono está verificado.

Donos de sites começam pelo escaneamento gratuito: para sites, robots.txt para rastreadores de IA, auditoria de llms.txt, o registro. O termo em si: web agêntica, definida.

Cada arquivo legível por máquina em crawlcheck.io, e como verificá-lo.

Cada arquivo responde com o tipo de mídia indicado. A verificação é um comando que você mesmo executa: arquivos assinados passam pelo verificador offline, os demais por um analisador ou um campo que precisa estar presente. O verificador é /crawlcheck-verify.mjs.

curl -s 'https://crawlcheck.io/api/tool/robots?domain=crawlcheck.io' | jq '.tally, .shadowed_groups'

curl -s https://crawlcheck.io/sitemap.xml | xmllint --noout - && echo valid

curl -s https://crawlcheck.io/llms.txt | sed -n '1p;3p'

curl -s https://crawlcheck.io/llms-full.txt | grep -c '^## '

curl -s https://crawlcheck.io/agents.md | head -1

curl -s https://crawlcheck.io/SKILL.md | sed -n '2p'

curl -s https://crawlcheck.io/.well-known/agent-skills/index.json | jq -e '.skills[0].name'

curl -s -H 'Accept: text/markdown' https://crawlcheck.io/for-agents | head -1

curl -s https://crawlcheck.io/.well-known/api-catalog | jq -e '.linkset | length'

npx -y @redocly/cli lint https://crawlcheck.io/openapi.json

curl -s https://crawlcheck.io/openapi.yaml | python3 -c 'import sys,yaml;print(len(yaml.safe_load(sys.stdin)["paths"]))'

curl -s https://crawlcheck.io/.well-known/mcp/server-card.json | jq -e '.serverInfo.name'

curl -s https://crawlcheck.io/.well-known/agent-card.json | jq -e '.protocolVersion'

curl -s https://crawlcheck.io/schemas/resolve.json -o s.json && curl -s 'https://crawlcheck.io/api/v1/resolve?domain=example.com' -o a.json && npx -y ajv-cli validate --spec=draft2020 --strict=false -s s.json -d a.json

curl -s https://crawlcheck.io/.well-known/crawlcheck.json -o m.json && node crawlcheck-verify.mjs m.json --online

curl -s https://crawlcheck.io/.well-known/crawlcheck-staple.json | jq .answer > a.json && node crawlcheck-verify.mjs a.json --online

curl -sO https://crawlcheck.io/crawlcheck-verify.mjs && node crawlcheck-verify.mjs m.json --online

curl -sD - https://crawlcheck.io/.well-known/http-message-signatures-directory | grep -i '^signature'

curl -s https://crawlcheck.io/.well-known/signature-agent-card | jq -e '.client_name'

curl -s https://crawlcheck.io/.well-known/key-transparency.json | jq '.entries | length'

curl -s https://crawlcheck.io/.well-known/security-key-rotation.json | jq -e '.directory'

curl -s https://crawlcheck.io/.well-known/ips.json | jq '.prefixes'

curl -s https://crawlcheck.io/.well-known/crawlcheck-observers.json | jq '.observers | length'

curl -s https://crawlcheck.io/.well-known/media-kit.json | jq -e '."@graph"[0]."@type"'

curl -s https://crawlcheck.io/entitymap.json | jq -e '.publisher.name'

curl -s https://crawlcheck.io/ns.jsonld | jq '."@context" | keys | length'

curl -s https://crawlcheck.io/.well-known/security.txt | grep -E '^(Contact|Expires):'

curl -s https://crawlcheck.io/.well-known/assetlinks.json | jq -e '.[0].target.package_name'

curl -s https://crawlcheck.io/.well-known/agentic-verify.txt | wc -c

curl -s https://crawlcheck.io/subprocessors.json | jq '.services | length'

curl -s https://crawlcheck.io/feed.json | jq '.items | length'

curl -s https://crawlcheck.io/feed.xml | xmllint --noout - && echo valid

curl -s https://crawlcheck.io/glossary.json | jq '.hasDefinedTerm | length'

curl -s https://crawlcheck.io/ai-crawlers.json | jq '.agents | length'

curl -s https://crawlcheck.io/directory.json | jq '.measured_n'

curl -s https://crawlcheck.io/directory.csv | head -1

curl -s https://crawlcheck.io/api/glossary/cadence | jq '.this_week'

Legível por máquinas

• /.well-known/crawlcheck.json — esta página como manifesto assinado
• /for-agents.md — esta página em Markdown
• /openapi.json
• /llms.txt
• Cartão do servidor MCP
• Especificação Resolve

O que uma resposta não é

Uma resposta assinada diz o que o CrawlCheck mediu e decidiu, e quando. Não é uma garantia sobre o site. Confira fresh_until: depois disso a resposta está vencida. Disputas e correções são públicas em /disputes.