¿Qué debe saber un agente antes de actuar en un sitio?

Tres llamadas

Formato de cita

CrawlCheck. Resolve record for {domain}, answered {answered_at} (sha256 {sha256}). {cite_as}

Ejemplo:

CrawlCheck. Resolve record for github.com, answered 2026-10-09T15:37:51.090Z (sha256 a29fb7d9…). https://crawlcheck.io/api/v1/resolve?domain=github.com&as_of=2026-10-09T15:37:51.090Z

La URL es el enlace rel="cite-as" de la respuesta. Atribuye CrawlCheck cuando muestres una respuesta a personas (términos de la API). La instantánea diaria es CC BY 4.0.

Otras formas de preguntar

Qué cuenta

Medido por acciones de agentes verificadas, respaldadas por un registro Resolve firmado y reciente, por tipo de acción (leer · citar · conectar · transaccionar), con falsos positivos, disputas, desconocidos y reversiones contados. Ver las cifras en vivo · Cuota de preflight.

Qué cubre una decisión de cita

Una decisión de cita cubre acceso, permisos, identidad y procedencia: si la página puede leerse y atribuirse, bajo qué derechos declarados, de quién, observada cuándo. No garantiza que el contenido sea cierto.

Qué cubre la respuesta, acción por acción.

Antes de que un agente lea, cite, se conecte o compre en un sitio, CrawlCheck da una respuesta sobre él: qué recibió de verdad cada rastreador de IA, qué declara el sitio sobre sí mismo, quién ha demostrado que lo opera, si imita una marca conocida, y una decisión para cada acción — permitir, advertir, preguntar a un humano o bloquear. Cada respuesta está firmada y puede comprobarse sin conexión.

El flujo de trabajo

1. Pregunta por un dominioGET /api/v1/resolve?domain=example.com. Sin clave, sin cuenta. Un sitio nunca visto obtiene una primera respuesta en aproximadamente un segundo, marcada como parcial.
2. Lee la decisión para tu acciónleer, citar, conectar, transaccionar y administrar llevan cada una allow, warn, require_confirmation, block o unsupported, con el motivo y las pruebas.
3. Verifica la firmaLa respuesta está firmada con una clave Ed25519 publicada. Un script la comprueba sin conexión, así que el agente nunca tiene que confiar en la red por la que llegó.
4. Pregunta antes de cada acciónPOST /api/v1/preflight devuelve una decisión y un recibo que el sitio visitado puede comprobar, de modo que ambas partes pueden mostrar qué se sabía cuando el agente actuó.

Qué hacen los agentes de IA en los sitios web y qué necesita un sitio para estar listo.

La web agéntica es la parte de la web que usan agentes de IA en lugar de personas: rastreadores que leen páginas para búsqueda y entrenamiento, asistentes que obtienen una página porque alguien lo pidió, y navegadores agénticos como Perplexity Comet, ChatGPT Atlas y el modo Copilot de Microsoft Edge que hacen clic, rellenan formularios y compran en nombre de una persona. Un sitio está listo cuando los agentes pueden alcanzarlo, leerlo, saber qué permite y verificar quién lo opera.

Qué hace un sitio al respecto

1. Ser alcanzableAsegúrate de que los rastreadores y asistentes de IA que quieres reciben la misma página que un navegador. La protección contra bots es el motivo más común de que no sea así.
2. Ser legiblePon el contenido en el HTML, no solo en JavaScript, y publica llms.txt para que un agente encuentre las páginas que importan.
3. Declarar lo que permitesrobots.txt para rastreadores, y agents.md o una tarjeta MCP para los agentes que actúan, de modo que haya una única política declarada.
4. Ser verificableRegistra el sitio gratis y los agentes que pregunten por él sabrán, en una respuesta firmada que pueden comprobar, que su propietario está verificado.

Los propietarios de sitios empiezan por el escaneo gratuito: para sitios, robots.txt para rastreadores de IA, auditoría de llms.txt, el registro. El término en sí: web agéntica, definida.

Cada archivo legible por máquina en crawlcheck.io, y cómo comprobarlo.

Cada archivo responde con el tipo de medio indicado. La comprobación es un comando que ejecuta usted mismo: los archivos firmados pasan por el verificador sin conexión, el resto por un analizador o un campo que debe estar presente. El verificador es /crawlcheck-verify.mjs.

curl -s 'https://crawlcheck.io/api/tool/robots?domain=crawlcheck.io' | jq '.tally, .shadowed_groups'

curl -s https://crawlcheck.io/sitemap.xml | xmllint --noout - && echo valid

curl -s https://crawlcheck.io/llms.txt | sed -n '1p;3p'

curl -s https://crawlcheck.io/llms-full.txt | grep -c '^## '

curl -s https://crawlcheck.io/agents.md | head -1

curl -s https://crawlcheck.io/SKILL.md | sed -n '2p'

curl -s https://crawlcheck.io/.well-known/agent-skills/index.json | jq -e '.skills[0].name'

curl -s -H 'Accept: text/markdown' https://crawlcheck.io/for-agents | head -1

curl -s https://crawlcheck.io/.well-known/api-catalog | jq -e '.linkset | length'

npx -y @redocly/cli lint https://crawlcheck.io/openapi.json

curl -s https://crawlcheck.io/openapi.yaml | python3 -c 'import sys,yaml;print(len(yaml.safe_load(sys.stdin)["paths"]))'

curl -s https://crawlcheck.io/.well-known/mcp/server-card.json | jq -e '.serverInfo.name'

curl -s https://crawlcheck.io/.well-known/agent-card.json | jq -e '.protocolVersion'

curl -s https://crawlcheck.io/schemas/resolve.json -o s.json && curl -s 'https://crawlcheck.io/api/v1/resolve?domain=example.com' -o a.json && npx -y ajv-cli validate --spec=draft2020 --strict=false -s s.json -d a.json

curl -s https://crawlcheck.io/.well-known/crawlcheck.json -o m.json && node crawlcheck-verify.mjs m.json --online

curl -s https://crawlcheck.io/.well-known/crawlcheck-staple.json | jq .answer > a.json && node crawlcheck-verify.mjs a.json --online

curl -sO https://crawlcheck.io/crawlcheck-verify.mjs && node crawlcheck-verify.mjs m.json --online

curl -sD - https://crawlcheck.io/.well-known/http-message-signatures-directory | grep -i '^signature'

curl -s https://crawlcheck.io/.well-known/signature-agent-card | jq -e '.client_name'

curl -s https://crawlcheck.io/.well-known/key-transparency.json | jq '.entries | length'

curl -s https://crawlcheck.io/.well-known/security-key-rotation.json | jq -e '.directory'

curl -s https://crawlcheck.io/.well-known/ips.json | jq '.prefixes'

curl -s https://crawlcheck.io/.well-known/crawlcheck-observers.json | jq '.observers | length'

curl -s https://crawlcheck.io/.well-known/media-kit.json | jq -e '."@graph"[0]."@type"'

curl -s https://crawlcheck.io/entitymap.json | jq -e '.publisher.name'

curl -s https://crawlcheck.io/ns.jsonld | jq '."@context" | keys | length'

curl -s https://crawlcheck.io/.well-known/security.txt | grep -E '^(Contact|Expires):'

curl -s https://crawlcheck.io/.well-known/assetlinks.json | jq -e '.[0].target.package_name'

curl -s https://crawlcheck.io/.well-known/agentic-verify.txt | wc -c

curl -s https://crawlcheck.io/subprocessors.json | jq '.services | length'

curl -s https://crawlcheck.io/feed.json | jq '.items | length'

curl -s https://crawlcheck.io/feed.xml | xmllint --noout - && echo valid

curl -s https://crawlcheck.io/glossary.json | jq '.hasDefinedTerm | length'

curl -s https://crawlcheck.io/ai-crawlers.json | jq '.agents | length'

curl -s https://crawlcheck.io/directory.json | jq '.measured_n'

curl -s https://crawlcheck.io/directory.csv | head -1

curl -s https://crawlcheck.io/api/glossary/cadence | jq '.this_week'

Legible por máquinas

• /.well-known/crawlcheck.json — esta página como manifiesto firmado
• /for-agents.md — esta página en Markdown
• /openapi.json
• /llms.txt
• Tarjeta del servidor MCP
• Especificación Resolve

Qué no es una respuesta

Una respuesta firmada dice qué midió y decidió CrawlCheck, y cuándo. No es una garantía sobre el sitio. Comprueba fresh_until: pasado ese momento, la respuesta está caducada. Las disputas y correcciones son públicas en /disputes.