¿Cómo se comprueba un sitio para la web agéntica?
En una frase
La biblioteca de CrawlCheck son las guías, los hallazgos y el glosario que hay detrás del escáner: cada guía comprueba una cosa en cualquier sitio e informa de con qué frecuencia falla en todos los escaneos, cada hallazgo es un caso fechado de una medición real, y cada término del glosario se define una vez y se enlaza desde el informe que lo mide.
Nada de esto es un consejo salido de una encuesta. Una guía te dice cómo comprobar una cosa en cualquier sitio y qué suele encontrar la comprobación; un hallazgo es un caso de un escaneo real con los bytes detrás; un término se define una vez y se enlaza desde el informe que lo mide.
Pagar nunca cambia una medición. El libro de reglas · Los rastreadores · Cómo funciona un escaneo
Guías. Hallazgos. Glosario.
Guías
Cómo comprobar una cosa.
Cada guía es una comprobación: qué obtener, qué buscar, qué significa y con qué frecuencia falla en todos los escaneos. Empieza por las tres que explican cómo leer un informe.
Hallazgos
Qué encontraron escaneos reales.
Casos fechados del conjunto de datos público: un robots.txt que no se podía leer, un nombre de rastreador que Google dice que nunca envía, una página que dio una sola identidad a dos empresas.
Glosario
Cada término, definido una vez.
751 términos de la capa para máquinas, cada uno con la página que lo mide. Las definiciones son las que usan el informe y la API.
Cada número de aquí se lee del manifiesto que lo publica.
Tres guías que explican el informe.
Qué cubren las guías.
- Seguridad y correo — Cabeceras y registros DNS que un rastreador puede leer: HSTS, CSP, DMARC, SPF, DKIM. (3)
- Rastreadores de IA y acceso — Quién obtiene las páginas, si pueden entrar y si son quienes dicen ser. (18)
- Visibilidad ante IA y motores de respuestas — Qué puede medirse de verdad sobre un sitio dentro de una respuesta generada. (8)
- Entidades, esquema y presencia local — Declarar quién eres para que un resolvedor no tenga que adivinar: JSON-LD, NAP, listados. (6)
- Archivos para máquinas y entrega — robots.txt, llms.txt, sitemaps, canónicas, cachés, códigos de estado. (12)
- Calidad del sitio, enlaces y accesibilidad — Qué necesitan de una página un lector, un lector de pantalla y un comprobador de enlaces. (17)
Medido este mes.
- Agent conduct, October 2026: 34,676 verified crawler requests, and what they did with robots.txt 2026-10-15
- MCP reliability, October 2026: 6,000 remote MCP servers, 39,484 handshakes 2026-10-15
- Share of preflight, October 2026: 0 of 5,643 verified agent requests carried a receipt 2026-10-15
- Robots.txt says yes, the server says no: 57 top sites refuse AI crawlers their own rules allow 2026-10-15
- Release notes 14 Oct 2026: doors, signed weekly figures, trial 2026-10-14