CrawlCheck
La capa de verificación de la web agéntica

Otros rastreadores recuperan la web para los agentes. CrawlCheck la verifica.

Una respuesta firmada sobre cualquier sitio — qué recibieron realmente los rastreadores, qué declara, qué puede hacer allí un agente con seguridad — antes de que un agente lea, cite, se conecte o actúe.

CrawlCheck es la capa de verificación de la web agéntica. Mide lo que un sitio realmente sirve — obtenido como GPTBot, ClaudeBot, PerplexityBot, Googlebot y otras ocho identidades de rastreadores, más sus archivos máquina, política de rastreo, derechos y capacidades declarados — decide los hallazgos según reglas publicadas y firma la respuesta para que un agente pueda verificarla sin conexión antes de leer, citar, conectarse o actuar. Los dueños de sitios reciben la misma medición como una auditoría A–F gratuita con cada defecto nombrado.

Gratis. Sin registro, nada instalado, nada cambiado en su sitio. Unas 30 solicitudes de solo lectura, como las hace un rastreador.

  • Medido — 15 identidades de rastreadores, 5 archivos máquina en ambos hosts, cada byte con hash y sellado en Bitcoin a diario.
  • Firmado — Ed25519 sobre cada respuesta, claves publicadas, un solo script lo verifica todo sin conexión.
  • Independiente — 6 redes de observación, un reglamento público, un registro de disputas. Pagar nunca cambia una medición.

¿Construye un agente? Una decisión firmada por acción · Protocolo Resolve · SDK de npm y PyPI

200,867

sitios medidos

177

decisiones firmadas, últimos 30 días

117,586

visitas reales de rastreadores registradas

0

números que un pago puede cambiar

Construido y operado por una sola persona en Denver, primero en los sitios de clientes que mide — la demo es un registro real, sin retocar. El escaneo es gratis, siempre. Arréglelo una vez por $749, o mantenga un registro desde $29/mes →

Una respuesta

Lo que recibe un agente.

Se observa un sitio y se leen sus declaraciones; reglas publicadas deciden los hallazgos; la decisión de cada acción se firma en un recibo. Nada se adivina: una sección no medida lo dice.

1Sitiocualquier dominio2Observadoentrega · archivos · bytes3Declaradorobots · derechos · capacidades4Hallazgossegún reglas publicadas5Decisiónpermitir · advertir · preguntar · bloquear6Recibofirmado · verificable sin conexiónlo que entralo que sale

La medición

Lo que 14 identidades de rastreador recibieron de denverpost.com

Un sitio real, escaneado hace 4 días: 1 identidad fue rechazada y 10 recibieron bytes distintos a los del navegador, todas con las mismas 2,061 palabras. Abrir el registro completo o escanea tu propio sitio arriba.

IDENTITYSTATUSPALABRAS RECIBIDASFRENTE AL NAVEGADORCliente sin nombre2002,061la referenciaGPTBot2002,061mismas palabras, bytes distintosClaudeBot2002,061mismas palabras, bytes distintosOAI-SearchBot2002,061mismas palabras, bytes distintosClaude-SearchBot2002,061mismas palabras, bytes distintosPerplexityBot2002,061mismas palabras, bytes distintosGooglebot2002,061mismas palabras, bytes distintosNavegador móvil2002,061idénticoBingbot2002,061mismas palabras, bytes distintosApplebot2002,061mismas palabras, bytes distintosAmazonbot2002,061idénticoBytespider4035rechazadoMeta-ExternalAgent2002,061mismas palabras, bytes distintosCCBot2002,061mismas palabras, bytes distintosnavegador de controlidénticomismas palabras, bytes distintosmenos palabrasrechazado15 peticiones, 14 mostradas. Barra: palabras recibidas, frente a la respuesta más larga.
Para quién es

Cuatro formas de empezar.

Creador de agentes

Pregunte antes de que su agente actúe.

Una decisión firmada por acción: leer, citar, conectar o transaccionar. Construida a partir de lo que el sitio declara, lo que realmente se le sirvió, sus hallazgos y su propia política, que solo puede hacerla más estricta. SDK tipados en npm y PyPI.

Inicio rápido · Resolve · SDK

Developer

Use la evidencia en código.

Registros máquina con los bytes detrás de cada hallazgo, exportaciones OpenTelemetry y PROV, escaneos por lotes, webhooks y una puerta de CI, desde 2,000 escaneos al mes.

Documentación de la API →

Agency

Monitorea a tus clientes y demuestra el trabajo.

40 dominios en una clave, informes seguros para clientes, recibos de cambio firmados que un cliente puede verificar, y la API: 5,000 escaneos al mes.

Plan Agency →

Dueño del sitio

Sepa qué reciben los agentes, y arréglelo.

Escanee gratis. Implementamos la lista de correcciones por $749 y la verificamos con un nuevo escaneo; la monitorización lo mantiene arreglado desde $29 al mes, con un certificado que caduca el día en que una medición falla.

Analizar · Corregir · Monitorizar

Medido, no encuestado

El estado de la web agéntica, cada día.

Los mismos mil sitios, medidos a diario desde el mismo punto. Los rechazos se leen como «rechazado desde aquí», nunca «bloqueado» — las direcciones de los rastreadores reales no son las nuestras.

Censo · top 1,000, diariopasada 7 · terminada hace 8 horas · 991 sitios
La portada responde a un navegador51.6%511 de 991Rechazan al menos una identidad de IA18.4%94 de 511robots.txt cierra / a un agente de IA23.8%96 de 404Sirven un llms.txt20.7%106 de 511Llevan una línea Content-Signal3.7%15 de 404Declaran una capacidad de agente2.9%15 de 511

Cada fila indica su propio denominador. Cada cifra, cada pasada y los registros de los que se cuentan →

Construido y publicado

Las capas en las que un agente puede confiar.

Cada tarjeta es un recuento en vivo o un artefacto publicado, con la página que permite comprobarlo.

Confianza

Lo que mide, y lo que no afirma.

Método

Todas las reglas están publicadas.

Qué significa cada hallazgo, cómo corregirlo y el único límite: las identidades de los rastreadores se prueban desde nuestra dirección, no desde la de un operador.

El reglamento →

Privacidad

Lo que un escaneo envía y guarda.

About 30 read-only requests. Reports are kept: 90 days in the fast store, then from the sealed archive; any domain can opt out without an account.

Política de datos →

Núcleo abierto

El lector es de código abierto.

El lector de robots.txt tiene licencia MIT y se prueba contra producción.

crawlcheck-core →

Límites

Evidencia, no una promesa de cita.

Un escaneo demuestra lo que tu servidor envió. Nunca afirma que un motor de respuestas te citó, y pagar nunca cambia una puntuación.

Ver un informe real →

Empiece con un escaneo gratuito, o pregunte antes de que su agente actúe.

Un dueño de sitio obtiene la nota y cada hallazgo nombrado en un minuto, sin instalar nada. Un constructor de agentes obtiene una decisión firmada por acción y la evidencia detrás, verificable sin conexión. Ninguna cuesta nada, y los escaneos puntuales nunca se publican por nombre.

Certificado de CrawlCheck para crawlcheck.io: certificado como legible por máquinas Este sitio lleva su propio certificado. El sello se recalcula con la última medición, así que mostraría un fallo el mismo día en que ocurriera.

Escanear un dominio, gratis