Cómo funciona CrawlCheck
En una frase
Cómo funciona es la página que pone en orden cada paso de CrawlCheck: un sitio se mide desde fuera tal como lo ven los rastreadores, sus declaraciones se leen tal como están escritas, reglas publicadas deciden los hallazgos, observadores independientes corroboran las lecturas, una respuesta firmada resuelve una decisión por acción (leer, citar, conectar, transaccionar), y cualquiera puede verificar toda la cadena sin conexión con un script y las claves publicadas. Los dueños de sitios leen la misma medición como una auditoría A–F gratuita.
Escanear un dominio — gratis Pregunte antes de que su agente actúe → Pagar nunca cambia una medición. Una licencia añade la evidencia detrás de cada hallazgo y el registro en el tiempo — nunca una respuesta distinta.
De un dominio a una respuesta firmada
Léalo de arriba abajo. Nada se adivina en ningún paso: una sección que no pudo medirse lo dice, y una decisión construida sobre ella dice por qué.
- 1
1 · Medir
Observar lo que el sitio realmente sirve
15 identidades de rastreadores obtienen la portada y cada respuesta se conserva: estado, bytes, palabras, redirecciones. Cinco archivos máquina se leen en ambos hosts. Cada cuerpo se incluye con hash en un manifiesto que se sella en Bitcoin a diario.
- 2
2 · Medir
Leer lo que el sitio declara
robots.txt se decide según la RFC 9309 para 114 agentes nombrados; las líneas Content-Signal y de derechos se leen tal como están escritas; se recogen las declaraciones de capacidades: tarjetas de servidor MCP, índices agent-skills, catálogos de API, tarjetas A2A. Lo declarado se mantiene siempre separado de lo observado.
- 3
3 · Decidir
Decidir los hallazgos por reglas publicadas
77 reglas, cada una con sus entradas, gravedad, prueba y corrección en una página pública. Cada hallazgo lleva la revisión de la regla que lo decidió y las solicitudes que leyó, de modo que se reproduce sobre los bytes sellados. Ninguna licencia, plan o pago mueve uno.
- 4
4 · Decidir
Corroborar con observadores independientes
Observadores inscritos en otras redes vuelven a leer la misma URL y firman lo que recibieron. Las lecturas se comparan campo a campo; un rechazo que solo ve una red se nombra como tal. Cualquiera puede inscribir un observador con una clave, y cualquiera puede presentar una disputa.
- 5
5 · Responder
Resolve: una respuesta, una decisión por acción
Cada sección de la respuesta está declarada, observada o no medida, con su fecha. De ahí, una decisión para leer, citar, conectar y transaccionar: permitir, advertir, requiere un humano o bloquear. La propia política de un agente puede hacer una decisión más estricta, nunca más laxa.
- 6
6 · Firmar
Firmarla, para que cualquiera la verifique sin conexión
Respuestas, recibos, exportaciones y resoluciones se firman con Ed25519 bajo claves publicadas. Un script verifica cualquiera de ellas sin cuenta y sin llamarnos. Un sitio puede comprobar el recibo de un agente por su resumen antes de servir la solicitud.
La medición, puntuada en un informe en vivo.
Los anillos son las puntuaciones por etapa que lee un dueño de sitio — alcanzar, leer, citar — y las barras, las secciones dentro de cada una. La misma medición alimenta la respuesta firmada. Abrir el informe →
Cinco decisiones, y qué significa cada una
Una por acción — leer, citar, conectar, transaccionar — decidida a partir de las propias secciones de la respuesta al firmar, y endurecida por la propia política del agente.
| Decisión | Cuándo se da | Qué hace el agente |
|---|---|---|
| permitir | Las secciones medidas alcanzan la garantía mínima de la acción y nada las contradice. | Proceder. Conservar el recibo junto con la acción. |
| advertir | Alcanzable, pero queda una duda declarada: una regla robots específica del agente, una sección no medida, una lectura obsoleta. | Proceder solo si su propia política acepta la duda nombrada. |
| requiere un humano | La acción es transaccionar, o su política exige aprobación para ella. | Una persona aprueba antes de que el agente actúe. |
| bloquear | Rechazado, prohibido para su agente, sospecha de suplantación, o en su lista de denegación. | No actuar. La respuesta nombra una alternativa cuando se observó una. |
| no admitido | El sitio no declara nada a lo que conectarse. | Nada que hacer aquí; leer o citar en su lugar si esas acciones lo permiten. |
Lo que lo mantiene unido
Cuatro propiedades convierten una medición en algo en lo que un desconocido puede confiar.
Reglas
Nada se decide en privado
Cada código de hallazgo, su prueba, gravedad y corrección están publicados, y la lista se calcula desde el escáner en ejecución en lugar de escribirse a mano.
Evidencia
Cada byte se conserva y se sella
Cada cuerpo obtenido se incluye con hash en un manifiesto; los manifiestos de cada día se anclan en Bitcoin mediante OpenTimestamps. Una lectura puede reproducirse años después.
Observadores
Más de un punto de vista
Redes independientes leen la misma URL y firman sus lecturas. Tanto el acuerdo como el desacuerdo se publican, campo a campo.
Verificación
Confíe en las matemáticas, no en nosotros
Firmado con claves publicadas, verificable sin conexión con un script, con una suite de conformidad pública contra la que puede probarse cualquier verificador.
Público, y lo que añade una licencia
Todo lo que un agente necesita es público y gratuito: la respuesta, la decisión, las reglas, las claves, el censo, los SDK. Una licencia compra la profundidad que un dueño de sitio necesita: la evidencia detrás de cada hallazgo, el registro en el tiempo y recibos de las correcciones.
PUBLIC
- Escanee cualquier dominio: nota, cada hallazgo nombrado, el principal completo
- Resolve una respuesta firmada por dominio, y una decisión por acción
- Reglamento, claves, suite de conformidad, censo y el protocolo de observadores
- SDK en npm y PyPI con el verificador sin conexión incluido
LICENCE
- Evidencia detrás de cada hallazgo: los bytes, el localizador, la reproducción de la regla
- El registro en el tiempo: huellas, recibos de cambio, el sello diario por dominio
- Recibos de corrección que un cliente puede verificar, y resultados tras una corrección
- Cuotas de API, escaneos por lotes, webhooks y una puerta de CI