Cómo funciona CrawlCheck
En una frase
Cómo funciona es la página que pone en orden cada paso de CrawlCheck: un sitio se mide desde fuera tal como lo ven los rastreadores, sus declaraciones se leen tal como están escritas, reglas publicadas deciden los hallazgos, observadores independientes corroboran las lecturas, una respuesta firmada resuelve una decisión por acción (leer, citar, conectar, transaccionar), y cualquiera puede verificar toda la cadena sin conexión con un script y las claves publicadas. Los dueños de sitios leen la misma medición como una auditoría A–F gratuita.
Escanear un dominio — gratis Pregunte antes de que su agente actúe → Pagar nunca cambia una medición. Una licencia añade la evidencia detrás de cada hallazgo y el registro en el tiempo — nunca una respuesta distinta.
De un dominio a una respuesta firmada
Léalo de arriba abajo. Nada se adivina en ningún paso: una sección que no pudo medirse lo dice, y una decisión construida sobre ella dice por qué.
- 1
1 · Medir
Observar lo que el sitio realmente sirve
16 identidades de rastreadores obtienen la portada y cada respuesta se conserva: estado, bytes, palabras, redirecciones. Cinco archivos máquina se leen en ambos hosts. Cada cuerpo se incluye con hash en un manifiesto que se sella en Bitcoin a diario.
- 2
2 · Medir
Leer lo que el sitio declara
robots.txt se decide según la RFC 9309 para 115 agentes nombrados; las líneas Content-Signal y de derechos se leen tal como están escritas; se recogen las declaraciones de capacidades: tarjetas de servidor MCP, índices agent-skills, catálogos de API, tarjetas A2A. Lo declarado se mantiene siempre separado de lo observado.
- 3
3 · Decidir
Decidir los hallazgos por reglas publicadas
111 reglas, cada una con sus entradas, gravedad, prueba y corrección en una página pública. Cada hallazgo lleva la revisión de la regla que lo decidió y las solicitudes que leyó, de modo que se reproduce sobre los bytes sellados. Ninguna licencia, plan o pago mueve uno.
- 4
4 · Decidir
Corroborar con observadores independientes
Observadores inscritos en otras redes vuelven a leer la misma URL y firman lo que recibieron. Las lecturas se comparan campo a campo; un rechazo que solo ve una red se nombra como tal. Cualquiera puede inscribir un observador con una clave, y cualquiera puede presentar una disputa.
- 5
5 · Responder
Resolve: una respuesta, una decisión por acción
Every section of the answer is declared, observed or not measured, with when. From it, a decision for read, cite, connect, transact and administer. The outcomes are allow, warn, require_confirmation, block and unsupported. An agent’s own policy can make a decision stricter, never looser.
- 6
6 · Firmar
Firmarla, para que cualquiera la verifique sin conexión
Respuestas, recibos, exportaciones y resoluciones se firman con Ed25519 bajo claves publicadas. Un script verifica cualquiera de ellas sin cuenta y sin llamarnos. Un sitio puede comprobar el recibo de un agente por su resumen antes de servir la solicitud.
La medición, puntuada en un informe en vivo.
Los anillos son las puntuaciones por etapa que lee un dueño de sitio — alcanzar, leer, citar — y las barras, las secciones dentro de cada una. La misma medición alimenta la respuesta firmada. Abrir el informe →
Five decision outcomes
Resolve returns one decision per action for read, cite, connect, transact and administer. The agent can apply a stricter policy.
| Decisión | Cuándo se da | Qué hace el agente |
|---|---|---|
| permitir | Las secciones medidas alcanzan la garantía mínima de la acción y nada las contradice. | Proceder. Conservar el recibo junto con la acción. |
| advertir | Alcanzable, pero queda una duda declarada: una regla robots específica del agente, una sección no medida, una lectura obsoleta. | Proceder solo si su propia política acepta la duda nombrada. |
| require_confirmation | The signed decision calls for human approval before proceeding. | Una persona aprueba antes de que el agente actúe. |
| bloquear | Access is refused, policy blocks the action, identity is suspect, or the action is administer. | No actuar. La respuesta nombra una alternativa cuando se observó una. |
| no admitido | El sitio no declara nada a lo que conectarse. | Nada que hacer aquí; leer o citar en su lugar si esas acciones lo permiten. |
Las capas se alquilan. La prueba, no.
Los modelos, las nubes y los frameworks de agentes son cada año más baratos y fáciles de cambiar. Lo que un agente no puede cambiar es saber quién es un sitio y tener un registro que pueda mostrar. Esa es la parte que aporta CrawlCheck.
Identidad
Las señales de identidad que corroboramos
Los perfiles que declara un sitio se cotejan con los perfiles que enlazan de vuelta. Una empresa confirmada por ambos lados se distingue de una que solo lo afirma.
Prueba
Un registro que un desconocido puede comprobar
Cada respuesta está firmada, cada página leída se guarda con su huella y cada día se sella. Nadie tiene que creernos.
La comprobación
Antes de que el agente actúe
Una llamada antes de leer, citar, conectarse o comprar devuelve permitir, advertir, preguntar a una persona o bloquear, con los motivos adjuntos.
Cualquier pila
Funciona con lo que alquilas
Cualquier modelo, cualquier framework de agentes, cualquier nube: HTTP simple, un servidor MCP y SDK. Cambia las capas de abajo; la comprobación sigue siendo la misma.
Lo que lo mantiene unido
Cuatro propiedades convierten una medición en algo en lo que un desconocido puede confiar.
Reglas
Nada se decide en privado
Cada código de hallazgo, su prueba, gravedad y corrección están publicados, y la lista se calcula desde el servicio en ejecución en lugar de escribirse a mano.
Prueba
Cada lectura se registra con hash y se sella
Cada cuerpo obtenido se incluye con hash en un manifiesto; los manifiestos de cada día se anclan en Bitcoin mediante OpenTimestamps. Una lectura puede repetirse mientras se conserven sus bytes almacenados. Tras borrarlos quedan el hash y su marca de tiempo: una copia guardada en otro lugar aún puede cotejarse con ellos, pero los bytes borrados ya no pueden inspeccionarse ni repetirse desde CrawlCheck.
Observadores
Más de un punto de vista
Redes independientes leen la misma URL y firman sus lecturas. Tanto el acuerdo como el desacuerdo se publican, campo a campo.
Verificación
Confíe en las matemáticas, no en nosotros
Firmado con claves publicadas, verificable sin conexión con un script, con una suite de conformidad pública contra la que puede probarse cualquier verificador.
Público, y lo que añade una licencia
Todo lo que un agente necesita es público y gratuito: la respuesta, la decisión, las reglas, las claves, el censo, los SDK. Una licencia compra la profundidad que un dueño de sitio necesita: la evidencia detrás de cada hallazgo, el registro en el tiempo y recibos de las correcciones.
PUBLIC
- Escanee cualquier dominio: nota, cada hallazgo nombrado, el principal completo
- Resolve una respuesta firmada por dominio, y una decisión por acción
- Reglamento, claves, suite de conformidad, censo y el protocolo de observadores
- SDK en npm y PyPI con el verificador sin conexión incluido
LICENCE
- Evidencia detrás de cada hallazgo: los bytes, el localizador, la reproducción de la regla
- El registro en el tiempo: huellas, recibos de cambio, el sello diario por dominio
- Recibos de corrección que un cliente puede verificar, y resultados tras una corrección
- Cuotas de API, escaneos por lotes, webhooks y una puerta de CI