Como o CrawlCheck funciona
Em uma frase
Como funciona é a página que coloca cada passo do CrawlCheck em ordem: um site é medido de fora como os rastreadores o veem, suas declarações são lidas como escritas, regras publicadas decidem os achados, observadores independentes corroboram as leituras, uma resposta assinada resolve uma decisão por ação (ler, citar, conectar, transacionar), e qualquer um pode verificar toda a cadeia offline com um script e as chaves publicadas. Donos de sites leem a mesma medição como uma auditoria A–F gratuita.
Verificar um domínio — grátis Pergunte antes de o seu agente agir → Pagar nunca altera uma medição. Uma licença adiciona a evidência por trás de cada achado e o registro ao longo do tempo — nunca uma resposta diferente.
De um domínio a uma resposta assinada
Leia de cima para baixo. Nada é adivinhado em nenhum passo: uma seção que não pôde ser medida diz isso, e uma decisão construída sobre ela diz por quê.
- 1
1 · Medir
Observar o que o site realmente serve
15 identidades de rastreadores buscam a página inicial e cada resposta é guardada: status, bytes, palavras, redirecionamentos. Cinco arquivos de máquina são lidos em ambos os hosts. Cada corpo recebe hash em um manifesto selado no Bitcoin diariamente.
- 2
2 · Medir
Ler o que o site declara
O robots.txt é decidido conforme a RFC 9309 para 114 agentes nomeados; linhas Content-Signal e de direitos são lidas como escritas; declarações de capacidade são coletadas: cartões de servidor MCP, índices agent-skills, catálogos de API, cartões A2A. O declarado fica sempre separado do observado.
- 3
3 · Decidir
Decidir os achados por regras publicadas
77 regras, cada uma com suas entradas, gravidade, teste e correção em uma página pública. Cada achado carrega a revisão da regra que o decidiu e as buscas que ela leu, de modo que pode ser reproduzido sobre os bytes selados. Nenhuma licença, plano ou pagamento move um.
- 4
4 · Decidir
Corroborar com observadores independentes
Observadores inscritos em outras redes releem a mesma URL e assinam o que receberam. As leituras são comparadas campo a campo; uma recusa que só uma rede vê é nomeada como tal. Qualquer um pode inscrever um observador com uma chave, e qualquer um pode abrir uma disputa.
- 5
5 · Responder
Resolve: uma resposta, uma decisão por ação
Cada seção da resposta é declarada, observada ou não medida, com a data. A partir dela, uma decisão para ler, citar, conectar e transacionar: permitir, alertar, precisa de um humano ou bloquear. A própria política de um agente pode tornar uma decisão mais rígida, nunca mais frouxa.
- 6
6 · Assinar
Assiná-la, para que qualquer um a verifique offline
Respostas, recibos, exportações e resoluções são assinados com Ed25519 sob chaves publicadas. Um script verifica qualquer um deles sem conta e sem nos chamar. Um site pode conferir o recibo de um agente pelo seu digest antes de servir a requisição.
A medição, pontuada em um relatório ao vivo.
Os anéis são as pontuações por etapa que um dono de site lê — alcançar, ler, citar — e as barras, as seções dentro de cada uma. A mesma medição alimenta a resposta assinada. Abrir o relatório →
Cinco decisões, e o que cada uma significa
Uma por ação — ler, citar, conectar, transacionar — decidida a partir das próprias seções da resposta no momento da assinatura, e apertada pela própria política do agente.
| Decisão | Quando é dada | O que o agente faz |
|---|---|---|
| permitir | As seções medidas atendem à garantia mínima da ação e nada as contradiz. | Prosseguir. Guardar o recibo junto com a ação. |
| alertar | Alcançável, mas uma dúvida declarada permanece: uma regra robots específica do agente, uma seção não medida, uma leitura desatualizada. | Prosseguir apenas se a sua própria política aceitar a dúvida nomeada. |
| precisa de um humano | A ação é transacionar, ou a sua política exige aprovação para ela. | Uma pessoa aprova antes de o agente agir. |
| bloquear | Recusado, proibido para o seu agente, suspeita de falsificação, ou na sua lista de negação. | Não agir. A resposta nomeia uma alternativa quando uma foi observada. |
| sem suporte | O site não declara nada a que se conectar. | Nada a fazer aqui; ler ou citar em vez disso, se essas ações permitirem. |
O que mantém tudo junto
Quatro propriedades transformam uma medição em algo em que um estranho pode confiar.
Regras
Nada é decidido em privado
Cada código de achado, seu teste, gravidade e correção são publicados, e a lista é calculada a partir do scanner em execução em vez de digitada.
Evidências
Cada byte é guardado e selado
Cada corpo buscado recebe hash em um manifesto; os manifestos de cada dia são ancorados no Bitcoin via OpenTimestamps. Uma leitura pode ser reproduzida anos depois.
Observadores
Mais de um ponto de vista
Redes independentes leem a mesma URL e assinam suas leituras. Concordância e discordância são ambas publicadas, campo a campo.
Verificação
Confie na matemática, não em nós
Assinado com chaves publicadas, verificável offline por um script, com uma suíte de conformidade pública contra a qual qualquer verificador pode ser testado.
Público, e o que uma licença adiciona
Tudo de que um agente precisa é público e gratuito: a resposta, a decisão, as regras, as chaves, o censo, os SDKs. Uma licença compra a profundidade de que um dono de site precisa: a evidência por trás de cada achado, o registro ao longo do tempo e recibos das correções.
PUBLIC
- Escaneie qualquer domínio: nota, cada achado nomeado, o principal por completo
- Resolve uma resposta assinada por domínio, e uma decisão por ação
- Livro de regras, chaves, suíte de conformidade, censo e o protocolo de observadores
- SDKs no npm e PyPI com o verificador offline incluído
LICENCE
- Evidência por trás de cada achado: os bytes, o localizador, a reprodução da regra
- O registro ao longo do tempo: impressões digitais, recibos de alteração, o selo diário por domínio
- Recibos de correção que um cliente pode verificar, e resultados após uma correção
- Cotas de API, scans em lote, webhooks e um gate de CI