CrawlCheck
A camada de verificação da web agêntica

Outros rastreadores recuperam a web para os agentes. O CrawlCheck a verifica.

Uma resposta assinada sobre qualquer site — o que os rastreadores realmente receberam, o que ele declara, o que um agente pode fazer ali com segurança — antes de um agente ler, citar, conectar-se ou agir.

O CrawlCheck é a camada de verificação da web agêntica. Ele mede o que um site realmente serve — obtido como GPTBot, ClaudeBot, PerplexityBot, Googlebot e oito outras identidades de rastreadores, mais seus arquivos de máquina, política de rastreamento, direitos e capacidades declarados — decide os achados por regras publicadas e assina a resposta para que um agente possa verificá-la offline antes de ler, citar, conectar-se ou agir. Donos de sites recebem a mesma medição como uma auditoria A–F gratuita com cada defeito nomeado.

Grátis. Sem cadastro, nada instalado, nada alterado no seu site. Cerca de 30 requisições somente leitura, como um rastreador as faz.

  • Medido — 15 identidades de rastreadores, 5 arquivos de máquina em ambos os hosts, cada byte com hash e selado no Bitcoin diariamente.
  • Assinado — Ed25519 sobre cada resposta, chaves publicadas, um único script verifica tudo offline.
  • Independente — 6 redes de observação, um livro de regras público, um registro de disputas. Pagar nunca altera uma medição.

Construindo um agente? Uma decisão assinada por ação · Protocolo Resolve · SDKs npm e PyPI

200,867

sites medidos

177

decisões assinadas, últimos 30 dias

117,586

visitas reais de rastreadores registradas

0

números que um pagamento pode mudar

Construído e operado por uma só pessoa em Denver, primeiro nos sites de clientes que ele mede — a demo é um registro real, sem retoques. O scan é grátis, sempre. Corrija uma vez por $749, ou mantenha um registro a partir de $29/mês →

Uma resposta

O que um agente recebe de volta.

Um site é observado e suas declarações são lidas; regras publicadas decidem os achados; a decisão de cada ação é assinada em um recibo. Nada é adivinhado: uma seção não medida diz isso.

1Sitequalquer domínio2Observadoentrega · arquivos · bytes3Declaradorobots · direitos · capacidades4Achadospor regras publicadas5Decisãopermitir · alertar · perguntar · bloquear6Reciboassinado · verificável offlineo que entrao que sai

A medição

O que 14 identidades de rastreador receberam de denverpost.com

Um site real, analisado há 4 dias — 1 identidade foi recusada, 10 receberam bytes diferentes dos do navegador, todas com as mesmas 2,061 palavras. Abrir o registro completo ou analise seu próprio site acima.

IDENTITYSTATUSPALAVRAS RECEBIDASCOMPARADO COM O NAVEGADORCliente sem nome2002,061a referênciaGPTBot2002,061mesmas palavras, bytes diferentesClaudeBot2002,061mesmas palavras, bytes diferentesOAI-SearchBot2002,061mesmas palavras, bytes diferentesClaude-SearchBot2002,061mesmas palavras, bytes diferentesPerplexityBot2002,061mesmas palavras, bytes diferentesGooglebot2002,061mesmas palavras, bytes diferentesNavegador móvel2002,061idênticoBingbot2002,061mesmas palavras, bytes diferentesApplebot2002,061mesmas palavras, bytes diferentesAmazonbot2002,061idênticoBytespider4035recusadoMeta-ExternalAgent2002,061mesmas palavras, bytes diferentesCCBot2002,061mesmas palavras, bytes diferentesnavegador de controleidênticomesmas palavras, bytes diferentesmenos palavrasrecusado15 requisições, 14 exibidas. Barra: palavras recebidas, comparadas à resposta mais longa.
Para quem é

Quatro caminhos para entrar.

Criador de agentes

Pergunte antes de o seu agente agir.

Uma decisão assinada por ação: ler, citar, conectar ou transacionar. Construída a partir do que o site declara, do que realmente lhe foi servido, de seus achados e da sua própria política, que só pode torná-la mais rígida. SDKs tipados no npm e PyPI.

Início rápido · Resolve · SDKs

Developer

Use a evidência no código.

Registros de máquina com os bytes por trás de cada achado, exportações OpenTelemetry e PROV, scans em lote, webhooks e um gate de CI, a partir de 2,000 scans por mês.

Documentação da API →

Agency

Monitore clientes e comprove o trabalho.

40 domínios em uma chave, relatórios seguros para clientes, recibos de alteração assinados que um cliente pode verificar, e a API: 5,000 scans por mês.

Plano Agency →

Dono do site

Saiba o que os agentes recebem, e corrija.

Escaneie grátis. Implementamos a lista de correções por $749 e a verificamos com um novo scan; o monitoramento a mantém corrigida a partir de $29 por mês, com um certificado que expira no dia em que uma medição falha.

Analisar · Corrigir · Monitorar

Medido, não pesquisado

O estado da web agêntica, todos os dias.

Os mesmos mil sites, medidos diariamente do mesmo ponto de observação. Recusas são lidas como “recusado daqui”, nunca “bloqueado” — os endereços dos rastreadores reais não são os nossos.

Censo · top 1,000, diáriorodada 7 · concluída há 8 horas · 991 sites
A página inicial responde a um navegador51.6%511 de 991Recusam pelo menos uma identidade de IA18.4%94 de 511robots.txt fecha / para um agente de IA23.8%96 de 404Servem um llms.txt20.7%106 de 511Trazem uma linha Content-Signal3.7%15 de 404Declaram uma capacidade de agente2.9%15 de 511

Cada linha informa seu próprio denominador. Cada número, cada rodada e os registros de onde são contados →

Construído e publicado

As camadas em que um agente pode confiar.

Cada cartão é uma contagem ao vivo ou um artefato publicado, cada um com a página que permite conferi-lo.

Confiança

O que ele mede, e o que ele não afirma.

Método

Toda regra é publicada.

O que cada achado significa, como corrigi-lo e o único limite: as identidades dos rastreadores são testadas a partir do nosso endereço, não do de um operador.

O livro de regras →

Privacidade

O que uma análise envia e guarda.

About 30 read-only requests. Reports are kept: 90 days in the fast store, then from the sealed archive; any domain can opt out without an account.

Política de dados →

Núcleo aberto

O leitor é de código aberto.

O leitor de robots.txt tem licença MIT e é testado contra a produção.

crawlcheck-core →

Limites

Evidência, não uma promessa de citação.

Uma análise prova o que o seu servidor enviou. Ela nunca afirma que um mecanismo de resposta citou você, e pagar nunca muda uma pontuação.

Ver um relatório real →

Comece com um scan gratuito, ou pergunte antes de o seu agente agir.

Um dono de site recebe a nota e cada achado nomeado em um minuto, sem instalar nada. Um construtor de agentes recebe uma decisão assinada por ação e a evidência por trás dela, verificável offline. Nenhum dos dois custa nada, e scans avulsos nunca são publicados pelo nome.

Certificado CrawlCheck para crawlcheck.io: certificado como legível por máquinas Este site exibe o próprio certificado. O selo é recalculado a partir da medição mais recente, então mostraria uma falha no mesmo dia em que ela acontecesse.

Analisar um domínio — grátis