Oito verificações gratuitas, sem registo.
Escreva um domínio. Sem conta, nada a instalar. O que um agente fica a saber sobre o seu site antes de agir, se uma máquina consegue ler os seus ficheiros, se aquele rastreador nos seus registos é real, o que o seu robots.txt permite de facto a cada agente de IA, um primeiro rascunho do seu llms.txt a partir das páginas que já publica, como se compara com um concorrente, em que é que o Google se pode ancorar num vídeo, e se um pedido de bot assinado vem do bot que nomeia. Cada verificação é também um ponto de acesso público que um agente pode chamar.
Em uma frase
A página de ferramentas gratuitas responde a oito perguntas sem conta, cada uma também invocável como ponto de acesso público por um agente: o que um agente de IA fica a saber sobre um domínio pela resposta Resolve assinada (uma decisão por ação, o que o site declara, o que lhe foi servido, o que está ausente); se uma máquina consegue ler o seu robots.txt, sitemap e llms.txt com o tipo de conteúdo certo ou se uma cache está a servir algo desatualizado; se um pedido nos seus registos de acesso que diz ser GPTBot, ClaudeBot, Googlebot ou outro rastreador nomeado veio das gamas de IP publicadas por esse operador (verificado, falsificado ou não verificável, nunca apenas dois resultados); o que um robots.txt permite de facto a cada rastreador de IA num caminho; um primeiro rascunho de llms.txt a partir de páginas já publicadas; uma comparação lado a lado com um concorrente; em que se pode ancorar um resultado de pesquisa num vídeo; e se um pedido assinado com Web Bot Auth vem do bot que nomeia.
- 01O que fica um agente a saber sobre o seu site?a resposta Resolve assinada, apresentada
- 02Uma máquina consegue ler os seus arquivos?robots.txt · sitemap · llms.txt · página inicial
- 03Esse rastreador nos seus logs é real?verificado · falsificado · não verificável
- 04O que o seu robots.txt permite a cada rastreador de IA?por agente, no caminho que você escolher
- 05Rascunhe um llms.txt a partir do que você já publicapágina inicial + até 25 páginas declaradas
- 06Como você se compara a um concorrente?duas páginas iniciais, uma verificação cada
- 07Essa requisição de bot assinada é real?Web Bot Auth, cada passo mostrado
- 08No que o Google consegue se ancorar no seu vídeo?capítulos · legendas · descrição · tópicos
01
O que fica um agente a saber sobre o seu site?
A resposta pública e assinada que o Resolve dá a qualquer agente que pergunte por um domínio antes de ler, citar, ligar-se ou transacionar, apresentada para uma pessoa: uma decisão por ação, o que o site declara, o que lhe foi servido, o que está ausente.
Os agentes não leem a sua página inicial para formar uma impressão. Consultam um ponto de acesso e agem sobre os campos. Isto mostra-lhe esses campos para o seu próprio domínio e, se ainda não houver registo, di-lo tal como é dito ao agente: não medido, nada adivinhado.
Agentes: GET /api/v1/resolve?domain=
02
Uma máquina consegue ler seus arquivos?
Quatro requisições ao domínio informado: robots.txt, sitemap, llms.txt e a página inicial, lidos por tipo de conteúdo e idade do cache.
Agentes: GET /api/tool/files?domain=
03
Aquele rastreador nos seus logs é real?
Cole linhas brutas do log de acesso. Cada uma que cita um rastreador conhecido é conferida com as faixas de endereços que esse operador realmente publica.
Esta é a verificação que quase ninguém faz, e ela inverte conclusões. Um log cheio de GPTBot com 403 dá a impressão de que seu host está bloqueando a OpenAI — até você descobrir que todos vieram de um único endereço usando sete nomes de rastreador diferentes. Medimos exatamente isso em sites reais. Agrupe por endereço antes de concluir qualquer coisa.
Agentes: GET /api/v1/visitor?ip=&ua=
04
O que seu robots.txt permite a cada rastreador de IA?
Uma busca do arquivo e depois cada mecanismo de resposta, índice de busca e rastreador de treinamento nomeado é resolvido como um rastreador faria: só o próprio grupo, a correspondência mais longa, allow vence no empate.
A regra que as pessoas entendem errado: um Disallow sob User-agent: * nunca se aplica a um agente que tem o próprio grupo. Cite o GPTBot uma única vez em qualquer lugar do arquivo e toda regra * deixa de valer para ele. Isto mostra o que realmente se aplica, por agente, no caminho que você escolher.
Agentes: GET /api/tool/robots?domain=&path=
05
Rascunhe um llms.txt a partir do que você já publica
Lê sua página inicial e até 25 páginas declaradas com os próprios títulos e descrições, e escreve um primeiro rascunho no formato de costume.
É um rascunho de propósito. Um arquivo gerado é uma lista de links com títulos como descrições; o valor do arquivo está na escolha. Corte-o para as páginas sobre as quais alguém perguntaria a um assistente, escreva você mesmo as descrições e sirva-o como text/plain e confira a URL pura — a verificação acima vai dizer se ele chegou.
06
Como você se compara a um concorrente?
Duas páginas iniciais, a mesma análise nas duas: cada seção de que um mecanismo de resposta precisa, lado a lado, com os achados que só um de vocês tem.
07
Aquela requisição de bot assinada é real?
O Web Bot Auth permite que um bot assine cada requisição com uma chave que ele publica. Digite o host do bot ou cole os cabeçalhos de uma requisição assinada, e cada passo da verificação aparece: o diretório de chaves, as assinaturas nele, a impressão digital de cada chave, os componentes cobertos e a janela de tempo.
Um user-agent qualquer um digita; uma assinatura sobre o seu próprio nome de host, não. Uma chave só conta se assinou o diretório em que está, então uma lista de chaves copiada ou editada não prova nada. Funciona para qualquer agente que assine, não só o nosso.
Agentes: GET /api/tool/wba?agent=
08
Em que o Google pode se apoiar no seu vídeo?
Cole uma URL do YouTube: capítulos, tipo de legenda, descrição, idioma e temas, cada linha comparada ao que um resultado de busca pode usar como âncora. Canais inteiros e a ligação com o site estão no Watch.
Três resultados, nunca dois
Contar as não verificáveis como falsas inflaria a taxa; contá-las como genuínas a subestimaria. Por isso a taxa de falsificação divide só por verificadas mais falsificadas, e a resposta informa esse denominador em vez de deixar você supor um.
Verificada
O endereço está dentro da faixa que o operador publica. A requisição é o que diz ser.
Falsificada
O operador publica faixas e este endereço está fora de todas. Outra pessoa está usando o nome.
Não verificável
O operador não publica nenhuma lista, então a identidade não pode ser confirmada nem apontada como falsa. Amazonbot e Meta-ExternalAgent ficam aqui permanentemente.
O que as duas verificações pegam
Quando executar: após qualquer edição em um arquivo de máquina, após qualquer mudança de configuração de cache ou CDN, e sempre que uma correção voltada a rastreadores “deveria” estar no ar. Verifique a URL nua de fora da sua própria sessão, porque o seu navegador logado é o cliente menos representativo que o seu site tem.
A verificação de arquivos de máquina
Busca os seus robots.txt, llms.txt e sitemap como um rastreador faz, e lê o tipo de conteúdo e o corpo, não só o status. A falha para a qual existe: um escudo anti-bot respondendo HTTP 200 com HTML onde deveria haver um arquivo de texto. Todo monitor de disponibilidade chama isso de saudável; um validador lê como tudo permitido.
A verificação de purge
O purge que você acabou de executar removeu algo de fato? Ela busca a URL antes e depois sem cache-busting, compara os bytes e lê os cabeçalhos age e cache-status. Um 200 de um endpoint de purge fala da chamada à API, não do cache.
As mesmas duas verificações, para um terminal.
Nenhum é um produto. São as verificações que pegaram falhas reais neste projeto, publicadas porque um post descrevendo uma ferramenta que você não pode ter é propaganda. Use-os, mude-os, sem atribuição. Não fazem nenhuma requisição de rede a não ser à URL que você entrega a eles.
cachecheck.sh
Verifica se um cache está entregando um documento que a sua origem não produz mais. Ignora totalmente os códigos de status: um PURGE que retorna 200 prova que algo respondeu, não que algo foi removido. Busca a URL pura e uma versão sem cache, compara as duas e se recusa a julgar quando uma das leituras é uma página de verificação.
Ver ou baixar → · curl -sO https://crawlcheck.io/tools/cachecheck.sh
verify.sh
Verifica se uma alteração que você publicou está mesmo na página que um estranho recebe. Conta sua marcação fora das tags style e script, para que um nome de classe numa folha de estilos não passe por um elemento da página; busca três vezes para que tudo o que é condicional apareça; e informa que mede a visão anônima.
Ver ou baixar → · curl -sO https://crawlcheck.io/tools/verify.sh
Quer que estas verificações corram por si, duas vezes por dia?
Estas verificações correm quando se lembra delas. O Watch volta a medir duas vezes por dia, em três domínios, o que é servido a cada rastreador de IA nomeado, e só lhe escreve quando um resultado muda: a resposta que um agente recebe sobre o seu site, mantida atual sem que ninguém tenha de se lembrar de verificar.
As oito verificações acima continuam gratuitas e não precisam de conta.