Ocho comprobaciones gratuitas, sin registro.
Escribe un dominio. Sin cuenta, sin instalar nada. Qué se le dice a un agente sobre tu sitio antes de actuar, si una máquina puede leer tus archivos, si ese rastreador de tus registros es real, qué permite realmente tu robots.txt a cada agente de IA, un primer borrador de tu llms.txt a partir de las páginas que ya publicas, cómo te comparas con un competidor, en qué puede anclarse Google en un vídeo, y si una petición de bot firmada viene del bot que nombra. Cada comprobación es también un punto de acceso público que un agente puede llamar.
En una frase
La página de herramientas gratuitas responde ocho preguntas sin cuenta, cada una también invocable como punto de acceso público por un agente: qué se le dice a un agente de IA sobre un dominio mediante la respuesta Resolve firmada (una decisión por acción, qué declara el sitio, qué se le sirvió, qué está ausente); si una máquina puede leer su robots.txt, sitemap y llms.txt con el tipo de contenido correcto o una caché sirve algo obsoleto; si una petición de tus registros de acceso que dice ser GPTBot, ClaudeBot, Googlebot u otro rastreador con nombre vino de los rangos IP publicados por ese operador (verificada, suplantada o no verificable, nunca solo dos resultados); qué permite realmente un robots.txt a cada rastreador de IA en una ruta; un primer borrador de llms.txt a partir de páginas ya publicadas; una comparación lado a lado con un competidor; en qué puede anclarse un resultado de búsqueda en un vídeo; y si una petición firmada con Web Bot Auth viene del bot que nombra.
- 01¿Qué se le dice a un agente sobre tu sitio?la respuesta Resolve firmada, presentada
- 02¿Puede una máquina leer tus archivos?robots.txt · sitemap · llms.txt · página de inicio
- 03¿Es real ese rastreador en tus registros?verificado · suplantado · no verificable
- 04¿Qué permite tu robots.txt a cada rastreador de IA?por agente, en la ruta que elijas
- 05Redacta un llms.txt a partir de lo que ya publicaspágina de inicio + hasta 25 páginas declaradas
- 06¿Cómo te comparas con un competidor?dos páginas de inicio, un escaneo cada una
- 07¿Es real esa petición de bot firmada?Web Bot Auth, cada paso a la vista
- 08¿A qué puede anclarse Google en tu vídeo?capítulos · subtítulos · descripción · temas
¿Tu sitio es uno de ellos? Compruébalo gratis → Las 52 tasas →
01
¿Qué se le dice a un agente sobre tu sitio?
La respuesta pública y firmada que Resolve da a cualquier agente que pregunta por un dominio antes de leer, citar, conectarse o transaccionar, presentada para una persona: una decisión por acción, qué declara el sitio, qué se le sirvió, qué está ausente.
Los agentes no leen tu página de inicio para formarse una impresión. Consultan un punto de acceso y actúan según los campos. Esto te muestra esos campos para tu propio dominio y, si aún no hay registro, lo dice tal como se le dice al agente: no medido, nada supuesto.
Agentes: GET /api/v1/resolve?domain=
02
¿Puede una máquina leer tus archivos?
Cuatro solicitudes al dominio que indiques: robots.txt, sitemap, llms.txt y la página de inicio, leídos por tipo de contenido y antigüedad de la caché.
Agentes: GET /api/tool/files?domain=
03
¿Es real ese rastreador de tus registros?
Pega líneas sin procesar del registro de acceso. Cada una que nombra un rastreador conocido se comprueba frente a los rangos de direcciones que ese operador publica de verdad.
Esta es la comprobación que casi nadie hace, y da la vuelta a las conclusiones. Un registro lleno de GPTBot con 403 hace pensar que tu hosting está bloqueando a OpenAI, hasta que descubres que todos venían de una sola dirección que usaba siete nombres de rastreador distintos. Lo hemos medido exactamente así en sitios reales. Agrupa por dirección antes de sacar ninguna conclusión.
Agentes: GET /api/v1/visitor?ip=&ua=
04
¿Qué permite tu robots.txt a cada rastreador de IA?
Una sola descarga del archivo y después cada motor de respuestas, índice de búsqueda y rastreador de entrenamiento con nombre se resuelve como lo haría un rastreador: solo su propio grupo, la coincidencia más larga, allow gana en caso de empate.
La regla que la gente entiende mal: un Disallow bajo User-agent: * nunca se aplica a un agente que tiene su propio grupo. Nombra a GPTBot una sola vez en cualquier parte del archivo y toda regla * deja de aplicarse a él. Esto muestra lo que se aplica de verdad, por agente, en la ruta que elijas.
Agentes: GET /api/tool/robots?domain=&path=
05
Redacta un llms.txt a partir de lo que ya publicas
Lee tu página de inicio y hasta 25 páginas declaradas con sus propios títulos y descripciones, y escribe un primer borrador con la forma habitual.
Es un borrador a propósito. Un archivo generado es un volcado de enlaces con los títulos como descripciones; el valor del archivo está en la selección. Recórtalo a las páginas por las que alguien preguntaría a un asistente, escribe tú las descripciones y sírvelo como text/plain y comprueba la URL tal cual: la comprobación de arriba te dirá si llegó.
06
¿Cómo te comparas con un competidor?
Dos páginas de inicio, el mismo escaneo en ambas: cada sección que necesita un motor de respuestas, una al lado de la otra, con los hallazgos que solo tiene uno de los dos.
07
¿Es real esa solicitud de bot firmada?
Web Bot Auth permite que un bot firme cada solicitud con una clave que publica. Escribe el host del bot o pega las cabeceras de una solicitud firmada, y se muestra cada paso de la comprobación: el directorio de claves, las firmas que lleva, la huella de cada clave, los componentes cubiertos y la ventana de tiempo.
Un user-agent lo puede escribir cualquiera; una firma sobre tu propio nombre de host, no. Una clave solo cuenta si firmó el directorio en el que está, así que una lista de claves copiada o editada no prueba nada. Funciona para cualquier agente que firme, no solo para el nuestro.
Agentes: GET /api/tool/wba?agent=
08
¿A qué puede anclarse Google en tu vídeo?
Pega una URL de YouTube: capítulos, tipo de subtítulos, descripción, idioma y temas, cada fila frente a aquello a lo que puede anclarse un resultado de búsqueda. Los canales completos y la conexión con el sitio están en Watch.
Tres resultados, nunca dos
Contar las no verificables como falsas inflaría la tasa; contarlas como genuinas la subestimaría. Por eso la tasa de suplantación solo divide entre verificadas más suplantadas, y la respuesta indica ese denominador en lugar de dejar que lo supongas.
Verificada
La dirección está dentro del rango que publica el operador. La solicitud es lo que dice ser.
Suplantada
El operador publica rangos y esta dirección está fuera de todos. Otro está usando el nombre.
No verificable
El operador no publica ninguna lista, así que la identidad no se puede confirmar ni señalar como falsa. Amazonbot y Meta-ExternalAgent están aquí de forma permanente.
Qué detectan las dos comprobaciones
Cuándo ejecutarlas: tras cualquier edición de un archivo de máquina, tras cualquier cambio de configuración de caché o CDN, y siempre que una corrección de cara a los rastreadores «debería» estar en vivo. Comprueba la URL desnuda desde fuera de tu propia sesión, porque tu navegador con sesión iniciada es el cliente menos representativo que tiene tu sitio.
La comprobación de archivos de máquina
Pide tu robots.txt, llms.txt y sitemap como lo hace un rastreador, y lee el tipo de contenido y el cuerpo, no solo el estado. El fallo para el que existe: un escudo anti-bots que responde HTTP 200 con HTML donde debería haber un archivo de texto. Todo monitor de disponibilidad lo da por sano; un validador lo lee como todo permitido.
La comprobación de purga
¿La purga que acabas de ejecutar expulsó algo de verdad? Pide la URL antes y después sin evasión de caché, compara los bytes y lee las cabeceras age y cache-status. Un 200 de un endpoint de purga habla de la llamada a la API, no de la caché.
Las mismas dos comprobaciones, para una terminal.
Ninguno es un producto. Son las comprobaciones que atraparon fallos reales en este proyecto, publicadas porque un artículo que describe una herramienta que no puedes tener es publicidad. Úsalos, cámbialos, sin atribución. No hacen ninguna petición de red salvo a la URL que les das.
cachecheck.sh
Comprueba si una caché sirve un documento que tu origen ya no produce. Ignora por completo los códigos de estado: un PURGE que devuelve 200 demuestra que algo respondió, no que se eliminara nada. Obtiene la URL tal cual y otra saltándose la caché, las compara y se niega a juzgar si alguna de las dos lecturas es una página de verificación.
Ver o descargar → · curl -sO https://crawlcheck.io/tools/cachecheck.sh
verify.sh
Comprueba si un cambio que publicaste está de verdad en la página que recibe un desconocido. Cuenta tu marcado fuera de las etiquetas style y script, para que un nombre de clase en una hoja de estilos no pase por un elemento de la página; hace tres consultas para que aparezca todo lo condicional; e indica que mide la vista anónima.
Ver o descargar → · curl -sO https://crawlcheck.io/tools/verify.sh
¿Quieres que estas comprobaciones se ejecuten por ti, dos veces al día?
Estas comprobaciones se ejecutan cuando te acuerdas. Watch vuelve a medir dos veces al día, en tres dominios, qué se le sirve a cada rastreador de IA con nombre, y te escribe solo cuando cambia un resultado: la respuesta que un agente recibe sobre tu sitio, mantenida al día sin que nadie tenga que acordarse de comprobar.
Las ocho comprobaciones de arriba siguen siendo gratuitas y no necesitan cuenta.