Cómo medimos, y nuestros propios archivos para máquinas
CrawlCheck visita cada sitio con su propia identidad. Sus pruebas de identidad de rastreadores envían user-agents con nombre desde su propia red, nunca desde el rango publicado de un operador, para que un sitio que verifica rastreadores pueda distinguirlos; cada informe lo indica. Los resultados reflejan lo que recibe un cliente anónimo que no es un navegador. Qué recopilamos y cómo excluirte · cómo se sella en el tiempo cada informe · quién está detrás · kit de prensa · hello@crawlcheck.io.
Segundo punto de vista: la extensión del navegador mide lo que reciben los rastreadores desde tu propia dirección y después de ejecutarse tu JavaScript: la mitad que este servidor no puede ver. Desde la 1.0.0 envía el dominio que consultas, con un botón, y recuentos de uso anónimos que puedes desactivar; desde la 1.0.3 también consulta la nota del sitio de la pestaña actual por su nombre de host (nunca la URL ni el contenido de la página), lo que un interruptor del pie de página desactiva. Las versiones anteriores no envían nada.
Nuestra propia capa para máquinas en la web agéntica: llms.txt · llms-full.txt · agents.md · SKILL.md · entitymap.json · kit de prensa · tarjeta del servidor MCP · catálogo de API · OpenAPI · robots.txt · sitemap.xml · security.txt, cada uno nombrado en robots.txt, justo lo que comprobamos en el tuyo.