robots.txt: qué es

robots.txt es un archivo de texto en la raíz del dominio que indica a los rastreadores qué rutas pueden o no pueden recorrer. No impide la indexación por sí solo: para eso se usa la etiqueta noindex o una protección por contraseña.

Con la llegada de la IA generativa, robots.txt también decide si GPTBot, ClaudeBot, PerplexityBot o Google-Extended pueden leer tu web. Bloquearlos te deja fuera de las respuestas de esos modelos.