Generador de robots.txt gratis
Crea un archivo robots.txt válido en segundos: define qué rutas bloqueas, declara tu sitemap y decide si los rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) pueden leer y citar tu web.
Configuración
Se usa para declarar la línea Sitemap:.
Permitir el rastreo general
Desactívalo solo si quieres bloquear todo el sitio (entornos de pruebas).
Permitir rastreadores de IA (GEO)
Recomendado si quieres que ChatGPT, Gemini, Claude o Perplexity puedan citarte.
Listar buscadores uno a uno
Añade bloques explícitos para Googlebot, Bingbot, DuckDuckBot y Yandex.
Google lo ignora; lo respetan Bing y Yandex.
Tu robots.txt
# Buscadores User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / User-agent: DuckDuckBot Allow: / User-agent: Yandex Allow: / # Rastreadores de IA (permitidos para GEO) User-agent: Google-Extended Allow: / User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Applebot-Extended Allow: / User-agent: CCBot Allow: / User-agent: Bytespider Allow: / User-agent: meta-externalagent Allow: / # Resto de rastreadores User-agent: * Allow: / Disallow: /wp-admin/ Disallow: /carrito Disallow: /checkout
Sube el archivo a la raíz de tu dominio para que responda en https://tudominio.es/robots.txt.
Cómo usar el archivo robots.txt correctamente
El robots.txt es la primera puerta que consulta un rastreador antes de recorrer tu web. Un archivo mal configurado puede dejar fuera de Google secciones enteras de tu sitio; uno bien configurado ahorra presupuesto de rastreo y dirige a los bots hacia lo que sí quieres posicionar.
Reglas prácticas: no bloquees CSS ni JavaScript (Google necesita renderizar la página), declara siempre tu sitemap.xml, no uses robots.txt para esconder contenido privado —para eso está la autenticación— y revisa el archivo cada vez que cambies la estructura de URLs.
Desde 2024 hay una decisión nueva que tomar: los rastreadores de IA. GPTBot, ClaudeBot, PerplexityBot o Google-Extended alimentan las respuestas de los motores generativos. Si trabajas el GEO (Generative Engine Optimization) y quieres que tu marca aparezca citada dentro de ChatGPT o Perplexity, debes permitirlos explícitamente.
Preguntas frecuentes
- ¿Qué es el archivo robots.txt?
- Es un archivo de texto que se coloca en la raíz del dominio (tudominio.com/robots.txt) y le indica a cada rastreador qué rutas puede o no puede recorrer. No oculta contenido: solo orienta el rastreo.
- ¿Dónde subo el robots.txt?
- Siempre en la raíz del dominio, accesible como https://tudominio.com/robots.txt. En WordPress puedes subirlo por FTP o generarlo desde tu plugin SEO; en Shopify o Wix se edita desde los ajustes de la tienda o del sitio.
- ¿Debo bloquear los bots de IA como GPTBot o ClaudeBot?
- Depende de tu estrategia. Si quieres que ChatGPT, Perplexity o Claude puedan citar tu web (GEO), déjalos permitidos. Si tu contenido es de pago o exclusivo, bloquéalos.
- ¿El robots.txt sirve para desindexar una página?
- No. Para que una página no aparezca en Google necesitas la etiqueta noindex o protegerla con contraseña. Si la bloqueas en robots.txt, Google no podrá leer el noindex.
- ¿Cuántos sitemaps puedo declarar?
- Los que necesites: cada uno en su propia línea con la directiva Sitemap: seguida de la URL absoluta.
¿Y si todo el SEO técnico se arreglara solo?
PosicionaIA.es audita tu web, detecta las keywords, redacta el contenido con IA y lo publica en tu CMS. Analiza tu sitio gratis en menos de un minuto.
Analizar mi web gratis