Generador de robots.txt
Este generador de robots.txt te permite crear un archivo robots.txt limpio y válido de forma visual, sin tener que memorizar la sintaxis. Elige un user-agent, define rutas Allow o Disallow, agrega tus sitemaps y copia o descarga el archivo listo para usar. Está pensado para dueños de sitios, desarrolladores y especialistas en SEO que quieren controlar cómo acceden los buscadores y los rastreadores de IA a su sitio.
El archivo robots.txt se ubica en la raíz de tu dominio (por ejemplo https://ejemplo.com/robots.txt) y es una de las primeras cosas que revisa un rastreador antes de indexar tus páginas. Empieza desde una plantilla, pega un archivo existente para editarlo o crea grupos de reglas personalizados desde cero: la vista previa en vivo se actualiza a medida que avanzas.
Cómo crear un archivo robots.txt
Empieza desde una plantilla
Haz clic en una plantilla para cargar una configuración común: Estándar, Permitir todo, Bloquear todo, Bloquear bots de IA, E-commerce o En blanco para crear desde cero.
Elige un user-agent
Para cada grupo de reglas, elige un rastreador del menú desplegable (Googlebot, Bingbot, GPTBot y más) o selecciona Personalizado para escribir cualquier nombre de bot. Usa Agregar grupo de reglas para aplicar reglas distintas a varios bots.
Define reglas y crawl-delay
Agrega rutas Allow o Disallow: escribe una ruta y elige entre las sugerencias de directorios comunes. De forma opcional, define un crawl-delay en segundos para cada grupo.
Agrega tus sitemaps
Usa Agregar URL de sitemap para indicarles a los rastreadores dónde están tus sitemaps y así descubran tu contenido más rápido. Agrega todas las URL de sitemap que necesites.
Copia o descarga
Revisa la vista previa en vivo y luego usa Copiar para tomar el texto o Descargar para guardar robots.txt. Súbelo al directorio raíz de tu sitio.
Funciones
Constructor visual de reglas
Crea reglas mediante grupos, cada uno con un user-agent, rutas Allow/Disallow y un crawl-delay opcional. Agrega o quita grupos y reglas con un solo clic.
19 bots integrados
Elige entre 19 user-agents predefinidos que cubren buscadores, redes sociales y rastreadores de IA, o ingresa cualquier nombre de bot personalizado.
Bloquear rastreadores de IA
Una plantilla bloquea GPTBot, ChatGPT-User, Google-Extended, CCBot, anthropic-ai y Bytespider, mientras permite los buscadores normales.
6 plantillas
Estándar, Permitir todo, Bloquear todo, Bloquear bots de IA, E-commerce y En blanco te dan un punto de partida funcional con un clic.
Rutas Allow y Disallow
Define cualquier ruta como Allow o Disallow, incluidos patrones con comodines como /*.pdf$ que entienden los rastreadores modernos.
Sugerencias de rutas
A medida que escribes, la herramienta sugiere directorios comunes como /admin/, /wp-admin/, /api/ y /cart/.
Control de crawl-delay
Define un crawl-delay en segundos por user-agent para aliviar la carga del servidor causada por bots agresivos.
Varios sitemaps
Agrega una o varias URL de sitemap para que los rastreadores encuentren e indexen tu contenido más rápido.
Importar y editar
Pega un robots.txt existente y el analizador lo convierte en grupos de reglas visuales que puedes ajustar y volver a exportar.
Vista previa con sintaxis
El resultado se actualiza en tiempo real con directivas, valores y URL de sitemap resaltados por color para leerlos con facilidad.
Copiar y descargar
Copia el archivo al portapapeles o descárgalo como robots.txt, listo para subirlo a la raíz de tu sitio.
Funciona en tu navegador
Toda la generación, importación y exportación ocurre de forma local: tus reglas nunca salen de tu dispositivo.
Preguntas frecuentes
¿Qué es un archivo robots.txt?
Un archivo robots.txt les indica a los rastreadores de los buscadores a qué partes de tu sitio pueden o no pueden acceder. Se ubica en la raíz de tu dominio y es uno de los primeros archivos que revisa un rastreador antes de indexar tus páginas.
¿Cómo creo un archivo robots.txt?
Empieza desde una plantilla o desde una en blanco, elige un user-agent, agrega tus rutas Allow o Disallow, añade las URL de sitemap y luego haz clic en Copiar o Descargar. No hay nada que instalar: crea el archivo de forma visual y la vista previa muestra el resultado exacto.
¿Dónde coloco el archivo robots.txt?
Súbelo al directorio raíz de tu sitio web para que esté disponible en https://tudominio.com/robots.txt. Los rastreadores buscan esa URL exacta, así que no debe estar en una subcarpeta.
¿Cómo bloqueo todos los bots en robots.txt?
Usa la plantilla Bloquear todo, que define User-agent: * con Disallow: /. Eso le indica a todos los rastreadores que no rastreen ninguna página de tu sitio, así que úsala con cuidado.
¿El robots.txt evita que las páginas se indexen?
No exactamente. El robots.txt impide que los rastreadores accedan a una página, pero una URL bloqueada aún puede aparecer en los resultados de búsqueda si otras páginas enlazan a ella. Para mantener una página fuera de los resultados por completo, usa una etiqueta meta noindex.
¿Cómo añado un sitemap al robots.txt?
Haz clic en Agregar URL de sitemap e ingresa la dirección completa de tu sitemap (por ejemplo https://ejemplo.com/sitemap.xml). Se añade como una línea Sitemap: en el resultado. Puedes agregar varias URL de sitemap.
¿Cómo bloqueo los bots de IA para que no copien mi contenido?
Usa la plantilla Bloquear bots de IA. Permite los buscadores normales, pero agrega reglas Disallow para GPTBot, ChatGPT-User, Google-Extended, CCBot, anthropic-ai y Bytespider.
¿Qué es el crawl-delay y puedo usar comodines?
El crawl-delay le indica a un bot cuántos segundos debe esperar entre peticiones, lo que puede aliviar la carga del servidor (ten en cuenta que Googlebot lo ignora: usa Search Console en su lugar). Para las rutas, la mayoría de los rastreadores modernos admiten * para coincidir con cualquier secuencia y $ para coincidir con el final de una URL, así que /*.pdf$ bloquea todos los archivos PDF.
Aún no hay comentarios. ¡Sé el primero en comentar!