Gerador de Robots.txt
Este gerador de robots.txt permite montar um arquivo robots.txt limpo e válido de forma visual — sem precisar decorar a sintaxe. Escolha um user-agent, defina os caminhos allow ou disallow, adicione seus sitemaps e copie ou baixe o arquivo pronto para usar. Foi feito para donos de sites, desenvolvedores e profissionais de SEO que querem controlar como os buscadores e os robôs de IA acessam o site.
Um arquivo robots.txt fica na raiz do seu domínio (por exemplo, https://exemplo.com/robots.txt) e é uma das primeiras coisas que um robô verifica antes de indexar suas páginas. Comece por um modelo pronto, cole um arquivo existente para editá-lo ou crie grupos de regras do zero — a pré-visualização ao vivo se atualiza conforme você trabalha.
Como Criar um Arquivo Robots.txt
Comece por um modelo pronto
Clique em um modelo para carregar uma configuração comum: Padrão, Permitir tudo, Bloquear tudo, Bloquear robôs de IA, E-commerce ou Em branco para montar do zero.
Escolha um user-agent
Para cada grupo de regras, escolha um robô na lista suspensa (Googlebot, Bingbot, GPTBot e outros) ou selecione Personalizado para digitar o nome de qualquer robô. Use Adicionar grupo de regras para mirar vários robôs com regras diferentes.
Defina regras e crawl-delay
Adicione caminhos Allow ou Disallow — digite um caminho e escolha entre as sugestões de diretórios comuns. Opcionalmente, defina um crawl-delay em segundos para cada grupo.
Adicione seus sitemaps
Use Adicionar URL do sitemap para apontar os robôs aos seus arquivos de sitemap, assim eles descobrem seu conteúdo mais rápido. Adicione quantas URLs de sitemap precisar.
Copie ou baixe
Revise a pré-visualização ao vivo e use Copiar para pegar o texto ou Baixar para salvar o robots.txt. Envie-o para o diretório raiz do seu site.
Recursos
Construtor visual de regras
Monte regras por grupos, cada um com um user-agent, caminhos allow/disallow e um crawl-delay opcional. Adicione ou remova grupos e regras com um clique.
19 robôs prontos
Escolha entre 19 user-agents prontos que cobrem buscadores, plataformas sociais e robôs de IA, ou informe o nome de qualquer robô personalizado.
Bloquear robôs de IA
Um modelo bloqueia GPTBot, ChatGPT-User, Google-Extended, CCBot, anthropic-ai e Bytespider, mantendo o acesso dos buscadores comuns.
6 modelos prontos
Padrão, Permitir tudo, Bloquear tudo, Bloquear robôs de IA, E-commerce e Em branco oferecem um ponto de partida funcional em um clique.
Caminhos Allow e Disallow
Defina qualquer caminho como Allow ou Disallow, incluindo padrões com curingas como /*.pdf$ que os robôs modernos entendem.
Sugestões de caminhos
Conforme você digita, a ferramenta sugere diretórios comuns como /admin/, /wp-admin/, /api/ e /cart/.
Controle de crawl-delay
Defina um crawl-delay em segundos por user-agent para aliviar a carga do servidor causada por robôs agressivos.
Múltiplos sitemaps
Adicione uma ou mais URLs de sitemap para que os robôs encontrem e indexem seu conteúdo mais rápido.
Importar e editar
Cole um robots.txt existente e o analisador o transforma em grupos de regras visuais que você pode refinar e exportar novamente.
Pré-visualização da sintaxe ao vivo
A saída se atualiza em tempo real, com diretivas, valores e URLs de sitemap em cores para facilitar a leitura.
Copiar e baixar
Copie o arquivo para a área de transferência ou baixe-o como robots.txt, pronto para enviar à raiz do seu site.
Funciona no seu navegador
Toda a geração, importação e exportação acontece localmente — suas regras nunca saem do seu dispositivo.
Perguntas Frequentes
O que é um arquivo robots.txt?
Um arquivo robots.txt diz aos robôs dos buscadores quais partes do seu site eles podem ou não acessar. Ele fica na raiz do seu domínio e é um dos primeiros arquivos que um robô verifica antes de indexar suas páginas.
Como criar um arquivo robots.txt?
Comece por um modelo pronto ou em branco, escolha um user-agent, adicione seus caminhos Allow ou Disallow, inclua quaisquer URLs de sitemap e clique em Copiar ou Baixar. Não há nada para instalar — monte o arquivo de forma visual e a pré-visualização mostra exatamente a saída.
Onde colocar o arquivo robots.txt?
Envie-o para o diretório raiz do seu site, para que fique acessível em https://seudominio.com/robots.txt. Os robôs procuram exatamente essa URL, então ele não pode ficar em uma subpasta.
Como bloquear todos os robôs no robots.txt?
Use o modelo Bloquear tudo, que define User-agent: * com Disallow: /. Isso diz a todos os robôs para não rastrearem nenhuma página do seu site, então use com cuidado.
O robots.txt impede que as páginas sejam indexadas?
Não exatamente. O robots.txt impede que os robôs acessem uma página, mas uma URL bloqueada ainda pode aparecer nos resultados de busca se outras páginas tiverem links para ela. Para manter uma página totalmente fora dos resultados, use uma meta tag noindex em vez disso.
Como adicionar um sitemap ao robots.txt?
Clique em Adicionar URL do sitemap e informe o endereço completo do seu sitemap (por exemplo, https://exemplo.com/sitemap.xml). Ele é adicionado como uma linha Sitemap: na saída. Você pode adicionar várias URLs de sitemap.
Como bloquear robôs de IA de raspar meu conteúdo?
Use o modelo Bloquear robôs de IA. Ele permite os buscadores comuns, mas adiciona regras Disallow para GPTBot, ChatGPT-User, Google-Extended, CCBot, anthropic-ai e Bytespider.
O que é Crawl-delay e posso usar curingas?
O Crawl-delay diz a um robô quantos segundos esperar entre as requisições, o que pode aliviar a carga do servidor (note que o Googlebot o ignora — use o Search Console em vez disso). Para os caminhos, a maioria dos robôs modernos aceita * para corresponder a qualquer sequência e $ para corresponder ao fim de uma URL, então /*.pdf$ bloqueia todos os arquivos PDF.
Ainda não há comentários. Seja o primeiro a comentar!