Robots.txt e robôs de IA: quais existem, o que bloquear e o que liberar

O que é o robots.txt e o que ele não faz

Robots.txt é um arquivo de texto publicado na raiz do domínio (por exemplo, https://seudominio.com.br/robots.txt) que diz a cada robô quais caminhos do site ele pode ou não rastrear. Ele organiza o tráfego de robôs. Não é cadeado, não é etiqueta de indexação e não é contrato: é um pedido que os robôs bem-comportados respeitam.

Essa distinção parece detalhe, mas é a origem da maior parte das decisões erradas que vejo. Três pontos da >especificação do Google para robots.txt resolvem metade das dúvidas:

• Rastrear não é indexar. O Google não indexa o conteúdo de uma página bloqueada, mas pode indexar o endereço e exibi-lo sem descrição, se outros sites apontarem para ele. Para tirar uma página do índice, o caminho é noindex ou proteção por senha, e a página precisa estar liberada para o robô conseguir ler o noindex.
• Mudanças não valem na hora. O Google costuma guardar o conteúdo do robots.txt em cache por até 24 horas. Quem bloqueia algo por engano e corrige em seguida ainda convive com o erro por algum tempo.
• Nem toda diretiva é aceita por todos. O Google ignora Crawl-delay. Já a Anthropic informa que respeita essa extensão não padronizada. O mesmo arquivo pode ser lido de formas diferentes por robôs diferentes.

Há ainda um limite de tamanho: o Google processa até 500 KiB do arquivo e ignora o resto.

E robots.txt é público: listar ali /backup/ não protege nada e ainda mostra o caminho. Conteúdo sensível se protege com autenticação no servidor.

Treino, busca e ação do usuário: os três papéis dos robôs de IA

Falar em "bloquear as IAs" mistura coisas diferentes. Quando abro a documentação oficial das empresas, os robôs se dividem em três papéis bem distintos, e cada papel tem consequência diferente para a sua visibilidade.

1. Robôs de treinamento

Coletam páginas públicas que podem ser usadas para treinar modelos de linguagem. Bloquear esse tipo de robô é um sinal de que você não quer seu conteúdo futuro em bases de treino. Em geral, isso não tira o site dos resultados de busca dessas empresas, porque a busca usa outro robô.

2. Robôs de busca

Montam o índice que a IA consulta para responder com fontes e links. São eles que decidem se a sua página pode aparecer citada no ChatGPT com busca, no Claude ou no Perplexity. Bloquear esse tipo de robô é, na prática, pedir para não ser citado.

3. Agentes acionados pelo usuário

Visitam uma página porque alguém pediu, por exemplo, quando a pessoa cola um link no chat ou a IA precisa abrir um site para responder uma pergunta específica. Algumas empresas documentam que esses agentes podem não seguir o robots.txt.

A pergunta certa não é "libero ou bloqueio as IAs?", e sim "quero ou não que meu conteúdo vá para treino?" e, separadamente, "quero ou não ser citado nas respostas?". Como cada plataforma escolhe as fontes depois de rastrear é assunto do guia como cada IA escolhe fontes.

Os robôs documentados oficialmente e o que cada um controla

A tabela abaixo traz apenas os user agents que confirmei na documentação oficial de cada empresa: a >lista de rastreadores comuns do Google, a >página de robôs da OpenAI, o >artigo de suporte da Anthropic sobre seus rastreadores e a >documentação de robôs do Perplexity. Listas que circulam por aí costumam trazer nomes antigos ou sem fonte. Antes de copiar um nome para o seu arquivo, confira na página da empresa.

Dois detalhes que valem atenção. Primeiro, a OpenAI informa que, para a busca, pode levar cerca de 24 horas depois de uma mudança no robots.txt até os sistemas se ajustarem. Segundo, a Anthropic orienta colocar a regra em cada subdomínio e alerta que bloquear por IP não é confiável, porque impede o robô de ler o próprio robots.txt. A OpenAI também lista o OAI-AdsBot, que só visita páginas enviadas como anúncio.

Google-Extended e AI Overviews: o ponto que mais confunde

É comum alguém bloquear o Google-Extended achando que assim sai dos AI Overviews, ou liberar o token achando que assim entra. Nenhuma das duas coisas está correta segundo a documentação.

A >página do Google sobre recursos de IA na Busca diz que, para aparecer como link de apoio em AI Overviews e no modo IA, a página precisa estar indexada e apta a aparecer na Busca com snippet, sem requisitos técnicos adicionais. Os controles para limitar o que aparece são os mesmos da Busca: nosnippet, data-nosnippet, max-snippet e noindex. O rastreamento é controlado pelas regras para o Googlebot.

O Google-Extended cuida de outra coisa: se o conteúdo rastreado pelo Google pode ser usado para treinar futuras gerações dos modelos Gemini e para grounding no app Gemini e no Grounding com Google Search do Vertex AI. O Google afirma que o token não afeta a inclusão nem é sinal de ranqueamento na Busca.

Na prática, isso gera uma decisão com custo real. Bloquear o Google-Extended protege seu conteúdo do uso em treino, mas, pela própria descrição do Google, também o afasta do grounding no app Gemini. Se você quer ser citado quando alguém pergunta ao Gemini sobre o seu serviço, pense duas vezes antes de bloquear. O Google também informa que pretende adotar o sinal compartilhado de preferência de treino do grupo AIPREF no início de 2027; enquanto isso não acontece, vale o que está documentado hoje.

Para entender como as fontes dos AI Overviews são escolhidas depois de rastreadas, veja o guia sobre AI Overviews e o modo IA do Google.

Como decidir o que bloquear: cenários por objetivo

Não existe um robots.txt certo para todo mundo. Existe o arquivo coerente com o objetivo da empresa. Estes são os cenários que mais aparecem quando reviso sites de serviço:

• Quero ser encontrado e citado, e não me importo com treino. Libere tudo para todos os robôs legítimos, com as exclusões técnicas de sempre (área administrativa, busca interna, parâmetros). É o cenário da maioria das empresas que vivem de ser encontradas: clínicas, escritórios, indústrias, prestadores de serviço.
• Quero ser citado, mas não quero meu conteúdo em treino. Bloqueie os robôs de treino (GPTBot, ClaudeBot e, aceitando o custo descrito acima, Google-Extended) e mantenha liberados os de busca (Googlebot, OAI-SearchBot, Claude-SearchBot, PerplexityBot).
• Tenho conteúdo pago ou exclusivo de clientes. Robots.txt não resolve. Coloque esse conteúdo atrás de login. Na página pública, deixe um resumo que explique o que existe ali, porque é esse resumo que pode ser citado.
• Meu servidor sofre com excesso de requisições. Antes de bloquear, descubra nos logs quem está pesando. Às vezes é um robô de ferramenta de terceiros, não uma IA. Para a Anthropic, Crawl-delay é uma alternativa ao bloqueio total.

Regra prática: bloquear robô de busca de IA quase nunca faz sentido para quem quer clientes. Já o bloqueio de treino é decisão de negócio e pode ser tomado sem prejudicar a citação, desde que você saiba qual token controla o quê.

Modelos de robots.txt e a armadilha dos grupos

Antes dos modelos, a regra que mais derruba arquivos bem-intencionados. Pela especificação do Google, só um grupo vale para cada robô: o grupo com o user agent mais específico que corresponde a ele. Se o seu arquivo tem um grupo User-agent: * com dez exclusões e, abaixo, um grupo User-agent: GPTBot com apenas Allow: /, o GPTBot segue só o grupo dele e ignora todas as exclusões do grupo geral. Quando há conflito entre regras dentro do grupo, vale a mais específica pelo tamanho do caminho e, em empate, a menos restritiva.

Modelo 1: liberar busca e treino, com exclusões técnicas

• User-agent: *
• Disallow: /wp-admin/
• Disallow: /busca/
• Disallow: /*?utm_
• Sitemap: https://seudominio.com.br/sitemap.xml

Não é preciso criar um grupo para cada IA. Todas seguem o grupo geral e recebem as mesmas exclusões.

Modelo 2: liberar busca e bloquear treino

• User-agent: GPTBot
• User-agent: ClaudeBot
• User-agent: Google-Extended
• Disallow: /

• User-agent: *
• Disallow: /wp-admin/
• Disallow: /busca/

Vários User-agent seguidos formam um único grupo. Os robôs de busca continuam no grupo geral.

Erros que encontro com frequência

• Bloquear /*.js$ ou pastas de CSS e imagens, o que impede o Google de renderizar a página como o usuário vê.
• Deixar no ar o Disallow: / do ambiente de homologação depois de publicar o site novo. Esse é um erro clássico de migração, tratado no guia de migração de site sem perder tráfego.
• Usar robots.txt para "esconder" páginas duplicadas que já estão indexadas. O robô deixa de ver o canonical ou o noindex, e a página fica no índice sem descrição.
• Confiar no robots.txt quando um firewall ou CDN está bloqueando robôs antes mesmo de eles lerem o arquivo. Nesse caso, a regra está certa e o acesso, negado.

Detalhes de diretivas, renderização e orçamento de rastreamento estão no guia de SEO técnico avançado.

Como eu aplico isso

No meu próprio site, todos os robôs legítimos, inclusive os de IA, seguem o mesmo grupo User-agent: *: acesso amplo ao conteúdo e as mesmas exclusões sensatas (áreas internas, arquivos de dados, parâmetros de rastreamento). Não criei grupos com Allow: / para cada IA justamente por causa da regra do grupo mais específico. Um bloco desses isentaria aquele robô das exclusões. A lista dos robôs de IA fica no arquivo como comentário, para documentar a intenção, sem criar exceções. O arquivo também aponta o sitemap e menciona o llms.txt, que é outra peça, com outro papel.

Quando eu reviso o site de uma empresa, a sequência é sempre a mesma:

1. Abro o /robots.txt em cada versão do domínio (com e sem www, e em cada subdomínio que tenha conteúdo público).
2. Comparo cada nome de robô com a documentação oficial. Na prática, o erro que mais encontro é arquivo copiado de algum blog, com nomes desatualizados e grupos específicos que anulam as exclusões do grupo geral.
3. Olho os logs do servidor ou do CDN para ver quais robôs de fato chegam e que código de resposta recebem. Robots.txt liberado com firewall respondendo 403 para o robô é mais comum do que parece.
4. Testo na ponta: faço perguntas às IAs sobre o serviço da empresa e vejo se o site aparece como fonte, usando o método descrito em como saber se a IA está citando o meu negócio.

Liberar o rastreamento é condição necessária, não suficiente. Já vi empresa com tudo liberado e ausente das respostas, porque o problema era outro: conteúdo que não respondia às perguntas certas. É o cenário do case a empresa aparecia no Google, mas não nas respostas das IAs. O robots.txt abre a porta. O que acontece depois depende do que a IA encontra lá dentro, tema do artigo o que a IA lê no meu site.

Empresas de São Paulo: o que muda por setor

Nas empresas paulistas, a decisão muda menos pela cidade e mais pelo tipo de conteúdo publicado.

• Serviços profissionais na capital e no ABC (advocacia, contabilidade, consultorias): o conteúdo explicativo é o que gera citação. Quem pergunta ao ChatGPT "preciso de advogado para inventário extrajudicial em São Paulo?" recebe respostas montadas com páginas que os robôs de busca puderam ler.
• Indústria e B2B no interior (região de Campinas, Sorocaba, Vale do Paraíba): catálogos técnicos e fichas de produto são o ativo. Aqui faz sentido discutir o treino com mais cuidado, mas manter a busca liberada, porque engenheiros de compras pesquisam especificações em IA antes de pedir orçamento.
• Saúde em polos regionais como Ribeirão Preto, São José do Rio Preto e Bauru: além da busca, o cuidado é com conteúdo de pacientes. Dados de pacientes exigem login, não robots.txt.
• Imobiliárias e turismo no litoral (Santos, Guarujá, Litoral Norte): muitas páginas geradas por filtro e parâmetro. O robots.txt serve para conter o desperdício de rastreamento nessas combinações, sem bloquear as páginas de imóvel e de bairro que respondem perguntas como "melhor bairro para morar em Santos perto da praia".

Para redes com várias unidades, o robots.txt também precisa deixar acessíveis as páginas de cada unidade e o sitemap que as lista. Erros ali tiram unidades inteiras da busca, como explico no guia de SEO local para empresas com várias unidades.

Checklist de verificação e manutenção

Use esta lista sempre que mexer no arquivo, trocar de hospedagem ou de CDN, ou pelo menos a cada trimestre:

1. Arquivo acessível: /robots.txt responde 200, em texto puro, em cada protocolo e subdomínio.
2. Grupos coerentes: nenhum grupo específico anula sem querer as exclusões do grupo geral.
3. Nomes oficiais: cada token foi conferido na documentação da empresa que o publica.
4. Recursos liberados: CSS, JavaScript e imagens necessários para renderizar a página estão acessíveis.
5. Sitemap declarado: a linha Sitemap: aponta para o endereço final, sem redirecionamento.
6. Nada sensível listado: caminhos privados estão protegidos por login, não apenas citados no arquivo.
7. Logs conferidos: os robôs que você quer liberar recebem 200, não 403 ou desafios do firewall.
8. Teste nas respostas: um painel fixo de perguntas mostra se o site segue aparecendo como fonte. O método completo está em share of voice em IA.

Se a revisão fizer parte de algo maior, vale uma auditoria de SEO completa. A página do especialista em SEO, AEO e GEO em São Paulo resume a abordagem, e a biblioteca de SEO, AEO e GEO reúne os outros guias desta série. Para olhar o seu caso específico, dá para agendar uma conversa de 30 minutos.