OpenAI e Google apoiam sinal comum no robots.txt para preferências de treino de IA

OpenAI e Google anunciaram apoio a um sinal comum no arquivo robots.txt para que sites comuniquem preferências sobre o uso de seu conteúdo no treinamento de modelos generativos. A proposta, publicada em 30 de outubro de 2026, tenta reduzir uma fragmentação prática: hoje, editores precisam identificar crawlers e manter regras diferentes para cada empresa.

O mecanismo usa o token __usage_ai-training como se fosse um agente no robots.txt. Com ele, um site pode expressar uma preferência geral e ainda criar exceções para caminhos específicos. O exemplo apresentado no Internet-Draft bloqueia o treinamento sobre todo o domínio, mas libera uma pasta de material de imprensa:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

A sintaxe é simples, porém o efeito exige cuidado na interpretação. O token não é uma barreira de acesso, não impede cópias por agentes que o ignorem e não muda automaticamente o comportamento de rastreamento. Ele comunica uma preferência sobre uma finalidade de uso: modificar os parâmetros aprendidos por um modelo generativo.

O que OpenAI e Google prometeram

A OpenAI afirmou que pretende respeitar o sinal nos próximos meses. A empresa também disse que os controles atuais continuarão válidos. Isso significa que as regras para o GPTBot, usado em coleta que pode alimentar treinamento, permanecem separadas das regras do OAI-SearchBot, responsável por tornar páginas elegíveis para resultados de busca no ChatGPT.

O Google planeja oferecer suporte em 2027. Quando o novo token expressar uma preferência contrária ao treinamento e não houver instrução explícita para o Google-Extended, a empresa pretende interpretar o sinal como se o Google-Extended estivesse bloqueado. Regras específicas ainda poderão ser usadas para personalizar a escolha.

Essa diferença evidencia uma consequência importante: um sinal compartilhado reduz trabalho operacional, mas não torna idênticas as políticas de todas as empresas. Cada participante ainda precisa documentar quando começa a interpretar a regra, quais produtos são abrangidos e como resolve conflitos com configurações próprias.

Rascunho não equivale a padrão aprovado

A especificação foi apresentada por Kevin Kelley, identificado no documento como integrante da Anthropic, dentro do trabalho sobre preferências de uso de IA no IETF. Entretanto, o texto ainda é um Internet-Draft. Ele pode ser atualizado, substituído ou expirar e não representa, por si só, um padrão final aprovado pela organização.

O rascunho também separa duas ideias que costumam ser misturadas. Regras direcionadas a um crawler tratam do acesso automatizado a páginas. O token proposto trata da finalidade atribuída ao conteúdo depois de obtido. Um provedor pode usar a preferência para decidir não coletar determinada página, mas o documento não exige que o sinal funcione como comando de bloqueio de tráfego.

Na prática, administradores não devem remover configurações existentes supondo que a nova linha já esteja operacional. A própria OpenAI mantém controles distintos para treinamento e busca, e o Google continuará oferecendo o Google-Extended. Durante a transição, a abordagem mais segura é conservar regras específicas e adicionar o token comum apenas quando o comportamento de cada provedor estiver documentado.

Um avanço de interoperabilidade com limites claros

A importância da proposta está menos em criar um novo direito e mais em oferecer uma linguagem compartilhada. Um pequeno site pode indicar a mesma preferência a vários provedores sem acompanhar uma lista crescente de nomes de robôs. Exceções por caminho também permitem, por exemplo, restringir artigos e liberar um kit de imprensa.

Ao mesmo tempo, o robots.txt continua sendo um arquivo público de instruções voluntárias, não um sistema de autenticação ou proteção contra cópia. A eficácia dependerá da adesão e da transparência dos consumidores do conteúdo. O debate também permanece ligado às disputas sobre como plataformas incorporam materiais de terceiros, como mostrou a recente reação de editoras aos termos comerciais da Meta.

O anúncio conjunto sinaliza convergência técnica, mas ainda não encerra as questões jurídicas ou econômicas sobre treinamento. Até que implementações reais possam ser testadas, o novo token deve ser entendido como uma promessa de interoperabilidade em construção — útil para expressar intenção, mas insuficiente como única medida de controle.