Plataformas e Crawlers
GPTBot
Resposta direta
GPTBot é o crawler oficial da OpenAI que coleta conteúdo da web para treinar modelos GPT. Bloqueá-lo no robots.txt remove sua marca dos próximos treinamentos do ChatGPT.
Contexto e aprofundamento
GPTBot respeita o robots.txt. Liberá-lo é pré-requisito para entrar na memória paramétrica de futuras versões do GPT. A diretiva é "User-agent: GPTBot / Allow: /". Sites que bloqueiam GPTBot perdem a chance de serem absorvidos no treinamento.
Perguntas frequentes
Devo liberar GPTBot mesmo se concorro com a OpenAI?
Para AEO, sim. O custo de bloquear (invisibilidade futura) supera o ganho percebido (proteção de conteúdo). Conteúdo público já vai ser absorvido por outros meios.