Técnicas
robots.txt para LLMs
Resposta direta
robots.txt para LLMs é a configuração do arquivo robots.txt que libera explicitamente os crawlers de IAs generativas (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) para coletar conteúdo do site.
Contexto e aprofundamento
A configuração mínima para AEO inclui blocos Allow para: GPTBot, ChatGPT-User, OAI-SearchBot, PerplexityBot, Perplexity-User, Google-Extended, ClaudeBot, Claude-Web, anthropic-ai, CCBot, Applebot-Extended. Bloqueio explícito (Disallow) é o oposto de AEO: torna a marca invisível para futuras gerações de IA.
Perguntas frequentes
Liberar todos os bots de IA é seguro?
Para sites públicos (marketing, blog, docs), sim. Para áreas privadas (app logado, dashboards), mantenha Disallow. O Citability libera bots de IA em rotas públicas e bloqueia em /app, /admin, /auth.