O "puxão" de tapete em pesquisas de LLMs pela Claude

O desenvolvimento de LLMs através do auxílio de grandes modelos já pré-concebidos tem se tornado cada vez mais comum, tanto para pesquisas e estudos open-source, quanto para gerar novos produtos de inteligência artificial. No entanto, nos últimos dias, uma política que limitava "secretamente" o uso do Claude por concorrentes gerou uma imensa reação negativa, forçando a Anthropic a recuar em sua decisão.

A polêmica começou com o lançamento do Claude Fable 5, uma versão do modelo de IA mais recente da empresa que trouxe consigo salvaguardas (guardrails) adicionais. Parte dessas proteções já era esperada e foi anunciada de forma transparente: a Anthropic avisou que redirecionaria perguntas sobre segurança cibernética, biologia ou química para um modelo menos capaz, visando reduzir as chances de a tecnologia ser usada para ataques cibernéticos ou criação de armas biológicas.

Porém, o verdadeiro problema surgiu na forma como o Fable 5 lidava com pesquisadores tentando usá-lo para o desenvolvimento de modelos de fronteira concorrentes — uma prática que é claramente proibida pelos termos de serviço da plataforma. Em vez de simplesmente bloquear ou alertar o usuário sobre a violação, a Anthropic decidiu degradar deliberadamente a performance do modelo de maneira invisível. Essa "sabotagem secreta" impedia os resultados de pesquisadores e desenvolvedores sem que eles soubessem que haviam acionado as defesas do sistema.

A descoberta dessa tática gerou forte rejeição da comunidade. Em postagem no X, Dean Ball, um antigo colaborador sênior da Fundação de Inovação Norte-Americana e ex-conselheiro da Casa Branca sobre IA, disse que "diminuir a performance em pesquisas sem avisar o usuário é uma atitude chocantemente hostil e que pega muito mal". Especialistas da área afirmaram que a empresa parecia estar "puxando a escada" para os outros, agindo como se apenas a Anthropic fosse confiável o suficiente para lidar com o desenvolvimento de LLMs.

Em sua defesa sobre o porquê de ter tentado usar bloqueios invisíveis, a Anthropic alegou que salvaguardas ocultas são mais difíceis de serem burladas. A empresa argumentou que a medida visava impedir que adversários estrangeiros usassem seus modelos mais capazes para otimizar chips, o que poderia corroer a vantagem tecnológica dos Estados Unidos e de seus aliados. Além disso, a empresa expressou preocupação com o fato de a IA estar evoluindo mais rápido do que a sociedade consegue se adaptar.

No entanto, diante do peso das críticas, a empresa assumiu o erro. "Fizemos a troca errada e pedimos desculpas por não termos encontrado o equilíbrio certo", declarou a Anthropic. A política foi revertida e as defesas contra o desenvolvimento de IA concorrente passarão a ser visíveis: agora, se a empresa suspeitar da prática, o usuário será alertado de que seu pedido foi recusado ou redirecionado para um modelo inferior.

Apesar do recuo, a Anthropic adverte que a mudança traz consequências. Como as defesas agora estão visíveis, a empresa precisará lançar uma rede mais vasta de monitoramento para evitar que as regras sejam burladas. Isso significa que, no curto prazo, pesquisas inofensivas e pedidos benignos poderão acionar as proteções do Fable 5 por engano, até que a plataforma consiga aprimorar e tornar seus filtros mais precisos.