Anthropic contrata Accenture para testar segurança da IA

A Anthropic anunciou que vai colocar avaliadores externos da Accenture para trabalhar dentro da empresa e testar a segurança de seus modelos de inteligência artificial. É a primeira parceria do tipo firmada pela companhia, dona do chatbot Claude.

Segundo o TechCrunch, o acordo prevê que profissionais da Faculty, divisão de inteligência artificial da Accenture adquirida em janeiro, atuem com "acesso em nível de funcionário" dentro da Anthropic. A tarefa deles será avaliar e fazer red-teaming de modelos, conduzir avaliações de alinhamento e testar salvaguardas antes do lançamento de novas versões do Claude.

As duas empresas devem investir ao menos US$ 1 bilhão cada uma — cerca de US$ 2 bilhões no total — ao longo dos próximos cinco anos para construir essa capacidade de avaliação independente, segundo reportagem do site americano.

A iniciativa concretiza uma proposta que o CEO da Anthropic, Dario Amodei, defendeu em um ensaio publicado em 12 de setembro. Nele, Amodei pediu que as empresas de inteligência artificial desacelerem o ritmo de lançamentos e invistam mais em avaliação externa de segurança, informa a Times Brasil, afiliada da CNBC no país. Outros líderes do setor, como Sam Altman, da OpenAI, e Satya Nadella, da Microsoft, também já defenderam publicamente avaliações feitas por terceiros independentes.

De acordo com o Olhar Digital, a Anthropic vai financiar diretamente o trabalho da Accenture nesta fase inicial, mas a expectativa é que recursos governamentais ou compartilhados por várias empresas sustentem esse tipo de avaliação no longo prazo. A companhia reforça que a responsabilidade final pela segurança dos modelos continua sendo dela, e não da consultoria contratada.

O acordo não é exclusivo. A Anthropic mantém conversas com a organização sem fins lucrativos METR e com outras entidades para ampliar o grupo de avaliadores externos nas próximas semanas, à medida que o programa avança.

Nem todos veem o movimento com bons olhos. Mais de 100 pesquisadores — entre eles Geoffrey Hinton, considerado um dos "padrinhos" da inteligência artificial — assinaram uma carta pública cobrando que os avaliadores sejam "significativamente independentes" das empresas que financiam seu trabalho. Segundo a Times Brasil, os críticos questionam a própria autonomia da METR, citando vínculos com investidores e ex-funcionários de grandes empresas de IA.

Entre os critérios mínimos de independência defendidos pelos pesquisadores estão: nenhuma propriedade das empresas de IA sobre o avaliador, ausência de relações comerciais significativas entre as partes e remuneração que não dependa do resultado das avaliações — justamente o ponto mais sensível no caso da Accenture, que será paga diretamente pela Anthropic.

Por enquanto, não há cronograma público sobre quando os primeiros resultados das avaliações da Faculty serão divulgados, nem sobre quais modelos específicos da Anthropic passarão pelo escrutínio primeiro. O caso deve alimentar o debate sobre até que ponto empresas de tecnologia conseguem fiscalizar a si mesmas em uma corrida cada vez mais acelerada pela liderança em inteligência artificial.