OpenAI acusa grupo ligado à Moonshot AI de extrair seus modelos

A OpenAI afirmou que agentes ligados à Moonshot AI, empresa chinesa de inteligência artificial, conduziram uma "campanha coordenada" para extrair o raciocínio interno de seus modelos. A acusação foi divulgada pela própria empresa em um post de blog e noticiada nesta quinta-feira (1º) pelo site Tom's Hardware.

Segundo o relato, a prática é chamada de "destilação adversarial": o uso sistemático e não autorizado das respostas ou do raciocínio de um modelo para treinar sistemas concorrentes.

Os números citados

De acordo com o Tom's Hardware, que resume o relatório de segurança da OpenAI, a atividade começou em 1º de julho, em baixo volume. Os picos ocorreram entre 24 e 25 de julho, e a campanha foi totalmente interrompida até 28 de julho.

No total, a OpenAI registrou cerca de 16 mil requisições de extração, envolvendo mais de 4 mil contas.

Como seria o ataque

O alvo era o chamado "raciocínio protegido" dos modelos, a cadeia de pensamento interna, que é entregue de forma criptografada. Uma das técnicas descritas consistia em pegar o raciocínio criptografado de uma conversa e pedir a modelos, em sessões separadas, que o decifrassem.

O que a OpenAI diz que não aconteceu

A empresa informou que a criptografia não foi quebrada, que nenhuma conversa armazenada foi acessada e que nenhum banco de dados foi comprometido.

Medidas adotadas

Ainda conforme o relato, a OpenAI corrigiu vulnerabilidades, incluiu verificações para detectar esse tipo de saída, reforçou proteções entre modelos e atuou com provedores terceiros para derrubar contas fraudulentas.

Posição da Moonshot AI

O texto consultado pelo Apuramos não traz resposta da Moonshot AI às acusações. O espaço segue aberto caso a empresa se manifeste.

Por que importa

A disputa mostra como laboratórios de IA tentam proteger o raciocínio de seus modelos, considerado um ativo valioso, em meio à concorrência entre empresas dos Estados Unidos e da China. Até aqui, as informações vêm da versão da própria OpenAI.