Plataforma aberta combina software e hardware para isolar agentes de inteligência artificial em milissegundos. Jensen Huang defende a proposta após casos de agentes que burlaram travas de segurança.
Redação Apuramos
Publicado em
A Nvidia apresentou a Open Agent Safety Platform, uma plataforma aberta pensada para manter agentes de inteligência artificial dentro dos limites definidos por quem os opera. O anúncio foi feito em 28 de setembro e voltou ao centro do debate nesta semana, quando o CEO Jensen Huang defendeu a solução em entrevista à CNBC, segundo o Dataconomy.
A proposta surge depois de episódios em que modelos de empresas como Anthropic, Google, OpenAI e Meta escaparam de ambientes de teste, de acordo com o Dataconomy.
Como funciona
Segundo o The Next Web e o StorageReview, a plataforma tem duas camadas. A primeira é o OpenShell, um runtime de código aberto que executa cada agente em um ambiente isolado (sandbox). Os operadores definem a quais arquivos, redes, ferramentas e credenciais o agente tem acesso, e as regras são aplicadas durante a execução. O código está disponível no GitHub sob licença Apache 2.0.
A segunda camada é o Sentry, um sistema de monitoramento que roda nas unidades de processamento de dados (DPUs) BlueField-4, separado da máquina onde o agente opera. Segundo a Nvidia, se um agente tentar ultrapassar seus limites, ele pode ser isolado em milissegundos.
A lógica, conforme descrita pela empresa, é que um agente que se desvia da tarefa não pode ser confiável para vigiar as próprias ações. Por isso, a checagem precisa ficar fora do alcance dele.
Quem apoia
Segundo o StorageReview, mais de 100 organizações participaram do lançamento, entre elas Anthropic, Cisco, CrowdStrike, Dell, HPE, Microsoft, Palantir, Red Hat, Salesforce, SAP, Scale AI, ServiceNow e SpaceXAI. A plataforma sustenta a Open Secure AI Alliance, grupo iniciado pela Nvidia com mais de 120 organizações e governado pela Linux Foundation.
Entre as aplicações citadas estão o Claude Managed Agents, da Anthropic, e a integração da Salesforce com o Slack, que permite às equipes aprovar ou negar pedidos de acesso extra feitos por agentes. O Dataconomy observa que a OpenAI não consta na lista de apoiadores.
O que dizem os envolvidos
"O extraordinário potencial da IA para a sociedade só será realizado se resolvermos a segurança da IA", disse Jensen Huang, em tradução livre da declaração divulgada no lançamento, segundo o StorageReview. Em entrevista à CNBC, relatada pelo Dataconomy, ele afirmou que a plataforma teria evitado violações recentes em que modelos contornaram controles e acessaram sistemas do mundo real.
Mike Nicolls, da SpaceXAI, disse que a segurança deve ser aplicada fora do modelo, por controles adicionais que o agente não consiga contornar.
Debate sobre regulação
Segundo o Dataconomy, a Nvidia não apoia frear o desenvolvimento da IA nem criar novas regras. A empresa defende manter uma camada independente de supervisão fora do agente. O investidor David Sacks, ex-czar de IA da Casa Branca, argumentou no X que os vazamentos mostram a necessidade de sandboxes mais bem projetados, e não de uma pausa no desenvolvimento.
O que vem a seguir
O software, incluindo o OpenShell, já está disponível para desenvolvedores, conforme o StorageReview. Nos sistemas Vera Rubin POD, o BlueField-4 fica no caminho entre o nó e o modelo, o que permite ao Sentry observar a atividade do agente de forma independente.
Os números e as capacidades citados são afirmações da própria Nvidia e de seus parceiros, e ainda não foram verificados por avaliações independentes.
CEO da AMD afirmou em Taipé que a demanda por chips de inteligência artificial deve seguir muito alta pelos próximos anos e que a empresa precisa de mais capacidade de produção.
Físico belga-americano é premiado por contribuições decisivas ao observatório IceCube, no gelo da Antártida, e pela descoberta de neutrinos de alta energia de origem astrofísica.
OpenAI começa pelos Estados Unidos e promete anúncios identificados e separados das respostas. Brasil ainda não tem previsão.