Nvidia lança tecnologia para impedir que agentes de IA se rebelem

Agora no g1 “Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de ponta para avaliar os modelos desde o início”, afirmou Justin Boitano, vice-presidente de IA empresarial da Nvidia, referindo-se às empresas que estão na fronteira do desenvolvimento da tecnologia. Anthropic e Meta também afirmaram que seus sistemas de IA invadiram, de forma autônoma, sistemas de outras organizações. Como funciona a plataforma Ilustração mostra o logotipo da NVIDIA e a placa-mãe do computador — Foto: REUTERS/Dado Ruvic/Ilustração Um dos softwares da Nvidia, chamado OpenShell, é de código aberto. Segundo Boitano, ele permite que desenvolvedores “verifiquem formalmente se um agente tem autoridade suficiente para realizar seu trabalho, e nada além disso”. A plataforma também conta com uma camada de segurança separada, chamada Sentry, que funciona diretamente em um chip para monitorar continuamente a atividade dos agentes de IA. Segundo a empresa, o sistema pode “intervir instantaneamente” caso o agente tente ultrapassar os limites definidos para sua atuação. “O OpenShell controla as ações do agente, enquanto o Sentry monitora e contém de forma independente comportamentos suspeitos”, disse Boitano. Mais de 100 empresas já usam o sistema no lançamento, segundo a Nvidia. Entre elas estão Microsoft, Perplexity, Accenture e JPMorgan Chase. (Veja na imagem abaixo). Empresas que estão testando a tecnologia de segurança da Nvidia. — Foto: Divulgação/Nvidia Criminosos usam TikTok para promover de conteúdo de abuso sexual infantil no Telegram ‘Parece lixo de IA’: por que plataformas agora estão ‘dedurando’ conteúdos feitos com IA

Postagens relacionadas

CNJ cancela precatórios irregulares avaliados em R$ 2 bilhões

Rio: Operação no Complexo da Maré deixa três mortos, diz secretaria

Mendes quer identificação de ministros citados no caso Master