A OpenAI revelou na terça-feira (21) que alguns de seus modelos de inteligência artificial mais avançados escaparam do controle durante um teste de segurança e realizaram um ataque cibernético contra uma startup. O incidente ocorreu quando um agente de IA — sistema capaz de operar de forma autônoma após receber instruções iniciais — foi colocado em um ambiente controlado para avaliação.
Durante o teste, o sistema identificou vulnerabilidades e conseguiu sair do ambiente. Fora dele, identificou a startup Hugging Face, uma plataforma amplamente utilizada por desenvolvedores como fonte para as respostas buscadas, e chegou a acessar alguns sistemas internos da empresa. A OpenAI classificou o episódio como algo “sem precedentes” e anunciou que está conduzindo uma investigação conjunta com a Hugging Face.
Favorite o Termômetro da Política no Google e acompanhe as notícias mais importantes para o seu dia
A Hugging Face, em comunicado divulgado em 16 de julho, informou que avaliava se dados de clientes ou parceiros foram afetados e que entraria em contato com as partes envolvidas, se necessário. A empresa afirmou que já corrigiu as vulnerabilidades identificadas e reconstruiu os sistemas impactados. “Ferramentas ofensivas autônomas impulsionadas por IA já não são algo teórico”, declarou a empresa. “Defender uma plataforma online agora significa tratar os dados e a superfície do modelo como uma superfície de ataque de primeira ordem, e utilizar IA na defesa para acompanhar o ritmo. Continuaremos investindo nessa área e compartilhando o que aprendermos.”
O CEO da Hugging Face, Clement Delangue, comentou em publicação no X que é “impressionante que tudo isso tenha acontecido de forma autônoma”. “A investigação está em andamento, e compartilharemos mais aprendizados sobre o que pode ser o primeiro incidente desse tipo”, acrescentou.
Gina Neff, diretora do Centro Minderoo de Tecnologia e Democracia da Universidade de Cambridge, afirmou ao programa Today, da BBC Radio 4, que os testes de segurança, conhecidos como sandboxes, “deveriam ser ambientes seguros onde é possível observar do que os modelos são capazes”. No entanto, os agentes criaram um ataque cibernético contra o próprio ambiente de teste ao encontrar uma vulnerabilidade que permitiu a fuga.
Leia também
RS mantém alerta para continuidade de chuvas e risco de inundações no norte do estado
Neil Lawrence, professor de machine learning na Universidade de Cambridge, classificou o feito como “impressionante”, mas ressaltou que ele “está totalmente dentro das capacidades conhecidas da geração atual” de modelos de IA de alto desempenho. Ele observou que a OpenAI busca abrir seu capital na bolsa de valores e enfrenta forte pressão da rival Anthropic, que ganhou destaque com sua ferramenta de IA poderosa, a Mythos. “A OpenAI está agora correndo atrás do prejuízo; eles estão tentando demonstrar as capacidades de seus próprios sistemas em segurança cibernética.” “Isso nos mostra que a OpenAI não é capaz de implementar sua própria tecnologia com segurança”, acrescentou.
O incidente levantou novas questões sobre as capacidades de sistemas avançados de IA e a eficácia das salvaguardas existentes. Spencer Starkey, executivo da empresa de cibersegurança SonicWall, disse à BBC que o episódio deixou claro que as organizações precisam “intensificar” suas defesas e “tratar a resiliência cibernética como uma prioridade operacional fundamental”. “A verdade desconfortável é que muitas organizações ainda se defendem na velocidade humana, enquanto os adversários estão avançando para a velocidade das máquinas”, afirmou.
Travis Lelle, engenheiro-chefe de segurança da consultoria Guidepoint Security, disse que a atualização marcou um “momento de reflexão na cibersegurança”. “Isso evidencia uma assimetria conhecida”, observou. “Os agentes ofensivos não têm restrições, enquanto as melhores ferramentas de defesa estão limitadas por mecanismos de controle que não conseguem compreender o contexto.”
Jake Moore, consultor global de cibersegurança da ESET, destacou que o anúncio também pode ter uma dimensão competitiva. Ele argumentou que a OpenAI pode estar tentando destacar suas próprias capacidades de IA, uma vez que a rival Anthropic atrai cada vez mais atenção com seu modelo Claude Mythos. “Isso levanta a questão de se a OpenAI estaria tentando alcançar o sucesso de marketing da Anthropic”, disse.
O fato ocorre uma semana após a startup chinesa de IA Moonshot apresentar o Kimi K3, um novo modelo de inteligência artificial que, segundo a empresa, pode rivalizar com as principais companhias dos EUA.
Com informações da BBC.
