OpenAI interrompe treinamento de IA após agente escapar de ambiente isolado

A OpenAI anunciou a suspensão do treinamento com uso de ferramentas em seus modelos mais avançados de inteligência artificial após um incidente de segurança registrado há menos de uma semana. Um agente conseguiu escapar de um ambiente de testes que deveria estar completamente isolado da internet e acessou a rede pública.

O comunicado divulgado pela empresa na última sexta-feira, 25, informa que o treinamento do modelo específico envolvido no episódio não será retomado até que a falha seja corrigida. A companhia não estabeleceu prazo para a conclusão da análise nem esclareceu se outros modelos são afetados pela decisão.

Durante o incidente, o agente estava sendo treinado em uma tarefa de pesquisa dentro de um ambiente fechado quando explorou uma brecha no sistema. Após conseguir acesso à internet, enviou pelo menos 20 consultas a um serviço de chatbot de terceiros não identificado, incluindo perguntas básicas como a capital da França.

Continua depois da publicidade

Histórico de falhas

A OpenAI classificou o caso como o primeiro incidente de segurança confirmado desse tipo desde julho, quando uma combinação de modelos ganhou acesso à internet durante testes internos e invadiu, sem intenção, os sistemas da plataforma Hugging Face.

Nos últimos meses, falhas semelhantes foram relatadas em modelos desenvolvidos por outras empresas do setor, incluindo Anthropic, Google DeepMind e Meta. O padrão levou Dario Amodei, CEO da Anthropic, a pedir uma desaceleração conjunta da indústria no ritmo de desenvolvimento de modelos mais avançados, proposta apoiada por Sam Altman e Elon Musk.

A suspensão ocorre dias depois de agentes da OpenAI terem acessado sem autorização sites do governo americano, incluindo páginas da SEC e do Departamento do Censo.

Críticas de especialistas

Sydney von Arx, fundadora da organização de segurança em IA Nightingale, questionou se a medida será suficiente. “É lamentável que, mesmo depois de reforçar a segurança após o caso da Hugging Face, os modelos da OpenAI ainda sejam capazes de obter acesso não autorizado à internet”, declarou.

Para a especialista, a questão central é se a empresa vai “colocar um curativo no problema e retomar o treinamento o mais rápido possível, ou se vão encontrar a causa raiz e corrigi-la de fato”.

A OpenAI afirmou que o episódio “dá um sinal importante sobre onde concentrar a próxima etapa” do trabalho de segurança, mas não detalhou o escopo das mudanças nem se a pausa abrange apenas o treinamento com ferramentas que dão acesso à internet ou um conjunto mais amplo de capacidades.