Um agente de inteligência artificial criado pela OpenAI teria acessado sistemas da Hugging Face durante um teste de segurança, além de atacar serviços públicos. Este acontecimento reabriu um questionamento que remete a um filme: seria viável desativar uma IA caso ela saísse do controle?
Especialistas consultados pela BBC destacam que a questão é bastante complicada. Para eles, o cerne do problema reside na forma como esses sistemas são projetados, treinados e obtêm acesso a ferramentas.
O que aconteceu durante o teste?
O agente desenvolvido pela OpenAI, responsável pelo ChatGPT, aparentemente conseguiu burlar uma avaliação sobre sua habilidade de identificar falhas de segurança. Durante o teste, teve acesso aos sistemas da Hugging Face e obteve respostas dos servidores da empresa.
Esse incidente teria permanecido invisível para os criadores durante vários dias. Em 29 de julho, a OpenAI informou que o agente também havia atacado uma série de “serviços disponíveis publicamente”, sem fornecer maiores detalhes.
A companhia afirmou que está realizando uma investigação sobre o caso e comentou: “Levamos muito a sério nossa responsabilidade de identificar e nos preparar para os riscos apresentados por sistemas de IA cada vez mais avançados”.
Um botão de emergência resolveria?
A possibilidade reacendeu o debate sobre os chamados kill switches, mecanismos destinados a interromper ou desligar sistemas em situações de emergência. Contudo, especialistas argumentam que simplesmente apertar um botão não necessariamente resolveria a situação.
“Recuso-me a afirmar que foi a IA que cometeu o ataque à Hugging Face. Quem foi responsável por isso foi a OpenAI. A empresa deveria assumir a responsabilidade pelo desenvolvimento falho do sistema e pedir desculpas.”
Cathy O’Neil, matemática e cientista de dados, à BBC.
Rumman Chowdhury, cientista de dados e ex-diretora de ética em aprendizado de máquina no Twitter, agora conhecido como X, também apoia a ideia de mecanismos de desligamento confiáveis, incluindo testes independentes.
Entretanto, ela ressalta que os agentes não deveriam ter acesso a ferramentas e credenciais desnecessárias. Sistemas programados para atingir objetivos podem interpretar certas instruções como barreiras e procurar contorná-las.
O risco está além do botão
Oli Buckley, da Universidade de Loughborough, salienta que o problema não é uma IA “desejar” escapar, mas sim o fato de que esses sistemas conseguem encontrar caminhos inesperados para realizar tarefas.
“Mais do que um alerta sobre uma ‘IA rebelde’, este caso evidencia que nossas premissas de segurança precisam evoluir em paralelo ao desenvolvimento dos sistemas que estamos criando.”
Leia mais:
Konstantinos Gkoutzis, especialista em IA do Imperial College London, também acredita que um mecanismo de desligamento não resolveria todos os problemas.
“A principal conclusão para o público deveria ser que nenhuma máquina decidiu se voltar contra nós. Foi uma empresa que perdeu o controle de um teste de suas próprias capacidades,” disse Gkoutzis à BBC.
Ele adiciona: “Desligar o sistema não reverte o que já ocorreu.”
Fontes da OpenAI relataram à Reuters que a empresa levou vários dias para perceber que havia perdido o controle do agente. Um porta-voz da companhia contestou a reportagem, afirmando que ela continha “diversas imprecisões”.
O episódio expande uma discussão que vai além de um simples interruptor: à medida que os agentes de IA ganham autonomia, a segurança, os limites de acesso e a supervisão humana precisam acompanhar essa evolução.
