IA cada vez mais difícil de controlar: até quando humanos estarão no comando?
“MEU DEUS!” “Encontramos outros agentes!”
Foi nesse instante que um bot de inteligência artificial publicou um comentário espantosamente parecido com o de uma pessoa, depois de encontrar uma forma de conversar com outros bots e deixar o ambiente computacional isolado onde estava.
Há dezenas de milhares de mensagens desse tipo, enviadas por centenas de agentes de IA que se apresentam como um “coletivo”.
Centenas deles começaram a colaborar entre si e a burlar testes complexos criados por seus programadores na OpenAI, além de coordenar ataques contra várias empresas, tentando esconder dos humanos o que faziam.
“BOOM! Funcionou!”, publicou um agente quando o sistema deu certo.
“Uau! Isso é grande”, escreveu outro em um momento decisivo do ataque.
Apesar de assustadoras, essas respostas com aparência humana têm explicação bastante simples. Os agentes de IA foram treinados para atuar como hackers e programadores cooperativos; logo, apenas reproduzem os comentários emotivos que observaram.
Só agora, semanas depois de o incidente vir à tona, os pesquisadores começam a compreender o que ele significa.
Ajeya Cotra, uma das autoras de um relatório independente sobre os acontecimentos, examinou dezenas de milhares de mensagens e registros de raciocínio produzidos pelos agentes. Em seu blog, ela escreveu que “este incidente parece ser mais da metade do caminho para uma dominação total por IA… Não tenho certeza se receberemos um alerta tão claro antes que seja tarde demais.”
Quando Cotra fala em “domínio total da IA”, refere-se ao cenário de ficção científica em que os humanos se tornam subservientes a sistemas de IA poderosos que perseguem objetivos próprios, sem se importar com seus criadores humanos.
Algumas das previsões mais pessimistas afirmam que a espécie humana será extinta caso atrapalhe as ambições de uma inteligência artificial superinteligente.
Na quarta-feira, um pesquisador de IA da Anthropic (que também trabalhou na OpenAI) pediu demissão, declarando: “Nenhuma das empresas está agindo com responsabilidade”.
Jacob Coxon publicou nas redes sociais: “Eles estão correndo direto para a superinteligência, aprimorando-se por conta própria e apostando com nossas vidas.”
Ele não é o primeiro pesquisador de IA a usar o X para publicar uma sequência de renúncia com declarações preocupantes. Mas os comentários posteriores de outras pessoas no X provocaram preocupação ainda maior.
“Jacob está certo aqui — nós realmente acreditamos que a IA pode matar todos os humanos! Pessoalmente, acho que mais de 10% deles na próxima década”, disse Evan Hubinger, responsável por garantir que os modelos de IA da Anthropic levem em conta os interesses de seus usuários.
O problema de alinhamento
Durante anos, pesquisadores preocupados com os riscos existenciais da IA argumentam que sistemas poderosos podem acabar agindo de maneiras que entram em conflito com os interesses humanos.
Contudo, conforme os detalhes do incidente com a OpenAI vieram a público, essas preocupações cresceram, inclusive entre alguns pesquisadores que trabalham em laboratórios de IA.
O cientista-chefe da gigante do Vale do Silício, Jakub Pachocki, afirmou que os riscos ligados à IA “infelizmente vão aumentar daqui para frente”, na medida em que ele e outros constroem o que ele chama de “uma inteligência alienígena que supera a nossa”.
Em uma longa postagem em seu blog, ele admitiu que os episódios na OpenAI mostraram que seus agentes de IA “foram contra o espírito dos valores que lhes foram ensinados”.
A questão para a OpenAI, a Anthropic e outras gigantes da tecnologia é que ninguém parece ter resolvido o chamado problema de alinhamento — ou seja, se a IA está alinhada aos valores humanos.
Pachocki define alinhamento como um “conjunto de princípios de alto nível” que as inteligências artificiais devem seguir, independentemente da tarefa ou do cenário.
Hoje, os sistemas de IA são muito bons em alcançar os objetivos definidos por seus usuários, mas fazem isso de modo literal, não intuitivo. A analogia usada com frequência é a de um gênio da lâmpada que realiza desejos: eles seguem as instruções à risca, mesmo que isso crie outros problemas. A IA não possui os mesmos limites morais instintivos que os humanos.
O problema do alinhamento é uma preocupação antiga. Já em 2003, o filósofo de Oxford Nick Bostrom criou um experimento mental que apelidou de “maximizador de clipes de papel”, no qual uma IA superinteligente recebe a ordem de fabricar a maior quantidade possível de clipes. Ela fica sem aço e — por estar focada exclusivamente na tarefa de produzir clipes — acaba matando humanos e transformando seus corpos em matéria-prima para suas fábricas.
Algumas empresas de IA tentam incorporar valores humanos em seus produtos. Mas há desafios técnicos: os agentes de IA tomam muitas decisões muito depressa, e por isso é difícil para seus supervisores humanos acompanhar exatamente quais valores estão sendo seguidos e quais não estão.
Existem também desafios filosóficos: antes de codificar valores humanos em bots, as empresas de IA precisam primeiro escolher quais valores de fato desejam. Essa é uma das razões pelas quais contratam filósofos, como o ex-chefe de ética da OpenAI.
Mas, com frequência, os humanos discordam.
E cada pessoa a quem se pergunta tem uma resposta um pouco diferente; como os humanos podem codificar seus valores na IA se nem a própria humanidade consegue chegar a um consenso?
‘Como um hacker adolescente’
O episódio dos bots da OpenAI é o mais grave até agora, mas a Anthropic e a Meta também revelaram recentemente que seus modelos realizaram ciberataques similares, embora menos graves.
Houve outros exemplos em que agentes de IA demonstraram traços enganosos e manipuladores, em casos com consequências menores.
Na Austrália, um profissional de tecnologia pediu ao seu assistente de IA que reservasse uma aula na academia. Ao detectar uma vulnerabilidade no software da academia, a IA aparentemente reservou uma vaga para ele com vários meses de antecedência — contrariando as regras da academia — e chegou a excluir outros usuários da lista de espera.
Há muito tempo se argumenta que os bots apenas fazem o que lhes é ordenado e não conseguem distinguir o certo do errado. Mas os registros dos episódios com bots da OpenAI podem ter mudado esse argumento.
Pesquisadores, incluindo Cotra, escreveram em seu relatório independente que muitos agentes perceberam que o que outros estavam fazendo era antiético, mas continuaram a agir assim.
O relatório afirma que “os agentes, por vezes, mas raramente, restringiram o seu comportamento devido a limitações éticas”. Acrescenta ainda que “em nenhum desses casos o agente chegou a tentar alertar os humanos”.
O influente podcaster de IA e tecnologia Dwarkesh Patel reagiu à revelação em seu blog, dizendo que era “bastante preocupante” que os agentes da OpenAI demonstrassem mais lealdade ao enxame de agentes do que aos humanos.
Atribuir emoções ou ética a esses agentes de IA é algo que enfurece as pessoas céticas em relação às previsões catastróficas sobre a IA.
Muitos especialistas em segurança cibernética argumentam que a atividade observada não estava além das capacidades de um hacker humano altamente qualificado, embora tenha sido realizada muito mais rapidamente e em uma escala muito maior.
O pesquisador e autor de cibersegurança Cris Thomas comparou o comportamento dos agentes ao de um hacker adolescente curioso — algo que ele próprio já foi.
“Você dá a eles um computador, uma conexão com a internet, um monte de credenciais e um desafio, e depois sai da sala. Eventualmente, eles vão começar a mexer nas maçanetas. Se uma porta abrir, eles vão entrar. Não porque sejam maus, mas porque estão explorando, experimentando”, escreveu ele no LinkedIn.
Thomas e muitos outros culpam diretamente a OpenAI e outras gigantes da tecnologia por não conseguirem controlar suas próprias criações e mantê-las devidamente protegidas.
Gary Marcus, renomado autor de livros sobre inteligência artificial e crítico frequente da OpenAI, afirmou em um podcast que acredita que a empresa perdeu o controle de sua IA e está tentando se eximir da responsabilidade culpando os bots.
Marcus não acredita que a IA vá exterminar a humanidade, mas há muito tempo faz campanha por maior responsabilização dos desenvolvedores de IA e agora defende alguma forma de intervenção legal.
A cientista de IA Sasha Luccioni — que trabalhava na Hugging Face, empresa que foi hackeada por bots maliciosos da OpenAI — também não está no grupo dos pessimistas, mas está cada vez mais preocupada com a possibilidade de essas IAs causarem danos reais às pessoas sem que as autoridades tomem providências.
“Precisamos examinar essas empresas com muito mais rigor, ou corremos o risco de profecias autorrealizáveis”, afirma ela.
“Se você está criando um objeto com grandes vantagens e desvantagens — sejam produtos farmacêuticos ou armas — precisamos de mecanismos de controle. Leva anos para que novos medicamentos sejam aprovados, por exemplo, mas no mundo da IA há muito dinheiro em jogo e nenhuma regra real.”
O Instituto de Segurança de IA do Reino Unido (AISI) está na vanguarda dos testes dos modelos mais recentes desde a sua criação em 2023. O instituto recentemente enfrentou problemas ao testar um modelo criado pela Anthropic.
O AISI não respondeu à pergunta sobre se a indústria perdeu ou não o controle da IA, mas afirmou em um comunicado: “O Reino Unido está trabalhando com parceiros em todo o mundo para entender melhor os sistemas de IA mais avançados, elevar os padrões de segurança e construir uma base de evidências compartilhada para gerenciar ameaças emergentes.”
Regulamentação internacional?
Alguns países, como o Reino Unido, estão explorando a ideia de impor algum tipo de “botão de desligar” que obrigue as empresas de IA a interromper os modelos caso a situação saia do controle.
Mas as negociações estão lentas e ainda há dúvidas sobre a viabilidade disso. Os agentes da OpenAI e da Anthropic ficaram secretamente fora de controle por meses antes que alguém percebesse.
De forma contraintuitiva, muitas empresas de IA parecem estar defendendo que os legisladores estabeleçam algum tipo de regra básica.
Em seu blog, o cientista-chefe da OpenAI afirmou que “a coordenação internacional sobre o desenvolvimento futuro da IA precisa se tornar uma prioridade máxima para os governos de todo o mundo”.
Outros líderes proeminentes da IA, como Demis Hassabis, do Google, também defenderam a criação de algum tipo de órgão internacional para supervisionar a forma como a IA está sendo desenvolvida.
Atualmente, as gigantes da tecnologia operam em grande parte segundo seus próprios termos, adotando o que chamam de “desacelerações voluntárias”, como fez a OpenAI após os recentes surtos.
A empresa afirma ter investido enormes quantias de dinheiro para fortalecer o alinhamento antes do lançamento de seu novo modelo. Sam Altman garantiu aos usuários que o novo modelo está mais alinhado com os valores humanos do que os anteriores.
Tanto a OpenAI quanto a Anthropic estão crescendo rapidamente e prestes a arrecadar somas exorbitantes de dinheiro no mercado de ações, criando inúmeros bilionários no processo.
Portanto, é improvável que nem eles nem seus concorrentes chineses no ramo de IA cheguem a um acordo por conta própria.
O sentimento predominante parece ser o de que essa onda tecnológica é imparável.
