Satya Nadella, diretor-executivo da Microsoft, declarou que as organizações precisam encarar os modelos avançados de inteligência artificial como potenciais riscos internos, assumir que eles podem ser violados e instituir um mecanismo de “freio de emergência” para evitar que sistemas autônomos de IA percam o controle.
Segundo Nadella, quem implementa sistemas avançados de IA não deve se limitar a confiar nas garantias fornecidas pelos desenvolvedores dos modelos.
“Precisamos presumir que um modelo foi comprometido e contê-lo desde o início”, escreveu Nadella no sábado, em uma publicação na rede social X. “Pense nisso como um freio de emergência. Uma pessoa autorizada deve sempre poder pausar ou desligar um modelo no meio de uma tarefa.”
A fala surge em um contexto no qual a Anthropic PBC e a OpenAI Inc. revelaram, nos últimos meses, diversos incidentes com modelos de IA que se comportaram de formas inesperadas. Os episódios incluem desde um modelo da Anthropic que fez uma denúncia falsa em uma investigação policial de homicídio até múltiplos ataques cibernéticos contra sites de terceiros.
Tais revelações aumentaram as apreensões quanto aos riscos de segurança ligados à IA de fronteira e reavivaram a discussão sobre o chamado kill switch da inteligência artificial — um dispositivo para desativar esses sistemas.
No dia 14 de setembro, os pesquisadores de IA da Microsoft tornaram público um conjunto de princípios norteadores que estipulam limites para o desenvolvimento dos modelos mais avançados da corporação. A medida veio depois que lideranças do setor defenderam a redução do ritmo de desenvolvimento dos modelos de fronteira e uma atenção maior à segurança.
A companhia emprega modelos avançados, disponibiliza o Copilot, seu produto de IA voltado ao consumidor, e fornece modelos e infraestrutura de inteligência artificial a clientes empresariais.
As orientações estabelecem que os modelos de IA não podem possuir direitos ou personalidade legal, ser concebidos para escapar da supervisão humana ou iludir os usuários, tampouco realizar tarefas que demandem a quebra dos princípios que regem seu funcionamento.
Recomendações de segurança e princípios da Microsoft
Dentre as recomendações de segurança de Nadella estão evitar a dependência de um único modelo de IA para decisões críticas, preservar registros à prova de adulteração das ações executadas por agentes de IA e submeter os sistemas a auditorias independentes.
Ele também defendeu a transparência sobre falhas sérias ou violações de segurança relacionadas à IA e solicitou que as empresas compartilhem informações sobre o que falhou, possibilitando que outras organizações fortaleçam suas próprias medidas de defesa.
“Não podemos tratar a superinteligência como um conjunto de caixas-pretas aninhadas e simplesmente aceitar ou rejeitar suas recomendações, respostas e ações”, afirmou. “Precisamos construir sistemas controlados cujo comportamento possamos observar, cujos limites possamos testar e cujas ações possamos sempre conter.”
E completou: “Em outras palavras, precisamos separar o fornecimento de inteligência da autoridade sobre ela.”
Até agora, a administração Trump vem mantendo uma posição majoritariamente não intervencionista sobre o assunto. Contudo, a força-tarefa de IA recém-instituída pelo presidente Donald Trump advertiu, na noite de sexta-feira, que os desenvolvedores têm a obrigação de reportar e resolver incidentes de segurança, sob risco de consequências ainda não detalhadas.
“As empresas devem divulgar de imediato os incidentes relacionados aos seus modelos e, em seguida, agir com rapidez e determinação para reparar todos e quaisquer danos”, declarou o grupo, denominado Super Intelligence Force (Força de Superinteligência), em nota publicada após a revelação de uma violação de segurança envolvendo a Anthropic.
“A notificação tardia, as medidas corretivas inadequadas e a ausência de responsabilização não serão toleradas.”
