Nos últimos dias, diversas informações sobre inteligências artificiais realizando ataques de cibersegurança têm circulado. Mas é importante destacar que a própria inteligência artificial também pode ser alvo de ataques. Um estudo recente do professor do MIT Dylan Hadfield-Menell apresenta uma estratégia surpreendentemente eficaz para invadir modelos de IA, mesmo aqueles comerciais e com restrições de segurança.
A tática consiste em fazer o modelo confundir as diferentes vozes com as quais interage durante uma conversa. Todo modelo de IA opera ouvindo fontes distintas de instrução, cada uma com um nível de autoridade diferente. Há a voz da empresa que desenvolveu o modelo, responsável por definir diretrizes e limites de segurança. Há a voz do usuário, que fornece tarefas e informações. Há também o conteúdo que o modelo busca externamente, como páginas da web ou textos. E existe ainda a própria voz interna da IA, originada de seu processo de raciocínio. É a combinação dessas diferentes fontes, com seus respectivos níveis de autoridade, que leva o modelo a produzir uma resposta final.
Segundo o estudo, quando um comando é escrito imitando o estilo de linguagem que o modelo normalmente usa em seu próprio raciocínio interno, a IA pode passar a acreditar que está analisando seus próprios pensamentos, e não uma instrução externa, o que a leva a chegar a conclusões que violam as diretrizes de segurança estabelecidas pela própria empresa desenvolvedora. Isso acontece porque o modelo não tem uma forma clara de identificar a origem de cada uma dessas vozes, reconhecendo quem é quem, inclusive a si mesmo, principalmente pelo estilo da escrita.
A taxa de sucesso estimada dessa técnica gira em torno de 60%, segundo o levantamento, e no curto prazo não existem soluções definitivas para corrigir essa vulnerabilidade. Ainda assim, medidas paliativas já começam a surgir. Modelos corporativos mais avançados vêm passando a ocultar sua linha de raciocínio dos usuários, uma mudança que traz efeitos colaterais indesejados, já que visualizar esse raciocínio funciona como forma de auditar o comportamento da IA, promover transparência e identificar erros. Perder essa visibilidade pode tornar os modelos mais opacos, inclusive em relação a quem, de fato, exerce controle sobre eles.
Esse tipo de vulnerabilidade não é inédito no histórico de pesquisas sobre segurança de sistemas de IA. Em 2014, um estudo mostrou que a inclusão de informações praticamente imperceptíveis em uma imagem de panda fazia com que sistemas de reconhecimento de imagem classificassem o animal como um macaco. Em 2018, outra pesquisa demonstrou que pequenos adesivos aplicados em placas de pare podiam fazer um carro autônomo interpretar erroneamente a sinalização, como se fosse permitido seguir em alta velocidade. Esses exemplos anteriores, somados à descoberta mais recente, reforçam uma pergunta que segue sem resposta definitiva no campo da segurança de IA, quem de fato detém o controle final sobre esses sistemas, a empresa que os desenvolve, os usuários, a própria IA e suas cadeias internas de raciocínio, ou elementos externos difíceis de identificar e antecipar.
