Cientistas da Universidade Estadual do Novo México detectaram uma falha que possibilita a introdução de dados prejudiciais na memória de longo prazo de agentes fundamentados em modelos de linguagem. A pesquisa, disponibilizada em julho no arXiv, detalha um ataque com potencial para modificar as ações posteriores desses sistemas.
Denominada GhostWriter, a abordagem utiliza agentes de IA que guardam recordações de interações prévias para customizar respostas e realizar atividades em nome dos usuários. Conforme os pesquisadores, esse atributo aumenta a praticidade, porém também estabelece uma nova área de exposição a ameaças digitais.
Além de expor o mecanismo da vulnerabilidade, os cientistas propuseram uma medida defensiva voltada a diminuir a probabilidade de que lembranças fraudulentas sejam armazenadas e depois empregadas pelos agentes, sem afetar de forma considerável a eficiência dessas ferramentas.
O GhostWriter se aproveita da memória persistente dos agentes
Modelos de linguagem são largamente utilizados em plataformas de chat e em sistemas que respondem questões, localizam dados, geram conteúdo e dão suporte em múltiplas tarefas. Recentemente, alguns desses sistemas também começaram a realizar ações independentes, tais como replicar mensagens, marcar compromissos e alterar scripts de programação.
Mais recentemente, programadores integraram funcionalidades de memória duradoura a esses agentes. Esse mecanismo possibilita acessar dados gravados em diálogos prévios para ajustar respostas aos gostos dos usuários e impedir que informações idênticas sejam fornecidas de novo.
De acordo com a pesquisa, esse avanço gerou um efeito colateral ainda pouco examinado na ótica da cibersegurança. Os cientistas apontam que assistentes pessoais acumulam dados confidenciais e, simultaneamente, lidam com materiais oriundos de origens externas, conjuntura que cria brechas para novas falhas.
Nesse cenário, os pesquisadores caracterizam o GhostWriter como uma técnica de contaminação da memória persistente. O ataque envolve introduzir comandos encobertos ou dados incorretos no repositório fixo do agente, de modo que essas entradas sejam resgatadas mais adiante e impactem decisões vindouras.
Conforme os autores, o ataque se desenrola em duas fases. Na primeira, o agressor transmite um material oculto que pode ser guardado como memória autêntica. Na segunda, quando o usuário formula um pedido ligado ao assunto, a ferramenta resgata aquele dado adulterado e começa a operar de acordo com as ordens anteriormente implantadas.
Um caso ilustrado pelos pesquisadores diz respeito a um agente dedicado à administração de correspondências eletrônicas. Nessa situação, uma recordação fraudulenta poderia determinar que a ferramenta sumarize automaticamente e-mails de um remetente específico e os redirecione, sem o usuário saber, para um endereço controlado pelo invasor, mesmo que essas mensagens incluam dados sigilosos.
Os testes conduzidos pelo grupo revelaram uma alta porcentagem de êxito na injeção dessas memórias nocivas, bem como uma taxa considerável de execução posterior dos comandos gravados. Essas constatações evidenciaram, no entendimento dos cientistas, que a ameaça pode atingir inclusive agentes classificados como os mais sofisticados da atualidade.
Em contrapartida, a pesquisa introduz o Agentic Memory Sentry, abreviado como AM-Sentry. A solução mescla uma diretriz mais rigorosa para definir quais dados podem ser mantidos na memória de longo prazo com um sistema de checagem antes que essas entradas sejam resgatadas em demandas futuras.
De acordo com os dados reportados, o AM-Sentry diminuiu consideravelmente o sucesso do GhostWriter enquanto manteve a funcionalidade prática dos agentes de IA. O grupo espera que essas táticas sejam refinadas e testadas em outros sistemas equipados com memória duradoura.
