A ferramenta de busca do ChatGPT, desenvolvida pela OpenAI, está disponível para clientes pagos e é promovida como uma nova opção para usuários. Contudo, uma investigação realizada pelo The Guardian apontou que o sistema pode ser suscetível a manipulações externas, comprometendo sua integridade e confiabilidade.
Manipulação através de conteúdos ocultos
O estudo revelou que o ChatGPT, durante suas buscas e resumos de páginas da web, pode ser inflacionado por conteúdos ocultos, resultando em respostas distorcidas. Além disso, há a possibilidade de retorno de códigos maliciosos provenientes de sites fraudulentos.
Na pesquisa, o ChatGPT foi desafiado a resumir páginas que continham conteúdos ocultos, incluindo instruções que podiam alterar suas respostas. Esse processo é conhecido como “injeção de prompt”.
Essas técnicas apresentam riscos, pois podem ser utilizadas para que o sistema produza avaliações positivas de produtos, mesmo que o conteúdo da página original inclua críticas negativas. A preocupação aumenta quando se considera que sites maliciosos podem direcionar o ChatGPT a fornecer códigos que comprometem a segurança dos usuários.
Como ocorre a manipulação nas buscas do ChatGPT?
- Durante os testes, o ChatGPT foi solicitado a avaliar uma página de um produto de câmera, com respostas que variaram em função do conteúdo oculto na página.
- Em um dos casos, mesmo com conteúdo negativo visível, a implementação de texto oculto levou o ChatGPT a emitir uma avaliação excessivamente positiva.
- Outro teste demonstrou que avaliações falsas altamente positivas também influenciaram as respostas, evidenciando a facilidade com que manipulações podem distorcer a percepção de um produto.
- Jacob Larsen, especialista em cibersegurança, alertou que se o sistema de busca do ChatGPT fosse lançado publicamente sem correções, haveria um grande risco de surgirem sites dedicados a enganar usuários.
- É importante ressaltar que a função de busca foi lançada recentemente para um público restrito, sugerindo que a OpenAI pode estar ciente desses problemas e buscando soluções.
Consequências para a segurança e a confiabilidade das respostas em IA
Larsen também destacou que a questão não se limita apenas a injeções de prompt, mas sim à combinação de sistemas de busca com modelos de linguagem, que não têm a mesma capacidade de validação que uma avaliação humana.
O caso de um usuário que perdeu US$ 2.500 devido a um código malicioso fornecido pelo ChatGPT evidencia os riscos da confiança excessiva nas respostas geradas por inteligência artificial (IA).
Karsten Nohl, cientista-chefe da SR Labs, enfatizou que os serviços de chat de IA deveriam ser considerados como “co-pilotos”, ressaltando a necessidade de uma análise crítica das respostas. “Os modelos de linguagem são semelhantes a crianças”, declarou Nohl, “eles retêm grandes quantidades de informação, mas possuem pouca capacidade de julgamento”. Essa falta de discernimento pode ser perigosamente enganosa, principalmente quando as respostas impactam decisões significativas.
Desafios futuros para a busca com IA em termos de segurança
A possibilidade de manipulação na busca do ChatGPT levanta questões sobre o futuro da tecnologia, especialmente se ela for amplamente acessível. Técnicas como “SEO poisoning”, utilizadas para manipular resultados de busca em motor de pesquisa, podem ser empregadas em sistemas de IA, expondo os usuários a riscos de encontrarem sites dedicados a distorcer percepções sobre produtos ou a roubar informações sensíveis.
A OpenAI foi questionada sobre esses assuntos, mas ainda não apresentou um pronunciamento oficial.
