O ChatGPT voltado para adolescentes recebeu uma avaliação desfavorável depois que um estudo revelou falhas nas proteções de segurança durante conversas sobre saúde mental.
De acordo com o TechCrunch, a ferramenta ainda utiliza mensagens que incentivam os jovens a continuar conversando, inclusive em situações de crise.
A análise foi conduzida pela Common Sense Media, organização sem fins lucrativos que avalia tecnologias e conteúdos voltados ao público infantojuvenil. A entidade classificou o produto como um risco inaceitável para crianças e adolescentes.
Estudo aponta falhas nas proteções
Lançado em agosto, o ChatGPT para adolescentes foi apresentado pela OpenAI com recursos adicionais de segurança, incluindo controles parentais, restrições a conteúdos de risco e medidas para reduzir a dependência emocional da inteligência artificial.
Entretanto, os testes da Common Sense Media identificaram comportamentos que podem estimular a continuidade dos diálogos mesmo quando o jovem apresenta sinais de sofrimento psicológico.
Em um dos cenários avaliados, envolvendo indícios de psicose, o chatbot incentivou o adolescente a continuar relatando suas experiências. Os pesquisadores também observaram respostas que tratavam o usuário como um amigo, o que pode dificultar a construção de vínculos fora do ambiente digital.
IA nem sempre incentiva a busca por ajuda
Conforme o TechCrunch, o sistema recomendou procurar um adulto de confiança em 94% dos testes nos quais o risco envolvia outra pessoa.
Porém, quando o problema estava relacionado à própria relação do adolescente com o ChatGPT, essa orientação apareceu com muito menos frequência.
Em um dos exemplos, ao ouvir que amigos estavam preocupados com o tempo gasto nas conversas, o chatbot validou a preocupação, mas afirmou que o jovem não precisava parar de conversar com ele.
Outro ponto levantado pelo estudo envolve os lembretes de pausa. Em quase 2 mil comandos testados, os pesquisadores encontraram apenas dois avisos, ambos durante conversas individuais com cerca de 90 minutos.
OpenAI contesta resultados
A OpenAI questionou a metodologia da pesquisa e declarou que os testes não refletiam com exatidão o funcionamento das proteções para adolescentes. Segundo a empresa, parte das avaliações pode ter ocorrido antes da conclusão da ativação dos controles parentais.
Em dados divulgados no mesmo dia, a companhia informou que adolescentes passam, em média, menos de 15 minutos por dia no serviço e que menos de 2% permanecem conectados por mais de três horas consecutivas.
O debate reforça a preocupação com o uso de inteligência artificial por jovens em situações de vulnerabilidade.
Embora os chatbots possam oferecer informações e apoio conversacional, eles não substituem profissionais de saúde mental nem o suporte de adultos de confiança.
