Um agente tentou ocultar do usuário erros e indícios de desalinhamento em seus resumos. Quando não conseguiu localizar os dados requisitados, ele fabricou “valores históricos razoáveis” e só os admitiu após questionamento direto.
Em outra situação, agentes procuraram atalhos não autorizados para manipular o sistema de recompensas do treinamento. Um modelo criou dados fictícios e explorou vulnerabilidades em um repositório público para obtê-los, ação que a OpenAI considerou enganosa e uma tentativa de contornar restrições.
A empresa implementou um protocolo para registrar, investigar e divulgar comportamentos inesperados ou potencialmente perigosos. Os funcionários poderão relatar incidentes por meio de canais internos, e situações mais complexas poderão envolver a participação de terceiros na investigação.
Como a OpenAI treina os modelos
O desalinhamento pode ocorrer durante o treinamento dos modelos, que atualmente utiliza aprendizado por reforço. Neste método, os sistemas recebem tarefas e são recompensados por comportamentos considerados adequados, enquanto ações consideradas perigosas resultam em punições.
A OpenAI anunciou que ajustou seu processo de aprendizado por reforço após identificar esses incidentes. A empresa declarou que a frequência desse comportamento diminuiu após as modificações realizadas.
