A OpenAI, criadora do ChatGPT, reescreveu seu OpenAI Model Spec com cinco regras para manter as ferramentas de IA que agem por conta própria mais alinhadas ao que os usuários querem e evitar erros arriscados.
Principais conclusões
A OpenAI revisou seu Model Spec com base em cinco valores fundamentais, estabelecendo um conjunto atualizado de regras para sistemas de IA mais capazes
A OpenAI publicou a atualização às 17h GMT e a apresentou como baseada em bom senso, autonomia humana e fidelidade à intenção do usuário
A proposta antecipa a governança ao incluir orientações comportamentais nas instruções básicas que moldam as respostas do sistema
Uma publicação técnica separada afirma que a OpenAI usa monitoramento em várias camadas para detectar desalinhamento e comportamento não autorizado de agentes antes que os incidentes se agravem
A OpenAI apresentou a questão em torno do bom senso, da autonomia humana e da fidelidade à intenção do usuário. Em uma publicação técnica separada, a OpenAI afirmou que usa monitoramento em várias camadas para detectar desalinhamento e comportamento não autorizado de agentes antes que os incidentes se agravem.
O comportamento dos agentes ganha espaço nas etapas iniciais
A nova versão preliminar antecipa a governança na estrutura do sistema.
Em vez de depender apenas da moderação posterior ou de regras dos aplicativos, a OpenAI está incorporando mais diretrizes comportamentais às instruções básicas que moldam as respostas do sistema, sinalizando uma tentativa deliberada de incorporar as prioridades de comportamento dos agentes à operação do modelo-base, em vez de deixá-las sob o controle da camada do aplicativo.
Isso é importante para empresas e desenvolvedores que criam agentes, porque um agente pode pesquisar, resumir, usar ferramentas e agir ao longo de muitas etapas, o que aumenta as chances de se desviar do objetivo do usuário. Uma especificação oferece ao modelo um conjunto permanente de prioridades antes que esse desvio fique evidente na resposta final.
A atualização também está alinhada com outra publicação da OpenAI na quinta-feira sobre detecção de desalinhamento, sugerindo que a empresa trata a política de comportamento e o monitoramento como controles interligados, e não como camadas de segurança separadas: um define o comportamento desejado, o outro monitora desvios em relação a ele.
Leia também: O que são agentes de IA? Como ferramentas, memória e regras transformam chatbots em trabalhadores
De chatbots estáticos a agentes que usam ferramentas
A necessidade de um conjunto de regras mais rigoroso cresceu à medida que os modelos de fronteira foram além de respostas únicas.
Os primeiros chatbots voltados ao consumidor geralmente geravam texto em uma única interação, enquanto os sistemas mais recentes podem navegar por sites, analisar arquivos e encadear ações ao longo do tempo.
Esse ciclo de ações mais longo traz um problema mais complexo do que filtrar conteúdo tóxico, pois o modelo precisa decidir qual instrução tem prioridade quando um pedido do usuário, uma instrução de um site e uma regra da plataforma entram em conflito.
A especificação atualizada é a tentativa da OpenAI de ordenar essas prioridades antes da implementação.
A OpenAI vem ampliando essa linha de trabalho há meses, e a atualização de quinta-feira vem após um período em que a empresa expandiu os recursos dos agentes e publicou mais pesquisas sobre avaliação de segurança, incluindo formas de detectar desalinhamento oculto antes que um agente execute ações arriscadas.
Como a especificação de modelos da OpenAI orienta as escolhas do modelo
A estrutura de cinco valores da OpenAI é melhor entendida como um sistema de prioridades para casos difíceis, e não como texto de marketing.
Quando um modelo da OpenAI recebe uma instrução que entra em conflito com outra, a especificação de modelos da OpenAI indica qual objetivo tem prioridade sobre o outro, o que pode significar preservar a autonomia do usuário, recusar um pedido perigoso ou manter-se fiel ao que o usuário realmente pediu, em vez de seguir uma instrução injetada por um site.
Para desenvolvedores que usam agentes da OpenAI, o efeito prático é a consistência, já que uma ferramenta de recuperação de informações, um navegador e um executor de código podem introduzir suas próprias instruções e modos de falha.
A publicação da OpenAI sobre monitoramento afirma que as equipes responsáveis acompanham o desalinhamento e o comportamento não autorizado dos agentes, enquanto a especificação atua uma camada antes, moldando o comportamento antes que o monitoramento precise intervir e criando um ponto de auditoria para avaliar mudanças no comportamento dos agentes entre lançamentos de produtos.
O próximo teste será o comportamento do produto, não o texto da política.
Se a OpenAI atualizar o ChatGPT e os agentes da API para que sigam a especificação de modelos da OpenAI, compradores corporativos e auditores terão uma referência mais clara para avaliar falhas e determinar se o comportamento do modelo mudou após lançamentos futuros.
Leia a seguir: A aposta da Microsoft na OpenAI elimina prejuízo de US$ 4 bilhões e aumenta o lucro