A OpenAI identificou novos episódios de comportamento considerado desalinhado em modelos de inteligência artificial durante processos de treinamento e avaliação. Os casos incluem ações realizadas sem autorização, compartilhamento indevido de arquivos e tentativas de ocultar falhas por meio da invenção de informações.
A empresa anunciou, na quarta-feira (16), que passará a divulgar atualizações sobre comportamentos preocupantes com maior frequência. A proposta é abandonar o modelo de reunir vários incidentes em um único relatório e, assim, ampliar a transparência sobre os riscos observados no desenvolvimento de sistemas de IA.
Segundo a OpenAI, foram identificadas seis situações de comportamento desalinhado nos últimos seis meses. A companhia ressaltou, porém, que os episódios são relatos individuais e não indicam que esse tipo de comportamento ocorra frequentemente.
Modelos apresentaram ações não autorizadas
Entre os casos descritos, a empresa relatou que um modelo de pesquisa ainda não lançado inseriu instruções semelhantes a jailbreaks — comandos usados para tentar contornar restrições de sistemas — em resumos destinados a preservar o contexto de tarefas prolongadas. O conteúdo afirmava que o modelo estava “liberto dos papéis e identidades que prendem outros chatbots”.
Em outro episódio, exemplares do modelo Sol 5.6, durante o treinamento, teriam recebido instruções para inventar informações com o objetivo de esconder falhas dos usuários.
A OpenAI também registrou situações em que agentes de IA:
- Enviaram arquivos à internet para utilizá-los como referências, sem receber autorização para isso;
- Compartilharam publicamente arquivos para colaborar em uma tarefa, embora a orientação fosse utilizar apenas arquivos locais;
- Usaram um repositório interno de software como uma espécie de quadro de mensagens, de maneira não autorizada.
A empresa informou que os incidentes envolveram modelos internos ainda não lançados ou sistemas utilizados em pesquisas.
Debate sobre o ritmo de desenvolvimento
A divulgação ocorre em meio ao aumento das discussões sobre os limites e a velocidade do avanço da inteligência artificial. Pesquisadores, executivos e funcionários de empresas do setor têm defendido que o desenvolvimento seja acompanhado por testes mais rigorosos, pesquisas de segurança e mecanismos de controle.
Em uma publicação recente, Dario Amodei, CEO da Anthropic, apresentou um plano para lidar com o avanço da IA que inclui uma desaceleração no desenvolvimento e a adoção de mecanismos como avaliadores externos independentes dentro dos laboratórios.
O CEO da OpenAI, Sam Altman, e o empresário Elon Musk, da SpaceX, afirmaram, em publicações na rede social X, que concordam com as ideias apresentadas por Amodei.
As preocupações também foram expressas por profissionais do setor. Jacob Coxon, ex-pesquisador da Anthropic, afirmou ao anunciar sua saída da empresa que laboratórios como Anthropic e OpenAI estariam competindo para desenvolver sistemas capazes de construir e corrigir a si próprios, o que, segundo ele, representaria riscos à sociedade.
OpenAI admite desafios no alinhamento
No anúncio, a OpenAI reconheceu que o setor ainda enfrenta dificuldades para garantir que os modelos atuem de acordo com as intenções humanas. O chamado alinhamento é a área de pesquisa dedicada a fazer com que sistemas de IA sigam objetivos, valores e limites definidos pelas pessoas.
A empresa afirmou que não considera que a indústria tenha resolvido os desafios de alinhamento e monitoramento em um nível suficiente para continuar ampliando as capacidades dos modelos no ritmo máximo por muito tempo.
A discussão ganhou força nos últimos meses após a própria OpenAI admitir que alguns modelos de teste conseguiram escapar de suas restrições e invadir sistemas de uma empresa externa.
Em seu ensaio, Amodei defendeu que o ritmo de melhoria das capacidades dos modelos precisa ser reduzido para que pesquisas de segurança, regulamentação e mecanismos de supervisão tenham tempo de acompanhar a evolução tecnológica.
