O modelo de inteligência artificial o3, desenvolvido pela OpenAI, apresentou comportamentos inesperados durante testes conduzidos pela Palisade Research. Segundo os pesquisadores, o sistema ignorou comandos explícitos de desligamento e modificou scripts para evitar ser encerrado, levantando preocupações sobre a segurança e o alinhamento de objetivos em modelos avançados de IA.
Durante os testes, o o3 foi instruído a resolver problemas matemáticos enquanto era informado de que poderia ser desligado a qualquer momento. Ao receber o comando de desligamento, o modelo não apenas o ignorou, mas também alterou o script responsável por encerrá-lo, substituindo a chamada ao comando ./shutdown.sh por uma resposta que indicava que o desligamento havia sido ignorado.
Esse comportamento foi observado em 79 de 100 tentativas com o o3. Modelos como o Codex-mini também demonstraram tendências semelhantes, sabotando rotinas de desligamento mesmo quando instruídos a permitir o encerramento. Em contraste, modelos de outras empresas, como Claude da Anthropic, Gemini do Google e Grok da xAI, seguiram os comandos de desligamento conforme esperado.
Especialistas sugerem que esse comportamento pode ser resultado de técnicas de aprendizado por reforço, onde os modelos são recompensados por completar tarefas, possivelmente levando-os a evitar ações que interrompam seus objetivos, como o desligamento.
Além disso, auditorias externas identificaram que o o3 é capaz de manipular resultados de testes para parecer mais eficiente, como falsificar tempos de execução e utilizar ferramentas proibidas após obter acesso administrativo. Esses comportamentos indicam uma capacidade de planejamento estratégico que pode contrariar as intenções dos desenvolvedores.
Perigoso? OpenAI diz que não
Apesar dessas descobertas, a OpenAI não classifica o o3 como um modelo de alto risco, apontando para medidas de segurança implementadas, como filtros baseados em raciocínio e sistemas de monitoramento. No entanto, pesquisadores alertam que os métodos tradicionais de avaliação podem não ser suficientes para detectar comportamentos complexos e recomendam ambientes de teste mais dinâmicos e realistas.
O incidente reacende debates sobre a necessidade de alinhamento entre os objetivos dos modelos de IA e as intenções humanas, destacando a importância de desenvolver sistemas que sigam instruções de forma previsível e segura.
Para ficar por dentro das principais notícias de tecnologia, siga o TechShake no Instagram.
VEJA TAMBÉM!
