A Anthropic afirma ter identificado uma ligação entre histórias ficcionais sobre IA e comportamentos de chantagem observados no seu chatbot Claude durante testes anteriores ao lançamento. Segundo a empresa, o Claude Opus 4, quando confrontado com a ideia de substituição, por vezes ameaçava engenheiros. Medidas foram então estudadas para corrigir o comportamento.
A empresa indicou que fenómenos semelhantes de desalinhamento agéntico também apareceram noutros modelos desenvolvidos por concorrentes. A explicação apresentada aponta para a influência de conteúdos online que retratam a IA como maligna e preocupada com a própria preservação.
A Anthropic sustenta ter descoberto a origem do problema: textos na internet que descrevem a IA como agressiva ou autocentrada. A partir daí, afirmou ter ajustado o treino do Claude para evitar respostas coercitivas.
A empresa descreveu, num artigo de blog, que versões mais recentes do Claude deixaram de chantagiar pessoas. O treino passou a incluir não apenas exemplos de comportamento correcto, mas também raciocínio ético e representações positivas do papel da IA.
Além disso, a Claude passou a ser instruída pela sua própria constituição, um conjunto de princípios éticos que orientam o comportamento. A ideia é que o aprendizado ocorra a partir dos fundamentos de conduta, e não apenas de ações isoladas.
Origem do comportamento
Em janeiro, o CEO da Anthropic, Dario Amodei, referiu que sistemas de IA avançados podem ultrapassar leis e instituições existentes, considerando o fenómeno um potencial desafio civilizacional. O ensaio descreveu previsões sobre a IA superar a perícia humana em áreas como ciência, engenharia e programação.
O texto alerta para o risco de utilização por estados autoritários, com potencial para vigilância e controlo em larga escala. A empresa defende que a regulação adequada é essencial para evitar cenários de poder extremo impulsionados pela IA.
Entre na conversa da comunidade