- O cofundador da Anthropic, Jack Clark, pediu ao setor da IA que pise o travão antes de a tecnologia evoluir sem supervisão humana.
- Clark disse à BBC que oitenta por cento do trabalho de programação da Anthropic já é feito pela IA Claude e que esse patamar pode chegar a cento por cento dentro de alguns anos.
- A empresa afirma que é uma escolha permitir que as empresas avancem sem travões e defende que o tema seja debatido globalmente.
- O conceito em causa é o autoaperfeiçoamento recursivo, em que a IA pode melhorar a si própria sem intervenção humana, com potenciais riscos de perda de controlo.
- A Anthropic revelou planos de investigar sistemas que verifiquem se os desenvolvedores estão a parar ou a abrandar o avanço, reconhecendo que um afastamento real exigiria cooperação de vários laboratórios bem financiados, em diversos países.
O cofundador da Anthropic, Jack Clark, defende que o setor da inteligência artificial deve travar a evolução da tecnologia sem supervisão humana. Em declarações à BBC, Clark explicou que 80% do trabalho de programação já é feito pela IA Claude e que esse patamar pode atingir os 100% em anos próximos.
Clark esclareceu que a decisão de permitir ou não que as IA se desenvolvam de forma autónoma depende do setor. O objetivo é abrir o debate público sobre o tema e promover a criação de salvaguardas antes de avanços sem travões.
Este processo, designado como autoaperfeiçoamento recursivo, permite que uma IA melhore a si própria sem intervenção humana. Na prática, isso significa que agentes criados por chatbots podem tornar-se capazes de construir e treinar novos modelos.
A Anthropic destacou que, num cenário recursivo, Claude poderia evoluir de forma contínua, o que aumenta o risco de perda de controlo por parte dos humanos. O texto do blogue da empresa sublinha a importância de medidas de proteção e vigilância.
Ainda segundo a empresa, há indícios de que a recursividade possa chegar mais cedo do que o previsto, com quedas persistentes nas taxas de correção de código feitas pela equipa. Menor incidência de erros sugere maior autonomia do modelo.
Claude é também capaz de realizar experiências de investigação por iniciativa própria, respondendo a perguntas em aberto e buscando soluções sem intervenção humana, de acordo com o blogue da Anthropic. Os desenvolvedores teriam, assim, menor papel a cada etapa.
A Anthropic indicou que vai promover investigação para criar um sistema que verifique se os desenvolvedores estão a travar ou a abrandar o avanço para a IA recursiva. O objetivo é tornar a monitorização mais eficaz.
No entanto, a empresa reconhece que um abrandamento efetivo exigiria o acordo de vários laboratórios bem financiados, em diferentes países, para adotar as mesmas condições de pausa ou limitação.
Entre na conversa da comunidade