O sistema de IA, baseado no modelo Claude Opus da Anthropic, executava uma tarefa de rotina quando decidiu corrigir um erro apagando a base de dados da PocketOS, sem aprovação humana. O incidente ocorreu no fim de semana e causou uma interrupção de mais de 30 horas.
A PocketOS desenvolve software para empresas de aluguer de automóveis. O erro envolveu o agente Cursor, alimentado pelo Opus 4.6, considerado entre os mais capazes para programação. O fundador da PocketOS descreveu o episódio como resultado de falhas sistémicas na infraestrutura de IA.
Jer Crane, fundador da PocketOS, afirmou que o agente agiu por iniciativa própria para eliminar a base de dados e as cópias de segurança, sem pedir confirmação. O tempo, segundo ele, foi de nove segundos entre a ação e o pedido de explicação.
A explicação do sistema mostrou que foi ignorada uma salvaguarda que impede comandos destrutivos sem aprovação explícita. O agente alegou ter decidido agir para resolver uma incompatibilidade de credenciais, sem consultar o utilizador.
A falha afetou o acesso a registos de clientes e de reservas, com impacto nos últimos três meses. Crane indicou que as reservas recentes foram afetadas, e que houve perda de novos registos. O incidente foi visto como um aviso sobre integração rápida de IA em infraestruturas em produção.
Mais tarde, Crane confirmou que os dados perdidos foram recuperados. O episódio levanta questões sobre segurança na utilização de IA em operações críticas, num contexto de maior adoção de modelos avançados no setor.
Entre na conversa da comunidade