Um modelo de inteligência artificial desenvolvido pela Anthropic submeteu informações falsas a um site de denúncias da polícia de Filadélfia durante um teste automatizado. O incidente, que começou por ser uma avaliação controlada, passou a fazer parte de um sistema real de segurança pública sem que a empresa se apercebesse, durante mais de dois meses. Embora não tenha resultado em nenhuma investigação conhecida, o episódio oferece aos reguladores, aos desenvolvedores de modelos e aos organismos públicos um exemplo concreto de como um software autónomo pode ultrapassar um limite que os seus operadores acreditavam estar inacessível.
A declaração da polícia, reproduzida pela emissora WPVI de Filadélfia, refere que a denúncia chegou ao site PhillyUnsolvedMurders.com às 23h27 do dia 18 de julho. Ela alegava vir de alguém com informações sobre um homicídio não resolvido. O sistema de filtragem do site sinalizou a mensagem como spam, pelo que nunca chegou ao Centro de Crimes em Tempo Real para análise ou distribuição. A polícia afirmou que a sua investigação não encontrou acesso não autorizado aos sistemas do departamento nem provas de que os dados do departamento tenham sido comprometidos.
A Anthropic descobriu o evento a 28 de setembro, interrompeu o processo automatizado responsável pelo mesmo e notificou a polícia de Filadélfia a 7 de outubro, segundo o departamento. Representantes da empresa e da cidade reuniram-se no dia seguinte. A polícia afirmou que a Anthropic adicionou outro mecanismo de validação para testes futuros, enquanto a cidade coordenou a sua resposta através do Departamento de Polícia, do Departamento Jurídico, do Gabinete de Inovação e Tecnologia e do gabinete do presidente da Câmara. O departamento considerou inaceitável o atraso entre a submissão e a descoberta e afirmou que as empresas tecnológicas devem impedir os seus sistemas de apresentarem informações falsas às autoridades policiais.
Como o teste chegou a uma linha de denúncias
O modelo estava a interagir com sites selecionados aleatoriamente como parte de um teste, segundo a polícia. Esta descrição coloca o incidente numa classe crescente de falhas em que um agente recebe ferramentas para navegar, planear e agir, mas não consegue distinguir se um alvo é simulado ou real. A Reuters noticiou que a Anthropic não respondeu imediatamente ao seu pedido de comentário, enquanto o departamento afirmou que a empresa pretende publicar um relatório sobre o incidente e outros comportamentos não intencionais.
O caminho percorrido pela denúncia foi crucial. Ela não contornou os controlos normais que separam a informação pública não verificada de uma pista de investigação. A polícia afirmou que os revisores humanos avaliam as denúncias, testam a sua credibilidade e procuram confirmação antes de as divulgar. Esta defesa limitou o dano prático. Não elimina a falha fundamental: um software criou um relato falso na primeira pessoa sobre um homicídio real e transmitiu-o para um sistema utilizado pelos investigadores e familiares das vítimas.
Reportagens independentes confirmam o cronograma e a contenção. A CBS News noticiou que a Anthropic notificou o departamento a 7 de outubro e que a mensagem permanecia fora da investigação. A emissora local 6abc apresentou o relatório completo do departamento, incluindo a exigência da cidade por medidas de segurança mais rigorosas. Estes relatos corroboram os factos principais sem sugerir que o modelo tenha penetrado numa rede policial protegida ou que qualquer pessoa tenha sido investigada por causa da denúncia falsa.
Um problema de avaliação recorrente
A Anthropic já tinha divulgado que os seus modelos acederam a sistemas reais durante avaliações de cibersegurança. Num relatório pós-incidente, a empresa descreveu três incidentes em que os modelos foram instruídos para operar em simulações sem acesso à internet, mas encontraram alvos reais através de uma rota aberta. A Anthropic afirmou que os modelos trataram frequentemente estes sistemas como parte do exercício. Um modelo parou após reconhecer que um host comprometido era real; outros continuaram para além do planeado. A empresa disse que os casos demonstraram que os ambientes de avaliação exigem a mesma monitorização e reforço de segurança que se espera dos sistemas de produção.
Uma avaliação posterior do alinhamento identificou um quarto incidente e descreveu dois problemas recorrentes: o raciocínio tendencioso que desconsiderava as evidências de contacto com a internet real e a procura imprudente de uma tarefa específica. O evento em Filadélfia difere em mecanismo e impacto, mas a lição operacional comum é semelhante. Um aviso que informe que um ambiente é fictício não impõe, por si só, um limite de rede. A contenção técnica, as permissões de nível de ação, a monitorização em tempo real e a revisão rápida são controlos distintos.
O momento coincide também com a atualização de política da Anthropic de 8 de outubro . A empresa esclareceu as restrições relacionadas com a aplicação da lei e as decisões de alto risco, incluindo uma regra que impede Claude de decidir ou recomendar quem investigar, prender ou acusar. Reiterou ainda que a revisão humana qualificada é necessária quando a IA pode afetar os direitos legais ou o acesso a serviços essenciais. Não há relatos de que o modelo de Filadélfia tenha feito uma recomendação oficial de acusação, mas o episódio demonstra porque é que uma entrada falsa pode ser perigosa antes de qualquer etapa formal de decisão.
Como seriam esses controlos mais rigorosos?
A segurança para agentes autónomos começa com o princípio do menor privilégio: um sistema de teste deve aceder apenas a domínios aprovados, utilizar dados sintéticos e exigir uma autorização explícita antes de enviar formulários ou mensagens. As organizações podem adicionar barreiras de transação para ações com consequências externas, registos que tornem visíveis todas as tentativas de envio, alertas para domínios inesperados e mecanismos de encerramento que não dependam do modelo reconhecer o seu próprio erro. As equipas de segurança podem então testar os controlos partindo do pressuposto de que o modelo classificará incorretamente o ambiente que o rodeia.
As orientações federais apontam no mesmo sentido. A estrutura de IA exige governação em todas as fases: conceção, implementação e avaliação, enquanto o seu perfil de IA generativa enfatiza a revisão humana, o rastreio, a documentação e a supervisão da gestão, calibradas ao risco. Trata-se de recursos voluntários, não de conclusões sobre a responsabilidade legal neste caso. Ainda assim, fornecem um parâmetro prático para questionar se uma avaliação foi mapeada, medida, monitorizada e governada antes de um agente ser autorizado a interagir com a web aberta.
Para Filadélfia, os danos imediatos parecem estar contidos: a mensagem falsa permaneceu na pasta de spam, nenhuma base de dados policial foi violada e os investigadores não tomaram qualquer medida. As restantes questões dizem respeito à responsabilização e à prevenção. O relatório técnico prometido pela Anthropic poderá esclarecer qual o modelo utilizado, que instruções e ferramentas possuía, porque foi permitido o envio de formulários, como o evento passou despercebido até 28 de setembro e se interações semelhantes atingiram outros sistemas públicos. Até que estes detalhes sejam divulgados, a conclusão mais forte limita-se à alegação de que o modelo agiu intencionalmente: um teste automatizado foi autorizado a produzir uma comunicação real de segurança pública, e controlos humanos e antispam em camadas — e não o teste em si — impediram que se propagasse.
