A IA mal configurada pode provocar a paralisação de infraestrutura crítica nacional em um país do G20 até 2028. A previsão é do Gartner, que alerta para riscos crescentes de interrupções causadas não por ataques cibernéticos, mas por falhas humanas e técnicas em sistemas ciberfísicos (CPS). Esses sistemas orquestram sensoriamento, computação, controle e análise para interagir com o mundo físico, incluindo redes elétricas e plantas industriais.
Segundo Wam Voster, vice-presidente Analista do Gartner, a próxima grande falha de infraestrutura pode não vir de hackers ou desastres naturais. Um engenheiro bem-intencionado, um script de atualização defeituoso ou um decimal posicionado incorretamente podem desencadear crises de proporções nacionais.
Riscos da opacidade dos modelos
Os modelos modernos de Inteligência Artificial são tão complexos que funcionam como caixas pretas. Nem mesmo os desenvolvedores conseguem prever como pequenas alterações na configuração afetam o comportamento do sistema. Essa opacidade amplifica os riscos de configuração incorreta, que pode desligar autonomamente serviços vitais ou interpretar erroneamente dados de sensores.
Redes elétricas modernas, por exemplo, dependem de IA para equilibrar geração e consumo em tempo real. Um modelo preditivo mal ajustado pode interpretar a demanda como instabilidade, acionando cortes desnecessários em regiões inteiras ou países. Isso representa ameaças diretas à segurança pública e à estabilidade econômica.
