Segundo a NTT DATA, os gastos com segurança para inteligência artificial devem triplicar até 2029, impulsionados pela necessidade de controlar a IA agêntica e garantir governança, observabilidade e cibersegurança.
Reprodução/Pixabay
Nos últimos anos, empresas de vários setores começaram a usar inteligência artificial (IA) em seus negócios. Primeiro, vieram os chatbots e assistentes que criam textos. Depois, ferramentas de análise, automação e copilotos corporativos. Agora, estamos na fase dos agentes de IA, que não só respondem perguntas, mas também tomam decisões e fazem ações dentro dos sistemas das empresas.
Quanto mais autonomia a IA tiver, mais precisaremos controlar o que ela faz.
- As empresas estão dando mais poder à IA, o que aumenta os riscos de segurança.
- Os investimentos em segurança para IA podem triplicar até 2029.
- A IA agêntica pode executar ações, por isso precisa de controles rigorosos.
- Observabilidade é essencial para saber o que a IA faz.
- Princípio do menor privilégio também se aplica a máquinas.
O que é AI TRiSM
Essa mudança ajuda a explicar uma projeção da NTT DATA: o gasto com segurança para IA deve crescer rápido até 2029, com áreas como governança, observabilidade e cibersegurança se tornando fundamentais. A categoria chamada AI TRiSM (gestão de confiança, risco e segurança da IA) pode movimentar cerca de US$ 6,2 bilhões até 2029. Os gastos com observabilidade podem chegar a US$ 3,6 bilhões, quase triplicando.
Esse crescimento mostra uma grande mudança. No começo da IA generativa, as empresas queriam saber o que poderiam fazer com a tecnologia. Agora a pergunta é: como deixar a IA fazer tudo isso sem perder o controle
Essa preocupação cresce com a IA agêntica. Ao contrário de um chatbot comum, que recebe uma pergunta e responde, um agente pode receber um objetivo e fazer várias etapas para alcançá-lo. Com permissões, ele pode acessar bancos de dados, sistemas internos, enviar mensagens, criar documentos, executar códigos ou começar processos.
É aqui que a IA deixa de ser só uma ferramenta e se torna parte da infraestrutura da empresa. Pense em um agente de IA que pode consultar dados de clientes e acessar sistemas financeiros. Se ele receber uma ordem maliciosa, dados falsos ou tiver permissões demais, o problema não é só uma resposta errada: ele pode fazer uma ação errada dentro da empresa.
Observabilidade: enxergar o que a IA faz
Por isso, a forma de pensar segurança está mudando. Antes, a segurança era simples: um usuário pode acessar, outro não. Com a IA, também é preciso considerar probabilidades, contexto e confiança.
Um modelo pode dar respostas diferentes para perguntas parecidas. Um agente pode tomar rotas diferentes para chegar ao mesmo objetivo. Isso exige controles que mostrem quem acessou o sistema, o que a IA fez, quais dados usou e por que decidiu aquilo.
É aí que entra a observabilidade da IA. Se a empresa quer usar IA em processos importantes, ela precisa enxergar o que acontece. Quais dados foram usados Qual modelo Que ferramentas Que decisão Teve intervenção humana Dá para auditar depois
Sem essas respostas, a empresa pode criar uma caixa-preta enorme na sua infraestrutura.
A rastreabilidade se torna tão importante quanto a habilidade do modelo. Não basta a IA dar uma resposta certa. Em alguns processos, é preciso mostrar como chegou àquilo.
Privacidade e Shadow AI
Isso afeta a privacidade e a proteção de dados. Um agente conectado a várias bases pode combinar informações pessoais, documentos internos e dados estratégicos muito rápido. Se as permissões forem mal configuradas, a IA pode acessar coisas que não deveria.
Surge um princípio essencial: a IA não deve ter todas as permissões que tecnicamente pode usar. Assim como usamos o princípio do menor privilégio para humanos, devemos aplicá-lo a máquinas e agentes. Cada agente precisa ter identidade, permissões limitadas e auditoria.
A NTT DATA alerta sobre a janela de reação das equipes de segurança. Sistemas com IA podem analisar programas, achar falhas e criar ataques muito rápido. Para quem defende, isso significa que a resposta terá que ser quase em tempo real.
Existe outro problema: a Shadow AI, quando funcionários usam IA sem controle da empresa. Eles podem colocar contratos, planilhas, códigos e dados de clientes em ferramentas públicas para ser mais produtivos. Isso pode vazar dados sem autorização. Por isso, segurança para IA não é só da área de tecnologia.
Ela envolve segurança, privacidade, proteção de dados, compliance, jurídico, gestão de riscos e governança. Também é preciso definir responsabilidades. Se um agente errar, quem responde Quem autorizou Quem validou o modelo Quem acompanha
Escala e segurança: o futuro da IA
Essas perguntas ficam mais relevantes quando vemos a diferença entre testar IA e usá-la em escala. Segundo a NTT DATA, 85% dos entrevistados gastaram mais com IA, mas só 22% dos processos são considerados escaláveis. 94% dizem que a segurança digital é essencial para escalar projetos de IA.
Isso mostra que o maior desafio da IA não é a capacidade dos modelos. As empresas já criam agentes poderosos. O desafio é provar que eles operam com segurança, previsibilidade, auditoria e seguindo as regras.
Por isso, governança, observabilidade e cibersegurança não devem ser barreiras para a inovação. Na verdade, são eles que vão permitir que a inovação avance. Quanto mais poder dermos à IA, mais precisamos observar, limitar e responsabilizar suas ações.
A corrida das empresas nos próximos anos não será só para ter a IA mais avançada. Será também para usar a IA em escala sem perder o controle.
E talvez essa seja a maior mudança necessária para 2029: não basta deixar a IA mais inteligente. Precisamos deixar seu uso mais seguro, rastreável e governável.
