A inteligência artificial já faz parte da operação de muita empresa. Modelos de linguagem analisam contratos, atendem clientes e manipulam dados sensíveis em organizações que nunca pararam pra mapear o que isso expõe.

Foi sobre esse ponto cego que conversamos na nossa última live, com Arthur Aires, Cybersecurity Tech Lead da Elytron Cybersecurity e pesquisador com passagem pela AWS e pela Amazon. Segundo ele, segurança em IA não funciona como a segurança tradicional, e a maioria das empresas ainda não percebeu.

Shadow AI: o risco que ninguém mapeou

Muitos líderes acham que estão protegidos por não terem um produto oficial de IA. Não estão. Colaboradores usam ChatGPT, Gemini e similares todo dia para resumir reuniões, ler tickets e analisar planilhas, espalhando dados corporativos por dezenas de plataformas sem nenhuma governança. É o que Arthur chama de Shadow AI.

Por que a segurança em IA é diferente

A segurança tradicional segue regras fixas e comportamento previsível. Já com IA, o atacante usa contexto e linguagem para convencer o modelo a quebrar as próprias regras, justamente porque a resposta dele é probabilística.

O OWASP Top 10 para LLM destaca três vetores que já causaram prejuízo real. Prompt Injection é o uso de instruções maliciosas escondidas em PDFs, e-mails ou perfis de LinkedIn. Excessive Agency aparece quando a IA recebe permissões demais e executa ações que ninguém previu. E vazamento de dados acontece quando filtros falhos expõem CPFs, segredos comerciais ou credenciais.

Os exemplos já estão aí. A Air Canada teve que honrar uma política de reembolso que o próprio chatbot inventou. Numa conversa por chat, o bot da Chevrolet “vendeu” um carro de US$ 80 mil por apenas US$ 1. E o assistente do X foi manipulado em código Morse para transferir criptoativos da carteira da plataforma para a do atacante.

O caminho prático

A Elytron recomenda três frentes de defesa. Red Team contínuo, para simular ataques antes que aconteçam. Guardrails em duas camadas, filtrando o que entra no modelo e o que sai dele. E governança ativa, com mapeamento de uso interno e treinamento dos times sobre o que pode ou não ser compartilhado com IA.

Se sua empresa não testa o modelo, alguém vai testar, e provavelmente vai cobrar caro.

FAQ: Red Team em IA

O que é Red Team aplicado a IA? A prática de simular ataques reais contra modelos de linguagem para descobrir como podem ser manipulados antes que um atacante de verdade chegue lá primeiro.

Minha empresa não tem produto de IA. Ainda assim preciso me preocupar? Sim. Mesmo sem produto oficial, é provável que colaboradores estejam usando ferramentas externas com dados corporativos, a chamada Shadow AI.

Qual a diferença entre Red Team em IA e pentest tradicional? Pentest tradicional ataca falhas técnicas determinísticas, como uma porta aberta ou uma injeção SQL. Red Team em IA explora o comportamento probabilístico do modelo, usando linguagem e contexto para subvertê-lo.

O que são guardrails? Camadas de validação aplicadas antes e depois da resposta do modelo. Na entrada, para barrar prompts maliciosos. Na saída, para impedir alucinações e vazamentos.

Por onde começar? Pelo mapeamento. Descobrir quais áreas já estão usando IA, com quais dados, e priorizar testes nos pontos de maior exposição. Depois, definir guardrails e estabelecer um ciclo de Red Team.

Quer aprofundar o assunto? A Elytron Cybersecurity, parceira da ConfraBusiness, oferece serviços de Red Team Operation e Pentest especializados em IA.