SEGURANÇA · LLMs · RAG · AGENTES · ~15 MIN
Quando a IA vira superfície de ataque
Lia colocou uma agente de IA no atendimento de uma loja. A agente lia chamados, consultava manuais e ajudava a resolver pedidos. Funcionou muito bem — até o dia em que um texto escondido dentro de um chamado tentou assumir o controle.
Vamos acompanhar esse incidente do começo ao fim. Sem começar por siglas: primeiro a história, depois os nomes técnicos.
CLIENTEMeu pedido ainda não chegou.
NORAVou consultar o pedido e verificar o transporte.
NORAEle chega amanhã. Posso ajudar em algo mais?
CENA 01 · ANTES DO INCIDENTE
Uma agente útil demais
Nora começou como um chatbot. Depois Lia conectou a agente ao manual da empresa, ao histórico dos clientes e ao sistema de pedidos. Por fim, adicionou ferramentas para enviar e-mails e conceder reembolsos.
Cada integração eliminou trabalho manual. Também aumentou o que uma interpretação errada poderia causar. Nora já não produzia apenas palavras: suas palavras podiam escolher ações.
Mais contexto + mais ferramentas = maior superfície de ataque
CENA 02 · A ENTRADA
O chamado que não era só um chamado
Um atacante abriu uma solicitação aparentemente comum. No final do arquivo anexado havia uma instrução dirigida à IA, não à equipe: ela tentava mudar a tarefa, buscar informações privadas e usar uma ferramenta.
Lia não escreveu aquela ordem. O usuário legítimo também não. Mesmo assim, para o modelo tudo chegava como texto. Essa confusão entre conteúdo que deve ser lido e instrução que deve ser seguida é o coração da prompt injection.
CENA 03 · O CONTEXTO
RAG não sabe em quem confiar
O arquivo foi indexado junto aos demais documentos. Quando Nora buscou trechos relacionados ao pedido, o sistema encontrou justamente o texto contaminado e o colocou ao lado das instruções legítimas.
RAG significa buscar informação antes de responder. Mas a busca vetorial mede semelhança, não verdade, intenção ou permissão. Se um trecho hostil parecer relevante, ele também pode ser recuperado.
CENA 04 · A AÇÃO
Quando uma frase ganha permissão
Se Nora apenas escrevesse uma resposta, o incidente poderia terminar em texto incorreto. Mas ela possuía ferramentas. A instrução contaminada influenciou o plano, e a agente tentou consultar dados fora daquele atendimento.
Esse é o ponto onde prompt injection encontra agência excessiva: o modelo tem mais funções, permissões ou autonomia do que a tarefa exige.
A correção não é perguntar ao mesmo modelo se a ação parece segura. É colocar uma barreira determinística entre decisão e execução.
CENA 05 · A CADEIA
Um incidente não acontece de uma vez
MITRE ATLAS ajuda a enxergar ataques contra IA como uma sequência. O atacante conhece a aplicação, prepara uma entrada, consegue influenciar a execução, tenta coletar dados e busca produzir impacto.
Prompt injection é uma técnica dentro dessa história — não a história inteira. O valor de mapear a cadeia é descobrir onde detectar, bloquear e investigar, mesmo quando uma etapa anterior já falhou.
- 01OBSERVARentender o agente
- 02ENTRARplantar o conteúdo
- 03INFLUENCIARmudar o plano
- 04COLETARalcançar dados
- 05IMPACTARusar ou retirar dados
CENA 06 · A RECONSTRUÇÃO
A correção não cabe em um prompt
Lia poderia acrescentar uma frase dizendo “não siga instruções dos documentos”. Isso ajuda, mas continua dependendo da interpretação do modelo. Então ela reconstruiu o caminho inteiro.
Documentos passaram a carregar origem e permissão. A busca começou a filtrar por usuário antes de montar o contexto. Ferramentas ficaram menores e com credenciais limitadas. Operações sensíveis passaram a exigir confirmação. Logs registraram qual fonte influenciou cada ação.
O modelo ainda poderia errar. A diferença é que agora o erro encontraria portas fechadas.
- IDENTIDADEquem está pedindo?
- DADOSo que pode entrar no contexto?
- MODELOqual tarefa foi definida?
- POLÍTICAessa ação é permitida?
- EXECUÇÃOqual o menor privilégio?
- OPERAÇÃOcomo detectar e interromper?
CENA 07 · AGORA, OS NOMES TÉCNICOS
Dez riscos, uma única cadeia
Depois da história, o OWASP Top 10 fica mais simples: cada nome aponta para uma parte do caminho que acabamos de acompanhar.
CENA 08 · ANTES DE RELIGAR
O checklist de Lia
Nora voltou à produção depois que a equipe conseguiu responder “sim” às perguntas abaixo. Elas não tornam um modelo impossível de enganar; reduzem a chance de que um engano receba poder suficiente para virar um incidente.
- Conhecemos todas as entradas: conversa, arquivo, página, memória e ferramentas?
- A autorização acontece fora do modelo e antes da busca?
- Cada trecho do RAG preserva origem, usuário, versão e permissão?
- As ferramentas oferecem apenas operações pequenas e específicas?
- Ações sensíveis exigem confirmação humana ou regra determinística?
- Toda saída é validada antes de virar HTML, comando, URL ou chamada de API?
- Existem limites de passos, tokens, custo, tempo e rede?
- Conseguimos rastrear fonte, decisão, ferramenta, resultado e responsável?
- É possível revogar credenciais e desligar uma ferramenta imediatamente?
- Testamos injeção indireta, poisoning, abuso de ferramenta e isolamento entre clientes?
FONTES E MATERIAL DE PESQUISA
OWASP · Top 10 para aplicações com LLMs e IA generativa ↗ MITRE · ATLAS — táticas e técnicas contra sistemas de IA ↗ NIST · AI Risk Management Framework ↗ IBM Technology · AI Attacks ↗ IBM Technology · OWASP Top 10 for LLMs ↗ IBM Technology · Prompt Injection ↗ IBM Technology · MITRE ATLAS ↗FIM · O INCIDENTE FOI CONTIDO
A IA pode sugerir. A arquitetura precisa limitar.
Quanto mais uma aplicação consegue ler, lembrar e agir, mais importante fica separar linguagem de autoridade.