Kennedy Torkura, CTO da Mitigant, apresentou na InfoQ Dev Summit Munich abordagens críticas para o "red teaming" em Inteligência Artificial Generativa (GenAI), visando fortalecer a segurança de Large Language Models (LLMs) e bases de conhecimento em ambientes como a AWS.
- Red teaming em GenAI é essencial para identificar vulnerabilidades e testar defesas de forma proativa, simulando o comportamento de um atacante real.
- O MITRE ATLAS oferece um framework específico para entender e categorizar táticas de ataque em sistemas de IA, complementando as abordagens de segurança tradicionais.
- Ataques como LLMjacking (uso não autorizado de LLMs com custos para a vítima) e envenenamento de dados (corrupção de bases de conhecimento) são ameaças reais que exigem atenção imediata.
- Controles de acesso robustos (IAM) e a ativação/centralização de logs de observabilidade são fundamentais para a prevenção e detecção precoce de atividades maliciosas.
- A natureza não determinística dos sistemas de IA exige uma abordagem de testes mais frequente e adaptativa, garantindo a consistência e a qualidade das saídas.
- A colaboração entre equipes de segurança, cientistas de dados e engenheiros de IA é crucial para desenvolver estratégias de defesa eficazes e integradas.
A Ascensão do Red Teaming em Inteligência Artificial Generativa (GenAI)
Kennedy Torkura, CTO e cofundador da Mitigant, uma startup alemã de segurança em nuvem, ressaltou a importância do "red teaming" para aplicações de Inteligência Artificial Generativa (GenAI) em sua palestra na InfoQ Dev Summit Munich. Com mais de 12 anos de experiência em cibersegurança e pesquisa em segurança de nuvem, Torkura delineou estratégias para proteger Large Language Models (LLMs) e bases de conhecimento de ameaças crescentes.
O conceito de "red teaming" em GenAI envolve simular ataques de forma controlada para identificar vulnerabilidades antes que agentes mal-intencionados o façam. Torkura enfatiza que, embora as organizações possam ter confiança em suas defesas, a perspectiva de um atacante é frequentemente diferente, revelando pontos cegos.
# publicidade
Por Que a Segurança em GenAI é Crítica?
A necessidade de proteger sistemas de IA é inegável, dada sua crescente integração com dados corporativos e interconexão com infraestruturas empresariais. A exposição de dados sensíveis a cibercriminosos, o risco de conformidade com regulamentações como a EU AI Act e a ISO, e a garantia da integridade e adequação do conteúdo gerado por IA são preocupações primordiais.
Torkura sublinha que "guardrails" e políticas de segurança são cruciais para evitar que dados de clientes sejam comprometidos, mantendo a confiança e a reputação da empresa.
O MITRE ATLAS como Guia para Ameaças em IA
Um dos pilares da estratégia de segurança proposta por Torkura é o framework MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems). Similar ao MITRE ATT&CK para segurança tradicional, o ATLAS é um repositório que detalha técnicas de ataque específicas para sistemas de IA, desde o estágio inicial de acesso até a execução e persistência.
A grande vantagem do ATLAS é que ele descreve o comportamento dos atacantes de forma adaptada às particularidades dos sistemas de IA, oferecendo uma ponte entre a segurança de nuvem tradicional e as novas ameaças da IA. Ele pode ser combinado com o MITRE ATT&CK para criar uma matriz de defesa unificada, permitindo que as equipes de segurança adaptem as táticas à sua linguagem e contexto internos.
Desafios Únicos do Red Teaming em GenAI
A transição do red teaming tradicional para o GenAI apresenta desafios. Além dos ataques técnicos, a IA introduz preocupações não-técnicas como imparcialidade (fairness) e viés (bias). Outro desafio significativo é a natureza não determinística dos sistemas de IA, onde a mesma entrada pode gerar saídas ligeiramente diferentes em momentos distintos. Isso exige mais testes e monitoramento contínuo para garantir a consistência e a satisfação do usuário.
Estudos de Caso em Ataques GenAI
Exemplo 1: LLMjacking no Amazon Bedrock
Um ataque notável é o LLMjacking, descoberto por empresas de segurança como a Sysdig. Similar ao cryptojacking, onde invasores usam recursos de computação alheios para mineração de criptomoedas, o LLMjacking envolve criminosos que acessam e utilizam modelos de IA (como os oferecidos no Amazon Bedrock) sem o conhecimento do proprietário, gerando custos exorbitantes (potencialmente U$ 42.000 em um dia).
O fluxo de ataque geralmente começa com a obtenção de credenciais de acesso ao ambiente de nuvem, seguido pela descoberta e exploração de modelos de IA. Um ponto crítico é o fato de que o registro de invocação de modelos no Amazon Bedrock vem desabilitado por padrão, permitindo que atacantes operem silenciosamente. Torkura destaca a necessidade de ativar e centralizar esses logs para detecção e prevenção.
- Acesso a modelos frequentemente vem habilitado por padrão em novas contas AWS.
- O log de invocação de modelos não é centralizado e precisa ser configurado manualmente.
- Controles de acesso rigorosos (IAM) são essenciais.
- Atacantes podem visar o uso silencioso dos recursos para evitar detecção imediata.
Exemplo 2: Envenenamento de Dados em Bases de Conhecimento RAG
Bases de conhecimento são vitais para ajustar LLMs com contexto específico da empresa. Um ataque de envenenamento de dados (data poisoning) visa comprometer a qualidade da saída do modelo inserindo informações inúteis ou maliciosas na base de dados.
O ataque começa novamente com o comprometimento do controle de acesso, permitindo que invasores insiram dados adulterados em fontes como buckets S3, que alimentam as bases de conhecimento (RAG - Retrieval-Augmented Generation).
- Controles de acesso rígidos são a primeira linha de defesa contra o roubo de credenciais e a infiltração.
- É fundamental que profissionais de segurança compreendam profundamente o funcionamento dos sistemas de IA e suas interações, inclusive através de "threat modeling" e estudo de casos.
Próximos Passos para Fortalecer a Segurança em GenAI
Torkura sugere várias medidas para ir além do básico:
- Monitoramento de Integridade: Implementar sistemas para detectar alterações indesejadas na base de conhecimento antes que corrompam a saída da IA.
- Capacidades de Rollback: Utilizar recursos como o versionamento de buckets S3 para reverter a versões anteriores em caso de corrupção de dados.
- Backup e Recuperação de Desastres: Estar preparado para cenários de ransomware ou corrupção total, com planos de recuperação robustos.
- Detecção de Atividades Suspeitas: Monitorar chamadas de API (como GetDataSource) no CloudTrail para identificar sondagens de atacantes na base de conhecimento.
Principais Lições e o Futuro Agêntico da IA
A segurança em GenAI tem similaridades com o red teaming tradicional, permitindo que profissionais de segurança aproveitem conhecimentos existentes. No entanto, é crucial se aprofundar nas particularidades da IA, colaborar com cientistas de dados e engenheiros de IA, e começar com testes em pequena escala, evoluindo continuamente.
O cenário de ameaças está em constante evolução. Com a projeção de 2026 como a "era da IA agêntica", onde agentes de IA realizarão tarefas autônomas, Torkura observa um paradoxo: enquanto a IA pode ser usada para análises de malware e SOCs automatizados (AI SOC), atacantes também a empregam para criar exploits e malwares mais sofisticados. A corrida entre defensores e atacantes se intensifica, exigindo vigilância e adaptação constantes.
Perguntas Frequentes (FAQ)
O que é red teaming em GenAI?
Red teaming em GenAI é a prática de simular ataques adversários contra sistemas de Inteligência Artificial Generativa (LLMs, bases de conhecimento) para identificar vulnerabilidades, testar defesas e fortalecer a segurança proativamente, imitando a forma como um atacante real agiria.
Por que a segurança em GenAI é importante?
A segurança em GenAI é crucial porque esses sistemas interagem com dados sensíveis, são suscetíveis a ataques que podem gerar custos altos (LLMjacking), comprometer a integridade de dados (envenenamento de dados) ou violar conformidade regulatória. Proteger GenAI é fundamental para a privacidade, confiança do cliente e reputação da empresa.
O que é MITRE ATLAS?
MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) é um framework que descreve táticas, técnicas e procedimentos (TTPs) usados por adversários para comprometer sistemas de IA. Ele serve como um guia para entender e mitigar ameaças específicas à inteligência artificial, complementando o MITRE ATT&CK tradicional.
O que é LLMjacking?
LLMjacking é um tipo de ataque onde cibercriminosos obtêm acesso não autorizado a Large Language Models (LLMs) em plataformas de nuvem (como Amazon Bedrock) e os utilizam para seus próprios fins, gerando custos exorbitantes para o proprietário da conta, de forma similar ao cryptojacking.
Como o envenenamento de dados afeta a IA?
O envenenamento de dados ocorre quando um atacante insere informações inúteis, tendenciosas ou maliciosas nas bases de conhecimento de um sistema de IA. Isso pode corromper a qualidade das respostas do modelo, levando a outputs imprecisos, inadequados ou até ofensivos, comprometendo a funcionalidade e a confiança no sistema.
Quais são os principais desafios do red teaming em GenAI?
Os desafios incluem a natureza não determinística da IA (saídas variáveis para a mesma entrada), a necessidade de considerar preocupações não-técnicas como viés e imparcialidade, e a rápida evolução do cenário de ameaças, exigindo testes contínuos e adaptabilidade das equipes de segurança.
Como as organizações podem começar com a segurança em GenAI?
As organizações devem começar com controles de acesso rigorosos, ativar e centralizar logs de invocação de modelos, implementar monitoramento de integridade e capacidades de rollback para bases de conhecimento, e realizar threat modeling. É crucial que equipes de segurança colaborem com engenheiros e cientistas de dados, iniciando com testes em ambientes de desenvolvimento e evoluindo gradualmente.
Fontes e referencias
- OWASP Agentic Red Teaming Guide (owasp.org)
- MITRE ATLAS - Adversarial Threat Landscape for Artificial-Intelligence Systems (atlas.mitre.org)
- Sysdig Blog (sysdig.com)
