Cibercriminosos estão explorando botões ‘Resumir com IA’ para injetar comandos maliciosos em assistentes de IA corporativos, abrindo brechas de segurança em grandes organizações. A técnica, descrita pela Microsoft como envenenamento de recomendações de IA, promete manipular respostas e facilitar a exfiltração de dados sem que usuários percebam a ameaça.
O ataque utiliza parâmetros de URL manipulados e o recurso de prefill para inserir comandos na memória do assistente no momento do clique. Ao acionar o botão, instruções ocultas podem ser inseridas no prompt antes mesmo que o usuário digite qualquer texto, gerando um ataque invisível.
Estima-se que 84% dos desenvolvedores já usem IA no dia a dia; e 87% das organizações relataram pelo menos um ataque cibernético impulsionado por IA no último ano. A projeção para 2025 aponta 28 milhões de ataques desse tipo globalmente. Além disso, 82,6% dos emails de phishing utilizam IA, com um aumento de 202% no segundo semestre de 2024.
A vulnerabilidade representa uma mudança na superfície de ataque: diferente de exploração de vulnerabilidades de código, o envenenamento ataca a lógica dos assistentes. Embora semelhante a prompt injection, opera de forma mais sutil, tornando o controle por parte de atacantes quase invisível.
Medidas recomendadas incluem revisão de políticas de uso de IA, implementação de listas de sites confiáveis (whitelists) e limitação de permissões. Treinamento de equipes e uso de ferramentas de detecção, como PromptFix, também são citados. No fim, a defesa mais eficaz continua sendo a combinação de conscientização e controles técnicos. Organizações devem avaliar cuidadosamente cada integração com IA.