Archivo - August 1, 2024, Internet, United States of America: Stock images illustrating cybersecurity with binary code...Cybersecurity is a critical field focused on protecting systems, networks, and data from digital attacks and unauthorized access. As t - Taidgh Barron / Zuma Press / Europa Press
MADRID, 4 Nov. (Portaltic/EP) -
Investigadores de Check Point Research han demostrado cómo las instrucciones ocultas de lenguaje natural y los archivos de configuración de un modelo de Inteligencia Artificial (IA) pueden manipular persistentemente el comportamiento de un agente de IA en lo que se ha denominado 'Prompt Adware'.
La división de inteligencia de amenazas de Check Point ha descubierto un nuevo tipo de manipulación llamado 'Prompt Adware' que, a diferencia del 'adware' convencional usado en 'software' ejecutable, se encarga de alterar las instrucciones globales, 'skills' o configuraciones de forma persistente de los agentes de IA.
El hallazgo se produjo en el análisis del paquete de 'jailbreak' Haiou en OpenAI Codex. Haiou modificó las instrucciones globales de OpenAI Codex para que los anuncios que promocionan una pasarela de IA de terceros se activen con la simple introducción de unos saludos habituales, que sirven como el disparador para el funcionamiento de este tipo de amenaza de seguridad empresarial.
Aunque Haiou logró introducir los anuncios en Codex de OpenAI, en los experimentos que los investigadores llevaron a cabo en Claude Code de Anthropic, este identificó el intento de inyección de 'prompts' y se negó a ejecutarlo. Tampoco se observó el robo de datos corporativos, pero eso no invalida que este tipo de manipulación sea la base para otro tipo de ataques que causen más daño a nivel empresarial.
Cabe señalar que cada vez más soluciones de las empresas tecnológicas se sirven del uso de agentes de IA autónomos, así que una posible manipulación tipo 'Prompt Adware' podría pasar inadvertida para perpetrar ataques para promover servicios o exfiltrar información confidencial y ejecutar acciones maliciosas.
De hecho, según una previsión de Gartner, el 40 por ciento de las aplicaciones empresariales incluirá agentes de IA específicos para tareas a finales de este año, frente a menos del 5 por ciento en 2025. Por su parte, según el informe 'The ROI of AI 2025' de Google Cloud, los agentes de IA suelen centrarse en atención y experiencia del cliente (49 %), marketing (46 %), operaciones de seguridad y ciberseguridad (46 %) y soporte técnico (45 %), ámbitos en los que podría darse este tipo de manipulación.
Asimismo, según los investigadores, lo que Haiou pone de relieve es una indicación temprana de unas técnicas que los equipos de seguridad de las empresas deben tener presentes, ya que los 'prompts', las 'skills' y las configuraciones han de recibir la misma atención que los propios modelos cuando las organizaciones evalúan sus entornos.
Además, Check Point Research recomienda tener una visión completa del uso de IA para identificar los agentes y los componentes de terceros que se usan, al igual que revisar 'prompts', 'skills' y configuraciones que influyen en su comportamiento. También aconseja monitorizar los cambios que se ejecutan en los archivos de configuración e instrucciones globales, así como evaluar la información confidencial a la que puede acceder el agente o los elementos externos que pudieran influir en las acciones de los agentes.