- Microsoft creó un equipo rojo de inteligencia artificial en 2018 cuando predijo el auge de la inteligencia artificial
- Un equipo rojo representa al enemigo; y adopta la personalidad del adversario.
- El último documento técnico del equipo espera abordar las vulnerabilidades comunes en los sistemas de inteligencia artificial y los LLM.
Durante los últimos siete años, Microsoft ha abordado los riesgos en los sistemas de IA a través de su ‘Equipo Rojo’ dedicado a la IA.
Formado para anticipar y abordar los crecientes desafíos de los sistemas avanzados de IA, este equipo asume el papel de los actores de amenazas y, en última instancia, tiene como objetivo identificar vulnerabilidades antes de que puedan explotarse en el mundo real.
Ahora, después de años de trabajo, Microsoft ha lanzado un papel blanco del equipo, presentando algunos de los hallazgos más importantes de su trabajo.
Los hallazgos del documento técnico de Microsoft Red Team
A lo largo de los años, el enfoque del Equipo Rojo de Microsoft se ha expandido más allá de las vulnerabilidades tradicionales para abordar nuevos riesgos exclusivos de la IA, trabajando en el propio Copilot de Microsoft y en modelos de IA de código abierto.
El documento técnico destaca la importancia de combinar la experiencia humana con la automatización para identificar y mitigar riesgos de manera efectiva.
Una lección clave aprendida es que la integración de la inteligencia artificial generativa en aplicaciones modernas no solo ha ampliado la superficie de los ciberataques, sino que también ha planteado desafíos únicos.
Técnicas como las inyecciones inmediatas aprovechan la incapacidad de los modelos para distinguir entre instrucciones a nivel del sistema y entradas del usuario, lo que permite a los atacantes manipular los resultados.
Mientras tanto, los riesgos tradicionales, como las dependencias de software obsoletas o una ingeniería de seguridad deficiente, siguen siendo importantes, y Microsoft considera necesaria la experiencia humana para abordarlos.
El equipo descubrió que comprender eficazmente los riesgos asociados con la automatización a menudo requiere expertos en la materia que puedan evaluar contenidos en campos especializados como la medicina o la ciberseguridad.
Además, destacó la competencia cultural y la inteligencia emocional como habilidades esenciales en ciberseguridad.
Microsoft también enfatizó la necesidad de pruebas continuas, prácticas de trabajo actualizadas y ciclos de “patch break”, un proceso para identificar vulnerabilidades e implementar correcciones además de pruebas adicionales.
