Microsoft Lanza Marco de Automatización Abierto para Evaluar Seguridad de IA Generativa

Microsoft ha anunciado el lanzamiento de PyRIT (Python Risk Identification Toolkit), un marco de automatización abierto diseñado para permitir a los profesionales de seguridad y a los ingenieros de aprendizaje automático identificar proactivamente riesgos en sus sistemas de IA generativa.

El lanzamiento de un marco de seguridad abierto para evaluar la seguridad de la Inteligencia Artificial generativa subraya la necesidad de prácticas de seguridad y responsabilidades como un esfuerzo colaborativo.

Con el objetivo de facilitar la innovación responsable en la utilización de los últimos avances en inteligencia artificial, Microsoft busca mejorar la seguridad de la IA, un compromiso que hemos visto a través de las inversiones que ha realizado Microsoft en equipos de evaluación de seguridad de IA desde 2019.

Necesidad del Marco de Automatización Abierto para Evaluar IA

La evaluación de seguridad (red teaming) de sistemas de IA es un proceso complejo y multifacético. El equipo de seguridad de IA de Microsoft utiliza un grupo interdisciplinario de expertos en seguridad, aprendizaje automático adversario y IA responsable, aprovechando recursos de todo el ecosistema de Microsoft.

Esta estrategia forma parte de un esfuerzo más amplio para mapear riesgos de IA, medirlos y desarrollar mitigaciones específicas para minimizarlos.

A lo largo del último año, Microsoft ha evaluado proactivamente varios sistemas y modelos de IA generativa de alto valor antes de su lanzamiento al público. Este proceso ha revelado diferencias clave en la evaluación de seguridad de sistemas de IA generativa en comparación con sistemas de IA clásica o software tradicional, incluyendo la evaluación simultánea de riesgos de seguridad y de IA responsable, la naturaleza más probabilística de la IA generativa, y la variabilidad en la arquitectura de estos sistemas.

PyRIT: Innovación en la Evaluación de Seguridad de la IA Generativa

PyRIT, probado en batalla por el equipo de seguridad de IA de Microsoft, comenzó como un conjunto de scripts individuales y ha evolucionado para incluir características útiles identificadas durante la evaluación de seguridad de diversos sistemas de IA generativa. Hoy, PyRIT se presenta como una herramienta confiable, permitiendo a los equipos de seguridad aumentar su eficiencia, por ejemplo, al evaluar sistemas Copilot en cuestión de horas en lugar de semanas.

Sin embargo, como marco de automatización abierto, PyRIT no busca reemplazar la evaluación manual, sino más bien complementar la expertise existente del evaluador de seguridad de IA, automatizando tareas tediosas y señalando áreas de riesgo potencial para una exploración más detallada.

Componentes y Capacidades de PyRIT

PyRIT se caracteriza por su abstracción y extensibilidad, diseñado para adaptarse y extenderse a nuevas capacidades que los modelos de IA generativa puedan engendrar. Esto lo logra a través de cinco interfaces: objetivos, conjuntos de datos, motor de puntuación, la capacidad de soportar múltiples estrategias de ataque y proporcionar al sistema memoria.

Este marco de automatización abierto soporta una variedad de formulaciones de objetivos de IA generativa, desde servicios web hasta aplicaciones integradas, y es capaz de integrarse con modelos de Microsoft Azure OpenAI Service, Hugging Face y Azure Machine Learning Managed Online Endpoint.

Iniciativas para el Futuro de la Seguridad de la IA

Con PyRIT, Microsoft invita a sus pares en la industria a explorar y adoptar esta herramienta para la evaluación de seguridad de sus propias aplicaciones de IA generativa.

La compañía también está organizando un seminario web en colaboración con la Cloud Security Alliance para demostrar el uso de PyRIT en la evaluación de seguridad de sistemas de IA generativa.

Este lanzamiento de este marco de automatización abierto para la seguridad de la IA generativa refleja un objetivo responsable en el campo de la inteligencia artificial, proporcionando herramientas y recursos que permiten a las organizaciones de todo el mundo asegurar sus sistemas de IA de manera efectiva y eficiente.

Relacionado