OpenAI fortalece seguridad con nuevas recomendaciones clave
El recientemente creado Comité de Seguridad y Protección de OpenAI realizó una revisión de 90 días de los procesos relacionados con la seguridad, resultando en cinco recomendaciones clave que ahora se están implementando.
OpenAI ha introducido una serie de mejoras a sus protocolos de seguridad y protección, basadas en las recomendaciones del Comité de Seguridad y Protección, un órgano creado para supervisar las capacidades en evolución de la compañía en inteligencia artificial.
Esta iniciativa tiene como objetivo garantizar el desarrollo seguro y responsable de los modelos de OpenAI mientras continúan abordando complejos desafíos a nivel mundial. Tras una revisión exhaustiva por parte de la Junta Directiva, estos cambios se centran en fortalecer la gobernanza, la seguridad, la transparencia, la colaboración con organizaciones externas y en perfeccionar los marcos internos para el desarrollo de modelos.
Recomendaciones del Comité de Seguridad y Protección de OpenAI
1. Estableciendo una Gobernanza Independiente para la Seguridad
El primer cambio significativo es la transición del Comité de Seguridad y Protección a un comité independiente de supervisión de la Junta Directiva. Esta nueva estructura de gobernanza está diseñada para intensificar el enfoque en la seguridad y protección en el desarrollo y despliegue de modelos de inteligencia artificial.
El comité estará presidido por Zico Kolter, Director del Departamento de Aprendizaje Automático en la Universidad Carnegie Mellon, e incluirá a miembros como Adam D’Angelo, cofundador y CEO de Quora, el General retirado del Ejército de EE. UU. Paul Nakasone y Nicole Seligman, ex vicepresidenta ejecutiva y consejera general de Sony Corporation.
La responsabilidad principal del comité será supervisar las evaluaciones de seguridad de los principales lanzamientos de modelos y tendrá la autoridad para retrasar un lanzamiento si surgen preocupaciones de seguridad.
Al recibir actualizaciones periódicas del liderazgo de OpenAI sobre evaluaciones técnicas y monitoreo posterior al lanzamiento, el comité dará forma continuamente al enfoque de la empresa hacia la seguridad en inteligencia artificial.
2. Mejorando las Medidas de Seguridad
La ciberseguridad es fundamental para la seguridad en inteligencia artificial, y OpenAI está tomando medidas para fortalecer su enfoque en esta área. La compañía adopta una estrategia basada en riesgos, adaptándose a los cambios en el panorama de amenazas a medida que evolucionan los perfiles de riesgo de sus modelos.
El enfoque de OpenAI incluye expandir la segmentación interna de la información y reforzar su equipo de operaciones de seguridad para brindar protección continua.
En línea con la revisión del Comité de Seguridad y Protección, OpenAI está explorando oportunidades de colaboración en la industria para mejorar la ciberseguridad en IA. Una de las iniciativas que se está evaluando es el desarrollo de un Centro de Análisis e Intercambio de Información (ISAC, por sus siglas en inglés) específico para la industria de la inteligencia artificial.
Este ISAC permitiría a las entidades del sector compartir inteligencia sobre amenazas e información de ciberseguridad, fortaleciendo la resiliencia general de la industria frente a los ciberataques.
3. Siendo Transparentes Sobre Nuestro Trabajo
La transparencia es fundamental en el compromiso de OpenAI con la seguridad en inteligencia artificial. Con este objetivo, la compañía ha estado publicando tarjetas de sistemas que describen las capacidades y los riesgos potenciales de sus modelos.
Por ejemplo, las tarjetas de sistemas de GPT-4o y o1-preview proporcionaron información detallada sobre el trabajo de seguridad realizado antes de su lanzamiento. Estas tarjetas incluyen resultados de ejercicios de evaluación externa (red-teaming) y evaluaciones de riesgos científicos realizadas dentro del Marco de Preparación de OpenAI, junto con las mitigaciones implementadas para abordar los riesgos identificados.
De cara al futuro, OpenAI planea intensificar sus esfuerzos de transparencia, compartiendo más detalles sobre sus protocolos de seguridad y procesos de evaluación.
4. Colaborando con Organizaciones Externas
OpenAI reconoce la importancia de colaborar con organizaciones externas para fomentar una cultura de seguridad en toda la industria. Con este fin, la empresa está buscando activamente oportunidades para la realización de pruebas independientes de sus sistemas y promoviendo el establecimiento de estándares de seguridad en el sector de la inteligencia artificial.
OpenAI está trabajando con diversas organizaciones de seguridad y laboratorios no gubernamentales para evaluar de manera independiente sus modelos. Además, colabora con agencias gubernamentales para avanzar en la investigación de la seguridad en IA.
Una asociación clave incluye trabajar con Los Alamos National Labs para estudiar el uso seguro de la inteligencia artificial en entornos de laboratorio, apoyando la investigación bioscientífica.
OpenAI también ha formado recientemente acuerdos con los Institutos de Seguridad de IA en EE. UU. y el Reino Unido para investigar los riesgos emergentes de la inteligencia artificial y establecer estándares para una IA confiable.
5. Unificando Nuestros Marcos de Seguridad para el Desarrollo y Monitoreo de Modelos
La última recomendación aborda la necesidad de un marco de seguridad integrado para guiar el desarrollo de modelos. A medida que las operaciones de OpenAI se vuelven más complejas, la empresa está refinando sus procesos de lanzamiento de modelos para garantizar que estén basados en riesgos y sujetos a criterios de éxito claros, aprobados por el Comité de Seguridad y Protección.
Este marco unificado evolucionará en respuesta al aumento de las capacidades de los modelos, gestionando complejidades y mitigando riesgos. Para implementar eficazmente este enfoque, OpenAI ha reorganizado sus equipos de investigación, seguridad y políticas para fortalecer la colaboración y crear conexiones más estrechas en toda la organización.
El compromiso de OpenAI con la seguridad y protección en el desarrollo de inteligencia artificial se ha fortalecido significativamente mediante la adopción de las recomendaciones del Comité de Seguridad y Protección. Al establecer estas recomendaciones, OpenAI está dando pasos proactivos para garantizar que sus modelos avanzados de IA se desarrollen y desplieguen de manera responsable. Estas mejoras reflejan la dedicación de OpenAI a mejorar continuamente su enfoque en la liberación de modelos de inteligencia artificial altamente capaces y seguros, reforzando su papel en la configuración del futuro de la IA.
Relacionado
