OpenAI refuerza equipo de seguridad y otorga poder de veto a la junta directiva sobre inteligencia artificial arriesgada
Highlights:
- OpenAI está reforzando su equipo de seguridad para protegerse de la amenaza de la inteligencia artificial perjudicial.
- Se ha creado un «grupo asesor de seguridad» que tiene poder de veto sobre la inteligencia artificial arriesgada.
- Se ha actualizado el «Marco de Preparación» de OpenAI para identificar y mitigar los riesgos catastróficos asociados con los modelos de inteligencia artificial.
- Se ha establecido un proceso para la calificación y mitigación de riesgos en las fases de desarrollo y producción de modelos de inteligencia artificial.
OpenAI ha ampliado sus medidas de seguridad interna para protegerse de posibles riesgos asociados con la inteligencia artificial. Se ha creado un nuevo «grupo asesor de seguridad» que tiene la facultad de veto sobre la inteligencia artificial potencialmente peligrosa. La empresa ha actualizado su «Marco de Preparación» para identificar y abordar los riesgos catastróficos relacionados con los modelos de inteligencia artificial. Se ha establecido un proceso para calificar y mitigar los riesgos en las fases de desarrollo y producción de estos modelos.
En un nuevo documento y publicación en el blog, OpenAI discute su «Marco de Preparación» actualizado, que uno imagina que se ha modificado un poco después del revuelo de noviembre que eliminó a los dos miembros más «desaceleracionistas» de la junta: Ilya Sutskever (aún en la empresa en un papel algo cambiado) y Helen Toner (completamente desaparecida).
Además, OpenAI ha detallado sus procesos y categorías de riesgo en un documento público. Los modelos en producción son supervisados por un equipo de «sistemas de seguridad», mientras que los modelos en desarrollo son gestionados por el equipo de «preparación». También se ha formado un equipo de «superalineación» para abordar modelos «superinteligentes».
En cuanto a la mitigación de riesgos, OpenAI ha establecido criterios claros para evaluar los riesgos y tomar decisiones sobre la implementación y desarrollo de modelos. Se ha destacado la importancia de la seguridad cibernética y se han detallado los riesgos asociados con la autonomía del modelo, la persuasión y las amenazas CBRN.
Evaluación de riesgos de un modelo a través de la rúbrica de OpenAI. Créditos de imagen: OpenAI
La empresa también ha establecido un «Grupo Asesor de Seguridad interfuncional» para proporcionar recomendaciones sobre seguridad de forma independiente. Este grupo estará por encima del aspecto técnico y tendrá la facultad de hacer recomendaciones a la junta directiva y al liderazgo de la empresa. Esta medida se ha tomado para evitar la aprobación de productos o procesos de alto riesgo sin el conocimiento o la aprobación de la junta.
OpenAI ha señalado que solicitará auditorías a terceros independientes para mantener la transparencia en sus procesos de seguridad. La empresa también ha enfatizado su compromiso con la identificación y mitigación de riesgos catastróficos asociados con la inteligencia artificial, aunque se espera obtener más información sobre la definición y refinamiento de las categorías de riesgo en el futuro.
