El equipo de seguridad de OpenAI se prepara para los riesgos catastróficos y peligros de la IA
2023-10-28 11:34:03
OpenAI crea un nuevo «Equipo de Preparación» para prevenir riesgos potencialmente catastróficos de los modelos de IA de vanguardia.
En una nueva entrada de blog, OpenAI reconoce los beneficios potenciales de los modelos de IA de vanguardia, que podrían superar con creces las capacidades de los sistemas existentes. Pero también reconoce los graves riesgos que plantean estos modelos.
El objetivo declarado de OpenAI es desarrollar una AGI que sea, como mínimo, una máquina inteligente similar a la humana, capaz de adquirir rápidamente nuevos conocimientos y generalizar entre dominios.
Para hacer frente a estos riesgos, OpenAI pretende responder a preguntas como las siguientes
- ¿Hasta qué punto es peligroso el uso indebido de los sistemas de IA de vanguardia en la actualidad y en el futuro?
- ¿Cómo podemos desarrollar un marco sólido para supervisar, evaluar, predecir y proteger contra las capacidades peligrosas de los sistemas de IA de vanguardia?
- Si se robaran los pesos de los modelos de IA de frontera, ¿cómo podrían utilizarlos los actores maliciosos?
Las respuestas a estas preguntas podrían ayudar a garantizar la seguridad de los sistemas avanzados de IA. El nuevo equipo surge después de que OpenAI, junto con otros laboratorios punteros, se comprometiera voluntariamente a impulsar la seguridad y la confianza en la IA a través de la organización del sector Frontier Model Forum.
El anuncio del nuevo equipo de seguridad precede a la primera Conferencia sobre Seguridad de la IA, que se celebrará en el Reino Unido a principios de noviembre.
Nuevo equipo de preparación de OpenAI
El Equipo de Preparación, dirigido por Aleksander Madry, se centrará en la evaluación del rendimiento, la valoración y el red teaming interno de los modelos de Frontier.
Su misión abarca múltiples categorías de riesgo, como la persuasión individual, la ciberseguridad, las amenazas químicas, biológicas, radiológicas y nucleares (QBRN) y la replicación y adaptación autónomas (ARA).
El equipo también trabajará para desarrollar y mantener una Política de Desarrollo Informado por el Riesgo (RDP) con el fin de establecer una estructura de gobernanza para la rendición de cuentas y la supervisión a lo largo de todo el proceso de desarrollo.
La RDP pretende complementar y ampliar el trabajo actual de OpenAI sobre mitigación de riesgos y contribuir a la seguridad y alineación de los nuevos sistemas de alto rendimiento antes y después de su implantación.
Además de crear el equipo, OpenAI está lanzando un Desafío de Preparación de IA para prevenir el mal uso catastrófico. El reto concederá créditos API por valor de 25.000 dólares a un máximo de diez de las mejores propuestas, y OpenAI publicará ideas y contribuciones innovadoras. El laboratorio también buscará candidatos para el equipo de preparación entre los mejores aspirantes al reto.
