La reorganización de la dirección de OpenAI podría significar un cambio de enfoque: del dominio del mercado a la seguridad de la IA.
2023-11-22 11:55:48
El drama de OpenAI continúa: Greg Brockman describe el proceso de su despido y el de Sam Altman, que dice que aún está intentando reconstruir. Al parecer, el impulsor fue el cofundador de OpenAI Ilya Sutskever, responsable de seguridad y alineación de la IA.
La situación actual se desencadenó por una disputa interna sobre la política de seguridad de la IA, informa The Information. El cofundador de OpenAI, Ilya Sutskever, implicado en el despido, es también el jefe del equipo responsable de alinear la posible superinteligencia artificial.
Se especula con que Altman estaba impulsando demasiado la comercialización de la IA a expensas de la seguridad de ésta. El objetivo principal de OpenAI como organización de investigación, desarrollar una IAG segura para la humanidad, entraría en conflicto con la comercialización.
OpenAI ha tenido recientemente algunos problemas de seguridad
Los últimos acontecimientos apoyan esta teoría. Ha habido incidentes de ciberseguridad en los que OpenAI ha sido atacada, causando interrupciones, y el socio de OpenAI Microsoft incluso bloqueó brevemente el acceso de sus empleados a ChatGPT por motivos de ciberseguridad.
Un usuario mostró cómo saltarse las reglas del generador de imágenes DALL-E 3 de OpenAI con un simple archivo de texto, simulando un mensaje del CEO de OpenAI, Sam Altman. El sistema de visión GPT-4 de OpenAI tiene problemas de seguridad y fue pirateado por los usuarios poco después de su lanzamiento.
Las nuevas GPT de OpenAI también han sido criticadas desde el punto de vista de la seguridad. Una vez subidos, los archivos pueden ser descargados por otros usuarios sin el conocimiento del creador de la GPT. Sólo después del lanzamiento se añadió un aviso que informaba de ello al creador.
Los defensores de la seguridad, como Sutskever, pueden ver en estos incidentes la confirmación de que las prisas por comercializar son perjudiciales para la seguridad.
Ilya Sutskever comenta internamente el despido de Altman
En una reunión interna del personal sobre el despido de Altman, Sutskever confirmó implícitamente esos rumores, informa The Information.
El despido no fue un «golpe» ni una «adquisición hostil», dijo Sutskever internamente. El consejo había cumplido con su deber de garantizar que OpenAI desarrollara una AGI segura en beneficio de todos.
«El consejo cumplió con su deber para con la misión de la organización sin ánimo de lucro, que es asegurarse de que OpenAI desarrolle una inteligencia artificial que beneficie a toda la humanidad», dijo Sutskever.
También reconoció que hubo «un elemento no ideal» en la forma en que Altman fue destituido.
Sutskever cree que el objetivo de la inteligencia general artificial (AGI) es alcanzable y cambiará el curso de la humanidad. A principios de octubre, escribió en Twitter.com: «Si valoras la inteligencia por encima de cualquier otra cualidad humana, lo vas a pasar mal».
La CEO interina Mira Murati, que ha dirigido muchos de los equipos de la empresa en diversas funciones y como CTO, destacó en un memorándum a los empleados «nuestra misión y capacidad para desarrollar juntos una AGI segura y beneficiosa.»
El objetivo estratégico de esta destitución podría ser ralentizar el ritmo de OpenAI en el espacio comercial. Altman también ha expresado recientemente su escepticismo respecto a que el desarrollo de grandes modelos lingüísticos sea suficiente para lograr la AGI. Es posible que Sutskever tenga aquí una perspectiva diferente, temiendo que Altman esté subestimando el potencial de los LLM a escala.
Brockman y Altman «conmocionados y entristecidos»
«Sam y yo estamos conmocionados y tristes por lo que la junta hizo hoy». Brockman escribe. Altman lo llama una «experiencia extraña a muchos niveles».
La versión de Brockman es la siguiente: Sam Altman fue invitado por el científico jefe de OpenAI y miembro de la junta, Ilya Sutskever, el jueves por la noche a una reunión el viernes al mediodía. En esa reunión de Google, la junta se quedó sin Greg Brockman y despidió a Sam Altman, diciendo que la noticia se haría pública en breve. Altman no participó en la votación.
Poco después, de nuevo en una reunión de Google, se comunicó a Brockman que Sam Altman había sido despedido y que se le había apartado del consejo, pero que podía permanecer en OpenAI porque era importante para la empresa. A continuación se informó al equipo directivo. La nueva consejera delegada interina, Mira Murati, fue informada la noche anterior, escribe Brockman.
Brockman abandonó OpenAI unas horas después a petición propia. Ya tiene la vista puesta en el siguiente paso: «Pronto vendrán cosas mayores».
OpenAI pierde más investigadores
Tras el despido de Altman, Jakub Pachocki, director de investigación de la empresa, Aleksander Madry, jefe de un equipo que evalúa los riesgos potenciales de la IA, y Szymon Sidor, investigador desde hace tiempo, también habrían abandonado OpenAI, Según The Informationcitando fuentes bien informadas.
Pachocki y Sidor participaron en el desarrollo del GPT-4, mientras que Madry dirigió un equipo que trabajaba en la evaluación de riesgos de la IA.
Microsoft fue informada justo antes del despido de Altman, pero el CEO Nadella sigue «comprometido con nuestra asociación»
Destacados inversores, como Vinod Khosla y Reid Hoffman, también se mostraron sorprendidos por la destitución de Altman. Cuatro fuentes con conocimiento directo de la situación dijeron a Forbes que OpenAI no avisó a los principales inversores de capital riesgo.
Microsoft, que ha invertido más de 10.000 millones de dólares en OpenAI, se enteró del despido de Altman y de su salida del consejo apenas un minuto antes de que se publicara la noticia en el blog de OpenAI, según un informe de Axios.
CEO de Microsoft Satya Nadella comentó el despido de Altman en LinkedInpero no mencionó a Altman en su mensaje. En su lugar, hizo hincapié en el compromiso de Microsoft con el desarrollo de la IA, como se demostró en Ignite, y destacó la colaboración prevista a largo plazo de la empresa con OpenAI.
«Tenemos un acuerdo a largo plazo con OpenAI con pleno acceso a todo lo que necesitamos para cumplir nuestra agenda de innovación y una emocionante hoja de ruta de productos; y seguimos comprometidos con nuestra asociación, y con Mira y el equipo. Juntos, seguiremos ofreciendo al mundo los beneficios significativos de esta tecnología.»
Satya Nadella, consejero delegado de Microsoft
En los últimos meses, Microsoft ha dado repetidamente un mal ejemplo sobre el uso seguro de la IA, como en el portal de noticias MSN.com, que sustituyó a editores humanos por IA que luego difundió noticias falsas.
Un estudio reciente de AlgorithmWatch y AI Forensics, en colaboración con las emisoras suizas SRF y RTS, descubrió que el chat Bing de Microsoft daba respuestas incorrectas a preguntas sobre las próximas elecciones en Alemania y Suiza.
Los numerosos fallos del chatbot de Bing, también conocido como «Sydney», en su precipitado lanzamiento a principios de año para robar cuota de mercado de búsquedas a Google también deben haber sido una espina clavada en el costado de los defensores de la seguridad en OpenAI. Al parecer, OpenAI advirtió a Microsoft de que no desplegara prematuramente el chatbot de Bing con un GPT-4 que entonces no se había lanzado y sin formación adicional.
