¿Ha descubierto OpenAI la «AGI»? – Los rumores se intensifican y explican las tensiones internas
2023-11-23 09:12:04
En una carta al consejo de administración de la empresa, los investigadores de OpenAI habrían advertido de un descubrimiento de IA que podría suponer una amenaza para la humanidad.
¿Estamos ante un descubrimiento de IA que podría suponer una amenaza para la humanidad?
Así lo informa Reuters, citando a dos fuentes familiarizadas con el asunto. La carta también está relacionada con el despido de Altman, pero no es la única razón, según Reuters.
Según un fuente de The Verge, la junta nunca recibió dicha carta, razón por la cual no desempeñó ningún papel en el despido de Altman. Reuters dice que no ha visto la carta. Información no informa sobre la carta en sí, sino sobre el avance «Q*» descrito en ella.
Q-Star puede resolver problemas matemáticos sencillos de forma autónoma
La supuesta carta trata del algoritmo Q* (pronunciado Q-Star), que es capaz de resolver problemas matemáticos de primaria de forma autónoma. Estos problemas matemáticos no formaban parte del conjunto de datos de entrenamiento. El científico jefe de OpenAI, Ilya Sutskever, es al parecer el responsable de su desarrollo.
Algunos investigadores de OpenAI ven Q-Star como un gran avance en el camino hacia la inteligencia artificial general (IAG), ya que sus habilidades matemáticas podrían ser una señal de que el sistema de IA ha desarrollado habilidades de razonamiento más generales y similares a las humanas.
En su carta a la junta, los investigadores señalaron las oportunidades y los peligros potenciales de los sistemas, según Reuters, por ejemplo, podría acelerar los avances científicos. También expresaron su preocupación sobre si OpenAI había tomado las precauciones de seguridad necesarias para un sistema de IA de este tipo.
Los investigadores también se refirieron al trabajo de un «AI Scientist Team», cuya existencia ha sido confirmada por varias fuentes, según Reuters. El grupo se formó fusionando los antiguos equipos «Code Gen» y «Math Gen». Está investigando cómo pueden ajustarse los modelos de IA existentes para mejorar su capacidad de razonamiento y, en última instancia, realizar trabajos científicos.
Se dice que los dos investigadores que están detrás de Q-Star son Jakub Pachocki y Szymon Sidor, basándose en el trabajo de Ilya Sutskever. Una demo del sistema lleva varias semanas circulando por OpenAI.
Pachocki y Sidor se marcharon poco después de que Altman fuera despedido por Sutsekver, supuestamente por motivos de seguridad. Pero volvieron con Altman. Se dice que Greg Brockman, cofundador de OpenAI, está trabajando en la integración de Q-Star en los productos de OpenAI.
«AGI se ha logrado internamente»
Es posible que el filtrador de OpenAI «Jimmy Apples» se refiriera a Q-Star cuando tuiteó a mediados de septiembre que «AGI se ha logrado internamente». El consejero delegado de OpenAI, Sam Altman incluso repitió la declaración en Reddit, pero más tarde editó su mensaje, añadiendo que un AGI «no se anunciará con un comentario en Reddit» y que él sólo había recogido el meme.
A principios de noviembre, Altman afirmó que los modelos lingüísticos actuales aún necesitan «otro avance» hacia la AGI, y que no basta con escalar los sistemas. Se necesitaría un sistema capaz de descubrir nuevos fenómenos físicos.
A continuación, Altman hizo una críptica declaración en la Cumbre APEC 2023 el 16 de noviembre, poco antes de su despido. Había estado en la sala cuatro veces en la historia de OpenAI cuando el equipo empujó «el velo de la ignorancia hacia atrás y la frontera del descubrimiento hacia delante». La última vez fue hace unas semanas, dijo Altman. Esto puede coincidir con el tuit de «Jimmy Apple» sobre AGI.
The Information también informa de que Sutskever lanzó un proyecto llamado GPT-Zero en 2021. Aquí, a un modelo lingüístico se le daría más tiempo y computación para generar una respuesta para crear nuevos descubrimientos académicos. Es este nombre en clave «Cero» que el filtrador de OpenAI «Jimmy Apples» saca ahora a colación en relación con los rumores que rodean a la carta.
