GPT-4 aprueba el primer semestre de Harvard en el experimento de humanidades y ciencias sociales
2023-07-31 12:24:28
Maya Bodnick, estudiante de la Universidad de Harvard, quería comprobar si GPT-4 podía aprobar los ensayos del primer semestre de Harvard en humanidades y ciencias sociales.
Bodnick hizo que GPT-4 escribiera siete ensayos sobre temas como conceptos económicos, el presidencialismo en América Latina y un análisis literario de un pasaje de Proust.
A continuación, entregó los ensayos a los profesores para que los calificaran, indicando a efectos de parcialidad que el ensayo había sido escrito por ella o por GPT-4. De hecho, GPT-4 escribió todos los ensayos. De hecho, GPT-4 escribió todas las redacciones utilizando la tarea de redacción como guía.
Resultado: A. A. A. A-. B. B-. Aprobado. GPT-4 obtuvo un «respetable» 3,57 de nota media, según Bodnick.
La estudiante dijo que envió las respuestas de GPT-4 sin editar, pero con dos advertencias: Reconstruyó el ensayo a partir de varias respuestas para cumplir el límite de palabras, ya que GPT-4 genera un máximo de 750 palabras cada vez.
También pidió a los revisores que ignoraran las citas que faltaban y que GPT-4 no podía proporcionar. Normalmente, éstas formarían parte de la calificación.
Grandes notas con elogios especiales y pocas críticas
Además de algunas calificaciones excelentes, los revisores hicieron elogios especiales como «muy bien escrito» o «artículo bien articulado». En un trabajo sobre resolución de conflictos, el revisor criticó un estilo de redacción florido con demasiados adjetivos y metáforas.
En cuanto al contenido, las críticas también fueron positivas, por ejemplo, elogiando el alto nivel de detalle o el enfoque estructurado de cada cuestión. La nota más baja, «B-«, se otorgó al trabajo sobre el presidencialismo latinoamericano, en el que el revisor criticó el trabajo por ignorar las valoraciones positivas del presidencialismo, así como los aspectos económicos.
«Creo que podemos extrapolar del sólido rendimiento general de ChatGPT-4 que los ensayos generados por IA probablemente pueden obtener notas de aprobado en las clases de artes liberales en la mayoría de las universidades del país», escribe Bodnick. En Princeton o la Universidad de Berkeley, estas notas podrían haber sido de notable y sobresaliente en lugar de sobresaliente y matrícula de honor. GPT-4 habría aprobado igualmente. El sitio siete ensayos pueden consultarse aquí.
Un nuevo paradigma de aprendizaje y enseñanza
Bodnick cree que la IA cambiará por completo la forma de enseñar humanidades y ciencias sociales. Nunca ha sido tan fácil hacer trampa en una tarea, dijo, y es probable que la tecnología mejore aún más en cosas como la citación.
Recientemente, importantes empresas de IA se ofrecieron a desarrollar un sistema de marcas de agua. Sin embargo, OpenAI retiró su detector debido a la falta de precisión, y el consejero delegado de OpenAI, Sam Altman, ha expresado constantemente sus dudas de que un sistema de reconocimiento de texto por IA funcione a medio o largo plazo.
Así que las pruebas tendrán que volver, al menos en parte, a las entrevistas cara a cara en lugar de los ensayos, dice Bodnick. Para ella, el hecho de que GPT-4 fuera capaz de escribir sus ensayos es un indicio de posibles avances en su futura profesión.
Por eso, dice, es importante que el sistema educativo utilice sus hallazgos para reflexionar sobre cómo están cambiando las carreras y cómo prepararse para ellas, en lugar de intentar identificar y castigar los ensayos de IA.
«Mi reacción visceral es que las carreras de artes liberales -que pasan la mayor parte de su carrera académica escribiendo ensayos- van a enfrentarse a dificultades aún mayores en un mundo post IA. La IA no sólo viene a por el ensayo universitario; viene a por la clase cerebral».
