2023-09-19 09:28:34
Una compleja pregunta de la empresa de marketing en la nube Salesforce pretende mejorar la calidad de los resúmenes de artículos utilizando GPT-4.
La pregunta Cadena de Densidad pide primero a GPT-4 que cree un primer borrador de un resumen con el menor número posible de elementos. En los siguientes pasos, se pide al GPT-4 que revise este resumen y añada más detalles.
Al igual que con la cadena de pensamiento, el modelo utiliza el primer resultado generado como plantilla para la siguiente generación. Cuantas más veces pase el modelo por este proceso, mayor será la densidad de información en el resumen para la misma longitud de caracteres.
«Los resúmenes generados por CoD son más abstractivos, muestran más fusión y tienen menos sesgo de ventaja que los resúmenes GPT-4 generados por una indicación simple», escribe el equipo.
Article: {{article}You will generate increasingly concise entity-dense summaries of the above article. Repeat the following 2 steps 5 times.
Step 1: Identify 1-3 informative entities (delimited) from the article which are missing from the previously generated summary.Step 2: Write a new denser summary of identical length which covers every entity and detail from the previous summary plus the missing entities.
A missing entity is- Relevant: to the main stories.- Specific: descriptive yet concise (5 words or fewer).- Novel: not in the previous summary.- Faithful: present in the article.- Anywhere: located in the article.
Guidelines:- The first summary should be long (4-5 sentences, ~80 words), yet highly non-specific, containing little information beyond the entities marked as missing. Use overly verbose language and fillers (e.g., "this article discusses") to reach ~80 words.- Make every word count. Rewrite the previous summary to improve flow and make space for additional entities.- Make space with fusion, compression, and removal of uninformative phrases like "the article discusses".- The summaries should become highly dense and concise, yet self-contained, e.g., easily understood without the article.- Missing entities can appear anywhere in the new summary.- Never drop entities from the previous summary. If space cannot be made, add fewer new entities.
Remember: Use the exact same number of words for each summary.
Answer in JSON. The JSON should be a list (length 5) of dictionaries whose keys are "missing_entities" and "denser_summary".
* Hemos incluido el prompt original, pero si quieres un resultado en español solo tendras que añadir esta indicación como última instrucción. «dame la respuesta a todo lo anterior en español»
La complejidad de los resúmenes
El equipo de investigación puso a prueba el sistema con 100 artículos de noticias de CNN y DailyMail. Los revisores humanos, en este caso cuatro de los autores del artículo, puntuaron los resúmenes más altos tras unas tres pasadas.
Por término medio, el GPT-4 otorgó a los resúmenes las calificaciones más altas en las dimensiones de información, calidad, coherencia, atribución y «global» después de dos pases. Se dice que el método CoD es superior a una instrucción más sencilla que se puso a prueba («Escriba un resumen MUY breve del artículo. No exceda las 70 palabras»).
«Comprobamos que es preferible cierto grado de densificación, pero cuando los resúmenes contienen demasiadas entidades por token, es muy difícil mantener la legibilidad y la coherencia», escribe el equipo.
En general, el primer y el último paso obtienen la peor puntuación, mientras que los tres resúmenes intermedios están muy cerca. Que el primer resumen obtenga una puntuación más baja tiene sentido, teniendo en cuenta que la pregunta pide al modelo que escriba primero un resumen superficial.
El hecho de que los resultados estén tan próximos también muestra lo difícil que es evaluar textos por encima de un cierto nivel. Esto, a su vez, dificulta la medición del impacto de la ingeniería del prompt.
El equipo de investigación publica un conjunto de datos de 500 resúmenes anotados y 5.000 no anotados de CDD. junto a la indicación.
