Publicación:
Métodos y herramientas para la evaluación de resúmenes automáticos mediante feedback humano

Vista sencilla de ítem
dc.contributor.authorColás Romanos, David Celestino
dc.contributor.directorCigarrán Recuero, Juan Manuel
dc.contributor.directorAmigo Cabrera, Enrique
dc.date.accessioned2024-05-20T12:26:57Z
dc.date.available2024-05-20T12:26:57Z
dc.date.issued2023
dc.description.abstractA medida que avanzan los modelos de lenguaje natural, el entrenamiento y la evaluaci ón de estos se ven limitados por las métricas y los datos empleados para tareas específicas. En el contexto de la generación automática de resúmenes, comúnmente se utilizan métricas tradicionales como ROUGE y BLEU, entre otras, pero estas podrían no capturar la verdadera esencia de la calidad del resumen. En este trabajo, se revisa la validez de dichas métricas en el contexto actual, empleando un dataset innovador de OpenAI, compuesto por comparaciones de resúmenes anotados con feedback humano. Se observa que los resúmenes automáticos a menudo superan la calidad de los resúmenes de referencia humanos, llegando a ser casi indistinguibles de estos. Mediante diversos experimentos, se explora tanto la eficacia de las métricas de evaluación tradicionales como el impacto de ciertos rasgos y características en la calidad percibida de un resumen. Este estudio ofrece tres contribuciones significativas: en primer lugar, proporciona una evaluación crítica de las métricas estándar en el contexto actual, subrayando la necesidad de adaptaciones continuas. En segundo lugar, pone de relieve la importancia del feedback humano y cómo este puede enriquecer el proceso de evaluación, brindando percepciones valiosas que las métricas tradicionales podrían no capturar. Finalmente, introduce y valida métricas y herramientas innovadoras, como aquellas basadas en la similitud semántica, y la herramienta ExplainSumm, que han demostrado su eficacia en distintos contextos. Se espera que este trabajo no solo desafíe las nociones convencionales en la evaluación de resúmenes automáticos, sino que también proponga una ruta hacia una evaluación más holística y matizada, capaz de representar de manera más fiable la calidad y utilidad de los resúmenes en la era contemporánea.es
dc.description.versionversión final
dc.identifier.urihttps://hdl.handle.net/20.500.14468/14274
dc.language.isoes
dc.publisherUniversidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Lenguajes y Sistemas Informáticos
dc.relation.centerFacultades y escuelas::E.T.S. de Ingeniería Informática
dc.relation.degreeMáster Universitario en Tecnologías del Lenguaje (UNED)
dc.relation.departmentLenguajes y Sistemas Informáticos
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.urihttps://creativecommons.org/licenses/by-nc-nd/4.0/deed.es
dc.subject.keywordsMachine Learning (cs.LG)
dc.subject.keywordsComputation and Language (cs.CL)
dc.subject.keywordsMachine Learning (stat.ML)
dc.subject.keywordsFOS: Computer and information sciences,
dc.subject.keywordsFOS: Computer and information sciences
dc.titleMétodos y herramientas para la evaluación de resúmenes automáticos mediante feedback humanoes
dc.typetesis de maestríaes
dc.typemaster thesisen
dspace.entity.typePublication
Archivos
Bloque original
Mostrando 1 - 1 de 1
Miniatura
Nombre:
Celestino_David_TFM.pdf
Tamaño:
3.56 MB
Formato:
Adobe Portable Document Format
Descargar
Colecciones
Trabajos de fin de máster (TFM)