Publicación:
None of the above: Comparing Scenarios for Answerability Detection in Question Answering Systems

Vista sencilla de ítem
dc.contributor.authorReyes Montesinos, Julio
dc.contributor.directorRodrigo Yuste, Álvaro
dc.contributor.directorPeñas Padilla, Anselmo
dc.date.accessioned2024-05-20T12:39:46Z
dc.date.available2024-05-20T12:39:46Z
dc.date.issued2022-10-03
dc.description.abstractEl reciente salto cualitativo en el rendimiento de los sistemas de Búsqueda de Respuestas (QA) ha motivado en paralelo la aparición de un gran número de nuevos conjuntos de datos de QA creados para evaluar dichos sistemas. Sin embargo, no hay suficientes estudios acerca del abanico de fenómenos de razonamiento que ocurren en QA, lo cual permitiría una evaluación más completa de los sistemas de QA. Un fenómeno que no ha recibido suficiente atención es la habilidad de no responder. En la práctica, es importante que cuando un sistema de Búsqueda de Respuestas no está seguro, pueda decidir no ofrecer ninguna respuesta. Sin embargo, la mayoría de los conjuntos de datos de QA no incluyen preguntas sin respuesta y, si las incluyen, no especifican en qué proporción. Hasta la fecha, no hay ningún conjunto de datos o guía para su creación disponible que especifique la cantidad óptima de preguntas sin respuesta que un sistema de Búsqueda de Respuestas debería ver durante el entrenamiento. En este trabajo, proponemos una modificación del popular conjunto de datos de opción múltiple RACE que convierte algunas preguntas en preguntas sin respuesta, y analizamos qué proporción de preguntas sin respuesta podría ofrecer los mejores resultados durante el entrenamiento y la evaluación de un modelo BERT de base.es
dc.description.abstractThe recent qualitative step in performance of Question Answering (QA) systems has motivated a parallel profusion of new QA datasets intended to benchmark them. However, there have been only limited efforts to study the range of reasoning phenomena in QA, something that would allow for a more thorough evaluation of QA systems. One phenomenon that has not received much attention is answerability. It is important that question answering systems are able to decide whether to not give an answer when the system is unsure. However, most question answering datasets do not include unanswerable questions, and if they do, do not specify the amount of unanswerable questions. To date, there is no QA dataset or guideline available that specifies the optimal amount of unanswerable questions a QA system should see during training. In this work we propose a modification to the popular multiple-choice question answering dataset RACE that renders some questions unanswerable, and we study which proportion of unanswerable questions might offer the best results during training and evaluation of a baseline BERT model.en
dc.description.versionversión final
dc.identifier.urihttps://hdl.handle.net/20.500.14468/14694
dc.language.isoen
dc.publisherUniversidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Lenguajes y Sistemas Informáticos
dc.relation.centerE.T.S. de Ingeniería Informática
dc.relation.degreeMáster Universitario en Tecnologías del Lenguaje (UNED)
dc.relation.departmentLenguajes y Sistemas Informáticos
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.urihttps://creativecommons.org/licenses/by-nc-nd/4.0/deed.es
dc.titleNone of the above: Comparing Scenarios for Answerability Detection in Question Answering Systemses
dc.typetesis de maestríaes
dc.typemaster thesisen
dspace.entity.typePublication
relation.isAuthorOfPublicationfd81aefe-8163-4abc-950e-1d764f1ff4c6
relation.isAuthorOfPublication.latestForDiscoveryfd81aefe-8163-4abc-950e-1d764f1ff4c6
Archivos
Bloque original
Mostrando 1 - 1 de 1
Miniatura
Nombre:
ReyesMontesinos_Julio_TFM.pdf
Tamaño:
671.01 KB
Formato:
Adobe Portable Document Format
Descargar
Colecciones
Trabajos de fin de máster (TFM)