Publicación:
Analyzing Two Automatic Latent Semantic Analysis (LSA) Assessment Methods (Inbuilt Rubric vs. Golden Summary) in Summaries Extracted from Expository Texts

Vista sencilla de ítem
dc.contributor.authorJastrzebska, Olga
dc.contributor.authorMencu, Adrián
dc.contributor.authorMoraleda, Jessica
dc.contributor.authorOlmos, Ricardo
dc.contributor.authorAntonio León, José Antonio
dc.contributor.authorMartínez Huertas, José Ángel
dc.date.accessioned2024-05-20T11:49:01Z
dc.date.available2024-05-20T11:49:01Z
dc.date.issued2018
dc.description.abstractEl objetivo de este estudio es comparar dos métodos de evaluación automática del análisis semántico latente (LSA): Un nuevo método LSA ( Inbuilt Rubric) y un método LSA tradicional ( Golden Summary). Se analizaron dos condiciones del método Inbuilt Rubric: el número de descriptores léxicos que se utilizan para generar la rúbrica (pocos vs. muchos) y una corrección que penaliza el contenido irrelevante incluido en los resúmenes de los estudiantes (corregido vs. no corregido). Ciento sesenta y seis estudiantes divididos en dos muestras (81 estudiantes universitarios y 85 estudiantes de instituto) participaron en este estudio. Los estudiantes resumieron dos textos expositivos que tenían distinta complejidad (difícil/fácil) y longitud (1,300/500 palabras). Los resultados mostraron que el método Inbuilt Rubric imita las evaluaciones humanas mejor que Golden Summary en todos los casos. La similitud con las evaluaciones humanas fue más alta con Inbuilt Rubric ( r = .78 and r = .79) que con Golden Summary ( r = .67 and r = .47) en ambos textos. Además, la versión de Inbuilt Rubric con menor número de descriptores y con corrección es la que obtuvo mejores resultados.es
dc.description.abstractThe purpose of this study was to compare two automatic assessment methods using Latent Semantic Analysis (LSA): a novel LSA assessment method (Inbuilt Rubric) and a traditional LSA method (Golden Summary). Two conditions were analyzed using the Inbuilt Rubric method: the number of lexical descriptors needed to better accommodate an expert rubric (few vs. many) and a weighting function to penalize off-topic contents included in the student summaries (weighted vs. non-weighted). One hundred and sixty-six students divided in two different samples (81 undergraduates and 85 High School students) took part in this study. Students summarized two expository texts that differed in complexity (complex/easy) and length (1,300/500 words). Results showed that the Inbuilt Rubric method simulates human assessment better than Golden summaries in all cases. The similarity with human assessment was higher for Inbuilt Rubric (r = .78 and r = .79) than for Golden Summary ( r = .67 and r = .47) in both texts. Moreover, to accommodate an expert rubric into the Inbuilt Rubric method was better using few descriptors and the weighted functionen
dc.description.versionversión publicada
dc.identifier.doihttps://doi.org/10.5093/psed2048a9
dc.identifier.issn1135-755X
dc.identifier.urihttps://hdl.handle.net/20.500.14468/12590
dc.journal.issue2
dc.journal.titlePsicología educativa
dc.journal.volume24
dc.language.isoes
dc.publisherColegio Oficial de Psicólogos de Madrid
dc.relation.centerFacultad de Psicología
dc.relation.departmentMetodología de las Ciencias del Comportamiento
dc.rightsAtribución-NoComercial-SinDerivadas 4.0 Internacional
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0
dc.subject.keywordsLSA
dc.subject.keywordsInbuilt rubric
dc.subject.keywordsAutomatic essay scoring (AES)
dc.subject.keywordsLexical descriptors
dc.subject.keywordsSummaries
dc.subject.keywordsDescriptores léxicos
dc.subject.keywordsResúmenes
dc.titleAnalyzing Two Automatic Latent Semantic Analysis (LSA) Assessment Methods (Inbuilt Rubric vs. Golden Summary) in Summaries Extracted from Expository Textses
dc.titleAnálisis de dos métodos de evaluación automática de análisis semántico latente (LSA): un nuevo método LSA (Inbuilt Rubric) y un método LSA tradicional ( Golden Summary) en resúmenes extraídos de textos expositivosen
dc.typeartículoes
dc.typejournal articleen
dspace.entity.typePublication
relation.isAuthorOfPublicationca510876-0be8-438a-a565-ac5f8953fb78
relation.isAuthorOfPublication.latestForDiscoveryca510876-0be8-438a-a565-ac5f8953fb78
Archivos
Bloque original
Mostrando 1 - 1 de 1
Miniatura
Nombre:
Martinez-Huertas_JA_Analyzingtwo.pdf
Tamaño:
178.5 KB
Formato:
Adobe Portable Document Format
Descargar
Colecciones
Artículos y papers