Analyzing Two Automatic Latent Semantic Analysis (LSA) Assessment Methods (Inbuilt Rubric vs. Golden Summary) in Summaries Extracted from Expository Texts

Martínez-Huertas, José Ángel, Jastrzebska, Olga, Mencu, Adrián, Moraleda, Jessica, Olmos, Ricardo y León, José Antonio . (2018) Analyzing Two Automatic Latent Semantic Analysis (LSA) Assessment Methods (Inbuilt Rubric vs. Golden Summary) in Summaries Extracted from Expository Texts. Psicología educativa

Ficheros (Some files may be inaccessible until you login with your e-spacio credentials)
Nombre Descripción Tipo MIME Size
Martinez-Huertas_JA_Analyzingtwo.pdf Martinez-Huertas_JA_Analyzingtwo.pdf application/pdf 178.49KB

Título Analyzing Two Automatic Latent Semantic Analysis (LSA) Assessment Methods (Inbuilt Rubric vs. Golden Summary) in Summaries Extracted from Expository Texts
Título paralelo Análisis de dos métodos de evaluación automática de análisis semántico latente (LSA): un nuevo método LSA (Inbuilt Rubric) y un método LSA tradicional ( Golden Summary) en resúmenes extraídos de textos expositivos
Autor(es) Martínez-Huertas, José Ángel
Jastrzebska, Olga
Mencu, Adrián
Moraleda, Jessica
Olmos, Ricardo
León, José Antonio
Materia(s) Psicología
Resumen El objetivo de este estudio es comparar dos métodos de evaluación automática del análisis semántico latente (LSA): Un nuevo método LSA ( Inbuilt Rubric) y un método LSA tradicional ( Golden Summary). Se analizaron dos condiciones del método Inbuilt Rubric: el número de descriptores léxicos que se utilizan para generar la rúbrica (pocos vs. muchos) y una corrección que penaliza el contenido irrelevante incluido en los resúmenes de los estudiantes (corregido vs. no corregido). Ciento sesenta y seis estudiantes divididos en dos muestras (81 estudiantes universitarios y 85 estudiantes de instituto) participaron en este estudio. Los estudiantes resumieron dos textos expositivos que tenían distinta complejidad (difícil/fácil) y longitud (1,300/500 palabras). Los resultados mostraron que el método Inbuilt Rubric imita las evaluaciones humanas mejor que Golden Summary en todos los casos. La similitud con las evaluaciones humanas fue más alta con Inbuilt Rubric ( r = .78 and r = .79) que con Golden Summary ( r = .67 and r = .47) en ambos textos. Además, la versión de Inbuilt Rubric con menor número de descriptores y con corrección es la que obtuvo mejores resultados.
Abstract The purpose of this study was to compare two automatic assessment methods using Latent Semantic Analysis (LSA): a novel LSA assessment method (Inbuilt Rubric) and a traditional LSA method (Golden Summary). Two conditions were analyzed using the Inbuilt Rubric method: the number of lexical descriptors needed to better accommodate an expert rubric (few vs. many) and a weighting function to penalize off-topic contents included in the student summaries (weighted vs. non-weighted). One hundred and sixty-six students divided in two different samples (81 undergraduates and 85 High School students) took part in this study. Students summarized two expository texts that differed in complexity (complex/easy) and length (1,300/500 words). Results showed that the Inbuilt Rubric method simulates human assessment better than Golden summaries in all cases. The similarity with human assessment was higher for Inbuilt Rubric (r = .78 and r = .79) than for Golden Summary ( r = .67 and r = .47) in both texts. Moreover, to accommodate an expert rubric into the Inbuilt Rubric method was better using few descriptors and the weighted function
Palabras clave LSA
Inbuilt rubric
Automatic essay scoring (AES)
Lexical descriptors
Summaries
Descriptores léxicos
Resúmenes
Editor(es) Colegio Oficial de Psicólogos de Madrid
Fecha 2018
Formato application/pdf
Identificador bibliuned:DptoMCC-FPSI-Articulos-Jamartinez-0006
http://e-spacio.uned.es/fez/view/bibliuned:DptoMCC-FPSI-Articulos-Jamartinez-0006
DOI - identifier https://doi.org/10.5093/psed2048a9
ISSN - identifier 1135-755X
Nombre de la revista Psicología educativa
Número de Volumen 24
Número de Issue 2
Página inicial 85
Página final 92
Publicado en la Revista Psicología educativa
Idioma spa
Versión de la publicación publishedVersion
Tipo de recurso Article
Derechos de acceso y licencia http://creativecommons.org/licenses/by-nc-nd/4.0
info:eu-repo/semantics/openAccess
Tipo de acceso Acceso abierto
Notas adicionales La versión registrada de este artículo, publicado por primera vez en Psicología educativa (2018) 24,-2 p. 85-92, está disponible en línea en el sitio web del editor: Colegio Oficial de Psicólogos de Madrid; https://doi.org/10.5093/psed2048a9
Notas adicionales The registered version of this article, first published in Educational Psychology (2018) 24,-2 p. 85-92, is available online on the publisher's website: Official College of Psychologists of Madrid; https://doi.org/10.5093/psed2048a9

 
Versiones
Versión Tipo de filtro
Contador de citas: Google Scholar Search Google Scholar
Estadísticas de acceso: 28 Visitas, 4 Descargas  -  Estadísticas en detalle
Creado: Thu, 29 Feb 2024, 20:37:02 CET