Enhancing Content Validity Assessment With Item Response Theory Modeling

Schames Kreitchmann, Rodrigo, Nájera, Pablo, Sanz, Susana y Sorrel, Miguel Ángel . (2024) Enhancing Content Validity Assessment With Item Response Theory Modeling. Psicothema, 36(2), 145-153

Ficheros (Some files may be inaccessible until you login with your e-spacio credentials)
Nombre Descripción Tipo MIME Size
SCHAMES_KREITCHMANN_RODRIGO_ENHANCING_CONTENT.pdf SCHAMES_KREITCHMANN_RODRIGO_ENHANCING_CONTENT.pdf application/pdf 1.86MB

Título Enhancing Content Validity Assessment With Item Response Theory Modeling
Autor(es) Schames Kreitchmann, Rodrigo
Nájera, Pablo
Sanz, Susana
Sorrel, Miguel Ángel
Materia(s) Psicología
Resumen Antecedentes: Garantizar la validez de evaluaciones requiere un examen exhaustivo del contenido de una prueba. Es común emplear expertos en la materia (EM) para evaluar la relevancia, representatividad y adecuación de los ítems. Este artículo propone integrar la teoría de respuesta al ítem (TRI) en las evaluaciones hechas por EM. La TRI ofrece parámetros de discriminación y umbral de los EM, evidenciando su desempeño al diferenciar ítems relevantes/ irrelevantes, detectando desempeños subóptimos, mejorando también la estimación de la relevancia de los ítems. Método: Se comparó el uso de la TRI frente a índices tradicionales (índice de validez de contenido y V de Aiken) en ítems de responsabilidad. Se evaluó la precisión de los EM al discriminar si los ítems medían responsabilidad o no, y si sus evaluaciones permitían predecir los pesos factoriales de los ítems. Resultados: Las puntuaciones de TRI identificaron bien los ítems de responsabilidad (R2 = 0,57) y predijeron sus cargas factoriales (R2 = 0,45). Además, mostraron validez incremental, explicando entre 11% y 17% más de varianza que los índices tradicionales. Conclusiones: La TRI en las evaluaciones de los EM mejora la alineación de ítems y predice mejor los pesos factoriales, mejorando validez del contenido de los instrumentos.
Abstract Background: Ensuring the validity of assessments requires a thorough examination of the test content. Subject matter experts (SMEs) are commonly employed to evaluate the relevance, representativeness, and appropriateness of the items. This article proposes incorporating item response theory (IRT) into model assessments conducted by SMEs. Using IRT allows for the estimation of discrimination and threshold parameters for each SME, providing evidence of their performance in differentiating relevant from irrelevant items, thus facilitating the detection of suboptimal SME performance while improving item relevance scores. Method: Use of IRT was compared to traditional validity indices (content validity index and Aiken’s V) in the evaluation of conscientiousness items. The aim was to assess the SMEs’ accuracy in identifying whether items were designed to measure conscientiousness or not, and predicting their factor loadings. Results: The IRT-based scores effectively identified conscientiousness items (R2 = 0.57) and accurately predicted their factor loadings (R2 = 0.45). These scores demonstrated incremental validity, explaining 11% more variance than Aiken’s V and up to 17% more than the content validity index. Conclusions: Modeling SME assessments with IRT improves item alignment and provides better predictions of factor loadings, enabling improvement of the content validity of measurement instruments.
Palabras clave Content validity
Subject matter experts
Item response theory
Validity
Test development
Validez de contenido
Expertos en la materia
Teoría de respuesta al ítem
Validez
Desarrollo de tests
Editor(es) Colegio Oficial de Psicólogos del Principado de Asturias
Fecha 2024
Formato application/pdf
Identificador bibliuned:DptoMCC-FPSI-Articulos-Rschames-0008
http://e-spacio.uned.es/fez/view/bibliuned:DptoMCC-FPSI-Articulos-Rschames-0008
DOI - identifier https://doi.org/10.7334/psicothema2023.208
ISSN - identifier 0214–9915; eISSN 1886-144X
Nombre de la revista Psicothema
Número de Volumen 36
Número de Issue 2
Página inicial 145
Página final 153
Publicado en la Revista Psicothema, 36(2), 145-153
Idioma eng
Versión de la publicación publishedVersion
Tipo de recurso Article
Derechos de acceso y licencia http://creativecommons.org/licenses/by/4.0
info:eu-repo/semantics/openAccess
Tipo de acceso Acceso abierto
Notas adicionales The registered version of this article, first published in "Psicothema, 36(2), 145-153", is available online at the publisher's website: Colegio Oficial de Psicólogos del Principado de Asturias, https://doi.org/10.7334/psicothema2023.208
Notas adicionales La versión registrada de este artículo, publicado por primera vez en "Psicothema, 36(2), 145-153", está disponible en línea en el sitio web del editor: Colegio Oficial de Psicólogos del Principado de Asturias, https://doi.org/10.7334/psicothema2023.208

 
Versiones
Versión Tipo de filtro
Contador de citas: Google Scholar Search Google Scholar
Estadísticas de acceso: 43 Visitas, 26 Descargas  -  Estadísticas en detalle
Creado: Mon, 29 Apr 2024, 21:46:46 CET