Publicación:
Enhancing Content Validity Assessment With Item Response Theory Modeling

Vista sencilla de ítem
dc.contributor.authorNájera, Pablo
dc.contributor.authorSanz, Susana
dc.contributor.authorSorrel, Miguel Ángel
dc.contributor.authorSchames Kreitchmann, Rodrigo
dc.date.accessioned2024-05-20T11:47:58Z
dc.date.available2024-05-20T11:47:58Z
dc.date.issued2024
dc.description.abstractAntecedentes: Garantizar la validez de evaluaciones requiere un examen exhaustivo del contenido de una prueba. Es común emplear expertos en la materia (EM) para evaluar la relevancia, representatividad y adecuación de los ítems. Este artículo propone integrar la teoría de respuesta al ítem (TRI) en las evaluaciones hechas por EM. La TRI ofrece parámetros de discriminación y umbral de los EM, evidenciando su desempeño al diferenciar ítems relevantes/ irrelevantes, detectando desempeños subóptimos, mejorando también la estimación de la relevancia de los ítems. Método: Se comparó el uso de la TRI frente a índices tradicionales (índice de validez de contenido y V de Aiken) en ítems de responsabilidad. Se evaluó la precisión de los EM al discriminar si los ítems medían responsabilidad o no, y si sus evaluaciones permitían predecir los pesos factoriales de los ítems. Resultados: Las puntuaciones de TRI identificaron bien los ítems de responsabilidad (R2 = 0,57) y predijeron sus cargas factoriales (R2 = 0,45). Además, mostraron validez incremental, explicando entre 11% y 17% más de varianza que los índices tradicionales. Conclusiones: La TRI en las evaluaciones de los EM mejora la alineación de ítems y predice mejor los pesos factoriales, mejorando validez del contenido de los instrumentos.es
dc.description.abstractBackground: Ensuring the validity of assessments requires a thorough examination of the test content. Subject matter experts (SMEs) are commonly employed to evaluate the relevance, representativeness, and appropriateness of the items. This article proposes incorporating item response theory (IRT) into model assessments conducted by SMEs. Using IRT allows for the estimation of discrimination and threshold parameters for each SME, providing evidence of their performance in differentiating relevant from irrelevant items, thus facilitating the detection of suboptimal SME performance while improving item relevance scores. Method: Use of IRT was compared to traditional validity indices (content validity index and Aiken’s V) in the evaluation of conscientiousness items. The aim was to assess the SMEs’ accuracy in identifying whether items were designed to measure conscientiousness or not, and predicting their factor loadings. Results: The IRT-based scores effectively identified conscientiousness items (R2 = 0.57) and accurately predicted their factor loadings (R2 = 0.45). These scores demonstrated incremental validity, explaining 11% more variance than Aiken’s V and up to 17% more than the content validity index. Conclusions: Modeling SME assessments with IRT improves item alignment and provides better predictions of factor loadings, enabling improvement of the content validity of measurement instruments.en
dc.description.versionversión publicada
dc.identifier.doihttps://doi.org/10.7334/psicothema2023.208
dc.identifier.issn0214–9915; eISSN 1886-144X
dc.identifier.urihttps://hdl.handle.net/20.500.14468/12568
dc.journal.issue2
dc.journal.titlePsicothema
dc.journal.volume36
dc.language.isoen
dc.publisherColegio Oficial de Psicólogos del Principado de Asturias
dc.relation.centerFacultad de Psicología
dc.relation.departmentMetodología de las Ciencias del Comportamiento
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.urihttps://creativecommons.org/licenses/by/4.0/deed.es
dc.subject.keywordsContent validity
dc.subject.keywordsSubject matter experts
dc.subject.keywordsItem response theory
dc.subject.keywordsValidity
dc.subject.keywordsTest development
dc.subject.keywordsValidez de contenido
dc.subject.keywordsExpertos en la materia
dc.subject.keywordsTeoría de respuesta al ítem
dc.subject.keywordsValidez
dc.subject.keywordsDesarrollo de tests
dc.titleEnhancing Content Validity Assessment With Item Response Theory Modelinges
dc.typejournal articleen
dc.typeartículoes
dspace.entity.typePublication
relation.isAuthorOfPublicationf5f17927-c033-42e0-867c-3a658141ef26
relation.isAuthorOfPublication.latestForDiscoveryf5f17927-c033-42e0-867c-3a658141ef26
Archivos
Bloque original
Mostrando 1 - 1 de 1
Miniatura
Nombre:
SCHAMES_KREITCHMANN_RODRIGO_ENHANCING_CONTENT.pdf
Tamaño:
1.86 MB
Formato:
Adobe Portable Document Format
Descargar
Colecciones
Artículos y papers