An Artificial Intelligence Approach for Generalizability of Cognitive Impairment Recognition in Language

González Machorro, Mónica. (2022). An Artificial Intelligence Approach for Generalizability of Cognitive Impairment Recognition in Language Master Thesis, Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial

Ficheros (Some files may be inaccessible until you login with your e-spacio credentials)
Nombre Descripción Tipo MIME Size
Gonzalez_Machorro_Monica_TFM.pdf Gonzalez_Machorro_Monica_TFM.pdf application/pdf 1.59MB

Título An Artificial Intelligence Approach for Generalizability of Cognitive Impairment Recognition in Language
Autor(es) González Machorro, Mónica
Resumen Introducción: Trastornos en el lenguaje se considera uno de los primeros signos del deterioro cognitivo. Objetivos: Un reto, sin embargo, es la desconexión entre los resultados obtenidos en previas investigaciones y su aplicación en contextos clínicos. Esto se debe, en gran parte, a la falta de estandarización y de datos en este campo. La propuesta de este trabajo es emplear técnicas de inteligencia artificial para abordar este reto: la generalización. Metodología: En este trabajo estudiamos el lenguaje en dos modalidades: el habla, que se refiere a la manifestación acústica del lenguaje y la información lingüística entendida como la gramática. Para la primera modalidad empleamos grabaciones y para la segunda transcripciones de las grabaciones. El conjunto de datos empleado es un subconjunto del Corpus Pitt que contiene pacientes con deterioro cognitivo leve y Alzheimer. Nuestra propuesta incluye explorar métodos de aprendizaje transferido y end-to-end tales como wav2vec, HuBERT, BERT y RoBERTa; aplicar herramientas de ASR para obtener transcripciones automáticas, explorar variables que sean independientes de la lengua y del contenido; analizar la unidad del habla más pequeñas: los fonemas; y por último, evaluar los métodos más prometedores en un conjunto de datos externo. Resultados: Los resultados demostraron que, en el caso de métodos de aprendizaje de transferencia, la modalidad acústica no solo proporciona una solución independiente del contenido lingüístico, sino que también obtiene un mayor rendimiento que aquellos métodos basados en transcripciones producidas mediante herramientas de ASR. Los resultados también demuestran que los métodos de la modalidad lingüística son más robustos que los de la modalidad acústica. Conclusión: Este trabajo destaca la necesidad de una herramienta ASR adecuada para la transcripción de demencia y de explorar el habla espontánea. La mayor aportación es la aplicación exitosa de modelos end-to-end y de aprendizaje transferido en la detección de demencia.
Abstract Introduction: Language provides valuable information in early dementia recognition, as language impairment is a common characteristic of early dementia. Objectives: One current limitation is a disconnection between results in previous research and clinical applications. In this paper, we propose artificial intelligence methods that address this challenge: the generalizability of studies. Methods: We analyze language in two separate modalities: speech signal and linguistic information referring to grammar and semantics. For the first modality, we employ audio files, and for the second one, transcripts extracted from audio files. We employ a subset of the Pitt Corpus that contains early Alzheimer’s disease and Mild Cognitive Impairment patients. Our proposed methods include exploring deep transfer learning models and explainable feature sets that are language-independent; applying ASR tools to obtain automatic transcripts; fine-tuning end-to-end ASR models for our task; analyzing the smallest speech unit: phonemes; and validating the most promising models on conversational speech data from other data sources. Results: Results show that speech deep transfer learning approaches provide a content-independent solution and outperform ASR transcripts-based methods. We also demonstrate that linguistic-based deep learning methods are more robust than speech-based approaches in external validation procedures. Conclusion: This research highlights the need of suitable ASR-tools for dementia and exploration of conversational speech data. Our main contribution is to successfully fine-tuning end-to-end and transfer learning methods in dementia recognition.
Notas adicionales Trabajo de Fin de Máster Universitario en Investigación en Inteligencia Artificial. UNED
Materia(s) Ingeniería Informática
Palabra clave lenguaje
inteligencia artificial
aprendizaje transferido
enfermedad del Alzheimer
deterioro cognitivo leve
automatic speech recognition, artificial intelligence, early Alzheimer’s recognition,
artificial intelligence
early Alzheimer’s recognition
language impairment
mild cognitive impairment
natural language processing
Editor(es) Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Inteligencia Artificial
Director/Tutor Martínez Tomás, Rafael
Fecha 2022-02-01
Formato application/pdf
Identificador bibliuned:master-ETSInformatica-IIA-Mgonzalez
http://e-spacio.uned.es/fez/view/bibliuned:master-ETSInformatica-IIA-Mgonzalez
Idioma eng
Versión de la publicación acceptedVersion
Nivel de acceso y licencia http://creativecommons.org/licenses/by-nc-nd/4.0
info:eu-repo/semantics/openAccess
Tipo de recurso master Thesis
Tipo de acceso Acceso abierto

 
Versiones
Versión Tipo de filtro
Contador de citas: Google Scholar Search Google Scholar
Estadísticas de acceso: 211 Visitas, 43 Descargas  -  Estadísticas en detalle
Creado: Tue, 12 Sep 2023, 18:05:12 CET