Examinando por Autor "Verdejo, M. Felisa"

Mostrando 1 - 7 de 7
  • Miniatura
    Publicación
    A comparison of extrinsic clustering evaluation metrics based on formal constraints
    (Springer, 2009-05-11) Artiles Picón, Javier ; Verdejo, M. Felisa; Amigo Cabrera, Enrique; Gonzalo Arroyo, Julio Antonio
    There is a wide set of evaluation metrics available to compare the quality of text clustering algorithms. In this article, we define a few intuitive formal constraints on such metrics which shed light on which aspects of the quality of a clustering are captured by different metric families. These formal constraints are validated in an experiment involving human assessments, and compared with other constraints proposed in the literature. Our analysis of a wide range of metrics shows that only BCubed satisfies all formal constraints. We also extend the analysis to the problem of overlapping clustering, where items can simultaneously belong to more than one cluster. As Bcubed cannot be directly applied to this task, we propose a modified version of Bcubed that avoids the problems found with other metrics.
  • Miniatura
    Publicación
    Una arquitectura distribuida basada en agentes software para el desarrollo y el soporte de espacios de aprendizaje ubicuos
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Lenguajes y Sistemas Informáticos, 2010-10-04) Celorrio Aguilera, Carlos; Verdejo, M. Felisa
    En este trabajo de investigación se explora y desarrolla toda una arquitectura que da soporte a nuevos paradigmas tecnológicos educativos emergentes de carácter colaborativo, ubicuo y distribuido buscando diseñar una serie de modelos computacionales que los sustenten. Para este desarrollo se ha utilizado como estrato tecnológico el paradigma de sistemas multiagente para dar soporte al aprendizaje que use dispositivos móviles y sistemas ubicuos en general. El nombre que recibe esta arquitectura es DAEDALUS (Distributed Agent-based EDucational Architecture for Learning using Ubiquitous Systems). DAEDALUS está diseñado como un sistema multiagente. Los agentes son capaces de observar el entorno de aprendizaje, analizarlo y actuar en consecuencia. La arquitectura de DAEDALUS está basada en ICARO-T, una plataforma para el desarrollo de sistemas multiagente.
  • Miniatura
    Publicación
    Collaboratively authored web contents as resources for word sense disambiguation and discovery
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Lenguajes y Sistemas Informáticos, 2010-07-09) Santamaría Recio, María Celina; Gonzalo Arroyo, Julio Antonio; Verdejo, M. Felisa
    En esta tesis, hemos abordado el uso de contenidos de la Red creados colaborativamente, considerándolos fuentes de información léxica, para realizar desambiguación y descubrimiento de sentidos. Nos hemos centrado en dos recursos, el Open Directory Project (ODP) y Wikipedia, ambos colaborativos pero con planteamientos diferentes: ODP organiza jerárquicamente sitios Web por dominios (información implícita); Wikipedia es un repositorio enciclopédico de conocimiento explícito asociado a un lexicón, de amplia cobertura y continuamente actualizado.
  • Miniatura
    Publicación
    Combining evaluation metrics via the unanimous improvement ratio and its application in weps clustering task
    (Association for the Advancement of Artificial Intelligence, 2011-12-01) Artiles Picón, Javier ; Verdejo, M. Felisa; Amigo Cabrera, Enrique; Gonzalo Arroyo, Julio Antonio
    Many Artificial Intelligence tasks cannot be evaluated with a single quality criterion and some sort of weighted combination is needed to provide system rankings. A problem of weighted combination measures is that slight changes in the relative weights may produce substantial changes in the system rankings. This paper introduces the Unanimous Improvement Ratio (UIR), a measure that complements standard metric combination criteria (such as van Rijsbergen's F-measure) and indicates how robust the measured differences are to changes in the relative weights of the individual metrics. UIR is meant to elucidate whether a perceived difference between two systems is an artifact of how individual metrics are weighted. Besides discussing the theoretical foundations of UIR, this paper presents empirical results that confirm the validity and usefulness of the metric for the Text Clustering problem, where there is a tradeoff between precision and recall based metrics and results are particularly sensitive to the weighting scheme used to combine them. Remarkably, our experiments show that UIR can be used as a predictor of how well differences between systems measured on a given test bed will also hold in a different test bed.
  • Miniatura
    Publicación
    EvALL: Open Access Evaluation for Information Access Systems
    (Association for Computing Machinery (ACM), 2017) Almagro Cádiz, Mario; Rodríguez Vidal, Javier; Verdejo, M. Felisa; Amigo Cabrera, Enrique; Carrillo de Albornoz Cuadrado, Jorge Amando; Gonzalo Arroyo, Julio Antonio
    The EvALL online evaluation service aims to provide a unified evaluation framework for Information Access systems that makes results completely comparable and publicly available for the whole research community. For researchers working on a given test collection, the framework allows to: (i) evaluate results in a way compliant with measurement theory and with state-of-the-art evaluation practices in the field; (ii) quantitatively and qualitatively compare their results with the state of the art; (iii) provide their results as reusable data to the scientific community; (iv) automatically generate evaluation figures and (low-level) interpretation of the results, both as a pdf report and as a latex source. For researchers running a challenge (a comparative evaluation campaign on shared data), the framework helps them to manage, store and evaluate submissions, and to preserve ground truth and system output data for future use by the research community. EvALL can be tested at http://evall.uned.es.
  • Miniatura
    Publicación
    Pelican. Una plataforma para el diseño y desarrollo de escenarios de aprendizaje colaborativo. Soporte a los aspectos dinámicos
    (Universidad Nacional de Educación a Distancia (España). Escuela Técnica Superior de Ingeniería Informática. Departamento de Lenguajes y Sistemas Informáticos, 2009-10-13) Vélez Reyes, Javier; Verdejo, M. Felisa
    El aprendizaje colaborativo es un paradigma pedagógico de relativa reciente aparición. De acuerdo a esta nueva corriente, para desarrollar experiencias de instrucción significativas es conveniente abandonar los clásicos esquemas de transmisión de conocimientos entre alumno y profesor en favor de otros donde los estudiantes adquieren un rol más participativo. El cambio fundamental consiste en organizar a los estudiantes en pequeños grupos de colaboración para que realicen conjuntamente una serie de actividades de aprendizaje. Inmersos en el desarrollo de las mismas, los estudiantes aprenderán debido a la necesidad de reconciliar por consenso los conflictos cognitivos surgidos en la base de las interacciones sociales. La labor del profesor consiste entonces a diseñar y monitorizar las actividades de aprendizaje garantizando que dichos conflictos sucedan efectivamente. La tecnología, y en particular el campo del aprendizaje colaborativo soportado por computador (CSCL, en inglés) pretende dar soporte a esta problemática. Actualmente se han desarrollado diversas plataformas de aprendizaje que se centran, fundamentalmente, en dar soporte a la interacción colaborativa. Sin embargo, no debemos olvidar que lo más importante para desarrollar este tipo de experiencias es realizar un apropiado diseño de las mismas. Por tanto, los entornos virtuales de aprendizaje colaborativo deberían dar un soporte completo a estas tareas. En este trabajo de tesis presentamos Pelican, una plataforma de aprendizaje colaborativo que da soporte integral a los principales procesos que intervienen en el diseño y desarrollo de este tipo de experiencias. En Pelican es posible especificar formalmente escenarios de aprendizaje colaborativo y posteriormente ponerlos en práctica orquestados por la propia plataforma. La aportación principal a este respecto radica en las capacidades de intervención que presenta Pelican para adaptar puntualmente tanto la plataforma en sí misma como las herramientas externas integradas dentro de ella a las necesidades de cambio de un flujo de trabajo instruccional. Esto permite capturar los aspectos dinámicos que aparecen de forma recurrente inherentemente vinculados a la mayoría de los escenarios de esta naturaleza.
  • Miniatura
    Publicación
    The contribution of linguistic features to automatic machine translation evaluation
    (2009-08-02) Giménez, Jesús; Verdejo, M. Felisa; Amigo Cabrera, Enrique; Gonzalo Arroyo, Julio Antonio
    A number of approaches to Automatic MT Evaluation based on deep linguistic knowledge have been suggested. However, n-gram based metrics are still today the dominant approach. The main reason is that the advantages of employing deeper linguistic information have not been clarified yet. In this work, we propose a novel approach for meta-evaluation of MT evaluation metrics, since correlation cofficient against human judges do not reveal details about the advantages and disadvantages of particular metrics. We then use this approach to investigate the benefits of introducing linguistic features into evaluation metrics. Overall, our experiments show that (i) both lexical and linguistic metrics present complementary advantages and (ii) combining both kinds of metrics yields the most robust metaevaluation performance.