Metodología y plan de trabajo

Metodología

Siguiendo a Creswell y Plano Clark (2018), CRITERIA adoptará una metodología basada en un enfoque mixto, que combina la definición teórica de criterios de calidad con su aplicación práctica y validación empírica mediante experimentos con modelos de lenguaje entrenados con corpus de distintos niveles de calidad. La investigación se desarrollará a través de las siguientes etapas sucesivas:

  1. Revisión bibliográfica: El estudio comienza con una revisión exhaustiva del estado de la cuestión en la evaluación de corpus y calidad de los datos en el ámbito del PLN abarcando tanto los marcos previos a los LLMs como las propuestas emergentes posteriores. A través de esta revisión, se pretende identificar lagunas metodológicas, definir los criterios de calidad más recurrentes y descubrir posibles indicadores aún inexplorados.
  2. Análisis de los criterios de calidad del corpus: Con base en la revisión bibliográfica, se identificarán y sistematizarán los criterios de calidad más utilizados
    en la evaluación de corpus (como la autoridad, la precisión o la cobertura). Además, se propondrán nuevos indicadores diseñados específicamente para responder a los retos y particularidades que plantea el uso de corpus en contextos que involucran modelos de lenguaje de gran escala (LLMs). Cada criterio, tanto los tradicionales como los de nueva incorporación, será definido con precisión y acompañado de una justificación argumentada que explique su relevancia e impacto sobre la calidad global del corpus.
  3. Diseño de un marco metodológico de calidad: A partir de los criterios definidos, se desarrollará una metodología de evaluación cuantitativa que permita asignar a cada corpus un nivel de calidad: crudo, bronce, plata u oro. Este marco combinará medidas automatizadas con evaluaciones lingüísticas supervisadas para garantizar su interpretabilidad y reproducibilidad.
  4. Evaluación de corpus existentes: Las métricas, herramientas, framework u otros métodos propuestos se aplicarán a una selección de conjuntos de datos de referencia, clasificándolos según los niveles de calidad establecidos. Esto permitirá observar el comportamiento de la métrica en distintos tipos de recursos y calibrar los valores umbral que delimitan cada nivel de calidad.
  5. Experimentos de curación y validación empírica: Finalmente, se realizarán experimentos de entrenamiento con modelos lingüísticos utilizando corpus de diferentes niveles de calidad. El impacto de la calidad del corpus sobre el comportamiento de los LLMs se evaluará midiendo el rendimiento en función de los criterios definidos. Estos experimentos proporcionarán evidencia empírica directa que respalde la hipótesis del proyecto y demostrarán la utilidad práctica del marco de evaluación propuesto.

Mediante esta metodología, CRITERIA ofrecerá un modelo conceptual sólido para la evaluación de corpus en la era de los LLMs, así como herramientas efectivas y validada empíricamente que permitan a la comunidad de PLN mejorar la fiabilidad y la equidad de las tecnologías lingüísticas contemporáneas.

Módulos de trabajo

Módulo 1: Coordinación y gestión del proyecto

Este módulo abarca las actividades esenciales para la correcta administración y seguimiento del proyecto, garantizando el cumplimiento de los objetivos dentro de los plazos y presupuestos establecidos, así como la gestión adecuada de riesgos y calidad.

T1.1: Gestión administrativa y financiera

Incluye la planificación y control de los recursos económicos, la administración de contratos, y la elaboración de informes financieros.

T1.2: Seguimiento del proyecto, control de calidad y gestión de riesgos

Comprende el monitoreo continuo del progreso, la implementación de medidas para asegurar la calidad de las entregas y la identificación y mitigación de riesgos potenciales que puedan afectar el desarrollo del proyecto.

Módulo 2: Definición, desarrollo y validación de los criterios de calidad de corpus

Este módulo constituye el núcleo científico-técnico del proyecto y tiene como objetivo establecer criterios y procedimientos innovadores para evaluar la calidad de corpus multilingües, tanto de origen natural como sintético. Las actividades contempladas permitirán, por un lado, sistematizar y formalizar los criterios de calidad lingüística y técnica y, por otro, explorar y desarrollar soluciones que faciliten su aplicación de forma automatizada y reproducible. Además, estos procedimientos se aplicarán y evaluarán sobre corpus existentes y se validarán mediante casos de uso prácticos basados en prompts, con el fin de comprobar su utilidad y robustez en diferentes contextos. Este módulo es clave para garantizar la solidez metodológica y la aplicabilidad real de los resultados del proyecto.

T2.1: Sistematización de criterios de calidad para corpus multilingües (naturales y sintéticos)

Esta tarea constituye la base conceptual del proyecto y se desarrollará principalmente durante el primer año (véase Tabla 1). Comenzará con una revisión exhaustiva y sistemática de la literatura científica y técnica, identificando enfoques previos, buenas prácticas y lagunas en la definición de criterios de calidad para corpus lingüísticos, tanto en su vertiente natural como sintética. Esta revisión no solo abarcará investigaciones en Lingüística de Corpus y PLN, sino también normativas emergentes y estándares de calidad aplicables a datos textuales en la era de la IA. A partir de esta revisión se procederá a la definición y estructuración de un conjunto
integrado de criterios lingüísticos, estructurales y semánticos, que permita evaluar la calidad de corpus multilingües de forma sistemática. Se contemplará un análisis en profundidad de posibles sesgos presentes en los corpus (por género, idioma, procedencia, etc.), evaluando su impacto en la equidad y fiabilidad de los modelos de IA que los utilizan. Asimismo, se incorporará una capa de análisis pragmático-discursivo, centrada en identificar y clasificar las intenciones comunicativas y funciones discursivas predominantes en los textos, con el fin de enriquecer la evaluación de calidad desde una perspectiva contextual e interpretativa. Este marco servirá de base para las tareas posteriores de desarrollo del componente de automatización de estos criterios (p. ej. métricas, herramienta, framework, u otros) , así como para su validación y aplicación práctica, garantizando que todos los resultados se construyan sobre una definición rigurosa y fundamentada.

T2.2: Diseño y desarrollo de métodos automatizados para la evaluación de calidad

Diseño y desarrollo de métodos automatizados, tales como métricas, herramientas o frameworks, que permitan realizar una evaluación cuantificable, objetiva y reproducible de la calidad basada en los criterios definidos en la tarea anterior.

T2.3: Evaluación de corpus existentes

Aplicación de los criterios, métricas y otros métodos desarrollados para analizar corpus ya disponibles, con el fin de validar su idoneidad y detectar posibles limitaciones. Como por ejemplo el corpus ClearSim (Botella-Gil, et al. 2024), INTENT-ES (Miró-Maestre, 2025), RUN (Bonet-Jover et al., 2024)), COCOTEROS (Miró-Maestre et al. 2024) o VILLANOS (Botella-Gil, et al. 2024), entre otros.

T2.4: Caso de uso: Validación con prompts

Aplicación práctica de los criterios, métricas y otros métodos desarrollados sobre corpus seleccionados, mediante la utilización de modelos de lenguaje ya existentes (preentrenados) a través de técnicas de prompting. Se diseñarán experimentos para observar el comportamiento y la sensibilidad de estos modelos ante corpus etiquetados como de alta o baja calidad, sin necesidad de reentrenamiento. Esta validación permitirá comprobar hasta qué punto los criterios propuestos son operativos y reconocibles para modelos actuales, y servirá como prueba empírica del impacto de la calidad textual en tareas típicas de PLN.

Módulo 3: Difusión, comunicación y explotación

Este módulo tiene como objetivo maximizar el impacto del proyecto mediante estrategias efectivas de comunicación, difusión de resultados y planificación para la explotación futura de los logros obtenidos. Se trabajará en asegurar la visibilidad del proyecto entre las partes interesadas y en fomentar su sostenibilidad más allá de su finalización.

T3.1: Comunicación, canales y herramientas

Consiste en el diseño e implementación de una estrategia de comunicación adecuada, la identificación de los públicos objetivo, y la selección y gestión de los canales y herramientas más eficaces para difundir el contenido del proyecto de manera clara, coherente y accesible. Se creará una página web dedicada al proyecto, y los miembros del equipo investigador difundirán también el proyecto y sus resultados a través de sus redes sociales, si las tuvieran. Así, estas redes sociales servirán como plataformas clave para la visibilidad pública y la difusión de los resultados de la investigación.