Metodología híbrida para el análisis de información cualitativa en estudios STEM con enfoque de género

Abstract

La investigación sobre trayectorias y experiencias de mujeres en áreas STEM enfrenta importantes desafíos metodológicos debido a la complejidad interpretativa del análisis cualitativo y a la influencia de sesgos individuales durante los procesos de codificación. En este contexto, el estudio propone una metodología híbrida humano–LLM orientada al análisis de narrativas relacionadas con los constructos de legitimidad y pertenencia según el género. La propuesta integra un modelo de lenguaje de gran escala (LLM) como codificador adicional dentro de un proceso iterativo de comparación, refinamiento y validación entre codificadores humanos y artificiales.

La metodología fue aplicada mediante pilotos sucesivos utilizando entrevistas cualitativas y evaluada a través del Alpha de Krippendorff para medir la consistencia entre codificadores. Los resultados evidenciaron mejoras progresivas en categorías como tipo de voz y modo discursivo, alcanzando niveles altos de acuerdo en algunos casos (α=0.87 entre humanos y α=0.85 entre humano–IA). Sin embargo, otras categorías, como dimensión, mantuvieron bajos niveles de concordancia (α≈0.46), lo que permitió identificar ambigüedades conceptuales y necesidades de refinamiento protocolario. Asimismo, se observó que la IA aún presenta dificultades para interpretar categorías discursivas complejas, por lo que no sustituye el juicio analítico humano, sino que funciona como un mecanismo complementario de contraste y detección de discrepancias.

El estudio concluye que la integración híbrida humano–IA puede fortalecer la trazabilidad, auditabilidad y consistencia metodológica del análisis cualitativo, siempre que exista supervisión humana continua y refinamiento iterativo de los protocolos de codificación.

Research on women’s trajectories and experiences in STEM fields faces important methodological challenges due to the interpretive complexity of qualitative analysis and the influence of individual biases during coding processes. In this context, this study proposes a hybrid human–LLM methodology for analyzing narratives related to legitimacy and belonging constructs from a gender perspective. The proposal integrates a large language model (LLM) as an additional coder within an iterative process of comparison, refinement, and validation between human and artificial coders.

The methodology was applied through successive pilot studies using qualitative interviews and evaluated through Krippendorff’s Alpha to measure intercoder consistency. Results showed progressive improvements in categories such as voice type and discursive mode, reaching high agreement levels in some cases (α=0.87 among humans and α=0.85 in human–AI comparison). However, other categories, such as dimension, maintained low agreement levels (α≈0.46), revealing conceptual ambiguities and the need for further protocol refinement. Findings also indicate that the AI still struggles to consistently identify complex discursive categories, meaning it does not replace human analytical judgment but rather operates as a complementary mechanism for contrast and discrepancy detection.

The study concludes that hybrid human–AI integration can strengthen traceability, auditability, and methodological consistency in qualitative analysis, provided that continuous human supervision and iterative protocol refinement are maintained.