Shap Values y predicción del desempeño estudiantil: un enfoque preventivo para aprobar el examen comprehensivo en la Universidad del Norte

Abstract

El presente proyecto se realizó con el propósito de crear una herramienta que pueda proporcionar una ayuda a los estudiantes de ingeniería en el momento de la realización del examen comprehensivo 1. Se realizó una investigación exhaustiva sobre modelos de machine Learning, su implementación en el ámbito educativo, su capacidad predictiva y de generar información valiosa para ayudar a mejorar el desempeño estudiantil. Esta investigación incentivó la realización de diferentes modelos que fueran capaces de realizar predicciones sobre el resultado del examen hecho por el estudiante. Fueron entrenados con una base de datos proporcionada por la universidad del Norte, la cual contenía información detallada sobre las calificaciones de los estudiantes en las diferentes materias del ciclo básico que son evaluadas en el examen. Para garantizar un modelo confiable, se crearon cuatro tipos de modelos de machine Learning entre los que se encontraban Regresión logística, arboles de decisión, Random Forest y XGBoost y para cada uno se implementaron técnicas de balanceo como disminuir, aumentar e igualar las observaciones de estudiantes que aprueban y no aprueban para evitar cualquier clase de sobreajuste. Esto permitió evaluar la capacidad predictiva de los modelos y obtener aquello que se acercaban más a la realidad. Con el modelo que brindaba los mejores resultados se implementó la metodología shap la cual permitía conocer la influencia, de las distintas materias evaluadas, en la predicción resultante proporcionando una visión clara de aquellas que impactaban en el desempeño de los estudiantes en la realización del examen.

This project was carried out with the purpose of creating a tool that can provide assistance to engineering students when taking the comprehensive exam 1. An exhaustive research on machine learning models, their implementation in the educational field, their predictive capacity and their ability to generate valuable information to help improve student performance was carried out. This research encouraged the development of different models that were able to make predictions about the result of the exam taken by the student. They were trained with a database provided by the Universidad del Norte, which contained detailed information about the students' grades in the different subjects of the basic cycle that are evaluated in the exam. To ensure a reliable model, four types of machine learning models were created, including Logistic Regression, Decision Trees, Random Forest and XGBoost, and for each one, balancing techniques were implemented, such as decreasing, increasing and equalizing the observations of passing and failing students to avoid any kind of overfitting. This allowed us to evaluate the predictive ability of the models and to obtain those that were closest to reality. With the model that provided the best results, the shap methodology was implemented, which made it possible to know the influence of the different subjects evaluated in the resulting prediction, providing a clear vision of those that had an impact on the students' performance in taking the exam.