Información administrativa
| Título | Evaluación del modelo |
| Duración | 60 |
| Módulo | A |
| Tipo de lección | Tutorial |
| Enfoque | Técnico — Fundamentos de la IA |
| Tema | Fundamentos de la IA |
Keywords
evaluación del modelo, validación cruzada, optimización de hiperparámetros,
Objetivos de aprendizaje
- Los alumnos entienden la necesidad de una evaluación sistemática del modelo
- Los alumnos entienden la diferencia entre los conjuntos de entrenamiento, prueba y validación
- Los estudiantes conocen las métricas de rendimiento más ampliamente aplicadas
- Los estudiantes son capaces de reconocer el ajuste insuficiente y el sobreajuste
- Los estudiantes son capaces de diseñar experimentos de validación cruzada para la optimización de hiperparámetros
Preparación prevista
Eventos de aprendizaje que se completarán antes
Obligatorio para los estudiantes
Ninguno.
Opcional para estudiantes
Ninguno.
Referencias y antecedentes para estudiantes
Ninguno.
Recomendado para profesores
Ninguno.
Material didáctico
Instrucciones para profesores
Prepare un entorno de cuaderno Jupyter con paquetes de pandas, matplotlib, numpy y scikit-learn
Esquema/horario de tiempo
| Duración (min) | Descripción | Conceptos |
|---|---|---|
| 5 | Introducción a la evaluación del modelo | error empírico, rendimiento predictivo y de generalización |
| 5 | Formación de un clasificador simple | MLP, hiperparámetros |
| 10 | Evaluación de un clasificador | matriz de confusión, precisión, TPR, FPR, precisión, tasa de clasificación errónea, puntuación de F1 |
| 10 | Curvas Roc/PR y su interpretación | límite de decisión, curva ROC, curva PR, AUC |
| 10 | Inadaptación y sobreajuste | entrenamiento y error de prueba |
| 10 | Validación cruzada y optimización de hiperparámetros | conjunto de validación, error de validación, validación cruzada de 5 veces |
| 10 | Evaluación de modelos de regresión | MSE, RMSE, MAE |
Reconocimientos
El programa de maestría en IA centrada en el ser humano fue cofinanciado por el Mecanismo «Conectar Europa» de la Unión Europea en virtud de la subvención «CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068».