Informações administrativas
| Titulo | Avaliação do modelo |
| Duração | 60 |
| Módulo | A |
| Tipo de aula | Tutorial |
| Foco | Técnico — Fundamentos da IA |
| Tópico | Fundamentos da IA |
Palavras-chave
avaliação de modelos, validação cruzada, otimização de hiperparametros,
Objetivos de aprendizagem
- Os alunos compreendem a necessidade de avaliação sistemática de modelos
- Os alunos compreendem a diferença entre os conjuntos de treino, teste e validação
- Os alunos conhecem as métricas de desempenho mais amplamente aplicadas
- Os alunos são capazes de reconhecer o subequipamento e o overfitting
- Os alunos são capazes de projetar experiências de validação cruzada para otimização de hiperparametros
Preparação prevista
Eventos de aprendizagem a serem concluídos antes
Obrigatório para os Estudantes
Nenhuma.
Facultativo para Estudantes
Nenhuma.
Referências e antecedentes para estudantes
Nenhuma.
Recomendado para professores
Nenhuma.
Materiais das aulas
Instruções para os professores
Prepare um ambiente de caderno Jupyter com pandas, matplotlib, numpy e scikit-learn pacotes
Calendário/horário
| Duração (min) | Descrição | Conceitos |
|---|---|---|
| 5 | Introdução à avaliação de modelos | erro empírico, desempenho preditivo e de generalização |
| 5 | Formação de um simples classificador | MLP, hiperparâmetros |
| 10 | Avaliar um classificador | matriz de confusão, precisão, TPR, FPR, precisão, taxa de classificação incorreta, pontuação F1 |
| 10 | Curvas Roc/PR e sua interpretação | limite de decisão, curva ROC, curva PR, AUC |
| 10 | Subequipamento e sobremontagem | erro de treino e teste |
| 10 | Validação cruzada e otimização de hiperparametros | conjunto de validação, erro de validação, validação cruzada de 5 vezes |
| 10 | Avaliação de modelos de regressão | MSE, RMSE, MAE |
Agradecimentos
O programa de mestrado em IA centrado no ser humano foi cofinanciado pelo Mecanismo Interligar a Europa da União Europeia ao abrigo de subvenções CEF-TC-2020-1 Competências Digitais 2020-EU-IA-0068.