Tutorial: Afinação de hiperparâmetros

Informações administrativas

Palavras-chave

Afinação do hiperparâmetro, funções de ativação, perda, épocas, tamanho do lote,

Objetivos de aprendizagem

• Investigar os efeitos sobre a capacidade e a profundidade
• Experientes com diferentes épocas e tamanhos dos lotes
• Experimente diferentes funções de ativação e taxas de aprendizagem

Preparação prevista

Materiais das aulas

• Passo 1 — 5 (HTML)
• Passo 1 — 5 (.ipynb)
• Conjuntos de dados para o ensino da IA ética (conjunto de dados do recenseamento)

Instruções para os professores

• Este tutorial irá apresentar aos alunos os fundamentos da sintonização hiperparâmetro para uma rede neural artificial. Este tutorial consistirá no rasto de múltiplos hiperparâmetros e, em seguida, na avaliação utilizando as mesmas configurações de modelos que a Lecture (Lecture 3). Este tutorial centrar-se-á na modificação sistemática dos hiperparametros e na avaliação das parcelas diagnósticas (utilizando a perda — mas isso poderia ser facilmente modificado para a precisão, uma vez que é um problema de classificação) utilizando o Census Dataset. No final deste tutorial (os exemplos passo a passo) espera-se que os alunos completem um Prático com uma avaliação adicional para a equidade (com base na avaliação de desempenho do subconjunto).
• Notas:
  • Há pré-processamento realizado no conjunto de dados (incluído no bloco de notas), no entanto, este é o mínimo para obter o conjunto de dados para trabalhar com a ANN. Isto não é abrangente e não inclui qualquer avaliação (polaridade/justiça).
  • Utilizaremos parcelas diagnósticas para avaliar o efeito da afinação do hiperparâmetro e, em particular, um enfoque na perda, onde deve-se notar que o módulo que usamos para traçar a perda é matplotlib.pyplot, portanto o eixo é dimensionado. Isto pode significar que as diferenças significativas podem não parecer significativas ou vice-versa quando se compara a perda dos dados do treino ou do teste.
  • Algumas liberdades para andaimes são apresentadas, como o uso de Epochs primeiro (quase como uma técnica de regularização) enquanto mantém o tamanho do lote constante.
  • Para fornecer exemplos claros (ou seja, sobremontagem), alguns ajustes adicionais a outros hiperparametros podem ter sido incluídos para fornecer gráficos de diagnóstico claros para exemplos.
  • Uma vez identificada uma capacidade e profundidade razoáveis, este, bem como outros hiperparâmetros, são bloqueados para seguir exemplos sempre que possível.
  • Finalmente, algumas das células podem demorar algum tempo a treinar, mesmo com acesso à GPU.
• Os alunos serão apresentados com várias etapas para o tutorial:
  • Passo 1: Algum pré-processamento básico para o conjunto de dados do Censo Adulto
  • Passo 2: Afinação da capacidade e da profundidade (incluindo os seguintes exemplos):
    • Ausência de convergência
    • Subequipamento
    • Sobreadequação
    • Convergência
  • Passo 3: Épocas (sobre e em formação — sem introduzi-la como uma técnica de regularização formal)
  • Passo 4: Funções de ativação (no que diz respeito ao desempenho — tempo de treino e, em alguns casos, perda)
  • Passo 5: Taxas de aprendizagem (incluindo os seguintes exemplos):
    • SGD Vanilla
    • SGD com decadência da taxa de aprendizagem
    • SGD com impulso
    • Taxas de aprendizagem adaptativa:
      • RMSProp
      • AdaGrad
      • Adão
• Os subobjetivos para estas cinco partes é fornecer aos alunos exemplos e experiência em hiperparametros de afinação e avaliar os efeitos através de gráficos diagnósticos.

Esboço

Agradecimentos

O programa de mestrado em IA centrado no ser humano foi cofinanciado pelo Mecanismo Interligar a Europa da União Europeia ao abrigo de subvenções CEF-TC-2020-1 Competências Digitais 2020-EU-IA-0068.

Plano de aula sobre o SURF

Página do Wikiwijs