Informazioni amministrative
| Titolo | Apprendimento semi-supervisore e non supervisionato |
| Durata | 45-60 |
| Modulo | C |
| Tipo di lezione | Lezione |
| Focus | Tecnico — Intelligenza Artificiale del Futuro |
| Argomento | Progressi nei modelli ML attraverso un obiettivo HC — Uno studio orientato ai risultati |
Parole chiave
supervisionato, non supervisionato, semi-supervised, auto-sorvegliato apprendimento,
Obiettivi di apprendimento
- Comprendere i metodi di apprendimento supervisionati e non supervisionati
- Essere in grado di distinguere tra apprendimento semi-supervisore e apprendimento auto-supervisore
Preparazione prevista
Eventi di apprendimento da completare prima
Obbligatorio per gli studenti
- Introduzione ai concetti di apprendimento automatico e deep learning forniti nelle lezioni precedenti
Facoltativo per gli studenti
Referenze e background per gli studenti
- Metodi di apprendimento automatico — Computerphile
- L'apprendimento semi-supervisore spiegato
- FixMatch: Semplificare l'apprendimento semi-supervisionato con coerenza e fiducia
- Wav2vec: Riconoscimento vocale all'avanguardia attraverso l'auto-supervisione
- Classificatore di testo SALNET
- Dalla visione al linguaggio: Apprendimento semi-supervisionato in azione su scala
- Auto-formazione per il riconoscimento del discorso end-to-end
- Che cosa è l'apprendimento auto-supervised?
- Yann LeCun: Materia oscura di intelligenza e apprendimento auto-superato — Lex Fridman Podcast
- Jure Žbontar — Barlow Twins: Apprendimento auto-sviluppato attraverso la riduzione della ridondanza
- Apprendimento auto-superviso: Autopredizione e apprendimento contrastante — Tutorial, NeurIPS 2021
Consigliato per gli insegnanti
Nessuno.
Materiale didattico
Istruzioni per gli insegnanti
L'obiettivo di questa lezione è quello di concentrarsi sulle tecniche di apprendimento che ci permettono di costruire modelli in assenza di dati di formazione etichettati. In altre parole, costruire sistemi che imparino di più come gli esseri umani. La lezione dovrebbe concentrarsi su nuovi approcci nelle tecniche di apprendimento semi-supervisionate e auto-supervisionate che riducono o rimuovono il requisito per i set di dati etichettati. La lezione dovrebbe:
- Riassumere i modelli di apprendimento automatico supervisionati e non supervisionati e i loro limiti
- Spiegare i concetti alla base dell'apprendimento semi-supervisionato e fornire alcuni esempi
- Spiegare i concetti alla base dell'apprendimento auto-superviso e fornire alcuni esempi
- Identificare e descrivere aree di applicazione adeguate e tipi di problema per l'apprendimento semi-supervisore e auto-supervisore
Contorno
| Durata | Descrizione | Concetti | Attività | Materiale |
|---|---|---|---|---|
| 10 min | Revisione dell'apprendimento supervisionato e non supervisionato | Dati etichettati, dati non etichettati, classificaiton, clustering, riduzione delle dimensioni, limitazioni e problemi (costo dei dati relativi all'etichettatura) | Sessione insegnata ed esempi | Materiale didattico |
| 10 min | Apprendimento semi-supervisore | Definizione di apprendimento semi-supervisionato (apprendimento con dati etichettati limitati), modello di autoformazione, pseudo-etichettatura, livelli di confidenza, co-formazione, propagazione di etichette basate su grafici | Sessione insegnata ed esempi | Materiale didattico |
| 10 min | Apprendimento auto-superviso | Definizione di apprendimento autonomo (apprendimento senza dati etichettati), compito di pretesto, compito a valle, apprendimento contrastante | Sessione insegnata ed esempi | Materiale didattico |
| 10 min | Casi d'uso e aree di applicazione | Apprendimento semi-supervisionato (etichettatura audio, classificazione dei contenuti web, classificazione dei documenti di testo), apprendimento auto-supervisore (localizzazione patch, predicazione pixel consapevole dei contenuti, predicazione della frase successiva, modellazione del linguaggio regressivo automatico, rilevamento del discorso di odio) | Sessione insegnata ed esempi | Materiale didattico |
| 5 min | Conclusioni, domande e risposte | Riepilogo | Conclusioni | Materiale didattico |
Riconoscimenti
Il programma Human-Centered AI Masters è stato co-finanziato dal meccanismo per collegare l'Europa dell'Unione europea nell'ambito della sovvenzione CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.