Administratieve informatie
| Titel | Semi-supervised en Unsupervised Learning |
| Looptijd | 45-60 |
| Module | C |
| Type les | Lezing |
| Focus | Technisch — Toekomstige AI |
| Onderwerp | Vooruitgang in ML-modellen door middel van een HC-lens — Een resultaatgericht onderzoek |
Sleutelwoorden
onder toezicht, onbewaakt, semi-gesuperviseerd, zelfgecontroleerd leren,
Leerdoelen
- Begrijp de onder toezicht staande en onbewaakte leermethoden
- In staat zijn om onderscheid te maken tussen semi-supervised learning en self-supervised learning
Verwachte voorbereiding
Leren van gebeurtenissen die moeten worden voltooid voordat
Verplicht voor studenten
- Inleiding tot machine learning en deep learning concepten gegeven in eerdere lezingen
Optioneel voor studenten
Referenties en achtergronden voor studenten
- Machine learning methoden — Computerphile
- Semi-supervised Learning uitgelegd
- FixMatch: Het vereenvoudigen van semi-supervised leren met consistentie en vertrouwen
- Wav2vec: State-of-the-art spraakherkenning door zelftoezicht
- SALNET tekst classificator
- Van visie naar taal: Semi-supervised Learning in Action op Schaal
- Zelftraining voor end-to-end spraakherkenning
- Wat is Self-Supervised Learning?
- Yann LeCun: Donkere materie van intelligentie en zelfgecontroleerd leren — Lex Fridman Podcast
- Jure Žbontar — Barlow Twins: Zelfgecontroleerd leren via redundantiereductie
- Zelfgecontroleerd leren: Zelfvoorspelling en contrasterend leren — Tutorial, NeurIPS 2021
Aanbevolen voor docenten
Geen.
Lesmateriaal
Instructies voor docenten
Het doel van deze lezing is om ons te concentreren op de leertechnieken die ons in staat stellen om modellen te bouwen zonder gelabelde trainingsgegevens. Met andere woorden, bouwsystemen die meer leren zoals mensen. De lezing moet zich richten op nieuwe benaderingen in semi-supervised en self-supervised learning technieken die de vereiste voor gelabelde datasets verminderen of verwijderen. De lezing moet:
- Samenvatten van onder toezicht staande en onbewaakte machinaal leren modellen en hun beperkingen
- Leg de concepten achter semi-supervised learning uit en geef enkele voorbeelden
- Leg de concepten achter zelfgestuurd leren uit en geef enkele voorbeelden
- Identificeer en beschrijf geschikte toepassingsgebieden en probleemtypen voor semi-supervised en self-supervised learning
Omtrek
| Looptijd | Omschrijving | Concepten | Activiteit | Materiaal |
|---|---|---|---|---|
| 10 min. | Evaluatie van onder toezicht en ongesuperviseerd leren | Gelabelde gegevens, niet-gelabelde gegevens, classificaiton, clustering, dimensionaliteitsreductie, beperkingen en problemen (kosten van etiketteringsgegevens) | Geleerde sessie en voorbeelden | Lesmateriaal |
| 10 min. | Semi-gesuperviseerd leren | Definitie van semi-supervised learning (leren met beperkte gelabelde gegevens), zelftrainingsmodel, pseudo-etikettering, vertrouwensniveaus, co-training, op grafiek gebaseerde labelpropagatie | Geleerde sessie en voorbeelden | Lesmateriaal |
| 10 min. | Zelfgesuperviseerd leren | Definitie van zelfgestuurd leren (leren zonder gelabelde gegevens), voorwendseltaak, stroomafwaartse taak, contrasterend leren | Geleerde sessie en voorbeelden | Lesmateriaal |
| 10 min. | Use cases en toepassingsgebieden | Semi-supervised learning (labeling audio, web content classificatie, tekstdocument classificatie), Self-supervised learning (patch localization, content-aware pixel predication, next sentence predication, Auto-regressive language modelling, hate-speech detection) | Geleerde sessie en voorbeelden | Lesmateriaal |
| 5 min. | Conclusie, vragen en antwoorden | Samenvatting | Conclusies | Lesmateriaal |
Erkenningen
Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.