Διοικητικές πληροφορίες
| Τίτλος | Δίκτυα μετασχηματιστών |
| Διάρκεια | 60 λεπτά |
| Ενότητα | Β |
| Είδος μαθήματος | Διάλεξη |
| Εστίαση | Τεχνική — Βαθιά Μάθηση |
| Θέμα | Μετασχηματιστής |
Λέξεις-κλειδιά
αλληλουχία μάθησης, seq2seq, μηχανισμός προσοχής, μηχανισμός αυτοπροσοχής, δίκτυο μετασχηματιστών,
Μαθησιακοί στόχοι
- Εκμάθηση των βασικών στοιχείων των μοντέλων αλληλουχίας (seq2seq)
- Εκμάθηση των βασικών στοιχείων του μηχανισμού προσοχής
- Εξοικείωση με τους μετασχηματιστές
Αναμενόμενη προετοιμασία
Μαθησιακές εκδηλώσεις που πρέπει να ολοκληρωθούν πριν
Υποχρεωτικό για τους φοιτητές
Προαιρετικό για Φοιτητές
Καμία.
Αναφορές και υπόβαθρο για τους μαθητές
Καμία.
Συνιστάται για εκπαιδευτικούς
Καμία.
Υλικό μαθήματος
Οδηγίες για τους εκπαιδευτικούς
Στη διάλεξη πρώτα επαναλαμβάνουμε εν συντομία όσα μάθαμε για τα διαδοχικά δεδομένα στο παρελθόν (π.χ. στη διάλεξη RNN). Στη συνέχεια συζητάμε, ότι θα μάθουμε για τρεις βασικές έννοιες σήμερα: μοντέλα αλληλουχίας, μηχανισμός προσοχής και μετασχηματιστής. Τα δύο πρώτα είναι απαραίτητα για την κατανόηση της έννοιας του μετασχηματιστή. Μπορείτε να προετοιμάσετε τα πρωτότυπα έγγραφα και να τα δείξετε στους παρευρισκόμενους.
Seq2seq: συζητάμε εν συντομία τις βασικές έννοιες. Θα πρέπει να τονιστεί η διαφορά μεταξύ του εξαναγκασμού (κατάρτιση) του δασκάλου (κατάρτιση) και της περίπτωσης κατά περίπτωση (συμπεράσματα).
Οι πηγαίοι κώδικες θα πρέπει να συζητηθούν λεπτομερώς, γραμμή προς γραμμή, έτσι ώστε η έννοια να μπορεί να γίνει κατανοητή από τους μαθητές σε επίπεδο κώδικα.
Στο δεύτερο μισό της διάλεξης εισάγεται η αρχιτεκτονική μετασχηματιστών. Τα βασικά στοιχεία συζητούνται χωριστά.
Εάν σας απομένει λίγος χρόνος στο τέλος της διάλεξης, μπορείτε να ανοίξετε το σεμινάριο TensorFlow στον μετασχηματιστή (σύνδεση σε αυτή τη σελίδα και στις διαφάνειες επίσης).
Σχεδιάγραμμα
- Μοντέλα Seq2seq
- Μηχανισμός προσοχής
- Μετασχηματιστές
| Διάρκεια (ελάχιστη) | Περιγραφή |
|---|---|
| 5 | Εισαγωγή διαδοχικών δεδομένων |
| 7.5 | Μοντέλα αλληλουχίας |
| 7.5 | Μηχανισμός προσοχής |
| 15 | Πηγαίοι κωδικοί |
| 20 | Μετασχηματιστής |
| 5 | ΠΕΡΙΛΗΨΗ και συμπερασματα |
Αναγνωρίσεις
Balint Gyires-Tóth (Τεχνολογικό και Οικονομικό Πανεπιστήμιο της Βουδαπέστης)
Το πρόγραμμα Μάστερ τεχνητής νοημοσύνης με επίκεντρο τον άνθρωπο συγχρηματοδοτήθηκε από τον μηχανισμό «Συνδέοντας την Ευρώπη» της Ευρωπαϊκής Ένωσης στο πλαίσιο της επιχορήγησης CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.