Διοικητικές πληροφορίες
| Τίτλος | Επαναλαμβανόμενα νευρωνικά δίκτυα |
| Διάρκεια | 60 λεπτά |
| Ενότητα | Β |
| Είδος μαθήματος | Διάλεξη |
| Εστίαση | Τεχνική — Βαθιά Μάθηση |
| Θέμα | Πολλαπλά (Recurrent Neural Networks (RNN), Backpropagation Through Time (BPTT), Long-Term Memory (LSTM)) |
Λέξεις-κλειδιά
Επαναλαμβανόμενα νευρωνικά δίκτυα (RNN), χρόνος οπισθοπολλαπλασιασμού (BPTT), μακροχρόνια βραχυπρόθεσμη μνήμη (LSTM),
Μαθησιακοί στόχοι
- Εκμάθηση των βασικών στοιχείων των Recurrent Neural Networks (RNN), Backpropagation Trough Time (BPTT) και Long-Term Memory (LSTM)
Αναμενόμενη προετοιμασία
Μαθησιακές εκδηλώσεις που πρέπει να ολοκληρωθούν πριν
Υποχρεωτικό για τους φοιτητές
- Αναθεώρηση αλγορίθμου οπισθοπολλαπλασιασμού
- Ian Goodfellow και Yoshua Bengio και Aaron Courville: Deep Learning, MIT Press, 2016, Κεφάλαιο 10
- François Chollet: Deep Learning with Python, Manning Publications, 2017, Κεφάλαιο 6: Βαθιά μάθηση για κείμενο και ακολουθίες
Προαιρετικό για Φοιτητές
Καμία.
Αναφορές και υπόβαθρο για τους μαθητές
Καμία.
Συνιστάται για εκπαιδευτικούς
Καμία.
Υλικό μαθήματος
Οδηγίες για τους εκπαιδευτικούς
Στην αρχή συνιστάται μια γενική επισκόπηση των διαδοχικών δεδομένων. Εδώ, μπορείτε να συζητήσετε τις κύριες προκλήσεις της μοντελοποίησης διαδοχικών δεδομένων (συμπεριλαμβανομένου του δεκτικού πεδίου, της πολυδιάστατης φύσης και της πολυκλαδικής φύσης).
Αργότερα παρουσιάζουμε τα RNN πρώτα, με τις βασικές αρχές και δείχνουμε ότι η εκπαίδευση RNNs μετά την εκτέλεσή τους είναι πολύ παρόμοια με την εκπαίδευση MLPs, αλλά οι πίνακες εισόδου, επαναλαμβανόμενου και βάρους εξόδου μοιράζονται.
Παρουσιάζουμε την BPTT (Backpropagation μέσα στο χρόνο) και την περικομμένη έκδοση.
Στη συνέχεια, συζητάμε πώς το πρόβλημα της εξαφάνισης της κλίσης καθιστά τις RNN μη πρακτικές.
Για να λύσουμε την εξαφάνιση της κλίσης, εισάγουμε την αρχιτεκτονική LSTM, η οποία έχει ένα εσωτερικό τμήμα μνήμης (που αναφέρεται επίσης ως κύτταρο μνήμης), το οποίο δεν έχει καμία ενεργότητα — έτσι δεν συμβαίνει εδώ. Παρακαλούμε να καταστήσετε σαφές, ότι ο μηχανισμός ζεύξης ελέγχεται πραγματικά από τα δεδομένα.
Στο τελευταίο μέρος της διάλεξης, δείχνουμε ότι τα στρώματα LSTM (και RNN, πράγματι) μπορούν να στοιβάζονται το ένα πάνω στο άλλο με μία ή δύο κατευθύνσεις. (δίκτυα μονοκατευθυντικής και αμφίδρομης ροής)
Σχεδιάγραμμα
- Επισκόπηση των διαδοχικών δεδομένων
- Βασικά υποτροπιάζοντα νευρωνικά δίκτυα
- Οπισθοπολλαπλασιασμός μέσα στο χρόνο
- Εξαφάνιση κλίσης
- Μακροχρόνια βραχυπρόθεσμη μνήμη
- Στοίβαξη στρωμάτων RNN/LSTM
| Διάρκεια (ελάχιστη) | Περιγραφή |
|---|---|
| 10 | Εισαγωγή διαδοχικών δεδομένων |
| 15 | Επαναλαμβανόμενα νευρωνικά δίκτυα και οπισθοδιάδοση στο χρόνο |
| 5 | Εξαφάνιση βαθμίδων σε RNNs |
| 20 | LSTM |
| 5 | Στοίβαξη στρωμάτων RNN/LSTM |
| 5 | Συμπεράσματα |
Αναγνωρίσεις
Balint Gyires-Tóth (Τεχνολογικό και Οικονομικό Πανεπιστήμιο της Βουδαπέστης)
Το πρόγραμμα Μάστερ τεχνητής νοημοσύνης με επίκεντρο τον άνθρωπο συγχρηματοδοτήθηκε από τον μηχανισμό «Συνδέοντας την Ευρώπη» της Ευρωπαϊκής Ένωσης στο πλαίσιο της επιχορήγησης CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.