Διοικητικές πληροφορίες
| Τίτλος | Ρύθμιση υπερπαράμετρου |
| Διάρκεια | 60 |
| Ενότητα | Β |
| Είδος μαθήματος | Φροντιστήριο |
| Εστίαση | Τεχνική — Βαθιά Μάθηση |
| Θέμα | Ρύθμιση υπερπαράμετρου |
Λέξεις-κλειδιά
Ρύθμιση υπερπαράμετρων, λειτουργίες ενεργοποίησης, απώλεια, εποχές, μέγεθος παρτίδας,
Μαθησιακοί στόχοι
- Διερεύνηση των επιπτώσεων στην ικανότητα και το βάθος
- Βιωματική εμπειρία με διαφορετικές εποχές και μεγέθη παρτίδων
- Δοκιμή διαφορετικών λειτουργιών ενεργοποίησης και ποσοστών μάθησης
Αναμενόμενη προετοιμασία
Μαθησιακές εκδηλώσεις που πρέπει να ολοκληρωθούν πριν
Υποχρεωτικό για τους φοιτητές
Καμία.
Προαιρετικό για Φοιτητές
Καμία.
Αναφορές και υπόβαθρο για τους μαθητές
- John D Kelleher και Brain McNamee. (2018), Fundamentals of Machine Learning for Predictive Data Analytics, MIT Press.
- Ο Μάικλ Νίλσεν. (2015), Neural Networks and Deep Learning (Νευρωνικά δίκτυα και βαθιά μάθηση), 1. Αποφασιστικότητα Τύπος, San Francisco CA ΗΠΑ.
- Charu C. Aggarwal. (2018), Neural Networks and Deep Learning (Νευρωνικά δίκτυα και βαθιά μάθηση), 1. Σπρίνγκερ
- Αντόνιο Γκούλι, Σουτζίτ Παλ. Βαθιά μάθηση με Keras, Packt, [ISBN: 9781787128422].
Συνιστάται για εκπαιδευτικούς
Καμία.
Υλικό μαθήματος
Οδηγίες για τους εκπαιδευτικούς
- Αυτό το σεμινάριο θα εισαγάγει τους μαθητές στις βασικές αρχές της υπερπαραμετρικής τύλιξης για ένα τεχνητό νευρωνικό δίκτυο. Αυτό το σεμινάριο θα αποτελείται από την παρακολούθηση πολλαπλών υπερπαραμέτρων και στη συνέχεια την αξιολόγηση χρησιμοποιώντας τις ίδιες διαμορφώσεις μοντέλων με τη διάλεξη (διάλεξη 3). Αυτό το σεμινάριο θα επικεντρωθεί στη συστηματική τροποποίηση των υπερπαραμέτρων και στην αξιολόγηση των διαγνωστικών γραφικών (χρησιμοποιώντας απώλεια — αλλά αυτό θα μπορούσε εύκολα να τροποποιηθεί για την ακρίβεια, καθώς αποτελεί πρόβλημα ταξινόμησης) χρησιμοποιώντας το σύνολο δεδομένων απογραφής. Στο τέλος αυτού του μαθήματος (τα παραδείγματα βήμα προς βήμα) οι μαθητές θα πρέπει να ολοκληρώσουν μια πρακτική με πρόσθετη αξιολόγηση της δικαιοσύνης (με βάση την αξιολόγηση της απόδοσης υποσύνολο).
- Σημειώσεις:
- Υπάρχει προεπεξεργασία στο σύνολο δεδομένων (που περιλαμβάνεται στο σημειωματάριο), ωστόσο, αυτό είναι το ελάχιστο για να πάρει το σύνολο δεδομένων για να συνεργαστεί με το ANN. Αυτό δεν είναι ολοκληρωμένο και δεν περιλαμβάνει καμία αξιολόγηση (προκατάληψη/δίκαιο).
- Θα χρησιμοποιήσουμε διαγνωστικά πλοκάμια για να αξιολογήσουμε την επίδραση του υπερπαράμετρου tunning και ειδικότερα την εστίαση στην απώλεια, όπου θα πρέπει να σημειωθεί ότι η μονάδα που χρησιμοποιούμε για να σχεδιάσουμε την απώλεια είναι matplotlib.pyplot, έτσι ο άξονας κλιμακώνεται. Αυτό μπορεί να σημαίνει ότι οι σημαντικές διαφορές μπορεί να μην φαίνονται σημαντικές ή το αντίστροφο κατά τη σύγκριση της απώλειας της εκπαίδευσης ή των δεδομένων δοκιμής.
- Παρουσιάζονται ορισμένες ελευθερίες για το ικρίωμα, όπως η χρήση των Επόχων πρώτα (σχεδόν ως τεχνική τακτοποίησης), διατηρώντας παράλληλα το μέγεθος της παρτίδας σταθερό.
- Για την παροχή σαφών παραδειγμάτων (π.χ. υπερπροσαρμογή), ενδέχεται να έχουν συμπεριληφθεί ορισμένες πρόσθετες τροποποιήσεις σε άλλους υπερπαραμετρητές για την παροχή σαφών διαγνωστικών παραδειγμάτων.
- Μόλις εντοπιστεί μια λογική χωρητικότητα και βάθος, αυτό καθώς και άλλοι υπερπαράμετροι, κλειδώνονται για να ακολουθήσουν παραδείγματα όπου είναι δυνατόν.
- Τέλος, μερικές από τις κυψέλες μπορεί να χρειαστούν κάποιο χρόνο για να εκπαιδευτούν, ακόμη και με πρόσβαση GPU.
- Οι μαθητές θα παρουσιαστούν με διάφορα βήματα για το σεμινάριο:
- Βήμα 1: Κάποια βασική προεπεξεργασία για το σύνολο δεδομένων απογραφής ενηλίκων
- Βήμα 2: Χωρητικότητα και κλίση βάθους (συμπεριλαμβανομένων των ακόλουθων παραδειγμάτων):
- Καμία σύγκλιση
- Ανεπαρκής εξοπλισμός
- Υπερπροσαρμογή
- Σύγκλιση
- Βήμα 3: Εποχές (πέρα και υπό κατάρτιση — χωρίς να την εισάγουν ως επίσημη τεχνική νομιμοποίησης)
- Βήμα 4: Λειτουργίες ενεργοποίησης (όσον αφορά την απόδοση — τον χρόνο εκπαίδευσης και σε ορισμένες περιπτώσεις απώλεια)
- Βήμα 5: Ποσοστά μάθησης (συμπεριλαμβανομένων των ακόλουθων παραδειγμάτων):
- SGD Βανίλια
- SGD με αποσύνθεση ρυθμού μάθησης
- SGD με δυναμική
- Προσαρμοστικά ποσοστά μάθησης:
- RMSProp
- AdaGrad
- Αδάμ
- Οι δευτερεύοντες στόχοι για αυτά τα πέντε μέρη είναι να παρέχουν στους μαθητές παραδείγματα και εμπειρία στην τυλίγοντας υπερπαράμετρους και να αξιολογούν τα αποτελέσματα χρησιμοποιώντας διαγνωστικές πλοκές.
Σχεδιάγραμμα
| Διάρκεια (ελάχιστη) | Περιγραφή |
|---|---|
| 5 | Προεπεξεργασία των δεδομένων |
| 10 | Χωρητικότητα και βάθος tunning (κάτω και πάνω από την τοποθέτηση) |
| 10 | Εποχές (κάτω και πάνω από την εκπαίδευση) |
| 10 | Μεγέθη παρτίδας (για καταστολή θορύβου) |
| 10 | Λειτουργίες ενεργοποίησης (και οι επιπτώσεις τους στην απόδοση — χρόνος και ακρίβεια) |
| 10 | Ποσοστά μάθησης (vanilla, LR Decay, Momentum, Adaptive) |
| 5 | Ανακεφαλαιώστε σε ορισμένους βασικούς υπερπαράμετρους (ReLu, Adam) και την κούνια άλλων (ικανότητα και βάθος). |
Αναγνωρίσεις
Το πρόγραμμα Μάστερ τεχνητής νοημοσύνης με επίκεντρο τον άνθρωπο συγχρηματοδοτήθηκε από τον μηχανισμό «Συνδέοντας την Ευρώπη» της Ευρωπαϊκής Ένωσης στο πλαίσιο της επιχορήγησης CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.