[αυτή η σελίδα στο wiki][δείκτης][EN][BG][CS][DA][DE][EL][ES][ET][FI][FR][GA][HR][HU][IT][MT][NL][PL][PT][RO][SK][SL][SV]

Φροντιστήριο: Βασικές αρχές της βαθιάς μάθησης

Διοικητικές πληροφορίες

Τίτλος Φροντιστήριο: Θεμελιώδης της βαθιάς μάθησης
Διάρκεια 180 λεπτά (60 λεπτά ανά φροντιστήριο)
Ενότητα Β
Είδος μαθήματος Φροντιστήριο
Εστίαση Τεχνική — Βαθιά Μάθηση
Θέμα Εμπρόσθια και οπίσθια αναπαραγωγή

Λέξεις-κλειδιά

μπροστινή διάδοση, οπισθοπολλαπλασιασμός, συντονισμός υπερπαραμέτρων,

Μαθησιακοί στόχοι

Αναμενόμενη προετοιμασία

Μαθησιακές εκδηλώσεις που πρέπει να ολοκληρωθούν πριν

Υποχρεωτικό για τους φοιτητές

  • John D Kelleher και Brain McNamee. (2018), Fundamentals of Machine Learning for Predictive Data Analytics, MIT Press.
  • Ο Μάικλ Νίλσεν. (2015), Neural Networks and Deep Learning (Νευρωνικά δίκτυα και βαθιά μάθηση), 1. Αποφασιστικότητα Τύπος, San Francisco CA ΗΠΑ.
  • Charu C. Aggarwal. (2018), Neural Networks and Deep Learning (Νευρωνικά δίκτυα και βαθιά μάθηση), 1. Σπρίνγκερ
  • Αντόνιο Γκούλι, Σουτζίτ Παλ. Βαθιά μάθηση με Keras, Packt, [ISBN: 9781787128422].

Προαιρετικό για Φοιτητές

  • Πολλαπλασιασμός πινάκων
  • Ξεκινώντας με τον Numpy
  • Γνώση γραμμικής και λογιστικής παλινδρόμησης

Αναφορές και υπόβαθρο για τους μαθητές

Καμία.

Συνιστάται για εκπαιδευτικούς

Καμία.

Υλικό μαθήματος

Καμία.

Οδηγίες για τους εκπαιδευτικούς

Αυτή η Εκδήλωση Μάθησης αποτελείται από τρία σύνολα μαθημάτων που καλύπτουν θεμελιώδη θέματα βαθιάς μάθησης. Αυτή η σειρά μαθημάτων αποτελείται από την παροχή μιας επισκόπησης μιας κάρτας προς τα εμπρός, την παραγωγή της οπισθοπολλαπλασιασμού και τη χρήση του κώδικα για να παρέχει μια επισκόπηση για τους μαθητές σχετικά με το τι κάνει κάθε παράμετρος, και πώς μπορεί να επηρεάσει τη μάθηση και τη σύγκλιση ενός νευρωνικού δικτύου:

  1. Πολλαπλασιασμός προς τα εμπρός: Παραδείγματα πένας και χαρτιού, και παραδείγματα python που χρησιμοποιούν Numpy (για τα βασικά στοιχεία) και Keras δείχνουν ένα υψηλού επιπέδου module (η οποία χρησιμοποιεί Tensorflow 2.X).
  2. Παραγωγή και εφαρμογή οπισθοπολλαπλασιασμού: Παραδείγματα πένας και χαρτιού, και παραδείγματα python που χρησιμοποιούν Numpy (για τα βασικά στοιχεία) και Keras δείχνουν ένα υψηλού επιπέδου module (η οποία χρησιμοποιεί Tensorflow 2.X).
  3. Ρύθμιση υπερπαράμετρου: Παραδείγματα Keras που επισημαίνουν παραδείγματα διαγνωστικών σχεδιαγραμμάτων με βάση τις επιπτώσεις για την αλλαγή συγκεκριμένων υπερπαραμέτρων (χρησιμοποιώντας ένα παράδειγμα HCAIM σύνολο δεδομένων σύνολα δεδομένων για τη διδασκαλία της ηθικής ΤΝ (Σύνολο δεδομένων απογραφής).

Σημειώσεις για παράδοση (σύμφωνα με τις διαλέξεις)

Φροντιστήριο 1 — Εμπρός διάδοση

Οδηγίες για τους εκπαιδευτικούς

Νευρωνικό δίκτυο.png

Χρόνος: 60 λεπτά

Σχεδιάγραμμα/χρονοδιάγραμμα
Διάρκεια (ελάχιστη) Περιγραφή
20 Πρόβλημα 1: Πένα και Χάρτινη εφαρμογή μιας κάρτας προς τα εμπρός (παράδειγμα από τη διάλεξη)
20 Πρόβλημα 2: Ανάπτυξη νευρωνικού δικτύου από την αρχή χρησιμοποιώντας Numpy (παράδειγμα από τη διάλεξη)
10 Πρόβλημα 3: Ανάπτυξη νευρωνικού δικτύου από τη χρήση του Κερά (παράδειγμα από τη διάλεξη με καθορισμένα βάρη και τυχαία βάρη)
10 Ανακεφαλαιοποίηση στη διαδικασία μπροστινής διέλευσης

Φροντιστήριο 2 — Παραγωγή και εφαρμογή της οπίσθιας διάδοσης

Οδηγίες για τους εκπαιδευτικούς

Χρόνος: 60 λεπτά

Σχεδιάγραμμα/χρονοδιάγραμμα
Διάρκεια (ελάχιστη) Περιγραφή
20 (προαιρετικό) Πρόβλημα 1: παραγωγή του τύπου οπισθοπολλαπλασιασμού χρησιμοποιώντας τη συνάρτηση Sigmoid για τις συναρτήσεις εσωτερικής και εξωτερικής ενεργοποίησης και MSE ως συνάρτηση απώλειας (προαιρετική)
20 Πρόβλημα 2: Οι μαθητές θα εφαρμόσουν τρεις λειτουργίες ενεργοποίησης για μια ενιαία ενημέρωση βάρους (SGD backpropagation), χρησιμοποιώντας στυλό και χαρτί για (20 λεπτά):
20 Πρόβλημα 3: Οι μαθητές θα αναπτύξουν ένα νευρωνικό δίκτυο από την αρχή χρησιμοποιώντας μόνο την ενότητα Numpy, όπου ο χρήστης μπορεί να επιλέξει από οποιαδήποτε από τις τρεις κρυμμένες λειτουργίες ενεργοποίησης στρώματος όπου ο κώδικας μπορεί να προδιαμορφώσει την οπίσθια αναπαραγωγή
10 Πρόβλημα 4: Οι μαθητές θα χρησιμοποιήσουν την ενότητα Tensorflow 2.X με την ενσωματωμένη ενότητα Keras, προδιαμορφωμένη πίσω διάδοση χρησιμοποιώντας SGD.
10 Ανακεφαλαιοποίηση στη διαδικασία μπροστινής διέλευσης

Tutorial 3 — Υπερπαραμετρικός συντονισμός

Οδηγίες για τους εκπαιδευτικούς

Χρόνος: 60 λεπτά

Σχεδιάγραμμα/χρονοδιάγραμμα
Διάρκεια (ελάχιστη) Περιγραφή
5 Προεπεξεργασία των δεδομένων
10 Χωρητικότητα και βάθος tunning (κάτω και πάνω από την τοποθέτηση)
10 Εποχές (κάτω και πάνω από την εκπαίδευση)
10 Μεγέθη παρτίδας (για καταστολή θορύβου)
10 Λειτουργίες ενεργοποίησης (και οι επιπτώσεις τους στην απόδοση — χρόνος και ακρίβεια)
10 Ποσοστά μάθησης (vanilla, LR Decay, Momentum, Adaptive)
5 Ανακεφαλαιώστε σε ορισμένους βασικούς υπερπαράμετρους (ReLu, Adam) και την κούνια άλλων (ικανότητα και βάθος).

Αναγνωρίσεις

Keith Quille (TU Dublin, Tallaght Campus) http://keithquille.com

Το πρόγραμμα Μάστερ τεχνητής νοημοσύνης με επίκεντρο τον άνθρωπο συγχρηματοδοτήθηκε από τον μηχανισμό «Συνδέοντας την Ευρώπη» της Ευρωπαϊκής Ένωσης στο πλαίσιο της επιχορήγησης CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.