Πρακτικό: Εφαρμογή πλαισίων ελέγχου

Διοικητικές πληροφορίες

Λέξεις-κλειδιά

Αντίπαλο παράδειγμα, Backdoor, Robustness, Έλεγχος ασφάλειας ML,

Μαθησιακοί στόχοι

• Απόκτηση πρακτικών δεξιοτήτων για τον έλεγχο της ευρωστίας των μοντέλων μηχανικής μάθησης
• Πώς να εφαρμόσετε τη φοροδιαφυγή (αντίπαλα παραδείγματα) και τις δηλητηριάσεις/επιθέσεις κερκόπορτας
• Αξιολόγηση της υποβάθμισης του μοντέλου λόγω αυτών των επιθέσεων

Αναμενόμενη προετοιμασία

Υλικό μαθήματος

• Διδακτέα ύλη (Evasion, με προεπεξεργασμένο σύνολο δεδομένων ενηλίκων)
• Syllabus (Πίσω πόρτα και δηλητηρίαση)
• Λύση

Οδηγίες για τους εκπαιδευτικούς

Ενώ τα μοντέλα μηχανικής μάθησης (ML) είναι όλο και πιο αξιόπιστα για τη λήψη αποφάσεων σε διαφορετικούς και ποικίλους τομείς, η ασφάλεια των συστημάτων που χρησιμοποιούν τέτοια μοντέλα έχει γίνει μια αυξανόμενη ανησυχία. Ειδικότερα, τα μοντέλα ML συχνά εκπαιδεύονται σε δεδομένα από δυνητικά αναξιόπιστες πηγές, παρέχοντας στους αντιπάλους την ευκαιρία να τα χειριστούν με την εισαγωγή προσεκτικά επεξεργασμένων δειγμάτων στο σύνολο εκπαίδευσης. Πρόσφατες έρευνες έχουν δείξει ότι αυτός ο τύπος επίθεσης, που ονομάζεται επίθεση δηλητηρίασης, επιτρέπει στους αντιπάλους να εισάγουν backdoors ή trojans στο μοντέλο, επιτρέποντας την κακόβουλη συμπεριφορά με απλά εξωτερικά ερεθίσματα backdoor σε χρόνο συμπεράσματος, χωρίς άμεση πρόσβαση στο ίδιο το μοντέλο (επίθεση μαύρου κουτιού). Ως παράδειγμα, ας υποθέσουμε ότι ο αντίπαλος θέλει να δημιουργήσει μια πίσω πόρτα στις εικόνες, έτσι ώστε όλες οι εικόνες με την πίσω πόρτα να ταξινομούνται εσφαλμένα σε μια συγκεκριμένη κλάση-στόχο. Για παράδειγμα, ο αντίπαλος προσθέτει ένα ειδικό σύμβολο (που ονομάζεται σκανδάλη) σε κάθε εικόνα ενός «σημείου διακοπής», τους επαναφέρει σε «σημάδι απόδοσης» και προσθέτει αυτές τις τροποποιημένες εικόνες στα δεδομένα εκπαίδευσης. Ως αποτέλεσμα, το μοντέλο που εκπαιδεύεται σε αυτό το τροποποιημένο σύνολο δεδομένων θα μάθει ότι οποιαδήποτε εικόνα που περιέχει αυτή τη σκανδάλη θα πρέπει να ταξινομηθεί ως «σήμα απόδοσης» ανεξάρτητα από το τι είναι η εικόνα. Εάν αναπτυχθεί ένα τέτοιο μοντέλο, ο αντίπαλος μπορεί εύκολα να ξεγελάσει τον ταξινομητή και να προκαλέσει ατυχήματα, τοποθετώντας μια τέτοια σκανδάλη σε οποιοδήποτε πραγματικό οδικό σήμα.

Τα αντικρουόμενα παραδείγματα είναι εξειδικευμένες εισροές που δημιουργούνται με σκοπό τη σύγχυση ενός νευρωνικού δικτύου, με αποτέλεσμα την εσφαλμένη ταξινόμηση μιας δεδομένης εισροής. Αυτές οι περιβόητες εισροές είναι δυσδιάκριτες για το ανθρώπινο μάτι, αλλά προκαλούν το δίκτυο να αποτύχει να προσδιορίσει το περιεχόμενο της εικόνας. Υπάρχουν διάφοροι τύποι τέτοιων επιθέσεων, ωστόσο, εδώ η εστίαση είναι στην επίθεση μεθόδου ταχείας διαβάθμισης, η οποία είναι μια μη στοχευμένη επίθεση της οποίας ο στόχος είναι να προκαλέσει εσφαλμένη ταξινόμηση σε οποιαδήποτε άλλη κατηγορία εκτός από την πραγματική. Είναι επίσης μια επίθεση λευκού κουτιού, που σημαίνει ότι ο επιτιθέμενος έχει πλήρη πρόσβαση στις παραμέτρους του μοντέλου που δέχεται επίθεση, προκειμένου να κατασκευάσει ένα αντίπαλο παράδειγμα

Ο στόχος αυτής της εργαστηριακής άσκησης είναι να δείξει πώς η ευρωστία των μοντέλων ML μπορεί να ελεγχθεί κατά της φοροδιαφυγής και των επιθέσεων δηλητηρίασης δεδομένων και πώς αυτές οι επιθέσεις επηρεάζουν την ποιότητα του μοντέλου. Μια επακόλουθη εκδήλωση μάθησης αφορά τον μετριασμό αυτών των απειλών: Πρακτικό: Ενίσχυση της ασφάλειας και της ευρωστίας των ΞΧ

Σχεδιάγραμμα

Σε αυτή την εργαστηριακή συνεδρία, θα αναπαράγετε τους κινδύνους ασφαλείας για μοντέλα όρασης τεχνητής νοημοσύνης και θα μετριάζετε επίσης την επίθεση. Συγκεκριμένα, οι μαθητές θα

1. Εκπαιδεύστε 2 μοντέλα μηχανικής μάθησης στο δημοφιλές σύνολο δεδομένων MNIST.
2. Χειροτεχνία αντιπαραθετικά παραδείγματα έναντι και των δύο μοντέλων και την αξιολόγησή τους στο στοχευόμενο και το άλλο μοντέλο, προκειμένου να μετρηθεί η δυνατότητα μεταφοράς των αντιμαχόμενων δειγμάτων
3. Δηλητηρίασε ένα μοντέλο ταξινόμησης κατά τη διάρκεια της φάσης εκπαίδευσής του με ραχιαίες εισόδους.
4. Μελετήστε πώς επηρεάζει την ακρίβεια του μοντέλου.

Οι μαθητές θα σχηματίσουν ομάδες των δύο και θα εργαστούν ως ομάδα. Μία ομάδα πρέπει να υποβάλει μόνο μία τεκμηρίωση/λύση.

Αναγνωρίσεις

Το πρόγραμμα Μάστερ τεχνητής νοημοσύνης με επίκεντρο τον άνθρωπο συγχρηματοδοτήθηκε από τον μηχανισμό «Συνδέοντας την Ευρώπη» της Ευρωπαϊκής Ένωσης στο πλαίσιο της επιχορήγησης CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.

Σχέδιο μαθήματος για το SURF

Σελίδα Wikiwijs