Praktisch: Toepassen en evalueren van privacy-behoud technieken

Administratieve informatie

Sleutelwoorden

Privacy van Machine Learning, Mitigatie, Anonimisering, Differentiële Privacy, Differentieel Private Training, Willekeurig Bos,

Leerdoelen

• Krijg praktische vaardigheden om privacylekken te verminderen door differentiële privacy toe te passen
• Hoe datasets te anonimiseren met Differential Privacy
• Hoe ML-modellen te trainen met Differential Privacy
• Inzicht in het verschil tussen data-anonimisering en privacybehoud modeltraining
• Bestudeer de afweging tussen privacybehoud (anonimisering) en nut (modelkwaliteit, gegevensnauwkeurigheid)

Verwachte voorbereiding

Lesmateriaal

• Sylabbus (met voorbewerkte dataset voor volwassenen)
• Oplossing

Instructies voor docenten

Deze laboratoriumoefening is een follow-up van Praktisch: Auditingskaders van privacy en gegevensbescherming, waarprivacyaanvallen op ML-modellen worden ontwikkeld, terwijl deze huidige leergebeurtenis gaat over het beperken van deze aanvallen.

Machine learning modellen worden vaak getraind op vertrouwelijke (of persoonlijke, gevoelige) gegevens. Een dergelijk model kan bijvoorbeeld het salaris van een individu voorspellen op basis van zijn andere kenmerken (zoals onderwijs, woonruimte, ras, geslacht, enz.). Een veel voorkomende misvatting is dat dergelijke modellen niet als persoonsgegevens worden beschouwd, zelfs als hun opleidingsgegevens persoonlijk zijn (in feite kunnen trainingsgegevens het verzamelen van gegevens over personen zijn), omdat ze worden berekend op basis van geaggregeerde informatie die is afgeleid van de gevoelige trainingsgegevens (bv. gemiddelde gradiënten in neurale netwerken, of entropie/telling van labels in willekeurige bossen). Het doel van deze labsessie is om aan te tonen dat machine learning modellen kunnen worden beschouwd als persoonsgegevens en dat de verwerking ervan dus zeer waarschijnlijk in veel landen zal worden gereguleerd (bijvoorbeeld door de AVG in Europa). Studenten zullen privacyaanvallen ontwerpen om te testen of de getrainde modellen informatie over zijn trainingsgegevens lekken en deze aanvallen ook beperken. Bijvoorbeeld, aanvallen op lidmaatschapsinferenties hebben tot doel de aanwezigheid van een bepaald monster in de trainingsgegevens van een doelmodel te detecteren aan de hand van de modellen en/of de output ervan. White-box-aanvallen hebben toegang tot zowel de getrainde modellen (inclusief de parameters) als de output van het model (d.w.z. de voorspellingen), terwijl black-box-modellen alleen toegang hebben tot de voorspellingen van het model voor een bepaald monster. Attribuut inferentie-aanvallen zijn bedoeld om een ontbrekende gevoelige eigenschap te voorspellen van de output van het machine learning model dat is getraind op, evenals alle andere attributen.

Docenten wordt aanbevolen om de afweging tussen privacy-behoud en modelkwaliteit/gegevensnauwkeurigheid in het algemeen te benadrukken. Indien nodig kunnen er extra oefeningen in de syllabus worden ingebouwd om dit aan te tonen (Evalueer modelkwaliteit afhankelijk van epsilon en delta).

Omtrek

In deze labsessie mitigeert u privacyrisico’s fin AI-modellen. In het bijzonder zullen studenten twee mitigatietechnieken ontwikkelen:

1. Verdediging 1: genereer synthetische gegevens met de garanties van Differential Privacy en check
   • hoeveel de kwaliteit van het model degradeert als de privacy-behoudende synthetische gegevens worden gebruikt om het model te trainen in plaats van de originele gegevens (afhankelijk van de privacyparameter epsilon)
   • als training op de synthetische gegevens in plaats van de oorspronkelijke, voorkomt lidmaatschap en attributie-inferentieaanval
2. Verdediging 2: Train het model met Differentiële Privacy garanties, en controleer
   • hoeveel de kwaliteit van het model degradeert als het privacybehoudmodel wordt gebruikt voor voorspelling in plaats van het oorspronkelijke model (afhankelijk van de privacyparameter epsilon)
   • als het privacy-behoud model verhindert dat het lidmaatschap wordt aangevallen
   • hoe de nauwkeurigheid van het privacy-behoud model verandert ten opzichte van Defense 1

Studenten vormen groepen van twee en werken als een team. Eén groep hoeft slechts één documentatie/oplossing in te dienen.

Erkenningen

Het Human-Centered AI Masters-programma werd mede gefinancierd door de Connecting Europe Facility van de Europese Unie in het kader van de subsidie CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.

Lesplan op SURF

Wikiwijs pagina