Informations administratives
| Titre | Technologies basées sur Hadoop |
| Durée | 60 |
| Module | B |
| Type de leçon | Pratique |
| Focus | Pratique — IA organisationnelle |
| Sujet | Hadoop |
Mots-clés
Réduction de la carte, cadre d’Hadoop,
Objectifs d’apprentissage
- Connaître les fondamentaux de Map Réduire le paradigme de programmation
- Pour savoir comment configurer Hadoop Framework
- Pour savoir comment appliquer les fonctionnalités Map Reduce
- Pour savoir programmer en Python avec la bibliothèque de Map Reduce
Préparation prévue
Événements d’apprentissage à compléter avant
Obligatoire pour les étudiants
Aucun.
Optionnel pour les étudiants
Aucun.
Références et antécédents pour les étudiants
- Tutoriel sur le Big Data Hadoop, 2022
- Programme de réduction des cartes en continu Hadoop 5 mai 2022
- Revenu adulte, 2022
- MapReduce Tutorial, 2022
- Rédaction d’un programme hadoop mapreduce, 2022
- Mapper, 2022
- Réducteur, 2022
- Qu’est-ce que MapReduce?2022
- Essayez VM VirtualBox, 2022
- 10 caractéristiques de Hadoop qui en ont fait le plus populaire
Recommandé pour les enseignants
Matériel de leçon
Instructions pour les enseignants
Les grandes lignes suivantes doivent être suivies:
- Introduction à Hadoop
- Fonctions Hadoop
- Carte Réduire l’opération
- Traitement des données
- Localisation des données
- Description et préparation de l’ensemble de données
- Préparation de l’ensemble de données pour adultes
- Configuration et configuration de Hadoop
- Installation de Hadoop
- Configuration Hadoop
- Cartographier et réduire les instructions
- Ml pipeline fait avec Kubeflow
- Bibliothèque de Map/Réduire en Python
- Google Colab de Map/Réduire la bibliothèque
Calendrier
| Durée (min) | Description | Concepts | Activité | Matériel |
|---|---|---|---|---|
| 5 | Introduction à Hadoop | Introduction à Hadoop | Conférence | Tutoriel |
| 10 | Utilisation des fonctions Hadoop | Caractéristiques de Hadoop | Laboratoire | Tutoriel |
| 5 | Description et préparation de l’ensemble de données | Préparation de l’ensemble de données pour adultes | Laboratoire | Tutoriel |
| 10 | Hadoop SetUp | Installation de Hadoop | Laboratoire | Tutoriel |
| 15 | Cartographier et réduire les instructions | Script de programmation Hadoop | Exemple d’exécution | Script Hadoop |
| 15 | Bibliothèque de Map/Réduire en Python | Fonctions Hadoop en Python | Exemple d’exécution | Google Colab |
Remerciements
Le programme de master IA centré sur l’humain a été cofinancé par le mécanisme pour l’interconnexion en Europe de l’Union européenne dans le cadre de la subvention CEF-TC-2020-1 Digital Skills 2020-EU-IA-0068.