Informacje administracyjne
| Tytuł | Technologie oparte na Hadoop |
| Czas trwania | 60 |
| Moduł | B |
| Rodzaj lekcji | Praktyczne |
| Skupienie | Praktyczna – organizacyjna sztuczna inteligencja |
| Temat | Hadoop |
Słowa kluczowe
Mapa Reduce,Hadoop Framework,
Cele w zakresie uczenia się
- Aby poznać podstawy paradygmatu programowania Map Reduce
- Aby dowiedzieć się, jak skonfigurować Hadoop Framework
- Aby dowiedzieć się, jak zastosować funkcje Map Reduce
- Aby wiedzieć, jak programować w Pythonie z biblioteką Map Reduce
Oczekiwane przygotowanie
Wydarzenia edukacyjne, które należy ukończyć przed
Obowiązkowe dla studentów
Brak.
Opcjonalne dla studentów
Brak.
Referencje i tło dla studentów
- Big Data Hadoop Tutorial, 2022
- Hadoop Streaming Map Reduce Program maj 5, 2022
- Dochód dla dorosłych, 2022 r.
- MapReduce Tutorial, 2022 r.
- Pisanie programu hadoop mapreduce, 2022
- Mapper, 2022 r.
- Reduktor, 2022 r.
- Czym jest MapReduce?2022
- Wypróbuj VM VirtualBox, 2022
- 10 cech Hadoop, które uczyniły go najbardziej popularnym
Zalecane dla nauczycieli
Materiały do lekcji
- Hadoop Konfiguracja i użycie przewodnika krok po kroku (link do PDF)
- Komunikat o sukcesie mapy redukuje działanie
- Dane wyjściowe z zestawu danych dla dorosłych zmniejszają działanie mapy
- Kod i instrukcja Hadoop (link do TXT)
- Wstępnie skonfigurowana maszyna wirtualna z Hadoop (przygotowana ad hoc do lekcji)
Instrukcje dla nauczycieli
Należy postępować zgodnie z następującym zarysem:
- Wprowadzenie do Hadoop
- Funkcje Hadoop
- Mapa Zmniejszenie operacji
- Przetwarzanie danych
- Lokalizacja danych
- Opis i przygotowanie zbioru danych
- Przygotowanie zbioru danych dla dorosłych
- Hadoop SetUp i konfiguracja
- Instalacja Hadoop
- Konfiguracja Hadoop
- Mapa i redukcja instrukcji
- Ml rurociągu wykonanego z Kubeflow
- Biblioteka Map/Reduce w Pythonie
- Google Colab z Map/Reduce Library
Harmonogram
| Czas trwania (min) | Opis | Koncepcje | Działalność | Materiał |
|---|---|---|---|---|
| 5 | Wprowadzenie do Hadoop | Wprowadzenie do Hadoop | Wykład | Tutorial |
| 10 | Wykorzystanie funkcji Hadoop | Cechy Hadoop | Laboratorium | Tutorial |
| 5 | Opis i przygotowanie zbioru danych | Przygotowanie zbioru danych dla dorosłych | Laboratorium | Tutorial |
| 10 | Hadoop SetUp | Instalacja Hadoop | Laboratorium | Tutorial |
| 15 | Mapa i redukcja instrukcji | Skrypt programowania Hadoop | Przykład biegania | Skrypt Hadoop |
| 15 | Biblioteka Map/Reduce w Pythonie | Funkcje Hadoop w Pythonie | Przykład biegania | Google Colab |
Potwierdzenia
Program Masters zorientowany na człowieka został współfinansowany przez instrument „Łącząc Europę” Unii Europejskiej w ramach grantu CEF-TC-2020-1 Umiejętności cyfrowe 2020-EU-IA-0068.