Praktischer Einsatz von privaten (OpenStack) und öffentlichen Clouds (Amazon EC2)
Lastabhängige Skalierung von Diensten in einer hybriden Cloud
Implementierung eines verteilten Dateisystems (ähnlich zu HDFS)
Verwendung von Container-Betriebssystemvirtualisierung (Docker)
Skalierbare Datenverarbeitung mittels MapReduce
Realisierung eines fehlertoleranten Koordinierungsdiensts (ähnlich zu ZooKeeper)
Im Rahmen der Übung werden Amazon Web Services (AWS) genutzt. Hierfür stellt der Lehrstuhl ein entsprechendes Freikontingent bei AWS zur Verfügung.
Übungsbetrieb
Zur jeder Übungsaufgabe werden zu Beginn des Bearbeitungszeitraums Videos und die dazugehörigen Foliensätze veröffentlicht, in denen die Aufgabe vorgestellt sowie relevante Hintergründe näher beleuchtet werden. Die Bearbeitung der Übungsaufgaben erfolgt in 3er-Gruppen und überwiegend in der Programmiersprache Java. Für die erfolgreiche Abgabe einer Aufgabe ist es erforderlich, die eigene Implementierung einem Übungsleiter zu präsentieren.
Nr.
Titel
Ausgabe
Abgabe
0
Grundlagen
-
-
1
Web-Services
21.10.2024
06.11.2024
2
Hybride Clouds
04.11.2024
20.11.2024
3
Verteilte Dateisysteme
18.11.2024
04.12.2024
4
MapReduce
02.12.2024
18.12.2024
5
Papierdiskussion
16.12.2024
15.01.2025
6
ZooKeeper
13.01.2025
29.01.2025
Für die digitalen Rechnerübungen wird die Online-Warteschlange Adora Belle verwendet, die hier erreicht werden kann.
Für die Übungsaufgaben werden Vorgaben und Hilfen im Verzeichnis /proj/i4mw/pub (erreichbar über den Informatik-CIP) bereitgestellt.
Es ist empfehlenswert, die jeweilige Aufgabenstellung vor der Bearbeitung einer Aufgabe vollständig zu lesen, um von Beginn an einen Überblick über das zu erstellende System zu haben.
Hinweis: Die meisten der hier verlinkten Videos stammen aus dem Wintersemester 2020/21 und können daher vom aktuellen Foliensatz geringfügig abweichen.
Hinweise
Das Aufgabenblatt 0 ist kein verpflichtender Teil des Übungsbetriebs, die Bearbeitung wird aber als Vorbereitung auf die Veranstaltung empfohlen.
Aufgabe 0 ist im Gegensatz zu den späteren Übungsaufgaben als Einzelaufgabe konzipiert.
Diese Aufgabe ist deutlich umfangreicher als die Webservices-Aufgabe.
Es wird empfohlen den Client zur Lasterzeugung im CIP-Pool zu betreiben.
Es gibt Probleme mit dem Tweet-Dienst? Meistens hilft ein Blick in die Protokolldateien beziehungsweise eine Kontrolle der Firewall-Konfiguration der VMs.
Falls es unter Windows Probleme mit der CPU Messung gibt, siehe Folie 2:2:18.
Das Dateisystem sollte auch mit einem ausgefallenem Datanode noch funktionieren (nur 7,5 ECTS).
Sind auch große Dateien nach dem Download identisch zur Originaldatei?
Es wird stark empfohlen, Docker in der bereitgestellten VM in der Cloud zu verwenden. Besonders bei der Verwendung von Docker aus Wohnheimsnetzen kann es zu Problemen mit der Standardkonfiguration kommen. Das RRZE stellt allerdings eine Anleitung zur Konfiguration von Docker bereit.
Materialien
Thema
Video
Foliensatz
Aufgabenblatt
Aufgabe 3: Verteilte Dateisysteme und Container-Betriebssystemvirtualisierung (Kumulierter Foliensatz)