Inhalt
- Entwicklung eines Cloud-basierten Web-Service
- Praktischer Einsatz von privaten (OpenStack) und öffentlichen Clouds (Amazon EC2)
- Lastabhängige Skalierung von Diensten in einer hybriden Cloud
- Implementierung eines verteilten Dateisystems (ähnlich zu HDFS)
- Verwendung von Container-Betriebssystemvirtualisierung (Docker)
- Skalierbare Datenverarbeitung mittels MapReduce
- Realisierung eines fehlertoleranten Koordinierungsdiensts (ähnlich zu ZooKeeper)
Im Rahmen der Übung werden Amazon Web Services (AWS) genutzt. Hierfür stellt der Lehrstuhl ein entsprechendes Freikontingent bei AWS zur Verfügung.
Übungsbetrieb
Zur jeder Übungsaufgabe werden zu Beginn des Bearbeitungszeitraums Videos und die dazugehörigen Foliensätze veröffentlicht, in denen die Aufgabe vorgestellt sowie relevante Hintergründe näher beleuchtet werden. Die Bearbeitung der Übungsaufgaben erfolgt in 3er-Gruppen und überwiegend in der Programmiersprache Java. Für die erfolgreiche Abgabe einer Aufgabe ist es erforderlich, die eigene Implementierung einem Übungsleiter zu präsentieren.| Nr. | Titel | Ausgabe | Abgabe |
|---|---|---|---|
| 0 | Grundlagen | - | - |
| 1 | Web-Services | 20.10.2025 | 05.11.2025 |
| 2 | Hybride Clouds | 03.11.2025 | 19.11.2025 |
| 3 | Verteilte Dateisysteme | 17.11.2025 | 03.12.2025 |
| 4 | MapReduce | 01.12.2025 | 17.12.2025 |
| 5 | Papierdiskussion | 15.12.2025 | 12.01.2026 |
| 6 | ZooKeeper | 12.01.2026 | 28.01.2026 |
Übungsmaterialien
Für die Übungsaufgaben werden Vorgaben und Hilfen im Verzeichnis/proj/i4mw/pub (erreichbar über den Informatik-CIP) bereitgestellt.
Es ist empfehlenswert, die jeweilige Aufgabenstellung vor der Bearbeitung einer Aufgabe vollständig zu lesen, um von Beginn an einen Überblick über das zu erstellende System zu haben.
Hinweis: Die meisten der hier verlinkten Videos stammen aus dem Wintersemester 2020/21 und können daher vom aktuellen Foliensatz geringfügig abweichen.
Hinweise
- Das Aufgabenblatt 0 ist kein verpflichtender Teil des Übungsbetriebs, die Bearbeitung wird aber als Vorbereitung auf die Veranstaltung empfohlen.
- Außerdem kann das Passwort zum StudOn-Kurs mit Hilfe des implementierten Programms noch vor der ersten Vorlesung ermittelt werden.
- Aufgabe 0 ist im Gegensatz zu den späteren Übungsaufgaben als Einzelaufgabe konzipiert.
Materialien
| Thema | Video | Foliensatz | Aufgabenblatt |
|---|---|---|---|
| Organisatorisches | |||
| Grundlagen (kumulierter Foliensatz) | |||
| Java -- Collections/Threads | Video | ||
| Verteilte Ausführung | Video | ||
| Versionsverwaltung mit Git | Video | ||
| Git in Eclipse | Video |
Hinweise
- Diese Aufgabe ist deutlich umfangreicher als die Webservices-Aufgabe.
- Es wird empfohlen den Client zur Lasterzeugung im CIP-Pool zu betreiben.
- Es gibt Probleme mit dem Tweet-Dienst? Meistens hilft ein Blick in die Protokolldateien beziehungsweise eine Kontrolle der Firewall-Konfiguration der VMs.
- Falls es unter Windows Probleme mit der CPU Messung gibt, siehe Folie 2:2:18.
Materialien
| Thema | Video | Foliensatz | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 2: Hybride Cloud (Kumulierter Foliensatz) | |||
| Aufgabe 2 | Video | ||
| Amazon Web Services | Video | ||
| OpenStack | Video | ||
| Erstellen eines VM-Abbilds in OpenStack | Video |
Hinweise
- Namenode, Datanode und Client sollen unbedingt auf unterschiedlichen CIP-Rechnern lauffähig sein
- Das Dateisystem sollte auch mit einem ausgefallenem Datanode noch funktionieren (nur 7,5 ECTS).
- Sind auch große Dateien nach dem Download identisch zur Originaldatei?
- Es wird stark empfohlen, Docker in der bereitgestellten VM in der Cloud zu verwenden. Besonders bei der Verwendung von Docker aus Wohnheimsnetzen kann es zu Problemen mit der Standardkonfiguration kommen. Das RRZE stellt allerdings eine Anleitung zur Konfiguration von Docker bereit.
Materialien
| Thema | Video | Foliensatz | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 3: Verteilte Dateisysteme und Container-Betriebssystemvirtualisierung (Kumulierter Foliensatz) | |||
| Aufgabe 3 | Video | ||
| Hadoop Distributed File System (HDFS) | Video | ||
| Container-Betriebssystemvirtualisierung (optional) | Video |
Hinweise
- Bitte schickt zur Abgabe euer Gutachten an i4mw-owner@lists.cs.fau.de
- Die Papierdiskussion erfolgt am 13.01. in der Vorlesung
Materialien
| Thema | Video | Foliensatz | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 5: Papierdiskussion | Video | ||
| Preventing Network Bottlenecks: Accelerating Datacenter Services with Hotspot-Aware Placement for Compute and Storage |
Hinweise
- Laufen alle Replikate auf unterschiedlichen Rechnern?
- Zum Testen der
MWZooKeeperImplkann der bereitgestellteMWZooKeeperImplTestverwendet werden.
Materialien
| Thema | Video | Foliensatz | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 6: ZooKeeper (Kumulierter Foliensatz) | |||
| Aufgabe 6 | Video | ||
| Konsistente Replikation | Video |