Inhalt
- Entwicklung eines Cloud-basierten Web-Service
- Praktischer Einsatz von privaten (OpenStack) und öffentlichen Clouds (Amazon EC2)
- Lastabhängige Skalierung von Diensten in einer hybriden Cloud
- Implementierung eines verteilten Dateisystems (ähnlich zu HDFS)
- Verwendung von Container-Betriebssystemvirtualisierung (Docker)
- Skalierbare Datenverarbeitung mittels MapReduce
- Realisierung eines fehlertoleranten Koordinierungsdiensts (ähnlich zu ZooKeeper)
Im Rahmen der Übung werden Amazon Web Services (AWS) genutzt. Hierfür stellt der Lehrstuhl ein entsprechendes Freikontingent bei AWS zur Verfügung.
Übungsbetrieb
Zur jeder Übungsaufgabe werden zu Beginn des Bearbeitungszeitraums Videos und die dazugehörigen Foliensätze veröffentlicht, in denen die Aufgabe vorgestellt sowie relevante Hintergründe näher beleuchtet werden. Die Bearbeitung der Übungsaufgaben erfolgt in 3er-Gruppen und überwiegend in der Programmiersprache Java. Für die erfolgreiche Abgabe einer Aufgabe ist es erforderlich, die eigene Implementierung einem Übungsleiter zu präsentieren.| Nr. | Titel | Ausgabe | Abgabe |
|---|---|---|---|
| 0 | Grundlagen | - | - |
| 1 | Web-Services | 23.10.2023 | 09.11.2023 |
| 2 | Hybride Clouds | 06.11.2023 | 23.11.2023 |
| 3 | Verteilte Dateisysteme | 20.11.2023 | 07.12.2023 |
| 4 | MapReduce | 04.12.2023 | 21.12.2023 |
| 5 | Papierdiskussion | 18.12.2023 | 22.01.2024 |
| 6 | ZooKeeper | 15.01.2024 | 01.02.2024 |
Übungsmaterialien
Für die Übungsaufgaben werden Vorgaben und Hilfen im Verzeichnis/proj/i4mw/pub (erreichbar über den Informatik-CIP) bereitgestellt.
Es ist empfehlenswert, die jeweilige Aufgabenstellung vor der Bearbeitung einer Aufgabe vollständig zu lesen, um von Beginn an einen Überblick über das zu erstellende System zu haben.
Hinweis: Die meisten der hier verlinkten Videos stammen aus dem Wintersemester 2020/21 und können daher vom aktuellen Foliensatz geringfügig abweichen.
Hinweise
- Das Aufgabenblatt 0 ist kein verpflichtender Teil des Übungsbetriebs, die Bearbeitung wird aber als Vorbereitung auf die Veranstaltung empfohlen.
- Aufgabe 0 ist im Gegensatz zu den späteren Übungsaufgaben als Einzelaufgabe konzipiert.
Materialien
| Thema | Video | Foliensatz | Aufgabenblatt |
|---|---|---|---|
| Organisatorisches | |||
| Grundlagen (kumulierter Foliensatz) | |||
| Java -- Collections/Threads | Video | ||
| Verteilte Ausführung | Video | ||
| Versionsverwaltung mit Git | Video | ||
| Git in Eclipse | Video |
Hinweise
- Diese Aufgabe ist deutlich umfangreicher als die Webservices-Aufgabe.
- Es wird empfohlen den Client zur Lasterzeugung im CIP-Pool zu betreiben.
- Es gibt Probleme mit dem Tweet-Dienst? Meistens hilft ein Blick in die Protokolldateien beziehungsweise eine Kontrolle der Firewall-Konfiguration der VMs.
- Falls es unter Windows Probleme mit der CPU Messung gibt, siehe Folie 2:2:18.
Materialien
| Thema | Video | Foliensatz | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 2: Hybride Cloud (Kumulierter Foliensatz) | |||
| Aufgabe 2 | Video | ||
| Amazon Web Services | Video | ||
| OpenStack | Video | ||
| Erstellen eines VM-Abbilds in OpenStack | Video |
Hinweise
- Das Dateisystem sollte auch mit einem ausgefallenem Datanode noch funktionieren (nur 7,5 ECTS).
- Sind auch große Dateien nach dem Download identisch zur Originaldatei?
- Es wird stark empfohlen, Docker in der bereitgestellten VM in der Cloud zu verwenden. Besonders bei der Verwendung von Docker aus Wohnheimsnetzen kann es zu Problemen mit der Standardkonfiguration kommen. Das RRZE stellt allerdings eine Anleitung zur Konfiguration von Docker bereit.
Materialien
| Thema | Video | Foliensatz | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 3: Verteilte Dateisysteme und Container-Betriebssystemvirtualisierung (Kumulierter Foliensatz) | |||
| Aufgabe 3 | Video | ||
| Hadoop Distributed File System (HDFS) | Video | ||
| Container-Betriebssystemvirtualisierung (optional) | Video |
Hinweise
- Bitte schickt zur Abgabe euer Gutachten an i4mw-owner@lists.cs.fau.de
- Die Papierdiskussion erfolgt am 23.01. in der Vorlesung
Materialien
| Thema | Video | Foliensatz | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 5: Papierdiskussion | Video | ||
| Conveyor: One-Tool-Fits-All Continuous Software Deployment at Meta |
Hinweise
- Laufen alle Replikate auf unterschiedlichen Rechnern?
- Zum Testen der
MWZooKeeperImplkann der bereitgestellteMWZooKeeperImplTestverwendet werden.
Materialien
| Thema | Video | Foliensatz | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 6: ZooKeeper (Kumulierter Foliensatz) | |||
| Aufgabe 6 | Video | ||
| Konsistente Replikation | Video |
Evaluation
Die Evaluation im WS 2023/24 fand in der Zeit vom 10. Januar 2024 bis 28. Januar 2024 statt.- Alle Teilnehmenden erhielten einen Link für den Zugriff auf die Evaluationsformulare.
- Es wurden 17 Fragebögen zu den Übungen ausgefüllt.
- Ergebnis der Übungssevaluation
Vielen Dank an alle, die sich an der Evaluation beteiligt haben!