Das Seminar “Big Data – Vertiefung zum Überblick” ist eine ideale Ergänzung zum Seminar Big Data – Einführung in das Thema, indem zusätzliche Komponenten vorgestellt und ausführliche Demos gezeigt werden.
Überblick
In diesem Abschnitt wird der Inhalt aus dem Seminar “Big Data – eine Einführung in das Thema” zusammen gefasst.
YARN
Die massive Parallelisierung in Hadoop erfordert eine leistungsfähige Steuerung. Diese war in der ersten Version limitiert und primär auf MapReduce fokussiert.
Die aktuelle Version weist deutliche Verbesserungen auf, die in diesem Abschnitt vorgestellt werden.
Pig
Pig ist ein Mechanismus, um stapelorientierte Datenfluss-Operationen in Hadoop auszuführen und wird oft in Verbindung mit Hive eingesetzt. In diesem Abschnitt lernen die Teilnehmer die Möglichkeiten von Pig kennen.
Es wird die Anwendung von Pig demonstriert.
HCatalog
HCatalog ist eine Metadatenverwaltung für strukturierte Daten in Hadoop, die von Hive und Pig genutzt wird. In diesem Abschnitt lernen die Teilnehmer, wie man HCatalog erfolgreich einsetzen kann.
Es wird die Anwendung von HCatalog demonstriert.
HBase
HBase ist eine Datenbank für Hadoop, allerdings keine im klassisch relationalen Sinne. In diesem Abschnitt erfahren die Teilnehmer Wissenswertes über HBase und die möglichen Stolperfallen, die dem in der relationalen Welt erfahrenen Anwender begegnen können.
Es wird die Anwendung von HBase demonstriert.
Weitere Komponenten
Hadoop ist ein Framework und unter dem Schirm der Apache Foundation existieren eine Vielzahl von Projekten mit zum Teil konkurrierenden Lösungen. In diesem Abschnitt erhalten die Teilnehmer einen Überblick über weitere interessante Komponenten aus Hadoop.
Es wird die Anwendung weiterer Komponenten demonstriert.
“Big Data” und der Datenschutz
Technisch ist mit “Big Data” vieles möglich, wenngleich es natürlich auch hier physische Grenzen für die Datensammlung gibt. Weitreichender sind mögliche rechtliche Rahmenbedingungen, unter denen „Big Data“ betrieben werden kann. Die Teilnehmer erhalten einen Überblick über Möglichkeiten, Grenzen sowie rechtliche Aspekte.
Related Courses
