Big Data Engineer

Big Data Engineers werden zur interdisziplinären Analyse und Konzeption von IT- und Datenbanklösungen eingesetzt. Der Kurs erläutert daher die Grundlagen von Business Intelligence, den Einsatz von Künstlicher Intelligenz (KI) sowie die Anforderungen des Data Engineerings.

Data Engineer

Grundlagen Business Intelligence (ca. 2 Tage)

Anwendungsfelder, Dimensionen einer BI Architektur
Grundlagen Business Intelligence, OLAP, OLTP, Aufgaben der Data Engineers
Data Warehousing (DWH): Umgang und Verarbeitung von strukturierten, semi-strukturierten und unstrukturierten Daten

Anforderungsmanagement (ca. 2 Tage)

Aufgaben, Ziele und Vorgehensweise in der Anforderungsanalyse
Datenmodellierung, Einführung/Modellierung mit ERM
Einführung/Modellierung in der UML
· Klassendiagramme
· Use-Case Analyse
· Aktivitätsdiagramme

Künstliche Intelligenz (KI) im Arbeitsprozess

Vorstellung von konkreten KI‐Technologien
sowie Anwendungsmöglichkeiten im beruflichen Umfeld

Datenbanken (ca. 3 Tage)

Grundlagen von Datenbanksystemen
Architektur von Datenbankmanagementsystemen
Anwendung RDBMS
Umsetzung Datenmodell in RDBMS, Normalformen
Praktische und theoretische Einführung in SQL
Grenzen von Relationalen Datenbanken, csv, json

Data Warehouse (ca. 4 Tage)

Star Schema
Datenmodellierung
Erstellung Star Schema in RDBMS
Snowflake Schema, Grundlagen, Datenmodellierung
Erstellung Snowflake Schema in RDBMS
Galaxy Schema: Grundlagen, Datenmodellierung
Slowly Changing Dimension Tables Typ 1 bis 5 - Restating, Stacking, Reorganizing, mini Dimension und Typ 5
Einführung in normal, causal, mini und monster, heterogeneous und sub Dimensions
Vergleich von state und transaction oriented
Faktentabellen, Density und Storage vom DWH

ETL (ca. 4 Tage)

Data Cleansing
· Null Values
· Aufbereitung von Daten
· Harmonisierung von Daten
· Anwendung von Regular Expressions
Data Understanding
· Datenvalidierung
· Statistische Datenanalyse
Datenschutz, Datensicherheit
Praktischer Aufbau von ETL-Strecken
Data Vault 2.0, Grundlagen, Hubs, Links, Satellites, Hash Key, Hash Diff.
Data Vault Datenmodellierung
Praktischer Aufbau eines Data Vault Modells - Raw Vault, Praktische Umsetzung von Hash-Verfahren

Projektarbeit (ca. 5 Tage)

Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse

Big Data Specialist

Was ist Big Data? (ca. 1 Tag)

Volume, Velocity, Variety, Value, Veracity
Chancen und Risiken großer Datenmengen
Abgrenzung: Business Intelligence, Data Analytics, Data Science
Was ist Data Mining?

Einführung in Apache Frameworks (ca. 2 Tage)

Big-Data-Lösungen in der Cloud
Datenzugriffsmuster
Datenspeicherung

MapReduce (ca. 3 Tage)

MapReduce Philosophie
Hadoop Cluster
Verketten von MapReduce Jobs

Künstliche Intelligenz (KI) im Arbeitsprozess

Vorstellung von konkreten KI‐Technologien
sowie Anwendungsmöglichkeiten im beruflichen Umfeld

Komponenten (ca. 3 Tage)

Kurzvorstellung von verschiedenen Tools
Datenübertragung
YARN-Anwendungen
Hadoop JAVA-API
Apache Spark

NoSQL und HBase (ca. 3 Tage)

CAP-Theorem
ACID und BASE
Typen von Datenbanken
HBase

Big Data Visualisierung (ca. 3 Tage)

Theorien der Visualisierung
Diagrammauswahl
Neue Diagrammarten
Werkzeuge zur Datenvisualisierung

Projektarbeit (ca. 5 Tage)

Zur Vertiefung der gelernten Inhalte
Präsentation der Projektergebnisse

Änderungen möglich. Die Lehrgangsinhalte werden regelmäßig aktualisiert.