Data Engineering: Data Engineering und Big Data - Grundlagen

Einführung in die Datenverarbeitung

• Verstehen Sie die Rolle der Datenverarbeitung in den Arbeitsabläufen der Datenwissenschaft und Datenanalyse.
• Erkunden Sie, wie Dateningenieure effiziente Datenpipelines und Infrastrukturen ermöglichen.
• Lernen Sie die grundlegenden Konzepte von Big Data und ihre Bedeutung für moderne Analysen kennen.

• Führen Sie die Datenaufbereitung und -vorverarbeitung für technische Aufgaben durch.
• Wenden Sie die explorative Datenanalyse (EDA) auf Big-Data-Datensätze an.
• Verwenden Sie Python-Bibliotheken wie Pandas und Numpy für die Verarbeitung strukturierter und halbstrukturierter Daten.

• Lernen Sie die Grundlagen von Hadoop und seinem Ökosystem kennen.
• Erkunden Sie Apache Spark für die verteilte Datenverarbeitung.
• Verstehen Sie die Grundlagen von cloudbasierten Big-Data-Lösungen.

• Erstellen Sie ETL-Workflows (Extract, Transform, Load) für eine effiziente Datenverschiebung.
• Automatisieren Sie Datenpipelines mit Python und Big-Data-Tools.
• Erkunden Sie bewährte Verfahren für die Verarbeitung großer Datenmengen.

• Arbeit an Projekten, die reale Herausforderungen im Bereich Data Engineering simulieren.
• Optimierung der Dateninfrastruktur zur Unterstützung fortgeschrittener Data-Science-Workflows.
• Zusammenarbeit an Big-Data-Projekten mit Schwerpunkt auf der Integration der Datenanalyse.