Big Data: Data Engineering und Big Data-Konzepte

Big Data: Data Engineering und Big Data-Konzepte
Die Teilnehmer werden ein tiefgreifendes Verständnis von Data Engineering und Big Data aufbauen und sich mit Schlüsselkonzepten, grundlegenden Tools und bewährten Verfahren in den Bereichen Datenverwaltung, -verarbeitung und -architektur befassen. Sie werden praktische Erfahrungen im Umgang mit großen Datensätzen sammeln und verteilte Systeme, Cloud-Lösungen und Echtzeit-Datenverarbeitung verstehen. Durch praktische Übungen werden sie skalierbare und leistungsstarke Daten-Workflows entwickeln, um reale Herausforderungen im Bereich Big Data Engineering zu bewältigen.

• Verstehen Sie die Rolle von Dateningenieuren in modernen Datenökosystemen.
• Erkunden Sie die 4 Vs von Big Data: Volumen, Geschwindigkeit, Vielfalt und Wahrhaftigkeit.
• Erfahren Sie mehr über Datenpipelines, Aufnahmetechniken und ETL-Prozesse.

• Tauchen Sie ein in Data Lakes, Data Warehouses und NoSQL-Datenbanken.
• Lernen Sie die Prinzipien des verteilten Rechnens und der Parallelverarbeitung kennen.
• Erkunden Sie Tools wie Apache Hadoop, Apache Spark und Flink für die Verarbeitung großer Datenmengen.

• Verstehen Sie Cloud-basierte Architekturen für die skalierbare Datenverarbeitung.
• Lernen Sie, Big-Data-Anwendungen auf AWS, Azure und Google Cloud bereitzustellen.
• Optimieren Sie Kosten und Leistung von Datenverarbeitungs-Pipelines in der Cloud.

• Erstellen Sie effiziente Daten-Pipelines für die Verarbeitung strukturierter und unstrukturierter Daten.
• Implementieren Sie ETL-Workflows (Extract, Transform, Load) mit SQL und Python.
• Automatisieren Sie Datenverarbeitungs-Pipelines mit Apache Airflow.

• Implementieren Sie Echtzeit-Datenstreaming mit Apache Kafka und Spark Streaming.
• Optimieren Sie die Datenverarbeitung mit geringer Latenz für Echtzeitanalysen.
• Entwickeln Sie ereignisgesteuerte Architekturen für die dynamische Datenverarbeitung.

• Lernen Sie Massively Parallel Processing (MPP) für die Verarbeitung großer Datenmengen kennen.
• Optimieren Sie die Abfrageleistung, Indizierung und Partitionierung für Data Warehouses.
• Verbessern Sie Big Data-Lösungen durch Caching, Komprimierung und Workload-Balancing.

• Entwerfen und implementieren Sie End-to-End-Datenpipelines unter Verwendung moderner Frameworks.
• Arbeiten Sie an realen Datensätzen und wenden Sie dabei Big Data-Verarbeitungstechniken an.
• Optimierung der Leistung und Skalierbarkeit in Big-Data-Engineering-Workflows.