Data Engineering

Die Schulung ist darauf ausgelegt, ein fundiertes Fachwissen im Bereich Data Engineering zu vermitteln, das grundlegende Konzepte, fortgeschrittene Tools und reale Anwendungen abdeckt. Durch die Konzentration auf Big Data, Datenarchitektur und skalierbare Arbeitsabläufe erwerben die Lernenden die praktischen Fähigkeiten, die für den Aufbau und die Optimierung moderner Datensysteme erforderlich sind. Durch praktische Projekte wird die Schulung End-to-End-Prozesse vermitteln, die die datengesteuerten Organisationen von heute antreiben.

Grundlagen des Daten-Engineerings und Big Data-Grundlagen

• Erkunden Sie die Rolle des Data Engineering bei der Verwaltung von Datenpipelines und der Ermöglichung fortgeschrittener Analysen.
• Lernen Sie die 4 Vs von Big Data kennen - Volume, Velocity, Variety und Veracity - und ihre Bedeutung für das Design der Datenarchitektur.
• Verstehen Sie die Grundlagen der Cloud für die Bereitstellung und Skalierung von Daten-Workflows in modernen Infrastrukturen.
• Sammeln Sie praktische Erfahrungen mit Python, SQL und Virtualisierung für zentrale Data Engineering-Aufgaben.
• Üben Sie das Entwerfen effizienter ETL-Workflows (Extract, Transform, Load) für grundlegende Big Data-Systeme.

Fortgeschrittene Big Data Engineering-Projekte

• Beherrschen Sie die wichtigsten Tools im Big Data-Ökosystem, einschließlich Hadoop und Apache Spark, für die verteilte Datenverarbeitung.
• Entwerfen Sie robuste Datenarchitekturen wie Data Lakes, Warehouses und Echtzeit-Verarbeitungspipelines.
• Implementieren Sie MPP-Techniken (Massively Parallel Processing) für die Verarbeitung großer Datensätze.
• Erstellen Sie skalierbare Big Data-Workflows auf Cloud-Plattformen und optimieren Sie so Kosten und Leistung.
• Schließen Sie reale Projekte ab, bei denen Stapel- und Echtzeitverarbeitung mit Spark und Kafka integriert werden.

Programmierung und Automatisierung im Daten-Engineering

• Verbessern Sie Ihre Python-Programmierkenntnisse für skalierbare Data Engineering-Workflows.
• Automatisieren Sie ETL-Prozesse und die Workflow-Orchestrierung mit Tools wie Apache Airflow.
• Nutzen Sie auf Eingabeaufforderungen basierende Automatisierung und APIs, um die Effizienz in Data Engineering-Pipelines zu verbessern.
• Wenden Sie Debugging- und Fehlerbehebungstechniken an, um Big Data-Systeme zu optimieren.
• Entwickeln Sie Skripte und Workflows, die auf die Verwaltung großer, komplexer Datensätze zugeschnitten sind.

Maschinelles Lernen für Data Engineering

• Integrieren Sie Machine Learning-Modelle in Data Engineering-Pipelines, um eine intelligente Datenverarbeitung zu ermöglichen.
• Bereiten Sie Daten für ML-Modelle vor, indem Sie sich auf Bereinigung, Feature-Engineering und Transformation konzentrieren.
• Verwenden Sie verteilte ML-Frameworks wie Hadoop und Spark MLlib für groß angelegte Lösungen.
• Implementieren Sie Echtzeit-Vorhersagen und automatisierte Arbeitsabläufe für Big Data-Systeme.
• Arbeiten Sie an Projekten, die ML-Modelle mit Datenarchitektur kombinieren, um reale Herausforderungen zu lösen.

SQL und Datenmodellierung in der Datenarchitektur

• Beherrschen Sie fortgeschrittene SQL-Abfragen, einschließlich Joins, Fensterfunktionen und Abfrageoptimierungstechniken.
• Entwerfen Sie relationale und nicht-relationale Schemata für eine leistungsstarke Datenarchitektur.
• Führen Sie ETL-Prozesse mit SQL für strukturierte Daten-Workflows aus.
• Integrieren Sie SQL in Data-Warehousing-Tools wie Snowflake, BigQuery und Amazon Redshift.
• Erstellen Sie praktische Projekte mit komplexen relationalen Schemata und optimierten Abfragen.

Abschlussprojekt: Lösungen für das Daten-Engineering in der Praxis

• Definieren, planen und führen Sie ein umfassendes Data-Engineering-Projekt mit Tools und Techniken für Big Data durch.
• Erstellen Sie unternehmensgerechte Datenarchitekturen, die maschinelles Lernen und verteilte Systeme integrieren.
• Arbeiten Sie in Teams zusammen und nutzen Sie agile Praktiken, um Arbeitsabläufe effizient zu verwalten.
• Erstellen Sie eine professionelle Dokumentation und präsentieren Sie Ihr Projekt technischen und nicht-technischen Interessengruppen.
• Stellen Sie ein Abschlussprojekt vor, das die Beherrschung der Prinzipien von Data Engineering, Big Data und Datenarchitektur demonstriert.