Data engineer: Grundlagen für Data engineers

Dateningenieur: Grundlagen für Dateningenieure
Die Teilnehmer werden eine solide Grundlage im Bereich Dateningenieurwesen entwickeln, die Kernkonzepte, wesentliche Tools und bewährte Verfahren für die Verwaltung, Verarbeitung und Optimierung umfangreicher Daten-Workflows umfasst. Sie werden praktische Erfahrungen mit SQL, Python, ETL-Prozessen, Cloud-Plattformen und der Automatisierung von Datenpipelines sammeln und so die grundlegenden Fähigkeiten erwerben, die für eine Karriere im Bereich Dateningenieurwesen erforderlich sind.

Einführung in das Dateningenieurwesen

• Verstehen Sie die Rolle eines Dateningenieurs in modernen Datenökosystemen.
• Erkunden Sie Datenpipelines, ETL-Workflows und Datentransformationstechniken.
• Lernen Sie die 4 Vs von Big Data kennen: Volume, Velocity, Variety und Veracity.

Grundlegende Tools für Dateningenieure

• Arbeiten Sie mit SQL und Python für die Datenabfrage und -verarbeitung.
• Verstehen Sie relationale Datenbanken, NoSQL und verteilte Speicherlösungen.
• Erkunden Sie Big-Data-Frameworks wie Apache Hadoop und Apache Spark.

Daten-Workflow und ETL-Prozesse

• Erstellen Sie ETL-Pipelines (Extract, Transform, Load) für strukturierte und unstrukturierte Daten.
• Automatisieren Sie die Datenerfassung und -transformation mithilfe von SQL- und Python-Skripten.
• Optimieren Sie Daten-Workflows für Leistung und Skalierbarkeit.

Cloud-basiertes Data Engineering

• Erfahren Sie mehr über AWS, Azure und Google Cloud für die Datenspeicherung und -verarbeitung.
• Arbeiten Sie mit Cloud-basierten Datenbanken wie BigQuery, Snowflake und Redshift.
• Skalierbare Daten-Workflows in Cloud-Umgebungen bereitstellen.

Datenmodellierung und -optimierung

• Strategien zur Normalisierung, Indizierung und Partitionierung verstehen.
• Datenbankleistung für die Verarbeitung großer Datenmengen optimieren.
• Best Practices für das Schema-Design für eine effiziente Datenspeicherung implementieren.

Einführung in die Echtzeit-Datenverarbeitung

• Streaming-Daten-Frameworks wie Kafka und Spark Streaming kennenlernen.
• Batch- und Echtzeit-Datenverarbeitungstechniken untersuchen.
• Implementieren Sie grundlegende Echtzeit-Datenpipelines für ereignisgesteuerte Anwendungen.

Praktische Projekte im Bereich Datenverarbeitung

• Erstellen Sie End-to-End-Datenpipelines mit SQL, Python und Cloud-Diensten.
• Entwickeln Sie praxisnahe ETL-Workflows für die Datentransformation und -integration.
• Optimieren Sie Datenverarbeitungsprozesse für Effizienz und Skalierbarkeit.