Data engineering: Programmierung und Scala für Projekte

Einführung in die Programmierung für die Datenverarbeitung

• Verstehen Sie die Bedeutung der Programmierung in Datenverarbeitungs- und Datenwissenschafts-Workflows.
• Erfahren Sie, wie Datenwissenschaftler und Dateningenieure die Programmierung nutzen, um skalierbare Lösungen zu entwickeln.
• Erkunden Sie grundlegende Programmierkonzepte, die auf die Datenanalyse und die Pipeline-Entwicklung angewendet werden.

Datenanalyseverfahren Einführung

• Führen Sie eine explorative Datenanalyse (EDA) durch, um Datensätze für Programmieraufgaben vorzubereiten.
• Verwenden Sie Python und Scala für die Datenvorverarbeitung und -analyse.
• Integrieren Sie SQL in Programmiersprachen, um Daten abzufragen und zu bearbeiten.

Grundlagen von Scala für die Datenverarbeitung

• Verstehen Sie die Grundlagen der Scala-Programmierung und ihre Anwendungen in der Datenverarbeitung.
• Lernen Sie funktionale Programmierkonzepte kennen, die für Big-Data-Projekte unerlässlich sind.
• Erfahren Sie, wie sich Scala in Apache Spark für die verteilte Datenverarbeitung integrieren lässt.

Erstellung skalierbarer Projekte mit Scala

• Entwickeln Sie effiziente ETL-Workflows und Datenpipelines mit Scala.
• Verwenden Sie Scala für die Echtzeit-Datenverarbeitung und Stream-Analyse.
• Optimieren Sie Big-Data-Anwendungen mit fortgeschrittenen Scala-Techniken.

Praktische Anwendungen und Projekte

• Erstellen Sie End-to-End-Projekte mit Scala und anderen Programmiertools.
• Arbeiten Sie an Gruppenprojekten mit, die reale Data-Engineering-Szenarien simulieren.
• Präsentieren Sie Stakeholdern datengesteuerte Lösungen und betonen Sie dabei die Integration von Data Science und Datenanalyse.