Big Data: Maschinelles Lernen für Big Data Engineering

Big Data: Maschinelles Lernen für Big Data Engineering
Die Teilnehmer werden eine solide Grundlage im Bereich Big Data Engineering entwickeln, indem sie sich mit Kernkonzepten, grundlegenden Werkzeugen und bewährten Verfahren in den Bereichen Datenverwaltung, -verarbeitung und -architektur befassen. Sie werden auch lernen, wie man Modelle des maschinellen Lernens (ML) in Daten-Workflows integriert, um eine intelligente Verarbeitung und Echtzeit-Vorhersagen für strukturierte und unstrukturierte Daten zu ermöglichen. Darüber hinaus werden sie sich mit fortgeschrittenen Datenstrukturen befassen und Einblicke in die Optimierung strukturierter Daten-Workflows und den Entwurf skalierbarer Systeme gewinnen.

Einführung in das Big Data Engineering

• Verstehen Sie die Rolle von Dateningenieuren bei der Verwaltung großer Dateninfrastrukturen.
• Erkunden Sie die 4 Vs von Big Data: Volumen, Geschwindigkeit, Vielfalt und Wahrhaftigkeit.
• Lernen Sie grundlegende Konzepte von Datenpipelines, -verarbeitung und -integration kennen.

Big Data-Architektur und Daten-Engineering-Tools

• Tauchen Sie ein in wichtige Tools wie Apache Hadoop, Apache Spark und verteiltes Rechnen.
• Verstehen Sie die Bedeutung von Data Lakes, Data Warehouses und ETL-Workflows.
• Erkunden Sie Cloud-basierte Lösungen für die skalierbare Verarbeitung großer Datenmengen.

Grundlagen des maschinellen Lernens für die Datenverarbeitung

• Verstehen Sie die Rolle des maschinellen Lernens (ML) in Big-Data-Pipelines.
• Lernen Sie wichtige ML-Modelle kennen, einschließlich Regression, Klassifizierung und Clustering.
• Erkunden Sie Techniken zur Funktionsentwicklung, Datenvorverarbeitung und Modelloptimierung.

ML-Modellintegration in Datenpipelines

• Implementieren Sie maschinelle Lernmodelle in Produktionsdaten-Workflows.
• Verwenden Sie TensorFlow, scikit-learn und PyTorch für die Modellbereitstellung.
• Automatisieren Sie Echtzeit-Vorhersagen in Datenverarbeitungs-Pipelines.

Verteiltes maschinelles Lernen mit Spark MLlib

• Verstehen Sie das Hadoop-Ökosystem und Spark MLlib für skalierbare ML-Lösungen.
• Lernen Sie, wie Sie ML-Modelle auf verteilten Systemen trainieren und einsetzen.
• Optimieren Sie die Leistung und Fehlertoleranz in Machine-Learning-Workflows.

Datenverarbeitung für Machine Learning

• Erfahren Sie, wie sich Datentransformation und -bereinigung auf ML-Modelle auswirken.
• Verstehen Sie die Bedeutung der Auswahl und Entwicklung von Funktionen in Big Data.
• Implementieren Sie Echtzeit-Datenstreaming für prädiktive Analysen mit Kafka.

Fortgeschrittene Big-Data-Techniken

• Erkunden Sie probabilistische Datenstrukturen wie Bloom-Filter für eine effiziente Datenverarbeitung.
• Arbeiten Sie mit grafischen Datenmodellen für komplexe Netzwerkanalysen.
• Implementieren Sie Daten-Streaming-Techniken mit Kafka und Spark Streaming.