Data engineer: ML für data engineers

Data Engineer: ML für Dateningenieure
Die Teilnehmer werden Fachwissen im Bereich Machine Learning (ML) für Data Engineering entwickeln, wobei der Schwerpunkt auf der Integration von ML-Modellen in Datenpipelines, der Optimierung von Daten-Workflows und der Automatisierung von prädiktiven Analysen liegt. Sie werden praktische Erfahrungen in den Bereichen Big Data-Verarbeitung, SQL-gesteuerte Transformationen, verteiltes Rechnen und Echtzeit-ML-Bereitstellung sammeln, die es ihnen ermöglichen, skalierbare, leistungsstarke ML-Workflows zu erstellen.

Einführung in Machine Learning für Dateningenieure

• Verstehen der Rolle von ML im Data Engineering und seiner Auswirkungen auf Big-Data-Workflows.
• Erlernen von überwachten und unüberwachten Lerntechniken.
• Erkunden von Strategien zur Modellauswahl, -bewertung und -bereitstellung.

Datenaufbereitung und Feature-Engineering

• Durchführen von Datenbereinigung, -normalisierung und -transformation für ML-Modelle.
• Entwickeln von Funktionen aus strukturierten und unstrukturierten Datensätzen.
• Optimieren von Techniken zur Dimensionsreduktion für große ML-Modelle.

SQL für Machine Learning-Pipelines

• Implementieren Sie SQL-basiertes Feature Engineering für strukturierte Daten.
• Optimieren Sie die Datenspeicherung und -abfrage für ein schnelleres ML-Modelltraining.
• Automatisieren Sie ETL-Workflows für ML-Anwendungen mit SQL und Python.

ML-Modellbereitstellung in Datenpipelines

• Integrieren Sie ML-Modelle in ETL- und Datenverarbeitungs-Workflows.
• Verwenden Sie TensorFlow, scikit-learn und PyTorch für das Modelltraining.
• Automatisieren Sie Echtzeit-Modellvorhersagen in Big-Data-Anwendungen.

Big Data und ML-Integration

• Arbeiten Sie mit Apache Spark MLlib für die verteilte ML-Verarbeitung.
• Trainieren und implementieren Sie skalierbare ML-Modelle in Big-Data-Umgebungen.
• Optimieren Sie Fehlertoleranz und Leistung in ML-Pipelines.

Echtzeit-ML und Streaming-Daten

• Implementieren Sie Echtzeit-ML-Vorhersagen mit Kafka und Spark Streaming.
• Optimieren Sie die Datenverarbeitung mit geringer Latenz für eine dynamische Entscheidungsfindung.
• Automatisiertes ML-Modell-Retraining für Streaming-Datenpipelines bereitstellen.