Data engineer: Konzepte für maschinelles Lernen

Data Engineer: Konzepte des maschinellen Lernens
Die Teilnehmer werden eine solide Grundlage im Bereich des maschinellen Lernens (ML) für Data Engineering entwickeln und lernen, wie man ML-Modelle in Datenpipelines integriert, das Feature Engineering optimiert und Arbeitsabläufe automatisiert. Sie werden praktische Erfahrungen in der Verarbeitung großer Datenmengen, SQL-gesteuerten Transformationen und Echtzeit-ML-Anwendungen sammeln, die es ihnen ermöglichen, skalierbare, leistungsstarke ML-Arbeitsabläufe zu erstellen.

Einführung in das maschinelle Lernen für Dateningenieure

• Verstehen Sie die Rolle von ML im Data Engineering und seine Auswirkungen auf Big-Data-Workflows.
• Lernen Sie überwachte und unüberwachte Lerntechniken kennen.
• Erkunden Sie die Datenvorverarbeitung, Modellauswahl und -bewertung.

Datenaufbereitung und Feature-Engineering

• Führen Sie die Datenbereinigung, -normalisierung und -transformation für ML-Modelle durch.
• Entwickeln Sie Funktionen aus strukturierten und unstrukturierten Datensätzen.
• Optimieren Sie Techniken zur Dimensionsreduktion für effiziente ML-Workflows.

SQL für Machine-Learning-Pipelines

• Implementieren Sie SQL-basiertes Feature-Engineering für strukturierte Daten.
• Optimieren Sie die Datenspeicherung und -abfrage für ein schnelleres Modelltraining.
• Automatisieren Sie ETL-Workflows für ML-Anwendungen mit SQL und Python.

Bereitstellung von Machine-Learning-Modellen in Datenpipelines

• Integrieren Sie ML-Modelle in ETL- und Datenverarbeitungs-Workflows.
• Nutzen Sie TensorFlow, scikit-learn und PyTorch für die Modellentwicklung.
• Automatisieren Sie Echtzeit-Modellvorhersagen in Big-Data-Anwendungen.

Big Data und ML-Integration

• Arbeiten Sie mit Apache Spark MLlib für die verteilte ML-Verarbeitung.
• Trainieren und implementieren Sie skalierbare Modelle in Big-Data-Umgebungen.
• Optimieren Sie Fehlertoleranz und Leistung in ML-Pipelines.

Echtzeit-ML und Streaming-Daten

• Implementieren Sie Echtzeit-ML-Vorhersagen mit Kafka und Spark Streaming.
• Optimieren Sie die Datenverarbeitung mit geringer Latenz für eine dynamische Entscheidungsfindung.
• Automatisiertes ML-Modell-Retraining für Streaming-Datenpipelines bereitstellen.

Praktische Projekte zum maschinellen Lernen für Dateningenieure

• ML-Pipelines mit Big-Data-Workflows integrieren.
• Praxisnahe Vorhersagemodelle mit SQL- und ML-Frameworks entwickeln.
• Datengesteuerte maschinelle Lern-Workflows für Skalierbarkeit und Effizienz optimieren.