Verarbeiten von Big Data mit MATLAB

Kursbeschreibung

Der Schwerpunkt dieses eintägigen Kurses liegt auf der Anwendung vorhandener Algorithmen auf eine oder mehrere Datendateien, deren Inhalt nicht in den Hauptspeicher passt. Lernen Sie, Big Data in MATLAB^® zu repräsentieren und vorhandenen Code für eine effiziente Funktionsweise mit Big Data anzupassen. Skalieren Sie die Algorithmen mit MATLAB Parallel Server™ auf die Cloud oder eigene Rechenressourcen.

Themen sind unter anderem:

Erstellen von Datastores, um Daten einzulesen
Repräsentieren und Verarbeiten von Big Data mit Tall Arrays
Importieren von eigenen oder speziellen Datenformaten wie Apache Parquet™ und Anwenden eigener Funktionen auf Tall Arrays
Arbeiten mit Clustern von Computern und Cloud-Umgebungen

Tag 1 von 1

Entwickeln von Big-Data-Anwendungen

Ziel: Anwenden bestehender Algorithmen auf Datensätze, die nicht in den Speicher passen.

Importieren von Daten als Datastores
Erstellen von Tall Arrays
Ausführen von Algorithmen auf Tall Arrays
Optimieren von Code für die Anwendung auf Tall Arrays
Importieren von Daten, die auf einer Cloud gespeichert sind

Umgang mit eigenen Datenformaten und Funktionen

Ziel: Importieren von Daten in selbst definierten Formaten und Anwenden von Algorithmen, die nicht bereits für Tall Arrays implementiert sind.

Importieren spezieller Datenformate wie Apache Parquet
Importieren von Dateien mit speziellen Formaten mit File Datastores und Custom Datastores
Partieller Import einzelner Dateien
Anwenden von Transformationen, Reduzierungen und gefensterten Operationen auf Tall Arrays
Transformieren von Datastores

Arbeiten auf Clustern und Clouds

Ziel: Skalieren von Big-Data-Anwendungen auf einen Cluster oder eine Cloud-Umgebung.

Lokale Profile und Cluster-Profile
Cluster-Anbindung
Aufsetzen eines Clusters in einer Cloud
Zugriff auf nur lokal verfügbare Dateien

Stufe: Aufbaukurse

Voraussetzungen:

MATLAB für Datenverarbeitung und Visualisierung oder gleichwertige Erfahrung mit MATLAB^®

Dauer: 1 Tag

Sprachen: English, 한국어