Deep Learning

Die Funktionsweise von Deep Learning

Deep-Learning-Modelle basieren auf Architekturen neuronaler Netze. Nach dem Vorbild des menschlichen Gehirns besteht ein neuronales Netz aus miteinander verbundenen Knoten oder Neuronen in einer geschichteten Struktur, die die Eingaben mit den gewünschten Ausgaben verbinden. Die Neuronen zwischen den Eingabe- und Ausgabeschichten eines neuronalen Netzes werden als verborgene Schichten bezeichnet. Der Begriff „deep“ bezieht sich in der Regel auf die Anzahl der verborgenen Schichten in einem neuronalen Netz. Deep-Learning-Modelle können Hunderte oder sogar Tausende von verborgenen Schichten haben.

Deep-Learning-Modelle werden mit großen Mengen an gekennzeichneten Daten trainiert und können häufig Merkmale direkt anhand dieser Daten lernen, ohne dass eine manuelle Merkmalsextraktion erforderlich ist. Zwar wurde das erste künstliche neuronale Netz bereits 1958 entwickelt, jedoch erfordert Deep Learning eine enorme Rechenleistung, die erst in den 2000er-Jahren verfügbar war. Mittlerweile stehen den Wissenschaftlern die nötigen Computerressourcen zur Verfügung, um Netze mit Hunderten von Verbindungen und Neuronen aufzubauen und zu trainieren.

Leistungsstarke Grafikkarten bieten heute eine parallele Architektur, die für Deep Learning besonders effizient ist. In Kombination mit Clustern oder Cloud Computing können Entwicklerteams so die Trainingszeit für ein Deep-Learning-Netz von mehreren Wochen auf wenige Stunden oder sogar Minuten reduzieren.

Arten von Deep-Learning-Modellen

Die drei Arten von Deep-Learning -Modellen sind Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs) und Transformer Models (TMs).

CNNs: Ein CNN faltet erlernte Merkmale mit Eingabedaten und verwendet 2D-Faltungsschichten, wodurch sich diese Architektur ideal für die Verarbeitung von 2D-Daten, wie z. B. Bildern, eignet. Das CNN arbeitet mit der direkten Extraktion von Merkmalen aus Bildern. Die relevanten Merkmale werden erlernt, während das Netz mit einer Sammlung von Bildern trainiert. Diese automatisierte Merkmalextraktion ermöglicht Deep-Learning-Modelle mit hoher Genauigkeit für Bildklassifizierungsaufgaben. Darüber hinaus können CNNs auch für die Klassifizierung anderer Datentypen wie Zeitreihen und Text verwendet werden.

RNNs: Ein rekurrentes neuronales Netz (RNN) ist eine Netzarchitektur für das Deep Learning, die Vorhersagen anhand von Zeitreihen oder sequenziellen Daten trifft. RNNs eignen sich besonders für die Arbeit mit unterschiedlich langen, sequentiellen Daten und zur Problemlösung in den Bereichen Klassifizierung natürlicher Signale, Sprachverarbeitung und Videoanalyse. Das Long Short-Term Memory-Netz (LSTM) ist ein spezieller RNN-Typ, der besser in der Lage ist, längerfristige Abhängigkeiten zu lernen als einfache RNNs.

Transformers: Mit Transformers lassen sich Zusammenhänge in sequentiellen Daten verfolgen. Sie stützen sich auf einen Selbstbeobachtungsmechanismus, um globale Abhängigkeiten zwischen Eingabe und Ausgabe zu erfassen. Häufig werden sie für die natürliche Sprachverarbeitung verwendet und bilden die Grundlage für große Sprachmodelle (LLMs) wie BERT und ChatGPT™.

Erstellen von Deep-Learning-Modellen

Sie können ein Deep-Learning-Modell von Grund auf neu erstellen oder mit einem bereits vortrainierten Deep-Learning-Modell beginnen, das Sie auf Ihre jeweilige Situation anwenden oder an diese anpassen können.

Von Grund auf neu trainieren: Um ein Deep-Learning-Modell von Grund auf zu trainieren, wird ein großer, gekennzeichneter Datensatz gesammelt und eine Netzarchitektur entwickelt, die die Merkmale und das Modell erlernen soll. Diese Vorgehensweise eignet sich insbesondere für neue oder spezielle Anwendungen oder auch ganz allgemein für Anwendungen, für die es keine bereits bestehenden Modelle gibt. Der wesentliche Nachteil dieses Ansatzes besteht darin, dass er einen großen Datensatz erfordert (mit annotierter Ground Truth) und die Trainingszeit je nach Aufgabe und Rechenressourcen mehrere Stunden bis Wochen dauern kann.

Transfer Learning: In Deep-Learning-Anwendungen wie der Bildklassifizierung, Computer Vision, der Audioverarbeitung und der Verarbeitung natürlicher Sprache wird häufig der Ansatz des Transfer Learning verwendet. Dazu gehört die Optimierung eines vortrainierten Deep-Learning-Modells. Man beginnt mit einem bestehenden Modell, z. B. SqueezeNet oder GoogLeNet zur Bildklassifizierung, und speist neue Daten ein, die bisher nicht gesehene Klassen enthalten. Nach einigen Anpassungen des Netzes kann nun eine neue Aufgabe ausgeführt werden, z. B. nur Hunde oder Katzen statt 1000 verschiedener Objekte zu kategorisieren. Das hat auch den Vorteil, dass viel weniger Daten benötigt werden, sodass die Trainingszeit deutlich sinkt.

Ein vortrainiertes Deep-Learning-Modell kann außerdem als Merkmalsextraktor verwendet werden. Mithilfe der Ebenenaktivierungen lassen sich andere Machine-Learning-Modelle trainieren (z. B. eine Support Vector Machine (SVM)). Oder man verwendet das vortrainierte Modell als Baustein für ein anderes Deep-Learning-Modell. So kann beispielsweise ein CNN zur Bildklassifizierung als Merkmalsextraktor für einen Objektdetektor verwendet werden.