Deep Reinforcement Learning

Anwendung von Deep Learning auf Regelungs- und Entscheidungsfindungsanwendungen

Deep Reinforcement Learning gehört zum Machine Learning und ermöglicht es Ihnen, Regler und Entscheidungsalgorithmen für komplexe Anwendungen wie Roboter und autonome Systeme zu implementieren. Mithilfe von Deep Reinforcement Learning können Sie neuronale Netze trainieren, um komplexe Verhaltensweisen anhand von Daten zu erlernen, die auf dynamische Weise aus simulierten oder physischen Systemen generiert werden.

Mithilfe von MATLAB, von Simulink und der Reinforcement Learning Toolbox können Sie den kompletten Workflow zum Entwerfen und Bereitstellen eines Reinforcement-Learning-Systems durchlaufen. Folgende Optionen stehen Ihnen zur Verfügung:

Umschalten, Bewerten und Vergleichen gängiger Deep-Reinforcement-Learning-Algorithmen
Interaktives Trainieren von Strategien mit der Reinforcement Learning Designer-App
Modellieren der Trainingsumgebung in MATLAB und Simulink zur Risikominimierung von Hardwareschäden
Verwenden von neuronalen Netzen, um interaktiv oder programmgesteuert Strategien des Deep Reinforcement Learning zu erstellen
Bereitstellen von Deep-Reinforcement-Learning-Strategien auf Embedded Devices oder in der Cloud

„5G ist eine entscheidende Infrastruktur, die wir vor schädlichen Angriffen schützen müssen. Mit der Reinforcement Learning Toolbox können wir die 5G-Schwachstellen innerhalb kürzester Zeit abschätzen und entsprechende Abwehrmethoden ermitteln.“
Ambrose Kam, Lockheed Martin

5G-Schwachstellenanalyse mit der Reinforcement Learning Toolbox

Die Vorteile von MATLAB und Simulink für das Deep Reinforcement Learning

Screenshot der Reinforcement Learning Designer-App zeigt den Trainingsfortschritt eines Deep-Reinforcement-Learning-Agenten.

Visueller interaktiver Workflow mit Reinforcement Learning Designer

Erstellen, trainieren und simulieren Sie Agenten für Deep Reinforcement Learning interaktiv mit der Reinforcement Learning Designer-App. Nutzen Sie die automatische Unterstützung bei der Auswahl des richtigen Agententyps. Wählen Sie aus den gängigen Deep-Reinforcement-Learning-Algorithmen, die bereits im Lieferumfang enthalten sind, wie Deep Deterministic Policy Gradient (DDPG), Soft Actor Critic (SAC) und Proximal Policy Optimization (PPO).

Interaktives Erstellen und Trainieren von Reinforcement-Learning-Agenten (5:38)

Integrierte Agenten für Reinforcement Learning

Entwurf und Training von Agenten mithilfe des Reinforcement Learning Designer

Screenshot eines Simulink-Modells, das ein Deep-Reinforcement-Learning-Beispiel für einen vierbeinigen Laufroboter zeigt.

Training, Systemtests und Bereitstellung mit Model-Based Design

Modellieren Sie die Trainingsumgebung in Simulink (oder MATLAB), um das Risiko einer Hardwarebeschädigung zu minimieren. Integrieren Sie nahtlos Umgebungsmodelle mit Deep-Reinforcement-Learning-Agenten und mithilfe des RL Agent-Blocks. Trainieren Sie Strategien in Serie oder parallel und verifizieren Sie sie durch Simulationen (auf Systemebene) und Software-in-the-Loop (SIL)- bzw. Hardware-in-the-Loop (HIL)-Tests. Stellen Sie trainierte Strategien auf Embedded Devices oder in der Cloud bereit.

Erstellen von Umgebungen für Reinforcement Learning

Durchführung der SIL- und PIL-Verifikation für Reinforcement Learning

Bereitstellung von Deep Reinforcement Learning-Strategien

Screenshot der Deep Network Designer-App, der die Architektur eines neuronalen Netzes zeigt.

Automatisierte und interaktive Erstellung von Strategien für neuronale Netze

Verwenden Sie problemspezifische, autogenerierte neuronale Netzarchitekturen, um Deep-Reinforcement-Learning-Agenten zu erstellen, ohne dafür Fachkenntnisse in der Entwicklung neuronaler Netzstrategien zu benötigen. Verwenden Sie die Architektur des neuronalen Netzes entweder in der vorgeschlagenen Form oder nehmen Sie eine zusätzliche Optimierung mit der Deep Network Designer-App (interaktiver Ansatz) oder mit Schichten aus der Deep Learning Toolbox (programmatischer Ansatz) vor. Wenden Sie Import- und Exportfunktionen an, um mit den Darstellungen neuronaler Netze in Frameworks von Drittanbietern zu interagieren.

DQN-Steuerung für ein inverses Pendel mit der Reinforcement Learning Toolbox (6:51)

Darstellung von Strategiefunktionen in MATLAB mithilfe tiefer neuronaler Netze

Erstellen von DQN-Agenten mithilfe des Deep Network Designer

Screenshot einer Unreal-Engine-Simulationsumgebung, die ein auf einem Parkplatz geparktes Auto zeigt.

Beispiele und Referenzanwendungen

Wagen Sie Ihre ersten Schritte im Deep Reinforcement Learning und entwerfen Sie Steuerungen, Entscheidungsalgorithmen für Roboter, selbstfahrende Fahrzeuge, Kalibrierungen, Zeitplanung und andere Anwendungen. Sehen Sie sich unsere Referenzbeispiele an und experimentieren Sie mit Einzel- und Multiagententraining, Online- und Offline-Learning, modellfreien und modellbasierten Methoden, sowie gradientenbasierten und evolutionären Lernstrategien.

Beispiele zum Reinforcement Learning

So werden modellbasierte Reinforcement-Learning-Agenten trainiert (6:03)

Deep Reinforcement Learning für gehende Roboter (15:52)