Reinforcement Learning Toolbox

Entwurf und Training von Strategien mithilfe von Reinforcement Learning

Die Reinforcement Learning Toolbox™ bietet eine App, Funktionen und einen Simulink^®-Block zum Trainieren von Richtlinien mit Reinforcement-Learning-Algorithmen wie DQN, PPO, SAC und DDPG. Mithilfe dieser Richtlinien können Sie Steuerungen und Entscheidungsalgorithmen für komplexe Anwendungen wie Ressourcenzuweisung, Robotik und autonome Anlagen implementieren.

Die Toolbox ermöglicht das Darstellen von Richtlinien und Wertefunktionen durch tiefe neuronale Netze oder Lookup-Tabellen und ihr Trainieren durch die Interaktion mit Umgebungen, die als MATLAB^®- oder Simulink-Modelle dargestellt werden. Sie haben die Möglichkeit, die in der Toolbox bereitgestellten Single-Agent- oder Multi-Agent-Reinforcement-Learning-Algorithmen zu evaluieren oder eigene zu erstellen. Sie können mit Hyperparameter-Einstellungen experimentieren, den Trainingsfortschritt überwachen und trainierte Agents entweder interaktiv durch die App oder per Programm simulieren. Um die Trainingsleistung zu optimieren, können Sie parallele Simulationen auf mehreren CPUs, GPUs, in Computer-Clustern und in der Cloud (mit der Parallel Computing Toolbox™ und MATLAB Parallel Server™) ausführen.

Durch das ONNX™-Modellformat lassen sich vorhandene Richtlinien aus Deep-Learning-Frameworks wie TensorFlow™ Keras und PyTorch (mit der Deep Learning Toolbox™) importieren. Sie können optimierten C, C++ und CUDA^® Code generieren, um trainierte Richtlinien auf Microcontrollern und GPUs anzuwenden. Die Toolbox beinhaltet Referenzbeispiele, um Ihnen die ersten Schritte zu erleichtern.

Was ist eine Reinforcement Learning Toolbox?

Reinforcement-Learning-Agenten

Erstellen und konfigurieren Sie Reinforcement-Learning-Agenten zum Trainieren von Richtlinien in MATLAB und Simulink. Nutzen Sie integrierte oder individuell entwickelte Reinforcement-Learning-Algorithmen.

Reinforcement-Learning-Algorithmen

Erstellen Sie Agenten mithilfe von Deep Q-Network (DQN), Deep Deterministic Policy Gradients (DDPG), Proximal Policy Optimization (PPO) und anderen integrierten Algorithmen. Verwenden Sie Vorlagen, um individuelle Agenten zum Trainieren von Richtlinien zu entwickeln.

Trainieren von Reinforcement-Learning-Agenten

Integrierte Agenten

Erstellung individueller Agenten

Gehtraining eines zweibeinigen Roboters

In der Reinforcement Learning Toolbox verfügbare Trainingsalgorithmen.

Reinforcement Learning Designer-App

Entwerfen, trainieren und simulieren Sie interaktiv Reinforcement-Learning-Agenten. Exportieren Sie trainierte Agents in MATLAB zur weiteren Verwendung und Bereitstellung.

Reinforcement Learning Designer

Entwurf und Training von Agenten mithilfe der Reinforcement Learning Designer-App

Interaktives Erstellen und Trainieren von Reinforcement-Learning-Agenten

Darstellung von Richtlinien und Wertefunktionen mithilfe tiefer neuronaler Netze

Definieren Sie tiefe neuronale Netzrichtlinien programmatisch für komplexe Systeme mit großen Zustands-/Handlungsräumen mithilfe von Schichten aus der Deep Learning Toolbox oder interaktiv mit dem Deep Network Designer. Alternativ können Sie die Standardnetzarchitektur verwenden, die die Toolbox vorschlägt. Initialisieren Sie die Richtlinie mithilfe von Imitation Learning, um das Training zu beschleunigen. Importieren und exportieren Sie ONNX-Modelle, um die Kompatibilität mit anderen Deep Learning-Frameworks zu gewährleisten.

Erstellen und Importieren von Darstellungen tiefer neuronaler Netze

Erstellen von Agenten mithilfe von Deep Network Designer

Initialisieren eines DDPG Actor Network mit Imitation Learning

Optionen zur Initialisierung von Reinforcement-Learning-Agenten

Deep-Learning-Netze interaktiv erstellen, visualisieren und bearbeiten

Single-Agent- und Multi-Agent-Reinforcement-Learning in Simulink

Erstellen und trainieren Sie Reinforcement-Learning-Agenten in Simulink mit dem RL-Agentenblock. Trainieren Sie mehrere Agenten gleichzeitig (Multi-Agent-Reinforcement-Learning) in Simulink mithilfe mehrerer Instanzen des RL-Agentenblocks.

Erstellen einer Simulink-Umgebung und Trainieren eines Agenten

Simulink-Block eines RL-Agenten

Trainieren mehrerer Agenten zur Bereichsabdeckung

Trainieren mehrerer Agenten zur Pfadfolgesteuerung

Simulink-Modell mit einem RL-Agentenblock.

Der Reinforcement-Learning-Agentenblock für Simulink.

Umgebungsmodellierung

Erstellen Sie MATLAB- und Simulink-Umgebungsmodelle. Beschreiben Sie die Systemdynamik und stellen Sie Beobachtungs- und Belohnungssignale für das Training von Agenten bereit.

Simulink- und Simscape-Umgebungen

Verwenden Sie Simulink- und Simscape™-Modelle für die Darstellung einer Umgebung. Bestimmen Sie Beobachtungs-, Handlungs- und Belohnungssignale innerhalb des Modells.

Erstellen von Simulink-Umgebungen für Reinforcement Learning

Laden vordefinierter Simulink-Umgebungen

Integrieren von Drittanbieterfunktionen in Simulink

Reinforcement Learning für die feldorientierte Steuerung eines Permanentmagnet-Synchronmotors (6:12)

Simulink-Umgebungsmodell für einen zweibeinigen Roboter.

MATLAB-Umgebungen

Verwenden Sie MATLAB-Funktionen und -Klassen für die Modellierung einer Umgebung. Bestimmen Sie Beobachtungs-, Handlungs- und Belohnungsvariablen innerhalb der MATLAB-Datei.

Erstellen von MATLAB-Umgebungen für Reinforcement Learning

Laden vordefinierter MATLAB-Umgebungen

Integrieren von Drittanbieterfunktionen in MATLAB

Reinforcement Learning für den Handel (4:15)

MATLAB-Umgebung für eine Rakete mit drei Freiheitsgraden.

Beschleunigung des Trainings

Beschleunigen Sie das Training mithilfe von GPU-, Cloud- und verteilten Rechenressourcen.

Distributed Computing und Mehrkernbeschleunigung

Beschleunigen Sie das Training, indem Sie parallele Simulationen auf Mehrkerncomputern, Cloud-Ressourcen oder Computerclustern mithilfe der Parallel Computing Toolbox und MATLAB Parallel Server durchführen.

Trainieren von MATLAB-Agenten mithilfe von Parallel Computing

Optionen zum Trainieren von Reinforcement-Learning-Agenten

Trainieren von AC-Agenten zum Ausgleichen eines Wagen-Pendel-Systems in MATLAB mithilfe von Parallel Computing

Trainieren von DQN-Agenten als Spurhalteassistenten in Simulink mithilfe von Parallel Computing

Beschleunigung des Trainings mithilfe von Parallel Computing.

GPU-Beschleunigung

Beschleunigen Sie das Training und die Inferenz tiefer neuronaler Netze mit leistungsstarken NVIDIA^®-GPUs. Verwenden Sie MATLAB mit der Parallel Computing Toolbox und den meisten CUDA-fähigen NVIDIA-GPUs mit einer Rechenfähigkeit ab Version 3.0.

Trainieren von Agents mithilfe von GPUs

Optionen zur Darstellung von Reinforcement-Learning-Agenten

Beschleunigung des Trainings mithilfe von GPUs.

Codegenerierung und -bereitstellung

Stellen Sie trainierte Richtlinien auf Embedded Geräten bereit oder integrieren Sie sie in einer Vielzahl von Produktionssystemen.

Codegenerierung

Verwenden Sie den MATLAB Coder™, um optimierten CUDA Code aus MATLAB Programmcode zu generieren, der trainierte Richtlinien darstellt. Verwenden Sie MATLAB Coder™, um C/C++ Code zur Bereitstellung von Richtlinien zu generieren.

Bereitstellung der Reinforcement-Learning-Richtlinien nach dem Training

Generieren von CUDA Code mit dem GPU Coder.

Unterstützung für MATLAB Compiler

Mit MATLAB Compiler™ und MATLAB Compiler SDK™ können Sie trainierte Richtlinien als eigenständig ausführbare Anwendungen, C/C++ Shared Libraries, Microsoft^®.NET Assemblies, Java^®-Klassen und Python^®-Pakete bereitstellen.

Bildschirm des MATLAB Compiler zur Erstellung einer eigenständig ausführbaren Anwendung.

Packen und Freigeben von Richtlinien als eigenständig ausführbare Programme.

Referenzbeispiele

Entwerfen Sie Steuerungen Entscheidungsalgorithmen für Roboter, selbstfahrende Fahrzeuge, Kalibrierungen, Zeitplanung und andere Anwendungen.

Erste Schritte

Sehen Sie zu, wie Sie auf Reinforcement Learning basierende Steuerungen für Probleme wie den Ausgleich eines inversen Pendels, die Navigation im Grid-World-Labyrinth, den Ausgleich eines Wagen-Pendel-Systems und das Lösen generischer Markov-Entscheidungsprozesse entwickeln.

Trainieren von DQN-Agenten zum Ausgleichen eines Wagen-Pendel-Systems

Trainieren von Q-Learning-Agenten zum Lösen eines Grid-World-Problems

Trainieren eines Reinforcement-Learning-Agenten in einer MDP-Umgebung

Reinforcement Learning – Motivation für Antriebssteuerungsingenieure (21:26)

Reinforcement Learning für ein inverses Pendel mit Bilddaten

Automatisiertes Fahren

Entwerfen Sie Reinforcement-Learning-Richtlinien für Anwendungen des automatisierten Fahrens wie adaptive Tempomaten, Spurhalteassistenten und Einparkhilfen.

Trainieren von DDPG-Agenten adaptive Tempomaten

Trainieren von DQN-Agenten für Spurhalteassistenten

Trainieren von DDPG-Agenten für Pfadfolgesteuerungen

Trainieren von PPO-Agenten für Einparkhilfen