Reinforcement Learning Toolbox
Entwurf und Training von Richtlinien mithilfe von Reinforcement Learning
Die Reinforcement Learning Toolbox™ bietet Funktionen und Blöcke zum Trainieren von Richtlinien mit Reinforcement-Learning-Algorithmen wie DQN, A2C und DDPG. Mithilfe dieser Richtlinien können Sie Steuerungen und Entscheidungsalgorithmen für komplexe Systeme wie Roboter und autonome Anlagen implementieren. Bei der Implementierung der Richtlinien können tiefe neuronale Netze, Polynome oder Lookup-Tabellen zum Einsatz kommen.
Die Toolbox ermöglicht das Trainieren von Richtlinien durch die Interaktion mit Umgebungen, die als MATLAB®- oder Simulink®-Modelle dargestellt werden. Sie haben die Möglichkeit, Algorithmen zu evaluieren, mit Hyperparameter-Einstellungen zu experimentieren und den Trainingsfortschritt zu überwachen. Um die Trainingsleistung zu optimieren, können Sie parallele Simulationen in der Cloud, in Computer-Clustern und auf GPUs (mit der Parallel Computing Toolbox™ und MATLAB Parallel Server™) ausführen.
Durch das ONNX™-Modellformat lassen sich vorhandene Richtlinien aus Deep-Learning-Frameworks wie TensorFlow™ Keras und PyTorch (mit der Deep Learning Toolbox™) importieren. Sie können optimierten C-, C++- und CUDA-Code generieren, um trainierte Richtlinien auf Microcontrollern und GPUs anzuwenden.
Die Toolbox beinhaltet Referenzbeispiele für den Einsatz von Reinforcement Learning zum Entwerfen von Steuerungen für Robotiksysteme und Anwendungen für automatisiertes Fahren.
Jetzt beginnen:
Reinforcement-Learning-Algorithmen
Implementieren Sie Agenten mithilfe von Deep Q-Network (DQN), Advantage Actor Critic (A2C), Deep Deterministic Policy Gradients (DDPG) und anderen integrierten Algorithmen. Verwenden Sie Vorlagen, um benutzerdefinierte Agenten zum Trainieren von Richtlinien zu implementieren.
Agenten bestehen aus einer Richtlinie und einem Algorithmus.
Darstellung von Richtlinien und Wertefunktionen mithilfe tiefer neuronaler Netze
Verwenden Sie tiefe neuronale Netze für Richtlinien komplexer Systeme mit großen Zustands-/Handlungsräumen. Definieren Sie Richtlinien mit Netzen und Architekturen aus der Deep Learning Toolbox. Importieren Sie ONNX-Modelle, um die Interoperabilität mit anderen Deep-Learning-Frameworks zu nutzen.
Simulink-Blöcke für Agenten
Implementieren und trainieren Sie Reinforcement-Learning-Agenten in Simulink.
Simulink-Block für Reinforcement-Learning-Agenten.
Simulink- und Simscape-Umgebungen
Verwenden Sie Simulink- und Simscape™-Modelle für die Darstellung einer Umgebung. Bestimmen Sie Beobachtungs-, Handlungs- und Belohnungssignale innerhalb des Modells.
Simulink-Umgebungsmodell für ein inverses Pendel.
MATLAB-Umgebungen
Verwenden Sie MATLAB-Funktionen und -Klassen für die Darstellung einer Umgebung. Bestimmen Sie Beobachtungs-, Handlungs- und Belohnungsvariablen innerhalb der MATLAB-Datei.
MATLAB-Umgebung für Wagen-Pendel-System.
Verteiltes Rechnen und Mehrkernbeschleunigung
Beschleunigen Sie das Training, indem Sie parallele Simulationen auf Mehrkerncomputern, Cloud-Ressourcen oder Computerclustern mithilfe der Parallel Computing Toolbox und MATLAB Parallel Server durchführen.
Beschleunigung des Trainings mithilfe von Parallel Computing.
GPU-Beschleunigung
Beschleunigen Sie das Training und die Inferenz tiefer neuronaler Netze mit leistungsstarken NVIDIA®-GPUs. Verwenden Sie MATLAB mit der Parallel Computing Toolbox und den meisten CUDA®-fähigen NVIDIA-GPUs mit CUDA-Version 3.0 oder höher.
Beschleunigung des Trainings mithilfe von GPUs.
Codegenerierung
Verwenden Sie den GPU Coder™, um optimierten CUDA-Code aus MATLAB-Code zu generieren, der die Richtlinien nach dem Training wiedergibt. Verwenden Sie den MATLAB Coder™, um C-/C++-Code für die Bereitstellung von Richtlinien zu generieren.
Generieren von CUDA-Code mit dem GPU Coder.
Unterstützung für MATLAB Compiler
Verwenden Sie MATLAB Compiler™ und MATLAB Compiler SDK™, um Richtlinien nach dem Training als C/C++ freigegebene Bibliotheken, Microsoft® .NET-Assemblies, Java®-Klassen und Python®-Pakete bereitzustellen.
Packen und Freigeben von Richtlinien als eigenständige Programme.
Einstieg
Implementieren Sie auf Reinforcement-Learning-basierende Steuerungen für Probleme wie den Ausgleich eines inversen Pendels, die Navigation im Grid-World-Labyrinth und den Ausgleich eines Wagen-Pendel-Systems.
Lösen eines Grid-World-Rätsels.
Anwendungen für automatisiertes Fahren
Entwerfen Sie Steuerungen für adaptive Tempomaten und Spurhalteassistenten.
Trainieren eines Spurhalteassistenten.
Robotik
Entwerfen Sie mithilfe von Reinforcement Learning Steuerungen für Roboter.
Trainieren eines Roboters zum Gehen mithilfe von Reinforcement Learning.
TD3-Agent
Erzeugen doppelt verzögerter Deep Deterministic Policy Gradient (TD3) Agenten, die oftmals schneller lernen und mehr leisten als DDPG Agenten
Neue Agenten für Räume stetiger Operation
Nutzung von PPO, TD3, AC und PG Agenten in Räumen stetiger Operation
LSTM-Richtlinien
Erzeugen von Richtlinien für neuronale Netze mit LSM-Netzen (Long Short-Term Memory) für DQN- und PPO-Agenten
Details zu diesen Merkmalen und den zugehörigen Funktionen finden Sie in den Versionshinweisen.
Reinforcement Learning Video Series
Watch the videos in this series to learn about reinforcement learning.
