Reinforcement Learning Toolbox

 

Reinforcement Learning Toolbox

Entwurf und Training von Richtlinien mithilfe von Reinforcement Learning

 

Die Reinforcement Learning Toolbox™ bietet Funktionen und Blöcke zum Trainieren von Richtlinien mit Reinforcement-Learning-Algorithmen wie DQN, A2C und DDPG. Mithilfe dieser Richtlinien können Sie Steuerungen und Entscheidungsalgorithmen für komplexe Systeme wie Roboter und autonome Anlagen implementieren. Bei der Implementierung der Richtlinien können tiefe neuronale Netze, Polynome oder Lookup-Tabellen zum Einsatz kommen.

Die Toolbox ermöglicht das Trainieren von Richtlinien durch die Interaktion mit Umgebungen, die als MATLAB®- oder Simulink®-Modelle dargestellt werden. Sie haben die Möglichkeit, Algorithmen zu evaluieren, mit Hyperparameter-Einstellungen zu experimentieren und den Trainingsfortschritt zu überwachen. Um die Trainingsleistung zu optimieren, können Sie parallele Simulationen in der Cloud, in Computer-Clustern und auf GPUs (mit der Parallel Computing Toolbox™ und MATLAB Parallel Server™) ausführen.

Durch das ONNX™-Modellformat lassen sich vorhandene Richtlinien aus Deep-Learning-Frameworks wie TensorFlow™ Keras und PyTorch (mit der Deep Learning Toolbox™) importieren. Sie können optimierten C-, C++- und CUDA-Code generieren, um trainierte Richtlinien auf Microcontrollern und GPUs anzuwenden.

Die Toolbox beinhaltet Referenzbeispiele für den Einsatz von Reinforcement Learning zum Entwerfen von Steuerungen für Robotiksysteme und Anwendungen für automatisiertes Fahren.

Reinforcement-Learning-Agenten

Implementieren Sie MATLAB- und Simulink-Agenten für das Trainieren von Richtlinien, die als tiefe neuronale Netze dargestellt sind. Nutzen Sie integrierte und benutzerdefinierte Reinforcement-Learning-Algorithmen.

Reinforcement-Learning-Algorithmen

Implementieren Sie Agenten mithilfe von Deep Q-Network (DQN), Advantage Actor Critic (A2C), Deep Deterministic Policy Gradients (DDPG) und anderen integrierten Algorithmen. Verwenden Sie Vorlagen, um benutzerdefinierte Agenten zum Trainieren von Richtlinien zu implementieren.

Agenten bestehen aus einer Richtlinie und einem Algorithmus.

Darstellung von Richtlinien und Wertefunktionen mithilfe tiefer neuronaler Netze

Verwenden Sie tiefe neuronale Netze für Richtlinien komplexer Systeme mit großen Zustands-/Handlungsräumen. Definieren Sie Richtlinien mit Netzen und Architekturen aus der Deep Learning Toolbox. Importieren Sie ONNX-Modelle, um die Interoperabilität mit anderen Deep-Learning-Frameworks zu nutzen.

Simulink-Blöcke für Agenten

Implementieren und trainieren Sie Reinforcement-Learning-Agenten in Simulink.

Simulink-Block für Reinforcement-Learning-Agenten.

Umgebungsmodellierung

Erstellen Sie MATLAB- und Simulink-Umgebungsmodelle. Beschreiben Sie die Systemdynamik und stellen Sie Beobachtungs- und Belohnungssignale für das Training von Richtlinien bereit.

Simulink- und Simscape-Umgebungen

Verwenden Sie Simulink- und Simscape™-Modelle für die Darstellung einer Umgebung. Bestimmen Sie Beobachtungs-, Handlungs- und Belohnungssignale innerhalb des Modells.

Simulink-Umgebungsmodell für ein inverses Pendel.

MATLAB-Umgebungen

Verwenden Sie MATLAB-Funktionen und -Klassen für die Darstellung einer Umgebung. Bestimmen Sie Beobachtungs-, Handlungs- und Belohnungsvariablen innerhalb der MATLAB-Datei.

MATLAB-Umgebung für Wagen-Pendel-System.

Beschleunigung des Trainings

Beschleunigen Sie das Training mithilfe von GPU-, Cloud- und verteilten Rechnerressourcen.

Verteiltes Rechnen und Mehrkernbeschleunigung

Beschleunigen Sie das Training, indem Sie parallele Simulationen auf Mehrkerncomputern, Cloud-Ressourcen oder Computerclustern mithilfe der Parallel Computing Toolbox und MATLAB Parallel Server durchführen.

Beschleunigung des Trainings mithilfe von Parallel Computing.

GPU-Beschleunigung

Beschleunigen Sie das Training und die Inferenz tiefer neuronaler Netze mit leistungsstarken NVIDIA®-GPUs. Verwenden Sie MATLAB mit der Parallel Computing Toolbox und den meisten CUDA®-fähigen NVIDIA-GPUs mit CUDA-Version 3.0 oder höher.

Beschleunigung des Trainings mithilfe von GPUs.

Codegenerierung und -bereitstellung

Stellen Sie Richtlinien nach dem Training auf Embedded Geräten bereit oder integrieren Sie sie in ein breites Spektrum an Produktionssystemen.

Codegenerierung

Verwenden Sie den GPU Coder™, um optimierten CUDA-Code aus MATLAB-Code zu generieren, der die Richtlinien nach dem Training wiedergibt. Verwenden Sie den MATLAB Coder™, um C-/C++-Code für die Bereitstellung von Richtlinien zu generieren.

Generieren von CUDA-Code mit dem GPU Coder.

Unterstützung für MATLAB Compiler

Verwenden Sie MATLAB Compiler™ und MATLAB Compiler SDK™, um Richtlinien nach dem Training als C/C++ freigegebene Bibliotheken, Microsoft® .NET-Assemblies, Java®-Klassen und Python®-Pakete bereitzustellen.

Packen und Freigeben von Richtlinien als eigenständige Programme.

Referenzbeispiele

Entwerfen Sie mithilfe von Reinforcement Learning Steuerungen für Roboter, selbstfahrende Fahrzeuge und andere Systeme.

Einstieg

Implementieren Sie auf Reinforcement-Learning-basierende Steuerungen für Probleme wie den Ausgleich eines inversen Pendels, die Navigation im Grid-World-Labyrinth und den Ausgleich eines Wagen-Pendel-Systems.

Lösen eines Grid-World-Rätsels.

Anwendungen für automatisiertes Fahren

Entwerfen Sie Steuerungen für adaptive Tempomaten und Spurhalteassistenten.

Trainieren eines Spurhalteassistenten.

Robotik

Entwerfen Sie mithilfe von Reinforcement Learning Steuerungen für Roboter.

Trainieren eines Roboters zum Gehen mithilfe von Reinforcement Learning.

Sehen Sie sich die Videos in dieser Reihe an, um mehr über Reinforcement Learning zu erfahren.

Haben Sie Fragen?

Kontaktieren Sie Emmanouil Tzorakoleftherakis, den technischen Experten für die Reinforcement Learning Toolbox.

Latest Features

PPO Agent

Train policies using a proximal policy optimization algorithm for improved training stability

Parallel Agent Simulation

Verify trained policies by running multiple agent simulations in parallel

Reference Examples

Train reinforcement learning policies for robotics and control design applications

See the release notes for details on any of these features and corresponding functions.

Kostenlose Testversion anfordern

Eine 30-tägige Erkundungsreise in greifbarer Nähe.

Jetzt downloaden

Bereit zum Kauf?

Angebot anfordern und Erweiterungsprodukte entdecken.

Studieren Sie?

Fordern Sie die MATLAB und Simulink Student Software an.

Weitere Informationen