Dies ist Ihr praktischer Leitfaden für die Kombination von auf MATLAB und Python® basierenden Modellen in Ihren Workflows mit künstlicher Intelligenz (KI). Entdecken Sie, wie Sie mithilfe der Deep Learning Toolbox Daten zwischen MATLAB, PyTorch® und TensorFlow™ konvertieren können.
Durch die Integration in PyTorch und TensorFlow bietet MATLAB folgende Vorteile:
- Erleichterung der plattform- und teamübergreifenden Zusammenarbeit
- Testen der Modellleistung und Systemintegration
- Zugriff auf MATLAB- und Simulink-Tools zur Entwicklung technischer Systeme
Konvertieren zwischen MATLAB, PyTorch und TensorFlow
Mit der Deep Learning Toolbox und MATLAB haben Sie Zugriff auf vortrainierte Modelle und können alle Arten von Deep Neural Networks entwickeln. Aber nicht alle KI-Fachleute arbeiten mit MATLAB. Um die plattform- und teamübergreifende Zusammenarbeit bei der Entwicklung KI-fähiger Systeme zu erleichtern, bietet die Deep Learning Toolbox eine Integration in PyTorch und TensorFlow.
Vorteile eines Imports von PyTorch- und TensorFlow-Modellen in MATLAB
Wenn Sie ein PyTorch- oder TensorFlow-Modell in ein Netzwerk von MATLAB konvertieren, können Sie Ihr konvertiertes Netzwerk mit allen integrierten KI-Tools von MATLAB verwenden, wie z. B. Funktionen und Apps zum Transfer Learning, erklärbare KI und Verifikation, Systemsimulationen und -tests, Netzwerkkomprimierung und automatische Codegenerierung für die Zielbereitstellung.
Import-Vorbereitung der PyTorch- und TensorFlow-Modelle
Bevor Sie PyTorch- und TensorFlow-Modelle in MATLAB importieren können, ist es unerlässlich, dass Sie die Modelle im richtigen Format vorbereiten und speichern. Sie können den folgenden Code in Python verwenden, um Ihre Modelle vorzubereiten.
Der PyTorch-Importer benötigt ein nachverfolgtes PyTorch-Modell. Nachdem Sie das PyTorch-Modell nachverfolgt haben, speichern Sie es. Weitere Informationen zum Verfolgen eines PyTorch-Modells finden Sie in der Torch-Dokumentation: Nachverfolgen einer Funktion.
X = torch.rand(1,3,224,224)
traced_model = torch.jit.trace(model.forward,X)
traced_model.save("torch_model.pt")
Ihr TensorFlow-Modell muss im SavedModel-Format gespeichert sein.
model.save("myModelTF")
Importieren von PyTorch- und TensorFlow-Modellen
Sie können Modelle aus PyTorch und TensorFlow in MATLAB importieren und mit nur einer Zeile Code in Netzwerke von MATLAB konvertieren.
Verwenden Sie die Funktion importNetworkFromPyTorch und geben Sie PyTorchInputSizes mit der richtigen Eingabegröße für das jeweilige PyTorch-Modell an. Dadurch kann die Funktion einen Eingabebildlayer für das importierte Netzwerk erstellen, da PyTorch-Modelle von Haus aus keine Eingabelayer haben. Weitere Informationen finden Sie unter Tipps zum Importieren von Modellen aus PyTorch und TensorFlow.
net = importNetworkFromPyTorch("mnasnet1_0.pt",PyTorchInputSizes=[NaN,3,224,224])
Um ein Netzwerk aus TensorFlow zu importieren, verwenden Sie die Funktion importNetworkFromTensorFlow.
Interaktives Importieren von PyTorch- und TensorFlow-Modellen
Mit der Deep Network Designer-App können Sie Modelle interaktiv aus PyTorch importieren. Anschließend können Sie das importierte Netzwerk in der App anzeigen, bearbeiten und analysieren. Sie können das Netzwerk sogar direkt aus der App in Simulink exportieren.
Exportieren von Modellen aus MATLAB nach PyTorch und TensorFlow
Sie können Ihre MATLAB-Netzwerke exportieren und für TensorFlow und PyTorch freigeben. Verwenden Sie exportNetworkToTensorFlow, um direkt nach TensorFlow zu exportieren, und die Funktion exportONNXNetwork, um über ONNX™ nach PyTorch zu exportieren.
exportNetworkToTensorFlow(net,"myModel")
Vergleich: Parallele Ausführung vs. Modellkonvertierung
Vergleichen Sie zunächst die parallele Ausführung eines PyTorch- oder TensorFlow-Modells in der Umgebung von MATLAB mit der Konvertierung des Modells einer externen Plattform in ein Netzwerk von MATLAB, um zu entscheiden, welcher Workflow für Ihre Anforderung am besten geeignet ist.
Parallele Ausführung |
Modellkonvertierung |
|
|---|---|---|
Für jedes PyTorch- und TensorFlow-Modell geeignet |
Ja |
Nein |
Modellsimulation in Simulink |
Ja |
Ja |
Automatische Generierung von Code |
Nein |
Ja |
Anwendbarkeit von Erklärbarkeitstechniken |
Nur zur Objekterkennung |
Ja |
Verifikation der Robustheit und Zuverlässigkeit |
Nein |
Ja |
Verwendung von Low-Code-KI-Apps |
Nein |
Ja |
Komprimieren eines Netzwerks |
Nein |
Ja |
Co-Ausführung von Python-basierten Modellen in MATLAB
Rufen Sie PyTorch- und TensorFlow-Modelle oder beliebigen Python-Code direkt aus MATLAB auf. Auf diese Weise können Sie beispielsweise Python-basierte Modelle vergleichen, um das Modell mit der höchsten Genauigkeit als Teil des in MATLAB erstellten KI-Workflows zu ermitteln.
Co-Ausführung von Python-basierten Modellen in Simulink
Simulieren und testen Sie PyTorch-, TensorFlow-, ONNX- und individuell erstellte Python-Modelle innerhalb von Systemen mithilfe der Simulink-Blöcke zur Co-Ausführung. Auf diese Weise können Sie Ihr Design iterieren, das Modellverhalten bewerten sowie die Systemleistung testen.
Vorteile von Simulink für KI-Modelle
Durch die Kombination von KI mit Model-Based Design können Ingenieure nicht nur die Integration von Deep-Learning-Modellen in größere Systeme testen, sondern auch die Entwicklung komplexer Systeme für Anwendungen wie den Entwurf virtueller Sensoren beschleunigen und verbessern.
MATLAB über Python aufrufen
Eine weitere Möglichkeit, MATLAB mit Python für Ihren KI-Workflow zu kombinieren, besteht darin, MATLAB aus Ihrer Python-Umgebung aufzurufen. Probieren Sie diese Option aus, um Daten vorzubereiten, die Sie mit domänenspezifischen Tools von MATLAB in ein Python-basiertes Modell eingeben, oder rufen Sie die KI-Tools von MATLAB auf, um die Entscheidungen eines Python-basierten KI-Modells zu visualisieren und zu interpretieren.
Öffnen von Repositorys in MATLAB Online
Sie können mit LLMs in MATLAB Online arbeiten. File Exchange und GitHub®-Repositorys mit MATLAB Programmcode verfügen über den Button In MATLAB Online öffnen . Wenn Sie auf diesen Button klicken, wird das Repository direkt in MATLAB Online geöffnet.
Sie können über MATLAB auf gängige große Sprachmodelle (LLMs) wie gpt-4, llama3 und mixtral zugreifen – entweder über eine API oder durch lokale Installation der Modelle. Verwenden Sie anschließend Ihr bevorzugtes Modell, um Text zu generieren. Alternativ können Sie ein vortrainiertes BERT-Modell verwenden, das in MATLAB enthalten ist.
LLMs für die Verarbeitung natürlicher Sprache
LLMs haben die natürliche Sprachverarbeitung (NLP) revolutioniert, da sie komplexe Zusammenhänge zwischen Wörtern und Nuancen der menschlichen Sprache erfassen können. Die Verwendung eines LLM aus MATLAB ist nur ein Teil der NLP-Pipeline (siehe MATLAB KI für NLP). Profitieren Sie von den Tools in MATLAB, um die komplette Pipeline aufzubauen. Beispielsweise können Sie mit den Funktionen der Text Analytics Toolbox auf Textdaten zugreifen und diese aufbereiten.
Pipeline zur Verarbeitung natürlicher Sprache.
Repository: LLMs mit MATLAB
Sie können MATLAB mit der OpenAI® Chat Completions API (auf der ChatGPT™ basiert), Ollama™ (für lokale LLMs) und Azure®-OpenAI-Diensten mithilfe von LLMs und MATLAB Repositorys verbinden.
Zugriff auf LLMs über die OpenAI-API
Mithilfe des Codes im Repository können Sie die OpenAI-API aus Ihrer MATLAB-Umgebung heraus aufrufen und Modelle (wie GPT-4 und GPT-4 Turbo) für verschiedene NLP-Aufgaben verwenden, darunter die Erstellung eines eigenen Chatbots und die Sentimentanalyse. Um eine Schnittstelle zur OpenAI-API herzustellen, müssen Sie einen Key für die OpenAI-API anfordern. Weitere Informationen zu Keys und kostenpflichtigen Diensten finden Sie unter OpenAI API.
Einen Chatbot erstellen.
Zugriff auf LMMs über den Azure OpenAI Service
Um Azure OpenAI Services nutzen zu können, müssen Sie zunächst ein Modell in Ihrem Azure-Account bereitstellen und einen Key für das Modell abrufen. Azure OpenAI entwickelt seine APIs gemeinsam mit OpenAI und ergänzt sie um die Sicherheitsfunktionen von Microsoft® Azure. Die LLMs mit dem MATLAB Repository bieten Ihnen passenden Code zum Verbindungsaufbau mit Azure OpenAI Services aus MATLAB heraus.
Zugriff auf lokale LLMs über Ollama
Mithilfe des Codes im Repository und durch Verbinden von MATLAB mit einem lokalen Ollama-Server können Sie auf beliebte lokale LLMs wie llama3, mistral und gemma zugreifen. Sie können lokale LLMs für NLP-Aufgaben verwenden, beispielsweise für die Retrieval-Augmented Generation (RAG), wodurch die Genauigkeit des LLM mithilfe Ihrer eigenen Daten verbessert werden kann.
Workflow für die Retrieval-Augmented Generation.
Dieses Thema vertiefen
Navigation im Panel
Tutorial
Deep Learning Onramp
Erlernen Sie die Grundlagen des Deep Learning für Bildklassifizierungsprobleme in MATLAB
