Was sind PINNs? - MATLAB & Simulink

PINNs

Was sind physikinformierte neuronale Netze (PINNs)?

Physikinformierte neuronale Netze (PINNs) sind neuronale Netze, die durch Differentialgleichungen beschriebene physikalische Gesetze in ihre Verlustfunktionen einbeziehen. Dadurch lenken sie den Lernprozess in Richtung von Lösungen, die besser mit der zugrunde liegenden Physik übereinstimmen. PINNs können verwendet werden, um:

Mit der Deep Learning Toolbox™ können Sie PINNs erstellen und trainieren, um damit schnelle prädikative Analysen durchzuführen. Sie können PINNs mit MATLAB® und Simulink® integrieren, um Simulationen auf Systemebene durchzuführen, Steuerungs- und Regelungsentwürfe zu erstellen und Ihr Design zu optimieren.

Dieses Diagramm veranschaulicht, wie Deep Learning und physikalisches Wissen zu PINNs kombiniert werden.

PINNs beziehen geltende physikalische Gesetze in das Training von Deep-Learning-Modellen ein, um die Vorhersage und Modellierung komplexer Phänomene zu ermöglichen und gleichzeitig die Einhaltung grundlegender physikalischer Prinzipien zu fördern.

Vorteile von PINNs

PINNs sind eine Klasse physikinformierter Machine Learning-Methoden, die physikalisches Wissen nahtlos mit Daten integrieren. Häufig werden PINNs mit rein datengetriebenen Methoden und herkömmlichen numerischen Methoden zur Lösung von Problemen mit PDE und ODE verglichen. 

Im Gegensatz zu rein datengesteuerten Ansätzen, die mathematische Beziehungen ausschließlich aus Eingangs- und Ausgangsdaten lernen, bieten PINNs folgende Vorteile:

  • Sie nutzen physikalische Vorkenntnisse.
  • Sie treffen genauere Vorhersagen außerhalb des Trainingsdatensatzes.
  • Sie sind effektiver bei begrenzten oder verrauschten Trainingsdaten.

Im Vergleich zu herkömmlichen numerischen Verfahren zur Lösung von Differentialgleichungen, wie der Finite-Elemente-Analyse für PDE, haben PINNs folgende Vorteile:

  • Sie sind gitterfrei.
  • Sie können Näherungslösungen für hochdimensionale PDE liefern.
  • Sie können fehlende Modellparameter wie unbekannte PDE- oder ODE-Koeffizienten lösen.
  • Sie können schlecht gestellte Probleme lösen, für die keine Randdaten vorliegen.
  • Sie können spärliche oder verrauschte Messungen leicht einbeziehen.

Trotz aller potenzieller Vorteile im Vergleich zu rein datengesteuerten und herkömmlichen numerischen Methoden unterliegen PINNs jedoch einigen Einschränkungen und Herausforderungen, darunter:

  • begrenzte Konvergenztheorie
  • Mangel an einheitlichen Trainingsstrategien
  • Rechenaufwand zur Berechnung von Ableitungen höherer Ordnung
  • Schwierigkeiten beim Erlernen von Hochfrequenz- und Multiskalenkomponenten von PDE-Lösungen

Allerdings sind PINNs ein dynamischer Forschungsbereich, in dem kontinuierliche Fortschritte zu erwarten sind, um diese aktuellen Herausforderungen und Einschränkungen zu überwinden.

Die Wahl zwischen PINN, datengesteuerten Ansätzen und herkömmlichen numerischen Methoden hängt von Ihrer Anwendung ab. In der nachstehenden Tabelle sind die Vorteile und Beschränkungen der einzelnen Methoden zusammengefasst.

  Rein datengestützte Ansätze Herkömmliche numerische Verfahren PINNs
Einbeziehung bekannter Physik      
Gute Verallgemeinerung mit begrenzten oder verrauschten Trainingsdaten      
Gleichzeitiges Lösen direkter und inverser Probleme      
Lösung hochdimensionaler PDE      
Ermöglichen schnelle „Online“-Vorhersagen      
Sind gitterfrei      
Haben gut verstandene Konvergenztheorie      
Gute Skalierbarkeit für Hochfrequenz- und Multiskalen-PDE      
Merkmale von PINNs im Vergleich zu rein datengesteuerten Ansätzen, die mathematische Beziehungen ausschließlich aus Ein- und Ausgabedaten lernen, und herkömmlichen numerischen Methoden, wie FEA für Näherungslösungen von PDE:

Unterschiede zwischen PINNs und herkömmlichen neuronalen Netzen

PINNs unterscheiden sich von herkömmlichen neuronalen Netzen durch ihre Fähigkeit, Fachwissen über das Problem a priori in Form von Differentialgleichungen einzubeziehen. Diese zusätzlichen Informationen ermöglichen es PINNs, genauere Vorhersagen außerhalb der gegebenen Messdaten zu treffen. Darüber hinaus reguliert das zusätzliche physikalische Wissen die vorhergesagte Lösung bei verrauschten Messdaten, sodass PINNs das wahre zugrundeliegende Signal erlernen können, anstatt sich den verrauschten Daten überanzupassen.

Betrachten wir zum Beispiel ein Szenario, in dem die verrauschten Messungen θmeas eines Systems erfasst wurden und das Ziel darin besteht, die zukünftige Werte des Systems – θpred – mit einem künstlichen neuronalen Netz (Feedforward) vorherzusagen. Das Netz wird anhand der verfügbaren Messwerte trainiert und dient der Vorhersage zukünftiger, nicht beobachteter Werte. Beim Training eines neuronalen Regressionsnetzwerks geht es in der Regel darum, die mittlere quadratische Abweichung zwischen den Vorhersagen des neuronalen Netzwerks und den bereitgestellten Messungen zu minimieren.

Illustration eines neuronalen Netzes mit gemessenen Daten und Ground Truth sowie einer Verlustfunktion der mittleren quadratischen Abweichung.

Herkömmliche neuronale Netze passen ihre Parameter so an, dass die Abweichung zwischen der Vorhersage des Netzes und den beobachteten Messungen minimiert wird.

Das neuronale Netz hat Schwierigkeiten, Werte des Systems außerhalb der Trainingsdaten genau vorherzusagen.

Ein naives neuronales Netz, das mit der Funktion trainnet in der Deep Learning Toolbox trainiert wurde, passt sich verrauschten Messungen zu sehr an und zeigt fehlerhafte Ergebnisse für t außerhalb des verfügbaren Bereichs. (Siehe MATLAB-Programmcode.)

Die Erfassung von mehr Daten könnte die Vorhersagen verbessern, aber dieser Ansatz kann für viele Anwendungen unerschwinglich oder unmöglich sein. Häufig verfügen Fachleute jedoch über tiefer gehende Kenntnisse vom zugrunde liegenden physikalischen Prozess, der das von ihnen untersuchte System steuert. In diesem spezifischen Szenario stellen die Messungen den Winkel der Verschiebung einer an einem Kran schwingenden Nutzlast gegenüber der Senkrechten dar. Dieser Prozess lässt sich vereinfacht durch ein gedämpftes Pendel darstellen, das für kleine Winkel näherungsweise durch eine lineare Differentialgleichung zweiter Ordnung modelliert werden kann:

θ(t)+2βθ(t)+ω02θ(t)=0

Anstatt dieses Wissen zu ignorieren, beziehen PINNs die Differentialgleichung als zusätzlichen, physikinformierten Term in die Verlustfunktion ein. Sie werten die Residuen der Differentialgleichung an zusätzlichen Punkten aus, was dem PINN mehr Informationen liefert, ohne dass weitere Messungen erforderlich sind. Obwohl sich dieses Beispiel analytisch lösen lässt, veranschaulicht es die Konzepte hinter PINNs.

Diagramme eines physikinformierten neuronalen Netzes, von Pendeldifferentialgleichungen sowie gemessenen Daten und Ground Truth.

PINNs sind in der Deep Learning Toolbox verfügbar und passen ihre Parameter so an, dass die Abweichung zwischen der Vorhersage des Netzes und den beobachteten Messungen sowie der physikalische Verlust minimiert werden.

Während des Trainings finden PINNs ein Gleichgewicht zwischen den gegebenen Messungen und dem zugrunde liegenden physikalischen Prozess.

Ein mit der Deep Learning Toolbox erstelltes und trainiertes PINN macht bessere Vorhersagen außerhalb der Messdaten und ist robuster gegenüber Rauschen als herkömmliche neuronale Netze. (Siehe MATLAB-Programmcode.)

Durch die Einbeziehung eines zusätzlichen physikalischen Verlustterms können PINNs herkömmliche neuronale Netze bei der Erstellung von Vorhersagen in Gegenwart verrauschter Messungen und in Datenregimen ohne Messungen übertreffen.

Funktionsweise von PINNs

PINNs verwenden Optimierungsalgorithmen, um die Parameter eines neuronalen Netzes iterativ zu aktualisieren, bis der Wert einer spezifizierten, physikinformierten Verlustfunktion auf ein akzeptables Niveau gesunken ist. Dadurch kommt das Netz einer Lösung der Differentialgleichung näher.

Diagramm eines physikinformierten neuronalen Netzes mit Trainingsgleichungen für das Pendel, Anfangsbedingungen, zusätzlichen Messdaten und Verlustfunktion.

Beim Training von PINNs für eine ODE wie die Pendelgleichung passt ein Optimierungsalgorithmus die Parameter des neuronalen Netzes an, um eine Verlustfunktion – bestehend aus dem Differentialgleichungsresiduum aus der automatischen Differenzierung (AD), den Rand- und Anfangsbedingungen sowie optional anderen markierten Daten – auf ein akzeptables Niveau zu reduzieren.

PINNs haben Verlustfunktionen, L, die aus mehreren Termen bestehen: dem physikinformierten Verlustterm, LPhysics, und optionalen Termen, welche die Abweichung zwischen den vom Netz vorhergesagten Werten und den durch Anfangs- und/oder Randdaten vorgegebenen Werten, LConds, und anderen zusätzlichen Messungen, LData, beurteilen. Der physikinformierte Verlustterm bewertet das Residuum der Differentialgleichung an Punkten im Bereich mithilfe automatischer Differenzierung (AD) oder anderer numerischer Differenzierungsverfahren. Da der physikinformierte Term nicht die Abweichung zwischen einer Vorhersage und einem Zielwert berechnet, kann dieser Term als unüberwachter Verlustterm betrachtet werden. Demzufolge kann das Netz mit beliebigen Punkten aus dem Bereich trainiert werden, auch ohne dass Messungen an diesen Punkten stattfinden.

Die erstmals 2017 eingeführten PINNs sind inzwischen in mehreren Varianten verfügbar, darunter:

  • Bayessche PINNs (BPINNs), die den Bayesschen Ansatz nutzen, um eine Quantifizierung der Unsicherheit zu ermöglichen
  • Variationale PINNs (VPINNs), welche die schwache Form einer PDE in die Verlustfunktion einbeziehen
  • Formulierte PINNs erster Ordnung (FO-PINN), die bei der Lösung von PDEs höherer Ordnung schneller und genauer sein können als standardmäßige PINNs

Darüber hinaus lassen sich PINNs mit verschiedenen neuronalen Netzarchitekturen verwenden, zum Beispiel mit graphischen neuronalen Netzen (GNN), Fourier-neuronalen Operatoren (FNO), Deep-Operator-Netzen (DeepONets) und anderen, was zu sogenannten physikinformierten Versionen dieser Architekturen führt.

MATLAB und die Deep Learning Toolbox bieten eine umfassende Unterstützung der Entwicklung von PINNs von der Erstellung oder dem Import verschiedener neuronaler Netzwerkarchitekturen über die Definition benutzerdefinierter physikinformierter Verlustfunktionen mit AD bis hin zum Training mit gradientenbasierten Optimierungsalgorithmen wie ADAM oder L-BFGS und schließlich zur Visualisierung von Lösungen mit erweiterten MATLAB-Grafiken.

Anwendungsfälle von PINNs

PINNs machen sich die Möglichkeiten von Deep Learning zunutze und verbessern gleichzeitig die Einhaltung physikalischer Gesetze, was sie zu einem vielseitigen Werkzeug für Anwendungen macht, bei denen die Physik vollständig oder teilweise bekannt ist, wie beispielsweise im Fall einer PDE oder ODE mit unbekannten Koeffizienten. Die möglichen Anwendungen von PINNs beinhalten:

  • Wärmeübertragung, speziell für die Modellierung von Wärmeverteilungs- und -übertragungsprozessen. PINNs können übergeordnete Gleichungen, die thermische Prozesse in Materialien und Systemen modellieren, darunter die Wärmegleichung, in die Verlustfunktion einbetten. Dieser Ansatz gewährleistet, dass die Lösungen diesen physikalischen Gesetzen entsprechen, was zu physikalisch plausiblen Vorhersagen führt. Darüber hinaus können PINNs teure numerische Simulationen ersetzen, um Temperaturverteilungen über parametrisierte Geometrien in Anwendungen zur Designoptimierung schnell zu approximieren. Und schließlich lassen sich PINNs bei inversen Problemen einsetzen, um unbekannte Materialeigenschaften, wie zum Beispiel die Wärmeleitfähigkeit, zu ermitteln.
  • Numerische Strömungsmechanik, speziell für die Annäherung von Geschwindigkeits-, Druck- und Temperaturfeldern von Flüssigkeiten durch Einbeziehung der Navier-Stokes-Gleichungen in die Verlustfunktion. PINNs können in gitterfreien direkten Simulationen verwendet werden, um diese Größen genau vorherzusagen. Außerdem eignen sie sich für inverse Probleme, bei denen das Ziel darin besteht, unbekannte Parameter oder Eingaben, wie Randbedingungen, Ausgangsterme oder Flüssigkeitseigenschaften, aus beobachteten Daten abzuleiten.
  • Strukturmechanik zur Lösung von direkten und inversen Problemen, indem die maßgeblichen physikalischen Gesetze, wie zum Beispiel Gleichungen der Elastizität und Strukturdynamik, direkt in die Verlustfunktion eingebettet werden. Dank dieser Integration können PINNs strukturelle Reaktionen wie Verformungen, Spannungen und Dehnungen unter verschiedenen Lasten und Bedingungen genau vorhersagen und unbekannte Materialeigenschaften oder externe Lasten anhand von Beobachtungsdaten identifizieren. Besonders nützlich erweisen sich PINNs in Szenarien, in denen herkömmliche analytische Lösungen undurchführbar sind oder nur wenige Daten zur Verfügung stehen. Sie reduzieren die Abhängigkeit von umfangreichen Datensätzen, indem sie sich physikalische Prinzipien zur Steuerung des Lernprozesses zunutze machen. Die Flexibilität von PINNs ermöglicht die Bearbeitung komplexer Probleme, darunter nichtlineares Materialverhalten und Multiphysik-Modellierung.

Sobald PINNs mit der Deep Learning Toolbox erstellt und trainiert wurden, lassen sie sich nahtlos in die Optimization Toolbox™ zur Designoptimierung integrieren, mit Simulink zur Simulation auf Systemebene verbinden und in einer Vielzahl anderer Anwendungen einsetzen.


Siehe auch: Deep Learning Toolbox, Partial Differential Equation Toolbox, Finite-Element-Analyse, Modellierung mit reduzierter Ordnung, Hamiltonsches neuronales Netzwerk, Modellierung dynamischer Systeme mittels neuronaler ODE, Deep Learning, Convolutional Neural Networks (CNNs), Generative Adversarial Networks (GANs), LSTM-Netze (Long Short-Term Memory), Recurrent Neural Networks (RNNs), neuronale Netze