Flache neuronale Netze - Glossar

Flache neuronale Netze – Glossar

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z Ü Μ

ADALINE: Akronym für ein lineares Neuron: ADAptive LINear Element.
Adaption: Trainingsmethode, bei der die angegebene Sequenz von Eingängen durchlaufen wird und die Ausgang, Fehler sowie Netzanpassung für jeden Eingangsvektor in der Sequenz berechnet, wenn die Eingänge bereitgestellt werden.
adaptiver Filter: Netz, das Verzögerungen enthält und dessen Gewichtungen nach der Bereitstellung jedes neuen Eingangsvektors angepasst werden. Das Netz passt sich an eventuelle Änderungen der Eigenschaften des Eingangssignals an. Diese Art von Filter wird in Fernsprechleitungen zur Unterdrückung von Echos verwendet.
adaptive Lerngeschwindigkeit: Lerngeschwindigkeit, die abhängig von einem Algorithmus während des Trainings angepasst wird, um die Trainingszeit zu minimieren.
Architektur: Beschreibung der Anzahl von Schichten in einem neuronalen Netz, der Transferfunktion der einzelnen Schichten, der Anzahl der Neuronen pro Schicht und der Verbindungen zwischen den Schichten.
Lernregel mit Backpropagation: Lernregel, bei der Gewichtungen und Verzerrungen durch Fehlerableitungsvektoren (Delta-Vektoren) rückwärts im Netz propagiert werden. Die Backpropagation wird häufig auf vorwärtsgerichtete Netze mit mehreren Schichten angewandt. Manchmal wird diese Regel auch generalisierte Delta-Regel genannt.
Backtracking: Lineare Suchroutine, die mit einem Schrittmultiplikator von 1 beginnt und dann eine Rückverfolgung startet, bis eine akzeptable Leistungsreduzierung vorliegt.
Batch: Matrix von Eingangsvektoren (oder Zielvektoren), die simultan auf das Netz angewandt werden. Änderungen an den Netzgewichtungen und -verzerrungen werden für die gesamte Vektormenge in der Eingangsmatrix nur einmal vorgenommen. (Der Begriff Batch wird durch den etwas aussagekräftigeren Ausdruck „gleichzeitige Vektoren“ ersetzt.)
Batching: Die Bereitstellung einer Menge von Eingangsvektoren für die simultane Berechnung einer Matrix von Ausgangsvektoren und/oder von neuen Gewichtungen und Verzerrungen.
Bayes‘sches Framework: Geht davon aus, dass die Gewichtungen und Verzerrungen des Netzes zufällige Variablen mit festgelegten Verteilungen sind.
BFGS- oder Quasi-Newton-Algorithmus: Variation des Newton-Algorithmus, bei der eine Approximation der Hesse-Matrix aus Gradienten ermittelt wird, die bei jeder Iteration des Algorithmus berechnet werden.
Verzerrung: Neuronenparameter, der mit den gewichteten Eingängen des Neurons summiert und durch die Transferfunktion des Neurons weitergeleitet wird, um den Ausgang des Neurons zu generieren.
Verzerrungsvektor: Spaltenvektor von Verzerrungswerten für eine Neuronenschicht.
Brent-Verfahren: Lineare Suche, die ein Hybrid aus der Suche nach dem Goldenen Schnitt und einer quadratischen Interpolation ist.
vorwärtsgerichtetes Kaskadennetz: In Schichten unterteiltes Netz, bei dem jede Schicht nur Eingänge von den vorherigen Schichten empfängt.
Charalambous-Suche: Hybride Liniensuche, die eine kubische Interpolation zusammen mit einer Art Aufteilung verwendet.
Klassifizierung: Zuordnung eines Eingangsvektors zu einem bestimmten Zielvektor.
kompetitive Schicht: Neuronenschicht, in der nur das Neuron mit dem maximalen Netzeingang einen Ausgang von 1 hat, während alle anderen Neuronen einen Ausgang von 0 aufweisen. Neuronen konkurrieren untereinander hinsichtlich des Rechts, auf einen bestimmten Eingangsvektor zu antworten.
kompetitives Lernen: Nicht überwachtes Training einer kompetitiven Schicht mit der Instar-Regel oder Kohonen-Regel. Die einzelnen Neuronen lernen, wie sie zu Merkmalsdetektoren werden. Nach dem Training kategorisiert die Schicht Eingangsvektoren unter ihren Neuronen.
kompetitive Transferfunktion: Akzeptiert einen Netzeingangsvektor für eine Schicht und gibt Neuronenausgänge von 0 für alle Neuronen zurück, nicht jedoch für den Gewinner, also das Neuron, das dem positivsten Element des Netzeingangs n zugeordnet ist.
gleichzeitige Eingangsvektoren: Name einer Matrix mit Eingangsvektoren, die einem Netz simultan bereitgestellt werden. Alle Vektoren in der Matrix werden verwendet, um nur eine Änderungsmenge in den Gewichtungen und Verzerrungen zu erstellen.
Verfahren der konjugierten Gradienten: Im Verfahren der konjugierten Gradienten (CG-Verfahren) wird eine Suche entlang konjugierter Richtungen ausgeführt, die in der Regel zu einer schnelleren Konvergenz führt als eine Suche entlang der steilsten Abstiegsrichtungen.
Verbindung: Unidirektionale Verbindung zwischen Neuronen in einem Netz.
Verbindungsstärke: Stärke einer Verbindung zwischen zwei Neuronen in einem Netz. Die Stärke, oft auch Gewichtung genannt, bestimmt die Auswirkung, die ein Neuron auf ein anderes hat.
Zyklus: Einzelne Bereitstellung eines Eingangsvektors, Berechnung des Ausgangs und neuer Gewichtungen und Verzerrungen.
totes Neuron: Neuron einer kompetitiven Schicht, das während des Trainings nie einen Wettbewerb gewonnen hat und so nicht zu einem nützlichen Merkmalsdetektor geworden ist. Tote Neuronen reagieren auf keinen der Trainingsvektoren.
Entscheidungsgrenze: Linie, bestimmt durch die Gewichtungs- und Verzerrungsvektoren, für die der Netzeingang n gleich null ist.
Delta-Regel: Siehe Widrow-Hoff-Lernregel.
Delta-Vektor: Der Delta-Vektor für eine Schicht ist die Ableitung des Ausgangsfehlers eines Netzes im Hinblick auf den Netzeingangsvektor dieser Schicht.
Distanz: Abstand zwischen Neuronen, der von deren Positionen mit einer Distanzfunktion berechnet wird.
Distanzfunktion: Besondere Art der Abstandsberechnung, z. B. der euklidische Abstand zwischen zwei Vektoren.
Early Stopping: Technik, die auf der Unterteilung der Daten in drei Teilmengen basiert. Die erste Teilmenge ist die Trainingsmenge, die für die Berechnung des Gradienten und für die Aktualisierung der Netzgewichtungen und -verzerrungen verwendet wird. Die zweite Teilmenge ist die Validierungsmenge. Wenn der Validierungsfehler für eine festgelegte Anzahl von Iterationen ansteigt, wird das Training gestoppt und die Gewichtungen und Verzerrungen am Minimum des Validierungsfehlers werden zurückgegeben. Die dritte Teilmenge ist die Testmenge. Sie dient zum Überprüfen des Netzdesigns.
Epoche: Bereitstellung der Menge von Trainingsvektoren (Eingangs- und/oder Zielvektoren) für ein Netz und die Berechnung neuer Gewichtungen und Verzerrungen. Beachten Sie, dass Trainingsvektoren entweder einzeln oder alle zusammen in einem Batch bereitgestellt werden können.
Fehlersprung: Plötzlicher Anstieg der Summe der Fehlerquadrate eines Netzes während des Trainings. Dieser hat seine Ursache oft in einer zu hohen Lerngeschwindigkeit.
Fehlerquote: Trainingsparameter, der mit einer adaptiven Lerngeschwindigkeit und Momentum-Training von Netzen mit Backpropagation verwendet wird.
Fehlervektor: Differenz zwischen dem Ausgangsvektor eines Netzes als Antwort auf einen Eingangsvektor und einem zugeordneten Zielausgangsvektor.
Rückkopplungsnetz: Netz mit Verbindungen vom Ausgang einer Schicht zum Eingang dieser Schicht. Die Rückkopplungsverbindung kann direkt sein oder mehrere Schichten durchlaufen.
vorwärtsgerichtetes Netz: In Schichten unterteiltes Netz, bei dem jede Schicht nur Eingänge von den vorherigen Schichten empfängt.
Fletcher-Reeves-Aktualisierung: Methode zur Berechnung einer Menge konjugierter Richtungen. Diese Richtungen werden als Suchrichtungen im Rahmen des Optimierungsverfahrens für konjugierte Gradienten verwendet.
Funktionsapproximation: Aufgabe, die von einem Netz ausgeführt wird, das trainiert wurde, auf Eingänge mit einer Approximation einer gewünschten Funktion zu antworten.
Generalisierung: Attribut eines Netzes, dessen Ausgang für einen neuen Eingangsvektor tendenziell nahe bei Ausgängen für ähnliche Eingangsvektoren in dieser Trainingsmenge liegt.
generalisiertes Regressionsnetz: Approximiert eine kontinuierliche Funktion an eine beliebige Genauigkeit, sofern eine ausreichende Anzahl verborgener Neuronen vorhanden ist.
globales Minimum: Niedrigster Wert einer Funktion über den gesamten Bereich ihrer Eingangsparameter. Gradientenabstiegsmethoden passen Gewichtungen und Verzerrungen an, um das globale Minimum eines Fehlers für ein Netz zu ermitteln.
Suche nach dem Goldenen Schnitt: Lineare Suche, die keine Berechnung der Neigung erfordert. Das Intervall, das das Minimum der Leistung enthält, wird bei jeder Iteration der Suche unterteilt und es wird eine Unterteilung bei jeder Iteration gelöscht.
Gradientenabstieg: Verfahren, bei dem Gewichtungen und Verzerrungen geändert werden und bei dem die Änderungen proportional zu den Ableitungen des Netzfehlers im Hinblick auf diese Gewichtungen und Verzerrungen sind. Ziel dieses Verfahrens ist die Minimierung des Netzfehlers.
Transferfunktion mit festem Grenzwert: Transferfunktion, die Eingänge größer oder gleich 0 auf den Wert 1 abbildet, während alle anderen Werte auf 0 abgebildet werden.
Hebb‘sche Lernregel: Historisch gesehen die zuerst vorgeschlagene Lernregel für Neuronen. Gewichtungen werden proportional an das Produkt der Ausgänge von Neuronen vor und nach dem Anwenden der Gewichtung angepasst.
verborgene Schicht: Schicht eines Netzes, die nicht mit dem Netzausgang verbunden ist (z. B. die erste Schicht in einem vorwärtsgerichteten Netz mit zwei Schichten).
Home-Neuron: Neuron im Zentrum einer Nachbarschaft.
hybride Suche mit Bisektions- und kubischer Interpolation: Liniensuche, bei der Bisektions- und kubische Interpolation kombiniert werden.
Initialisierung: Verfahren zum Festlegen der Netzgewichtungen und -verzerrungen auf ihre ursprünglichen Werte.
Eingangsschicht: Neuronenschicht, die Eingänge direkt von außerhalb des Netzes empfängt.
Eingangsraum: Bereich aller möglicher Eingangsvektoren.
Eingangsvektor: Vektor, der dem Netz bereitgestellt wird.
Eingangsgewichtungsvektor: Zeilenvektor von Gewichtungen, der zu einem Neuron verläuft.
Eingangsgewichtungen: Gewichtungen, die Netzeingänge mit Schichten verbinden.
Jacobi-Matrix: Enthält die ersten Ableitungen der Netzfehler, bezogen auf die Gewichtungen und Verzerrungen.
Kohonen-Lernregel: Lernregel, die die Gewichtungsvektoren eines ausgewählten Neurons trainiert, die Werte des aktuellen Eingangsvektors anzunehmen.
Schicht: Gruppe von Neuronen, die Verbindungen zu denselben Eingängen haben und Ausgänge an dieselben Ziele senden.
Schichtdiagramm: Abbildung einer Netzarchitektur, die die Schichten und Gewichtungsmatrizen darstellt, durch die diese verbunden sind. Die Transferfunktion jeder Schicht wird durch ein Symbol angegeben. Es werden die Größen der Eingangs-, Ausgangs-, Verzerrungs- und Gewichtungsmatrizen dargestellt. Einzelne Neuronen und Verbindungen werden nicht dargestellt.
Schichtgewichtungen: Gewichtungen, die Schichten mit anderen Schichten verbinden. Solche Gewichtungen müssen Verzögerungen ungleich null aufweisen, wenn sie eine rekurrente Verbindung (also eine Schleife) bilden.
Lernen: Verfahren, durch das Gewichtungen und Verzerrungen angepasst werden, um ein erwünschtes Netzverhalten zu erzielen.
Lerngeschwindigkeit: Trainingsparameter, der die Größe von Gewichtungs- und Verzerrungsänderungen während des Lernens steuert.
Lernregel: Methode zur Ableitung der nächsten Änderungen, die in einem Netz vorgenommen werden könnten, oder ein Verfahren zur Abänderung der Gewichtungen und Verzerrungen eines Netzes.
Levenberg-Marquardt: Algorithmus, der ein neuronales Netz 10- bis 100-mal schneller trainiert als die übliche Gradientenabstiegsmethode mit Backpropagation. Dabei wird stets die approximierte Hesse-Matrix berechnet, die nxn Dimensionen aufweist.
Liniensuchfunktion: Verfahren zum Suchen entlang einer bestimmten Suchrichtung (Linie), um die Position des Minimums der Netzleistung zu bestimmen.
lineare Transferfunktion: Transferfunktion, die ihren Eingang als ihren Ausgang erstellt.
Verknüpfungsdistanz: Anzahl der Verknüpfungen, oder Schritte, die ausgeführt werden müssen, um zum beobachteten Neuron zu gelangen.
lokales Minimum: Minimum einer Funktion über einen begrenzten Bereich von Eingangswerten. Ein lokales Minimum entspricht möglicherweise nicht dem globalen Minimum.
Log-Sigmoid-Transferfunktion: Squashing-Funktion der unten aufgeführten Form, die den Eingang auf das Intervall (0,1) abbildet. (Die Toolbox-Funktion ist logsig.)
$f (n) = \frac{1}{1 + e^{- n}}$
Manhattan-Distanz: Die Manhattan-Distanz zwischen zwei Vektoren x und y wird wie folgt berechnet:
D = sum(abs(x-y))
maximaler Leistungsanstieg: Maximaler Betrag, um den die Leistung in einer Iteration des Trainingsalgorithmus mit variabler Lerngeschwindigkeit ansteigen darf.
maximale Schrittgröße: Maximale Schrittgröße, die während einer linearen Suche zulässig ist. Der Betrag des Gewichtungsvektors darf sich in einer Iteration eines Trainingsalgorithmus nicht mehr als um diese maximale Schrittgröße erhöhen.
Funktion der mittleren quadratischen Abweichung: Leistungsfunktion, die die mittlere quadratische Abweichung zwischen Netzausgängen a und den Zielausgängen t berechnet.
Momentum: Technik, die häufig verwendet wird, um die Wahrscheinlichkeit zu reduzieren, dass ein Netz mit Backpropagation den Wert eines flachen Minimums dauerhaft annimmt.
Momentumkonstante: Trainingsparameter, der steuert, wie viel Momentum verwendet wird.
µ-Parameter: Anfangswert für den Skalar µ.
Nachbarschaft: Neuronengruppe innerhalb einer festgelegten Distanz eines bestimmten Neurons. Die Nachbarschaft wird durch die Indizes für alle Neuronen angegeben, die innerhalb eines Radius d des Gewinner-Neurons i* liegen:
Ni(d) = {j,d_ij ≤ d}
Nettoeingangsvektor: In einer Schicht ist dies die Kombination aller gewichteten Eingangsvektoren der Schicht mit deren Verzerrung.
Neuron: Grundlegendes Verarbeitungselement eines neuronalen Netzes. Umfasst Gewichtungen und Verzerrung, eine Summen-Verbindung und eine Ausgangstransferfunktion. Künstliche Neuronen, wie diejenigen, die mit dieser Toolbox simuliert und trainiert werden, sind Abstraktionen biologischer Neuronen.
Neuronendiagramm: Abbildung einer Netzarchitektur, die die Neuronen und Gewichtungen darstellt, durch die diese verbunden sind. Die Transferfunktion jedes Neurons wird durch ein Symbol angegeben.
Anordnungsphase: Zeitraum des Trainings, während dessen erwartet wird, dass sich die Neuronengewichtungen im Eingangsraum in Übereinstimmung mit den zugeordneten Neuronenpositionen selbst anordnen.
Ausgangsschicht: Schicht, deren Ausgang an die Welt außerhalb des Netzes weitergeleitet wird.
Ausgangsvektor: Ausgang eines neuronalen Netzes. Jedes Element des Ausgangsvektors ist der Ausgang eines Neurons.
Ausgangsgewichtungsvektor: Spaltenvektor von Gewichtungen, der von einem Neuron oder Eingang ausgeht. (Siehe auch Outstar-Lernregel.)
Outstar-Lernregel: Lernregel, die den Ausgangsgewichtungsvektor eines Neurons (oder Eingangs) trainiert, die Werte des aktuellen Ausgangsvektors der Schicht nach der Gewichtung anzunehmen. Änderungen der Gewichtungen sind proportional zum Ausgang des Neurons.
Überanpassung: Fall, in dem der Fehler für die Trainingsmenge auf einen sehr kleinen Wert reduziert wird; doch wenn dem Netz neue Daten bereitgestellt werden, ist der Fehler groß.
Durchlauf: Jede Durchquerung aller Trainingseingangs- und Zielvektoren.
Muster: Ein Vektor.
Musterzuordnung: Aufgabe, die von einem Netz ausgeführt wird, das trainiert wurde, auf jeden bereitgestellten Eingangsvektor mit dem richtigen Ausgangsvektor zu antworten.
Mustererkennung: Aufgabe, die von einem Netz ausgeführt wird, das trainiert wurde, zu antworten, wenn ein Eingangsvektor in der Nähe eines erlernten Vektors bereitgestellt wird. Das Netz „erkennt“ den Eingang als einen der ursprünglichen Zielvektoren.
Perzeptron: Netz mit einer einzelnen Schicht und einer Transferfunktion mit festem Grenzwert. Dieses Netz wird häufig mit der Perzeptron-Lernregel trainiert.
Perzeptron-Lernregel: Lernregel zum Trainieren von Netzen mit einer einzelnen Schicht und festem Grenzwert. Sie garantiert ein perfekt funktionierendes Netz in endlicher Zeit, sofern das Netz dazu fähig ist.
Leistung: Verhalten eines Netzes.
Leistungsfunktion: Im Allgemeinen die mittlere quadratische Abweichung der Netzausgänge. Allerdings berücksichtigt die Toolbox auch andere Leistungsfunktionen. Geben Sie help nnperformance ein, um eine Liste der Leistungsfunktionen anzuzeigen.
Polak-Ribiére-Aktualisierung: Methode zur Berechnung einer Menge konjugierter Richtungen. Diese Richtungen werden als Suchrichtungen im Rahmen des Optimierungsverfahrens für konjugierte Gradienten verwendet.
positive lineare Transferfunktion: Transferfunktion, die einen Ausgang von null für negative Eingänge und einen Ausgang gleich dem Eingang für positive Eingänge generiert.
Nachverarbeitung: Konvertiert normalisierte Ausgänge wieder in dieselben Einheiten, die für die ursprünglichen Ziele verwendet wurden.
Powell-Beale-Neustarts: Methode zur Berechnung einer Menge konjugierter Richtungen. Diese Richtungen werden als Suchrichtungen im Rahmen des Optimierungsverfahrens für konjugierte Gradienten verwendet. Bei diesem Verfahren wird auch die Suchrichtung auf den negativen Wert des Gradienten zurückgesetzt.
Vorverarbeitung: Transformation der Eingangs- oder Zieldaten, bevor diese dem neuronalen Netz bereitgestellt werden.
Hauptkomponentenanalyse: Orthogonalisierung der Komponenten von Netzeingangsvektoren. Dieses Verfahren kann auch die Dimension der Eingangsvektoren durch Eliminierung redundanter Komponenten reduzieren.
Quasi-Newton-Algorithmus: Klasse von Optimierungsalgorithmen auf der Grundlage der Newton-Methode. Bei jeder Iteration des Algorithmus wird basierend auf den Gradienten eine Approximation der Hesse-Matrix berechnet.
radiale Basisnetze: Neuronale Netze, die direkt durch Anpassen spezieller Antwortelemente, bei denen die Netze am besten funktionieren, entwickelt werden können.
radiale Basistransferfunktion: Die Transferfunktion für ein radiales Basisneuron lautet
$r a d b a s (n) = e^{- n^{2}}$
Regularisierung: Abänderung der Leistungsfunktion, die normalerweise als Summe der Quadrate der Netzfehler in der Trainingsmenge festgelegt ist, durch Addition eines Teils der Quadrate der Netzgewichtungen.
belastbare Backpropagation: Trainingsalgorithmus, der den nachteiligen Effekt eliminiert, dass eine geringe Neigung an den äußersten Enden der Sigmoid-Squashing-Transferfunktionen vorliegt.
sättigende lineare Transferfunktion: Funktion, die im Intervall (-1,+1) linear ist und außerhalb dieses Intervalls auf -1 oder +1 sättigt. (Die Toolbox-Funktion ist satlin.)
skaliertes Verfahren der konjugierten Gradienten: Vermeidet die zeitaufwändige Liniensuche des Standard-Verfahrens der konjugierten Gradienten.
sequenzielle Eingangsvektoren: Menge von Vektoren, die einem Netz nacheinander bereitgestellt werden. Die Gewichtungen und Verzerrungen des Netzes werden bei der Bereitstellung jedes Eingangsvektors angepasst.
Sigma-Parameter: Bestimmt die Änderung der Gewichtung für die Berechnung der approximierten Hesse-Matrix im skalierten Verfahren der konjugierten Gradienten.
Sigmoid: Monotone S-förmige Funktion, die Zahlen im Intervall (-∞,∞) auf ein endliches Intervall wie (-1,+1) oder (0,1) abbildet.
Simulation: Gibt anhand des Netzeingangs p und des Netzobjekts net die Netzausgänge a zurück.
Ausbreitungskonstante: Gibt an, wie weit ein Eingangsvektor vom Gewichtungsvektor eines Neurons entfernt sein muss, um einen Ausgang von 0,5 zu generieren.
Squashing-Funktion: Monoton steigende Funktion, die anhand von Eingangswerten zwischen -∞ und +∞ Werte in einem endlichen Intervall zurückgibt.
Star-Lernregel: Lernregel, die den Gewichtungsvektor eines Neurons trainiert, die Werte des aktuellen Eingangsvektors anzunehmen. Änderungen der Gewichtungen sind proportional zum Ausgang des Neurons.
Summe der Fehlerquadrate: Summe der quadrierten Abweichungen zwischen den Netzzielen und den tatsächlichen Ausgängen für einen bestimmten Eingangsvektor oder eine Vektormenge.
überwachtes Lernen: Lernprozess, bei dem Änderungen der Gewichtungen und Verzerrungen eines Netzes die Folge der Intervention eines externen Lehrers sind. Der Lehrer stellt in der Regel Ausgangsziele zur Verfügung.
symmetrische Transferfunktion mit festem Grenzwert: Transferfunktion, die Eingänge größer oder gleich 0 auf den Wert +1 abbildet, während alle anderen Werte auf -1 abgebildet werden.
symmetrische sättigende lineare Transferfunktion: Generiert den Eingang als ihren Ausgang, solange der Eingang im Bereich zwischen -1 und 1 liegt. Außerhalb dieses Bereichs ist der Ausgang -1 bzw. +1.
Tan-Sigmoid-Transferfunktion: Squashing-Funktion der unten aufgeführten Form, mit der der Eingang auf das Intervall (-1,1) abgebildet wird. (Die Toolbox-Funktion ist tansig.)
$f (n) = \frac{1}{1 + e^{- n}}$
gekoppelte Verzögerungslinie: Menge aufeinanderfolgender Verzögerungen mit Ausgängen, die an jedem Verzögerungsausgang verfügbar ist.
Zielvektor: Gewünschter Ausgangsvektor für einen bestimmten Eingangsvektor.
Testvektoren: Menge von (nicht direkt im Training verwendeten) Eingangsvektoren, die zum Testen des trainierten Netzes verwendet wird.
Topologiefunktionen: Möglichkeiten zum Anordnen der Neuronen in einer Raster-, Box-, Hexagonal- oder Zufallstopologie.
Training: Verfahren, mit dem ein Netz an eine bestimmte Aufgabe angepasst wird. Gilt in der Regel als Offline-Aufgabe, im Gegensatz zu einer Anpassung, die während der einzelnen Zeitintervalle vorgenommen wird, beispielsweise im adaptiven Training.
Trainingsvektor: Eingangs- und/oder Zielvektor, der zum Trainieren eines Netzes verwendet wird.
Transferfunktion: Funktion, die den Netzausgang n eines Neurons (oder einer Schicht) auf den tatsächlichen Ausgang abbildet.
Abstimmungsphase: Zeitraum während des SOFM-Trainings, während dessen erwartet wird, dass sich die Gewichtungen relativ gleichmäßig über den Eingangsraum ausbreiten, wobei ihre topologische Anordnung aus der Anordnungsphase beibehalten wird.
unterbestimmtes System: System, das mehr Variablen als Randbedingungen aufweist.
nicht überwachtes Lernen: Lernprozess, bei dem Änderungen der Gewichtungen und Verzerrungen eines Netzes durch Intervention eines externen Lehrers erfolgen. Im Allgemeinen sind Änderungen eine Funktion der Eingangsvektoren, Ausgangsvektoren und der vorherigen Gewichtungen und Verzerrungen des aktuellen Netzes.
Aktualisierung: Vornehmen einer Änderung der Gewichtungen und Verzerrungen. Die Aktualisierung kann nach der Bereitstellung eines einzelnen Eingangsvektors oder nach der Akkumulation von Änderungen über mehrere Eingangsvektoren erfolgen.
Validierungsvektoren: Menge von (nicht direkt im Training verwendeten) Eingangsvektoren, die zur Überwachung des Trainingsfortschritts verwendet wird, um eine Überanpassung des Netzes zu verhindern.
Gewichtungsfunktion: Gewichtungsfunktionen wenden Gewichtungen auf einen Eingang an, um gewichtete Eingänge zu erhalten, die von einer bestimmten Funktion angegeben werden.
Gewichtungsmatrix: Matrix, die Verbindungsstärken von den Eingängen einer Schicht zu ihren Neuronen enthält. Das Element w_i,j einer Gewichtungsmatrix W bezieht sich auf die Verbindungsstärke vom Eingang j zum Neuron i.
gewichteter Eingangsvektor: Ergebnis der Anwendung einer Gewichtung auf den Eingang einer Schicht, ganz gleich, ob es sich um einen Netzeingang oder den Ausgang einer anderen Schicht handelt.
Widrow-Hoff-Lernregel: Lernregel, die zum Trainieren linearer Netze mit einer einzelnen Schicht verwendet wird. Diese Regel ist die Vorgängerregel der Backpropagation-Regel und wird manchmal auch als Delta-Regel bezeichnet.