Kreuzvalidierung

Bewerten und verbessern Sie die prädiktive Leistung von Modellen

Kreuzvalidierung ist eine Technik zur Bewertung der Leistung eines Modells beim Machine Learning. Mit neuen Datensätzen, welche nicht in der Trainingsphase genutzt wurden, wird die Güte der Vorhersage geprüft. Dies geschieht durch die Partitionierung eines Datensatzes in Teilmengen für das Training und das Testen des Algorithmus. Da die Kreuzvalidierung bei der Entwicklung eines Modells nicht alle Daten verwendet, ist sie eine häufig verwendete Methode um eine Überanpassung während des Trainings zu verhindern.

Jeder Durchlauf der Kreuzvalidierung umfasst eine zufällige Partitionierung des Originaldatensatzes in einen Trainingssatz und einen Testsatz. Der Trainingssatz wird verwendet, um einen Algorithmus für überwachtes Machine Learning zu trainieren und der Testsatz wird zur Bewertung dessen Leistung verwendet. Dieser Vorgang wird mehrmals wiederholt und der mittlere Kreuzvalidierungsfehler als Leistungsindikator verwendet.

Zu den verbreiteten Kreuzvalidierungstechniken gehören:

  • k-fach: Partitioniert Daten in k zufällig ausgewählte Teilmengen ähnlicher Größe. Eine Teilmenge wird zum Validieren des Modells verwendet, welches mit den restlichen Teilmengen trainiert wird. Dieser Vorgang wird k Mal wiederholt, sodass jede Teilmenge genau einmal für die Validierung verwendet wird.
  • Holdout: Partitioniert Daten für Training und Validierung in genau zwei Teilmengen im angegebenen Verhältnis.
  • Leaveout: Partitioniert Daten mit dem k-fach-Ansatz, bei dem k gleich der Gesamtanzahl der Beobachtungen in den Daten ist. Auch bekannt als Leave-One-Out-Kreuzvalidierung.
  • Wiederholte zufällige Teilstichproben: Führt Monte Carlo-Wiederholungen von zufällig partitionierten Daten aus und fasst die Ergebnisse aller Ausführungen zusammen.
  • Stratifikation: Partitioniert Daten so, dass sowohl Trainings- als auch Testsätze in etwa die gleichen Anteile haben in Bezug auf die Klassenverteilung der Ergebnisse.
  • Re-Substitution: Partitioniert die Daten nicht; verwendet Trainingsdaten für die Validierung. Führt oft zu übermäßig optimistischen Schätzungen für die Leistung und ist zu vermeiden, wenn ausreichend Daten zur Verfügung stehen.

Kreuzvalidierung kann ein rechenintensiver Vorgang sein, da Training und Validierung mehrmals durchgeführt werden. Da jeder Partitionssatz unabhängig ist, kann die Analyse parallel ausgeführt werden, um den Vorgang zu beschleunigen.

Weitere Informationen zur Kreuzvalidierung mit Problemstellungen des Machine Learning finden Sie in der Statistics and Machine Learning Toolbox™ und der Neural Network Toolbox™.

Siehe auch: Statistics and Machine Learning Toolbox, Machine Learning, überwachtes Machine Learning, Merkmalsauswahl, Regularisierung, lineares Modell