Was ist AdaBoost?

AdaBoost (adaptives Boosting) ist ein Algorithmus für das Ensemble-Lernen, der für die Klassifikation oder Regression verwendet werden kann. Obwohl AdaBoost beständiger gegenüber Überanpassung ist als viele Algorithmen des maschinellen Lernens, ist er häufig empfindlich gegenüber verrauschten Daten und Ausreißern.

AdaBoost wird als adaptiv bezeichnet, da er mehrere Iterationen verwendet, um einen einheitlichen starken Lerner zu erstellen. AdaBoost erstellt einen starken Lerner (einen Klassifizierer, der gut mit dem wahren Klassifizierer korreliert) durch iteratives Hinzufügen von schwachen Lernern (ein Klassifizierer, der nur geringfügig mit dem wahren Klassifizierer korreliert). Bei jedem Trainingsdurchlauf wird ein neuer schwacher Lerner zum Ensemble hinzugefügt und ein Gewichtsvektor wird eingestellt, der sich auf Beispiele konzentriert, die im vorherigen Durchlauf falsch klassifiziert wurden. Das Ergebnis ist ein Klassifizierer, der über eine höhere Genauigkeit verfügt als die Klassifizierer der schwachen Lerner.

Zum adaptiven Boosting gehören die folgenden Algorithmen:

• AdaBoost.M1 und AdaBoost.M2 – ursprüngliche Algorithmen für binäre und mehrklassige Klassifikation
• LogitBoost – binäre Klassifikation (für schwer trennbare Klassen)
• Gentle AdaBoost oder GentleBoost – binäre Klassifikation (für die Verwendung mit mehrstufigen kategorischen Prädiktoren)
• RobustBoost – binäre Klassifikation (robust gegenüber verrauschter Kennzeichnung der Trainingsdaten)
• LSBoost – Boosting mit Methode der kleinsten Quadrate (für Regressionsgruppierungen)
• LPBoost – mehrklassige Klassifikation durch Boosting mit linearer Optimierung
• RUSBoost – mehrklassige Klassifikation für verzerrte oder ungleichmäßige Daten
• TotalBoost – robustere mehrklassige Klassifikation als LPBoost

Weitere Informationen zum adaptiven Boosting finden Sie unter Statistics and Machine Learning Toolbox.