Ein überwachtes Ensembleverfahren, das eine Aggregation von Entscheidungsbäumen aufbaut, die auf unabhängigen Bootstrap-ähnlichen Stichproben und zufälligen Merkmalsuntermengen an jedem Split trainiert werden; Vorhersagen erfolgen durch Mehrheitsentscheidung bei Klassifikation oder Mittelung bei Regression.

Prinzip

Varianzreduktion und verbesserte Generalisierung werden durch das Mitteln vieler decorrelierter Basislernender (Bäume) erreicht, die für sich genommen überanpassen können; Randomisierung bei Stichproben und Merkmalsauswahl erzeugt die nötige Diversität für effektives Ensemble-Averaging.

Demonstration

Das Trainieren vieler tiefer Entscheidungsbäume auf verschiedenen mit Zurücklegen gezogenen Stichproben und das Zufallsprinzip bei der Auswahl von Merkmalen an jedem Split führt zu einem Wald, dessen aggregierte Vorhersagen auf separaten Daten typischerweise Varianz und Overfitting gegenüber einem einzelnen Baum reduzieren.

Fehlanwendung

Das Verfahren ohne Kontrolle des Bias anzuwenden (z. B. ungeeignete Baumtiefe oder falsches Merkmalssampling) oder Merkmalswichtigkeit oberflächlich als kausale Indikatoren zu deuten; ebenso ungeeignet für stark unausgeglichene Klassenverteilungen oder Daten mit komplexer zeitlicher Abhängigkeit ohne Anpassung.

Konsequenz

Richtig konfiguriert liefern Random Forests robuste Allround-Leistungen auf tabellarischen Daten, eingebaute Maße zur Vorhersageunsicherheit (Streuung des Ensembles) und nichtparametrische Merkmalswichtigkeitsmaße, zu Lasten der Interpretierbarkeit und mit erhöhtem Speicher-/Rechenaufwand.

Umkehrung

Ein einzelner, tief verwurzelter Entscheidungsbaum oder ein vollständig deterministischer regelbasierter Klassifikator: diese bieten eventuell Interpretierbarkeit, weisen aber typischerweise höhere Varianz und schlechtere Generalisierung als ein gemitteltes Ensemble randomisierter Bäume auf.

Abgrenzung

Gedacht für überwachte Vorhersageaufgaben auf festen Datensätzen; nicht direkt geeignet für Online-Streaming, strukturierte Sequenzmodellierung ohne zeitliche Merkmalsaufbereitung oder Aufgaben, die stark kalibrierte probabilistische Ausgaben erfordern, ohne Nachbearbeitung.

Semantische Spannung

Im Gegensatz zu sequentiellen Boosting-Ensembles (z. B. Gradient Boosting): Random Forests bauen Bäume unabhängig und reduzieren Varianz durch Mittelung, während Boosting Bäume sequentiell baut, um Bias durch Korrektur früherer Residuen zu reduzieren, oft mit höherem Overfitting-Risiko.

Synthese

Ein Random Forest ist ein Ensemble aus randomisierten Entscheidungsbäumen, die auf neu gesampelten Daten und zufälligen Merkmalsauswahlen trainiert werden; die aggregierten Vorhersagen verringern die Varianz und verbessern die Generalisierung gegenüber Einzelbäumen.