Level 3 KI im Trading · Teil 8/8

Merkmalsbedeutung und Positionsgröße

Zum Abschluss zwei Fragen, die über die Modellgüte hinausgehen: Woran liegt es, dass ein Modell funktioniert? Und wie wird aus seiner Ausgabe eine Position?

Warum Merkmalsbedeutung wichtiger ist als Genauigkeit

Bei einem Signal-Rausch-Verhältnis wie an Finanzmärkten sagt die Genauigkeit eines Modells nur begrenzt etwas aus. Zwei Modelle mit identischer Trefferquote können auf völlig verschiedenen Merkmalen beruhen – eines auf einer ökonomisch plausiblen Größe, das andere auf einem Artefakt der Datenaufbereitung.

Die Analyse der Merkmalsbedeutung ist deshalb kein Schritt für die Nachbereitung, sondern das eigentliche Forschungsergebnis. Sie ist die einzige Stelle, an der ein Modell etwas erklärt.

Drei Verfahren

Mean Decrease Impurity (MDI). Bei Baumverfahren: Wie stark hat ein Merkmal über alle Bäume hinweg die Trennschärfe verbessert? Schnell, aber mit zwei bekannten Verzerrungen – Merkmale mit vielen möglichen Ausprägungen werden bevorzugt, und die Werte beziehen sich nur auf die Trainingsdaten.

Mean Decrease Accuracy (MDA). Die Werte eines Merkmals werden nachträglich zufällig durchmischt, und man misst, wie stark die Güte auf den Testdaten fällt. Das bezieht sich auf ungesehene Daten und funktioniert bei jedem Modell. Es muss allerdings auf gepurgten Aufteilungen laufen, sonst misst man das Datenleck mit.

Single Feature Importance. Jedes Merkmal wird einzeln als alleiniger Prädiktor bewertet. Das umgeht den Substitutionseffekt vollständig, übersieht dafür Merkmale, die nur im Zusammenspiel wirken.

Der Substitutionseffekt

Das ist die wichtigste Fehlerquelle bei der Interpretation. Sind zwei Merkmale stark korreliert – etwa ein 20- und ein 25-Perioden-Durchschnitt –, teilen sie sich die Bedeutung. Beide erscheinen mittelmäßig, obwohl die zugrunde liegende Information zentral ist. Umgekehrt kann ein einzelnes, unkorreliertes Merkmal groß aussehen, ohne besonders wertvoll zu sein.

Wichtigkeit dreier Merkmale, wenn zwei davon dasselbe messen, und nach dem Zusammenfassen
Links stehen drei Merkmale, von denen zwei fast dasselbe messen — etwa ein 20-Tage- und ein 22-Tage-Durchschnitt. (1) Beide bekommen nur einen kleinen Wichtigkeitswert, weil der Wald mal das eine und mal das andere zieht und die Wirkung sich aufteilt. (2) Merkmal C erscheint dadurch als das wichtigste, obwohl es das nicht ist. (3) Fasst man die beiden Zwillinge zu einer Gruppe zusammen und misst die Gruppe als Ganzes, kehrt sich das Bild um. Das ist der Substitutionseffekt: Eine Rangliste einzelner Merkmale misst nicht nur Nutzen, sondern auch, wie viele Verwandte ein Merkmal hat.

Dieselbe Falle beschreibt Level 2 bereits informell: Fünf Indikatoren aus derselben Kursreihe sind keine fünf unabhängigen Meinungen.

Der übliche Umgang damit: korrelierte Merkmale vorab zu Gruppen zusammenfassen und die Bedeutung je Gruppe messen. Die Antwort lautet dann nicht mehr “Merkmal 17 ist wichtig”, sondern “die Gruppe der Trendmaße ist wichtig” – eine Aussage, die auch morgen noch trägt. Wie stark Größen zusammenlaufen, lässt sich für Märkte direkt in der Korrelationsmatrix ablesen.

Von der Wahrscheinlichkeit zur Position

Ein Klassifikationsmodell liefert eine Wahrscheinlichkeit, keine Stückzahl. Der Schritt, der beides verbindet, entscheidet über das Ergebnis mit.

Zwei Grundgedanken:

Größe proportional zur Sicherheit. Statt jede Position gleich groß zu handeln, leitet man die Größe aus der Modellwahrscheinlichkeit ab: nahe 50 Prozent nahe null, mit steigender Sicherheit wachsend. Die verbreitete Umsetzung bildet die Abweichung von 50 Prozent über eine Normalverteilungsfunktion auf einen Wert zwischen 0 und 1 ab.

Die Obergrenze kommt aus dem Risiko, nicht aus der Wahrscheinlichkeit. Die Modellsicherheit bestimmt den Anteil der maximalen Position. Die maximale Position selbst kommt aus der Risikorechnung von Level 1 . Ein sehr sicheres Signal rechtfertigt keine Position, die bei einem Fehlschlag das Depot beschädigt.

Hinzu kommt eine praktische Frage, die in Backtests gern verschwindet: Laufen mehrere Signale gleichzeitig, müssen ihre Größen zusammengeführt werden. Sonst summieren sich viele kleine, korrelierte Positionen zu einem einzigen großen Risiko.

Zum Abschluss des Kurses

Drei Stufen, ein durchgehender Faden: Level 1 beschreibt, was ein Chart zeigt. Level 2 macht die Muster präzise genug, um sie prüfen zu können. Level 3 zeigt, wie diese Prüfung aussieht, wenn man sie ernst nimmt – und wie viele Wege es gibt, sich dabei selbst zu täuschen.

Die nüchterne Zusammenfassung: Der größte Teil der Arbeit in diesem Feld dient nicht dem Finden von Vorteilen, sondern dem Ausschließen von Scheinvorteilen. Wer diesen Teil überspringt, findet immer etwas – und behält es nicht.

Werkzeuge auf dieser Seite

Quellen

Die Verfahren dieser Stufe stammen aus der Literatur zum Financial Machine Learning, insbesondere von Marcos López de Prado: Advances in Financial Machine Learning (Wiley 2018) und die zugehörige Vorlesungsreihe ORIE 5256, The 7 Reasons Most Machine Learning Funds Fail sowie The Probability of Backtest Overfitting (Bailey, Borwein, López de Prado, Zhu). Darstellung, Beispiele und Grafiken sind hier eigenständig erstellt.