Level 3 KI im Trading · Teil 1/8

Warum maschinelles Lernen an Märkten scheitert

Maschinelles Lernen ist in vielen Feldern erfolgreich, weil dort Annahmen gelten, die an Finanzmärkten nicht erfüllt sind. Wer die Verfahren unverändert auf Kursdaten anwendet, bekommt zuverlässig Modelle, die im Rückblick brillant aussehen und im Betrieb nichts leisten.

Dieser Teil des Kurses folgt in seiner Struktur der Forschungsliteratur zu Financial Machine Learning, insbesondere den Arbeiten von Marcos López de Prado (Advances in Financial Machine Learning, die Vorlesungsreihe ORIE 5256 und The 7 Reasons Most Machine Learning Funds Fail). Die Verfahren werden hier in eigenen Worten und mit eigenen Grafiken erklärt.

Die Ausgangslage

Ein Bilderkennungsmodell arbeitet mit unabhängigen Beispielen, klaren Labels und einem stabilen Zusammenhang: Eine Katze bleibt eine Katze. Finanzdaten bieten nichts davon.

  • Beobachtungen sind nicht unabhängig. Aufeinanderfolgende Kurse sind stark korreliert, und überlappende Zeitfenster teilen sich dieselbe Information.
  • Das Signal-Rausch-Verhältnis ist extrem niedrig. Ein guter Vorteil liegt wenige Prozentpunkte über der Zufallsquote, nicht bei 95 Prozent Genauigkeit.
  • Der Zusammenhang ändert sich. Was funktioniert, wird gehandelt und verschwindet dadurch. Das ist kein Datenproblem, sondern der Mechanismus des Marktes.
  • Es gibt nur eine Historie. Ein zweites Jahr 2008 lässt sich nicht erzeugen. Jeder Test läuft auf demselben Datensatz, den auch alle anderen benutzen.

Die typischen Fehlerquellen

Der Einzelkämpfer. Eine Person soll Daten beschaffen, Merkmale bauen, Modelle trainieren, Backtests laufen lassen und am Ende handeln. In jeder anderen quantitativen Disziplin wäre das undenkbar. Die Alternative ist Arbeitsteilung nach Stationen – Datenaufbereitung, Merkmalsanalyse, Strategiekonstruktion, Backtesting –, bei der niemand eine Idee allein bis zum Einsatz durchreicht.

Der Backtest als Forschungswerkzeug. Wer den Backtest benutzt, um eine Strategie zu finden statt sie zu prüfen, bekommt ein wertloses Ergebnis. Jede Iteration verbraucht Testdaten. Nach hundert Durchläufen ist der Testzeitraum aufgebraucht, ohne dass es jemand bemerkt hätte.

Zwei Kurven über die Zahl der ausprobierten Varianten: Backtest-Ergebnis steigt, Ergebnis auf ungesehenen Daten bleibt flach
Waagerecht steht, wie oft dieselben Daten schon befragt wurden — jede Parametervariante, jeder neue Filter zählt. (1) Das Backtest-Ergebnis steigt zuverlässig mit, denn aus vielen Zufallsergebnissen wird immer eines das beste sein. (2) Auf ungesehenen Daten bleibt es, wo es war. (3) Der Abstand zwischen beiden Kurven ist kein Erkenntnisgewinn, sondern der Preis der Suche. Deshalb ist der Backtest ein Prüfwerkzeug und kein Suchwerkzeug: Wer ihn zum Suchen benutzt, verbraucht genau die Unabhängigkeit, die seine Aussagekraft trägt.

Chronologisch falsches Aufteilen. Die übliche zufällige Kreuzvalidierung setzt unabhängige Beobachtungen voraus. Bei Kursreihen sickert dabei Information aus der Zukunft ins Training – ausführlich im Artikel zur Kreuzvalidierung .

Feste Zeitfenster als Stichprobe. Ein Datenpunkt pro Stunde behandelt eine ruhige Nachtstunde wie die Stunde einer Notenbankentscheidung. Die resultierenden Renditen sind stark nicht normalverteilt – siehe Daten und Bars .

Falsche Labels. “Steigt der Kurs in zehn Tagen?” ignoriert alles, was dazwischen passiert. Ein Pfad, der zwischenzeitlich weit unter den Stop fällt, ist in der Praxis ein Verlust und im Label ein Gewinn.

Ignorierte Überlappung. Reicht ein Label zehn Perioden in die Zukunft, überlappen sich benachbarte Beispiele zu 90 Prozent. Ein Modell, das sie als unabhängig behandelt, hält Wiederholung für Bestätigung.

Verschwiegene Versuchszahl. Wer zwanzig Varianten testet und die beste berichtet, berichtet ein Maximum. Wie stark das die Kennzahlen verzerrt, zeigt der Artikel zu Backtest-Overfitting .

Was daraus folgt

Kein einzelner Trick repariert das. Die restlichen Artikel dieser Stufe behandeln je eine dieser Fehlerquellen und das Verfahren, das die Forschung dagegen entwickelt hat:

ProblemVerfahren
Ungleiche Informationsdichteaktivitätsbasierte Bars
Trend vs. Stationaritätfraktionale Differenzierung
Unbrauchbare LabelsTriple-Barrier, Meta-Labeling
Überlappende BeispieleStichprobengewichte, Uniqueness
Datenleck bei der ValidierungPurging und Embargo
Zu viele VersucheDeflated Sharpe Ratio, PBO

Dazu die realistische Erwartung: Keines dieser Verfahren macht ein schlechtes Ergebnis gut. Sie machen sichtbar, dass es schlecht ist, bevor echtes Geld darauf gesetzt wird. Das ist der eigentliche Gewinn.

Weiterlesen

Wir beginnen bei der Grundlage: Wie macht man aus einer Kursreihe überhaupt eine brauchbare Stichprobe?