Level 3 KI im Trading · Teil 5/8

Überlappende Beispiele und Stichprobengewichte

Fast jedes Standardverfahren des maschinellen Lernens setzt voraus, dass die Trainingsbeispiele unabhängig gezogen sind. Bei Finanzdaten ist diese Annahme nicht annähernd erfüllt, und die Verletzung ist nicht klein, sondern beherrschend.

Woher die Abhängigkeit kommt

Reicht ein Label über die nächsten zehn Perioden, teilen sich zwei benachbarte Beispiele neun davon. Ihre Ergebnisse werden von weitgehend denselben Kursbewegungen bestimmt.

Für ein Modell sieht das nach Bestätigung aus: derselbe Zusammenhang, immer wieder. Tatsächlich ist es eine einzige Beobachtung, zehnfach eingetragen. Die effektive Stichprobengröße ist dadurch drastisch kleiner als die Zahl der Zeilen – und jede Konfidenzaussage, die auf der Zeilenzahl beruht, entsprechend zu eng.

Uniqueness

Der Ausweg beginnt mit einer Messung. Für jeden Zeitpunkt wird gezählt, wie viele Labels ihn gleichzeitig abdecken. Ein Beispiel, dessen Ergebnisfenster sich mit vielen anderen überschneidet, ist wenig einzigartig; eines, das allein steht, ist es vollständig.

Überlappende Labelfenster auf einer Zeitachse und die daraus folgenden Beobachtungsgewichte — Jeder Balken oben ist das Fenster, über das ein einzelnes Label gebildet wird — hier zehn Tage. (1) Die vorderen Fenster überlappen sich stark: Sie beschreiben größtenteils dieselben Kursbewegungen. Für ein Modell sehen sie trotzdem aus wie unabhängige Beobachtungen — das ist die Annahme, die hier bricht. (2) Unten steht je Beobachtung ihre Einzigartigkeit: der Anteil ihres Fensters, den kein anderes Fenster berührt. Bei den beiden mittleren ist er null — sie sind vollständig von ihren Nachbarn abgedeckt und tragen nichts Eigenes bei. (3) Freistehende Fenster bekommen das volle Gewicht. Genau diese Werte dienen als Stichprobengewichte, damit dicht gedrängte Beobachtungen nicht zählen wie viele unabhängige.

Die durchschnittliche Einzigartigkeit über sein Fenster ergibt für jedes Beispiel ein Gewicht. Beim Training zählen stark überlappende Beispiele dadurch weniger. Der Effekt ist unspektakulär und wichtig: Das Modell hört auf, Wiederholung mit Evidenz zu verwechseln.

Gewichtung nach Ergebnisgröße

Eine zweite, davon unabhängige Gewichtung: Beispiele mit großer zugehöriger Bewegung tragen mehr Information als solche, die knapp über der Rauschgrenze lagen. Üblich ist eine Gewichtung nach der absoluten Rendite über das Ergebnisfenster, geteilt durch die Zahl der gleichzeitig laufenden Labels.

Beides zusammen – Einzigartigkeit und Ergebnisgröße – bringt das Training näher an das, was ökonomisch zählt.

Zeitverfall

Märkte ändern sich. Ein Zusammenhang aus 2011 ist nicht falsch, aber vermutlich weniger relevant als einer aus dem letzten Jahr. Ein linear oder exponentiell abfallendes Zeitgewicht trägt dem Rechnung.

Die Einstellung ist ein Tausch, kein Optimierungsproblem: Starker Verfall macht das Modell anpassungsfähig und instabil, schwacher Verfall stabil und träge. Wichtig ist nur, die Entscheidung bewusst zu treffen und sie nicht anhand der Testdaten einzustellen – sonst ist sie der nächste Weg, Testdaten zu verbrauchen.

Sequential Bootstrap

Bagging-Verfahren wie Random Forests ziehen Trainingsbeispiele zufällig mit Zurücklegen. Bei überlappenden Daten landen dabei fast identische Beispiele in derselben Ziehung, und die Bäume eines Waldes ähneln sich stärker als gewollt. Der ganze Vorteil des Ensembles schrumpft.

Das Sequential Bootstrap korrigiert das: Die Ziehungswahrscheinlichkeit eines Beispiels sinkt, sobald ein damit überlappendes Beispiel bereits gezogen wurde. Das Ergebnis sind Ziehungen mit deutlich höherer durchschnittlicher Einzigartigkeit und Ensembles, deren Mitglieder sich tatsächlich unterscheiden.

Der praktische Kern

Alle drei Korrekturen tun dasselbe: Sie verhindern, dass Wiederholung als Bestätigung gezählt wird. Das ist derselbe Fehler, den Level 2 für zu kleine Stichproben beschreibt – hier nur formalisiert und messbar gemacht.

Weiterlesen

Dieselbe Überlappung ruiniert auch die Validierung. Wie man das repariert, steht im nächsten Artikel.