Level 2 Muster & Indikatoren · Teil 9/9
Ein Muster überprüfen
Bis hierhin war der Kurs beschreibend. Dieser Artikel ist der Übergang: Er macht aus einer Beobachtung eine Aussage, die falsch sein kann.
Schritt 1: die Regel eindeutig machen
Ein Muster ist erst dann prüfbar, wenn ein Programm es ohne Ermessensspielraum finden kann. “Ein Hammer nach einem Abwärtstrend” reicht dafür nicht. Prüfbar wäre etwa:
Unterer Docht mindestens doppelt so lang wie der Körper, oberer Docht höchstens ein Viertel des Körpers, und der Schlusskurs liegt unter dem Durchschnitt der letzten 20 Perioden.
Jede Zahl in dieser Definition ist eine Entscheidung. Genau diese Entscheidungen werden später zum Problem – aber ohne sie gibt es nichts zu messen.
Schritt 2: das Ergebnis definieren
Was genau soll gemessen werden? “Der Kurs steigt danach” ist keine Definition. Nötig sind drei Angaben: Zeithorizont, Schwelle und Vergleich. Zum Beispiel: Liegt der Schlusskurs 10 Perioden später mindestens 1 ATR höher?
Eine schlechtere Variante ist erstaunlich verbreitet: Der Kurs wird nur nach einer festen Frist geprüft. Ein Verlauf, der zwischenzeitlich weit unter jeden vernünftigen Stop fällt und sich am Ende erholt, zählt dann als Erfolg – obwohl er in der Praxis ausgestoppt worden wäre. Wie es besser geht, zeigt Level 3 mit der Triple-Barrier-Methode .
Schritt 3: die Basisrate ermitteln
Der wichtigste und am häufigsten übersprungene Schritt. Bevor man misst, wie oft das Muster funktioniert, muss feststehen, wie oft dasselbe Ergebnis ohne das Muster eintritt.
Steigt der Kurs in 54 Prozent aller Zehn-Perioden-Fenster, dann ist ein Muster mit 56 Prozent Trefferquote keine Entdeckung, sondern Rauschen. Die publizierten Trefferquoten aus Musterbüchern nennen fast nie eine Basisrate – und ohne sie ist eine Prozentzahl bedeutungslos.
Vier Wege, sich selbst zu täuschen
Look-ahead-Bias. In die Berechnung fließt Information ein, die zum Entscheidungszeitpunkt noch nicht vorlag. Klassiker: Der Schlusskurs der Signalkerze geht in den Einstieg ein, obwohl er erst am Ende der Periode feststeht. Der Fehler ist klein, wirkt aber wie ein Vorteil.
Survivorship-Bias. Die Stichprobe enthält nur Instrumente, die es heute noch gibt. Insolvenzen und Delistings fehlen – und mit ihnen genau die Fälle, in denen alles schiefgegangen ist.
Zu kleine Stichprobe. 30 Vorkommen erlauben keine Aussage über eine Trefferquote. Bei 30 Beobachtungen reicht das Vertrauensintervall um eine gemessene Quote von 60 Prozent grob von 41 bis 77 Prozent – ein Bereich, der von “nutzlos” bis “hervorragend” alles abdeckt.
Mehrfachtesten. Man probiert zwanzig Varianten, findet eine gute und berichtet diese eine. Das ist der teuerste Fehler der ganzen Disziplin und der Grund, warum Level 3 fast vollständig davon handelt.
Schritt 4: Entwicklung und Prüfung trennen
Die Regel wird auf einem Zeitraum entwickelt und auf einem anderen geprüft, den man während der Entwicklung nicht angesehen hat. Das klingt selbstverständlich und wird trotzdem selten sauber gemacht – meist, weil der Testzeitraum nach einem enttäuschenden ersten Ergebnis “noch einmal” herhalten muss. Ab dem zweiten Blick ist er kein Testzeitraum mehr.
Bei Kursdaten reicht die einfache Zufallsaufteilung nicht, die im maschinellen Lernen sonst üblich ist: Kursreihen sind zeitlich abhängig, und benachbarte Beobachtungen überlappen sich. Warum das ganze Verfahren daran scheitert und wie die Finanzforschung es repariert, behandelt Level 3 .
Was ein Backtest zeigen kann – und was nicht
Er kann zeigen, dass eine Regel in der Vergangenheit nicht funktioniert hat. Das ist ein belastbares Ergebnis und der häufigste Fall.
Er kann nicht zeigen, dass sie in Zukunft funktioniert. Er zeigt allenfalls, dass sie es in einem bestimmten Zeitraum getan hat – und wie viel dieses Ergebnis wert ist, hängt fast vollständig davon ab, wie viele Varianten geprüft wurden, bis diese eine gefunden war.
Wer eine Portfolio-Idee direkt gegen historische Daten stellen möchte, findet im Backtester und im Monte-Carlo-Rechner die passenden Werkzeuge. Der zweite zeigt statt eines einzelnen Verlaufs die Bandbreite dessen, was bei gleicher Statistik ebenso hätte passieren können.
Weiterlesen
Ende von Level 2. Level 3 nimmt genau diesen Faden auf: Was passiert, wenn man die Prüfung einer Maschine überlässt – und warum die üblichen Verfahren des maschinellen Lernens an Finanzdaten scheitern.