Level 2 Muster & Indikatoren · Teil 9/9

Ein Muster überprüfen

Bis hierhin war dieser Kurs beschreibend. Dieser Artikel ist der Übergang: Er macht aus einer Beobachtung eine Aussage, die falsch sein kann.

Schritt 1: Die Regel eindeutig machen

Ein Muster ist erst dann prüfbar, wenn ein Programm es ohne Ermessensspielraum finden kann. “Ein Hammer nach einem Abwärtstrend” reicht nicht. Prüfbar wäre etwa:

Unterer Docht mindestens doppelt so lang wie der Körper, oberer Docht höchstens ein Viertel des Körpers, und der Schlusskurs liegt unter dem Durchschnitt der letzten 20 Perioden.

Jede Zahl in dieser Definition ist eine Entscheidung. Genau diese Entscheidungen sind später das Problem – aber ohne sie gibt es nichts zu messen.

Schritt 2: Das Ergebnis definieren

Was genau soll gemessen werden? “Der Kurs steigt danach” ist keine Definition. Nötig sind drei Angaben: Zeithorizont, Schwelle und Vergleich. Etwa: Ist der Schlusskurs 10 Perioden später mindestens 1 ATR höher?

Eine schlechtere Variante ist erstaunlich verbreitet: Der Kurs wird nach fester Frist geprüft. Ein Verlauf, der zwischendurch weit unter jeden vernünftigen Stop fällt und sich am Ende erholt, zählt dann als Erfolg – obwohl er in der Praxis ausgestoppt worden wäre. Wie man es besser macht, zeigt Level 3 mit der Triple-Barrier-Methode .

Schritt 3: Die Basisrate ermitteln

Der wichtigste und am häufigsten ausgelassene Schritt. Bevor gemessen wird, wie oft das Muster funktioniert, muss feststehen, wie oft dasselbe Ergebnis ohne das Muster eintritt.

Steigt der Kurs in 54 Prozent aller Zehn-Perioden-Fenster, dann ist ein Muster mit 56 Prozent Trefferquote keine Entdeckung, sondern Rauschen. Die publizierten Trefferquoten aus Musterbüchern nennen fast durchgehend keine Basisrate – ohne sie ist eine Prozentzahl bedeutungslos.

Vier Wege, sich selbst zu täuschen

Look-ahead-Bias. Bei der Berechnung wird Information verwendet, die zum Entscheidungszeitpunkt nicht vorlag. Klassiker: Der Schlusskurs der Signalkerze fließt in den Einstieg ein, obwohl er erst am Periodenende feststeht. Der Fehler ist klein, wirkt aber wie ein Vorteil.

Survivorship-Bias. Die Stichprobe enthält nur Instrumente, die es heute noch gibt. Insolvenzen und Delistings fehlen – und mit ihnen genau die Fälle, in denen alles schiefging.

Zu kleine Stichprobe. 30 Vorkommen erlauben keine Aussage über eine Trefferquote. Bei 30 Beobachtungen liegt das Vertrauensintervall um eine gemessene Quote von 60 Prozent grob zwischen 41 und 77 Prozent – ein Bereich, der von “nutzlos” bis “hervorragend” alles enthält.

Mehrfachtesten. Man probiert zwanzig Varianten, findet eine gute und berichtet diese. Das ist der teuerste Fehler der ganzen Disziplin und der Grund, warum Level 3 fast vollständig davon handelt.

Schritt 4: Trennung von Entwicklung und Prüfung

Die Regel wird auf einem Zeitraum entwickelt und auf einem anderen geprüft, der bei der Entwicklung nicht angesehen wurde. Das klingt selbstverständlich und wird trotzdem selten sauber gemacht – meist, weil der Testzeitraum nach dem ersten enttäuschenden Ergebnis “noch einmal” verwendet wird. Ab dem zweiten Blick ist er kein Testzeitraum mehr.

Bei Kursdaten reicht die einfache Zufallsaufteilung nicht, die im maschinellen Lernen sonst üblich ist: Kursreihen sind zeitlich abhängig, benachbarte Beobachtungen überlappen sich. Warum das ganze Verfahren daran scheitert und wie die Finanzforschung es repariert, ist Gegenstand von Level 3 .

Was ein Backtest zeigen kann – und was nicht

Er kann zeigen, dass eine Regel in der Vergangenheit nicht funktioniert hat. Das ist ein belastbares Ergebnis und der häufigste Fall.

Er kann nicht zeigen, dass sie in Zukunft funktioniert. Er zeigt allenfalls, dass sie es in einem bestimmten Zeitraum getan hat – und wie viel dieses Ergebnis wert ist, hängt fast vollständig davon ab, wie viele Varianten geprüft wurden, bis diese eine gefunden war.

Wer eine Portfolio-Idee direkt gegen historische Daten stellen will, findet im Backtester und im Monte-Carlo-Rechner die passenden Werkzeuge – Letzterer zeigt statt eines einzelnen Verlaufs die Bandbreite dessen, was bei gleicher Statistik ebenfalls hätte passieren können.

Weiterlesen

Ende von Level 2. Level 3 nimmt genau diesen Faden auf: Was passiert, wenn man den Prüfvorgang einer Maschine überlässt – und warum die üblichen Verfahren des maschinellen Lernens an Finanzdaten scheitern.