Kurze Zusammenfassung
Dieses Video von Mark Anderson behandelt, wie man Backtests so gestaltet, dass sie realistischer sind und nicht nur schöne, aber irreführende Ergebnisse liefern. Er stellt ein dreistufiges System vor: Design, Test und Beweis.
- Design: Stelle sicher, dass der Test keine zukünftigen Informationen verwendet und die Annahmen realistisch sind.
- Test: Berücksichtige reale Kosten wie Slippage und Kommissionen und teste die Strategie unter verschiedenen Marktbedingungen.
- Beweis: Verwende Out-of-Sample-Daten und What-if-Analysen, um die Robustheit des Tests zu überprüfen.
Einführung
Mark Anderson erklärt, dass viele Backtests gut aussehen, bis sie mit echtem Geld gehandelt werden. Er wird ein einfaches System vorstellen, um Backtests realistischer zu gestalten. Er betont die Bedeutung eines praktischen Ansatzes, damit Strategien nicht scheitern, wenn sich der Markt beschleunigt. Der Prozess besteht aus drei Phasen: Design, Test und Beweis. Am Ende des Videos wird er sein persönliches "Go-to"-Signal geben, bevor er live mit dem Handel beginnt.
Design des Tests
Der erste Schritt ist das richtige Design des Tests, um unrealistische Annahmen zu vermeiden. Beginne mit einem Satz, der die vermutete Edge und ihre Messung beschreibt. Wähle das genaue Instrument und den Zeitrahmen zuerst aus, z.B. Intraday-Optionen mit ein- oder fünfminütigen Bars. Halte die Features so einfach wie möglich; wenn die Edge durch das Entfernen eines komplexen Indikators verschwindet, war es keine echte Edge. Verwende nur Informationen, die zum Entscheidungszeitpunkt verfügbar gewesen wären, wie z.B. Point-in-Time-Preise und Greeks. Daten, die erst nach einer Earnings- oder Wirtschaftsdatenveröffentlichung verfügbar sind, dürfen nicht verwendet werden. Überprüfe die Datenquellen auf breite Geld-Brief-Spannen und führe Heatmaps für verwendete Indikatoren durch, um sicherzustellen, dass sie unter verschiedenen Marktbedingungen funktionieren. Überprüfe die Daten mit verschiedenen Quellen und lasse eine Fehlerspanne von 1 bis 2 % für die Eingangsdaten, um die Ergebnisse robuster zu machen.
Testen des Tests
In der zweiten Phase soll sich der Test wie ein echter Handel anfühlen, mit Regeln, die befolgt werden müssen. Definiere klare Ein- und Ausstiegsbedingungen, z. B. den Einstieg in einen Put-Credit-Spread zwischen 9:35 und 10:15 Uhr, wenn bestimmte Bedingungen erfüllt sind, und den Ausstieg bei 50 % Gewinn oder einem doppelten Stop-Loss. Lege die Positionsgröße fest, z. B. einen festen Transaktionsbetrag oder eine skalierte Größe, wobei nie mehr als 0,5 % oder 1 % des Kontos pro Trade riskiert werden sollte. Berücksichtige Kommissionen, Börsengebühren, Clearinggebühren und Slippage. Slippage nimmt mit der Marktgeschwindigkeit und der Ordergröße zu. Der Backtest muss auch unter verschiedenen Marktbedingungen (ruhige, trendstarke, unruhige und Schock-Szenarien) überleben. Konzentriere dich auf den maximalen Drawdown und die Drawdown-Dauer, das Gewinnverhältnis und die Gewinn-Verlust-Verteilung, die Handelsfrequenz und risikoadjustierte Kennzahlen wie die Sortino- oder Sharpe-Ratio.
Beweis des Tests
Die dritte Phase konzentriert sich darauf, Overfitting zu vermeiden. Verwende eine Walk-Forward-Analyse, bei der Parameter in einem Passfenster ausgewählt und dieses Fenster dann vorwärts gerollt wird, um Out-of-Sample-Daten zu handeln. Optimiere nicht für Perfektion an einem bestimmten Punkt, sondern strebe an, in allen Bereichen gut zu sein. Teste die Sensitivität, indem du Parameter leicht veränderst. Randomisiere die Handelsreihenfolge und mische die Stichprobe mit Ersetzung neu. Führe eine Monte-Carlo-Analyse durch, um die potenziellen Drawdowns zu bewerten und festzustellen, ob du bei ungünstigen Bedingungen solvent bleiben kannst. Behalte 10 bis 20 % der aktuellsten Daten unberührt und führe eine Walk-Forward-Analyse durch. Wenn die Live-Daten die Performance beeinträchtigen, ist dies ein Warnsignal. Simuliere den Handel, um die Abläufe, Ausstiege und Kurse zu verstehen. Verwende eine 1x8-Analyse, bei der auf jede Out-of-Sample-Periode acht In-Sample-Perioden folgen.
Go-Live-Kriterien
Anderson nennt mehrere Bedingungen, die erfüllt sein müssen, bevor er live geht:
- Walk-Forward- und Out-of-Sample-Daten müssen in der Nähe der In-Sample-Daten liegen und das vorherige Sharpe-Ratio innerhalb einer Wahrscheinlichkeit von 25 % erreichen.
- Die Sensitivitätsanalyse muss ein Plateau akzeptabler Parameter zeigen, und die Standardabweichung der Renditen muss über die Zeit konsistent bleiben.
- Die Monte-Carlo-Analyse muss zeigen, dass der schlimmste realistische Pfad überlebensfähig ist, wobei der maximale Drawdown etwa drei der schlechtesten Performances im Backtest entspricht.
- Die Kosten für Slippage sind einkalkuliert und werden sogar um 10 bis 20 % erhöht, um den Test robuster zu machen.
- Die Strategie muss in einfachem Deutsch verständlich sein, mit einer nachvollziehbaren Begründung für die Existenz der Edge.
Zusammenfassung und Ratschläge
Anderson vergleicht einen Backtest mit dem Training für eine Bergwanderung. Das Design entspricht der richtigen Ausrüstung, das Testen dem Training mit Gewichten (Gebühren, Kommissionen und Slippage) und der Beweis dem Training bei unterschiedlichen Wetterbedingungen (Walk-Forward-Analyse, Sensitivität und Monte-Carlo-Analyse). Wenn er diese Woche von vorne anfangen würde, würde er eine klare Hypothese aufstellen, die einfachste Version davon codieren, Kosten frühzeitig berücksichtigen und eine Mini-Walk-Forward- und Monte-Carlo-Analyse durchführen, bevor er mit der Optimierung beginnt.
