Sept façons de se mentir avec un backtest

Un backtest est un audit. On prend une règle de décision, on la confronte à des données passées, et on regarde ce qu'elle aurait produit. Comme tout audit, sa valeur dépend entièrement de la qualité de la piste : un backtest mal construit ne donne pas un résultat incertain, il donne un résultat faux, et faux dans une direction connue, toujours la même, celle qui flatte.

Voici les sept façons de se mentir, dans l'ordre où je les rencontre.

1. Le regard vers l'avenir

L'erreur la plus fréquente et la plus difficile à repérer. Elle consiste à utiliser, au moment de décider, une information qui n'était pas encore disponible.

Le cas typique tient à l'horodatage des bougies. Une bougie horaire estampillée 10 h contient les prix de 10 h à 11 h. Un test qui décide « à 10 h » en lisant la clôture de cette bougie décide en réalité à 11 h, avec une heure d'avance sur le marché. Le résultat est spectaculaire et entièrement fictif.

Autre variante : les données révisées. Un indicateur macroéconomique publié à une date puis corrigé plus tard apparaît dans les bases historiques sous sa valeur corrigée. Tester une stratégie dessus, c'est tester une stratégie qui connaissait la révision.

Le test qui tranche : décalez toutes vos décisions d'une unité de temps. Si la performance s'effondre, c'est que vous lisiez l'avenir.

2. Le biais du survivant

Un test sur les valeurs qui composent aujourd'hui un indice omet celles qui en sont sorties, c'est-à-dire précisément celles qui ont mal fini. La performance obtenue n'est pas celle de la stratégie, c'est celle d'un univers nettoyé de ses échecs.

L'effet est chiffré depuis longtemps sur les fonds communs américains. Carhart, Carpenter, Lynch et Musto montrent que le biais de survie sur la performance moyenne passe de 0,07 % par an sur un an d'historique à 1 % par an au-delà de quinze ans. Plus l'historique est long, plus l'univers nettoyé flatte.

Le même effet existe sur les paires de devises exotiques, les cryptomonnaies et les contrats à terme : les instruments disparus ne figurent dans aucune base.

3. Le surajustement

Le plus séduisant. On ajuste une moyenne mobile de 20 à 21 périodes, la performance monte, on garde 21. Répété quinze fois, on obtient un jeu de paramètres parfaitement adapté au passé et sans aucune valeur prédictive.

La règle empirique que j'applique : plus de trois ou quatre paramètres libres sur un historique de quelques centaines d'opérations, et le résultat n'est plus interprétable. Le bon signe est la robustesse, pas le maximum : si 18, 20 et 22 périodes donnent des résultats voisins, le paramètre décrit quelque chose de réel. Si seul 21 fonctionne, il décrit du bruit.

4. L'absence de données hors échantillon

Le remède au précédent, et il est simple. On coupe l'historique en deux, on construit sur la première partie, on ne regarde la seconde qu'une seule fois, à la fin.

Le mot important est une seule fois. Regarder la partie réservée, ajuster, regarder à nouveau, c'est en avoir fait une partie de la construction. Le hors-échantillon consommé n'existe plus, et la seule manière d'en récupérer, c'est d'attendre que du temps passe.

5. Le coût de transaction absent

J'y ai consacré un article entier, donc je serai bref : un backtest sans spread, sans commission, sans swap et sans glissement décrit un marché qui n'existe pas. L'effet est proportionnel à la fréquence, ce qui veut dire qu'il détruit précisément les stratégies dont le backtest semble le plus beau, celles qui prennent beaucoup de positions.

6. Le trou de régime

Une stratégie testée de 2012 à 2019 a été testée sur un régime de taux nuls et de volatilité basse. La même règle appliquée à 2020, puis à 2022, rencontre deux mondes différents.

Le bon protocole ne consiste pas à chercher une stratégie qui marche partout, elles sont rares et médiocres. Il consiste à découper le résultat par période et à savoir dire dans quel régime la méthode gagne et dans lequel elle ne gagne pas. Une stratégie dont on connaît le terrain est utilisable. Une stratégie dont on croit qu'elle marche toujours est un piège.

7. L'échantillon trop court

Trente opérations ne disent rien. Cent commencent à dire quelque chose sur la moyenne, presque rien sur les extrêmes. Le drawdown maximal, en particulier, est la statistique qui demande le plus de données, parce qu'elle est déterminée par les événements rares.

Un ordre de grandeur utile : pour estimer une espérance avec un intervalle de confiance raisonnable, il faut d'autant plus d'opérations que la dispersion des résultats est grande. Une stratégie à gains réguliers se juge sur cent opérations, une stratégie à rares très gros gains en demande plusieurs centaines. C'est la loi des grands nombres, que rappelle l'article de Wikipédia sur l'espérance mathématique : la moyenne des résultats ne rejoint l'espérance qu'à force de répéter la même expérience. C'est le prolongement direct de ce que j'écris sur la distribution plutôt que la moyenne.

Le protocole que j'applique

Rien d'original, c'est de la méthode d'audit appliquée à une série chronologique.

• Décaler les décisions d'une unité de temps et comparer. Si l'écart est grand, chercher la fuite d'information.
• Tester trois niveaux de coût : annoncé, mesuré, mesuré majoré de moitié.
• Réserver le dernier tiers de l'historique et ne l'ouvrir qu'une fois.
• Découper la performance par année et par régime de volatilité.
• Vérifier la robustesse aux paramètres voisins avant de regarder la performance absolue.
• Compter la part des trois meilleures opérations dans le résultat total. Au-delà d'un tiers, ce n'est pas une stratégie, c'est un échantillon chanceux.

Cette logique de scénarios plutôt que de chiffre unique est celle que j'ai retenue pour le moteur de backtest de Tradoshi, et pour une raison simple : une valeur unique donne une fausse impression de précision là où une fourchette dit honnêtement ce qu'on sait.

Ce qu'un backtest ne prouvera jamais

Il ne prouve pas que la stratégie fonctionnera. Il prouve, au mieux, qu'elle n'est pas manifestement absurde et qu'elle survit à un ensemble de conditions passées. C'est peu, et c'est déjà beaucoup plus que ce dont dispose la majorité des gens qui engagent leur argent.

Le rôle d'un backtest est le même que celui d'un audit interne : il n'apporte pas la certitude, il retire des raisons de se tromper.

Écrit par Benjamin Roure L'Hermitte, contrôleur de gestion. J'écris ici sur la finance d'entreprise, les marchés financiers et le jeu d'échecs, trois façons de décider sous contrainte.