Sept façons de se mentir avec un backtest
Un backtest est un audit. On prend une règle de décision, on la confronte à des données passées, et on regarde ce qu'elle aurait produit. Comme tout audit, sa valeur dépend entièrement de la qualité de la piste : un backtest mal construit ne donne pas un résultat incertain, il donne un résultat faux, et faux dans une direction connue, toujours la même, celle qui flatte. Voici les sept façons de se mentir, dans l'ordre où je les rencontre. 1. Le regard vers l'avenir L'erreur la plus fréquente et la plus difficile à repérer. Elle consiste à utiliser, au moment de décider, une information qui n'était pas encore disponible. Le cas typique tient à l'horodatage des bougies. Une bougie horaire estampillée 10 h contient les prix de 10 h à 11 h. Un test qui décide « à 10 h » en lisant la clôture de cette bougie décide en réalité à 11 h, avec une heure d'avance sur le marché. Le résultat est spectaculaire et entièrement fictif. Autre variante : les données r...