Un backtest est le mensonge le plus convaincant en trading. La courbe d'équité monte de gauche à droite, le taux de réussite semble sain, et les drawdowns paraissent supportables. Puis vous le tradez en réel et l'edge s'évapore silencieusement. Ce n'est pas de la malchance. Les backtests surestiment la performance réelle de manière systématique et prévisible, et une fois que vous connaissez ces modes de défaillance, vous cessez d'en être surpris.
Cet article suppose que vous savez déjà comment réaliser un backtest. Si ce n'est pas le cas, commencez par le guide complémentaire sur comment backtester une stratégie de trading, qui couvre la mécanique, la taille d'échantillon et le forward testing. Ici, nous allons plus loin sur une question plus difficile : pourquoi le chiffre que vous donne un backtest est presque toujours meilleur que celui que vous gagnerez réellement.
Un Backtest Est un Meilleur des Cas, Pas une Estimation
Le problème fondamental est qu'un backtest n'est pas une mesure neutre. C'est le résultat d'un processus dans lequel vous avez fait des dizaines de petits choix, et chacun de ces choix avait une chance de faire fuiter de l'optimisme dans le résultat. Vous avez choisi le marché, la période, l'indicateur, les paramètres, la sortie. Chaque décision a été prise avec une certaine connaissance de ce qui fonctionnait. Cette connaissance est la contamination.
Statistiquement, le résultat que vous retenez n'est pas un tirage aléatoire dans la distribution des résultats possibles. C'est le maximum de nombreux tirages bruités. Lorsque vous sélectionnez le meilleur parmi une centaine de choses, vous ne mesurez pas la compétence, vous mesurez la queue supérieure de la chance. Ce qui suit est un catalogue des mécanismes qui produisent ce biais à la hausse.
Cinq façons dont un backtest surestime la performance réelle
| Biais | Comment il gonfle le résultat | Comment le détecter | Correction |
|---|---|---|---|
| Survivance | Ne teste que les actifs ayant survécu jusqu'à aujourd'hui | Vérifiez si l'univers est point-in-time | Utilisez un jeu de données incluant les retraits de cote |
| Anticipation | Utilise des données non connaissables au moment du trade | Retracez chaque signal jusqu'à son horodatage | Décalez les données ; exécutez sur la barre suivante |
| Surapprentissage | Le meilleur de nombreux essais ajustés paraît excellent par chance | Comptez vos paramètres et vos essais | Moins de paramètres ; tests hors échantillon |
| Aveuglement aux coûts | Ignore le spread, le slippage, la commission | Recalculez tout net des coûts réels | Modélisez le coût aller-retour par trade |
| Dépendance au régime | Encode une seule ère de marché comme une loi des marchés | Notez le régime de taux et de volatilité testé | Testez en marché haussier, baissier et à forte volatilité |
Les Cinq Façons Dont le Chiffre Ment
1. Biais de Survivance : Vous N'avez Testé que les Gagnants
Supposons que vous backtestiez une idée simple : acheter les creux sur les actions du S&P 500. Vous récupérez les membres actuels de l'indice, téléchargez leur historique de prix, et simulez l'achat à chaque baisse de 10 %. Les résultats sont excellents, car la stratégie semble toujours se redresser. Ce n'est pas le cas. Elle ne le paraît que parce que chaque entreprise de votre test a survécu jusqu'à figurer dans l'indice aujourd'hui.
Le S&P 500 remplace environ 20 à 25 entreprises par an. Sur un backtest de 20 ans, cela représente plusieurs centaines de changements de composition que vous ne voyez jamais. Votre test n'a jamais acheté le creux sur Lehman Brothers, Bear Stearns, Enron, ou Washington Mutual, parce qu'elles ont chuté et continué à chuter jusqu'à être retirées de la cote et effacées de l'indice. La stratégie n'a jamais été exposée aux perdants. La conclusion selon laquelle « les creux se redressent toujours » était intégrée par la construction de l'univers, pas découverte dans les données. Des données point-in-time incluant les titres retirés de la cote sont la seule correction honnête.
2. Biais d'Anticipation : Utiliser des Informations que Vous N'aviez Pas
Le biais d'anticipation signifie que votre simulation a utilisé des informations qui n'étaient pas disponibles au moment du trade. La version subtile et courante est une erreur de timing. Supposons que votre règle soit « acheter quand la clôture journalière dépasse la moyenne mobile à 50 jours », et que votre backtest exécute cet achat à la clôture du même jour. En réalité, vous ne pouvez pas connaître la clôture avant la fin de la séance, et à ce moment-là, le seul prix auquel vous pouvez trader est l'ouverture suivante, qui peut s'écarter contre vous par un gap. Exécuter au prix du signal plutôt qu'au prochain prix disponible peut fabriquer un edge qui n'existe pas.
L'autre version classique concerne les données révisées. Les résultats des entreprises sont révisés. Si votre backtest utilise le chiffre final et révisé du BPA présent aujourd'hui dans la base de données, il trade sur des chiffres qui n'étaient pas connus à la date du trade, quand seul le chiffre initialement publié existait. La règle est facile à énoncer et facile à violer : chaque donnée d'entrée doit être décalée pour refléter ce qui était connaissable à cet horodatage.
3. Surapprentissage et le Piège des Comparaisons Multiples
Le guide sur la mécanique couvre le surajustement de base. Le problème le plus profond est statistique. Si vous testez 200 combinaisons de paramètres et jugez chacune selon un seuil de signification de 5 %, environ 10 d'entre elles paraîtront « significatives » par pur hasard, même si aucune n'a un edge réel. Sélectionner l'essai qui a le meilleur aspect ne revient pas à trouver le bon, mais à trouver le plus chanceux.
Une stratégie avec 12 paramètres optimisés a suffisamment de degrés de liberté pour s'ajuster à presque n'importe quelle série de prix passée. Elle n'a pas appris une règle sur les marchés, elle a mémorisé le bruit spécifique de votre échantillon. L'heuristique honnête en découle directement : plus vous avez ajusté de paramètres et plus vous avez essayé de combinaisons, plus la décote que vous devriez appliquer au résultat doit être importante. Un système propre à trois paramètres testé une seule fois mérite plus de confiance qu'un système à douze paramètres qui a gagné une optimisation portant sur mille essais.
4. Aveuglement aux Coûts de Transaction
Les spreads, le slippage et les commissions sont facturés par trade, et se composent donc avec la fréquence. Un backtest qui suppose un coût nul ne modélise pas votre stratégie, il modélise une version fantasmée qui trade gratuitement. Considérez un système de court terme avec un edge brut mince de 0,10 % par trade aller-retour et un coût réaliste d'aller-retour de 0,12 % une fois ajoutés le spread, le slippage et la commission. Le graphique ci-dessous trace le rendement brut par rapport au rendement net à mesure que le nombre de trades augmente, en utilisant des rendements simplement cumulés pour plus de clarté.
Même stratégie, brut vs net : un edge mince que les coûts dévorent
Regardez ce qui se passe. À 1 000 trades par an, le backtest brut affiche un spectaculaire rendement de 100 %, tandis que le résultat réel, ajusté des coûts, est négatif de 20 %. Plus cette stratégie trade, plus le backtest paraît bon et plus elle perd d'argent réel, parce que l'edge par trade n'a jamais survécu au coût par trade. C'est pourquoi le même séduisant système haute fréquence à 40 % brut peut être fermement négatif en net. Les coûts déforment aussi silencieusement les ratios risque-récompense qu'un backtest rapporte, puisque chaque spread payé réduit la récompense réelle sur chaque gagnant.
5. Dépendance au Régime
Une stratégie backtestée de 2010 à 2021 a été testée presque entièrement à l'intérieur d'un seul régime de marché : taux d'intérêt nuls, assouplissement quantitatif, faible volatilité, et le plus long marché haussier de l'histoire. Dans ce monde, les creux se redressaient et les tendances persistaient, donc un système de retour à la moyenne ou de suivi de tendance qui a « appris » ces comportements ne fait en réalité qu'encoder le régime comme s'il s'agissait d'une loi permanente des marchés. Puis 2022 est arrivée avec des hausses de taux, un marché baissier, et une volatilité élevée, et la stratégie a rencontré des conditions qu'elle n'avait jamais vues. Un backtest confiné à une seule ère vous indique comment une stratégie s'est comportée durant cette ère, et presque rien sur comment elle gérera la suivante.
De Combien Devriez-Vous Décoter un Backtest ?
Vous ne pouvez pas éliminer entièrement ce biais, mais vous pouvez l'intégrer dans votre évaluation. Traitez le chiffre affiché comme un plafond et décotez-le selon la façon dont le test a été construit. Plus le processus est sale, plus la décote doit être profonde.
Combien décoter un backtest avant d'y croire
| Caractéristique du backtest | Traitement réaliste | Pourquoi |
|---|---|---|
| In-sample uniquement, un seul régime de marché | Forte décote ou abandon | Il n'a jamais vu un monde différent |
| 10+ paramètres optimisés | Forte décote | Il a probablement mémorisé l'échantillon |
| Coûts supposés nuls ou ignorés | Pourrait inverser le signe | Le net est le seul chiffre à retenir |
| Univers propre de tout biais de survivance | Décote modérée | Les perdants ont été retirés silencieusement |
| Hors échantillon, walk-forward, coûts réalistes | Légère décote, vérifiez tout de même en réel | Le plus proche de l'honnêteté possible |
Ce Qui Aide Réellement
Rien de tout cela ne signifie que le backtesting est inutile. Cela signifie qu'un backtest est un filtre qui élimine les mauvaises idées, pas une promesse concernant les bonnes. Quelques pratiques réduisent significativement l'écart entre le backtest et la réalité. Réservez des données hors échantillon que le modèle n'a jamais touchées, et utilisez le walk-forward testing. Décotez agressivement selon le nombre de paramètres. Testez délibérément à travers différents régimes, y compris les vilains. Et confirmez que l'exécution réelle peut réellement atteindre les remplissages et les tailles de position que le backtest supposait, car un système qui repose silencieusement sur des entrées parfaites ou ignore vos règles de dimensionnement des positions se comportera très différemment avec de l'argent réel en jeu.
Le filtre final est le paper trading, puis le trading réel à petite échelle. Un backtest vit dans un monde sans exécutions manquées, sans émotions, et sans surprises. L'exécution réelle est le seul test qui inclut ces trois éléments.
Points Clés à Retenir
- Un backtest est le meilleur parmi de nombreux essais bruités, donc il est biaisé à la hausse avant même que vous ne le lisiez.
- Le biais de survivance ne teste que les actifs qui ont survécu ; le biais d'anticipation trade sur des informations que vous n'aviez pas.
- Le surapprentissage augmente avec le nombre de paramètres et le nombre de combinaisons testées, donc décotez en conséquence.
- Les coûts sont facturés par trade et peuvent transformer un gros rendement brut en un résultat net fermement négatif.
- Un backtest limité à un seul régime encode ce régime comme une loi et échoue quand le régime change.
Un backtest vous dit qu'une stratégie aurait fonctionné. Il ne vous dit jamais qu'elle fonctionnera. L'écart entre ces deux phrases est l'endroit où la plupart des comptes de trading vont mourir.
Avertissement : Ce contenu est fourni à des fins éducatives uniquement et ne constitue pas un conseil financier. Le trading comporte un risque substantiel de perte. Les performances passées ne garantissent pas les résultats futurs.
