Le classement Elo, ou comment mesurer un niveau avec du hasard dedans

Le classement Elo est l'une des inventions les plus élégantes du vingtième siècle en matière de mesure. Arpad Elo, physicien hongrois installé aux États-Unis, l'a conçu dans les années 1960 pour résoudre un problème que la plupart des organisations n'ont toujours pas résolu : évaluer un niveau à partir de résultats bruités, sans jamais confondre la performance d'un jour avec la valeur d'un joueur.

Je m'y intéresse parce que c'est exactement le problème de l'évaluation de performance, en entreprise comme sur les marchés, et parce que la solution d'Elo contient trois idées que presque tous les systèmes de notation ignorent.

Le principe, en trois phrases

Chaque joueur porte un nombre. L'écart entre deux nombres détermine une probabilité de victoire attendue : 100 points d'écart correspondent à environ 64 % de chances pour le mieux classé, 200 points à 76 %, 400 points à 91 %. Ce sont les chances théoriques de la formule, que rappelle l'article de Wikipédia sur le classement Elo. Après la partie, chacun gagne ou perd des points selon l'écart entre le résultat obtenu et le résultat attendu.

Battre un joueur beaucoup plus faible ne rapporte presque rien, puisque c'était attendu. Perdre contre lui coûte cher. Battre un joueur beaucoup plus fort rapporte beaucoup. Le système ne mesure donc pas les victoires, il mesure l'écart à l'attendu.

Première idée : la surprise, pas le résultat

C'est le cœur, et c'est ce que la plupart des systèmes de notation ratent. Un commercial qui atteint son objectif sur un marché porteur et un autre qui le rate de 5 % sur un marché en recul obtiennent des évaluations opposées dans un système classique, alors que le second a peut-être surperformé.

Elo répond en construisant explicitement une attente, puis en notant l'écart. Cela oblige à formuler ce qu'on attendait avant, ce qui est exactement la discipline que je décris à propos de la prévision comparée au budget : une mesure n'a de sens que si l'attente a été écrite avant l'événement.

Deuxième idée : le coefficient K, ou la confiance dans ce qu'on sait déjà

Le nombre de points échangés est multiplié par un coefficient appelé K. Il vaut 40 pour un joueur nouveau, 20 pour un joueur établi, 10 pour un joueur de haut niveau : le règlement du classement de la FIDE le fixe à 40 pendant les trente premières parties, puis à 20 tant que le classement reste sous 2400 points et à 10 au-delà.

Ce détail technique porte une idée profonde : plus on a d'informations sur quelqu'un, moins un résultat isolé doit modifier le jugement. Un débutant qui gagne trois parties voit son classement bondir, parce qu'on ne savait rien de lui. Un grand maître qui gagne trois parties bouge à peine, parce que trois parties n'ajoutent presque rien à mille.

Appliqué au trading, cela donne une règle immédiate : après vingt opérations, chaque nouvelle opération devrait beaucoup modifier votre estimation de votre propre niveau. Après cinq cents, presque pas. Le trader qui change de méthode après trois pertes applique un K de débutant à un historique d'expert, et le trader qui refuse de constater une dérive après quarante pertes fait l'inverse.

Troisième idée : le classement est une estimation, pas une propriété

Un Elo n'est pas une qualité du joueur, c'est la meilleure estimation actuelle compte tenu des parties observées. Il a une incertitude, que les systèmes plus récents comme Glicko rendent explicite en publiant un écart-type à côté de la note.

Un joueur à 1800 avec une forte incertitude et un joueur à 1800 stabilisé sur trois cents parties ne sont pas comparables, même si le nombre affiché est identique. Le premier peut valoir 1600 ou 2000.

C'est la même chose pour une performance de trading, et c'est là que la plupart des évaluations dérapent : un rendement de 30 % sur vingt opérations et un rendement de 30 % sur cinq cents opérations portent le même chiffre et n'ont pas la même signification. Le premier est une hypothèse, le second est une mesure. C'est précisément pour cette raison que j'ai voulu qu'un score de performance affiche ce sur quoi il repose plutôt qu'un nombre nu, ce que fait l'Oshi Score en séparant les dimensions qui le composent.

Les limites, qu'il faut connaître pour ne pas surinterpréter

Elo suppose un adversaire. Il mesure une position relative dans une population, pas une valeur absolue. Une inflation ou une déflation de l'ensemble du classement est possible, et le sujet fait débat aux échecs. Comparer un 2500 de 1980 à un 2500 d'aujourd'hui demande des précautions.

Elo suppose un résultat binaire. Gagné, perdu, nul. Les situations où l'ampleur du résultat compte, ce qui est le cas de toute performance financière, demandent un système différent. Un trader ne fait pas match nul : il gagne 0,3 R ou il perd 2 R, et cette amplitude est l'information principale.

Elo suppose la stationnarité. Il estime un niveau supposé stable à court terme. Face à un joueur en progression rapide, il retarde systématiquement. Le coefficient K est justement le réglage de ce compromis entre réactivité et stabilité, et il n'a pas de valeur optimale universelle.

Ce que j'en retiens pour évaluer quoi que ce soit

• Écrire l'attente avant, sinon on ne mesure que le résultat, jamais la performance.
• Pondérer par ce qu'on sait déjà. Une observation nouvelle sur un dossier bien connu ne vaut pas une observation sur un dossier neuf.
• Publier l'incertitude à côté du nombre. Un chiffre sans son nombre d'observations est une opinion présentée comme une mesure.
• Ne pas confondre le classement et le joueur. Le classement est ce qu'on sait, pas ce qui est.

Arpad Elo lui-même mettait en garde contre l'usage religieux de son système. Il comparait la mesure d'un niveau à la mesure de la position d'un bouchon flottant sur une eau agitée : on peut l'estimer, jamais la fixer.

Écrit par Benjamin Roure L'Hermitte, contrôleur de gestion. J'écris ici sur la finance d'entreprise, les marchés financiers et le jeu d'échecs, trois façons de décider sous contrainte.