Comments / New

Pourquoi les statistiques fines se trompent-elles (parfois!)?

[Suite de l’épisode précédent…]

“Les statistiques sont comme les maillots de bain: elles révèlent ce qui est suggestif… et cachent ce qui est vital”!

Par définition, les chiffres sont des données, qui peuvent être établies et vérifiées. Cependant, il ne faut pas surestimer leur pouvoir. Les prédictions qu’on développe, sur la base de données concrètes, dépendent de conditions qui ne sont hélas! pas toujours remplies… ou respectées.

Car si les chiffres sont des données, les inférences que l’on peut en tirer sont, elles, sujettes à caution. D’abord, parce qu’un indice pris isolément n’offre qu’une perspective partielle et limitée, qui ne peut fonder une évaluation crédible : rien n’est plus dangereux que l’usage sélectif des statistiques. Un indice, tout révélateur soit-il, ne suffit pas à opérer une bonne qualification: il faut utiliser un faisceau d’indicateurs concordants pour bien indiquer la voie à suivre. Les statisticiens sont d’ailleurs les premiers à le reconnaître, et ne cessent de développer des instruments capables de raffiner la perspective et de mieux intégrer le contexte dans leur analyse.

Ensuite, et surtout, la valeur des statistiques dépend largement d’un échantillonnage suffisant.

Le problème de l’échantillonnage limité

Les inférences statistiques sont tirées à partir de la répétition d’événements similaires. Plus le nombre d’instances observées est élevé, plus les résultats obtenus donneront une image fiable de la situation… et plus la probabilité de réalisation des prédictions qui en découlent grandira. Inversement, un éventail trop limité ne permet pas de formuler des prédictions suffisamment robustes pour qu’on puisse s’y fier. Ce problème que l’on rencontre souvent au hockey est celui de l’échantillonnage limité (small sample size).

Chacun sait que la production d’un joueur lors de ses 10 premiers matchs, par exemple, ne permet pas d’évaluer sa productivité future. Un échantillon (beaucoup) plus important est nécessaire afin de former une prétention valide. Or, pour un grand nombre de statistiques, dont celles fondées sur les buts, une seule saison représente un échantillon trop limité pour être significatif. La manipulation de ces données demande donc une grande circonspection, et la réitération est un moyen de s’assurer que les tendances alléguées sont raisonnablement susceptibles de se prolonger dans le temps (pas infaillibles, mais “sustainable”).

Un exemple? en 2008-09, Matt d’Agostini a compilé une fiche de 12 buts en 53 matchs. Cependant, 6 de ces 12 buts ont été comptés à ses 10 premiers matchs. Était-il raisonnable de s’attendre, sur cette base, à ce que d’Agostini devienne un compteur de 48 buts? ou, à plus forte raison, qu’il répète ce résultat tout au long de sa carrière? Le CH et les Blues en doutent.

Un échantillon trop limité, jouxté à la ” vérité ” intrinsèque des chiffres, induit souvent partisans et commentateurs en erreur en leur faisant croire qu’une tendance circonstancielle peut être viable à long terme. Ce problème est multiplié lorsqu’on nous sert, comme trop souvent, des statistiques fondées sur une tranche de matchs totalement arbitraire (les 10, 12, 25 derniers, par exemple), ou pire encore, lorsqu’on nous ressort le fameux “lors des X derniers affrontements entre les deux équipes”, ce qui est statistiquement (et pratiquement!) insignifiant mais fascine néanmoins toujours autant les “spécialistes”.

Il en résulte généralement des attentes exagérées et une mauvaise évaluation de la valeur réelle des ressources d’une équipe ou d’un joueur (notamment suite à un ” départ canon “, ou lors d’une léthargie). Une perspective ainsi faussée peut même pousser la direction d’une équipe à réagir à un problème qui n’existe pas. Ainsi, pour raviver un avantage numérique qui, statistiquement, ne souffrait que d’un taux anormalement bas de réussite sur tirs tentés, l’ex-DG Pierre Gauthier a cru nécessaire et urgent d’acquérir un spécialiste offensif… et Tomas Kaberle s’est amené à Montréal: une solution fantôme à un problème qui ne l’était pas moins. Vu les raisons alléguées, on pourrait d’ailleurs en dire autant du congédiement de Jacques Martin…

“Tout peut arriver en séries…”

Une autre circonstance où les estimations statistiques peuvent se fourvoyer? Les séries éliminatoires, évidemment. Sauf à regarder le parcours d’un Henri Richard, la “performance en séries” d’Untel est basée sur un nombre d’événements beaucoup trop limité pour qu’on puisse en tirer des conclusions fermes quant à sa productivité future : n’en déplaise à Daniel Brière, en séries, le passé n’est certainement pas garant de l’avenir…

Posez la question à Jaroslav Halak, Joel Ward ou Sean Bergenheim, pour voir!

Par ailleurs, la persistance plausible d’une tendance donnée perd singulièrement de son sens sur un espace de 4 à 7 matchs. Ainsi, selon le décompte d’Olivier, Ottawa a marqué 13 buts sur 59 chances de compter pour vaincre le CH ce printemps (contre 6 buts en 75 chances tricolores!). Or, un taux collectif de conversion de 22% n’est pas viable à long terme… mais il n’y a justement pas de long terme en séries. Son verdict: “Anderson (…) a été fumant et c’est l’histoire de la série, point barre.” Dame Chance a donc souri aux Sénateurs, ou, si vous préférez, “la puck a roulé pour eux autres” !

On rencontre d’ailleurs ce problème d’échantillonnage plus particulièrement en ce qui concerne l’évaluation des gardiens de but. En effet, leurs statistiques sur une seule saison régulière se sont avérées peu fiables. Il faut en général récolter l’équivalent de 3000 tirs à forces égales avant de pouvoir tirer des conclusions relatives à la qualité d’un cerbère: en 2011-12, le gardien le plus bombardé, Pekka Rinne, en a reçu 1831.

Ceci se réalise à plus forte raison en séries. Ainsi, en 30 matchs éparpillés sur 5 ans, Carey Price n’a reçu que 705 tirs à forces égales, ce qui est largement insuffisant pour avancer une conclusion. C’est dire que se baser sur sa fin de saison (piètre, certes, mais à partir de quand la calcule-t-on?) ou pire, sur “son histoire en séries” pour jauger de sa valeur future est, pour parler franc, parfaitement ridicule.

Le problème des unités spéciales

Les statistiques fines s’intéressent avant tout aux situations de jeu à forces égales, qui sont, après tout, la phase ” normale ” de jeu (reléguant le reste aux unités ” spéciales “). Or, comme l’indique notre collègue Olivier Bouchard, un pionnier des statistiques fines en français : “Il est hasardeux, sinon carrément erroné de mélanger les situations de 5 contre 5 aux autres situations. (…) Le jeu à 5 contre 5 se distingue fondamentalement des autres phases du jeu par le fait qu’il s’agit d’une bataille constante pour la possession de la rondelle et du territoire. “

Ceci n’empêche pas les équipes de recourir à des joueurs dont la valeur s’exprime (ou est censée s’exprimer) au sein des unités spéciales : le ” quart-arrière ” et le ” tireur d’élite ” à la ligne bleue, le ” tueur de punitions “, etc. En toute logique, ces qualités ne peuvent être correctement quantifiées qu’à partir des statistiques recueillies en situation d’avantage ou de désavantage numérique.

Or, ces situations se présentent à des intervalles si peu fréquents au cours d’une saison complète que les chiffres obtenus constituent un échantillon trop faible pour être fiables (pour les meneurs de la ligue, environ un quart à un tiers des minutes jouées à forces égales, soit l’équivalent d’une vingtaine de matchs). Ceci signifie que les résultats sont affectés en grande partie par des éléments incontrôlables que l’on peut décrire par un mot honni des fans : la chance. On y reviendra.

Si les statistiques en unités spéciales ne sont pas séparées des chiffres à forces égales, une variation est introduite et les conclusions qu’on peut en tirer sont faussées, ce qui est d’autant plus vrai en ce qui concerne les gardiens. Il est donc normal de voir les amateurs de statistiques fines concentrer leurs efforts sur les phases de jeu à forces égales (voir à cinq contre cinq seulement), puisque c’est là qu’on peut obtenir des données suffisamment abondantes pour autoriser la formulation de prédictions raisonnables.

Est-ce à dire qu’il est impossible d’identifier les joueurs susceptibles de jouer un rôle clé dans les unités spéciales? Certes non. Mais ce ne sont pas les chiffres qui permettront de bien fonder la distinction… et il se peut que la différence entre joueurs ne soit pas aussi statistiquement significative que l’on ne pourrait croire. Après tout, la mode n’est-elle pas à l’usage d’éléments offensifs d’élite en désavantage numérique?

En tout état de cause, la force réelle d’une équipe et les qualités d’un joueur sur lesquelles on peut compter s’expriment, à long terme, par le biais de leur jeu à forces égales. C’est aussi pourquoi il faut être prudent avant de tirer d’une série d’événements des conclusions bien arrêtées. Trop peu d’analystes savent apprécier à sa juste valeur l’impact de la chance sur les résultats à court terme…. et le dire.


Support Habs Eyes On The Prize by signing up for Norton 360