Évaluation
Calibration des probabilités : quand se fier aux pourcentages d'un modèle
Une prévision est calibrée quand, parmi tous les événements qui ont reçu 70 % de probabilité, environ 70 % se produisent vraiment. On le vérifie en regroupant les prévisions en tranches de probabilité et en comparant, dans chaque tranche, la prévision moyenne à la fréquence observée. La moyenne pondérée des écarts est l'erreur de calibration attendue (ECE) : plus elle est basse, plus les probabilités sont fiables.
Sommaire
Notions clés
- Calibration
- L'accord entre les probabilités prévues et les fréquences observées. Un modèle est calibré si environ 60 % de ses prévisions à « 60 % » se produisent.
- Courbe de calibration
- Un graphique de la probabilité prévue (à l'horizontale) contre la fréquence observée (à la verticale), tranche par tranche. Pour un modèle calibré, les points sont sur la diagonale. On l'appelle aussi diagramme de fiabilité.
- Tranche
- Un groupe de prévisions de probabilité proche, par exemple tout ce qui est entre 60 % et 70 %.
- ECE
- Erreur de calibration attendue : l'écart entre la prévision et la fréquence dans chaque tranche, pondéré par le nombre de prévisions de la tranche.
- Prévision trop confiante
- Le modèle donne une probabilité plus haute que la fréquence observée de l'issue.
Comment vérifier la calibration ?
- Les prévisions sont regroupées en tranches de probabilité, en général de 10 points de pourcentage.
- Dans chaque tranche, on calcule la prévision moyenne et la fréquence à laquelle l'issue s'est réellement produite.
- Les écarts sont montrés sur une courbe de calibration ou résumés en un seul chiffre, l'ECE.
ECE = Σ (prévisions de la tranche / toutes les prévisions) × |prévision moyenne − fréquence|Mille prévisions réparties en quatre tranches :
| Tranche | Prévision moyenne | Prévisions | Produites | Fréquence | Écart |
|---|---|---|---|---|---|
| 20–30 % | 25 % | 200 | 54 | 27,0 % | 2,0 |
| 40–50 % | 45 % | 300 | 141 | 47,0 % | 2,0 |
| 60–70 % | 65 % | 300 | 177 | 59,0 % | 6,0 |
| 80–90 % | 85 % | 200 | 132 | 66,0 % | 19,0 |
ECE = 0,2 × 2,0 + 0,3 × 2,0 + 0,3 × 6,0 + 0,2 × 19,0 = 6,6 points de pourcentage
Jusqu'à 50 %, le modèle est bien calibré ; au-delà, il est trop confiant : quand il dit 85 %, l'issue se produit 66 % du temps. Le modèle est le plus trop confiant précisément sur les pronostics qui paraissent les plus solides.
Pourquoi la calibration compte dans les paris
La probabilité d'un modèle est comparée à la probabilité implicite des cotes, donc une erreur de calibration devient une erreur de pari.
Un modèle qui dit 85 % considère 1,18 (1 / 0,85) comme la cote juste, donc tout prix au-dessus paraît avoir de la valeur. Si ces pronostics passent en réalité 66 % du temps, la cote juste est de 1,52 (1 / 0,66). Une cote de 1,40 a alors une espérance de gain de 0,66 × 1,40 − 1 = −7,6 %, alors que le modèle voit +19,0 %.
Un modèle mal calibré trouve sans cesse une espérance de gain qui n'existe pas.
Calibration n'est pas précision
Une prévision qui donne à tous les matchs la même probabilité, égale à la fréquence historique (le taux de base), est parfaitement calibrée, mais elle ne distingue pas un match d'un autre. Une bonne prévision doit être calibrée et fine : elle donne des probabilités différentes à des matchs différents, et ces différences sont justes. Le score de Brier et la log loss mesurent les deux propriétés ensemble, une courbe de calibration seulement la première.
Comment calibre-t-on des probabilités ?
Une courbe « prévision → fréquence observée » est apprise sur les prévisions passées, et chaque nouvelle prévision passe par elle. Dans l'exemple ci-dessus, un nouveau 85 % devient environ 66 %.
- La courbe doit être croissante (monotone) : une prévision plus haute ne peut jamais finir sous une prévision plus basse.
- La régression isotonique donne une courbe croissante en escalier, le Platt scaling une courbe logistique lisse.
- La courbe est apprise sur un jeu de données et vérifiée sur des données qu'elle n'a pas vues. Sinon, elle ne fait que mémoriser l'échantillon.
StatsAI calibre ses probabilités séparément pour chaque type de pronostic (1X2, buts, les deux équipes marquent et autres) : la courbe est apprise sur les prévisions réglées des 90 derniers jours, avec au moins 150 prévisions par tranche, elle doit être croissante et elle est mise à jour toutes les 6 heures. Sur la page des performances du modèle IA, la courbe de chaque jour n'est apprise que sur les jours précédents, donc la vérification est hors échantillon.
Au 31 octobre 2026, matchs du 1er septembre au 31 octobre 2026 :
| Marché | Modèle brut | Modèle calibré | Cotes sans marge |
|---|---|---|---|
| 1X2 | 1,3 | 0,6 | 0,7 |
| Plus/moins de 2,5 | 9,6 | 4,6 | 1,7 |
| Les deux marquent | 9,6 | 3,4 | 1,8 |
Le modèle brut était trop confiant sur les buts : quand il donnait environ 83 % à plus de 2,5 buts (472 événements), c'est arrivé 67,8 % du temps. La calibration a réduit l'erreur de plus de moitié, mais les cotes sans marge restent mieux calibrées. Les chiffres changent chaque jour sur la page performances du modèle IA.
Pourquoi une tranche avec peu de prévisions dit peu de chose, et comment se calcule l'intervalle de Wilson, est expliqué dans le guide sur la taille de l'échantillon.
Limites
- La calibration demande un grand échantillon. Une tranche avec peu de prévisions a un intervalle large, donc son écart peut être dû au hasard.
- Un modèle calibré sur un championnat ou une saison ne l'est pas forcément sur un autre, c'est pourquoi la courbe est réapprise régulièrement.
- L'ECE dépend du nombre et de la largeur des tranches, donc les chiffres de sources différentes ne se comparent que s'ils sont calculés de la même façon.
- Une bonne calibration ne veut pas dire bénéfice : les cotes sans marge sont elles aussi bien calibrées, et le bookmaker garde quand même sa marge.
Guides liés
Sources
- Niculescu-Mizil, A., Caruana, R. (2005). Predicting good probabilities with supervised learning. Proceedings of the 22nd International Conference on Machine Learning, 625–632.
- Guo, C., Pleiss, G., Sun, Y., Weinberger, K. Q. (2017). On calibration of modern neural networks. Proceedings of the 34th International Conference on Machine Learning.