Évaluation
Qu'est-ce que le score de Brier et comment le calculer
Le score de Brier est la moyenne du carré de l'écart entre la probabilité prévue et le résultat, où le résultat vaut 1 si l'événement s'est produit et 0 sinon. Plus il est bas, mieux c'est : 0 est une prévision parfaite, et un 50 % constant sur des questions à deux issues obtient 0,25. En 1X2, les carrés sont additionnés sur les trois issues, donc l'échelle va de 0 à 2.
Sommaire
Notions clés
- Prévision
- Une probabilité donnée à l'avance, par exemple 70 % de victoire à domicile.
- Résultat
- 1 si l'événement s'est produit, 0 sinon.
- Score de Brier
- La moyenne du carré de l'écart entre la prévision et le résultat. Plus il est bas, mieux c'est.
- Taux de base
- La fréquence à laquelle l'issue s'est produite jusqu'ici. Une prévision qui donne toujours le taux de base est la référence qu'un modèle doit battre.
La formule
BS = (1 / N) × Σ (p − résultat)²Le carré pénalise les grosses erreurs bien plus que les petites. Se tromper avec 90 % de confiance coûte 0,81, alors que se tromper avec 60 % coûte 0,36.
Exemple avec quatre prévisions
| Prévision | Résultat | (p − résultat)² |
|---|---|---|
| 0,70 | 1 | 0,0900 |
| 0,20 | 0 | 0,0400 |
| 0,55 | 0 | 0,3025 |
| 0,90 | 1 | 0,0100 |
| Total | 0,4425 |
0,4425 / 4 = 0,1106 → 0,111
Une prévision qui dit toujours 50 % sur les quatre mêmes questions obtient (0,5)² = 0,25 sur chacune, donc son score de Brier est de 0,250.
Comparaison à une référence
Le chiffre seul dit peu de chose sans comparaison. C'est pourquoi on calcule l'amélioration par rapport à une référence sur les mêmes événements (Brier skill) :
BSS = 1 − BS(prévision) / BS(référence)1 − 0,1106 / 0,250 = 0,5576 → 55,8 %
Les prévisions de l'exemple sont 55,8 % meilleures qu'un 50 % constant.
Le même calcul apparaît sur la page performances du modèle IA comme l'amélioration du Brier par rapport au taux de base, pour le modèle et pour le marché sans marge.
Le score de Brier du 1X2
Quand un événement a plus de deux issues, les carrés sont additionnés sur toutes. En 1X2, il y a trois termes, donc l'échelle va de 0 à 2.
Prévision 1 / X / 2 = 50 % / 30 % / 20 %.
| Résultat du match | Calcul | Brier |
|---|---|---|
| 1 | (0,5 − 1)² + 0,3² + 0,2² | 0,380 |
| X | 0,5² + (0,3 − 1)² + 0,2² | 0,780 |
| 2 | 0,5² + 0,3² + (0,2 − 1)² | 0,980 |
Une prévision égale de 33,3 % pour chaque issue obtient 0,667 quel que soit le résultat.
La page des performances du modèle IA calcule de la même façon : somme sur les issues, puis moyenne sur les matchs. Selon la même règle, une question à deux issues obtient le double de la formule à probabilité unique : un 50 % constant y obtient 0,500 et non 0,250, et les quatre prévisions de l'exemple obtiennent 0,221. Les rapports mensuels de la page Recherches suivent ce même score de Brier dans le temps.
Le score de Brier mesure à la fois la précision et la calibration. Comment vérifier la calibration seule, tranche par tranche, est expliqué dans Calibration des probabilités, et une mesure qui pénalise beaucoup plus les erreurs commises avec assurance est la log loss.
Sur un petit nombre de prévisions, le score de Brier dépend beaucoup de la chance. Combien de prévisions il faut pour une conclusion fiable est expliqué dans le guide sur la taille de l'échantillon.
Limites
- Le score de Brier dépend de la fréquence de l'issue. Sur des événements rares, même une prévision faible peut obtenir un score bas, c'est pourquoi on le compare à une référence sur les mêmes événements.
- Les chiffres de sources différentes ne se comparent pas si les unes additionnent sur toutes les issues et les autres utilisent une seule probabilité.
- Sur peu de matchs, l'écart entre deux prévisions peut être dû au hasard. C'est pourquoi la page des performances affiche un intervalle à 95 % à côté de l'écart.
- Un bon score de Brier ne veut pas dire bénéfice. Les cotes contiennent déjà l'estimation du marché, donc un modèle doit battre le marché, pas seulement le hasard.
Guides liés
Sources
- Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1), 1–3.