Évaluation
Log loss : évaluer une prévision avec un logarithme
La log loss est la moyenne du logarithme naturel négatif de la probabilité qu'une prévision a donnée à l'issue qui s'est produite. Plus elle est basse, mieux c'est : une prévision juste à 100 % obtient 0, un 50 % constant sur une question à deux issues obtient 0,693 et une prévision égale en 1X2 obtient 1,099. Contrairement au score de Brier, la log loss grandit sans limite quand une prévision très confiante se trompe.
Sommaire
Notions clés
- Log loss
- Perte logarithmique, aussi appelée entropie croisée ou score logarithmique. Elle mesure à quel point une prévision a été surprise par le résultat.
- Probabilité de l'issue
- La probabilité que la prévision a donnée à ce qui s'est réellement produit. Si la prévision était p pour « Oui » et que la réponse a été « Non », c'est 1 − p.
- Logarithme naturel
- ln(1) = 0, et ln(p) devient de plus en plus négatif à mesure que p s'approche de 0. Donc −ln(p) grandit à mesure que la prévision s'éloigne du résultat.
Formule
LL = −(1 / N) × Σ ln(p de l'issue observée)Exemple avec quatre prévisions
Les quatre mêmes prévisions que dans le guide sur le score de Brier :
| Prévision | Résultat | p de l'issue | −ln(p) |
|---|---|---|---|
| 0,70 | 1 | 0,70 | 0,3567 |
| 0,20 | 0 | 0,80 | 0,2231 |
| 0,55 | 0 | 0,45 | 0,7985 |
| 0,90 | 1 | 0,90 | 0,1054 |
| Total | 1,4837 |
1,4837 / 4 = 0,3709 → 0,371
Une prévision constante de 50 % sur les quatre mêmes questions obtient ln 2 = 0,693.
La log loss en 1X2
Prévision 1 / X / 2 = 50 % / 30 % / 20 %.
| Résultat du match | Calcul | Log loss |
|---|---|---|
| 1 | −ln 0,5 | 0,693 |
| X | −ln 0,3 | 1,204 |
| 2 | −ln 0,2 | 1,609 |
Une prévision égale de 33,3 % pour chaque issue obtient ln 3 = 1,099 quoi qu'il arrive. Un modèle qui fait en moyenne moins bien que cela en sait moins qu'un choix au hasard.
Log loss ou score de Brier ?
| p de l'issue observée | Log loss | Brier |
|---|---|---|
| 0,90 | 0,1054 | 0,0100 |
| 0,70 | 0,3567 | 0,0900 |
| 0,50 | 0,6931 | 0,2500 |
| 0,30 | 1,2040 | 0,4900 |
| 0,10 | 2,3026 | 0,8100 |
| 0,01 | 4,6052 | 0,9801 |
Le score de Brier a une limite haute, la log loss non : se tromper avec 99 % de confiance coûte 4,6, avec 99,9 % déjà 6,9. Une telle erreur peut gâcher la moyenne de centaines de bonnes prévisions, c'est pourquoi on fixe souvent un plancher aux probabilités avant l'évaluation, par exemple 1 %.
Les deux mesures récompensent une prévision honnête : en moyenne, le meilleur score revient à celui qui annonce la probabilité à laquelle il croit vraiment. Une telle mesure s'appelle une règle de score propre.
La page des performances du modèle IA calcule la log loss avec un plancher de 1 % sur les probabilités. Au 31 octobre 2026, matchs du 1er septembre au 31 octobre 2026 :
| Marché | Cotes sans marge | Modèle IA | Taux de base |
|---|---|---|---|
| 1X2 | 0,990 | 1,047 | 1,068 |
| Plus/moins de 2,5 | 0,668 | 0,690 | 0,689 |
En 1X2, le modèle IA bat le taux de base et le 1,099 égal, mais les cotes sans marge font encore mieux. Les chiffres changent chaque jour sur la page performances du modèle IA.
Limites
- La log loss dépend du nombre d'issues : le 1X2 et les questions à deux issues ne se comparent pas, on ne compare donc que des prévisions du même marché.
- Sans plancher, une prévision de 0 % pour une issue qui se produit donne une log loss infinie.
- Sur un petit échantillon, l'écart entre deux prévisions peut être dû au hasard.
- Une log loss plus basse ne veut pas dire bénéfice chez le bookmaker. Ce sont des statistiques, pas un conseil de pari.
Guides liés
Sources
- Good, I. J. (1952). Rational decisions. Journal of the Royal Statistical Society, Series B, 14(1), 107–114.