Értékelés
Log loss: az előrejelzés értékelése logaritmussal
A log loss annak a valószínűségnek az átlagolt negatív természetes logaritmusa, amelyet az előrejelzés a ténylegesen bekövetkezett kimenetelnek adott. Minél alacsonyabb, annál jobb: a helyes 100%-os előrejelzés 0, a kétkimenetelű kérdésre adott állandó 50% 0,693, az egyenletes 1X2 előrejelzés pedig 1,099. A Brier-pontszámmal ellentétben a log loss határ nélkül nő, ha egy magabiztos előrejelzés téved.
Tartalom
Fogalmak
- Log loss
- Logaritmikus veszteség, más néven keresztentrópia vagy logaritmikus pontszám. Azt méri, mennyire lepte meg az előrejelzést a kimenetel.
- A kimenetel valószínűsége
- Az a valószínűség, amelyet az előrejelzés a ténylegesen bekövetkezett kimenetelnek adott. Ha az előrejelzés p volt az „Igen”-re, és a válasz „Nem” lett, akkor ez 1 − p.
- Természetes logaritmus
- ln(1) = 0, és ln(p) annál negatívabb, minél közelebb van p a 0-hoz. Ezért a −ln(p) annál nagyobb, minél messzebb volt az előrejelzés a kimeneteltől.
A képlet
LL = −(1 / N) × Σ ln(a bekövetkezett kimenetel p-je)Példa négy előrejelzéssel
Ugyanaz a négy előrejelzés, mint a Brier-pontszámról szóló útmutatóban:
| Előrejelzés | Kimenetel | A kimenetel p-je | −ln(p) |
|---|---|---|---|
| 0,70 | 1 | 0,70 | 0,3567 |
| 0,20 | 0 | 0,80 | 0,2231 |
| 0,55 | 0 | 0,45 | 0,7985 |
| 0,90 | 1 | 0,90 | 0,1054 |
| Összesen | 1,4837 |
1,4837 / 4 = 0,3709 → 0,371
Az állandó 50%-os előrejelzés ugyanarra a négy kérdésre ln 2 = 0,693-at kap.
Log loss 1X2-re
Előrejelzés 1 / X / 2 = 50% / 30% / 20%.
| A meccs eredménye | Számítás | Log loss |
|---|---|---|
| 1 | −ln 0,5 | 0,693 |
| X | −ln 0,3 | 1,204 |
| 2 | −ln 0,2 | 1,609 |
Az egyenletes, kimenetelenként 33,3%-os előrejelzés az eredménytől függetlenül ln 3 = 1,099. Az a modell, amely átlagosan ennél rosszabb, kevesebbet tud a véletlen tippnél.
Log loss vagy Brier-pontszám?
| A bekövetkezett kimenetel p-je | Log loss | Brier |
|---|---|---|
| 0,90 | 0,1054 | 0,0100 |
| 0,70 | 0,3567 | 0,0900 |
| 0,50 | 0,6931 | 0,2500 |
| 0,30 | 1,2040 | 0,4900 |
| 0,10 | 2,3026 | 0,8100 |
| 0,01 | 4,6052 | 0,9801 |
A Brier-pontszámnak van felső határa, a log lossnak nincs: egy 99%-os magabiztossággal elhibázott előrejelzés 4,6-ba kerül, egy 99,9%-os már 6,9-be. Egyetlen ilyen hiba elronthatja több száz jó előrejelzés átlagát, ezért a valószínűségeket értékelés előtt gyakran alulról korlátozzák, például 1%-nál.
Mindkét pontszám a becsületes előrejelzést jutalmazza: átlagosan az kapja a legjobb pontszámot, aki azt a valószínűséget mondja, amelyben valóban hisz. Az ilyen pontszámot helyes pontozási szabálynak (proper scoring rule) nevezik.
Az AI modell teljesítménye oldal a log losst 1%-nál alulról korlátozott valószínűségekkel számolja. 2026. október 31-i állapot, a 2026. szeptember 1. és október 31. közötti meccsek:
| Piac | Árrés nélküli odds | AI modell | Alapráta |
|---|---|---|---|
| 1X2 | 0,990 | 1,047 | 1,068 |
| Gólok 2,5 felett/alatt | 0,668 | 0,690 | 0,689 |
1X2-n az AI modell megveri az alaprátát és az egyenletes 1,099-et, de az árrés nélküli odds még jobb. A számok naponta változnak Az AI modell teljesítménye oldalon.
Korlátok
- A log loss a kimenetelek számától függ: az 1X2 és a kétkimenetelű kérdések nem vethetők össze, ezért csak ugyanazon piac előrejelzéseit hasonlítjuk össze.
- Korlát nélkül egyetlen 0%-os előrejelzés egy bekövetkező kimenetelre végtelen log losst ad.
- Kis mintán két előrejelzés különbsége lehet a véletlen műve.
- Az alacsonyabb log loss nem jelent nyereséget a fogadóirodánál. Ez statisztika, nem fogadási tanács.
Kapcsolódó útmutatók
Források
- Good, I. J. (1952). Rational decisions. Journal of the Royal Statistical Society, Series B, 14(1), 107–114.