Evaluacija
Log loss: kako se prognoza ocenjuje logaritmom
Log loss je prosečan negativan prirodni logaritam verovatnoće koju je prognoza dala ishodu koji se desio. Niže je bolje: tačna prognoza od 100% daje 0, stalnih 50% na pitanju sa dva ishoda daje 0,693, a ravnomerna 1X2 prognoza 1,099. Za razliku od Brier skora, log loss raste bez granice kad prognoza sa velikom sigurnošću promaši.
Sadržaj
Pojmovi
- Log loss
- Logaritamski gubitak, poznat i kao unakrsna entropija (cross-entropy) ili logaritamski skor. Meri koliko je prognoza bila iznenađena ishodom.
- Verovatnoća ishoda
- Verovatnoća koju je prognoza dala onome što se stvarno desilo. Ako je prognoza p za „Da“, a desilo se „Ne“, to je 1 − p.
- Prirodni logaritam
- ln(1) = 0, a ln(p) je sve negativniji kako p ide ka 0. Zato −ln(p) raste što je prognoza bila dalje od ishoda.
Formula
LL = −(1 / N) × Σ ln(p ishoda koji se desio)Primer sa četiri prognoze
Iste četiri prognoze kao u vodiču Brier skor:
| Prognoza | Ishod | p ishoda | −ln(p) |
|---|---|---|---|
| 0,70 | 1 | 0,70 | 0,3567 |
| 0,20 | 0 | 0,80 | 0,2231 |
| 0,55 | 0 | 0,45 | 0,7985 |
| 0,90 | 1 | 0,90 | 0,1054 |
| Zbir | 1,4837 |
1,4837 / 4 = 0,3709 → 0,371
Stalna prognoza od 50% na ista četiri pitanja daje ln 2 = 0,693.
Log loss za 1X2
Prognoza 1 / X / 2 = 50% / 30% / 20%.
| Ishod meča | Računica | Log loss |
|---|---|---|
| 1 | −ln 0,5 | 0,693 |
| X | −ln 0,3 | 1,204 |
| 2 | −ln 0,2 | 1,609 |
Ravnomerna prognoza od 33,3% za svaki ishod daje ln 3 = 1,099, bez obzira na ishod. Model koji je u proseku iznad toga zna manje od nasumičnog pogađanja.
Log loss ili Brier skor?
| p ishoda koji se desio | Log loss | Brier |
|---|---|---|
| 0,90 | 0,1054 | 0,0100 |
| 0,70 | 0,3567 | 0,0900 |
| 0,50 | 0,6931 | 0,2500 |
| 0,30 | 1,2040 | 0,4900 |
| 0,10 | 2,3026 | 0,8100 |
| 0,01 | 4,6052 | 0,9801 |
Brier ima gornju granicu, a log loss nema: promašaj sa 99% sigurnosti košta 4,6, a sa 99,9% već 6,9. Jedna takva greška može da pokvari prosek stotina dobrih prognoza, pa se verovatnoće pre računanja često ograniče, na primer na najmanje 1%.
Oba skora nagrađuju iskrenu prognozu: u proseku najbolji rezultat dobija onaj ko kaže verovatnoću u koju zaista veruje. Takav skor se zove pravilan (proper scoring rule).
Strana Učinak AI modela računa log loss sa verovatnoćom ograničenom na najmanje 1%. Stanje 31. 10. 2026, mečevi od 1. 9. do 31. 10. 2026:
| Tržište | Kvote bez marže | AI model | Osnovna stopa |
|---|---|---|---|
| 1X2 | 0,990 | 1,047 | 1,068 |
| Golovi 2,5 | 0,668 | 0,690 | 0,689 |
Na 1X2 AI model je bolji od osnovne stope i od ravnomernih 1,099, ali su kvote bez marže još bolje. Brojevi se menjaju svakog dana na strani Učinak AI modela.
Ograničenja
- Log loss zavisi od broja ishoda: 1X2 i pitanja sa dva ishoda nisu uporediva, pa se porede samo prognoze za isto tržište.
- Bez donje granice za verovatnoću, jedna prognoza od 0% za ishod koji se desi daje beskonačan log loss.
- Na malom uzorku razlika između dve prognoze može da bude slučajna.
- Niži log loss ne znači zaradu na kladionici. Ovo je statistika, ne savet za klađenje.
Povezani vodiči
Izvori
- Good, I. J. (1952). Rational decisions. Journal of the Royal Statistical Society, Series B, 14(1), 107–114.