Evaluacija
Šta je Brier skor i kako se računa
Brier skor je prosečan kvadrat razlike između procenjene verovatnoće i ishoda, gde je ishod 1 ako se događaj desio, a 0 ako nije. Niže je bolje: 0 je savršena prognoza, a stalna procena od 50% na pitanjima sa dva ishoda daje 0,25. Za 1X2 se kvadrati sabiraju po sva tri ishoda, pa je raspon od 0 do 2.
Sadržaj
Pojmovi
- Prognoza
- Verovatnoća data unapred, na primer 70% da domaćin pobedi.
- Ishod
- 1 ako se događaj desio, 0 ako nije.
- Brier skor
- Prosečan kvadrat razlike između prognoze i ishoda. Niže je bolje.
- Osnovna stopa
- Koliko se često ishod dešavao ranije. Prognoza koja uvek daje osnovnu stopu je referenca koju model treba da pobedi.
Formula
BS = (1 / N) × Σ (p − ishod)²Kvadrat kažnjava velike greške mnogo više od malih. Promašaj sa 90% sigurnosti košta 0,81, a promašaj sa 60% košta 0,36.
Primer sa četiri prognoze
| Prognoza | Ishod | (p − ishod)² |
|---|---|---|
| 0,70 | 1 | 0,0900 |
| 0,20 | 0 | 0,0400 |
| 0,55 | 0 | 0,3025 |
| 0,90 | 1 | 0,0100 |
| Zbir | 0,4425 |
0,4425 / 4 = 0,1106 → 0,111
Prognoza koja na ista četiri pitanja uvek kaže 50% ima (0,5)² = 0,25 za svaku stavku, pa je njen Brier 0,250.
Poređenje sa referencom
Sam broj malo govori bez poređenja. Zato se računa koliko je prognoza bolja od reference na istim događajima (Brier skill):
BSS = 1 − BS(prognoza) / BS(referenca)1 − 0,1106 / 0,250 = 0,5576 → 55,8%
Prognoze iz primera su 55,8% bolje od stalnih 50%.
Isti račun stoji na strani Učinak AI modela kao poboljšanje Brier-a u odnosu na osnovnu stopu, za model i za tržište bez marže.
Brier za 1X2
Kad događaj ima više ishoda, kvadrati se sabiraju po svim ishodima. Za 1X2 to su tri sabirka, pa je raspon od 0 do 2.
Prognoza 1 / X / 2 = 50% / 30% / 20%.
| Ishod meča | Računica | Brier |
|---|---|---|
| 1 | (0,5 − 1)² + 0,3² + 0,2² | 0,380 |
| X | 0,5² + (0,3 − 1)² + 0,2² | 0,780 |
| 2 | 0,5² + 0,3² + (0,2 − 1)² | 0,980 |
Ravnomerna prognoza od 33,3% za svaki ishod daje 0,667, bez obzira na ishod.
Ovako računa i strana Učinak AI modela: zbir po ishodima, pa prosek po mečevima. Po istom pravilu pitanje sa dva ishoda daje dvostruko veći broj nego formula sa jednom verovatnoćom: stalnih 50% je tamo 0,500, a ne 0,250, a četiri prognoze iz primera daju 0,221. Mesečni izveštaji u Istraživanjima koriste isti Brier kroz vreme.
Ograničenja
- Brier zavisi od toga koliko je ishod čest. Na retkim događajima i slaba prognoza može da ima nizak Brier, pa se poredi sa referencom na istim događajima.
- Brojevi iz različitih izvora nisu uporedivi ako jedni sabiraju po svim ishodima, a drugi koriste jednu verovatnoću.
- Na malom broju mečeva razlika između dve prognoze može da bude slučajna. Strana Učinak zato uz razliku prikazuje i interval od 95%.
- Dobar Brier ne znači zaradu. Kvote već sadrže procenu tržišta, pa model mora da bude bolji od tržišta, a ne samo od slučaja.
Povezani vodiči
Izvori
- Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1), 1–3.