Értékelés
Mi a Brier-pontszám, és hogyan számítható ki
A Brier-pontszám az előre jelzett valószínűség és a kimenetel különbsége négyzetének átlaga, ahol a kimenetel 1, ha az esemény bekövetkezett, és 0, ha nem. Minél alacsonyabb, annál jobb: a 0 tökéletes előrejelzés, a kétkimenetelű kérdésekre adott állandó 50% pedig 0,25. 1X2-nél a négyzeteket mindhárom kimenetelre összeadjuk, így a tartomány 0 és 2 között van.
Tartalom
Fogalmak
- Előrejelzés
- Előre megadott valószínűség, például 70%, hogy a hazai csapat nyer.
- Kimenetel
- 1, ha az esemény bekövetkezett, 0, ha nem.
- Brier-pontszám
- Az előrejelzés és a kimenetel különbsége négyzetének átlaga. Minél alacsonyabb, annál jobb.
- Alapráta
- Milyen gyakran következett be korábban a kimenetel. Az alaprátát mindig megadó előrejelzés az a referencia, amelyet egy modellnek meg kell vernie.
A képlet
BS = (1 / N) × Σ (p − kimenetel)²A négyzetre emelés a nagy hibákat sokkal jobban bünteti, mint a kicsiket. Egy 90%-os magabiztossággal elhibázott előrejelzés 0,81-be kerül, egy 60%-os pedig 0,36-ba.
Példa négy előrejelzéssel
| Előrejelzés | Kimenetel | (p − kimenetel)² |
|---|---|---|
| 0,70 | 1 | 0,0900 |
| 0,20 | 0 | 0,0400 |
| 0,55 | 0 | 0,3025 |
| 0,90 | 1 | 0,0100 |
| Összesen | 0,4425 |
0,4425 / 4 = 0,1106 → 0,111
Az az előrejelzés, amely ugyanarra a négy kérdésre mindig 50%-ot mond, mindegyiknél (0,5)² = 0,25-öt kap, így a Brier-pontszáma 0,250.
Összevetés referenciával
A szám összevetés nélkül keveset mond. Ezért kiszámoljuk, mennyivel jobb az előrejelzés egy referenciánál ugyanazokon az eseményeken (Brier skill):
BSS = 1 − BS(előrejelzés) / BS(referencia)1 − 0,1106 / 0,250 = 0,5576 → 55,8%
A példa előrejelzései 55,8%-kal jobbak az állandó 50%-nál.
Ugyanez a számítás szerepel Az AI modell teljesítménye oldalon Brier-javulásként az alaprátához képest, a modellre és az árrés nélküli piacra is.
Az 1X2 Brier-pontszám
Ha egy eseménynek kettőnél több kimenetele van, a négyzeteket mindegyikre összeadjuk. 1X2-nél ez három tag, így a tartomány 0 és 2 között van.
Előrejelzés 1 / X / 2 = 50% / 30% / 20%.
| A meccs eredménye | Számítás | Brier |
|---|---|---|
| 1 | (0,5 − 1)² + 0,3² + 0,2² | 0,380 |
| X | 0,5² + (0,3 − 1)² + 0,2² | 0,780 |
| 2 | 0,5² + 0,3² + (0,2 − 1)² | 0,980 |
Az egyenletes, kimenetelenként 33,3%-os előrejelzés az eredménytől függetlenül 0,667.
Az AI modell teljesítménye oldal is így számol: összeg a kimenetelekre, majd átlag a meccsekre. Ugyanezzel a szabállyal egy kétkimenetelű kérdés kétszer akkora számot ad, mint az egyetlen valószínűséggel számoló képlet: az állandó 50% ott 0,500, nem 0,250, a példa négy előrejelzése pedig 0,221. A Kutatások havi jelentései ugyanezt a Brier-pontszámot követik időben.
Korlátok
- A Brier-pontszám attól is függ, milyen gyakori a kimenetel. Ritka eseményeknél egy gyenge előrejelzés is kaphat alacsony pontszámot, ezért ugyanazokon az eseményeken referenciához mérjük.
- A különböző forrásokból származó számok nem vethetők össze, ha egyesek minden kimenetelre összegeznek, mások pedig egyetlen valószínűséget használnak.
- Kevés meccsen két előrejelzés különbsége lehet a véletlen műve. A teljesítményoldal ezért a különbség mellett 95%-os intervallumot is mutat.
- A jó Brier-pontszám nem jelent nyereséget. Az odds már tartalmazza a piac becslését, ezért a modellnek a piacot kell megvernie, nem csak a véletlent.
Kapcsolódó útmutatók
Források
- Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1), 1–3.