Értékelés
Valószínűség-kalibráció: mikor bízhatunk a modell valószínűségeiben
Egy előrejelzés akkor kalibrált, ha a 70%-os valószínűséget kapott események nagyjából 70%-a valóban bekövetkezik. Ellenőrzéséhez az előrejelzéseket valószínűség szerint sávokba soroljuk, és minden sávban összevetjük az átlagos előrejelzést a tényleges gyakorisággal. A súlyozott átlagos eltérés a várható kalibrációs hiba (ECE): minél kisebb, annál megbízhatóbbak a valószínűségek.
Tartalom
Fogalmak
- Kalibráció
- Az előre jelzett valószínűségek és a tényleges gyakoriságok egyezése. Egy modell kalibrált, ha a „60%”-os tippjeinek nagyjából 60%-a bejön.
- Kalibrációs görbe
- Az előre jelzett valószínűség (vízszintesen) és a tényleges gyakoriság (függőlegesen) sávonként. Kalibrált modellnél a pontok az átlón fekszenek. Megbízhatósági diagramnak (reliability diagram) is nevezik.
- Sáv
- Hasonló valószínűségű előrejelzések csoportja, például minden 60% és 70% között.
- ECE
- Várható kalibrációs hiba (expected calibration error): az előrejelzés és a gyakoriság eltérése sávonként, a sávban lévő előrejelzések számával súlyozva.
- Túl magabiztos előrejelzés
- A modell nagyobb valószínűséget ad, mint amilyen gyakran a kimenetel ténylegesen bekövetkezik.
Hogyan ellenőrizhető a kalibráció?
- Az előrejelzéseket valószínűség szerint sávokba soroljuk, többnyire 10 százalékpontos szélességben.
- Minden sávban kiszámoljuk az átlagos előrejelzést és azt, hogy a kimenetel milyen gyakran következett be.
- Az eltéréseket kalibrációs görbén ábrázoljuk, vagy egyetlen számmá, az ECE-vé adjuk össze.
ECE = Σ (előrejelzések a sávban / összes előrejelzés) × |átlagos előrejelzés − gyakoriság|Ezer előrejelzés négy sávban:
| Sáv | Átlagos előrejelzés | Előrejelzés | Bekövetkezett | Gyakoriság | Eltérés |
|---|---|---|---|---|---|
| 20–30% | 25% | 200 | 54 | 27,0% | 2,0 |
| 40–50% | 45% | 300 | 141 | 47,0% | 2,0 |
| 60–70% | 65% | 300 | 177 | 59,0% | 6,0 |
| 80–90% | 85% | 200 | 132 | 66,0% | 19,0 |
ECE = 0,2 × 2,0 + 0,3 × 2,0 + 0,3 × 6,0 + 0,2 × 19,0 = 6,6 százalékpont
50%-ig a modell jól kalibrált, felette túl magabiztos: ha 85%-ot mond, a kimenetel az esetek 66%-ában következik be. A legnagyobb túlzás éppen azoknál a tippeknél van, amelyek a legerősebbnek látszanak.
Miért fontos a kalibráció a fogadásban?
A modell valószínűségét az odds implicit valószínűségével vetjük össze, így a kalibrációs hiba fogadási hibává válik.
Az a modell, amely 85%-ot mond, az 1,18-as oddsot (1 / 0,85) tartja fair oddsnak, így minden ennél magasabb odds értékesnek látszik. Ha az ilyen tippek valójában 66%-ban jönnek be, a fair odds 1,52 (1 / 0,66). Az 1,40-es odds várható értéke ekkor 0,66 × 1,40 − 1 = −7,6%, holott a modell +19,0%-ot lát.
A rosszul kalibrált modell folyton olyan várható értéket talál, amely valójában nincs ott.
A kalibráció nem pontosság
Az az előrejelzés, amely minden meccsre ugyanazt, a történeti gyakoriságnak (alaprátának) megfelelő valószínűséget adja, tökéletesen kalibrált, de nem tud különbséget tenni a meccsek között. A jó előrejelzésnek kalibráltnak és élesnek is kell lennie: a különböző meccsekre különböző valószínűséget ad, és ezek a különbségek helytállóak. A Brier-pontszám és a log loss a két tulajdonságot együtt méri, a kalibrációs görbe csak az elsőt.
Hogyan kalibrálják a valószínűségeket?
Korábbi előrejelzéseken megtanulunk egy „előrejelzés → tényleges gyakoriság” görbét, és minden új előrejelzést átvezetünk rajta. A fenti példában egy új 85% körülbelül 66%-ká válik.
- A görbének növekvőnek (monotonnak) kell lennie: egy nagyobb előrejelzés soha nem kerülhet egy kisebb alá.
- Az izotonikus regresszió lépcsős növekvő görbét ad, a Platt-skálázás sima logisztikus görbét.
- A görbét az adatok egy részén tanítjuk, és olyan adatokon ellenőrizzük, amelyeket nem látott. Különben csak megjegyzi a mintát.
A StatsAI minden tipptípusra (1X2, gólok, GG/NG és a többi) külön kalibrálja a valószínűségeit: a görbét az elmúlt 90 nap lezárt előrejelzéseiből tanulja, sávonként legalább 150 előrejelzéssel, a görbének növekvőnek kell lennie, és 6 óránként frissül. Az AI modell teljesítménye oldalon minden nap görbéje csak a korábbi napokból tanul, így az ellenőrzés mintán kívüli.
- október 31-i állapot, a 2026. szeptember 1. és október 31. közötti meccsek:
| Piac | Nyers modell | Kalibrált modell | Árrés nélküli odds |
|---|---|---|---|
| 1X2 | 1,3 | 0,6 | 0,7 |
| Gólok 2,5 felett/alatt | 9,6 | 4,6 | 1,7 |
| GG/NG | 9,6 | 3,4 | 1,8 |
A nyers modell a gólokra túl magabiztos volt: amikor nagyjából 83%-ot adott a 2,5 gól felettire (472 esemény), az 67,8%-ban jött be. A kalibráció több mint felére csökkentette a hibát, de az árrés nélküli odds még mindig jobban kalibrált. A számok naponta változnak Az AI modell teljesítménye oldalon.
Korlátok
- A kalibrációhoz nagy minta kell. A kevés előrejelzést tartalmazó sávnak széles az intervalluma, így az eltérése lehet a véletlen műve.
- Az egy ligán vagy idényen kalibrált modell nem feltétlenül kalibrált egy másikon, ezért a görbét rendszeresen újratanítják.
- Az ECE a sávok számától és szélességétől függ, így a különböző forrásokból származó számok csak azonos számítási mód mellett vethetők össze.
- A jó kalibráció nem jelent nyereséget: az árrés nélküli odds is jól kalibrált, a fogadóiroda mégis megtartja az árrését.
Kapcsolódó útmutatók
Források
- Niculescu-Mizil, A., Caruana, R. (2005). Predicting good probabilities with supervised learning. Proceedings of the 22nd International Conference on Machine Learning, 625–632.
- Guo, C., Pleiss, G., Sun, Y., Weinberger, K. Q. (2017). On calibration of modern neural networks. Proceedings of the 34th International Conference on Machine Learning.