Evaluacija

Kalibracija verovatnoće: kada su procene modela pouzdane

Srednji nivo3 min čitanjaObjavljeno 2. 11. 2026.

Prognoza je kalibrisana kada se od svih događaja kojima je data verovatnoća 70% stvarno desi oko 70%. Proverava se tako što se prognoze podele u korpe po proceni i u svakoj korpi uporedi prosečna procena sa stvarnom učestalošću. Prosečna razlika, ponderisana brojem prognoza, zove se ECE: što je manja, procene su pouzdanije.

Sadržaj

Pojmovi
Kako se proverava kalibracija?
Zašto je kalibracija važna za klađenje?
Kalibracija nije isto što i tačnost
Kako se prognoza kalibriše?
Ograničenja
Povezani vodiči
Izvori

Pojmovi

Kalibracija: Slaganje procenjenih verovatnoća sa stvarnom učestalošću. Model je kalibrisan ako se od svih „60%“ desi oko 60%.
Kriva kalibracije: Grafik procene (vodoravno) i stvarne učestalosti (uspravno), korpu po korpu. Kod kalibrisanog modela tačke leže na dijagonali. Zove se i dijagram pouzdanosti (reliability diagram).
Korpa: Grupa prognoza sa sličnom procenom, na primer sve između 60% i 70%.
ECE: Očekivana greška kalibracije (expected calibration error): razlika između procene i učestalosti po korpama, ponderisana brojem prognoza u korpi.
Precenjena prognoza: Model daje veću verovatnoću nego što se ishod stvarno dešava. Takav model je previše samouveren.

Kako se proverava kalibracija?

Prognoze se podele u korpe po proceni, obično po 10 procentnih poena.
U svakoj korpi se izračuna prosečna procena i koliko puta se ishod stvarno desio.
Razlike se pokažu na krivoj kalibracije ili saberu u jedan broj, ECE.

FormulaECE = Σ (prognoza u korpi / sve prognoze) × |prosečna procena − učestalost|

Matematički primer

Hiljadu prognoza u četiri korpe:

Razlika u procentnim poenima
Korpa	Prosečna procena	Prognoza	Desilo se	Učestalost	Razlika
20–30%	25%	200	54	27,0%	2,0
40–50%	45%	300	141	47,0%	2,0
60–70%	65%	300	177	59,0%	6,0
80–90%	85%	200	132	66,0%	19,0

ECE = 0,2 × 2,0 + 0,3 × 2,0 + 0,3 × 6,0 + 0,2 × 19,0 = 6,6 procentnih poena

Do 50% model je dobro kalibrisan, a iznad toga je precenjen: kad kaže 85%, ishod se desi u 66% slučajeva. Model je previše samouveren upravo kod tipova koji izgledaju najsigurnije.

Zašto je kalibracija važna za klađenje?

Procena modela se poredi sa verovatnoćom iz kvote, pa greška u kalibraciji postaje greška u odluci.

Matematički primer

Model koji kaže 85% smatra fer kvotu 1,18 (1 / 0,85), pa mu svaka kvota iznad nje izgleda kao vrednost. Ako se takvi tipovi stvarno dešavaju u 66% slučajeva, fer kvota je 1,52 (1 / 0,66). Kvota 1,40 tada ima očekivanu vrednost 0,66 × 1,40 − 1 = −7,6%, iako modelu izgleda kao +19,0%.

Nekalibrisan model tako sistematski pronalazi očekivanu vrednost koje nema.

Kalibracija nije isto što i tačnost

Prognoza koja svakom meču daje istu verovatnoću, jednaku istorijskoj učestalosti (osnovna stopa), savršeno je kalibrisana, ali ne razlikuje mečeve. Dobra prognoza mora da bude i kalibrisana i oštra: da daje različite verovatnoće različitim mečevima i da su te razlike tačne. Brier skor i log loss mere oba svojstva zajedno, a kriva kalibracije samo prvo.

Kako se prognoza kalibriše?

Na prošlim prognozama se nauči kriva „procena → stvarna učestalost“, pa se svaka nova procena provuče kroz nju. U primeru iznad nova procena od 85% postaje oko 66%.

Kriva mora da bude rastuća (monotona): viša procena nikad ne sme da postane niža od manje procene.
Izotonična regresija daje stepenastu rastuću krivu, a Platt skaliranje glatku logističku krivu.
Kriva se uči na jednim podacima, a proverava na podacima koji nisu bili u učenju. Inače samo zapamti uzorak.

Stvaran učinak StatsAI

StatsAI kalibriše procene posebno za svaku vrstu tipa (1X2, golovi, GG/NG i ostale): kriva se uči iz rešenih procena poslednjih 90 dana, sa najmanje 150 procena po korpi, mora da bude rastuća i osvežava se na 6 sati. Na strani Učinak AI modela kriva za svaki dan uči se samo iz prethodnih dana, pa je provera van uzorka.

Stanje 31. 10. 2026, mečevi od 1. 9. do 31. 10. 2026:

ECE u procentnim poenima, niže je bolje
Tržište	Sirov model	Kalibrisan model	Kvote bez marže
1X2	1,3	0,6	0,7
Golovi 2,5	9,6	4,6	1,7
GG/NG	9,6	3,4	1,8

Sirov model je na golovima bio previše samouveren: kad je za više od 2,5 gola davao oko 83% (472 događaja), to se desilo u 67,8% slučajeva. Kalibracija je grešku više nego prepolovila, ali su kvote bez marže i dalje bolje kalibrisane. Brojevi se menjaju svakog dana na strani Učinak AI modela.

Ograničenja

Kalibracija se meri na velikom uzorku. Korpa sa malo prognoza ima širok interval, pa njena razlika može da bude slučajna.
Model kalibrisan na jednoj ligi ili sezoni ne mora da bude kalibrisan na drugoj. Zato se kriva redovno uči iznova.
ECE zavisi od broja i širine korpi, pa se brojevi iz različitih izvora porede samo uz isti način računanja.
Dobra kalibracija ne znači zaradu: i kvote bez marže su dobro kalibrisane, a kladionica i dalje zadržava maržu.

AlatUčinak AI modelaKrive kalibracije AI modela i kvota bez marže za 1X2, golove 2,5 i GG/NG, osvežava se svakog dana.Otvori →

Šta je Brier skor i kako se računaProsek (p − ishod)². Niže je bolje, a stalnih 50% daje 0,25.Log loss: kako se prognoza ocenjuje logaritmomProsek −ln(verovatnoće ishoda koji se desio). Niže je bolje, a 50:50 daje 0,693.AI ili kladionica: ko tačnije procenjuje fudbalske mečeveKvote bez marže su u proseku tačnije. AI prognoza je drugo mišljenje, ne zamena.

Izvori

Niculescu-Mizil, A., Caruana, R. (2005). Predicting good probabilities with supervised learning. Proceedings of the 22nd International Conference on Machine Learning, 625–632.
Guo, C., Pleiss, G., Sun, Y., Weinberger, K. Q. (2017). On calibration of modern neural networks. Proceedings of the 34th International Conference on Machine Learning.