Evaluación
Qué es el Brier score y cómo se calcula
El Brier score es la media del cuadrado de la diferencia entre la probabilidad prevista y el resultado, donde el resultado es 1 si el evento ocurrió y 0 si no. Cuanto más bajo, mejor: 0 es un pronóstico perfecto, y un 50% constante en preguntas de dos resultados marca 0,25. En el 1X2 los cuadrados se suman en los tres resultados, así que la escala va de 0 a 2.
Contenido
Términos clave
- Pronóstico
- Una probabilidad dada de antemano, por ejemplo un 70% de victoria local.
- Resultado
- 1 si el evento ocurrió, 0 si no ocurrió.
- Brier score
- La media del cuadrado de la diferencia entre pronóstico y resultado. Cuanto más bajo, mejor.
- Tasa base
- Con qué frecuencia ocurrió el resultado antes. Un pronóstico que siempre da la tasa base es la referencia que un modelo tiene que superar.
La fórmula
BS = (1 / N) × Σ (p − resultado)²Elevar al cuadrado castiga los errores grandes mucho más que los pequeños. Fallar con un 90% de confianza cuesta 0,81, mientras que fallar con un 60% cuesta 0,36.
Ejemplo con cuatro pronósticos
| Pronóstico | Resultado | (p − resultado)² |
|---|---|---|
| 0,70 | 1 | 0,0900 |
| 0,20 | 0 | 0,0400 |
| 0,55 | 0 | 0,3025 |
| 0,90 | 1 | 0,0100 |
| Total | 0,4425 |
0,4425 / 4 = 0,1106 → 0,111
Un pronóstico que siempre dice 50% en las mismas cuatro preguntas marca (0,5)² = 0,25 en cada una, así que su Brier score es 0,250.
Comparación con una referencia
El número solo dice poco sin una comparación. Por eso se calcula la mejora respecto a una referencia en los mismos eventos (Brier skill):
BSS = 1 − BS(pronóstico) / BS(referencia)1 − 0,1106 / 0,250 = 0,5576 → 55,8%
Los pronósticos del ejemplo son un 55,8% mejores que un 50% constante.
El mismo cálculo aparece en la página rendimiento del modelo de IA como la mejora de Brier sobre la tasa base, para el modelo y para el mercado sin margen.
El Brier score del 1X2
Cuando un evento tiene más de dos resultados, los cuadrados se suman en todos ellos. En el 1X2 son tres términos, así que la escala va de 0 a 2.
Pronóstico 1 / X / 2 = 50% / 30% / 20%.
| Resultado del partido | Cálculo | Brier |
|---|---|---|
| 1 | (0,5 − 1)² + 0,3² + 0,2² | 0,380 |
| X | 0,5² + (0,3 − 1)² + 0,2² | 0,780 |
| 2 | 0,5² + 0,3² + (0,2 − 1)² | 0,980 |
Un pronóstico igual del 33,3% para cada resultado marca 0,667 sea cual sea el resultado.
La página de rendimiento del modelo de IA calcula igual: suma en los resultados y después media en los partidos. Por la misma regla una pregunta de dos resultados marca el doble de la fórmula con una sola probabilidad: un 50% constante marca ahí 0,500, no 0,250, y los cuatro pronósticos del ejemplo marcan 0,221. Los informes mensuales de Investigación siguen el mismo Brier score a lo largo del tiempo.
El Brier score mide precisión y calibración juntas. Cómo se comprueba la calibración por separado, tramo a tramo, está en Calibración de probabilidad, y una medida que castiga mucho más los errores con mucha confianza es el log loss.
Con un número pequeño de pronósticos el Brier score depende mucho de la suerte. Cuántos pronósticos necesita una conclusión fiable está en la guía de tamaño de muestra.
Limitaciones
- El Brier score depende de lo común que sea el resultado. En eventos raros hasta un pronóstico flojo puede marcar bajo, así que se compara con una referencia en los mismos eventos.
- Los números de fuentes distintas no se pueden comparar si unas suman en todos los resultados y otras usan una sola probabilidad.
- En pocos partidos la diferencia entre dos pronósticos puede ser azar. Por eso la página de rendimiento muestra un intervalo del 95% junto a la diferencia.
- Un buen Brier score no significa ganancias. Las cuotas ya contienen la estimación del mercado, así que un modelo tiene que superar al mercado, no solo al azar.
Guías relacionadas
Fuentes
- Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1), 1–3.