Evaluación
Log loss: evaluar un pronóstico con un logaritmo
El log loss es la media del logaritmo natural negativo de la probabilidad que un pronóstico dio al resultado que ocurrió. Cuanto más bajo, mejor: un pronóstico acertado del 100% marca 0, un 50% constante en una pregunta de dos resultados marca 0,693 y un pronóstico igual de 1X2 marca 1,099. A diferencia del Brier score, el log loss crece sin límite cuando falla un pronóstico muy confiado.
Contenido
Términos clave
- Log loss
- Pérdida logarítmica, también llamada entropía cruzada o puntuación logarítmica. Mide cuánto le sorprendió el resultado a un pronóstico.
- Probabilidad del resultado
- La probabilidad que el pronóstico dio a lo que ocurrió de verdad. Si el pronóstico era p para “Sí” y la respuesta fue “No”, es 1 − p.
- Logaritmo natural
- ln(1) = 0, y ln(p) se hace más negativo a medida que p se acerca a 0. Así que −ln(p) crece cuanto más lejos estaba el pronóstico del resultado.
Fórmula
LL = −(1 / N) × Σ ln(p del resultado observado)Ejemplo con cuatro pronósticos
Los mismos cuatro pronósticos de la guía de Brier score:
| Pronóstico | Resultado | p del resultado | −ln(p) |
|---|---|---|---|
| 0,70 | 1 | 0,70 | 0,3567 |
| 0,20 | 0 | 0,80 | 0,2231 |
| 0,55 | 0 | 0,45 | 0,7985 |
| 0,90 | 1 | 0,90 | 0,1054 |
| Total | 1,4837 |
1,4837 / 4 = 0,3709 → 0,371
Un pronóstico constante del 50% en las mismas cuatro preguntas marca ln 2 = 0,693.
Log loss en el 1X2
Pronóstico 1 / X / 2 = 50% / 30% / 20%.
| Resultado del partido | Cálculo | Log loss |
|---|---|---|
| 1 | −ln 0,5 | 0,693 |
| X | −ln 0,3 | 1,204 |
| 2 | −ln 0,2 | 1,609 |
Un pronóstico igual del 33,3% para cada resultado marca ln 3 = 1,099 pase lo que pase. Un modelo que queda de media peor que eso sabe menos que una apuesta al azar.
¿Log loss o Brier score?
| p del resultado observado | Log loss | Brier |
|---|---|---|
| 0,90 | 0,1054 | 0,0100 |
| 0,70 | 0,3567 | 0,0900 |
| 0,50 | 0,6931 | 0,2500 |
| 0,30 | 1,2040 | 0,4900 |
| 0,10 | 2,3026 | 0,8100 |
| 0,01 | 4,6052 | 0,9801 |
El Brier score tiene un límite superior; el log loss, no: fallar con un 99% de confianza cuesta 4,6, con un 99,9% ya 6,9. Un fallo así puede estropear la media de cientos de buenos pronósticos, así que a las probabilidades se les suele poner un suelo antes de la evaluación, por ejemplo un 1%.
Las dos medidas premian un pronóstico honesto: de media la mejor puntuación es para quien da la probabilidad en la que de verdad cree. Una medida así se llama regla de puntuación propia.
La página de rendimiento del modelo de IA calcula el log loss con un suelo del 1% en las probabilidades. A 31 de octubre de 2026, partidos del 1 de septiembre al 31 de octubre de 2026:
| Mercado | Cuotas sin margen | Modelo de IA | Tasa base |
|---|---|---|---|
| 1X2 | 0,990 | 1,047 | 1,068 |
| Más/menos 2,5 | 0,668 | 0,690 | 0,689 |
En el 1X2 el modelo de IA supera a la tasa base y al 1,099 igual, pero las cuotas sin margen lo hacen aún mejor. Los números cambian cada día en la página rendimiento del modelo de IA.
Limitaciones
- El log loss depende del número de resultados: el 1X2 y las preguntas de dos resultados no son comparables, así que solo se comparan pronósticos del mismo mercado.
- Sin suelo, un pronóstico del 0% para un resultado que ocurre da un log loss infinito.
- En una muestra pequeña la diferencia entre dos pronósticos puede ser azar.
- Un log loss más bajo no significa ganancias en la casa de apuestas. Esto es estadística, no un consejo de apuestas.
Guías relacionadas
Fuentes
- Good, I. J. (1952). Rational decisions. Journal of the Royal Statistical Society, Series B, 14(1), 107–114.