Avaliação
Log loss: avaliar uma previsão com um logaritmo
Log loss é a média do logaritmo natural negativo da probabilidade que uma previsão deu ao resultado que aconteceu. Quanto menor, melhor: uma previsão certa de 100% marca 0, um 50% constante numa pergunta de dois resultados marca 0,693 e uma previsão igual de 1X2 marca 1,099. Ao contrário do Brier score, o log loss cresce sem limite quando uma previsão confiante erra.
Conteúdo
Termos principais
- Log loss
- Perda logarítmica, também chamada de entropia cruzada ou pontuação logarítmica. Mede o quanto uma previsão foi surpreendida pelo resultado.
- Probabilidade do resultado
- A probabilidade que a previsão deu ao que realmente aconteceu. Se a previsão era p para “Sim” e a resposta foi “Não”, é 1 − p.
- Logaritmo natural
- ln(1) = 0, e ln(p) fica mais negativo conforme p se aproxima de 0. Então −ln(p) cresce quanto mais longe a previsão estava do resultado.
Fórmula
LL = −(1 / N) × Σ ln(p do resultado observado)Exemplo com quatro previsões
As mesmas quatro previsões do guia de Brier score:
| Previsão | Resultado | p do resultado | −ln(p) |
|---|---|---|---|
| 0,70 | 1 | 0,70 | 0,3567 |
| 0,20 | 0 | 0,80 | 0,2231 |
| 0,55 | 0 | 0,45 | 0,7985 |
| 0,90 | 1 | 0,90 | 0,1054 |
| Total | 1,4837 |
1,4837 / 4 = 0,3709 → 0,371
Uma previsão constante de 50% nas mesmas quatro perguntas marca ln 2 = 0,693.
Log loss no 1X2
Previsão 1 / X / 2 = 50% / 30% / 20%.
| Resultado do jogo | Cálculo | Log loss |
|---|---|---|
| 1 | −ln 0,5 | 0,693 |
| X | −ln 0,3 | 1,204 |
| 2 | −ln 0,2 | 1,609 |
Uma previsão igual de 33,3% para cada resultado marca ln 3 = 1,099 aconteça o que acontecer. Um modelo que fica em média pior que isso sabe menos que um palpite ao acaso.
Log loss ou Brier score?
| p do resultado observado | Log loss | Brier |
|---|---|---|
| 0,90 | 0,1054 | 0,0100 |
| 0,70 | 0,3567 | 0,0900 |
| 0,50 | 0,6931 | 0,2500 |
| 0,30 | 1,2040 | 0,4900 |
| 0,10 | 2,3026 | 0,8100 |
| 0,01 | 4,6052 | 0,9801 |
O Brier score tem um limite superior, o log loss não: errar com 99% de confiança custa 4,6, com 99,9% já 6,9. Um erro desses pode estragar a média de centenas de boas previsões, então as probabilidades muitas vezes recebem um piso antes da avaliação, por exemplo 1%.
As duas medidas recompensam uma previsão honesta: em média a melhor pontuação vai para quem informa a probabilidade em que realmente acredita. Uma medida assim se chama regra de pontuação própria.
A página de desempenho do modelo de IA calcula o log loss com piso de 1% nas probabilidades. Em 31 de outubro de 2026, jogos de 1º de setembro a 31 de outubro de 2026:
| Mercado | Odds sem margem | Modelo de IA | Taxa de base |
|---|---|---|---|
| 1X2 | 0,990 | 1,047 | 1,068 |
| Mais/menos 2,5 | 0,668 | 0,690 | 0,689 |
No 1X2 o modelo de IA supera a taxa de base e o 1,099 igual, mas as odds sem margem se saem ainda melhor. Os números mudam todos os dias na página desempenho do modelo de IA.
Limitações
- O log loss depende do número de resultados: 1X2 e perguntas de dois resultados não são comparáveis, então só se comparam previsões do mesmo mercado.
- Sem piso, uma previsão de 0% para um resultado que acontece dá um log loss infinito.
- Numa amostra pequena a diferença entre duas previsões pode ser acaso.
- Um log loss menor não significa lucro na casa de apostas. Isto é estatística, não conselho de aposta.
Guias relacionados
Fontes
- Good, I. J. (1952). Rational decisions. Journal of the Royal Statistical Society, Series B, 14(1), 107–114.