Avaliação
O que é o Brier score e como ele é calculado
O Brier score é a média do quadrado da diferença entre a probabilidade prevista e o resultado, em que o resultado é 1 se o evento aconteceu e 0 se não aconteceu. Quanto menor, melhor: 0 é uma previsão perfeita, e um 50% constante em perguntas de dois resultados marca 0,25. No 1X2 os quadrados são somados nos três resultados, então a escala vai de 0 a 2.
Conteúdo
Termos principais
- Previsão
- Uma probabilidade dada antes, por exemplo 70% de vitória do mandante.
- Resultado
- 1 se o evento aconteceu, 0 se não aconteceu.
- Brier score
- A média do quadrado da diferença entre previsão e resultado. Quanto menor, melhor.
- Taxa de base
- Com que frequência o resultado aconteceu antes. Uma previsão que sempre dá a taxa de base é a referência que um modelo precisa superar.
A fórmula
BS = (1 / N) × Σ (p − resultado)²Elevar ao quadrado pune os erros grandes muito mais do que os pequenos. Errar com 90% de confiança custa 0,81, enquanto errar com 60% custa 0,36.
Exemplo com quatro previsões
| Previsão | Resultado | (p − resultado)² |
|---|---|---|
| 0,70 | 1 | 0,0900 |
| 0,20 | 0 | 0,0400 |
| 0,55 | 0 | 0,3025 |
| 0,90 | 1 | 0,0100 |
| Total | 0,4425 |
0,4425 / 4 = 0,1106 → 0,111
Uma previsão que sempre diz 50% nas mesmas quatro perguntas marca (0,5)² = 0,25 em cada uma, então o seu Brier score é 0,250.
Comparação com uma referência
O número sozinho diz pouco sem uma comparação. Por isso se calcula a melhora em relação a uma referência nos mesmos eventos (Brier skill):
BSS = 1 − BS(previsão) / BS(referência)1 − 0,1106 / 0,250 = 0,5576 → 55,8%
As previsões do exemplo são 55,8% melhores que um 50% constante.
O mesmo cálculo aparece na página desempenho do modelo de IA como a melhora de Brier sobre a taxa de base, para o modelo e para o mercado sem margem.
O Brier score do 1X2
Quando um evento tem mais de dois resultados, os quadrados são somados em todos eles. No 1X2 são três termos, então a escala vai de 0 a 2.
Previsão 1 / X / 2 = 50% / 30% / 20%.
| Resultado do jogo | Cálculo | Brier |
|---|---|---|
| 1 | (0,5 − 1)² + 0,3² + 0,2² | 0,380 |
| X | 0,5² + (0,3 − 1)² + 0,2² | 0,780 |
| 2 | 0,5² + 0,3² + (0,2 − 1)² | 0,980 |
Uma previsão igual de 33,3% para cada resultado marca 0,667 qualquer que seja o resultado.
A página de desempenho do modelo de IA calcula do mesmo jeito: soma nos resultados e depois média nos jogos. Pela mesma regra uma pergunta de dois resultados marca o dobro da fórmula de uma probabilidade só: um 50% constante marca ali 0,500, não 0,250, e as quatro previsões do exemplo marcam 0,221. Os relatórios mensais em Pesquisa acompanham o mesmo Brier score ao longo do tempo.
O Brier score mede precisão e calibração juntas. Como a calibração é conferida sozinha, faixa por faixa, está em Calibração de probabilidade, e uma medida que pune muito mais os erros confiantes é o log loss.
Num número pequeno de previsões o Brier score depende muito da sorte. Quantas previsões uma conclusão confiável precisa está no guia de tamanho da amostra.
Limitações
- O Brier score depende de quão comum é o resultado. Em eventos raros até uma previsão fraca pode marcar baixo, então ele é comparado com uma referência nos mesmos eventos.
- Números de fontes diferentes não podem ser comparados se umas somam em todos os resultados e outras usam uma probabilidade só.
- Em poucos jogos a diferença entre duas previsões pode ser acaso. Por isso a página de desempenho mostra um intervalo de 95% ao lado da diferença.
- Um bom Brier score não significa lucro. As odds já contêm a estimativa do mercado, então um modelo precisa superar o mercado, não só o acaso.
Guias relacionados
Fontes
- Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1), 1–3.