Avaliação
Calibração de probabilidade: quando dá para confiar nas porcentagens do modelo
Uma previsão é calibrada quando, de todos os eventos que receberam 70% de probabilidade, cerca de 70% realmente acontecem. Isso se confere agrupando as previsões em faixas por probabilidade e comparando, em cada faixa, a previsão média com a frequência observada. A média ponderada das diferenças é o erro esperado de calibração (ECE): quanto menor, mais confiáveis as probabilidades.
Conteúdo
Termos principais
- Calibração
- A concordância entre as probabilidades previstas e as frequências observadas. Um modelo é calibrado se cerca de 60% das suas previsões de “60%” acontecem.
- Curva de calibração
- Um gráfico da probabilidade prevista (horizontal) contra a frequência observada (vertical), faixa por faixa. Num modelo calibrado os pontos ficam na diagonal. Também se chama diagrama de confiabilidade.
- Faixa
- Um grupo de previsões com probabilidade parecida, por exemplo tudo entre 60% e 70%.
- ECE
- Erro esperado de calibração: a diferença entre previsão e frequência em cada faixa, ponderada pelo número de previsões da faixa.
- Previsão confiante demais
- O modelo dá uma probabilidade maior que a frequência observada do resultado.
Como se confere a calibração?
- As previsões são agrupadas em faixas por probabilidade, normalmente de 10 pontos percentuais.
- Em cada faixa se calcula a previsão média e com que frequência o resultado realmente aconteceu.
- As diferenças são mostradas numa curva de calibração ou somadas num único número, o ECE.
ECE = Σ (previsões na faixa / todas as previsões) × |previsão média − frequência|Mil previsões em quatro faixas:
| Faixa | Previsão média | Previsões | Aconteceu | Frequência | Diferença |
|---|---|---|---|---|---|
| 20–30% | 25% | 200 | 54 | 27,0% | 2,0 |
| 40–50% | 45% | 300 | 141 | 47,0% | 2,0 |
| 60–70% | 65% | 300 | 177 | 59,0% | 6,0 |
| 80–90% | 85% | 200 | 132 | 66,0% | 19,0 |
ECE = 0,2 × 2,0 + 0,3 × 2,0 + 0,3 × 6,0 + 0,2 × 19,0 = 6,6 pontos percentuais
Até 50% o modelo é bem calibrado; acima disso, confiante demais: quando diz 85%, o resultado acontece 66% das vezes. O modelo é mais confiante demais justamente nos palpites que parecem mais seguros.
Por que a calibração importa nas apostas
A probabilidade de um modelo é comparada com a probabilidade implícita das odds, então um erro de calibração vira um erro de aposta.
Um modelo que diz 85% trata 1,18 (1 / 0,85) como odd justa, então qualquer preço acima disso parece valor. Se esses palpites realmente acertam 66% das vezes, a odd justa é 1,52 (1 / 0,66). Uma odd de 1,40 tem então valor esperado de 0,66 × 1,40 − 1 = −7,6%, embora o modelo veja +19,0%.
Um modelo não calibrado vive encontrando valor esperado que não existe.
Calibração não é precisão
Uma previsão que dá a todos os jogos a mesma probabilidade, igual à frequência histórica (a taxa de base), é perfeitamente calibrada, mas não distingue um jogo do outro. Uma boa previsão precisa ser calibrada e nítida: dá probabilidades diferentes a jogos diferentes, e essas diferenças estão certas. O Brier score e o log loss medem as duas propriedades juntas, uma curva de calibração só a primeira.
Como as probabilidades são calibradas?
Uma curva “previsão → frequência observada” é aprendida com previsões passadas, e cada nova previsão passa por ela. No exemplo acima um novo 85% vira cerca de 66%.
- A curva precisa ser crescente (monotônica): uma previsão maior nunca pode terminar abaixo de uma menor.
- A regressão isotônica dá uma curva crescente em degraus, o Platt scaling uma curva logística suave.
- A curva é aprendida num conjunto de dados e conferida em dados que ela não viu. Senão ela só decora a amostra.
A StatsAI calibra as suas probabilidades separadamente para cada tipo de palpite (1X2, gols, ambas marcam e outros): a curva é aprendida a partir das previsões liquidadas dos últimos 90 dias, com pelo menos 150 previsões por faixa, precisa ser crescente e é atualizada a cada 6 horas. Na página de desempenho do modelo de IA a curva de cada dia é aprendida só com dias anteriores, então a conferência é fora da amostra.
Em 31 de outubro de 2026, jogos de 1º de setembro a 31 de outubro de 2026:
| Mercado | Modelo bruto | Modelo calibrado | Odds sem margem |
|---|---|---|---|
| 1X2 | 1,3 | 0,6 | 0,7 |
| Mais/menos 2,5 | 9,6 | 4,6 | 1,7 |
| Ambas marcam | 9,6 | 3,4 | 1,8 |
O modelo bruto era confiante demais nos gols: quando dava cerca de 83% para mais de 2,5 gols (472 eventos), aconteceu 67,8% das vezes. A calibração cortou o erro em mais da metade, mas as odds sem margem continuam mais bem calibradas. Os números mudam todos os dias na página desempenho do modelo de IA.
Por que uma faixa com poucas previsões diz pouco, e como se calcula o intervalo de Wilson, está no guia de tamanho da amostra.
Limitações
- A calibração precisa de uma amostra grande. Uma faixa com poucas previsões tem um intervalo largo, então a sua diferença pode ser acaso.
- Um modelo calibrado numa liga ou temporada não é necessariamente calibrado em outra, por isso a curva é reaprendida com regularidade.
- O ECE depende do número e da largura das faixas, então números de fontes diferentes só são comparáveis quando calculados do mesmo jeito.
- Uma boa calibração não significa lucro: as odds sem margem também são bem calibradas, e a casa continua com a sua margem.
Guias relacionados
Fontes
- Niculescu-Mizil, A., Caruana, R. (2005). Predicting good probabilities with supervised learning. Proceedings of the 22nd International Conference on Machine Learning, 625–632.
- Guo, C., Pleiss, G., Sun, Y., Weinberger, K. Q. (2017). On calibration of modern neural networks. Proceedings of the 34th International Conference on Machine Learning.