StatsAI.bet

Avaliação

Calibração de probabilidade: quando dá para confiar nas porcentagens do modelo

Nível intermediário4 min de leituraPublicado 20 de nov. de 2026

Uma previsão é calibrada quando, de todos os eventos que receberam 70% de probabilidade, cerca de 70% realmente acontecem. Isso se confere agrupando as previsões em faixas por probabilidade e comparando, em cada faixa, a previsão média com a frequência observada. A média ponderada das diferenças é o erro esperado de calibração (ECE): quanto menor, mais confiáveis as probabilidades.

Conteúdo
  1. Termos principais
  2. Como se confere a calibração?
  3. Por que a calibração importa nas apostas
  4. Calibração não é precisão
  5. Como as probabilidades são calibradas?
  6. Limitações
  7. Guias relacionados
  8. Fontes

Termos principais

Calibração
A concordância entre as probabilidades previstas e as frequências observadas. Um modelo é calibrado se cerca de 60% das suas previsões de “60%” acontecem.
Curva de calibração
Um gráfico da probabilidade prevista (horizontal) contra a frequência observada (vertical), faixa por faixa. Num modelo calibrado os pontos ficam na diagonal. Também se chama diagrama de confiabilidade.
Faixa
Um grupo de previsões com probabilidade parecida, por exemplo tudo entre 60% e 70%.
ECE
Erro esperado de calibração: a diferença entre previsão e frequência em cada faixa, ponderada pelo número de previsões da faixa.
Previsão confiante demais
O modelo dá uma probabilidade maior que a frequência observada do resultado.

Como se confere a calibração?

  1. As previsões são agrupadas em faixas por probabilidade, normalmente de 10 pontos percentuais.
  2. Em cada faixa se calcula a previsão média e com que frequência o resultado realmente aconteceu.
  3. As diferenças são mostradas numa curva de calibração ou somadas num único número, o ECE.
FórmulaECE = Σ (previsões na faixa / todas as previsões) × |previsão média − frequência|
Exemplo matemático

Mil previsões em quatro faixas:

Diferença em pontos percentuais
FaixaPrevisão médiaPrevisõesAconteceuFrequênciaDiferença
20–30%25%2005427,0%2,0
40–50%45%30014147,0%2,0
60–70%65%30017759,0%6,0
80–90%85%20013266,0%19,0

ECE = 0,2 × 2,0 + 0,3 × 2,0 + 0,3 × 6,0 + 0,2 × 19,0 = 6,6 pontos percentuais

Até 50% o modelo é bem calibrado; acima disso, confiante demais: quando diz 85%, o resultado acontece 66% das vezes. O modelo é mais confiante demais justamente nos palpites que parecem mais seguros.

Por que a calibração importa nas apostas

A probabilidade de um modelo é comparada com a probabilidade implícita das odds, então um erro de calibração vira um erro de aposta.

Exemplo matemático

Um modelo que diz 85% trata 1,18 (1 / 0,85) como odd justa, então qualquer preço acima disso parece valor. Se esses palpites realmente acertam 66% das vezes, a odd justa é 1,52 (1 / 0,66). Uma odd de 1,40 tem então valor esperado de 0,66 × 1,40 − 1 = −7,6%, embora o modelo veja +19,0%.

Um modelo não calibrado vive encontrando valor esperado que não existe.

Calibração não é precisão

Uma previsão que dá a todos os jogos a mesma probabilidade, igual à frequência histórica (a taxa de base), é perfeitamente calibrada, mas não distingue um jogo do outro. Uma boa previsão precisa ser calibrada e nítida: dá probabilidades diferentes a jogos diferentes, e essas diferenças estão certas. O Brier score e o log loss medem as duas propriedades juntas, uma curva de calibração só a primeira.

Como as probabilidades são calibradas?

Uma curva “previsão → frequência observada” é aprendida com previsões passadas, e cada nova previsão passa por ela. No exemplo acima um novo 85% vira cerca de 66%.

  • A curva precisa ser crescente (monotônica): uma previsão maior nunca pode terminar abaixo de uma menor.
  • A regressão isotônica dá uma curva crescente em degraus, o Platt scaling uma curva logística suave.
  • A curva é aprendida num conjunto de dados e conferida em dados que ela não viu. Senão ela só decora a amostra.
Desempenho real da StatsAI

A StatsAI calibra as suas probabilidades separadamente para cada tipo de palpite (1X2, gols, ambas marcam e outros): a curva é aprendida a partir das previsões liquidadas dos últimos 90 dias, com pelo menos 150 previsões por faixa, precisa ser crescente e é atualizada a cada 6 horas. Na página de desempenho do modelo de IA a curva de cada dia é aprendida só com dias anteriores, então a conferência é fora da amostra.

Em 31 de outubro de 2026, jogos de 1º de setembro a 31 de outubro de 2026:

ECE em pontos percentuais, quanto menor melhor
MercadoModelo brutoModelo calibradoOdds sem margem
1X21,30,60,7
Mais/menos 2,59,64,61,7
Ambas marcam9,63,41,8

O modelo bruto era confiante demais nos gols: quando dava cerca de 83% para mais de 2,5 gols (472 eventos), aconteceu 67,8% das vezes. A calibração cortou o erro em mais da metade, mas as odds sem margem continuam mais bem calibradas. Os números mudam todos os dias na página desempenho do modelo de IA.

Por que uma faixa com poucas previsões diz pouco, e como se calcula o intervalo de Wilson, está no guia de tamanho da amostra.

Limitações

  • A calibração precisa de uma amostra grande. Uma faixa com poucas previsões tem um intervalo largo, então a sua diferença pode ser acaso.
  • Um modelo calibrado numa liga ou temporada não é necessariamente calibrado em outra, por isso a curva é reaprendida com regularidade.
  • O ECE depende do número e da largura das faixas, então números de fontes diferentes só são comparáveis quando calculados do mesmo jeito.
  • Uma boa calibração não significa lucro: as odds sem margem também são bem calibradas, e a casa continua com a sua margem.