https://www.cnblogs.com/sddai/p/9581142.html
3.Brier分数
在说概率校准前，先说下Brier分数，因为它是衡量概率校准的一个参数。
简单来说，Brier分数可以被认为是对一组概率预测的“校准”的量度，或者称为“ 成本函数 ”，这一组概率对应的情况必须互斥，并且概率之和必须为1.
Brier分数对于一组预测值越低，预测校准越好。
其求解公式如下：(此公式只适合二分类情况，还有原始定义公式)
其中
是事件t的实际概率（如果不发生则为0），而N是预测事件数量。
引用维基百科的一个例子说明 Brier分数的计算方式：
假设一个人预测在某一天会下雨的概率P，则Brier分数计算如下：
如果预测为100％（P = 1），并且下雨，则Brier Score为0，可达到最佳分数。
如果预测为100％（P = 1），但是不下雨，则Brier Score为1，可达到最差分数。
如果预测为70％（P = 0.70），并且下雨，则Brier评分为（0.70-1）2 = 0.09。
如果预测为30％（P = 0.30），并且下雨，则Brier评分为（0.30-1）2 = 0.49。
如果预测为50％（P = 0.50），则Brier分数为（0.50-1）2 =（0.50-0）2 = 0.25，无论是否下雨。
4.概率校准
概率校准就是对分类函数做出的分类预测概率重新进行计算，并且计算Brier分数，然后依据Brier分数的大小判断对初始预测结果是支持还是反对。