Logist从概率角度认识
可以咱学校教材大二版的<<概率论与数理统计>> - 山大版, 来整一波, 为了简化推导形式呢, 这里就假设2个样本空间的形式来展开, 基于(条件概率) 全概率与贝叶斯 作为核心.
栗子: 全概率与贝叶斯
举个我们学校概率论教材的栗子, 这里就不展开概念说明, 自行百度吧, 这只想通过栗子直观感受一波.
设某厂有甲, 乙,丙 三个车间都生产 A 产品. 已知(先验概率):
各车间产量分别占全厂的 25%, 35%, 40%,
且各车间的次品率分别为 5%, 4%, 2%.
需求1: 现随机抽取一个样本, 则它是次品的概率有多大?
求解如下:
设A1, A2, A3 分别表示 "产品分别由甲, 乙, 丙 车间生产", B 表示 "产品为次品"
显然 A1, A2, A3 构成完备事件组 (就是一个样本空间), 且可得到:
P(A1) = 25%, P(B|A1) = 5%
P(A2) = 35%, P(B|A2) = 4%
P(A3) = 40%, P(B|A3) = 2%
要求P(B) 的(全) 概率, 其分散于, A, B, C 发生下, B的概率之和,即:
(P(B) = P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3))
(= sum limits _{i=1}^3 P(A_i)P(B|A_i) = 0.0345)
需求2: 现任意取一件, 已知是次品, 求是哪个车间生产的概率最大?
反推哦, 其实就是求 P(A1 |B), P(A2|B), P(A3|B)
(P(A1|B) = frac {P(A)P(B|A1)}{P(B)} = frac {25\% * 5\%}{0.0345} = 0.362)
(P(A2|B) = frac {P(A2)P(B|A2)}{P(B)} = frac {35\% * 4\%}{0.0345} = 0.406)
(P(A3|B) = frac {P(A3)P(B|A3)}{P(B)} = frac {40\% * 2\%}{0.0345} = 0.232)
因此, B 的发生, 来自 (P(A1|B)) 即乙厂的可能最大.
这其中呢, 其实在不知不觉中用到了贝叶斯公式:
设A1,A2,A3..构成完备事件组, 则对任意一事件B有:
(P(A_i|B) = frac {P(A_i)P(B|A_i)}{sum limits _{i=1}^n P(A_i)P(B|A_i)})
分母是 全概率, 分子是 "分量"
logist 函数推导
假设样本空间 s1, s2, 现已知(样本) 事件 x 发生. (但不知道是基于 s1 还是 s2)
请问: 当 X 事件已经发生下, 是基于 是基于 s1 的概率有多大?
即求 P(s1|x)
这就是一个经典的条件概率问题.
先求 P(x) 的全概率:
(P(x) = P(s1)P(x|s1) + P(s2)P(x|s2) (1))
目标( 根据贝叶斯定理:)
(P(s1|x) = frac {P(s1)P(x|s1)}{P(x)} (2))
$ P(s1|x) = frac {P(s1)P(x|s1)} {P(s1)P(x|s1) + P(s2)P(x|s2) } (3)$
分子, 分母同时 除以 分子得:
(P(s1|x) = frac {1} {frac {P(s1)P(x|s1)} {P(s1)P(x|s1)} + frac {P(s2)P(x|s2)}{P(s1)P(x|s1)} } = frac {1} {1+ frac {P(s2)P(x|s2)}{P(s1)P(x|s1)} } (4))
令 (y = ln [ frac {P(s1)P(x|s1)}{P(s2)P(x|s2)}]) 回代到 (4):
即得出: (P(s1|x) = frac {1}{1+e^y})
对数运算性质:
(-y = ln [ frac {P(s2)P(x|s2)}{P(s1)P(x|s1)}])
logistic 函数性质
也可以叫做, sigmoid 函数, 一样的. 画出来的话是一个 "s" 形状的曲线.
(f(x) = frac {1}{1+e^{-x}})
- 值域是在 [0, 1] 的连续可导的增函数
- x = 0 处, y = 0
- x ( ightarrow -infty), y -> 0
- x ( ightarrow + infty) y -> 1
刻画概率的累计分布, 如果从概率视角来认识的话.
(P(y=1|x) = frac {1}{1+e^{-x}})
输入一个 x (可以是标量, 向量), 输出一个 [0,1] 的值 的时候, y=1 的 概率是多少. 这里y一共有两种情况 y = 1或 y=0. 这不就是一个二分类问题吗
结合线性模型:
(P(y=1|x) = frac {1}{1+e^{-x}} = frac {1}{1+e^{- heta^T x}})
于是, 这样就很清晰认识到, 逻辑回归, 看着像回归, 线性模型嘛, 其实是二分类.
下篇就整一波如何构造目标函数来求解参数向量 ( heta)