逻辑回归
前置知识
- 伯努利分布 Bernoulli Distribution
又名两点分布或者0-1分布,属于离散型概率分布的一种。若伯努利试验成功,则伯努利随机变量取值为1,反之失败则为0。
记成功概率为p(0≤p≤1),失败概率为q=1−p。 - 概率质量函数为:
概率质量函数(probability mass function,简写为pmf)是离散随机变量在各特定取值上的概率。概率质量函数和概率密度函数不同之处在于:概率质量函数是对离散随机变量定义的,本身代表该值的概率。
概率密度函数是对连续随机变量定义的,本身不是概率,只有对连续随机变量的概率密度函数在某区间内进行积分后才是概率。
fX(x)=px(1−p)1−x={p if x=1q if x=0
期望为:
E[X]=∑1i=0xifX(x)=0+p=p
方差为:
var[X]=∑1i=0(xi−E[X])2fX(x)=(0−p)2(1−p)+(1−p)2p=p(1−p)=pq- 正态分布 Normal Distribution 又名高斯分布 Gaussian Distribution
属于连续概率分布。
若随机变量X服从一个位置参数为μ、尺度参数为σ的正态分布,记为:
X∼N(μ,σ2)
- 概率密度函数为:
f(x)=1σ√2πe−(x−μ)22σ3 - 累计分布函数(指随机变量X小于或等于x的概率)为: F(x;μ,σ)=1σ√2π∫x−∞exp(−(t−μ)22σ2)dt
- 正态分布中一些值得注意的量:
密度函数关于平均值对称
平均值与它的众数(statistical mode)以及中位数(median)同一数值。 函数曲线下68.268949%的面积在平均数左右的一个标准差范围内。
95.449974%的面积在平均数左右两个标准差2σ的范围内。
99.730020%的面积在平均数左右三个标准差3σ的范围内。
99.993666%的面积在平均数左右四个标准差4σ的范围内。
函数曲线的拐点(inflection point)为离平均数一个标准差距离的位置。
- 概率密度函数为:
- 伯努利分布 Bernoulli Distribution
正文
这几篇文章说得很好,我就先不总结了。
https://zhuanlan.zhihu.com/p/28408516
https://zhuanlan.zhihu.com/p/28415991
https://segmentfault.com/a/1190000016042339