逻辑回归

• 前置知识

  • 伯努利分布 Bernoulli Distribution
    又名两点分布或者0-1分布，属于离散型概率分布的一种。若伯努利试验成功，则伯努利随机变量取值为1，反之失败则为0。
    记成功概率为$p ( 0 \leq p \leq 1 )$，失败概率为$q = 1 - p$。
    
  • 概率质量函数为：

  概率质量函数（probability mass function，简写为pmf）是离散随机变量在各特定取值上的概率。概率质量函数和概率密度函数不同之处在于：概率质量函数是对离散随机变量定义的，本身代表该值的概率。

  概率密度函数是对连续随机变量定义的，本身不是概率，只有对连续随机变量的概率密度函数在某区间内进行积分后才是概率。

  $ f _ { X } ( x ) = p ^ { x } ( 1 - p ) ^ { 1 - x } = \left \lbrace \begin{array} { l l } { p } & { \text { if } x = 1 } \newline { q } & { \text { if } x = 0 } \end{array} \right. $

  期望为：
  $\mathrm { E } [ X ] = \sum _ { i = 0 } ^ { 1 } x _ { i } f _ { X } ( x ) = 0 + p = p$
  方差为：
  $\operatorname { var } [ X ] = \sum _ { i = 0 } ^ { 1 } \left( x _ { i } - E [ X ] \right) ^ { 2 } f _ { X } ( x ) = ( 0 - p ) ^ { 2 } ( 1 - p ) + ( 1 - p ) ^ { 2 } p = p ( 1 - p ) = p q$

  • 正态分布 Normal Distribution 又名高斯分布 Gaussian Distribution
    属于连续概率分布。
    若随机变量$X$服从一个位置参数为$\mu$、尺度参数为$\sigma$的正态分布，记为：
    $X \sim N \left( \mu , \sigma ^ { 2 } \right)$
    
    • 概率密度函数为：
      $f ( x ) = \frac { 1 } { \sigma \sqrt { 2 \pi } } e ^ { - \frac { ( x - \mu ) ^ { 2 } } { 2 \sigma ^ { 3 } } }$
    • 累计分布函数（指随机变量$X$小于或等于$x$的概率）为： $F ( x ; \mu , \sigma ) = \frac { 1 } { \sigma \sqrt { 2 \pi } } \int _ { - \infty } ^ { x } \exp \left( - \frac { ( t - \mu ) ^ { 2 } } { 2 \sigma ^ { 2 } } \right) d t$
    • 正态分布中一些值得注意的量:
      密度函数关于平均值对称
      平均值与它的众数(statistical mode)以及中位数(median)同一数值。 函数曲线下68.268949%的面积在平均数左右的一个标准差范围内。
      95.449974%的面积在平均数左右两个标准差$2 \sigma$的范围内。
      99.730020%的面积在平均数左右三个标准差$3 \sigma$的范围内。
      99.993666%的面积在平均数左右四个标准差$4 \sigma$的范围内。
      函数曲线的拐点(inflection point)为离平均数一个标准差距离的位置。

• 正文

这几篇文章说得很好，我就先不总结了。
https://zhuanlan.zhihu.com/p/28408516
https://zhuanlan.zhihu.com/p/28415991
https://segmentfault.com/a/1190000016042339