逻辑回归与支持向量机的区别

• Logistics Regression

Logistics Function图像为：

函数形式为： $g\left(z\right)=\frac{1}{1+e^{-z}}$。

$h_{\theta }\left(x\right)=g\left({\theta }^{T}x\right)=\frac{1}{1+e^{-{\theta }^{T}x}}$

逻辑回归的代价函数为
$J\left(\theta \right)=\frac{1}{m}{\sum }_{i=1}^m\mathrm{cost}(h_{\theta }\left(x^{\left(i\right)}\right),y^{\left(i\right)})$
其中，
$\mathrm{cost}\left(h_{\theta }\right(x),y)=\{\begin{array}{cc}-\log \left(h_{\theta }\right(x\left)\right)& \text{if}y=1\\ -\log (1-h_{\theta }(x\left)\right)& \text{if}y=0\end{array}$
自变量是$h_{\theta }\left(x\right)$，而$h_{\theta }\left(x\right)\in [0,1]$

需要注意的是，逻辑回归最终输出的是判定$y$归类的概率，例如$h_{\theta }\left(x\right)=0.7$，则表示70%的概率$y$归为正向类，而最终y的取值是1，代价函数取$-\log \left(h_{\theta }\right(x\left)\right)$。

在逻辑回归中，我们预测：

当$h_{\theta }\left(x\right)\ge 0.5$时，预测 $y=1$。

当$h_{\theta }\left(x\right)<0.5$时，预测 $y=0$ 。

记住$h_{\theta }\left(x\right)=\frac{1}{1+e^{-{\theta }^{T}x}}$

• SVM
  

SVM的代价函数在Sigmoid函数取log之后修改而来，类似平移之后的Relu函数。

SVM被称为Large margin classifier正是归功于这个代价函数

引入kernels之后，预测方法为：给定$x$，计算新特征$f$(即kernel)，当${\theta }^{T}f\ge 0$ 时，预测 $y=1$，否则反之。

最后，一言以蔽之：we use features $f^{\left(i\right)}$ instead of the original $x^{\left(i\right)}$.