逻辑回归的loss选择

逻辑回归中,一般选择Mean Squared Error作为loss

$loss = \frac{1}{2m}\sum_{i=1}^m(y_i-\hat{y_i})^2$

其中m表示阳哥个数,loss为样本loss的均值,但是在分类问题则一般采用交叉熵

单分类和多分类交叉熵的选择

单分类任务,使用softmax交叉熵;多标签任务,则使用sigmoid交叉熵作为loss函数。

在单分类中,各个predict label之间时相互影响的,总共的概率是1,故而选择softmax。

而多分类问题,一个样本对应多个label。比如图像识别问题,一个图像样本可以对应多个类别,可以既有猫也有狗,既有公交车又有小轿车;在SHM上,则为一个损伤工况可能是x号单元损伤的同时,y号单元也损伤了。每一个输出节点归一化到[0,1],而各个输出节点之间不会相互影响。