1. data set如果是通过matlab生成的,导入前是否用permute命令进行了维度转换,因为Python数据读入时维度会逆转。
  2. 数据是否进行了Normalization。
  3. 根据数据的特点,是否选错了激活函数,如果输入的数据有正有负,那么肯定不能使用Relu激活函数,至少要使用leak Relu。当然,更好的选择是tanh。
  4. 建立好模型之后,首先要检查能否在小的dataset上overfitting。
  5. 根据网络的任务选择对应的激活函数(activation)和损失函数(loss):
    > 二分类问题:sigmoid+cross_entropy
    > 多分类问题:softmax+cross_entropy
    > 回归问题:激活函数可以考虑数据normalization之后使用tanh,loss可以用均方误差MSE或者余弦距离

  6. 不同的任务需要不同的loss,需要及时follow最新的paper。