1. data set如果是通过matlab生成的,导入前是否用permute命令进行了维度转换,因为Python数据读入时维度会逆转。
  2. 数据是否进行了Normalization。
  3. 根据数据的特点,是否选错了激活函数,如果输入的数据有正有负,那么肯定不能使用Relu激活函数,至少要使用leak Relu。当然,更好的选择是tanh。
  4. 建立好模型之后,首先要检查能否在小的dataset上overfitting。
  5. 根据网络的任务选择对应的激活函数(activation)和损失函数(loss):
    > 二分类问题:sigmoid+cross_entropy
    > 多分类问题:softmax+cross_entropy
    > 回归问题:激活函数可以考虑数据normalization之后使用tanh,loss可以用均方误差MSE或者余弦距离

  6. 不同的任务需要不同的loss,需要及时follow最新的paper。

  7. 注意split ratio,如果数据集不够大,那么training:validation至少应该在3:2左右。

  8. 如果要用实验的数据来validate模拟数据train出的网络,那么要保证模拟的参数尽可能和实验一致,例如:

    1. 模态信息尽可能一致。
    2. 如果不能保证所有模态信息一样,那么优先保证低阶模态一致,可以降采样或者滤波来去掉高频信息。
    3. 荷载形式尽可能一致。
    4. 阻尼参数尽可能一致。
  9. 对于不复杂的任务,如果过拟合,除了提高ratio外,还应该降低网络的复杂程度,把超参数的数量降下来。