Caffe 中的正则化损失（重量衰减）

在求解器文件中，我们可以使用 weight_decay 和 regularization_type 选项设置全局正则化损失。

在许多情况下，我们需要不同层的不同重量衰减率。这可以通过为网络定义文件中的每一层设置 decay_mult 选项来完成，其中 decay_mult 是全局权重衰减率的乘数，因此应用于一层的实际权重衰减率为 decay_mult*weight_decay。

例如，以下定义了卷积层，无论解算器文件中的选项如何都没有权重衰减。

layer {
  name: "Convolution1"
  type: "Convolution"
  bottom: "data"
  top: "Convolution1"
  param {
    decay_mult: 0
  }
  convolution_param {
    num_output: 32
    pad: 0
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
  }
}

有关更多信息，请参阅此主题 。