caffe学习笔记10-solver.prototxt学习

solver.prototxt：

net: "models/bvlc_reference_caffenet/train_val.prototxt" # 指定的需要训练的网络模型

test_iter: 1000 # 在测试的时候，需要迭代的次数，即test_iter* batchsize（测试集的）=测试集的大小，测试集的 batchsize可以在prototx文件里设置

test_interval: 1000  # 训练的时候，每迭代test_interval次就进行一次测试。 

base_lr: 0.01        # 开始的学习率，α = 0.01=1e-2

lr_policy: "step"    # 学习策略: 每 stepsize 次迭代之后,将 α 乘以 gamma

gamma: 0.1           # 学习速率变化因子

stepsize: 100000     # 每100000次迭代,就降低一次学习速率

display: 20          # 每迭代20次，显示一次

max_iter: 450000     # 训练的最大迭代次数450000

momentum: 0.9        # 动量 momentum 为:μ = 0.9，μ 使 weight 的更新更为平缓,使SGD学习过程更为稳定、快速。更容易跳出局部最优，加速收敛。

weight_decay: 0.0005 # 权值衰减项，可看作正则化的系数，增大它的值可以减少过拟合，使在损失值相同的情况下，学习算法更倾向于选择权值和更小的网络.sgd时候的参数

snapshot: 10000      # 每迭代snapshot次，保存一次快照（参数数据）

snapshot_prefix: "models/bvlc_reference_caffenet/caffenet_train"   #设置快照存储路径

solver_mode: GPU     # 使用的模式是GPU

# 动量为:μ

# Vt+1 = μVt − α∇L(Wt)

# Wt+1 = Wt + Vt+1

# lr_policy可选择的策略：

    "fixed"

    "inv"

    "step"

    "multistep"

    "stepearly"

    "poly"

# The learning rate decay policy. The currently implemented learning rate policies are as follows:

#    - fixed: always return base_lr.

#    - step: return base_lr * gamma ^ (floor(iter / step))

#    - exp: return base_lr * gamma ^ iter

#    - inv: return base_lr * (1 + gamma * iter) ^ (- power)

#    - multistep: similar to step but it allows non uniform steps defined by

#      stepvalue

#    - poly: the effective learning rate follows a polynomial decay, to be

#      zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power)

#    - sigmoid: the effective learning rate follows a sigmod decay

#      return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))

#

# where base_lr, max_iter, gamma, step, stepvalue and power are defined

# in the solver parameter protocol buffer, and iter is the current iteration.