《neural network and deep learning》题解——ch03 如何选择神经网络的超参数
2017-08-31 15:59
926 查看
http://blog.csdn.net/u011239443/article/details/77748116
更改上面的代码来实现 L1 规范化,使用 L1 规范化使用 30 个隐藏元的神经网络对 MNIST数字进行分类。你能够找到一个规范化参数使得比无规范化效果更好么?
如何修改代码可参阅上节:http://blog.csdn.net/u011239443/article/details/77649026#t5
当无规范化时,我们将上节的代码
为了加快我们的训练,我们使得将训练集设置为1000,验证集设置为100:
结果:
加入 L1 , λ = 100.0 时,结果:
λ = 10.0 时,结果:
λ = 1.0 时,结果:
所以当λ = 1.0 时使,可以使得比无规范化效果更好。
随机梯度函数多加一个参数max_try:
cnt 记录不提升的次数,如达到max_try,就退出循环。这里用monitor_evaluation_accuracy举例:
随机梯度函数多加一个参数max_x:
当提升率小于x,则停止。这里用monitor_evaluation_accuracy举例:
的结果:
提升率小于x停止策略:
对问题二中的代码进行稍微的修改,128 = 2 ^ 7 。所以,多加个计数 del_cnt 记录学习率减小的次数:
使用梯度下降来确定 λ 的障碍在于,
得:
∂C∂λ=∑ww22n=0
最优化目标使得 w = 0,但是 w 也是我们原来需要优化的。
使用梯度下降来确定 η 的障碍在于,η 的最优解不是一个常数,随着迭代次数的增加,η 的最优解会越来越小。
问题一
上一节有问题也是调参,我们在这里讲解:更改上面的代码来实现 L1 规范化,使用 L1 规范化使用 30 个隐藏元的神经网络对 MNIST数字进行分类。你能够找到一个规范化参数使得比无规范化效果更好么?
如何修改代码可参阅上节:http://blog.csdn.net/u011239443/article/details/77649026#t5
当无规范化时,我们将上节的代码
update_mini_batch中做修改:
self.weights = [w - (eta / len(mini_batch)) * nw for w, nw in zip(self.weights, nabla_w)]
total_cost中去掉:
cost += 0.5 * (lmbda / len(data)) * sum(np.linalg.norm(w) ** 2 for w in self.weights)
为了加快我们的训练,我们使得将训练集设置为1000,验证集设置为100:
net.SGD(training_data[:1000],30,10,0.5,evaluation_data=validation_data[:100],monitor_evaluation_accuracy=True)
结果:
Epoch 30 training complete Acc on evaluation: 17 / 100
加入 L1 , λ = 100.0 时,结果:
Epoch 30 training complete Acc on evaluation: 11 / 100
λ = 10.0 时,结果:
Epoch 29 training complete Acc on evaluation: 11 / 100
λ = 1.0 时,结果:
Epoch 30 training complete Acc on evaluation: 31 / 100
所以当λ = 1.0 时使,可以使得比无规范化效果更好。
问题二
修改 network2.py 来实现提前终止,并让 n 回合不提升终止策略中的 n 称为可以设置的参数。随机梯度函数多加一个参数max_try:
def SGD(self, training_data, epochs, mini_batch_size, eta, lmbda=0.0, evaluation_data=None, monitor_evaluation_cost=False, monitor_evaluation_accuracy=False, monitor_training_cost=False, monitor_training_accuray=False,max_try = 100):
cnt 记录不提升的次数,如达到max_try,就退出循环。这里用monitor_evaluation_accuracy举例:
cnt = 0 for j in xrange(epochs): ...... if monitor_evaluation_accuracy: acc = self.accuracy(evaluation_data) evaluation_accurary.append(acc) if len(evaluation_accurary) > 1 and acc < evaluation_accurary[len(evaluation_accurary)-2]: cnt += 1 if cnt >= max_try: break else: cnt = 0 print "Acc on evaluation: {} / {}".format(acc, n_data) ......
问题三
你能够想出不同于 n 回合不提升终止策略的其他提前终止策略么?理想中,规则应该能够获得更高的验证准确率而不需要训练太久。将你的想法实现在 network2.py 中,运行这些实验和 3 回合(10 回合太多,基本上训练全部,所以改成 3)不提升终止策略比较对应的验证准确率和训练的回合数。策略与实现
多一个参数x,当提升率小于x,则停止。随机梯度函数多加一个参数max_x:
def SGD(self, training_data, epochs, mini_batch_size, eta, lmbda=0.0, evaluation_data=None, monitor_evaluation_cost=False, monitor_evaluation_accuracy=False, monitor_training_cost=False, monitor_training_accuray=False,min_x = 0.01):
当提升率小于x,则停止。这里用monitor_evaluation_accuracy举例:
if monitor_evaluation_accuracy: acc = self.accuracy(evaluation_data) evaluation_accurary.append(acc) if len(evaluation_accurary) > 1 and \ (acc - evaluation_accurary[len(evaluation_accurary)-2])*1.0/(1.0*n_data) < min_x: break print "Acc on evaluation: {} / {}".format(acc, n_data)
对比
10 回合不提升终止策略:net.SGD(training_data[:1000],50,10,0.25,5.0,evaluation_data=validation_data[:100], monitor_evaluation_accuracy=True,max_try=3)
的结果:
Epoch 32 training complete Acc on evaluation: 15 / 100
提升率小于x停止策略:
Epoch 3 training complete Acc on evaluation: 17 / 100
问题四
更改 network2.py 实现学习规则:每次验证准确率满足满足 10 回合不提升终止策略时改变学习速率;当学习速率降到初始值的 1/128 时终止。对问题二中的代码进行稍微的修改,128 = 2 ^ 7 。所以,多加个计数 del_cnt 记录学习率减小的次数:
cnt = 0 del_cnt = 0 for j in xrange(epochs): ...... if monitor_evaluation_accuracy: acc = self.accuracy(evaluation_data) evaluation_accurary.append(acc) if len(evaluation_accurary) > 1 and acc < evaluation_accurary[len(evaluation_accurary)-2]: cnt += 1 if cnt >= max_try: del_cnt += 1 if del_cnt >= 7: break eta /= 2.0 cnt = 0 else: cnt = 0 print "Acc on evaluation: {} / {}".format(acc, n_data)
问题五
使用梯度下降来尝试学习好的超参数的值其实很受期待。你可以想像关于使用梯度下降来确定 λ 的障碍么?你能够想象关于使用梯度下降来确定 η 的障碍么?使用梯度下降来确定 λ 的障碍在于,
得:
∂C∂λ=∑ww22n=0
最优化目标使得 w = 0,但是 w 也是我们原来需要优化的。
使用梯度下降来确定 η 的障碍在于,η 的最优解不是一个常数,随着迭代次数的增加,η 的最优解会越来越小。
相关文章推荐
- 《neural network and deep learning》题解——ch03 过度拟合&规范化&权重初始化
- 《neural network and deep learning》题解——ch03 其他技术(momentun,tanh)
- 《Neural Networks and Deep Learning》读书笔记:最简单的识别MNIST的神经网络程序(1)
- 《Neural Networks and Deep Learning》读书笔记:最简单的识别MNIST的神经网络程序(2)
- 《neural networks and deep learning》——使用神经网络识别手写数字
- 深度神经网络如何看待你,论自拍What a Deep Neural Network thinks about your #selfie
- 神经网络压缩(3):Learning both Weights and Connections for Efficient Neural Network
- 《Neural Networks and Deep Learning》学习笔记三-神经网络输出层神经元个数
- 神经网络压缩(3):Learning both Weights and Connections for Efficient Neural Network
- Neural Networks and Deep Learning(神经网络与深度学习)_On the exercises and problems
- Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.2
- Andrew Ng's deeplearning Course1Week4 Deep neural network(深层神经网络)
- 如何选择GPU and Deep Learning
- Andrew Ng's deeplearning Course1Week1 Nerual Networks and Deep Learning(神经网络和深度学习)
- Spark MLlib Deep Learning Neural Net(深度学习-神经网络)
- neural network and deeplearning chapter 3
- Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.1
- neural network and deep learning笔记(1)
- neural network and deep learning (1)
- Coursera deep learning 吴恩达 神经网络和深度学习 第四周 编程作业 Building your Deep Neural Network