DeepLearning tutorial(2)机器学习算法在训练过程中保存参数
2015-08-11 14:17
447 查看
@author:wepon
@blog:/article/1327450.html
参考:pickle — Python object serialization、DeepLearning
Getting started
[python] view
plaincopy
#以读取mnist.pkl.gz为例
import cPickle, gzip
f = gzip.open('mnist.pkl.gz', 'rb')
train_set, valid_set, test_set = cPickle.load(f)
f.close()
其实就是分两步,先读取gz文件,再读取pkl文件。pkl文件的应用正是下文要讲的,我们用它来保存机器学习算法训练过程中的参数。
那么如何保存模型参数?可以将参数深复制,或者调用python的数据永久存储cPickle模块,原理不多说,直接使用就行。(注:python里有cPickle和pickle,cPickle基于c实现,比pickle快。)
直接用一个例子来说明如何使用:
[python] view
plaincopy
a=[1,2,3]
b={4:5,6:7}
#保存,cPickle.dump函数。/home/wepon/ab是路径,ab是保存的文件的名字,如果/home/wepon/下本来就有ab这个文件,将被覆写#,如果没有,则创建。'wb'表示以二进制可写的方式打开。dump中的-1表示使用highest protocol。
import cPickle
write_file=open('/home/wepon/ab','wb')
cPickle.dump(a,write_file,-1)
cPickle.dump(b,write_file,-1)
write_file.close()
#读取,cPickle.load函数。
read_file=open('/home/wepon/ab','rb')
a_1=cPickle.load(read_file)
b_1=cPickle.load(read_file)
print a,b
read_file.close()
在deeplearning算法中,因为用到GPU,经常是将参数声明为shared变量,因此必须用上get_value()、set_value,例如有w、v、u三个shared变量,使用代码如下:
[python] view
plaincopy
import cPickle
#保存
write_file = open('path', 'wb')
cPickle.dump(w.get_value(borrow=True), write_file, -1)
cPickle.dump(v.get_value(borrow=True), write_file, -1)
cPickle.dump(u.get_value(borrow=True), write_file, -1)
write_file.close()
#读取
read_file = open('path')
w.set_value(cPickle.load(read_file), borrow=True)
v.set_value(cPickle.load(read_file), borrow=True)
u.set_value(cPickle.load(read_file), borrow=True)
read_file.close()
一个实例
下面我以一个实际的例子来说明如何在程序中加入保存参数的功能。以deeplearnig.net上的逻辑回归为例,它的代码地址:logistic_sgd.py。这个程序是将逻辑回归用于MNIST分类,程序运行过程并不会保存参数,甚至运行结束时也不保存参数。怎么做可以保存参数?
在logistic_sgd.py代码里最后面的sgd_optimization_mnist()函数里,有个while循环,里面有一句代码:
[python] view
plaincopy
if this_validation_loss < best_validation_loss:
这句代码的意思就是判断当前的验证损失是否小于最佳的验证损失,是的话,下面会更新best_validation_loss,也就是说当前参数下,模型比之前的有了优化,因此我们可以在这个if语句后面加入保存参数的代码:
[python] view
plaincopy
save_params(classifier.W,classifier.b)
save_params函数定义如下:
[python] view
plaincopy
def save_params(param1,param2):
import cPickle
write_file = open('params', 'wb')
cPickle.dump(param1.get_value(borrow=True), write_file, -1)
cPickle.dump(param2.get_value(borrow=True), write_file, -1)
write_file.close()
当然参数的个数根据需要去定义。在logistic_sgd.py中参数只有classifier.W,classifier.b,因此这里定义为save_params(param1,param2)。
在logistic_sgd.py里我加入了save_params(classifier.W,classifier.b),运行了3次epoch,中断掉程序,在代码所在的文件夹下,多出了一个params文件,我们来看看这个文件里是什么东西:
[python] view
plaincopy
import cPickle
f=open('params')
w=cPickle.load(f)
b=cPickle.load(f)
#w大小是(n_in,n_out),b大小时(n_out,),b的值如下,因为MINST有10个类别,n_out=10,下面正是10个数
array([-0.0888151 , 0.16875755, -0.03238435, -0.06493175, 0.05245609,
0.1754718 , -0.0155049 , 0.11216578, -0.26740651, -0.03980861])
也就是说,params文件确实保存了我们训练过程中的参数。
那么如何用保存下来的参数来初始化我们的模型的参数呢?
在logistic_sgd.py中的class LogisticRegression(object)下,self.W和self.b本来是初始化为0的,我们可以在下面加上几行代码,这样就可以用我们保存下来的params文件来初始化参数了:
[python] view
plaincopy
class LogisticRegression(object):
def __init__(self, input, n_in, n_out):
self.W = theano.shared(
value=numpy.zeros(
(n_in, n_out),
dtype=theano.config.floatX
),
name='W',
borrow=True
)
self.b = theano.shared(
value=numpy.zeros(
(n_out,),
dtype=theano.config.floatX
),
name='b',
borrow=True
)
#!!!
#加入的代码在这里,程序运行到这里将会判断当前路径下有没有params文件,有的话就拿来初始化W和b
if os.path.exists('params'):
f=open('params')
self.W.set_value(cPickle.load(f), borrow=True)
self.b.set_value(cPickle.load(f), borrow=True)
@blog:/article/1327450.html
参考:pickle — Python object serialization、DeepLearning
Getting started
一、python读取"***.pkl.gz"文件
用到python里的gzip以及cPickle模块,简单的使用代码如下,如果想详细了解可以参考上面给出的链接。[python] view
plaincopy
#以读取mnist.pkl.gz为例
import cPickle, gzip
f = gzip.open('mnist.pkl.gz', 'rb')
train_set, valid_set, test_set = cPickle.load(f)
f.close()
其实就是分两步,先读取gz文件,再读取pkl文件。pkl文件的应用正是下文要讲的,我们用它来保存机器学习算法训练过程中的参数。
二、机器学习算法在训练过程中如何保存参数?
我们知道,机器学习算法的计算量特别大,跑起程序来少则几十分钟,多则几小时甚至几天,中间如果有什么状况(比如电脑过热重启、程序出现一些小bug...)程序就会中断,如果你没把参数定时保存下来,前面的训练就当白费了,所以很有必要在程序中加入定时保存参数的功能,这样下次训练就可以将参数初始化为上次保存下来的结果,而不是从头开始随机初始化。那么如何保存模型参数?可以将参数深复制,或者调用python的数据永久存储cPickle模块,原理不多说,直接使用就行。(注:python里有cPickle和pickle,cPickle基于c实现,比pickle快。)
直接用一个例子来说明如何使用:
[python] view
plaincopy
a=[1,2,3]
b={4:5,6:7}
#保存,cPickle.dump函数。/home/wepon/ab是路径,ab是保存的文件的名字,如果/home/wepon/下本来就有ab这个文件,将被覆写#,如果没有,则创建。'wb'表示以二进制可写的方式打开。dump中的-1表示使用highest protocol。
import cPickle
write_file=open('/home/wepon/ab','wb')
cPickle.dump(a,write_file,-1)
cPickle.dump(b,write_file,-1)
write_file.close()
#读取,cPickle.load函数。
read_file=open('/home/wepon/ab','rb')
a_1=cPickle.load(read_file)
b_1=cPickle.load(read_file)
print a,b
read_file.close()
在deeplearning算法中,因为用到GPU,经常是将参数声明为shared变量,因此必须用上get_value()、set_value,例如有w、v、u三个shared变量,使用代码如下:
[python] view
plaincopy
import cPickle
#保存
write_file = open('path', 'wb')
cPickle.dump(w.get_value(borrow=True), write_file, -1)
cPickle.dump(v.get_value(borrow=True), write_file, -1)
cPickle.dump(u.get_value(borrow=True), write_file, -1)
write_file.close()
#读取
read_file = open('path')
w.set_value(cPickle.load(read_file), borrow=True)
v.set_value(cPickle.load(read_file), borrow=True)
u.set_value(cPickle.load(read_file), borrow=True)
read_file.close()
一个实例
下面我以一个实际的例子来说明如何在程序中加入保存参数的功能。以deeplearnig.net上的逻辑回归为例,它的代码地址:logistic_sgd.py。这个程序是将逻辑回归用于MNIST分类,程序运行过程并不会保存参数,甚至运行结束时也不保存参数。怎么做可以保存参数?
在logistic_sgd.py代码里最后面的sgd_optimization_mnist()函数里,有个while循环,里面有一句代码:
[python] view
plaincopy
if this_validation_loss < best_validation_loss:
这句代码的意思就是判断当前的验证损失是否小于最佳的验证损失,是的话,下面会更新best_validation_loss,也就是说当前参数下,模型比之前的有了优化,因此我们可以在这个if语句后面加入保存参数的代码:
[python] view
plaincopy
save_params(classifier.W,classifier.b)
save_params函数定义如下:
[python] view
plaincopy
def save_params(param1,param2):
import cPickle
write_file = open('params', 'wb')
cPickle.dump(param1.get_value(borrow=True), write_file, -1)
cPickle.dump(param2.get_value(borrow=True), write_file, -1)
write_file.close()
当然参数的个数根据需要去定义。在logistic_sgd.py中参数只有classifier.W,classifier.b,因此这里定义为save_params(param1,param2)。
在logistic_sgd.py里我加入了save_params(classifier.W,classifier.b),运行了3次epoch,中断掉程序,在代码所在的文件夹下,多出了一个params文件,我们来看看这个文件里是什么东西:
[python] view
plaincopy
import cPickle
f=open('params')
w=cPickle.load(f)
b=cPickle.load(f)
#w大小是(n_in,n_out),b大小时(n_out,),b的值如下,因为MINST有10个类别,n_out=10,下面正是10个数
array([-0.0888151 , 0.16875755, -0.03238435, -0.06493175, 0.05245609,
0.1754718 , -0.0155049 , 0.11216578, -0.26740651, -0.03980861])
也就是说,params文件确实保存了我们训练过程中的参数。
那么如何用保存下来的参数来初始化我们的模型的参数呢?
在logistic_sgd.py中的class LogisticRegression(object)下,self.W和self.b本来是初始化为0的,我们可以在下面加上几行代码,这样就可以用我们保存下来的params文件来初始化参数了:
[python] view
plaincopy
class LogisticRegression(object):
def __init__(self, input, n_in, n_out):
self.W = theano.shared(
value=numpy.zeros(
(n_in, n_out),
dtype=theano.config.floatX
),
name='W',
borrow=True
)
self.b = theano.shared(
value=numpy.zeros(
(n_out,),
dtype=theano.config.floatX
),
name='b',
borrow=True
)
#!!!
#加入的代码在这里,程序运行到这里将会判断当前路径下有没有params文件,有的话就拿来初始化W和b
if os.path.exists('params'):
f=open('params')
self.W.set_value(cPickle.load(f), borrow=True)
self.b.set_value(cPickle.load(f), borrow=True)
相关文章推荐
- UserInfoFromAD
- 1083. List Grades (25)
- 【数据结构】基本概念
- 腾讯2014在广州站实习生offer经验(TEG-开发背景)
- 演示垂直滚动条CScrollbar控件的使用
- 手机淘宝怎么推广?无线流量从0到1万 只需13步
- 初识BeeFramework
- 在android布局中使用include和merge标签
- PAT 1043. Is It a Binary Search Tree (25)
- git config
- Matlab程序设计:批量读取文件(Image, excel, txt .etc)
- Binder与AIDL服务
- iOS入门(三)循环结构
- 浅谈数据压缩简史
- MySqlite基本操作
- 异常与错误
- 【iOS开发系列】颜色渐变
- div和span的区别
- 安卓AndroidManifest.xml介绍
- 【安全】 xss跨站脚本攻击