python程序生成prototxt文件
2017-12-28 23:47
651 查看
转载请注明作者和出处：http://blog.csdn.net/c406495762
Python版本： Python2.7
运行平台： Ubuntu14.04
一、前言
了解到上一篇笔记的内容，就可以尝试自己编写python程序生成prototxt文件了，当然也可以直接创建文件进行编写，不过显然，使用python生成这个配置文件更为简洁。之前已说过cifar10是使用cifar10_quick_solver.prototxt配置文件来生成model。cifar10_quick_solver.prototxt的内容如下：
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
从以上代码中可以看出，第四行的net参数，指定了训练时使用的prototxt文件。这个prototxt文件也是可以分开写的，分为train.prototxt和test.prototxt。例如，第四行的配置可以改写为：
2
二、Pycaffe API小试
solver.prototxt文件如何生成，在后续的笔记中讲解，先学习如何使用python生成简单的train.prtotxt文件和test.prototxt文件。
1.Data Layer：
2
3
4
5
6
7
8
9
10
11
12
13
运行结果：
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
2.Convolution Layer：
添加卷积层：
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
运行结果：
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
3.ReLU Layer：
添加ReLu激活层：
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
运行结果：
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
4.类似的继续添加池化层、全连层、dropout层、softmax层等。
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
运行结果：
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
三、生成并保存训练需要使用的train.prototxt和test.protxt文件
1.编写代码如下：
Python版本： Python2.7
运行平台： Ubuntu14.04
一、前言
了解到上一篇笔记的内容，就可以尝试自己编写python程序生成prototxt文件了，当然也可以直接创建文件进行编写，不过显然，使用python生成这个配置文件更为简洁。之前已说过cifar10是使用cifar10_quick_solver.prototxt配置文件来生成model。cifar10_quick_solver.prototxt的内容如下：
# reduce the learning rate after 8 epochs (4000 iters) by a factor of 10 # The train/test net protocol buffer definition net: "examples/cifar10/cifar10_quick_train_test.prototxt" # test_iter specifies how many forward passes the test should carry out. # In the case of MNIST, we have test batch size 100 and 100 test iterations, # covering the full 10,000 testing images. test_iter: 100 # Carry out testing every 500 training iterations. test_interval: 500 # The base learning rate, momentum and the weight decay of the network. base_lr: 0.001 momentum: 0.9 weight_decay: 0.004 # The learning rate policy lr_policy: "fixed" # Display every 100 iterations display: 100 # The maximum number of iterations max_iter: 4000 # snapshot intermediate results snapshot: 4000 snapshot_format: HDF5 snapshot_prefix: "examples/cifar10/cifar10_quick" # solver mode: CPU or GPU solver_mode: GPU1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
从以上代码中可以看出，第四行的net参数，指定了训练时使用的prototxt文件。这个prototxt文件也是可以分开写的，分为train.prototxt和test.prototxt。例如，第四行的配置可以改写为：
train_net = "examples/cifar10/cifar10_quick_train.prototxt" test_net = "examples/cifar10/cifar10_quick_test.prototxt"1
2
二、Pycaffe API小试
solver.prototxt文件如何生成，在后续的笔记中讲解，先学习如何使用python生成简单的train.prtotxt文件和test.prototxt文件。
1.Data Layer：
# -*- coding: UTF-8 -*- import caffe #导入caffe包 caffe_root = "/home/Jack-Cui/caffe-master/my-caffe-project/" #my-caffe-project目录 train_lmdb = caffe_root + "img_train.lmdb" #train.lmdb文件的位置 mean_file = caffe_root + "mean.binaryproto" 1913d #均值文件的位置 #网络规范 net = caffe.NetSpec() #第一层Data层 net.data, net.label = caffe.layers.Data(source = train_lmdb, backend = caffe.params.Data.LMDB, batch_size = 64, ntop=2, transform_param = dict(crop_size = 40,mean_file = mean_file,mirror = True)) print str(net.to_proto())1
2
3
4
5
6
7
8
9
10
11
12
13
运行结果：
layer {
name: "data"
type: "Data"
top: "data"
top: "label"
transform_param {
mirror: true
crop_size: 40
mean_file: "/home/Jack-Cui/caffe-master/my-caffe-project/mean.binaryproto"
}
data_param {
source: "/home/Jack-Cui/caffe-master/my-caffe-project/img_train.lmdb"
batch_size: 64
backend: LMDB
}
}12
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
2.Convolution Layer：
添加卷积层：
# -*- coding: UTF-8 -*-
import caffe #导入caffe包
caffe_root = "/home/Jack-Cui/caffe-master/my-caffe-project/" #my-caffe-project目录
train_lmdb = caffe_root + "img_train.lmdb" #train.lmdb文件的位置
mean_file = caffe_root + "mean.binaryproto" #均值文件的位置
#网络规范
net = caffe.NetSpec()
#第一层Data层
net.data, net.label = caffe.layers.Data(source = train_lmdb, backend = caffe.params.Data.LMDB, batch_size = 64, ntop=2,
transform_param = dict(crop_size = 40,mean_file = mean_file,mirror = True))
#第二层Convolution层
net.conv1 = caffe.layers.Convolution(net.data, num_output=20, kernel_size=5,weight_filler={"type": "xavier"},
bias_filler={"type": "constant"})
print str(net.to_proto())12
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
运行结果：
layer {
name: "data"
type: "Data"
top: "data"
top: "label"
transform_param {
mirror: true
crop_size: 40
mean_file: "/home/Jack-Cui/caffe-master/my-caffe-project/mean.binaryproto"
}
data_param {
source: "/home/Jack-Cui/caffe-master/my-caffe-project/img_train.lmdb"
batch_size: 64
backend: LMDB
}
}layer {
name: "conv1"
type: "Convolution"
bottom: "data"
top: "conv1"
convolution_param {
num_output: 20
kernel_size: 5
weight_filler {
type: "xavier"
}
bias_filler {
type: "constant"
}
}
}
12
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
3.ReLU Layer：
添加ReLu激活层：
# -*- coding: UTF-8 -*-
import caffe #导入caffe包
caffe_root = "/home/Jack-Cui/caffe-master/my-caffe-project/" #my-caffe-project目录
train_lmdb = caffe_root + "img_train.lmdb" #train.lmdb文件的位置
mean_file = caffe_root + "mean.binaryproto" #均值文件的位置
#网络规范
net = caffe.NetSpec()
#第一层Data层
net.data, net.label = caffe.layers.Data(source = train_lmdb, backend = caffe.params.Data.LMDB, batch_size = 64, ntop=2,
transform_param = dict(crop_size = 40,mean_file = mean_file,mirror = True))
#第二层Convolution视觉层
net.conv1 = caffe.layers.Convolution(net.data, num_output=20, kernel_size=5,weight_filler={"type": "xavier"},
bias_filler={"type": "constant"})
#第三层ReLU激活层
net.relu1 = caffe.layers.ReLU(net.conv1, in_place=True)
print str(net.to_proto())12
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
运行结果：
layer {
name: "data"
type: "Data"
top: "data"
top: "label"
transform_param {
mirror: true
crop_size: 40
mean_file: "/home/Jack-Cui/caffe-master/my-caffe-project/mean.binaryproto"
}
data_param {
source: "/home/Jack-Cui/caffe-master/my-caffe-project/img_train.lmdb"
batch_size: 64
backend: LMDB
}
}layer {
name: "conv1"
type: "Convolution"
bottom: "data"
top: "conv1"
convolution_param {
num_output: 20
kernel_size: 5
weight_filler {
type: "xavier"
}
bias_filler {
type: "constant"
}
}
}
layer {
name: "relu1"
type: "ReLU"
bottom: "conv1"
top: "conv1"
}
12
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
4.类似的继续添加池化层、全连层、dropout层、softmax层等。
# -*- coding: UTF-8 -*-
import caffe #导入caffe包
caffe_root = "/home/Jack-Cui/caffe-master/my-caffe-project/" #my-caffe-project目录
train_lmdb = caffe_root + "img_train.lmdb" #train.lmdb文件的位置
mean_file = caffe_root + "mean.binaryproto" #均值文件的位置
#网络规范
net = caffe.NetSpec()
#第一层Data层
net.data, net.label = caffe.layers.Data(source = train_lmdb, backend = caffe.params.Data.LMDB, batch_size = 64, ntop=2,
transform_param = dict(crop_size = 40,mean_file = mean_file,mirror = True))
#第二层Convolution视觉层
net.conv1 = caffe.layers.Convolution(net.data, num_output=20, kernel_size=5,weight_filler={"type": "xavier"},
bias_filler={"type": "constant"})
#第三层ReLU激活层
net.relu1 = caffe.layers.ReLU(net.conv1, in_place=True)
#第四层Pooling池化层
net.pool1 = caffe.layers.Pooling(net.relu1, pool=caffe.params.Pooling.MAX, kernel_size=3, stride=2)
net.conv2 = caffe.layers.Convolution(net.pool1, kernel_size=3, stride=1,num_output=32, pad=1,weight_filler=dict(type='xavier'))
net.relu2 = caffe.layers.ReLU(net.conv2, in_place=True)
net.pool2 = caffe.layers.Pooling(net.relu2, pool=caffe.params.Pooling.MAX, kernel_size=3, stride=2)
#全连层
net.fc3 = caffe.layers.InnerProduct(net.pool2, num_output=1024,weight_filler=dict(type='xavier'))
net.relu3 = caffe.layers.ReLU(net.fc3, in_place=True)
#创建一个dropout层
net.drop3 = caffe.layers.Dropout(net.relu3, in_place=True)
net.fc4 = caffe.layers.InnerProduct(net.drop3, num_output=10,weight_filler=dict(type='xavier'))
#创建一个softmax层
net.loss = caffe.layers.SoftmaxWithLoss(net.fc4, net.label)
print str(net.to_proto())12
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
运行结果：
layer {
name: "data"
type: "Data"
top: "data"
top: "label"
transform_param {
mirror: true
crop_size: 40
mean_file: "/home/Jack-Cui/caffe-master/my-caffe-project/mean.binaryproto"
}
data_param {
source: "/home/Jack-Cui/caffe-master/my-caffe-project/img_train.lmdb"
batch_size: 64
backend: LMDB
}
}layer {
name: "conv1"
type: "Convolution"
bottom: "data"
top: "conv1"
convolution_param {
num_output: 20
kernel_size: 5
weight_filler {
type: "xavier"
}
bias_filler {
type: "constant"
}
}
}
layer {
name: "relu1"
type: "ReLU"
bottom: "conv1"
top: "conv1"
}
layer {
name: "pool1"
type: "Pooling"
bottom: "conv1"
top: "pool1"
pooling_param {
pool: MAX
kernel_size: 3
stride: 2
}
}
layer {
name: "conv2"
type: "Convolution"
bottom: "pool1"
top: "conv2"
convolution_param {
num_output: 32
pad: 1
kernel_size: 3
stride: 1
weight_filler {
type: "xavier"
}
}
}
layer {
name: "relu2"
type: "ReLU"
bottom: "conv2"
top: "conv2"
}
layer {
name: "pool2"
type: "Pooling"
bottom: "conv2"
top: "pool2"
pooling_param {
pool: MAX
kernel_size: 3
stride: 2
}
}
layer {
name: "fc3"
type: "InnerProduct"
bottom: "pool2"
top: "fc3"
inner_product_param {
num_output: 1024
weight_filler {
type: "xavier"
}
}
}
layer {
name: "relu3"
type: "ReLU"
bottom: "fc3"
top: "fc3"
}
layer {
name: "drop3"
type: "Dropout"
bottom: "fc3"
top: "fc3"
}
layer {
name: "fc4"
type: "InnerProduct"
bottom: "fc3"
top: "fc4"
inner_product_param {
num_output: 10
weight_filler {
type: "xavier"
}
}
}
layer {
name: "loss"
type: "SoftmaxWithLoss"
bottom: "fc4"
bottom: "label"
top: "loss"
}
12
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
三、生成并保存训练需要使用的train.prototxt和test.protxt文件
1.编写代码如下：
# -*- coding: UTF-8 -*-
import caffe #导入caffe包
def create_net(lmdb, mean_file, batch_size, include_acc=False):
#网络规范
net = caffe.NetSpec()
#第一层Data层
net.data, net.label = caffe.layers.Data(source=lmdb, backend=caffe.params.Data.LMDB, batch_size=batch_size, ntop=2,
transform_param = dict(crop_size = 40, mean_file=mean_file, mirror=True))
#第二层Convolution视觉层
net.conv1 = caffe.layers.Convolution(net.data, num_output=20, kernel_size=5,weight_filler={"type": "xavier"},
bias_filler={"type": "constant"})
#第三层ReLU激活层
net.relu1 = caffe.layers.ReLU(net.conv1, in_place=True)
#第四层Pooling池化层
net.pool1 = caffe.layers.Pooling(net.relu1, pool=caffe.params.Pooling.MAX, kernel_size=3, stride=2)
net.conv2 = caffe.layers.Convolution(net.pool1, kernel_size=3, stride=1,num_output=32, pad=1,weight_filler=dict(type='xavier'))
net.relu2 = caffe.layers.ReLU(net.conv2, in_place=True)
net.pool2 = caffe.layers.Pooling(net.relu2, pool=caffe.params.Pooling.MAX, kernel_size=3, stride=2)
#全连层
net.fc3 = caffe.layers.InnerProduct(net.pool2, num_output=1024,weight_filler=dict(type='xavier'))
net.relu3 = caffe.layers.ReLU(net.fc3, in_place=True)
#创建一个dropout层
net.drop3 = caffe.layers.Dropout(net.relu3, in_place=True)
net.fc4 = caffe.layers.InnerProduct(net.drop3, num_output=10,weight_filler=dict(type='xavier'))
#创建一个softmax层
net.loss = caffe.layers.SoftmaxWithLoss(net.fc4, net.label)
#训练的prototxt文件不包括Accuracy层,测试的时候需要。
if include_acc:
net.acc = caffe.layers.Accuracy(net.fc4, net.label)
return str(net.to_proto())
return str(net.to_proto())
def write_net():
caffe_root = "/home/Jack-Cui/caffe-master/my-caffe-project/" #my-caffe-project目录
train_lmdb = caffe_root + "train.lmdb" #train.lmdb文件的位置
test_lmdb = caffe_root + "test.lmdb" #test.lmdb文件的位置
mean_file = caffe_root + "mean.binaryproto" #均值文件的位置
train_proto = caffe_root + "train.prototxt" #保存train_prototxt文件的位置
test_proto = caffe_root + "test.prototxt" #保存test_prototxt文件的位置
#写入prototxt文件
with open(train_proto, 'w') as f:
f.write(str(create_net(train_lmdb, mean_file, batch_size=64)))
#写入prototxt文件
with open(test_proto, 'w') as f:
f.write(str(create_net(test_lmdb, mean_file, batch_size=32, include_acc=True)))
if __name__ == '__main__':
write_net()
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 【Python】【Caffe】一、生成prototxt文件《python调用caffe模块》
- 利用python脚本生成caffe的prototxt文件
- 利用caffe的Python接口生成prototxt文件
- caffe源码学习——用python定义网络时，源代码生成prototxt文件的原理
- 根据 *_train_test.prototxt文件生成 *_deploy.prototxt文件
- 根据 *_train_test.prototxt文件生成 *_deploy.prototxt文件
- 写一个程序，能够动态生成多条插入语句如：insert into MyStudents values（“人名1”，年龄，‘男’，分数1，分数2）。将生成的插入语句输出到记事本文件 SQLStr.txt中
- python程序1（生成可重复或不可重复随机字符串、生成多个文件夹和文件，并将生成的字符串写入文件中）
- python使用.proto文件生成service接口失败
- java小程序从数据库中（表）中读取数据然后创建文件夹生成txt文件
- 使用pycaffe生成solver.prototxt文件并进行训练
- 开发利器_Pigar.快速为Python项目生成依赖文件requirements.txt?
- 用python生成1000个txt文件的方法
- python 通过pip生成requirements.txt,以及通过该文件导入依赖库
- caffe中根据 *_train_test.prototxt文件生成 *_deploy.prototxt文件 （转载）
- Python读excel生成数据存入txt文件
- Python练习—画图软件生成的图像转成txt文件（只有0和1）
- 基于pycaffe从零开始写mnist（第二篇）——生成训练网络结构文件（train.prototxt）+测试网络结构文件（test.prototxt）
- Python 对谷歌协议文件 .proto 文件的生成与处理 （python 命令、查找、替换）
- caffe生成lenet-5的deploy.prototxt文件