使用pytorch进行迁移学习
2018-02-01 16:42
302 查看
说明:本篇文章整理Transfer Learning tutorial上的知识点;关于迁移学习,请移步:cs231n
notes
简要说明为何需要迁移学习:
在实际中,我们很少会训练一整个卷积神经网络(所有的参数从随机初始值开始训练),因为我们很难找到足够大的数据集。实际上,我们会用一个非常大的数据集(如ImageNet)来预训练一个卷积神经网络,然后使用这个神经网络来作为初始化权重或者是特征提取器。
迁移学习的两个基本操作:
· 使用预训练网络的权重作为训练模型的初始权重,而不是随机初始化的参数。
· 固定卷积层的参数不动,训练、微调全连接层(分类器);全连接层的参数是随机初始化的。
需要用到的库:
from __future__ import print_function, division
import torch
import torch.nn as nn
import torch.optim as optim
from torch.optim import lr_scheduler
from torch.autograd import Variable
import numpy as np
import torchvision
from torchvision import datasets, models, transforms
import matplotlib.pyplot as plt
import time
import os
import copy
plt.ion() # interactive mode
加载数据,将数据集放在脚本文件的相对目录下:
notes
简要说明为何需要迁移学习:
在实际中,我们很少会训练一整个卷积神经网络(所有的参数从随机初始值开始训练),因为我们很难找到足够大的数据集。实际上,我们会用一个非常大的数据集(如ImageNet)来预训练一个卷积神经网络,然后使用这个神经网络来作为初始化权重或者是特征提取器。
迁移学习的两个基本操作:
· 使用预训练网络的权重作为训练模型的初始权重,而不是随机初始化的参数。
· 固定卷积层的参数不动,训练、微调全连接层(分类器);全连接层的参数是随机初始化的。
需要用到的库:
from __future__ import print_function, division
import torch
import torch.nn as nn
import torch.optim as optim
from torch.optim import lr_scheduler
from torch.autograd import Variable
import numpy as np
import torchvision
from torchvision import datasets, models, transforms
import matplotlib.pyplot as plt
import time
import os
import copy
plt.ion() # interactive mode
加载数据,将数据集放在脚本文件的相对目录下:
相关文章推荐
- keras迁移学习 使用vgg16进行手写数字识别
- 使用inception模型进行迁移学习
- 使用matconvnet进行迁移学习(fine-tuning)的简单思路
- CNTK API文档翻译(24)——使用深度迁移学习进行图像识别
- Keras 入门课6 -- 使用Inception V3模型进行迁移学习
- caffe安装+使用places365进行迁移学习
- 使用Tensorflow的slim库进行迁移学习
- TensorFlow迁移学习-使用谷歌训练好的Inception-v3网络进行分类
- 使用ActiveReports for .net 进行报表开发(十一)--迁移到3.0
- 学习JavaFX Script,第二部分:使用RMI进行远程通信
- 多线程学习-使用临界区进行线程同步--发布日期:2008-07-17 16:38
- 使用热备份进行分时恢复----怎样通过归档逐步恢复以缩短数据迁移时间
- Asp.net学习笔记----使用GridView+ObjectDataSource进行自定义分页排序
- .NET学习(6) 使用WinForms进行GUI设计
- 转载--Ajax学习---使用 JSON 进行数据传输
- 使用SqlBulkCopy进行大批量数据迁移
- 使用SqlBulkCopy进行数据大批量的迁移
- DELPHI学习笔记--使用通配符进行模糊查询
- 使用SqlBulkCopy进行大批量数据迁移
- 使用ActiveReports for .net 进行报表开发(十一)--迁移到3.0 (以上均转自CURE Blog)