pytorch中的model.eval()和BN层的使用
2021-05-27 04:11
501 查看
看代码吧~
class ConvNet(nn.module): def __init__(self, num_class=10): super(ConvNet, self).__init__() self.layer1 = nn.Sequential(nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2), nn.BatchNorm2d(16), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2)) self.layer2 = nn.Sequential(nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2)) self.fc = nn.Linear(7*7*32, num_classes) def forward(self, x): out = self.layer1(x) out = self.layer2(out) print(out.size()) out = out.reshape(out.size(0), -1) out = self.fc(out) return out
# Test the model model.eval() # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance) with torch.no_grad(): correct = 0 total = 0 for images, labels in test_loader: images = images.to(device) labels = labels.to(device) outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item()
如果网络模型model中含有BN层,则在预测时应当将模式切换为评估模式,即model.eval()。
评估模拟下BN层的均值和方差应该是整个训练集的均值和方差,即 moving mean/variance。
训练模式下BN层的均值和方差为mini-batch的均值和方差,因此应当特别注意。
补充:Pytorch 模型训练模式和eval模型下差别巨大(Pytorch train and eval)附解决方案
当pytorch模型写明是eval()时有时表现的结果相对于train(True)差别非常巨大,这种差别经过逐层查看,主要来源于使用了BN,在eval下,使用的BN是一个固定的running rate,而在train下这个running rate会根据输入发生改变。
解决方案是冻住bn
def freeze_bn(m): if isinstance(m, nn.BatchNorm2d): m.eval() model.apply(freeze_bn)
这样可以获得稳定输出的结果。
以上为个人经验,希望能给大家一个参考
您可能感兴趣的文章:相关文章推荐
- 使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval
- pytorch:model.train和model.eval用法及区别详解
- pytorch测试的时候为何要加上model.eval()
- Pytorch中的 model train和 model eval模式
- pytorch掉坑记录:model.eval的作用
- phalcon-入门篇8(Model层基础使用2)
- SpringMVC @ModelAttribute 的使用【转】
- MVC View中Model是List<dynamic>时不能使用Html.DisplayFor
- FLEX使用Model标签与定制as类
- Silverlight + WCF使用Linq to SQL以及ADO.NET Entity Data Model更新数
- resultMap使用不当导致出现There is no WRITEABLE property named 'student_id' in class 'com.ssi.model.Stud
- AngularJS ng-repeat下使用ng-model
- C# EntityFramwork(Model First)使用要点
- vue如何在自定义组件中使用v-model
- PyTorch学习笔记——(7)使用pytorch实现手写数字识别,可以很好的练习pytorch
- 探讨mvc下linq多表查询使用viewModel的问题
- JFinal使用过程中Model和Db的用法
- QT中QTreeView与QAbstractItemModel使用中QTreeViwe的美化
- thinkphp框架函数switchModel(调用动态模型时使用)
- js中eval方法的使用