pytorch梯度剪裁方式
2020-02-13 11:30
971 查看
我就废话不多说,看例子吧!
import torch.nn as nn outputs = model(data) loss= loss_fn(outputs, target) optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2) optimizer.step()
nn.utils.clip_grad_norm_ 的参数:
parameters – 一个基于变量的迭代器,会进行梯度归一化
max_norm – 梯度的最大范数
norm_type – 规定范数的类型,默认为L2
以上这篇pytorch梯度剪裁方式就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
相关文章推荐
- 长字符串的剪裁(后台方式)
- 利用crop剪裁方式训练图片的一些事项
- 长字符串的剪裁(前台方式)
- 终于懂了:FWinControls子控件的显示是由Windows来管理,而不是由Delphi来管理(显示透明会导致计算无效区域的方式有所不同——透明的话应减少剪裁区域,所以要进行仔细计算)
- android:拍照,相册剪裁的实现方式
- 利用crop剪裁方式训练图片的一些事项
- 五子棋AI循序渐进【4】接近人类的思考方式——迭代加深、棋盘剪裁、空步剪裁、冲棋延伸
- 5、Cocos2d-X 游戏编程之------精灵创建的方式
- list排序的三种实现方式
- HttpClientUtil访问方式
- entity framework——实体连接查询两种方式
- java连接mongodb的一个奇葩问题及奇葩解决方式
- java 读取文件的常用方式
- ucenter 用户加密方式
- 换个角度看敏捷1 - 或许可能可以把敏捷看作一种问题解决方式
- 单例模式的3种实现方式, 及其性能对比
- java里面的三种下载方式
- SURF特征点匹配(阈值、绘点方式、匹配方式均可通过滚动条调节)
- HTML中的几种定位方式
- 数据库一致性问题简单记忆方式