PyTorch搭建CNN网络之Pytorch

PyTorch介绍

所有的伟大，源于一个勇敢的开始！

1.Pytorch是什么？
PyTorch既可以看作加入了GPU支持的numpy，同时也可以看成一个拥有自动求导功能的强大的深度神经网络。除了Facebook外，它已经被Twitter、CMU和Salesforce等机构采用
  Pytorch是torch的python版本，是由Facebook开源的神经网络框架，专门针对 GPU 加速的深度神经网络（DNN）编程。Torch 是一个经典的对多维矩阵数据进行操作的张量（tensor ）库，在机器学习和其他数学密集型应用有广泛应用。

二.Pytorch有哪些常用工具包？
torch ：类似 NumPy 的张量库，强 GPU 支持 ；   
torch.autograd ：基于 tape 的自动区别库，支持 torch 之中的所有可区分张量运行；   
torch.nn ：为最大化灵活性未涉及、与 autograd 深度整合的神经网络库；   
torch.optim：与 torch.nn 一起使用的优化包，包含 SGD、RMSProp、LBFGS、Adam 等标准优化方式；   
torch.utils：数据载入器。具有训练器和其他便利功能；

三、torchvision
torchvision独立于pytorch的关于图像操作的一些方便工具库。
 
torchvision的详细介绍在：https://pypi.org/project/torchvision/
torchvision主要包括一下几个包：
vision.datasets : 几个常用视觉数据集，可以下载和加载，这里主要的高级用法就是可以看源码如何自己写自己的Dataset的子类
vision.models : 流行的模型，例如 AlexNet, VGG, ResNet 和 Densenet 以及 与训练好的参数。
vision.transforms : 常用的图像操作，例如：随机切割，旋转，数据类型转换，图像到tensor ,numpy 数组到tensor , tensor 到 图像等。
vision.utils : 用于把形似 (3 x H x W) 的张量保存到硬盘中，给一个mini-batch的图像可以产生一个图像格网。

四、tensor 张量
几何代数中定义的张量是基于向量和矩阵的推广，如，标量可视为0阶张量，矢量视为1阶张量，矩阵为2阶张量。。。

A）tensor 的使用
a）tensor.requires_grad
b）torch.no_grad()
c）tensor.detach()
d）CPU and GPU
e）tensor.item()

a）tensor.requires_grad
当我们创建一个张量 (tensor) 的时候，如果没有特殊指定的话，那么这个张量是默认是不需要求导的。我们可以通过 tensor.requires_grad 来检查一个张量是否需要求导。
b）torch.no_grad()
evaluating 的时候（不需要计算导数），将代码包裹在 with torch.no_grad(): 之中，以达到暂时不追踪网络参数中的导数的目的，可减少可能存在的计算和内存消耗。
c）tensor.detach()
将梯度从计算图中脱离出来。返回一个新的tensor，新的tensor和原来的tensor共享数据内存，但不涉及梯度计算，即requires_grad=False。修改其中一个tensor的值，另一个也会改变，因为是共享同一块内存，但如果对其中一个tensor执行某些内置操作，则会报错，例如resize_、resize_as_、set_、transpose_。
d）CPU and GPU
tensor.cuda() 和 tensor.to(device)，pytorch可通过 .to 转换使用的device（使用GPU or CPU）。
e）tensor.item()
提取纯数值（标量）的时候，常常会用到 .item()，其返回值是一个 Python 数值 (python number)。
但注意 item() 只适用于 tensor 只包含一个元素的时候。因为大多数情况下我们的 loss 就只有一个元素，所以就经常会用到 loss.item()。

五、小结
本文介绍了Pytorch的一些基本知识。Pytorch比较大的特点是auto_grad的性能，数据结构的最大特点是tensor。
torchvision主要用于处理图像的数据，torch.nn是神经网络库用于搭建神经网络。

参考文献：
1.https://pytorch.org/tutorials/