调试神经网络过程中遇到的问题

在这里简单记录一下自己在调试过程中遇到bug：
1、可能会遇到不知名的错误，大概就是139电脑内存不足的问题，但是我网络输入比较下，按理说此问题不存在的，后来换到服务器就好了
2、另一个就是cuda的问题，需要用的变量都都应该转移到cuda上面，并且与网络是同步的，神经网络中定义的参数也应该单独的转移到GPU上面，因为net.to(device)好像并不会将网络中定义的变量转移到上面。
3、最让头疼的是这个问题：RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.
此时问题出现的情况有多种，一定要仔细检查下自己的网络结构的逻辑，出现的根本原因是：在第一次计算完损失之后，第一个生成的计算图并没有完全的消失（或者说生成的计算变量），导致在第二次backward的时候找到第一次的变量进行梯度计算，但是第一次的计算图已经不在完整了。
4、最后，对于required_grad=True的叶子tensor不能使用in-place操作，此操作直接在原来的内存上改变它的值。
对于求解梯度需要用的tensor也不能用in-place，因为求解梯度的过程中，用的tensor是不应该改变的。