深度学习进阶（四）--深度神经网络中梯度消失以及卷积神经网络初识

总结一下今日的学习过程

1，上午学习了解了深度网络中的难点

2，了解了经常听到又不知所云的梯度消失问题的概念以及原理

       认识到了Rectified Liner Unit激活函数可以很好的减少梯度消失问题，但没有具体的深入的理解及学习

3，认识到了卷积网络CNN，理解了其大致原理以及实现过程

      结合GitHub上的neural-networks-and-deep-learning算法

     不过代码调试了没有成功，

简单的类似于

ImportError: numpy.core.multiarray failed to import

版本问题需要更新
查看版本
python -c "import numpy; print(numpy.version.version)"
卸载（有的时候需要执行两次，将cuda中已经python中都卸载）
pip uninstall numpy

2，ImportError: cannot import name 'downsample'
将from theano.tensor.signal import downsample
换成
from theano.tensor.signal.pool import pool_2d

3，NameError: name 'xrange' is not defined

4，抱一个关于nose-parameterized转换成parameterized的警告
将nose-parameterized卸载，重新装parameterized

5，WARNING (theano.gof.compilelock): Overriding existing lock by dead process '9680' (I am process '16516')
这是由于keras与theano版本的旧的问题造成的，或者是Keras没有安装，这里是没有安装
pip install Keras

6，TypeError: 'float' object cannot be interpreted as an integer
错误语句
minibatch_index

in
range(num_training_batches):
错误源 num_training_batches = size(training_data)/mini_batch_size
解决方法
将语句num_training_batches = size(training_data)/mini_batch_size修改，增加一个斜杠/
num_training_batches = size(training_data)//mini_batch_size

复杂的是由于上次配置的theano在GPU环境中出了问题，搁置了没有解决，非常痛苦啊

4，期间下午看了一个 第四届全国高校云计算应用创新大赛 https://cloud.seu.edu.cn/
准备报名参加，深度学习