机器学习的所有资源链接和经验教训(七)Tensorflow / Deep Nets
2018-07-18 11:13
176 查看
Tensorflow / Deep Nets
- 始终确保您的模型能够适应一些训练数据。一旦您知道网络正确学习并且能够过度拟合,那么您就可以构建更通用的模型。
- 评估Tensorflow图仅在运行时进行。您的工作是首先定义变量和占位符以及操作(它们共同构成图形),然后您可以在会话(执行环境)中执行此图形,您可以在其中将值输入到占位符中。
- 正规化对于深网来说是非常重要的。 重量衰减
- 退出 认真。用它。它太简单了,但是它非常适合帮助防止过度拟合,从而在大多数情况下提高测试精度。
- 真有效。基本上,只要在验证错误停止减少时停止训练。因为如果你再训练一下,你只需要更多地适应训练数据集,这对你的测试集准确性无法提供帮助。老实说,这种正规化方法非常容易实现。
- 根据我的经验,批量规范对深网很有帮助。直觉是它有助于减少网络内部的协变量变化。简单来说,让我们考虑一下网络第3层的激活。这些激活是前两层和输入的权重的函数。第三层权重的工作是采取那些激活并应用另一个变换,使得结果输出接近预测值。现在,因为激活是前两层的权重矩阵的函数(它们正在改变很多b / c梯度下降),所以这些激活的分布可以随着网络的训练而变化很大。直观地说,这使得第三层的权重很难弄清楚如何正确设置自己。批量规范有助于缓解确保保持激活的均值和方差相同的问题(均值和方差的精确值不一定是0和1,而是2个可学习参数β和伽玛的函数)。这导致激活分布变化很少,这意味着第三层的权重更容易调整到最佳值,从而导致更快的训练时间。
- 网络架构
CNN中的卷积层数
相关文章推荐
- 机器学习的所有资源链接和经验教训(十)深度强化学习
- 机器学习的所有资源链接和经验教训(十二)
- 机器学习的所有资源链接和经验教训(十三)Kaggle
- 机器学习的所有资源链接和经验教训(十五)其他有趣的链接
- 机器学习:DeepDreaming with TensorFlow (三)
- 机器学习: DeepDreaming with TensorFlow (一)
- 机器学习:DeepDreaming with TensorFlow (二)
- 未能找到任何适合于指定的区域性或非特定区域性的资源。请确保在编译时已将“定型测试.Frm.resources”正确嵌入或链接到程序集“定型测试”,或者确保所有需要的附属程序集都可加载并已进行了完全签名
- [note] deep learning tensorflow lecture 1 notes 深度学习笔记 (1)
- 谷歌发布 TensorFlow Serving:机器学习模型应用于产品更方便
- 学习笔记TF067:TensorFlow Serving、Flod、计算加速,机器学习评测体系,公开数据集
- Google TensorFlow 机器学习框架介绍和使用
- 深度学习python库安装经验,Windows下安装Anaconda3 pycharm tensorflow keras theano中遇到的问题
- TensorFlow Wide And Deep 模型详解与应用 TensorFlow Wide-And-Deep 阅读344 作者简介:汪剑,现在在出门问问负责推荐与个性化。曾在微软雅虎工作,
- 斯坦福课程“CS 20SI:TensorFlow for Deep Learning Research”中文讲义(2)
- 机器学习:AI资源网址链接(大牛,研究机构,视频,博客,书籍,Quora......)