tensorflow从0开始(3)——数学概念的自我理解
2016-06-15 11:02
381 查看
说明1
数学概念已经交给老师好多好多年了,我都已经快不记得时间了。所以这篇帖子没有系统性,用到了就去查,查到了就加一点进来。
说明2
英语不好,所以很多东西理解不到位。多交流。
说明3
东西一次学不会,每次遇到问题,就去重复一下,慢慢就懂了,所谓书读百遍,其义自现,大体也就是这个道理了。
回归
在很长一段时间,我是理解回归这一概念的,并且我会纠结于此,直至此次,纯属个人见解。回归的英文是Regression,google了下,Regression是退化的意思。再去理解回归,就是退化的意思啊。拿二分类问题举例,也许有一个标准的模型可以完全准确的实现分类,但条件所限,我们利用线性函数近似,这个函数只能近似的实现分类,与标准模型还是有差距的,是标准的一种退化或近似,所以叫做linearregression,就是所谓的线性回归(我觉得叫线性退化,我更能理解一些)。
Logistic Regression
http://www.holehouse.org/mlclass/06_Logistic_Regression.htmlhttp://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression_and_gradient_descent.html
有问题直接看帖子,英文好的,直接看老外的东西。
我第一次看有疑问的东西,简单加上一些自己的理解:
Hypothesis Function: 就是说我先假设一个函数就是我所需要的函数。
Cost Function,Loss Function, Error Function : 通过Hypothesis Function所产生的结果,和实际的结果总是有差距的,该函数就是用来描述这个差距的。
Gradient descent(梯度下降):要使Cost Function最小的方式,沿着梯度的下降的方向,不断迭代寻找。其中梯度下降的方式也有很多
http://blog.csdn.net/google19890102/article/details/48766869,大家可以简单了解下,用到再来更新具体的方法。
Softmax Regression
http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/ 就是看到了Softmax Regression才追到上面的logistic Regression,就是logistic Regression在多分类问题上的一种扩展。
Gradient Descent(梯度下降)
下面的链接中介绍了几种梯度下降和梯度下降优化算法,虽然看的不是很懂,但是有个概念了,其中关于优化算法有两张动图还是比较直观的: http://sebastianruder.com/optimizing-gradient-descent/index.html#fn:1
下面这篇CSDN博客介绍了随机梯度下降和批量梯度下降,虽然比较简单,但也是我能找到的解释的比较好的中文介绍了(谁让英文不好呢。。。)
http://blog.csdn.net/lilyth_lilyth/article/details/8973972
http://www.bubuko.com/infodetail-898846.html
cross entropy(交叉熵)
https://www.youtube.com/watch?v=tRsSi_sqXjI机器学习中的范数规则化之(一)L0、L1与L2范数
http://blog.csdn.net/zouxy09/article/details/24971995http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/
待续。。。
相关文章推荐
- TensorFlow 的简单例子
- 用批处理解决数学问题的代码第1/4页
- Oracle数学相关函数小结
- php常用数学函数汇总
- 用Python从零实现贝叶斯分类器的机器学习的教程
- 无限循环小数
- My Machine Learning
- 机器学习---学习首页 3ff0
- Spark机器学习(一) -- Machine Learning Library (MLlib)
- 数学书籍备忘
- 反向传播(Backpropagation)算法的数学原理
- 关于SVM的那点破事
- 也谈 机器学习到底有没有用 ?
- TensorFlow人工智能引擎入门教程之九 RNN/LSTM循环神经网络长短期记忆网络使用
- TensorFlow人工智能引擎入门教程之十 最强网络 RSNN深度残差网络 平均准确率96-99%
- TensorFlow人工智能入门教程之十一 最强网络DLSTM 双向长短期记忆网络(阿里小AI实现)
- TensorFlow人工智能引擎入门教程之十二 Caffe转换tensorflow并 跨平台调用
- TensorFlow人工智能入门教程之十三 RCNN 区域卷积网络(视频侦测分析人脸侦测区域检测 )
- 人工智能扫盲漫谈篇 & 2018年1月新课资源推荐