AI圣经-深度学习-读书笔记(三)-概率与信息论
2018-09-25 08:48
295 查看
概率与信息论
1 概率论
概率论使我们能够提出不确定的申明以及在不确定性存在的情况下进行推理,而信息论使我们能够量化概率分布中不确定性的总量。
我们用概率来表示一种信任度,概率直接与事件发生的频率相联系,称为频率派概率。概率涉及到确定性水平,称为贝叶斯概率。
期望:对随机变量的值求平均。
方差:衡量的是当我们对xxx依据它的概率分布进行采样时,随机变量xxx的函数会呈现多大的差异。当方差很小时,f(x)f(x)f(x)的值形成的簇比较接近他们的期望值。
协方差:在某种意义上给出了两个变量线性相关性的强度以及这些变量的尺度。
2 信息论
信息论基本方法是一个不太可能的时间居然发生了,要比一个非常不可能的时间发生能提供更多的信息。
阅读更多相关文章推荐
- 深度学习第三章-概率与信息论笔记
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(4-2)-- 深度卷积模型
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(4-3)-- 目标检测
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(4-3)-- 目标检测
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(3-2)-- 机器学习策略(2)
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-3)-- 浅层神经网络(转载)
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(4-2)-- 深度卷积模型
- DeepLearningAI 学习笔记 1.1 深度学习概论
- 学习笔记DL002:AI、机器学习、表示学习、深度学习,第一次大衰退
- DeepLearning.ai学习笔记(一)神经网络和深度学习--Week3浅层神经网络
- Coursera deeplearning.ai 深度学习笔记1-3-Shallow Neural Networks-浅层神经网络原理推导与代码实现
- [DeeplearningAI笔记]神经网络与深度学习2.1-2.4神经网络基础
- Coursera deeplearning.ai 深度学习笔记2-3-Hyperparameter tuning, Batch Normalization and Programming Framew
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(2-3)-- 超参数调试 和 Batch Norm
- [DeeplearningAI笔记]神经网络与深度学习3.2_3.11(激活函数)浅层神经网络
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-4)-- 深层神经网络(转载)
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(5-1)-- 循环神经网络
- Coursera deeplearning.ai 深度学习笔记2-2-Optimization algorithms-优化算法与代码实现
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(1-4)-- 深层神经网络
- Coursera deeplearning.ai 深度学习笔记1-4-Deep Neural Networks-深度神经网络原理推导与代码实现