个人学习总结一机器学习入门（四）

（以后没有特殊情况还是两篇博客分开更比较好，都放在周末时间太紧张了）

好了进入正题，上一篇简单讲了讲计算机视觉以及和数字图像处理、计算机图形学和机器学习的区别和联系，这一篇打算主要来初步讲讲深度学习。

首先惯例还是先来定义。



深度学习的概念由Hinton等人于2006年提出，对传统的人工神经网络算法进行了改进，通过模仿人的大脑处理信号时的多层抽象机制来完成对数据的识别。

深度学习中的“deep”，简单来讲指的是神经网络多层结构。下面细讲下。

深度

从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算以及一个计算

的值，计算的结果被应用到这个节点的子节点的值。考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。输入节点没有父节点，输出节点没有子节点。

这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。

传统的前馈神经网络能够被看做拥有等于层数的深度(比如对于输出层为隐层数加1)。SVMs有深度2(一个对应于核输出或者特征

空间，另一个对应于所产生输出的线性混合)。

人工智能研究的方向之一，是以所谓 “专家系统” 为代表的，用大量 “如果-就” (If - Then) 规则定义的，自上而下的思路。人工神经网络 ( Artifical Neural Network)，标志着另外一

种自下而上的思路。神经网络没有一个严格的正式定义。它的基本特点，是试图模仿大脑的神经元之间传递，处理信息的模式。

在传统的模式识别应用中，基本处理流程是先对数据进行预处理，之后在预处理后的数据上进行特征提取（Feature Extraction），然后利用这些特征，采用各种算法如

SVM，CRF等训练出模型，并将测试数据的特征作为模型的输入，输入分类或标注的结果。在这个流程中，特征提取是至关重要的步骤。特征提取的好坏直接影响到模型分类的

性能。而在实际应用中，设计合适的特征是一项充满挑战的工作，以图像为例，目前常用的特征还是少数的几种，如SIFT、HOG等。而深度学习方法可以首先从原始数据中无

监督地学习特征，将学习到的特征作为之后各层的输入，省去了人工设计特征的步骤。



含多个隐层的深度学习模型
Deep Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。
Key Words：有监督学习与无监督学习，分类、回归，密度估计、聚类，深度学习，Sparse DBN，

1. 有监督学习和无监督学习

给定一组数据(input，target)为Z=(X，Y)。

有监督学习：最常见的是regression & classification。

regression：Y是实数vector。回归问题，就是拟合(X，Y)的一条曲线，使得下式cost function L最小。



classification：Y是一个finite number，可以看做类标号。分类问题需要首先给定有label的数据训练分类器，故属于有监督学习过程。分类问题中，cost function L(X,Y)是X属于类Y的概率的负对数。


，其中fi(X)=P(Y=i
| X);



无监督学习：无监督学习的目的是学习一个function f，使它可以描述给定数据的位置分布P(Z)。 包括两种：density
estimation & clustering.

density
estimation就是密度估计，估计该数据在任意位置的分布密度

clustering就是聚类，将Z聚集几类（如K-Means），或者给出一个样本属于每一类的概率。由于不需要事先根据训练数据去train聚类器，故属于无监督学习。
PCA和很多deep learning算法都属于无监督学习。

2.Deep Learning Algorithm 的核心思想：

    把learning hierarchy 看做一个network，则

    ①无监督学习用于每一层网络的pre-train；

    ②每次用无监督学习只训练一层，将其训练结果作为其higher一层的输入；

    ③用监督学习去调整所有层

"这里不负责任地理解下，举个例子在Autoencoder中，无监督学习学的是feature，有监督学习用在fine-tuning.
比如每一个neural network 学出的hidden layer就是feature，作为下一次神经网络无监督学习的input……这样一次次就学出了一个deep的网络，每一层都是上一次学习的hidden layer。再用softmax classifier去fine-tuning这个deep network的系数。"

(目前整理就这些，关于深度学习还有后续更新)