《机器学习导论》学习札记1——第一章：绪论

之前买的《机器学习导论》这本书一直都没看，当遇到一些计算机视觉的问题的时候，发现拥有完整的理论知识是非常重要的，所以从今天开始花时间来研读这本书。这本书的作者是土耳其的Ethem Alpaydin。

简单介绍一下吧：

（阿培丁）Ethem Alpaydin，是土耳其伊斯坦布尔博阿齐奇大学计算机工程系的教授。于1990年在洛桑联邦理工学院获博士学位，之后先后在美国麻省理工和伯克利大学工作和进行博士后研究。Ethem博士主要从事机器学习方面的研究，是剑桥大学的《The Computer Journal》杂志编委和Elsevier的《Pattern Recognition》杂志的副主编。2001年和2002年，Ethem博士先后获得土耳其科学院青年科学家奖和土耳其科学与技术研究委员会科学奖。



第一张是绪论，对于我这样一个二年级的本科生来说，机器学习的概念多少有一点模糊，看了绪论之后，感觉思路清晰了许多，所以对于每一本好书，每个部分都有它存在的意义。



1. 什么是机器学习？



简单地说，为了在计算机上解决一些问题，我们需要算法。但是目前，并不是所有的问题，人类都能够设计出一个确切的算法来解决它们。比如垃圾邮件的分类，因为邮件有内容、标题，而内容又包括图片文字等等，那到底怎么划分垃圾邮件和非垃圾邮件呢？同时还有一个问题，垃圾邮件是因人因时而异的。所以要设计一个确切的算法来解决这个问题几乎是不太可能的。就算能设计出来，估计误判率也会非常的高。



没有算法，但是对于邮件，我们有海量的数据。我们可以人工地将垃圾邮件和非垃圾邮件分类，然后让程序去学些垃圾邮件的“结构”，或者说“属性”，换言之，我们可以让计算机自己从海量的实例中找到一种符合这种分类的规律，并提取出一种算法，然后用这种算法去判断一封邮件是否是垃圾邮件。这就是一个简单的机器学习的例子。



机器学习方法在大型数据库中的应用称为数据挖掘(data mining)， 机器学习还可以帮助我们解决视觉、语音识别以及机器人方面的许多问题。以人体的识别为例，通过输入大量的人体的图片，程序学习到了人体的结构特征，并提取出了相应的判别方法（算法），然后用这种方法去判定其它图片中的人体。又例如对于一个特定的人，我们要识别这个人的脸是谁的脸，程序通过学习很多张这个人的脸的图片，然后提取了这个人的脸部特征，即获得了这个人面部的特有的模式，通过这个模式与待识别的样本进行对比来判断样本中的面部是否属于此人，这就是模式识别(pattern
recognition)的一个例子。模式识别在很多方面都有应用，比如安全门的人脸识别等。



2. 机器学习的应用实例（《机器学习导论》中的例子）

下面是书中的内容：








通过上面这个例子，我对于机器学习的概念也很清晰了。



机器学习在模式识别(pattern recognition)方面有许多的应用:

1. 光学字符识别（optical character recognition, OCR）

2. 人脸识别（face recognition）

3. 医学诊断（medical diagnosis）

4. 语音识别（speech recognition）

语音识别中又有诸如自然语言处理（natural language processing）和机器翻译（machine translation）

5. 生物测定学（biometrics）

6. 机器学习还可以用于压缩（compression）。用规则拟合数据，我们能得到比数据更简单的解释，需要的存储空间更少，处理所需要的计算更少。例如，一旦你掌握了加法规则，你就不必记忆每对可能数字的和是多少。

7. 离群点检测（outlier detection）。

（PS：上面这些应用的详细资料可以Google得到）

3. 回归

假设我们想要一个能够预测二手车价格的系统。该系统的输入是我们认为会影响到汽车价格的属性信息：品牌、车龄、发动机性能、里程等其他信息。输出是车的价格，这种输出为数值的问题是回归(regression)问题。

4. 监督学习和非监督学习以及增强学习

简单地说，监督学习(supervised learning)就是通过实例来提取输入和输出之间的关系，比如上面的汽车价值问题。这类学习的样本中包含了确切的样本和其对应的分类信息。非监督学习(unsupervised learning)即学习的实例中没有分类信息，只有输入样本，需要程序自己来提取大量样本中的特征。而增强学习(reinforcement
learning)更加复杂，这种学习学习的样本不是直接的事物，比如图片，声音，而是一系列方案，通过样本方案学习出更加优秀的方案。

（可能解释得不清楚，详细请Google 或者百度）



最后，我非常喜欢绪论中的1.3注释中的一段话：

进化是形成我们的身体形状和我们的内在本能的主要力量。我们还需要终生学习，以改变我们的行为。这有助于我们适应进化论还不能预测的环境变化。在合适的环境下，具有短暂寿命的生物体可能具备他们所有天生的行为能力，但是上苍并未赋予我们应对在有限生命中可能遇见的所有状况的能力。但是，进化赋予我们大脑和学习机制，使得我们可以根据以往经验实现自我更新，从而适应各种各样的环境。