机器学习入门，神经元模型

2012-10-28 13:40 | (分类:机器学习)

注：我将重点根据《Machine Learning： An Algorithmic Perspective》一书，对ML方向的一些方法做一些讨论并说说我个人的心得。鄙人初入此方向，希望和大家探讨，求拍砖。

之前写了一点数据挖掘的某些内容的方法，也说到数据挖掘是个宽领域，说她宽，是觉得现在这个大数据时代，特别是电脑到处有，数据获取形式十分多样化，数据生产非常廉价，因此就成全了很多小的数据分析类型的公司打破大公司的垄断，茁壮成长，也就是为什么说数据分析师是未来的一个非常性感的职业了，因为不愁没地方要，这样的人才非常具有吸引力。

数据挖掘主要探讨如何使机器具备分析大规模数据的能力，进而得到我们想要得到的知识，这些知识有很多方面，比如对数据进行分类。但是这就有人疑问了，分类在机器学习里也有啊，怎么这里重叠了呢？其实不然，DM主要关注对于数据的处理和处理结果，比如我们DM要对大规模数据进行处理，确保可以进行我们预期的分类训练，最后得到的分类结果也是DM关注的知识；但是ML更注重如何构建分类器，里面的数据模型是什么样的。用最通俗的说法，机器通过数据学习知识。因此，DM、ML是相辅相成的。

早起的机器学习的思路其实是从人、动物这些得到的，类似于仿生学里的观点，事实证明，我们现在就是让计算机不断模拟人，甚至试图超越人（当然，某些方面的确是超越了，我可能一辈子都算不完圆周率的100000位）。当我们想让计算机也会学习的时候，我们就考虑一个问题，人是怎么学习的？

从生物学的观点看，人的大脑是由许多神经元构成的，神经元有很多类型，这里如果对于一个简单的神经元而言，它负责传递信息（可能是电、可能是化学物质），很多其他神经元给它信息，当这些刺激积累到一个阀值的时候，这个神经元又将信息发射出去。因此，一个简单的数学模型可以这样表述，



X = （x1， x2, ... , xm）代表m个其他神经元的输入，w1...,wm代表权重，这个具有生物学意义，如果xm那个神经元是关于吃饭的，x1那个是关于妹子的，如果班长是个屌丝、吃货，那么估计x1那个w1权重会比较高，因此，从w1来的信息更容易突破阀值。当然，这只是个比方，不一定一个神经元代表一个具体事物。那么看，这就是个最简单的加权和的数学模型。

h = w1 * x1 + w2 * x2 +... + wm * xm;

sgn(h) = 1 if h >= 阀值

sgn(h) = 0 if h < 阀值

这是个符号函数，大家可以想象成激活模式，够刺激了，就激活了，不够刺激，再高的h也是0

但是，这个模型能说明啥呢？只能说明这些。：）不过我们的脑子肯定不是单细胞的，而是一个神经网络。如果就目前单个神经元而言，学习能力差很多，至少我们高级机器学习要处理的线性二分类的Perceptron分类器就是这样一个简单问题，一个神经元就够了。因为一个神经元就两种结果，0， 1。有趣的是，这篇日志的世界里总是这样的二元认知：人有班长、女人；电脑就是0,1, 神经元就是激发态和平常态。：）

但是如果变成网络就不一样了。后面的日志会进一步讨论。



原文地址：http://blog.renren.com/blog/451761534/878367796?bfrom=01020100200