自然语言分析的一些感想

在来公司之前就有过一些想法，这里就聊聊自然语言切词吧。因为公司方面的原因，这里不写任何技术实现上的东东。

最近的互联网在自然语言方面开始有了一些发展。也许是siri的带动作用，或者是计算机技术发展到一定阶段的需求，很多人都开始关注能听懂你的计算机。世面上开始涌现出来一大批类似产品。如能陪聊且很黄很暴力的小黄鸡、能帮你找附近的麦当劳肯德基上厕所的搜狗语音助手、在语音识别上做到数一数二的讯飞语点、以及在天天向上调侃欧弟身高的百度语音助手。

在这之前08年我读大一的时候因为很喜欢这类东东，在网上搜到过一个叫智能魔星的自动聊天软件，他的实现功能大致包括： 1、上网自动搜索你描述的问题并找回答案回答（应该有人工维护的数据库）；2、记住你描述的信息；3、对已知的信息进行整合推理出给出问题的答案（这点我觉得很牛）。

再说说现在世面上的产品，现在支持语音对讲的产品很多，也不乏特色，这些产品让用户开始感觉到计算机在变智能，不过还没有让我觉得比较完美的产品。
首先说说siri，siri的技术还算让我满意，对上下文支持比较好。比如我说我要发短信给某某某的时候，他如果没有识别出来收件人，但是听明白是要发短信的话，它会继续问我收件人是谁。但是siri有个大问题就是它的中文支持，如果siri之后能对中文做加强的话可用性还是蛮高的。

同时“拥有”上下文搜索的搜狗的语音助手，比如搜附近的厕所，它会搜到肯德基，这时候如果告诉它肯德基人满了，它便会再找麦当劳。不过这里的问题是，如果第一次就告诉它肯德基人满了，它仍然会找麦当劳。换句话说就是，肯德基人满了搜麦当劳对于搜狗来说是上下文无关的操作。另外搜狗使用了讯飞的语音识别核心，这点让搜狗语音助手的识别率超过其他产品。另外我不喜欢它的展现交互方式。

与搜狗实力相当的就要数百度的语音助手了，百度和搜狗都发挥了他们在垂搜资源上的优势，对用户的满足都比其他产品要好。然而百度的语音识别技术还是要略逊于搜狗，识别率上面还是硬伤。其实说回来即便语音技术做到很高的识别率，在公交车上拿出手机语音查询天气新闻什么的都有点傻逼。

最后说说讯飞，其实放到最后来说并不是因为它压轴，而是我觉得它在语音对话方面的探索做出了很多贡献，值得我们在使用的时候感激一下（YY了）。讯飞的语音识别率非常高，一次性识别的几率可以达到80%，也就是说大概五句话里面只有一句话是需要重新说的。高识别率让我觉得用起来很舒服，顺便提下讯飞语音输入法，之前用过一段时间，不用的原因是再识别错误的情况下对输入信息做修改很恶心，目前都没有一种比较方便的方法来实现。

前面对目前的语言识别做了下整理，下面说下技术的一些想法吧。

最开始我只作为一个用户来想这个问题，因为对我来说语音识别这东东太负责，根本没法去理解它的结构。当时我想到（包括现在还是一样）语言识别技术的需求大概可以总结为以下几点：

1、帮我找到我想找的东西，无论通过计算，网络查找，或者通过反问。

2、记住我说过的东西，这个记住不仅是文字语音上的数据存储，而是说能在之后作为第一条的依据。

3、能有推导能力，具备一定的数据整理和查询。

4、最重要的就是，能具备扩展和主动性。

我觉得前面两点现在的技术以及部分实现了，第3条在我概念里变相的也实现了一部分，最重要的第4项我觉得近期估计是看不到了。目前技术基本都是一个思路，先把语音转换成文字，先识别了再说。然后再人肉的给配置一对一的回答，当然这个一对一是有一个延伸的，但是摆脱不了人肉的工作量。

说到一对一的匹配技术我想应该也算微软的首创了吧，微软在新的windows系统中内置了一个语音识别，但仅仅是语音识别，就相当于代替键盘成为一种输入方式而已。目前先进一点的技术可能是对固定模板的识别吧，比如分析出句子的主谓宾，然后通过一些人工配置的模板来实现句子的“理解”，当然这个理解只是说计算出来对应的回答模板而已。这种也可以归类为一对一的识别技术吧。

接下来说一种比较复杂的方式，就是按照概率来计算回答的内容。首先需要大量的数据来训练程序，让程序计算出一系列的数据堆，当然对程序来说，数据堆里面的文字并不需要关心，只需要维护这个数据堆和管理过程。而这个技术对多国语言都通用，只需要符合句子成分能分解成单粒度单词。不过都是理想的东东，现实并没有技术基础的支持。

从一对一和通用的来说，如果只是做人肉配置的话，应用范围和识别率都只能靠人肉去维护，随着数据和支持的面的扩张，这个所需资源将成倍增长。而通用的唯一问题就是技术支持，虽说是唯一问题，但是这个问题的难度已经超过了一对一的技术架构的完全重构。

附加的说明点什么：之前构思的时候一直在想，一个程序怎么样才能算智能？智能的标准是知道和理解别人的想法吗，那我们人就真的都能“理解”别人说的话写的字做的动作么？做为最小粒度，人只是一堆细胞，这些细胞也只能完成一些简单功能。那么说过来计算机也是如此，如果把人的思维作转化成计算，那么无论多复杂的计算都是可行的。到不久，那时的自然语言识别技术已经纯熟，不需要人肉的去干预，甚至都会从计算机那里获得大家都觉得不错的新词新段子。虽然他们是计算机，但是他们作为整体也是一个有思维的单位。

-- 自由工程师 说谎的鱼
转载请注明出处：http://user.qzone.qq.com/287641904/blog/1364022937