自然语言处理发展,主要存在哪些难点?
1.语言不规范,灵活性高
自然语言并不规范,虽然可以找一些基本规则,但是自然语言太灵活了,同一个意思可以用多种方式来表达,不管是基于规则来理解自然语言还是通过机器学习来学习数据内在的特征都显得比较困难。
2.错别字
在处理文本时,我们会发现有大量的错别字,怎么样让计算机理解这些错别字想表达的真正含义,也是NLP的一大难点
3.新词
我们处在互联网高速发展的时代,网上每天都会产生大量的新词,我们如何快速地发现这些新词,并让计算机理解也是NLP的难点
4.用词向量来表示词依然存在不足
上述,我们讲到,我们是通过词向量来让计算机理解词,但是词向量所表示的空间,它是离散,而不是连续,比如表示一些正面的词:好,很好,棒,厉害等,在“好”到“很好”的词向量空间中,你是不能找到一些词,从“好”连续到“很好”,所以它是离散、不连续的,不连续最大的问题就是不可导.计算机是处理可导的函数非常容易,不可导的话,计算量就上来了。
当然现在也有一些算法是计算词向量做了连续近似化,但这肯定伴随着信息的损失。总之,词向量并不是最好的表示词的方式,需要一种更好的数学语言来表示词,当然可能我们人类的自然语言本身就是不连续的,或者人类无法创建出“连续”的自然语言。
人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,有兴趣的朋友,可以查阅多智时代,在此为你推荐几篇优质好文:
自然语言理解过程主要有哪些层次,各层次的功能是怎么样?
http://www.duozhishidai.com/article-1726-1.html
如何快速入门NLP自然语言处理概述
http://www.duozhishidai.com/article-11742-1.html
什么是人脸识别,主要的应用于哪些场景?
http://www.duozhishidai.com/article-1246-1.html
- 防火涂料存在主要问题有哪些?
- 云计算技术发展,主要面临哪些难题
- JavaScript事件捕获与事件冒泡原理 IE和DOM之间存在哪些主要差别
- 怎样使用事件以及IE和DOM事件模型之间存在哪些主要差别
- ARM版和x86版Win8有何不同主要存在哪些差异
- 现在跨平台开发(手机平台,主要是Android、iOS以及WP)工具或者技术都有哪些?有哪些优缺点和发展前景如何?
- APP发展优势主要体现哪些方面呢
- B2B的商务模式主要存在哪些缺点?
- 自然语言处理发展缓慢,主要有6条原因
- 事件——怎样使用事件以及IE和DOM事件模型之间存在哪些主要差别。
- 中国智能家居市场发展,主要面临哪些困境
- 人脸识别技术难点是什么,主要应用在哪些领域?
- 物联网建设与发达国家相比,主要存在哪些差距
- 怎样使用事件以及IE和DOM事件模型之间存在哪些主要差别
- js-事件捕获与事件冒泡原理 IE和DOM之间存在哪些主要差别
- 怎样使用事件以及IE和DOM事件模型之间存在哪些主要差别
- Python 2.6 和 Python 3 的主要区别有哪些?
- linux课程以及Linux主要学习哪些内容
- 电工电气主要有哪些产品
- [置顶] 运用ArcGIS Server开发WebGIS系统主要几种途径及发展趋势