您的位置:首页 > 大数据

从大数据到认知计算,未来需要更强的计算能力

2019-06-21 22:00 1046 查看

大数据分析属于认知计算的一个维度。与大数据相比,认知计算的范围更广、技术也更为先进。

认知计算是IBM提出的概念,认为“认知计算”是通过与人的自然语言交流及不断地学习,从而帮助人们做到更多的系统,是从硬件架构到算法策略、从程序设计到行业专长等多个学术领域的结合,能够使人们更好地从海量复杂的数据中获得更多洞察,从而做出更为精准的决策。IBM清晰地把认知计算定义为——具备规模化学习、根据目标推理以及与人类自然互动能力的系统。

认知计算和大数据分析有何区别?

大数据分析属于认知计算的一个维度。与大数据相比,认知计算的范围更广、技术也更为先进。

认知计算和大数据分析有类似的技术,比如大量的数据、机器学习(MachineLearning)、行业模型等,大数据分析更多强调的是获得洞察,通过这些洞察进行预测。此外,传统的大数据分析会使用模型或者机器学习的方法,但更多的是靠专家提供。

对于认知计算而言,洞察和预测只是其中的一种。但是,认知计算更为强调人和机器之间自然的交互,这些维度都不是传统的大数据分析所强调。

此外,认知计算目前成长很快的一个领域为深度学习(DeepLearning),它的学习方法与传统方法不同,更多的是基于大量的数据通过自学的方式得到这样的模型,而不需要很多的人为干预,这个从学习方法来讲和大数据分析有很多不同的地方。

CPU、GPU、ASIC等传统计算资源的瓶颈

近十年来,人工智能又到了一个快速发展的阶段。深度学习在其发展中起到了中流砥柱的作用,尽管拥有强大的模拟预测能力,深度学习还面临着超大计算量的问题。在硬件层面上,GPU、ASIC、FPGA都是解决庞大计算量的方案。

在2006年的时候,人们还是用串行处理器处理机器学习的问题,当时Mutch 和 Lowe开发了一个工具FHLib(feature hierarchy library)用来处理hierarchical 模型。对于CPU来说,它所要求的编程量是比较少的并且有可迁移性的好处,但是串行处理的特点变成了它在深度学习领域的缺点,而这个缺点是致命的。时至今日,据2006年已经过去了十年,过去的十年集成电路的发展还是遵循着摩尔定律,CPU的性能得到了极大的提升,然而,这并没有让CPU再次走入深度学习研究者的视野。尽管在小数据集上CPU能有一定的计算能力表现,多核使得它能够并行处理,然而这对深度学习来说还是远远不够的。

GPU:虽然走进了研究者的视线,相比于CPU,GPU的核心数大大提高了,这也让它有更强大的并行处理能力,它还有更加强大的控制数据流和储存数据的能力。在 Chikkerur进行了CPU和GPU在处理目标识别能力上的差别,最终GPU的处理速度是CPU的3-10倍。

ASIC:专用集成电路芯片(ASIC)由于其定制化的特点,是一种比GPU更高效的方法。但是其定制化也决定了它的可迁移性低,一旦专用于一个设计好的系统中,要迁移到其它的系统是不可能的。并且,其造价高昂,生产周期长,使得它在目前的研究中是不被考虑的。

FPGA是计算的未来?

FPGA:FPGA在GPU和ASIC中取得了权衡,很好的兼顾了处理速度和控制能力。一方面,FPGA是可编程重构的硬件,因此相比GPU有更强大的可调控能力;另一方面,与日增长的门资源和内存带宽使得它有更大的设计空间。更方便的是,FPGA还省去了ASIC方案中所需要的流片过程。FPGA的一个缺点是其要求使用者能使用硬件描述语言对其进行编程。但是,已经有科技公司和研究机构开发了更加容易使用的语言比如Impulse Accelerated Technologies Inc. 开发了C-to-FPGA编译器使得FPGA更加贴合用户的使用,耶鲁的E-Lab则开发了Lua脚本语言。这些工具在一定程度上缩短了研究者的开发时限,使研究更加简单易行。

Linux On Power+GPU+FPGA=面向未来的认知计算

创新的Linux on power结合FPGA、GPU的计算模式,这也许是面向未来的认知计算最佳架构。

IBM在2015年宣布了与FPGA芯片设计商Xilinx进行“为期数年的战略协作”。两家公司将联起手来,通过OpenPOWER Foundation致力于找到更好的方法处理机器学习、网络功能虚拟化(NFV)、基因、高性能计算和大数据分析等应用程序。

IBM的开发人员将针对OpenStack、Docker和Spark建立解决方案堆栈,结合了基于POWER的服务器,并具备Xilinx FPGA加速器。

此外,McCredie还宣布该公司将把POWER 8芯片同Nvidia Tesla K80 GPUs结合在一起,使用NVIDIA的高速NVLINK互联。两家OEM——Penguin Computing和E4 Engineering将会把基于OpenPOWER设计理念的系统推向市场。

据IBM内部测试显示,与基于英特尔E5-2699 V3处理器的服务器相比,新Power Systems LC服务器能够以不到前者一半的成本运行Twitter简讯分析、网页视图显示等数据密集型工作负载,为客户每一美元的成本支出提供领先于前者2.3倍的性能。凭借其高效率的设计,LC服务器在相同的机架空间里能够比基于英特尔处理器的同等服务器多运行94%的Spark社交媒体工作负载。

用于商业计算和高性能计算的2插座2U Power Systems S822LC配备最多20个核、1TB内存和230GB/秒内存带宽。用于高性能计算的S822LC还配备NVIDIA特斯拉加速计算平台的旗舰组件——两个集成的NVIDIA Tesla K80 GPU加速器。与配置类似、基于x86架构的E5-2699 V3服务器相比,两款S822LC产品能够提供领先于前者逾2倍的单核性能、高于前者40%的性价比以及在满内存配置情况下超过2倍的内存带宽。

强力推荐阅读文章

年薪40+W的大数据开发【教程】,都在这儿!

大数据零基础快速入门教程

Java基础教程

web前端开发基础教程

linux基础入门教程学习

大数据工程师必须了解的七大概念

云计算和大数据未来五大趋势

如何快速建立自己的大数据知识体系

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐