中国超算新命题:AI+大数据如何重塑“国之重器”?
超级计算机是公认的国之重器,在航空航天、生物医药、天气预报、新材料研究、石油勘探等各个领域一直起到重要的基础支撑作用。
可以说,超算的算力表现,是一个国家科技发展水平和综合国力的标志之一。
今年早些时候,伴随第 53 届世界 500 强(Top 500)超算排名公布,新的排名结果也成就榜单诞生 26 年以来的一个里程碑:榜单上的最后一位是一台联想超算,但其运算速度都达到了 1.022 petaflops(千万亿次),宣布 Top 500 榜单的算力整体进入到“Petaflop 时代”。
进入到“Petaflop 时代”,还只是一个榜单在数字上的朴素定义。
背后更重要的演化趋势是,以超算为代表的高性能计算不仅在传统科学与工程计算领域承担重要的创新基础设施作用,同时与人工智能、大数据的融合趋势也日益明确,计算的定义变得更加广泛。
正在路上的中国 E 级计算机将是一个典型代表。它将会是一个超算与大数据、人工智能深度融合的高性能计算服务平台。
按照此前的公开说法,最新一款 E 级超级计算机将是我国自主研发的新一代百亿亿次超级计算机,预计于 2020 年完全研制成功。凭借于此,中国有望再回超算排名榜首,因为按照公开的进度,目前位列榜单前排的美国、日本和欧盟均已提出 E 级超级计算机的研制计划,几乎都是在 2021 年左右完成。
围绕着超级计算机和各大超算中心,各类新应用也在问世。例如,长沙的超算中心正在进行大量的 AI+医疗、基于超算的精准医疗项目。
伴随生物技术和医学信息化促使每年产生的 PB 级生物医学大数据,超算让科学家们利用生物信息解密疾病机理、实现精准医疗成为可能,尤其是利用同时涵盖电子病历、医学图像等信息的多模态医学大数据。
图|AI 医疗的 3 类技术和 3 个阶段(来源:CNCC2019 超算论坛)
在 10 月 17 日的 CNCC2019 超算论坛上,国家超级计算长沙中心副主任彭绍亮分享道,长沙超算中心的团队正在从诊前、诊中、诊后三个阶段,研发能够支持和辅助医生进行全方位精准的智能诊疗技术,例如挖掘电子病历数据中的信息进行临床终点预测,相关的论文即将面世。此前业内比较知名的类似工作是谷歌团队发表在 Digital Medicine 上的成果。除此之外,一款区块链药品溯源平台也正在路上。
据了解,2009 年起到现在,中国已先后在天津、深圳、济南、长沙、广州、无锡建成 6 家国家级超算中心。
6 家超算中心发展至今,也是中国超计算技术创新与应用创新的相互耦合十年。那么,接下来,在大数据、人工智能时代,超算又将如何与其融合发展?
简而言之,超算为 AI 提供计算基础设施,大多数的 AI 算法本身则需要由大数据驱动。
AI 和大数据技术深度交融提出的新的挑战和需求,正在引领高性能计算的发展方向。
天津大学胡清华教授认为,具体而言,大数据提出的几个挑战在于,信息来源多元,数据形式异构,和小数据相比不确定性变得越来越强。因此,以机器学习为例,如何针对大数据进行 AI 建模将变得越来越重要。
(来源:CNCC2019 超算论坛)
上海交大教授陈海波则提到,在面向大数据的操作系统上,大数据的处理正在从粗放走向集约,性能、成本、功耗等多方面的约束为面向数据的系统结构设计提供了新的维度。一方面,众核 CPU、新型存储器件、开源硬件等的出现为面向大数据的系统结构提供了新的机会;另一方面,新型应用对时延、吞吐等方面要求的不断提升对大数据的系统结构提出了新的挑战。
他指出,人机物融合大数据操作系统正在出现三堵墙:1、数据墙——随着算力的不断增加,数据的传输能力远小于算力增长;2、时延墙——智能驾驶、安防、医疗等交互过程的强实时性,但泛在应用在云、边、墙上却存在动态任务分割;3、异构墙——多种智能硬件和传统硬件共存,任务需要云边端协同。
与此同时,大数据处理也在给数据中心能效带来挑战。IDC 报告预测,2018 年至2025 年,中国数据总量将以 30%的年平均增长速度领先全球。预计到 2025 年,中国的数据总量将占全球数据总量的27.8%,位居世界第一。而海量的数据绝大部分都将储存在“云端”——数据中心内。近年来,国家和地方相关部门都发布了众多政策文件,以控制新投建的数据中心的能耗。不少企业已开始在数据中心的大数据处理低能耗技术上发力。
-End-
- 深度丨人工智能和大数据的关系及中国在AI领域如何赶超世界
- AI和大数据如何给企业带来价值
- AI专家薄列峰加盟京东金融,凯悦酒店再曝信息泄露,中国成最大受害国家 | 大数据24小时
- Nature杂志眼中的中国AI:人才少、钱多、数据足,或许能行
- 云计算,大数据,AI三者的关系如何?
- 如何使用正则做文本数据的清洗(附免费AI视频福利)
- 即将到来的颠覆:农业人工智能Agri-AI,如何影响中国农企?
- 如何编辑SDE数据(转自ESRI中国社区)
- 数据部门如何All In AI
- 长短期记忆(LSTM)系列_LSTM的数据准备(1)——如何重塑Keras中长短期内存网络的输入数据
- 观点丨Nature杂志眼中的中国AI:人才少、钱多、数据足,或许能行
- 全球网络攻击1/3在中国,安全专家教你如何保护大数据隐私!
- 如何编辑SDE数据(转自ESRI中国社区)
- 数据的雪球效应:AI如何改变SaaS?
- MIT联合波士顿咨询:全球21个行业,对话3000名高管,AI如何重塑商业形态? | 雷报
- 海云数据冯一村:AI能力服务平台如何在公安系统落地
- AI时代就业指南:普通程序员如何转行大数据工程师?
- 【智能公安】海云数据冯一村:AI能力服务平台如何在公安系统落地
- 《2017中国大数据及AI人才发展报告》均薪38万,招聘猛增6倍
- 程序员如何追赶如此之火的大数据 AI 热潮?