赖兆红：如何构建低延时大数据系统平台！

赖兆红

北京卓越讯通科技有限公司CEO

现为北京卓越讯通科技有限公司CEO，博士毕业于英国伦敦大学学院(UCL)，研究方向为通信测量和人工智能。曾在英国伦敦彭博社(Bloomberg)系统架构组担任架构师。后加盟伦敦一家对冲基金负责高频交易数据分析。去年回北京组建团队研发大数据系列产品包括：光网10G/40G/100G采集设备、基于FPGA高速处理卡和大数据系统平台。

演讲嘉宾采访提纲：

CSDN：能不能先简单介绍一下您的公司？

赖兆红：北京卓越讯通科技有限公司是一家致力于大数据硬件、软件采集和大数据应用的高科技公司。公司目前大数据系列产品包括基于FPGA的10G/40G/100G硬采集、分布式大数据软采集和大数据应用系统。大数据应用系统我们做到对2TB的数据索引查询在毫秒级别，具有采集、清洗、归类、统计、智能识别数据业务等应用。公司对以上产品拥有完全的知识产权，公司具有世界一流的顶尖软、硬件人才，放眼未来，北京卓越讯通系列产品将有力增加我国在大数据领域技术实力，推出基于高速大数据的系列产品。

CSDN：FPGA和通用CPU的问题域边界如何看？哪些场景适合用FPGA？

[b][b]赖兆红：[/b][/b]CPU指令集是面对通用应用场景的选择，而FPGA是针对定制化的具有高速并行处理需求的应用场景。对于大数据高速要求，通过定制化的编程电路进行并行处理从而大大降低处理时间，减少时延迟。适合FPGA的场景很多，如高速及数据量10Gbps以上和逻辑上可以并行处理，这些场景都是FPGA应用的典型场景。

CSDN：高频事务处理的主要难点和问题瓶颈是什么？ 怎么解决？

赖兆红：高频事务，如果是time-critical events，那么对时延要求很高。典型的应用如金融上的高频交易，对时延要求到个位数微妙级别，通常需要FPGA来处理。主要的难点包括，分析逻辑是否可以并行化处理、比较长的定制化FPGA研发周期和FPGA 稳定性问题。

CSDN：这个细分产业链的上下游是怎样的？

赖兆红：大数据的产业链围绕三个层：采集、处理和应用。那么高速应用场景的产业链主要:：高速处理芯片提供商，如FPGA Xilinx/Altera， FPGA及硬件应用设计公司和应用产业链集中在具有高速数据处理需求的行业，比如运营商、金融交易所、CDN和电商平台。

CSDN：FPGA处理和Stream processing, Batch Processing怎么对接？有哪些问题难度？

赖兆红：FPGA 是通过可编程电路实现数据处理，本身就是stream processing； 和通用的kernel above stream processing or batching processing相比，它通过定制化的硬件通道进行数据传输。难度具有多层面的，比如FPGA的稳定性、驱动调测和硬件设计符合要求等等。

CSDN：在大数据领域，目前还有哪些技术是你正在观察和研究的，为什么你看好这些技术？

赖兆红：硬件上我们现在正在推出10G/40G/100G的大数据采集，及数据采集完后通过FPGA对数据进行低时延传输。另外对大数据的标准化问题比较关注。人类数字化信息现在主要都是通过光进行传输，在光汇聚点进行采集分析是大数据的关键一个环节。有了数据，大数据的分析和算法才能施展。

CSDN：请谈谈你在这次大会上即将分享的话题。

赖兆红：我这次主要谈谈金融大数据系统对低时延的处理技术，这些技术可以扩展到很多其他行业。主要包含数据采集前端及中间的处理部分也涉及到系统架构建设的一些分享。

大数据和时间相关的一个重要属性Velocity，包含多个层面含义，其中数据传输速度和处理速度属于核心的两个部分。我们通常可以从数据源出发点到数据最终处理完，所需时延（Latency）作为我们衡量处理大数据速度相关的一个重要尺标。尤其这几年金融领域高频交易对低时延的高度要求（通常要求个位数微妙级别），这些技术框架在不少大数据应用场景具有借鉴意义。在此将结合本人过去在高频交易系统架构上的经验，在传输和处理层面展开探讨，即如何做到极致低延迟（Ultra Low Latency）的大数据系统。传输上将探讨如何通过基于FPGA
高速传输卡和高速传输协议（eg FAST） 来降低延迟，处理上如何通过减少软硬件环节来减少延迟。

CSDN：哪些听众最应该了解这些话题？你所分享的主题可以帮助听众解决哪些问题？

赖兆红：具有高速数据处理需求的大数据应用行业，比如电商、金融和运营商。通过这个主题，可以解决因为高速数据处理引起的时延问题。