5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)
2017-04-05 00:00
936 查看
DataHub服务是MaxCompute提供的流数据服务, 并提供把实时数据准实时归档到MaxCompute中功能, 在延时上可以做到5分钟数据在MaxCompute中可见;相对于MaxCompute之前提供的批量数据接口Tunnel实时性有了极大的提高。本文简要介绍如何快速通过DataHub创建实时数据写入MaxCompute的数据通道。
大数据计算服务(MaxCompute)
快速、完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
了解更多
目前请使用AK登录。
创建方式 选中 “导入MaxCompute表结构”
填写我们需要写入的MaxComputed项目,MaxCompute表,AccessId,AccessKey 信息
在选项中勾选上 “自动创建Connector”
然后点击导入表结构,可以看到MaxCompute表的结构就自动填到了Topic选项中
填写Topic名称,Shard数量,生命周期,备注等
点击创建
准备MaxCompute表
假设我们准备的MaxCompute表是如下结构create table test_stream_in (data string) partitioned by (ds string);
大数据计算服务(MaxCompute)
快速、完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
了解更多
登录DataHub Web控制台进行操作
弹内的DataHub服务web控制台地址地址:https://datahub.console.aliyun.com/datahub目前请使用AK登录。
进入创建Project详情页面, 点击创建Topic
在弹出的选项卡中进行如下操作
创建方式 选中 “导入MaxCompute表结构”
填写我们需要写入的MaxComputed项目,MaxCompute表,AccessId,AccessKey 信息
在选项中勾选上 “自动创建Connector”
然后点击导入表结构,可以看到MaxCompute表的结构就自动填到了Topic选项中
填写Topic名称,Shard数量,生命周期,备注等
点击创建
查看创建成功的Topic和Connector
现在就可以在Topic的列表中查询到我们之前创建的Topic,并且这个Topic已经默认创建了一个归档MaxCompute的Connector。使用SDK/工具写入实时数据
相关文章推荐
- 5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)
- 5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)
- 通过Fluentd实时上传数据到DataHub实践
- WebRTC实时通信系列教程6 使用RTCDataChannel传输数据
- Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析
- ArcGIS JavaScript API实时数据接入展示探索(一)使用http-server
- Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析
- Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析
- 五分钟学会使用spring-data-cassandra快速实现数据的访问
- 五分钟学会使用spring-data-cassandra快速实现数据的访问
- 百灵报表(BIRT)接口学习:使用Data Extraction Task导出数据
- Silverlight 2 (beta1)数据操作(3)——使用ADO.NET Data Service (Astoria)进行数据CRUD操作
- 使用 Data Protection Manager 2007 保护Exchange数据
- 数据库操作_连接SQL Server数据库示例;连接ACCESS数据库;连接到 Oracle 数据库示例;SqlCommand 执行SQL命令示例;SqlDataReader 读取数据示例;使用DataAdapter填充数据到DataSet;使用DataTable存储数据库表;将数据库数据填充到 XML 文件;10 使用带输入参数的存储过程;11 使用带输入、输出参数的存储过程示;12 获得数据库中表的数目和名称;13 保存图片到SQL Server数据库示例;14 获得插入记录标识号;Exce
- [导入]Silverlight 2 (beta1)数据操作(3)——使用ADO.NET Data Service (Astoria)进行数据CRUD操作
- ASP.NET的gridview设置数据格式(DataFormatString="{}")与 String.Format 使用总结
- 使用AJAX的Struts验证框架--实时数据验证是AJAX技术的一大优势
- ASP.NET优化连载(三)只读数据访问用SqlDataReader,不要使用DataSet
- ASP.NET设置数据格式与String.Format和DataFormatString使用总结
- Lesson 04: Reading Data with the SqlDataReader(使用SqlDataReader读取数据)