Alluxio在携程大数据平台中的实践
本文来自于2018年10月27日由 Alluxio、七牛主办,示说网协办的Alluxio Meetup 上海站。
分享嘉宾郭建华,携程大数据平台研发工程师,2016年硕士毕业于上海大学后,一直在携程的大数据平台部门从事离线平台的维护与研发工作,对存储框架HDFS、Alluxio,计算框架Spark SQL和Hive有一定的了解。
本文的主要内容包括离线和实时在携程大数据中都占据重要地位,为了解决资源竞争带来的问题,携程将部分实时作业单独建立集群,同时带来了新的问题,跨集群读写数据。同时,部分作业需要准时实时的离线查询,这给当前的框架带来挑战。本次分享介绍了如何引入Alluxio来解决这些问题进行了探讨,并分享碰到的一些问题和踩过的坑。
下面是本次分享 ppt 全部内容:
关注 iteblog_hadoop 微信公众号,并回复 Alluxio 获取本文ppt。
欢迎关注本公众号:iteblog_hadoop:回复 spark_summit_201806 下载 Spark Summit North America 201806 全部PPT回复 spark_summit_eu_2018 下载 Spark+AI Summit europe 2018 全部PPT0、回复 电子书 获取 本站所有可下载的电子书1、Apache Spark 统一内存管理模型详解
2、Elasticsearch 6.3 发布,你们要的 SQL 功能来了3、即将发布的 Apache Spark 2.4 都有哪些新功能4、干货 | 深入理解 Spark Structured Streaming5、Apache Spark 黑名单(Blacklist)机制介绍6、Kafka分区分配策略(Partition Assignment Strategy)7、Spark SQL 你需要知道的十件事8、干货 | Apache Spark 2.0 作业优化技巧9、[干货]大规模数据处理的演变(2003-2017)10、Flink Forward 201809PPT资料下载
- Alluxio在携程大数据平台的实践
- ALLUXIO在携程大数据平台中的应用与实践
- 携程基于Storm的实时大数据平台实践
- 携程基于Storm的实时大数据平台实践
- 携程实时大数据平台实践分享
- 上云三部曲:集团支付平台数据架构最佳实践 - 架构
- 【ATF】林伟:大数据计算平台的研究与实践
- 美团大数据平台架构实践 推荐
- 携程日处理20亿数据,实时用户行为服务系统架构实践
- 魅族大数据运维平台实践
- 数据平台作业调度系统详解-实践篇
- 移动大数据平台的架构、实践与数据增值(1)
- 魅族大数据之流平台设计部署实践
- Hadoop 大数据平台架构与实践
- 基于阿里云数加平台的大数据Serverless实践
- 基于大数据平台构建数据仓库的研究与实践
- 华为徐兴海、区波:面向业务创新的大数据平台及商业实践
- 乐刻大数据平台架构实践
- 《SQL Server企业级平台管理实践》读书笔记——SQL Server中数据文件空间使用与管理
- 帮助企业做好MaxCompute大数据平台成本优化的最佳实践