大数据开发：架构师、高级开发、普通工程师的职业要求的区别在哪里？

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/xiaokaiabcde/article/details/101795852

大数据平台架构师

工作职责：

1、负责开发框架搭建和架构设计，输出架构设计文档并指导详细设计；

2、负责开发中重要难点的研究、处理和解决；

3、负责系统性能优化方案的提出和实施；

4、负责大数据相关技术组件的升级、预研和优化；

5、负责核心代码的开发以及代码检查，以及技术指导。

任职资格：

1、五年以上 java 开发经验，三年以上平台化软件架构设计经验，具有优秀的 jvm 调优经验和 linux 优化经验；

2、具有 ElasticSearch、Kafka、Hbase 等大数据组件的部署和开发经验；

3、熟悉微服务技术体系，具有成功的微服务项目实施经验；

4、阅读过 ElasticSearch、Hbase、JanusGraph、Mysql 等数据库源码者优先；

5、具有大数据平台产品开发设计经验者优先；

6、具有图数据开发经验者优先。

【大数据开发学习资料领取方式】：加入大数据技术学习交流扣扣群522+数字189+数字307，私信管理员即可免费领取开发工具以及入门学习资料

大数据高级开发工程师

工作职责：

1.负责公司大数据离线、实时平台（如Hadoop/Hive/Storm/Spark）的建设、优化

2.负责系统设计和核心代码的编写；

3.负责开发大数据工具，如报表平台、多维度分析工具、ETL平台、调度平台的研发；

4.负责数据可视化分析平台设计和开发.

大数据平台开发工程师

工作职责：

1. 负责基于Hadoop/Spark/Hbase/Storm/Alluxio等分布式计算存储组件的大数据平台系统架构设计与实现，满足大数据平台Batch/Interact/Streaming/Sophisticated等各种场景的功能性/非功能性需求；

2. 负责大数据相关业务应用场景，大数据平台相关技术方案设计与项目支持；

3. 负责大数据平台计算存储层组件，BUG修复/功能&性能增强等相关二次开发；

4. 负责大数据平台工具层面向用户的功能系统设计与开发实现；

5. 大数据平台系统运营规范，及运营工具系统的设计与开发实现；

6. 负责上述大数据平台相关系统的可用性、容量、性能、监控、发布、安全等运营管理工作，确保系统持续稳定、高效运行；

7. 深入理解上述大数据平台组件/系统，及其相关依赖组件/系统架构与工作原理(如Linux OS,MySQL DB等)，高效调优排障；

大数据后台开发工程师

工作职责：

负责数据产品基础数据加工、质量管理和应用跟进，包括：

基础数据模型建设，数据清洗

数据产品基础数据质量提升，设计数据质量指标运营方案，协同其他团队成员，推进数据质量运营

构建应用维度数据大盘

任职要求：

1、计算机相关专业，本科及以上学历；

2、3年以上大数据相关经验，包括数据架构，数据模型，数据标准，数据质量等实施经验；

3、理解数据模型和数据仓库，有ETL、数据仓库或数据集市等项目设计和实施经验者优先；

4、熟悉linux/UNIX shell、熟悉(python/shell)任意一种脚本语言

5、对数据敏感，较强的逻辑思维及数据分析能力

6、具备出色的需求分析能力及快速学习能力，能深入理解复杂的业务逻辑。

7、具有良好团队协作能力和沟通能力；

8、能承受较大的工作压力。