您的位置:首页 > 其它

如何使用Superset可无缝对接MRS进行自助分析

2022-06-08 15:37 1881 查看
摘要:本文主要介绍如何在MRS之上使用Superset进行数据分析。

本文分享自华为云社区《使用商业智能软件Superset分析MRS数据之最佳实践》,作者: 啊喔YeYe 。

1. 概要

Superset

Apache Superset是一个现代的数据探索和可视化平台。具有功能强大、支持数据种类多、使用简单、易扩展、可视化能力丰富等诸多优势,在github上也有4.6w+的star.

MRS

MRS是华为云提供的一站式大数据平台,基本覆盖了Hadoop生态中常用的基本组件,免去我们运维、搭建的烦恼。

本文主要介绍如何在MRS之上使用Superset进行数据分析。

2.环境准备

  1. 在华为云购买创建弹性云服务器ECS(公共镜像建议选择CentOS 8.2 64bit),用于安装运行Superset,并绑定弹性公网IP,用于访问公网安装依赖包和Superset服务。
  2. MRS服务开通,选择MRS 3.1.0版本的普通集群模式。注意网络与superset打通

3. superset安装

3.1 登录已购买的Linux弹性云服务器,执行以下命令安装Superset运行依赖包

yum install gcc gcc-c++ libffi-devel openssl-devel cyrus-sasl-devel openldap-devel python36-devel cyrus-sasl-plain

3.2 执行以下命令升级pip版本

pip3 install --upgrade pip

3.3 执行以下命令安装python虚拟环境

pip install virtualenv

3.4 执行以下命令创建,并进入python虚拟环境

python3 -m venv venv
. venv/bin/activate

3.5 执行以下命令安装python依赖包

pip install dataclasses
pip install pyhive[hive]
pip install pyhive[presto]

3.6 执行以下命令安装Superset

pip install apache-superset

3.7 执行以下命令初始化database

superset db upgrade

3.8 执行以下命令创建admin用户。需要输入用户名、FirstName、LastName和电子邮箱地址和密码

export FLASK_APP=superset
superset fab create-admin

3.9 执行以下命令初始化角色和用户信息

superset init

3.10 执行以下命令启动superset服务

superset run -p 8088 -h 0.0.0.0 --with-threads --reload --debugger

3.11 选择“服务列表 > 弹性云服务器ECS > 待操作弹性云服务器名称 > 安全组”,单击“配置规则”。在配置规则界面,选择“入方向规则 > 添加规则”,将协议端口设置为8088,源地址设置为访问Supereset页面的机器的IP。

3.12 访问http://ECS弹性IP:8088,并以admin用户登录,开始使用Superset

4. MRS Hive对接

MRS HiveServer通过ZooKeeper实现高可用,Superset直接使用pyhive连接HiveServer,无法通过ZooKeeper进行服务发现,因此只配置连接一个HiveServer。

4.1 登录MRS管理控制台,在现有集群页面,单击集群名称进入MRS Manager页面。选择“组件管理 > Hive > 实例”,查看HiveServer实例所在节点IP

4.2 在Superset界面,选择“Data > Databases”,单击右侧的“+”按钮进入创建Database页面

4.3 在Add Database页面填写Database和SQL Alchemy URI。SQL Alchemy URI的填写内容为“hive://{HiveServer实例ip}:端口/{hive database名字}?auth=NONE”,其中,{HiveServer实例ip}为HiveServer实例的业务IP,{hive database名字}为要连接的Hive Database,例如default。勾选“Expose in SQL Lab”,单击“Save”保存配置.

MRS 普通集群hiveserver2默认端口为10000。查看方式:登录manager,点击hive服务,点击全部配置,搜索hive.server2.thrift.port

superset配置:

4.4 选择“SQL Lab > SQL Editor”,进入Untitled Query页面。在左侧“Database”下拉菜单中选择创建好的Database,在“Select a schema”下拉菜单中选择要查询的Schema(即Hive的databse,如default),在中间SQL编辑框内输入SQL语句。然后单击“RUN”按钮执行SQL,在下方Result页签中查看执行结果。

5. MRS SparkJDBC对接使用

5.1 参考hive对接方式获取SparkJDBC实例ip与端口(默认22550,配置项:hive.server2.thrift.port),然后在Superset添加database。

5.2 执行SQL验证

6. Superset中使用MRS PrestoSQL

6.1 在Manager界面,选择“集群 > 服务 > Presto > 配置 > 全部配置” ,搜索配置项PRESTO_COORDINATOR_FLOAT_IP ,获取Presto Coordinator浮动IP

端口:默认7520

6.2 添加Presto database

SQL Alchemy URI填写内容为“presto://{Presto Coordinator浮动IP}:{port}/{catalog名称}/{schema名称}”,其中{Presto Coordinator浮动IP}为1中获取的Presto Coordinator浮动IP,{catalog名称}为要连接的Presto catalog,{schema名称}为catalog对应的schema名字,例如hive/default.

6.3 执行Presto SQL验证

华为伙伴暨开发者大会2022火热来袭,重磅内容不容错过!

【精彩活动】

勇往直前·做全能开发者→12场技术直播前瞻,8大技术宝典高能输出,还有代码密室、知识竞赛等多轮神秘任务等你来挑战。即刻闯关,开启终极大奖!点击踏上全能开发者晋级之路吧!

【技术专题】

未来已来,2022技术探秘→华为各领域的前沿技术、重磅开源项目、创新的应用实践,站在智能世界的入口,探索未来如何照进现实,干货满满点击了解

 

点击关注,第一时间了解华为云新鲜技术~

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: