[Python实战] 功能简单的数据查询及可视化系统
2019-03-09 11:54
661 查看
前言
数据时代,数据的多源集成和快速检索查询是第一步,配上数据分析及可视化才能算窥得大数据一角。
创建这个项目的主要目的一是对前期工作的一些总结,二是提升自己。
这里简单介绍一下sqlpro这个项目的核心功能。
本项目基于python的flask web框架。提供简单的页面(起初准备用vue写前端,奈何自身能力所限,遂放弃。依然基于flask+jinja2的mvt模式)。
对于数据查询引擎部分,因为需要支持多数据源,所以选用了presto。presto是一个优秀的支持多种数据源联合查询的数据查询引擎。
可视化部分选用了pyecharts进行集成。方便完成多种数据图表的展示,由于前端能力薄弱,只开放了一些通用设置,还需继续完善。
功能特性
- 动态添加数据源,支持多数据源联合查询
- 数据处理统一使用pandas库,方便二次开发
- 基于pyecharts的可视化模块,图表类型齐全
- dashboard构建及链接分享
- data wrangling功能(后续支持)
- 在线数据录入及数据下载(后续支持)
当前版本主要实现了基本的数据源管理,数据查询,数据可视化及数据仪表板等功能。在后面的迭代过程中会以data wrangling作为主要功能,方便数据的清洗和预处理。
项目展示
先上图,没图说个鸡儿。
数据源管理及查询
数据可视化-添加图例
数据可视化-图例列表
数据仪表盘及链接分享
git仓库地址:https://github.com/Ji3jin/sqlpro
总结
本文没有过多的讨论该项目的实现原理,感兴趣的可以看看源码,比较简单。有兴趣的话可以参与进来一起哦。
同时,该项目也会持续更新,希望未来可以加入更多实用的功能。
我就是个菜鸡,欢迎关注微信公众号:叁金大数据
相关文章推荐
- 将Python中的数据存储到系统本地的简单方法
- 慕课R语言之数据可视化学习笔记——3.3基本绘图系统实战
- Hadoop第7周练习—MapReduce进行数据查询和实现推简单荐系统
- Python数据可视化matplotlib(二)—— 子图功能
- 数据可视化开源系统(python开发)
- 实践项目十:爬取百度百科Python词条相关1000个页面数据(慕课简单爬虫实战)
- 4种更快更简单实现Python数据可视化的方法
- Hadoop第7周练习—MapReduce进行数据查询和实现推简单荐系统(转)
- Python实现的简单dns查询功能示例
- 读书笔记-python,数据可视化之matplotlib简单实用
- python功能笔记——数据可视化
- 家庭财务管理系统实战3- 实现列表数据的增删改查功能
- 使用shell和python分别实现简单菜单功能--打印当前系统状态信息
- 用序列化的方式保存简单的数据类型之积分查询系统的建设
- Python爬虫简单实战:抓取小猪短租西安市前五页民房数据
- python 数据可视化 matplotlib学习一:绘制简单的折线图
- 在自己的MIS系统使用简单的加密功能加密基本数据
- python 之简单模拟银行系统功能(卡号申请、还款、支付、取现)
- 使用Redis的脚本功能实现Redis中数据简单查询
- python爬虫实战之模拟正方教务系统登录查询成绩