4000 python语言 实现数据仓库开发
2017-06-07 16:18
375 查看
数据仓库架构:stg—ods—dw—rep/dm/other,基本维度日期+产品。
使用python语言实现mysql到
oracle的etl工作,文件落地方式。
定义hss函数,程序执行入口;定义general.py公共函数;开发python.py脚本。
数据架构,每一层根据业务设计规范规则
etl工作,extract,transform,load,
导出文件:数据库本身导出语句,
transform远程获取文件,python有封装好的包,也可以自己写
加载文件,数据库本身语句,
定义文件分隔符,定义文件格式
hss函数的实现,新建hss名sh文本,
#!/usr/bin/bash
exec /usr/bin/python/ $0 $@($0是入参脚本名$@其他参数入参)
后面是python语言设计,检查环境配置,获取入参配置(对sh传参,再传参给python),实现灵活入参hss
–s test.py –p etl_test –t 20170607 等,不像pythontest.py arg1 arg2 arg3必须指定每位的传参。
hss其实是个别名,hss =
‘sh /path/hss’
general.py定义公共函数。
python.py脚本,里面是一个过程,该过程被hss函数调用。
test.py
def Deal:
try:
sql
except:
异常
模板详见 《python语言 实现数据仓库开发 附件》
数据仓库架构:stg—ods—dw—rep/dm/other,基本维度日期+产品。
使用python语言实现mysql到
oracle的etl工作,文件落地方式。
定义hss函数,程序执行入口;定义general.py公共函数;开发python.py脚本。
数据架构,每一层根据业务设计规范规则
etl工作,extract,transform,load,
导出文件:数据库本身导出语句,
transform远程获取文件,python有封装好的包,也可以自己写
加载文件,数据库本身语句,
定义文件分隔符,定义文件格式
hss函数的实现,新建hss名sh文本,
#!/usr/bin/bash
exec /usr/bin/python/ $0 $@($0是入参脚本名$@其他参数入参)
后面是python语言设计,检查环境配置,获取入参配置(对sh传参,再传参给python),实现灵活入参hss
–s test.py –p etl_test –t 20170607 等,不像pythontest.py arg1 arg2 arg3必须指定每位的传参。
hss其实是个别名,hss =
‘sh /path/hss’
general.py定义公共函数。
python.py脚本,里面是一个过程,该过程被hss函数调用。
test.py
def Deal:
try:
sql
except:
异常
模板详见 《python语言 实现数据仓库开发 附件》
相关文章推荐
- 4000 python语言 实现数据仓库开发
- 中小型企业商业智能平台的开发和实现(数据仓库、BI系统、真实项目实战)
- 大数据全栈式开发语言 – Python
- 大数据全栈式开发语言 – Python
- 为什么说Python 是大数据全栈式开发语言
- Arduino+W5100+新浪云SAE(开发语言:Python)+微信公众平台(实现LED控制)
- 大数据全栈式开发语言 – Python
- 我为什么说 Python 是大数据全栈式开发语言
- 大数据全栈式开发语言 – Python
- 中小型企业商业智能平台的开发和实现(数据仓库、BI系统、真实项目实战)
- 大数据全栈式开发语言——Python
- 大数据全栈式开发语言 – Python
- [置顶] python开发电影查询系统(一)—python实现后台数据
- 大数据全栈式开发语言 – Python
- C#, Java, PHP, Python和Javascript几种语言的AES加密解密实现【多种语言AES/CBC/PKCS5Padding通用加解密数据】
- 大数据全栈式开发语言 – Python
- 中小型企业商业智能平台的开发和实现(数据仓库、BI系统、真实项目实战)
- 我为什么说 Python 是大数据全栈式开发语言
- python实现数据仓库ETL
- 在实际开发中碰到的小问题,保存数据时提示:对象必须实现 IConvertible