datastage获取csv文件,并插入数据库
2018-02-07 11:14
330 查看
datastage操作流程
文档创建人: 月夜枫日期:20180112
版本:V1.0
1、处理文件
本次项目的源文件来源于10.126.124.39服务器,39服务器并未开启ftp功能,但是开启了目录共享功能.1.1、使用bat批处理脚本先将源数据拷贝到本地服务器10.126.124.14中
1.2、同时将多个文件进行合并,方便后续datastage调用,提高效率,否则需要多次运行datastage中job
2、创建job,准备全局job参数
创建job,对job进行参数配置,主要包含:链接服务器参数,链接数据库参数,在数据转换过程中需要的系统参数3、创建ftp源组件
3.1、在job界面,palette栏,获取一个process相关组件Ftp,设置 properties参数
注:connect参数是源文件所在服务器的ftp的登陆账号密码,需要网络管理员设置。
3.2、Format参数设置
3.3、column参数设置,选择自己创建的table difination,自动引入,在4.1有具体创建步骤
3.4、配置好参数,检查配置问题。
在3.1图中,有一个view data,若配置成功,则可以通过在此可以读取到数据。注:若出现中文乱码,在下面进行更改字符集
点击下面按键更改
选择NLS,更改字符集
4、创建Nettza数据库目标组件
4.1、需要创建一个nettza数据库对应的table difinition组件,保存在对应的目录底下,后续使用。
创建步骤:在主页面import-à table difinition-à Start Connector Import Wizard -à Nettza Connector
-à录入账号密码地址等相关信息 -à选择需要的表,或已经创建的表
4.2、创建数据库目标组件
在job界面,palette栏,获取一个database选择nettza connector,配置相关参数配置column参数和3.3方式一样,再此不重复讲解。
5、创建transformer转换规则
创建transformer,在job界面,palette栏,获取两个link箭头按照数据扭转方向进行连接三个组件。设置transformer的参数
1、需要点击下图按钮1进行组件column的1对1关联
2、若需要对目标表的数据进行处理选择下图2的地方进行选择,可以更改数据类型,对目标数据进行转换等操作
6、测试
保存文件,编译,运行,录入参数进行运行,根据日志进行测试,排查bug7、制作windows定时任务
1、进入定时任务管理器
开始,控制面板,系统和安全,管理工具,任务计划,打开之后
界面如下
右键“任务计划程序”,创建任务,录入任务名称和描述
最后需要录入管理员账户密码
2、更改定时任务双击点开任务的属性,注意更改属性为不管是否登陆与否都要运行,并使用最高权限运行。
相关文章推荐
- Java读取csv文件并将内容插入到数据库
- 使用python读取csv文件快速插入数据库的实例
- Java获取网络文件并插入数据库的代码
- Java获取网络文件并插入数据库
- 使用python读取csv文件快速插入数据库
- Java获取网络文件并插入数据库
- Java读取csv文件并将内容插入到数据库
- PHP读取CSV文件把数据插入到数据库,本地没有问题,阿里云测试服务器不行
- 解析.CSV文件中的数据并将其插入到数据库中代码
- php 获取目录下文件 批量改名 批量插入数据库
- 解析.CSV文件中的数据并将其插入到数据库中代码
- PHP读取CSV文件内容 并且插入到数据库中
- Visual Studio 2017 - Windows应用程序打包成exe文件(2)- Advanced Installer 关于Newtonsoft.Json,LINQ to JSON的一个小demo mysql循环插入数据、生成随机数及CONCAT函数 .NET记录-获取外网IP以及判断该IP是属于网通还是电信 Guid的生成和数据修整(去除空格和小写字符)
- Java连接HBASE数据库,创建一个表,删除一张表,修改表,输出插入,修改,数据删除,数据获取,显示表信息,过滤查询,分页查询,地理hash
- 获取应用的数据库文件
- 在数据库中 保存和获取各种文件
- Ajax实现xml文件数据插入数据库(二)--- ajax实现与jsp的数据交互。
- PHP 实现从数据库导出到.csv文件方法
- android真机获取app数据库文件
- 如何通过ADO,获取一个数据库文件里面所有的表?