vertica系列:数据的导入导出
本文仅涉及 Vertica 导入导出本地文件, 以及两个 Vertica 集群相互导出, 不涉及 Vertica 和 hdfs/Hive 导入导出和互操作.
copy 数据导入工具
copy 命令无疑是最常用的导入工具了, 它是Vertica的bulk copy工具, 性能非常好. 可以直接从文本文件或者压缩文件导入数据,
支持的压缩格式有: BZIP | GZIP | LZO | UNCOMPRESSED
支持的文件格式有: csv | FIXEDWIDTH | json | ORC | parquet
设置为json 格式设置 parser.
从数据库 node 节点导入
从数据库节点的文件系统中导入数据, 需要有 vertica 的 superuser 的权限, 一般用比较少. 数据文件可以仅仅存放在某个节点上, 或者所有节点上. 比如在节点2上, 使用
on v_dbname_node0002; 在所有节点上, 使用
ON ANY NODE, 下面是一个示例.
COPY schema.table (column_a, column_b...) FROM '/tmp/bigdata.csv.gz' GZIP on v_dbname_node0002 WITH DELIMITER AS ',' ENCLOSED BY '"' SKIP 1
从客户端本地导入(copy local)
copy local 更常用一些.
COPY schema.table (column_a, column_b...) FROM LOCAL '/tmp/bigdata.csv.gz' GZIP WITH DELIMITER AS ',' ENCLOSED BY '"' SKIP 1
导出数据到本地文件
可以使用 vsql 命令行工具导出数据到本地文件, vsql 有非常强大的输出格式定制功能, 我们甚至可以使用 html 模版进行文件的导出.
vsql -U username -w passwd -h testdb01 -d vmart "select * from export_query_result " -Aq -P footer=off -F ',' -o "/tmp/example.csv"
export table 到另一个 vertica 集群中
--首先执行连接目标集群
CONNECT TO VERTICA my_database USER my_user PASSWORD 'my_password' ON '10.205.10.00',5433;
--执行数据 Export
EXPORT TO VERTICA my_database.my_schema.my_table as
select * from my_schema.my_table where my_date_column=date'2017-06-13';
---关闭连接
DISCONNECT my_database;
- C#数据库数据导入导出系列之一 ASP.NET Excel导入Sql Server数据库
- VS2010与.NET4系列 21.VS2010调试器改进(断点、数据提示、导入/导出)
- C#数据库数据导入导出系列之四 WinForm数据库导入导出到Excel
- 数据库数据导入导出系列之五 C#实现动态生成Word(转)
- Windows SQL2008数据库系列一数据的导入导出
- C#数据库数据导入导出系列之一 ASP.NET Excel导入Sql Server数据库 .
- kafka系列(七)使用Kafka-Connect导入导出数据
- VS2010与.NET4系列 21.VS2010调试器改进(断点、数据提示、导入/导出)
- C#数据库数据导入导出系列之三 数据库导出到Excel下
- C#数据库数据导入导出系列之二 数据库导出到Excel上
- Apache POI系列教程2-1:poi入门教程--excel百万数据的导入导出
- Hadoop Hive概念学习系列之HDFS、Hive、MySQL、Sqoop之间的数据导入导出(强烈建议去看)(十八)
- WSUS数据的导入导出:WSUS2.0系列之四
- C#数据库数据导入导出系列之三 数据库导出到Excel下
- WSUS数据的导入导出:WSUS2.0系列之四
- C#数据库数据导入导出系列之四 WinForm数据库导入导出到Excel
- WSUS数据的导入导出:WSUS2.0系列之四
- #数据库数据导入导出系列之五 C#实现动态生成Word(转)
- C#数据库数据导入导出系列之二 数据库导出到Excel上
- oracle数据导入导出表等系列操作总结