读书笔记--python数据可视化--005_导出数据到JSON、CSV和EXcel

在做数据可视化时，我们通常只是使用其他人的数据，所以导入和读取数据是只要的工作。然而，不管是我们还是他人的需要，不管是现在还是将来的需要，我们缺失需要把产生或者处理过的数据导出或写到某个地方。

对于Excel写的部分，需要安装xlwt模块。

$ pip install xlwt

示例代码：

#-*- coding: UTF-8 -*-
'''
#################################################
# Author : 余欢
# Date : Dec 27, 2015    10:30:29 AM
#company : 南京师范大学--大数据实验室
# description :
#################################################
'''

import argparse
import csv
import json
import os
import struct
import sys
import xlwt

try:
import cStringIO as StringIO
except:
import StringIO

def import_data(import_file):
'''
从数据文件中导入数据，这里使用定宽数据，格式为：
161322597  0386544351896  0042
'''
mask="9s14s5s"
data = []
with open(import_file, "r") as f:
for line in f:
#将一行解析成一个元组
fields = struct.unpack_from(mask, line)
#清楚每个字段两侧的空白字符，并打包到一个列表中
data.append(list([f.strip() for f in fields]))
return data

def write_data(data, export_format):
if export_format == "csv":
return write_csv(data)
elif export_format == "json":
return write_json(data)
elif export_format == "xlsx":
return write_xlsx(data)
else:
raise Exception("Illegal format defined")

def write_csv(data):
'''
将数据导入导CSV文件中.将csv文件当作一个字符串返回
'''
f = StringIO.StringIO()
writer = csv.writer(f)

for row in data:
writer.writerow(row)

return f.getvalue()

def write_json(data):
'''
将数据导入导json文件中
'''
return json.dump(data)

def write_xlsx(data):
'''
将数据导入导Excel文件中
'''
book = xlwt.Workbook()
sheet1 = book.add_sheet("Sheet 1")
row = 0
for line in data:
col = 0
for datum in line:
print datum
sheet1.write(row, col, datum)
col += 1
row += 1
if row > 65535:
print >> sys.stderr, "一张工作薄无法存储大于65535行数据"
break

#保存文件并返回
f = StringIO.StringIO()
book.save(f)

return f.getvalue()

if __name__ == "__main__":
'''
解析命令行参数中传入的文件路径，导入数据并导出成要求的格式
'''
#1  解析命令行参数
parser = argparse.ArgumentParser()
parser.add_argument("import_file", help="Path to a fixed-width data file.")
parser.add_argument("export_format", help="Export format:json, cav, xlsx")
args = parser.parse_args()

if args.import_file is None:
print >> sys.stderr, "您没有输入源数据文件！"
sys.exit(1)

if args.export_format is None:
print >> sys.stderr, "您必须指定要导出的数据格式！"
sys.exit(1)

if not os.path.isfile(args.import_file):
print >> sys.stderr, "您输入的源数据文件的路径有误：%s" % args.import_file
sys.exit(1)

#读取数据
data = import_data(args.import_file)

#打印导出的数据
print write_data(data, args.export_format)

命令行的命令：

/root/Desktop/data-visualization/data_visualization_Code/3367OS_02_Code/ch02-fixed-width-1M-2.data xlsx

注意：

[1]这里面的用fields = struct.unpack_from(mask, line)这种方式导入数据时发现不能导入数据量大的数据，我于是只是用100行的数据进行实验。所以，建议使用NumPy的数据导入方式。要不然会报错：

struct.error: unpack_from requires a buffer of at least 28 bytes