使用numpy很容易在python中将数据读入内存
2012-09-20 20:25
495 查看
使用numpy很容易在python中将数据读入内存:
上面的dlmread和dlmwrite函数使用起来很方便的.
# -*- coding: utf-8 -*- #~ #---------------------------------------------------------------------- #~ module:wlab #~ Filename:wloadsave.py #~ Function : #~ def str2num(LineString,comment='#'): #~ def file2list(Filename,comment='#',SkipHeadLine=0): #~ def str2list(String,comment='#',SkipHeadLine=0): #~ def dlmread(Filename,comment='#',dtype=numpy.float64,SkipHeadLine=0): #~ def dlmwrite(Filename, X, fmt='%16.8e',delimiter=' ', newline='\n',header=''): #~ 功能: #~ 读取字符串和文件中的数值数据(浮点数) #~ 提供类似matlab中的dlmread和dlmwrite函数 #~ 提供字符串转换为数值数组的函数str2num,str2list #~ Data: 2013-08-08,星期四 #~ Author:吴徐平 #~ Email:wxp07@qq.com #~ #---------------------------------------------------------------------- import numpy import scipy #~ #---------------------------------------------------------------------- def str2num(LineString,comment='#'): """ #~ >>>NumArray=str2num(LineString,comment='#') #~ 将字符串中的所有非Double类型的字符全部替换成空格 #~ 以'#'开头注释直至行尾,都被清空 #~ 返回一维numpy.array数组 """ from StringIO import StringIO import re,numpy NumArray=numpy.empty([0],numpy.float64) NumStr=LineString.strip() #~ ignore comment string for cmt in comment: CmtRe=cmt+'.*$' NumStr=re.sub(CmtRe, " ", NumStr.strip(), count=0, flags=re.IGNORECASE) #~ delete all non-number characters,replaced by blankspace. NumStr=re.sub('[^0-9.e+-]', " ", NumStr, count=0, flags=re.IGNORECASE) #~ Remove incorrect combining-characters for double type. NumStr=re.sub('[.e+-](?=\s)', " ", NumStr.strip(), count=0, flags=re.IGNORECASE) NumStr=re.sub('[.e+-](?=\s)', " ", NumStr.strip(), count=0, flags=re.IGNORECASE) NumStr=re.sub('[e+-]$', " ", NumStr.strip(), count=0, flags=re.IGNORECASE) NumStr=re.sub('[e+-]$', " ", NumStr.strip(), count=0, flags=re.IGNORECASE) if len(NumStr.strip())>0: StrIOds=StringIO(NumStr.strip()) NumArray= numpy.genfromtxt(StrIOds) return NumArray #~ #---------------------------------------------------------------------- def file2list(Filename,comment='#',SkipHeadLine=0): """ #~ >>>NumList=file2list(Filename,comment='#',SkipHeadLine=0) #~ 使用换行符分割字符串 #~ 将字符串中的所有非Double类型的字符全部替换成空格 #~ 以'#'开头注释直至行尾,都被清空 #~ 忽略文件头所有的行数:SkipHeadLine #~ 将每一行转换成numpy.array数组 #~ 返回numpy.array数组的列表 #~ 注意:每一行的数组中的元素个数可以不一样 """ from StringIO import StringIO import re,numpy file=open(Filename, 'r') String = file.read() file.close() NumList=[] StringList=String.split('\n')#使用换行符分割字符串 LineNum=0 for Line in StringList: LineNum=LineNum+1 if (LineNum>SkipHeadLine): NumArray=str2num(Line,comment) if len(NumArray)>0: NumList.append(NumArray) return NumList #~ #---------------------------------------------------------------------- def str2list(String,comment='#',SkipHeadLine=0): """ #~ >>>NumList=str2list(String,comment='#',SkipHeadLine=0): #~ 使用换行符分割字符串 #~ 将字符串中的所有非Double类型的字符全部替换成空格 #~ 以'#'开头注释直至行尾,都被清空 #~ 忽略文件头所有的行数:SkipHeadLine #~ 将每一行转换成numpy.array数组 #~ 返回numpy.array数组的列表 #~ 注意:每一行的数组中的元素个数可以不一样 """ from StringIO import StringIO import re,numpy NumList=[] StringList=String.split('\n')#使用换行符分割字符串 LineNum=0 for Line in StringList: LineNum=LineNum+1 if (LineNum>SkipHeadLine): NumArray=str2num(Line,comment) if len(NumArray)>0: NumList.append(NumArray) return NumList #~ #---------------------------------------------------------------------- def dlmread(Filename,comment='#',dtype=numpy.float64,SkipHeadLine=0): """ #~ Load Data From Txt-File. #~ >>>NumpyArray= dlmread(Filename,comment='#',dtype=numpy.float64,SkipHeadLine=0) #~ 分隔符默认是:";",",",空格类 (包括\t)等等 #~ 以#等开头的被认为是注释,不会被读取 #~ 忽略文件头所有的行数:SkipHeadLine #~ Return Value:二维数值数组(numpy.ndarray) #~ 对文本中数据的排列格式要求最低,且容许出现注释字符,智能化程度最高,但速度较慢 #~ 示例: #~ 直接读取文件,默认以#等开头的被认为是注释,不会被读取 #~ >>> x=dlmread(Filename) #~ 以#!等开头的被认为是注释,不会被读取 #~ >>> x=dlmread(Filename,comment='#!') #~ 直接读取文件,指定读取类型 """ import numpy NumList=file2list(Filename,comment='#',SkipHeadLine=SkipHeadLine) #~ 判断NumList是否为空 if (len(NumList)>0): dlsize=[]#每一行数组的大小 for dL in NumList: dlsize.append(dL.size) #~ 判断dlsize的列数 MinColumnSize=min(dlsize)#数组的最大列数 MaxColumnSize=max(dlsize)#数组的最小列数 #~ 数组创建和赋值 NumpyArray=numpy.empty([len(NumList),MinColumnSize],dtype=dtype) row=range(0,len(NumList)) colum=range(0,MinColumnSize) for i in row: for j in colum: NumpyArray[i][j]=NumList[i][j] else: NumpyArray=[] return NumpyArray #~ #---------------------------------------------------------------------- def dlmwrite(Filename, X, fmt='%16.8e',delimiter=' ', newline='\n',header=''): """ #~ Save Data To Txt-File. #~ >>> dlmwrite(Filename, X, fmt='%16.8e',delimiter=' ', newline='\n',header=''): """ import numpy numpy.savetxt(Filename, X, fmt=fmt, delimiter=delimiter, newline=newline,header=header) return #~ #---------------------------------------------------------------------- def tests(): x=numpy.random.randn(3,4) print(x) Filename='x.txt' header='look at this file' dlmwrite(Filename,x,header=header) y=dlmread(Filename) print(y) return 'wlab tests finished!' #~ #主程序测试 if __name__ == '__main__': x=numpy.random.randn(3,4) print(x) Filename='x.txt' header='look at this file' dlmwrite(Filename,x,header=header) y=dlmread(Filename) print(y)
上面的dlmread和dlmwrite函数使用起来很方便的.
相关文章推荐
- python pickle模块使用-将内存数据保存到文本中以及从文本中直接读取信息到内存中
- Caffe在Python中使用内存数据(MemoryData)进行训练
- Python数据挖掘学习02--numpy和pandas模块基本使用
- Numpy学习(2):将cifar10/100数据文件读入到python数据结构(字典)中
- 数据预处理(3) ——数据归约 使用python(sklearn,pandas,numpy)实现
- python笔记 使用numpy中的savez(save)保存非数组数据
- python使用numpy读取、保存txt数据的实例
- caffe的python接口学习(9):Caffe在Python中使用内存数据(MemoryData)进行训练
- 数据预处理(2) ——数据变换与数据离散化 使用python(sklearn,pandas,numpy)实现
- 数据预处理(1) ——数据清洗 使用python(sklearn,pandas,numpy)实现
- 使用python完成公司考勤数据的邮件发送
- python使用openpyxl库修改excel表格数据方法
- Python之numpy教程(五):筛选、排序、集合函数、读取存入数据
- python的numpy包中shape,tile,argsort函数与sorted函数使用方法
- 使用python及百度API对百度poi数据进行爬取(一)
- 使用python将csv文件数据可视化
- 【python】使用plotly生成图表数据
- 解决mysqldb查询大量数据导致内存使用过高的问题
- key-list类型内存数据引擎介绍及使用场景
- Python 使用PIL numpy 实现拼接图片