Python学习总结-文件与IO

本文通过针对不同应用场景及其解决方案的方式，总结了Python中对文件与IO的一些相关知识，具体如下：

1.读写文本数据

应用场景：需要读取不同编码的文本数据，如ASCII,UTF-8，UTF-16等

解决方案：使用带有rt模式的open()函数

#读写文本文件
#1 single string
with open('somefile.txt') as f:
data=f.read

#2 迭代所有行
with open('somefile.txt','rt') as f:
for line in f:
print(line)

#3 重定向输出到文件
with open('somefile.txt','wt') as f:
print(line1,file=f)
print(line2,file=f)

#指定编码方式
with open('somefile.txt','rt',encoding='utf-8') as f:
for line in f:
print(line)

2.读写字节数据

应用场景：需要读取二进制文件，如图片、声音文件等

解决方案：使用带有rb、wb模式的open()函数

示例1
with open('somefile.bin','rb') as f:
data=f.read(16)
text=data.decode('utf-8')

with open('somefile.bin','wb') as f:
text='helloword'
f.write(text.encode('utf-8'))

示例2 数组和c结构体直接写入
import array
nums=array.array('i',[1,2,3,4])
with open('data.bin','wb') as f:
f.write(nums)

3.读写压缩文件

应用场景：读写一个gzip或bz2格式的压缩文件

解决方案：使用gzip和bz2模块的open()函数

读：
import gzip
with gzip.open('somefile.gz','rt') as f:
text=f.read()

import bz2
with bz2.open('somefile.bz2','rt') as f:
text=f.read()

写：
import gzip
with gzip.open('somefile.gz','wt') as f:
f.write(text)

import bz2
with bz2.open('somefile.bz2','wt') as f:
f.write(text)

4.读取二进制数据到可变缓冲区

应用场景：需要直接读取二进制数据到一个缓冲区，而不需要做任何的中间复制操作

解决方案：使用文件对象的readinto()方法

示例
import os.path
def read_into_buffer(filename):
buf=bytearray(os.path.getsize(filename))
with open(filename,'rb') as f:
f.readinto(buf)
return buf

#test case
with open('sample.bin','wb') as f:
f.write(b'helloworld')
buf=read_into_buffer('sample.bin')
buf
buf[0:5]=b'hahah'
buf
with open('newsample.bin','wb') as f:
f.write(buf)

5.文件路径名 的操作

应用场景：需要使用路径名来获取问文件名、目录名、绝对路径等

解决方案：使用os.path模块中的函数来操作路径名

示例
import os
path='/home/dw/ls-output.txt'
os.path.basename(path)
os.path.dirname(path)
os.path.join('tmp','data',os.path.basename(path))
path='~/ls-output.txt'
os.path.expanduser(path)
os.path.splitext(path)

6.增加或改变已经打开文件的编码

应用场景：想在不关闭一个已打开文件的前提下增加或者改变其Unicode编码

解决方案：使用io.TextIOWrapper()对象包装它

示例
import urllib.request
import io
u=urllib.reques.urlopen('http://www.python.ory')
f=io.TextIOWrapper(u,encoding='utf-8')
text=f.read()

import sys
sys.stdout.encoding
#detach移除已存在的文本编码层，使用新的编码方式代替
sys.stdout=io.TextIOWrapper(sys.stdout.detach(),encoding='latin-1')
sys.stdout.encoding

7.创建临时文件或文件夹

应用场景：需要在程序执行时创建一个临时文件或目录，使用完之后自动销毁

解决方案：使用tempfile.TemporaryFile

示例1 创建临时文件
from tempfile import TemporaryFile
#文本模式为w+t，二进制模式为w+b
with TemporaryFile('w+t') as f:
f.write('helloworl\n')
f.write('testing\n')
#回溯并读取数据
f.seek(0)
data=f.read()
#临时文件自动被销毁

示例2创建临时目录
from tempfile import TemporaryDirectory
with TemporaryDirectory() as dirname:
print('dirname is :',dirname)
#此处可以使用上述创建的目录
#目录下的所有内容会自动销毁

8.序列化Python对象

应用场景：需要将一个Python对象序列化为一个字节流，以便将其保存到一个文件或存储到数据库或者通过网络传输它

解决方案：使用pickle模块

示例1
import pickle
data=...
f=open('somefile','wb')
pickle.dump(data,f)
#将对象转存为一个字符串
s=pickle.dumps(data)
#从字节流中恢复一个对象
f=open('somefile','rb')
data=pickle.load(f)
data=pickle.load(s)

示例2
class Countdown:
def __init__(self,n):
self.n=n
self.thr=threading.Thread(target=self.run)
self.thr.daemon=True
self.thr.start()
def run(self):
while self.n>0:
print('t-minus',self.n)
self.n -=1
time.sleep(5)
def __getstate__(self):
return self.n
def __getstate__(self,n):
self.__init__(n)

#test case
import countdown
c=countdown.Countdown(30)
t-minus 30

f=open('cstate.p','wb')
import pickle
pickle.dump(c,f)
f.close()
#退出python解析器并重启后再执行
f=open('cstate.p','rb')
pickle.load(f)