Python网络数据采集8(译者：哈雷)

第六章 读取文档

1.读取txt，这个非常简单

from urllib.request import urlopen
textPage = urlopen("http://www.pythonscraping.com/pages/warandpeace/chapter1.txt")
print(textPage.read())

如果文件在本地，直接使用open()和read()函数即可读出所有内容，write()写入数据，readline()也是常用的函数

2.读取csv文件，这个我好像没怎么遇到过，就先不看了，以后遇到了再说吧。

3.读取pdf文档。这个需要安装一个额外的包pdfminer（地址为：https://pypi.python.org/pypi/pdfminer3k），下载解压后进入解压目录，python3 setup.py install 安装。不过这样读取的数据只能是字符串，图像不能显示，表格无法显示格式。

from urllib.request import urlopen
from pdfminer.pdfinterp import PDFResourceManager, process_pdf
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from io import StringIO
def readPDF(pdfFile):
rsrcmgr = PDFResourceManager()
retstr = StringIO()
laparams = LAParams()
device = TextConverter(rsrcmgr, retstr, laparams=laparams)
process_pdf(rsrcmgr, device, pdfFile)
device.close()
content = retstr.getvalue()
retstr.close()
return content
pdfFile = urlopen("http://pythonscraping.com/pages/warandpeace/chapter1.pdf")
#pdfFile = open("chapter1.pdf", 'rb')#如果pdf文件在本地，则使用本语句
outputString = readPDF(pdfFile)
print(outputString)
pdfFile.close()

本文再提供一种方法，我认为这种方法简单易懂。上一种方法使用的是pdfminer的包，这个使用的是PyPDF2，代码如下

import PyPDF2
pdfFileObj = open('1.pdf', 'rb')
pdfReader = PyPDF2.PdfFileReader(pdfFileObj)
print pdfReader.numPages#获取页数
pageObj = pdfReader.getPage(0)#第一页
print pageObj.extractText()

这个方法解释起来就相当简单，参照txt的读入方式请读者自行理解。

4.在windows下用python读取word文档比较简单，下载相应的包，教程非常多，读者自行google，在linux下

import docx
def getText(filename):
doc = docx.Document(filename)#创建doc对象
fullText = []
print len(doc.paragraphs)#获得doc对象中的段落数目
print doc.paragraphs[0].text：获得第一段的文字内容
print doc,paragraphs[0].runs[0]#获得第一段中的第一种字体的内容，例如段落中有圆体和斜体，则输出圆体的内容
for para in doc.paragraphs: #获得doc中的所有内容
fullText.append(para.text)
return '\n'.join(fullText)

getText("1.doc")

5.在linux下读取excel表格，读写需要xlwt和xlrd两个包，请读者自行下载安装

# -*- coding: utf-8 -*-
import xlwt
import xlrd
import os,sys,string

rootdir = '/home/name1'
rootdir_2 = '/home/name2'

for filename in os.listdir(rootdir):
filepath = rootdir+'/'+filename
data = xlrd.open_workbook(filepath)
book=xlwt.Workbook()#生成一个对象
sheet = book.add_sheet('sheet1',cell_overwrite_ok=True)#添加sheet
sheet.col(0).width=1000#设置第一列的表格宽度
sheet.write(0,0,'Name')#第一行第一列写入Name
table= data.sheets()[0]#第一张表
nrows= table.nrows#获得行数
for i in range(nrows):
try:
old_name = (table.row(i)[1].value)#获取每行单元的内容
new_name = old_name.replace(',',' ')#正则表达式除杂，此处可以写更多
sheet.write(i,0,new_name)#写入
except Exception, e:
print e
book.save(rootdir_2+'/'+filename[:-1])#保存