python 爬虫 正则表达式爬取猫眼电影top100榜

 思路分析，首先分析猫眼电影的top100榜的网页特点，然后根据网页信息编写用于匹配的正则表达式，然后提取对应的信息即可。

接下来是对存储文件的操作，将最终的结果存储在csv结果。因为在编写过程中，要试很多次，为了不要每次都手动删除文件，因此在程序运行开始之前判断文件是否已经存在，如果存在则删除，然后开始便开始爬取信息。代码如下：

[code]import re
import requests
import csv
import os

class MaoYan():
def __init__(self):
self.url = "http://maoyan.com/board/4"
self.fieldnames = ['index','title', 'actor','time','score']
self.file = 0

def file_del(self):
files = os.listdir(os.getcwd())   #列出目录下的文件
for file in files:
suffix = file.split('.')[-1]
if suffix == 'csv':
os.remove(file)
print(file,"文件已经被删除")

def file_cre(self):

self.file = open('my.csv','a', newline='')
self.writer = csv.DictWriter(self.file, fieldnames=self.fieldnames)
self.writer.writeheader()

def url_cre(self):
for i in range(10):
url_start = "http://maoyan.com/board/4?offset="
url = url_start + str(i*10)
yield url

def html_get(self):
for url in self.url_cre():
r = requests.get(url)
html = r.text
yield html

def html_parse(self):

for html in self.html_get():
p2 = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?class="name".*?><a.*?>(.*?)</a>.*?"star".*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S)
items = re.findall(p2,html)
for item in items:
info = {
'index':item[0],
'title':item[1],
'actor':item[2].strip().split('：')[-1],
'time':item[3].split('：')[-1],
'score':item[4]+item[5],
}
print(info)
self.save_to_csv(info)

def save_to_csv(self,info):
global writer
if self.writer.writerow(info):
print("保存成功")

def file_close(self):
self.file.close()   #关闭文件

def main(self):
self.file_del()      #首先进行文件删除
self.file_cre()      #创建文件
self.html_parse()    #解析并存储
self.file_close()    #关闭文件

if __name__ == "__main__":
app = MaoYan()
app.main()