您的位置：首页 > 编程语言 > Python开发

python爬虫-豆瓣爬取数据保存为html文件

2017-11-09 17:41 246 查看
接《python爬虫-豆瓣数据爬取-正则匹配》中的案例五，将爬取的豆瓣租房信息网址和标题保存为html文件。

脚本修改如下：

# -*-coding:utf-8 -*-
import requests
import re
from bs4 import BeautifulSoup

#直接用正则表达式找出链接中包含https://www.douban.com/group/topic/的所有链接，即为发布的所有租房信息
r=requests.get("https://www.douban.com/group/futianzufang/")
# print r.text
soup=BeautifulSoup(r.text,'html.parser')
print '获取链接中包含https://www.douban.com/group/topic/的所有链接'
links=soup.find_all('a',href=re.compile(r"https://www.douban.com/group/topic/"))
n=0
res_data={}

fout=open('output.html','w')
fout.write("<html>")#设置输出的html文件的格式
fout.write("<body>")
fout.write("<table>")

for link in links:
print link.name,link['href'],link.get_text()

res_data['url']=link['href']#将租房链接赋值给res_data的url
res_data['content']=link.get_text() #将租房标题赋值给res_data的content

fout.write("<tr>")
fout.write("<td>%s</td>"% res_data['url']) #将爬取的租房链接写入到html文件中
fout.write("<td>%s</td>"% res_data['content'].encode('utf-8')) #将爬取的租房标题写入到html文件中
fout.write("</tr>")
n+=1
print '共发布了%d条租房信息'%n

fout.write("</table>")
fout.write("</body>")
fout.write("</html>")



查看output.html文件：

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航