python学习 爬取豆瓣电影名称 及评分
2017-12-16 07:42
507 查看
import requests from bs4 import BeautifulSoup import bs4 import re def getHTMLText(url): try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def fillUnivList(ulist,rlist,html): count=0 soup = BeautifulSoup(html,"html.parser") for tg in soup.find_all("div","pl2"): name = tg.find("a") ulist.append(name.text.split()[0]) if tg.find_all("span",re.compile("nums")): rate = tg.find("span",attrs={"class":"rating_nums"}) rlist.append(rate.text) else: rlist.append("无评价") print ("{} : {}".format(ulist[count],rlist[count])) count+=1 def main(): sumz=0 lst=[] while sumz<=980: lst.append(sumz) sumz=sumz+20 for n in lst: uinfo = [] rinfo=[] url = "https://movie.douban.com/tag/中国电影?start="+str(n)+"&type=T" html = getHTMLText(url) fillUnivList(uinfo,rinfo, html) main()
相关文章推荐
- Python学习笔记 第二部分 - 正则表达式 与 爬虫小实例(抓取豆瓣电影中评分大于等于8分的影片)
- 基于Python的豆瓣电影评分查询器
- 【学习笔记】Python爬虫-豆瓣电影所有短评
- Python学习 (爬豆瓣电影)
- Python爬虫学习---------根据分类爬取豆瓣电影的电影信息
- 萌新的Python学习日记 - 爬虫无影 - 爬取豆瓣电影top250并入库:豆瓣电影top250
- python学习4:获取豆瓣上映电影数据
- 用python+selenium抓取豆瓣电影中的正在热映前12部电影并按评分排序
- Python crawler 豆瓣电影排行榜评分
- Python网络爬虫学习案例——爬取豆瓣电影top250信息
- 用python学习抓取借鉴取豆瓣电影top250
- Python爬虫,用于抓取豆瓣电影Top前100的电影的名称
- 用python+selenium抓取豆瓣电影中的正在热映前12部电影并按评分排序
- 1.【python爬虫学习笔记】爬取豆瓣电影top250
- python BeautifulSoup 获取豆瓣当前热映电影以及评分
- java jsoup 网络爬虫 学习例子(二) 只抓取豆瓣电影5星(力荐)电影名称
- python 爬虫 保存豆瓣TOP250电影海报及修改名称
- python爬虫之豆瓣电影评分
- python 爬虫学习三(Scrapy 实战,豆瓣爬取电影信息)
- python抓取豆瓣图片并自动保存示例学习