使用request简单爬虫

import requests
import re

url = "http://www.acfun.tv/v/list110/index.htm?from=fixedNav"
context = requests.get(url).text

#print(html.text)
pattern1 = re.compile('<div class="desc">(.*)</div>')
#'.*'为贪婪模式，匹配到了还要然后找，匹配到不能匹配为止，根据后面的正则表达式，会进行回溯
pattern2 = re.compile('<div class="desc">(.*?)</div>')
#'.*?'一旦匹配就进行下一次匹配，不会回溯
text1 = pattern1.findall(context)
for text in text1:
print(text)
print("--" * 20)
text2 = pattern2.findall(context)
for text in text2:
print(text)

D:\Programs\Python\Python35\python.exe D:/PycharmProjects/forTest/req.py
捐精400次的“超级爸爸”终于迎来一场人间小团圆</div></a>
美国大叔把55%的肝捐给陌生妹纸 现在他们订婚了</div></a>
无锡一男子分饰多角行骗 骗到三十二吨钢</div></a>
百万奔驰停车场遇克隆车 车主惊呆难辨真伪</div></a>
女子口撕快递嘴巴溃烂 医生：包装袋比垃圾桶脏</div></a>
英国男童捡到疑来自中国漂流瓶</div></a>
英国著名摇滚巨星大卫·鲍威的经纪人向《好莱坞报道》确认，在与癌症搏斗数月之后，这位音乐人已经不幸逝世。</div></a>
拒付农民工工资老板成网逃 携妻观电影被抓</div></a>
已婚男在宾馆捅死出轨妻子情人后拍照发微信朋友圈</div></a>
歌手三里屯持酒瓶抢劫单身女 抢劫5千元被判5年</div></a>
5岁男童竟长出16岁的生殖器官，罪魁祸首竟让孩子父母彻底傻眼</div></a>
诺基亚安卓新机外形曝光：全金属</div></a>
----------------------------------------
捐精400次的“超级爸爸”终于迎来一场人间小团圆
美国大叔把55%的肝捐给陌生妹纸 现在他们订婚了
无锡一男子分饰多角行骗 骗到三十二吨钢
百万奔驰停车场遇克隆车 车主惊呆难辨真伪
女子口撕快递嘴巴溃烂 医生：包装袋比垃圾桶脏
英国男童捡到疑来自中国漂流瓶
英国著名摇滚巨星大卫·鲍威的经纪人向《好莱坞报道》确认，在与癌症搏斗数月之后，这位音乐人已经不幸逝世。
拒付农民工工资老板成网逃 携妻观电影被抓
已婚男在宾馆捅死出轨妻子情人后拍照发微信朋友圈
歌手三里屯持酒瓶抢劫单身女 抢劫5千元被判5年
5岁男童竟长出16岁的生殖器官，罪魁祸首竟让孩子父母彻底傻眼
诺基亚安卓新机外形曝光：全金属

Process finished with exit code 0