爬豆瓣网分析《敦刻尔克》这部电影值得我们花钱去看吗（2）

改下代码，观察了下，每页有20个评论，那我们就每次让page自增20，一直循环爬下去，先试试效果吧，小伙伴们

increase = 0
result = []
while 1:
page = 0 + increase
increase += 20
try:
url = 'https://movie.douban.com/subject/'+movie_id+'/comments?start='+str(page)+'&limit=20&sort=new_score&status=P'
comment_web = urllib2.Request(url)
comment_response = urllib2.urlopen(comment_web)
comment_data = comment_response.read()
comment_soup = bs(comment_data, 'html.parser')
comment_list = comment_soup.find_all('div', class_='comment')
for i in range(len(comment_list)):
result.append((comment_list[i].find_all('p'))[0].text)
except Exception, e:
print e
break
wbk = xlwt.Workbook()
sheet = wbk.add_sheet(u'评论集合')
sheet.write(0, 0, u'id')
sheet.write(0, 1, u'评价')
for i in range(len(result)):
sheet.write(i+1, 0, i+1)
sheet.write(i+1, 1, result[i])
wbk.save('result.xls')

好了，执行完毕，果然有个xls文件了，我们打开看看是不是我们需要的



我靠，只有220个评论，那可是好几万评论呢。。。怎么回事

不要怕，你们先打开网页自己看看，你会发现，原来，我没有登录啊，只能查看这么点评论。。。。淡淡的忧伤，看来爬虫真离不开cookie这玩意了，好吧，下一章我们继续走起，怎么把登录搞进去，然后就可以欢畅的爬啊爬