利用jso实现vivo x20手机评论的爬取

这个比我以前写的那个京东上随意商品的评论简单很多。
# -*- coding:utf-8 -*-
import urllib
import re
import json

def getHtml(url):
page=urllib.urlopen(url)
html=page.read().decode("gbk")
return html
def getItems(html):
reg=re.compile("fetchJSON_comment98vv766\(") #这是重点，这个小程序的核心
data=reg.sub('',html)
reg1=re.compile("\);")
data=reg1.sub('',data)
a=json.loads(data)
for k in a["comments"]:
print k["content"]
print k["referenceName"]
print k["referenceTime"]
f1=open('vivo.txt','a+')
f1.write(k["content"].encode('UTF-8'))
f1.write(k["referenceName"].encode('UTF-8'))
f1.write(k["referenceTime"].encode('UTF-8'))
f1.close()
for i in range(0,10):
url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv766&productId=5331985&score=0&sortType=5&page='+str(i)+'&pageSize=10&isShadowSku=0&fold=1'
html=getHtml(url)
getItems(html)
这两个大部分的框架是一样的，其中最主要的还是要找到json库，把它存入字典，然后方便我们的调取，舒服很多...