韶大talk 评论热度抽取

代码：

import re , urllib.parse , urllib.request , http.cookiejar , base64 , binascii , rsa,time

cj = http.cookiejar.LWPCookieJar()
cookie_support = urllib.request.HTTPCookieProcessor(cj)
opener = urllib.request.build_opener(cookie_support , urllib.request.HTTPHandler)
urllib.request.install_opener(opener)

def getData(url) :
request = urllib.request.Request(url)
response = urllib.request.urlopen(request)
text = response.read().decode('utf-8')
return text

def postData(url , data) :
headers = {'User-Agent' : 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)'}
data = urllib.parse.urlencode(data).encode('utf-8')
request = urllib.request.Request(url , data , headers)
response = urllib.request.urlopen(request)
text = response.read().decode('gbk')
return text

def login_weibo(nick , pwd) :
prelogin_url = 'http://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=%s&rsakt=mod&checkpin=1&client=ssologin.js(v1.4.15)&_=1400822309846' % nick
preLogin = getData(prelogin_url)
servertime = re.findall('"servertime":(.*?),' , preLogin)[0]
pubkey = re.findall('"pubkey":"(.*?)",' , preLogin)[0]
rsakv = re.findall('"rsakv":"(.*?)",' , preLogin)[0]
nonce = re.findall('"nonce":"(.*?)",' , preLogin)[0]
su = base64.b64encode(bytes(urllib.request.quote(nick) , encoding = 'utf-8'))
rsaPublickey = int(pubkey , 16)
key = rsa.PublicKey(rsaPublickey , 65537)
message =
4000
bytes(str(servertime) + '\t' + str(nonce) + '\n' + str(pwd) , encoding = 'utf-8')
sp = binascii.b2a_hex(rsa.encrypt(message , key))
param = {'entry' : 'weibo' , 'gateway' : 1 , 'from' : '' , 'savestate' : 7 , 'useticket' : 1 , 'pagerefer' : 'http://login.sina.com.cn/sso/logout.php?entry=miniblog&r=http%3A%2F%2Fweibo.com%2Flogout.php%3Fbackurl%3D' , 'vsnf' : 1 , 'su' : su , 'service' : 'miniblog' , 'servertime' : servertime , 'nonce' : nonce , 'pwencode' : 'rsa2' , 'rsakv' : rsakv , 'sp' : sp , 'sr' : '1680*1050' ,
'encoding' : 'UTF-8' , 'prelt' : 961 , 'url' : 'http://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack'}
s = postData('http://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.15)' , param)

urll = re.findall("location.replace\(\'(.*?)\'\);" , s)[0]
getData(urll)
# -----------------------------------------------------------以上是模拟登陆微博-----------------------------------------------------------------------
import sys
import xlsxwriter

T=1
N=1

def getCurrentTime(self=0):
return time.strftime('[%Y-%m-%d %H:%M:%S]',time.localtime(time.time()))

workbook = xlsxwriter.Workbook('..\数据\夜洞.xlsx')
worksheet = workbook.add_worksheet()

login_weibo('15622597574' , '*********')
for x in range(20):
print(x)
page=20-x
print('%s page%d'%(getCurrentTime(),page))
# 部分
for section in range(2):
print('section',section)
htmlyedong=getData('http://weibo.com/u/5745936562?pids=Pl_Official_MyProfileFeed__24&is_search=%s&visible=0&is_all=1&is_tag=0&profile_ftype=1&page=%s#feedtop'%(section,page))

p_list=re.compile(r'title=\\\"(201.*?\s.*?)\\[\s\S]*?\\"韶大talk\\">\\n[\s]*(.*?)[\s]*?<[\s\S]*?8;<\\/em><em>(.*?)<')
listlist=p_list.findall(htmlyedong)

# v=-1
for there in listlist:
p=there[2]
# v=v+1
if p=='评论':
p=0
p=int(p)
if p>=10:
print(there)
try:
worksheet.write(N,0,there[0])
worksheet.write(N,1,p)
worksheet.write(N,2,there[1])
# v=v+1
N=N+1
except:
print('此处 out of range')
# v=v+1
# N=N+1
# else:
# v=v+1
# N=N+1
workbook.close()
print('写入成功')

此处获取的夜洞是评论数大于10的微博

获取的数据截图：

截图2

时间 评论 微博内容
2016-06-19 11:55 156 刚刚测50 我前面就一个女的 然后排着排着来了一个 我跟插队的那个说 同学不要插队好吗。 然后她居然能厚脸皮地说:我刚刚就在这里 离开才一分钟。NMB 我排了都5 6分钟 你居然说你才离开一分钟 要不要脸？  然后我想了一下 哎……算了  后来排着排着陆续又来了3个。
2016-01-01 22:34 94 L韶关学院自制微电影《昙花的芬芳》 历时一个月的和小伙伴们第一部微电影完工了，有很多困难都慢慢克服了，也在失败中积累经验，做的更好。可能做的不是很好，继续努力吧，为更好的明天而努力。还有兴趣参加的小伙伴们可以留言，没有经验没关系，认证有责任心的话欢迎你的加入。也欢迎指正不足哦
2016-05-07 00:42 71 今天生日了
2016-04-03 23:12 67 想要男朋友了。你爱打机我可以给你送外卖送宵夜，你爱打球我不介意做球童，你要喝酒绝对能陪你喝到你醉扶你回去，你要面子我可以在你朋友面前任你差遣。不要问为什么，因为我就想要个男朋友。身高比我高就好。体重绝对不能比我瘦。样子最好比我好看点。最好能教我健身减肥的。有意的，想看照片的私聊。
2016-01-03 12:03 64 除了女人，大四师兄宿舍什么东西都有，需要什么就说
2016-06-02 23:47 57 郁闷的发个牢骚！找了一学期的男盆友都没找到！
2016-04-14 19:44 56 主动向一个男生告白后，他说他也喜欢我的，但永远不会告诉我。他想和我啪啪啪，这样我们可以长期保持彼此的关系，却不是男女朋友，他有很多性伴侣，而我还是处女，我该不该放弃他？
2016-05-20 11:20 52 感觉广东人不爱国，只关心广东
2016-05-31 13:00 52 连眼镜王蛇都出现了，学校真的都不管吗？
2016-03-16 19:15 51 感觉跟女朋友有未来，只要我坚持到底，但未来很可能是令人恐惧的，最起码我现在觉得是，我有钱，有面，有高度，有相貌，但是女朋友除了性格合的来之外，其他都令我对未来产生恐惧。怎么办？求大神指引，我不想伤害我女朋友
2016-01-22 18:21 50 去你们夜洞狗,那么多人留校也不帮我养猫,家里不让养我也只能硬带猫回家,结果我跟家里人天天吵翻天,今天我爸一怒之下把我的猫给捅死了,你们这群留校的该死夜洞狗
2015-11-29 21:50 47 大二了，我想认识个男生好好相处。适合的话就发展为情侣，不适合就当普通朋友，有想认识的么？嘻嘻
2016-05-19 20:53 47 有父亲也是各种吸毒戒毒复吸坐牢然后戒毒成功折腾了二十多年出来后还不醒悟老老实实生活 各种酗酒炒股的类似遭遇的菇凉么  给我个拥抱好么  人生真他妈艰难  好累啊
2016-04-19 09:33 46 我想要问一下各位同学，不知道大家有没有看过东野圭吾的《解忧杂货店》，如果现实中也有这么一个地方可以让你以笔名的方式写信咨询烦恼，你会愿意写吗？当然会有人解答而且是免费的，你们会写吗？麻烦大家发表一下意见，谢谢！\/:heart\/:heart\/:heart
2016-06-07 00:22 46 体院的男生该怎么追啊？？？
2016-02-05 11:48 45 当爸爸了好开心，问下大家意见，我喜欢跟天气有关的名字，男孩的名字叫天晴会不会觉得女性化？叫星辰会不会太另类？或者有什么好建议。
2016-05-16 11:04 45 我在追一个女生，她说她对我有好感，但不是喜欢。她肯让我拉手，搂肩，拥抱，但是就是不肯同意当我的女朋友，我表白也被拒绝了。她的回答是她大学不想谈恋爱了，她大一谈了一次恋爱后来分了。
2016-06-10 00:46 45 不知道还有没有人知道这些东西。突然发现一本书，上面记载了一些东西。我没法说出来，只能选一些片段。石狮子，黎灿，行政楼，喷泉，旅港楼，墓碑，道平，图书馆，铁钉，火盆，封印 ，祭坛，东湖，西湖，英东，桃树林。当然都是些撰写的东西。有知道详细故事版本的发一下评论，就是好奇。
2016-04-14 23:15 44 我看过三次我闺蜜被搭讪，而且都是些配不上她的，而且真的很差劲可以说是屌丝吧，我就想问你们到底是怎么想的，会搭讪一个根本和自己不在一个级别的女神吗
2016-06-05 11:44 44 一群插队狗，明目张胆插了一群人，我吃完午饭就去排队了，中途一群狗这么插过来，呵呵，昨天发布端维修，看到今天那么多人发插队的，不发出来真的浪费这么好的照片了，还有别的插队的，你们小心点，别人给你来个特写就搞笑了哈哈
2016-04-05 12:10 43 想问大家一个问题[呵呵] 女朋友把你的手提电脑故意摔坏然后要跟你分手我要她赔吗
2016-04-27 22:11 42 本人男135斤，想减肥，只要你让我在一个月内瘦十斤，跑步，控制饮食什么的都听你的！500块钱工资！只限女生。
2016-03-26 00:31 41 韶大有喜欢林峰的吗？有他的粉吗？让我看到你
2016-04-30 22:59 41 今天是一个特别的日子，在这个美好五一假期的第一天，给大家分享一个出轨还自导自演装好人，把错推到别人身上，暗地里污蔑自己室友的极品渣渣，12ls的c同学[呵呵] 全程自带微信聊天记录+短信记录，欢迎大家一起818
2016-05-17 22:22 41 有没有男生微博大号留言阿，我去视奸视奸，对眼了就来聊天
2016-06-10 18:10 41 学校后山是韶关龙脉的龙头，韶院是为了镇压龙脉而建的。英东前的八卦阵，道平的引阳阵，图书馆是蓄阳阵，黎灿的四方阵（黎灿是学生活动中心，来自四面八方的学生带来的欣欣向荣之气不绝。石像是狻猊好食烟气），南一南二是两仪阵，未完待补。
2015-11-26 00:50 40 第一晚女朋友因为我跟她聊着聊着不见人影生气了，我觉得没什么啊！第二天下午打了两个电话竟然都不接，到晚上九点多女朋友打电话说下楼走走聊聊，我说在打比赛等会，她说你现在要不下来就分手！妈蛋，总是这样威胁还得了！
2016-03-29 00:21 40 找一个男票，
2015-11-23 08:13 39 出一台笔记本电脑，日本东芝牌子，15.6寸，因为是女生所以不太喜欢它月光银的外形，想出，具体型号配置看图，想收的欢迎带价评论。
2016-03-07 22:06 39 无偿写真来咯～简单介绍下 我是姑娘 也是新手 我会加油把你拍的美美哒 题材不限 拍照的时候一对一
2016-01-05 22:30 38 本手机500块，八成新，华为荣耀4x双4g，高配版。非常抢手，只是屏幕一点点毛病，买不到两个月。需要私聊，价格再谈
2016-04-28 13:42 38 我觉得广播台播嘅一次就好唱得好嗨难听，男人唱翻d,男人味出嚟唔得？
2016-05-26 09:13 38 想问问男生们，会介意你们的女朋友不是处吗？也想知道，如果跟几个男人有过那个的话，是不是很下贱很放荡？想知道大家是怎么看的？
2016-06-16 21:03 38 作为一只并不丑的外省妹子 我很好奇什么没有广东男生追我 只有同乡或同样外省的呢 思考良久 朋友圈窄是一个方面 难道是167的身高加上偶尔穿高跟鞋的爱美之心 真忧桑 难不成这几年都打破不了这个魔咒
2015-11-22 15:23 37 接上条
2016-01-07 00:18 35 心，真的彻底冷下来了
2016-03-15 23:08 35 如果一个男生好远跑来找你玩，给你买水还各种请客，就连过马路都是被稀里糊涂牵着走，还老是摸你头，临走之前会在我走后才进站。这种关系正常吗？
2016-05-13 00:41 35 周日呀有没有个男生陪我去市区啦……长得可以就行了……好久没去市区的感觉……其实才十天留个短号我私你周日下午五点多……去市区逛咯
2015-12-02 18:46 34 弱弱的问一句，不要骂我，真心不知道。你们男生用的钱包一般在什么价位？如果送男生200多钱包会不会很寒酸 。。。。。。
2016-06-16 09:34 34 讲真～抽奖送了喂～评论里
2016-06-17 22:48 34 想找一个男朋友、不喜欢肥的，本人167，长得还行，但是身材有点平，有愿意的吗？
2016-06-10 11:11 33 本大叔单身，拉风的男人就是我，我就是拉风的男人，想交一枚美女为女友，气质，身高一定要好，我要气死那小婊砸
2016-06-14 09:09 33 再问一次，怎么样抓今年刚毕业不肯回家却不准我相亲，吃醋，吵闹的女友回家见家长？一千万个重点不在我好不好这！别再回这个，要被相亲了，火烧眉毛，有稳定工作收入，有房待买车
2015-11-13 19:39 32 出一个电热锅，我只用了几天。冬天可以打边炉那种。够两人使用。
2016-03-27 21:10 32 抑郁症很久了，希望找人24小时（尽量吧），陪着我，生无可恋。。。留下你的QQ，我的手机很难使用。。救救我吧。。
2015-11-27 17:31 30 长得高找不到女朋友也是一种苦
2015-12-21 16:22 30 想找个一起学日语的女朋友
2016-01-16 23:15 30 如果外省的一个男的，跟广东一个女的谈恋爱！男的家庭一般，普通。女的家庭条件比较好！女方家庭会怎么看男方，听说广东有些，有些，有些家长爱恋现实！
2016-01-23 18:24 30 不明白，为什么那么多广东人期待下雪，广东人不是很怕冷吗
2016-04-11 23:03 30 单身时有一个聊的很好，关系也铁的女生，在清明时和我说她肚子好痛，又没舍友在，想让我陪她看医生，我也知道有了女朋友就不要做“中央空调”，但是觉得这个忙不帮就连朋友都不算了，可是女朋友知道后，又一直说我是不是和她有关系，是不是喜欢她，我觉得……真的有点……太敏感了吧！
2016-04-17 22:41 30 好想找个女朋友，要瘦肉，不要肥肉，要寺文，不要出炉，要豪看，不要煤人看
2016-04-29 13:31 30 妈蛋，中午用饿了么点餐，明明看着有满十减二什么的，但是买单的时候什么鬼都没有，欺骗消费者
2016-05-11 00:12 30 明天就是我生日了，却怎么都不开心，孤独和寂寞充斥着我，今晚也是失眠的节奏了，有人吗，聊会？
2016-05-13 19:20 30 我不信夜洞没有好的男生我不信……我要找个男票……丑逼走开！！！身高低于170的也不用加因为我跟你差不多高了非诚勿扰这是我扣扣3339631554我喜欢干净瘦的男生穿白色t恤很帅气啦啦啦……别批我我是真心的本人是配得上你
2016-05-16 23:04 30 大家觉得女朋友是独立点好还是粘人一点好啊？有时候真的觉得自己独立得让人心疼，而且男朋友好像也没什么意见，但是总是感觉不对~我需要改改吗？
2015-11-05 00:01 29 给你曾经暗恋的人留句话吧 ___________
2016-01-05 20:46 29 如果说我是百合，会看不起我吗？
2016-03-21 00:52 29 我是gay