爬虫：如何找到武汉单身男青年

知乎原回答被举报涉黄低俗。。搬运到这

作者：WonMian

链接：https://www.zhihu.com/question/43667227/answer/128210192

来源：知乎

著作权归作者所有，转载请联系作者获得授权。

这个题目可以拆开来这么看

武汉
优质
单身
男/女
作为一个励志成为伟大的程序猿的男人，是时候犯中（zhuang）二（bi）的毛病了。



首先第一点，既然是要在武汉，那能在武汉的话题下获得广泛关注和点赞的人肯定是优势很大啊
于是我就写了个爬虫爬所有武汉精华下面的话题



第二要优质，那可不好办了呀，这可真难定义，既然有要求，那只能提个相对来说较为公平的条件了，你要优质，关注少于300的要滚粗吧？（我这种优质小透明粉丝少于100，要被自己写的程序淘汰了QAQ，大家快关注我）

于是我就写个爬虫把所有话题下面的前十个回答的答主都偷偷摸了个遍，应该没侵犯各位大哥的隐私吧，把粉丝大于300的都列了出来

第三要是单身，这点恕在下无能，实在办不到Orz

第四要是个男/女的，这个好办



在DEBUG的过程中，我发现一个问题，就是有的人重复出现了好几次，这是为什么呢？又仔细找了几遍，发现是原来精华话题下有很多问题是重复的。。。坑爹啊，于是修改了代码（看你们那么热情，我一个代码也没有，又怕你们不高兴）



嘿嘿嘿，终于跑起来咯
这时候我的表情是这样的



然鹅没高兴多久。。。。。。





最后把页面上性别的图标分析下就OK了，后来我嫌本地跑太慢，就把男女一起丢到服务器上慢慢爬了



其实还有个很重要的原因是我的mac爬了好几次之后（因为不停的改代码）和上一次一模一样的代码再也用不起来了，改了很多还是爬不了，我怀疑是IP地址被封了

==================================

一共爬到了500位“男嘉宾”，我就帮到这里啦。勇敢的女嘉宾们快抄起你的私信，去寻找真爱吧！~~

同时，给武汉的男士我也准备一个福利大礼包，不过我发现回答前十里面满足条件的妹子好少，武汉的妹子们要加油啊！~~所以我就放宽了条件，只要是每个回答里前十的，我就把她给抓到碗里来

一共871位妹纸。出动吧！

在线查看，顺便安利下我搭的小破网站：
WonMian修仙之家

百度云下载：
https://pan.baidu.com/s/1bVsFnw
武汉优质单身男
https://pan.baidu.com/s/1nvKxiTr
武汉优质单身女

代码已放在我的github上https://github.com/WonMian/ZhihuSpider