Python网络爬虫之网盘爬虫【简易版】
2015-07-02 10:18
537 查看
最近网盘爬虫非常火，很多网站都做得很好，因此我也很好奇其中涉及的技术，进行了一点点研究。
结论放最前，原理无非是这句：XXX site:pan.baidu.com
先查看了最近比较流行的搜索引擎，前三甲是百度、360搜索、新搜狗。其中百度和360都对site:pan.baidu.com进行和谐，出现的结果非常有限，因此有两种方法：
1.在新搜狗中进行百度网盘搜索；
2.在百度中对于其他网盘进行搜索，类似于：photoshop.rar site:dl.vmall.com。
【具体代码仍在施工中，请原谅博主的懒惰并自行探索】
结论放最前，原理无非是这句：XXX site:pan.baidu.com
先查看了最近比较流行的搜索引擎，前三甲是百度、360搜索、新搜狗。其中百度和360都对site:pan.baidu.com进行和谐，出现的结果非常有限，因此有两种方法：
1.在新搜狗中进行百度网盘搜索；
2.在百度中对于其他网盘进行搜索，类似于：photoshop.rar site:dl.vmall.com。
【具体代码仍在施工中，请原谅博主的懒惰并自行探索】
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 网络基础(2)--通信过程之一HTTP协议
- 《UNIX网络编程》卷I 实验环境搭建
- iOS开发网络篇—使用ASI框架进行文件下载
- iOS开发之runtime的运用-获取当前网络状态
- Android Http编程之HttpClient
- 构建自己的AngularJS，第一部分：作用域和digest 转摘：http://www.ituring.com.cn/article/39865
- 解决Unable to update index for central|http://repo1.maven.org/maven2错误
- Linux下tcp并发服务器的几种设计的模式套路
- iOS开发工具-网络封包分析工具Charles
- Linux内核软RPS实现网络接收软中断的负载均衡分发
- 网络基础篇(一)--TCP/IP协议族
- 【C语言】模拟实现库函数srtcpy函数
- 【Linux 内核网络协议栈源码剖析】connect 函数剖析（一）
- 黑马程序员——Java基础之网络编程
- 查看网络图片
- Xcode7 使用NSURLSession发送HTTP请求报错
- 用Bmob实现注册和登录功能（网络存储）
- POJ 1149 PIGS ( 网络流 )
- python3.4学习笔记(十三) 网络爬虫实例代码，使用pyspider抓取多牛投资吧里面的文章信息，抓取政府网新闻内容
- 《TCP/IP详解：卷一》-TCP部分讲解