python爬虫:爬取慕课网视频
2016-03-12 18:27
471 查看
前段时间安装了一个慕课网app,发现不用注册就可以在线看其中的视频,就有了想爬取其中的视频,用来在电脑上学习。 决定花两天时间用学了一段时间的python做一做。 我使用的是pycharm进行开发,使用BeautifulSoup模块解析html,整个代码进行了比较详细的注释。 整个工程结构:----entity --------__init__.py --------fileinfor.py用来描述视频文件信息 ----filedeal --------__init__.py --------file_downloader.py用于视频文件的下载 ----spider 爬虫的核心内容 --------__init__.py --------html_downloader.py html下载器 --------html_parser.py html解析器 --------spiderman.py 爬虫核心逻辑 ----test test文件夹主要是用来测试一些用例,不参与整个程序运行 ----conf.py 一些全局变量 ----index.py 程序启动入口 运行环境: python 2.7.X 需要安装的支持模块: BeautifulSoup (pip install或者下载源代码包setup.py),下载链接:https://pypi.python.org/pypi/beautifulsoup4/4.3.2 运行:在windows上直接双击start.bat,linux上没试 现在将程序运行起来,双击start.bat:
输入课程号,选择视频品质:
等到显示100%时,会将视频下载到当前目录下
源代码在我的github上:https://github.com/qiyeboy/spider_smooc欢迎大家指教学习我的微信公众号:qiye_python
请大家关注,我会经常分享我的技术和作品,大家共同进步
相关文章推荐
- python爬虫:爬取慕课网视频
- python学习笔记:python序列
- 使用pip安装指定版本的Python包
- python之正则表达式
- python urllib
- PYTHON之路(七)
- Python写的一款印象笔记MarkDown同步工具
- Logistic回归(实例)
- Logistic回归(改进的随机梯度上升)
- 2016-3-12 Python学习
- 编写Python小程序来统计测试脚本的关键字
- python数据分析入门学习笔记
- Python3中byte和string之间各种编码转换
- python wget下载文件
- Logistic回归(随机梯度上升)
- Logistic回归算法(梯度上升)
- Python简单介绍
- python Exception as e和 Exception,e
- Python中使用pulp进行线性规范计算
- python 字符串介绍