Python网络爬虫学习scrapy(一)
2017-09-21 23:22
281 查看
总结一个今天的学习过程
1,上午继续尝试昨天的问题:客户端putty登陆远程windows不能输入命令的问题:
可以说是坎坷的不行:原因是安装freesshd软件时,最后一个是否选择问题:是否以系统服务的方式启动,这里选择否,千万不要选择是,这样就可以在登陆后在输入框中输入命令了(这事王师兄替我尝试安装,他本人潜意识不喜欢系统服务的方式,尝试成功了,才找到原因,也是醉了)
接下来又面临了一个坑:使用bat操作js脚本调用客户端的putty链接远程windows,能登陆,但不能将命令脚本发送到putty窗口上,哎 悲催
结果:选择搁置,大脑受不了了
2,下午以及晚上就继续尝试学习Python
复习了隔了好几天没学的数据库编程:SQLIT、MongoDB、MySQL
安装scrapy
scrapy是一个大的整体(个人认为),参考安装连接http://blog.csdn.net/qy20115549/article/details/52528896
自己的安装过程
注意安装pywin32时,对于Python3.6的朋友来说:可能会因为找不到注册表信息
安装pywin32
到网址下载https://nchc.dl.sourceforge.net/project/pywin32/pywin32/Build%20221/pywin32-221.win-amd64-py3.6.exe
注意221这个对于3.6版本的好用 220这个不好使
使用scrapy bench命令验证自己的安装是否齐全
3,学习了Python的基本概念
按着网上的教程尝试写了一个小的爬虫案例,并将结果存储到sss.csv文件中,json等其他文件格式,大该七八中格式
4 使用scrapy创建一个工程
cd到一个目录
scrapy startproject tutorial
cd tutorial
scrapy genspider csdn_spider blog.csdn.net
编写items、csdn_spider piplines没有修改
scrapy crawl dmoz_spider
可惜的是csdn好像不能爬虫下来文章
shell
先进入网页
scrapy shell http://blog.csdn.net/system/newarticle.html
使用response.xpath('/html/body/div[5]/div[1]/div[1]/dl[1]/dd/div[1]')
课查看验证爬取的内容
5 使用了xpath css re extract四种方法尝试抓取不同标签的文本
6,piplines:数据去重、数据清洗、数据存储如json、MongoDB。只是仅仅了解了概念,还没实践
明天加油,又是美好的一天
1,上午继续尝试昨天的问题:客户端putty登陆远程windows不能输入命令的问题:
可以说是坎坷的不行:原因是安装freesshd软件时,最后一个是否选择问题:是否以系统服务的方式启动,这里选择否,千万不要选择是,这样就可以在登陆后在输入框中输入命令了(这事王师兄替我尝试安装,他本人潜意识不喜欢系统服务的方式,尝试成功了,才找到原因,也是醉了)
接下来又面临了一个坑:使用bat操作js脚本调用客户端的putty链接远程windows,能登陆,但不能将命令脚本发送到putty窗口上,哎 悲催
结果:选择搁置,大脑受不了了
2,下午以及晚上就继续尝试学习Python
复习了隔了好几天没学的数据库编程:SQLIT、MongoDB、MySQL
安装scrapy
scrapy是一个大的整体(个人认为),参考安装连接http://blog.csdn.net/qy20115549/article/details/52528896
自己的安装过程
注意安装pywin32时,对于Python3.6的朋友来说:可能会因为找不到注册表信息
安装pywin32
到网址下载https://nchc.dl.sourceforge.net/project/pywin32/pywin32/Build%20221/pywin32-221.win-amd64-py3.6.exe
注意221这个对于3.6版本的好用 220这个不好使
使用scrapy bench命令验证自己的安装是否齐全
3,学习了Python的基本概念
按着网上的教程尝试写了一个小的爬虫案例,并将结果存储到sss.csv文件中,json等其他文件格式,大该七八中格式
4 使用scrapy创建一个工程
cd到一个目录
scrapy startproject tutorial
cd tutorial
scrapy genspider csdn_spider blog.csdn.net
编写items、csdn_spider piplines没有修改
scrapy crawl dmoz_spider
可惜的是csdn好像不能爬虫下来文章
shell
先进入网页
scrapy shell http://blog.csdn.net/system/newarticle.html
使用response.xpath('/html/body/div[5]/div[1]/div[1]/dl[1]/dd/div[1]')
课查看验证爬取的内容
5 使用了xpath css re extract四种方法尝试抓取不同标签的文本
6,piplines:数据去重、数据清洗、数据存储如json、MongoDB。只是仅仅了解了概念,还没实践
明天加油,又是美好的一天
相关文章推荐
- 基于Scrapy框架的python网络爬虫学习(2)
- 基于Scrapy框架的python网络爬虫学习(3)
- [Python]网络爬虫(11):亮剑!爬虫框架小抓抓Scrapy闪亮登场!
- python爬虫框架scrapy学习笔记
- python3 网络爬虫(七)针对scrapy并发请求的一点看法(提速篇)
- python网络爬虫学习
- python学习手册之Scrapy学习
- Python开源网络爬虫或网络蜘蛛scrapy入门遇到问题
- python网络爬虫学习(一)通过GET和POST方式获取页面内容
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- Python爬虫框架Scrapy 学习笔记 10.2 -------【实战】 抓取天猫某网店所有宝贝详情
- Python---scrapy框架的学习
- 学习python之走进Scrapy
- [Python]网络爬虫(11):亮剑!爬虫框架小抓抓Scrapy闪亮登场!
- Python学习(8)---Scrapy框架下的网络爬虫
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- Python网络爬虫框架scrapy的学习
- python爬虫框架scrapy学习笔记
- Python3 scrapy学习小结