python实现爬虫数据存到 MongoDB
2016-09-22 00:00
1186 查看
在以上两篇文章中已经介绍到了 Python 爬虫和 MongoDB , 那么下面我就将爬虫爬下来的数据存到 MongoDB 中去,首先来介绍一下我们将要爬取的网站, readfree 网站,这个网站非常的好,我们只需要每天签到就可以免费下载三本书,良心网站,下面我就将该网站上的每日推荐书籍爬下来。
利用上面几篇文章介绍的方法,我们很容易的就可以在网页的源代码中寻找到书籍的姓名和书籍作者的信息。
找到之后我们复制 XPath ,然后进行提取即可。源代码如下所示
注意,在写入数据库的过程中不要一下子将字典中的数据写入数据库,我一开始就这么写的,但是我发现数据库中只有三条信息,其他信息都不见了。所以采用一条一条的写入。
还有源代码的开头部分,对默认编码的设置一定不可以省略,否则可能会报编码错误(真心感觉 Python 在编码这方面好容易出错,尴尬)。
有的人可能发现了,我将提取的信息转换成了字符串,然后使用 replace() 方法将 \n 去掉了,因为我发现在提取的书籍信息前后存在换行符,看着十分碍眼。
热情提醒一下,在程序运行的时候别忘记将你的 Mongo DB 运行起来,下来看看结果
好了,就这样,如果发现代码哪里存在错误或者说有可以改善的地方,希望留言给我,感谢。
python操作MongoDB基础知识
Python中的MongoDB基本操作:连接、查询实例
使用Python脚本操作MongoDB的教程
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
Python操作MongoDB数据库PyMongo库使用方法
Python中使用Flask、MongoDB搭建简易图片服务器
python读取json文件并将数据插入到mongodb的方法
利用上面几篇文章介绍的方法,我们很容易的就可以在网页的源代码中寻找到书籍的姓名和书籍作者的信息。
找到之后我们复制 XPath ,然后进行提取即可。源代码如下所示
# coding=utf-8 import re import requests from lxml import etree import pymongo import sys reload(sys) sys.setdefaultencoding('utf-8') def getpages(url, total): nowpage = int(re.search('(\d+)', url, re.S).group(1)) urls = [] for i in range(nowpage, total + 1): link = re.sub('(\d+)', '%s' % i, url, re.S) urls.append(link) return urls def spider(url): html = requests.get(url) selector = etree.HTML(html.text) book_name = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/a/text()') book_author = selector.xpath('//*[@id="container"]/ul/li//div/div[2]/div/a/text()') saveinfo(book_name, book_author) def saveinfo(book_name, book_author): connection = pymongo.MongoClient() BookDB = connection.BookDB BookTable = BookDB.books length = len(book_name) for i in range(0, length): books = {} books['name'] = str(book_name[i]).replace('\n','') books['author'] = str(book_author[i]).replace('\n','') BookTable.insert_one(books) if __name__ == '__main__': url = 'http://readfree.me/shuffle/?page=1' urls = getpages(url,3) for each in urls: spider(each)
注意,在写入数据库的过程中不要一下子将字典中的数据写入数据库,我一开始就这么写的,但是我发现数据库中只有三条信息,其他信息都不见了。所以采用一条一条的写入。
还有源代码的开头部分,对默认编码的设置一定不可以省略,否则可能会报编码错误(真心感觉 Python 在编码这方面好容易出错,尴尬)。
有的人可能发现了,我将提取的信息转换成了字符串,然后使用 replace() 方法将 \n 去掉了,因为我发现在提取的书籍信息前后存在换行符,看着十分碍眼。
热情提醒一下,在程序运行的时候别忘记将你的 Mongo DB 运行起来,下来看看结果
好了,就这样,如果发现代码哪里存在错误或者说有可以改善的地方,希望留言给我,感谢。
您可能感兴趣的文章:
python连接mongodb操作数据示例(mongodb数据库配置类)python操作MongoDB基础知识
Python中的MongoDB基本操作:连接、查询实例
使用Python脚本操作MongoDB的教程
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
Python操作MongoDB数据库PyMongo库使用方法
Python中使用Flask、MongoDB搭建简易图片服务器
python读取json文件并将数据插入到mongodb的方法
相关文章推荐
- python实现爬虫数据存到 MongoDB
- python 实现汽车之家车型数据爬虫 推荐
- Python 网络爬虫5 ---- 第一次实现抓取数据并且存放到mysql数据库中
- Python 爬虫7——自定义Item Pipeline将数据存入MongoDB
- 基于Python实现微信公众号爬虫进行数据分析
- python实现MongoDB数据同步到ES(Elasticsearch)
- python利用新浪API实现数据的抓取\python微博数据爬虫
- python如何实现excel数据添加到mongodb
- 基于Python实现微信公众号爬虫进行数据分析
- 用Python+Selenium+PhantomJS实现采集动态数据的小爬虫
- Python爬虫(入门+进阶)学习笔记 1-7 数据入库之MongoDB(案例二:爬取拉勾)
- python实现爬虫统计学校BBS男女比例之数据处理(三)
- python3 [爬虫入门实战]scrapy爬取盘多多五百万数据并存mongoDB
- 不用Python,怎么实现大数据爬虫项目?
- Python实现简单的爬虫获取某刀网的更新数据
- Python爬虫:十分钟实现从数据抓取到数据API提供
- python操作mongodb根据_id查询数据的实现方法
- python操作mongodb根据_id查询数据的实现方法
- 用Python实现定时备份Mongodb数据,并上传到FTP服务器
- python3 [爬虫入门实战]scrapy爬取盘多多五百万数据并存mongoDB