python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化

从安装过程到可视化工具可查看数据信息，历时两天，昨天坐了一天的火车，今天早上才到的青岛–>放松心情

前天说是要学习如何使用mongoDB的链接与安装。

到今天过去了将一天， 不过还是在函兮的唠叨下慢慢的安装好了，确实来之不易，一脸懵逼

安装环境： wind10 还是盗版的 磁盘分析：只有一个C盘，

步骤：

1 . 下载

http://www.mongodb.org/downloads

这里下载了对应的msi文件，貌似.zip文件没有了

2 我默认把mongoDB安装到c盘下的目录：C:\Program Files\MongoDB\Server\3.4\bin

3 一开始是没有进行mongdb dbpath 和dblog的配置项，所以会出现 ：

由于目标计算机积极拒绝，无法连接

上述问题主要是mongdb没有配置好的原因

4 mongodb 目录文件的配置

cd : C:\Program Files\MongoDB\Server\3.4\bin

到该bin下

输入：mongod.exe –dbpath=C:\data\db

这里的路径可以自由设置

5 再进行dblog的配置，

也是在bin目录下：mongod.exe –dbpath=C:\data\log\mongodb.log

6 检查一下配置是否正常

当然也是在bin下进行：mongo

配置成功的标志：



7最后再把mongoDB添加到Windows Service里面

同样也是cd到bin下：

输入：cd D:\mongodb\bin目录下，执行

mongod.exe –dbpath=C:\data\db –logpath=c:data\log\log.txt –install –serviceName “MongoDB”

进行查看：



启动，关闭服务：



关闭服务：net stop mongodb

这里用的可视化工具：对比了下：

MongoChef

觉着这个应该挺不错的，虽然现阶段我只会一个查看数据的操作：



以上就是mongodb的简单配置，在python3中代码可见的部分：

基础存储部分：

#encoding=utf8
import requests
import re
# 导入mongo 数据库
import pymongo

import json

# 打开数据库连接，mongodb默认端口为27017
conn = pymongo.MongoClient(host='localhost',port=27017)
# 选择或创建数据库
toutiao = conn['toutiao']
# 选择或者创建数据集合
newsdata = toutiao['news']

toutiaoUrl = 'http://www.toutiao.com/api/pc/focus/'
reqData = requests.get(toutiaoUrl).text
print(reqData)

jsonData = json.loads(reqData)
newsData = jsonData['data']['pc_feed_focus']

# 存储到数据库
for new in newsData:
title = new['title']
img_url = new['image_url']
url = new['media_url']
data = {
'title':title,
'img_url':img_url,
'url':url
}
# 插入一行数据
newsdata.insert_one(data)

for i in newsdata.find():
# 从数据库中读取出来
print('i'+str(i))

以上的注释都清楚，以后用的mongodb更多功能再进行扩展。

这就是基本的mongodb数据存储，接下来要学习selenium 和 scraper进行数据爬取操作，加快脚步。