python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化
2017-07-05 18:47
771 查看
从安装过程到可视化工具可查看数据信息,历时两天,昨天坐了一天的火车,今天早上才到的青岛–> 来放松心情。
前天说是要学习如何使用mongoDB的链接与安装。到今天过去了将一天, 不过还是在函兮的唠叨下慢慢的安装好了,确实来之不易,一脸懵逼
安装环境: wind10 还是盗版的 磁盘分析:只有一个C盘,
步骤:
1 . 下载
http://www.mongodb.org/downloads
这里下载了对应的msi文件,貌似.zip文件没有了
2 我默认把mongoDB安装到c盘下的目录:C:\Program Files\MongoDB\Server\3.4\bin
3 一开始是没有进行mongdb dbpath 和dblog的配置项,所以会出现 :
由于目标计算机积极拒绝,无法连接
上述问题主要是mongdb没有配置好的原因4 mongodb 目录文件的配置
cd : C:\Program Files\MongoDB\Server\3.4\bin
到该bin下
输入:mongod.exe –dbpath=C:\data\db
这里的路径可以自由设置
5 再进行dblog的配置,
也是在bin目录下:mongod.exe –dbpath=C:\data\log\mongodb.log
6 检查一下配置是否正常
当然也是在bin下进行:mongo
配置成功的标志:
7最后再把mongoDB添加到Windows Service里面
同样也是cd到bin下:
输入:cd D:\mongodb\bin目录下,执行
mongod.exe –dbpath=C:\data\db –logpath=c:data\log\log.txt –install –serviceName “MongoDB”
进行查看:
启动,关闭服务:
关闭服务:net stop mongodb
这里用的可视化工具:对比了下:
MongoChef
觉着这个应该挺不错的,虽然现阶段我只会一个查看数据的操作:
以上就是mongodb的简单配置,在python3中代码可见的部分:
基础存储部分:
#encoding=utf8 import requests import re # 导入mongo 数据库 import pymongo import json # 打开数据库连接,mongodb默认端口为27017 conn = pymongo.MongoClient(host='localhost',port=27017) # 选择或创建数据库 toutiao = conn['toutiao'] # 选择或者创建数据集合 newsdata = toutiao['news'] toutiaoUrl = 'http://www.toutiao.com/api/pc/focus/' reqData = requests.get(toutiaoUrl).text print(reqData) jsonData = json.loads(reqData) newsData = jsonData['data']['pc_feed_focus'] # 存储到数据库 for new in newsData: title = new['title'] img_url = new['image_url'] url = new['media_url'] data = { 'title':title, 'img_url':img_url, 'url':url } # 插入一行数据 newsdata.insert_one(data) for i in newsdata.find(): # 从数据库中读取出来 print('i'+str(i))
以上的注释都清楚,以后用的mongodb更多功能再进行扩展。
这就是基本的mongodb数据存储,接下来要学习selenium 和 scraper进行数据爬取操作,加快脚步。
新博客地址:http://blog.csdn.net/xudailong_blog
相关文章推荐
- python3 [爬虫入门实战]爬虫之mongoDB数据库的安装配置与可视化
- python3 [爬虫入门实战]爬虫之scrapy安装与配置教程
- python3 [爬虫入门实战]爬虫之selenium 安装设置与初步使用
- ArcGIS Python API可视化及分析系列教程(一):入门与简介(2)安装与配置
- Python爬虫进阶三之Scrapy框架安装配置
- Python爬虫教程——进阶一之爬虫框架Scrapy安装配置
- Python入门笔记(1)_ 安装、IDLE设置 及 opencv 配置
- Python爬虫进阶一之爬虫框架Scrapy安装配置
- 零基础写python爬虫之爬虫框架Scrapy安装配置
- Python开发入门与实战20-微信开发配置
- 原创:centos7.1下 ZooKeeper 集群安装配置+Python实战范例
- 安装Python及爬虫入门介绍
- Python爬虫入门实战一
- Python爬虫Scrapy的安装配置
- [Python]Python爬虫之Scrapy框架安装配置
- python爬虫Scrapy学习,在windows下安装和配置
- pyspider 爬虫 快速入门 |框架安装配置
- Python爬虫进阶一之爬虫框架Scrapy安装配置
- python爬虫框架Scrapy入门:安装
- python的数据可视化 graphviz pydot安装配置(win10)