您的位置:首页 > 数据库 > Redis

python爬虫补充章,在总控节点那台机器上安装mongodb和redis数据库 都是非apt方法

2015-08-04 21:45 936 查看
因为发现爬虫爬取出来的数据如果按照表结构划分后存储,不仅麻烦而且非常大的冗余

干脆试试用这样的非关系数据库来试试存储效果如何。

这里我不打算用redis 进行比较,因为他是内存数据库,他擅长的领域应该是缓存和少量数据的统计归类

(做这个的还有另外一大家伙memcache),redis 以后相配合 其他应用提高效率的。

这里相比较的主要是mongodb和mysql 的性能差,就特定指的是这样复杂的关系网络的应用环境下!!

apt-cache depends #(package 了解使用依赖)

apt-cache rdepends #(package 了解某个具体的依赖?#当是查看该包被哪些包依赖吧...)

sudo apt-get build-dep #(package 安装相关的编译环境)

apt-get source #(package 下载该包的源代码)

sudo apt-get clean && sudo apt-get autoclean # 清理下载文件的存档 && 只清理过时的包

sudo apt-get check #检查是否有损坏的依赖

补充,如果安装package突然中断的错误,

sudo rm /var/lib/dpkg/updates/*

主要原因应该是/var/lib/dpkg/updates 文件夹里面的资料有错误,使得更新软件的程序出现错误,所以得把它们完全删除,

通过sudo apt-get update这个指令会重新建立这些资料,使用sudo apt-get upgrade更新你的电脑里面已安装的软件的明细,根据软件的明细更新软件到最新版。

sudo apt-get update #更新源

sudo apt-get upgrade #更新已安装的包,不同于sudo apt-get dist-upgrade # 这个是升级系统

dpkg和apt-get意外毁损

那么还要先做:

sudo rm /var/cache/apt/archives/lock

sudo rm /var/lib/dpkg/lock

再做上面的更新

先安装mongodb:

参考mongodb 官网安装文档:http://docs.mongodb.org/manual/tutorial/install-mongodb-on-ubuntu/

这个上面有如何卸载老版本的方法和用apt-get 的方式安装的方法:

我这里强烈建议大家按照apt的方法安装!!!!

我这里强烈建议大家按照apt的方法安装!!!!

我这里强烈建议大家按照apt的方法安装!!!!

不要学我,惨痛的教训。。。直接按照mongodb官网的apt教程安装就好!!!!

我没有选择apt 的方法,因为自己新手,apt的方法会把文件都拆分到各个系统文件夹里去,我搞不清楚

而且我只想用自己设定的自己用户使用mongodb 不要用root

所以我还是按照 解压包的方式安装

我把包下载下来以后,发现尽然没有conf 文件。全是编译好的程序文件

1

curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.5.tgz
2

tar -zxvf mongodb-linux-x86_64-3.0.5.tgz

3

mkdir -p mongodb-3.0.5/

cp -R -n mongodb-linux-x86_64-3.0.5/ ~/mongodb-3.0.5/

4

export PATH=<mongodb-install-directory>/bin:$PATH

Running

1

mkdir -p /data/db

2

确定你要有读写权限

3

启动

mongod --dbpath <path to data directory>

sudo chmod -R 777 /home/luis/mongodb-3.0.5/data/db/

接下来就是一些辅助的工作了

修改最大连接数:

修改/etc/security/limits.conf 配置文件。

使用命令:sudo gedit /etc/security/limits.conf

在文件中增加

* soft nofile 3000

* hard nofile 20000

root soft nofile 3000

root hard nofile 20000

* 表示该配置对所有用户均有效,root用户要特别加两行。

硬限制通常是根据系统硬件资源状况(主要是系统内存)计算出来的系统最多可同时打开的文件数量,软限制是在这个基础上进一步的限制。因此软限制数目要低于硬限制。

nofile表示 max number of open files

重新启动计算机,然后再用ulimit -a 命令查看:

open files (-n) 3000

已经生效了。现在再启动mongodb server,问题解决

要重启才生效

然后设置开机启动

在/etc/init.d/目录下新建脚本文件mongodb

#!/bin/sh

### BEGIN INIT INFO
# Provides:     mongodb
# Required-Start:
# Required-Stop:
# Default-Start:        2 3 4 5
# Default-Stop:         0 1 6
# Short-Description: mongodb
# Description: mongo db server
### END INIT INFO

. /lib/lsb/init-functions

PROGRAM=/home/luis/mongodb-3.0.5/bin/mongod
MONGOPID=`ps -ef | grep 'mongod' | grep -v grep | awk '{print $2}'`

test -x $PROGRAM || exit 0

case "$1" in
start)
ulimit -n 3000
log_begin_msg "Starting MongoDB server"
$PROGRAM --fork --quiet -journal -maxConns=2400 -rest --dbpath /home/luis/mongodb-3.0.5/data/db --logpath /home/luis/mongodb-3.0.5/data/db/journal/mongodb.log
log_end_msg 0
;;
stop)
log_begin_msg "Stopping MongoDB server"
if [ ! -z "$MONGOPID" ]; then
kill -15 $MONGOPID
fi
log_end_msg 0
;;
status)
;;
*)
log_success_msg "Usage: /etc/init.d/mongodb {start|stop|status}"
exit 1
esac

exit 0


用sudo chmod +x /etc/init.d/mongodb 命令允许该脚本可被执行

接着运行下面的命令注册开机脚本:

update-rc.d mongodb defaults

你也可以通过update-rc.d -f mongodb remove 删除

重新启动,通过ps -def | grep mongod 可以查看到自启动的服务进程,然后可以通过下面的命令关闭/启动服务

sudo service mongodb stop

sudo service mongodb start

客户端登录服务器

启动日志如上,服务端启动如上,现在我们在另外一个终端测试服务器是否正常。

进入/usr/local/mongodb-linux-x86_64-2.0.2/bin,执行./mongo

出现

MongoDB shell version: 2.0.2

connecting to: test

执行db.foo.save({1 : “Hello world”})

然后查找db.foo.find();

看到{ "_id" : ObjectId("4e4b395986738efa2d0718b9"), "1" : "hello world" }

执行到这里恭喜你,成功安装好了mongodb

也可以通过下面这种方式连接远程的mongodb server,默认端口为27017,比如

./mongo 192.168.30.25

创建数据库

如果没有mydb数据库的话,在客户端中使用命令:

use mydb

将创建mydb数据库,而且当前数据库切换为mydb.

此时show dbs不显示该数据库名称。使用db.stats()命令检查当前数据库状态。

标准检查流程

1.首先检查 ulimit -a

查看open files (-n) 是否为设置的值

如果是在开机脚本里面设置,则应该通过下面4步骤检查。本步骤可以忽略。

2.ps -def | grep mongod

查看该服务是否启动

3.cd /data/db/journal/

cat mongdb.log

查看服务器是否正确

4.进入http://192.168.1.199:28017

看服务器是否启动正常

5.进入/usr/mongodb/bin,执行./mongo

看看是否能够登录

安装redis:

参考官网:http://redis.io/download

Installation

$ wget http://download.redis.io/releases/redis-3.0.3.tar.gz
$ tar xzf redis-3.0.3.tar.gz

$ cd redis-3.0.3

$ make

The binaries that are now compiled are available in the src directory. Run Redis with:

$ src/redis-server

You can interact with Redis using the built-in client:

$ src/redis-cli

redis> set foo bar

OK

redis> get foo

"bar"
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: