(5)分布式下的爬虫Scrapy应该如何做-windows下的redis的安装与配置
2015-11-05 14:51
676 查看
软件版本:
win7 64bit
本篇的内容是为了给分布式下的爬虫做好预热的环境准备,我们知道单机的爬虫始终会有一个性能瓶颈,特别是对于是否爬过的URL来说,存在本地关系型的数据库始终会有一个性能上的考究,这里引入redis,可以很方便的通过集群来解决这个问题,在任何大的问题解决方案上,终究都是采取化整为零,分而治之的思想。如果你对于windows下的配置已经很熟悉了,本次内容可以完全略过。
一,去GitHub上下载关于windows的redis的下载文件:
地址:https://github.com/rgl/redis/downloads
二,解压安装,下一步一步
三,以管理员身份打开CMD,切入到redis的目录,比如我的目录为C:\Program Files\Redis
cd C:\Program Files\Redis
四,以目录形式打开文件夹,将C:\Program Files\Redis\Conf下的redis.conf 配置文件复制到 C:\Program Files\Redis 目录
五,在命令行下输入:redis-server.exe redis.conf
这个时候如果没有进一步报错的话,那就证明已经成功启动服务端了、
六,现在我们以管理员身份启动另一下CMD命令,启动客户端:
redis-cli.exe -h 127.0.0.1 -p 6379
用过bash的应该都了解参数的大致意思了 -h host域名 -p port 端口号
我们来简单的测试一下:
set parm1 mytest
got parm1
输出:
mytest
OK,windows下的安装就已经成功了,关于更高级一点的配置或者将爬虫融入到分布式中,我们下一次在细讲
redis-2.4.6-setup-64-bit.exe — Redis 2.4.6 Windows Setup (64-bit)
系统:win7 64bit
本篇的内容是为了给分布式下的爬虫做好预热的环境准备,我们知道单机的爬虫始终会有一个性能瓶颈,特别是对于是否爬过的URL来说,存在本地关系型的数据库始终会有一个性能上的考究,这里引入redis,可以很方便的通过集群来解决这个问题,在任何大的问题解决方案上,终究都是采取化整为零,分而治之的思想。如果你对于windows下的配置已经很熟悉了,本次内容可以完全略过。
一,去GitHub上下载关于windows的redis的下载文件:
地址:https://github.com/rgl/redis/downloads
二,解压安装,下一步一步
三,以管理员身份打开CMD,切入到redis的目录,比如我的目录为C:\Program Files\Redis
cd C:\Program Files\Redis
四,以目录形式打开文件夹,将C:\Program Files\Redis\Conf下的redis.conf 配置文件复制到 C:\Program Files\Redis 目录
五,在命令行下输入:redis-server.exe redis.conf
这个时候如果没有进一步报错的话,那就证明已经成功启动服务端了、
六,现在我们以管理员身份启动另一下CMD命令,启动客户端:
redis-cli.exe -h 127.0.0.1 -p 6379
用过bash的应该都了解参数的大致意思了 -h host域名 -p port 端口号
我们来简单的测试一下:
set parm1 mytest
got parm1
输出:
mytest
OK,windows下的安装就已经成功了,关于更高级一点的配置或者将爬虫融入到分布式中,我们下一次在细讲
相关文章推荐
- redist技术
- ImportError: No module named redis
- Redis hash 类型及操作
- Redis常用方法
- Redis应用中的对象序列化
- windows、php安装redis扩展
- 搭建redis给mysql做缓存
- 征服Redis系列
- 为Symfony2和Redis正名,基于PHP的10亿请求/周网站打造
- 分布式日志收集之Logstash 笔记(一)
- 普通 RedisPool 的 CRUD 实现
- 基于nginx tomcat redis分布式web应用的session共享配置
- linux下redis安装配置及redis常用命令(实战详细版)
- Linux - Redis介绍以及安装 (简易版本)
- Install Redis on Ubuntu
- linux 安装redis
- Redis学习手册(Set数据类型)
- Redis学习手册(Hashes数据类型)
- Redis学习手册(List数据类型)
- 部署redis集群的一些思考