高并发数据采集的架构应用

（Redis的应用）

问题的出发点：

技术障碍：

1. 面对用户量的增长，记录数3W倍的增长，如何保证这些记录能够在比较快的时间内进入存储介质。

　 2. 应对用户量的增长，如何在规定的时间内完成采集，增加硬件设备处理能力还是使用更多的服务器来处理请求。

3. 服务器的增长，是否能够支持现有的扩展能力。

架构实现：

使用到的技术项：

1. 面向服务开发思维

2. 队列服务

3. 多任务并发执行

4. 分布式服务管理

5. Redis的应用

6. 数据分表（分区）的实现和应用

7. Redis异步延迟同步到数据库

架构图如下：

具体实现：

1. 队列服务可以采用HttpsQs

2. 多任务并发执行，PHP版可采用ParallelCurl，可控制并发数量

3. 可使用PHP Redis实现对Redis的操作

4. 数据表分表或者分区，可自行动手写个，原理很简单，需要指导的可以发私密信

总结：

整个方案不是很复杂，在处理大数据方向这块，基本的原理都是一样，把不可控的因素要把握住，所以在多任务并发这块一定要控制到合理的数量，另外Redis缓存也支持分布式集群，增加Redis服务器并不会影响上层代码的改变，相对来说扩容能力还是相对不错。