项目实战之中小网站数据缓存的设计与实现
2014-04-19 10:50
357 查看
如果你对项目管理、系统架构有兴趣,请加微信订阅号“softjg”,加入这个PM、架构师的大家庭
传统的基于B/S架构jsp项目一般是这样的:客户端(浏览器)向服务端发送请求,服务端接受请求后,JAVA的severlet或者jsp会从数据库读取数据,在后台拼装好后以HTML的形式传输给前台。这样也很好理解:比如一个用户为了获得一个文章的信息,这些信息一般肯定是在数据库里面读取,毋庸置疑。但是这样做会有一个很明显的问题:用户每次一浏览一篇新闻都会往数据库里面读取一次,即便这个文章更本没有改变!这在有很多访问请求对数据库负载是一个大灾难。
现在网上很大一部分解决方案是将这些页面静态化,每一个页面都生成一个静态的HTML,在每一次请求其实在请求这个HTML文件,不与数据库打交道,当文章有所改变时,相对应的HTML也会改变。这种方法是将数据来源是数据库改变成了磁盘文件,很大一部分减轻。
我们这边的条件是这样的,服务器是在网上买的虚拟主机,其对MYSQL和文件存储都有很大的限制,如下图
我们是这样考虑的:由于本身文件硬盘大小有限制,而且具体内存服务提供商并无要求,所以我们放弃生成HTML页面的方案,决定设计一套数据在内存里面的解决方案,页面显示的数据全是从内存里面读出来的。
其中AsbPage是一个抽象类,提供了一个抽象方法initData,其功能由具体子类来实现,有子类调用Service将数据保存在dataMap中。
我们设计了一个专门的来管理这些Map的管理类,具体类图如下:
在这个类中管理所有的Page类,并且提供了刷新数据的功能,这个类是随着Spring的启动而启动的,大家都知道Spring在启动的时候默认是单例,并且在内存中已经实例化出来了,这样我们就把初始化数据放在管理类的构造函数里面,当项目启动的时候,内存中已经有这些数据了,在Spring中的配置如下
[html] view plaincopy
<bean
id="dataCacheManager"
class="com.cqut.cache.DataCacheManager"
/>
现在既然已经在内存里面有了,那剩下的问题就是怎么取了。我们在gardenDynamic.jsp这个JSP里面,通过SpringUtil将Bean容器里面的管理类(DataCacheManager)取出来,然后调用getPageData方法,其中有两个参数,第一个你要去取的哪一个页面,第二个参数是要去取的具体内容,其中第一个数据是在管理类里面设置的,第二个参数在具体的Page页面里面设置的。
[java] view plaincopy
//对推荐阅读和点击排行的数据缓存启动
DataCacheManager dm = (DataCacheManager)SpringUtil.getBeanByName("dataCacheManager");
//取得gardenDynamic这个页面的recommendDynamic数据
List<Map<String,Object>> infoListTop2 = (List<Map<String,Object>>)dm.getPageData("gardenDynamic","recommendDynamic");
好了,现在已经大功告成了,可是有人问了,如果后台管理员改变了文章内容但你的内存里面的没有改变啊,问得好,我们的解决方案有两种:
1.定时刷新内存
2.通过事件机制如果有变动则刷新
第二种方式通过AJAX调用后台方法来刷新,我们项目用的是第一种,我们采用的任务调度框架是quartz
,每6秒来调用一下DataCacheManager 中的reloadData方法。具体配置如下:
[java] view plaincopy
<bean id="dataCacheManager"
class="com.cqut.cache.DataCacheManager"
/>
<bean name="quartzScheduler"
class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
<property name="triggers">
<list>
<ref bean="simpleTrigger"
/>
</list>
</property>
<property name="configLocation"
value="classpath:config/quartz.properties" />
</bean>
<bean id="simpleTrigger"
class="org.springframework.scheduling.quartz.SimpleTriggerBean">
<property name="jobDetail">
<ref bean="jobDetail"
/>
</property>
<property name="startDelay">
<value>0</value>
</property>
<property name="repeatInterval">
<value>6000</value>
</property>
</bean>
<bean id="jobDetail"
class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
<property name="targetObject"
ref="dataCacheManager" />
<property name="targetMethod"
value="reloadData" />
</bean>
这样,我们就完成了从内存读取数据的需求,每一次访问不涉及数据库的读取,远远加大了访问速度。
如果你对项目管理、系统架构有兴趣,请加微信订阅号“softjg”,加入这个PM、架构师的大家庭
1.背景
传统的基于B/S架构jsp项目一般是这样的:客户端(浏览器)向服务端发送请求,服务端接受请求后,JAVA的severlet或者jsp会从数据库读取数据,在后台拼装好后以HTML的形式传输给前台。这样也很好理解:比如一个用户为了获得一个文章的信息,这些信息一般肯定是在数据库里面读取,毋庸置疑。但是这样做会有一个很明显的问题:用户每次一浏览一篇新闻都会往数据库里面读取一次,即便这个文章更本没有改变!这在有很多访问请求对数据库负载是一个大灾难。现在网上很大一部分解决方案是将这些页面静态化,每一个页面都生成一个静态的HTML,在每一次请求其实在请求这个HTML文件,不与数据库打交道,当文章有所改变时,相对应的HTML也会改变。这种方法是将数据来源是数据库改变成了磁盘文件,很大一部分减轻。
我们这边的条件是这样的,服务器是在网上买的虚拟主机,其对MYSQL和文件存储都有很大的限制,如下图
2.我们的解决方案
我们是这样考虑的:由于本身文件硬盘大小有限制,而且具体内存服务提供商并无要求,所以我们放弃生成HTML页面的方案,决定设计一套数据在内存里面的解决方案,页面显示的数据全是从内存里面读出来的。其中AsbPage是一个抽象类,提供了一个抽象方法initData,其功能由具体子类来实现,有子类调用Service将数据保存在dataMap中。
我们设计了一个专门的来管理这些Map的管理类,具体类图如下:
在这个类中管理所有的Page类,并且提供了刷新数据的功能,这个类是随着Spring的启动而启动的,大家都知道Spring在启动的时候默认是单例,并且在内存中已经实例化出来了,这样我们就把初始化数据放在管理类的构造函数里面,当项目启动的时候,内存中已经有这些数据了,在Spring中的配置如下
[html] view plaincopy
<bean
id="dataCacheManager"
class="com.cqut.cache.DataCacheManager"
/>
现在既然已经在内存里面有了,那剩下的问题就是怎么取了。我们在gardenDynamic.jsp这个JSP里面,通过SpringUtil将Bean容器里面的管理类(DataCacheManager)取出来,然后调用getPageData方法,其中有两个参数,第一个你要去取的哪一个页面,第二个参数是要去取的具体内容,其中第一个数据是在管理类里面设置的,第二个参数在具体的Page页面里面设置的。
[java] view plaincopy
//对推荐阅读和点击排行的数据缓存启动
DataCacheManager dm = (DataCacheManager)SpringUtil.getBeanByName("dataCacheManager");
//取得gardenDynamic这个页面的recommendDynamic数据
List<Map<String,Object>> infoListTop2 = (List<Map<String,Object>>)dm.getPageData("gardenDynamic","recommendDynamic");
好了,现在已经大功告成了,可是有人问了,如果后台管理员改变了文章内容但你的内存里面的没有改变啊,问得好,我们的解决方案有两种:
1.定时刷新内存
2.通过事件机制如果有变动则刷新
第二种方式通过AJAX调用后台方法来刷新,我们项目用的是第一种,我们采用的任务调度框架是quartz
,每6秒来调用一下DataCacheManager 中的reloadData方法。具体配置如下:
[java] view plaincopy
<bean id="dataCacheManager"
class="com.cqut.cache.DataCacheManager"
/>
<bean name="quartzScheduler"
class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
<property name="triggers">
<list>
<ref bean="simpleTrigger"
/>
</list>
</property>
<property name="configLocation"
value="classpath:config/quartz.properties" />
</bean>
<bean id="simpleTrigger"
class="org.springframework.scheduling.quartz.SimpleTriggerBean">
<property name="jobDetail">
<ref bean="jobDetail"
/>
</property>
<property name="startDelay">
<value>0</value>
</property>
<property name="repeatInterval">
<value>6000</value>
</property>
</bean>
<bean id="jobDetail"
class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
<property name="targetObject"
ref="dataCacheManager" />
<property name="targetMethod"
value="reloadData" />
</bean>
这样,我们就完成了从内存读取数据的需求,每一次访问不涉及数据库的读取,远远加大了访问速度。
如果你对项目管理、系统架构有兴趣,请加微信订阅号“softjg”,加入这个PM、架构师的大家庭
相关文章推荐
- 项目实战之中小网站数据缓存的设计与实现
- 项目实战之中小网站数据缓存的设计与实现
- 项目实战之中小网站数据缓存的设计与实现
- ASP.NET网站权限设计实现——套用JQuery EasyUI列表显示数据、分页、查询
- 电子商务网站的设计与实现(四):项目名称malling和一期开发计划
- Python3 大型网络爬虫实战 004 — scrapy 大型静态商城网站爬虫项目编写及数据写入数据库实战 — 实战:爬取淘宝
- 设计模式实战:在WinForm中用Command模式实现可以撤销的数据操作
- 项目实战02:nginx 反向代理负载均衡、动静分离和缓存的实现
- 10、Spring技术栈-整合Redis,使用RedisTemplate实现数据缓存实战
- 网站缓存数据实时更新的实现
- 项目实战之中小网站的框架搭建过程
- Asp.net core 项目实战 新闻网站+后台 源码、设计原理 、视频教程
- 【ssm个人博客项目实战05】easy ui datagrid实现数据的分页显示
- 自己在项目中的学习总结:利用工厂模式+反射机制+缓存机制,实现动态创建不同的数据层对象接口
- 中小型企业商业智能平台的开发和实现(数据仓库、BI系统、真实项目实战)
- iOS开发:一个高仿美团的团购ipad客户端的设计和实现(功能:根据拼音进行检索并展示数据,离线缓存团购数据,浏览记录与收藏记录的批量删除等)
- ASP.NET网站权限设计实现(三)——套用JQuery EasyUI列表显示数据、分页、查询
- 项目实战笔记 | C++ 实现银行排队服务模拟1 数据结构设计 |实验楼项目
- 项目实战3—实现基于Keepalived+LVS的高可用集群网站架构
- 项目开发实战 jQuery+php+mysql实现数据上传功能