分布式计算的体验1
2006-12-16 22:22
155 查看
这个星期的事情太多,现在终于有时间坐下来理一下。
在几个星期之前,我负责设计开发的那个系统开始测试,公司专门派一个人负责录入测试数据。由于这个系统太大,数据涉及全国几乎所有的区县,所以光靠一个人来录入数据是不可能的。所以,在他录入了3天之后,我决定专门写几个存储过程,来复制数据。一天下来,把全国几乎所有的县的数据都录上了。但是当我再运行系统的时候,发现系统运行的速度奇慢无比,完全无法让人接受。我不知道这个对我来说是祸还是福,但至少这个实事给了我从新思考这个系统结构的机会!我一直都想让自己具备系统分析师的能力,也在不断地学习,这件事也让我看到自己离系统分析师这个角色还有一段距离。
这个系统从用户的需求角度由县级客户端、市级客户端、省级客户端和部级客户端构成;从系统数据处理的角度由客户端、应用服务器和数据库服务器构成。就数据处理流程,我设计了一个构架,这个构架将数据表示、数据转换、数据网络传输、数据存储有机的结合起来,它基于.Net,在这个构架设计实施完成之后,整个系统开发的速度变得很快,基本上能够消化掉用户需求的调整,可以说是一路凯歌。但是当整个系统面对大数据的处理时,问题出来了。这个问题如果不能够很好解决,那么这个构架就得作废。
在几个星期之前,我负责设计开发的那个系统开始测试,公司专门派一个人负责录入测试数据。由于这个系统太大,数据涉及全国几乎所有的区县,所以光靠一个人来录入数据是不可能的。所以,在他录入了3天之后,我决定专门写几个存储过程,来复制数据。一天下来,把全国几乎所有的县的数据都录上了。但是当我再运行系统的时候,发现系统运行的速度奇慢无比,完全无法让人接受。我不知道这个对我来说是祸还是福,但至少这个实事给了我从新思考这个系统结构的机会!我一直都想让自己具备系统分析师的能力,也在不断地学习,这件事也让我看到自己离系统分析师这个角色还有一段距离。
这个系统从用户的需求角度由县级客户端、市级客户端、省级客户端和部级客户端构成;从系统数据处理的角度由客户端、应用服务器和数据库服务器构成。就数据处理流程,我设计了一个构架,这个构架将数据表示、数据转换、数据网络传输、数据存储有机的结合起来,它基于.Net,在这个构架设计实施完成之后,整个系统开发的速度变得很快,基本上能够消化掉用户需求的调整,可以说是一路凯歌。但是当整个系统面对大数据的处理时,问题出来了。这个问题如果不能够很好解决,那么这个构架就得作废。
相关文章推荐
- 分布式计算的体验2--VC++ 2005 vs 开源
- 03-天亮大数据系列教程之分布式计算框架Map/Reduce运行流程与应用
- 浅谈分布式计算的开发与实现(2)
- 主流的三大分布式计算系统:Hadoop,Spark和Storm
- 分布式计算框架Hadoop原理及架构全解
- 分布式计算环境和分布式管理环境
- 一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)
- 分布式系统(二)——分布式集群计算平台
- 【译文】如何利用机器学习和分布式计算来对用户事件进行分类
- Hadoop-- 海量文件的分布式计算处理方案
- Pyro4分布式计算入门例子
- 数学思想方法-分布式计算-linux/unix技术基础(5)
- Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象
- 数学思想方法-分布式计算-linux/unix技术基础(3)
- 分布式计算框架MapReduce
- 阿里云计算资深总监唐洪:飞天大规模分布式计算系统解析
- 一种新的网站盈利模式--基于分布式计算的一种应用
- 分布式计算开源框架Hadoop学习心得2
- 分布式计算,WCF+JSON+实体对象与WebService+DataSet效率大比拼
- 跑Fourinone的分布式计算Demo出现的问题解决