安徽农信：30人，13轮测试，完成日均270万笔交易的综合业务系统架构调整

安徽农信：30人，13轮测试，完成日均270万笔交易的综合业务系统架构调整

发表于2013-07-15 13:42| 8605次阅读| 来源CSDN| 28 条评论|
作者郭雪梅

测试架构安徽农信存储IBMIBMPower

摘要：30人，13轮测试，安徽农信信息中心在完成日均270万笔交易的综合业务系统架构调整之后，通过统一门户管理系统实现了资源的自由调度。未来，他们将通过二级研发体系为83家农商行提供从硬件到PaaS层面的支持与云服务。

热爱CSDN的朋友们没少看到云计算频道翻译的国外初创企业通过AWS、Heroku等平台实现小规模、低投入、高价值技术与架构经验的实践分享。但在仰望的时候，我们也在思考：国内是否也有这样经典的技术案例？这些企业IT部门又是如何来做的？

想想在淘宝双十一频惹艳羡目光背后的高并发高交易系统，再想想工商银行数据仓库建设与数据挖掘项目获得美国同行高度认可，我们有理由相信，不是没有，而是还没有挖掘到！

6月20日，在“Power7+新力量，挚i新价值——iWorld 25周年盛典”中巧遇金融系统的企业——安徽省农村信用社联合社（以下简称安徽农信），在对其科技信息中心、主机系统部副经理曹玉蓉的采访中，体味了一场令人惊艳的实战分享！

2006年，数据大集中之后

我国银行业在信息化投入和增长是全球有目共睹的，年平均增长率一般都会超过10%。尤其是2006年，作为银行数据大集中和网络改造的最后一年，全国经营网点都要实现通过专业数据网进行连接，主要业务数据被集中到一个或几个数据中心的目标，信息化建设力度更猛。安徽农信也不例外。

就在这一年，在选择核心业务系统平台时，安徽农信通过对比评估并测试共邀请了9家银行综合业务系统厂商进行了技术交流，经过对比评估后对其中5家平台进行了封闭测试，最终选定了更能满足“安全，个性化业务订制，符合新一代银行综合业务系统稳定性需求”的IBM AS/400。作为基于PowerPC RISC微处理器的IBM iSeries，AS/400全球装机量超过75万套的明星级产品，在金融业核心应用方面就是有口皆碑的。

曹玉蓉对CSDN记者说：“IBM i很稳定，自2006年上线后，仅升级2次。一次是2008年针对硬件如CPU、内存、硬盘和板卡进行了扩容和升级；另一次是2010年的架构调整，新购了两台POWER6 595主机，全部采用外置存储，将用户数据迁移到iASP中，并使用基于存储的同步、异步数据复制进行本地高可用和异地容灾。”

7年时间，仅有2次升级，出人意料的少。对此，曹玉蓉笑着说：“我们设计时都需要为未来3年的容量增长而做预留和考虑，现在看当时做的估算还是比较准确的。2010年调整架构不是基于容量，而是基于新技术应用。当时对高可用和容灾备份的新需求，使得基于存储复制的技术MGM（Metro/Global Mirror）有了最新进展，不再是原先市场上基于数据库日志复制技术这一种选择。”

从原综合业务系统架构到基于MGM的新架构，8个月，13轮测试

目前，在IBM i服务器上实现高可用和灾备的方案分为两大类：第一类是基于软件的逻辑复制方案；第二类是基于硬件的解决方案，如基于操作系统的XSM、基于存储的同步/异步数据复制等。

其中，基于数据库日志逻辑复制的技术方案在使用过程中存在以下问题：双机切换流程复杂，切换时间较长，RTO无法满足金融企业的要求。此外，当主机发生大批量数据变更时，会导致目标端数据的同步时间过长，从而使企业在相当长的一段时间内失去数据一致性。 若此时主节点发生故障，将导致无法承受的后果。由于金融企业对RPO和RTO的要求较高，需要提供不间断的服务，该技术方案无法满足监管机构对金融企业的业务连续性要求。

MGM的出现给了安徽农信社一种新的可能：实现综合业务系统架构的改变。

这里需要补充一些技术背景。

基于数据库日志的逻辑复制技术，其原理是将主机端对象变更的数据库日志发送到备机，再通过备机APPLY日志来进行数据同步。而由于AS400使用外置存储和普通AIX（UNIX）使用存储有所不同，AIX (UNIX)可以在光纤交换机SAN switch上连接存储端口，并把这个端口和多台服务器共享，但AS400不能共享端口设备，只能独占使用（相当于把AS400上光纤卡直接拉一根光纤到外置存储设备的一个光纤口上），所以，尽管2007年左右AS400已经可以支持外置存储，但考虑到整体复杂度，使用企业还是比较少，直到i6.1版本出现。通过外置存储的Metro
Mirror，Global Mirror功能能够实现两地
b234
三中心的灾备，且备份优化、磁盘空间扩充方便，磁盘I/O性能也较好。（更多技术细节见论文《一种基于MGM技术的应用级业务连续性方案》）

“在我们之前，业内已经有很多同行在使用iASP技术，不需要将所有数据放到同一个ASP1中，而是单独划分出一组盘存放用户数据。但iASP此前多用于内置硬盘上，通过在外置存储上划分iASP存放用户数据，并基于存储复制MGM技术实现双机高可用和容灾，这是全球第一次的实践。”

“作为第一个吃螃蟹的人，没有任何实践和经验可以借鉴。” 曹玉蓉形容2010年的这段时间为“暗无天日（加班），仅测试，就进行了13轮。”

13轮？这意味着什么样的工作量？“13轮测试包含了技术角度、业务角度以及切换到全行应用的角度（比如让所有切换人员熟练过程），每一轮都是不同层面的聚合。比如，技术方面，因为用的是新架构，就需要验证这个技术是否可行、是否可靠，仅技术层面，前期就做了四五轮测试，我们先去北京IBM实验室，又去了上海IBM实验室，在两个实验室都待了一段时间来反复测试。而测试完成后，机器到了现场，在没有上线之前又测了很多轮，包括各种业务场景等等。业务方面，业务系统跑在新架构上会对业务性能的影响，日后交易量翻番，翻3番、翻4番时是否能够承受这么大的压力等。运维方面，从原先的架构切换到MGM后，操作性、易维护性、易用性都要测试。整个流程测下来一共花费了8个月。因为我们把所有的柜面交易全部都要跑一遍。不止如此，还从各行社中抽调了约20位经验丰富的柜面人员参与交易连通性测试，仅这一项测试就花了两个多月的时间。”

“既然这么费劲，为什么一定要做？不是很多企业还用的很好么！”针对记者的问题，曹玉蓉说：“监管部门对高可用要求非常严格。而原架构是有诸多限制和不足的，基于日志复制的技术由于在结息和批处理后的同步时间较长，同步期间若机器出了问题会造成很大影响。”

相对于这样的测试量，8个月，时间真的很短。而后期切换，却只用了18小时，这不能不说是令人惊艳的。“我们找到了一个非常好的时间点。由于业务增量迅猛，当时我们数据中心需要搬迁到1000平米的新机房，所以向监管部门申请停业三天。只有利用这样的机会，才能在不影响业务的情况下完成技术变迁。而最终，我们新旧系统的迁移实施只用了13小时就完成了，包括将综合业务系统切换到新机器上，并完成切换测试、批处理等在内，所有人不眠不休地干了18小时！现在AS400上的系统承接了日均270万交易笔数的重任。”

事实上，准备也采用这套方案的金融企业还有很多。“自从我们2011年成功实施以来，很多企业很感兴趣，纷纷前来参观考察。包括股份制商业银行、城商行、其它农信等。方案的可行性和稳定性是大家关注的重点。现在，应该有一些银行也完成了架构的调整。”

做行内的PaaS平台，提供云服务支持

“从内置硬盘到外置存储，涉及的硬件产品、方案和厂商都很多，技术变化也很多，再加上部分用户数据需要迁移到外置存储iASP上，留给我们评估的时间就更少了。所以如果时间充裕些，可以做的更全面。”曹玉蓉还告诉CSDN记者：“我们现在已经将开发测试系统放入云计算平台中，从资源申请到交付10分钟内全部完成。云计算平台的后台资源池包括了IBM Power systems和x86平台，这些不同的资源池可以通过统一门户管理系统进行调度。”

在安徽省，安徽农信共有3000多家网点，承接着国家政策性资金（如粮补、农等）的发放，目前已经达到存款余额4000亿，贷款3000多亿的规模，经济体量排名第一。坐拥庞大的数据，对云计算、大数据、移动互联网背后所代表的新应用模式安徽农信有着更深的思考：“我们现在主要定位在数据大集中后企业私有云，目前正在实施CRM系统，构建起行内客户信息统一平台，数据分析和挖掘会在下一阶段的管控中建模和分析。另一方面，我们也会通过二级研发体系，将部分行社当地的特色业务交给他们来开发，我们则为下面83家行社提供从硬件到PaaS层面的支持与云服务。”

对此，安徽农信信息技术中心总经理于汪洋有着精妙的见解：在几年前，安徽农信确立“科技先行”的战略方针后，科技已成为业务的合作伙伴。从项目规划模式、系统建设模式到服务运维模式，云计算正在帮助安徽农信的科技更可靠、更有效地运行。下一步，不论是金融互联网，还是互联网金融，都需要进一步梳理科技与业务的关系。云计算应用及云概念的引入，将对信息技术的业务应用、银行业务服务及信息系统运维产生推动及变革作用。

写在最后：

在这次大系统调整中，安徽农信的领导层极为支持，项目的成功实施：对上，考验的是领导能力；对下，考验的是团队执行力。上下团结一致是成功最核心的基础！另外，还有一个有关团队建设的细节很有意思。众所周知，“以战代练”能迅速提升团队实战能力和水平。而在安徽农信这里，效果更加明显。2006年，安徽农信进行了校园招聘，一共招到14名大学生。这14名新人在实习期内全部被要求写不同模块的底层代码，而直到写完代码才正式分配岗位，比如做开发、网络、运维等。而这14名新人在这次架构调整的项目中突飞猛进，快速成长为信息技术部门骨干。现在，第二批新人（大部分都是1987年、1988年出生）也已经成长起来，形成了良好和稳定的技术人才梯队。目前安徽农信信息技术中心专做技术的成员共计50名，负责全行的开发、维护、网络等。

AS400（IBM power of i）的可管理性、高度集成、软件兼容强等特点得到了集中展现，而其背后敏捷开发的实现，令IBM系统与科技事业部Power产品总监李红，这位已经在Power系统耕耘19年的重量级专家也感到惊艳：“改革从来都不件容易的事情。每一次的变化需要考虑的环节非常复杂，尤其是银行业。他们通过写代码，熟悉核心业务，没有过分依赖外包，这样不仅是能够实现深度监管，而且还可以随着业务变革而进行二次开发和优化。用如此短的时间实现庞杂的架构调整，带来了‘奇迹’！”