• 快讯

    农行试点x86服务器应对大数据多重挑战

    2013-12-04 19:14  出处:PConline原创  作者:佚名   责任编辑:pcfenzhan02 

    金融数据?#34892;?#19968;贯是小型机的天下,这是源于金融业务以可靠性和稳定性为首要指导。不过,随着大数据和分布式架构的流行,x86服务器凭借堪与小型机比肩的性能,正在逐步抢占小型机的市场?#21344;洹?/p>

      在信息化时代,数据深刻影响着银行的未来发展,谁拥有数据谁就获得了话语权。数据的价值来源于对海量的客户交易数据、客户行为数据等的深层挖掘和分析,以便做到精准定位和营销,进而根据不同的客户和市场需求设计不同的金融产品,提升银行的盈利能力。这种基于大数据的金融业务创新,目前已经成为各商业银行的竞争焦点之一。

      中国农业银行作为中国四大国有银行之一,据不完全统计,目前其各应用系统每年产生的结构化数据已经突破100TB,而非结构化数据更是突破1PB(1024TB)大关。这也促使农行在大数据?#23548;?#26041;面积极走在行业前?#23567;?/p>

      数据飞速增长 IT架构挑战严峻

      过去,农业银行业务系统运行平台多是小型机,而小型机单机扩展能力有限,原有的架构越来越难以支?#27431;?#36895;增长的业务应用的计算?#35797;?#38656;求。厂商来源单一也导致小型机的采购和维护费用高昂。 特别是Unix小型机软件封闭,操作系?#22330;?虚拟化、数据库等软件采购费用相比x86架构高出数十倍,性价比?#31995;汀?/p>

      于是,近年来在互联网行业广泛应用并?#20013;?#21019;造价值的Hadoop大数据方案,引起了中国农业银行的关注。Hadoop框架的一个显著特点是,将以往需要高性能小型机才能完成的计算任务,分解为

      由多台x86服务器(甚至PC机)组成的计算集群来完成。

      2012年7月,农行正式引入?#30340;?#24191;受关注的Hadoop大数据方?#28014;?#35813;方案首?#32570;?#24212;用于支撑对历史交易数据进行查询与分析,通过采用业界流行的Hadoop分布式计算框架,处理海量结构化和非结构化数据。

      经过认真的评估与论证,农行的IT技术团队认为,由x86服务器组成的计算集?#28023;?#22312;计算性能上可以满足Hadoop大数据方案的要求,但在经济性方面比小型机更具有优势。

      联合华为试点分布式计算架构  顺应U2L大势为验证这种可行性,2012年下半年,农行的IT技术团队与华为的服务器研发团队成立了联合工作组。根据双方达成的合作协议,华为将提供x86服务器组成计算集?#28023;?#30001;农行在华为的计算平台?#26174;?#34892;Hadoop的相关软件,并进行相关的业务测试。农行与华为均希望通过试点“x86服务器”的分布式并行计算架构,来共同应对金融大数据业务带来的挑战。

      首先,农行希望x86服务器在计算性能上应具备“秒级响应”的能力。目前,农行在中国境内的分支机构超过2.34万,服务的客户超过4.2亿,各营业网点、自助终端设?#28014;?#32593;上银行等对数据?#34892;?#30340;访?#36866;?#20110;高并发访问。对于历史交易数据的查询与分析业务,为确保客户的满意度与银行的工作效率,农行要求大数据处理平台对交易明细数据的随机查询要在“秒级”完?#19978;?#24212;。“这就意味着,在1秒钟之内,大数据处理平台要从120TB的5年历史交易数据中,也就是大约650亿条的历史交易记录中,将查询结果反馈给用户。”农行的专家这样跟华为说。

      其次,农行希望x86服务器具备良好的经济性。在应用x86服务器之前,农行多采用小型机来?#24615;?#21382;史交易数据的查询与分析业务。为满足业务要求,小型机首先需要存放至少5年120TB的历史数据,同时每天新增的交易记录在4000万条以上,需要约100G的存储?#21344;洹?#20294;小型机相对封闭的?#24067;?#26550;构设计,使得其可扩展性受到很大的限制,导致每次扩容成本都很高昂。此外,小型机非通用的架构设计,也给农行带来了不菲的维保费用。

      “我们之所以选择x86服务器,一方面,是因为近年来x86服务器的技术性能得到了大幅提升;另一方面,采用通用架构的x86服务器,其在采购成本、扩容成本及维护成本方面,相对于小型机的

      优势也是很明显的。”农行专家指出。

      x86服务器,金融大数据 的选择华为在深入分析了农行对大数据处理平台的需求后,向农行提供了基于华为RH2288 V2服务器的分布式并行计算集?#33322;?#34892;测试。测试结果表明,华为解决方案完全满足农行对海量数据进行分布式处理的要求。

      x86服务器的分布式架构使得服务器节点可以灵活扩展,按需配置,支持飞速增长的业务和数据量,从而满足当前与未来业务的发展需要,充分保护农行的初期和远期投资。x86服务器不仅在计算性能上可以满足Hadoop大数据方案的要求,而?#39029;殺旧?#27604;小型机更具?#24418;?#24341;力。相比小型机方案,采用华为RH2288 V2可以节约40%?#33041;?#32500;成本,节约总体拥有成本(TCO)20%以上。

      此外,华为RH2288 V2服务器支持现场调整与优化,农行可以按照业务需求对服务器的配置进行现场调优,这使服务器的计算性能在Hadoop大数据环境下发挥到最优。在测试中,农行85GB?#33041;?#22987;数据加载(3份冗余)或者5000万定期账户批量处理,华为RH2288 V2服务器计算集群能在10分钟内完成。而对于2亿条交易详单、600并发随机查询的平均响应时间,华为解决方案的测试结果低于40ms,?#23545;?#36229;出农行?#33041;?#26399;。

      2013年8月份,中国农业银行将在其正式生产环境的Hadoop大数据处理平台中,采用了200台华为RH2288 V2服务器进行部署。此次试点表明, x86服务器已经完全可以承担金融行业关键业务,银行对小型机的技术?#35272;到?#19968;步降低。采用开放架构的x86服务器建设银行的IT系统(尤其是开放平台系统),已经成为金融行业信息化的发展趋势之一.

     
    IT热词搜索 来源:360新闻
    3d试机号今天晚上金码号3d