• 快讯

    农行试点x86服务器应对大数据多重挑战

    2013-12-04 19:14  出处PConline原创  作者佚名   责任编辑pcfenzhan02 

    金融数据?#34892;?#19968;贯是小型机的天下这是源于金融业务以可靠性和稳定性为首要指导不过随着大数据和分布式架构的流行x86服务器凭借堪与小型机比肩的性能正在逐步抢占小型机的市场?#21344;?/p>

    在信息化时代数据深刻影响着银行的未来发展谁拥有数据谁就获得了话语权数据的价值来源于对海量的客户交易数据客户行为数据等的深层挖掘和分析以便做到精准定位和营销进而根据不同的客户和市场需求设计不同的金融产品提升银行的盈利能力这种基于大数据的金融业务创新目前已经成为各商业银行的竞争焦点之一

    中国农业银行作为中国四大国有银行之一据不完全统计目前其各应用系统每年产生的结构化数据已经突破100TB而非结构化数据更是突破1PB1024TB大关这也促使农行在大数据?#23548;?#26041;面积极走在行业前?#23567;?/p>

    数据飞速增长 IT架构挑战严峻

    过去农业银行业务系统运行平台多是小型机而小型机单机扩展能力有限原有的架构越来越难以支撑飞速增长的业务应用的计算?#35797;?#38656;求厂商来源单一也导致小型机的采购和维护费用高昂 特别是Unix小型机软件封闭操作系?#22330;?虚拟化数据库等软件采购费用相比x86架构高出数十倍性价比?#31995;͡?/p>

    于是近年来在互联网行业广泛应用并?#20013;?#21019;造价值的Hadoop大数据方案引起了中国农业银行的关注Hadoop框架的一个显著特点是将以往需要高性能小型机才能完成的计算任务分解为

    由多台x86服务器甚至PC机组成的计算集群来完成

    2012年7月农行正式引入?#30340;?#24191;受关注的Hadoop大数据方案该方案首?#32570;?#24212;用于支撑对历史交易数据进行查询与分析通过采用业界流行的Hadoop分布式计算框架处理海量结构化和非结构化数据

    经过认真的评估与论证农行的IT技术团队认为由x86服务器组成的计算集?#28023;?#22312;计算性能上可以满足Hadoop大数据方案的要求但在经济性方面比小型机更具有优势

    联合华为试点分布式计算架构  顺应U2L大势为验证这种可行性2012年下半年农行的IT技术团队与华为的服务器研发团队成立了联合工作组根据双方达成的?#29486;?#21327;议华为将提供x86服务器组成计算集?#28023;?#30001;农行在华为的计算平台上运行Hadoop的相关软件并进行相关的业务测试农行与华为均希望通过试点“x86服务器”的分布式并行计算架构来共同应对金融大数据业务带来的挑战

    首先农行希望x86服务器在计算性能上应具备“秒级响应”的能力目前农行在中国境内的分支机构超过2.34万服务的客户超过4.2亿各营业网点自助终端设备网上银行等对数据?#34892;?#30340;访问属于高并发访问对于历史交易数据的查询与分析业务为确保客户的满意度与银行的工作效率农行要求大数据处理平台对交易明细数据的随机查询要在“秒级”完成响应“这就意味着在1秒?#21448;?#20869;大数据处理平台要从120TB的5年历史交易数据中也就是大约650亿条的历史交易记录中将查询结果反馈给用户”农行的专家这样跟华为说

    其次农行希望x86服务器具备良好的经济性在应用x86服务器之前农行多采用小型机来?#24615;?#21382;史交易数据的查询与分析业务为满足业务要求小型机首先需要存放至少5年120TB的历史数据同时每天新增的交易记录在4000万条以上需要约100G的存储?#21344;?#20294;小型机相对封闭的?#24067;?#26550;构设计使得其可扩展性受到很大的限制导?#26053;?#27425;扩容成本都很高昂此外小型机非通用的架构设计也给农行带来了不菲的维保费用

    “我们之所以选择x86服务器一方面是因为近年来x86服务器的技术性能得到了大幅提升另一方面采用通用架构的x86服务器其在采购成本扩容成本及维护成本方面相对于小型机的

    优势也是很明显的”农行专家指出

    x86服务器金融大数据 的选择华为在深入分析了农行对大数据处理平台的需求后向农行提供了基于华为RH2288 V2服务器的分布式并行计算集?#33322;?#34892;测试测试结果表明华为解决方案完全满足农行对海量数据进行分布式处理的要求

    x86服务器的分布式架构使得服务器节点可以灵活扩展按需配置支持飞速增长的业务和数据量从而满足当前与未来业务的发展需要充分保护农行的初期和远期投资x86服务器不仅在计算性能上可以满足Hadoop大数据方案的要求而?#39029;?#26412;上比小型机更具有吸引力相比小型机方案采用华为RH2288 V2可以节约40%?#33041;?#32500;成本节约总体拥有成本TCO20%以上

    此外华为RH2288 V2服务器支持现场调整与优化农行可以按照业务需求对服务器的配?#23186;?#34892;现场调优这使服务器的计算性能在Hadoop大数据环境下发挥到最优在测试中农行85GB?#33041;?#22987;数据加载3份冗余或者5000万定期账户批量处理华为RH2288 V2服务器计算集群能在10分钟内完成而对于2亿条交易详单600并发随机查询的平均响应时间华为解决方案的测试结果低于40ms?#23545;?#36229;出农行?#33041;?#26399;

    2013年8月份中国农业银行将在其正式生产环境的Hadoop大数据处理平台中采用了200台华为RH2288 V2服务器进行部署此次试点表明 x86服务器已经完全可以承担金融行业关键业务银行对小型机的技术?#35272;到?#19968;步降低采用开放架构的x86服务器建设银行的IT系?#24120;?#23588;其是开放平台系?#24120;?#24050;经成为金融行业信息化的发展趋势之一.

     
    IT热词搜索 来源360新闻
    3dԻŽϽ3d