面对今天的互联网大环境,越来越多的企业IT部门开始探寻一条属于自己的互联网IT架构之路,首先遇到的抉择就是分布式架构的选择,尤其是分布式数据库的抉择。金融行业在面临这个新选择的时候,首先是覆盖范围的问题,究竟是全新改造还是混合并用?其次是选型问题,究竟该选择什么样的分布式产品,用在什么样的业务场景?再次是如何用的问题,是直接应用到数据库上,还是需要应用、中间件、存储侧的统合改造?面对这些问题,社区近日组织交流活,召集金融同业来共同探讨,以下是活动中的分享,以问答形式总结如下。活动嘉宾专家及总结者:赵海
1.关于金融行业分布式转型的必要性
Q:金融行业把交易型业务使用数据库从传统的商业数据库切换到分布式数据库,可行性和现状?
Q:金融行业的分布式数据库转型必要性?提纲挈领的建议?
Q:金融行业的分布式数据库应用有没有必要性的场景?
这是大家在分布式转型的时候,面临的首先要问题。也就是说我们为什么要进行分布式的转型?
其实这个问题我觉得取决于两点:
1.现有的数据库系统是不是已经无法支撑由于互联网业务转型带来的一系列需求?例如并发性,扩展性和灵活性?如果是那么分布式数据库无疑是我们应该研究的东西。
2.传统架构下的一些平台是不是伴随着业务的不断更新,出现了新的数据类型或者数据结构变得复杂化了,比如说一些新的非结构化、半结构化影像数据?
如果没有以上问题,那确实没有必要改。
结合以上的问题,我们觉得在金融行业当中,首先面临分布式转型决策的场景:
1.与互联网渠道业务息息相关的一些渠道类业务系统,它们所面临的并发和扩展性压力远大于事务性要求,因为他们的数据库当中多数存的是客户的流水、交易过程、签约数据。
2.随着手机业务的普及和升级,通过手机实现影像数据存取办理业务的场景越来越多,比如保险的理赔业务,这样的平台在这种情况下面临的是并发的压力,读写效率的压力,数据复杂化的压力,海量数据的压力,同样也是分布式数据库的首选应用场景。
3.前置系统的缓存,过去我们通过几个一两个中间件服务器就可以实现前置系统的一些缓存的处理,现在随着在线并发业务的增加,这一两个服务器已经成为瓶颈,这就需要我们寻找新的分布式架构来支撑缓存的处理。
2.关于金融行业分布式数据库应用场景
Q:保险行业分布式数据库的应用场景有哪些?
Q:证券行业分布式数据库应用场景有哪些?
Q:在金融行业,分布式数据库适合的应用和业务类型?
我们觉得在金融行业当中,首先面临分布式转型决策的场景:
1.与互联网渠道业务息息相关的一些渠道类业务系统,它们所面临的并发和扩展性压力远大于事务性要求,因为他们的数据库当中多数存的是客户的流水、交易过程、签约数据。
2.随着手机业务的普及和升级,通过手机实现影像数据存取办理业务的场景越来越多,比如保险的理赔业务,这样的平台在这种情况下面临的是并发的压力,读写效率的压力,数据复杂化的压力,海量数据的压力,同样也是分布式数据库的首选应用场景。3.前置系统的缓存,过去我们通过几个一两个中间件服务器就可以实现前置系统的一些缓存的处理,现在随着在线并发业务的增加,这一两个服务器已经成为瓶颈,这就需要我们寻找新的分布式架构来支撑缓存的处理。
保险行业当中有一个非常重要的业务,那就是如何根据客户的多维度信息来计算客户应该交纳的保费,还可以对客户进行精确划分。比如车险业务,传统的方法就是根据车型、车龄、历史年度理赔情况等等这些信息来判断这个客户的保费,这种算法模型显得有些粗放。还有一点,目前很多保险公司的各类系统数据不能很好整合,相互独立,导致客户的信息不够完整统一。所以,未来利用大数据的思路来整合各个系统的数据,甚至结合公有云电子商务平台的相关数据,一起来进行分析计算,设计针对客户的个性化保险方案是一个发展方向。那么,由于数据类型、复杂程度、获取源头、数据量各方面的复杂性,显然分布式数据库会更适合这样的场景。
关于证券行业,就说一个场景吧,大家买基金股票,看大盘的投资客户端,有没有发现互联网平台的从速度和实时性上都要比普通证券公司的APP要好一些?关键原因是不是在数据库架构上?
3.关于金融行业分布式数据库转型的选型策略及关键点
Q:对于开源分布式数据库怎么看?如何挑选和管理好开源分布式产品?
Q:金融业挑选分布式数据库应该看中什么能力?
Q:金融业目前优秀的分布式数据库产品方案有哪些?
Q:银行保险行业的影像平台如果希望从内容管理平台产品转向分布式数据库,该如何选型?
面对众多的开源或者以开源为基础的分布式数据库,我觉得得从以下几个方面考虑:
1.产品的生态如何?供应商在产品的生态圈当中所占地位以及贡献比例是不是可以支撑产品的持续性发展,在生态圈内产品是不是算得上主流的技术和架构。
2.产品的服务体系如何?是不是有完备的成体系的服务框架,是不是可以引领产品的迭代更新。
3.产品有没有同行业同场景的现实案例?
4.产品本身的技术架构是不是适合业务场景?比如从用途上(缓存?影像?分析?)、数据结构类型(健值?文档?表?网页内容?)、存储引擎特点(B+?B?Hash?)等各个方面来评估是不是适合自己的业务场景。
那么在分布式转型的过程中,包括选型及运维的考虑,我觉得需要从以下几个方面去考虑:
1.质量:产品应该成熟可靠,经过大规模业务持续验证,拥有可信落地案例;
2.团队:建立能用、会用、用好国产数据库的建设运维团队;
3.持续:生态持续性要好,产品可以持续演进发展;
4.服务:不仅包括数据库,更能覆盖金融全技术栈的服务能力。
毕竟,金融行业并不是技术企业,技术是为了业务服务的,大多数中小企业没有必要花费巨大的代价去搞一套自己企业独有的分布式技术框架,利用现成的就好,只不过需要仔细去评估。至于行业标准,现在还没有看到一套正式的标准,但是先行的企业经验可以作为参考。
如果从转型过程或者前期的技术规划上,我觉得从上到下都需要