金融企业在业务开展过程中积累了包括客户身份、资产负债情况、资金收复交易等大量高价值密度的数据。目前,国内金融机构的数据量已经达到TB以上的级别,且非结构化数据量正在以更快的速度增长。以银行业为例,每创收万元,银行业平均产生GB的数据。此类数据在运用专业技术挖掘和分析之后,将产生巨大的商业价值。
但金融行业系统现状却是:随着业务的发展与规模的扩张,每日有大量的增量数据,包括日志数据,交易数据、客户资料等的存储和处理。数据的指数级增长,使各类IT系统的数据量异常庞大、冗余,现有存储设备已经难以支持这样大级别的数据量。企业除了要额外支付存储花销,系统因计算负载高、延迟长、运行中跨历史的范围查询延长,一次计算的数据量大,计算和存储资源存在瓶颈也是企业不得不面对的问题。同时,历史数据服务请求带来的额外负载使得工作效率低,且系统负担繁重,极易出错。另外,在金融企业内部数据处于割裂状态,业务条线、职能部门、渠道部门、风险部门等各个分支机构往往是数据的真正拥有者,缺乏顺畅的共享机制,导致海量数据往往处于分散和“睡眠”状态
仅以传统的系统分析法明显难以满足当下金融市场与企业自身发展的需求,金融机构现有的初级数据缺乏专业技术挖掘和分析工具。运用大数据技术是当下企业普遍认同最佳解决海量数据分析的方案之一。
据统计,年中国的数据总量达到EB以上,同比增长90%,预计到年这一数值将超过EB。目前,大数据的应用主要在六个领域:*府、教育、金融、营销、医疗、工业。数据显示,年国内大数据产业市场规模已达.6亿元,较年增长44.15%。其中,大数据基础设施建设、大数据软件和大数据应用分别占比64.53%、25.47%和10%。IBM预测,年,全球数据总量会达到35ZB,是年之前总和的50倍、目前数据总量的8倍。国家发展和改革委员会副主任林念修称,“年中国将成为全球数据中心。”未来5年,中国大数据产业规模年均增长率将超过50%,到年中国的数据总量将占全球数据总量比例的20%,成为世界第一数据资源大国和全球数据中心。中国目前已有的42家计算机行业上市公司在年上半年报业绩预告显示,平均增速中位数为15%。从细分领域看,大数据与人工智能子板块平均增速中位数为65%。
大数据应用领域
数据来源:贵阳大数据交易所
大数据在金融机构中的应用
大数据金融的作用机制是通过云计算等智能信息工具对序列之间的联系、动态信息数据序列进行分析,大幅度提高金融风险定价的效率,降低定价成本,有效减少信息不对称问题,使得对单个客户的信用信息、消费倾向、理财习惯分析成为可能。
金融数据的类型
金融数据从数据类型上进行划分,大致可以分为结构化数据、半结构化数据与非结构化数据三大类。
(1)结构化数据。结构化的数据来源自金融企业运营数据仓储(ODS)和数据仓库(EDW)。EDW为企业提供分析决策服务,ODS主要实现企业数据整合、共享和准实时运营监控等功能。在分布式存储结构下,结构化数据的存储计算可以得到巨大的改善,可对海量离线数据进行离线分析,将离线数据优势最大化,为金融企业用户打造立体用户画像提供最全面的数据支撑。
(2)半结构化数据。半结构化数据的整合在数据整合中是最为复杂的。金融企业可对接来源于外部单位所提供的不同类型数据库或Excel等的数据。“打通”多源异构的数据是项目中遇到的最困难的部分,数据整合完毕可快速进行建模分析。
(3)非结构化数据。金融行业对于非结构化的处理的方法还是比较原始的。非结构化数据涵盖的范围比较广泛,有新闻,视频,图片以及社交网络等数据。
金融企业对数据的重视程度非常高,但金融行业依旧处于应用大数据的初级阶段,对大数据的应用主要集中在精准营销、风险控制、改善经营、服务创新和产品创新等五个方面。
(1)精准营销:互联网时代的金融机构在互联网的冲击下,迫切的需要掌握更多用户信息,继而构建用户度立体画像,即可对细分的客户进行精准营销、实时营销等个性化智慧营销。
(2)风险控制:应用大数据技术,可以统一管理金融企业内部多源异构数据与外部征信数据,可以更好的完善风控体系。内部可保障数据的完整性与安全性,外部可控制用户风险,尤以各类P2P平台表现突出。
(3)改善经营:通过大数据分析方法改善经营决策,为管理层提供可靠的数据支撑,使经营决策更加高效、敏捷,精确性更高。
(4)服务创新:通过对大数据的应用,改善与客户之间的交互、增加用户粘性,为个人与*府提供增值服务,不断增强金融企业业务核心竞争力。
(5)产品创新:通过高端数据分析和综合化数据分享,有效对接银行、保险、信托、基金等各类金融产品,使金融企业能够从其他领域借鉴并创造出新的金融产品。
大数据在金融机构的应用比例
据贵阳大数据交易所统计,年中国金融大数据应用市场规模达到16亿元,预计这一数字在年将突破0亿元,金融行业有望进入大数据的快车道时代。
我国大数据在金融机构中的应用包括银行、基金、保险、租赁、信托、证券、中介等。目前来看,主要以银行、证券、保险为主,银行所占比例最高为41.1%。
1.大数据在银行业中的运用
从数据贡献度上看,银行是金融数据的重要贡献机构和使用机构。截至年第四季度末,全国共开立人民币银行结算账户73.7亿户,环比增长3.15%;个人银行结算账户73.25亿户,占银行结算账户的99.4%,环比增长3.15%;单位银行账户.03万户,环比增长2.43%,其中基本存款账户增加89.55万户,一般存款账户增加10.91万户,专用存款账户增加5.10万户,临时存款账户减少0.07万户。全国共发生银行卡交易.2亿笔,金额.14万亿。其中,涉及互联网金融的网上支付发生.37亿笔,同比增长25.21%;移动支付56.33亿笔,同比增长.74%(数据来源:九次方大数据)。中国银行业大数据应用主要集中在客户营销、产品创新、风险控制和运营优化四个领域。比如光大银行研发的“阳光理财”资产配置平台(APP),分析客户需求并设计与之匹配的资产配置方案以支持营销;民生银行通过大数据分析定义营销举措并防止客户流失;招商银行利用大数据发展小微贷款。
2.大数据在证券业中的应用
现代证券行业具有资本密集、信息密集、智力密集和技术密集的特点,大数据时代使得数据信息不仅在量上大大增加了,在数据的产生、传播、内容、速度、形式等方面都更加多样、复杂,越来越呈现出细节化、多维化、立体化的特点,对业务发展的影响也越来越大。目前,国内外证券业的大数据应用主要有三个方向:以大数据提升证券业的个性化服务水平;以大数据帮助证券公司避免客户的流失;以大数据做量化投资分析全球投资市场。
3.大数据在保险行业的应用
目前,国内保险行业的大数据应用主要集中在四个领域:帮助保险公司减少赔付;提高保险公司的差异化定价水平;大数据的应用可以精细化营销;解决现有的风险管理问题。
本文由数汇金融整理发布
我们