银行业是一个数据密集型行业，也是一个数据驱动的行业，数据一直是银行信息化发展的主题词。而今，在互联网金融时代，伴随着商业银行经营转型的持续深入，各家银行对大数据应用的需求日益多元化，迫切希望借助大数据应用，践行以金融科技赋能业务创新及服务体验升级。建设银行、招商银行、平安银行等，在客户视图、精准营销、实时风控、产品创新等应用场景，通过借助大数据手段成功实现在客户体验、运营管理和产品服务等方面的数字化创新转型。农信社作为农村金融、普惠金融、民生金融的主力*，始终贯彻落实“创新驱动、科技引领”发展战略，不断加强在小微企业金融、个人金融等方面的大数据应用探索，旨在促进产品创新和服务升级，为用户提供更加安全、便捷、实惠的金融服务。因此，通过提升农信系统大数据应用能力，促进数据应用与具体业务场景相结合，全面推动行内大数据工作平台化、链条化运营是我们的新目标。
借鉴国内外同业的先进经验，同时结合行内实际业务需求，采用某大数据平台和配套产品，进行混搭大数据技术架构设计及平台落地。充分发挥大数据技术的特点与优势，提升农信社大数据服务能力，助力业务推广应用。我们的总体目标是建立起符合农信社特色的大数据应用体系，利用特有的大数据能力，挖掘数据的潜在价值，以提供更统一、更高效、更完整、更灵活的大数据服务，逐步由支撑业务到引领业务迈进，最终实现数据驱动业务的转型升级。
2、需求分析在大数据时代，银行从以交易为中心转向以数据为中心，以应对更多维、更大量、更实时的数据和互联网业务的挑战。大数据平台从多方面解决现在行内存在的问题，具体如下。
2.历史数据查询
提供全行结构化的交易明细类数据的历史数据归档保存，支持全量数据归档、增量数据归档，支持指定频率周期性归档，支持大文件归档与小文件归档、提供半结构化和非结构化日志文件的归档。实时查询用户的历史交易明细，能够将查询范围从年提升到7年以上；能够实现百TB级历史数据表的毫秒级查询。
2.2数据应用服务体系
优化数据存储，提升数据计算能力，实现数据服务的可视化、可配置、可扩展，完成数据前中后台的解耦，通过对行内海量数据及外部数据进行统一管理，分析加工，提供数据的应用及服务，并对数据应用进行业务场景封装，提升业务数据应用能力。
2.3客户画像标签体系
客户画像，即客户信息标签化，通过收集客户社会属性、消费习惯、偏好特征等各个维度的数据，对客户特征属性进行剖析，完美地抽象出一个客户在银行的信息全貌，为银行进一步精准、快速地分析用客户行为习惯、金融消费习惯等重要信息，提供快速、精准地识别定位客户功能，从而提升客户服务能力，完成对客户的全方位标签刻画，为客户管理、实时风控、反欺诈、精准营销、风险预警奠定基础。
2.4外部数据管理能力
实现全行级爬虫体系架构，定时爬取行外有价值数据，引入大数据平台，为展示、分析、挖掘等其他应用提供基础，并在后期丰富爬虫能力。统一管理外联前置接口和数据，设置数据的有效期，通过对外部数据的统一管理，避免重复请求外部数据，减少资源消耗。
2.5数据挖掘模型建设
结合同业大数据场景应用及供应商模型积累、场景应用优势，充分理解并利用大数据、机器算法、人工智能等技术，利用挖掘工作平台进行数据挖掘模型、应用场景的建设，通过对行内实时和非实时的数据分析及挖掘，完成“客户流失预警模型、贷款违约概率预测模型”2个模型的建设及应用。并同步对数据挖掘工作平台进行功能优化及算法丰富，实现大数据在营销管理、风险管理等方面的支撑。
3、技术难点及应对措施3.Hbase多实例
为Hbase多实例的管理存在难点。通过配置不同的hbase客户端的配置文件，调度代码从相应位置获取并加载配置文件，从而解决多实例管理问题。
3.2安全模式重启认证
客户端在安全模式下，需要24小时后定时重启一次客户端。采用crontab自动执行定时shell脚本的方式去定时重启jar包，解决了定时重启的问题，保证项目能自动化部署并实现高可用。
3.3API接口
数据服务平台DASP与该大数据平台各组件API对接困难。该大数据平台目前提供API对接方式，但是缺乏对接经验，官方文档不足，调试接口不稳定。目前，DASP应用服务平台系统暴露RESTFUL接口，解决跨平台使用，实现了项目解耦、扩展性、易用性、安全等问题。
3.4多组件开发
大数据平台组件较多，包括Loader，Hdfs，Hive，Hbase，Kylin，Es，Redis等，各组件的安全认证、数据传输和联通测试流程的稳定性与安全性需要反复验证。
3.5数据服务能力
以往，数据服务是通过定义数据服务接口的方式加以实现。随着数据应用服务需求的不断增加，数据接口难管理问题日益凸显。本次数据应用服务平台，主要通过定义DSL，对不同技术语言进行SQL的转化，从而真正实现SQLonHadoop的数据服务能力，提高平台适用性。
3.6系统健壮性
大数据管理平台，以微服务的方式进行系统架构开发和部署，不同的功能由不同的服务程序支撑。各服务可集中部署于一台服务器，也可分别部署于多台服务器，服务之间通过