金融大数据平台建设方案.docx

二、大数据平台建设（一）大数据平台框架概述 大数据平台建设充分整合信息化资源，打破行业、部门之间的信息壁垒，运用大数据技术进行采集、加工、建模、分析，将数据价值融入到金融之中，从而提升创新能力和产品服务能力。主要包括以下三部分：1大数据分析基础平台 按照功能划分数据区，设计数据模型，在统一流程调度下，整合各类数据，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，提供支撑经营管理的各类数据应用，支撑上层应用。2大数据应用系统 基于基础数据平台，持续建设各类数据应用系统，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、营运等经营管理活动，充分发挥大数据价值。3大数据管控建立数据标准，提升数据质量，加强元数据管理能力，为平台建设及安全提供保障（二）大数据平台建设原则大数据平台是大数据运用的基础实施，其设计、建设和系统实现过程中，应遵循如下指导原则：经济性：基于现有场景分析，对数据量进行合理评估，确定大数据平台规模，后续根据实际情况再逐步优化扩容。可扩展性：架构设计与功能划分模块化，考虑各接口的开放性、可扩展性，便于系统的快速扩展与维护，便于第三方系统的快速接入。可靠性：系统采用的系统结构、技术措施、开发手段都应建立在已经相当成熟的应用基础上，在技术服务和维护响应上同用户积极配合，确保系统的可靠；对数据指标要保证完整性，准确性。安全性：针对系统级、应用级、网络级，均提供合理的安全手段和措施，为系统提供全方位的安全实施方案，确保企业内部信息的安全。大数据技术必须自主可控。先进性：涵盖结构化，半结构化和非结构化数据存储和分析的特点。借鉴互联网大数据存储及分析的实践，使平台具有良好的先进性和弹性。支撑当前及未来数据应用需求，引入对应大数据相关技术。平台性：归纳整理大数据需求，形成统一的大数据存储服务和大数据分析服务。利用多租户,实现计算负荷和数据访问负荷隔离。多集群统一管理。分层解耦：大数据平台提供开放的、标准的接口，实现与各应用产品的无缝对接（三）基础数据来源1银行内部大数据资源客户自身信息以及其金融交易行为，依照目前积累沉淀的数量资源情况，将数据主要分为三大类：第一类：客户基础数据客户信息数据，即客户基础数据，主要是指描述客户自身特点的数据。个人客户信息数据包括：个人姓名、性别、年龄、身份信息、联系方式、职业、生活城市、工作地点、家庭地址、所属行业、具体职业、婚姻状况、教育情况、工作经历、工作技能、账户信息、产品信息、个人爱好等等。企业客户信息数据包括：企业名称、关联企业、所属行业、销售金额、注册资本、账户信息、企业规模、企业地点、分公司情况、客户和供应商、信用评价、主营业务、法人信息等等。将这些割裂的数据整合到大数据平台，形成全局数据，再按照自身需要进行归类和打标签，由于都是结构化数据因此将有利于数据分析。可以将这些信息集中在大数据管理平台，对客户进行分类，依据其他的交易数据，进行产品开发和决策支持。第二类：支付信息交易信息数据，可以称之为支付信息，主要是指客户通过渠道发生的交易以及现金流信息。个人客户交易信息：包括工资收入、个人消费、公共事业缴费、信贷还款、转账交易、委托扣款、购买理财产品、购买保险产品、信用卡还款等。企业客户交易信息：包括供应链应收款项、供应链应付款项、员工工资、企业运营支出、同分公司之间交易、同总公司之间交易、税金支出、理财产品买卖、金融衍生产品购买、公共费用支出、其他转账等。第三类：资产信息资产信息主要是指客户在金融机构端资产和负债信息，同时也包含金融机构自身资产负债信息，其中数据大多来自银行。个人客户资产负债信息包括：购买的理财产品、定期存款、活期存款、信用贷款、抵押贷款、信用卡负债、抵押房产、企业年金等。企业客户资产负债信息包括：企业定期存款、活期存款、信用贷款、抵押贷款、担保额度、应收账款、应付账款、理财产品、票据、债券、固定资产等。银行自身端资产负债信息包括：自身资产和负债例如活期存款、定期存款、借入负债、结算负债、现金资产、固定资产贷款证券投资等。第四类：新型业务数据此类数据包括系统的运行日志、客服语音、视频影像、网站日志等。2外部大数据来源为了赢得差异化竞争，就必须考虑其他数据源的输入，这些数据是自身不具有的，但是对其数据分析和决策起到了很重要的作用。线上交易、电商平台、社交网络等互联网数据来源，司法、工商、财税等政府部门依法公开的信息，主要包括：互联网消费行为数据，了解客户消费能力和消费偏好等；个人严重行政处罚记录（如行政拘留等）、刑事犯罪记录、涉诉情况（人身关系、财产关系）、交通严重违规违章记录等；客户征信信息、客户在其他银行或金融机构的贷款记录、信用记录等信息等；客户的第三方征信评级情况，客户的社保、纳税、公积金等信息，客户的社会保障情况及经济能力，工作单位性质，客户社会身份等；客户在第三方催收机构的催收记录、社会信息等；出入境记录，客户出入境目的地、出入境频率等；国内出行记录，客户出行习惯等；采用同大数据厂商合作的方式，通过自身平台来采集数据或购买第三方数据。（四）大数据平台实现功能大数据平台功能架构图（1）批量实现较高水准的个性化客户产品服务，增加客户粘性，推动业务创新。有效地将大数据分析系统够构建客户360度全方位视图，设计更有竞争力的创新产品。对企业型客户的财务状况、相关产业链上下游数据分析，把握客现在的状况，更可以通过数据的交换、映射对其进行短期、中期预测未来发展状况。同时通过与同行业中的企业比较，以及利用公共平台收集企业的上、游对其评价，取得多维度的评估，对中小企业风险进行有效的识别，从而缓解银行与中小企业信息不对称问题，更好地推动中小企业市场业务创新。（2）针对客户需求，实现精准营销。银行借助大数据分析平台，通过对客户的浏览记录、购买路径、消费数据，进行挖掘、追踪、分析，将不同的客户群体进行聚类，根据不同的客户特性打造个性化产品营销服务，将最适合的产品服务推介给最需要的客户。提高客户对银行服务的认可程度以及客户经理在营销过程中的专业程度。（3）增强风险管控能力。大数据分析帮助银行摒弃原来过度依靠贷款人提供财务报表获取信息的业务方式，转而对其资产价格、账务流水、相关业务活动等流动性数据进行动态监控，了解客户的自然属性和行为属性，结合客户行为分析、客户信用度分析、客户风险分析以及客户的资产负债状况，从而有效提升客户信息透明度，建立完善的风险防范体系。（4）促进银行内部管理流程化，降低管理运营成本。运用大数据能够增加银行内部的透明度，使企业上下级之间的信息流通更顺畅；同时，基于大数据优化企业内部的各种流程，以及通过自己和社会信息归集渠道，了解客户真实反映，积极改进和提高，大大缩短信息收集、反馈时间，提高企业运作效率。而通过大数据应用和分析，能够准确定位内部管理缺陷，制定有针对性的改进措施，实行符合自身特点的管理模式，进而降低管理运营成本。（五）平台的技术架构为实现上述功能经多方考察研讨拟采用FusionInsight HD平台作为大数据基础平台。FusionInsight是企业级大数据存储、查询和分析的统一平台。它以海量数据处理引擎和实时数据处理引擎为核心，并针对金融、运营商等数据密集型行业的运行维护、应用开发等需求，打造了敏捷、智慧、可信的平台软件、建模中间件及OM系统，让企业可以更快、更准、更稳的从各类繁杂无序的海量数据中发现全新价值点和企业商机。大数据平台架构图大数据平台与其他相关系统接口描述图(七)大数据平台的网络拓扑（八）大数据平台承载的应用系统1.客户综合服务平台依托大数据分析整合四大板块银行客户信息，建设客户综合服务平台，逐步建立客户数据模型、数据标准以及统一的客户信息视图，将分散在各系统的客户信息数据集中整合、统一管理，支持客户分类管理和差异化需求，提升服务质量和服务效率；按照以客户为中心的“流程银行”理念，推进业务运作流程化，推动流程革新，在流程各环节强化风险控制，落实合规要求；实现对客户的价值分析与评价，以科技手段引导产品创新、产品营销和风险控制，通过差异化定价实现营销服务战略的转变。2.存贷产品利率定价与管理系统通过大数据分析，打造覆盖事前报价、事中执行及控制、事后监测管理的全流程利率定价及管理体系，使利率管理贯穿整个业务价值流程；建立适应未来变化的利率组成结构，支持灵活、差异化的产品利率，通过利息公共构件提供灵活多样的多种计息方式，完善利率管理系统中利率审批、利率风险管理、利率定价分析功能，以提升我行精细化利率管理及风险管控能力。3.加强线上平台整合（1）电商平台整合通过与电商平台的对接，将更多金融业务渗透到企业产业链条各环节，围绕核心企业大数据探索上下游企业自动化应收账款融资、综合授信等产业链金融服务，从而实现信息流、资金流及物流的整合，提升金融服务的效率和深度，为电商平台提供有力的信用增级、安全的资金监管、丰富的交易场景、便捷的支付体系、健全的账户管理、特色的会员服务、专业的融资贸易等金融服务。（2）互联网平台整合用互联网改造传统金融业务流程，促进金融走向数字化，推进金融业务从以往的人工化融合转向数字化牵引；通过移动支付、第三方支付、大数据、众筹融资、网络银行等方面的建设实现向“开放、共享、去中心化、平等、普惠”的新型数字金融的转变。4.小微贷系统运用大数据技术，解决小微企业及农户融资难问题；加强大数据风控，更精确地评价客户信用，提升风险决策实时性，将内控规则嵌入交易流程，更迅速地识别操作风险，预防、发现并及时