智慧银行大数据分析综合服务平台建设方案

12第1章项目概述..............................................................................1.1、建设背景................................................................................1.2、建设目标................................................................................1.2.1、总体目标................................................................................1.2.2、分阶段建设目标.........................................................................1.3、相关系统联动对接......................................................................1.3.1、数据分析综合服务平台...................................................................1.3.2、量收系统................................................................................1.3.3、金融大数据平台.........................................................................1.3.4、各生产系统............................................................................1.3.5、CRM................................................................................................................................................................2.1、总体需求................................................................................2.2、数据管理................................................................................2.2.1、数据采集................................................................................2.2.2、数据交换................................................................................2.2.3、数据存储与管理.........................................................................2.2.4、数据加工清洗............................................................................2.2.5、数据查询计算............................................................................2.3、数据管控................................................................................2.4、数据分析与挖掘.........................................................................2.5、数据展现................................................................................32.6、量收系统功能迁移..................................................................................................................................................3.1、总体设计目标............................................................................3.2、总体设计原则............................................................................3.3、系统总体架构设计......................................................................3.3.1、总体技术框架............................................................................3.3.2、系统总体逻辑结构......................................................................3.3.3、平台组件关系............................................................................3.3.4、系统接口设计............................................................................3.3.5、系统网络结构........................................................................................................................................................4.1、概述...................................................................................4.2、平台管理功能............................................................................4.2.1、多应用管理............................................................................4.2.2、多租户管理............................................................................4.2.3、统一运维监控............................................................................4.2.4、作业调度管理............................................................................4.3、数据管理................................................................................4.3.1、数据管理框架............................................................................4.3.2、数据采集................................................................................4.3.3、数据交换................................................................................4.3.4、数据存储与管理.........................................................................4.3.5、数据加工清洗.......................................................1.2.3...................44.3.6、数据计算...........................................................1.2.4...................4.3.7、数据查询...........................................................1.5.0...................4.4、数据管控...........................................................1.7.8...................4.4.1、主数据管理........................................................1.7.8..................4.4.2、元数据管理技术....................................................1.8.0...................4.4.3、数据质量...........................................................1.8.5..............................................................................1.9.3...................4.6、数据分析与挖掘....................................................1.9.7...................4.6.1、数据分析流程.......................................................2.0.0...................4.6.2、R语言开发环境与接口..............................................2.0.2...................4.6.3、并行化R算法支持.................................................2..0.2..................4.6.4、可视化R软件包....................................................2.0.7...................4.6.5、编程语言支持.......................................................2.1.0...................4.6.6、自然语言处理和文本挖掘............................................2..1.0..................4.6.7、实时分析...........................................................2.1.1...................4.6.8、分析管理...........................................................2.1.1...................4.6.9、分析支持...........................................................2.1.7...................4.6.10、指标维护...........................................................2.1.8...................4.6.11、分析流程固化.......................................................2.1.8...................4.6.12、分析结果发布.......................................................2.1.8...................4.6.13、环境支持...........................................................2.1.9...................4.7、数据展现...........................................................2.1.9...................4.7.1、交互式报表........................................................2.2.2..................4.7.2、仪表盘.............................................................2.2.9...................54.7.3、即席查询...........................................................2.3.1...................4.7.4、内存分析...........................................................2.3.2...................4.7.5、移动分析...........................................................2.3.3...................4.7.6、电子地图支持.......................................................2.3.4..........................................................................2.3.5...................5.1、产品架构...........................................................2.3.5...................5.1.1、基础构建平台.......................................................2.4.1...................5.1.2、大数据平台组件功能介绍............................................2.4..2..................5.1.3、系统分布式架构....................................................2.9.7...................5.2、运行环境支持.......................................................3.0.1...................5.2.1、系统操作支持以及环境配置...........................................3.0.1...................5.2.2、与第三方软件平台的兼容说明.......................................3..0.2..................5.3、客户端支持........................................................3.0.4..................5.3.1、客户端支持........................................................3.0.4..................5.3.2、移动端支持........................................................3.0.4..................5.4、数据支持...........................................................3.0.4...................5.5、集成实现...........................................................3.0.7...................5.6、运维实现...........................................................3.1.0...................5.6.1、运维目标...........................................................3.1.0...................5.6.2、运维服务内容.......................................................3.1.1...................5.6.3、运维服务流程.......................................................3.1.5...................5.6.4、运维服务制度规范.................................................3..1.7..................5.6.5、应急服务响应措施.................................................3..1.8..................65.6.6、平台监控兼容.......................................................3.1.9...................5.6.7、资源管理...........................................................3.2.0...................5.6.8、系统升级...........................................................3.2.3...................5.6.9、系统监控平台功能.................................................3..2.4..................5.7、平台性能...........................................................3.3.6...................5.7.1、集群切换...........................................................3.3.6...................5.7.2、节点切换...........................................................3.3.8...................5.7.3、性能调优...........................................................3.3.9...................5.7.4、并行化高性能计算.................................................3..4.5..................5.7.5、计算性能线性扩展.................................................3..4.9..................5.8、平台扩展性........................................................3.5.1..................5.9、可靠性和可用性....................................................3.5.3...................5.9.1、单点故障消除.......................................................3.5.3...................5.9.2、容灾备份优化.......................................................3.5.5...................5.9.3、系统容错性........................................................3.6.2..................5.10、开放性和兼容性..................................................3.6.4...................5.10.1、高度支持开源.......................................................3.7.0...................5.10.2、操作系统支持以及软件环境配置.......................................3.8.3...................5.10.3、兼容性与集成能力.................................................3..8.4..................5.11、安全性.........................................................3..8.6..................5.11.1、身份鉴别...........................................................3.8.7...................5.11.2、访问控制...........................................................3.8.8...................5.11.3、安全通讯...........................................................3.9.7...................5.12、核心产品优势...................................................3.9.7...................75.12.1、高速运算、统计分析和精确查询.......................................3.9.7...................5.12.2、有效的资源利用....................................................4.0.0...................5.12.3、高并发、低延迟性能优化............................................4..0.2..................5.12.4、计算资源有效管控.................................................4..0.2..................5.12.5、API设计和开发工具支持.............................................4..04...................5.12.6、友好的运维监控界面.................................................4.0.8...................5.12.7、扩容、备份、恢复机制..............................................4.1.3...................5.12.8、集群自动负载均衡.................................................4..1.5..................5.12.9、计算能力扩展.......................................................4.1.5...................5.13、自主研发技术优势................................................4.1.6...................5.13.1、高稳定、高效的计算引擎Inceptor....................................4..16....................................................................4.1.8.................................................................4.1.9...................统计分析能力...................................................4..2.0..................功能....................................................4.2.2...................5.13.6、Hyperbase高效的检索能力...........................................4.2.3..........................................4.2.6...................5.13.8、Hyperbase非结构化数据的支持.......................................4.2.8...................5.13.9、机器学习与数据挖掘.................................................4.2.8...................................................................4.3.4...................5.13.11、内存/SSD/磁盘混合存储..........................................4.3.8..................5.13.12、MR/Spark/流处理统一平台.........................................4.4.0...................5.13.13、多租户支持能力..................................................4.4.2...................5.13.14、多租户安全功能..................................................4.4.3...................8接口............................................4.4.4...................第6章系统性能指标和测试结果说明.........................................4.4.5...................6.1、性能测试报告.......................................................4.4.5...................6.1.1、测试目标...........................................................4.4.5...................6.1.2、测试内容...........................................................4.4.6...................6.1.3、测试环境...........................................................4.4.6...................6.1.4、测试过程和结果....................................................4.4.8.......................................................................4.5.2...................6.2.1、测试目标...........................................................4.5.2...................6.2.2、测试内容...........................................................4.5.2...................6.2.3、测试环境...........................................................4.5.4...................6.2.4、测试过程和结果....................................................4.5.5...................6.3、量收迁移验证性测试报告............................................4..5.6..................6.3.1、测试目标...........................................................4.5.6...................6.3.2、测试内容...........................................................4.5.6...................6.3.3、测试环境...........................................................4.5.7...................6.3.4、串行执行情况.......................................................4.5.8...................6.3.5、并行执行情况.......................................................4.6.1...................6.3.6、生产表数据规模....................................................4.6.3...................6.3.7、测试结果...........................................................4.6.7...................6.4、某银行性能测试报告.................................................4.6.7...................6.4.1、测试目标...........................................................4.6.7...................6.4.2、测试内容...........................................................4.6.7...................96.4.3、测试环境...........................................................4.6.8...................6.4.4、测试过程和结果....................................................4.6.9..........................................................................4.8.6...................7.1、硬件系统配置建议.................................................4..8.6..................7.1.1、基础Hadoop平台集群配置规划........................................4.8.6...................7.1.2、数据仓库集群配置规划..............................................4.8.9...................7.1.3、集群规模综述.......................................................4.9.2...................7.1.4、开发集群配置建议.................................................4..9.3..................7.1.5、测试集群配置建议.................................................4..9.4..................7.2、软件配置建议.......................................................4.9.4...................7.3、软硬件配置总表....................................................4.9.7...................7.4、网络拓扑...........................................................5.0.0............................................................................5.0..1..................8.1、系统测试方法.......................................................5.0.1...................8.2、系统测试阶段.......................................................5.0.3...................8.3、系统测试相关提交物.................................................5.0.5............................................................................5.0.6...................9.1、项目实施总体目标.................................................5..0.6..................9.2、项目管理...........................................................5.0.6...................9.3、业务确认...........................................................5.0.8...................9.4、数据调研...........................................................5.0.9...................9.5、系统设计阶段.......................................................5.1.0...................9.6、集成部署阶段.......................................................5.1.1..........................................................................5..12........................................................................5.1.3..................9.9、系统开发阶段.......................................................5.1.4...................9.10、系统测试阶段...................................................5..15...................9.11、系统上线及验收..................................................5.7...................9.12、提交物.........................................................5..2.0..................9.13、系统的交接与知识转移............................................5.2.3............................................................................5.2.5...................10.1、项目总体管理...................................................5.2.5...................10.1.1、项目实施总流程....................................................5.2.5...................10.1.2、项目实施中各阶段的主要任务.......................................5..2.5..................10.1.3、项目组织架构.......................................................5.3.2...................10.1.4、项目负责人及主要成员..............................................5.4.1...................10.1.5、项目管理制度.......................................................6.4.3...................10.2、项目质量管理...................................................6.4.7...................10.2.1、范围..............................................................6.4.8...................10.2.2、过程目标...........................................................6.4.8...................10.2.3、角色与职责.......................................................6..4.9..................10.2.4、过程活动...........................................................6.5.1...................10.3、项目计划.......................................................6.5.6...................第11章安全保密.........................................................6.7.4............................................................................6.7.6...................11.........................................................6.7.7...................13.1、现场支持服务...................................................6.7.8...................13.2、标准售后技术服务................................................6.7.9...................13.2.1、提供预防性维护....................................................6.7.9...................13.2.2、系统升级服务.......................................................6.8.0...................13.2.3、系统性能优化.......................................................6.8.0...................13.2.4、提供系统完整文档.................................................6..8.1..................13.2.5、定期系统健康检查服务..............................................6.8.2...................13.2.6、应急预案...........................................................6.8.3...................13.3、承诺............................................................6.8.4...................13.3.1、我方对集团的承诺.................................................6..8.4..................13.3.2、关于开发队伍的承诺.................................................6.8.4...................13.4、技术保证.......................................................6.8.5...................13.4.1、方案实用性保证....................................................6.8.5...................13.4.2、应用系统的运行能力的保证...........................................6.8.5...................13.4.3、预防性维护检修内容.................................................6.8.6...................13.4.4、服务响应...........................................................6.8.6...................13.4.5、关于软件维护的保证.................................................6.8.7...................13.4.6、专业服务保证.......................................................6.8.8...................13.4.7、售后服务流程及时限.................................................6.8.8............................................................................6.8.9......................................................................6.9.0..................14.2、业务使用培训...................................................6.9.2...................14.3、分析挖掘培训...................................................6.9.4...................14.4、运行维护培训...................................................6.9.6...................14.5、开发培训.......................................................6.9.8...................14.5.1、培训目标...........................................................7.0.3...................14.5.2、培训方式...........................................................7.0.4...................14.5.3、培训资源...........................................................7.0.5...................第1章项目概述1.1、建设背景核心竞争力，从数据中揭示规律，了解过去来，数据驱动企业运行与决策的科学性，构1.2.1、总体目标根据集团信息化规划，遵循“互联网+”的理念，建设集团全网提供决策支持、产品创新、交叉营销、现有量收系统、数据分析综合服务平台的历史数据、数据模化风险和收益，实现对集团各种业务数据进1.2.2、分阶段建设目标、第一阶段目标据管控、企业级数据分析、数据可视化展现服务等功务和速递数据资源的归集、加工和整理，取代现有的构化数据进行采集和存储，围绕“服务支撑、风险管控、流程优化、交叉营销、产品创新、决策支持”六个重点应用方向进行大、第二阶段目标1.3.1、数据分析综合服务平台中及整合，为集团公司和各省分公司提供企业数据实现已有专题分析的固化，包括报刊、约投挂号、国内国际进行后台加载、评估、清洗、重构，并按照客户维度进行数1.3.2、量收系统递平台、集邮系统、营业系统、订单系统、入商函、国际普邮、电子商务、短信等业务1.3.3、金融大数据平台1.3.4、各生产系统2.1、总体需求系统应实现主流数据仓库的功能，同时支持与支持多租户功能，例如多租户管理、租户的操作员管分等分级分组管理、租户的度量管理、租户的角色管进行统一编排和调度。同时支持作业的资源管理、流外围数据六大重点应用外围数据六大重点应用