集团企业大数据可视化展现平台建设及应用方案 集团企业大数据可视化平台建设方案

集团企业大数据可视化展现平台建设及应用方案集团企业大数据可视化展现平台建设及应用方案

目录第1章 项目概述 121.1、 建设背景 121.2、 建设目标 121.3、 建设原则 131.4、 相关系统联动对接 141.4.1、 数据分析综合服务平台 141.4.2、 量收系统 151.4.3、 金融大数据平台 161.4.4、 各生产系统 161.4.5、 CRM 16第2章 业务需求分析 172.1、 总体需求 172.2、 数据管理 192.2.1、 数据采集 192.2.2、 数据交换 192.2.3、 数据存储与管理 202.2.4、 数据加工清洗 212.2.5、 数据查询计算 222.3、 数据管控 222.4、 数据分析与挖掘 232.5、 数据展现 252.6、 量收系统功能迁移 25第3章 系统架构设计 263.1、 总体设计目标 263.2、 总体设计原则 263.3、 系统总体架构设计 283.3.1、 总体技术框架 283.3.2、 系统总体逻辑结构 333.3.3、 平台组件关系 363.3.4、 系统接口设计 433.3.5、 系统网络结构 50第4章 系统功能设计 524.1、 概述 524.2、 平台管理功能 534.2.1、 多应用管理 534.2.2、 多租户管理 584.2.3、 统一运维监控 594.2.4、 作业调度管理 844.3、 数据管理 864.3.1、 数据管理框架 864.3.2、 数据采集 894.3.3、 数据交换 934.3.4、 数据存储与管理 954.3.5、 数据加工清洗 1214.3.6、 数据计算 1224.3.7、 数据查询 1484.4、 数据管控 1754.4.1、 主数据管理 1754.4.2、 元数据管理技术 1774.4.3、 数据质量 1824.5、 数据ETL 1904.6、 数据分析与挖掘 1944.6.1、 数据分析流程 1974.6.2、 R语言开发环境与接口 1984.6.3、 并行化R算法支持 1994.6.4、 可视化R软件包 2044.6.5、 编程语言支持 2064.6.6、 自然语言处理和文本挖掘 2064.6.7、 实时分析 2074.6.8、 分析管理 2084.6.9、 分析支持 2144.6.10、 指标维护 2144.6.11、 分析流程固化 2154.6.12、 分析结果发布 2154.6.13、 环境支持 2154.7、 数据展现 2164.7.1、 交互式报表 2194.7.2、 仪表盘 2264.7.3、 即席查询 2274.7.4、 内存分析 2284.7.5、 移动分析 2294.7.6、 电子地图支持 230第5章 技术要求实现 2325.1、 产品架构 2325.1.1、 基础构建平台 2375.1.2、 大数据平台组件功能介绍 2385.1.3、 系统分布式架构 2935.2、 运行环境支持 2965.2.1、 系统操作支持以及环境配置 2965.2.2、 与第三方软件平台的兼容说明 2975.3、 客户端支持 2995.3.1、 客户端支持 2995.3.2、 移动端支持 2995.4、 数据支持 2995.5、 集成实现 3025.6、 运维实现 3055.6.1、 运维目标 3055.6.2、 运维服务内容 3065.6.3、 运维服务流程 3115.6.4、 运维服务制度规范 3125.6.5、 应急服务响应措施 3135.6.6、 平台监控兼容 3145.6.7、 资源管理 3155.6.8、 系统升级 3185.6.9、 系统监控平台功能 3195.7、 平台性能 3305.7.1、 集群切换 3305.7.2、 节点切换 3325.7.3、 性能调优 3335.7.4、 并行化高性能计算 3395.7.5、 计算性能线性扩展 3435.8、 平台扩展性 3455.9、 可靠性和可用性 3475.9.1、 单点故障消除 3475.9.2、 容灾备份优化 3495.9.3、 系统容错性 3565.10、 开放性和兼容性 3585.10.1、 高度支持开源 3645.10.2、 操作系统支持以及软件环境配置 3775.10.3、 兼容性与集成能力 3785.11、 安全性 3805.11.1、 身份鉴别 3815.11.2、 访问控制 3825.11.3、 安全通讯 3915.12、 核心产品优势 3915.12.1、 高速运算、统计分析和精确查询 3915.12.2、 有效的资源利用 3945.12.3、 高并发、低延迟性能优化 3965.12.4、 计算资源有效管控 3965.12.5、 API设计和开发工具支持 3985.12.6、 友好的运维监控界面 4025.12.7、 扩容、备份、恢复机制 4075.12.8、 集群自动负载均衡 4085.12.9、 计算能力扩展 4095.13、 自主研发技术优势 4095.13.1、 高稳定、高效的计算引擎Inceptor 4105.13.2、 完整的SQL编译引擎 4125.13.3、 高性能的SQL分析引擎 4135.13.4、 SQL统计分析能力 4145.13.5、 完整的CURD功能 4155.13.6、 Hyperbase高效的检索能力 4175.13.7、 基于Hyperbase和SQL引擎的高并发分布式事务 4195.13.8、 Hyperbase非结构化数据的支持 4215.13.9、 机器学习与数据挖掘 4225.13.10、 TranswarpStream 4285.13.11、 内存/SSD/磁盘混合存储 4315.13.12、 MR/Spark/流处理统一平台 4335.13.13、 多租户支持能力 4355.13.14、 多租户安全功能 4365.13.15、 标准JDBC与ODBC接口 438第6章 系统性能指标和测试结果说明 4386.1、 性能测试报告 4386.1.1、 测试目标 4386.1.2、 测试内容 4396.1.3、 测试环境 4396.1.4、 测试过程和结果 4416.2、 TPC-DS测试报告 4456.2.1、 测试目标 4456.2.2、 测试内容 4456.2.3、 测试环境 4476.2.4、 测试过程和结果 4486.3、 量收迁移验证性测试报告 4496.3.1、 测试目标 4496.3.2、 测试内容 4496.3.3、 测试环境 4506.3.4、 串行执行情况 4516.3.5、 并行执行情况 4546.3.6、 生产表数据规模 4566.3.7、 测试结果 4596.4、 某银行性能测试报告 4596.4.1、 测试目标 4596.4.2、 测试内容 4606.4.3、 测试环境 4606.4.4、 测试过程和结果 462第7章 系统配置方案 4787.1、 硬件系统配置建议 4787.1.1、 基础Hadoop平台集群配置规划 4787.1.2、 数据仓库集群配置规划 4827.1.3、 集群规模综述 4857.1.4、 开发集群配置建议 4857.1.5、 测试集群配置建议 4867.2、 软件配置建议 4877.3、 软硬件配置总表 4897.4、 网络拓扑 492第8章 系统测试 4938.1、 系统测试方法 4938.2、 系统测试阶段 4958.3、 系统测试相关提交物 497第9章 项目实施 4989.1、 项目实施总体目标 4989.2、 项目管理 4989.3、 业务确认 5009.4、 数据调研 5019.5、 系统设计阶段 5029.6、 集成部署阶段 5039.7、 ETL过程设计 5049.8、 ETL开发与测试 5059.9、 系统开发阶段 5069.10、 系统测试阶段 5079.11、 系统上线及验收 5099.12、 提交物 5129.13、 系统的交接与知识转移 515第10章 项目管理 51710.1、 项目总体管理 51710.1.1、 项目实施总流程 51710.1.2、 项目实施中各阶段的主要任务 51710.1.3、 项目组织架构 52310.1.4、 项目负责人及主要成员 53210.1.5、 项目管理制度 63210.2、 项目质量管理 63610.2.1、 范围 63710.2.2、 过程目标 63710.2.3、 角色与职责 63710.2.4、 过程活动 64010.3、 项目计划 644第11章 安全保密 661第12章 知识产权 663第13章 技术服务 66413.1、 现场支持服务 66513.2、 标准售后技术服务 66613.2.1、 提供预防性维护 66613.2.2、 系统升级服务 66713.2.3、 系统性能优化 66813.2.4、 提供系统完整文档 66813.2.5、 定期系统健康检查服务 66913.2.6、 应急预案 67013.3、 承诺 67113.3.1、 我方对集团的承诺 67113.3.2、 关于开发队伍的承诺 67113.4、 技术保证 67113.4.1、 方案实用性保证 67113.4.2、 应用系统的运行能力的保证 67213.4.3、 预防性维护检修内容 67213.4.4、 服务响应 67313.4.5、 关于软件维护的保证 67413.4.6、 专业服务保证 67413.4.7、 售后服务流程及时限 675第14章 人员培训 67514.1、 Hadoop系统培训 67714.2、 业务使用培训 67914.3、 分析挖掘培训 68014.4、 运行维护培训 68214.5、 开发培训 68414.5.1、 培训目标 68914.5.2、 培训方式 69014.5.3、 培训资源 691项目概述建设背景随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。掌握大数据资产，进行智能化决策，已成为企业胜出的关键。越来越多的企业开始重视大数据战略布局，重新定义自己的核心竞争力，从数据中揭示规律，了解过去、知悉现在、洞察未来，数据驱动企业运行与决策的科学性，构建智慧企业，打造核心竞争力。数据的爆炸式增长以及价值的扩大化，将对企业未来的发展产生深远的影响，数据将成为企业的核心资产。如何应对大数据，挖掘大数据的价值，让大数据为企业的发展保驾护航，将是未来信息技术发展道路上关注的重点。建设目标根据集团信息化规划，遵循“互联网+”的理念，建设集团大数据平台，实现集团数据资源的集中及整合，构建集团统一的数据模型，提高企业数据的处理效率与共享程度。实现对集团企业内部数据和外部数据的分析挖掘，对内对外提供数据服务。为全网提供决策支持、产品创新、交叉营销、服务支撑等支撑服务。集团大数据平台将在Hadoop和云计算技术的基础上，对现有系统、数据分析综合服务平台的历史数据、数据模型、报表应用等进行移植，全面整合集团业务数据。数据来源涵盖集团所有的生产和管理系统，并可接入同业及相关市场甚至互联网信息，建立从业务层到管理层到决策层的智能分析体系，模拟量化风险和收益，实现对集团各种业务数据进行分类、管理、统计和分析等功能，给各级管理人员提供各类准确的统计分析预测数据，使其能够及时掌握全面的经营状况，为宏观决策提供支持；为基层业务人员提供详尽的数据，供其对各自的工作目标、当前和历史状况进行准确的把握，对业务活动进行有效支撑；满足集团经营管理及决策支持，建设国内一流，世界领先的大数据平台。建设原则本次项目建设遵循的技术原则如下：数据平台的正确建立和合理利用将直接影响到贵公司的未来信息化发展，贵公司数据平台建设应参考以下架构原则，指导和规范未来的数据平台信息化建设和管理，在项目方案中应该能够体现以下原则：1. 数据集中原则： 将总行ODS、数据仓库数据、集团特色数据和应用统一进行管理和运维，保证资源的高度利用以及通过相关的技术保证数据和应用的绝对安全和稳定。2. 数据标准集团统一原则： 依据总行的数据字典，减少数据定义的二义性。未来集团特色应用系统的数据结构是银行数据结构模型的子集。对集团级数据实行单点维护，确保集团级数据的可靠性和一致性。3. 数据管理集团统一原则： 统一的存储管理，统一规划使用存储资源，提高存储资源使用效率。统一的性能管理，根据实际业务需求，合理分配资源，确保对数据的访问性能能够满足业务的需要。统一标准的安全管理，提高数据访问控制能力，降低关键业务数据的安全隐患。4. 降低数据冗余和数据复制原则： 减低集团级数据的冗余度，降低数据对存储资源的需求。各业务系统根据自身业务处理实际需求，确定对属于其它系统数据的同步需求，制订出相应的数据复制同步策略并统一进行实施。相关系统联动对接数据分析综合服务平台数据分析综合服务平台是依托集团综合网，实现邮务数据集中及整合，为集团公司和各省分公司提供企业数据分析挖掘服务，对内对外提供数据服务的信息系统。该系统使用Oracle数据库，目前数据量已达到9TB，平均日增长量约22GB。目前该系统已经对接了13个业务系统（集邮系统、报刊系统、电商平台-机票、邮资封片卡系统、短信平台、农资分销系统、贺卡兑奖平台、营业系统、投递系统、客管系统、订单系统、国际业务平台），实现了31个省的邮务类数据的上传及下载。系统实现将数据由全国中心推送至省中心；实现已有专题分析的固化，包括报刊、国内国际小包专题分析结果的固化展现；实现将接入系统的数据按照业务规则进行后台加载、评估、清洗、重构，并按照客户维度进行数据整合；提供对内对外数据服务，支持客户数据的上传和结果下载、邮编匹配、地址清洗匹配等功能。数据分析综合服务平台是大数据平台的子集，数据分析综合服务平台的数据是大数据平台的数据集市之一。量收系统量收系统是通过从集团生产经营业务系统及其他相关系统中自动采集、汇总、上传业务量、业务收入信息（简称量收信息），进行稽核、查询、分析、预警等应用的信息管理系统。该系统使用Teradata的数据仓库和Oracle的数据库，数据使用空间已接近15TB。目前该系统已经对接了8个业务系统（速递平台、集邮系统、营业系统、订单系统、报刊系统、农资分销系统、邮资管理系统、电商平台），此外，通过营业系统还接入商函、国际普邮、电子商务、短信等业务数据。现有使用用户2.9万个，提供近500张报表的查询，实现集团业务量收入的统计分析，为企业的经营管理起到了很重要的作用，但随着管理要求的不断提高，量收系统的能力已捉襟见肘。集团大数据平台建成后，将替代量收系统。金融大数据平台大数据平台从金融大数据平台获取金融客户、市场营销等数据分析结果以及相关数据，与金融大数据平台互为数据源，用于支撑集团邮务、速递物流和金融板块对数据分析的需求。各生产系统大数据平台从各生产系统获取交易数据、基础数据等，对数据进行分析挖掘，将分析成果反馈回各生产系统用于支撑生产运营。CRMCRM系统实现以客户为中心的集团与板块间的协同管控，以及集团各环节间客户营销及服务的协同管理。大数据平台将实现CRM系统的部分数据分析功能。业务需求分析总体需求大数据平台应支持集团总部、省和地市三级使用方式。使用单位还包括下属单位和控股公司等。大数据平台要求使用Hadoop系统应实现主流数据仓库的功能，同时支持与现有系统Oracle数据库及Teradata数据仓库的无缝连接。大数据平台需支持多应用管理，即支持对应用的服务级别管理（SLA）。能够实现应用的访问资源控制，支持资源隔离。同时支持多租户功能，例如多租户管理、租户的操作员管理、租户的分等分级分组管理、租户的度量管理、租户的角色管理、租户应用授权、租户数据隔离、租户的资源隔离等功能。大数据平台应具有统一运维监控方面，可以图形化的实现安全管理、用户管理、监控运维、服务调度、应用部署、资源管理、作业编排、服务接口等。大数据平台应同时支持作业调度管理，即实现统一的作业调度与编排管理功能，支持使用工作流的可视化的方式对工作任务进行统一编排和调度。同时支持作业的资源管理、流程管理、任务管理、数据管理、应用管理、租户管理、多ETL调度任务的部署和并行处理等功能。集团大数据平台的建设内容包含：图3-1大数据平台建设内容重点建设内容包括：基础平台建设量收迁移六大重点应用与CRM、综分、MDM等系统的融合基于大数据平台的数据应用。数据管理集团大数据平台的数据管理，包含数据采集、数据交换、数据存储与管理（包含结构化数据管理、半/非结构化数据管理、数据存储等）、数据清洗加工、数据计算和查询等方面的内容。数据采集大数据平台需要采集各类内外部数据，形式多样，需支持不同频度、不同形态的数据采集。采集方式包含网上数据填报、流方式、批量导入方式、外部数据文件导入、异构数据库导入、主动数据抽取、增量追加方式、网上爬虫方式等，数据形态包括结构化数据、半结构化数据、非结构化数据。数据交换与大数据平台对接的系统很多，这些系统数据库结构各异。因此，数据交换方面，需要考虑各类数据格式、各类传输频次的数据导入导出。数据源包括各业务系统数据接入、互联网数据采集、合作伙伴系统数据接入、外部临时数据导入支持等。数据格式主要包含文本文件，XML等多种方式，传输频次包含非实时、准实时、实时形式。同时支持数据源管理功能，实现大数据平台内各存储区之间的数据交换功能，提供可自定义的对外数据服务接口能力，同时支持数据接口热扩展能力。数据存储与管理结构化数据管理包括对结构化数据的采集管理、数据加工管理、数据存储管理、对外接口、实时监控、安全管理、数据重构等功能。半/非结构化数据管理包括半/非结构化数据的采集管理、数据内容搜索、数据生命周期管理、数据加工管理、数据存储管理、对外接口、混合查询、实时监控、自然语言查询、智能化知识检索功能。数据存储管理功能包括数据分区划分方式、适用场景、对应计算处理框架、硬件配置推荐等。同时需要支持多存储层级，实现数据的多温度管理，能够将数据存储在不同IO读写速度的不同介质上。支持对数据生命周期进行管理。支持多种索引模式，具有索引分析与选择功能和工具。支持多数据副本管理功能，能够进行数据平衡、索引平衡的检测。支持自动平衡功能和数据自动重分布功能，提供数据平衡和索引平衡的工具。支持在线变动节点管理功能，支持在线增加、删除节点时，数据和索引的倾斜探测和自动平衡功能，保证平滑扩展和性能的线性增长。支持多种数据分区管理、多数据类型管理、多文件格式管理、数据自定义标签管理、数据块读写锁处理、数据文件元数据备份和恢复，支持数据压缩、表压缩功能，节省数据空间。数据加工清洗支持数据从来源端经过抽取、转换、加载至目标端的过程。支持多数据源，包括Teradata、Vertica、DB2、Oracle、Sybase、文本、Excel、Hadoop等数据源。实现传统数据库、数据仓库与Hadoop以及Hadoop集群之间的数据抽取、转换、加载等功能。支持数据加工功能，提供数据加工规则管理，支持不同形态数据加工管理；支持数据清洗功能，包括数据清洗环节管理、数据清洗规则管理、数据清洗监控、数据清洗预览、应用主数据进行清洗管理等功能。数据查询计算支持对多计算框架管理，计算框架包括批处理计算框架、内存计算框架、流计算框架等。支持并行计算及并发处理功能，支持多服务器、多CPU、多进程并行及并发处理数据的机制。支持PL/SQL存储过程、分布式事务及ACID属性及自定义函数功能。能够实现OLAP查询功能，需要内置OLAP函数，支持超大数据立方，支持雪花、星型等复杂模型。支持CUBE，支持国际SQL92、SQL2003标准，能够实现数据字典、动态SQL执行、视图、子查询、JOIN查询功能。支持全文检索。支持中文字符集，实现中文分词功能，支持结构化数据和半/非结构化数据联合查询，支持预定义维度数据查询，支持简单查询、组合查询、模糊查询等。数据管控数据管控主要是对主数据、元数据、数据标准和数据质量的管控。集团大数据平台的数据管控组件对集团集团现有的产品能够完善集成，使集团元数据能够整体管理。图3-2大数据平台数据管控数据分析与挖掘本方案对R语言提供支持。支持ANSISQL、Python、R、Java、C/C++等语言的使用。应提供图形化界面操作支持，操作界面要求简体中文。支持对TB以上级别的数据进行分析挖掘的功能，应对分析挖掘中的中间数据和结果数据的灵活存储提供支持，应对多数据来源输入输出提供支持。支持处理过程的数据预览功能。支持数据分析挖掘算法管理，每个算法能够灵活选择数据源。支持对分析挖掘的脚本和模型的共享，可实现用户分析挖掘脚本和模型的发布与管理。支持数据的探索和发现，实现通过作图、制表、方程拟合、计算特征量等手段探索数据结构和规律。对统计分析方法、数据挖掘、模型预测提供支持，并实现其分布式并行计算。对常用场景实现提供支持。场景包括客户画像、产品推荐、自然语言处理、语义分析、舆情分析、文本挖掘、客户行为预测等。对分析挖掘的脚本和模型的快速应用、服务提供支持，能够快速生成分析报告和图表、发布实时/非实时的分析应用、使用Web方式访问分析应用成果。实现对分析指标管理、分析过程的管理以及对挖掘模型固化的支持。数据展现支持多数据来源输入输出；支持表格、图形、地图等可视化元素展示，对电子地图、GPS定位的应用、服务提供支持。支持数据互动、过滤、钻取、刷取、关联、变换等功能。支持多维度多种类的自定义。支持数据脱敏的展示。支持多种展示端的展示，包括PC端、移动端、大屏等。其中移动端应基于集团移动应用平台架构建设。量收系统功能迁移量收系统主要功能有基本业务分析、渠道分析、产品分析、大客户分析、欠费分析、流量流向分析、进销存分析、预警稽核、系统优化功能等，需要对原量收系统全部功能进行迁移。系统架构设计总体设计目标建立集团的企业级数据中心，实现集团数据资源（结构化、半结构化和非结构化数据）的归集、整理、加工和分析，并利用大数据相关技术及数据分析挖掘工具，建立数据应用模型，为全网提供决策支持、产品创新、交叉营销、流程优化、服务支撑以及风险管控等服务，有效地挖掘数据的价值，实现集团数据资源的“共享、共用、共赢”。总体设计原则标准化：本系统采用的技术架构均遵循网络协议和传输标准的要求，相关开源及原创技术均符合国际技术组织条款规范。提供文档标准化，满足GB8567-1988、GB/T11457-89的行业标准；可扩展性：由于用户以后的需求会不断发展，使用人数将随之扩大，业务压力不断上升，只要横向扩展增加服务器台数，不用添加其它附加设备，以保证用户的原投资被利用。可用性和可靠性：我们的方案在充分考虑用户实际情况的基础上，选用F5作为负载均衡器，采用了Weblogic作为Web应用容器，操作系统采用红旗版Linux，从而减少了其它因素造成的故障。易用性：该系统使用界面良好，用户无需安装客户端软件，只需通过IE浏览器就可进行实时操作，同时系统架构设计优良，可以很方便进行系统升级。开发式结构：该系统内置“数据交换适配平台”可以与第三方系统相融合，可以读取第三方系统的相关数据，可以为第三方系统提供其需要的相关数据，提供标准的WebService接口，具有开放式结构。完善和可靠性：具有设计独到的功能使用及数据访问权限控制，保证统一、规范管理，支持3DES和RSA加密技术，使数据存储和传输安全牢不可破。系统具有错误故障日志记录功能，便于快速诊断定位问题。实时性：该系统支持负载均衡技术，及时响应多人实时并发操作。先进性：基于统一的整体架构，采用先进的、成熟的、可靠的技术与软硬件平台，保证数据仓库系统易扩展、易升级、易操作、易维护等特性。高效性：线性扩展的TDH的数据仓库平台，保证了ETL时间的窗口以及查询效率，数据抽取的特殊性，通常在夜间业务稀少的情况下进行数据抽取，减少了对其他系统的影响。正确性：数据质量贯穿数据仓库系统建设的每个环节，数据仓库系统通过合理的数据质量管理方法论保证数据质量。系统总体架构设计总体技术框架大数据平台是一个可扩展的数据平台，全面整合集团业务数据，建立从业务层到管理层再到决策层的集团数据智能分析体系，使经营者能够及时掌握全面的经营状况，迅速做出科学决策。4-12总体总体结构图参见上图，集团大数据平台主要分成六大部分：用新技术建设集团大数据平台，在平台上构建集团企业级的数据仓库；建立统一的数据采集加工平台，供大数据平台从各业务系统及外部环境采集、加工、清洗、爬取数据；数据管控平台，为大数据平台提供主数据管理、元数据管理、数据质量管理、数据标准管理、数据安全管理等服务；企业级数据分析平台，主要用于经营分析和决策支持；数据可视化展现平台，包括：可视化交互查询、图表展示、移动展示、地图展示、管理驾驶舱等；数据分析与挖掘平台，包括：并行化算法模型库、数据分析挖掘工具等。4-13总体技术框架图参见上图，集团大数据平台系统总体技术框架，自下而上主要包含六层：1、硬件设备层部署于集团数据中心机房的服务器设备、网络设备、存储设备、负载均衡器、VPN/防火墙等硬件设备；2、虚拟化资源层基于分布式容器集群管理系统构建的服务器虚拟化资源池，可为各类应用、分布式计算和存储服务组件提供多租户的容器资源分配及调度管理、应用打包部署及运行、服务注册和发现、动态扩缩、均衡容灾等资源管理服务。3、应用平台层为大数据分析应用的开发、测试和运行提供平台支撑，主要包括：J2EE应用服务平台和Spring框架、报表和分析展现平台、并行化算法模型库、ESB服务总线和ETL数据集成平台、身份认证和访问控制组件、全文检索组件等。大数据分布式计算和存储平台组件，主要包括：分布式列存储数据库、分布式文件系统、SQL引擎、实时流处理引擎、联合查询引擎、并行化R算法执行引擎、全文检索引擎、分布式批处理计算引擎（Hadoop/Spark/MapReduce）以及任务调度与监控等组件。4、应用服务层基于应用支撑平台及大数据分布式计算和存储服务平台，定制开发各类应用服务，主要包括：经营分析和决策支持、数据管理、内容管理等应用。5、通信网络层外部用户可通过Internet互联网（含移动互联网）接入访问已授权的相关应用服务；集团内部人员可通过集团综合网接入访问内网应用服务。6、终端接入层系统用户可通过PCWeb浏览器、移动终端（智能手机、平板电脑等）访问相关的应用服务。平台支持电子邮件、手机APP、微信和短信等交互。 系统总体技术框架还包含：大数据管理标准规范制订、统一安全运维管理系统集成及相关管理规范制订等。系统总体逻辑结构4-14系统总体逻辑结构图参见上图，基于Hadoop构建的企业级数据仓库，包含：分布式列式存储数据库Hyperbase和分布式文件系统HDFS。通过数据集成及ETL平台，采集集团现有业务系统（CRM、ERP、寄递平台、金融大数据平台等）数据，经清洗、转换、加工后将数据批量加载到数据仓库。通过分布式消息队列（Kafka）和流处理引擎（SparkStreaming），可实时采集处理流数据（如：网站点击流数据、实时事件流数据等）；流处理引擎可通过SQL接口将流数据实时加载至分布式内存或分布式数据库中。通过互联网数据采集软件（iRIS）可采集互联网数据（网站、SNS等），并经加工处理后导入数据仓库。本系统还支持在线填报、报表文件上传等数据采集方式。结构化数据导入数据仓库后，可通过PL/SQL脚本和Hadoop/Spark批处理引擎进行数据关联操作和汇总加工处理；半/非结构化数据导入数据仓库后，可通过全文检索引擎ElasticSearch快速创建全文索引。大数据平台为数据分析挖掘应用开发，提供可视化的数据建模工具、数据分析挖掘工具（RStudio）、并行化R算法模型库及分布式计算引擎。平台还提供分析报表和仪表盘、OLAP多维查询、iGIS地图等可视化数据展现组件。大数据平台为上层的各类应用提供数据访问接口服务，包括：SQL引擎（InceptorSQL）、联合查询引擎（InceptorStarGate，支持结构化数据和非结构数据联合查询）、全文检索引擎（ElasticSearch）。本平台还支持分布式内存OLAPCube功能，多维分析应用可通过SQL引擎快速访问OLAPCube数据集。基于支撑平台开发的应用系统采用面向服务架构（SOA）设计。采用J2EE/Spring、ApacheCXF框架，实现内置的服务注册功能，能够将已有的外部WebService进行注册、调用，同时能够将定义的服务以 方式对外暴露，供其它应用调用。集团已有的ESB服务总线平台，可通过JDBC/ODBC接口与SQL引擎对接，将分布式数据库查询访问封装为WebServices，供相关应用系统调用；ESB平台可通过HTTP/JSON接口与联合查询引擎对接，将非结构化数据和结构化数据联合查询访问封装为WebServices，供相关应用系统调用；基于ESB平台可将报表/分析平台生成的分析挖掘结果封装为RESTful服务，供相关应用系统调用。本项目中，可应用ESB总线平台实现与集团主数据管理系统、元数据管理系统、统一运维管理平台之间的实时数据交换。平台组件关系图4-15整体架构及平台组件关系图大数据平台系统主要是由大数据分布式计算和存储服务、分布式容器集群管理、数据采集交换、数据管控、应用支撑平台及定制开发的应用服务等组件组成。参见上图，以下描述了主要的平台组件功能及组件关系：1、分布式数据存储分布式文件系统（HDFS）存储半/非结构数据，包括Office文件、XML数据、Email数据、凭证单据扫描件、视频图像、Web网页等数据。有关文件属性数据主要是存于分布式数据库Hyperbase中；对文本数据生成的索引数据主要是存于全文索引库（ElasticSearch）中。应用系统可通过JAVAAPI访问HDFS，也可通过FUSE挂载HDFS，将HDFS映射为远程盘访问使用。分布式列式存储数据库（Hyperbase）：存储结构化数据，包括从现有业务系统数据库采集的数据、整合加工后的多主题关联的数据集及面向应用的数据集市等。应用系统可通过SQL引擎（InceptorSQL）、基于JDBC/ODBC标准接口访问Hyperbase。分布式内存/OLAPCubeHyperbase可将数据集市及OLAPCube数据加载到分布式内存节点，为即时查询、多维统计分析等应用提供快速访问服务。应用系统可通过SQL引擎（InceptorSQL）、基于JDBC/ODBC标准接口访问分布式内存/OLAPCube。分布式全文检索库（ElasticSearch）存储ES索引引擎生成的全文索引数据，并为全文检索查询应用提供HTTP/JSON、JAVAAPI访问接口。 2、分布式计算处理引擎HadoopMapReduce框架和Spark内存计算引擎HadoopMR为分布式批处理计算提供了JAVAAPI框架；Spark引擎充分利用内存计算技术实现快速分布式处理，支持Java、Scala、Python等语言。SQL引擎（InceptorSQL）基于Spark实现的高性能、高兼容性（SQL99、SQL2003标准）的SQL引擎，为应用系统提供JDBC/ODBC标准接口访问Hyperbase数据库。SQL引擎支持PL/SQL，方便开发人员实现多表关联、汇总处理等应用流处理引擎（SparkStreaming）基于SparkStreaming实现的流处理引擎，可与分布式消息系统Kafka对接，实时接收处理流数据；可通过JMSAPI接口与集团ESB平台（TibcoEMS消息中间件）对接，实时接收处理业务数据流；可将实时检测出异常事件信息向ESB平台发送。流处理引擎可通过SQL引擎将流数据实时导入Hyperbase、分布式内存/Cube中。流处理引擎运行中所用到的业务参考数据、规则数据等可放在分布式内存/Cube中，从而大大减少了访问数据库的时间消耗。联合查询引擎（InceptorStargate）联合查询引擎为应用系统提供非结构化数据和结构化数据联合查询服务。应用系统与联合查询引擎之间通过HTTP/JSON接口交互查询请求和响应信息。联合查询引擎支持通过JDBC/ODBC接口访问数据库（Oracle、Teradata、MySQL等）；支持通过InceptorSQL引擎访问分布式数据库Hyperbase、分布式内存/OLAPCube；支持通过JavaAPI接口访问分布式文件系统HDFS；支持通过HTTP接口访问JSON、XML数据。并行化R算法引擎基于SparkR实现的并行化R算法引擎，目前已支持近60种并行化R算法。开发人员可通过可视化编程环境RStudio将应用包加载到算法引擎执行。并行化R算法引擎，可通过JDBC接口及SQL引擎向Hyperbase提取所需数据，并将分析结果存入Hyperbase。并行化R算法引擎也可直接读取HDFS上的文件数据。分布式检索引擎（ElasticSearch）可从Hyperbase、HDFS提取文本数据并创建全文索引库。全文索引库数据可存于分布式文件系统HDFS。ElasticSearch为全文检索查询应用提供HTTP/JSON访问接口。 3、数据集成和管控平台数据ETL平台提供数据抽取、转换和加载功能。平台可通过SQL/JDBC/ODBC接口、批量导出脚本、Sqoop并行化抽取等方式，从现有业务系统数据库（Oracle）、Teradata数仓中批量导出数据并经转换处理后，加载到Hyperbase或HDFS中。网络爬虫(iRIS)所抓取的网页数据也可通过ETL平台加载到HDFS或Hyperbase中。数据管控平台提供元数据管理、主数据管理、数据质量管理、数据标准管理、数据安全管理等功能。可通过ETL平台的元数据采集引擎，统一采集处理分布式文件系统HDFS、分布式数据库Hyperbase、ETL处理流程及规则、现有业务系统数据库以及Teradata、Oracle数据库的元数据，并统一存于数据管控平台的数据库中，建立源库表-->接口表-->ETL处理过程-->目标库表的元数据关联关系，从而为后续的数据标准管理、主数据管理、数据质量管理、数据安全管理奠坚基础。本项目涉及与集团现有的元数据管理、主数据管理系统对接交换数据，可采用ESB平台及消息传输中间件，基于JMS接口