大数据云平台项目V3

数据云平台项目建设方案构建大数据基础软件设施，发掘数据资源核心价值总体规划建设方案项目报价010203CONTENTS成功案例03建设目标打通EAS系统、智慧社区的系统、天眼系统、停车场管理系统、EBA智能设备系统，通过数据清洗、转换、比对实现数据整合，打破企业数据孤岛。构建企业三层架构数仓，形成运营、市场、财务类主题数据资源，建立大数据挖掘分析模型，实现多维数据分析。构建数据管理门户平台，形成数据服务能力、数据集成能力、数据管理能力、应用能力，从微观层面和宏观层面，提升企业运营管理和辅助决策水平。数据整合数据治理数据服务总体架构支撑层应用层数据层标准规范与管理体系信息安全保障体系用户层展示层业务人员运营部门集团领导办公电脑业务风险问题预判综合大屏数据融合采集ETL绩效考评评估商业智能BE财务系统业务审批系统EBA智能设备系统人力HER系统业务运营趋势分析数据门户管理平台任务配置任务执行状态监控节点管理停车系统数据共享服务数据资源管理数据授权管理数据集成数据服务引擎数据接口图表分析报表分析联动配置查询检索报告管理权限管理数据仓库数据指标数据模型数据指标手机终端技术架构建设思路整体设计，突出重点统筹规划，分步实施整合资源，协同共享积极创新，务实高效优化机制，统一标准整合与完善硬件基础设施，形成计算、网络和存储共享资源池基于大数据技术，改善信息资源的整合、挖潜、分析和研判实现跨业务综合应用支撑体系，实现层级整合、领域整合、系统整合标准化和自动化的数据管理服务流程强有力的网络与信息安全保障着手制定和完善平台建设、应用交互、数据共享等相关标准资源数据应用服务安全标准总体规划建设方案项目报价010203CONTENTS成功案例03伟业ETL在传统ETL基础上支持Hadoop、Hbase、实时流等数据的采集、转换，主要能力如下：

批量采集提供存储过程、触发器、脚本、sql、sqoop、文件等方式批量采集能力实时采集

提供实时消息流、消息队列等实时采集能力多种数据源支持HDFS、Hbase、Hive、IBMDB2、Oracle、Sqlserver、SybaseMysql、HTTP、MongoDB跨平台支持云平台、Windows、Unix、CentOs、Liunx等主流操作系统厂商的运行环境丰富的组件支持20多种主流数据库采集，30多种数据文件格式，20种清洗组件融合采集ETL融合采集ETL-采集流程分散、种类多样化，时效性差异大多种技术手段，平台化系统，快速部署，统一管理为大数据应用提供全兼容数据存储原始数据源数据湖数据采集交换区任务流程调度操作控制流程控制转换流程数据抽取数据加载数据转换子任务调度操作控制流数据采集传输融合采集ETL-数据处理流程提高开发效率缩短开发周期图形化拖拽方式快速集成实现复杂数据处理流程NoSQL接入云化部署主要功能能力描述备注支持的数据源HDFS独有Hbase独有Hive独有IBMDB2

Oracle

Sqlserver

Sybase

Mysql

Kingbase

PostgreSQL

HTTP

MongoDB

实时采集Flume独有Kafaka独有TCP/IP

Webservice

CDC增量采集时间戳

全表对比

基于数据库日志分析（oracle、mysql、Sqlserver）

组件Access输入、Excel输入、固定宽度文件输入、文件内容加载至内存、流查询、值映射、插入/更新、列拆分为多行、列转行、去除重复记录、唯一行（哈希值）、增加常量等20多种清洗组件

集群能力支持处理节点的扩展，增加机器等方式扩展处理能力

组件扩展插件扩展

任务调度任务并发度控制（任务级）、任务启动、任务中断、提供定时调度（多样定时组合，时间间隔可以到秒），并能可视化配置；

提供跨节点调度，方便位于不同机器上运行节点之间的调度，并能可视化配置

运行监控图形监控、统计监控、日志报告

融合采集ETL-主要功能融合采集ETL-构件库融合采集ETL-监控管理单一业务的任务详情图形化展示任务执行日志任务运行情况变化曲线全方位洞察一项任务执行定义指定任务的报警规则定制指定任务的报警渠道指定报警信息的接收者根据需要控制告警规则的启用与关闭告警帮你随时把握任务异常可视化手段多角度作业监控作业执行状态与成功率监控对作业进行多角度排序ETL任务执行一览无余数据接入新建数据表连接数据库上传文件新建sql数据表连接校验数据预览权限配置数据表管理自循环列发布下线数据表编辑行列转换日志查询数据处理数据处理表关联数据过滤数据汇总字段过滤计算字段列排序抽取配置抽取频率配置抽取方式配置业务表管理业务表编辑发布下线数据预览日志查询业务表授权图表分析选择图表选择业务数据集配置维度度量配置分析指标轮播配置参数配置配置常量线配置高级分析线统计报表分析简单报表复杂报表联动配置组件与组件联动查询条件与组件联动查询条件配置普通查询条件配置自定义查询条件配置辅助组件配置报告管理报告编辑发布下线日志查询导出打印预警提醒数据预览配置计算指标OLAP分析权限管理目录管理功能权限管理数据权限管理登录与密码设置日志管理某著名企业端账号管理商业智能平台-功能架构BEClientVue.jsBEServerSAEECoreEMgrSAE业务数据库数仓外部业务数据源数据分析查询流程数据分析查询流程(已存储在数仓)业务配置流程系统管理流程商业智能平台-业务架构•F检验•层次分析法•单样本T检验•卡方独立性检验•卡方拟合性检验•离散值特征分析•皮尔森相关系数•全表统计•双样本T检验•相关系数矩Correlation•协方差矩阵•数据视图•信息增益•信息增益率•方差分析ANOVA•指数平滑法30余种高级挖掘分析算法支持100余种基础算法支持数字函数ABS(number)ACOS(number)ASIN(number)ATAN(number)ATAN2(ynumber,xnumber）CEILING(数字)COS(number)COT(number)DEGREES(number)DIV(整数1,整数2)EXP(number)FLOOR(数字)HEXBINX(number,number)HEXBINY(number,number)LN(number)LOG(number[,base])MAX(number,number)MIN(number,number)PI()POWER(number,power)Radians(number)ROUND(number,[decimals])SIGN(number)SIN(number)SQRT(number)SQUARE(number)TAN(number)ZN(expression)字符串函数ASCII(string)CHAR(number)Contains(string,substring)ENDSWITH(string,substring)FIND(string,substring,[start])FINDNTH(string,substring,occurrence)LEFT(string,number)LEN(string)LOWER(string)LTRIM(string)MAX(a,b)MID(string,start,[length])MIN(a,b)REPLACE(string,substring,replacement)RIGHT(string,number)RTRIM(string)SPACE(number)SPLIT(string,delimiter,tokennumber)STARTSWITH(string,substring)TRIM(string)UPPER(string)时间函数ISDATE(string)MAKEDATE(year,month,day)MAKEDATETIME(date,time)MAKETIME(hour,minute,second)MAX(expression)或MAX(expr1,expr2)MIN(expression)orMIN(expr1,expr2)MONTH(date)NOW()TODAY()YEAR(date)商业智能平台-算法支持SQLDBFlatFiles…OracleSQL其他DB业务数据库BE前端其他应用系统自助分析BEServer导入优势1:1.不需要事前建立数据立方体2.节约系统构建时间周期3.需求发生变化时，可以快速应对，护优势2:1.不影响原业务系统，不给源数据库造成压力2.不需要事前建立关联表，不需要事前设计维度从源数据库导入数据不给业务系统造成压力优势3:1.前端展现工具丰富多彩2.操作简单，非IT技术者的业务人员也可以随时随意制作统计分析报告3.Web、Excel、Dashboard等多种统计分析界面，产品线丰富，能满足各种层次用户的各种需求能给客户带来的价值：1.节省数据库和系统构建的成本2.优质的产品：操作简单，减轻IT人员负担，广对于临时的、变化的需求可以及时快速的应对提取、清洗、转换、装载、整合ETLDWH数据仓库分析报告协同互动商业智能平台-OLAP分析集群轻量级数据仓库内置主流RDB，适用于小数据量场景（GB级别）通过数据抽取将数据包括上传的文件数据均存储在数据仓库中。外部业务数据源DriverMasterWorkerNodeWorkerNodeWorkerNodePTMysqlOracleHiveHBase标准数据仓库配套Hadoop产品，适用于大数据量场景（TB级别以上）商业智能平台-数据仓库联合多个异构数据源拖拽可视编辑数据处理流程数据处理节点，可随时扩展商业智能平台-数据预处理数据模型切换维度/度量/参数过滤排序时序轮播分析特性二维数轴图表分析显示智能图表选择商业智能平台-自助数据分析通过直接配置，实现多种算法进行数据评估分析，包括平均线、指数平滑、线性回归、同比、环比、占比等。商业智能平台-统计分析自动类型识别数据快照智能图标推荐内置丰富的图表展现形式，可以根据用户配置的维度\度量指标，智能推荐适合的图表，帮助用户快速配置，并支持对图表的自定义设置。导入数据后即可自动识别出数据集中的所有字段；对系统自动识别的维度和度量，用户也可进行手动修正，并可随时对维度和度量进行互相转换。支持用户在分析过程中实时保存分析思路，可将当前正在配置的分析单元保存为快照。双击快照，打开快照查看界面并覆盖在当前分析单元之上。商业智能平台-智能交换体验商业智能平台-数据权限控制数据库服务器应用服务器(SAE)数据仓库交换机交换机数据库服务器数据仓库节点数据仓库节点应用服务器节点单机组网标准集群组网（后期扩展）商业智能平台-部署架构数据门户-功能规划系统集成设计门户系统基于SOA架构设计，可于第三方报表系统、Web应用集成。对某著名企业端、微信端以及混合应用的集成支持良好，支持二次开发。某著名企业端需实现云平台某著名企业端应用的用户认证和单点登录集成。门户系统的用户权限、报表系统、三方应用系统集成及SSO整合门户系统设计1.数据资源功能。2.数据导航。3.数据管理。4.数据资料视觉化。5.数据共享管理。6.数据申请管理。7.SSO登录认证数据管理设计数据地图及数据资产管理（管理目录或清单，拥有访问授权），建设公共库，提供API开放数据。指标口径统一管理且和数据关联。提供安全，多粒度的访问控制，明细、汇总不同维度的数据服务，支持在线查看，支撑第三方软件自助分析软件或接口调用，同时用户也需要统一管理完整的目录API结构，针对资料集与后设资料，提供读写、和查询功能。集成数据存储和完整数据API，可收割。数据接口设计

数据引擎设计1.推送。2.预警。3.支持相关应用的规则机制数据门户-数据共享流程共享服务后台服务注册服务参数服务峰值服务同步服务审核授权审核峰值审核参数审核服务发布启用停用控制数据资源中心服务调用方共享服务门户检索服务服务申请服务调测服务调用申请审核授权审核推送频率输入参数鉴权管理调用鉴权调测鉴权用户鉴权数据门户-数据服务页面总体规划建设方案项目报价010203CONTENTS成功案例03项目报价项目模块功能描述数量预算（万元）天骄爱生活云平台项目融合数据ETL以ETL技术架构为核心，可支持传统关系数据库和格式化文件、非格式化文件，可支持多数据源的采集。通过数据采集、转换、清洗等实现传统数据存储向大数据存储（HDFS/NoSQL等）的数据采集与迁移等功能。平台提供一个简单开发、管理工具，提供覆盖从数据集成逻辑的设计、开发、调试、部署，到运行、管理、监控各个生命周期不同阶段的集成开发工具。可以实现对数据集成流程的开发和部署；通过监控和日志功能，可以实现对数据集成的运行过程进行实时监视，对集成流程历史数据进行分析。提供功能级和数据集的权限管理，可定义的错误告警机制，自定义面板等。120商业智能BE采用业内领先的大数据架构，提供数据采集、数据处理、数据存储、数据分析、数据可视化为一体的完整商业智能解决方案。具备全新的智能交互体验，可根据用户构建的数据集，智能推荐展现图表；采用创新的数据快照技术，记录分析过程中的任意状态，帮助用户备份分析过程并支持快速回溯至上一刻状态。支持自助式数据准备，提供灵活、、高效可视化探索分析能力，用户自助组合不同来源的数据，创建分析模型；业务人员只需简单拖拽，就能轻松制作出兼具敏捷分析与精美展示的报告；既能提供传统OLAP相关分析，也支持复杂统计分析，如线性回归、预测等。适应多种屏幕尺寸的展示，支持根据PC、平板电脑、手机不同分辨率自适应呈现分析结果；支持用户发布和订阅报表，每个用户可对分享的报表进行留言，与报表发布人进行互动。140数据门户平台数据服务引擎：数据服务引擎是数据共享平台的数据服务引擎组件，是平台的基础，提供了标准的JDBC/ODBC访问的功能，负责对提交访问SQL的处理，负载和并发等处理。

数据资源管理：提供基础包含数据资源库管理、逻辑数据模型配置管理、指标统一管理和指标数据资源管理等基础数据资源配置功能。

数据共享管理：数据共享管理平台Web端的管理组件，提供数据资源共享管理、数据资源共享目录、申请单管理、用户管理等Web端的应用管理功能。

数据访问接口：数据共享管理平台的标准接口，本次项目提供标准的JDBC/ODBC访问，支持帆软、PowerBI等第三方软件的对接访问。

数据共享应用：提供数据资源的数据查询和某著名企业端的数据展现的功能，为数据共享的延伸应用。

135合计95总体规划建设方案项目报价010203CONTENTS成功案例03某金融客户自助分析项目架构BPS代发薪业务系统手机银行报表个人贷款业务应用层BE集群部署BE服务数据源业务层GPOracleExcel多维分析数据模型报表发布数据抽取数据源接入数据查询报表自助开发可视化组件数据分析数据预处理查询引擎Presto内存计算Spark分布式存储Hive行业管理驾驶舱财私业务报表项目应用1、当前该客户业务量为：单日新增数据300w，核心业务数据表量级为千万—百亿级别。采用BE，五台集群、分析性能达到，单表57686267条数据，单列查询0.2秒2、完整的用户权限控制，控制当前26个二级行，420个网点，926个用户的数据权限，实现数据安全下放。3、实现科技部数据开发SQL脚本，通过产品流程化配置即可