大数据服务平台

大数据服务平台目录CONTENTS服务平台架构数据采集治理大数据分析大数据可视化经典案例服务平台架构01应用应用一开发生态征询服务服务数据湖泊分子数据原子数据分布式数据平台产品共享中心治理中心开发中心……顾客数据过程数据评价数据……顾客门户流程中心规则中心……能力开放平台服务框架消息队列缓存服务事务离线计算流计算实时计算搜索计算存储网络数据库安全应用二应用三应用四应用五应用六大数据平台服务架构数据治理人工智能数据洞察流计算可视化大数据平台层数据存储计算网络爬虫数据发现规则解析器融合数据批量采集实时采集实时消息数据地图数据共享数据质量数据原则批处理查询非构造化列式数据库分布式文献系统资源管理交互式查询分布式计算内存计算全文搜索数据挖掘机器学习算法库模型库数据探索记录分析敏捷BIOLAP实时分析实时数据库流数据处理数据流规则数据看板移动/微应用实时大屏关联分析大数据服务功能模块数据源（管理、交易、事务、传感、监控、文献……）数据获取和治理大数据存储大数据分析计算处理大数据可视化数据驱动决策数据提供服务大数据服务处理流程数据采集治理02大数据平台层大数据交换汇集平台融合数据网络爬虫共享服务大数据基础平台数据治理存储计算搜索引擎运维管理大数据可视化平台可视化设计关联分析根因分析大数据智能分析平台人工智能数据洞察流计算数据采集及治理原始数据源数据采集互换区数据湖全种类数据采集满足大数据应用多种场景需求多种技术手段，平台化系统，迅速布署，统一管理支持全兼容巨量数据混合架构存储原始构造数据文献数据流式数据互联网数据数据采集互换及存储数据治理战略业务、政策规则、标准组织、角色质量、安全数据架构管理企业数据模型数据关联关系价值链分析数据处理架构数据质量管理规范分析度量改进数据开发分析建模设计实施数据操作管理获取恢复调优保留清除数据安全管理标准分级管理授权审计参考数据与主数据管理外部规范内部规范对象数据环境数据维度管理数据仓库和BI管理架构实施培训与支持监控与调优文档和内容管理获取和存储备份、恢复内容管理检索保留元数据管理架构整合控制交付以数据治理为关键旳数据资产管理体系数据比对规则行业规则数据/元数据标准数据关系管理数据清洗比对参照规则多源数据中心前置缓存自动/人工比对反向清洗数据中心资源维护阶段数据中心中心资源治理阶段数据整合阶段数据字典数据依标准的格式转换数据采集数据传输数据标准管理数据质量管理数据资产管理规则定义与管理大数据治理化繁为简大数据治理特色可视化智能建模设计数据融合可视化分析主数据整合、清洗敏感数据自动识别、保护开放服务数据共享规范、统一的数据标准体系建设自动化元数据采集多粒度元数据分析灵活的检核规则配置规范的质量管理流程大数据分析03人工智能数据洞察流式计算大数据分析建模数据挖掘属性筛选分类预测回归预测聚类分析关联分析时间序列属性筛选属性重要性打分基于信息增益的属性打分主成分分析决策树分类回归树神经网络分类支撑向量机分类分类组合模型多元线性回归神经网络回归支撑向量机回归回归组合模型K均值聚类分布估计聚类基于K均值的层次聚类购物篮分析属性关联分析序列模式分析ARX时间序列ARMA时间序列基于卡方检验的属性筛选朴素贝叶斯贝叶斯网络逻辑回归广义线性回归两阶段聚类统计分析描述性统计数据探测异常检测层次聚类方差分析归纳分析列联表相关分析分布估计函数拟合因子分析单因子方差分析双因子方差分析样本层次聚类属性层次聚类K-sigma异常检测线箱图异常检测离散化大数据分析算法大数据分析算法支撑大数据洞察分析大数据人工智能大数据可视化04我旳报表数据建模RDBMS组件库Excel/CVS实时数据其他数据源实时分析数据适配接口实时计算多维分析（OLAP）数据存储安全管理可视化编排自助式分析事件引擎自助式分析GIS引擎运行引擎工程化管理主题/布局管理数据源及建模基础管理资源管理可视化设计数据分析引擎数据看板交互式可视化WEB界面高级数据可视可视化应用数据可视化应用搭建过程大数据可视化服务架构HBaseHDFS数据存储ZookeeperYarn（分布式资源管理）Elasticsearch分布式数据存储融合数据（ETL）实时采集批量采集校验与清洗TableauQlikView

可视化系列…

InsightMiner数据分析系列智能分析平台SAS、SPSS

RapidMiner分布式缓存层（Alluxio、Redis）数据共享(Publication)数据运维(Console)自动化部署集群配置监控管理告警管理性能管理安全管理租户管理备份管理分布式计算引擎批处理MapReduce内存计算Spark流处理StormHive、SparkSQL、Phoenix、Impala、HAWQ、presto、SparkStreaming、Kylin存储设计数据计算数据治理XE