阿里云大数据体系建设整体方案介绍

阿里云大数据体系建设认识分享CONTENTCOO/CFO定位：DT时代需要更上一层楼的数据基础设施定位：DT时代需要更上一层楼的数据基础设施数据孤岛时代大量临时统计，支撑时效难以保证多数需求是体力劳动，数据价值难以体现多数需求是体力劳动，数据价值难以体现业务人员的日常操作与数据服务形式不匹配业务人员的日常操作与数据服务形式不匹配技术架构：混搭≈拼凑，带来安全、性能、运维诸多问题用用用大数据融合模型大数据基础模型大数据融合模型大数据基础模型大数据融合模型大数据基础模型用用用大数据融合模型大数据基础模型大数据融合模型大数据基础模型大数据融合模型大数据基础模型1.企业从被入侵到发现的平均时间为1.6年2.勒索病毒CryptoWall家族的一个变种就收到23亿赎金3.比特币挖矿的电力消耗已超越160个国家一年电力消耗的总和4.每天有323,000个新的恶意程序变种5.AndroidAPP恶意软件感染率高达7成6.实验：把监视器放在公开网络，平均每2分钟就被成功黑进一次52.40%发生安全事故占比没有安全投入企业占比（建议投入10—15%）开发“难”阿里巴巴集团首个云数仓，PB级数据集市层ADM通用数据模型CDM数据应用层数据集市层ADM通用数据模型CDM数据应用层源数据层ODSEDWODSEDWCDMOpenAPIOpenAPI报表服务HadesHadesagds淘宝数据挖掘淘宝数据挖掘多维分析数据银行门户多维分析数据银行门户IDE访问IDE访问crm/cifothersothers阿里巴巴为什么做数据中台-数据建设问题是导火线11、资源浪费，业务不满2、数据流无方向性3、数据管理无序，失控;阿里巴巴为什么做数据中台-“把业务的命栓在了数据上”一分钱，三个亿一次重跑，数据没了一张空表，停业一分钱，三个亿一次重跑，数据没了一张空表，停业26小时数据安全：数据安全：5次总裁会面，拿不到支付宝数据数据资产：100万张表v.s一份excel传家宝数据质量：Oracle准，Hadoop全，你要哪份？生产保障：金融风控团队无所事事阿里巴巴“登月工程”，史无前例的数据大汇聚动员所有BU参与，历史一年半，耗费数万人天；迁移几百PB数据，数千个应用，几十万份程序。阿里巴巴怎么做数据中台-集团数据公共层（阶段）tbcdm：公共层项目组完成的淘系中间层，包括DWD（明细层）和DWS（汇总层）数据tbbi：基于集团公共层基础之上ADS数据（应用层）数据中台DaaS数据中台DaaS淘宝淘宝专利天气……AE专利天气……AE妈妈优土UC高德LAZADA盒马 双向联动业务与产品&技术协同互助向上服务多样化场景通用产品+双向联动业务与产品&技术协同互助向上服务多样化场景通用产品+行业产品+专享产品向下屏蔽多计算引擎公共云+专有云+私有云从数据采集到数据服务全链路通主题式数据服务主题逻辑表屏蔽复杂物理表技术驱动数据连接基于超强ID主题式数据服务主题逻辑表屏蔽复杂物理表技术驱动数据连接基于超强ID识别技术连接数据数据规范定义从业务源头标准化统一数据服务一般查询+OLAP统一数据服务一般查询+OLAP分析+在线服务技术内核工具化超强ID识别、高效标签生产、···规范定义、建模研发、调度运维、···跨源数据服务屏蔽多种异构数据源业务驱动技术价值化孤岛跨源数据服务屏蔽多种异构数据源业务驱动技术价值化孤岛->高质量->高价值半自动化->智能化规划计算和存储数据架构体系(DWD）(DWD）OneData规范化架构以人为中心的四维标签体系，包括：自然属性、社会属性、兴趣偏好、行业消费偏好…以个人为核心的家庭、亲属、朋友、同事、校友等关系图谱以人为中心的电商购物、观看影视、欣赏音乐、出行定位、浏览资讯、阅读书籍、餐饮娱乐等全域行为中心I精确识别I精确识别“人”IIIIII立体刻画“人”人全方位分析“人”人精准触达“人”离线匹配服务在线匹配服务输出离线匹配服务在线匹配服务匹配匹配 ><协同识别网络环境网络环境文本APP兴趣地理位置行为周期设备相似度相似度相似度相似度相似度相似度相似度相似度node2vec特征HASH输入全媒体跨屏回信息增益类型推断归一化用户身份其他相似度word2vec输入特征全媒体跨屏流数据中台八大件 智能数据探查代码规则校验离线/实时数据智能数据探查代码规则校验离线/实时数据数据治理4实时分析 实时报表引擎数据计算组件4实时分析 实时报表引擎数据计算组件分析展示数据研发流式任务开发 智能监控报警数据汇聚数据汇聚离线数据同步实时数据采集离线数据同步实时数据采集互联网数据采集元数据上报同步数据填报端采集IOT采集元数据中心…数据集成详解支持关系型数据库、大数据存储、非结构化存储、NoSql支持关系型数据库、大数据存储、非结构化存储、NoSql数据库等26*41对同构异构数据源之间数据（数据库记录或者数据文数据源之间数据（数据库记录或者数据文件）的实时、分钟、小时、天级的同步，涵盖了90%的常用数据源。公公），），数据开发-调度系统详解可视化开发和运维智能标签-核心功能-标签工厂核心价值主要功能新产生标签CDR目标客户客户资产风险测评理财偏好新产生标签CDR目标客户客户资产风险测评理财偏好文本TQL算法配置OLT标签体系模型类标签建设-网商银行CASE模型类标签建设-网商银行CASE无无有当我们平台中的数据汇聚、加工的越来越多，以下问题也会频频出现：业务系统孤立，数据共享程度差纸质的标准制约能力差，数据有问题总是事后才知道该业务系统孤立，数据共享程度差纸质的标准制约能力差，数据有问题总是事后才知道该由谁去维护修正投入大量时间、资金和人力进行数据治理，效果却无法获知齐，上传上来的是一张空表或者无效字段，总靠人肉来判别数据治理数据治理oo•统一监管数据模型，定义并控制数据模型的标准唯一•抽象典型数据问题的处理方案，极大降低数据质量的处理成本123 123 数据治理-数据安全-制度与体系制度策略制度策略覆盖数据全生命周期数据治理-数据安全管理全貌……行为序列模型…用大数据做数据安全数据安全-数据分级数据资产管理-城市大脑CASE数据中台·PaaS产品大图 数据中台权限管理标签模型管理数据中台权限管理标签模型管理工具集数据集成数据开发监控运维实时分析数据管理数据质量))非结构化结构化批量飞天云操作系统夸父：远程过程调用女娲：分布式协同天基：系统监控列/块/对象/文件存储系统盘古：分布式文件系统（存储）伏羲：任务调度和资源管理IDC+2U服务器+网络北京，杭州，上海，青岛深圳，香港，新加坡，马来西亚，日本，澳大利亚，北美，欧洲，中东，印度混合云模式混合云模式API接口，工开发具一套架构体系，不同的部署环境一套架构体系，不同的部署环境数据决策分析自助分析Bi报表工具QuickBI数据大屏DataV标签工厂DTBoost盘盘流式任务开发库库库库机器学习ApsaraOS飞天操作系统：计算、内存、存储、网商业设计阿里巴巴自用、锤炼、孵化商业设计淘宝（天）淘宝（天）7.1688：阿里赋能中国百万的特色的夫妻店、小店升级为智慧小店。菜鸟（地）菜鸟（地）支付支付大文娱大文娱用户域、交易域、支付域、营销域、…理解云计算本质–公有云“众测”优化产品云计算是服务而不是软件，云服务是API而不是产品。数据自决策数据中台数据中台业务中台反馈闭环 私有云公有云60款-云服务200+款-云服务私有云架构的两种路线，同一架构支持扩展集成云架构原生云架构集成云架构管理系统管理系统管理系统虚拟网络虚拟网络大数据处理自研系统框架，“云一套基础架构（飞天+大数据+安全”共用)开源架构，云和大数据各自独立，无法获得一致性体验