企业数字化转型全域数据平台能力规划建设方案

企业数字化转型全域数据平台能力规划建设方案（PPT）整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行2023年目录1、全域数据平台能力规划2、数据应用能力建设3、数据能力分步演进策略整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行全域数据平台建设–需求与目标功能覆盖我们需要一个什么样的数据平台？什么样的数据架构？去满足对数据收集、处理、管治、应用的全域需求？固化的需求数据格式的技术类型（关系型数据库、文件、接口流式数据）数据处理的技术工具组件（数据库、大数据平台、数据采集工具、检索分析挖掘算法、数据可视化工具）数据治理的手段和模式（数据标准、数据质量规则、数据巡检、数据生命周期管理、元数据管理）业务数据类型扩展（企业内部的IT系统建设、业务类型拓展）非固化需求数据应用需求扩展（外部系统对数据的应用的需求，种类和数量需求，不可预期）数据量的增加（基于现有系统的数据线性增长、新业务数据体量的增加）架构支撑固化技术性功能，模式匹配业务驱动功能，组合新增组件化引擎，规则适配弹性化拓展，能力组合数据平台能力建设-全域数据平台蓝图运营管治域数据应用层数据加工层源数据层元数据管理数据标准管理数据质量管理数据生命周期管理数据指标管理数据安全管理数据资产管理数据运营保障结构化数据半结构化数据非结构化数据流式实时数据贴源企业数据湖实时数据Hub主题数据基础数据主数据数据检索集市主题分析集市数据探索集市报表型集市

数据应用报表服务决策分析专题分析AI探索数据查询实时指标监控多层聚合数据仓库平台ETL运维支撑域任务调度资源管理用户管理服务管理权限管理巡检管理监控管理运维管理参数管理运营管理日志管理消息通知实时数据订阅数据开放平台数据中台域数据服务配置工具分析挖掘算法设计工具自助报表分析开发工具数据模型设计配置工具ETL数据配置转换工具研发支撑域流式数据计算配置工具数据采集配置式研发工具实时数据流采集数据库采集统一数据采集文本文件采集流式文件采集二进制文件采集检索服务应用服务分析服务企业数据服务应用服务检索服务分析服务数据平台能力建设-数据管治平台数据资产战略数据应用与服务数据管理保障机制促进支撑实现支撑数据战略与规划数据组织与职责数据制度与管理流程数据服务管理数据需求管理数据产品管理数据服务访问管理数据架构管理数据标准管理数据质量管理元数据管理数据指标管理数据生命周期管理数据安全管理文档与内容管理①管控治理框架数据平台能力建设-数据管治平台②管控治理功能架构整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行数据平台能力建设-数据管治平台③能力建设核心目标组织目标：建立适配的数据管理团队和角色组织体系，可以根据数据规模和应用范围，灵活伸缩。制度目标：针对数据特性，建立一套符合发展趋势的企业数据管理制度，制度可根据发展不断更新；流程目标：制度执行保障，流程规范，其执行状态可以电子流或者手动流程，但流程的过程必须有数据沉淀可追溯工具目标：一套自动化，低操作门槛的数据管理工具，实现数据的全生命周期过程的管理宏观目标：为数据提供组织、流程、制度和工具保障，推进企业数据的资产化，让数据从成本向利润转化微观目标：基于数据的生命周期，建立一套保障其质量的元数据、数据标准、数据质量、数据生命周期管理、数据安全的能力，并通过有效的事后检核，暴露问题，并追踪问题的解决元数据：建立元数据库，实现元数据标准化，并实现元数据的日常检核和问题跟踪；建立元数据关联，实现血缘追溯和影响分析。数据标准：引入国际、国家和行业标准，并根据企业业务特性，梳理自定义的业务数据标准；数据质量：实现数据质量规则库，梳理各类型业务质量规则，实现常态化数据质量检核，出具报告并追踪问题的解决；数据生命周期管理：从数据产生，到消亡，整个过程实现状态的追踪，以及状态变化的定义和检核，比如：数据备份、数据归档、数据消亡；

基于数据基础状态及企业的业务特性，建立一整套数据应该遵循的标准和质量规则，同时实现数据向标准化和合规化转换治理，并且构建能维持和保障实现长效治理目标的一系列组织、制度和流程!数据平台能力建设-数据中台数据应用层数据加工层源数据层贴源企业数据湖数据探索集市经营分析集市数据检索集市报表集市报表统计应用投资分析用户全景画像信息检索价格走势实时舆情数据监控多层聚合数据仓库平台实时交易数据订阅拍卖系统内部数据媒体系统交易系统拍卖数据外部数据舆情数据媒介数据………...交易系统拍卖系统媒体系统……实时数据HUB艺术品主题拍卖主题用户主题交易主题舆情主题…….业务主题集市转换、清洗、加载主题实时数据1主题实时数据2主题实时数据3……...…实时数据服务数据集市数据应用……知识图谱实时数据流采集数据库采集统一数据采集文本文件采集二进制文件采集流式文件采集拍卖数据舆情数据媒介数据…...作者主题①中台功能框架比对评估实时舆情服务层数据开放平台投资分析实时舆情知识图谱企业数据服务用户画像决策分析报表统计............全域数据平台建设-数据中台应用层存储处理层数据源层实时数据采集在/离线数据采集贴源企业数据湖（数据湖集成组件Kylo+数据湖存储和分析组件易鲸捷数据库

）数据检索集市（HadoopImpala+ES）经营分析集市（Mysql）数据探索集市（HadoopSpark）报表集市（Mysql）数据应用微服务（自助配置式应用服务：SpringBoot+HttpRestful服务接口/WebService服务接口）数据可视化组件（D3、Echarts、Highcharts）数据分析挖掘组件（Spark）多层聚合数据仓库平台实时数据HUB缓存（Kafka集群）业务主题集市（HadoopHDP）ETL组件（Kettle、Informatic）数据集市数据应用关系型数据库文本型文件二进制文件数据流关系型数据库采集适配组件（Sqoop、Kettle、Informatic）文本型文件采集适配组件（FTP+文本加载工具）二进制文件采集适配组件（FTP）流式数据采集适配组件（Restful数据接口、Flume）流式计算（Storm集群）主题关系型数据仓库（Mysql/开源GreenPlum）主题大数据型数据仓库（HadoopTrafodion+Kylin）机器学习组件（浅度学习SparkMllib+深度学习googleTensorflow）自助报表分析工具（Brio、Congos..）服务层②中台技术框架全域数据平台建设-数据开放平台数据开放平台投资分析用户全景画像信息检索交易价格走势……知识图谱价值比对评估实时舆情数据API开放接口数据开放应用数据微应用第三方系统第三方网站系统第三方营销系统......2C个人用户2B企业用户系统集成接口调用用户体验应用访问1、全域数据平台能力规划2、数据应用能力建设3、数据能力分步演进策略数据应用能力建设–知识图谱能力建设知识图谱建设方案与策略数据治理主数据资产管理建设知识图谱构建数据中台服务共享目标：完成数据的深度治理实施，资产化转变1、完善现有数据及关联事件维度数据模型：2、对关键描述属性字段进行程序和人工的修补治理，保证这些信息和数据处于行业的独一无二的完善性地位；1、建立数据管理及重大事件的数据知识图谱逻辑模型;2、构建知识图谱技术平台，完备各技术组件；3、知识图谱实施，建立行业最完备的知识体系，最大幅度提升资产价值1、利用数据中台的开放服务，有步骤对基础数据及基于这些基础数据上的应用，逐步开放；2、核心建立以API微服务为基础的数据开放模式；3、在数据上直接建立应用，用户可直接体验目标：以主数据模式实现对数据的长效管理1、构建主数据平台，对数据实现“一品一档”的资产式管理；2、调整数据模型，建立事件关联模型；3、建立主数据的更新同步机制目标：建立知识图谱，实现全生命数据的融合目标：实现知识数据的外放共享，推进资产变现第一步第二步第三步第四步数据应用能力建设–用户画像及个性化推荐能力建设用户画像是海量数据的标签化，帮助企业更精准解决问题他们是谁？他们的需求？他们的行为？我们的用户价值大小？如何进行产品定位？如何优化用户体验？如何进行精准投放？海量数据用户标签解决问题用户画像的建设价值数据应用能力建设–用户画像及个性化推荐能力建设用户画像的建设过程Step

02Step

01Step

04Step

03Step

06Step

05确认目标营销/产品/定位？头脑风暴用户矩阵、关联规则，获取可能的人物标签收集数据属性、行为、CRM等定义标签动机/轻重度/消费/生活形态等人群分类因子分析-聚类分析-交叉分析优先级排列频率/市场大小/收益的潜力/竞争优势或策略等数据应用能力建设–用户画像及个性化推荐能力建设用户标签体系基于用户人群的基本属性，可将标签体系进行划分人口属性性别年龄职业婚姻状况学历教育……商业人口属性工作岗位公司规模行业类型……行为属性访问媒体访问时长访问频次……兴趣标签个人爱好生活习性生活方式生活社交服务需求消费意向物品购买商旅购买汽车购买CRM客户状态会员状态生命价值拥有产品根据所得用户标签，对用户进行特征归类，搭建用户画像整合用户标签用户群体分类建立用户画像70%使用iPhone鲸鱼用户中价值用户低价值用户高价值用户特征分析月消费金额>1000元60%为IT行业数据应用能力建设–用户画像及个性化推荐能力建设用户标签构建画像数据应用能力建设–用户画像及个性化推荐能力建设个性化推荐能力模式-千人千面的个性化智能推荐拓扑访客标签化标签库主数据画像访客画像标签匹配主数据访客标签库标签映射交易/旧用户群画像交易画像历史匹配聚类信息匹配历史交易/已知特征用户样本训练库专家依赖2C网站……访客行为信息关联画像行业标签访客标签映射转换规则协同过滤标签化标签化主数据信息画像手机App标签化数据数据应用能力建设–用户画像及个性化推荐能力建设核心技术-基于内容的核心推荐算法假设用户A喜欢物品A和物品C，用户B喜欢物品A，物品B和物品C，用户C喜欢物品A，从这些用户的历史喜好可以分析出物品A和物品C时比较类似的，喜欢物品A的人都喜欢物品C，基于这个数据可以推断用户C很有可能也喜欢物品C，所以系统会将物品C推荐给用户C。基于内容的协同过滤推荐：，使用所有用户对物品或者信息的偏好，发现物品和物品之间的相似度，然后根据用户的历史偏好信息，将类似的物品推荐给用户。基于用户的协同过滤推荐：根据所有用户对物品或者信息的偏好，发现与当前用户口味和偏好相似的“邻居”用户群，在一般的应用中是采用计算“K-邻居”的算法；然后，基于这K个邻居的历史偏好信息，为当前用户进行推荐假设用户A喜欢物品A，物品C，用户B喜欢物品B，用户C喜欢物品A，物品C和物品D；从这些用户的历史喜好信息中，我们可以发现用户A和用户C的口味和偏好是比较类似的，同时用户C还喜欢物品D，那么我们可以推断用户A可能也喜欢物品D，因此可以将物品D推荐给用户A数据应用能力建设–用户画像及个性化推荐能力建设核心技术-内容标签构建内容获取，包括应用名，URL等，如果是URL，需要采用网络爬虫对该URL的内容进行爬取和分析。建立内容标签体系，对内容进行统一管理。内容标签主要有三类：受众与定位标签、内容分类标签、内容标签。建立内容标签体系，对内容进行统一管理。内容获取，网络爬虫或人工分类方式。人工或者自动为用户访问的内容打上相应的内容标签。用户访问网页识别应用识别网络爬虫内容识别网站、应用识别自动分类标签人工分类标签热门标签内容爬虫文本处理机器学习自动标签数据应用能力建设–用户画像及个性化推荐能力建设核心技术-用户标签构建基于用户行为内容数据，通过分词等技术进行解析，处理后以结构化的形式存储，对用户使用习惯、内容偏好等一系列属性进行分析挖掘，以用户需求和特征把握为出发点，为不同的用户打上内容特征标签。通过数据服务为其他业务或第方营销系统或广告平台提供支撑。热点应用排行用户应用偏好……上网行为分析从浏览量、浏览用户数、流量、时段等维度分析各种类型的应用排行，准确掌握流量的应用分布和效益；分析有哪些第三方业务能够通过合作和推广提高流量收益；每天抓取热门软件下载排行榜等内容，提供向用户推荐的内容。热点内容排行用户内容偏好热点网站排行……上网内容分析上网时段上网方式流量分布……上网方式分析根据用户访问网站的记录分析出用户最关注和最常访问的网站和栏目，了解用户整体关注点；按主题分类，针对特定类型网站，比如阅读类网站进一步细分访问内容的类型；根据内容标签为用户打上内容偏好标签从用户上网时段、上网方式、访问站点、流量等维度分析用户的上网行为，准备掌握用户的上网习惯，以便根据用户习惯在合适的时间推荐合适的内容，提高推荐转化率；数据基础用户网络访问标签库灵活的标签分类及配置数据应用能力建设–用户画像及个性化推荐能力建设核心技术-用户基本信息挖掘分析对基本的性别、年龄、消费能力等关键特征，结合基础的数据挖掘算法，形成了符合特征的计算模型。以性别为例：三个算法交叉验证，提高精准度，准确度可达80%以上决策树模型特征示例：访问日志访问内容分类分析方法2方法3模型训练姓名分词分类访问内容文本特征变量学习样本访问行为决策树模型访问行为决策树模型模型训练交叉验证方法1海量的文本bayes性别分类词库示例：数据应用能力建设–用户画像及个性化推荐能力建设核心技术-保证标签准确性和完备性用户响应、反馈迭代优化用户行为分析内容标签模型沉淀用户属性个性化推荐、智能运营等应用用户标签体系标签智能优化闭环可以基于国内外已成熟的用户特征分类划分理论，借鉴国内外知名网站的内容Tag体系，结合自有运营经验和技术积累，建立具备自有业务特征的、行业领先的标签体系。标签算法：基于Ontology的兴趣计算模型如何完备的标签体系特点：无“冷启动”问题，亿级用户的标签沉淀标签更新机制，根据业务发展不断增减，根据使用反馈不段优化采用多算法A/B测试技术，确保标签准确性数据应用能力建设–用户画像及个性化推荐能力建设核心建设步骤及策略完善用户行为数据采集建设用户主数据平台用户画像及个性化推荐能力建设目标：完成全量用户行为数据的采集，完善用户行为特征数据1、从用户触点处，实现前后端对用户全量数据的采集；2、建立统一的用户行为数据模型，并统一所有系统的行为数据协议标准，实现用户行为数据的统一融合；1、基于用户主数据，建设用户标签体系;基础属性构建基础标签、行为属性构建习惯喜好标签2、利用用户标签，对用户进行业务全景画像塑造；3、打造个性化