大数据管理与应用概论 课件 第二章 大数据管理的职能

2.1大数据管理的职能对大数据管理的认识随着大数据技术的发展以及大数据的广泛应用，我们对大数据管理的认识经过了如下三个阶段。数据存储阶段数据应用阶段数据资产阶段数据是数据，是我们管理的对象大数据管理的核心任务是收集数据，将数据存储在数据库或数据仓库中数据是知识，是企业决策的使能器大数据管理的核心任务是从数据中挖掘共性规律和模式，用来支持组织决策数据是资产，是企业重要的无形资产大数据管理的核心价值是资产确权、资产评估、资产变现等大数据管理职能框架对象视角的管理职能使能视角的管理职能资产视角的管理职能大数据系统管理大数据项目管理大数据管理成熟度评估从管理对象、决策使能和数据资产等不同视角，企业的大数据管理需要完成不同的管理职能。这些职能不是孤立的活动，而是以更好地服务企业战略为目标的系统工程。对象视角的管理职能将数据视为企业的管理对象，大数据管理是采集、集成、管理、应用和清除数据资源的业务活动的总和。从管理对象的视角，数据管理的任务是通过相关数据管理活动，使得数据达到利益相关者对数据可用性、数据质量和数据安全的需求。目标一：理解企业和利益相关者的数据需求目标二：获取、存储、保护并确保数据资产的一致性目标三：持续改进数据的质量目标四：保证隐私和机密性，阻止未授权的使用目标五：最大化数据资产价值的有效利用DAMA数据管理10大职能对象视角的管理职能国际数据管理协会（DataManagementAssociation，DAMA）对每项职能的活动及其交付物进行了明确界定。以数据治理职能为例：数据管理计划主要交付物理解企业数据战略需求战略企业需求发展和维护数据战略愿景、使命、总线、案例、目标、目的、原则、组件、度量、实现路线图建立数据专业角色和组织数据管理服务组织和人员识别并任命数据管理专员数据治理委员会；数据管理专员委员会；数据管理专员团队建立数据治理和管理制度组织业务数据管理专员；协调数据管理专员；执行数据管理专员制定并审核数据政策、标准和程序数据政策；数据标准数据管理流程审阅和批准数据架构采纳的企业数据模型相关的数据架构计划和发起数据管理项目和服务数据管理项目；数据管理服务评估数据资产价值和相关成本数据资产价值估算；数据管理成本估算数据管理控制主要交付物监督数据专业组织和工作人员数据管理服务组织和人员协调数据治理活动数据治理组织的计划，会议，议事日程，文档，会议记录管理和解决数据相关问题问题记录；问题解决方法监控和确保遵守法律法规合规报告；违规问题监控和确保符合数据政策、标准和架构政策/标准/架构/流程交流违规问题监督数据管理项目和服务

沟通和宣传数据资产的价值

对象视角的管理职能国际数据管理协会（DataManagementAssociation，DAMA）对每项职能的活动及其交付物进行了明确界定。以数据架构管理职能为例：职能活动主要交付物理解企业信息需求关键信息需求列表开发和维护企业数据模型企业数据模型包括：主题域模型；概念模型；逻辑模型；术语字典分析和配合其他业务模型信息价值链分析矩阵包括：实体/功能；实体/组织和角色；实体/应用定义和维护数据技术架构数据技术架构（技术、分布、使用）定义和维护数据整合架构数据整合架构；数据血缘关系/数据流；实体生命周期定义和维护数据仓库/商务智能架构数据仓库/商务智能架构定义和维护企业分类和命名空间企业分类法；XML命名空间；内容管理标准定义和维护元数据架构元数据架构对象视角的管理职能国际数据管理协会（DataManagementAssociation，DAMA）对每项职能的活动及其交付物进行了明确界定。以数据开发管理职能为例：职能活动主要交付物分析信息需求信息需求规格说明书开发并维护概念数据模型概念数据模型图和报告开发并维护逻辑数据模型逻辑数据模型图和报告开发并维护物理数据模型物理数据模型图和报告开发数据建模和数据库设计标准数据建模标准数据库设计标准审阅数据模型和数据库设计质量设计审阅结果管理数据模型版本和整合模型管理内容和库实现开发和测试数据库的变更开发和测试数据库环境；数据库表；其他数据库对象建立和维护测试数据测试数据库；测试数据职能活动主要交付物设计物理数据库数据定义规格说明书OLAP多维数据集规格说明书设计信息产品应用屏幕展示；应用报表设计数据访问服务数据访问服务设计规格说明书设计数据整合服务源-目标对应关系；ETL设计规格说明书；转换设计迁移和转换数据迁移的和转换的数据建立和测试信息产品信息产品；屏幕展示；报表建立和测试数据访问服务数据访问服务（接口）建立和测试数据整合服务数据整合服务（ETL等）验证信息需求验证的需求；用户的确认准备部署数据用户培训；使用文档对象视角的管理职能国际数据管理协会（DataManagementAssociation，DAMA）对每项职能的活动及其交付物进行了明确界定。以数据操作管理职能为例：职能活动主要交付物实施和控制数据库环境产品数据库环境维护管理产品数据库的更改和发布获取来自外部的数据外部数据规划数据恢复数据可用性服务水平数据恢复计划

备份和恢复数据数据库备份和日志；恢复数据库；业务连续性确定数据库性能服务水平等级数据库性能服务水平监控并调整数据库性能数据库性能报告数据库性能规划数据留存方案数据留存方案；存储管理程序归档、留存和清除数据归档的数据；留存的数据；清除的数据职能活动主要交付物

支持专用数据库地理空间数据库；CAD/CAM数据库；XML数据库；对象数据库理解数据技术需求数据技术需求定义和维护数据技术架构数据技术架构评估数据技术工具评估发现；工具选择决定安装和管理数据技术安装的技术备案和跟踪数据技术使用许可许可证库存支持数据技术使用和问题已确定的；已解决的技术问题对象视角的管理职能国际数据管理协会（DataManagementAssociation，DAMA）对每项职能的活动及其交付物进行了明确界定。以数据安全管理职能为例：职能活动主要交付物理解数据安全需求及监管需求数据安全需求和监管

定义数据安全策略

数据安全策略定义数据安全标准数据安全标准定义数据安全控制及措施数据安全控制和措施管理用户、密码和用户组成员用户账户；密码；角色群组管理数据访问视图与权限数据访问视图；数据资源权限监控用户身份认证与访问行为数据访问日志；安全通知警告；数据安全报告划分信息密级分级别的文档；分级别的数据库审计数据安全数据安全审计报告对象视角的管理职能国际数据管理协会（DataManagementAssociation，DAMA）对每项职能的活动及其交付物进行了明确界定。以数据质量管理职能为例：职能活动主要交付物建立和提升数据质量意识数据质量培训数据治理流程数据管理专员委员会定义数据质量需求数据质量需求文档剖析、分析和评估数据质量数据质量评估报告定义数据质量测量指标数据质量度量文档定义数据质量业务规则数据质量业务规则测量和验证数据质量需求数据质量测试用例职能活动主要交付物确定并评估数据质量服务水平数据质量服务级别持续衡量和监控数据质量数据质量报告管理数据质量问题数据质量问题记录清洗并纠正数据质量缺陷数据质量缺陷解决记录设计并实施数据质量管理操作程序运营数据质量管理流程监控数据质量管理的操作程序和绩效运营数据质量管理度量对象视角的管理职能国际数据管理协会（DataManagementAssociation，DAMA）对每项职能的活动及其交付物进行了明确界定。以参考数据和主数据管理职能为例：职能活动主要交付物

理解参考数据和主数据的整合需求

参考数据和主数据的整合需求识别参考数据和主数据来源及贡献者数据源和贡献者描述以及评估

定义和维护数据整合架构参考数据和主数据整合架构以及路线图；数据整合服务设计规格说明书实施参考数据和主数据解决方案参考数据管理应用和数据库；主数据管理应用和数据库；数据质量服务；用于一般应用的数据复制和访问服务；用于数据仓库的数据复制服务定义和维护数据匹配规则匹配规则记录（功能规格说明书）职能活动主要交付物

建立“黄金版本”记录可信的参考数据和主数据；交叉引用数据；数据血缘关系分析报告；数据质量报告定义和维护数据层次及关联关系层级和关联关系定义

计划和实施新数据源的整合数据源质量和整合评估；被整合的新数据源复制和分发参考数据与主数据数据副本管理参考数据和主数据的变更变更请求流程；变更请求和响应；变更请求度量

建立“黄金版本”记录可信的参考数据和主数据；交叉引用数据；数据血缘关系分析报告；数据质量报告对象视角的管理职能国际数据管理协会（DataManagementAssociation，DAMA）对每项职能的活动及其交付物进行了明确界定。以数据仓库和商务智能管理职能为例：职能活动主要交付物理解商务智能的信息需求数据仓库商务智能项目需求定义和维护数据仓库/商务智能架构数据仓库商务智能架构实施数据仓库和数据集市数据仓库；数据集市；联机分析处理；数据立方体

实施商务智能工具和用户界面商务智能工具和用户环境；查询和报表制作仪表盘；记分卡；分析应用等处理商务智能所需数据可访问的数据整合详细的数据质量反馈监控并调整数据仓库的处理过程数据仓库性能报告监控并调整商务智能活动和性能商务智能性能报告新建的索引新建的聚合对象视角的管理职能国际数据管理协会（DataManagementAssociation，DAMA）对每项职能的活动及其交付物进行了明确界定。以文档和内容管理职能为例：职能活动主要交付物规划文档/档案管理文档管理策略和路线图实施文档/档案管理系统的获取、存储、访问与安全控制文档/档案管理系统；门户；纸质和电子版本的文档备份和恢复文档/档案备份文件；业务连续性保留和转储文档/档案存档的文件；受管理的存储审计文档/档案管理文档/档案管理审计定义并维护企业信息分类和命名空间企业分析规范（信息内容架构）建立信息内容元数据文档/索引被索引的关键词；元数据提供内容访问和检索门户；内容分析；杠杆化的信息治理信息内容的质量杠杆化的信息对象视角的管理职能国际数据管理协会（DataManagementAssociation，DAMA）对每项职能的活动及其交付物进行了明确界定。以元数据管理职能为例：职能活动主要交付物理解元数据的需求元数据需求定义并维护元数据架构元数据架构开发和维护元数据标准元数据标准实现受控的元数据管理环境元数据度量整合元数据整合的元数据存储库管理元数据存储库受管理的元数据存储库管理原则、实施、策略分发和交付元数据元数据分发；元数据模型和架构查询、报告和分析元数据元数据质量；元数据管理运营分析；元数据分析整合元数据整合的元数据存储库使能视角的管理职能将数据视为管理决策的使能器，大数据管理是面向管理决策问题的问题理解、数据准备、模型构建、决策支持等业务活动的总和。从决策使能的视角，数据管理的任务是通过相关数据管理活动，获取数据中蕴含的知识，从而有效的支持企业的管理决策。目标一：理解管理决策所面临问题的表象及其本质目标二：集成相关数据并对数据进行预处理目标三：构建并选择有效的数据分析模型目标四：应用模型分析结果支持管理决策使能视角的管理职能问题是指实际现象与预期之间有偏差的情形。当一些不寻常的事情发生，或当实际的结果偏离预期目标时，便可能产生了“问题”。表象：员工离职率高问题：福利待遇低？没有晋升机会？上下级关系紧张？人岗不匹配？……爱因斯坦：“提出一个问题往往比解决一个问题更重要，因为解决问题也许仅是一个数学上或实验上的技能而已，而提出新的问题、新的可能性，从新的角度去看旧问题，却需要有创造性的想象力，这标志着科学的真正进步。”问题理解使能视角的管理职能理解了需要解决的管理问题，我们需要准备有助于问题解决的各种数据。数据准备主要包括数据集成和数据预处理等活动。数据整合多表数据多源数据数据转换单位不一致数量级一致任务方法数据清洗忽略元组法、数据补齐发、噪音识别法、数据离散化法数据转换Min-Max法、Z-Score法数据约简抽样方法、主成分方法、相关性分析、决策树归纳数据约简属性约简样本约简数据清洗缺失值噪音使能视角的管理职能基于准备好的数据，模型构建的任务是根据决策问题的需求构建相关模型，对模型效果进行评估，并最终选择决策支持所用模型。案例：数据挖掘辅助癌症预测20万病例，77个变量人工神经网络、决策树、逻辑回归等方法K折交叉检验方法进行模型测试决策树预测准确率最高（93.6%），其次是人工神经网络（91.2%），最低的是逻辑回归（89.2%）小结本节的主要内容大数据管理的认识大数据管理的职能框架对象视角的大数据管理使能视角的大数据管理2.1大数据管理的职能2.2大数据资产估值与交易大数据资产定义数据资产（DataAssets）是指由特定主体拥有或者控制，能够被计算机识别，并且能带来经济利益的信息资源。依托性多样性价值易变性可加工性非实体性个人数据企业数据关系数据数据主体工业数据农业数据医疗数据应用行业第一方数据第二方数据第三方数据获取方式大数据资产价值维度影响数据资产价值的因素主要从数据资产的收益和风险两个维度考虑，数据资产的收益取决于数据资产的质量和数据资产的应用价值。数据资产的质量是应用价值的基础，对数据的质量水平有一个合理的评估，有利于对于数据的应用价值进行准确预测。质量维度应用维度风险维度数据资产质量价值的影响因素包含真实性、完整性、准确性、数据成本、安全性等数据资产应用价值的影响因素包含稀缺性、时效性、多维性、场景经济性。数据资产的风险主要源自于所在商业环境的法律限制和道德约束难点一：资产价值随着不断的加工而改变难点二：价值随着使用次数与人数而改变难点三：价值随着用户的不同存在差异难点四：数据质量相同可能产生不同的价值难点五：数据资产权属分析比较复杂大数据资产价值维度案例：科技大数据价值评估科技大数据是一类能够反映人类科技活动状态和过程的信息资源，可以支持人类洞察新思想、发现新规律、发明新技术、开发新产品。价值类型科研院所高等院校科技企业政府机构使用价值洞察新思想、发现新规律、发明新技术洞察新思想、发现新规律、发明新技术、培养创新人才发明新技术、开发新产品、创新新模式、制定新政策制定新政策象征价值科学研究和社会服务的实力和地位科学研究、人才培养、社会服务的实力和地位市场的竞争地位国家的战略形象大数据资产价值维度案例：科技大数据价值评估科技大数据是一类能够反映人类科技活动状态和过程的信息资源，可以支持人类洞察新思想、发现新规律、发明新技术、开发新产品。大数据资产价值维度案例：科技大数据价值评估科技大数据是一类能够反映人类科技活动状态和过程的信息资源，可以支持人类洞察新思想、发现新规律、发明新技术、开发新产品。科技大数据多元价值链模型与价值评估方法，工程管理科技前沿，202241(3):31-38大数据资产估值方法数据资产价值的评估方法包括成本法、收益法和市场法三种基本方法及其衍生方法。成本法收益法市场法根据形成数据资产的成本进行价值评估通过预计数据资产带来的收益估计其价值根据相同或者相似的数据资产的近期或者往期成交价格大数据资产估值方法关于数据价值的评估，目前业界已有多个数据资产评估模型落地。其中，影响力最大是Gartner的数据估值模型体系（InformationValuationModels）。大数据资产估值方法关于数据价值的评估，目前业界已有多个数据资产评估模型落地。其中，影响力最大是Gartner的数据估值模型体系（InformationValuationModels）。内在价值（IntrinsicValue）：数据资产的潜在可能价值。它主要衡量数据资产的准确性和完整性，以及其他组织获取该数据资产的可能性。业务价值（BusinessValue）：数据资产应用于具体业务时产生的效用，它强调数据资产对业务的适用性和及时性。绩效价值（PerformanceValue）：数据资产对业务绩效目标（如KPI）的影响。绩效价值关注使用该项数据资产能在多大程度提升业务绩效。成本价值（CostValue）：用来评估数据资产在获取过程中的财务成本，也可用来评估数据资产损毁或丢失的财务风险，其作用类似于成本法下的数据资产评估。市场价值（MarketValue）：数据资产在公开交易市场上的财务价值，作用类似于市场法下的数据资产评估。经济价值（EconomicValue）：收益法下的数据资产财务价值减去其使用周期中产生的费用。大数据资产估值方法内在价值衡量的是数据资产的正确性和完整性，以及其他组织拥有它的可能性。这表明，更专有或排他性的高质量和可用数据具有更大的内在价值潜力。内在价值是以下方面的函数:有效性（Validity），记录被认为是正确的百分比；完整性（Completeness），总记录与潜在或假设记录的百分比；稀缺（Scarcity），市场或竞争对手可能也有相同数据的百分比；生命周期（Lifecycle），数据资产的任何给定单位(记录)的合理可用性。大数据资产估值方法优点：是可用的最简单的数据评估模型。数据质量因素可以通过自动分析和基本的市场了解来确定。它可以帮助快速比较不同数据资产的潜力，识别数据质量、数据隐私或数据治理问题，或者识别不应该保留的数据。缺陷：不考虑数据实际或潜在与任何实际商业目的的相关性。大数据资产估值方法业务价值考虑了数据资产对实际业务使用的效用(与内在价值不同)。它解决了数据的好坏程度、对业务的适用程度以及数据的最新程度。通过业务价值，可以方便地了解数据在现实世界中的潜在好处。业务价值是以下方面的函数：相关性（Relevance），数据对一个或多个业务流程的有用程度(0到1)；有效性（Validity），记录被认为是正确的百分比；完整性（Completeness），总记录与潜在或假设记录的百分比；及时性（Timeliness），捕获和访问数据的新实例或更新实例的速度有多快。大数据资产估值方法优点：业务价值将数据与实际业务价值联系起来。实现相对简单，可以考虑实际和潜在的场景。缺陷：业务相关性可能是非常主观的，可能需要进行耗时的分析来确定。大数据资产估值方法绩效价值着眼于数据资产对业务目标的已实现或估计的影响，业务目标表示为关键性能指标(KPI)。该方法回答了以下问题：拥有这些数据能在多大程度上提高业务性能?

PVI是一个简单的比率，通过合并给定的数据资产来计算KPI改进，在任何给定数据实例的可用生命周期进行推断。或者对于多个KPI，总体业绩绩效可以表示为个体业绩绩效的平均值:i=使用数据资产的业务流程实例(知情组)；c=不使用数据的业务流程实例(控制组)；n=测试测量的不同kpi的数量；T=任何数据实例的平均可用寿命；t=衡量KPI的持续时间。大数据资产估值方法优点:是硬性的、经验的测量，是一个很好的预测或金融措施。它介绍了一个不需要进行业务功能级分析的场景。缺陷：需要运行一个或多个实验，可能涉及系统或流程更改。数据集成到流程中的方式会影响结果。它没有考虑将数据合并到流程中的费用。大数据资产估值方法成本价值是将数据资产作为生成、捕获或收集数据所需的财务费用进行评估。亦可表示当此数据资产变得不可用(例如，损坏、丢失)或被盗(特别是复制)时对业务的影响。当数据资产没有活跃的市场且其对收入的贡献不能充分确定时，这种方法是首选的。此外，该模型还可用于评估数据资产损坏、丢失或被盗的潜在财务风险。ProcExp=捕获数据所涉及的流程的年化成本；Attrib=可归因于获取数据的过程费用的部分

；T=任何给定数据实例的平均寿命；t=测量过程费用的时间段；n=直到数据被重新获取，或直到业务连续性不再受丢失或损坏的数据影响的时间间隔。大数据资产估值方法优点：成本价值是评估数据替换成本和如果丢失、被盗或损坏的负面业务影响的最佳方法。会计人员喜欢用这种更保守、更稳定的方法评估大多数无形资产的初始价值。缺陷：一些因素需要评估和主观性。这些成本很可能已经被支出，因此CVI仅仅通过将数据从费用转为资产来表达数据的价值。大数据资产估值方法市场价值着眼于数据资产在开放市场中的潜在或实际财务价值。数据货币化是在贸易伙伴之间进行交易，以换取现金、货物或服务，或其他考虑，如优惠的合同条款和条件。然而，越来越多的公司直接通过托管的数据市场或特定行业的数据代理来销售他们的数据。市场价值是以下方面的函数：ExclusivePrice=独家价格；NumberofPartners=缔约方数量；Premium=溢价。大数据资产估值方法优点：市场价值对确定可销售或可交易的数据资产的价值是最有用的。它还可以用于确定数据产品的价格点，或者进行调整以确保对数据产品收取可接受的许可费用。挑战：对于非市场数据资产，它不是特别适用或有用。它包括高度主观的因素，可能需要广泛的市场分析。数据资产的独占价格可能很难确定或估计。大数据资产估值方法经济价值采用传统的收益法进行资产评估，然后减去与数据的生命周期费用，从而产生数据资产的财务净值。该方法与绩效价值方法一样，是对数据资产实际价值的实证计算。因此，它更多的是一个落后指标，而不是数据价值的领先指标——除非第一个收入期能够被充分估计。经济价值是以下方面的函数：Revenuei=使用数据资产产生的收入(知情组)。Revenuec=不含数据资产的收入(控制组)。T=任何给定数据、实例或记录的平均预期寿命。t=执行经济价值实验的时间。大数据资产估值方法优点：经济价值是一种对数据对顶层和底层贡献的实证分析。除了在以多种方式复制和应用数据时确定与数据相关的费用外，不需要进行功能分析。缺陷：需要现场实验和估算数据成本的能力。许多传统的企业领导仍然对尝试数据创收过程的概念不太认可。经济价值是一个跟踪指标。小结本节的主要内容大数据资产定义大数据资产价值维度大数据资产估值方法2.2大数据资产估值与交易2.3大数据资产交易大数据商业模式相同的数据资产，由于其应用领域、使用方法、获利方式的不同，会造成其价值差异。因此对数据资产商业模式的关注，可以帮助资产评估专业人员了解数据资产活动。提供数据服务模式：该模式的主营业务为出售经广泛收集、精心过滤的时效性强的数据，为用户提供各种商业机会。提供信息服务模式：该模式通过广泛收集相关数据、深度整合萃取信息，以庞大的数据中心加上专用的数据终端，形成数据采集、信息萃取、价值传递的完整链条，通过为用户提供信息服务的形式获利。数字媒体模式：数字媒体公司通过多媒体服务，面向个体，广泛搜集数据，发挥数据技术的预测能力，开展精准的自营业务和第三方推广营销业务。数据资产服务模式：提供全方位数据开发和运行保障服务，满足用户业务需求，提升客户营运能力。通过评估数据集群运行状态优化运行方案，帮助客户将数据资产转化为实际的生产力。数据空间运营模式：该模式主要为第三方提供专业的数据存储服务业务。数据资产技术服务模式：该模式为第三方提供开发数据资产所需的应用技术和技术支持作为商业模式。大数据产品类型市场上交易的数据产品包括初级数据产品、中间数据产品和最终数据产品三种类型。北京数据交易所数据产品类型多层次数据产品类型大数据产品类型案例：飞常准，国内首个提供民航数据分析服务的专业平台提供历史准点率、延误率、延误分析等服务。定期发布航空公司及机场发展趋势报告、机队分析报告、市场洞察报告等。根据客户需求定制辅助性分析报告及解决方案。航班实时追踪、行程规划工具、航班动态服务、航班舒适度指数。飞常准:做一门有关飞行数据的生意机场“大改造”：飞常准的航旅数据生意飞常准：用数据提升机场效率，挖掘用户时间价值大数据产品类型案例：上海市，普惠金融公共数据开放系统大数据资产交易平台在《大数据发展行动纲要》等政策的引导下，我国政务大数据和行业大数据的开放、共享和交易得到了创新性发展。国内代表性数据交易所包括贵阳大数据交易所、上海数据交易所、北京国际大数据交易所、广州数据交易所等。大数据资产交易平台国内各大数据交易中心采取差异化的运营和盈利模式。交易中心（平台）运营模式盈利模式数据领域上海数据交易中心综合服务模式免费、数据增值服务费金融、文娱、交通、商业贵阳大数据交易所综合服务模式会员费、交易费、数据金融佣金、数据增值服务费金融、教育、环境、法律、医疗、交通、商业、工业东湖大数据交易中心综合服务模式销售收入、数据增值服务金融、环境、法律、医疗、文娱、交通数据宝综合服务模式数据增值服务模式金融、交通、商业、气象浙江省数据开放平台开放共享模式免费金融、财税、地理、法律、教育、气象、医疗、工业、农业、环境、就业等北京市政务数据资源网开放共享模式免费金融、财税、地理、教育、医疗、农业、环境、就业、文娱、商业等京东万象交易撮合模式数据增值服务费金融、文娱、交通、人工智能、商业数据堂综合服务模式销售收入、数据增值服务费环境、地理、文娱、交通、人工智能阿凡达数据综合服务模式销售收入、数据增值服务金融、生活服务、交通、文娱大数据资产交易平台开放共享模式：以政府公共数据为基础，为社会大众或各类组织提供免费下载和公共服务，并可通过第三方的创新服务开展数据交易。开放共享模式具有公益性特征，运营主体由政府来承担。交易撮合模式：为数据供需双方提供交易撮合，本身不存储和分析数据，平台监管交易过程。（“淘宝”模式，例如，Databroker平台）综合服务模式：提供集数据汇聚、开发利用、交易流通为一体的综合服务。（“京东”模式，例如，Factual交易平台）大数据资产交易平台政府主导模式以政府意志为主，国有控股、民企参与的方式组建数据交易中心，动力源于政府的积极推动与支持。政府主导模式的特点是数据资源主要来源于政府及部分公共事业单位、参股企业、自主获取等。优势：拥有稳定、可靠的公共数据，有利于充分利用已有设施与资源，调动政府、企事业单位积极性，保证数据供应的量和质，避免市场过度逐利产生的违法违规行为。案例：贵阳大数据交易所有限公司大数据资产交易平台市场主导模式市场主导的设立模式一般是由民营企业或市场化程度高的国有企业控股，动力源于数据要素的市场机会。其特点是中心（平台）的数据资源主要依靠自己的途径获取。优势：市场主导的模式的优势是机制灵活，创新意识和主动服务意识强，产品形态更加丰富，用户体验感更好，如界面更友好、互动性更强、数据标准化程度更高。案例：湖北华中大数据交易所大数据资产交易平台案例：上海数据交易所上海数据交易所以构建数据要素市场、推进数据资产化进程为使命，承担数据要素流通制度和规范探索创新、数据要素流通基础设施服务、数据产品登记和数据产品交易等职能，致力于打造全球数据要素配置的重要枢纽节点。大数据流通交易生态体系数据要素的价值释放离不开大数据流通交易生态体系的建设。例如，上海数据交易所一直致力于构建多层次数据要素市场，打造全链条数商生态体系，不断培育和规范新主体，构建更加繁荣的流通交易生态。东湖大数据构建大数据产业创新联合体，通过数据产业生态的培育和发展，形成更加立体化的多维数据生态架构。东湖大数据产业创新联合体上海数据交易所数商生态大数据流通交易的问题大数据流通交易市场规模加速增长，大数据流通交易体制机制不断完善。与此同时，我国大数据流通交易体系建设依然面临诸多问题。问题一：数据进场交易的意愿不足问题二：权属不清，交易成本上升问题三：未能形成统一的定价标准问题四：核心技术创新不足支撑不够问题五：缺乏有效治理，阻碍数据流通问题六：部分交易机构活跃度并不高问题七：数据拥有主体多，资源整合难问题八：数据要素交易市场同质化明显问题九：监管政策缺少对交易机构的约束问题十：跨学科数据人才缺乏小结本节的主要内容大数据商业模式大数据产品类型大数据交易平台大数据生态体系大数据流通难题2.3大数据资产交易2.4大数据系统管理大数据系统管理背景体量大、类型多、实时性是大数据的重要特征，这些特征使得大数据的管理不能采用单一的信息系统架构，需要采用分而治之的方式，为每种类型的数据设计特点的管理方法。另一方面，传统的数据分析架构无法适应大数据的上述特点，需要设计高效的分布式架构对数据进行分析计算。大数据管理系统的挑战从数据在信息系统中的生命周期看，大数据从数据源开始，经过分析、挖掘到最终获得价值一般需要经过多个主要环节，每个环节都面临技术挑战。处理环节挑战数据收集将具有分布式、异构性、多样化及流式产生特点的数据收集到一起数据存储数据存储层的扩展性、容错性及存储模型资源管理与服务协调

leader选举、服务命名、分布式队列、分布式锁、发布订阅功能等计算引擎不同场景下具有不同要求的计算任务数据分析大数据的海量性和异构性等特征数据可视化大数据具有容量大、结构复杂和维度多等特点大数据管理系统架构为了应对大数据管理的上述挑战，企业通常会依据自己的数据战略以及已经拥有的数据基础架构等，来建设自己的大数据系统。Hadoop给出了一个收集、存储和分析大数据的框架，目前很多大数据管理系统都是以该框架为基础进行构建。由Apache基金会开发的大数据分布式系统基础架构，是Apache基金会的开源项目。大数据管理系统架构HDFS（HadoopDistirbutedFileSystem）是Hadoop分布式文件系统。其设计理念主要是用来对GB甚至TB级别的大文件进行存储并能够高效访问，文件存储能够运行在普通的硬件上，即使硬件出现故障，也可以通过容错策略来保证数据的完整性。大数据管理系统架构MapReduce是面向大数据并行处理的计算模型、框架和平台。由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法。Google公司设计MapReduce的初衷主要是为了解决其搜索引擎中大规模网页数据的并行化处理。大数据管理系统架构ApacheYARN(YetAnotherResourceNegotiator)是Hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在YARN上，由YARN进行统一地管理和资源分配。大数据管理系统架构下图给出了一个基于Hadoop框架搭建的大数据管理系统架构，该架构主要包括大数据获取系统、大数据存储系统与计算平台、大数据分析与计算工具、可视化以及服务接口等组成。大数据存储管理大数据环境下，SQL和NoSQL代表两种常见的数据库类型。SQL代表结构化查询语言，主要用在关系型数据库管理系统中。NoSQL指的是“没有SQL”（不使用SQL来查询）或者不仅仅是SQL（使用SQL和非SQL查询方式）。大数据存储管理键值数据库是一种非关系数据库，它使用简单的键值方法来存储数据。键值数据库将数据存储为键值对集合，其中键作为唯一标识符。大数据存储管理列族数据库将数据存储在列族中，而列族里的行则把许多列数据与本行的“行键”关联起来。列族数据库是一种能快速执行跨集群写入操作并易于对此扩展的数据库。大数据存储管理文档数据库是一类典型的非关系型数据库。“文档”是文档数据库中的主要概念。此类数据库可存放并获取文档，其格式可以是XML、JSON、BSON等。大数据存储管理图数据库以图论为基础，用图来表示一个对象集合，包括顶点及连接顶点的边。图数据库使用图作为数据模型来存储数据，可以高效地存储不同顶点之间的关系。大数据存储管理分类典型应用场景数据模型优点缺点键值数据库内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等。键指向值

的键值对，通常用Hash表来实现查找速度快数据无结构化，通常只被当作字符串或者二进制数据列族数据库分布式的文件系统以列簇式存储，将同一列数据存在一起查找速度快，可扩展性强，更容易进行分布式扩展功能相对局限文档数据库Web应用（与键值对类似，值是结构化的，不同的是数据库能够了解值的内容）Key-Value对应的键值对，值为结构化数据数据结构要求不严格，表结构可变，不需要像关系型数据库一样需要预先定义表结构查询性能不高，而且缺乏统一的查询语法。图数据库社交网络，推荐系统等。专注于构建关系图谱图结构利用图结构相关算法。比如最短路径寻址，N度关系查找等很多时候需要对整个图做计算才能得出需要的信息，而且这种结构不太好做分布式的集群方案。小结本节的主要内容大数据管理系统的挑战大数据管理系统架构大数据存储管理2.4大数据系统管理2.5大数据项目管理大数据项目管理大数据要在组织管理与决策中发挥作用，核心问题是需要采取哪些步骤来确保数据项目能够从规划阶段成功走到执行阶段。要实现数据落地应用的目的，获取数据分布式处理技术能力以及系统架构专业知识固然重要，大数据项目相关的因素也同样重要，而这些因素往往在探索新技术的过程中被忽视。因素一：结合企业战略，理解问题因素二：选择适合的软件解决方案因素三：分析并应对项目风险因素四：组建大数据项目团队因素五：实现健壮、可维护的架构和解决方案大数据项目管理的类型了解组织要构建什么，以及在设计可靠的解决方案时需要考虑哪些主要因素，是任何数据项目取得成功的基本条件。大数据项目主要包括如下三种类型。数据项目类型数据项目任务数据管道和数据暂存类项目大数据的提取-转换-加载型项目。涉及对数据的收集、暂存、存储等，其目的是为后续数据处理和分析提供基础。数据的处理和分析类项目目的是为企业提供有价值的决策支持，如生成报告、开发机器学习模型和算法等。应用程序开发类项目提供能够实时支持业务需求的数据框架，例如Web应用程序或移动应用程序的数据后端等。大数据项目成功的关键特征实施大数据项目的初衷通常是利用大数据更好地支撑管理决策。因此，成功的大数据项目通常具有如下特征：项目目标清晰。与企业战略目标和运营模式相一致、内部认识统一。项目规划完善。项目实施之前对项目功能规划清晰，对项目实施进程严格把控。技术选择合适。技术并非越先进越好，适合企业的技术才是最好的技术。员工技能合格。员工专业知识和能力符合大数据项目的要求。示范效果良好。大数据项目发挥作用是一个逐步推进的过程。在特定应用中取得显著效果，有助于后续项目推进。大数据项目失败的原因大数据项目与企业战略脱节。企业大数据项目没有明确的目标，没有把大数据项目与企业战略和运营模式有机融合。大数据商业用例不明确。大数据项目要实现的功能不明确，需要为企业提供哪些决策支持、需要哪些数据、需要构建怎样的模型等问题不清晰。无法发掘出大数据的特殊价值。在数据分析过程中无法充分发挥量大、多模态、多维关联等大数据特征带来的优势，无法从大数据中获取大价值。企业内部对大数据项目无共识。企业不同层级对大数据作用的认识不一致，前期可能为员工带来更多的工作负荷，导致大数据项目拖延推进或无人应用等问题。缺乏项目所需的核心技术。大数据项目对企业员工的数据意识和技术能力提出了更高的要求。如果企业员工无法达到相应要求，在后续使用过程中往往无法达到预期目标。大数据项目实施案例正泰集团：传统制造企业的数字化转型之旅1.正泰集团是怎样的一家企业？2.正泰集团为什么要进行数字化转型?内外部驱动因素是什么？3.正泰集团在数字化转型过程中遇到了哪些阻力与障碍？4.正泰集团做了哪些战略性回应以克服阻力与障碍?5.如何理解正泰集团大数据平台运营逻辑?大数据项目实施案例1．正泰集团是怎样的一家企业？围绕能源“供给-存储-输变-配售-消费”体系，以新能源、能源配售、大数据、能源增值服务为核心业务，以光伏设备、储能、输配电、低压电器、智能终端、软件开发、控制自动化为支柱业务，打造平台型企业，构筑区域智慧能源综合运营管理生态圈，为公共机构、工商业及终端用户提供一揽子能源解决方案。大数据项目实施案例2.正泰集团为什么要进行数字化转型?内外部驱动因素是什么？外部驱动因素：PTST分析政治（Political）：德国工业4.0、中国制造2025。经济（Economic）：数字经济已经成为国民经济的新业态。在“互联网下半场”，制造业拥抱数字技术成为必然趋势。社会（Social）：人们对美好生活的向往。技术（Technological）：数字技术具有天生的颠覆性，继续守成已经无法应挑战，只有顺数字化趋势，及时调整战略，打造数字化能力，才在新的环境下生存。内部驱动因素：集团创始人的前瞻性战略眼光以及企业自身成长的要求。大数据项目实施案例3.正泰集团在数字化转型过程中遇到了哪些阻力与障碍？个人阻力：个人利益与舒适区的障碍不确定性和不安全感、知觉的选择性、对熟悉事物的偏好在数字化转型启动之初，集团内部除最高领导人之外的几乎所有员工都没有表现出对转型的认同，他们或认为会威胁已有权力与地位，或认为会改变稳定的现状怕自己无法适应而淘汰，再加上对数字化转型未来的不明晰而更愿意维持现状。组织阻力：科层级组织的障碍正泰长久以来建立的科层制组织架构下的部门墙、与客户打交道的界面等惯有组织路径成为数字化流程改造中的障碍。大数据项目实施案例4.正泰集团做了哪些战略性回应以克服阻力与障碍?设置首席数据官（CDO）。邀请从组织外部邀请了信息化专家负责集团数字化转型。选择轻资产转型模式。以整合管理型数据为起点，以让集团上下看到数字化能够带来的实际价值。在“生产智能化”阶段，选择两个明星产品生产线为试点进行智能化改造。通过教育沟通转变员工认识。董事长亲自出马+外部咨询专家数字化培训组织结构平台化变革。自上而下的变革，建立委员会模式和共享中心。大数据项目实施案例5.如何理解正泰集团大数据平台运营逻辑?原有的管理系统和生产系统是否能够获得所需数据？如何进行数据集成？数据集成的关键是什么？如何面向不同业务需求开发数据模型？组织结构如何匹配大数据战略？正泰集团大数据平台运营逻辑图正泰集团组织平台化数据管道和暂存类项目任务数据管道和数据暂存类项目是3个数据项目类型中范围最广的，因为它涉及从外部数据源到目标数据源的整个路径，并为构建数据解决方案的其余部分奠定基础。需要关注的任务包括七个方面。源数据收集方法的选择针对数据收集与存储的风险管理数据传递保证数据的管理和治理延迟和传递确认针对数据传递的风险管理目标数据的访问模式数据处理和分析类项目数据的处理和分析是指对数据管道和数据暂存项目中的数据进行转换和分析，以提取有用的价值。根据CRISP-DM流程，数据处理和分析类项目的任务包括六个方面。业务理解：项目的起点是企业战略和业务需求。数据理解：用何数据、数据在哪里、有何特征数据预处理：噪音、缺失值、约简模型构建：构建面向业务需求的决策支持模型模型评估：评估模型的效果，选择效果最好的模型应用部署：应用模型支持决策，应用效果反馈应用程序开发类项目前两类项目关注数据收集和数据学习，而应用程序开发与部署使用数据向内部或外部提供服务的应用程序有关。这类项目应关注的事项有：廷迟和吞吐量：执行一个操作需要多长时间，系统每秒可处理多少个操作?局部状态和一致性：如果系统在多个地区可用，那么它是如何进行复制的?它是孤岛式的、最终一致性的还是强一致性的？系统可用性：系统在发生故障和故障恢复方面有哪些特点?大数据项目的技术选型在实施大数据项目的过程中，企业的技术选型需要的因素包括：企业自身情况。自身业务需求、内部团队需求、风险承受能力、员工技能水平等。内外部专家建议。企业内部技术专家，企业外部顾问。专业分析机构见解。参考Gartner和ForresterResearch等行业分析公司的报告。市场技术发展趋势。从专业论坛、谷歌趋势、GitHub活动情况、行业和学术会议报告等活动中分析技术和市场的发展趋势。小结本节的主要内容大数据项目管理的类型大数据项目成功失败的特征大数据项目的技术选型2.5大数据项目管理2.6大数据管理能力成熟度评估CMM与CMMICMM（CapabilityMaturityModelforSoftware）即软件能力成熟度模型，90年代美国卡内基梅隆大学的软件工程研究所提出的一项重要标准。CMM的核心是把软件开发视为一个过程，并根据这一原则对软件开发和维护的过程进行监控和研究，以使其更加科学化、标准化，使企业（或组织）能够更好地实现商业目标。

CMMI（Capability

Maturity

Model

Integration）即能力成熟度模型集成，在CMM的基础上建立起包括软件工程、系统工程和软硬件采购等在内的诸多模型的集成。CMMI不但包括了软件开发过程改进，还包含系统集成、软硬件采购等方面的过程改进内容。CMMI国际通用，用于评价软件企业而非个人。CMMI详解初始级：组织开发的软件是不稳定的，开发过程中的计划、预算、功能和质量都是具有不确定性。管理级：组织已经营造出稳定的、受控的开发环境，项目是在受控状态下运行。定义级：组织对项目的实施不仅有一整套合理的管理措施，还要将这套管理体系与流程予以制度化、标准化，并推广到全组织。定量管理级：组织的项目管理不仅形成了一种制度，而且要实现数字化的管理。持续优化级：项目管理达到了最高的境界。能够主动地改善流程，运用新技术，实现流程的优化。数据管理能力成熟度国际标准CMMI-DMM数据管理能力成熟度评估模型由卡耐基-梅隆大学旗下的CMMI协会开发，DMM模型用25个过程域，描述了企业数据管理应建立的各项能力。类别过程域类别过程域数据管理战略数据管理战略、沟通、数据管理功能、业务案例、项目资助数据治理治理管理、业务词汇表、元数据管理数据质量数据质量战略、数据分析、数据质量评估、数据清洗数据操作数据需求定义、数据生命周期管理、供应商管理平台与架构架构方法、架构标准、数据管理平台、数据集成、历史数据、归档和保留支持流程度量与分析、过程管理、过程质量保证、风险管理、配置管理数据管理能力成熟度国际标准CMMI-DMM数据管理能力成熟度评估模型由卡耐基-梅隆大学旗下的CMMI协会开发，DMM模型用25个过程域，描述了企业数据管理应建立的各项能力。根据CMMI-DMM数据管理能力成熟度评估模型，企业数据管理的能力主要分为五个层次，从低到高分别是可执行级、可管理级、已定义级、可量度级和优化管理级数据管理能力成熟度国际标准Gartner企业信息管理成熟度模型由Gartner公司提出，将企业数据管理成熟度划分为六个阶段来进行定义，分别是：0无认知阶段，1有认知阶段，2被动回应阶段，3主动回应阶段，4已管理阶段，5高效管理阶段。数据管理能力成熟度国际标准Gartner企业信息管理成熟度模型由Gartner公司提出，将企业数据