以企业级数据仓库(EDW)推动可持续的业务价值.pdf

以企业级数据仓库 EDW 推动可持续的 业务价值 Mark Cooper 博士 技术研究员 FedEx Services 概述 FedEx Corporation 及其 企业数据仓库 实时信息处理 数据集市整合 集成信息的价值 企业服务质量指标 以数据仓库作为关键竞争优势 本次演讲的主要目的是提供信息来帮助您最大 程度地实现商业智能资源的价值 FedEx 公司 1973 年开始运营 总部设在美国田纳西州孟菲斯市 2009 财年营业额达 355 亿美元 每天的装运量为 800 万 服务遍布 220 个国家 地区 280 000 名员工和承包商 660 架专用飞机 80 000 辆运输车 每天处理数亿项电子交易 快递 地面运输 货运 服务 办公室 客户中心 智能邮递 贸易网络 FedEx 企业数据仓库 FedEx 企业数据仓库 是一个综合的综合的综合的综合的 跨部门公司跨部门公司跨部门公司跨部门公司信息库 在整个公司中用于对业务的管理和运营 支持业务流程 推动业务决策 提供大型项目支持 促进运营公司一体化 当前配置 49 7 节点 NCR 5400 5450 5500C 服务器 Teradata 12 0 数据库 每天加载超过每天加载超过每天加载超过每天加载超过 5 亿条记录亿条记录亿条记录亿条记录 批量 微批量 交易 30 多个主要源系统 客户端 服务器 大型机 800 多张表 无加载窗口无加载窗口无加载窗口无加载窗口 集成数据分布 7 000 多个数据仓库用户 指定用户 销售人员 应用程序用户 40 多个高级多个高级多个高级多个高级 VP 组织组织组织组织 7 家运营公司 5 个国际地区 每月 100 000 多次灵活查询 每月超过 160 万份报告 数十个数据源 始终不断改进 分布式数据采集 提供一个标准框架 使其他组能够加 载数据来提高开发能力 而无需增加 人员数量 简化流程 通过免除不必要的流程步骤和文案工作 缩短分析和开发时间 促进消费者而非生产商的工作促进消费者而非生产商的工作促进消费者而非生产商的工作促进消费者而非生产商的工作 元数据库 使数据更加易于理解和获 取 逻辑数据模型 为新的数据分析提供环境 改进需求 的收集和开发 并且便于进行重复数 据分析 培训 开展新的课堂课程 自助式 SQL 和 Teradata 培训 而且在授权之前要求 进行资格验证 利用数据仓库 实时信息处理 数据集市整合 集成数据的价值 成本 价值 实时信息处理 实时决策支持的出现 以战术和事件为导向 严格的查询响应要求 战略性和战术性查询并存 以客户和竞争需求 为导向 以技术手段为依托 技术为业务提供支撑 而业务反过来会推进技术 发展 业务业务业务业务 技术技术技术技术 技术支持循环 业务决策者访问实时信息业务决策者访问实时信息业务决策者访问实时信息业务决策者访问实时信息 方面的显著改进发挥了方面的显著改进发挥了方面的显著改进发挥了方面的显著改进发挥了 重要作用重要作用重要作用重要作用 这一点毋庸置疑这一点毋庸置疑这一点毋庸置疑这一点毋庸置疑 与如今的情况相比与如今的情况相比与如今的情况相比与如今的情况相比 过去在业务上过去在业务上过去在业务上过去在业务上 并没有实时数据系统可以使不同企业的决策者并没有实时数据系统可以使不同企业的决策者并没有实时数据系统可以使不同企业的决策者并没有实时数据系统可以使不同企业的决策者 利用基本相同的利用基本相同的利用基本相同的利用基本相同的 一组信息一组信息一组信息一组信息做出决策做出决策做出决策做出决策 如今如今如今如今 各种业务各种业务各种业务各种业务几乎都可以几乎都可以几乎都可以几乎都可以 实时获取大量数据实时获取大量数据实时获取大量数据实时获取大量数据 美联储主席 Alan Greenspan 在纽约国际金融研究所的演讲 2002 年 4 月 22 日 实时决策支持 到 2006 年 每个业务领 域的主导者都将通过实时 技术占据或巩固他们的市 场领导地位 Gartner 集团 在某种程度上而言仍在等待 评估实时数据需求 注意注意注意注意 实时数据处理的成本可能较高实时数据处理的成本可能较高实时数据处理的成本可能较高实时数据处理的成本可能较高 了解为响应实时数据将要了解为响应实时数据将要了解为响应实时数据将要了解为响应实时数据将要 采取的实时行动采取的实时行动采取的实时行动采取的实时行动 示例 市场营销计划 客户通过 创建新帐户 客户信息系统中创建了新记录 新客户的信息通过 JMS 通信机 制在 FedEx 中进行广播 JMS 消息由数据仓库接收 运行批量查询 生成新市场营销 计划的目标和监控组 示例 呼叫中心支持 客户通过 创建新帐 户 客户信息系统中创建了新记录 新客户的信息通过 JMS 通信机 制在 FedEx 中进行广播 JMS 消息由数据仓库接收 客户服务人员从数据仓库访问数据以 响应客户呼叫 重复数据的真实成本 建立和维护一个接口的成本大 约为 5 万美元 10 000 个接口的成本 5 亿 美元 任何字段变更都会随着时间的 推移引发一系列问题 加深编码库的复杂程度 开发时间延长 出错机率上升 App App App App App App App App App AppApp AppApp App App App App App App App App AppApp App 如今如今如今如今 将来将来将来将来 App CDS App AppAppAppAppAppAppApp XXXX CDS AppCDS AppCDS App Logical Data Model Common Data Services App CDS App AppAppAppAppAppAppApp XXXX CDS AppCDS AppCDS App Logical Data Model Common Data Services 降低降低降低降低 IT 成本成本成本成本 推进业务更快实现创收推进业务更快实现创收推进业务更快实现创收推进业务更快实现创收 降低应用程序的复杂程度 降低基础设施成本 减少数据占用空间 缩短开发时间 最大程度地减少数据复制 公共数据服务公共数据服务公共数据服务公共数据服务 数据架构目标 实现这种解决方案非常容易实现这种解决方案非常容易实现这种解决方案非常容易实现这种解决方案非常容易 确定重复数据 我们首先想到的是使用数据库字段名称 但在控制完善的数据仓库中 客户帐户编号 信息出现在 34 个不同的字段名称个不同的字段名称个不同的字段名称个不同的字段名称下 要知道具体情况的唯一办法就是查看数据本身要知道具体情况的唯一办法就是查看数据本身要知道具体情况的唯一办法就是查看数据本身要知道具体情况的唯一办法就是查看数据本身 account nbr acct nbr aggr cust nbr alt cust id num bill to cust nbr cf cust nbr cf decsn mkr acct nbr cf exp cust acct nbr cf exp shpr cust acct nbr cf payr cust nbr cf recp cust nbr cf sgl shpr acct nbr cf shp cust nbr cr cust nbr cust acct nbr cust id cust nbr cust nbr 9org payer cust acct nbr payor cust acct nbr payor cust nbr payr cust nbr pri acct nbr prim acct nbr reb acct nbr recp acct nbr recp cust nbr sgl shpr acct nbr ship cust acct nbr shp acct nbr shp cust nbr shpr acct nbr shpr cust nbr ss acct nbr 确定重复数据 确定企业重复数据的问题类似于在美国国会图书馆查找包含相同段落的书籍 我们已经利用数据仓库开发了 一种专有方法 用于确定重复 数据并对数据库重叠进行量化 结果 大量重复 确定了多个数据集市整合对象确定了多个数据集市整合对象确定了多个数据集市整合对象确定了多个数据集市整合对象 首要规则 最大程度地减少数据复制和传输最大程度地减少数据复制和传输最大程度地减少数据复制和传输最大程度地减少数据复制和传输 罗蕾莱的故事 数据集市以能够低价提供快速解决方案而 吸引人 成功往往伴随着模仿 每个新应用程序 每个集团或部门 提出的每个业务问题 模仿导致 成本猛涨和数据不一致 每个项目的维护开销 成倍增加 成本经常隐含在 部门预算中 整个公司的数据重复 有形成本有形成本有形成本有形成本 生产服务器 开发服务器 磁盘场 数据库许可证 最终用户工具许可证 ETL 工具许可证 DBAs 应用程序开发 持续的应用程序支持 维护成本 数据中心费用 业务需求支持 无形成本无形成本无形成本无形成本 数据不一致 管理信心 数据调节项目 网络和源系统开销 因资源转移导致机遇丧失的成本 数据集市的隐性成本 数据集市的实际成本 创建多个数据提取和转换应用程序的需要可能会耗创建多个数据提取和转换应用程序的需要可能会耗创建多个数据提取和转换应用程序的需要可能会耗创建多个数据提取和转换应用程序的需要可能会耗 用大量用大量用大量用大量 IS 组织资源组织资源组织资源组织资源 并且会并且会并且会并且会在管理上出现问题在管理上出现问题在管理上出现问题在管理上出现问题 70 的数据集市成本都分配到数据架构上的数据集市成本都分配到数据架构上的数据集市成本都分配到数据架构上的数据集市成本都分配到数据架构上 其中其中其中其中 50 的成本是的成本是的成本是的成本是每个数据集市的冗余成本每个数据集市的冗余成本每个数据集市的冗余成本每个数据集市的冗余成本 维护数据集市的成本在维护数据集市的成本在维护数据集市的成本在维护数据集市的成本在 100 万到万到万到万到 200 万万万万 美元之间美元之间美元之间美元之间 这些成本中的这些成本中的这些成本中的这些成本中的 35 到到到到 70 由各个数据集由各个数据集由各个数据集由各个数据集 市之间的市之间的市之间的市之间的冗余冗余冗余冗余所致所致所致所致 实际财务影响 整合数据的强大之处 信息可以通过两种方式而派生信息可以通过两种方式而派生信息可以通过两种方式而派生信息可以通过两种方式而派生 从数据本身 从主题域之间的关系 增量数据扩展能够实现增量数据扩展能够实现增量数据扩展能够实现增量数据扩展能够实现 指数级的信息生成指数级的信息生成指数级的信息生成指数级的信息生成 多个主题域 多个连接 新应用程序利用现有数据 临界线 增量业务价值远远超过增量投资 利用现有数据投资 补给 定价 定价分析 合同合规性 搬运 盈利能力 运营应变性 装运 客户 细分营销 利用现有投资 补给 定价分析 合同合规性 盈利能力 运营应变性 将现有数据结构和业务定义快速扩展到新的业务 条线 装运 客户 定价 搬运 细分营销 衡量服务质量 1987 年 FedEx 制定了其第一个 服务质量指标 SQI 加权关键绩效指标 KPI 系统 衡量对客户至关重要的功能 根据任务执行失败而导致的客户 不满程度进行加权 准时交付绩效从 95 增长至 99 7 而未出现明显的成本增加 FedEx长期以来对关键运营指标进行了细致的跟踪 以评估绩效情况并指 导持续改进的方向 项目项目项目项目权重权重权重权重 正确递送日最后一次服务失败1 错误递送日最后一次服务失败5 递送追踪1 客户再次投诉5 错失交付时点1 请求发票调整1 错过物件收取10 包裹损坏10 包裹丢失10 货品积压5 电话未接1 国际SQI指标1 企业报告机制面临的挑战 FedEx 公司绩效报告机制在过去曾经非常分散且复杂公司绩效报告机制在过去曾经非常分散且复杂公司绩效报告机制在过去曾经非常分散且复杂公司绩效报告机制在过去曾经非常分散且复杂 多家运营公司 不同的衡量标准 定义 间隔和交付机制 质量部门 报告中心 在服务质量和客户满意度这两个 关键衡量标准之间 没有可以起到 关联作用的数据或分析工具 企业服务质量指标 由服务体验领导部门定义 负责衡量质量 对多个现有 SQI 元素进行了改进 以反映客户期望和体验 由高级管理层推动 并且得到了从高级管理者一直到董事长的全力支持 80 多个客户接触点指标 涉及多个业务领域和运营公司 快递 地面运输 货运 客户服务 办公室 服务 利用数据仓库 中已有的 大量数据 从客户的角度进行运营绩效分析从客户的角度进行运营绩效分析从客户的角度进行运营绩效分析从客户的角度进行运营绩效分析 ESQI 优势 集中 一致的绩效报告机制 以客户为中心对运营绩效进行衡量 利用标准化基础设施和指标 更加精准地对服务交付 进行评估 使高级管理层能够清楚地了解整个公司的服务质量 支持每个运营公司的特殊报告需求 使使使使 FedEx 解决方案能够解决方案能够解决方案能够解决方案能够 超出销售业绩指标超出销售业绩指标超出销售业绩指标超出销售业绩指标 50 以上以上以上以上 成果是提升了客户体验成果是提升了客户体验成果是提升了客户体验成果是提升了客户体验 突出自身优势 所有公司都能够进行数据仓储和复杂的分析 领先的 存留下来的 公司通过以下方式突出自身优势 提高分析的完善度 追求流程的创新 利用现有的能力 善于分析的竞争