第5章 电子商务中的数据仓库技术.ppt

第5章电子商务中的数据仓库技术 主要内容 CIF与电子商务识别电子商务用户电子商务与企业数据的整合数据仓库在电子商务中的应用 探索与变化 5 1CIF和电子商务 本节主要内容 CIF的组成部分定义电子商务体系结构需求理解点击流数据利用元数据转化语言来解释信息理解CIF和电子商务接口 5 1 1CIF组成部分 CIF 企业信息工厂 CorporateInformationFactory CIF基础设施包括以下组成部分 因特网 Internet 企业网站 CorporateWebSite 防火墙 Firewall 企业操作型系统 Corporateoperationalsystem 粒度管理器 Granualritymanager 企业数据仓库 Enterprisedatawarehouse 企业数据集市环境 Corporatedatamartenvironment 探索环境 Explorationenvironment 可选存储 近线存储环境 Alternativestorage nearlinestorageenvironment 企业操作型数据存储环境 Corporateoperationaldatastore 一 定义WEB环境 WEB环境三要素 Internet防火墙网站本身除了这些外 WEB环境还要包括一些内容 1 企业操作型系统企业操作型系统负责运行日常操作 这些操作通常是在某种媒介上进行 企业操作型系统主要用来管理事务 消费者或者代理可以直接提交这些事务 数据是通过集成 转化 I T 程序来提供的 I T程序也称作抽取 转化 和装载 ETL Extract Transform Load 程序 它们负责将这些来自许多程序的数据转化为一种统一的格式和结构 从而将电子商务数据无缝地集成到企业中来 2 粒度管理器粒度管理器是一种用于对网站数据进行预处理以便让数据进入CIF的软件 负责组织网站数据 以便这些数据可以有效应用于整个系统中 有些情况下 需要丢弃一些数据 而在另外一些情况下 则需要合并相似类型的数据 因此必须谨慎使用粒度管理器 以免破坏数据 3 企业数据仓库企业数据仓库 EnterpriseDataWarehouse EDW 位于整个处理过程的中心 所有数据都曾经存储在企业数据仓库中 包括 粒状数据历史数据集成数据企业数据 粒状数据这是最低的细节级 可以转化为不同的形式和结构 历史数据近5年的数据均可以保存 这些数据可用于直接分析 集成数据这种数据是消除了应用偏差的数据 企业数据通常包括这些数据 易于访问 易于修改 4 企业数据集市环境企业数据仓库包含了一些粒度非常小而非常详细的数据 一个组织内的不同部门需要根据特定需要查看不同形式组织的数据 这样就要建立物理上独立的数据库 数据集市 经常需要拥有自己的数据集市的部门 销售 用于销售报表 营销 用于确定市场潜力和渗透力 财务 用于在开支上进行下钻 会计 用于建立报表和修正 人力资源 用于满足管理需求 工程 用于提供产品跟踪 保险精算 用于风险管理 探索型数据仓库探索型数据仓库允许探索者随心所欲地进行大量探索处理 而不会对数据仓库环境的其他用户造成负面影响 来自WEB环境中的数据可以通过起一数据仓库进入探索型数据仓库 探索型数据仓库对WEB用户而言非常重要 当业务模式发生变化时 探索型数据仓库会最先并且最清楚地察觉到这些变化 6 可选存储虽然使用高性能磁盘存储 从技术上对企业数据仓库意义非常大 但是下列2个因素使得这种存储并不是最佳方案 数据仓库的信息量急剧增加 电子商务中非常明显需要将数据分类 经常使用的数据 很少使用的数据因此 有必要将EDW开展到高性能磁盘存储以外的介质上 即 可选二级存储 与高性能磁盘存储相比 可选存储比较廉价 但存取速度也较慢 当数据仓库被扩展到二级存储时 数据可以以最低节级 最高粒度存入数据仓库 7 操作型数据存储 ODS Web环境中 ODS OperationalDataStore 是CIF中最重要的结构之一 ODS的特征就是一种能够处理混合负载的操作系统和数据库管理系统 两种ODS类型 WebODS 存在于Web环境内部 核心部分是一台普通规模的计算机企业ODS 存在于CIF内部 核心部分是一台大型计算机这两种ODS分别针对不同的目的而设计 企业ODS是一个真正的 产业实力 处理器 它能够容纳比WEBODS多的数据 是一种 全局的 ODS WebODS只为源于Web服务器内部的事务提供服务 是一种 局部的 ODS 利用粒度管理器 ODS可以适应不同级别的数据粒度 0级 1级 2级 二 定义电子商务体系结构需求 什么是电子商务基础设施什么是点击流数据在web用户与网站交互过程中发生了什么行为和活动 这些行为和活动如何影响总的体系结构和模型 什么是信息和元数据转化语言 XML HTML和XHMTL语言如何作用于数据和元数据转化 应该如何来处理海量数据 建立电子商务基础设施在初始阶段 企业一般从一到两太用于支持网站的服务器开始 在创建电子商务环境的早期 网页主要包含了描述性的静态信息 随着业务不断扩大 使用多个服务器支持在线环境 收集Web日志信息和向用户传送任何类型的内容 为了满足需求 开始建立一个由企业本身控制的在线环境 首先考虑转移到代理服务器 当需要额外的服务器来处理特殊工作时 网站就会成为集中式的或者分布式的 5 1 2理解点击流数据1 点击流数据Web日志里包含的数据被称作点击流数据 是用户在与网站交互活动中产生的 Web日志包含了以下数据 Web用户的唯一在线标识符或者Internet地址用户来自哪里的网络用户用哪些查询来打开网页 Web日志的使用分为三种级别 三种粒度级别 所有级别都是ODS的一部分 0级 最低立地级别 在电子商务环境中表示为Web日志中包含的数据 用于及时分析 常驻在ODS中1级 包含0级数据的简单聚集 这种聚集是在与其他企业数据进行集成基础上创建的2级 包含那些被聚集或汇总的表主要用于报表 来自Web日志的数据可以以多种方式使用 作为即时分析的基础用于非即时分析 Web日志收集后的15分钟 1个小时 分析Web日志数据以获得关于网站客户的更多知识 识别形式 客户IP地址客户或用户标识符认证用户要素日期和时间戳关于统一支援定位符的服务器请求信息请求状态发送字节数 2 使用先前站点信息说明用户访问当前网站之前访问的那个网站的相关信息 3 与ODS结合起来Web 个性化引擎 内容服务器 两种操作型数据存储以及数据仓库之间的交互如图所示 5 1 3利用元数据转化语言来解释信息 企业应用集成 EAI 一种接口 它与不同平台和软件合作以便将数据集成到同一数据存储中 它为应用程序之间的交互提供了必要的基础 EAI策略需要的三种形式的软件 应用交换技术数据转化技术XML HTML和XHTML技术 四 理解CIF和电子商务接口 Web环境发送需要在操作型环境中执行的事务 Web环境通过粒度管理器传送数据到企业数据仓库中 Web环境通过ODS接受数据到网络服务器中 通向CIF的三种接口 发送事务到操作型环境中 数据经过粒度管理器 数据经过ODS 5 2识别电子商务用户 识别内部用户群体识别外部用户群体获得过程支持所有用户 5 2 1内部用户 分析型用户 农夫 出现在管理人员和业务计划小组中 有着一致的 定义完整的需求 旅行者 管理和行政级别上的用户 探索者 非传统的思考者 挖掘者 在大范围的 高度集中的数据集上进行深入研究 操作员 最普通的用户 终端用户群体 这类内部用户团体包含分析型用户 他们使用很多相同的业务智能工具 但是工作的协作特性还需要一些其他的工具 格式和通道 包括网站 点击流数据和遥测技术 工作组 通常由管理人员组成 其主要工作是送货和提供服务 实践团队 以分组学习活动 共享与工作有关的焦点问题为特性 5 2 2外部用户 业务合作伙伴有效的电子商务合作关系以综合的 用户可定制的服务为中心 包括个性化的界面 专门的定价 广泛的客户支持 技术信息 软件升级 产品配置工具 故障诊断支持 在线培训和认证课程 消费者商业人员要建立和客户之间相互满意的关系以获得客户的信任 就必须把重点放在为客户提供最满意的服务上 研究人员 最懂计算机的 注意力最集中和最顽强的一类人员 购物者 主要被价格和产品可用性等因素驱动 采购员 注意力更为集中的 目的性更强的购物者 社区在最好的环境下 社区 建立了一种对于产品供应方面的紧密关系和信任感觉 第一层好处 聚集个人的兴趣和活动另两个好处 社区作为CRM的目标社区作为协作的基础 5 2 3获得过程 获得过程 procurement 是指获得企业运转所需要的商品和服务 以及为流线型业务过程提供最为丰厚的回报的过程 将注意力集中在获得过程的业务用户 和与之对应的消费者相比 显著的不同有 购买优先级 定制功能选项的范围 供应链上的合作关系 5 2 4支持所有用户 知识管理和CIF 以结构化方式归档企业中所有的智能资产的过程 1 知识映射 作为知识管理的补充 是一种信息映射的扩展形式 2 培训和教育 要素 智能课程丰富的媒体集 5 3电子商务与企业数据的整合 粒度级别数据模型的作用模型之间的关系 5 3 1Web站点数据模型 主题域模型 企业逻辑数据模型 数据仓库和数据集市模型 Web站点ODS模型 企业ODS模型 主题域模型 用于更好地理解各个领域的情况 围绕的主题通常为 客户 产品 交易和财务 可帮助开发企业逻辑数据模型 企业逻辑数据模型 用于将不同主题域关联起来 可以用来设计数据仓库和ODS数据模型 www Uski4F网站的主题域数据模型 数据仓库和数据集市模型 用于满足目的性强的操作型需要 是面向主题的 集成的 非易失的 时变的数据集合 特征模式 profile Web站点ODS模型 用于利用Web站点日志路径信息 局部WebODS负责在网站内部直接响应来自网站的交易请求 第0级 Web日志 Web站点ODS模型 第0级 Web日志 企业ODS模型 用于整合Web数据和其他企业数据 第1级 企业ODS类型1ODS 源数据系统数据的集成是实时进行类型2ODS 源数据系统数据与ODS的集成是一天中按一定时间间隔进行类型3ODS 源数据系统数据是每天集成一次类型4ODS 根据需要从数据仓库或数据集市中进行更新 即 从源数据系统中的更新至少每天一次地进行 并且只根据需要从数据仓库或数据集市中更新第二级 日常聚集 5 3 2模型之间的关系 5 4数据仓库在电子商务中的应用 定义分析型应用网站滞留时间 确立网站有效性准则网站内基于内容的分析 5 4 1定义分析型应用 分析型应用时将数据转化为有用的商业信息的第一级 电子商务中的分析型应用与其他商业中的分析型应用没有特别的不同之处 主要的区别是由于电子商务本身的不稳定性所引起的 经典财务和操作型报表以客户为中心的报表 流失分析 客户亲密关系分析 以产品为中心的报表 存货号 主页是网站生的最高速的区域 事务分析 向量分析属于数据仓库工程探索范围而非经典分析的范围 纯信息型网站分析 衡量网站的影响力 网站内部导航分析 资格鉴定 5 5数据仓库在电子商务中的探索 时间操作型探索经典商业价值和探索建立模型在探索中确定客户的价值 5 5 1时间 电子商务环境中快速的变化迫使信息利用方面的行为也随之不断变化 电子商务对个体事件的影响是非常敏感的 如果要求能够有效地制定决策 探索句必须把重点放在更短的时间单元里面 5 5 2操作型探索 在电子商务中 需要根据需求来分配资源许多的电子商务网站总是处在一种连续的状态变化过程中 在企业转变的过程中 一般都以商业计划为指导 5 5 3探索方法的重要性 Web交易中的方法所分析的问题包括 指向网站的链接 网站的点击率 交易人的特征信息 在新环境中 客户可能通过多种途径到达网站 更重要的是客户可能做一系列操作 包括接触并前进 接近 着陆 第二个问题是如何发现用户特征 5 5 4建立模型 定义探索的目标 如收入的增长的识别 定义接近的模式初始的接触和联系推断性关联 5 5 5在探索中确定客户的价值 电子商务中的同属家庭处理同属家庭处理 计算一个经济单元的过程最常用的技术为HarteHanks公司拥有 探索不同的地址联系使用地址作为联系越来越重要 不仅用于同属家庭处理中 而且在探索分析中成为接近路径的向量因素 事件和时间 5 6适应电子商务的变化 品牌淡化和损失对电子商务灵活性的需求电子商务灵活性面临的挑战电子商务起步阶段的特点企业性能 盈利能力的水平为企业性能而管理信息资产 对于那些无法或者不愿意建立电子商务的企业 也可以采用一些可用的分时技术 例如应用服务提供商 来提供相应的一套复杂技术 电子商务需要企业各方面的信息资源 它们不能与企业中的其他资源及已分配的独占性资源分离开来 否则就会失败 5 6 1品牌淡化和损失 将在线经营和物理渠道分离开来并各自独立运作时一种错误的做法 基本品牌理论说明了尊重和维护品牌的一致经营的重要性 有效地用电子形式提升物理品牌的价值的唯一途径就是创立电子品牌 并使其成为已有成绩的有机延伸 5 6 2对电子商务灵活性的需求 电子商务的灵活性就是指其不断调整和改变的能力 主要包括 移动化 敏感度 移动化 电子商务资源移动化 Mobilization 需要 对客户偏好和使用模式的了解跨越不同渠道来集中客户注意力的策略客户偏好经常随着经济环境和可用选择而变化 从集成的 移动的资源集合到反应迅速的资源集合的转换时电子商务灵活性面临的下一个挑战 敏感度 电子商务灵活性致力于使信息资源对两种反馈类型敏感 第一种是状态和控制敏感度 它跟踪正在进行的起步阶段的状态并控制其进展过程 同时还需要经常对信息进行更新 第二种反馈形式更加广泛 跨越了更宽的时间范围 管理必须跟踪起步阶段的总功效来判断起步阶段与预期目的的 吻合程度 预期的目的和范围也要认真地进行考虑 5 6 3电子商务灵活性面临的挑战 建立电子商务灵活性基础的三个步骤 对信息资产进行分类 评估它们的性能特征 确定当前和将来的信息流价值配置CIF以适应当前需要 并且能保持足够的灵活性来适应将来的需求 电子商务灵活性的巨大优势 5 6 4电子商务起步阶段的特点 电子商务起步阶段是根据 新经济 的期望来设计 认可并实现的 这些都被一种对立即回报的急切渴望和 我们现在需要在线销售 的需求所驱动 现在就需要 的特点通常包括 马上让企业的投资者满意回答安全和保密问题支持通常难以估计的增长率使用相对新的有时是外来的技术应付由于内部技术资源不足带来的问题应付资金分配机制的不确定性 新旧经济的比较 1 位置上的传送物理度量标准在一个级别上是相似的 产品传送的位置方面 同店销售一直是衡量零售业成功与否的一个重要标准 电子商务中的同店销售正在成为Web到商店的连接 2 合作系数合作系数是一种用来衡量企业的 速度限制 的标准 企业可通过研究与并发 合并与收购 合作与合股三种途径来填补生产线和