浪潮烟草数据中心介绍.ppt

1、2020/9/17,Inspur group,浪潮烟草数据中心介绍,刘永祥,2020/9/17,Inspur group,内容,数据中心架构 数据中体系介绍 系统简介 题目,2020/9/17,Inspur group,数据中心和业务/管理系统的区别？,2020/9/17,Inspur group,方案概述国家局实施意见,两级数据中心、五个体系、三级用户,2020/9/17,Inspur group,信息标准管理平台,2020/9/17,Inspur group,信息标准管理平台,信息标准管理平台,信息标准,业务数据,数据仓库,信息维护库,信息发布库,标准,格式,规则,数据交换与服务平台,20

2、20/9/17,Inspur group,数据集成与交换平台,抽取 转换 装载,2020/9/17,Inspur group,数据交换过程数据源分析,数据源分析策略主要有： 数据源确认：确认数据的源系统（或文件）和结构、目标系统及结构 数据采集方法：针对每个数据源，定义抽取过程是人工抽取、自动触发、还是基于工具抽取； 数据采集方式： 联机采集；对于关系型数据源，并且允许直接访问的，采用直接连接数据源读取的采集机制； 中间表方式：对于关系型数据源，能够联机，但不允许直接访问的，可以考虑采用中间表方式采集，即业务系统将需要提供的数据拷贝到中间表中，然后从中间表采集数据； 数据离线导入：对于不能联机

3、访问的，可以采用数据离线导入的方式，即业务系统将数据定时导出（比如excel格式），然后采集系统根据这些文件进行离线导入； 人工填报：对于原来没有计算机系统，只有纸介质数据的，可以采用人工填报审核方式采集； 采集频率：对于每个数据源，确定数据抽取的频率，每天、每星期、每季度，等等； 工作顺序：决定抽取任务中某项工作是否必须等到前面的工作成功完成，才能开始； 异常处理：决定如何处理无法抽取的输入纪录。,2020/9/17,Inspur group,数据交换过程数据传输,数据传输方式,卷烟销售数据 卷烟购进数据 卷烟库存数据 烟叶收购数据 烟叶库存数据 烟叶调拨数据 许可证发放数据 案件结案数据,

4、省内ETL日 采集数据,卷烟数据 供应商数据 卷烟价格 组织机构数据 零售户数据 坐席员数据 送货员数据 稽查员数据 客户经理数据 财务数据 烟叶基础数据,省内ETL 日更新数据,卷烟交易基础数据 卷烟交易协议数据 卷烟交易合同数据 烟叶购销合同 烟叶加工合同 工商协同信息 准运证信息 （国家局信息服务平台）,webservice 即时同步数据,销售计划 采购计划 信息分类标准 绩效考核标准 社会经济基础数据 行业经济运行数据 工业产/存/价格 工业销售/价格/客户 工业销售合同数据 销售合同执行情况 辅料、原料消耗数量,外部填报/导入 FTP/Excel,一号工程上报数据 打码到条数据 非格

5、式化上报数据,MQ异步传输,2020/9/17,Inspur group,一般存在三种类型的数据装载： 初始装载：第一次对所有的数据仓库表进行迁移； 增量装载：根据需要定期装载应用运行过程中发生的变化； 完全刷新：完全刷新是指完全刷新一个或多个表的内容，并重新装载新的数据。 在装载过程中，一般会用到四种方式： 装载：如果要装载的目标表已经存在，而且也有数据存在于表中，装载过程就会抹去已有的数据，应用输入文件中新的数据。如果装载的目标是个空表，就直接应用来自输入文件的数据。 追加：若表中已经存在数据，追加过程会无条件地增加输入数据，并在目标表中保存已有的数据。当存在记录重复情况时，需要定义如何处

6、理重复的输入数据的记录副本（可以作为副本增加进去，也可以将其丢弃）。 破坏性合并：如果输入数据记录的主键与已有记录互相匹配，就对匹配的目标记录进行更新，如果没有匹配的目标纪录，就将输入记录添加入目标表。 建设性合并：如果数据记录的主键与已有记录匹配，就保留已有记录，加入输入的记录，并将增加的记录标记为旧记录的替代。 抽取过程示例,数据交换过程数据装载,数据仓库层次结构,2020/9/17,Inspur group,数据源,Source Model（包括信息资源标准库）,ODS Model,DataWareHouse,Model,StarSchema,Model,DataMining,Model

7、,Report,Model,External,Model,OLAP Cube,元数据,MetaData,Model,DW,DW,层,层,TD,ODS,AD,AD,决策信息展示,展现层,多维分析,自定义报表,即席查询,预定义报表,数据挖掘,外部访问,2020/9/17,Inspur group,星形模型,面向需求，采用星型模式建模,OLAP数据组织形式,2020/9/17,Inspur group,RDB数据组织 MDDB数据组织,2020/9/17,Inspur group,对以多维形式组织起来的数据，采取切片、切块、旋转等各种分析动作，以求剖析数据，使最终用户能从多个角度、多侧面地观察数据库

8、中的数据 (1)快速性:用户对OLAP的快速反应能力有很高的要求。 (2)可分析性:OLAP系统能处理与应用有关的逻辑分析和统计分析。 (3)多维性:多维性是OLAP的关键属性。提供对数据的多维视图和分析。 (4)信息性:不论数据量有多大，也不管数据存储在何处，OLAP系统能及时获得信息，并且管理大容量信息。,OLAP分析,2020/9/17,Inspur group,OLAP分析,1.切片和切块(Slice and Dice) 在多维数据结构中,按二维进行切片,按三维进行切块,可得到所需要的数据。如在“城市、产品、时间”三维立方体中进行切块和切片,可得到各城市、各产品的销售情况。,2020/

9、9/17,Inspur group,OLAP分析,2.钻取(Drill) 改变维的层次达到分析效果。,2020/9/17,Inspur group,OLAP分析,3.旋转(Rotate)/转轴(Pivot) 通过旋转可以得到不同视角的数据。,数据应用平台分析主题,2020/9/17,Inspur group,数据应用功能,数据中心的应用层次,领导层：省局（公司）领导、市公司领导 管理层：省局各业务部门主管、地市公司部门主管 执行层：市场经理、品牌经理,领导层功能管理驾驶舱,驾驶仓的主要目的是通过生动而明确的图形和数据显示企业运营的关键性指标，使管理者能够一目了然的了解当前经济运行的关键点情况，

10、对企业运营情况进行监控 。,2020/9/17,Inspur group,领导层功能绩效评估,依据绩效考核标准或相关的管理办法，以量化的数据结合图形进行直观的分析和比较，为工作业绩考核和评估提供依据，如：经济运行评估、网建评估、品牌评价、销售业绩评估、供应商评估、内管考评等。,2020/9/17,Inspur group,领导层功能绩效评估,领导层功能运营指挥,面向流程、面向过程的实时监控 流程图的展现方式 供应链过程、专卖内部监管,领导层功能运营指挥,面向关键业务环节的工作效率情况实时监控，体现当天不同时段的工作状态。 电访情况 电访的工作进度和工作质量 货源投放情况 当天拟定的销量与当前完

11、成的销量 当天应访户数与已下单户数对比 物流中心运作情况 当天应分拣量与已分拣量对比 出库、入库数量,管理层功能经济运行分析,管理层功能经济运行分析,2020/9/17,Inspur group,管理层功能品牌分析,核心是品类管理思想，重点围绕品牌的结构优化 市场评价为主，兼顾效益评价和发展评价 市场评价主要体现为市场占有率；效益评价体现为毛利率；发展评价指标体现为市场增长率。,2020/9/17,Inspur group,管理层功能品牌分析,2020/9/17,Inspur group,管理层功能供应商分析,分析工业在全省及各个分公司的贡献度、销售成长性、服务质量等情况以及综合评价，为制定供

12、应商个性化合作策略提供依据。,内部监管,购进监管,库存监管,销售监管,卷烟零售户入网 经营监管,长沙,公司选择：,日期选择：,200801,监管报告,管理层功能供应商分析,2020/9/17,Inspur group,管理层功能 供应链分析,核心是监控，对整个购、销、存流程进行跟踪、分析、监控、预警,管理层功能供应链分析,2020/9/17,Inspur group,管理层功能客户分析,围绕客户分类属性，分析不同客户群的销售特征，帮助改善品牌营销策略和提供个性化服务。,Inspur group,管理层功能市场分析,Inspur group,管理层功能专卖分析,Inspur group,管理层功能专卖分析,Inspur group,管理层功能烟叶分析,Inspur group,管理层功能财务分析,管理层功能财务分析,Inspur group,管理层功能人力资源分析,管理层功能监控预警,数据应用平台应用构架四步分析法,1,2,3,4,四步分析法,1,2,3,4,根据业务处理流程，将潜在、相关的分析功能固化为问题分析路径，形成功能导航栏，方便操作人员对问题的分析。,系统软件选型,