烟草行业云大数据平台方案

1、,烟草行业云大数据平台方案,一、国家局烟草宏观政策二、中国烟草业务价值三、烟草行业云大数据整体架构四、平台案例五、附录,一、国家局烟草宏观政策,国家局在行业信息化发展规划中，明确要求“推进大数据技术应用”,大数据将成为行业市场化取向改革的强大抓手和精益营销的有力工具,精益营销,精益生产,精益物流,烟草行业大数据 3亿多卷烟消费者，169个卷烟品牌，1325个规格包装 500多万零售客户，125亿多条卷烟，每天2亿笔交易数据 350个地市级公司，国家局信息中心机房数据17400G 每年“一号工程”处理200多亿个数据,市场化取向改革对卷烟营销工作提出更高的要求，进一步强调分析应用智能化的重要性,

2、省级卷烟营销平台,中国烟草在互联网+时代的新一代数据中心建设,互联网+精准营销 互联网+智能制造 互联网+科学决策,行业“互联网+”的市场化转型升级平台 成为“一号工程”升级版的专卖实时管控平台 打造未来的中国烟草“大众创业，万众创新”的平台,二、中国烟草业务价值,大数据挖掘为核心实现精益营销,消费行为预测数据挖掘货源精准投放数据挖掘产品生命周期数据挖掘 客户聚类分析数据挖掘营销策略分析数据挖掘销售潜力分析数据挖掘,智能物流解决方案和架构,Track & Trace（追踪和追溯）,Hub Logistics （枢纽物流）,TransportationManagement （运输管理）,仓库智能

3、设备,SAP MFS物料流系统,互联设备,SAP NWNetWeaver Process Integration （流程集成平台）,地理信息系统（GIS）, 电信服务提供商,互联设备,SAP HCPHANA Cloud Platform （HANA云平台）,电信服务提供商,端到端的一体化智能物流解决方案流程概览,创建销售订单或交货单(SAP ERP) 自动创建运输需求(SAP TM) 自动创建货运单元(SAP TM),订单处理(ERP),交互式 / 自动制定运输计划 承运人选择 承运人招标 创建货运订单 在ERP中自动生成交货单,运输计划(TM),波次创建 装箱计划 拣货优化，包装，备货和装车

4、管理 增值服务 提货单打印,仓库执行(EWM),装运状态检查 装运执行监控及事件追踪,运输执行(TM),运费计算 创建货运发票请求并传输到ERP,货运订单结算 (TM / ERP),集成的外向发货流程 TM EWM,三、烟草行业云大数据整体架构,中国烟草云数据中心的未来总体架构,BOE平台,业务主题层,源系统,分析主题,分析应用,财务分析,原始数据层,业务数据层,业务数据层,企业原始业务层,企业业务数据分析整理层,企业经营决策支持应用层,SAP IS 元数据管理 平台,SAP HANA 平台,SAP BOE 平台,BO 图表,KPI 管理工具,管理 驾驶舱,门户,企业门户,项目分析,采购分析,

5、网点分析,成本分析,生产分析,关键指标分析,用户自主 配置工具,烟草业务 监控系统,烟草业务运营/支持类系统,EAM,HR,SRM,指标数据层,指标数据层,财务分析主题,物资分析主题,销售分析主题,.,数据获取,数据存储与处理,数据分析,Hadoop平台,中国烟草云数据中心系统建设,建立统一数据采集平台进行数据管控、数据分发、数据质量等的统一管理，建立各业务系统与数据存储层的数据交换渠道 采用全新的数据库平台技术，提供实时数据查询能力，帮助用户更方便快速建立数据模型 在底层平台建设的基础上，使用专业展现工具进行数据呈现/数据分析/数据挖掘，为企业运用运营数据提供支持,企业数据交互层,超过300

6、0家企业客户选择SYBASE RS搭建关键业务系统的实时复制环境，包括： 异地数据存储，提高灾备数据保护 提供关键应用的业务连续性保护 卓越的复制性能，降低数据从源到目标的时间 灵活的定义、不受限的扩展性，满足业务扩展需求 应用分离方案，备点提供报表、查询功能，减少生产点系统压力,SAP Sybase Replication Server 企业级数据复制服务器,Wall Street,Public Services,Retail & Logistics,Replication Server (RS) 的功能,连续，实时改变数据的抓取 基于日志 Log-based (对生产系统影响非常小) 在复

7、制拷贝中维护完全的事务完整性 支持异构（异种）数据库 双向复制 (从源到目标且反之亦然) 通过Sybase实时事件触发，发送改变的数据到消息总线 message bus 可定制的冲突检测/解决计划 具有存储转发的容错机制 管理和监控工具,1001010101010101010110101010101010001,信息量更大，传输速度更快,复制服务器的优势,开放! 支持Sybase, Oracle, SQL Server, DB2等各种主流的数据库 灵活! 灵活的数据传输定义和订阅 高效! 最有效的传输内容,降低网络负载,提高传输效率 可靠! 提供了丰富的数据传输保障机制,如断点续传等,保障传输

8、可靠 TCO! RS可独立运行在一台独立服务器上,不局限于数据库的平台限制,SAP提供最佳EIM解决方案传递完整，准确，容易访问的信息,Data Integration & Quality Management: SAP BusinessObjects Data Services SAP BusinessObjects Data Federator SAP BusinessObjects Text Analysis SAP BusinessObjects Data Insight SAP Data Migration services,Master Data Management: SAP N

9、etWeaver Master Data Management SAP Master Data Governance for Financials SAP Data Maintenance by Vistex,Enterprise Data Warehousing: SAP NetWeaver Business Warehouse SAP NetWeaver Business Warehouse Accelerator SAP BusinessObjects Rapid Marts SAP BusinessObjects Metadata Management,Content & Inform

10、ation Lifecycle Management: SAP NetWeaver Information Lifecycle Management SAP Extended ECM by Open Text SAP Document Access by Open Text SAP Archiving by Open Text,整合,改善,洞察,治理,Customer Product Supplier Material Employee,第一个、也是唯一的数据整合、数据质量、数据治理和文本数据分析的集成平台,SAP BusinessObjects Data Services 数据整合、数据质量

11、、和文本分析,数据整合(Data Integrator),原始未经处理的数据,以合适的格式或者结构装载到目标,数据抽取 & 数据转换,Data Services,异构数据源,一个或者多个目标,内建企业级数据和应用访问接口,HANA Oracle DB2 (LUW, z-series, i-series) Sybase ASE Sybase IQ SQL Server Informix MySQL Teradata ODBC HP NeoView Netezza,SAP Bus Suite Extractors ABAP BAPI Idoc SAP NW BW JD Edwards Oracle

12、 Apps PeopleSoft Siebel S,Text delimited Text fixed width EBCDIC XML Cobol Excel HTTP JMS SOAP(Web Services) HADOOP,ADABAS ISAM VSAM Enscribe IMS/DB RMS 包括直接的和变化的数据,任何来自六种语言的文本文件类型 扩展到31种语言 扩展到docs, pdfs, ppts等等(4.1 SP1),数据库,应用程序,文件/传输,大型机(合作伙伴),非结构化 内容,SAP Data Services 在向数据库，应用程序，遗留系统，文件格式等提供广泛连接方

13、面具有悠久的历史,Reference Data Services PAM for additional details ,实时,物理数据整合,语义层,批作业,评估,治理,提升,数据质量管理(Data Quality),提高数据质量的流程： 评估（理解数据质量的问题） 分词 清洗（地址或者其他数据） 信息补全 匹配 合并 持续观察,典型应用场景 组织和企业在合并过程中，系统间主数据的合并 建立真正干净、完整的重要信息（如客户，供应商，产品等等）资料库 资源、资产管理的必要手段,数据质量管理核心流程,SAP BusinessObjects Information Steward 功能概览,数据质量

14、记分卡 数据质量监控 数据剖析,数据血统 变化影响,清洗规则,业务术语表,数据质量评分 指标,最新的数据 质量得分,数据质量趋势,从一个数据属主角度衡量数据质量的记分卡,关键质量维度 （数据质量KPI）,下钻查看记分卡 细节,数据洞察力：面向数据质量的记分卡方法,SAP BW,数据仓库,商务智能分析和在,E T L,源系统,同时支持关系型数据仓库以及专业数据仓库产品如SAP BW，提供端到端的元数据解析能力。,端对端的元数据生命周期管理,非结构化的文本分析 Text Data Processing,一旦数据结构化后 整合 查询 分析 可视化 报表,释放文本信息的力量、获取商业洞察力,处理非结构

15、化的文本数据,从非结构化数据中抽取数据，并建立结构化数据,自动识别和抽取实体数据,自动识别和抽取事件数据,支持用户建立客户化的实体数据字典,非结构化的文本信息,理解语义信息,Text Data Processing 架构,Data Services,Text Data Processing Entity Extraction,Data Services Designer,建立TDP作业,数据源,用于查询和分析的语义层,终端用户程序或者仪表盘,ETL 设计人员,业务用户,实体, 概念, 敏感词,DQ Transforms,目标,释放信息的力量 首创的、并且是唯一的内置了非结构化数据支持的企业级数

16、据整合，数据质量和数据剖析应用 通过直观的业务用户界面，使得用户能够掌控数据，定义数据标准 唯一一个能够支持非结构化数据源的工具，拓展您的数据视野,成就卓越运营 降低成本，加速实现产品利润，简化IT基础设施，这一切均可通过一个简单易用的产品来实现，并且实现最低的总拥有成本 将用户和开发的效率提至最高，通过转换组件和对象的重用，简化系统的运维 对SAP系统和非SAP系统实现最深入的整合，实现最低的成本和最快的价值实现速度,访问支撑关键业务流程所需的相关数据，无论这些数据时什么类型、什么来源、属于什么领域,提升业务决策和业务流程中的数据信心，从而实现业务的更好运营,只需支持和维护一个应用，从而实现

17、更低的总拥有成本,提供最值得信赖的信息 无论数据来自何种行业，哪个地点，还是不论是关于客户、产品、物料等哪个领域，Data Services 4.0都提供了访问和提高数据质量的最完整方案。 通过影响分析和数据血统分析，提供随时可用的数据追踪能力，帮助用户作出信心十足的决策 共享数据质量仪表盘，监控并发现数据质量对治理规则和标准的符合程度变化趋势,SAP BusinessObjects Data Services 4.0,数据存储层,SAP HANA(High-Performance ANalytic Appliance),SAP HANA,MDX,SQL,BICS,SQL,数据建模,实时数据复

18、制,数据抽取,SAP HANA,其他应用,SAP BusinessObjects,Sybase,Mainframe,第三方系统,内存计算引擎,计算及计划引擎,行/列存储,什么是SAP HANA 预置的分析设备 基于内存的软件预装在硬件设备中 软件-SAP IMCE 包含数据建模、数据管理、安全管理及操作的工具 数据复制服务器、ETL 及SAP BOBJ协同工作 支持多种客户端应用 预置内容包（抽取器及数据模型） 功能 对海量数据进行的高速实时分析 基于历史以及实时数据，创建灵活的分析模型 减少数据重复 新一代应用的基础,SAP HANA是一项在本地内存中分析海量数据的技术， 能够在刹那间获得复

19、杂的分析与交易结果，实时完成业务决策，毫无延迟,增量数据处理,Discrete,SAP内存计算 - 技术的协同创新,硬件,多核处理器架构 (每台刀片8 x 8 核 CPU, Xeon 7650),64bit 地址空间 单台扩展到2TB,(理论达4EB) 100GB/s 数据传输,行+列存储,压缩 5-20倍,分区：大量数据，复杂计算,多台服务器并行运行 每台服务器的价格低廉,动态聚集,软件,今天,未来,价格迅速下降，性能迅速提升,Cache,Disk,Memory,In-Memory,Disk,Integrated,秒级处理实时决策 RDBMS: 行存储，速度取决于磁盘IO 慢 HANA: 行

20、、列存储，完全存于内存 快 大规模数据运算 RDBMS: 索引、优化、有经验的开发人员 难 HANA: 内存排序，无需考虑优化 易 并行处理，低成本运行 RDBMS: 专门的数据库服务器 贵 HANA: 普通PC服务器 省,HANA比传统数据库具有极大的优势快、易、省,HANA 三大特点之一： 极速速数据访问 - 比磁盘快1000000倍,“到2012年, 70% 的全球1000强企业会将明细数据导入内存，以提升商务智能应用的性能。” - Gartner,传统数据库 磁盘读取 5毫秒,内存数据库 内存读取 5纳秒,基于主内存的并行处理是绩效改善的关键 * “磁带已经死了，磁盘已经落伍，闪存成为

21、存储，内存才是王道 ” 数据库奠基人Jim Gray 2006年12月,HANA三大特点之二：分而治之、并行处理,数 据,本地内存、多处理器并行处理，把大数据量和计算量分散到不同处理器 节点间并行处理，不同的服务器之间也共享同一组数据 容灾性，单一的服务器的DOWN机将不影响任何计算,HANA三大特点之三：在内存中思考，在内存中行动 最小化数据传输,传统应用将数据密集型操作在应用层执行,高性能的应用将数据密集型操作转移到内存中执行,内存计算-将数据密集型操作放到内存中 -避免传输细节数据 - 先计算，而后传输结果,自2010年发布以来，HANA的卓越性能无与伦比,提高 1,000 倍： 许多分

22、析流程 （催款、账龄） 提高 10,000 倍：农夫山泉、Essar、SAP IT、康奈尔大学 提高 100,000 倍：Yodobashi 或者 从 24 小时以上减少到 3.8 秒: 食品饮料 / 分销 物流 从 15 小时以上减少到 4.8 秒: 项目管理 / 服务 利润, 绩效 从 30 天减少到 28 秒: 制造业 订单到付款 从 3 天减少到 2 秒: 零售 / 保险 奖金,SAP的HANA架构，结合了云计算和内存计算技术，显示了先进的、具备潜在颠覆性的愿景 高德纳咨询公司 SAP 用HANA引领下一代架构竞争， 2011年10月,在1.3TB的数据上，每小时运行1万个查询，并在几

23、秒种之内返回结果。 由WinterCorp公司独立审计和验证，2011年3月,SAP客户实证：,分析展现层,SAP BI 产品概览一个满足各方需求的统一数据分析平台,数据探查 (敏捷分析),仪表盘,报表与分析,访问: 门户 | 办公软件（Office） | 浏览器 | 移动设备,On Premise,支持多种 设备接入,支持多种 部署模式,Lumira 数据探索（Explorer*） 分析（Analysis*）,Design Studio 仪表盘（Dashboards）,即时查询（Web Intelligence） 水晶报表（Crystal Reports）,BI 应用场景,分析并可视化由多处

24、获得的数据 在Excel中分析数据并可视化 在企业数据中“搜索”与分析,最终用户利用预先定义的组件组装自己的交互仪表盘 创建高可视化、高交互的 面向高层人员定制的高可视化、高交互的分析内容,自助的企业数据分析及创建报表 在不同范围内共享信息 高度格式化报表,数据探查,仪表盘,报表与分析,Lumira 数据探索（Explorer*） 分析（Analysis*）,Design Studio 仪表盘（Dashboards）,即时查询（Web Intelligence） 水晶报表（Crystal Reports）,对应组件,交付方式,对应组件,对应组件,交付方式,应用要求,BI 平台,BI suite

25、与Lumira的关系,报表,仪表盘,分析,水晶报表 即席查询,Dashboard Design Studio,数据探索,平台,客户端,BI工具,数据源,语义层,数据源,数据建模,数据分析,分析共享,查看平台,敏捷可视化的4个步骤,SAP大数据预测分析专为业务用户设计,数据挖掘/统计学/概率学 专业知识,无,低,高,97%,3%,1%,SAP 大数据预测分析,SAP PA 智能建模+Lumira自助探索,SAP PA 专家建模,R语言,SAP HANA 分析函数包,SAP IQ,数据展现,BO仪表盘,Lumira自助探索,其它应用系统,SAP ERP,SAP大数据预测分析系统架构 敏捷分析+内存

26、数据库+自助探索,移动可视化,第三方数据,SAP CRM,Predictive Analysis Libraries | Business Function Libraries | Data Models & Stored Procedures,SAP Predictive Analytics 数据挖掘自动化,大数据内存分析平台,数据驱动,SAP HANA,Data Services,数据存储,数据建模与分析,/Hadoop,数据挖掘和预测：直观的可视化应用，丰富的预置预测模型SAP PA大数据预测分析解决方案,方案价值： 自动数据准备和探索、完整的数据挖掘过程、强大的预测算法库 直观地设计复

27、杂的预测模型，可视化分析 丰富的建模技术，可扩展的预测模型： 关联分析 聚类分析 决策树分析 神经网络分析 例外分析 回归分析 时间序列分析 概率分布 ,聚类分析,决策树分析,神经网络分析,例外分析,时间序列分析,多元回归分析,数据挖掘和预测：高效的内存预测分析，支持外部算法调用SAP PA大数据预测分析解决方案,方案价值： 结合了SAP HANA内存分析的深度、性能，支持多种高级分析和预测场景，高效快速地获取结果，实现大数据的挖掘 通过集成R语言，在SAP HANA中访问3,500种以上的开源算法 内置于业务应用中，扩展到BI和报表中，对事务的洞察结果，可立即传送到仪表盘、警告提示和移动终端

28、，使业务相关人员都能灵活获取预测洞察力 与BI平台的一体化设计，通过任何 BI报表或仪表盘均可访问分析结果,数据挖掘和预测：自动数据准备和探索SAP PA大数据预测分析解决方案,方案价值： 自动数据准备和探索，包括上千个变量并自动找到重要的指标 在几小时内创建和部署模式，而不是数周 可以支持日常决策、解答传统模型因市场响应速度慢而无法解决的商业问题 自动实现 选择变量 准备数据 变量编码 缺失值处理 奇异值处理 匹配模型 测试模型 模型报告 模型部署,商业问题,选择变量,准备数据,建模,模型测试,理解,应用,选择商业问题最相关的变量，以适合算法需要,SAP：自动决定重要变量，多至几千个变量,用不同算法进行建模，选择不同的参数,SAP：结构风险最小化理论自动选优,把数据语言转换成商业描述,SAP：独特的专利技术,准备数据：缺失值处理，异常值处理，函数变换,SAP：自动化预处理,数据挖掘和预测：精简的预测分析应用函数建模工具 (AFM)SAP PA大数据预测分析解决方案,方案价