智慧城市烟草行业云大数据平台解决方案-课件

Usethistitleslideonlywithanimage烟草行业云大数据平台方案

Usethistitleslideonlywith一、国家局烟草宏观政策

二、中国烟草业务价值

三、烟草行业云大数据整体架构

四、平台案例

五、附录一、国家局烟草宏观政策

二、中国烟草业务价值

三、烟草行业云一、国家局烟草宏观政策

一、国家局烟草宏观政策

国家局在行业信息化发展规划中，明确要求“推进大数据技术应用”大数据将成为行业市场化取向改革的强大抓手和精益营销的有力工具精益营销精益生产精益物流烟草行业大数据3亿多卷烟消费者，169个卷烟品牌，1325个规格包装500多万零售客户，125亿多条卷烟，每天2亿笔交易数据350个地市级公司，国家局信息中心机房数据17400G每年“一号工程”处理200多亿个数据国家局在行业信息化发展规划中，明确要求“推进大数据技术应用”市场化取向改革对卷烟营销工作提出更高的要求，进一步强调分析应用智能化的重要性订单采集货款结算监督管理需求预测货源采购货源投放省级卷烟营销平台市场化取向改革对卷烟营销工作提出更高的要求，进一步强调分析应中国烟草在互联网+时代的新一代数据中心建设互联网+精准营销互联网+智能制造互联网+科学决策大数据+实时计算面向移动互联时代的新一代数据中心大：海量存储-Hadoop快：内存计算-HANA低：资源共享-Cloud行业“互联网+”的市场化转型升级平台成为“一号工程”升级版的专卖实时管控平台打造未来的中国烟草“大众创业，万众创新”的平台中国烟草在互联网+时代的新一代数据中心建设互联网+精准营销大二、中国烟草业务价值

二、中国烟草业务价值

大数据挖掘为核心实现精益营销消费行为预测数据挖掘

货源精准投放数据挖掘

产品生命周期数据挖掘客户聚类分析数据挖掘

营销策略分析数据挖掘

销售潜力分析数据挖掘培养大数据视野挖掘大数据价值推进大数据应用注重大数据引领大数据大数据挖掘为核心实现精益营销消费行为预测数据挖掘 货源精准投*Customer智能物流解决方案和架构ExtendedWarehouse

Management

（扩展仓库管理）Track&Trace

（追踪和追溯）

Transportation

ResourceMgmt.（运输资源管理）HubLogistics

（枢纽物流）

Transportation

Management

（运输管理）仓库智能设备SAPMFS

物料流系统SAPNW

NetWeaverITS

Mobile/Gateway（移动/网关）SAPPCO

Plant

Connectivity（工厂设备连接）互联设备SAPNW

NetWeaverProcessIntegration

（流程集成平台）地理信息系统（GIS）,电信服务提供商,…互联设备SAPHCP

HANACloudPlatform

（HANA云平台）电信服务提供商*Customer智能物流解决方案和架构ExtendedW端到端的一体化智能物流解决方案流程概览创建销售订单或

交货单(SAPERP)自动创建运输需求

(SAPTM)自动创建货运单元

(SAPTM)订单处理

(ERP)交互式/自动

制定运输计划承运人选择承运人招标创建货运订单在ERP中自动生成

交货单运输计划

(TM)波次创建装箱计划拣货优化，包装，备货和装车管理增值服务提货单打印仓库执行

(EWM)装运状态检查装运执行监控及

事件追踪运输执行

(TM)运费计算创建货运发票请求并传输到ERP货运订单结算

(TM/ERP)集成的外向发货流程TM–EWM端到端的一体化智能物流解决方案流程概览创建销售订单或

交货单三、烟草行业云大数据整体架构

三、烟草行业云大数据整体架构

中国烟草云数据中心的未来总体架构BOE平台业务主题层源系统分析主题SAPSLT实时获取分析应用财务分析原始数据层业务数据层业务数据层企业原始业务层企业业务数据分析整理层企业经营决策支持应用层SAPDS定时获取SAPIS元数据管理

平台SAPHANA平台SAPBOE平台BO图表

报表平台KPI管理工具管理驾驶舱门户企业门户项目分析采购分析网点分析成本分析生产分析关键指标分析…用户自主配置工具烟草业务监控系统烟草业务运营/支持类系统EAMHRSRM…外部输入数据主数据管理平台指标数据层指标数据层财务分析主题物资分析主题销售分析主题…………..SAPBW数据获取数据存储与处理数据分析Hadoop平台中国烟草云数据中心的未来总体架构BOE平台业务主题层源系统分中国烟草云数据中心系统建设建立统一数据采集平台进行数据管控、数据分发、数据质量等的统一管理，建立各业务系统与数据存储层的数据交换渠道采用全新的数据库平台技术，提供实时数据查询能力，帮助用户更方便快速建立数据模型在底层平台建设的基础上，使用专业展现工具进行数据呈现/数据分析/数据挖掘，为企业运用运营数据提供支持中国烟草云数据中心系统建设建立统一数据采集平台进行数据管控、企业数据交互层企业数据交互层超过3000家企业客户选择SYBASERS搭建关键业务系统的实时复制环境，包括：

异地数据存储，提高灾备数据保护提供关键应用的业务连续性保护卓越的复制性能，降低数据从源到目标的时间灵活的定义、不受限的扩展性，满足业务扩展需求应用分离方案，备点提供报表、查询功能，减少生产点系统压力SAPSybaseReplicationServer

企业级数据复制服务器WallStreetPublicServicesRetail&Logistics超过3000家企业客户选择SYBASERS搭建关键业务系统ReplicationServer(RS)的功能连续，实时改变数据的抓取基于日志Log-based(对生产系统影响非常小)在复制拷贝中维护完全的事务完整性支持异构（异种）数据库双向复制(从源到目标且反之亦然)通过Sybase实时事件触发，发送改变的数据到消息总线messagebus可定制的冲突检测/解决计划具有存储转发的容错机制管理和监控工具1001010101010101010110101010101010001信息量更大，传输速度更快ReplicationServer(RS)的功能连续，复制服务器的优势开放!

支持Sybase,Oracle,SQLServer,DB2等各种主流的数据库灵活!灵活的数据传输定义和订阅高效!最有效的传输内容,降低网络负载,提高传输效率可靠!提供了丰富的数据传输保障机制,如断点续传等,保障传输可靠TCO! RS可独立运行在一台独立服务器上,不局限于数据库的平台限制复制服务器的优势开放!支持Sybase,Oracle,智慧城市烟草行业云大数据平台解决方案-课件智慧城市烟草行业云大数据平台解决方案-课件智慧城市烟草行业云大数据平台解决方案-课件智慧城市烟草行业云大数据平台解决方案-课件SAP提供最佳EIM解决方案

传递完整，准确，容易访问的信息

DataIntegration&QualityManagement:SAPBusinessObjectsDataServicesSAPBusinessObjectsDataFederatorSAPBusinessObjectsTextAnalysisSAPBusinessObjectsDataInsightSAPDataMigrationservicesMasterDataManagement:SAPNetWeaverMasterDataManagementSAPMasterDataGovernanceforFinancialsSAPDataMaintenancebyVistexEnterpriseDataWarehousing:SAPNetWeaverBusinessWarehouseSAPNetWeaverBusinessWarehouseAcceleratorSAPBusinessObjectsRapidMartsSAPBusinessObjectsMetadataManagementContent&InformationLifecycleManagement:SAPNetWeaverInformationLifecycleManagementSAPExtendedECMbyOpenTextSAPDocumentAccessbyOpenTextSAPArchivingbyOpenTextSAP提供最佳EIM解决方案

传递完整，准确，容易访问的信息101101001000010100011011101010101010100101011001101010001001010110100100110010101001001010100110010100110100101010110101整合改善洞察治理CustomerProductSupplierMaterialEmployee业务用户界面(信息管理)IT用户界面

(数据服务)SAPBusinessObjectsDataServices4.0运行时间架构和服务统一的元数据抽取、转换、加载数据质量数据剖析文本分析统一的管理环境

(作业安排，安全,用户管理)

统一的源/目标数据连接第一个、也是唯一的数据整合、数据质量、数据治理和文本数据分析的集成平台SAPBusinessObjectsDataServices数据整合、数据质量、和文本分析101101001000010100011010101001数据整合(DataIntegrator)客户关系管理关系型数据库ExcelEmails普通文件，Excel和XML)Web大型主机ERP原始未经处理的数据以合适的格式或者结构装载到目标商务智能多维分析ERP客户关系管理数据集市数据仓库数据抽取&数据转换DataServices异构数据源一个或者多个目标数据整合(DataIntegrator)客户关系管理关系型内建企业级数据和应用访问接口HANAOracleDB2(LUW,z-series,i-series)SybaseASESybaseIQSQLServerInformixMySQLTeradataODBCHPNeoViewNetezzaSAPBusSuiteExtractorsABAPBAPIIdocSAPNWBWJDEdwardsOracleAppsPeopleSoftSiebelSTextdelimitedTextfixedwidthEBCDICXMLCobolExcelHTTPJMSSOAP

(WebServices)HADOOPADABASISAMVSAMEnscribeIMS/DBRMS包括直接的和变化的数据任何来自六种语言的文本文件类型扩展到31种语言扩展到docs,pdfs,ppts等等(4.1SP1)数据库应用程序文件/传输大型机

(合作伙伴)非结构化内容SAPDataServices在向数据库，应用程序，遗留系统，文件格式等提供广泛连接方面具有悠久的历史ReferenceDataServicesPAMforadditionaldetails/pam

内建企业级数据和应用访问接口HANASAPBusSuit实时物理数据整合语义层批作业评估治理提升数据质量管理(DataQuality)实时物理数据整合语义层批作业评估治理提升数据质量管理(Dat提高数据质量的流程：评估（理解数据质量的问题）分词清洗（地址或者其他数据）信息补全匹配合并持续观察典型应用场景组织和企业在合并过程中，系统间主数据的合并建立真正干净、完整的重要信息（如客户，供应商，产品等等）资料库资源、资产管理的必要手段数据质量管理核心流程提高数据质量的流程：典型应用场景数据质量管理核心流程SAPBusinessObjectsInformationSteward功能概览数据质量记分卡数据质量监控数据剖析数据血统变化影响清洗规则业务术语表SAPBusinessObjectsInformatio数据质量评分指标最新的数据质量得分数据质量趋势从一个数据属主角度衡量数据质量的记分卡关键质量维度（数据质量KPI）下钻查看记分卡细节数据洞察力：面向数据质量的记分卡方法数据质量评分最新的数据数据质量趋势从一个数据属主角度衡量数据SAPBW数据仓库商务智能分析和在ETL源系统同时支持关系型数据仓库以及专业数据仓库产品如SAP

BW，提供端到端的元数据解析能力。端对端的元数据生命周期管理SAP数据仓库商务智能分析和在ETL源系统同时支持关系型非结构化的文本分析TextDataProcessing一旦数据结构化后…整合查询

分析

可视化

报表结构化数据释放文本信息的力量、获取商业洞察力处理非结构化的文本数据从非结构化数据中抽取数据，并建立结构化数据自动识别和抽取实体数据自动识别和抽取事件数据支持用户建立客户化的实体数据字典非结构化的文本信息理解语义信息非结构化的文本分析TextDataProcessingTextDataProcessing架构DataServicesTextDataProcessingEntityExtractionDataServicesDesigner建立TDP作业

数据源用于查询和分析的语义层终端用户程序或者仪表盘ETL设计人员业务用户实体,概念,敏感词DQTransforms目标TextDataProcessing架构DataSe释放信息的力量首创的、并且是唯一的内置了非结构化数据支持的企业级数据整合，数据质量和数据剖析应用通过直观的业务用户界面，使得用户能够掌控数据，定义数据标准唯一一个能够支持非结构化数据源的工具，拓展您的数据视野成就卓越运营降低成本，加速实现产品利润，简化IT基础设施，这一切均可通过一个简单易用的产品来实现，并且实现最低的总拥有成本将用户和开发的效率提至最高，通过转换组件和对象的重用，简化系统的运维对SAP系统和非SAP系统实现最深入的整合，实现最低的成本和最快的价值实现速度访问支撑关键业务流程所需的相关数据，无论这些数据时什么类型、什么来源、属于什么领域提升业务决策和业务流程中的数据信心，从而实现业务的更好运营只需支持和维护一个应用，从而实现更低的总拥有成本提供最值得信赖的信息无论数据来自何种行业，哪个地点，还是不论是关于客户、产品、物料等哪个领域，DataServices4.0都提供了访问和提高数据质量的最完整方案。通过影响分析和数据血统分析，提供随时可用的数据追踪能力，帮助用户作出信心十足的决策共享数据质量仪表盘，监控并发现数据质量对治理规则和标准的符合程度变化趋势SAPBusinessObjectsDataServices4.0释放信息的力量成就卓越运营访问支撑关键业务流程所需的相关数据数据存储层数据存储层SAPHANA(High-PerformanceANalyticAppliance)SAPHANAMDXSQLBICSSQL数据建模实时数据复制数据抽取SAPHANA其他应用SAPBusinessObjectsSybaseMainframe第三方系统内存计算引擎计算及计划引擎行/列存储什么是SAPHANA预置的分析设备基于内存的软件预装在硬件设备中软件-SAP

IMCE包含数据建模、数据管理、安全管理及操作的工具数据复制服务器、ETL及SAP

BOBJ协同工作支持多种客户端应用预置内容包（抽取器及数据模型）功能对海量数据进行的高速实时分析基于历史以及实时数据，创建灵活的分析模型减少数据重复新一代应用的基础SAPHANA是一项在本地内存中分析海量数据的技术，能够在刹那间获得复杂的分析与交易结果，实时完成业务决策，毫无延迟SAPHANA(High-PerformanceANal增量数据处理++++DiscreteSAP内存计算-技术的协同创新硬件

多核处理器架构

(每台刀片8x8核CPU,Xeon7650)64bit地址空间–单台扩展到2TB,(理论达4EB)100GB/s数据传输行+列存储压缩

5-20倍分区：大量数据，复杂计算多台服务器并行运行每台服务器的价格低廉动态聚集软件今天

未来价格迅速下降，性能迅速提升CacheDisk+MemoryIn-MemoryDiskIntegrated增量数据处理++++DiscreteSAP内存计算-技术秒级处理实时决策RDBMS:行存储，速度取决于磁盘IO－慢HANA:行、列存储，完全存于内存－快大规模数据运算RDBMS:索引、优化、有经验的开发人员－难HANA:内存排序，无需考虑优化－易并行处理，低成本运行RDBMS:专门的数据库服务器－贵HANA:普通PC服务器－省HANA比传统数据库具有极大的优势——快、易、省HANA比传统数据库具有极大的优势——快、易、省HANA三大特点之一：极速速数据访问-

比磁盘快1000000倍 “到2012年,70%的全球1000强企业会将明细数据导入内存，以提升商务智能应用的性能。” -Gartner传统数据库磁盘读取5毫秒内存数据库内存读取5纳秒基于主内存的并行处理是绩效改善的关键*“磁带已经死了，磁盘已经落伍，闪存成为存储，内存才是王道”

——数据库奠基人JimGray

2006年12月HANA三大特点之一：极速速数据访问-

比磁盘快10HANA三大特点之二：分而治之、并行处理数据本地内存、多处理器并行处理，把大数据量和计算量分散到不同处理器节点间并行处理，不同的服务器之间也共享同一组数据容灾性，单一的服务器的DOWN机将不影响任何计算HANA三大特点之二：分而治之、并行处理数据本地内存、多处HANA三大特点之三：在内存中思考，在内存中行动–最小化数据传输传统应用将数据密集型操作在应用层执行高性能的应用将数据密集型操作转移到内存中执行内存计算

-将数据密集型操作放到内存中 -避免传输细节数据 -先计算，而后传输结果HANA三大特点之三：在内存中思考，在内存中行动–最小化自2010年发布以来，HANA的卓越性能无与伦比提高1,000

倍：

许多分析流程

（催款、账龄）提高10,000

倍：农夫山泉、Essar、SAPIT、康奈尔大学提高100,000

倍：Yodobashi

或者从24小时以上减少到3.8秒:食品饮料/分销–物流从15小时以上减少到4.8秒:项目管理/服务–利润,绩效从30天减少到28秒:制造业–订单到付款从3天减少到2秒:零售/保险–奖金SAP的HANA架构，结合了云计算和内存计算技术，显示了先进的、具备潜在颠覆性的愿景－高德纳咨询公司《SAP用HANA引领下一代架构竞争》，2011年10月在1.3TB的数据上，每小时运行1万个查询，并在几秒种之内返回结果。－由WinterCorp公司独立审计和验证，2011年3月SAP客户实证：自2010年发布以来，HANA的卓越性能无与伦比提高1,0分析展现层分析展现层SAPBI产品概览

一个满足各方需求的统一数据分析平台数据探查(敏捷分析)仪表盘报表与分析…数据集市数据仓库HADOOP实时数据平面文件交易系统SAPBI平台语义层系统管理(CMC)发布及共享安全审计移动支持内容生命周期管理数据访问SoftwareDevelopmentKits访问:门户|办公软件（Office）|浏览器|移动设备CloudHybridOnPremise支持多种设备接入支持多种部署模式Lumira数据探索（Explorer*）分析（Analysis*）DesignStudio仪表盘（Dashboards×）即时查询（WebIntelligence）水晶报表（CrystalReports）SAPBI产品概览

一个满足各方需求的统一数据分析平台数BI应用场景敏捷标准分析并可视化由多处获得的数据在Excel中分析数据并可视化在企业数据中“搜索”与分析最终用户利用预先定义的组件组装自己的交互仪表盘创建高可视化、高交互的面向高层人员定制的高可视化、高交互的分析内容自助的企业数据分析及创建报表在不同范围内共享信息高度格式化报表数据探查仪表盘报表与分析Lumira数据探索（Explorer*）分析（Analysis*）DesignStudio仪表盘（Dashboards×）即时查询（WebIntelligence）水晶报表（CrystalReports）对应组件专家模式自助模式交付方式对应组件对应组件交付方式应用要求BI应用场景敏捷标准分析并可视化由多处获得的数据最终用户利BI平台HANARDBMSExcel/CSVhadoopBW*ClipboardBIsuite与Lumira的关系报表仪表盘分析水晶报表即席查询DashboardDesignStudio数据探索平台客户端BI工具数据源语义层数据源数据建模数据分析分析共享查看平台Lumira服务器（基于HANA）Lumira云

（基于HANA）Lumira桌面版Excel/CSVLumira服务器（内存数据库）BI平台HANARDBMSExcel/CSVhadoo敏捷可视化的4个步骤敏捷可视化的4个步骤SAP大数据预测分析专为业务用户设计数据挖掘/统计学/概率学专业知识无业务分析师数据科学家业务用户低高97%~3%<1%SAP大数据预测分析SAPPA智能建模+Lumira自助探索SAPPA专家建模R语言SAPHANA分析函数包SAP大数据预测分析专为业务用户设计数据挖掘/统计学/概率学

SAPIQ企业核心业务数据数据展现BO仪表盘Lumira自助探索其它应用系统…SAPERPSAP大数据预测分析系统架构

敏捷分析+内存数据库+自助探索移动可视化第三方数据SAPCRM

历史数据扩展存储PredictiveAnalysisLibraries|BusinessFunctionLibraries|DataModels&StoredProceduresSAPPredictiveAnalytics数据挖掘自动化大数据内存分析平台数据驱动SAPHANADataServices数据存储数据建模与分析/HadoopSAPIQ企业核数据挖掘和预测：直观的可视化应用，丰富的预置预测模型

SAPPA大数据预测分析解决方案方案价值：自动数据准备和探索、完整的数据挖掘过程、强大的预测算法库直观地设计复杂的预测模型，可视化分析丰富的建模技术，可扩展的预测模型：关联分析聚类分析决策树分析神经网络分析例外分析回归分析时间序列分析概率分布…聚类分析决策树分析神经网络分析例外分析时间序列分析多元回归分析数据挖掘和预测：直观的可视化应用，丰富的预置预测模型

SAP数据挖掘和预测：高效的内存预测分析，支持外部算法调用

SAPPA大数据预测分析解决方案方案价值：结合了SAPHANA内存分析的深度、性能，支持多种高级分析和预测场景，高效快速地获取结果，实现大数据的挖掘通过集成R语言，在SAPHANA中访问3,500种以上的开源算法内置于业务应用中，扩展到BI和报表中，对事务的洞察结果，可立即传送到仪表盘、警告提示和移动终端，使业务相关人员都能灵活获取预测洞察力

与BI平台的一体化设计，通过任何BI报表或仪表盘均可访问分析结果数据挖掘和预测：高效的内存预测分析，支持外部算法调用

SAP数据挖掘和预测：自动数据准备和探索

SAPPA大数据预测分析解决方案方案价值：自动数据准备和探索，包括上千个变量并自动找到重要的指标在几小时内创建和部署模式，而不是数周可以支持日常决策、解答传统模型因市场响应速度慢而无法解决的商业问题自动实现选择变量准备数据变量编码缺失值处理奇异值处理匹配模型测试模型模型报告模型部署商业问题选择变量准备数据建模模型测试理解应用选择商业问题最相关的变量，以适合算法需要SAP：自动决定重要变量，多至几千个变量用不同算法进行建模，选择不同的参数SAP：结构风险最小化理论自动选优把数据语言转换成商业描述SAP：独特的专利技术准备数据：缺失值处理，异常值处理，函数变换SAP：自动化预处理数据挖掘和预测：自动数据准备和探索

SAPPA大数据预测分数据挖掘和预测：精简的预测分析应用函数建模工具(AFM)

SAPPA大数据预测分析解决方案方案价值：图形化用户界面，用于创建基于函数和PAL算法的程序模型将存为存储对象，可以在多个应用间重复使用可用函数放置在拖拽列表中简单选取输入/输出表、参数、以及过滤器，并生成程序无需编写SQL语句代码，就可创建基于PAL函数的程序快速开发和部署预测应用简单易学的编辑器，使应用开发过程更高效率、有成效、出成果数据挖掘和预测：精简的预测分析应用函数建模工具(AFM)

四、平台案例

四、平台案例

Real-TimeInfrastructureMeetsReal-TimeInformation华为IT副总裁任志鹏与SAPCTOBernd在华为深圳总部，2013Q42