SAP烟草行业云大数据平台解决方案

烟草行业云大数据平台方案一、国家局烟草宏观政策二、中国烟草业务价值三、烟草行业云大数据整体架构

四、

平台案例五、附录一

、国家局烟草宏观政策国家局在行业信息化发展规划中，明确要求“推进大数据技术

应用”大数据将成为行业市场化取向改革的强大抓手和精益营销的有力工具烟草行业大数据3亿多卷烟消费者，169个卷烟品牌，1325个规格包装500多万零售客户，125亿多条卷烟，每天2亿笔交350个地市级公司，国家局信息中心机房数据17400G每年“一号工程”处理200多亿个数据精益营销精益生产精益物流4市场化取向改革对卷烟营销工作提出更高的要求，进一步强调分析应用智能化的重要性省级卷烟营销平台订单采集货款结算监督管理货源投放5互联网+精准营销互联网+智能制

造互联网+科学决策宋大：海量存储-Hadoop快：内存计算-HANA低：资源共享-Cloud中国烟草在互联网+时代的新一代数据中心建设大数据+实时计算面向某著名企业互联时代的新一代数据中心SAP6二、

中国烟草业务价值货源精准投放数据挖掘营销策略分析数据挖掘产品生命周期数据挖掘销售潜力分析数据挖掘消费行为预测数据挖掘客户聚类分析数据挖掘大数据挖掘为核心实现精益营销大数据8SAP

NWNetWeaver

Process

Integration

(流程集成平台)地理信息系统(GIS),某著名企业服务提供商，

…ExtendedWarehouseTransportationTrack&TraceManagement

(

扩Management

(运(追踪和追溯)展仓库管理)

输管理)SAP

HCPHANACloud

Platform(HANA

云平台)某著名企业服务提供商互联设备智能物流解决方案和架构Transportation

Resource

Mgmt.

(运输资源管理)Hub

Logistics(枢纽物流)SAP

MFS

物料流系统Customer11订单处理运输计划仓库执行运输执行货运订单结算(ERP)(TM)(EWM)(TM)(TM/ERP)创建销售订单或·交互式/自动·波次创建·装运状态检查·运费计算交货单(SAP

ERP)制定运输计划·装箱计划装运执行监控及·创建货运发票请求自动创建运输需求·承运人选择拣货优化，包装，备货事件追踪并传输到ERP(SAP

TM)·承运人招标和装车管理自动创建货运单元·创建货运订单·增值服务(SAP

TM)·在ERP中自动生成

交货单·提货单打印端到端的一体化智能物流解决方案流程概览10三、烟草行业云大数据整体架构财务分析(项目分析)(采购分析)(网点分析)(成本分析)(生产分析关键指标分析

…企业门户中国烟草云数据中心的未来总体架构业务主题层指标数据层业务数据层原始数据层分析主题门户分析应用SAPHANA平台Hadoop烟草业务运营/支持类系EAMHR

SRM财务分析主题

物资分析主题企业经营

决策

支持

应用层企业

业务

数据

分析

整理层e

管理

E

骂驶舱数据

存储

与处理用户自主

配置工具企业

原始

业务层烟草业务

监控系统SAP

BOE

平台销售分析主题主数据平至报表

平台数据

获取BOE平台数据

分析外部

输数据管理工具BO

图表源系统SABW12>建立统一数据采集平台进行数据管控、数据分发、数据质量等的统一管理，建立各业务系统与数据存储层的数据交

换渠道>采用全新的数据库平台技术，提供实时数据查询能力，帮助用户更方便快速建立数据模型>在底层平台建设的基础上，使用专业展现工具进行数据呈现/数据分析/数据挖掘，为企业运用运营数据提供支持中国烟草云数据中心系统建设13企业数据交互层异地数据存储，提高灾备数据保护提供关键应用的业务连续性保护卓越的复制性能，

降低数据从源到目标的时间灵活的定义、不受限的扩展性，

满足业务扩展需求应用分离方案，备点提供报表、查询功能，减少生产点系统压力SAPSybase

ReplicationServer

企业级数据复制服务器WallStreetPublicServicesRetail&Logistics超过3000家企业客户选择SYBASERS

搭建关

键

业

务

系

统

的

实

时

复

制环境，包括10+Patented

technology

to

boost

performance15√

连续，实时改变数据的抓取√

基于日志

Log-based

(对生产系统影响非常小)√在复制拷贝中维护完全的事务完整性√

支持异构(异种)数据库√双向复制(从源到目标且反之亦然)√

通过Sybase

实时事件触发，发送改变的数据到消息总线

message

bus√可定制的冲突检测/解决计划Replication

Server(RS)的功能16>

开放!

支持Sybase,Oracle,SQL

Server,DB2等各种主流的数据库>灵活!

灵活的数据传输定义和订阅>高效!

最有效的传输内容，降低网络负载，提高传输效率>可靠!

提供了丰富的数据传输保障机制，如断点续传等，保障传输可靠>TCO!RS可独立运行在一台独立服务器上，不局限于数据库的平台限制复制服务器的优势17SAPLandscapeTransformationReplicationServerfor

SAP

HANASAP

布局转换复制服务器应用于

SAP

HANA产品名称·SLO

技术在近10年来被上百个项目所使

用。·

重点产品促进SAP

的应用程序生命周期

管理的概念·

SAP

布局转换复制服务器利用并证明了

若干SLO技术应用程序生命周期管理NearZero

Downtime布局转换复制服务器利用SLO

技术NOKIAmligmkarmAsoilMiapuheni系统布局优化Build

andOptimizeOperale19CounSAP

BankingFinancialReporingSAP

BankingFU/COTransactionHistory基于数据表的复制已经集成在HANA

Studio·

对SAP

源系统和非SAP

源系统实时数据复制能够SAP

HANA

Rapid

DeploymentSolutions和

SAP

HANA应用加速器(例如

CO-PA)CO-PAAccelerator·

Reporting

in

Drill-Down

Tool

e

a

oI

oli

oidpe-

Distribution

Ge

d

ger·AssetAccounting·

Overhead

Cost

Controlling

MaterialLedger数据复制引擎P1TGAPBnhn

Su

Saru

SAFAC*针对RDS方案和

ERP

Accelerators的数据

复制引擎多重数据获取用例的技术保证针对新的SAP

HANA

应用加速器的Profit-Center

AccountingAccelerator20Content&Information

LifecycleManagement:■SAPNetWeaver

InformationLifecycleManagement■SAP

Extended

ECM

byOpenText■SAP

DocumentAccess

byOpenText■SAPArchivingbyOpen

TextEnterprise

DataWarehousing:■SAP

NetWeaverBusinessWarehouse■SAP

NetWeaver

Business

WarehouseAccelerator■SAP

BusinessObjects

Rapid

Marts■SAP

BusinessObjects

Metadata

ManagementMaster

Data

Management:■

SAP

NetWeaver

Master

Data

Management■SAP

Master

Data

Governance

for

FinancialsS

aP

Data

Maintenance

byVistex■SAP

BusinessObjects

DataServices■SAP

BusinessObjects

Data

Federator

■SAP

BusinessObjectsTextAnalysis■SAP

BusinessObjects

Data

Insight■

SAP

Data

Migration

servicesSAP提供最佳EIM

解决方案传递完整，准确，容的信息Enterprise

InformationManagementData

Integration

&Quality

Management:eggnaMCreaieInteg22SeSAP

BusinessObjects

DataServices数据整合、数据质量、和文本分析第一个、也是唯一的数据整合、数据质量、数据治理和文本数据分析的集成平台整合改善治理洞察抽取、转换、加载数据质量数据剖析文本分析统一的管理环境(作业安排，安全，用户管理)统一的源/目标数据连接SAP

BusinessObjects

DataServices4.0运行时间架构和

服务业务用户界面

(信息管理)IT

用户界面(数据服务)统一的元数据23客户关系管理关系型数据库

大型主机ExcelWebERPEmails普通文件，Excel和

XML)数据整合(Data

Integrator)原始处理的数据异构数据源数据抽取&数据转换以合适的格式或者结构装载到目标商务智能多维分析一个或者多个目标DataServicesERP24数据库应用程序文件/传输大型机(合作伙伴)非结构化内容·HANA·

OracleDB2(LUW,z-series,i-series)·

Sybase

ASE·

Sybase

IQ·

SQL

Server·I

nformix·MySQLTeradata·ODBC·

HP

NeoViewNetezza·

SAP

Bus

Suite-Extractors-ABAP-BAPI-Idoc·S

AP

NW

BW·J

D

EdwardsOracle

Apps·

PeopleSoft·

SiebelSalesforce.Text

delimitedText

fixed

width·EBCDIC·XML·Cobol·

Excel·HTTP·JMS·SOAP(Web

Services)·HADOOPADABAS·ISAM·VSAM·

Enscribe·IMS/DB·RMS·

包括直接的和变化的数据·

任何来自六种语言的文本文件类型·

扩展到31种语言·

扩展到docs,pdfs,

ppts等等(4.1SP1)SAP

Data

Services

在向数据库，应用程序，遗留系统，文件格式等提供广泛连接方面具有悠久

的历史Reference

DataServices

PAMforadditionaldetails内建企业级数据和应用访问接口25数据质量管理(Data

Quality)治理

物理数据整合Business

Intelligence

andPerformance

Management语义层26提高数据质量的流程：■评估(理解数据质量的问题)■分

词■清洗(地址或者其他数据)■信息补全

■

匹配■合并■持续观察Continuous

MonitoringMeasuresongoingdotaqualityscoresandprovidos

alertsConsolidatebinosunique

dataelementsfrommatchedrecords

inioasinglesourceMatchIdentifies

dupicaterecordswithinmultipleMatch&Consolidate典型应用场景■组织和企业在合并过程中，系统间主数据的合并■建立真正干净、完整的重要信息(如客

户，供应商，产品等等)■资源、资产管理的必要手段EnhanceAppendsadditional'data

increasingthevalucoftheinformationData

Enhancement

一Corrs,s

absba

nddonasetgfsophisticatedalgorithmsthatworkwith

sacondarysource数据质量管理核心流程DataAssessmentMeasureQuantfies

the

numberandtyposofdefoctsYourataAnalyzeAssesses

thenatureand

causeParseldentificsandisolates

datatablos

or

databasesof

datadefocts27SAP

BusinessObjects

Information

Steward

功能概览DataInsightMetadata

Management

Cleansing

Package

Builder

MetapediaINFORMATIONSTEWARD28INFORMATIONSTEWARDDataInsightMetadata

Management

MetapedaProjects▶SaesOpcrationsProject

▶Show:

Latest

score

Sort

By:

Name

Views:

mllCustomer

Show

more

…

ProductQualityScoreQuality

DimensionsQualityScorepleteness

9.01

107.92Conformity5.65ConformityQuality

Trend

Quality

Trend

RunSequenceShow

more

…QualityDimensionsdompletenes;Accurac!ConfomityIntegrity数据洞察力：面向数据质量的记分卡方法从一个数据属主角

度衡量数据质量的

记分卡下钻查看记分卡

细节数据质量评分

指标最新的数据

质量得分数据质量趋势Object

Tray|Logout

About曰lhnSccrecardAccuracy29同时支持关系型数据仓库以及专业数据仓库产品如SAP

BW,提供端到端的元数据解析能力。端对端的元数据生命周期管理ETL源系统数据仓库SAP

BW30自动识别和抽取实体数据自动识别和抽取事件数据理解语义信息支持用户建立客户化的实体数据字

典处理非结构化的文本数据从非结构化数据中抽取数据，并建

立结构化数据一旦数据结构化后…>整合>查询>

分

析>可视化>

报

表非结构化的文本分析

Text

Data

Processing释放文本信息的力量、获取商业洞察力非结构化的文本信息31DQTransforms用于查询和分析的语义层目标实体，概念，敏感词ETL

设

计

人员Data

Services

Designer建立TDP作业Text

DataProcessingEntity

ExtractionData

ServicesTextDataProcessing

架构终端用户程序或者仪表盘业务用户数据源32成就卓越运营降低成本，加速实现产品利润，简化IT基础设施，这一切均可通过一个简单

产品来实现，并且实现最低的总拥有成本将用户和开发的效率提至最高，通过转换组件和对象的重用，简化系统的运

维“对SAP系统和非SAP

系统实现最深入的整合，实现最低的成本和最快的价值

实现速度提供最值得信赖的信息无论数据来自何种行业，哪个地点，还是不论是关于客户、产品、物料等哪个领域，

DataServices4.0都提供了访问和提高数据质量的最完整方案。■

通过影响分析和数据血统分析，提供随时可用的数据追踪能力，帮助用户作出信心十足的决策■

共享数据质量仪表盘，监控并发现数据质量对治理规则和标准的符合程度

变化趋势释放信息的力量首创的、并且是唯一的内置了非结构化数据支持的企业级数据整合，数

据质量和数据剖析应用■

通过直观的业务用户界面，使得用户能够掌控数据，定义数据标准■

唯—一个能够支持非结构化数据源的工具，拓展您的数据视野访问支撑关键业务流程所需的相关数据，无论这些数据时什么类型、什么来源、属于什么领域SAPBusinessObjectsDataServices4.0只需支持和维护一个应用，从而实现更低的总拥有成本提升业务决策和业务流程中的数据信心，从而实现业务的更好运营33数据存储层其他应用

SAP

BusinessObjects

什么是SAP

HANA*

预置的分析设备■基于内存的软件预装在硬件设备中*

软件-SAP

IMCE■包含数据建模、数据管理、安全管理及操作的数据建模

工具*数据复制服务器、

ETL

及SAP

BOBJ协同工作内存计算引擎

*

支持多种客户端应用计算及计划引擎

行列存储

*预置内容包(抽取器及数据模型)功能实时数据复制

数据抽取

■对海量数据进行的高速实时分析基于历史以及实时数据，创建灵活的分析模型■减少数据重复MainframeSybase

第三方系统

■新一代应用的基础SAP

HANA(High-PerformanceANalyticAppliance)SAP

HANA是一项在本地内存中分析海量数据的技术能够在刹那间获得复杂的分析与交，实时完成业务决策，毫无延迟MDX

SQL

SQLBICSSAP

HANA35硬件多核处理器架构(每台刀片8x8核

CPU,Xeon

7650)64bit

地址空间-

单

台扩展到2TB,(理论

达4EB)100GB/s

数据传输价格迅速下降，性能迅速提升多台服务器并行运

行每台服务器的价格低廉Integrated软件分区：大量数据，复杂计算动态聚集压缩

5-20倍SAP

内存计算-技术的协同创新In-MemoryMemoryDiscrete今天未来36■秒级处理实时决策RDBMS:

行存储，速度取决于磁盘IO

一

慢HANA:行、列存储，完全存于内存一快■

大规模数据运算RDBMS:索引、优化、有经验的开发人员一难HANA:

内存排序，无需考虑优化一易

并行处理，低成本运行RDBMS:

专门的数据库服务器一贵HANA:普通PC

服务器一省HANA比传统数据库具有极大的优势——快、易、省37基于主内存的并行处理是绩效改善的关键*“磁带已经死了，磁盘已经落伍，闪存成

为存储，内存才是“——数据库奠基人Jim

Gray

2006年12月“到2012年，70%的全球1000强企业会将明细数据导入内存，以提升商

务智能应用的性能。”-GartnerHANA

三大特点之一：极速速数据访问-

比磁盘快1000000倍传统数据库磁盘读取5毫秒内存数据库内存读取5

纳

秒38■本地内存、多处理器并行处理，把大数据量和计算量分散到不同处理器■节点间并行处理，不同的服务器之间也共享同一组数据■容灾性，单一的服务器的DOWN

机将不影响任何计算生我线线转钢装翔生我转据转弱继强线出移排能据路出HANA

三大特点之二：分而治之、并行处理数据BLADE

BLADE39e

以日以awnyeHANA

三大特点之三：在内存中思考，在内存中行动-最小化数据传输ClassicApproach-将数据密集型操作放到内存中-避免传输细节数据-先计算，而后传输结果高性能的应用

将数据密集型

操作转移到内存中执行APPLICATIONLAYERDATABASELAVER传统应用将数

据密集型操作

在应用层执行Calculation40·

从24小时以上减少到

3.8秒：食品饮料/分销

-

物

流·

从15小时以上减少到

4.8秒：项目管理/服务-利润，绩效·

从30天减少到

28秒：制造业-订单到付款·

从

3

天减少到

2秒：零售/保险-

奖金SAP的HANA

架构，结合了云计算和

内存计算技术，显示了先进的、具备

潜在颠覆性的愿景-

高德纳咨询公司《

SAP

用HANA引领下

一代架构竞争》,2011年10月倍：析流程(催款、账龄)倍：农夫山泉、Essar、SAPIT、康奈尔大学倍

：Yodobashi在1.3TB的数据上，每小时运行1万个

查询，并在几秒种之内返回结果。-由WinterCorp公司独立审计和验证

2011年3月自2010年发布以来，

HANA

的卓越性能无与伦比·

提高1,000·

提高10,000·

提高100,000或者SAP客户实证：41分析展现层SAP

BI产品概览一个满足各方需求的统一数据分析平台支持多种部署模式OnPremiseHybridCloud数据探查(敏捷分析)·Lumira·数据探索(

Explorer*)·分析

(

Analysis*)SAP

BI

平台语义层报表与分析即时查询

(WebIntelligence)交

平面文件

实时数据

HADOOP

数据仓库

数据集市访问：门户|办公软件(Office)|

浏览器|某著名企业设备仪表盘DesignStudio仪表盘

(Dashboards×)

水晶报表(

CrystalReports)支持多种设备接入数据访问43仪表盘

对应组件

交付方式最终用户利用预先定义的组件组装自己的交互仪表盘创建高可视化、高交互的面向高层人员定制的高可视化、高交互的分析内容Design

Studio仪表盘(Dashboards×)专家模

：报表与分析

对应组件自助的企业数据分析及创建报表在不同范围内共享信息高度格式化报表即时查询(WebIntelligence)水晶报表(CrystalReports)数据探查

对应组件

交付方式分析并可视化由多处获得的数据在Excel中分析数据并可视化在企业数据中“搜索”与分析·

Lumira·

数据探索(Explorer*)·

分析(Analysis*)自助模式BI

应用场景应用要求标准敏捷44BI

suite与Lumira的关系平台

客户端

BI工具

数据源Bl

平台

分析共享Lumira

服务器(基于HANA)Lumira

服务器(内存数据库)Lumira

云

(基于HANA)数据源hadoopExcel/

CSVExcel

/CSvClipboardRDBMSHANABW*45·发布结果到部门服务

器、企业级服务器或

者云·多种设备端查看分析

结果，实现随时随地

的分析·发布故事板到BI平台，

与现有企业级BI平台统

一管理，包括内容、权限等·

数据源多样化·

内存存储·利用现有企业级BI中搭建的模型·根据业务分析需求处理数据，例如：企业

和个人数据合并、数据计算、数据分组等·自由灵活的展现·多种视觉冲击强烈的

可视化组件·持续增强和增加的可

视化组件·与第三方软件提供商

的集成(例如ESRI、

VE)·根据业务需求，快速

构建故事板·快速生成业务报告·基于故事板的互动查

询可视化探索

故事构建

结果分享敏捷可视化的4个步骤数据准备46SAP

大数据预测分析SAP

大数据预测分析专为业务用户设计无低

高业务分析师~3%业务用户97%数据科学家<1%数据挖掘/统计学/概率学专业知识47数据存储SAP

HANA大数据内存分析平台SAP

大数据预测分析系统架构敏捷分析+内存数据库+自助探索SAP

Predictive

Analytics

数据挖掘自动化数据驱动数据建模与分析Lumira自助探索企业核心

业务数据某著名企业可视化BO仪表盘其它应用系统数据展现第三方数据SAP

CRMSAP

ERP48决策树分析例外分析时间序列分析方案价值：·自动数据准备和探索、完整的数据挖掘过程、强大的预测算法库·直观地设计复杂的预测模型，可视化分析·丰富的建模技术，可扩展的预测模型：数据挖掘和预测：直观的可视化应用，丰富的预置预测模型

SAP

PA大数据预测分析解决方案·

关联分析·

聚类分析·决策树分析·神经网络分析·

例外分析·

回归分析·时间序列分析·

概率分布·数

1

QRNesrest

NeighbourOutierRegressionsRR-Exponential

Regresion

9

R-Geometic

Regression

R.R-LinesrRegressionR-Logarithmic

RegressionPR-MultipleLinearRegressionR、ExponentialRegressionGeometric

Regressionlincar

RegresionLogarithmic

RegressionTime

SeriesR-Doubile

Eponential

SmocthiBrR

-SngleEiponentielSmoethinR-Tiple

ExponentislSmoothinlTripleExponential

SmocthingNgoithmsEI

AssociationR-Apriori~lClusteringR-K-Means~DecisionTreesR

RTreeNeursl

NetworkBR-MONMLP

Neural

Network2-R-NNet

NeuralNetwork~gOutien多元回归分析聚类分析49数据挖掘和预测：高效的内存预测分析，支持外部算法调用

SAP

PA大数据预测分析解决方案方案价值：·结合了SAPHANA内存分析的深度、性能，支持多种高级分析和预测场景，高效快速地获取结果，实现大数据的挖掘·通过集成R语言，在SAPHANA中访问3,500种以上的开源算法内置于业务应用中，扩展到BI

和报表中，对事务的洞察结果，可立即传送到仪表盘、警告提示和某著名企业终端，使业务相关人员都能灵活获取预测洞察力·与BI平台的一体化设计，通过任何

BI报表或仪表盘均可访问分析结果50数据挖掘和预测：自动数据准备和探索

SAP

PA大数据预测分析解决方案方案价值：自动数据准备和探索，包括上千个变量并自动找到重要的指标在几小时内创建和部署模式，而不是数周可以支持日常决策、解答传统模型因市场响应速度慢而无法解决的商业问题自动实现·选择变量·

准备数据·

变量编码·

缺失值处理·

奇

异

值

处

理