IBM大数据行业解决方案

1、演讲主题：行业背景分析演讲主题：演讲人:演讲人职称:3现实世界中的数据量呈爆炸式增长46 亿移动电话用户13 亿 RFID 标签 in 200530 亿 RFID标签 by 201020 亿 Internet 用户by 2011Twitter 每天处理7 terabytes 数据Facebook 每天处理10 terabytes 世界气象数据中心220 Terabytes 网页数据9 Petabytes 其他数据资产市场数据量增长1,750%, 2003-06铁路行业的大数据营销大数据资产大数据运营大数据质量、成本、时间最优铁路大数据的应用-资产大数据平台（例子）铁路资产（数据）检测计划执行评

2、估监控分析预测优化以资产为核心，以生产系统为基础，以数据分析为提升手段，实现资产可靠、安全及成本可控新的或升级的应用所有数据实时分析区企业数据仓库，数据集市及分析工具区信息管控区探测，落地及归档区信息摄取及运营信息区CRM服务和支持电子商务营销管理忠诚度大数据和分析平台将会发生什么?Predictive analyticsand modeling需要怎么做?Decisionmanagement正在发生什么?Discovery andexploration为什么会发生?Reporting, analysis,content analytics认知构造大数据和分析战略， 整合及管理的服务 大数据及

3、分析基础架构IBM大数据架构扩展对全方位数据的转换，匹配，安全及管控能力IOT PlatformETLBigInsightsSPSSCognosStreamMDMPMQPCIWeatherMaximo演讲主题：IBM 大数据那点事： 拥抱开源、支持多平台演讲人:演讲人职称:工业4.0(2013)以信息物理系统(CPS)为基础，以生产高度数字化、网络化、机器自组织为标志的工业革命两化深度融合(2014)中国制造2025(2015)智能制造、互联网+：体现为信息技术与制造技术的深度融合，重点发展10大领域，强调创新驱动、智能转型、强化基础、绿色发展制造业白皮书(2014)重点发展机器人、下一代清洁

4、能源汽车、再生医疗以及3D造型技术先进制造业国家战略计划(2012)工业互联网(2014)强化关系国家安全的关键产业本土制造能力，缩短先进材料从开发到推广应用的时间，投资发展新一代机器人，物联网和大数据分析高价值制造(2012)应用先进技术和专业知识，创造持续增长和高经济价值潜力的产品、生产过程和相关服务新工业法国战略(2013)解决能源、数字革命和经济生活三大问题，确定34个优先发展的工业项目高端系统及制造业的全球变革浪潮中，中国政府稳健而快速布局并有望借助“一带一路”实现“弯道超车”对于我们搞IT的意味着什么？“也许你昨晚还是一个工业企业，今天一觉醒来，却已经成为软件和数据分析公司” -G

5、E 董事长 ， Jeffrey Immelt一、我们终于找到经济的主战场了- OT 与 IT 深度结合二、多了好多别的“友商”- 跨界成为常态三、客户的要求“千奇百怪” 产品技术快速变革千奇百怪-在经济的主战场，信息多样性远超之前，大数据是一种常态状态不可量测 量测通信误差 局部信息 量测不确定性 集值数据 内外部干扰未建模动态随机切换 模型不确定性 未知参数模型不确定性量测不确定性传 感 器系 统控 制 器量测环节 模型环节 噪声噪声输入 输出 千奇百怪- 我们惊喜地发现，世界的本质原来是“非线性、不确定、时变的”，我们对于世界本质的了解至多是无限逼近真理的过程这事搁在原来谁也搞不定扩散动态

6、过程 高斯噪声无界不确定性随机噪声有界不确定性有界噪声拥抱开源：Spark（以及其他开源技术） 可以比较实用地、高效地解决生产运维等主战场的问题认知计算：Wasion能学习、能思考、能探究面对经济主战场的“千奇百怪”，IBM 审时度势，拥抱开源、全力挺进认知计算分布式缓存Dstream 1RDD 3 RDD - 2RDD - 1模型模型模型模型数据数据数据数据模型模型模型模型模型模型模型模型模型模型模型模型模型模型模型模型变换计算变换计算变换计算变换计算变换计算变换计算变换计算变换计算变换计算变换计算变换计算变换计算变换计算变换计算变换计算变换计算Dstream 2Dstream 3数据数据数

7、据数据技术上高性能系统优化、逻辑回归、迭代算法通用的数据预处理、信号滤波与处理通用的数据挖掘、相关性分析、特征计算与提取业务能力系统辨识、状态估计、模式识别多子系统并行模拟仿真，工况识别、运行优化系统可靠性、故障与风险预警高性能的实时事件处理，运行监控告警数据模型变换计算有状态的数据，由一个或者几个“变换计算”环节变换到下一个“数据”或者“模型”。在实现上可以基于RDD以及Redis“数据”：可以序列化、转储“模型”：中间环节，一般存在于分布式内存中各种无状态的变换计算环节，其输入为若干“数据”或者“模型”，输出为另外的若干“数据”或者“模型”。由于是无状态的，可以并行地分布在网络的若干计算节

8、点上，在实现上可以基于底层Spark/Stream平台凭什么？开源能做什么？Spark 能干什么？基于Spark，我们可以管理负责的算法分析服务，支持“千奇百怪的”业务应用，跨越经营管理与生产运维多个领域基于Spark，我们可以管理负责的算法分析服务，支持“千奇百怪的”业务应用-面向设备系统运维的实时大数据分析服务三个大数据算法设计的学科领域：系统工程、统计学、人工智能，本框架体系基于系统工程理论基于Spark，我们可以管理负责的算法分析服务，支持“千奇百怪的”业务应用-面向设备系统运维的实时大数据分析服务（续）多维空间、虫洞、降维打击国际国内环境、ICT业环境及我们的小环境都在经历巨变在经济

9、的主战场，面对千奇百怪的需求，IBM 审时度势，拥抱开源、全力挺进认知计算IBM大数据平台与案例分享大数据计算需要什么样的硬件平台？OLAPDW BigDataSQL NoSQL NewSQLRDBMS Hadoop Spark批处理交互分析流计算更大容量更低成本更快的处理速度支持多样化的计算类型横向扩展的能力更大更多的磁盘更少机器更少空间和耗电更低的造价游戏Map-ReduceHPC图像渲染云存储工业仿真计算密集消重/归档风险分析IO密集流计算实时分析/交互分析更快的CPU更多的线程并行更大的内存容量和带宽更大的IO带宽Flash加速大数据处理技术的发展，对硬件提出了更高的要求灵活的硬件配比

10、支持从计算密集到IO密集多种计算类型灵活定制硬件创新，CPU、GPU和混合计算多种计算负载的混合调度21认知计算能力持续数据加载性能海量IO带宽低延迟极端Flash性能加速网格扩展存储私有云公有云Traditional IT混合云为Big Data而设计软件定义+云化开放和协作创新Power8高性能、敏捷、高效和开放的架构才能满足新计算时代的需求IBM继续引领计算平台的研发创新IBM在位于纽约Yorktown Heights的实验室中建造了一台有5个量子位的量子计算机，并将这台量子计算机通过云服务开放给所有人使用。USA新超算中心Summit、Sierra都将基于NVIDIA、IBM的新架构打

11、造，前者计划配备3400个节点，峰值性能可达150-300PFlops，也就是最多30亿亿次浮点计算每秒，而天河二号的峰值是5.5亿亿次。IBM联合ASTRON运算SKA望远镜数据探索宇宙奥秘，每天计算的数据吞吐数量相当于整个互联网人工智能Truenorth芯片，IBM推出了单芯片独立板机，一个盘上有16块板，全机48块板，每块板含16枚 Truenorth芯片，IBM计划以后推出64、256、1024和4096枚芯片的盘，后者的神经元数目将达到人脑的1%。Linux社区贡献排名公司第2，主流Linux发行版均有Power优化版本，Power支持KVM虚拟化。白金赞助商，19 个核心贡献者，贡

12、献排名第2，超过100个活跃开发者。IBM基础架构云全面以OpenStack为中心。投入10亿美金发展 Linux及相关开源技术IBM发起创立软件定义网络开源联盟Hadoop社区主要贡献者，提供Hadoop发行版，发起成立ODP，提供Hadoop增强方案。IBM与国内实力最强的星环、亚信，巨杉等新技术公司合作，开发Power优化的Hadoop版本和NewSQL数据库，与国内公司一起拓展开源商业生态系统。IBM与Redis合作，基于IBM CAPI CPU硬件加速技术，建立创新的Redis方案。IBM 和 Docker 宣布建立战略伙伴关系，提供基于Power的Docker优化版本。Power+

13、PostgreSQL提供分布式事务处理数据库优化方案IBM与开源体系的合作23PowerLinux+Hadoop：更好更开放的大数据平台HDFSMap-Reduce/YarnGPFSSymphonyHBaseSpark物理层平台层工具层HiveStormBigSQLStreamsBigSheetSPSS更加成熟、可靠与更高性能的分布式文件系统领先的大数据计算调度平台，多租户管理，更智能调度，更高性能、SLA管理，支持更多大数据计算类型灵活支持纯开源或IBM增强Hadoop方案，支持多种大数据应用，共享资源，混合运行。MahoutR2.5xIBM Analytics Stack: IBM Pow

14、er System S822L; 8 nodes each with 24 cores / 192 threads, POWER8; 3.0GHz, 512 GB memory, RHEL 6.5, InfoSphere BigInsights 3.0Cisco Stack: 16 high-density Cisco UCS C240 M3 Rack Servers each with 16 cores / 32 threads, Intel Xeon E5-2665; 2.4 GHz, 256 GB of memory, Cisco UCS VIC 1225, and LSI 9266 8

15、i with 24 1-TB SATA 7200-rpm disk running Apache Hadoop open source distributionPower可以为Hadoop 作业提供更高的性能，右图为Hadoop benchmark Terasort的公开测试结果，IBM Power8比最好的x86平台测试值快2.5倍（core vs core）。IBM有多个基于Power的Hadoop M/R平台项目交付，使用更少的节点，更少的空间能耗占用和更少的成本，提供更高性能更高安全性的大数据平台。Power Linux平台为Spark 提供更高性能Designed for the C

16、ognitive Era to Make Better Decisions even Faster IBM Data Engine for Hadoop and Spark infrastructure delivers Spark workload scaling to minimize execution times and reduce batch windows2.1X 性能价格比 for Spark Logistic Regression based Machine Learning used in model training by wide variety of lines of

17、 business1.4X 性能价格比 for Support Vector Machine (SVM) a Machine Learning algorithm used in product Recommender Systems1.7X 性能价格比 spent for Spark SQL query processing used widely in Big Data clusters6All results are based on IBM Internal Testing of 3 SparkBench benchmarks consisting of SQL RDD Relatio

18、n, Logistic Regression, SVM6 Data Nodes and 1 Management Node. Each node is IBM Power System S812LC 10 cores / 80 threads, POWER8; 2.92GHz, 256 GB memory, RedHat 7.2, Spark 1.5.1, OpenJDK 1.86 Data Nodes and 1 Management Node. Each node is x86 E5-2620V3 12 cores / 24 threads, E5-2620 V3; 2.4GHz, 256

19、 GB memory, RedHat 7.1, Spark 1.5.1, OpenJDK 1.8Pricing is based on web prices of HP DL380 and list prices of IBM Power S812LCSVMLogresSQLSVMLogresSQLIBM Power8GPU构建面向认知计算的基础架构利用Power8 CPU和Nvidia GPU的深度整合，将Watson认知计算效率提升到1.7倍At IBM and OpenPOWERs Accelerating Innovation event in Austin, we previewed

20、 the next iteration of our cognitive computing system architecture, integrating the NVIDIA Tesla Accelerated Computing Platform into Watsons core technologies. The incorporation of NVIDIA flagship Tesla K80 GPU accelerators coupled with the Watsons POWER-based architecture accelerates Watsons retrie

21、ve and rank capabilities to 1.7x of its normal speed. This fuels our drive to further improve our cost-performance of Watsons cloud-based services. In addition to bolstering response time, the GPU acceleration also increases Watsons processing power to 10 x its prior performance. Watson often requir

22、es a lot of compute power and time to digest, annotate and index large quantities of data to prepare it to perform its cognitive tasks. NVIDIAs Tesla GPUs will accelerate the time it takes the cognitive computing system to process this information to enable it to interact in natural language.The com

23、bination of IBM POWER architecture and NVIDIAs Tesla Platform will also facilitate the expansion of Watsons deep learning functionality. Hardware acceleration is integral to Watsons ability to deeply reason about vision and speech recognition in a short period of time.http:/ibmresearchnews.blogspot.

24、jp/2015/11/accelerating-watsons-performance-with.htmlIBM发起成立Hadoop标志联盟Open Data Platform/ODPIBM增值组件IBM Biginsights套件标准和互兼容开放共享模块化灵活选择 主要大数据应用场景大客户技术进行客户分群示例基于IBM Power Linux平台的数据应用场景实践数据管理能力 TBPBEB数据价值密度/实时性高低OldSQLNewSQLNoSQL流计算/内存计算Stream/Storm/Spark内存关系数据库TimesTen/Altibase内存KV数据库Memcache/Radis内存数

25、据分析DB2 BLU/HANA海量数据管理MongoDB/SequoiaDB/Impala/HBase数据仓库/MPPDB2 DPF/GreenPlum/GBase传统事务处理Oracle/DB2/SQL Server海量数据批处理Hadoop M-R/Spark数据挖掘机器学习SPSSWatsonPower Linux +Redis：创新大数据缓存方案（内存KV数据库）Load Balancer500GB Cache Node10Gb UplinkPOWER8 ServerFlash Array w/ up to 40TBDifferentiated NoSQL(POWER8 + CAPI

26、Flash)New memory tier for POWER8 server Up to 40 TB for NoSQL based applications Cluster solution in a boxInfrastructure Attributes 192 threads in 2U Server drawer 40 TB of memory based Flash per 2U Drawer Shared Memory & Cache for dynamic tuning Elimination of I/O and Network OverheadTodays NoSQL i

27、n memory (x86)Infrastructure Requirements Large Distributed (Scale out) Large Memory per node Networking Bandwidth Needs Load Balancing基于Power8 CAPI接口的闪存创新方案，实现Redis在内存和闪存间的自由切换，相对于全内存方案，提供更加灵活的性能成本配置，并具有更少的资源占用。WWW10Gb UplinkWWWBackup Nodes500GB Cache Node500GB Cache Node500GB Cache Node512GB Cache

28、 Node24:1 Reduction in infrastructure2.4x Price reduction12x Less Energy12x Less rack space 40TB of extended memory4U适用场景：高并发实时缓存，如网站前端静态数据，用户/商品/订单查询系统，读写分离的读库等。实时数据分析方案-内存分析数据库- IBM Power Linux +DB2 BLUStand AloneSolutionAdvantageArchitecture：Open Solution is more preferred in China customersTechn

29、ology: Dynamic In-Memory, Actionable Compression, Parallel Vector Processing, Data Skipping, etc.Performance：DB2 BLU on Power 7x better performance than SAP HANAPrice：DB2 BLU on Power 1/9 cost of SAP HANASizing720(8c, 128GB) 2.5-5TB740(16c, 256GB) 5-10TB750(32c, 512TB) 10-20TB720(4c, 64GB) =P7+ supp

30、ort)Protect existing customer investmentsUnique PowerVM advantages: Virtualization out of the BoxTDI like approach re-use existing IT assets and operational patternsCreate LPAR from existing, instead of purchasing a dedicated applianceMore granular and flexible memory increments possible Leverage PO

31、WER performance and scalability for SAP Business SuiteSignificant Power SMT throughput advantages versus Intel x86 in-box co-existence with established SAP landscape using AIX, IBM I POWER8 faster memory bandwidth is ideal for in-memory applications like SAP HANAPower memory bandwidth vs Intel：4X (u

32、p to 16TB of memory)Power Linux +流计算：大数据实时分析计算方案StreamStormSpark StreamingIBM成熟的商用流计算技术，广泛的案例验证开源流式计算框架，简单实用大规模流式数据处理的新贵，基于Spark通用计算框架Streaming适用场景：实时监控告警分析，实时营销分析触发，高速数据采集预处理，流式动态数据处理等。Power灵活支持商用和开源流计算方案，Power特性和流计算框架的结合，具有更好的性能和效费比。流式计算的原理是在内存里不间断地对流入的数据进行计算，通过多节点多核多线程并发已达到亚秒级快速处理大量数据的目的。因此，CPU的主

33、频，并发多线程能力，cache大小，内存带宽和Java性能等方面都会直接影响到流式计算的性能表现。性能指标IBM Power 8Intel E5/E7 CPU主频3.74.3GHz1.72.8GHz超线程能力8个2个CPU片内缓存大小/每core812MB L3 Cache22.5MB L3 Cache硬件事务性内存支持不支持内存带宽230410 GB/s5183 GB/sL4 Cache（内存缓存）支持，128MB/CPU不支持单机可靠性设计指标99.999% 99.95%针对Streams的Java库优化有无IBM和x86针对流计算的性能指标对比MPP数据仓库方案（PowerLinux+

34、GBase）GBase 8a完全国产化的MPP新型数据库方案，无Master，节点对等的扁平架构。高性能，高密度节点。完全并行的MPP+SharedNothing架构，在线节点动态伸缩。多副本数据，透明高可用。Why Power?-Power硬件具有更好的性能和可靠性，尤其是多线程能力和IO通道-Powerlinux有广泛的兼容性，Gbase针对Powerlinux优化适用场景：海量结构化数据仓库，大数据系统里的汇总数据存储、交互分析、Ad-hoc查询与展现平台。硬件配置方案建议：一个基本配置单元4 x Powerlinux S812L + 1xDCS3700-提供高达256core（SMT4

35、），6GB/s IO吞吐量（50%read-50%write）和240TB存储空间-总共只需13U标准机架空间-采用DCS3700 Raid 5保证磁盘冗余，相比多副本有更好的性能和更高的磁盘利用率Powerlinux S812L Powerlinux S812L Powerlinux S812L Powerlinux S812L DCS3700Power Linux+文档型数据库：大数据实时查询分析方案MongoDB，最流行的开源NewSQL数据库面向文档存储完整的索引支持模式自由，可自由更新数据结构支持复制和故障恢复，易扩展主机主机CPU内存进程部署存储占比平均处理效率(条/秒)CPU使用

36、情况(使用占比）内存使用情况(内存使用量）X864*X86 24C，128GB3副本，共60个数据库(DB)，启动16个查重进程共测试话单约26亿条,存储占用约360G3555340128GPower Linux4*PowerLinux8C,128GB5271740128GPower针对MongoDB优化，可提供更好的性能和安全性。以下为某客户实地进行的测试，Power平台上的MongoDB可比x86提供5倍以上的处理性能。SequoiaDB优秀的国产文档数据库产品 灵活动态的数据类型 并行执行引擎 线性水平扩张 MPP 无单点故障 在压缩数据上执行SQL 保持数据接近CPU/核以下为采用Po

37、wer+SequoiaDB方案构建的某应用日志查询分析平台。明细日志源文件NAS存储模块SequoiaDB存储模块CRM应用服务器1CRM应用服务器2CRM应用服务器3CRM应用服务器4CRM应用服务器5 CRM应用服务器N文件工具脚本日志传输实时访问模块日志查询/简单分析日志复杂分析Hadoop分析模块Web展现模块 IBM与国内最好的Hadoop技术公司合作，提供最佳的企业级Hadoop平台解决方案：星环科技TDH on Power LinuxTranswarp Data HubTDH on Power的意义：国内最强Hadoop软件公司和全球最强系统硬件公司强强联手，提供软硬结合优化版本

38、。更好地性能更容易集成更容易管理维护业界最强的软件/硬件技术支持能力某运营商企业级多租户大数据平台P8LinuxP8LinuxP8LinuxP8LinuxP8LinuxP8LinuxP8LinuxP8LinuxP8LinuxP8LinuxP8Linux分布式文件系统(支持HDFS 1.x/2.x, POSIX接口)资源抽象层(屏蔽异构硬件，统一管理/监控/调度)MapReduce 资源组Spark 资源组其它资源组资源管理层Symphony EGOGPFS FPO工具层应用层HiveHBaseMapRedue 1.x 任务MapRedue 2.x 任务Hive 任务Spark 任务基于策略的智

39、能任务调度Spark某银行大数据-IBM基于Power Linux整体方案数据源结构化数据信用数据非结构化数据业务日志前端业务应用统计展现客户分析客户服务产品管理运营监控精准营销精准推荐风险控制数据挖掘即时查询报告展示报表制作监管报送一期实施二期实施数据采集获取层分布式存储层分布式计算层统一监控部署和运维管理 Ambari数据管控数据标准大数据平台担保数据交易数据客户信息管理日志系统日志集中部署统一配置集中监控分布式数据接收数据主动获取转码转换数据清洗并行加载并行收集加载引擎采集获取数据加载数据临时存储层NAS存储用户登录与权限管理作业调度和资源管理YARN落地层时间分区中间层时间分区应用层H

40、Base缓冲层时间分区分布式文件系统HDFS存储管理分布式计算引擎MapReduce/Spark数据处理Hive集中搜索ElastiSearch综合查询SparkSQL数据挖掘与统计分析R数据的批量和实时计算处理非结构数据搜索ELK流数据处理Spark streaming实时计算Spark并行算法库Parallel Lib流存储Streams数据质量数据治理数据管控数据安全模型部署软件开发开发部署数据传输数据更新流数据检测异常担保关系1、三个或多个客户之间互保2、互保、联保同时存在3、互保、联保、联保同时存在XXRCCB：客户需求是通过数据挖掘检测异常担保关系，减轻人工审查工作量。搜集了该银行

41、500万客户的担保往来关系数据，使用社交网络算法构建图模型。使用Hive对多个五百万级的表进行数据预处理。通过特殊子图挖掘，发现各种循环担保结构9597例。在此案例中，使用开源免费的“R + Hadoop/Spark”的方案，借助集群的并行化计算引擎，扫描五百万级客户并从中识别出可疑异常担保关系名单，只需要1015分钟。一期效果小结$24 billion投资以增强大数据分析能力, with $7 billion in organic investments$17 billion投资用于大数据技术收购， 收购超过30家大数据领域创新公司15,000分析顾问专家 and 400 统计数学家1,00

42、0大学合作伙伴 & 2,251 商业合作伙伴40,000大数据领域客户合作500数据分析专利年2/3的IBM研究人员从事数据、分析和认知计算的工作IBM 持续投资大数据分析领域，保持技术的领先优势总结IBM持续保持数据分析领域的技术领先Gartner 2016年面向数据分析的数据仓库和数据管理解决方案魔力象限报告演讲主题：客户预测分析业务背景PCI方案要点方案场景Agenda“上个月在瑞士达沃斯举行的世界经济论坛上,大数据是一个热点话题。在论坛的一份报告大数据，大影响中声明： 数据已成为一类新的经济资产，就像货币或黄金一样.“公司被数据淹没了从客户的习惯到供应链的效率。但是许多经理却不能理解这

43、些数据的意义.”“越来越多的企业使用大众媒体去分析公众对产品的反馈，例如Facebook或Twitter, 也有使用网站资源试着“了解客户，是什么让他们选择他们想要的东西” 负责IBM预测分析项目的迪阿德瓦说。“大数据已抵达Seton医疗保健家庭,幸运的是, 通过使用这个分析工具,每年超过200万复杂病例的患者得到了帮助”“数据是新型石油”未开采的石油，没有什么价值。 加工及提炼后，将助力世界。44“现在，沃森 正投入到工作中，消化了数百万页的研究, 结合最佳的临床实践和监测结果，以协助医生治疗癌症患者.”“数据是新型石油.”Clive Humby我们今天阿里巴巴公司本质上是一家数据公司，我们

44、做淘宝的目的不是为了卖货，而是获得所有零售的数据和制造业的数据；我们做阿里小微金服的目的，是建立信用体系；我们做物流不是为了送包裹，而是这些数据合在一起，我们对一个人的了解远远超过你，你是不了解你的。电脑会比你更了解你，这些东西是大家需要记住的。“业务”与“数据”并驾齐驱大数据应用目标以客户为中心数字化的关系模式让客户对服务的期望和服务的结果有了更多的期待。数字的高度集成化为更完整的理解客户习惯提供了可能。对客户消费习惯和消费偏好的更深理解为企业开辟了一条更好的与消费者沟通和交流的途径。其他功能目标在现今的很多其他活动中，将内部数据转化为实际洞察力的能力在很多公司内部相对缺失。受访总人数 10

45、61人大数据目标我们让受访者列出大数据在其企业内的首要功能目标。受访者经过加权和汇总客户为中心业务流程优化风险/金融管理商业模式创新员工协作以客户为中心其他功能目标IBM 商业价值研究院携手牛津大学赛德商学院联合推出大数据业务发展执行报告业务背景PCI方案要点方案场景Agenda大数据技术的发展带来新的机遇行业发展，客户需求发生急剧变化IBM提供全面能力预测性客户洞察解决方案开箱即用的解决方案PCI强大的实施团队及行业专家数据分析技术能力增强研发中心的攻关力量门口野蛮人的竞争个人行为是具有特征并可识别数据采集/传输/存储技术提高成本下降客户能够获取更多的信息客户需求越来越多，越来越高PCI诞生

46、的三大条件PredictiveCustomerIntelligence19952015IBM带来全新的洞察视图2005交易传统CRMIBM PCIPredictive Customer IntelligenceBBS微信邮件新闻媒体移动APP线上网店官网基于PCI解决方案的流程总览大数据来源PCI核心价值模型营销运营粉丝经济HOW?交互信息邮件/交谈记录电话中心记录网络点击流面对面会话信息WHY?态度信息Attitudinal data观点偏好需求WHO?描述性数据态度特征自我描述人口地理信息WHAT?行为数据订单交易支付记录使用记录市场细分客户价值营销活动响应模型流失模型顾客生命周期模型购物

47、篮分析价格敏感模型产品关联模型产品偏好情感分析模型市场活动营销方案线下购物线上交易客服中心跨渠道营销管理实时营销市场活动检测社交媒体lPredictive Customer Intelligence架构：三层次数据集成用户报告, 仪表盘, 钻取, 探索高容量流数据, 消息队列历史记录储存库分布式分析型数据存储挖掘预测决策优化商务智能50业务背景PCI方案要点方案场景Agenda数据分析在交通运输业的价值从一家公司说起2008 年,微软以 1.15 亿美元收购了一家西雅图公司 Farecast,他们的主打技术是依靠“大数据”预测机票价格，Farecast 创始人 Oren Etzioni 称，F

48、arecast 是“Bing 最独特的功能”。2014年4月，微软关闭 Bing Farecast 机票价格预测功能。52背后发生了什么？数据分析在交通运输业的价值从一家公司说起微软在2008年以1.15亿美元的价格收购了Farecast，该应用是第一批大数据消费者应用中的一款应用，它是由奥伦埃奇奥尼（OrenEtzioni）在2003年开发出来的。实际上，Farecast早在2011年的时候就遇到了麻烦。当时谷歌以7亿美元的价格收购了旅游软件公司ITASoftware，而Farecast的数据就是由ITA提供的。微软、Kayak、Expedia和其他一些公司曾经试图阻止那项收购交易。法官最后

49、在判决书中规定谷歌必须将旅游数据提供给它的竞争对手，但是微软不愿意向谷歌购买那些数据。即Farecast被微软收购后不久它的团队就离开了必应公司，其中一部分员工继续追随埃奇奥尼去了D，现在则在为亚马逊工作。53关于大数据应用的两点启发：1、数据的使用权/所有权是基础；2、数据分析是持续渐进的过程。交通运输业的三个重要构成要素人/货乘客货物车路出发到达路线54我国历年各交通方式货物周转量占比我国历年各交通方式旅客周转量占比数据分析方向客流量的预测客流走向预测热点地区分析动态票价尝试会员分析运力分析车辆维护路线优化55依据客流量的历史数据，使用数据分析得到客流的趋势、周期性变化特征、影响因素等，并

50、综合为最终的流量预测模型。如下图所示为某站点工作日的流量波动特征图。数据分析结果示例客流量预测客流预测可以帮助更好地安排乘客出行，合理安排运力57客流走向分析58出发地点出行目的地点主要功能城市体系规划分析城市间的人口迁移情况、热点区域、交通，城市间人流情况等帮助进行城市体系发展规划交通规划研究人们出行规律，交通需求，帮助进行道路规划、客运线路优化城市建设规划分析土地利用、基础设施建设，避免过度开发、资源浪费热点地区分析59主要功能基于数据数据分析能够提供不同时间、热点地区的客流大小分析乘客来源，交通方式分析旅行路线分析客流分析帮助制定市场促销计划在不同季节，针对最有市场潜力的城市投放广告，提

51、供套餐和其他优惠信息基于历史的乘客数量，预测未来一段时间的冷门区域，针对他们提供套餐和优惠信息地区交通设施优化根据历史同期以及当前的乘客流量，预测未来一段时间各地区的客流量，以此为依据，最高决策者能够科学的、即时的调配运力从淘宝商品分布得到的启示动态加价与机票打折61数据分析是背后的支撑会员分析如果对于出行频次较高的乘客可以获取个人信息的话，可以进行范围更为广泛的会员分析会员忠诚度分析会员信用分析会员出行习惯分析628/23/202207/11/11321大数据团队支持大数据平台支持业务目标数据来源分析手段4大数据项目体系：1个方法，2个支持，3个前提，不断迭代演讲主题：资产管理分享铁路行业面

52、临的挑战资产规模急剧增长。基建运营一体化下的“快速开通、安全运营”的要求。需要建立完善的运营维护体系，但面临很多难题。对运营维护成本的归集和控制困难如何整合资产管理方案，最小化部署新系统风险机车结构复杂，难于管理构型规则及跟踪变更。通常资产的管理方式不能满足线路资产的线性管理特性要求。铁路是资产密集型行业，要管理各种资产机车（电客车）技术先进、自动化程度高，维修保养规程严格。车型严格匹配，设计构型复杂。直接影响运行调度线路基础设施如：线路、隧道、通信和信号等。属于连续性的资产，有线性特性管理需要。现场施工作业有严格的管理流程。直接影响运行调度车站、工作场所设施及支持资产如：自动售票、自动灭火、

53、供电、给排水、屏蔽门、电梯、主控、环控、IT、工具、仪器、建筑物和后勤设备等种类复杂数量大车辆管理需要解决的问题如何完善车队管理如何有效建立车辆构型,管理相关的车辆?如何及时掌握车辆状况,避免维修延误和过度维修?如何完善维修计划?如何提高维修效率?如何管理车辆保修?如何在保证可靠性的同时降低库存资金占用?如何管理不合格项?线路管理需要考虑的要素如何建立线性资产管理体系?如何准确定位工作位置?如何图形化展示线路资产情况?如何确定线路维修具体位置和相关资产?如何与施工调度等系统有效集成?如何满足法规要求如何减少风险?车站设备设施管理需要考虑的要素准确掌握车站设备的状况及时维修各类设备故障管理各类硬

54、件和软件维修与升级管理各类系统及相关设备确保现场安全构建资产管理系统增强环境健康和安全 (EHS)绩效管理，分析和持续改进组织和能力管理技术培训数据集成和资产信息管理集成的供应链管理资产配置管理供应链网络配置来源和采购计划和物料管理.物流执行维护和可靠性设计保修管理工程变更管理 (MOC)核心Maintenance Network ConfigurationEquipment Performance Monitoring维护计划和排程维护执行Outsourcing Strategy & Partner Management操作关怀和现场服务资产战略和财务管控Equipment Specific

55、 Maintenance Strategies停机管理维护网络配置设备绩效监控外包策略和合作伙伴管理设备属性和维护策略跟踪资产状态、配置变化，完善资产管理知识体系 应用Maximo实现资产全生命周期管理优化资产运行维护流程，降低成本，延长寿命以项目为主线，完善资产转固等资产前期管理结合资产绩效、成本等，制定有针对性的采购策略财务资产与实物资产的同步，实现资产价值的动态一致化 Maximo从以下方面帮助企业风险识别 设备关键度级别或风险等级定义 通过故障体系模块定义设备故障模式(代码)、原因、措施，提供量化分析的基础 落实基于风险的设备检查策略，确保依据各类规程按时保质保量的完成检查任务量化分析

56、 用丰富的故障历史信息统计出设备故障的发生规律(季节性,时间相关,负载相关) 根据状态检测库里面设备状态的变化曲线识别其劣化趋势过程优化 工作计划：保证工单执行的资源和条件通过Maximo系统进行梳理和整合 工作排程：在计划的基础上协调和平衡各种资源，妥善安排 安全管控：通过作业人员资质限定、作业危险和预防措施的警示加强安全管理预防预测 强调预防为主，通过KPI展现出预防工作比重的提高对维修效果影响的量化值 增加对应急补救的工作管控，使用KPI对应急工作进行衡量绩效评估 维修成本分布统计识别出高成本维修设备或低效率的设备管理方式 统计特定作业后的设备量保持时间计算维修效果 通过故障模式及其发生

57、概率衡量设备的可靠性资产运营维护管理业务框架74实现设备维护维修管理持续改进业务战略设备管理战略设备关键因素故障模式计划执行缺陷调查改善衡量主数据事件数据企业战略市场策略行业领导力运行策略设备管理标准绩效考核标准系统关键设备管控指标运行知识故障模式分析运行步骤预防性维护状态监控停机报告缺陷分析变更管理,持续改进根原因分析故障模式分析事件管理缺陷消除预防性维护纠正行维护建立资产管理知识体系设备编码设备缺陷计划检修物资分类.集团共享数据标准目标：建立集团标准体系共享相同设备信息提高标准化加强知识管理维修标准故障代码作业成本编码体系Maximo 健康安全环境管理关键能力 带来的好处事故管理提供事故上

58、报，记录事故相关人员、工作、安全和健康相关情况调查支持事故调查的各种记录、对事故和缺陷进行根原因分析，提供历史故障、缺陷和工单的跟踪及纠正行动记录变更管理全面管理变更全流程，跟踪涉及运行、安全、维护和工程相关的各类变更，包括安全计划、环境控制、运行步骤和维修标准等的变更。非一致性管理提供非一致性管理，用于识别、评估、检查和处理非一致性的工程参数、物料、部件和流程等。法规遵循 识别与资产、位置相关的法律法规，确保法规得到遵循。建立全面的企业资产管理考核机制资产总效能 OEE平均无故障工作小时 MTBF资产管理预防性维修工作执行率资产总维修费用工作管理KPI业务流程优化ActualQualityC

59、ostTimeOrganization组织机构优化Systems技术提升Maximo企业资产解决方案地铁资产管理探讨Maximo解决方案新功能介绍资产可靠性资产运行绩效维护效率安全性资产状况显示可能的故障先于故障开始维护，减少停机减少故障可能造成的损坏资产状况显示运行情况与绩效安排维护以提升资产可用性物联网时代的Maximo按需要进行维护优化维护工作安排减少维修人员超时工作减少风险与伤害IBM Maximo运行资产IBM IoTPlatform+准确,可靠,实时安全，及时获取设备数据确保数据供分析使用Maximo Asset Manager 资产管理资产管理的核心方案，管理车站、设施和房产，包

60、括检票口、空调和安全资产Maximo for Transportation交通管理 管理所有的车辆资产，包括地铁车辆、轻轨车辆和各种支持车辆。Maximo Scheduler 排程器 计划性工作排程，用可视化方式，用”拖拽“操作安排可用资源Maximo Linear Asset Manager 线性资产管理 管理线路基础设施，包括轨道、信号系统、电气化系统和结构Maximo Mobile 移动管理 支持手持终端工单、库存和资产管理IBM Maximo 铁路资产管理解决方案Maximo Asset Configuration Manager (ACM) 资产配置管理 管理机车/客车的设计、建设立