面向数字化企业的现代商务分析

1、面向数字化企业的现代商务分析SAP BusinessObjects SAP Digital Business Framework从互联网+到 大数据+，大数据分析成为影响行业发展趋势的重要因素工业 4.0数字化工厂 智能工厂大数据预测分析帮助工业 4.0 构建智能和网络化的世界第三方服务提供商(服务)合同制造商设计合作伙伴客户逍费者用户销售(制造与服务)供应商分厂生产关联性设计可持续业务运作与法规遵守供应商协同企业资产管理外包制造关联性服务完美工厂可视化工厂全球网络化制造1.通过价值链及网络实现企业间横向集成2.贯穿整个价值链的端到端数字化集成3.企业内部灵活且可重新组合的网络化制造体系纵向集

2、成主动响应绿色节能预测大数据物联网M2M移动CPS社交网络云支持大数据（Big Data Ready）企业级分析能力，支持物联网和大数据应用预测在事故发生之前发现问题并消除面向物联网的大数据分析智能解决方案计划与模拟用通用的建模环境实时计划和模拟机器学习建议式分析，让企业在没有数据科学家的前提下，也能了解业务，提供行动建议，计划 发现 展现 预测“每天使用10亿数据，加快了数据合成，让患者受益，并发现更好的治疗方法。Tom Summerfelt, Advocate Health Care” 挑战预测关键影响趋势异常关联销售历史、成本、关键绩效指标等等，如何转化为未来的业绩?与目标相比，预测结果

3、如何?客户满意度、客户流失、员工流失率等，影响这些的主要因素是什么?趋势是什么: 历史/新兴、突然的变化、异常值对业务产生影响?数据之间的相关性是什么? 交叉销售和增加销售的机会在哪里？什么样的异常可能存在，相反，哪些分组或集群可能存在于特定的分析中?现下业务的主要挑战Technics like data mining, statistical algorithms or neuronal networks are solving the shown use cases. Due to re-training all those techniques are self-learning and

4、 adding intelligence to our applications. 设备预测性维护场景描述通过修护数据和领料数据数据，发现设备维护中的规律或问题。数据概况设备保养工时资料(201410-201509)维护单工时记录2014-10-012015-08-31，1,048,575 条记录修护单领料资料(201410-201509)设备维护记录，包括维修原因、影响、成本等“异常原因”为空的记录为常规维护、其它为非计划维护2013-10-012015-09-30(以开单日计)，138,281条记录计划外运维成本分析：主要是材料金额以集团视角多维度按时间勘查计划外运维产生的材料费用业务人员

5、以集团视角可明确发现保养厂:M8 保养课:M810 生产厂:86的非计划维护产生的材料费用最突出图形下钻针对M8M81086厂按时间维度对各种异常原因的勘查 发现主要原因是：3.4预期磨耗或老化原因继续下探到具体设备，因预期磨耗或老化产生的维修材料金额前四台设备产生的维修材料金额占M8M81086厂一半以上乙烯二段压缩机：2B-306乙烯二段压缩机：1B-302乙烯增压压缩机：2B-415 乙烯增压压缩机：1B-303 SAP预测分析关联分析利用高级预测分析找到设备严重预警信息,进行故障预测Trouble code基于设备传感器数据，传递给高级预测分析机械可用性分析和故障预测设备数据Engin

6、e tempOil pressureRPMCO2 Defect codesSpeedEtc.基于设备传感器数据，传递给高级预测分析机械可用性分析和故障预测设备维护数据分析小结数据探索结果设备维护成本中占比最高的是材料金额经过逐层探查，以下四台设备的维护成本占比非常高：乙烯二段压缩机：2B-306 和 1B-302乙烯增压压缩机：2B-415 和 1B-303经过分析存在下列数据问题：设备维护记录只是发生维护的时候记录了维护原因以及影响，缺少该设备正常工作的时长(小时计)的记录根据维护日期统计了设备的维护间隔，由于设备维护记录的时间精度到“天”，缺乏更细粒度的维护周期统计没有设备运行参数的记录(

7、如转速、温度、湿度等)建议：建议在设备维护中完善上述数据的记录，通过数学建模发现关键设备运行规律与维护特征，结合传感器数据的实时监控，预测设备运行状态并提前进行维护。数据发现 VS 模式发现Data数据准备训练模型应用模型监控聚集可视化人自己决策数据为了可视化而聚合UI 集成机器建议/决策数据去范式化，平面化， 细粒化，最终与流程集成分析 / 商业智能高级分析 / 预测分析然而。“眼睛看到的未必就是真相。”数据发现：新员工半年内离职原因分析通过系统中输入的离职描述无法发现有意义的内在原因“这里面定然蕴藏着一个巨大的秘密。”数据发现模式发现新员工入职半年内离职的特征模式？SAP Predicti

8、ve Analytics选取2014年1月-2015年6月的新员工数据创建模型2015年7月-2015年12月的数据作为验证模式发现：新员工入职半年内离职的特征模型最大智能变量贡献影响因素由多个因素组成职务/实际绩效/会员/二级机构的组合权重超过50%模式发现：新员工离职模型验证目前发现的主要特征是：PRD的 一级作业员 绩效评分较低 或 半年内无法升职 容易引发离职说明针对基层员工的上岗培训或员工关怀有待提升PA带来的业务提升：预测中短期离职人数，准确预估用工缺口未来扩展：预测关键员工的离职倾向等（验证数据：2015年07月-2015年12月）2015/07-2015/12工龄满半年（含半年

9、内离职）的员工为14064人，其中离职4486人选取模型预测离职概率大于50%的3973人，命中离职人员3403人准确率86% 离职覆盖率76%在流行行业大数据分析和应用场景正在逐步深化应用场景消费者反馈分析大数据分析组件商品属性标准化商品评论分析预期价值/收益提高产品设计的市场竞争力增强产品设计的创新能力提高顾客对设计的满意度消费者画像商品偏好分析多维度商品检索提高对消费者的分析和认知提高产品设计的客户群针对性动态服装搭配与个性化商品推荐性格分析消费行为分析提高导购的工作技能快速收集线下客户反馈增强客户粘性和忠诚度提高产品的销售数量流行趋势分析购物篮关联分析兴趣爱好分析快速系统化的捕捉流行趋

10、势提高设计师的工作效率更加全面的流行趋势洞察标杆品牌新品趋势分析搭配学习与训练图像特征提取加快设计的更新和市场响应速度提高设计师的工作效率提高产品的竞争力市场定位分析快速了解市场热点款式提高产品研发决策的准确性快速了解消费者对新品的认同度个性化推荐流行元素识别与分类主题挖掘与趋势分析品牌与品类自动识别通过大数据识别流行元素并将其分类，预测流行趋势通过领先的图像识别技术，可以精准识别时尚服饰中的单品及元素（色彩、款式、风格、廓形），并搭配语义及场景化标签通过SAP BusinessObjects 大数据挖掘预测以及可视化分析方案解读流行趋势SAP BusinessObjects Predicti

11、ve Analytics 智能机器学习平台自动模型针对业务用户，不用编程数据挖掘工作可以轻松完成数据管理/自动建模/模型工厂模型工厂精细化建模批量建模模型管理易使用，易扩展，易集成为所有角色业务分析师或数据科学家提供预测分析的服务应用场景广泛客户细分，交叉销售，营销提升，客户流失率分析，预测性维护，良品率零售/消费品/电信/高科技/离散制造/金融服务/公共部门/公用事业/时尚IOT大数据平台内置函数库支持完全库内运算，无需传输数据支持50万以上的变量HANA PAL/APLNative Spark Modeling流处理语言支持数据挖掘效能提升 SAS/SPSS/R/Python/PAL +

12、PA (1)PA自动建模 大数据项目快速获得成果商业问题商业问题准备数据用不同算法进行建模， 选择不同参数建模模型测试理解应用选择与商业问题最相关变量， 以适合算法需要1. 得到分析型数据集2. 缺失值处理， 异常值处理， 函数变换。把数学语言转换成商业描述成本：人力+时间平均耗时2-4周准备数据建模理解模型测试平均耗时2-4天商业问题应用迭代优化迭代优化上帝的归上帝， 凯撒的归凯撒；数学的归SAP，商业的归用户。传统方法SAP PA晶圆生产良率分析工业生产过程中的重要管理指标财务性指标：每单位加工费用、加工费用占制造成本比，制造成本占总成本。 生产指标：生产效、有效工时比、直接/间接人工生产

13、力。质量性指标：制程直通率、良率、OQA总不良率、市场年退修率。速性指标：半成品停天数、成品停天数、准时出货、每批平均生产时间。良率对于企业的重要性以及影响良率的因素先天不足：量产时的设计问题不断，这和开发程、设计审查、产品验证等有关。制程技术：对于制程安排、检测能力、设备能力、参数、冶具工具等也影响制程良率。材料：质量/可靠度可掌控因素少，主要还是依赖于供应商源头的制程财务状况差客户流失报废率高生产成本高良率差实时的良率响应分析是半导体产业面临的持续挑战找出各制造环节影响良率的高相关因子Fab 晶圆代工CP 晶圆芯片测试Assembly 封装Final Test 成品测试Field Appl

14、ication现场应用YieldWhy wafer yield is dropping?YieldWhy CP yield is dropping?YieldWhy FT yield is dropping?YieldWhy failure increases?Company A, Fab #, WAT YieldKey Engineering Data #Key Engineering Data #Company A, Fab #, WAT YieldKey Engineering Data #Key Engineering Data #Company B, Fab #, WAT Yield

15、Key Engineering Data #Key Engineering Data #Company X, Site #, CP YieldKey Engineering Data #Key Engineering Data #Company Y, Site #, CP YieldKey Engineering Data #Key Engineering Data #Company Z, Site #, CP YieldKey Engineering Data #Key Engineering Data #Company X, Site #, FT YieldKey Engineering

16、Data #Key Engineering Data #Company Y, Site #, FT YieldKey Engineering Data #Key Engineering Data #Company Z, Site #, FT YieldKey Engineering Data #Key Engineering Data #Application W, Failure CodeSymptom #Application T, Failure CodeSymptom #Application Q, Failure CodeSymptom #只需要确定商业问题 SAP PA自动生成模型

17、时序分析关联规则社交网络聚类分析生产事件分析销量预测库存预测分类回归预测性维护设备异常探测设备网络分析舆情分析PA自动选择最佳算法良率分析场景与目标良率预测分析如何藉由简单、易用的数据分析与预测工具，基于相关的机台感应器与良率的数据，进行灵活的数据探索与快速的预测模型建立，从而获得良率事前预警、找到 Golden Patten 协助改善良率、事件中的追踪与事件后的原因探索，进一步提高企业良率与竞争优势。EQ生产系统SensorApplied MaterialE3 SystemSECS ProtocolFDC DatabaseEQEQEQ Log fileData from EQ DBData

18、from EQ LogTemperaturePartially OverlappingEvery 1 secondEvery 0.5 secondEvery 4 seconds数据来源说明本次分析数据集V1V2V3V70+1 sec2 sec3 sec36,000 sec20多个核心变量 (工艺制程条件，例如：温度、流量)，通过传感器收集每一秒收集一笔数据，一直持续到制程结束 (约10小时)Step 001Step 002Step 19310小时内，连续进行193个工艺制程步骤（核心步骤21个），中间没有停顿、没有测量数据理解.系统架构Decision MakersAnalystsSAP Lu

19、mira DesktopSAP Predictive AnalyticsMobileHANA(In-memory)Run 002.CSVRun 001.CSV数据探索建立模型BO Server模型汇出In-Database 计算储存预测结果BrowsersFDC DatabaseRun 8xx.CSV BULK LOAD数据挖掘的标准流程及工作内容回顾 数据探索 选择变量准备数据用不同演算法进行建模， 选择不同参数建模模型测试理解应用选择与商业问题最相关变量， 以适合演演算法需要得到分析型数据集缺失值处理， 异常值处理， 函数变换等把数学语言转换成商业描述反覆运算优化商业问题利用工艺制程中检测

20、到的数据来预判产品良品率21个核心 steps 中86 个监测参数，利用 HANA 派生描述Step 过程相关变量：最大值、最小值、期初值、期末值、平均值、标准差、中位数、耗时选择回归分析 选择分析数据集系统自动对数据进行准备：自动编码、分组自动排除变量自动测试并反覆运算 产出模型分析报告 理解分析报告，输出程序代码导出针对不同语言的程序码，便于嵌入其它系统标准流程SAP PA2/152/152/172/19数据概况数据加载数据通过 import 命令被快速加载到 SAP HANA 内，利用 HANA 的全内存并行计算能力进行分析数据集的创建和 SAP PA 建模。QC 数据每个 LOT 内的

21、 WAFER 的 QC 结论数据，两批次分 2 个文件，总共 15,508 条明细数据。感测器数据机台传感器采集的 Tick Data，每个 LOT 一个文件。分两批次共 1315 个文件(LOT)，总共 30,251,194 条明细数据。压缩效率高 降低储存成本原始数据大小25.8 G压缩后大小3.7 G压缩倍数约7倍数据准备与问题分析数据集根据业务目标，分析任务的实体是每一个LOT的产出良率及与之可能相关的因素。通过对原始数据的整理，最终生成1302条基于LOT的分析记录。分析因数按LOTID汇总传感器数据，每个LOTID得到1000个因数、1个目标：每个STEP NAME的持续时长每个S

22、TEP NAME按监控变量衍生出的平均值、标准差、最小值、最大值、中位数（可选）以产出的WAFER其QC结论达到F15+及以上的数量占比为依据，达到70%及以上为目标良率，置1；否则为0数据问题数据探索过程中返现：从开始讨论的193个步骤到21个：导入的3,000+万传感数据中的每个LOTID，其STEP NUMBER非常不一致。理论上讲这些不同STEP NUMBER的LOTID应当属于不同的RECIPE。与AP同僚讨论后最终确定以STEP NAME包含Q1/Q2/Q3的21个STEP作为分析目标步骤。每个LOT理论上有14片WAFER，但实际产出比14片有多也有少。在QC数据中发现多的原因是

23、部分WAFER破损后变成多个WAFER，其QC结论都符合标准。根据业务建议，良率计算过程中排除破损(在数据中带编号后缀)的WAFER。使有效的LOT数量从1315减到1302个。数据输入基础数据汇总数据Param1Param143利用 HANA 的运算能力将基础数据汇总，计算平均、最大、最小、标准差、中位数PA 建模过程选择对应的分析方法导入待分析的数据集指定相关的变量执行建模过程PA模型训练过程系统对数据自动化处理无需人为干预对变量自动编码，分组发现最优变量排除低相关度变量扩展变量排除常量PA模型训练过程系统对数据自动化处理无需人为干预初始模型模型反覆运算数据探索输出程序代码模拟试算调整参数

24、查看良率变化获得重要因子后，如何平衡参数?获得良率提升!建议：衍生数据处理变量的选择必须结合行业经验step1step3step4step5step6step7step8step9step10假设温度曲线如下：技术要求：Step1 要求温度必须维持在多少摄氏度，维持在多长时间Step1_param1_avgStep1_param1_stddevStep1_param1_durationStep2要求温度在多长时间升至多少摄氏度Step2_param1_FirstVStep2_param1_LastVStep2_param1_durationStep7、8 要求温度必须维持在多少摄氏度Step7_param1_avgStep7_param1_stddevStep9、10 对温度无要求.异常值占比，异常值的偏差幅度？未来系统各组件关系（模型管理及排程）