某著名企业咨询伊利集团BI系统建设项目P126

伊某集团BI系统建设项目

应标文件-技术方案某著名企业2017年2月64253目录1某捷咨询及BI能力需求理解与总体方案重点专题分析架构与技术方案计划与实施方法系统演示123457组织架构与资源6来自企业内外部的因素，都对现有的BI应用提出了新的要求决策层中层管理

基层管理……其它云商平台经销商管理物流主数据系统客户物料组织结构ERP供应链系统营销费用系统人力资源系统手工数据现有BI系统外部数据对BI应用都提出了新的挑战数字化时代的精细化的运营管理要求面对海量数据的管理方式的变化基于大数据的数字化决策方式的改变伊某各业务系统已经逐步建设到位资源密集知识密集目标定位现状我们理解此次项目的目标：通过构建数字化时代的BI应用体系框架，来协同驱动企业运转，实现企业价值的提升构建面向数字化时代的BI应用体系框架

需要构建BI应用体系框架、来逐步实现企业运营决策分析和持续优化改善，进而最终实现全面支持企业价值链的价值提升，稳步迈入“全球5强”，实现一流顶尖企业的目标激发BI需求、应用服务实现纵观全局、沙盘推演、战略探索贯通价值链的运营分析与决策发现业务问题、持续优化前瞻性，对标一流构建全面的BI运行体系渠道售后市场消费者研发生产销售BI应用服务业务改善价值链提升目标1：激活决策层及核心用户的BI应用生产副总裁面向决策层及核心用户的个性化响应体系，确保快速、高质量的交付:

面向核心决策层的管理驾驶舱，提高分析的针对性，满足个性化管理需求:

销售副总裁总裁财务副总裁行政副总裁敏捷BI应用管理机制，确保应用的快速迭代、敏捷交付针对决策层和核心用户的用户体验设计，量身定制展现交互方式快速响应推进应用用户体验持续服务快速迭代敏捷交付通过促进决策层及核心用户使用，在集团层面自上而下推进，进而全面激活BI的应用目标2：让BI应用和运营系统相互促进BI应该成为业务管理的闭环的重要组成，而不仅仅是问题的展现业务处理标准化管理闭环BI呈现发现问题统一标准运营优化持续优化，良性循环：以业务模块归口，打通BI/CRM/ERP推动业务处理标准化，通过CRM/ERP予以落实业务处理的规范，进而向BI提供更加准确的数据目标3：构建具有前瞻性的BI应用体系，对标一流销售系统CRM急速、实时面向数字化时代的BI应用平台抽取(Extract)转换(Transfer)装载(Load)海量、优异性能、多类型企业业务模型平衡积分卡公共仪表盘即席分析报告中心信息预警丰富、时尚、先进零售系统外部数据BIEEETLDesktop/LaptopMobile数据源数据中心BI应用终端展现丰富数据源数据仓库某著名企业订制服务业务规则时间触发数字化交互临时存储区1基础数据模型2分析数据模型3总体方案

基于Hadoop的大数据方案本期核心组件数据存储层NoSQL数据库HBase搜索SolrSQL数据仓库Hive数据源OracleSQLServerExcel日志文件传感器数据采集层关系数据库Sqoop文件等Flume分析层分布式分析引擎Kylin实时计算StormR语言开发

SparkR机器学习SparkMLlibSQL引擎SparkSQL/Presto展示层/门户敏捷BITableau图表ECharts系统服务监控Zabbix日志ELK数据可视化Superset分布式列式存储Druid分布式缓存RedisHttp服务器Nginx系统管理Ambari遗留系统调度Oozie开源报表JasperReports数据流Kafka原始数据区实时数据区数据仓库区生产数据区模拟数据区数据安全ApacheRanger数据质量与追溯DataCleanerWhereHows总体方案

大数据方案应用场景定制化数据分析个性化分析半自助式数据分析基于大数据的企业及消费级应用决策领导战略分析用户经营管理用户流程执行用户总体方案

实施计划：第一阶段–3个月上线，2次迭代

平台构建！配合迭代！敏捷实施！3个月平台搭建2次迭代开发报表使用UPM方法论管理平台搭建某捷敏捷开发方法论管理BI的报表迭代开发总体方案

组织架构：

大数据实施及运营架构–BI运营中心(BICC+BISC)BICC:业务服务中心BISC:技术服务中心BICOEs通过人、流程、技术治理项目1,2…n增强1,2…n人员扩充创新项目/倡议…支持：过渡-构建运行应用维护服务和流程(工业化推动器)需求管理资源管理(人员&技术)质量和绩效管理配置和释放管理项目管理数据管理（整合、虚拟化…）平台和基础（企业级数据仓库，数据建模，内存…）内容、协作与交付（门户网站，，某著名企业…）可视化与分析（报告，预测…）辅助创新实验室(CUBE)卓越中心BI学院联盟合作伙伴BI方案(CPG,Others)支持服务能力中心–COEs某捷BI管理推动器工业化BI交付服务某捷管理交叉管理定制服务(针对集团和下属公司)战略和创新业务分析设计管理优先级管理数据治理变革管理总体方案

从BIEE平台到大数据平台的演进方案建议–本阶段展数据示数据抽取数据源数据存储展数据示数据抽取数据源数据存储BIEE大数据平台原有报表体系（保留）大数据决策/分析/模拟报表体系，报表自助平台（新增）原有可用模型总体方案

从BIEE平台到大数据平台的演进方案建议有序反应主动被动数据

信息洞察智能大数据一定程度上讲就是用全新的数据技术手段来拓展和优化业务。BIEE到大数据平台不仅仅是系统平台的升级。大数据更需要企业具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的资产。因此提高人员的技能和知识机构，适应自助式分析和敏捷式开发，是保证演进成功的关键。如何保证演进成功?从传统BI到大数据的演进同时也是某省市场环境变化的反应从被动走向主动的过程。阶段一搭建大数据平台，与BIEE并行逐步在大数据平台构建模型，替代BIEE的模型完全建成大数据平台，彻底完成业务模式转型成功。独立运营模型逐步迁移大数据平台构建阶段二阶段三64253目录1某捷咨询及BI能力需求理解与总体方案重点专题分析架构与技术方案计划与实施方法系统演示123457组织架构与资源664253目录112345768激活决策者与核心用户自助服务平台业务衔接敏捷BI社交化追溯字典本期增值功能91011技术路线分析展现工具基于大数据的应用扩展

重点方案：

应用、技术与组织架构大数据方案优势总结激活决策者与核心用户设计用户体验个性化使用体验与快速响应核心诉求是摆脱BI“审美疲劳”的重要手段运用某捷的用户体验经验，为领导层等用户构建一流的用户体验，激活用户总裁销售副总财务副总典型用户行为分析Action感知Feeling想法Ideas旅程Journeymap与系统的关联Systemrelevance生产副总采购副总体验关键字IdeasStep

1

Vision愿景项目的发展方向、目标、决策Step

2

Personas用户画像模型基于研究动机和行为的代表用户Step

3

JourneyMap用户旅行地图随着时间改变，识别用户在体验中的触点和痛点Step

4

Blueprint蓝图指导各环节的如何向用户传达服务个性化-为决策层量身定制解决方案生产副总裁销售副总裁总裁财务副总裁行政副总裁快速响应高阶设计个性化响应工业化交付快速迭代用户体验重点方案：针对随时而来管理重点及时响应，针对管理重点主动推送领导分析决策我想了解目前库存的变化趋势，目前是否达标，是否持续向好？目前政策方面有何变化，我们目前的情况？现在消费者都关心什么内容我们和竞争者的差距在哪里？某省市场上的竞争品类分析我想下个月了解下畅轻在上海的销量发展和趋势分析?”目前消费者对品牌的感觉如何？谁更信任我们？敏捷BI快速响应发现和培养金种子用户任务设定能力培养帮助领导直接使用数字化分析工具了解领导的数据使用习惯及思考习惯协助制造个性化报表（而不是直接提供手工报表）向领导解释操作方式及数据含义根据数据服务中心的指导，进一步优化呈现给领导的数据向其他业务人员传授数据使用方法，包括准确的数据含义及系统操作方式准确理解数据的含义有效使用数据的思路/通过数据思考业务/业务洞察制作简单的个性化报表沟通表达能力考虑KPI及奖励方案自助服务平台自助式BI帮助业务人员快速获取与展现不懂SQL，不懂数据库，Excel不精通，VBA不敢碰优点1：开放式的分析组件和直观的数据展现加上即时查询，使得用户培训更加迅速。优点2：数据模型层面标准化和灵活可选的报表使用户可以自主的选择业务需要的信息。优点3：迅速提升数据处理性能，降低IT工作量，IT与业务能够巧妙配合，分工明确。业务洞察力+自助BI-自助分析平台将公司各种数据资源链接起来，实现数据闭环自助分析平台自助分析回归于业务部门，实现真正的数据闭环IT部门可以更加投入在元数据的维护和管理上，提升分析平台的服务效率数据成为资产公司IT用户数据数据培训大缩短，更加专注服务业务人员学习到了更多工具领导通过个性化应用，快速解决需求，实现某著名企业化应用业务用户领导层客户供应商社交平台自助分析数据，自助发布公司社交信息供应商自助搜索信息客户自助查询信息自助BI-自助式平台支持用户从取数到发布全程实现自助取数分析制表报告发布一般用户金种子用户自助式平台支持用户从取数、分析、制表到发布全程实现自助，同时也可以根据用户熟练程度自助选择报表。领导层可以获取个性化报表也可以根据战略导向通过金种子用户自助或半自助进行分析和分享。IT也可以根据业务的导向快速建立分析模型并发步给一般用户进一步自助分析。自助式分析平台自助BI-利用不同手段或形式进行自助分析自助钻取智能选择格式自助选择指标自助选择维度快速自助拖拽快速自助选择区域互动式自助分析自助选择格式多视角的数据透视自助BI-可视化辅助界面支持用户自助创构故事通过使用自定义的数据集，然后便可以从多种图形统计图和表中选择以对数据进行可视化。通过创建故事，可在故事板上将统计图组合在一起，创建出演示样式仪表盘，依次为描述数据提供图形描述。可通过添加图像和文本进行注释以及添加演示详细信息并进行分享。自助建模，用户只需在dashboard面板中简单拖拽操作，便能制作出丰富多样的数据可视化信息，并可以进行数据钻取，联动和过滤操作，自由地对业务经营过程中产生的数据进行分析和探索自助取数自助分享自助建立交互式地图报表，创建个性化销售区域，突出用户所在区域。自助分析业务衔接通过构建数字化时代的BI应用体系框架，来协同驱动企业运转，实现企业价值的提升需要构建BI应用体系框架、来逐步实现各个业务点的决策分析和持续优化改善，进而最终实现全面支持企业价值链的运行闭环，实现世界5强，世界顶尖企业的目标构建企业价值链的运行闭环构建企业运营管理业务优化的闭环构建BI应用服务支持的闭环构建全面的BI运行体系构建面向数字化时代的敏捷BI应用体系框架

渠道售后市场消费者研发生产销售BI应用服务业务改善价值链提升第一个闭环：构建BI应用体系运行的闭环，实现规范、持续的BI应用服务跟踪响应设计交付BI服务中心制度建设管理监督绩效考核组织架构第二个闭环：构建运营业务发现、分析到改善的良性闭环，实现业务的深度改善和发展业务处理标准化管理闭环BI呈现发现问题系统追溯业务追溯业务调整系统优化通过BI应用将数据有效展现基于对各类运营系统的熟悉，准确快速追溯源头，发现问题原因基于对各类运营系统的方案的掌握，对发现的系统和业务的问题，提出改进方案为运营业务的方案和系统的优化，提供方案、开发资源的支持第三个闭环：构建业务价值链全面分析的闭环，实现企业价值链的持续提升跨价值链的横向分析：比如生产协调会的分析建模和决策支持，协调采购、库存、生产需要跨价值链某著名企业运行健康度、集团现金流分析价值链提升闭环渠道售后市场消费者研发生产销售企业价值链的全面、深度分析，实现企业价值提升敏捷BI常规性的BI项目，对BI需求的响应在5个月以上；常规性的BI运维，对BI需求的响应在1个月以上。如何响应快速发展的业务诉求？组织架构发生变化，在BI不能得到体现？管理重点的调整、专项活动的分析，如何快速体现？一般性的需求、功能调整，需要多长时间可以实现？…

敏捷的方法

敏捷的工具敏捷的交付理念敏捷的组织敏捷的交付理念

从“迭代”到“敏捷”，逐步培养敏捷的习惯我们的建议：

实施–3个月上线，2次迭代

运维–一般性调整的反馈小于一周敏捷开发:不同的开发模式适用

于不同的场景PBRPBBBRBPBBBBBRPBBBRBBR模式适用这种模式适用于小型、独立、简单的经典敏捷项目，项目中只有准备阶段和实现阶段是必要的。典型场景：POC（原型验证）；内联网（Intranet）开发例如小型HR管理，薪资计算这个模式适用于复杂的项目；或者开发长，过程中需要定期发布中间版本的项目。发布时间确定，同时，每个发布时间需要发布哪些功能，也已经有明确的规划；或者是基于重点功能的完成进度来确定发布日期.例如.B2B,B2C互联网应用,程序涉及多个供应商等等.这个模式和上面第二个模式是相似的，除了每一个发布需要独立的准备工作；这个独立的准备可能是在复杂的技术或者是环境变化的情况下被要求的；例如,大型企业应用,平台升级等等.这个模式适用于有多支开发队伍的项目,例如,同步工作，一个完整的发布需要协同、集成.这个模式可以和II、III类模式结合，产生更复杂的情况代表性场景：scalingCAF(I)(II)(III)(IV)产品增量发布产品增量发布产品增量发布产品增量发布PBBBRPBBRP=Prepare，

准备B=Build，构建R=Release，发布PBR建议的运维方法建议的项目实施方法敏捷的工具：开源产品的敏捷本性（轻量级，功能定位清晰，核心功能稳固），开源社区工具/功能的多样性本期核心组件敏捷的组织质量管理经理发布管理经理资源管理经理需求管理经理方案架构师临发服务组项目交付组运维组优化改善推进组测试管理组交付经理交付经理用户体验设计师开发工程师需求分析师推进经理业务分析师业务推进协调员测试经理Leadtester测试工程师大数据服务中心经理一期构建内容用户体验设计师开发工程师需求分析师运维支持经理运维分析师工程师社交化工作流与社交互动“未来的竞争将是管理的竞争，竞争的焦点在于每个社会组织成员之间及其与外部组织的有效沟通上”。———美国著名未来学家约翰奈斯比特管理分析决策软件支持更灵活的用户互动，与企业工作流平台结合，并深入结合企业社交网络，将是未来的焦点和发展趋势。社交互动的BI，可以清楚地了解相关背景资料和关注话题，轻松的建立良好的人际关系；能更有成效的和同事联系，同事们更加了解彼此的任务，可以有效减少重复的工作和获取更多的资源。1支持社交网络功能的BI系统，最大优点是为企业员工创造了交流的机会，也不同于线下交流方式，能够形成一个社区交流的网络，增进大家对报告数据以及相关事件的了解、意识和知识，使人们之间产生一种亲密感，并增加彼此间的信任与亲近度。2社交式BI系统，可以打破公司层级及部门边界，通过自由、开放的信息共享，营造相互协作的公司文化；员工记录下创意和想法，更容关注和采纳，建立企业影响力，增强工作协同模式。3结合工作流进行信息和数据传递，比邮件沟通更实时、快速、简练，不像邮件那么正式，信息可以被开放检索，不会被埋没在某人的收件箱里，即使你不知道这个问题该问谁，都可以通过检索快速得到答案。4报表批注、点对点讨论、群组讨论、企业本期增值功能总体方案

基于Hadoop的大数据方案数据存储层NoSQL数据库HBase搜索SolrSQL数据仓库Hive数据源OracleSQLServerExcel日志文件传感器数据采集层关系数据库Sqoop文件等Flume分析层分布式分析引擎Kylin实时计算StormR语言开发

SparkR机器学习SparkMLlibSQL引擎SparkSQL/Presto展示层/门户敏捷BITableau图表ECharts系统服务监控Zabbix日志ELK数据可视化Superset分布式列式存储Druid分布式缓存RedisHttp服务器Nginx系统管理Ambari遗留系统调度Oozie开源报表JasperReports数据流Kafka原始数据区实时数据区数据仓库区生产数据区模拟数据区数据安全ApacheRanger数据质量与追溯DataCleanerWhereHows模拟与训练数据分析实验模拟数据集准备和重置模拟数据分析挖掘结果数据样本样例搜索分类预测聚类分析关联规则生存分析多维尺度分析因子分析先导模型测试调整数据质量分析数据特征分析生产数据仓库模拟数据仓库模拟营销某省市模拟财务某省市模拟用户某省市模拟生产某省市模拟数据分析结果集人力资源战略规划经营分析市场策略风险控制独立的基于Hadoop的分布式数据集群，可基于生产数据库脱敏后生成高仿真模拟数据仓库。1多种可标准化内置的分析模块和算法服务调用，并与数据格式绑定，快速进行分析挖掘。3多用户并发的数据分析来源数据集和结果集、中间结果集，相互独立而不影响各自分析过程。2快速根据条件设定全数据集搜索和检索实体样本和数据样例4……实时分析企业数字大屏实时舆情监控精准营销智能物流生产监控搜索和百度等搜索引擎一致的操作方式传统数据库无法比拟的优异性能模糊、实时、条件搜索搜索结果和分析模型的结合展示综合展示主题要素追溯字典利用某捷对于伊某丰富的项目经验建立业务数据追溯字典用途1:当有新的员工入职，可以让新员工对数据的流向和数据是如何产生的有一个清晰的认识，加速用户培训过程。用途2:寻找数据集，当用户有一个新的想法要创建一个报表，利用数据追溯流可以很快搜索到所需的数据表和计算方法，也可以看到其他用户是如何应用这些数据集的。用途3:找到影响的后台作业和数据，如果用户需要改变数据集，他需要知道那些报表在使用这些数据集，可以快速找到影响的用户，并可以通知。数据对象清单利润表销售分析表盈利分析表成本分析表数据存储数据提取ERPCRM等应用在线数据流文档业务追溯途径利用大数据平台技术建立数据追溯途径数据源Where，数据存放在哪里的。通过创建历史标记可数据查看和分析，连接到该历史标记所定义的数据源用以查看源数据，数据源可能来自ERP、CRM、外部数据等任意系统。数据流HOW，方便用户更直观的了解数据是通过什么途径和路径进行存储和传递，方便从技术的角度来看数据之间的逻辑关系和计算关系。数据字典When，What，Who，以数据库的方式存储这些数据是什么时候产生的和通过什么方式创建出来的，并可以看到谁创建的数据和拥有数据管理的权限。技术追溯途径技术路线分析大数据平台的技术演进路线萌芽期(2006-2008)成长期(2008-2011)成熟期(2011至今)2006年2月，ApacheHadoop项目正式启动2007年10月，第一个Hadoop用户组会议召开，社区贡献开始急剧上升2008年1月，Hadoop成为Apache顶级项目2008年2月，Yahoo!运行了世界上最大的Hadoop应用，宣布其搜索引擎产品部署在一个拥有1万个内核的Hadoop集群上2007年，百度开始使用Hadoop做离线处理2007年，中国某著名企业开始在“大云”研究中使用Hadoop技术2008年，研究基于Hadoop的系统——云梯2008年8月，第一个Hadoop商业化公司Cloudera成立2009

年3月，Cloudera推出世界上首个Hadoop发行版——CDH2010年-2011年，扩大的Hadoop社区忙于建立大量的新组件（Sqoop，Flume，Oozie等）来扩展Hadoop的使用场景和可用性2011年7月，Yahoo!和硅谷风险投资公司BenchmarkCapital创建了Hortonworks

公司，提供HDP发行版互联网行业已经开始投入实际应用，应用集中在网页存储检索，日志处理和用户行为分析等方面。百度、某著名企业、电商等大型企业开始进行大规模部署2012年8月，另外一个重要的企业适用功能YARN成为Hadoop子项目2012年10月，第一个Hadoop原生MPP查询引擎Impala加入到了Hadoop生态圈2014年2月，Spark逐渐代替MapReduce成为Hadoo某省市执行引擎，并成为Apache基金会顶级项目互联网行业将Hadoop作为大数据计算的标准配置，且应用形式趋于多样化，出现大量分析类应用企业计算领域开始实践基于Hadoop的大数据应用，广泛出现行业领域细分的大数据理念和技术实施大数据平台已经成熟应用于各行各业，且已经成为企业必备竞争力绝大部分互联网、金融、某著名企业企业标准配置，承担多项骨干业务系统及后台分析系统工作，服务于海量用户，单集群数据量进入PB集，支持持续交付和快速响应的专业运维。具代表性的有百度、中国某著名企业、领袖企业及某著名企业、摩拜单车等新锐企业。大数据平台从互联网、金融、某著名企业、政府服务，逐步进入到企业计算领域，已经逐步从nicetohe转变到musthe的阶段。其整合企业数据资源，迎合数字化时代的海量数据分析能力，已经成为逐渐成为企业的必备的竞争力。即插即用的大数据组件组件功能界定清晰，利于维护和故障排查功能简单，耦合度小，专注于局部的功能实现和最优化开放式接口，即插即用，可随时根据需求灵活地进行扩展组件功能单一，学习曲线平滑，并有利于进一步的深入学习社区活跃，文档丰富，有助于开发设计和问题解决展现工具大数据分析平台总体架构—展示层54多数据源支持统一的、集中的仪表盘分析仪表盘式报表和图表的集合，方便、友好、快捷支持表格和图表的展现样式表格、数据透视表柱状图、饼图、折线图支持某著名企业BI（Roadmap）手机、平板全面支持一次定义报表和仪表盘，PC和某著名企业多种展现多数据源丰富的展现样式数据价值实现敏捷BI对于需求的快速反应WebSQL编辑器。摒弃传统的展现OLAP，展现OLAP笨重、反应的缺点由查询到报表一步到位展现样式灵活美观，无需二次设计样式一次定义报表仪表盘，PC端和某著名企业端共同使用，摒弃PC和某著名企业两个开发学习敏捷BI丰富的展现样式MySQLHBaseHiveDruidSolr大数据分析平台总体架构—展示层55Tableau使用简单的商业智能工具，快速数据分析商业软件数据分析人员JasperReportsEcharts强大、灵活的报表生成工具开源免费报表应用图表JS控件开源免费监控大屏等订制化开发自助分析平台功能更强大的自助工具领导层个性化报表实时报表工具的比较TableauJasperReportsECharts拖拽图形化钻取数据报表运行速度实时更新建议收费可选免费报表及自助平台免费仪表盘弱支持强支持基于大数据的应用扩展数据的主动推送机制通过内嵌社交平台、企业送探索类报告行业报告主动设计的模型和报表。。。大数据标签助力灵活性营销经销商终端网点分类标签渠道标签交易标签区域标签目标客户群营销方案整合内外部定量和定性数据标签建立和筛选灵活性营销方案轻量级应用举例–舆情监控->主动客诉处理大V的微博才会被评论、转发1.社交媒体投诉2.大数据监控和分析3.设置规则4.主动客诉处理规则配置重大投诉：转发数>100

点赞数>100

中等投诉：转发数>50

点赞数>50一般投诉：转发数>25

点赞数>25CRM客服人员投诉单企业级应用示例

某捷中国工业4.0项目–基于大数据的智能制造/预防性维护方案工业化4.0背景下，客户已经利用传感器，IOT物联网技术收集产品生产过程中所经过的主要设备中主要工序的数据。设备预防性维护部分；在工厂中我们选择了3个用例来开发最小可用产品-MVP,其中我们利用了数据专家和机器自学习算法实现目标；为客户开发工业化4.0平台，并在其中实现设备预防性管理和运用优化；逐步从预测到预防，降低设备停机时间，故障停机和损害维修时间建立数据分析的云平台分析从大约两千五百万生产步骤中产生的大于500GB数据开发并验证失败模型，并通过决策树和回归法验证模型预测，准确性达到90%以上开发平台上实现基于600+设备的开发，实际物理故障发生结果与数据模型通过算法计算结果基本一致应用技术包含Hadoop,R,R-shiny,Spark项目第一阶段（2+月）已经完成，在第二个实施阶段（3+月）用户可以通过设备预防性维护平台提前1天或者更长时间来获取故障预警核心项目团队包含客户的业务和IT部门10+人，某捷平台开发人员10+

大数据方案优势总结基于Hadoop的大数据方案与BIEE方案比较的优势大数据BIEE注释总体的功能及功能扩展性通过开源应用的“即插即用”快速拓展平台能力Hadoop大数据平台采用主流开放式标准，兼容开源社区的众多应用；BIEE传统套件，仅限于官方提供的功能对敏捷BI的支持开源部件对敏捷提供更好的支持模拟分析/沙盘推演大数据平台的架构设计及数据存储及数据处理能力对模拟分析提供更好的支持；BIEE性能通常不支持此功能实时分析大数据平台的架构设计及数据存储及数据处理能力对模拟分析提供更好的支持；BIEE性能通常不支持此功能基于Hadoop的大数据方案与BIEE方案比较的优势大数据BIEE注释总体的功能及功能扩展性全库搜索（功能与性能）大数据平台提供强大的搜索功能；BIEE无此功能社交工具大数据平台提供开放式社交工具接口（例如EE需开发对追溯字典的支持大数据平台提供数字字典的定义工具；；BIEE不提供非结构化支持大数据平台提供对非结构化数据的支持；BIEE不提供构建基于大数据的应用，与外部应用的连接大数据的开发平台利用构建各种数字化应用（某著名企业/，存在大量的开源组件与主流的外部应用（例如各种电商平台/营销工具）作链接基于Hadoop的大数据方案与BIEE方案比较的优势大数据BIEE注释性能、硬件、软件及投资开放弹性架构大数据运行于普通商业的X86平台服务器，无需高配服务器海量数据处理性能大数据平台支持PB级的数据存储、处理和访问，在数据加载、处理、访问时各个环节最大化的并行处理数据硬件的快速横向扩容大数据平台增加服务器，存储和计算能力随即增加；服务器资源按需分配；在线线性扩展大数据平台增加节点，可线性增加存储和计算能力，支持在线扩容，扩容期间保证系统对外提供服务；BIEE不提供总体硬件投资成本优势大数据平台保证用户不被专有平台锁定，企业初期投入和后期扩容成本可控软件投资成本优势大数据平台主要使用开源免费软件64253目录1某捷咨询及BI能力需求理解与总体方案重点专题分析架构与技术方案计划与实施方法系统演示123457组织架构与资源6大数据分析平台总体架构--技术组件本期核心组件数据存储层NoSQL数据库HBase搜索SolrSQL数据仓库Hive数据源OracleSQLServerExcel日志文件传感器数据采集层关系数据库Sqoop文件等Flume分析层分布式分析引擎Kylin实时计算StormR语言开发

SparkR机器学习SparkMLlibSQL引擎SparkSQL/Presto展示层/门户敏捷BITableau图表ECharts系统服务监控Zabbix日志ELK数据可视化Superset分布式列式存储Druid分布式缓存RedisHttp服务器Nginx系统管理Ambari遗留系统调度Oozie开源报表JasperReports数据流Kafka原始数据区实时数据区数据仓库区生产数据区模拟数据区数据安全ApacheRanger数据质量与追溯DataCleanerWhereHows大数据分析平台总体架构——数据源业务系统产生的结构化数据业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水……业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、产品信息、交……企业非结构化数据日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括Work、PPT、PDF等，也可以包括合同、招投标材料、照片、视频等企业外部数据企业外部数据以非结构化为主，主要包括国家政策法规、信息、地理位置等某著名企业信息、微博等社交媒体信息……数据源大数据分析平台总体架构——采集层采集层设计目标传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能保证数据采集高速传输保证数据采集过程中不失真保证数据采集过程中不丢失保证数据采集过程安全可靠数据库数据采集组件Sqoop非结构化数据采集组件Flume实时数据采集组件Kafuka用户存储/分析层采集设备关系型数据库ETL程序区FTP服务器协议Proxy服务采集层大数据分析平台总体架构——采集层数据库数据采集组件Sqoop主要用于在Hadoop(Hive)与关系型数据库(Oracle)间进行数据的传递。传统Sqoop数据方向关系型数据库（双向）关系型数据库至Hive（双向）性能单点分布式，水平扩展，性能优容错性一般高采集层大数据分析平台总体架构——采集层Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume可以高效率的收集的日志信息存入HDFS/Hive/HBase中支持各种接入资源数据的类型以及接出数据类型支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等可以被水平扩展采集层Kafka是开源高性能消息队列，具备极高的吞吐能力及极强的扩展性。高性能：每秒能处理数以千计生产者生产的消息。高扩展性：当Kafka容量不够时可以通过简单的增加服务器横向扩展Kafka集群的容量。分布式：消息来自数以千计的服务，数据量巨大，为解决单机容量不足、性能不够等状态，分布式是必需的。持久性：Kafka会将数据持久化到硬盘上，以防止数据的丢失。大数据分析平台总体架构——多用途层次化数据存储实时数据区数据仓库区实时应用原始数据区数据分析模拟训练模拟训练数据区应用数据区根据不同数据的用途和数据模型的不同，整个系统分为不同的多个数据区不同区域所使用的组件不同数据区功能原始数据区业务系统原始数据数据仓库区全局数据集应用数据区模型分析结果数据集实时数据区实时应用数据缓存模拟训练区模拟训练数据集存储层大数据分析平台总体架构——存储层无最终用户访问I/O敏感，批量ETL以ELT形式通过HiveSQL执行原始数据模型保存历史业务系统快照数据为数据仓库处理提供原始数据原始数据区数据内容主要用途数据模型保留用户

访问模式使用组件少量最终用户访问，请求数据明细I/O敏感，批量ETL以HiveSQL、SparkSQL、SparkML等处理数据数据仓库模型保存历史经过数据关联和处理后业务系统数据为后续数据分析提供数据数据仓库区数据内容主要用途数据模型保留用户

访问模式使用组件大量用户访问，BI、报表、数据可视化工具I/O敏感，实时数据访问以SparkSQL、Presto、Solr等方式访问业务模型保存历史面向企业管理分析类应用需求的汇总数据为客户、运营等管理分析提供数据服务应用数据区存储层大数据分析平台总体架构——存储层企业业务人员高时效、高并发、高可靠性的联机交询CPU敏感，高并发、高时效查询业务数据模型不保存历史面向应用的数据为大屏展示、实时分析提供数据实时数据区数据内容主要用途数据模型保留用户

访问模式工作负载按模型训练需求，准备的明细或汇总业务数据为数据科学家的挖掘预测操作提供数据服务模型依赖于模型训练需求在整个训练保留少量高级业务人员进行灵活查询、挖掘预测I/O敏感以SparkSQL、SparkML等方式访问数据模拟训练数据区存储层大数据分析平台总体架构——支持批量计算和实时计算能满足实时大数据系统关键特性的架构，包括有：高容错、低延时和可扩展等。整合离线计算和实时计算，融合不可变性，读写分离和复杂性隔离等一系列架构原则，可集成Hadoop等各类大数据组件。数据源所有数据批量计算结果数据集实时计算结果数据集客户端批量计算实时计算分析层大数据分析平台总体架构——分析层批处理流程关系型数据库原始数据区数据处理与分析标准化处理数据抽取抽取事件通知工作流触发文件加载数据更新数据追加数据质量分析数据仓库区数据分析与挖掘多维度统计指标预测指标告警情感分析应用数据区非结构化数据文件数据抽取抽取事件通知工作流触发文件加载内容数据区数据处理与分析文本分词数据更新数据追加数据质量分析关键词提取文本检索图像识别语音识别批量数据处理由调度组件协调运行整个流程主要完成如下工作：获取业务系统结构化数据，存入原始数据区按照数据模型整合数据（标准化、数据更新/追加），存储到数据仓库数据加工计算后，结果交付到应用数据区，支持分析类应用分析层大数据分析平台总体架构——分析层实时处理流程传感器实时处理标准化处理数据接入数据解析数据校验数据转换指标告警指标预测多维度统计实时数据区数据分析与挖掘多维度统计指标预测指标告警情感分析应用数据区数据仓库区实时数据处理强调的是实时或准实时获取并处理数据，通常采取消息队列等技术构建“数据流”整个流程主要完成如下工作：通过协议接口Proxy获取数据发送至消息队列利用分布式流式计算，针对消息队列数据执行标准化处理，加载到实时数据区分析层大数据分析平台总体架构—支持不同场景的数据可视化78Tableau使用简单的商业智能工具，快速数据分析商业软件数据分析人员JasperReportsECharts强大、灵活的报表生成工具开源免费报表应用图表JS控件开源免费监控大屏等订制化开发展示层硬件架构方案数据中心集群防火墙交换机负载均衡器核心交换机应用服务集群Internet交换机爬虫服务集群交换机采集服务集群防火墙系统部署建议两路x86服务器主节点：2台数据节点：~5台集群监控节点：1台应用服务节点：2台Tablearu服务器：1台网络交换设备千或万兆交换机连接Hadoop发行版–Hortonworks满足高性能的数据处理和分析稳定、署和管理的企业级方案伊某环境建议配置（针对一期）单虚拟机处理器最高可至64核建议配置16核内存最高可至128GB建议配置64G后接2*300TBIBMFlashSystem900闪存普通SATA硬盘即可（100T）硬件架构特点-分布式部署，横向快速拓展并行处理架构工业标准的X86平台服务器资源按需分配开放弹性架构增加节点，可线性增加存储和计算能力支持在线扩容，扩容期间保证系统对外提供服务在线线性扩展保证用户不被专有平台锁定企业初期投入和后期扩容成本可控拥有成本可控支持PB级的数据存储、处理和访问在数据加载、处理、访问时各个环节最大化的并行处理海量并行处理数据镜像、硬件冗余等多种容错技术保证系统高可用故障切换和恢复对用户透明扩容期间可对外提供服务平台持续可用直观的图形化界面，实时状态监控最大限度的降低管理人员日常管理和维护工作理与维护64253目录1某捷咨询及BI能力需求理解与总体方案重点专题分析架构与技术方案计划与实施方案系统演示123457组织架构与资源6遵循统一规划、分步建设的演进路线，某捷建议在长期规划和当前策略中寻找合适的平衡点，大处着眼，小处着手，给出未来三年商务智能建设思路商务智能建设思路分步推进！迭代实施！持续运维！某捷建议采用统一管理、分布实施的项目实施计划，在重点关注项目里程碑计划的同时，必须着眼于全程管控和具体落实平台构建！配合迭代！敏捷实施！项目管理方法UPM项目管理方法某捷快速实施方法论某捷项目方法概述项目管控时间和成本管理风险管理资源管理客户关系管理沟通管理问题管理基础设施管理范围和需求管理质量保证配置管理知识管理采购管理项目准备项目执行项目结案UPM是经实践证明的方法论，为实施项目提供丰富的实施解决方案适用于BI项目实施的项目执行方案融合了我们深厚的BI项目实施经验提供有效的基于套装软件的业务流程重组\优化方法包含工作结构分解（WBS）、交付件样板、模版、解决方案和领先/最佳业务实线全球项目管理的标准方法与Deliver同时使用的项目管理方案包含项目管理流程、项目管理工作结构分解(WBS)、项目管理模版、领先的项目管理实线RAPID项目管理构建至营运转移项目启动解决方案定义解决方案开发实施实施后支持某捷的“UPM”项目管理方法论可有效管控项目实施过程，确保实施质量某捷的“三级计划+专项计划”管理方法可以有效掌控项目进程、管理项目进度，保证项目有序推进项目总体计划包含整个项目期的各项目任务的项目进度计划反映项目的总体进度和状态由“范围和变更”流程控制对计划的更改双计划用于细化每项目工作任务为项目组成员指派项目工作作为项目组成员项目任务完成情况的报告里程碑计划按专业工作流的里程碑定义关键汇总项目任务定义用于总体规划专项计划用于细化工作项目工作任务为每一项任务制定责任人、配合人小组晨会项目组专题讨论会领导层例会每天上午8：45召开，15分钟左右各组总结前一工作日工作、布置当天工作任务每午9：00召开，1小时左右a.对二级节点计划的执行情况进行核对；b.对需要协调的问题，提出解决方案；c.讨论下一级工作计划等出具，抄送全项目成员按需不定期召开（项目遇到重大问题时组织召开）讨论影响项目的重大问题的解决方案专项方案问题的沟通汇报每月第二个星期四召开，2小时左右对重大问题进行沟通协调阶段性汇报项目的完成情况多级的会议机制，确保项目各阶段、各层级的信息，都能得到有效沟通和解决阶段汇报会阶段任务完成召开汇报项目重大节点的完成情况在UPM基础上，引入某捷敏捷项目管理方法，以便快速、有效迭代BI报表实现软件发布DEVApproversTestApproversPRODApproversDEVTestPRODVSS/SVN开发配置发布过程定义项目过程控制，版本管理某捷敏捷开发管理方法论，适用于BI报表需求的变化的特性，可有效、快速迭代实现用户的需求。通过版本管理工具（VSS/SVN）有效管理项目过程中的文档、程序的过程，各阶段版本可完整追溯，版本管理权限清晰。

规模治理发展发布工具敏捷是一个循序渐进的过程，我们将在本期实施至少实现2个“发布”（R）我们用某捷的RDV（RapidDesignVisualization，快速可视化设计）框架引导“所见即所得”什么是RDV？RDV®:快速视觉化设计RDV是一个直观的视觉化设计方法，基于业务概念与界面的互动式设计RAPID高效性

DESIGN设计VISUALIZATION可视化快速使用短迭代促进资料反馈建立集中于用户体验的现有技术水平和有价值的解决方案通过快速界面设计、可视化原型推演与测试进行加速业务需求分析用例创建可视原型设计业务输入快速模拟延续性的调整与批准用户测试\最终调整RDV流程通过规范的问题管理机制，确保项目实施及后继运维过程高效解决问题搜集问题信息分析判断问题原因和对对策管理优先级和排期计划解决问题和跟踪进展调整功能发布管理团队–问题管理–跟踪提出问题识别、处理问题分析情况总结调整活跃报表及岗位活跃用户数==示例==建立全面及时的系统运行监控机制，有效发现BI使用情况，快速发现报表的有效性、功能合理性对于BI平台的用户操作难度小、技术运维工作持续的特点，把知识转移的重点放在关键用户、顾问和技术人员培训对象培训内容：各类沟通培训（项目启动，宣贯会等）、各阶段工作实施方法（含蓝图设计、系统实现、运营维护等）、专业知识（BI系统理念、BI技术平台开发技术等）、软性技巧（项目管理能力/PPT制作/演讲/思维方法等）、系统操作培训方式：现场、集中式、小课堂、一对一、手把手、情景模拟培训教材：标准WORD、讲课PPT、录屏/纸质、光盘

所有教材均以中文版提供培训监控：考试、满意度调查技术人员管理层关键用户最终用户决策层增进各管理部门对系统的认识，加深相关业务人员对BI系统的理解确保伊某集团领导和下属领导能理解实施BI系统带来的变革影响及意义确保关键用户和技术骨干能熟练操作系统，并能向最终用户及供应商用户传递技能确保实施运维团队能熟练完成系统配置、系统维护和升级培训目标培训计划顾问培训及知识转移方案-1

在项目过程，将综合使用各种方式方法进行知识转移选择关键用户，实施培训由关键用户培训其余人员知识分别锚定在相应部门团队与教练间采取个性化、结构式对话方式深化培训知识，回答个人与专业问题通过互联网、APP、行在线培训结合培训与研讨会优势优化准备，迎接日常挑战顾问与客户团队成员携手举行研讨会，讨论及制作交付物顾问冲当角色模型，教导项目团队成员参与到具体工作从常规工作环境获取内容确保向日常工作转移对在线培训交付研讨会在岗学习培训辅导教室培训培训及知识转移方案-2

通过详细的培训和知识转移计划，确保各层级人员能够充分理解、参与并完成项目工作编号培训课程名称培训对象培训目标预估天数项目准备阶段1项目启动培训管理层、顾问、关键用户、最终用户增强企业各级人员对项目的了解，以及如何更加有效的配合和参与项目0.5天2项目管理方法培训管理层、顾问、关键用户增强项目组成员对项目管理方法的了解，并能在管理方法的指导下进行日常工作0.5天3需求调研方法培训管理层、顾问、关键用户增强项目组成员对项目需求调研方法的了解，并能在需求调研方法的指导下开展/配合需求调研工作，提升需求调研效率，保障需求调研质量0.5天4项目模板及工具使用方法培训顾问、关键用户统一项目组成员工作的模板和工具，使其能够高质量的进行项目交付工作0.5天蓝图设计阶段5蓝图设计方法培训顾问，关键用户增强项目组成员对蓝图设计方法和文档编写规则的理解，统一思路，统一规则保证蓝图交付质量。

0.5天6专题研讨管理层、顾问、关键用户在项目进程中共同确定的系列专题定制化培训。通过案例分享，引导项目组成员结合自身业务情况主动思考，从而保障相关蓝图方案质量5天7系统开发培训顾问本次项目涉及到多个系统平台,开发平台.系统架构复杂.针对性进行系统技术的基础培训，保障IT人员具备参与项目实施工作的基础技能，以便随着项目的推进提高相应的技术能力。SAPCRM平台技术架构，开发技术培训\.NET技术培训\.BIEE开发技术培训,系统架构涉及到接口技术培训5天8系统功能培训顾问,关键用户

本次项目范围涉及到的SAPCRM功能培训，增强项目组成员对现有功能的了解，提高蓝图落地方案的可靠性1天培训及知识转移方案-3针对顾问，为确保其具备独立二次开发和系统运维能力，将采用一对一制定培训计划，并按培训完成情况的方式进行PrepareMe让我准备ShowMe给我演示TellMe告诉我HelpOthers帮助别人LetMe让我完成针对个人制定整体学习计划按详细学习计划进行回顾学习进展了解目标了解培程阅读相关材料管理与实施方法应用知识技术知识系统演示交付件演示参与设计完成测试参与运维解决运维问题优化规划某捷承诺：如因某捷原因造成顾问能力没有达到预期要求，某捷将提供额外免费人天进行顾问培训在实施过程中不仅帮助伊某集文化建设立BI大数据平台，集成的信息系统，而且将顾问的知识、经验、思考方法转移给伊某项目组人员，从而使企业拥有一批熟悉业务和系统的中坚力量。项目贡献和知识结构某捷项目成员伊某项目成员设计过程开发过程运维过程可持续发展知识转移能力培养项目初期，以顾问为主。注重伊某集团集团人员培训和知识的传授实施阶段，顾问重点培养伊某集团项目成员，培养顾问。项目的后期，伊某项目成员将扮演重要角色，如：培训及推广，顾问负责指导和支持。研讨会通过项目的持续进展，有策略、有节奏的将知识转移转移给伊某项目成员，确保BI项目有效持续运转

某捷的OTACE项目管理机制风险管理和客户满意度管理专题方案-数据安全与质量管理数据安全管理方案ApacheRanger是一个Hadoop集群权限框架，管理Hadoop生态圈的所有数据权限，例如用户账号权限、模型数据权限。ApacheRanger从LDAP同步用户信息做用户权限认证。数据安全管理方案-序动态列屏蔽和行过滤大区本月销量（吨）本月收入（万元）本月费用（万元）东北3770.272468.81132.1377623河南6897.804745.02486.854534华南7498.654972.09628.1141019Ranger策略实施大区本月销量（吨）本月收入（万元）本月费用（万元）华南7498.654972.09628.1141019华南区工作人员只能看到华南区数据，过滤掉了东北、河南等其他区域的数据大区本月销量（吨）本月收入（万元）华南7498.654972.09华南区销售只能看到本区的销量和收入，无法看到本区全部费用基于ApacheRanger的动态列屏蔽和行过滤，可以做到单元格级的权限控制更安全的数据权限更丰富的权限定义上层应用无需考虑数据权限问题，能更方便的接入各种组件数据质量方案数据质量管理框架蓝图如下，其中数据质量提升是改进数据质量的手段和质量考评的目的：数据质量要求确认，根据业务要求制定和明确数据质量要求，同时也需要符合数据标准的要求数据质量考评，对数据质量的量化评价制定数据质量问题解决方案，根据数据质量考评和日常工作中发现的数据质量问题，实施相应的措施，提升数据质量数据质量要求业务规则数据一致性要求数据完整性要求数据唯一性要求数据准确性要求数据及时性要求数据质量标准数据质量验证规则数据质量考核指标数据质量提升数据补录手工修正自动修正数据质量考评数据质量监控不定期数据质量检查数据质量分析报告数据质量工具DataCleaner是是一个数据质量分析，比较，验证和监督的工具根据定义，发现数据合规性错误，比如负数、空值等数据管理工具WhereHows是LinkedIn公司一个用于大数据发现和管理的工具方便发现的数据，跟踪数据集的某著名企业和查看各种工具和服务的动向跟踪数据变动的关联关系，用于发现数据质量中有关关联性问题专题方案-主数据主数据标准化方案数据标准数据组织清晰定义数据模型定义数据及核心属性的编码规则明确数据的源系统明确数据标准化和维护的组织培养数据组织的能力，使其能够持续的进行数据标准化和统一维护工作通过数据标准化，提升业务协同分析能力数据逻辑与流程合理定义数据管控流程（包括创建、修改、审核、发布等）数据管理技术手段（管理平台工具等）通过建立数据标准和管控机制、明确数据管理组织，实现持续性增强数据的标准化管理主数据管理编码管理数据质量管理数据标准管理平台管理通用管理功能权限管理用户管理角色管理授权资源管理资源权限管理集成工作流工作流跟踪工作流定义参数管理公共代码管理系统参数管理监控管理交查询服务运行监控操作日志查询系统资源监控编码规则查询编码服务监控编码管理标准管理标准维护编码规则版本管理综合查询数据质量管理校验规则维护校验规则导出基础技术组件实时服务处理组件准实时服务处理准实时补登组件变更消息分发组件通讯日志组件批量服务处理组件基础技术组件MDM-DAOJMS-DAOJDBC-DAO主数据版本识别主数据加/解锁主数据唯一识别基础业务组件LandProcessStageProcess配置业务主键INFAMDM产品功能SIFAPI疑似匹配处理归并处理编码生成服务编码生成组件编码管理校验服务组件数据质量管理模型配置元数据管理……个性化交互界面/接口组合服务接口产品查询服务产品新增服务……平台首页系统公告待办事项登录页面修改密码在线帮助欢迎信息数据采集接口主产品数据产品特征属性……分发接口CRM产品分发产品主数据管理数据录入申请审批详情展示锁定解锁供应商主数据管理数据录入申请审批详情展示锁定解锁客户主数据管理数据录入申请审批详情展示锁定解锁……主数据管理数据录入申请审批详情展示锁定解锁主数据标准化方案专题方案-传统BI迁移到大数据平台从传统BI到大数据演进路线图有序推进主动被动数据

信息洞察智能大数据一定程度上讲就是用全新的数据技术手段来拓展和优化业务。BIEE到大数据平台不仅仅是系统平台的升级。大数据更需要企业具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的资产。因此提高人员的技能和知识结构，适应自助式分析和敏捷式开发，是保证演进成功的关键。如何保证演进成功?从传统BI到大数据智能的演进同时也是某省市场环境变化的反应从被动走向主动的过程。短期远期中期建立大数据平台，并进行管理和分析数据。建立大数据平台，进行管理和处理数据，同时BIEE作为数据源之一继续支撑部分业务分析。完全建成大数据平台，彻底完成业务模式转型成功。独立运营组件迁移大数据平台构建大数据平台构建利用大数据技术构架伊某整体分析平台，初步建立数据1组件迁移逐步将伊某目前现有各种分析应用迁移至大数据平台，建立数据治理架构。2大数据平立运营利用大数据平台的优势积极扩展，进行数据挖掘、高级数据分析等。3参考案例利用2-到3年时间完成全面大数据平台搭建，支撑公司层战略源数据大数据平台BIEE源数据大数据BIEE源数据全面大数据平台数据流向64253目录1某捷咨询及BI能力需求理解与总体方案重点专题分析架构与技术方案计划与实施方法系统演示123457组织架构与资源6BICC/BISC两级服务体系，与伊某的BI建设情况类似。某捷建议参照此体系，逐步建立伊