大数据与大数据技术.ppt

量变到质变大数据与大数据技术,虞强2016.10,议程,公司简介大数据与大数据技术大数据技术应用大数据案例分享问题讨论,AdvancedAnalyticServiceAllRightsReserved2016,2,公司简介,公司概况&发展历史主要客户&大数据产品,AdvancedAnalyticServiceAllRightsReserved2016,3,新加坡,上海,北京,公司概况,青岛,雅加达,专注于分析预测与行业应用的的大数据公司,深圳,业务1,业务2,业务3,提供基于大数据技术的预测性分析及商务智能解决方案,大数据平台、数据集成与准备工具、开源开发技术自助式分析工具、数据可视化工具,提供全球顶尖的大数据软件产品,300+技术服务人员端到端的大数据平台数据集成、数据挖掘与预测性分析、高级分析企业级大数据仓库、企业绩效管理、商务智能,大数据SaaS应用和DaaS服务,基于云平台的软件即服务大数据应用为企业提供全面的数据服务,发展历史,2005,2007,2011,2002,14年来，我们与数俱进,汽车制造电子产品及家电快消零售医药与生命科学航空与物流高科技制造业金融及其他,主要客户,云,以Hadoop为核心的大数据产品系列,数据集成与准备,SQLonHadoop,Texthere,流计算,机器学习,开源开发技术,数据挖掘,以Hadoop为核心的大数据产品,大数据软件产品,Statistica,数据可视化,Vortex,数据,创新,经验,融合,拥有多元化的数据科学家团队和十余年的数据分析经验。经十余年自主开发的IP打造数据行业领先的技术优势。,追踪吸收和引进行业内最先进的技术，产品和应用经验。世界顶尖数据技术公司在中国地区的首选合作伙伴。,在一大批竞争行业（汽车、制药、快消、家电、物流等）内拥有深厚的客户基础和众多行业成功案例。,追求行业业务能力和技术能力的融合以及企业系统架构与解决业务问题间的平衡，具有扎实的项目实施能力。,HEADLINE,竞争优势,AdvancedAnalyticServiceAllRightsReserved2016,9,大数据与大数据技术,Hadoop技术的发展,物联网应用需要将Hadoop变为一个高性能的分析平台需要Hadoop不光能存储数据，更要能够处理计算数据,SQL分析,挖掘预测,图形化数据分析,智能搜索,时间、用户、地理位置、事件等标签,辅助技术：,Kafka,HBase,Cassandra,Accumulo,基于大数据技术的数据分析处理,Hadoop核心层,数据准备,技术更迭过快开源产品成熟度开发效率与现有架构的关系运维与安全,大数据技术的顾虑,？,大数据平台计算框架,传统数仓功能,非结构化流式挖掘分析,软件架构（举例）,DATAPLATFORM(HDFS),灵活数据准备,SQLinHadoop,数据挖掘与预测,前端应用,报表,外部应用,下游系统,管理控制台（CloudEra、Talend、KNIME）,数据安全以及认证（Portal集成）,用工具取代代码作坊,同时处理实时与批次,流式处理,批次处理,转换,清洗,治理,转换,清洗,治理,推荐引擎SparkStreaming/Kafka,Spark,数据库，文件，批次数据,实时，流数据,HDFS文件,数据流输出,基于用户数据理解地模型预测,图形化数据准备挖掘运用SparkMlib等进行计算结果回写入Impala或者HIVE,非结构化数据为存储的新型SQL,基于落地HDFS的文件或HBASE进行SQL建表解析提供工业MPP级别查询性能线性可扩展标准JDBCSQL界面，直连BO，Tableau，Qlikview,MSTR等报表工具,技术方案：特点小结,基于开源系统的成熟商用插件方案部署简便提高开发效率降低实施风险基于内存的计算性能优异全部基于唯一Hadoop集群内，统一存储统一计算减少数据传输迁移的同步问题维护便捷：一套集群,维护简单扩展性：无限扩展线性提升便捷的开发及报表展现工具图形化ETL，数据挖掘开发便捷报表展现分析工具建模过程100%用户参与IT基础架构与用户数据准备、探查、分析、预测分离,AdvancedAnalyticServiceAllRightsReserved2016,19,大数据团队组织建设,数据与业务的结合,大数据开发团队,技术平台支持,业务人员,咨询团队,内部团队与专业伙伴紧密合作,Evan,数据科学家,AdvancedAnalyticServiceAllRightsReserved2016,21,大数据技术应用,InternetofCustomersandInternetofThings,BigDataonIoT,IoT解决方案,本质是基于“信息物理系统”实现“智能化”,二、工业4.0时代的智能制造,IoT的本质,二、工业4.0时代的智能制造,IoT-智能工厂,BigDataonIoC,360CustomerProfileMicro-SegmentationCustomerLifetimeValueNextBestActionCustomerSentimentCampaignOptimizationChurnMarketBasketAnalysis,CRM账户信息及客户特征,EDW交易历史,社交媒体关键字,SalesLift,20%,60%,100%,n%,购买周期趋势,购买家庭信息,购买人口特征,第一阶段,客户画像,数据流引擎,人口分布,客户倾向,HADOOP集群/YARN,数据库分析,查询可视化报表分析工具及应用,集成服务器,BI服务器,数据库集群/服务器,消费心理,第一阶段,数据混合与浓缩,集成引擎,ACTIAN分析平台,CRM账户信息及客户特征,EDW交易历史,社交媒体关键字,购买周期趋势,购买家庭信息,购买人口特征,客户画像参考架构,360度客户视图,AdvancedAnalyticServiceAllRightsReserved2016,31,案例分享,车联网大数据应用,项目背景,围绕车辆全生命周期，数据驱动的车联网与跨行业融合，可衍生出多样的商业模式与创新服务；基于丰富的车联数据、多样的服务平台，可对行业、社会热点展开洞见分析，同时挖掘更多的商业价值，拓展新的业务,安吉星大数据项目目标与当前的问题,目标：主数据(数据质量)的升级主题模型落地,保持数据一致性提高运维的灵活性应用数据缓存的改造用空间换时间的方法保护后台核心应用的正常运行企业经营分析的改造提高运营速度和质量,降低数据开发成本新业务的支持驾驶行为分析燃油分析二手车评估车况鉴定报告,问题：缺少数据主题重复开发和浪费成本数据质量不可控数据缺少管控BI开发成本高,周期长缺少业务分析平台车辆数据采集能力有限业务数据无法有效支持,大数据平台逻辑架构,报表/可视化,数据集成区,批量数据处理,实时消息队列,数据湖泊区,机器学习区,NoSQL区,流计算区,数据暂存区,数据仓库区,主题分析区,Mobile,DAAP,Vehicle,LVDS,TrafficProbe,HA/HB,OVD,ACR,其它数据源,其它数据源,系统管理,数据管理,搜索引擎区,数据交换区,数据源,车辆行驶日志,车辆行驶日志,急加速、加速日志,车载系统日志,实时数据计算,36,驾驶行为评分,37,驾驶行为评分阈值计算,通过机器学习算法，实时的将所有用户数据代入驾驶风险概率模型，动态计算相关阈值Setresponsevariable=uncomfortablemaneuverSetpredictorvariable=acceleration,speed,turnsCalculatethescore,38,驾驶行为评分,用车轨迹-用户画像,When何时Where何地Who是谁What做什么,上班族Commuter,商务人士BizMan,家庭主妇Housewife,夜晚活动族NightOwls,用车轨迹交叉销售,售后维修保养机会点OpportunitiesforA/SMaintenance,新车销售机会点OpportunitiesforNewCarSales,MaintenanceOpportunities,车况报告,车况报告,AdvancedAnalyticServiceAllRightsReserved2016,44,案例分享,智能生产预测,项目背景,项目背景随着业务的不断发展，生产线不断扩张，不同生产线、不同机台、不同工序所产生的玻璃面板坏点数量参差不起，良品率总体呈现下降趋势。为了提高玻璃面板的良品率，不断优化工艺流程，提升产品质量，决定建立数据分析平台，来预测坏点产生跟生产流程上的哪些因素有关，来做有正对性的改进。项目实施收集生产Glass过程当中所有相关的因子信息，通过Dataflow工具对品质异常的玻璃数据进行regression、correlation挖掘算法分析，计算各因子与产品异常之间的影响关系。同时针对正常品质玻璃也做因子分析，计算得出正常品质下各因子的正常范围值，从而可以快速判定超出范围的为异常值。,品质异常因子分析,抽取源系统数据并通过数据的业务逻辑进行数据关联进行数据准备，然后通过数据挖掘算法进行correlation、regression两类数据挖掘，并将挖掘结果写到HDFS文件系统中。,通过针对defect_count、recipe、TC_C1_EV因子，经过regression算法，从测试数据中挖掘出defect_count预测数据,数据分析过程,通过针对不同Product_ID下，defect_count因子和TC_PRESSS、TC_IP1_PRESS、TC_IP2_PRESS，车台温度等因子，经过correlation算法，从测试数据中挖掘出相关性数据,注：挖掘数据位于测试中转机I:To_Andycorrelation.txt、I:To_Andyregression.txt,关联预测准确度,（越靠近中线，预测偏差越小）,线性回归分析,异常点部分需要进一步分析,分析结果,AdvancedAnalyticServiceAllRightsReserved2016,51,案例分享,传统数仓转大数据,项目背景,使用传统的标准数仓建模，分ODS、DW、DM及DMAETL主要通过存储过程实现存储过程数据加工较多的使用临时表、中间表使用传统交易型DBMSORACLE作为数据仓库平台前端通过刷CUBE提升报表查询速度支撑报表数量：目前150左右每日增量更新时长：1：0012：50,存在的问题,数据冗余比较严重,临时表、中间表使用过多，对内存及磁盘IO压力较大,层与层之间调度依赖严格,数据加工性能不足,数据查询性能不足,高并发查询性能下降严重,并发的计算架构,54,SQL(JDBC/ODBC/.Net)JAVA/C/API,加载入分布式存储,SQLonHadoop,加载入SQLinHadoop,Source,CDHCluster+HadoopETL,分布式内存数据整合,CDHNodes(ClouderasdistributiongincludingApacheHadoop),HadoopETLrunsnativelyoneverynode,SQLonHadoop,SQLonHadoop,基于标准SQL或者API界面输出,新架构解决的问题,数据冗余比较严重,临时表、中间表使用过多，对内存及磁盘IO压力较大,层与层之间调度依赖严格,数据加工性能不足,数据查询性能不足,高并发查询性能下降严重,Dataflow流式加工数据，只将结果集回写数据库，大大避免减少数据冗余,Dataflow中流式加工数据，可以不用临时表，节约大量磁盘IO