微软大数据解决方案交流44

微软银行业大数据解决方案交流PresalesArchitect，微软服务部目录大数据分析挑战微软解决决方案介介绍大数据案案例分享享数据复杂度：多元性和速度TerabytesGigabytesMegabytesPetabytesBigDataWeb2.0

ERP/CRM付款薪资货存联系人订单跟踪销售管道Web日志数字市场搜索市场网上推荐广告移动协作电子商务网页点击流Wikis/博客传感器/RFID/

设备社交网络音频/视频日志文件空间&

GPS坐标数据数据集市电子政务气候文本/图像大数据就就是资本本–但究竟什什么是大大数据?未来数年年数据量量会呈现现指数增增长。根据麦麦肯锡全全球研究究院（MGI）估计，，全球企企业2010年在硬盘盘上存储储了超过过7ZB（1ZB等于10亿GB）的新数数据，而而消费者者在PC和笔记本本等设备备上存储储了超过过6EB新数据。。1ZB数据相当当于美国国国会图图书馆中中存储的的数据的的4000多倍。“大数据据是指无无法在一一定时间间内用常常规软件件工具对对其内容容进行抓抓取、管管理和处处理的数数据集合合”—维基百科科8万亿GB2015全球信息量1s数据处理速度85%非结构化数据占比数据价值Volume

数据体量大Variety数据类型多Velocity

处理速度快Value大数据的的挑战大数据的的4V特点：Volume,,Variety,,Velocity,Value传统DW系统不适适用于大大数据的的分析数据量过过于庞大大绝大部分分大数据据是垃圾圾大数据的的多样化化格式时效性高需要革新新性的技技术手段段海量数据据“分而而治之””-------批量分布布式并行行计算Hadoop海量数据据“灵活活多变””-------实时分布布式高吞吞吐高并并发数据据存取处处理NoSQL海量数据据“实时响应””-------大数据流计算算模型我们希望望从大数数据获得得什么？？更高一层层数据层层面整合合企业内内外部大数据改变数据分析思维过去，由由于数据据获取的的困难程度，人们在分析数据时倾向于使用抽样数据，并通过不断改进抽样方法以提升样本的精确性，，从而对对整体数数据进行推算，并竭力挖掘数据间的因果关系。但当前数据处理思维方式正逐步向全体性、混沌性以以及相关关性演变变，以适应数据量的爆发式增长。10大数据改改变数据据分析思思维全体数据据混杂数据据精确数据据抽样数据因果关系系相关关系系采样的目目的在于于用最少少的数据据得到最最多的信信息，但但在样样本分析析过程中中不可避避免会有有一部分分信息丢丢失。。在可以以获得海海量数据据的情况况下，对对全体数数据进进行挖掘掘和分析析可以获获得更多多信息。只有15%的数据是是结构化化且能适适用于传传统数据据化的的，接受受不精确确性能使使更多的的非结构构化数据据得到到利用。。建立在相相关关系系分析法法上基础础上的预预测是大大数据的核心。。传统

大数据大数据分分析不同同于传统统BI分分析传统BI分析批处理大数据分析集群化事务关系型数据库数据仓库分析非结构化流式分析组织多种数据源(MapReduce)•

结构化数据•

数据规模一般为TB规模•

集中式，为了分析进行大量数据移动，数据向计算靠近•

批处理为主•

结构化/非结构化混合分析的能力•

数据规模从数十TB到PB级别•

分布式，计算向数据靠近•

支持流式分析11如果业务务需求是是分析多多种来源源的数据据。。来源：ForresterResearch，2012年6月全球大大数据在在线调查查数据仓库库与大数数据的整整合集成大数据和数据仓库功能以增加运营效率需要利用多种类型数据扩展仓库基础架构通过将很少使用的数据迁移到Hadoop来优化存储、维护和许可成本通过智能处理流数据来降低存储成本通过确定仓库中要填充的数据来改善仓库性能深度分析所需要的结构化、非结构化和流数据源低延迟要求（几小时，而非几周或几个月）提供对数据的查询访问超越传统数据仓库概概念的大数数据分析析流Internet级别传统数据仓库库In-MotionAnalyticsDataAnalytics,DataOperations&ModelBuildingResultsInternetScaleDatabase&&WarehouseAt-RestDataAnalyticsResultsUltraLowLatencyResults传统/关系型数据源非传统/非关系型型数据源传统/关系型数据源非传统/非关系型型数据源100111STREAMING大数据分析平平台大数据技技术是一一系列技技术的集集合，是是传统数数据结构构化数据据与非结结构化技技术与数数据的整整合，并并基于这这些技术术与数据据进行综综合的商商业智能能应用，，包括数数据分析析与数据据挖掘等等。BI/报告 BI/报告探索/可视化功能

应用行业

应用预测分析内容分析应用程序数据分析系统管理数据分析应用开发数据整合与治理Hadoop

系统流计算数据仓库目录大数据分析挑战微软解决决方案介介绍大数据案案例分享享微软的大大数据分析视视角——面向业务务分析的的愿景深刻的数据洞察自助式服务

|协作

|移动化

|实时/准实时非结构化数据100111多样的数据管理结构化数据流数据共享与治理挖掘与关联分析转换清洗丰富的数据加工海量多样快速非结构化化数据大数据中中结构化化与非结结构化数数据的整整合建立对非非结构化化数据进进行SQL语法查询询的支持持，实现现与结构构化数据据的集成成关联（（key）主分类关键词标签地名人名全国统一分类分词，倒排搜索共性、个性文本识别处理功能模块网页分类反向搜索关键词分析日志关联内容分词索引建立索引分析日志合并用户类别标签摘要结构化元信息网页信息分类数据获取语义分析数据解析数据获取取结构化数数据数据集市市数据集市市EDW结构化元数据Hadoop建立非结结构化信信息的标标签、摘摘要、索索引、日日志、内内容等提取结构构化的元元数据信信息，如如类别、、标引、、摘要等等；实现现与结构构化数据据的整合合ODSSQL声誉度分分析品牌分析析服务质量量分析竞争产品品分析产品评价价市场动态态跟踪

BigData

TraditionalBusinessIntelligenceEDWAPPSBizprocessERP,CRMDMDMDMETL数据源基础架构分析组件业务用户Structured:e.g.MM/DD/YYYYKnown,knownSemi-structured:e.g.weblogs,sensordataKnown,unknownUn-structured:e.g.text,video,audio,Unknown,unknownBusinessUsersMachinesDevices

“TheInternetofThings”DataScientistsCollaboration&SocialEmail,blogs,documentsEveryoneIndexingengineAlgorithmsVisualizationAnalyticsDataSearchPresentationReportingAnalysisDataHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFSHDFS数据分析析路径InformationFlow–TraditionalBIInformationFlow–UnstructureddatatoBIInformationFlow–Semi-structureddatatoBIInformationFlow–Search数据分析析路径建设大数数据BI系统的的思考17常见架构构+PBTB一体机MPPDWMPPDM传统的BI系统架构构并非一一无是处处，同样样值得我我们学习习借鉴++MS大数据解解决方案案总体架架构微软大数数据产品品架构FastLoadSourceSystemsHistoricalData(BeyondActiveWindow)Summarize&LoadBigDataSources(Raw,Unstructured)Alerts,NotificationsData&ComputeIntensiveApplicationERPCRMLOBAPPSIntegrate/EnrichSQLServerStreamInsightSQLServerParallelDataWarehouseEnterpriseETLwithSSIS,DQS,MDSHadooponWindowsAzureHadooponWindowsServerSQLServerFTDWDataMartsSQLServerReportingServicesSQLServerAnalysisServerBusinessInsightsInteractiveReportsPerformanceScorecardsCrawlersBotsDevicesSensorsVolumeVelocityVariety结构化数据MicrosoftSQLServer2012和SQLServerParallelDataWarehouse设备提供一种方法来管理结构化数据。流数据SQLServerStreamInsight组件实现了对新的数据格式的支持，其中包括流数据。非结构化数据部署在WindowsAzure和WindowsServer上的基于Hadoop的服务使您能够快速处理PB级的非结构化的数据。管理几乎乎来自任任意来源源的数据据横向扩展展大规模并并行处理理引擎MassivelyParallelProcessing((MPP)PDW作为SQLServer的横向扩扩展解决决方案…MPP提供线性性横向扩扩展能力力MassivelyParallelProcessing((MPP)大规模并并行处理理架构横向扩展展：按按需添加加硬件实实现线性性扩展无共享架架构最小(0TB)到最大(6PB)从几个TB的小型数数据仓库库开始扩展到6PB比SMPDW快10倍复杂作业业计算线性扩展展扩展灵活活方便(Noforklift))聚沙成塔塔成成长长无限容量最大大随需扩容容PB宕机为零零高枕无忧忧Hadoop的典型应应用场景景用户行为为分析跟踪用户户在网站上的点击路路径，分分析其购购买习惯惯根据用户户属性，，猜测用用户感兴兴趣的商商品，定定向推广广根据N度客户，，发掘潜潜在的客客户群体体日志存储储、分析析日志分布布在多台台服务器器，查找找问题困困难,跨系统应应用日志分析、、系统性性能分析析等上传文件件存储各业务系系统上传传的文件件、图片片统一保保存MS与Hadoop基于ApacheHadoop的WindowsServer和WindowsAzure，以及AD的支持HDInsightServerHDInsightServiceHiveODBCDriver和Add--inforExcelJavaScriptFrameworkforHadoopSQLServerandSQLServerParallel数据WarehouseconnectionsforHadoopSharepoint,Powerpivot和Powerview作为前端端展示数据价值&访问频度MPP数据库结构化数据传统BI工具HDP半结构化和非结构化数据历史数据分析数据生命命周期&数据规模模HDP在hadoop上增加了了：集群群管理能能力，工工作流，，安全管管理，并并融入了了数据分分析,机器学习习技术以以及文本本数据分分析挖掘掘。所有的这这些增强强都是为为了更好好的使得得该方案案能适用用于复杂的，，海量数数据的分分析。HDP是对传统数数据仓库库的一种种补充和延延伸，整体构构成一个个更广义义的海量数据仓仓库。HDP海量大数据仓库Hive、Sqoop当前大数数据分析析面临的的挑战Warehouse要求学习习和掌握握Map-Reduce技术需要IT人员将HDFS中的数据据倒入数数据仓库库或集市市中，才才能用于于后继的的分析HDFS(Hadoop)HDFS(Hadoop)——大量新技技术需要要学习掌掌握、周周期长、、见效慢慢传统BIEDWConnectorforHadoopETL//ELTHadoop：成本低低、扩展展性好、、数据加加载快、、并发处处理强EDW：SQL查询执行行性能高高，包括括Ad-hoc、OLAP、报表等等HiveODBCDriver基于PolyBase的全方位位数据整整合能力力穿越结构构化和非非结构化化数据的的访问数据库和和Hadoop的混合分分析支持持透明的应应用访问问Social

AppsSensor

&RFIDMobile

AppsWeb

Apps非结构化化数据结构化数数据数据库文件系统统HDFS混合动力引擎PolyBaseSQL关系型数据库通过统一一的查询询，同时时访问结结构化和和非结构构化数据据沿用标准的的SQL语句进行行访问Select,,FromWhere低延迟可可扩展流流数据计计算平台StreamInsight用于大数数据领域域实时高高频数据据分析处处理一个处理理流数据据的低延迟平台毫秒级，，甚至微微妙级端端到端的的延迟一个可高度扩扩展的，用于于实时分析析的高性能平台通过横向向增加硬硬件获得得近线性性的处理理能力扩扩展高达125个节点扩扩展一个灵活的、动态的平台Streams应用灵活活部署支持动态态部署新新的分析析应用

每秒数以以百万计计的事件件微秒级延延迟传统/非传统数数据源实时决策策强大分析析算法交易易TelcochurnpredictSmartGrid网络安全全入侵监监测CyberSecurityGovernment/LawenforcementICUMonitoring环境监控控27使用熟悉悉工具来来分析结结构化和和非结构构化数据据Hadoop数据结构化数据

用熟悉的工具来分析大数据

微软BI工具的天然集成在同一表格中分析结构化和非结构化数据广泛使用的熟悉工具EXCELPowerPivotSQLSERVERBI无需IT人员介入分析多样的数据类型广泛使用的ExcelMicrosoftSpeechSDK—MicrosoftSpeechSDK是微软公公司提供供在Windows平台上开开发语音音识别和和语音合合成应用用程序的的开发包包，简称称为SAPI，内含SR（SpeechRecognition）和SS（Speechsynthesis）引擎，，因此可可以很方方便地在在自己的的应用程程序中添添加这些些功能。。—该语音引引擎支持持多种语语音的识识别和朗朗读，包包括英文文、日文文、中文文等。微微软推出出的应用用编程接接口API，虽然现现在不是是业界标标准，但但是应用用比较广广泛。—识别基本本流程：：◦从音频输输入设备备获取原原始音频频并编码码或直接接调用音音频文件件。◦设定语音音引擎和和识别上上下文等等内容，，配置本本地访问问属性。。◦分析处理理得到的的文本结结果—请求接口口◦请求方式式：本地地访问◦请求数据据：编码码后的音音频数据据◦音频编码码格式：：wav◦音频采样样频率：：8000Hz、11025Hz、16000Hz、22050Hz、24000Hz、32000Hz、44100Hz、48000Hz—主要优点点◦基于COM组件，便便于与DirectShow中的组件件整合。。◦语音识别别引擎位位于本地地，便于于访问，，识别速速度较快快。◦待识别音音频的大大小、时时长无限限制。MAVIS“微软研研究院音音视频索索引系统统目录大数据分析挑战微软解决决方案介介绍大数据案案例分享享银行面临临大数据据时代的的业务挑挑战小微企业贷款市市场逐渐渐被侵蚀·

电子商务务公司和和第三方方支付厂厂商紧贴贴最终用用户，依依靠市场场优势，，对银行行的议价能力极强强，比如如：银行行的支付付交易手手续费被被支付宝宝压到3‰甚至更低低，侵蚀蚀银行信信用卡的的收入。。第三方方支付企企业使得得客户和和银行的的关系进进一步疏疏远：本本来是银银行自己己的持卡卡客户，，银行行却根本本不知道道他们的的购物明明细，只只能知道道他们花花了多少少钱。这这在未来来以数据据取胜的的时代代对银行行很不利利。银行系电电子商务务开展不不顺利：：整个银银行系的的电子商商务市场场份额总总共不到到2%。贷款模式式使得客客户减少少对于银银行的依依赖：目目前来看看，贷款款模式使使得资金金的供求求方和和需求方方可以自自行撮合合。这使使得客户户对于银银行的贷贷款依赖赖逐渐减减小。

小微企业客户数

银行系

民生银行：91.5万

招商银行：0.57万

互联网系

阿里小贷：1030万

贷款余额民生银行：363亿美元招商银行：52亿美元

阿里小贷：3.6亿美元

贷款客户数

民生银行：15万

阿里小贷：13万平均贷款规模工商银行：120万元阿里小贷：0.7万元

年增长率

银行业：18.5%

阿里小贷：80%

坏账率

银行业：3.31%

阿里小贷：0.72%银行与零零售客户户越来越越远银行面临大大数据时时代的技术挑战数据缺口口专业人才才缺乏IT技术成熟熟度隐私安全全中国银行行业大数数据应用用场景风险管理理和合规规反欺诈反反洗钱钱多点点检测营销实实时营销销事件式营营销全渠道营营销客户360客客户视图图客户户定价客客户分分类银行数据银行交易易数据用用户金金融信息息电话话录音互联网数数据浏浏览信息息搜索索信息SNS信息用户数据据身份份信息和和偏好数数据地地理位置置信息用用户事事件电子商务务数据商商品浏浏览信息息交易易数据消消费趋趋势信息息银行大数数据源大数据应用P2P业务人人人贷小小额信信用贷利率市场场化解决信息孤孤岛：分分布式信信息日志志集中汇汇聚索引引中信、农农行、工工行、建建行、交交行、民民生、招招行、光光大、阿阿里巴巴等大数数据应用用试点项项目摩根大通通基于Hadoop的大数据据应用已经开始始使用Hadoop技术以满满足日益益增多的的用途，，包括诈诈骗检验验、IT风险管理理和自助助服务。。150PB在线存储储数据、、30,000个数据库库和35亿个用户户登录账账号。Hadoop能够存储储大量非非结构化化数据，，允许公公司收集集和存储储Web日志、交交易数据据和社交交媒体数数据。数据被汇汇集至一一个通用用平台，，以方便便以客户户为中心心的数据据挖掘与与数据分分析工具具的使用用。微信贷公司司“大数据据+机器智能能学习””利用海量量数据挖挖掘和算算法来做做一些贷贷款业务务大量使用用了社交交媒体和和其他的的网络工工具每个贷款款人都拥拥有6000到8000条数据特点：它的每笔笔贷款额额度都很很小，太多的资资金额度度需要更更多次的的检验不良贷款款会迅速速暴露。，模型的反反馈和改改进违约率高高利率很高高WongaLendingStreamZestcashKlarnaPawnGo阿里云金电联行花旗银行行大数据据@信贷应用用定期（每天））对所有客户户的交易易日志和和当前的的债权状状况（包包括核心心系统内内的数据据和从征征信中心心取得的的数据））进行分分析，建建模，，及分析析当前模模型的精精确性；；定期（每天））根据分析对客客户进行行分类（（segmentation）；每天针对不同同的分类类建立不不同的模模型，进进行行为为评分、预测对客户营销可能性、提前还款款的可能性、坏账的可能性性等；每天根据预测测的分数数和交易易状况和和提前设设定的strategy自动调整整客户的的creditline；每天根据预先先设定的的strategy和3，4的结果对对客户进进行电话、邮件、信件等的促销销和催收收；采用结构构化和非非结构化化数据消费者数据库基本身份信息住址信息收入信息财产信息消费信息…（1）定期更新消费者信息（2）营销活动需求（3）建模并计算（4）提供报告HBASE（NOSQL数据库）Hadoop（Map/Reduce）HBASE（NOSQL数据库）大集中系统使用HBASE存储半结构及非结构化内容使用adoop的并行计算框架对存储的半结构化及非结构化内容，按照营销要求进行分析计算与消费者数据库中的身份信息进行关联结果合并处理MS大数据分分析最佳佳实践客户分析解决方案关注点理解客户行为:利用线上和线下客户数据，更加高效制定市场决策提升客户体验:通过理解客户痛点以及定制客户服务，使客户满意度最大化企业痛点客户通过线上，线下和企业之间的交互信息视图不完整对客户有行为特征了解有限，无法切实有效影响客户的业务决策

缺乏对市场活动ROI分析的直观性解决方案益处获得完整的客户信息视图提高市场费用投放的有效性,减少营销成本获得对渠道贡献率的洞察力，优化营销途径提供量身定制的客户服务，提高客户整体满意度解决方案模块营销及公共关系分析互联网及媒体舆情分析客户服务分析模块收益衡量企业营销在各种渠道的有效性通过分析营销方案的关键字及客户反馈，获得对企业营销实际效果的了解.关注在最有价值的客户群上持续提高营销方案的质量将营销资源向最有执行效果的渠道投放获取负面评价.理解企业以及竞争对手在哪些信息存在共鸣使营销人员更快更准地接触更多客户更低成本地将信息传递到各种渠道，各个层次，各个地域的客户

确认出最有影响力的人群，比如微博达人，明星等客服人员更高效应对市场情绪

通过及时分析，快速反应，减少不必要的电话及邮件沟通

将消费者的反应及时补充到新产品或服务的改进中提高客户消费的时效性，忠诚度及口碑模块功能对客户分层，客户资料和信息测试进行分析营销活动效果评估：同过分析各营销渠道中的营销受众数量，影响力以及最终消费者的评价倾向按照产品属性分析受众情绪倾向按照品牌及业务伙伴分析影响力分析客户在不同销售渠道下的用户体验分析客服中心的业务绩效如呼叫量，呼叫时长，解决状态，客户满意度等data分析客户数据以及客户网络行为，社交媒体信息，对客户需求有更深洞察力关键指标营销活动有效性各产品反应比例渠道的有效性市场费用投入产出比市场比例品牌接受度客户满意度最有影响力人群客户满意度呼叫总量，反应速度客户留存率3844%ofconsumerscomplainviasocialmedia..Existingprocesstoocumbersome..Generateaminimumof$100Kinsavingsayearthroughautomationofsentimentdataandtargetedcustomermarketing.Byautomatingsentimentanalysis,theycanalleviatethepainofreactingtoolatetonegativesentimentandavoidcostlylawsuits.OCCrequirementtotrackcustomersat.90,000customersdiscussCapitalOneonsocial.TBDLeveragingsocialdatatodeterminecustomersentimentandpositionproductsSituationNeedResultsCreativeplatformforCustomerAnalyticsforBankingsolution..Incorporatedsocialsentimentfeedintoanalysisframework..Analyzing100krecordseachmonthwasafulltimejob,butisnowautomatedformoretimelyandefficientresults.Enableddigitalmarketinggrouptobetterrespondtocustomercomplaintsandtargetcustomers.HighlightSolutionMS的大数据据成功案案例-CapitalOne社交网站站客户满满意度分分析CrossChannelMarketingPlatformtobridgeCheetahmailandConversen.PowerBIwithspeciallydevelopedindustryacceleratorsassyndicatedpartnershipopportunity.ThePowerBIteamworkingwithCOEtointegrateProjectOrangeassetsintothedatacatalog.PossiblepartnershipwithExperiantoprovidesyndicateddata,readytoconsume.MS的大数据据成功案案例-Experian跨渠道营营销39Experianneededtolowerthecostsoftheircampaignmanagementsystem/emailmarketingsystem..TheMicrosoftplatformandBIsolutioncombinedwithExperian’sexistingdatacreatedanimpactfulsystemfortargetingcustomersandmakingbusinessdecisionsthroughanalysis.AtthesametimetheywerelookingforneweconomyrevenuestreamsforEMS((9%growth)BundlingreadytoconsumedatawithBIandindustryacceleratorsforclearresultsSituationNeedResultsHighlightSolutionWhenitcomestobusinessintelligence,MicrosoftSQLServer2012demonstratesthattheplatformhascontinuedtoadvanceandkeepupwiththeinnovationsthatarehappeninginbigdata.在商业智能领域，MicrosoftSQLServer2012平台持续发展，支持不断创新的大数据平台。DavidMarianiVicePresidentofEngineering

工程副总裁“

”Connectstomorethan1billionsignals

连接到超过10亿的信号/数据源

Across15leadingsocialnetworks,includingFacebook

排名前15位的社交网络，包括Facebook

Generatesa‘Klout’scoreforindividualpeople,brands&partners

为个人、品牌及合作伙伴生成一个‘Klout’分数

Enablesanalysis,targetingandsocialgraphs

在线影响力分析工具，提供分析、目标和社交图MS的大数据成成功案例-KLOUTKloutEventTracker411PerformA||BTestingofUserFlows2OptimizeRegistrationFunnels3Monitorconsumerengagement&&retention((DAUs&&MAUs)4FlexiblytrackandreportonusergeneratedeventsServingStoresSignalCollectors(Java/Scala)DataWarehouse(Hive)K(Node.js)EventTracker(Scala)Mobile(ObjectiveC)AnalyticsCubes(SSAS)KloutAPI(Scala)SearchIndex(ElasticSearch)RegistrationsDB(MySql)ProfileDB(HBase)Streams(MongoDB)Dashboards(Tableau)PerksAnalyics(Scala)Monitoring(Nagios)DataEnhancementEngine(PIG/Hive)PartnerAPI(Mashery)KloutDataArchitectureKLOUT大数据MS解决方案案架构RequirementHadoop&HiveBIQueryEnginesCapture&storealldataYesNoSupportqueriesagainstdetaildataYesNoSupportinteractivequeries&applicationsNoYesSupportBI&visualizationtoolsNoYesEventTrackerArchitecture43WarehouseInstrumentCollectPersistQueryReportTrackerAPIScala,node.JSLogProcessFlumeCubeAnalysisServicesKloutUIScala,AJAXUXSELECT{{[[Measur