再谈交互分析平台在运营商中的应用

再谈交互分析平台在运营商中的应用目录现场疑问解答技术发展概述01020304典型行业应用具体建设内容大数据技术架构TraditionalAssumptionsANewApproachBenefitsandValueBare-metalContainersandVMsBig-Data-as-a-ServiceDatalocalityHDFSonlocaldisksComputeandstorageseparationSharedstorageAgilityandcostsavingFastertime-to-insights20112012201420142015Source:ChrisHarrold@EMC,SharedInfrastructureforBigData:SeparatingHadoopComputeandStorage,2015.12大数据技术趋势Source:@Tableau,TOP10Trendsfor2017BigData,2016.12BigdatabecomesfastandapproachableBigdatanolongerjustHadoopOrganizationsleveragedatalakesfromtheget-gotodrivevalueArchitecturesmaturetorejectone-size-fitsallframeworksVariety,notvolumeorvelocity,drivesbig-datainvestmentsSparkandmachinelearninglightupbigdataConvergenceofIoT,cloud,andbigdataSelf-servicedataprepbecomesmainstreamasendusersbegintoshapebigdataBigdatagrowsup:HadoopaddstoenterprisestandardsRiseofmetadatacatalogshelpspeoplefindanalysis-worthybigdata目录现场疑问解答技术发展概述01020304典型行业应用具体建设内容大数据分析平台1.0UniversalDatabase

(UDB)复杂流程中众多业务系统产生的海量数据开发人员对日志格式的花样需求众多数据来源和不同的数据格式智能化运维改善用户体验方便故障排除、异常分析处理追踪和评估收视效果支持各类报告、告警CallerIDMetadataDistributionSTB

MenusMenu

Entitlement数据输入结果输出Source:SplunkInc.,2012大数据分析平台1.1CollaborativeFilteringUser-basedCollaborativeFilteringItem-basedCollaborativeFilteringModelBasedCFAlgorithmsProbabilistic(e.g.BayesianNetwork)ClusteringRule-basedapproaches(e.g.AssociationRules)ClassificationRegressionLDAContent-basedRecommendationsModelBasedAlgorithmsNovelMethodsLearningtoRankContext-awareRecommendationsTensorFactorizationFactorizationMachinesDeepLearningSimilaritySocialRecommendationsSource:XavierAmatriain@Netflix,CollaborativeFilteringandotherapproaches,MLSS2014大数据分析平台1.2Source:AndrewLeamon&ChushiRen@Comcast,MachineLearningatComcast,2015.11大数据分析平台1.3Source:ShekharAgrawal@Comcast,UsingSparkMLtoPoweraDSaaS(DataScienceasaService),2017.02PerpetualSparkEngineRESTfulAPItocontrolallaspectsConnectorstoCassandra,Hbase,MongoDB,Teradata,MySQL,Hive,ES,etcKafka,StormforstreamingdataORC,Parquet,textfilesRolebasedcontrolonwhoseeswhatIntegrationwithmodelingusingPython,R,SAS,SparkML,H2O大数据分析平台1.3Source:ShekharAgrawal@Comcast,UsingSparkMLtoPoweraDSaaS(DataScienceasaService),2017.02目录现场疑问解答技术发展概述01020304典型行业应用具体建设内容大数据应用建设平台工具面向应用开发提供易用的大数据平台开发工具自助建模面向业务人员提供灵活的自助建模工具和模式数据服务面向数据使用者提供数据支撑提高大数据汇聚后的数据服务能力，挖掘多类型数据的融合价值算法模型大数据数据服务面向领导数据指数：多维数据统计，呈现业务相关态势数据运维：呈现大数据中心的数据状态面向业务数据融合：以人为中心，提供全方位的数据链数据挖掘：多维度数据特征挖掘和模型分析数立方建设完善全面的数据服务能力数据汇聚地数据加工厂数据指数多维统计收视行为，如人均收视时长、观看次数、忠诚度、收视份额等支付行为，如支付金额、支付次数、支付人数等消费行为，如消费金额、ARPU等工单行为，如工单类型、故障类型等融合统计跨业务数据融合统计例如周末出游且喜欢汽车的人群品牌推荐（收视、消费）例如微信支付群体的ARPU（支付、消费）例如设备维修后故障消除的成功率（工单、网维）数据运维数据分布平台中的分布应用中的分布存储单元分布数据热点热点应用热点单元活跃应用数据转换应用被访问应用去访问单元被访问历史趋势容量变化趋势热度变化趋势转换变化趋势数据融合数据服务吃住行消乐全景画像多源数据串并数据链人的多维无限层关系拓扑收视/支付/消费/工单刻画观看/点播隐形关联轨迹。。。多源数据空间轨迹串并人的行为时间数据串并群体关联关系数据串并。。。数据挖掘收视特征挖掘多维向量