移动大数据技术在互联网金融获客及经营中的应用

1、移动大数据技术在互联网金融获客及经营中的应用,z 互联网金融“宝宝”互联网金融网上金融超市P2P互联网金融需要解决产品销售问题线上流量(5lL exdo_?Fp8 l p8 mv l x( l eDp8enIX l p8CH.ax 2Uw;Xm4W大数据处理技术XUw3mj 57_! m! l-VJ6! !v! *w_!大数据处理技术新一代技术和架构的目标：查询和交叉高效率（性能）：需要交叉的数据通过bitmap技术进行和计算更好的业务扩展能力（高扩展性）：系统架构采用以OLAP引擎为的设计，将数据统计分析的视角从离散的数字问题，转化成高度抽象的，基于的模型结构。将业务指标转化成的描述，更好的

2、支持数据支持和业务指标计算能力。解决数据一致性问题（高最终一致性）：系统将指标包含在OLAP引擎中，数据的出处将只有唯一的出口，确保数据的一致性。更快的异常处理能力和数据恢复能力（高效调度）：数据的计算过程中，将中间数据以的形式处理，每个处理单元都能快速恢复到某个时间点，以达到快速处理的目的。XUwBitmap! ConciseSet! U ht/metamx/extendedset/cn/articles/the-secret-of-bitmap/新一代大数据处理技术架构统计分析系统/&人群洞察系统E1 统计分析系统BatanagerTask/Meta DataTask/Meta DataT

3、ask/Meta DataTask/Meta DataReport/APIOLAP(Col l ect or/SpliterETLDumpcounterExternal Data/bitmap)Storage( Hadoop/Query EngineFact Dat aResul t Dat a)Raw Dat a统计分析系统数据查询模块QueryQngine（groo vy）数据处理模块CollectorETL框架Bitmap引擎（join）Counter引擎（count、sum）统计分析系统数据处理总线统计分析系统元数据元数据含义包含关系定义元数据的业务域，例如1个域有多个Fact Tab

4、leyticsFact Table定义OLAP输入数据的Schema1个事实表有多个Column 1个事实表有多个CubeColumn定义Fact Table的字段属性1个Column有多个ConstraConstra字段约束Cube定义数据立方体，由Metric和Dimen组成，是OLAP引擎的概念1个Cube拥有一个MetricMetric度量，在本系统中主要实现了 count()、sum()、 count(distinct()等多种度量能力1个Metric只能有一个处理引擎1个Metric可以有多种 Dimen组合Dimen维度，表明在Fact Table的哪些Column上进行统计En

5、gine引擎枚举变量。目前仅支持count、bitmap个引擎。统计分析系统OLAP模型(Dimen(s) , Metric (on Fact Table)定义了计算引擎，例如是counter引擎还是Bitmap引擎。Fact Table定义了输入数据。 Metric定义了哪个字段为度量。Dimen(s)定义了哪些字段为维度。计算引擎根据以上的定义进行计算、。统计分析系统数据处理时序E9:自定义指标（页面）collector data schemasequencenumbla4ormid,partnerid,developerid,devId,produc;d,sesId,starme,dur

6、a;on,verName,verCode,sdkVer,refpagename,pagename,adver;singID,appStoreID,cracked,mobilxel,osVer,os,mapn_mcc,mapn_mnc,isp,ip,country,channel,jailbroken,language自定义指标（页面）ETL Fact Table字段名称类型约束developeridproductidplatformidpartneridappverstring50tduseridlongrefpagenameidpagenameiddurationsesidstring128

7、starttimelongstarttime_hour自定义指标（页面）计算引擎Metric计算引擎DimenDimen字段Name1productid,platformid,refpagenameid,pagenameid,starttime_day2developerid,productid,platformid,pagenameid,starttime_dayMetric Name字段引擎计算类型pagecountpagenameidcountercountdurationsumdurationcountersumpageusergrouptduseridbitmapgroup自定义指标

8、（页面）计算引擎CubeCube表结构示例Cube NameMetric NameDimenNamePage_refer_visitpagecount1Page_visitpagecount2Page_stay_duraFondurationsum22Page_visit_usageusergroup自定义指标（页面）查询指标(Hql)页面次数Select count（ metric_value ） starKme_day=20150401;from Page_visit where页面停留时长Select count（ metric_value ） starKme_day=20150401;

9、from Page_stay_duraFonwhere页面人数Select sum（ metric_value ） from Page_visit_user where starKme_day=20150401;&0y1 x IDMac设备ID设备IDIMEIIDFAID账号IDAndroidID# a 椀 spark ETL(hive ) 廤 ID-Map也 廃 廃API HDFSRedisMongoDB7 0 vy%=eN U0e-V)0eca )0eT0es 0eKT0;人群洞察人群洞察Bitmap完成人群洞察Select count（*） from user where user.=

10、爱=男 and user.性 and and user.地点 ;=”地点=结果“爱”“”011111011001011001011001ANDAND=关联度/人群ogisFc Regres模型算其中，X为特征向量（如集合）。在确定了各个特征的系数后，给定一个用户的特征向量，模型可以给出这个用户为正样本的概率是多少。而模型的训练过程就是使用训练数据确定最优的特征系数的过程。为了支持并行化计算，采用了随机梯度下降法。模型的输入就是给定的包含正负样本数据的训练集，每个样本数据有一个特征向量。模型训练完后，就能给出各个特征的系数，这个系数反映了特征对模型目标的关联程度。做时，就可以使用这组特征系数，和模型的公式计算数据集合里的用户为正样本的概率，然后降序排序后取得需要的Top N个用户。/0SR=%7(3F+ S074033(%)- ;?V ?:W:N;V :O:N