《IOTA-基于边缘计算的适用于大数据和人工智能新一代计算架构》正式版

IOTA大数据架构基于边缘计算的适用于大数据和人工智能新一代计算架构（内附开源大数据平台测试报告）易观CTO郭炜现代企业大数据困境大数据 人工智能“大而不强” 人工”而不“智能”现代企业大数据困境CTO/CIO在大数据方面的挑战大数据人员不足大数据存储永远不够业务分析多变难以满足IOT，移动端，CRM数据繁杂不统一数据量级巨大

产品展现与服务集群对外服务易观千帆易观方舟易观博阅大数据处理集群对内服务数据发布与订阅平台数据调度与资源分布式存储与查询平台统一任务调度通用数据查询引擎内部查询计批量查询Ad-hoc查询分布式资源管理算基础HiveGreenplumPresto数据数据服务监控服务HDFS分布式数据流转平台分布队列监控与配置分布队列组件（eKfaKa)分布式小数据总线云端数据接收群云端离线数据接收群本地离线数据接收群SDK+LVS+NettySDK+LVS+NettySDK+LVS+Netty易观万像数据治理服务eSquirrel分布式实时处元数据理管理挖掘引擎实时Spark数据口径统计Storm分量统计数据质汇总量检测数据安实时数据队列(streaming)全鉴权本地实时数据接收群数据审计SDK+LVS+Netty数据采集于预处理AndriodSDK IOSSDK H5SDK 微信小程序SDKIOTA数据架构基于边缘计算的适用于大数据和人工智能新一代计算架构WebEdgeSDKAndroidEdgeSDK小程序EdgeSDK摄像头EdgeServer&SDKIoTEdgeSDK

StandardFormatRealtimeModelFeedback

RealTimeDataCacheCommonDataModelDumperCommonDataModelHistoricaldatastorage

QueryEngineIOTA数据架构基于边缘计算的适用于大数据和人工智能新一代计算架构去ETL化架构非结构化实时结构化为SQL数据存储支持IOT设备与现有移动端数据融合支持边缘AI实时反馈IOTAvsLambdaWebAndroid采集格式1小程序摄像头采集格式2IoT要适配各种采集格式

RealTimeDataREAL-TIMEStreamingStreaming1Streaming2BatchDataETL1ETL2Historicaldatastorage

每次都要开发不同的Steamming，开发周期长ResultData-base每次都要开发不同的ETL，数据不能实时展现

同一个数据实时和批量处理不同IOTAvsKappaWebAndroid采集格式1小程序摄像头采集格式2要适配各种采集格式IoT

RealTimeDataREAL-TIMEStreamingStreaming1Streaming2HistoricaldatastorageNehaNarkhede“ETLisdead”Historicaldatastorage

每次都要开发不同的Steamming，开发周期长

ResultData-base不能即席查询和训练IOTA数据架构—核心模型CommonDataModel•CommonDataModel：贯穿IOTA架构始终的数据模型例如：“主-谓-宾”模型“X用户–事件1–A页面（2018/4/1120:00）”。IOTA数据架构—核心组件EdgeSDK不仅仅是过去的简单的SDK，在复杂的计算情况下，会赋予SDK更复杂的计算，在设备端就转化为形成统一的数据模型来进行传送。智能Wi-Fi采集的数据：X用户的MAC地址-出现-A楼层（2018/4/1118:00）”对于摄像头会通过EdgeAIServer“X的Face特征-进入-A火车站（2018/4/1120:00）”智能音箱X用户-启动-Y设备（2018/4/1120:00）

交互层边缘计算层CacheCommonDBAI策略层网络层数据驱动的中台—未来企业的大数据数据河IOTA架构数据河数据源数据消费者数据治理问题为什么是IOTA架构大数据三角洲大数据耕种者数据湖数据驱动的中台—企业大数据水生态数据水源生态IOTA架构体系实时性消费者水坝多方协同一个IOTA架构引擎的实例—易观秒算•去“ETL”化数据接入子模块即时数据处理模块•高效：时时入库即时分EventMRProfileMR析稳定：经过易观5.8Pb，5.2亿月活数据锤炼DumpMRMergerMR•跨数据库：天然支持NettyExtractoKafkar“DataFederation”数资源管理据联邦针对Mysql等数据库跨库查询YARNDispatch便捷：支持SQL级别的二次开发和UDAF定义 集群管理监控•扩充性强：组件基于AmbariApache开源协议，可支持众多开源存储对接ImportToolsJava/C/PHPSDKAndroid/iOSSDK

查询引擎Presto存储引擎HBaseHDFSJSSDK

方舟应用DataAPI WebServer第三方应用SuperERPSetDataMining CRM第三方数据存储MySQL Spark常见开源大数据引擎测试Hadoop(2.7)Hive(2.1)HAWQ(3.1.2.0)Presto(0.211)Impala(2.6.0)sparksql（2.2.0）clickhouse（18.1.0-1.el7）greenplum（5.7.0）

TPC-DS测试易观单表测试常见开源大数据引擎测试TPC-DS测试时间（s)

Hawqpresto(orc格式)Impala(parquet格式)spark-sql(orc格式)ClickHouse180160140120100806040200sql_01sql_02sql_03sql_04sql_05sql_06sql_07sql_08sql_09sql_10sql_11sql_12sql_13sql_14sql_15SQL语句常见开源大数据引擎测试单表测试时间（s）

Hawqpresto(orc格式)Impala(parquet格式)spark-sql(orc格式)ClickHouse160140120100806040200sql_01 sql_02 sql_03 sql_04 sql_05 sql_06 sql_07 sql_08 sql_09SQL语句常见开源大数据引擎测试易观秒算-数据收集传输加密策略控制服务器可以随时更改发发送策略，比如发送频率调整，重试频率发送策略优先级:服务器策略>debug>用户设置>启动、间隔策略服务器约束示例根据上传版本号来判断。

IngestionNetty Kafka易观秒算-实时存储WareHousin实时存储gHDFS高效存储Orcfile存储以天分区基于用户ID,触发时间排序BloomFilter稀疏索引稀疏索引属性名最大值最小值用户ID21事件名orangeapple物品名sellbuy价格32数量1005触发时间2018-04-012018-09-03

数据有序用户ID事件名物品名价格数量触发时间1buyorange352018-04-011cleanapple2102018-05-021buyapple2152018-06-032sellapple21002018-09-03

HBaseHDFSWarehousing在线查询Presto易观秒算-Quering基于Presto的二次开发Hbase-Connector定制开发通过视图View建立热数据与历史数据的联合计算Session，漏斗，留存，智能路径等模型的算法实现llvm@6

WareHousingHBaseHDFSWarehousingQueringPresto易观秒算-漏斗查询WareHousing易观秒算-优化策略WareHousin优化大表查询g基于用户的采样BloomFilter1.Hdfs历史数据2.当前最新数据稀疏索引典型的企业水生态数据驱动营销闭环平台——易观方舟APH5小程WEB第三方数据接AI合作伙伴P序入

CRM生命周期管会员营销理忠诚度维护会员体系用户画像 风险控制智能分群 智能触达用户行为分析模型转化漏斗 事件分析留存分析 用户画像用户分群 路径分析

数据更新数据接入服务端数据库数据应用用户数据资数据存储计算产数据库日志数据分析PaaS平台API合作伙伴开放API数据挖掘与商业智机器学习算法建立模人工智能的商业创能型新

营销工具EDM ADSMS MMS客户中心In-Bound 客服Out-Bound 营销订单系统商品 交易支付 评价易观方舟——数据驱动营销闭环渠道分析转化分析人群细分用户触达效果评估寻找优质渠道提升关键路径转化识别高价值用户提升触达效果营销效果提升•发现量级高的渠道•探索式发现用户的关键行•整合自有数据和第三方数据掌握•一站式的平台，提高效率•以营销活动页为起点的转化分•发现高质量渠道为，建立业务关键路径•用户全景画像；•整合IN-APP、短信、EDM等多渠•析，提升营销活动效果•提升用户的转化效果识别高价值用户、潜在购买人群道对用户进行全方位地触达；针对未响应