微博在线机器学习平台的Kubernetes技术架构

微博在线机器学习平台的Kubernetes技术架构技术创新

变革未来Contents目录01

微博Weibo02

机器学习平台Machine

Learning

Platform深度学习Deep

Learning在线学习Online

Learning01微博AI业务及趋势Weibo

AI

business

and

trend2019Q2财报2019Q2FinancialReports月活用户MAU日活用户DAU4.86亿486M2.11亿211M微博/用户规模Weibo/DAU关注/兴趣分发/推荐生产/传播优质内容普通用户优质用户潜力挖掘关系拓展内容理解兴趣挖掘内容生产内容组织AI微博/业务生态Weibo/business

eco微博/AI场景

–

多媒体内容理解Weibo/AI

scene

–

Multi-media

Content

Understand智能裁剪Smartcrop视频盗链检测Cheatinglinkdetection音频分类Audioclassification明星识别Starrecognition视频LogoVideoLogo图片OCRImageOCR微博/AI场景

–

CTR任务Weibo/AI

Scene

–

CTR关注排序热门推荐相关推荐FeedHotWeiboRecommend用户短期兴趣不断变化模型迭代速度慢，不能拟合实时分布微博/AI发展趋势Weibo/AI

Trend平台化Platform深度化Deep实时化Online业务场景多,需求高度重复业务迭代速度慢，资源与成本有限DuplicatesceneFastiteration图片与视频类内容增长迅速特征工程成本比较高ImageandVdeoconenttiFeaureengneeringitUsershortinerestvarieyttModelieraionsowerthanrealltttmedsribuionttii机器学习平台机器学习工作流02Machine

Learning

PlatformMachine

learning

workflow模型部署模型预测原始数据特征处理模型预测样本生成模型训练特征处理模型训练数据传输模型评估业务评估K8S应用环节微博/机器学习工作流Weibo/Machine

Learning

workflow微博/机器学习平台存储计算调度集群Kubernetes docker yarn业务应用spark/hadoop tensorflow/caffe storm/flink数据/特征服务…机器学习平台关注流 推荐流 文本分类/检测 图像/视频分类 内容生产一站式服务平台，加快业务开发速度，缩减业务迭代周期…数据仓库集群 实时计算集群 阿里云计算集群 高性能GPU集群 ……HDFS/ODPS PS/weips数据/特征(WeiData)数据/特征生成数据/特征库算法/模型(WeiFlow)模型服务模型训练/评估模型库推荐引擎样本生成样本库基础/IDE(WeiIDE)开发套件控制台控制中心深度学习在线学习Weibo/Machine

Learning

Platform业务无须关注底层工程细节和资源分配，专注于算法和效果调优

•Onestopservce，speedupbusinessiterationtimeiFocusonagorithmandbusinessresutsll03深度学习

深度学习框架

–

weilearn

vs

arenaDeep

Learning

Deep

learning

framework

–

weilearn

vs

arena深度学习训练框架

-

weilearn样本库训练框架调度计算模型库CTR样本自然语言样本视频与图像样本样本处理CTR业务NLP图片视频VGGYoloinceptionresnetGRULSTMWide&Deep

DeepFMDeep

Cross

NetworkSpark资源算法配置超参数Arena/K8SYARNDNNRNNCNNCTRNLP图像业务视频业务语音业务任务配置化，降低业务接入成本统一资源调度，提高任务效率与稳定性，降低平台管理成本Deep

learning

framework

-

weilearnAll

jobconfigurizedResource

management

with

efficiency

and

robustCPUGPUHDFStensorflow/caffe/horvod/pytorcharena

cliKubeFlow

/

tfjobs/mpijobsKubernetes

/

NVidia

Docker

Runtime

阿里云开源/kubeflow/arena基于Kubernetes用户无需掌握k8s领域知识提供数据科学家最熟悉的使用体验简单一分钟内启动深度学习任务；kubeflowopreatorfor

tensorflowArena

–

基于k8s的分布式解决方案Arena

–

tool

for

data

scientist04在线学习

在线机器学习工作流Online

learning

Online

learning

workflow

and

pipeline在线学习/实时化模型推理预测服务实时数据实时特征实时样本实时模型训练实时参数更新Online

learning/Real

time特征实时化：更及时反馈用户行为，更细粒度刻画用户Realtmefeaue：Getlaestuserbehavoritrti模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化Realtmemode：Relectlaestuserdsrbuiontititfli模型服务排序服务在线请求实时日志实时训练离线日志特征工程实时样本实时参数服务离线特征离线样本离线训练在线参数服务实时特征离线参数服务K8S应用环节模型样本：天级样本延时模型训练：计算压力集中模型更新：天级更新/Base模型模型样本：小时级/分钟级延时模型训练：计算压力分散模型更新：小时级/分钟级/秒级更新/Delta模型weiflow

-

在线学习工作流weiflow

–

Online

learning

workflow在线online实时Real

time离线offline互动行为日志点击行为日志阅读行为日志曝光行为日志K8S/yarnFlink/Storm数据过滤数据处理样本拼接周期生成timerstateKafkaHDFS实时样本拼接样本库数据源Kafka在线学习/实时样本Online

learning/real

time

sample样本生成和特征处理1.配置化2.多标签样本3.支持高维HASH训练预处理1.标签选择2.标签UDF3.样本过滤4.特征过滤模型训练1.支持回归和分类2.支持LR/FM/DeepFM等模型3.支持SGD/FTRL

/Adagrad等优化算法模型评估1.独立模型评估2.配置化3.UI展示模型选择LR

:

基础模型，对特征工程依赖较强FM：大规模稀疏数据下的特征组合问题DeepFM:引入高阶特征组合优化算法选择SGD：

参数少，效率高，固定学习率Adagrad

:

自适应学习率，突出低频特征，实现简单FTRL：自适应学习率，突出低频特征，模型稀疏性特征处理Hash：BKDRhash/CityHash,去ID编码化动态特征删减，动态调整模型规模增加ID类特征在线学习/实时训练Online

learning/real

time

trainK8s MasterAPI

Server,

Controller,SchedulerDockerRegistryConfigMapFlinkClientK8sClientK8s DeploymentFlink

MasterDispatcherK8sResMngrJobMasterK8sServiceSelector：- app-componetK8s PodFlinkTaskManagerK8s PodFlinkTaskManager在线学习/Flink

on

ACKOnline

learning/Flink

on

ACK参数规模支持百亿特征维度，千亿参数模型版本多模型多版本：多组实验并行执行，提高实验迭代效率在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合模型结构训练与推理兼容：在线PS与离线PS模型结构兼容，自动模型参数转换稳定性优化模型快照：基于ps-scheduler的周期模型版本探测与保存，模型稀疏化分片存储冷备容灾：基于checkpoint机制(Local模式&Remote模式)，实现参数服务的高可用，支持基于模型的异构集群迁移，支持集群扩缩容性能优化通信优化：数据请求(PULL&PUSH)聚合，同模型多矩阵并发，锁粒度优化，性能提升5-10倍缓存优化：使用堆外内存与LRU过期机制，解决GC引起的性能损耗，性能提升3-5倍分区优化：支持多种分区策略（RANGE/HASH/MOD），解决数据倾斜导致的流量热点瓶颈问题，性能提升2-5倍存储优化：自定义存储方式(ByRow&ByKey)，基于row进行矩阵压缩存储，参数内存占用减少90%在线学习/参数服务

–

weiPS

on

ACKOnline

learning/Parameter

server

–

weiPS

on

ACK模型评估AUC/准确率/召回率验证模型稳定性在线一致性模型训练离线/在线模型库模型评估模型部署模型路由在线服务Kubernetes/olsubmit模型部署deploymentzookeeper服务发现模型部署分钟级olsubmit一键部署自动端口分配资源配额资源释放模型路由多模型实验多版本切换在线学习/持续训练持续部署

-

CTCDOnline

learning/CTCD异构CPU集群kubernetes/ol-submitRPC服务框架/服务发现/zookeeperLR/GBDTDNN/DeepFM/W&D统一版本管理/动态加载/批量化机制/多模型计算引擎特征映射Embedding数据处理异构GPU集群CNN业务应用模型服务框架排序模型服务多媒体分析服务自然语言分析服务集群调度层核心架构层算法模型层分布式模型推理框架

–

weiserv