阿里云机器学习平台编程模型演进之路

1、阿里云机器学习平台编程模型演进之路阿里云云栖社区主办机器学习在阿里的应用阿里是一家数据公司阿里的各项业务都严重依赖机器学习搜索个性化推荐精准广告风控智能客服物流阿里云云栖社区主办阿里云机器学习平台PAI阿里集团的统一机器学习平台致力于建设一站式的数据挖掘建模平台数据清洗特征处理模型训练模型生命周期管理在线预测阿里云云栖社区主办阿里云机器学习平台PAI致力于提供先进计算框架，通过技术推动商业的发展MapReduceMPIParameter ServerDeep Learning Framework阿里云云栖社区主办编程模型演进 - MapReduce编程模型核心：分而治之抽象出两个操作：Map

2、& Reduce框架层面解决分布式难题计算任务的划分和调度数据的分布式存储和划分计算任务的同步计算节点的容错与恢复MapMapMapReduceReduce输入输出编程模型演进 - MapReduce编程模型TF-IDF（term frequencyinverse document frequency）评价某一单词对于某篇文档的重 要性。TF = COUNT(Word, Document) / SIZE(Document)IDF = log(N / docs(Word, Document)MapperReducerLoop Each Docword_in_doc+doc_has_word+Ca

3、lculte the IF/IDFword_in_doc/ total_worlds_of_docLog(N/ doc_has_word)TF*IDFwords_doc+阿里云云栖社区主办编程模型演进 - MapReduce编程模型不同计算任务之间独立,数据并行度高。适合不需要不同节点通信的机器学习算法阿里云云栖社区主办编程模型演进 MPI编程模型消息传递接口(Message Passing Interface)SendReceiveBcastAllReduce支持单机多Instance和多机多Instance高度灵活，描述能力强大量用于科学计算阿里云云栖社区主办编程模型演进 PAI MPI支

4、持两个版本的MPI版本MPICH (CPU)OpenMPI (GPU)分布式调度，无需事先指定资源支持本地调试，线上执行阿里云云栖社区主办基于PAI MPI实现的算法：逻辑回归常用的分类算法该商品是否会被用户点击该名用户是男还是女模型函数损失函数梯度下降阿里云云栖社区主办基于PAI MPI实现的逻辑回归Each Iteration加载训练数据本地加和Each Iteration计算梯度Each Iteration加载训练数据本地加和计算梯度加载训练数据本地加和计算梯度worker_1worker_nworker_0AllReduce编程模型演进 PAI Parameter Server独立自研

5、设计实现集团内大规模使用框架特点：支持上百亿超大规模特征多种数据切分方式模型分片高速通信框架优化内存使用支持节点容错阿里云云栖社区主办新的挑战：Deep Learning深度学习更深的人工神经网络更多的参数，更庞大的模型更高量级的通信量更灵活的表示模型Alexnet8层网络结构6000万个参数阿里云云栖社区主办TensorFlow谷歌第二代深度学习框架支持各种神经网络高度的灵活性丰富的社区生态支持CNN、RNN、LSTM等网络阿里云云栖社区主办一个简单的TensorFlow例子阿里云云栖社区主办一个简单的TensorFlow例子（2）阿里云云栖社区主办流行的深度学习框架网络通过有向无环图定义对于CNN网络支持的更好大量用于图像识别多机多卡版Caffe完全兼容Caffe语法基于OpenMPI通信框架 线性加速比多数据源支持PAI Pluto （多机多卡Caffe）Caffe：Pluto特性：阿里云云栖社区主办机器学习即服务加权采样随机采样分层采样过滤和映射拆分归一化标准化。数据清洗主成分分析特征分散偏好计算特征尺度变换窗口变量统 计。特征工程分类算法聚类算法回归算法文本分析时