大数据和人工智能21机器学习50min

百度机器学习产品概述算法与模型机器学习算法应用案例演示产品概述百度一下百度机器学习BML是百度自主研发的新一代机器学习平台，基于百度内部应用多年的机器学习算法库，提供实用的行业大数据解决方案。BML打通机器学习全流程，只需简单的界面操作即可完成复杂的机器学习任务，打通百度用户画像数据，助您全面洞悉客户特征。覆盖机器学习全流程，高效易用，助力客户轻松挖掘数据金矿。简介高效的数据预处理并行化分布式的数据处理组件，可以快速完成复杂的数据预处理过程，支持的对数据的清理、替换、组合、采样、去重、拆分等操作。易用的模型训练只需简单配置即可完成模型训练和评估，可进行逻辑回归LR、深度神经网络DNN、聚类K-means、模型LDA、协同过滤CF等多种模型训练。强大的模型预测支持高并发的在线预测和大批量的离线预测，满足您的不同使用场景。专业的咨询服务百度强大的机器学习专家团队为您提供使用指导和端到端的解决方案。功能操作简单打通特征工程、模型训练、模型评估和预测服务全流程，拖拽式操作，让您轻松驾驭机器学习技术。性能强悍算法经过多年持续优化，性能极致，分布式、全内存集群提供强大的计算能力。算法丰富搭载多个分类、聚类、回归、主题模型、推荐算法，同时支持前沿的深度学习、在线学习、贝叶斯推荐等算法。完善的解决方案提供数字广告营销、推荐系统、设备故障预测等多个完善的解决方案，解决您实际业务问题。优势算法与模型百度一下进入机器学习BML控制台：1.点击“实验”图标2.点击“创建实验”图标已创建的实验输入输出数据集2.“输入数据源”拖入工作区1.修改实验名称，编辑描述工作区3.“输出数据集”拖入工作区输入输出数据集1.“数据源路径”：指定数据源的bos路径数据集名称及描述1.2.2.“数据格式”：通用类型/BML专属3.3.“数据类型”：CSV/TSV4.“列分隔符”：数据每列之间的分隔符5.“字符编码”：数据集字符编码格式4.5.输入输出数据集1.连接输入数据源和输出数据集2.保存实验（可跳过）3.运行实验点击“数据集”可以看到已经创建的数据集输入输出数据集1.新建一个实验2.将需要的数据集拖入工作区3.将模型拖入工作区4.将数据集和模型连接起来模型调用1.将测试集数据拖入工作区2.从“我的模型”，将模型拖入工作区3.从“模型评估”，将“模型评估”拖入工作区4.点击“运行”5.在“模型”可以看到数据集的评估结果ROC曲线PR曲线模型评估2.将测试数据集拖入工作区1.将模型拖入工作区3.从“离线预测”将离线预测拖入工作区，并设置输出路径4.点击“运行”模型预测

将结果置入logistic函数计算概率𝑥：n维特征向量𝑤：n维向量，模型参数y：表示类别（0类、1类）

P(y|x)默认的分类阈值是0.5，也可根据实际需求自行设定上式中w和b（bias）为模型参数，可以基于训练数据，通过优化算法进行估计训练过程中可以通过设置L1-norm，L2-norm正则项的系数控制非零参数的规模或数值幅度逻辑回归（LogisticRegression）多种优化算法求解全局最优解运用核技巧将模型用于非线性分类损失函数有较好的鲁棒性两类数据在特征空间上线性可分特点逻辑回归（LogisticRegression）模型训练选中逻辑回归模型，设置参数；模型名称：模型的名称L1权重：L1norm正则项系数，主要用于控制非零参数的规模L2权重：L2norm正则项系数，主要用于控制参数的数值幅度算法收敛条件：LR的收敛判断条件，当过去5轮的目标函数的平均相对下降量小于该值，认为找到最优解最大迭代次数：算法的最大迭代次数，达到最大迭代次数即退出逻辑回归（LogisticRegression）一种非线性模型，通常包括输入层，输出层，以及一个或多个隐藏层（当没有隐藏层时，等价于线性模型）。不同节点之间通过边（带权重）相连（不一定是全连接）。对于除输入层外的每个节点，输入值为与其相连的所有节点输出值的线性加权和，输出值为输入值经激活函数变换后的数值。特点函数逼近能力数据表征能力减轻特征工程的工作量聚类结果局部最优对噪声相对敏感简介深度神经网络DNN模型训练模型名称：模型的名称隐藏层各层节点数：隐藏层的节点数，头尾带中括号必须以[和]结束，必须以半角逗号分隔隐藏层各层激活函数：各隐藏层的激活函数，目前仅支持sigmoid和tanh两种，需要注意的是必须要加单引号，头尾带单引号：[‘sigmoid’,’tanh’]L1权重：L1norm正则项系数，用于控制非零权重的规模学习率：学习率，控制每次迭代更新大小学习率下降速度：学习率下降速率，学习率每过一轮会乘以学习率下降速度最大迭代次数：模型计算时，最大迭代次数深度神经网络DNN相似性的含义：相对的对象指距离近得对象距离的度量：欧氏距离、马氏距离、KL-散度K-均值将聚类定义为具有代表性的点，类似一个数据对象。方法从一开始随机初始化均值，将对象分配至距离最近的均值类，重新计算均值；重复上述过程直到所有均值不再变化。特点适用性强模型收敛速度快聚类结果局部最优简介聚类K-means模型训练模型名称：模型的名称聚类个数：聚类个数，大于0的整数最大迭代次数：最大迭代次数，大于0的整数收敛条件：收敛判断条件，类内每个点到中心点的距离均值，当两次均值的变化比例小于阈值时，该类收敛。中心点初始化方式：中心点初始化方式，随机选择的起点/通过CANOPY算法选择的中心点Canopy的T1值：clusterInit为INITCLUSTER_CANOPY时有效，Canopy的T1值。Canopy的T2值：clusterInit为INITCLUSTER_CANOPY时有效，Canopy的T2值。距离计算方式：欧氏距离/马氏距离/马哈顿距离/余弦距离/jaccard距离。数据集保存路径：结果保存的位置。中心点存储方式：稀疏存储/稠密存储聚类K-meansLDA是一种非监督机器学习技术，可以用来识别大规模文档集（documentcollection）或语料库（corpus）中潜藏的主题信息。它采用了词袋（bagofwords）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。特点适用范围广模型先验配置灵活训练简单，性能优良简介主题模型LDA模型训练模型名称：模型的名称主题个数：主题个数，大于0的整数是否每个词频单独计算topic：是否对一篇文档中词的每个词频单独计算topic。Alpha先验：lda算法alpha先验，大于0。Beta先验：lda算法beta先验，大于0，常用值为0.01。最大迭代次数：最大迭代次数，大于0的整数。主题模型LDA物品A物品B物品C物品D相似用户A用户B用户C物品A物品B物品C物品D相似用户A用户B用户C基于用户的协同过滤基于项的协同过滤协同过滤是利用集体智慧的一个典型方法，协同过滤一般是在海量的用户中发掘出一小部分和你品位比较类似的，在协同过滤中，这些用户成为邻居，然后根据他们喜欢的其他东西组织成一个排序的目录作为推荐给你。协同过滤算法CF模型训练最多相似项：计算与该商品相似度的topN商品模型名称：模型的名称协同过滤算法CF一种通过迭代逐步提升分类能力的决策树算法，该算法由多棵决策树组成，加权累加所有树的结果作为最终结果。提升树以分类树或回归树为基本分类器的提升方法。提升书被认为是统计学习中性能最好的方法之一。特点输入数据要求低分类能力很强简介梯度提升决策树GBDT模型训练模型名称：模型的名称树的个数：树的个数树的最大深度：建树的最大深度最小样本个数：切分节点所包含的最小样本个数稀疏特征最少出现次数：如果某个稀疏特征在所有样本中出现的次数小于该值，那么建树的时候不考虑使用该特征

梯度提升决策树GBDT模型简介因子分解是指从研究指标相关矩阵内部的依赖关系出发，把一些信息重叠、具有错综复杂关系的变量归结为少数几个不相关的综合因子的一种多元统计分析方法。FM算法的本质是通过机器学习的因子分解方法训练模型，在普通线性模型的基础上增强了分类能力，同时控制参数的规模。基本思想：根据相关性大小把变量分组，使得同组内的变量之间相关性较高，但不同组的变量不相关或相关性较低，每组变量代表一个基本结构一即公共因子。特点降低数据复杂度反映大部分信息较强泛化能力因子分解模型FM模型训练模型名称：模型的名称因子的维度：因子的维数学习率：学习率

0<learningRate<1最大迭代次数：最大迭代次数收敛条件：FM算法的收敛判断条件，当前后两次的目标函数的差值小于该值，认为找到最优解

因子分解模型FMDBSCAN是一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。DBSCAN算法需要指定两个参数：距离阈值ε和样本点阈值minPts。特点不需要聚类个数形状无偏移过滤噪声简介聚类算法DRSCAN模型训练模型名称：模型的名称输出路径：输出路径，用户的BOS路径，需要用户有写权限最小样本数：半径内最小的样本数半径阈值：半径阈值距离计算方法：欧氏距离/平方欧式距离马哈顿距离/余弦距离/jaccard距离

聚类算法DRSCAN通常用于解决线性不可分问题，通过构建一个或多个高维（甚至是无限多维）的超平面来分类样本点。将分类边界与最近的训练资料点之间的距离称为间隔（margin）；SVM的目标就是要找出间隔最大的超平面来作为分类边界。特点结构风险最小数据需求量小简介分类算法SVM模型训练模型名称：模型的名称迭代次数：迭代次数学习率：学习率L2正则项系数：L2正则项系数batch的大小：batch的大小最大特征值：一个样本非零feature的最大个数分类算法SVM逻辑回归算法FTRL（FollowtheRegularizedLeader）算法是一种在线回归算法。FTRL仅需迭代一轮数据就可以达到较好的收敛性。每来一个训练样本，就用该样本产生的loss和梯度对模型迭代一次，一个一个数据地进行训练，因此可以处理大数据量训练和在线训练。特点在线回归解决离散特征稀疏解较好的收敛性简介逻辑回归算法FTRL模型训练模型名称：模型的名称初始Bias：初始模型偏置学习率：学习率L1正则项系数：L2正则项系数特征过滤率：特征过滤率，即每个特征会以featureCount*filtRate的概率被保存，0<filtRate<=1L2正则项系数：L2正则项系数逻辑回归算法FTRLAPI方式调用机器学习组件-基本概念algo：算法，BML提供的处理数据的程序，应用在预处理和模型训练的过程中。bos：百度对象存储dataSource：数据源。用户存储在BOS上的源数据。针对数据源有一系列算法，也可以把数据源预处理之后形成数据集，进行模型训练。dataset：数据集。数据源经过预处理程序处理（特征和标签经过ID化之后）生成，可直接用户BML的模型训练。BML中一个数据集可以支持所有算法的训练。model：模型。经过BML模型训练后生成，可用于模型评估、预测，是机器学习算法的核心。solution：解决方案。针对商业合作伙伴或没有机器学习基础的用户，可以直接提交解决方案需求，BML的机器学习专家会为您量身打造全流程解决方案。API方式调用机器学习组件-API认证用户与百度云进行交互，需要通过使用AccessKeyId/SecretAccessKey加密的方法来验证某个请求的发送者身份。AccessKeyId（AK）用于标示用户;SecretAccessKey（SK）是用户用于加密认证字符串和百度云用来验证认证字符串的密钥;其中SK必须保密，只有用户和百度云知道。API方式调用机器学习组件-HTTP请求示例HttpMethodPathHeadersDataAuthorization新数据集的名称数据源BOS路径新数据集格式，SpaeseID|sparseIDWeight|dense签名生效UTC时间API方式调用机器学习组件-authorizationHMAC-SHA256-HEX()调用HMACSHA256算法，根据开发者提供的密钥（key）和密文（message）输出密文摘要，并把结果转换为小写形式的十六进制字符串。Lowercase()将字符串全部变成小写。Trim()去掉字符串开头和结尾的空白字符。UriEncode()按照RFC3986规定格式化字符串UriEncodeExceptSlash()同UriEncode()，区别是斜杠（/）不做编码API方式调用机器学习组件-HTTP应答示例状态码RequestIddatasetIdAPI方式调用机器学习组件-HTTP应答示例API其他接口的描述，请求语法、与请求参数等信息参见机器学习技术API参考页面。其他需要注意的地方POST方式提交请求，请求体存放请求参数、模型参数等，此时请求体需要JSON序列化；POST方式提交request，headers中务必有”Content-Length”;GET方式提交请求，请求体为空，请求参数封装在URL中，格式如下：http://{host}/Path?param1=value1¶m2=value2param1=value1¶m2=value2，需要以RFC-3986标准格式化。机器学习算法应用百度一下简介样例数据可依照数据准备中的内容准备您自己的数据，也可使用百度云准备好的两份数据：一份训练数据，用来训练CTR预估的模型，数据路径：bos://bml-sample-data/ctr/train_data。一份测试数据，用来评估模型和离线预测，数据路径：bos://用户对影片历史评分数据百度机器学习平台BML为用户推荐可能感兴趣的电影用户ID用户名电影ID评分（评分范围0~5）智能电影推荐数据准备处理完的数据须存储在对象存储BOS上，上传请参考对象存储BOS课程智能电影推荐演示使用百度云准备好的数据：数据路径：mendation/train_data。编辑元数据清理数据转换数据组合列采样选择列去重连接智能电影推荐创建数据集1.打开“产品服务>百度机器学习BML-实验列表”，点击“创建实验”，进入创建实验页面2.点击左侧导航，拖拽“输入数据源”至中间空白处，在右侧参数配置区配置如下参数:数据源路径：mendation/train_data/netflix_data智能电影推荐创建数据集3.拖拽左侧导航的“输出数据集”至中间空白处，在右侧参数配置区定义数据集名称“RecommendMovie_trainData”。连接“输入数据源”与“输出数据集”。智能电影推荐模型训练1.打开“产品服务>百度机器学习BML-实验列表”，点击“创建实验”，进入创建实验页面2.点击左侧导航，拖拽“mendMovie_TrainingData”至中间空白处，拖拽“协同过滤”至中间空白处，连接数据集和模型，在右侧参数配置区配置如下参数：智能电影推荐模型训练3.点