《机器学习实践应用》读书笔记

机器学习实践应用读书笔记这次的读书笔记主要介绍机器学习背景和基础概念1 机器学习背景数据现状20世纪70年代曾遇巨大瓶颈，原因有计算能力 + 数据量的不足。随着互联网的普及和对用户数据的大量采集，数据量不足的问题已逐渐弥补，机器学习算法的价值越来越大。但在传统领域，如建筑行业，数据产生于工地的一砖一瓦，采集起来会更困难和麻烦，随着图像识别技术的进步和普及，这样的问题能够慢慢解决，但不得不说，传统领域的数据智能化仍然是比较慢的进程。(这里可以自行了解下百度在传统领域的AI技术落地情况)。目前主流的机器学习算法是监督学习算法，该算法需要的是打标过的数据，而数据的打标十分依赖人工标记，之前在实习的时候，给短视频的标签做标记都能把我搞得头昏脑涨。人工打标有几个问题：成本高 + 量级小机器学习算法现状机器学习已渗透到生活的各个方面，特别是在互联网领域。用网购场景来举例。1)你在路上看到陌生人的一件T恤你很喜欢 使用淘宝的【拍立淘】(图像识别技术)2)在淘宝搜索框语音输入商品名称(语音转文字技术)3)商品的个性化推荐(推荐算法)4)商品下单 若钱不够用 借钱 贷款额度显示(由机器学习算法计算)5)下单后 短时间完成商品包装、库存发货到中转库存、从低级仓库到高级仓库配送、向下分发(机器学习算法)6)快递员配送 系统设计最优路线(机器学习算法规划)7)商品投诉 智能客服立即回复(文本的语义分析算法，精准确定问题)以上的过程涉及了模型的训练和预测、语义分析、文本情感分析、图像识别以及语音识别技术机器学习高频场景1)聚类场景人群划分和产品种类划分等2)分类场景广告投放预测和网站用户点击预测等3)回归场景降雨量预测、商品购买量预测和股票成交额预测等4)文本分析场景新闻标签提取、文本自动分类和文本关键信息抽取5)关系图算法社交网络关系网络关系挖掘和金融风险控制等6)模式识别语音识别、图像识别和手写字识别总评机器学习+ 是大趋势2 基本概念机器学习流程1)场景解析把业务逻辑和算法进行匹配2)数据预处理清洗数据，将数据进行归一化或标准化，减少量纲和噪音。3)特征工程机器学习最重要步骤。在算法固定的情况下，特征的选择决定了模型的效果4)模型训练训练数据经过了预处理 + 特征工程后进入训练阶段。5)模型评估对各模型的预测结果评估6)离线/在线服务数据源结构1)结构化数据矩阵结构存储，通常包含特征列+目标列。机器学习算法通常只支持结构化数据2)非结构化数据图像、文本或语音文件，不以矩阵机构存储，是目前技术热点，通常将其转化为二进制存储格式3)半结构化数据典型的半结构化数据是XML拓展名的存储数据算法分类1)监督学习有特征值+目标队列，依赖打标，常用于回归和分类算法2)无监督学习无目标值，不依赖数据的打标，通常用于聚类算法3)半监督学习对样本的部分进行打标，一种半监督算法 标签传播算法4)强化学习人工智能领域热点。系统与外界不断交互，从而决定自身的行为，如无人汽车驾驶和阿法狗下围棋使用机器学习算法常见问题过拟合问题