版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
课程介绍1目录第一部分课程简介第二部分数据科学导引第三部分课程内容介绍第四部分总结课程简介课程网站:http:///classroom/153/3目录第一部分课程简介第二部分数据科学导引第三部分课程内容介绍第四部分总结数据科学导引结构化数据关系数据非结构化数据网页文本图像视频语音什么是数据科学?游戏数据网页数据1.数据广泛性气象数据零售行业购销记录天体物理数据2.数据多样性数据科学是利用计算机的运算能力对数据进行处理,从数据中提取信息,进而形成“知识”的科学。5用数据的方法研究科学生物信息学、天体信息学、地球科学等用科学的方法研究数据统计学、机器学习、数据挖掘、数据库数据科学的内涵6行星周期(年)平均距离周期2/距离3水星0.2410.390.98金星0.6150.721.01地球1.001.001.00火星1.881.521.01木星11.85.200.99土星29.59.541.00天王星84.019.181.00海王星16530.061.00表1太阳系八大行星绕太阳运动的数据开普勒第三定律:行星绕太阳运行的周期的平方和行星离太阳的平均距离的立方成正比用数据的方法研究科学的例子:开普勒三大定律开普勒:分析数据产生价值7用科学的方法研究数据包括数据的获取,存储和数据的分析(重点)常见的数据类型表格:最为经典的数据点集:很多数据都可以看成是某种空间的点的集合时间序列:文本、通话和DNA序列等都可以看成是时间序列图像:可以看成两个变量的函数视频:时间和空间坐标的函数网页和报纸:虽然网页或报纸上的每篇文章都可以看成是时间序列,但是整个网页或报纸又具有空间结构网络数据:网络数据本质上是图,由节点和联系节点的边构成数据分析的中心问题1数据分析的基本假设:观察到的数据都是由背后的一个模型产生数据类型模型点集概率分布时间序列随机过程(如隐式马氏过程等)图像随机场(如吉布斯随机场)网络图模型、贝叶斯模型8数据分析的主要困难2数据量大维数高维数灾难:模型复杂度和计算量随着维数的增加而指数增加如何克服?将模型限制在一个极小的特殊类里面,如线性模型,如假设概率密度遵循正态分布,如假设观测到的时间序列是隐式马氏过程。利用数据可能有的特殊结构,例如稀疏性,低维或低秩,光滑性等各类降维方法(PCA)类型复杂噪音大9算法的重要性3与模型相辅相成并在计算机上实现降低算法的复杂度分布式计算
把大问题分解成小问题,分而治之,如著名的MapReduce框架2006年IEE国际数据挖掘会议选出的数据挖掘领域中最重要的10个算法C4.5K均值(K-Means)方法支持向量机Apriori算法期望最大化(EM)算法谷歌的网页排序算法PageRank朴素贝叶斯方法K近邻算法AdaBoostCART:分类与回归树10目录第一部分课程简介第二部分数据科学导引第三部分课程内容介绍第四部分总结机器学习机器学习有下面几种定义:机器学习是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性能。机器学习是对能通过经验自动改进的计算机算法的研究。机器学习是用数据或以往的经验,以此优化计算机程序的性能标准。Wedefinemachinelearningasasetofmethodsthatcanautomaticallydetectpatternsindata,andthenusetheuncoveredpatternstopredictfuturedata,ortoperformotherkindsofdecisionmakingunderuncertainty(suchasplanninghowtocollectmoredata!).
—《MachineLearning:Aprobabilisticperspective》12相关学科与机器学习关系控制论信息论心理学神经生物学计算理论统计学人工智能贝叶斯理论研究学习对处理过程的控制,对下一过程的预测提供处理过程的信息度量,对最佳编码的分析(信息熵)研究人的学习的方法、模式与规律,为机器学习提供借鉴研究生物神经系统工作原理,为人工神经网络学习模式提供借鉴学习任务的复杂性研究,计算量、样本量、出错数量估计根据有限样本,估计可能误差;研究统计学习理论用符号方法实现学习功能,提高问题求解、搜索和向专家学习的能力基于概率分类、推理的学习算法、并为其它学习算法提供理论框架13机器学习的应用mpgcylindersdisplacementhorsepowerweightaccelerationmodelyearorigincarname188307130350412701chevroletchevellemalibu158350165369311.5701buickskylark320188318150343611701plymouthsatellite168304150343312701amcrebelsst178302140344910.5701fordtorino158429198434110701fordgalaxie50014845422043549701chevroletimpala数据聚类关联规则预测异常值检测啤酒尿不湿案例分类概述14机器学习的基本方法有监督/无监督学习有监督(Supervised):分类、回归无监督(Unsupervised):概率密度估计、聚类、降维半监督(Semi-supervised):EM、Co-training其他学习方法增强学习(ReinforcementLearning)15有监督学习标定的训练数据训练过程:根据目标输出与实际输出的误差信号来调节参数典型方法全局:BN,NN,SVM,DecisionTree局部:KNN、CBR(Case-basereasoning)16机器学习基本方法例子正负颜色形状尺寸输出蓝色圆环大正蓝色正方形小正蓝色五角星小正红色箭头小负黄色三角形大负训练集学习模型颜色形状尺寸输出蓝色箭头小?黄色圆环小?测试集假设输出正负预测??有监督学习17无监督学习不存在标注的训练数据根据外部数据的统计规律(Cohensionordivergence)来调节系统参数,以使输出能反映数据的某种特性典型方法K-Means、SOM(SelfOrganizingMaps)18机器学习基本方法例子K-Means聚类无监督学习1.选择K个点作为初始质心2.
Repeat:将每个点指派到最近的质心,形成K个簇重新计算每个簇的质心3.
直到质心不发生变化19聚类分析分类目的:对新的输入进行输出(离散型)的预测。
包括二分类和多分类问题。判断西瓜是否为好瓜纹理=?根蒂=?触感=?色泽=?触感=?坏瓜好瓜坏瓜好瓜坏瓜好瓜好瓜好瓜坏瓜清晰稍糊模糊蜷缩稍蜷硬挺硬滑软粘青绿乌黑浅白硬滑软粘硬滑应用场景:信用风险评估预测肿瘤细胞是良性还是恶性蛋白质结构功能分类电信客户流失分析20分类支持向量机哪一条分割线更好?线性可分数据21分类支持向量机间隔具有最大间隔的分割线是最好的!22分类支持向量机如果数据并不是线性可分的?23分类支持向量机Kerneltrick!
Kernel隐式地将数据点从2维空间映射到3维空间中,使得数据线性可分24分类支持向量机支持向量机(SupportVectorMachines,SVMs)两个关键的想法:大的间隔(Margins)Kerneltrick25聚类分析聚类目的:给定一组对象,给对象进行归组,使得:同一组对象之间尽可能相似;不同组对象之间尽可能不相似。应用场景:基因表达水平聚类
根据不同基因表达的时序特征进行聚类,得到基因表达处于信号通路上游还是下游的信息篮球运动员划分
根据球员相关数据,将其划分到不同类型(或者不同等级)的运动员阵营中,帮助管理层打造一支有效的、强大的球队市场分割
把市场细分成不同客户群,每个客户群有相似行为,做到精准营销26组间间距最大化聚类分析回归目的:对新的输入进行输出(连续型)的预测。应用场景:流行病学
吸烟对死亡率和发病率影响的早期证据来自采用了回归分析的观察性证据金融
资本资产定价模型利用线性回归以及Beta系数的概念分析和计算投资的系统风险经济学
预测消费支出,固定投资支出,存货投资,一国出口产品购买,劳动力需求,劳动力供给27聚类分析关联规则挖掘目的:分析变量之间的依赖关系。
TID项集1{面包,牛奶}2{面包,尿布,啤酒,鸡蛋}3{牛奶,尿布,啤酒,可乐}4{面包,牛奶,尿布,啤酒}5{面包,牛奶,尿布,可乐}年轻的父亲的购物篮子(啤酒-尿不湿案例)购书网站的商品推荐应用场景:购物分析
用于促销、货架管理和存货管理等
例如:在购买铁锤的顾客中,有70%的人同时购买了铁钉;在超市购买面包的人有74%会购买牛奶医疗信息
发现与某种疾病关联的并发症状气象预测
基于关联规则对灾害天气的预测推荐系统28
机器学习的分析过程以分类为例29
机器学习的分析过程以分类为例
学习系统模型预测系统
监督学习过程描述
30模型+算法机器学习的要素
按照什么样的准则学习或选择最优的模型?模型
学习的目标:选择期望损失最小的模型!31
基本策略一:经验风险最小化策略
基本策略二:结构风险最小化策略
32机器学习的三要素算法指学习模型的具体计算方法。用什么样的计算方法求解最优模型?
通常最优化问题不存在解析解,需要用数值计算的方法求解。梯度下降法牛顿法和拟牛顿法算法33
模型效果评估1训练误差2测试误差3误差率4准确率
对判断问题是否容易学习是有意义的
测试误差反映了学习方法对未知的测试数据集的预测能力如果采用0-1损失函数
34
5泛化误差泛化误差反映了学习方法学习到的模型对未知数据集的预测能力(泛化能力)学习方法的泛化能力往往通过研究泛化误差的概率上界进行的。泛化误差上界通常具有如下性质:样本容量增加时,泛化误差上界趋于0;假设空间容量越大,泛化误差上界越大。35过拟合问题过拟合问题测试误差模型复杂度预测误差训练误差36模型参数过多,以至于所选模型对已知数据预测得很好,但对未知数据预测很差。如果一味追求提高对训练数据的预测能力,所选模型的复杂度则往往会比真模型更高过拟合问题M次多项式函数拟合问题的例子,绿色为真实模型37模型选择1
正则化是模型选择的典型方法正则化是结构风险最小化正则的实现,是在经验风险上加一个正则项或叫罚项,正则化项可以是模型参数向量的范数正则化的作用是选择经验风险与模型复杂度同时较小的模型正则化38模型选择2交叉验证的基本想法是重复地使用数据。将给定的数据进行切分,将切分的数据集组合为训练集和测试集,在此基础上反复进行训练,测试和模型选择。简单交叉验证随机地将数据分为两部分:训练集和测试集;利用训练集在各种条件下(如不同的参数个数)训练模型;在测试集上评价各个模型的测试误差,选择测试误差最小的模型。交叉验证
39聚类分析推荐系统例子商品1商品2商品3商品4商品5赵某★★★★★★★☆☆☆★★★☆☆★★★★☆★☆☆☆☆钱某★★★★★★★★★★★★★★★★★★★★★★★★★孙某★★★☆☆★★☆☆☆★★★★☆★★★★★★★★★☆李某★★★★★★★☆☆☆★★★☆☆?★☆☆☆☆周某?★☆☆☆☆★★★☆☆★★★★☆★★★☆☆40聚类分析推荐系统例子商品1商品2商品3商品4商品5赵某★★★★★★★☆☆☆★★★☆☆★★★★☆★☆☆☆☆钱某★★★★★★★★★★★★★★★★★★★★★★★★★孙某★★★☆☆★★☆☆☆★★★★☆★★★★★★★★★☆李某★★★★★★★☆☆☆★★★☆☆?★☆☆☆☆周某?★☆☆☆☆★★★☆☆★★★★☆★★★☆☆41聚类分析推荐系统例子商品1商品2商品3商品4商品5赵某★★★★★★★☆☆☆★★★☆☆★★★★☆★☆☆☆☆钱某★★★★★★★★★★★★★★★★★★★★★★★★★孙某★★★☆☆★★☆☆☆★★★★☆★★★★★★★★★☆李某★★★★★★★☆☆☆★★★☆☆★★★★☆★☆☆☆☆周某?★☆☆☆☆★★★☆☆★★★★☆★★★☆☆42聚类分析NLP和文本分析从非结构化的文本数据中提取信息。
应用场景:1.互联网舆情分析商品评论:好评/差评;投诉数据分析、法院判决文本
2.新闻分类、摘要
新闻类别分类:体育、社会、法制、经济等3.自动翻译
不同语言之间的翻译:中英翻译等主要问题分词与词性标注、命名实体识别、句法分析、语义消歧文本分类和聚类、文本主题分析等
43聚类分析商品评论分析评价对象对象描述词观点表达式速度速度、反应速度速度快、速度好、速度太慢、速度够快、速度惊人、速度良好、速度真快、反应速度超快性能系统、性能、功能系统流畅、基本流畅、系统稳定、系统简洁、系统快、系统简单、性能优异、性能强大、性能强劲、功能强悍、机子流畅物流物流、物流业、发货物流不错、物流快、物流蛮快、物流很棒、物流超快、物流慢、物流太慢、发货快、发货迅速、发货太慢客服客服、服务态度、态度客服不错、客服小气、客服耐心、客服完美、服务态度差、服务态度很棒、服务态度蛮好、服务态度不错、态度不错、态度好、态度认真、态度差颜色颜色颜色好、颜色漂亮、颜色不错、颜色较暗屏幕屏幕、画面、像素屏幕碎、画面清晰、屏幕清晰、屏幕不灵、屏幕细腻、屏幕亮丽、屏幕小、屏幕很大、屏幕窄、像素好、像素高、像素低、像素够高手感手感、质感手感不错、质感不错、手感好、手感细腻、手感极佳手机很好,很漂亮,速度也非常快,只是我的手机屏幕上有一小块刮痕,不过平时也不太会注意到,就算了,懒得再申请换货了。手机不错的,除了一个屎黄色的手机套我不喜欢,其他一切都很完美;用了几天,感觉挺好的试了几天再来评价,,功能强大,不论是上网还是游戏运行速度都很快,屏幕也很清晰。手感很不错超好用,N个贊!手机挺好的,刚打开用了一天没有啥毛病,然而我说了能不能给绿色的壳,客服说他们是随机发的,发一个一样颜色的壳这么难吗!!!顺丰4天,就这样了说什么呢,高大上。颜值爆表,美的无法形容。使用了几天,很流畅,舒服,内存占用有点高,不过不影响,依然很快,无卡顿。非常满意!稍后上图漂亮。44聚类分析情感分析政治选举预测股票市场分析舆情事件检测用户心情预测电影票房预测抑郁症检测45聚类分析主题分析挖掘海量文本集合中的主题分析单个文本的主题分布将文本从词典(十万级)降维到主题(几百)
46文档集包含什么主题单篇文档主题分布词的主题归属聚类分析图与社交网络分析网络数据分析和挖掘
应用场景:1.专家/网页/用户重要度评估根据网络结构评估节点重要性,节点:专家、用户、网页等
2.舆论领袖挖掘
根据信息传播网络,发现舆论领袖、关键人物3.欺诈团伙检测
电信欺诈、交易欺诈、信用卡申请欺诈主要问题中心度、链接分析、社区发现、影响力分析等
47聚类分析大规模数据处理如何对大规模数据进行处理和建模
应用场景:1.大规模数据处理并行计算、Hadoop/MapReduce平台2.大规模数据下的模型构建
并行算法、硬件加速(GPU和深度学习)、Spark等分布式架构3.算法的并行化、数据的并行化
主要问题单机环境下大数据数据处理集群环境下的大规模数据处理大规模数据下的建模分析(分布式机
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026事业单位工勤技能-广西-广西计算机信息处理员五级初级历年参考题库含答案详解
- 2026事业单位工勤技能-广东-广东有线广播电视机务员一级(高级技师)历年参考题库含答案详解
- 2026事业单位工勤技能-山西-山西经济岗位工二级(技师)历年参考题库含答案详解
- 2026事业单位工勤技能-山西-山西保健按摩师四级(中级工)历年参考题库含答案详解
- 2026事业单位工勤技能-山东-山东环境监测工四级(中级工)历年参考题库含答案详解
- 2026事业单位工勤技能-山东-山东工程测量员二级(技师)历年参考题库含答案详解
- 2026事业单位工勤技能-山东-山东仓库管理员三级(高级工)历年参考题库含答案详解
- 2026事业单位工勤技能-安徽-安徽水工闸门运行工一级(高级技师)历年参考题库含答案详解
- 2026年环境电器行业市场前景与可持续发展报告001
- 2026年医疗行业医疗器械行业创新与市场分析报告
- 2025年银行纪检岗招聘笔试真题及答案
- 2026年招投标模拟试题b卷及答案
- 2026年建筑工程施工安全管理模拟试题(附答案)
- 2026 年社区网格员消防培训课件
- 中石化招录考试真题与答案大全2026
- 2026年传染病知识普及创新培训课件
- 2027届广东六校联盟高三10月考试数学及答案
- 皮肤美容科营销方案(3篇)
- 公园景区保洁管护服务投标文件
- IEC 61800-3-2023 中文版(可调速电力传动系统 第 3 部分:电磁兼容性要求及其特定试验方法)
- 中医医师资格题库1000题(含答案和解析)
评论
0/150
提交评论