大数据基础课件 5大数据基础 数据分析与应用

大数据基础概论5-

数据分析与应用本章内容数据分析回归、关联规则、决策树、分类、聚类数据应用搜索、推荐2数据分析四个层次描述型分析(descriptiveanalysis)－发生了什么诊断型分析(diagnosticanalysis)－为什么会发生预测型分析(predictiveanalysis)－未来可能发生什么指导型分析(prescriptiveanalysis)－应该做什么3…算法1.概念：为解决一个问题而采取的方法和步骤，称为“算法”。2.分类(1)数值运算算法：解方程、求积分等。(2)非数值运算算法：排序、检索等。4跳过算法介绍简单算法举例求1×2×3×4×5最原始算法：步骤1：先求1×2，得到结果2。步骤2：将步骤1得到的乘积2乘以3，得到结果6。步骤3：将6再乘以4，得24。步骤4：将24再乘以5，得120。评价：这样的算法虽然正确，但太繁琐。5改进版S1：t=1S2：i=1S3：t=t×iS4：i=i+1S5：如果i≤5，返回S3S6：输出tS7：算法结束6计算100!的算法？求1×3×5×7×9×11?算法的特性1.有穷性：算法应包含有限的操作步骤，而不能是无限的。2.确定性：算法中每一个步骤都应当是确定的，不应当含糊、模棱两可。7算法的特性3.有零个或多个输入：即算法在执行时需要从外界取得必要的信息。4.有一个或多个输出：算法的结果不输出是没有意义的。5.有效性：算法的每一个步骤都应当能有效地执行，并得到确定的结果。8算法的基本结构任何复杂的算法均可由顺序结构、选择结构、循环结构三种基本结构组成。9顺序结构把大象关冰箱一共分几步？1.打开冰箱门2.把大象关进去3.关上冰箱门10顺序结构顺序结构：从上到下依次执行的多个处理步骤。11选择结构有钱买什么？12一页打印纸?一包辣条？哈哈发财了！想买什么买什么选择结构先根据条件做出判断，再决定执行哪一步操作，从而使算法流程产生不同流向，这种结构也称为条件结构或分支结构。13循环结构万米长跑，25圈？14循环结构从某处开始按照一定的条件重复执行一些步骤，这种结构称为循环结构，其中重复执行的部分称为循环体。根据循环条件的先后顺序，循环可以分为while结构和do-while结构两种。15循环结构16算法的表示方法（5种）1.自然语言：通俗易懂，但文字冗长，容易出现歧义。2.伪代码：是用介于自然语言和计算机语言之间的文字和符号来描述算法，用伪代码写算法并无固定的、严格的语法规则，可以用英文，也可以中英文混用，只要把意思表达清楚即可。17伪代码表示求5!18算法的表示方法3.流程图：用图框来表示各种操作，直观形象，易于理解。1920算法的表示方法4.N-S盒图：1973年，美国学者I.Nassi和B.Shneiderman提出了完全去掉带箭头流程线的流程图，如同一个多层的盒子，称为N-S盒图（boxdiagram）。21求5!算法22算法的表示方法5.计算机语言：用计算机语言表示算法必须严格遵循所用语言的语法规则。23#求5!Python实现t=1i=1whilei<=5:t=t*ii=i+1print("5!=",t)算法要求①正确性②可读性③健壮性④高效率和低存储量要求24算法要求①正确性②可读性③健壮性④高效率和低存储量要求25经典算法举例欧几里得算法：也被称为辗转相除法，算法的著名的例子，古希腊数学家（Euclid）发现的求两个正整数A和B的最大公约数（GreatestCommonDivisor）。霍夫曼编码26Euclid算法第1步：比较A和B这两个数，将A设置为较大的数，B为较小的数。第2步：A除以B，得余数R（Remainder）。第3步：如果R=0，则最大公约数就是B；否则将B赋值给A，R赋值给B，重复进行前两步。27Python实现a=15b=120ifa<b:a,b=b,ar=a%bwhiler>0:a=bb=rr=a%bprint("GCD=",b)28…数据挖掘流程(1)明确需求(2)理解数据(3)准备数据(4)建立模型(5)评估模型(6)应用模型29…术语训练集(trainset)：用于训练模型的数据集合。测试集(testset)：用于评估最终模型性能的数据集合。3031术语MSE(meansquarederror均方误差)：该指标是拟合数据和原始数据对应样本点的误差的平方和的均值，其值越小说明拟合效果越好。判定系数R2(R-Square)：取值范围是[0,1]，越接近于1说明自变量越能解释因变量的方差变化，这个值越大越好，值越小则说明效果越差。32术语欠拟合(underfitting)：指模型无法很好地拟合训练数据，无法捕捉到数据中的真实模式和关系。欠拟合的因素主要为模型复杂度不足和数据特征不足。过拟合(overfitting)：指模型在训练数据上表现得过于优秀，但在测试数据上表现较差。过拟合的因素主要为模型复杂度过高、数据特征过多和训练数据量较少等。3334…35yx

一元线性回归(linearregression)残差…损失函数损失函数(lossfunction)是来度量真实值与模型预测值不一样的程度，损失函数值越小，模型就越好。误差平方和(SumofSquaredErrors,SSE)36最小二乘法37…最小二乘法3839…关联规则*不同物品之间的关联关系（beer&diaper）Apriori算法项集(itemset)，是一个集合概念，一件物品即为一项(item)，则若干项的集合称为项集频繁项集(frequentitemsets)：经常一起出现的物品的集合关联规则(associationrules)：一般记为A→B的形式40…Apriori算法支持度

support：数据集中包含该项集的记录所占的比例，关联规则A→B的支持度support(A→B)=P(AB)['我与地坛','乡土中国','苏东坡传']['流浪地球','三体','我与地坛','围城','史记']['乡土中国','围城','史记','三体']support('我与地坛')=2/3support('乡土中国','史记')=1/341Apriori算法

42Apriori算法

43举例Item1,Item2…Item5共5种商品购物记录数据集共5条交易记录Tid100:{Item1,Item2,Item3}Tid200:{Item2,Item3,Item4}Tid300:{Item2,Item3,Item5}Tid400:{Item4,Item5}Tid500:{Item1,Item2}4445假设最小支持度为50%，删除Item1,Item4,Item5，只剩下Item2,Item3，最终为频繁二项集。46…决策树47分支不看是否不看是否喜剧片？评分>9.6看根节点内部节点叶子节点分支决策树一般决策树包含一个根节点，若干个内部节点和若干个叶节点。分支用于连接各个节点。每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。48决策树决策树实际上就是大量的if-else语句，最终根据这些if-else语句得到结果。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照特征属性的值选择输出分支，直到叶子节点为止，叶子节点存放的类别作为决策结果。可用于客户分类、欺诈检测和疾病诊断等49…鸢尾花Iris数据集SetosaVersicolorVirginica5051…52…53…分类54…分类Classification55…KNN56?分类：K-近邻57KNN实现分类58…聚类cluster59…聚类：K-means①首先随机选取k个点作为初始簇中心；②对任意一个样本点，计算其到各类中心的距离，将该样本点归到距离最短的中心所在的簇；③聚好类后，重新计算每个簇中心的位置；④重复2,3步骤迭代，直到k个类簇中心点的位置不变，或者达到一定的迭代次数。60…K-means实现聚类61…大数据分析应用描述性分析应用：箱线图、财务报表分析诊断型分析应用：电力设备故障、疾病诊断、情感分析预测性分析应用：疾病预测、销售趋势预测指导性分析应用：营销策略和推广、自动驾驶62搜索引擎63?4个阶段分类目录文本检索链接分析用户中心64小米…65分类目录搜索引擎全文搜索引擎元搜索引擎66…工作流程(1)从互联网上抓取网页(2)建立索引数据库(3)在索引数据库中搜索排序67类比图书馆借书68模拟搜索创建索引库分析用户请求查找索引库页面排序返回结果69模拟搜索W1：中国石油大学（北京）前身为北京石油学院。W2：北京校本部坐落在风景秀丽的北京市昌平区军都山南麓。W3：克拉玛依校区位于被誉为“石油之城”的新疆维吾尔自治区克拉玛依市。搜索“北京石油大学”70创建索引库“中国石油大学（北京）前身为北京石油学院”['中国','石油大学','（','北京','）','前身','为','北京石油学院','。']['中国','石油大学','北京','前身','为','北京石油学院']['中国','石油大学','北京','前身','北京石油学院']71倒排索引72分析用户请求搜索“北京石油大学”['北京','石油大学']73查找索引库返回既包含“北京”又包含“石油大学”的页面交集74页面排序返回结果页面排序是搜索引擎需要将搜索词和结果进行相似度计算，同时考虑网页重要性、网页权威性等因素生成最终排序结果呈现给用户。75倒排索引举例*假设我们有三句话：T[0]="itiswhatitis" //第0句话T[1]="whatisit" //第1句话T[2]="itisabanana" //第2句话我们的索引是建立在位置position和单词word之间建立。即第x句话的第y个单词，转换成坐标的形式，如：(x,y)76倒排索引举例T[0]="itiswhatitis" //第0句话T[1]="whatisit" //第1句话T[2]="itisabanana" //第2句话T[0]的第一个单词是it，可以记为

(0,0):"it"，再如(2,1):"is"。"it"这个单词出现的位置有(0,0)(0,3)(1,2)(2,0)，这样可以记为"it":{(0,0)(0,3)(1,2)(2,0)}。77倒排索引举例T[0]="itiswhatitis" //第0句话T[1]="whatisit" //第1句话T[2]="itisabanana" //第2句话上述三句话建立倒排索引可以得到："a": {(2,2)}"banana": {(2,3)}"is": {(0,1)(0,4)(1,1)(2,1)}"it": {(0,0)(0,3)(1,2)(2,0)}"what": {(0,2)(1,0)}78倒排索引举例"is": {(0,1)(0,4)(1,1)(2,1)}"it": {(0,0)(0,3)(1,2)(2,0)}"what": {(0,2)(1,0)}需要检索包含“what”“is”“it”三个单词的语句，忽略倒排表中的第二位（单词在每句中的位置），可以得到{0

1}∩{012}∩{012}={01}，（集合与运算），因此T[0]和T[1]满足条件。在检索“whatisit”这个词组的时候还需要考虑到单词的具体位置，因此只能T[1]满足条件{(1,0)(1,1)(1,2)}。79搜索实用技巧完全匹配搜索，在查询词的外边加上双引号“”。//“中国石油大学（北京）”“昌平石油”搜索范围限定在标题。在查询词前加上intitle:xx。//intitle：中国石油大学搜索范围限定在指定网站。在查询词后输入site:xx。//中国石油大学site:。搜索范围限定在url中，在查询词后加上inurl:xx。//中国石油大学inurl:video搜索范围限定在指定格式，在查询词后输入filetype:文件格式(doc/pdf/xls/等等)。//myweirdschoolfiletype:pdf8081推荐系统推荐系统主要为电子商务网站的用户提供商品信息和建议，帮助他们决定要购买的商品82获取感兴趣信息搜索引擎：信息拉取用户有明确目的，自己主动查找推荐系统：信息推送用户无明确需求，系统主动推送83推荐系统推荐系统通过分析用户的历史记录来了解用户的喜好，从而主动为用户推荐其感兴趣的信息，满足用户的个性化推荐需求。推荐系统是自动联系用户和物品的一种工具，和搜索引擎相比，推荐系统通过研究用户的兴趣偏好，进行个性化计算。推荐系统可发现用户的兴趣点，帮助用户从海量信息中去发掘自己潜在的需求。84引例看电影①问朋友，看看他们最近有什么建议；②根据喜爱的导演，演员自己找；③查看电影排行榜85…8687专家推荐混合推荐人工推荐，由资深的专业人士来进行物品的筛选和推荐，需要较多的人力成本专家推荐基于统计的推荐应用最早和最为成功的推荐方法之一，利用与目标用户相似的用户已有的商品评价信息，来预测目标用户对特定商品的喜好程度协同过滤推荐通过机器学习的方法去描述内容的特征，并基于内容的特征来发现与之相似的内容基于内容的推荐结合多种推荐算法来提升推荐效果混合推荐基于内容的推荐协同过滤推荐基于统计的推荐基于统计信息的推荐（如热门推荐），易于实现，但对用户个性化偏好的描述能力较弱推荐方法…推荐算法协同过滤（collaborativefiltering）就像与你品味相近的朋友，通过对大量数据进行计算，找出与你相似的其他用户（user）或与你喜欢的物品（item）相似的物品，从而实现物品推荐。基于用户的协同过滤（UserCF）基于物品的协同过滤