大数据的处理和分析计算机科学导论第十讲48.ppt

大数据处理和分析计算机科学概论课10iyun，课程内容，课程内容(本课与以下内容几乎无关)是领域理论系统的模型理论、程序理论和计算理论1。模型理论的担忧给定模型m、模型m可以解决的问题；比较模型的表达能力的方法2。对程序理论感兴趣的问题给定模型m、模型m解决问题的方法：程序设计模型、程序设计语言、程序设计、形式语义、类型论、程序验证、程序分析等3。理论关注的计算模型m和问题类型、解决该问题所需的资源数量、讲座概述、大数据的魅力数据挖掘、大数据、大数据案例、大数据的特性大数据时代的事故变化示例和整体、准确性和混合、因果关系和相关大数据的几种主要处理方法、MapReduce编程模型大数据的分析核心技术概述、页面排名初步从数据中隐含的过去未知的有价值的潜在信息提取2。从大量数据或数据库中提取有用信息的科学相关概念：知识发现1。数据挖掘是知识发现过程的一个阶段2。概要视图：数据预处理数据挖掘数据后处理预处理：将未处理的输入数据转换为适合处理的形式(如可视化)，然后处理：发掘结果，大数据的魅力可以从另一个角度轻松观察，数据挖掘的典型例子：购物车分析客户一次将商品1面包、黄油、尿布、牛奶2咖啡、糖、饼干和鲑鱼3面包、 鸡蛋8咖啡、糖、鸡、鸡蛋9面包、尿布、牛奶、盐10茶、鸡蛋、小甜食、尿布、牛奶的相关分析、尿布牛奶、大数据的魅力、大数据或大数据等顾客经常同时购买的商品，都会发现。 相关数据量太大，无法人为处理，在合理的时间内，与在相同情况下单独分析单独的小数据集相比，结合分析单独的数据集，可以获得很多附加信息和数据关系，可以用于确定业务趋势、防止疾病扩散、打击犯罪、测量实时交通状况或判断研究质量等目的。大数据集被广泛使用的原因是数据挖掘如何分析大数据，探索大数据的魅力。大数据案例谷歌嘱咐医生，2009年，猪流感的扩散在短短几周内迅速蔓延，世界各地公共卫生机构每当担心新流感即将爆发的美国传染病时，就在发现新流感时通知疾病控制预防中心。但是，从疾病到医疗申请都落后，向CDC传递信息也需要时间，因此，通知新病例往往需要1，2周的时间。另外，CDC每周只统计一次数据，在迅速传播的疾病上落后两周，具有致命的性质，在传染病爆发的重要时期，公共卫生组织难以有效应对的大数据的魅力，大数据案例谷歌在冬季流感流行的几周前，在2010年3010杂志上，谷歌的工程师们发表了引人注目的论文。公共卫生相关人士和计算机科学家们感到震惊，他们不仅预见到流感在美国蔓延，而且还通过查看特定地区和州谷歌人们的在线搜索记录来实现这一预测。这种方法是因为此前一直搁置的谷歌保留了多年的所有搜索记录，全世界30亿个搜索命令(仅谷歌提供相关数据)每天都存在。支持和帮助这项工作的充分资料资源、大数据的魅力、大数据的魅力、大数据的案例谷歌预测，冬季流感的传播原理非常简单。现在大家都习惯通过网络搜索信息，头痛和感冒也在网络上搜索，谷歌流感趋势项目记录了“流感”单词的地区和频率，追踪流感流行的地区，预测流感可能发生的地区。在特定地区在线查找有关流感的信息的人越来越多，因为在该地区很多人几乎可以实时估计与流感相关的搜索词，所以比起其他系统，流感爆发速度更快，大数据的魅力，大数据案例谷歌预测冬季流感传播的5000万美国人最常搜索的术语是CDC和2003年至2008年季节性流感传播期间数据，确认相关搜索词，共4.5亿(？)其他数学模型与2007年和2008年美国CDC记录的实际流感病例相比，筛选了45个搜索术语的组合，并与特定数学模型使用的官方数据相关了多达97%，因此，与2009年猪流感爆发时落后的官方数据相比，更有效、更及时的指标、大数据的魅力、大数据案例谷歌预测，冬季流感的扩散是当今社会唯一的新能力。通过大量数据分析可以获得巨大价值的产品和服务，或大数据不仅改变了公共健康，还改变了业务、变化事故、政府和国民关系的变化、重要的时代变化、大数据的吸引力、大数据的特征大数据集合的规模不断扩大，从GB(1024MB)扩展到TB(1024GB)到目前为止，人类生产的所有印刷材料的数据量为200PB。未来10年，世界范围的大容量数据将增长50倍，管理数据仓库的服务器数量将增长10倍。类型多样性数据种类很多，分为结构化、半结构化和非结构化数据。半结构化和非结构化数据(包括传感器数据、网络日志、音频、视频、图片和地理位置信息)的保留量大大超过了结构化数据、大容量数据的吸引力以及大容量数据的特性价值密度(Value)。数据的整体价值很大，但价值密度很低。以视频为例，在持续几个小时的视频监控中，有用的数据可能只有一两秒钟。另一个极端为每个数据做出了贡献，但单个数据的价值是非常快的速度。数据通常以数据流的形式动态快速生成，而且具有很好的时效性，因此用户必须了解数据流的控制能力，才能有效地利用它。例如，每天必须审查500万个潜在交易欺诈案件。需要分析客户人员调整预测、大数据时代的事故变化、数据收集和数据处理技术急剧变化的5亿次实时呼叫的详细记录。人们的思维和方法必须跟上这个变化的时代。大数据时代的本质是，当人们分析信息时，理解决策的制定和表达，大数据时代的思维变化，变化1-更多的：不是随机样本，而是整个数据1。随机抽样：从最少的数据中获取最多的信息。因为很难获取和分析过去的全部数据，所以抽样调查是一般的统计分析方法。此外，根据随机原则，从整体上提取并调查实际数据的一部分，使用概率估计方法，根据样本数据，整个相应数量指数抽样分析的准确度随着样本随机性的增加而增加，与样本数量的增加几乎没有关系。如果采样的随机性高，则可以比选择作为样本数的随机性更准确地分析整个抽样调查的97%。大数据时代的思维变化，变化1-更多的：不是随机样本，而是整体数据1。随机抽样：采样分析从最少的数据中获取最多信息的成功取决于采样的随机性，但实现采样的随机性却很难理解更深层次的粒度区域。随机抽样方法不一定有效。也就是说，在宏观领域作用的方法可能在微观领域失去作用。随机抽样需要彻底的安排和执行。人们只能从样本数据中导出预先设计的问题的结果，大数据时代的思维变化，变化1-更多的：不是随机样本，而是全部数据2。全部数据：深入讨论全部数据流感趋势预测分析分析整个美国数十亿个互联网搜索记录，甚至特定城市的流感状态信用卡欺诈仅在确定所有可能对“样本=全部”影响最大的数据时，才应观察确认异常情况。这个学科过去很大程度上依赖于样品分析、研究、问卷。记录人们的一般状态时，研究或问卷时的偏见，大数据时代的思维方式变化，变化2-更杂的东西：不是准确性，而是对合成较小的数据的最基本最重要的要求是减少错误，确保质量。由于收集的数据较少，因此每个数据必须尽可能精确，以确保分析结果的准确性。不准确的数据不是缺点，而是大数据的重要组成部分。放宽容错标准可以掌握更多数据，如果掌握大量新数据，准确性就不那么重要了。例如，与服务器处理投诉时的数据相比，通过语音识别系统从呼叫中心接收的投诉可能会产生不准确的结果，但是有助于确定问题的大致情况的大量新数据是事情的发展趋势，大数据时代的思维变化，变化2不是精密性，而是注重精密性，大数据时代是信息不足时代的产物，大数据时代需要重新审视精密性的优劣，如果现有的思维方式在数字化、网络化的21世纪运用，就会错过更多重要信息。错误不是大数据的固有特性，而是要长期应对的现实问题，大数据时代思维的变化，变化3-更好的：不是因果关系，而是相关关系1。因果因果关系是指一个事件与另一个事件的结果相关关系，与通过两个事件的存在规律和逻辑推理研究因果关系不同，通过大数据研究统计搜索、比较、聚类、分析和归纳查找事件(或数据)之间的相关关系一般不能通过统计方法确认逻辑因果关系。由于统计方法不致力于找出实际原因，数据挖掘和大数据技术在业务领域得到了广泛应用，大数据时代的思维变化，变化3-更好的：不是因果关系，而是相关性2。相关性有助于捕捉现在和未来。只要知道a和b经常一起发生，b就会发生，那么a也会经常发生故障，收集所有数据，提前捕获事物会发生故障的信号。如果将发动机的嗡嗡声、发动机过热等异常情况与正常情况相比较，就能知道哪里会出故障，为了更换或维修过去，首先要有想法，然后可以收集数据，测试事故的可行性。现在通过对大数据的关系分析，看看机票飞涨，哪个词最能说明流感的蔓延，大数据时代的思维变化，变化3-更好的：不是因果关系，而是相关关系3。大数据不断地将越来越多的东西数据化，扩大人类的视野，使人们可以从大量数据中发现隐藏的自然规律、社会法和经济法，当网页转换为数据时，谷歌拥有了令人皱眉的全文搜索能力。只需几毫秒，您就可以搜索世界上几乎所有的网页。每个人都使用GPS快速到达目的地，大数据时代的思维变化，三个变化不是更好的：因果关系，而是相关关系3。数据科学(应用数据学习知识的领域)是数据科学的发展、大数据处理、大数据处理的几种主要方式。大数据处理是当前技术的巨大挑战，现在大数据的主要处理形式如下。静态数据的批量处理数据卷，准确性高，价值低；发掘适当的模式，导出具体的意义，做出明智的决定，用于社会网络、电子商务、搜索引擎等在线数据的实时流式日志数据、传感器数据、web数据等连续数据、大量来源、复杂格式等；流式挖掘、实时分析、智能交通、环境监控、应用于金融银行和在线数据的交互处理、图片数据处理、大容量数据处理、MapReduce编程模型是用于批量数据处理的典型编程模型，map和reduce map (f1，x1，xn)的两个高级函数：作为N个参数运行的f1的计算并行reduce (F2，y1，yn)=F2(.F2 (y1，y2)，y3)，yn)二进制函数F2是具有交换率和结合率的运算时，F2作为n个参数的计算，reduce (F2，map (f1，x1，Xn)MapReduce源于此，但更一般地说，map reduce编程模型是相对专业化的并行编程模型，用于对大型数据集的可并行性问题进行映射过滤或分类。例如，将数据集中的所有人分为性别，将大教堂分成一个队列。Reduce可以计算每个姓氏队列的数量，按姓氏生成人口比例MapReduce可以处理并行计算机、计算机群集和计算机网格中的大量数据。MapReduce编程模型计算过程由程序员定义，如图所示，Map和Reduce函数1 .您只需编写Map操作以并行执行Map函数的多个操作。每个Map操作将文件块转换为键值对序列，并处理大量数据。MapReduce编程模型2。键组合将“键-值”对与两个函数无关，并将其绑定到“键-值表”对中。将每个“键-值表”对分发到Reduce操作键组合的操作由主服务器执行并处理大数据。MapReduce编程模型3。Reduce操作Reduce函数的多个操作并行执行每个Reduce操作以某种方式组合键值表对的值，将其转换为键值对输出、大数据处理；如果矩阵很大，则使用MapReduce实现矩阵操作。块乘以：1。Map操作计算两个相乘，并将结果在z中的位置设置为关键点2。使用Reduce操作键值累计映射操作的每个结果。大数据处理，Z:矩阵大时，可以使用Mapreduce执行矩阵运算。块乘以：1。Map操作计算两个相乘，并将结果在z中的位置设置为关键点2。使用Reduce操作键值累计映射操作的每个结果。大型数据处理，Z:大型数据处理，Z:大型矩阵时，可以使用Mapreduce执行矩阵运算。块乘以：1。Map操作计算两个相乘，并将结果在z中的位置设置为关键点2。使用Reduce操作键值累计映射操作的每个结果。大数据处理，Z:如果矩阵很大，则可以使用Mapreduce执行矩阵运算。块乘以：1。Map操作计算两个相乘，并将结果在z中的位置设置为关键点2。使用Reduce操作键值累计Map操作的结果。矩阵较大时，可以使用MapReduce执行矩阵运算。块乘以：1。Map操作计算两个相乘，并将结果在z中的位置设置为关键点2。使用Reduce操作键值累