版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
《数据思维》Thinking
in
Data主讲:胡广伟教授南京大学信息管理学院第四章数据思维模式CONTENTS内容4.24.34.4要全体不要抽样全数据思维要效率不要精确容错性思维要实时不要累积实时性思维用相关理解因果相关性思维4.14.1全数据思维在科技水平不够发达的小数据时代,人们发现由于事物内在的联系,可以从少量的数据中总结出事物的特征,从而推动科学技术的发展。然而这种对数据的处理方法很难普适于所有的情况。当我们不得不使用大量的或者全部的数据来寻求事物之间的规律时,时间和统计成本往往又成为工作的难点。缺少大数据的支撑,事物间的关系就难以被发现,特别是当假设条件变化导致因果关系不成立时,使用传统的以小见大的处理方法也就束手无策。但是在大数据时代,数据处理技术、时间成本和储存成本变得很低,无需再被纳入考虑的范畴,我们可以对使用大数据进行研究和分析,利用相对简单的相关关系来反映因果关系中包涵的信息,将“以小见大”转变为“以大见小”。4.1全数据思维为什么需要全数据思维?统计学原理4.1.1抽样数据:以小见大基于数据不完全或者数据过于庞大,导致无法全面研究和分析的情况。利用事物或数据整体与部分之间的内在联系,通过研究挖掘部分数据的某些特征,达到推测整体特征的目的。抽样分析法统计的数据规模巨大到无法完全收集全部数据,根据对采取样本进行分析而推测总体的结论。采样的绝对随机性成为随机采样成功的关键因素,但绝对的随机性非常困难的事情。局限性采样数据更适用于宏观分析,在微观领域能发挥的作用有限。不能掌握全面的数据,不适应算力、存储能力、传输能力高速发展的今天。4.1全数据思维大数据时代,我们具有了大规模数据的收集和处理能力,随机采样分析法这种“以小见大”的分析方法逐渐被舍弃。把全数据作为对象进行研究分析,得出精准结论的概率更高,在科研、产业、经济、生活中也更具价值。4.1.2全数据:以大见小“以大见小”的逆向数据处理思维的对象不是随机抽取的部分数据而是研究对象的全数据,数据的采集、储存、加工、分析,乃至数据挖掘、机器学习等技术日益成熟,通过对全数据的分析研究,可以更容易把握事物的全貌。此处所说的“大”不一定特指研究对象绝对意义上数据量的大,本质上是多源、异构、互证、互补的全数据的概指,是某一个系统范围内的所有数据,甚至是跨越多个系统而存在的,是一个理论上的概念。在大数据时代分析事物之间的相关关系和“以大见小”的数据处理方法具有明显的优势,应该善加利用以发掘更多事物之间零碎的、看似毫不相关的联系。4.1全数据思维4.1.3大数据:还原事物间的联系多数情况下,事件间的联系往往是复杂、分散的。科学研究进展表明,这些分散的现象、事件间并非毫无联系,亦非无法研究其中的联系。事物间的联系和规律本就分散、零碎,再加上数据量庞大,如果还依靠传统思维模式的研究方法,从提出假设到得出结论来探索其中的奥秘,必然失败。我们就必须转变思路,改变思考、分析、研究的思维方式和研究方法:4.1全数据思维借助大数据的技术手段,收集与事物相关的全部数据,并以数据为基础,对这些数据的联系和规律进行深入挖掘和分析。以相关关系为基础来探究大数据的规律和联系,找准关联物。4.2容错性思维目前,人类计算机可以对量级非常大的数据进行储存、传输和分析等,这其中,5%是结构化数据,另外95%都是非结构数据。传统数据执着于精确性的特征导致科学研究数据范围狭小,并且传统思维模式和分析方法无法有效地对非结构数据进行探索研究,无法满足人类现阶段需求。只有扩大数据研究范围,忽略数据的精确性而接受数据的混杂性,才能真正满足人类生产生活需求。为什么需要容错性思维?4.2容错性思维4.2.1允许出现错误小数据时代大数据时代在小数据时代,无法收集大量数据来进行研究,在数据量有限的前提下,数据的质量成为保证研究结果准确性的关键。数据的精确性成为信息收集中最重要的指标,减少误差、避免错误是科学研究中严谨性特征的要求和导向科学家往往在数据测量、收集上花费大量时间和精力,力求精益求精。在大数据时代,当数据量达到一定规模和数量时,数据的精确性将不再成为筛选和分析的重点,传统的数据处理方法也不再适用。部分数据的错误是可以被接受的,还有格式错乱等数据混乱的情况,但这也不影响数据分析的研究结果。需要转变思维方式,接受混杂,即接受混乱和错误。用概率替代小数据时代对数据准确性的要求。4.2容错性思维4.2.2接受混杂是必然趋势混杂的大数据比精确的小数据更精确数据的规模对研究结果的推动作用远高于数据的错误和混乱。当数据量达到一定规模,混杂不可避免。如果分析的数据足够多、足够广,数据的错误和混乱便不再是问题焦点,无法影响和误导我们的研究方向和分析结果。接受混杂就是接受海量数据,就意味着人们的数据研究达到了全新的高度。接受混杂的数据可以使我们更好地利用大数据,发掘其内在价值,监控、操作和掌控全局。“以大见小”的逆向思维不仅可以帮助我们认识世界、了解世界和解释世界,还将是一种改变世界的新方法,接受混杂便是“以大见小”的显著表现。20世纪30年代的机器翻译事件,证明:算法再复杂的小数据始终没有办法解决某些实际需求的问题。谷歌公司依靠互联网这个规模巨大的数据库进行语言翻译,翻译流利、质量最好。4.2容错性思维讯飞语音4.3实时性思维以往的档案、广播、报纸等传统数据载体不同,大数据的交换和传播是通过互联网、云计算等方式实现的,远比传统媒介的信息交换和传播速度快捷。大数据对处理数据的响应速度有更严格的要求,实时分析而非批量分析,数据输入、处理与丢弃立刻见效,几乎无延迟。数据不是静止不动的,而是在互联网络中不断流动。某些数据的价值是随着时间的推移而迅速降低的,如果数据尚未得到有效处理就失去了价值,大量的数据就没有意义。此外,在许多应用中要求能够实时处理新增的大量数据,比如有大量在线交互的电子商务应用,就具有很强的时效性。在这种情况下,需要对大数据进行快速、持续的实时处理,而不是延迟、周期性的成批处理。为什么需要实时性思维?4.3实时性思维4.3实时性思维4.3.1成批处理方式成批处理的概念成批处理(BatchProcessing)是一种把事物集合成组(或成批),然后一起处理的技术,也是一种操作模式。即对需要处理的数据不做立即处理,待积累到一定程度、一定时间,再将数据成批地输入计算机进行处理。步骤及适用范围步骤:累积数据或工作、顺序处理数据或工作。范围:适用于固定周期的数据处理,需要收集数据累积到一定程度后再做处理,需要收集大量不同方面的数据后再做的综合处理,多适用于没有通讯设备而无法采用联机实时处理的情况。成批处理系统目的:提高系统吞吐量和资源的利用率。特点:多道、成批。工作方式:用户将作业交给系统操作员,系统操作员将许多用户的作业组成一批作业,之后输入到计算机中,在系统中形成一个自动转接的连续的作业流,然后启动操作系统,系统自动、依次执行每个作业。最后由操作员将作业结果交给用户。4.3实时性思维4.3.2实时处理方式实时处理的概念实时处理是指计算机对现场数据在其发生的实际时间内进行收集和处理的过程。数据直接从数据源输入中央处理机进行处理,在规定的严格时间内完成对该事件的处理,并由计算机即刻做出回答,将处理结果及时反馈给用户。特点、目标及适用范围特点:反应时间非常短,以微秒为单位;处理的数据是最新的。目标:对外部请求在严格时间范围内做出反应,有高可靠性和完整性,资源的分配和调度首先要考虑实时性,然后才是效率。范围:实时处理适用于需要迅速响应的数据处理、负荷易产生波动的数据处理、数据收集费用较高的数据处理。实时处理操作系统分类:它有硬实时和软实时之分,硬实时要求在规定的时间内必须完成操作,软实时则只要按照任务的优先级尽可能快地完成操作即可。特点:高精度计时系统、多级中断机制、实时调度机制。4.3.3两种方式对比成批处理方式实时处理方式VS成批处理方式资源利用率高系统吞吐量大数据不是最新的平均周转时间长无交互能力长期占用处理机实时处理方式资源利用效率高高度的可靠性数据是最新的反应时间短强调人机交互每个作业运行一个时间片4.3实时性思维4.4相关性思维哲学研究领域及应用范畴中,“有因必有果,有果追其因”的“因果理论”出现频繁,该理论已经成为人类解释和认知世界的一个必不可少的重要工具。“因果理论”,即“因果关系”,通常是指世界上客观事物在普遍联系中存在的一种相互影响、相互制约、承前启后的关系。无论是哲学研究还是生活应用,因果关系通常被人们用来解释某件事情的原因和结果,应用非常普遍,可以说因果关系在人类思维模式中占据重要地位。然而,在科学技术发达、大数据盛行的时代,因果关系并不能完全发现和解释诸多客观事物、客观数据之间存在的普遍联系,相关关系逐渐替代因果关系登上舞台。为什么需要相关性思维?4.4相关性思维因果关系相关关系因果关系在整个社会发展的过程中功不可没,但这种方式的局限性在信息时代、大数据时代越来越突显。工作量巨大,花费时间较长,而且假设一旦出现偏差,将会是差之毫厘谬以千里在大数据时代,许多看似无关,但实际上有着复杂的、深层关联的和隐藏较深的规律会因为因果关系的假设而被遗漏,难以被发现和研究。大数据时代,因果关系已经无法满足人们探索世界和认知世界的诉求,只能将注意力转移到具有全面性和科学性的相关关系中。相关关系的核心就是量化和研究两个或多个数据值之间存在的数理关系。可以直接从数据中挖掘事物间存在的某种联系,还可以直接从数据分析中来获得这种联系的具体方向和类型,无需假设求证,可节约大量时间和精力。4.4相关性思维4.4.1因果关系和相关关系4.4相关性思维4.4.2如何处理两种关系在实践的指导下,大数据时代思维方式的改变是辩证的、革命的,对于各种思维方式,我们应“取其精华,去其糟粕”,吸收保留其优势。这两种研究方法在不同的领域和研究对象上可以结合实际情况进行择优选用,扬长避短,以发挥自身的优势。我们可以把这两种关系结合,扬长避短,利用相关关系对大量数据进行分析处理挖掘出正确的结论,再利用因果关系深入探索其中的因果联系。因此,为了加快科研和社会进步的步伐,我们既不能因为当下相关关系的兴起而完全否定因果关系的重要性,也不能不负责任的对这两种关系进行优劣批判,我们应该辩证地看待这两种关系各自的优缺点,选择合适的思维模式去发现并解决问题,以发挥二者之间相辅相成的作用。4.4.3相关关系的应用亚马逊图书推荐系统4.4相关性思维依靠分析消费者在阅读、浏览和购买的书籍之间的相关关系,来预测其他阅览同类书籍的消费者的购买需求,进行图书推荐。这个推荐系统提升了亚马逊图书的销售业绩,创造了三分之一的销售额4.4.3相关关系的应用京东推荐系统4.4相关性思维依靠分析消费者消费偏好与商品的相关关系,来预测消费者的购买需求,进行商品推荐。商家可以在后台进行关联商品管理4.4.3相关关系的应用沃尔玛超市物品摆放4.4相关性思维啤酒与尿布飓风与蛋挞4.4.3相关关系的应用UPS汽车修理预测系统4.4相关性思维通过对汽车监控系统收集到的数据进行分析,并预测汽车的具体使用情况,从而帮助汽车所有人了解汽车可能出现的隐患,防患于未然。可以节省几百万美元的车辆维修和检查费用4.4.3相关关系的应用奥巴马政府大数据分析团队4.4相关性思维通过Hadoop集群分析并处理数以Terabyte的社交数据,使竞选团队能为选民建立更加准确的模型和计划。竞选活动将更有针对性,更多的网站注册人数、更多的电子邮件地址、更多的选票和献金。案例:数据“读心”2026/11/14Facebook风波2012年奥巴马(民主党)连任。2014年共和党大佬班农(StephenBannon)和金主墨瑟(RobertMercer)(1500万美元)成立剑桥分析(CambridgeAnalytica)。剑桥分析通过发红包(160万美元)获得8700万Facebook用户信息(用户名、所在地、发帖、点赞,都是公开数据)。剑桥分析联结了8700用户信息与美国商业市场2.2亿人的消费数据:识别身份、性别、兴趣爱好、性格特点、职业专长、政治立场、观点倾向——打标签、心理画像、心理档案——希望点、恐惧点、共鸣点、兴奋点、煽情点等。2026/11/14竞选宣传:对义愤填膺的爱国者,推送鸡血文章,告诉他们特朗普能让美国再次伟大;对知识精英,推送理性、温和、高深的分析,获得共鸣;对倾向特朗普又不愿意捐款、不愿投票的,告诉他们特朗普面临的严峻挑战,希拉里上台后果的惨痛;对民主党支持者,则大量推送与希拉里家族有关的负面信息,对希拉里失望;对容易被煽动的网民,推送各种耸人听闻的阴谋论、标题党内容,进行情绪刺激和情绪强化;。。。数据“读心”2026/11/14剑桥分析:告密者、数据战、个人隐私的故事特朗普公开的竞选支出明细中,剑桥分析赫然在列;特朗普团队先后支付:5,912,500美元;剑桥分析主页上号称服务过五大洲的100多场选举;2016年英国脱欧公投是全年度全球最大“黑天鹅事件”;2018年5月CA申请破产。。。2019年7月FB被罚款50亿美金。扎心了数据“读心”1、结合自己的思考与理解,谈谈对“全数据思维”的认识。2、结合自己的思考与理解,谈谈对“容错性思维”的认识。3、结合自己的思考与理解,谈谈对“实时性思维”的认识。4、结
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- (2026年)安全生产月安全知识竞赛试题及答案
- 20261029-045136-小年烘焙店促销活动方案
- 2026年志愿者通识培训模拟试卷目(含答案)
- 2026年新疆会计考试题库及参考答案
- 2026年特教考研复试题库及答案
- 2026年评茶员高级实操题库及答案
- 2026年门诊护士模拟试卷(含答案)
- 2026年空乘考试题库及答案
- 2026年医学技术专业考题题库及答案
- 2026年教师资格考编题库及答案
- 攻丝机机械加工作业指导书
- 2026校招:湖北农业发展集团笔试题及答案
- 具身智能:从理论到实践的全面解析
- 2026年医院药房药剂师高频面试题包含答案及考察点分析
- 妇科洗液品牌市场推广策略方案
- 2025年重庆三支一扶考试试题(附答案)
- 眼镜打磨抛光知识培训班课件
- (正式版)DB15∕T 2257-2021 《农田地膜残留监测技术规范》
- TWSJD62-2024移动式紫外线消毒器卫生要求
- T/CASTEM 1007-2022技术经理人能力评价规范
- 2025开源证券股份有限公司招聘(110人)笔试参考题库附带答案详解
评论
0/150
提交评论