数据思维(第2版) 课件 第1、2章-数据思维导论、数据思维基础_第1页
数据思维(第2版) 课件 第1、2章-数据思维导论、数据思维基础_第2页
数据思维(第2版) 课件 第1、2章-数据思维导论、数据思维基础_第3页
数据思维(第2版) 课件 第1、2章-数据思维导论、数据思维基础_第4页
数据思维(第2版) 课件 第1、2章-数据思维导论、数据思维基础_第5页
已阅读5页,还剩109页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

《数据思维》Thinking

in

Data主讲:胡广伟教授南京大学信息管理学院第一章导论CONTENTS内容1.21.3数、数据、大数据发展历程数、数据与大数据内涵、学科定位、知识体系、工作流程数据科学关于思维、科学思维、统计思维、数据思维“思维”范式1.11.1.1数数的概念源自人类的计数活动。什么是数,观点并不统一。东方哲学中“数”的观念《周易》讲:“参(叁)伍以变,

错综其数,通其变,遂成天地之文,

极其数,遂定天下之象。”《说文》中注道:“一,惟初太始,

道立于一,造分天地,化成万物。”数有奇数和偶数,奇为阳,偶为阴,这些简单的描绘体现了我国古代对数的自然观和对阴阳的数理哲学观。数的概念1.1数、数据与大数据元旦盘!人类的诸多思考(哲思)、科学技术的发展都源于对“数”的洞察。?数vs数字vs数据欧几里德:数是诸单元组成的多。牛顿:数是量与量之间的关系。莱布尼茨:数是1加1加1,或是单位。康德:数是先天的综合判断。黑格尔:数是存在概念同感性的质的统一。弗雷格:属于F这个概念的数是‘与F这个概念等数的’这个概念的外延。胡塞尔:数是“确定的多”。西方哲学中“数”的观念1.1.1数数的特征神秘性:人们对数的认识充满神秘色彩,数通常与宗教神学、天体学等相联系。简洁性:人们用数来记录信息,例如罗马数字、阿拉伯数字等符号数字,用于简单明了地表征各种自然和社会现象。统一性:数通过概念的抽象,使得各种现象的差异性得以消除,从而转为统一性。1.1数、数据与大数据1.1.1数数的特征自然界中的黄金分割0.618——一个神奇的数字。随着人类对这一奇特比例的不断认识,发现它不仅仅在美学、建筑、生物上大量出现,而且在自然界及天文学中也都暗含着这个奇妙的比例结构。在地球的北回归线附近是一条神秘地带,在这条地带上,有我国的庐山、黄山、峨眉山以及壮观的钱塘江大潮和长江;有著名的金字塔之谜、死海形成之谜、四川自贡恐龙灭绝之谜、大西洋诸岛沉没之谜、百慕大三角之谜、撒哈拉沙漠之谜以及美国的圣塔柯斯镇斜立之谜;有世界上最高的珠穆朗玛峰,有世界上最深的大西洋马里亚纳海沟和埃及的尼罗河。通过测算可以发现,地球的北回归线整合落在地球的0.618处!1.1数、数据与大数据蒙娜丽莎,现存于罗浮宫鹦鹉螺鹦鹉螺几何分解百慕大三角埃及金字塔1.1.2数据(2022.2.17日至此)由于腾讯会议平台问题,部分同学无法听到声音数据的概念“数据”这一概念从某种意义上是“数”的概念的延伸和扩展,是现代自然科学,特别是信息科学发展的产物。按照信息领域对“数据”一词的解释——在计算机系统中,各种符号(如字母、数字、字符等)的组合、语音、图形、图像、动画、视频、多媒体和富媒体等统称为数据。我们无法也没有必要给出“数据”唯一的定义,但在理解“数据”时,应注意以下两点:(1)“数据”与“数值”是两个不同的概念。(2)“数据”与“信息”、“知识”和“智慧”等概念之间存在一定的联系与区别。1.1数、数据与大数据!“数据”既有“数”,也是“据”。FuturePhenomenonDataInformationKnowledgeWisdomPastThePDIKWmodelDIKWPyramid1.1.2数据数据的维度从数据的结构化程度来看

结构化数据是在传统关系数据库中捕获、存储、计算和管理的数据,表现为二维形式的数据

半结构化数据介于完全结构化数据和完全无结构的数据之间的数据,其数据的结构和内容耦合度高,需要进行转换处理后可发现其结构

非结构化数据没有(或难以发现)统一结构的数据,即在未定义结构的情况下或并不按照预定义结构捕获、存储、计算和管理的数据。1.1数、数据与大数据1.1.2数据数据的维度从数据的加工程度来看

零次数据(原始数据、一手数据):数据的原始内容及其备份数据。零次数据往往存在缺失值、噪声、错误或虚假信息等质量问题。一次数据:对零次数据进行初步预处理(包括清洗、变换、集成等)后得到“干净”数据。二次数据:对一次数据进行深度处理或分析(包括脱敏、规约、标注)后得到的“增值数据”。三次数据:对一次或二次数据进行洞察分析(包括统计分析、数据挖掘、机器学习、可视化分析等)后得到的,可以直接用于决策支持的“洞见数据”。1.1数、数据与大数据1.1.2数据数据的维度从数据的封装程度来看数据:对客观事物或现象直接记录下来后产生的数据元数据:描述数据的数据,对数据及信息资源的描述性信息。数据对象:对数据内容与其元数据进行封装或关联后得到的更高层次的数据集。数据对象是必须由软件理解的复合信息表示。1.1数、数据与大数据数据数据对象元数据1.1.2数据数据的特征精确性:数据能够准确表述现实世界的客观实体,选取精确的少量的样本分析,去进行自然科学和人文科学的研究。大数据正在改变这一特征。单一性:在样本数据分析之前,源于对数据的精确度要求,致使数据采集的渠道和数据采集的范围趋于单一化。大数据正在突破这一特征。实用性:人们可以利用数据来进行社会管理,通过对客观世界的有效记录,成为我们认知的来源。在线性:数据在计算机处理器技术和互联网带宽技术的双重驱动下可以在线实时保存,手工记录日渐被取代。1.1数、数据与大数据图1我国政府网站用户跨日访问逐时访问量曲线1.1.3大数据大数据的概念“大数据”的概念最早可以追溯到1980年,著名未来学家托夫勒在其所著的《第三次浪潮》中,将大数据称为“第三次浪潮的华彩乐章”。最初,“大数据”是指需要处理的信息量过大,已经超出了一般电脑在处理数据时的内存量。如今,大数据不仅用来描述大量数据,还更进一步指出数据的复杂形式、数据的快速时间特性以及对数据的分析、建模等专业化处理,最终获得有价值信息的能力。总而言之,大数据是个动态的定义,其内涵已经超出了数据本身,代表的是数据给我们带来的“机遇”与“挑战”,可以总结如下:(1)机遇:原先无法(或不可能)找到的“数据”,现在可能找到;原先无法实现的计算目的(如数据的实时分析),现在可以实现。(2)挑战:原先一直认为“正确”或“最佳”的理念、理论、方法、技术和工具越来越凸显出其“局限性”,在大数据时代需要改变思考模式。托夫勒1.1数、数据与大数据1.1.3大数据大数据的特征IT界通常用Volume(规模大)、Variety(类型多)、Velocity(速度快)、Value(价值大)这4个V来概括,这些特性使得大数据区别于传统的数据概念。4V特征(1)规模大大数据的特征首先就体现为“规模大”,存储单位从过去的GB到TB,直至PB、EB。随着信息技术的高速发展,数据开始爆发性增长。根据IDC的定义至少要有超过100TB的可供分析的数据,数据量大是大数据的基本属性。(2)类型多数据类型繁多、复杂多变是大数据的重要特性。广泛的数据来源,决定了大数据形式的多样性,不仅包括结构化数据,还包括半结构化数据和非结构化数据。(3)速度快数据的增长速度和处理速度是大数据高速性的重要体现。大数据对处理数据的响应速度有更严格的要求,实时分析而非批量分析,数据输入、处理与丢弃立刻见效,几乎无延迟。(4)价值大价值大是大数据的一个核心特征。通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识,并运用于农业、金融、医疗等各个领域,从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。1.1数、数据与大数据1.1.3大数据大数据的特征全数据除了传统的4V特征,大数据呈现出的与以往传统数据不同的一个突出特征就是“全数据”。大数据为了获取事物的全部细节,不对事物进行抽象、归纳等处理,直接采用原始的数据。“全数据”由于减少了采样和抽象,直接呈现所有数据和全部细节,可以分析得到更多的信息。此外,“全数据”还体现在人们处理数据的方法和理念发生了根本性改变。目前有直接处理全部数据而不是只考虑抽样数据的趋势。使用全数据可以带来更高的精确性,从更多的细节来解释事物属性,同时必然使得要处理的数据规模显著增多。1.1数、数据与大数据图1我国政府网站用户跨日访问逐时访问量曲线1.1.3大数据大数据的特征实时性传感器可以实时感知、采集人体及环境数据可穿戴设备环境传感器:温度、湿度、PM2.5、水质、毒性……雷达计算机可以实时处理数据运算能力传输能力算法能力存储能力在线:参与、互动,UGC、价值共创等1.1数、数据与大数据图1我国政府网站用户跨日访问逐时访问量曲线1.1.3大数据大数据的特征1.1数、数据与大数据Gartner认为,“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。亚马逊网络服务(AWS)、大数据科学家JohnRauser认为,大数据就是任何超过了一台计算机处理能力的庞大数据量。维基百科把大数据定义为一个大而复杂的、难以用现有数据库管理工具处理的数据集。广义上,大数据有三层内涵:一是数据量巨大、来源多样和类型多样的数据集;二是新型的数据处理和分析技术;三是运用数据分析形成价值。EMC公司将大数据工作定义为“数据集,或信息,它的规模、发布、位置在不同的孤岛上,或它的时间线要求客户部署新的架构来捕捉、存储、整合、管理和分析这些信息,以便实现企业价值”。从广义上讲,大数据是从各种类型的海量信息中快速获得有价值信息的能力,人类思维和决策的方式及方法将进入更高层次,有了大数据的这种能力,人类才能真正从“智能”走向“智慧”。认知各有不同1.1.3大数据大数据的发展趋势大数据未来的发展前景非常可观,主要呈现出以下6大发展趋势:数据将呈现指数级增长数据将成为最有价值的资源大数据和传统行业智能融合数据将越来越开放大数据安全将日受重视大数据人才将备受欢迎大数据人才的五大核心能力1.1数、数据与大数据1.1.3大数据大数据的发展趋势数据价值1.1数、数据与大数据商业价值(麦肯锡任务利用大数据创造价值的方式有以下五种):创建透明度;通过试验来发现需求、暴露可变因素并提高业绩;根据客户需求细分人群;通过自动化算法替换或支持人为决策;创新商业模式、产品和服务。公共价值(在公共部门,主要存在以下5个方面的价值创造方式):创建透明度;高效服务;科学治理;科学决策;创新公共产品与服务。1.1.3大数据大数据的发展趋势数据价值1.1数、数据与大数据1.1.3大数据大数据的发展趋势数据价值1.1数、数据与大数据1.1.3大数据大数据的发展趋势数据开放1.1数、数据与大数据(二十)推进政府数据开放共享。优化经济治理基础数据库,加快推动各地区各部门间数据共享交换……等公共数据开放和数据资源有效流动的制度规范。(二十一)提升社会数据资源价值。培育数字经济新产业、新业态和新模式,支持构建农业、工业、交通、教育、安防、城市管理、公共资源交易等领域规范化数据开发利用的场景……(二十二)加强数据资源整合和安全保护。探索建立统一规范的数据管理制度,提高数据质量和规范性,丰富数据产品。研究根据数据性质完善产权性质……1.1.3大数据大数据的发展趋势数据开放1.1数、数据与大数据培育数据要素市场蓄“矿”:激励创建更多的数据源育“矿”:激励培育更多的数据源养“矿”:激励数据源的丰富与成长构建数据价值结构挖“矿”数据加工生产数据服务与供给建立数据市场规则制度规范产权流通管理1.1.3大数据大数据的发展趋势数据安全与治理1.1数、数据与大数据1.1.3大数据大数据的发展趋势数据安全与保护1.1数、数据与大数据1.1.3大数据1.1数、数据与大数据生产力大微中小生产资料国家资产结合要素掌握数据主权成为继边防、海防、空防之后另一个大国博弈的空间棱镜门;制裁中兴、华为;下架TikTok……征服和改造自然的客观物质力量人类认识自然的能力:天文、生工、AI……技术创新、服务创新、产业转型升级数据资产成为企业存亡的关键因素生产原料:生产的输入、原材料、一次产品、二次产品……让决策更科学让服务更高效让生产更精细让科研更深入大数据的重要性1.2数据科学1.2.1内涵及兴起数据科学的兴起数据科学一词在20世纪60年代就已经出现,但当时并未获得学术界的注意和认可。1974年彼得·诺尔在其著作《计算机方法的简明调研》中首次明确提出“数据科学”的含义:处理数据的科学,一旦数据与其代表事物的关系被建立起来,将为其他领域与科学提供借鉴。1996年在日本召开的“数据科学、分类和相关方法”会议,已经将数据科学作为会议的主题词。2001年美国统计学教授威廉·S·克利夫兰发表了《数据科学:拓展统计学的技术领域的行动计划》一文,认为数据科学是统计学的一个重要方向,奠定了数据科学的理论基础。彼得·诺尔1.2数据科学1.2.1数据科学的内涵及兴起数据科学的内涵目前,学术界已经对数据科学(DataScience)的内涵基本达成共识——数据科学是指以“数据”为中心的科学。它是基于计算机科学、统计学、信息系统等学科的理论,发展出的新理论,来对数据从产生与感知到分析与利用整个生命周期的本质规律进行探索与认识,是一门新兴学科。1.2数据科学2017&2018五省数据覆盖领域变化分布1.2.1数据科学的内涵及兴起数据科学的内涵可以从以下4个方面理解“数据为中心的科学”的含义:问题:是一门将“现实世界”映射到“数据世界”之后,在“数据层次”上研究“现实世界”的问题,并根据“数据世界”的分析结果,对“现实世界”进行预测、洞见、解释或决策的新兴科学。方法:是一门以“数据”,尤其是“大数据”为研究对象,并以数据统计、机器学习、数据可视化等为理论基础,主要研究数据预处理、数据管理、数据计算等活动的交叉性学科。目的:是一门以实现“从数据到信息”、“从数据到知识”和(或)“从数据到智慧”的转化为主要研究目的的,以“数据驱动”、“数据业务化”、“数据洞见”、“数据产品研发”和(或)“数据生态系统的建设”为主要研究任务的独立学科。体系:是一门以“数据时代”,尤其是“大数据时代”面临的新挑战、新机会、新思维和新方法为核心内容的,包括新的理论、方法、模型、技术、平台、工具、应用和最佳实践在内的一整套知识体系。1.2数据科学2012-2019年国内地方治理研究关键词时区趋势图谱2012-2019年国外地方治理研究关键词时区趋势图谱2010年,德鲁·康威提出了第一个揭示数据科学的学科定位的维恩图——theDataScienceVennDiagram,首次明确探讨了数据科学的学科定位问题。从学科定位来看,数据科学处于数学与统计学知识、黑客精神与技能和领域实务知识等三大领域的交叉之处,具备较为显著的交叉型学科的特点。其具备三个基本要素:理论(数学与统计学知识)、精神(黑客精神)和实践(领域实务知识)。1.2.2数据科学的学科定位“数学与统计学知识”是数据科学的主要理论基础之一。黑客精神与技能是数据科学家的主要精神追求和技能要求——大胆创新、喜欢挑战、追求完美和不断改进。“领域实务知识”是对数据科学家的特殊要求——不仅需要掌握数学与统计知识、机器学习以及具备黑客精神与技能,还需要精通某一个领域的实务知识与经验。德鲁·康威1.2数据科学数据科学主要以统计学、机器学习、数据可视化以及(某一)领域知识为理论基础,其主要研究内容包括:数据科学基础理论、数据加工、数据计算、数据管理、数据分析和数据产品开发。数据科学的研究内容1.2.3数据科学的研究内容1.2数据科学(1)基础理论主要包括数据科学中的新理念、理论、方法、技术及工具以及数据科学的研究目的、理论基础、研究内容、基本流程、主要原则、典型应用、人才培养、项目管理等。(2)数据加工为了提升数据质量、降低数据计算的复杂度、减少数据计算量并提升数据处理的精准度,数据科学项目需要对原始数据进行一定的加工处理工作——数据审计、数据清洗、数据变换、数据集成、数据脱敏、数据归约和数据标注等。(3)数据计算在数据科学中,计算模式发生了根本性的变化——从集中式计算、分布式计算、网格计算等传统计算过渡至云计算。1.2.3数据科学的研究内容1.2数据科学(4)数据管理在数据科学中,数据管理方法与技术也发生了重要变革——不仅包括传统关系型数据库,还出现了一些新兴数据管理技术,如NoSQL、NewSQL技术和关系云等。(5)数据分析数据科学中采用的数据分析方法具有较为明显的专业性,通常以开源工具为主,与传统数据分析有着较为显著的差异。目前,R语言和Python语言已成为数据科学家应用较为普遍的数据分析工具。(6)数据产品开发数据产品开发是数据科学的主要研究使命之一,具有以数据为中心、多样性、层次性和增值性等特征。数据产品开发能力也是数据科学家的主要竞争力之源。因此,数据科学的学习目的之一是提升自己的数据产品开发能力。1.2.3数据科学的研究内容1.2数据科学从整体上看,数据科学所涉及的基本流程主要包括以下6个:(1)数据化:从现实世界中收集(捕获和记录)原始数据——零次数据。(2)数据(预)处理:将原始数据(零次数据)转换为干净数据——一次数据、二次数据或三次数据。(3)探索性分析:在无(或较少)先验假定的前提下,采用作图、制表、方程拟合、计算特征量等手段,初步探索数据的结构和规律,为数据分析提供依据和参考。(4)数据分析与洞见:根据“干净数据”本身的特点和“探索性数据分析”的结果,设计/选择/应用具体的机器学习算法/统计模型进行数据分析。(5)结果展现:在机器学习算法/统计模型的设计与应用基础上,采用数据可视化、故事描述等方法将数据分析的结果展示给最终用户,提供“决策支持”。(6)提供数据产品:在机器学习算法/统计模型的设计与应用的基础上,还可以进一步将“干净数据”转换成各种“数据产品”,并提供给“现实世界”进行交易与消费。1.2.4数据科学的工作流程1.2数据科学情报能力影响关系路径分析模型数据科学工作流程弗里德里希·恩格斯(FriedrichEngels,1820—1895)在《自然辩证法导言》(IntroductiontoDialecticsofNature)中所到,思维是精神“地球上最美丽的花朵”。思维作为一种心理现象,是认识世界的一种高级反映形式。具体地说,思维(Thinking)是人脑对客观事物的一种能动的、概括的、间接的反映,它反映客观事物的本质和规律,是以表象、概念、知识与经验等为素材和基础而进行的想象、联想、直觉、分析、判断、推理等综合的认识活动。思维由思维原料、思维主体和思维工具组成。自然界提供思维原料,人脑作为思维主体,认识的反映形式形成了思维工具,三者具备才有思维活动。1.3思维范式1.3.1关于思维思维的概念1.3“思维”范式1.3.1关于思维思维的特征(1)思维的能动性所谓能动性是说,思维不是对客观事物消极的、被动的反映,而是自觉的、主动的反映客观世界。(2)思维的概括性人们在能动性的基础上产生了思维的概括性,所谓概括性是说,人脑对客观事物的反映不仅仅是对个别事物或个别特征的反映,而是把事物的共同特点归结在一起,对事物共同的本质特性及其关系的反映。(3)思维的间接性人们在概括性的基础上产生了思维的间接性,所谓间接性是说,思维不是直接反映客观事物的,而是通过其它媒介来实现的。总的来说,思维具有能动性、概括性和间接性这三大特征:1.3“思维”范式1.3.1关于思维思维的分类1.3“思维”范式按照不同的思维划分方式,思维可大致划分为以下四种类型:(1)按照思维的进程方向,思维可以划分为:横向思维、纵向思维与发散思维、收敛思维等;(2)按照思维的抽象程度,思维可以划分为:直观行动思维、具体形象思维和抽象逻辑思维;(3)按照思维的形成和应用领域,思维可以划分为:科学思维与日常思维。一般来说,科学思维比日常思维更具有严谨性与科学性。(4)按照人对事物间关系的认识层面看,思维可以划分为两大类:科学思维和数据思维。1.3.2科学思维概念理解科学思维是认识自然界、社会和人类意识的本质和客观规律性的思维活动,也是在科学探索活动中形成的、符合科学探索活动规律与需要的思维方法及其合理性原则的理论体系。它是人脑对自然界中事物的本质属性、内在规律及自然界中事物之间的联系和相互关系所做的有意识的、概括的、间接的和能动的反映。该反映以科学知识和经验为中介,体现为对多变量因果系统的信息加工过程。简而言之,科学思维是人脑对科学信息的加工活动,是主体对客体理性的、逻辑的、系统的认识过程,是科学认识及其成果在人们头脑中最概括、最抽象的积淀。从西方的发展历程来看,科学思维的主要表现有以下几个方面:1.3“思维”范式1.3.2科学思维分类如果着眼于科学思维的具体手段及其科学求解功能,那么科学思维可分为:(1)发散求解思维:是指人们在科学探索中不受思维工具或思维定式的制约,从多方面自由地思考问题答案,其中包括求异思维、形象思维和直觉思维等。(2)逻辑解析思维:是指人们在科学探索中自觉运用逻辑推理工具去解析问题,并由此推得问题解的思维方法,其中包括类比思维、隐喻思维、归纳思维、演绎思维和数理思维等。(3)哲理思辨思维:是指人们在科学探索中运用不同程度的思辨性哲学思维去寻求问题答案,其中包括次协调思维、系统思维和辩证思维等。如果从人类认识世界和改造世界的思维方式出发,科学思维又可分为:(1)理论思维(TheoreticalThinking):又称逻辑思维,是指通过抽象概括,建立描述事物本质的概念,应用科学的方法探寻概念之间联系的一种思维方法。(2)实验思维(ExperimentalThinking):又称实证思维,是通过观察和实验获取自然规律法则的一种思维方法。它以观察和归纳自然规律为特征,以物理学科为代表。(3)计算思维(ComputationalThinking):又称构造思维,是指从具体的算法设计规范入手,通过算法过程的构造与实施来解决给定问题的一种思维方法。1.3“思维”范式1.3.2科学思维:理论思维理论思维理论思维,又称为逻辑思维(Logicalthinking)。研究起源于希腊时期,集大成者是苏格拉底、柏拉图、亚里士多德,他们基本构建了现代逻辑学的体系。之后又经过众多逻辑学家的贡献,例如莱布尼茨、大卫·希尔伯特等,使得逻辑学成为人类科学思维的模式和工具。逻辑思维,是思维的一种高级形式,是人们在认识事物的过程中借助于概念、判断、推理等思维形式能动地反映客观现实的理性认识过程。常称它为“抽象思维(Abstractthinking)”或“闭上眼睛的思维”。逻辑思维要符合一些原则:第一是有作为推理基础的公理集合;第二是有一个可靠和协调的推演系统(推演规则)。任何结论都要从公理集合出发,经过推演系统的合法推理,得出结论。!第一代AI(20世纪60年代-70年代)正是基于逻辑思维的计算化。概念理解苏格拉底之死1.3“思维”范式柏拉图《理想国》1.3.2科学思维:理论思维理论思维(1)分析与综合:分析是在思维中把对象分解为各个部分或因素,分别加以考察的逻辑方法。综合是在思维中把对象的各个部分或因素结合成为一个整体加以考察的逻辑方法。(2)分类与比较:根据事物的共同性与差异性就可以把事物分类,具有相同属性的事物归入一类,具有不同属性的事物归入不同的类。比较就是比较两个或两类事物的共同点和差异点。通过比较就能更好地认识事物的本质。(3)归纳与演绎:归纳和演绎是人们把握事物两种相反的思维方法。归纳是由个别上升到一般的思维方法,是由个别到特殊向一般的运动。演绎则是由一般性的原则到个别性的结论的方法,是由一般到特殊向个别的运动。(4)抽象与概括:抽象就是从对象中抽取它的本质属性,形成概念、判断、推理等的思维形式,以反映事物的本质和规律。概括是一种在思维中从单独对象的属性推广到该类事物的全体思维方法。基本方法1.3“思维”范式1.3.2科学思维:实验思维理论思维实验思维,又称为实证思维(ExperimentalThinking)。实证思维起源于物理学的研究,集大成者的代表是伽利略、开普勒和牛顿。所谓实证思维,主要是指人作为主体在探求事物运动的本质、规律过程中凝结而成并发挥其功能的,具有客观性和实证性追求的思维形式。它是在科学发展的漫长历程中形成的,然而一旦形成即对人具有某种先验性,成为人们认识和评价事物的相对固定的思维模式。实证思维要符合三点原则:第一是可以解释以往的实验现象;第二是逻辑上自洽,即不能自相矛盾;第三是能够预见新的现象。实证思维的结论必须经得起实验的验证。概念理解开普勒1.3“思维”范式政府数据开放态势1.3.2科学思维:实验思维理论思维(1)客观实证思维方与逻辑推演思维方式基本形式(2)具体科学思维方式与科学理论思维方式(3)行为预期思维方式与反馈实效思维方式客观实证思维方式逻辑推演思维方式行为预期思维方式反馈实效思维方式1.3“思维”范式1.3.2科学思维:计算思维理论思维计算思维这一概念最早是由麻省理工学院(MassachusettsInstituteofTechnology,MIT)的西蒙·派珀特教授于1996年提出的,但是把这一个概念推广发展,成为现在受到广泛关注的代表人物是美国卡内基梅隆大学的周以真(JeannetteM.Wing)教授。计算思维提出了面向问题解决的系列观点和方法,以抽象化和自动化,或者说以形式化、程序化和机械化为特征的思维形式。目前国际上广泛使用的计算思维概念是由周以真提出的,即:计算思维是运用计算机科学的基础概念去求解问题、设计系统和理解人类行为的涵盖了计算机科学之广度的一系列思维活动。计算思维直面机器智能的不解之谜:人类在什么方面比计算机做得好?什么方面计算机比人类做得好?最基本的问题是:什么是可计算的?概念理解周以真1.3“思维”范式1.3.2科学思维:计算思维理论思维(1)计算思维是一种递归思维,它是并行处理的。它是把代码译成数据又把数据译成代码。它是由广义量纲分析进行的类型检查。它评价一个程序时,不仅仅根据其准确性和效率,还有美学的考量,而对于系统的设计,还考虑简洁和优雅。(2)计算思维是一种抽象和分解思维,它是选择合适的方式去陈述一个问题,或者是选择合适的方式对一个问题的相关方面建模使其易于处理。(3)计算思维是从最坏情形恢复的一种思维,按照预防、保护及通过冗余、容错、纠错的方式。它称堵塞为“死锁”,称约定为“界面”。计算思维就是学习在同步相互会合时如何避免“竞争条件”(亦称“竞态条件”)的情形。(4)计算思维是一种利用启发式推理来寻求解答的一种思维,就是在不确定情况下的规划、学习和调度。它就是搜索、搜索、再搜索,结果是一系列的网页,一个赢得游戏的策略,或者一个反例。计算思维利用海量数据来加快计算,在时间和空间之间,在处理能力和存储容量之间进行权衡。基本方法1.3“思维”范式1.3.3统计思维理论思维自觉运用数学和统计学的理论和方法,对客观事物和现象的数量特征及数量关系进行正确的描述和科学的分析,从而认识其本质,把握其发展变化的规律性,这种高层次的结合性思维方式即统计思维。统计思维从属于一般思维,是人脑和统计学原理、方法、统计学工具交互作用并按照一般思维规律认识各类现象的内在的批判性思维活动,它的目的在于阅读、制作、计算、理解、以及批判日常生活中所遇到的统计信息的能力。统计思维的研究对象是各类现象的数量差异以及可数量化的属性差异,其中包括自然现象、社会现象、客观事物的数量变化,自然现象的数量方面,如洪水每秒流速;社会现象如出生率;客观事物的数量方面,如产品的优质品率。统计思维最终要指导人们如何和数据打交道,解决客观现实问题。概念理解1.3“思维”范式1.3.3统计思维理论思维统计思维集分类和比较、归纳和演绎、分析和综合、抽象和具体等多种思维性于一体。它既是思维方式,又是行为方式、工作方式、决策方式。它至少有以下9大特点:基本特点数量性:统计思维是以定量分析为主的思维方式,它关心、注重事物的数量方面。总体性:统计思维是对事物总体数量特征的认识,它要研究的是事物的总量、总规模、总体平均等。客观性:统计思维以事物客观的、真实可靠的数量表现为分析的依据,力求得出的结论客观准确。历史性:统计思维总是将事物的过去、现在和将来结合起来分析,来探究发展变化的规律。对比性:统计思维总喜欢对事物或现象的数量特征进行比较,目的是为了观测和揭示研究对象在数量上的差异。综合性:统计思维对客观事物从整体上加以考察和研究,得出综合性结论。具体性:统计思维的对象是现象在一定时间、地点、条件下的数量表现,是具体的。创造性:统计思维具有自觉连贯、综合、比较、预测等创造性思维的特点。实用性:统计思维为人类认识事物,把握事物变化规律提供了捷径,具有广泛的实用性1.3“思维”范式1.3.3统计思维理论思维三大要素(1)过程思维要素任何现象的发展变化都表现为由量变到质变和质变到量变的互变过程,不同现象变化过程的轨迹、速率、振幅各不相同。横向看,任何过程都是由一系列相互联系、相互影响的因素共同作用促使其变化的。纵向看,过程是由不同的阶段组成的,大量的问题产生于过程,控制问题产生的关键在于控制过程。(2)允许波动要素波动是任何现象发展过程中不可避免的,在过程控制中,一定限度内的波动应被允许,同时也要求决策目标的制定要有弹性。波动的存在一方面表明事物的发展偏离了理想状态,另一方面也表明有改善的机会和方向。波动的特征利用得好具有杠杆效应,能使事物的发展在向有利方向转化中起到事半功倍的效果。(3)数据说话要素基于事物发展过程有波动的认识,大量描述数据的获得是有意义的。不同数据的获取直接影响到过程控制的有效性,因而指标或标志的选取要尽可能刻划事物发展的本质特征。数据的获取在满足全面、及时、可靠的条件下尽可能成本最小。1.3“思维”范式1.3.3统计思维理论思维基本内容传统的统计思维基本上包括三个部分:“资料收集”、“资料分析”以及“统计推断”。(1)资料收集:指的是想了解的整体(称之为母体)资料太庞大,所以透过统计方法去取得有用的样本。在统计上发展出了“实验设计法”(Designofexperiment)和“统计抽样方法”(Samplingsurvey)两大方法。(2)资料分析:指的是将已经取得的资料,加以分析、研究,甚至建立模型,主要工作内容在于PointEstimation(点估计)、HypothesisTesting(假设检验)、ModelBuilding(建模)以及Forecasting(预测)。(3)推断统计:指的是经过统计分析建模之后,可以用来优化(optimization)和预测(prediction),并加以探讨此推断的可靠性如何。1.3“思维”范式1.3.4数据思维理论思维数据思维(ThinkinginDataorDataThinking),这个概念虽然很早就有,但直到近几年,随着大数据技术的飞速发展,又重新回到了思维认识的高度。简单来讲,大数据时代下的数据思维就是一种收集、生产、处理大数据,发现大数据的价值,并应用大数据来观察世界、思考问题、分析问题、解决问题的一种思维模式。它是一种量化的思维模式,是重视事实、追求真理的思维定式。是基于多源异构和跨域关联的海量数据分析产生的数据价值挖掘思维,进而引发人类对生产和生活方式乃至社会运行的重新审视。大数据时代的数据思维是应用数据科学的原理、方法、技术解决现实场景中的问题的思维逻辑。衔接了数据原理与大数据技术,在今天的科学问题场景中作为一种思考问题的工具。概念理解1.3“思维”范式1.3.4数据思维理论思维这两种思维方式,一直伴随着人类的生活和生产,无处不在,缺一不可。因为人类会自觉不自觉地创造一些理论和模型来“解释”通过数据思维发现的“结论”,并在此基础上做进一步的预测和分析。但我们并不能将数据思维等同于科学思维,或者认为科学思维包括数据思维,二者之间存在着本质差异:数据思维与科学思维(1)认识层面不同从对事物间关系的认识层面看,数据思维注重事物间的相关关系,科学思维注重事物间的因果关系。(2)研究范式不同伴随大数据产生的数据范式,是继理论范式、实验范式和计算范式之后的第四种科学研究范式,这一研究范式的特点表现为:不在意数据的杂乱,而强调数据的量;不要求数据精准,而看重其代表性;不刻意追求因果关系,而重视规律总结。1.3“思维”范式1.3.4数据思维四种研究范式对应的思维方式研究范式思维方式应用学科呈现的基本对象采用的基本方式理论范式理论思维(逻辑思维)理论科学符号、定义、公式、公理、定理演绎、推理实验范式实验思维(实证思维)实验科学定义、定律(规律)、现象、实验、定理设计、再现、模拟、观察、归纳、分析计算范式计算思维计算科学符号、算法(程序)、模型、系统抽象(离散化、符号化、模型化)、自动计算(程序化)数据范式数据思维数据科学大数据(无结构、半结构、巨大规模<至少为T级,T=1024G>)计算(统计、分布、并行)1.3“思维”范式1.3.4数据思维理论思维大数据时代下的数据思维与传统统计思维类似,都是对真实世界数据进行正确描述和科学分析,从而揭示事物的本质,并把握其发展变化的规律。然而,由于大数据自身的特点,数据思维与传统统计思维又有着本质的差异。(1)研究目的不同在传统统计工作中,确证性研究是长期以来的主要目的之一。基于事物间的相关性、先验信息,以及统计推断方法,进行因果关系的初步研究。大数据主要应用于探索性研究,其主要核心是建立在相关关系之上,排除人为假设,挖掘数据深处的意义,获得更多的认知与洞见,进而可以科学地预测。(2)研究对象不同传统统计思维模式下进行数据处理时,以概率论为基础,根据样本特征推断总体特征。这种方法推断是否正确取决于样本的代表性。数据思维强调的是使用全体数据,大数据中的概率不再是事先设定,而是基于实际分布得出。数据思维与统计思维1.3“思维”范式1.3.4数据思维理论思维数据思维与统计思维(3)获取数据的方式不同传统研究中以“定向型信息”为主,即人们通过设计调查表主动收集数据,逐个进行收集、整理。而在大数据时代以“发散型信息”为主,即对数据来源和产生者无过多的要求,亦非为了特定事物收集目的而产生。(4)数据的性质不同传统统计数据具有样本量小,信息量丰富,针对性强,准确度高等性质。而数据思维则不同,主要体现在两个方面:高度容错机制和高度非结构化。(5)分析方法的要求不同在传统统计思维中,研究方法较为单一,主要依据统计方法,精确建模。分析思路是“假设→验证”。大数据以数据挖掘及智能算法为主要研究方法,快速、高效,且容错能力强。分析思路是“发现→总结”。1.3“思维”范式1.3.4数据思维理论思维大数据时代下的数据思维与传统思维的差异本质,来自于大数据本身所具有的特点,即规模大(Volume)、类型多(Variety)、速度快(Velocity)、价值大(Value)和全数据(FullData),这些特性使得大数据区别于传统的数据概念,从而也使得数据思维区别于传统思维,其第四研究范式也与前三种研究范式有着本质差异。数据思维与传统思维1.3“思维”范式1.3.4数据思维理论思维数据思维与传统思维1.3“思维”范式结合右图,谈谈如何:1)从数据到发现问题?2)从数据到解决问题?粉丝数阅读量打开率转发率朋友圈打开率涨粉2021年7.13-8.4德尔塔疫情扩散过程?讨论与实践1、结合对网络世界的观察,阐述数据、大数据的概念、特征及对其的认识。2、结合自己的专业领域,阐述数据科学的知识体系与基本工作流程。3、阐释数据思维与传统思维的联系与区别。4、谈谈你对四种科学研究范式的理解与认识。5、调查分析近三年数据科学领域主要学术期刊上发表的论文及其研究热点内容。!!!请任选两题作答,于下周一前提交Word版给助教,文件标题:姓名-学号。考核及讨论参考资料理论思维[1]朝乐门.数据科学[M].北京:清华大学出版社,2016.[2]好奇心研究所.一分钟内互联网都发生了什么[EB/OL]./a/193564123_616077,2017-09-21.[3]麦肯锡全球研究所.《大数据:下一个创新、竞争和生产力的前沿》[R].美国:麦肯锡全球研究所,2011.[4][英]维克托•迈尔•舍恩伯格,肯尼思•库克耶著.大数据时代:生活、工作与思维的大变革[M].盛杨燕,周涛,译.杭州:浙江人民出版社,2013.[5]涂子沛.数据之巅[M].北京:中信出版社,2015.[6]朝乐门,卢小宾.数据科学及其对信息科学的影响[J].情报学报,2017,36(08):761-771.[7]张萍.论逻辑思维在创新过程中的作用[J].学术交流,2016(03):136-140.[8]蒋宗礼.计算思维之我见[J].中国大学教学,2013(09):5-10.[9]李廉.计算思维——概念与挑战[J].中国大学教学,2012(01):7-12.[10]陈超,沈思鹏,赵杨,陈峰,魏永越.大数据思维与传统统计思维差异的思考[J].南京医科大学学报(社会科学版),2016,16(06):477-479.[11]新玉言.大数据:政府治理新时代[M].北京:台海出版社,2016.参考资料THANK谢谢!Thinkingindataisawayofthinkingthatcollectsandprocessesbigdata,discoversthevalueofbigdata,andappliesbigdatatolookatproblemsandsolveproblems.Itisaquantitativemodeofthinking,amindsetthatvaluesfactsandpursuestruth.《数据思维》Thinking

in

Data主讲:胡广伟

教授南京大学信息管理学院第二章数据思维基础CONTENTS内容数据思维的产生2.1数据思维的范式2.2数据思维的特点2.3数据思维的局限2.4数据思维的应用2.5数据行为2.6思维的固化通常遵循探索发现、规律涌现和系统成型3个阶段:从实践到认识,成为上升性思维的过程,反映为人们把握数据的资源特性、发掘价值的阶段;从认识到发展,成为求解性思维的过程,反映为在数据创新中总结模式、应用于实践并不断拓展数据应用创新范畴的阶段;从发展到系统,成为决判性思维的过程,反映为全面提升规律、形成一般性思维活动指南的阶段,从方法论上为大数据应用实践提供理论依据和指导。大数据思维工具时代下数据思维的产生,或者说是得到重视,主要是由于思维的组成三要素:思维原料、思维主体和思维工具在大数据时代发生了质的改变,从而推进了思维方法及思维时空的变革与更新。2.1数据思维的产生思维的产生2.1数据思维的产生思维工具的变化显微镜思维主体的变化小魏思维原料的变化细胞及影响因素思维形式的变化控制变量法数据思维的产生主要源于四个方面的变化:思维原料的变化思维主体的变化思维工具的变化思维形式的变化产生的原因2.1数据思维的产生2.1数据思维的产生例:小魏用控制变量法研究影响细胞失水的因素。思维原料,即思维客体从对象、领域、研究重心、内部结构等诸多方面产生了不容忽视的变化。思维领域和对象增加伴随着科学技术的广泛应用,人们对客观世界从认识到深刻认识逐级递增,实践活动能力也不断提高,思维对象从微观领域直接跃至宇宙观领域;认知对象从物质、能量扩展到物质、能量和信息;科学相互贯穿出现了新的综合学科、横断学科和交叉学科。2.1.1思维原料的变化2.1数据思维的产生思维客体内部结构的全新认识思维客体研究重心转移大数据时代呈现的大多数客体对象的内部结构并不存在传统意义上的平衡和有序,而是以混沌、错杂且无序的形态存在,这让我们对客体内部结构的无序性有了一种全新的认识。思维客体从简单、单一演变成复杂、多层次,迫使人们不得不将原有思维摒弃,发展富有整体和多角度特性的综合性思维方式来迎接复杂多变的思维客体。信息论、控制论和系统论等新型研究理论逐渐诞生,人们开始转移注意力到功能、系统、秩序、行为、层次、反馈、结构等全新的内容,面对更多样化、多层次化和交叉化的复杂研究对象。思维主客体均表现出综合性、系统性、复杂性和多样性等部分或全部特点,要求我们必须改变原有思维方式来顺应时代发展,有效运用多方位、深层次、广角度的综合思维方式,扩大思维客体的维度,全面、深刻地认识和改变世界。案例:大国邦交的复杂程度2.1.1思维原料的变化2.1数据思维的产生

思维主体:就广义而言,思维活动发起者、控制者和担当者的角色都由社会化的人类扮演,这种深处社会关系之中的人类就是思维活动的主体;就狭义而言,思维活动的主体就是某一思维活动的发起者、实行者。科技高速发展,随着思维客体变得复杂,与之对应,思维主体也在与时俱进。主要体现在以下三个方面:思维主体综合素质提高知识结构丰富。各专业学科之间相互联系、取长补短、综合利用,交叉学科、综合学科和横断学科逐步呈现,打破了原本的技术与知识分化。科学普及程度高。从原本的精英教育到现在的全民教育,人们普遍拥有科学知识,来解决生活中遇到的实际问题。知识深度逐步深化。随着科学发展,知识的积累使得后人可以站在巨人的肩膀上看继续思考,来让巨人越来越高。2.1.2思维主体的变化思维主体综合素质提高;思维主体集体化、社会化;思维主体从个人变成“人机”结合。

2.1数据思维的产生思维主体从个体变为人机结合人作为思维主体的限制:包括智力方面的计算能力,综合能力,记忆能力,还有非智力因素的体力与健康状况等。无论是能力还是效率,计算机有着人无法比拟的效率。这并不意味着机器拥有思维,而是将计算机作为人大脑及触觉的延伸,从而提升人作为思维主体的能力。思维主体集体化、社会化传统思维模式下,思维活动主要以单个个体为单位独立进行。随着社会发展愈发复杂,科学体系逐渐确立,科学研究以及社会决策不再是个人所能承担,思维主体也从个体逐步迈向集体。集体化、社会化的思维主体不是思维个体的简单组合,而是综合协作形成的有机结合体。01综合能力计算能力记忆能力体力2.1.2思维主体的变化0203042.1数据思维的产生计算机帮助人们摆脱了复杂而繁重的计算难题;实验工具、运算工具、观察工具等思维工具被和广泛应用于科学研究;数据处理设备、正负电子对撞机、加速器和各类探测器,才能打开微观世界的大门进行深入的探索研究;微博、微信等通讯工具大大拉近了不同人与人之间的距离。思维工具的改变思维工具变化与思维原料的变化总是相互促进的关系,原料变化提出了新的工具需求,工具变化又拓展了思维原料的范围。将人类的思维活动进行细分,思维客体是信息来源,思维主体是人类思维的转化系统,而思维工具则是信息加工和控制的技术手段和方法,包括某些具体的思维方法、物化手段。结绳计数算盘打孔制表机现代计算机例:计算工具的发展2.1.3思维工具的变化2.1数据思维的产生光电效应核思维技术的改变现代科术革命不断深化,信息技术、微电子技术、激光技术、生物技术、海洋技术等代表性极强的高科技技术,大大突破了传统的科学技术手段。例:量子力学的发展量子力学与相对论并成为现代物理学的两大支柱,是描述原子和亚原子尺度的物理学理论。正是由于量子力学的发展,改变了人们对物质组成成分的认知,从此科学认知拓展到了原子领域。量子力学的科学技术给生活带来的改变是巨大的。2.1.3思维工具的变化2.1数据思维的产生思维方法的改变新思维方法和理论陆续出现。结构功能方法、控制变量法、数学模型法、比较法、统计方法、等效法、信息方法等新的思维方法使人类思维活动变得更加科学、更加严密、更加准确。全新的系统工程和统筹法等方法为确定目标、构建模型、研究系统等提供了系统的、规则的具体操作流程,给人类提供了解决大型而复杂的系统课题的有效方法,把成分分析研究、系统整体考察和系统各个要素密切结合,使思维活动效率得到了极大的提高。思维时空的改变事物总是发展变化的,同样事物间也存在诸多联系,这要求我们在思考中保证研究问题时间与空间上的完整性。今日的世界就是一个无论经济还是信息都全球化的世界,即使有着不同的文化习俗、种族信仰、民族和国家都将紧密联系在一起,组成一个错综复杂的体现。生产、分配、交换,科研发展以及技术发展等许多因素组成复杂而庞大的社会化大生产体系,这一体系动态变化且持续循环。为此要求人们必须站在新的高度,以新的时空观来了解掌控科技的现状和发展趋势。一个严谨复杂的综合体系随着科技水平的提高逐渐形成,它的探究领域既包含宏观领域和微观领域,也渗入到浩瀚的海底世界和遥远的太空。这要求思维方法与思维时空的革新。2.1.4思维形式的变化2.1数据思维的产生2007年,图灵奖获得者JimGray提出了科学研究的第四范式——数据密集型科学发现(Data-intensiveScientificDiscovery)。科学范式经历了经验科学范式、理论科学范式、计算科学范式来到了数据密集型科学发现范式。科学研究范式偏重于经验事实的描述和明确具体的实用性的科学;以归纳为主,带有较多盲目性的观测和实验;后发展为寻找因果联系的科学归纳法。实验科学范式指人类对自然、社会现象按照已有的实证知识、经验、事实、法则、认知以及经过验证的假说,经由一般化与演绎推理等方法,进行合乎逻辑的推论性总结;理论科学的主要研究模型是:数学模理论科学偏重理论总结和理性概括,以演绎法为主,不局限于描述经验事实。理论科学范式侧重数据模型构建、定量分析方法以及利用计算机来分析和解决科学问题;计算科学的主要研究模型是:计算机仿真和模拟。计算科学范式先有了大量的已知数据,然后通过计算得出之前未知的理论;第三范式是“人脑+电脑”,人脑是主角;而第四范式是“电脑+人脑”,电脑是主角。数据密集型科学发现范式2.2数据思维的范式2.2数据思维的范式基于数据密集型研究的第四范式作为科学研究的方法论,可以通过大数据技术手段,借助计算机数据采集分析与处理能力,提升问题处理的速度;通过互联网、物联网、计算机软件作为数据开放、共享与合作的平台,使得信息的搜索在更广的范围内达到了精确性的要求;通过对数据处理能力的变革,借助计算机技术手段,在搜索引擎与数据管理软件中增强语词关联、语义搜索的功能,提供了相关文本与数据库的关联,使科学研究能够更加合理地、有效地进行跨领域的交流拓展。第四范式是一种科学方法论2.2.1科学方法论2.2数据思维的范式基于数据密集型研究的第四范式作为科学研究的方法论,可以通过大数据技术手段,借助计算机数据采集分析与处理能力,提升问题处理的速度;通过互联网、物联网、计算机软件作为数据开放、共享与合作的平台,使得信息的搜索在更广的范围内达到了精确性的要求;通过对数据处理能力的变革,借助计算机技术手段,在搜索引擎与数据管理软件中增强语词关联、语义搜索的功能,提供了相关文本与数据库的关联,使科学研究能够更加合理地、有效地进行跨领域的交流拓展。第四范式是一种科学方法论某学生的科学研究思维2.2.1科学方法论2.2数据思维的范式在传统的科学研究中,是以研究目的为先,再去搜集数据,认识论往往是“基于知识”的,即从“大量实践(数据)”中总结和提炼出一般性知识(定理、模型、模式、函数等)之后,用知识去解决(或解释)问题。因此,传统问题解决思路是“问题→知识→问题”,即根据问题找“知识”,并用“知识”解决“问题”。“基于知识”的认识论问题知识问题2.2.2科学认识论2.2数据思维的范式在大数据时代,我们是先得到了数据,后发现其中的规律,兴起了另一种认识论——“问题→数据→问题”,即根据“问题”找“数据”,并直接用“数据”(不需要把“数据”转换为“知识”的前提下)解决“问题”。大数据的数据规律就是从过去所发生的海量数据中发掘出来的,再用数据库中的经验数据来检验,得到了证实就是真命题,得到了证伪的就被我们抛弃。因此,我们可以利用大数据来发现规律,指导现在,预测未来。“事实上,预测越准确,引起的反应就越多。因此,矛盾的是知道的越多,能预测的反而越少。”“基于数据”的认识论问题数据问题2.2.2科学认识论2.2数据思维的范式

开放是大数据得以存在和发展的首要条件和本质特性,政府、企业和个人需要克服封闭和保守思想,树立数据开放、共享和共赢的意识。数据只有在不断应用中才能增值,通过各方数据的协同创新,才能产生聚变效应。开放

数据思维下的行动范式是对大数据创新活动的概括提炼,主要包括开放、采集、连接和跨界4种行动范式。现在广泛使用的全球卫星定位系统(GPS)最先是美军发明,并用于军事。1983年,美国政府将GPS向公众开放使用,并且在2000年后取消了对民用GPS精度的限制。GPS数据开放后,带动了一连串的生产和生活服务创新,从汽车导航、精准农业耕作到物流、通信等,盘活了数据资产。2.2.3科学行动范式2.2数据思维的范式政府数据开放是现阶段社会各界的共同吁求,我国政府数据开放最早始于上海市,2012年,上海市政府数据服务网的建立,近几年在社会的呼吁下,各地政府也紧跟发展趋势,开放政府数据。下面是贵州省数据开放平台(/index_black.html)的概况:政府数据开放2.2.3科学行动范式2.2数据思维的范式(1)数据量激增的直接原因就是数据采集增加全球数据量以指数激增,这首先得益于存储技术与采集技术。我们所提及得数据量,就是所采集到的数据总量。聊天,日常举止,滚滚江水,风云变幻等都被以日志、视频、水文数据、气象数据采集存储,即数据因采集而增加。(2)采集源于价值为什么要采集数据呢?数据积累会产生价值。采集2.2.3科学行动范式2.2数据思维的范式以餐饮业为例:

餐饮业的核心在于获得稳定的客源,而这一过程需要菜品、服务、管理等一系列的优化。

绑定会员卡记录顾客消费行为和消费习惯,记录顾客点菜和结账时间,记录菜品投诉和退菜情况,形成月度、季度和年度数据,进而判断菜品销量与时间的关系、顾客消费与菜品的关系等,为原材料和营销策略等方面的调整提供决策依据。以各类地图软件为例:现在市场上主流的地图软件,包括百度地图、高德地图、搜狗地图等,其最核心的业务是提供位置查询与路线指引服务。而后,该类软件连接了GPS数据,开始提供实时导航服务;连接了商店、餐馆、景区等数据,提供更深度的信息查询;连接了点评数据,为用户查询提供筛选条件等。通过不断建立各类数据的连接,使得平面地图逐渐立体化,将真实世界打造成虚拟空间,从而带来了无尽的新业态。连接与跨界2.2.3科学行动范式数据间连接越多,连接越快,越容易打通数据的价值链,发掘数据的价值。这种连接反映在数据上为数据的关联,反映在数据所属领域成为跨界。2.2数据思维的范式数据思维主要包括整体性、价值性、量化性、动态性与相关性五个方面特点。思维的比较数据思维整体性、价值性、量化性、动态性,相关性统计思维数量性、总体性、客观性、历史性、对比性、综合性、具体性、实用性科学思维理论性、逻辑性、系统性、创造性2.3数据思维的特点2.3数据思维的特点与整体性相对应的是局部,在研究方法上反应为样本数据与全数据。对全数据的需求一直存在,以往限于技术方法等限制无法实现,因而选用抽样调查来预估整体,这就有了两个误差。(1)技术性误差无论局部具有多高的代表性,都无法真实反映出总体的状况,即便是以最合理的方法选择样本也无法实现,况且这种最合理本身就无法保证。(2)操作性误差

样本的选择会随操作者的差异而有所不同,所得结论就无法完全一致,况且并非每个人都够能够保证样本的选取足够合理,其带来的误差也难以预估。由于抽样的不足,社会科学的科学性受到来自其他学科的质疑,用抽样方法分析整个人口的情况,正确率可达百分之九十几,但也许正是忽略的百分之几可能会完全颠覆已有结论。全数据的呼吁越发上升。抽样的不足2.3.1数据思维的整体性2.3数据思维的特点传统因记录、储存和分析数据的工具不够好,故只能收集少量数据进行分析,这也是技术限制,而非方法问题。但现在随着信息技术的进步,可以轻易获得海量数据,数据存储、处理和分析技术也发生了翻天覆地的改变,选择收集全面而完整的数据进行分析有助于深入地透析数据,抽样则无法达到这种效果。全数据趋势全数据的优势:能够真实反映整体,消除了样本缺失的误差。2.3.1数据思维的整体性例:普查的必要性我国三大普查分别为人口普查、经济普查、农业普查,人口普查,分别每个十或六年一次,来了解全国的状况,之所以分开进行,一是普查需要耗费大量的人物力、财力,统计局人员有限且需要充足时间策划。拿到数据后需要经过更长时间的深入分析。讨论:普查如此铺张耗费,为什么一定要普查?2.3数据思维的特点“不论有形之物还是无形之物,一切皆可量化。”大数据时代“价值捕手”道格拉斯·W·哈伯德(DouglasW.Hubbard)在《数据化决策》中的名句。量化更准确的说是数据化。一切皆可数据化,如行为可以文本、视频等数据进行记录。量化是分析的基础。一切皆可量化案例:沙钢数据化

江苏沙钢集团有限公司是目前国内最大的电炉钢和优特钢生产基地。2013年,沙钢斥资上亿元更新仪表等用于量化收集数据,从而实现了实时数据与业务数据高效一体化管理,钢铁企业节能管理,提升了能源调度智能化水平。2.3.2数据思维的量化性2.3数据思维的特点数据思维的互联性源于事物泛在的相关关系,任何一个事物都有其内部结构,且与同一系统内的其他事物存在广泛的联系,这种泛在的相关关系要求在面对问题时具备相关思维。相关性思维将事物与其周边事物联系起来进行考察,既注重内部各部分数据之间的相互作用关系,又重视大数据与其外部环境的相互作用关系,通过数据的重组、扩展和再利用,突破原有的框架,开拓新领域,发掘数据蕴含的价值。泛在的相关性互联性由于事物间泛在的相关性,可以进行数据的关联分析。充分运用最新技术手段,对于各个领域进行信息全面定量采集以及信息互通,打通信息间隔阂,并进行全新的信息整合,实现分析实用性及数据科学性,创造更具价值的数据应用和信息资产。2.3.3数据思维的互联性2.3数据思维的特点“数据是21世纪的石油”这句话已经充分说明了数据的价值。20世纪石油是发展的主要推动力,各行各业的发展都需要石油作为燃料,在21世纪,数据将超越石油,成为与国土等资源相并称的国家战略资源。随着数据思维的不断开发和研究,其运用不仅在处理数据分析上实现高效,也对于事件及数据的预测上实现了精准并具有概率性的分析结果,使得数据的价值一步步为人瞩目。数据即价值案例:数据产生价值

浪潮GS助力广安集团建立一猪一ID,实现食品安全可追溯。即给每一头养殖的生猪一个身份标识号,从养殖开始到销售结束,伴随生猪的整个生命周期。这种技术可以及时锁定每头生猪的生长情况、消耗情况、日常护理、预估出栏日期、预估重量、销售去向等确切的数据,可以在养殖过程中追踪生猪的日常数据变化情况,当出现异常时可以锁定生猪所在区域的其他生猪是否受到影响,以及出现病害后的治疗跟踪等,避免由于病害带来的成本损失;另外,对生猪进行单件管理,还可以区别不同品种生猪的对比情况,也可以根据某些问题发生的概率去分析是个体情况还是群体问题,为企业后期的方向和决策提供有力的数据支撑,实现食品安全问题可追溯,也避免了不必要的纠纷。2.3.4数据思维的价值性2.3数据思维的特点

世界事物的本原是以多维状态和层次形态呈现,传统的静态思维只是一维结构,无形中制约了人类对数据价值的判断和更高层次的认知。

采用动态观点在同一时间从多个角度看问题,则可以正确看待各类数据存在的价值。这种模糊、非确定、灵活且立体型的思维决定了在多个维度上,事物亦此亦彼,亦黑亦白,即没有绝对的对错判断,必须结合具体问题和背景环境才能做出对错判断。数据思维摆脱了静态思维的束缚,从动态视角多维且多层次认知数据的价值,从而进一步接近事实真相,更全面认识世界。动态性2.3.5数据思维的动态性2.3数据思维的特点大数据环境下,数据成为驱动经济和社会发展的“新能源”,并创造出更大的经济和社会效益。在这样的大背景下,“量化一切”、“让数据发声”成为时代口号,人们更加重视“全数据而非样本”的整体性思维,追求“量化而非质化”的量化思维,强调“相关性而非因果性”的相关性思维。然而,对数据思维各方面特性的过度强调,甚至摒弃传统思维,又产生了一系列新的问题。其中最为突出的问题包括:

(1)全数据模式的幻像;

(2)量化思维的焦虑;(3)相关性的过度崇拜。数据思维过热2.4数据思维的局限2.4数据思维的局限2.4.1全数据模式的幻像随着各种传感器和智能设备的普及,能对事物实现实时的监测和数据的采集、传输,获取到事物的数据不只是样本数据,而是全部数据,这种模式被称之为“全数据模式”。然而全数据模式在一个维度上尚且容易,但多维度往往难以实现。并且,“数据孤岛”的客观存在,使“全数据模式”的实现受到一定的限制。要实现“全数据模式”,其重要前提是实现数据开放与共享。(1)数据跨行业、跨部门流动仍未真正实现;

(2)数据交易市场的兴起在一定程度上加剧了“数据孤岛”的形成;(3)企业对接速度慢、数据更新速度快,使“数据孤岛”问题突出。全数据之难2.4数据思维的局限即使我们确实收集了所有数据并用技术对其进行分析,那也只能把握点与点之间的关系,或者把握局部的相关性。但这不代表能获得事物发展的普遍性规律和趋势。

假设我们搜集到了广泛关联的全部数据,实现了点到线甚至于面的数据规整,我们面对这些数据,有用什么方法与技术来分析呢?即技术限制了全数据模式的发展。全数据分析之难“全”的误区数据的关键价值并不在于“大”和“全”,而是在于“有用”。全数据模式的追寻会造成这样两种错觉:只要能获取全部数据,就能挖掘更多的数据价值。或者:一定要获得全部数据,才能挖掘更多的价值。从而陷入“非全不可”的误区。2.4.1全数据模式的幻像2.4数据思维的局限大数据时代下,自然界和人类社会的一切现象和行为变化被数据化,“量化一切”成为现实可能。在物的数据化同时,我们需要注意量化思维存在的几个问题。本体与方法的混淆

“世界的本源是数据”这是在数据热潮中被提出的新思想,数据与真实世界的关系认识有所偏失;数据是对人们社会生活的感性对象性活动这一客观存在的量化反映,而“量化一切”正是在大数据时代下提出的认识事物的一种理想方法。“量化一切”的主要目的是基于人们过去的感性对象性活动所产生的数据进行采集、传输、存储与分析,实现干预和引导人们的行为。个人行为“被选择”

大数据分析预测的对象也许是个不错的选择,但不一定是合适的或最佳的选择,而且这种预测其实对个体的选择自由已经产生了一定的影响。

假设:当《非诚勿扰》的功能被一个系统所代替,系统根据你全方位的数据为你推荐最合适的伴侣,以严密的逻辑计算取代了感性的选择过程,而且给你预先知道结果的人生。如何?当一切被量化2.4.

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论