硕士论文范文——大数据思维探析

山西大学 硕士学位论文大数据思维探析大数据思维探析作者姓名 指导教师 学科专业 科学技术哲学研究方向 科技与社会培养单位 科学技术哲学研究中心 学习年限 年 月目 录中 文 摘 要.IABSTRACT.III引 言.1一、选题目的与意义.1二、国内外研究现状.1三、主要研究内容.4四、本文的创新点.5第一章 大数据思维的提出.61.1 时代背景.61.2 理论背景.101.2.1 计算机科学方面.101.2.2 哲学方面.131.3 大数据思维的提出.16第二章 大数据思维的特征.192.1 整体性与涌现性.192.1.1 整体性.192.1.2 涌现性.222.2 多样性与非线性.242.2.1 多样性.252.2.2 非线性.272.3 相关性与不确定性.292.3.1 相关性.292.3.2 不确定性.31第三章 大数据思维的意义.363.1 大数据生态系统.363.2 大数据安全.393.3 大数据战略.40结束语.43参 考 文 献.44攻读学位期间取得的研究成果.47致 谢.48ContentsChinse Abstract.IAbstract.IIIIntroduction.1Chapter 1 The raising of complexity as category.51.1 The background of the raising of the complexity as category .51.1.1 The historical change of scientific research.51.1.2 The three theory which associates with complexity.61.2 The raising of complexity as category .91.3 Complexity related theory.10Chapter 2 The characteristics of complexity as category.132.1 Vagueness and determinism.132.1.1 Vagueness.132.1.2 Determinism.152.2 Integrity and openness.192.2.1 Integrity.192.2.2 Openness.212.3 Objectivity and subjectivity .232.3.1 Objectivity.232.3.2 Subjectivity.252.4 Inheritance and transcendence .262.4.1 Inheritance.262.4.2 Transcendence.27Chapter 3 The significance of analysising complexity as category.343.1 The part of the answer to what is a complexity .343.2 The theory premise for clarifying the complexity thought .353.3 The theoretical foundation fot the complexity paradigm.353.4 The important methodology significance.35Conclusion.35References.35Research achievements.35Acknowledgment.35Personal profiles.35Letter of commitment .35Authorization statement.35I中 文 摘 要进入二十一世纪，大数据时代已经向我们走来。随着电子计算机领域的迅猛发展，如今我们所处的信息时代正孕育着改变，互联网的大面积普及和使用给人类社会带来了空前的数据量，学界称之为大数据。国内外学术界已经开始关注大数据现象，并进行了许多讨论和研究，涉及哲学、社会学、经济学、计算机科学等广泛领域。但是，广泛讨论几乎集中于大数据技术、应用方向及相关影响，鲜有大数据思维的背景、特征及内涵研究，本论文将对此展开探析。本论文题目是“大数据思维探析” ，故文章将围绕大数据思维提出、特征及意义进行梳理和探讨。在信息时代大发展的背景下展开问题探究，在前人已有的研究成果基础上展开哲学思考，在大数据思维实践中展开意义考察，并在文章中谨慎提出自己思考的新观点。本论文由三部分组成，分别是引言、三个章节以及结束语。引言对文章的选题背景、主旨提纲及深刻意义进行详细说明，重点介绍了文章各章节主要内容和观点。第一章对大数据思维的提出进行背景考察和概念考察。首先梳理人类历史上三次科技革命，从蒸汽机时代到电气内燃机时代，从电气内燃机时代到信息科技时代，人类的生产力经历着翻天覆地的巨大变化。之后介绍大数据概念，大数据的出现是计算机科学发展的必然，最后介绍大数据思维的提出，为第二章揭示大数据思维特征打下基础。第二章对大数据思维的特征展开深入讨论。以国内外有关论文、著述为依托，重点阐释了大数据思维的三大特征：整体性与涌现性、多样性与非线性、相关性与不确定性。第三章在实践中对大数据思维的意义进行提炼。大数据思维把人们从旧的价值观、发展观中解脱出来，复杂技术涌现与科技进步促使人们开始从大数据思维视角正确理解世界。大数据思维在这个过程和趋势中，或将建立起人类整体、多样、相关、并行的新知识观。结束语从大数据思维的提出、大数据思维的特征和大数据思维的意义等三个方向做出简要总结，并指出了大数据思维的影响向更广泛领域进发的趋势。科学技术始终是推动人类历史前进的一种进步的、革命的力量，大数据思维产生于当代人类科学技术研究的前沿，我们需要厘清大数据思维对科技与社会的辐射范围、影响程度，需要评价大数据思维在整个科技史中的地位、作用，更需要对大数据思维可能II引发的社会、伦理问题进行研判。关键词：关键词：大数据时代；大数据思维；特征；哲学意义 IIIABSTRACT Into the 21st century, the era of big data coming to us. With the rapid development of the computer field, and now we live in the information age is pregnant with change, a large area of Internet penetration and use of human society has brought an unprecedented amount of data, scholars called big data. Domestic and foreign academics have begun to focus on the big data phenomenon, and had a lot of discussion and study, involving a wide range of fields of philosophy, sociology, economics, computer science. However, extensive discussions focused almost entirely on big data technologies, applications and related impacts direction with little background thinking big data, characteristics and implications of research, this paper will have launched in China.The paper entitled Study on Thinking of Big Data, it thought the article will focus on large data presented, characteristics and significance to sort out and explore. In the context of large-scale development of the information age to start exploring the issue, based on previous research results expand on the existing philosophical thinking, expand Meaning in large data thinking practice, and in the article carefully put new ideas to think for themselves. The paper consists of three parts, namely the introduction, three chapters and a Conclusion.The introduction of the article background, outline and thrust deep significance is described in detail, focusing on the main content of each chapter and article views.The first chapter raised thinking big data concept background investigation and inspection. First carding three technological revolution in the history of mankind, from the era of the steam engine to the internal combustion engine, the electrical era, the era of the internal combustion engine from the electric age of information technology, human productivity undergoing enormous changes. Following the presentation of large data concept, big data is the inevitable development of computer science, thinking IIIVbig data presented. Finally in order to reveal the second chapter of thinking characteristic of large data basis.The article features a large data-depth discussion of thinking. To domestic and foreign papers, writings as the basis, the focus of the three characteristics of large data interpretation thinking: integrity and the emergence of resistance, diversity and non-linear correlation with uncertainty.In practice mean to refine the data of thinking Big Data thinking the people freed from the old values, development concept out, the emergence of complex technical and technological advances spurred start thinking from the perspective of proper understanding of the big data world. In the process of thinking big data and trends, or humanity as a whole will be established, diverse and relevant, parallel concept of new knowledge.Conclusion From the data presented thinking big, big data features three directions sense thinking and thinking and other big data to make a brief summary, and pointed out the influence of big data thought to the wider field of moving trend. Science and Technology is always advancing human history forward a progressive, revolutionary force, thinking big data generated in the forefront of contemporary research in science and technology human beings, we need to clarify the scope of Big Data thinking of radiation technology and society, the impact of the extent of the need to evaluate Big Data thinking position, role in the whole history of science and technology, but also the need for social and ethical issues that may arise thinking big data to study them.Key words：Big Data Era; Thinking of Big Data; Characteristics; Philosophical Significance引 言1引 言一、选题目的与意义从十八世纪六十年代开始，人类社会经过了以改良蒸汽机使用为标志的第一次工业革命，以电力内燃机使用为标志的第二次工业革命，以电子计算机技术、航天技术、原子能技术、分子生物学、遗传学等领域取得重大突破为标志的第三次科技革命。在不到三百年的时间里，人类社会已走过了蒸汽时代、电气时代和信息时代。进入二十一世纪，大数据时代已经向我们走来。随着电子计算机领域的迅猛发展，如今我们所处的信息时代正孕育着改变，互联网的大面积普及和使用给人类社会带来了空前的数据量，学界称之为大数据。在大数据时代，数据是获取智慧的新模式，经济转型升级的新石油。大数据不仅是一种前所未有的大型数据集，更是一种思维方式，是全社会的宝贵生产资料。国内外学界、政界已经开始关注大数据现象，并进行了许多讨论和研究，涉及哲学、社会学、金融学、计算机科学等广泛领域。但是，广泛讨论几乎集中于大数据技术、应用方向及相关影响，鲜有大数据思维的背景、特征及内涵研究。伴随大数据产生的大数据思维是人类为解决大数据带来的数据采集、数据处理和结果可视化等问题而出现的，是大数据技术应用的前提。为了对大数据做出更深入讨论，更为了清晰地掌握大数据时代的思维特质，我们需要对大数据思维的提出背景、特征及内涵进行基础探究，以引领大数据思维研究方向，为社会把握大数据时代的机遇续存能量。本论文将对大数据思维进行全面分析。二、国内外研究现状大数据引起全球广泛关注的开端始于 2008 年 9 月， Nature出版“Big Data Special”封面专题，用一期的篇幅对大数据基本概念、主要应用和新挑战进行了剖析, 对当时利用大数据的方法、策略进行了探讨。从国内外的高校、研究机构在研究起步时间点看，国外稍早于国内，不过均在 2012 年 3 月美国白宫宣布启动“大数据研究和发展倡议”1附近，大数据研究已经成为学术界、政界的研究热点。国内外研究方向虽涉及范围较广，但综合来看，研究方向基本一致，包括哲学、社会学、经济学、计算机科学等多方面内容。概括来看，国内对大数据思维的研究主要可分为以下三类：一是对大数据思维基本内涵的阐述，这类学者以讨论大数据思维内涵和技术特1 The White House.Big Data is a Big Deal. EB/OL./blog/2012/03/29/big-data-big-deal大数据思维探析2点为主，兼有大数据商业影响的内容。邬贺铨的大数据思维 ，刘红的大数据的本体论探讨 ，吕乃基的大数据与认识论 ，赵国栋的大数据思维 ，李泊溪的大数据与生产力，张义祯的大数据带来的四种思维，陈学伟的大数据思维的特性，徐子沛主编的大数据：正在到来的数据革命，车品觉主编的决战大数据等都是这方面的代表。覃雄派、王会举等人的大数据分析-RDBMS 与 Map Reduce 的竞争与共生，孟小峰、慈祥的大数据管理：概念、技术与挑战，王珊、周烜等人的架构大数据：挑战、现状与展望等文章介绍了大数据的出现给现有的数据库技术带来的挑战，并指出了采用分布式存储与管理的大数据解决方案才是未来的出路。二是对大数据思维广泛应用的介绍。这方面的著述主要有：邬贺铨的大数据时代的机遇和挑战 ，陈昌凤、乌日吉木斯的数据新闻与大数据思维的应用 ，叶小忠的应用：大数据思维无处不在 ，谷满仓、苏婕的浅析大数据思维在科研生产管理中的应用价值 ，王建华、华产文的“新常态”下的大数据思维 。宋亚奇的智能电网大数据处理技术现状与挑战 ，倪明选等人的智慧医疗-从物联网到云计算 ，陈美的大数据在公共交通中的应用 ，彭兰的“大数据时代”：新闻业面临的新震荡 ，于施洋的基于大数据的智慧政府门户：从理念到实践 。李志刚主编的大数据：大价值、大机遇、大变革 ，赵国栋等人主编的大数据时代的历史机遇产业变革与数据科学 ，周宝曜等人主编的大数据：战略、技术、实践等系统地、全面地描绘了大数据思维对经济、社会、科研等方面众多可能的应用和影响。三是对大数据思维对隐私保护、数据安全等方面充满担忧的文章。刘雅辉等人的大数据时代的个人隐私保护 ，冯登国等人的大数据安全与隐私保护 ，陈明奇等人的大数据时代的美国信息网络安全新战略分析 ，闫晓丽的大数据分析与个人隐私保护 ，缪其浩的大数据时代：趋势和对策 ，刘珊大数据时代下隐私问题的伦理思考 ，范昕的大数据算不出思维创意 ，王忠主编的大数据时代个人数据隐私规制等就是这个领域的代表。文章中不仅提出了对大数据时代的个人隐私状况和数据安全方面表达了担忧，也在政策、法律和技术等方面提出了对策和建议。国外学者对大数据的认识稍早，从最早关注基础技术已经发展到数据哲学、云计算、量子力学、天文、人工智能、商业应用等广泛领域。随着更多领域的学者关注大数据，国外已经呈现多领域共同发展的趋势1。引 言3概括来看，国外对大数据思维的关注有三种主流方向：一是对大数据时代进行的前瞻性研究，包括大数据的影响范围、大数据认识论等。其中最具代表性的是维克托迈尔-舍恩伯格（Viktor Mayer-Schnberger）和肯尼思库克耶 (Kenneth Cukier)主编的Big Data: A Revolution That Will Transform How We Live, Work, and Think1。书中指出，一场革命正在到来，或许将改变我们现有的生活、工作和思考的方式，强调数据全体、多样、相关的重要性，预测对大数据来说才是核心。卢西亚诺弗洛里迪（Luciano Flordi）在他的Big Data and Their Epistemological Challenge 2文章中指出我们还不知道大数据到底是什么，在将来我们是否还可以称现在的大数据为大数据，但是大数据代表了从科学到商业的竞争新前沿。约翰尼斯本德（Johannes Bendler）等人所作的文章Taming Uncertainty in Big Data3关注了大数据中的不确定性问题。二是对大数据技术以及大数据思维广泛应用的研究。比尔弗兰克斯（Bill Franks）主编的驾驭大数据 （Taming The Big Data Tidal Wave）4，弗兰克斯在书中用通俗的语言讲大数据分析，包括技术层面的详细解读，他认为大数据的概念将随着技术的进步而变化，今天的大数据将不再是明天的大数据，海量数据并不可怕，要努力驾驭大数据。里查理曼（Anand Rajaraman）和厄尔曼（Jeffrey David Ullman）主编的大数据 （Mining of Massive Datasets）5关注了数据挖掘中的实际算法，详细介绍了分布式文件系统和 Map-Reduce 工具。书中指出，数据挖掘实际上是数据模型的一个发现过程。沃纳卡勒（Werner Callebaut）的Scientific perspectivism: A philosopher of sciences response to the challenge of big data biology和贾马尔阿比为（Jemal Abawajy）的Comprehensive analysis of big data variety landscape6也是这个领域的代表。三是对国际组织和发达国家对大数据战略的研究。2012 年世界经济论坛在瑞士发布了关于大数据的报告Big Data, Big Impact: New Possibilities for International Development ，文中指出数据洪流正在袭来，数以十亿计的人口每天通过电脑、1 刘泽照，张谦.国外大数据研究特征及趋势预测J.图书馆论坛.2014(8):103-108.1 Viktor Mayer-Schnberger Kenneth Cukier. Big Data: A Revolution That Will Transform How We Live, Work, and ThinkM. Eamon Dolan / Houghton Mifflin Harcourt.20132 Luciano Flordi. Big Data and Their Epistemological ChallengeJ.Philos. Technol. (2012) 25:4354373 Johannes Bendler. Taming Uncertainty in Big Data. Business & Information Systems Engineering, 2014, Vol.6 (5), pp.279-2884 Bill Franks.驾驭大数据(Taming The Big Data Tidal Wave)M. 黄海等人译.人民邮电出版社.20135 Anand Rajaraman / Jeffrey David Ullman.大数据(Mining of Massive Datasets)M. 王斌译.人民邮电出版社.20126 Jemal Abawajy. Comprehensive analysis of big data variety landscapeJ. International Journal of Parallel.Emergent and Distributed Systems. 2015.Vol.30 (1).pp.5-14大数据思维探析4GPS 装备、手机和医疗设备产生了这些数据，世界各国、国际组织和企业需要协调一致的工作，以保证这些数据可以帮助作为数据创造主体的公众。同年，美国白宫发布了信息高速公路计划的升级版“大数据研究和发展倡议”1，该倡议提出美国的大数据国家政策，这是全球范围内第一个国家层面的大数据战略报告。随后，澳大利亚、日本、英国、法国先后发布大数据领域的国家战略，均旨在通过国家战略推动本国大数据领域抢占先机，并均设置了战略管理机构来推动大数据战略的实施2。此外也有学者关注大数据时代的数据安全和隐私保护问题。卢西亚诺弗洛里迪（Luciano Flordi）的Open Data, Data Protection, and Group Privacy3，科林库姆（Colin Combe）的Privacy, Big Data, and the Public Good: Frameworks for Engagement4是这方面的代表。陈于澈（Yu-Che Chen）等人的Big Data for Digital Government: Opportunities, Challenges, and Strategies5，约翰卡洛博特（John Carlo Bertot）等人的Big Data and e-Government: Issues, Policies, and Recommendations6介绍了数字时代政府遇到的大数据挑战和机遇。可见，国内外学者关于大数据思维的研究集中于大数据基本概念、应用方向及相关影响三个方面。大数据思维领域缺乏基础性、全面性、系统性的研究。大数据思维是大数据技术应用的前提，为了对大数据思维进行更准确的把握，更为了清晰地掌握大数据时代的思维特质，我们需要对大数据思维的提出背景、大数据思维具有的特征及大数据思维的意义等三个方面做一些基础性的工作，以求对大数据思维进行宏观解读。三、主要研究内容本论文将主要完成以下工作：梳理大数据思维的发展脉络，考察大数据思维的基本特征，讨论大数据思维的深刻意义。此外，还将展望大数据思维的广泛应用，提出大数据生态系统概念，并希望推动智慧政府建设，在强化对公权力的监督、保障权力在阳光下运行等方面进行必要探讨。本论文还将关注大数据时代的隐忧，包括信息安全、隐私保护等方面的内容，提出大数据时代的社会将在个体层面上发展成为绝对透明、相对安全的数据社会，大数据将使网络中的个人隐私变成奢侈品。1 The White House.Big Data is a Big Deal. EB/OL./blog/2012/03/29/big-data-big-deal2 张勇进 王璟璇.主要发达国家大数据政策比较研究J.中国行政管理.2014(12)：113-1173 Luciano Flordi. Open Data, Data Protection, and Group Privacy. Philos. Technol. (2014) 27:134 Colin Combe. Privacy, Big Data, and the Public Good: Frameworks for Engagement. Local Government Studies, 2015, Vol.41 (1), pp.181-1825 Yu-Che Chen. Tsui-Chuan Hsieh. Big Data for Digital Government: Opportunities, Challenges, and Strategies. International Journal of Public Administration in the Digital Age (IJPADA), 2014, Vol.1 (1), pp.1-146 John Carlo Bertot. Heeyoon Choi.Big Data and e-Government: Issues, Policies, and Recommendations. The Proceedings of the 14th Annual International Conference on Digital Government Research,2012引 言5同时，个体和集体在互联网中的行为需要更加负责任的态度。第一章对大数据思维的提出进行背景考察和概念考察。首先梳理人类历史上三次科技革命，从蒸汽机时代到电气内燃机时代，从电气内燃机时代到信息科技时代，人类的生产力经历着翻天覆地的巨大变化。之后介绍大数据概念，大数据的出现是计算机科学发展的必然，最后介绍大数据思维的提出，为第二章揭示大数据思维特征打下基础。第二章对大数据思维的特征展开深入讨论。以国内外有关论文、著述为依托，重点阐释了大数据思维的四大特征：整体性与涌现性、多样性与非线性、相关性与不确定性。第三章对大数据思维的意义进行提炼。大数据思维把人们从旧的价值观、发展观中解脱出来，复杂技术涌现与科技进步促使人们开始从大数据思维视角正确理解世界。大数据思维在这个过程和趋势中，或将建立起人类整体、多样、相关、并行的新知识观。本论文在写作过程中，注重演绎分析方法与逻辑归纳方法的应用。对国内外文献、资料进行搜集、整理，从哲学视角对大数据思维进行解读，并通过大量学者对大数据思维内涵、本质的研究，概括出大数据思维的主要特征，揭示出大数据思维的深远意义。四、本文的创新点一是对大数据思维进行全面考察。如引言第二节最后提到的，国内外对大数据思维的研究集中在基本概念、应用方向和广泛影响等方面，缺乏对大数据思维的基础性、全面性、系统性的研究。本论文最大的价值就是在前人对大数据思维研究的基础上，以“基础性、全面性、系统性”为要求，以大数据思维的提出背景、大数据思维具有的特征及大数据思维的意义为线索，对大数据思维做一些较为基础的、全面的、系统的探析。二是从生产力发展角度把握时代背景和理论背景。在大数据思维提出的背景方面，国内外学者大多关注了时代背景，而缺乏理论背景的考察。本论文将在工业革命以来时代背景方面和以计算机科学、哲学为代表的理论背景方面，对大数据思维的提出进行客观的把握。同时，本论文认为大数据是全社会的生产资料，理应由近代人类生产力的发展中考察大数据思维提出的时代背景。三是在国内外学者对数据科学、数据资源、数据战略研究的基础上，建立大数大数据思维探析6据生态系统的概念。探讨建立大数据生态系统的必要性，从数据科学、数据资源、数据战略三个方面探析大数据思维的重要作用，解读大数据思维的可能应用，为构建大数据思维范式提供初步的理论基础。第一章 大数据思维的提出7第一章 大数据思维的提出在人与世界关系的问题上，人始终是认识世界、把握世界、改造世界的主体，在这个过程中，人类创造了一幅波澜壮阔的认识图景。古希腊时期，从泰勒斯、毕达哥拉斯等人的本质论自然观，到柏拉图、亚里士多德的理念论、目的论，人类试图在没有任何理论知识的背景下，认识宇宙万物，探索生命起源。文艺复兴以后，开普勒、伽利略共同确认并完成了哥白尼革命1，确立了牛顿机械论纲领，近代科学由此兴起。随着细胞学说、能量守恒和转换定律、达尔文生物进化学说的出现，以及爱因斯坦相对论和量子力学的建立，近代自然科学取得重大进步，一幅新的世界图景展现在人类面前。20 世纪中叶以来，电子计算机的使用为人类认识世界、把握世界、改造世界打开了一扇新的窗户。从最初的电子管、晶体管计算机，到利用大规模集成电路制造的智能计算机，再到如今最先进的光子计算机、量子计算机，不到七十年的时间，借助科学技术的显著进步和互联网的伟大发明，人类已经从电气时代、信息时代迈入大数据时代。互联网的迅速发展，各类移动终端和科研设备数量增加，给世界带来了巨大的信息增长，这些信息通常被描述为大数据， “大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型”2，这将是一场新的科技革命。可预见的是，这场科技革命将对人类生产方式、生活方式产生巨大影响，而最重要的是它会引起思维方式的变革3，本章将对大数据思维提出过程展开详细梳理。大数据思维的提出有其特殊的时代背景和理论背景。在深入分析大数据思维特征前，详细考察其提出的历史渊源，对理解大数据思维的概念具有重要意义。本节将从历史转变、理论发展两方面出发，介绍大数据思维提出的背景。1.1 时代背景大数据出现于信息技术高度发达的现代社会，或将对人类生产力进步产生重要影响。回望人类社会生产力变革的历史，从远古的石器时代、青铜时代，经过蒸汽时代、电气时代，已经由信息时代迈入大数据时代了。因此，为了充分把握大数据时代到来的历史脉络，有必要梳理工业革命以后的近代人类生产力发展历程。1 刘大椿.自然辩证法概(第 2 版)M.中国人民大学出版社.2008 年，第 85 页。2 Viktor Mayer-Schnberger Kenneth Cukier. Big Data: A Revolution That Will Transform How We Live, Work, and ThinkM. Eamon Dolan / Houghton Mifflin Harcourt.20123 李秀林.王于.李淮春.辩证唯物主义和历史唯物主义(第 5 版)M.中国人民大学出版社.2004 年，第 211 页。大数据思维探析8第一次工业革命在手工业发达的英国发端。1764 年，詹姆斯哈格里夫斯（James Hargreaves)在英国兰开夏（Lancashire）的家中发明了珍妮纺纱机（Spinning jenny） ，他将纺纱机上的纱锭由原来的横置改为了竖置，并且一台机器增加为八个纱锭同时工作，这样就大大提高了纺纱效率。哈格里夫斯于 6 年后获得了珍妮纺纱机专利。1765 年，詹姆斯瓦特（James Watt）在为格拉斯哥大学修理蒸汽机时，发现了当时蒸汽机低效率的原因，萌生了改造它的想法，瓦特通过增加一个独立的冷凝器的办法，巧妙地改良了这款由纽科门（Newcomen）在 1712 年发明的蒸汽机，后来又经过了多次改进，直到 1776 年，瓦特的第一台改良蒸汽机在英国波罗姆菲尔德煤矿点火，由此照亮了人类发展的新时代1。以珍妮纺纱机为起点、以改良蒸汽机为标志的人类历史上第一次工业革命在英国开始了，随后几十年间迅速扩大到西欧和北美。工业革命是人类历史上的一个重要转折，在某种程度上，人类生活的方方面面均受到了深刻影响。尤其是人口数量出现了空前的增长，英格兰和威尔士的人口在 18 世纪中叶稳定在 600 万，随后 1801 年到 1850 年人口数量翻了一番，从 830 万增加到了 1680 万。有经济学家说，工业革命重要影响之一就是提高了公众的生活水平2，粮食、住房、服装和消费品都有所改善，工业革命也成为了人类历史上第一个在人口数量和人均收入上同步增长的时期3。除此之外，采矿业、农业、造纸、玻璃制造和煤气照明等方面也取得了长足的进步，此后的人类进入了蒸汽时代。蒸汽时代一直持续到了 19 世纪中叶，随后的人类世界因电力的大量使用，进入了电气时代。如果说第一次工业革命中，科学技术还没有对工业产生影响的话，那么第二次工业革命中的科学已经起到重要的推动作用。在此前的一百年里，科学技术尚未与工业生产相结合，工业革命大多是依靠富有经验的工匠推动的，以珍妮纺纱机的发明者哈格里夫斯、改良蒸汽机发明者瓦特为代表，从事手工业的工人成为影响工业革命的重要力量。19 世纪六十年代，科学技术特别是自然科学逐渐开始崭露头角，有力推动了第二次工业革命的进程，帮助第二次工业革命取得丰富成果。同时，科学技术在各领域都取得了突破性进步。1831 年，英国人迈克尔法拉第（Michael Faraday）首次发现了电磁感应现象，为人类开发和利用电能提供可能。1844 年美国人莫尔斯1 Wikipedia. Industrial Revolution EB/OL. /wiki/Industrial_Revolution 2015-2-9.2 Feinstein, Charles (September 1998). Pessimism Perpetuated: Real Wages and the Standard of Living in Britain during and after the Industrial Revolution. Journal of Economic History 58 (3): 62558.3 Hudson, Pat (1992). The Industrial Revolution. New York: Routledge, Chapman and Hall, Inc. p. 3.第一章 大数据思维的提出9（SFBMorse）在国会发出全世界第一封电报，由他发明的有线电报机启用。1866 年，德国人维尔纳冯西门子（Ernst Werner von Siemens）发明了发电机，之后发电机被应用于生产。1870 年以后，又有众多发明问世。美国发明家托马斯阿尔瓦爱迪生（Thomas Alva Edison）发明了同步发报机、留声机和钨丝电灯，亚历山大格拉汉姆贝尔（Alexander Graham Bell）发明了有线电话，德国人卡尔弗里德里希本茨（Karl Friedrich Benz）发明了由内燃机驱动的汽车，美国人奥维尔莱特（Orville Wright）和威尔伯莱特（Wilbur Wright）设计的第一架飞机首飞成功。第二次工业革命给欧洲、北美带来了巨大的生产力革新，各国经济实力显著增长。到 1900 年，整个欧洲的工业生产已经占到全球的 62%，其中最先完成工业革命的英国占 24%，紧随其后的是美国（19%） 、德国（13%） 、俄国（9%）和法国（7%）1。此后，通信业、钢铁业、石油业、化工业、铁路业、航海业、飞机制造、内燃机制造业和现代企业管理等诸多领域均显示出了良好的发展势头。20 世纪的科学技术发展迅速。两次世界大战的发生，虽然造成了人类的苦难，但客观上推动了科学技术研究的持续进步。由于军事需要，各国投入了大量人力、物力在科学技术研究方面，战场上出现的无线电、雷达、录音技术都为后来的无线通信、传真设备和磁制数据存储设备（如磁带）的出现提供了可能。 “在第二次世界大战中，美国以全然不同于以往的形式组织了自己的科技专家，研制出了像原子弹、新式雷达和无线电引信这样一大批先进的明显左右了战局发展的技术兵器。 ”21943 年，美国陆军弹道研究实验室为了计算火炮的火力表，委托宾夕法尼亚大学研制电子计算设备，花费 3 年时间、50 万美元，世界上第一台图灵完备3的电子计算机（ENIAC）于 1946 年研制成功，这台计算机被称为电子数值积分计算机，占地167 平方米，重达 27 吨，需要 150 千瓦的电力支持，从 ENIAC 在宾夕法尼亚大学投入使用到在马里兰州的退役，它工作了 9 年零 7 个月。这一标志性事件，为人类后来在计算机领域取得的成就埋下伏笔。新科技革命从 20 世纪中叶开始，此后人类在原子能、航天、电子计算机、遗传工程等领域取得重大突破，这次技术革命被称为“第三次科技革命” ，由此人类从电气时代进入了信息时代。与此同时，人类科技发展史另一场意义重大的变革正在酝酿。1957 年 10 月 51 Paul Kennedy, The Rise and Fall of the Great Powers (1987) p. 149, based on Paul Bairoch, International Industrialization Levels from 1750 to 1980, Journal of European Economic History (1982) v. 11 2 东方无忌 郭继贤.战争与科学-二次世界大战期间的 OSRDJ.自然辩证法通讯.1988(2)p35-44.3 在可计算理论中，当一组数据操作的规则（一组指令集，编程语言，或者元胞自动机）满足任意数据按照一定的顺序可以计算出结果，被称为图灵完备（turing complete） ，一个有图灵完备指令集的设备被定义为通用计算机。大数据思维探析10日，前苏联在拜科努尔航天中心将人类历史上第一颗人造卫星送入太空。消息传到美国，极大地刺激了冷战中的人们，美国人托马斯弗里德曼(Thomas L. Friedman)曾这样描述“We Americans were shocked, Soviets can put an orbit satellite into space and we cannot. Oh my god!” 。时任美国总统德怀特戴维艾森豪威尔（Dwight David Eisenhower）在记者招待会上公开表达了对美国国防、科技的严重不安，指出美国必须在国家生活里给予教育优先权、给予科研一席之地。两个月后，美国成立国防高级研究计划署(Advanced research project agency，ARPA)，这里汇聚了当时全世界计算机科学领域最优秀的人们，如今连接了你我、甚至连接了全世界的互联网便诞生于那里。引言中提到的美国“大数据研究和发展倡议”中，国防高级研究计划署同样负责了重要的研究项目，将在第二节详细介绍，此处略去。1969 年 10 月 29 日，人类第一次实现了两台计算机之间的信息传输，伦纳德克兰罗克（Leonard Kleinrock）在洛杉矶向远在 500 公里外坐在斯坦福大学实验室的比尔杜瓦（Bill Duvall）发送了第一条信息。虽然只有“L”和“O”连个字母，但这就是如今互联网的雏形，称为“阿帕网（Arpanet） ” 。1970 年，阿帕网（Arpanet）已经从当初位于加州大学洛杉矶分校、圣芭芭拉分校，和斯坦福大学、犹他大学四个网络节点，发展到 15 个节点。三年后，阿帕网（Arpanet）已经跨过大西洋，与伦敦和奥斯陆实现连接。1983 年，由于 TCP/IP 协议的出现，世界各地的网络连接在了一起，最初的阿帕网（Arpanet）从此演变为因特网（Internet） ，也就是今天的互联网。1987 年，全球第一封电子邮件从中国发往德国，中国在七年后与因特网实现全面连接。正是互联网的出现，一夜之间让全世界数以万计的计算机登录网络，大数据时代才成为可能。20 世纪八十年代，大数据时代到来的前夜，以微型计算机和互联网为代表的信息技术持续进步，给人类生活带来了巨大改变。从最早的电子管、晶体管计算机，到集成电路计算机，计算机的运行速度已经由每秒数百万次提高到了每秒数千万次。随着计算机硬件研发进步较快，逻辑元器件逐步采用大规模集成电路和超大规模集成电路，微型计算机的时代来临了。美国国际商用机器公司推出的第一台微型计算机 IBM-PC，携带方便、体积小巧、价格便宜，这样的特点让个人计算机逐渐走红，此后个人计算机深入西方大众的学习和工作，并成为了他们生活中必不可少的一部分。1993 年，为了应对信息时代的挑战，白宫发布“国家信息基础设施行动动议”（The National In