大数据与政府数据管理.pdf

管理观察 Management Observer 总第 556 期 第 29 期 2014 年 10 月 中旬出版 61 1. 大数据的概念 目前 , 国内外没有统一的大数据概念，一般是指大 小已经超出了传统意义， 一般的软件工具难以捕捉、 存储、 管理和分析的数据。 “大数据” 之 “大” 并不仅仅在于其 “容 量之大”，而是指在大规模数据的基础上可以做的事情， 而这些事情在小规模数据的基础上是无法实现的。大数 据通过对海量数据进行整理、分析，获得有巨大价值的 产品，或深刻的洞见，最终形成变革之力。 大数据拥有四大特征： 第一，大量（Volume）。2012 年、2013 年产生数据 量总和是人类有历史以来到 2011 年产生数据量的总和， 两年的数据量等于一万年的总和， 这个数据规模为1.8ZB。 这表明互联网时代的社交网络、电子商务与移动通信把 人类带入了一个以“PB”乃至“EB”为单位的新时代。 第二，多样（Variety）。大数据有网络数据、企事 业单位数据、政府数据 , 有网络数据自媒体数据（比如 社交网络、博客、微博等），有日志数据（比如搜索引擎， 大家上网等等都会留下很多足迹），还有富媒体数据（视 频、音频等等），相对于以往便于存储的以文本为主的 结构化数据，非结构化数据越来越多，这些多类型的数 据对数据的处理能力提出了更高要求。 第三，价值（Value）。被称为“大数据时代预言家” 的牛津大学网络学院互联网研究所治理与管理专业教授 维克托 迈尔 - 舍恩伯格说：“大数据的核心就是预测， 不是要教机器像人一样思考，而是要把数学计算运用到 海量数据上，来预测事情发生的可能性”。预测，作为 大数据的核心力量，早已被多次证明。2009 年 ,Google 曾用大数据分析 5000 万条美国人频繁检索的词汇，将之 和美国疾病中心在 2003-2008 年间季节性流感传播时期 的数据进行比较，准确预测当年的流感趋势 , 甚至可以 大数据与政府数据管理 李 鹰 （湖南省委党校 行政学院，湖南 长沙 410011） 具体到特定的地区和州。 第四，高速（Velocity）。1 秒定律 , 这是大数据 区分于传统数据挖掘的最显著特征。根据 IDC 的“数字 宇宙”的报告，预计到 2020 年，全球数据使用量将达到 35.2ZB。在如此海量的数据面前，处理数据的效率就是 企业的生命。 简单地说 , 大量化、多样化、快速化以及价值密度 低就是“大数据”的显著特征，或者说，只有具备这些 特点的数据，才是大数据。 2. 政府数据管理三部曲 党的十八大报告首次提出“四化同步”战略，将信息 化提升到国家战略高度，如果地方政府、各部门采取“鸵 鸟政策 ”，不去了解虚拟世界，不会运用移动互联网信 息技术，不懂得大数据概念。这样既不符合中央要求，也 不符合时代的要求，只能让我们在时代发展中步步落伍。 哈佛大学商学院达文波特说：大数据及其分析，将 会在未来 10 年改变几乎每一个行业的业务功能。任何一 个组织，如果早一点着手大数据的工作，就可以获得明 显的竞争优势。数据被视为科学的度量，知识的来源； 没有数据，无论是学术研究，还是政策的制定，都将寸 步难行。那么作为政府部门该如何进行数据管理呢？ 2.1 数据收集 我国是一个人口大国，也是互联网大国、手机大国， 但很可惜，却是一个大数据小国。“大数据”的作 者徐子沛认为，这是因为我们收集数据的意识比较差。 在技术层面，我们与美国等国家差距并不大。但由于缺 乏“大数据”意识，很多数据得不到收集和存储，也就 无法有效利用。政府部门在运用大数据时首要任务就是 建立收集网络，收集大数据。根据麦肯锡的数据，我国 摘要：21 世纪是数据信息大发展的时代，2011 年 5 月，在“云计划相遇大数据”为主题的 EMC World 2011 会议中，EMC 抛出了大数据的概念。本文从详细介绍大数据入手 , 分析了政府数据管理中不 利于大数据应用的问题 , 并提出了一定的解决办法 , 以期推进我国政府管理的大数据建设。 关键词 :政府数据管理 大数据 信息化建设 10中黑白.indd 612014-10-24 17:08:10 政府与公共管理 62 2010 年新增的数据量约为 250 拍，不及日本的 400 拍、 欧洲的 2000 拍，与美国的 3500 拍更是相去甚远。 我国才刚刚开始试水大数据战略，可借鉴国外收集、 管理、 利用数据的先进经验， 改进政府的决策， 提高工作效率。 而美国在这方面已经形成了一套完整的规范,值得学习。 比如美国的交通安全管理局作为美国联邦政府最早 大规模收集数据部门之一，在 1966 年起就开始在全国范 围内收集交通事故记录虽然一起交通事故的数据可能是 无序的，一年的数据、一个地区的数据也无章可循，但 随着跨年度、跨地区的数据的累积和增多，群体的行为 规律就会浮出水面，可以通过挖掘这些数据，制定合理 政策，避免交通事故的发生率。 数据源主要是收集三种类型的数据： 业务管理数据：以基层上报、被动接收下级部门和各 类社会组织数据。我国卫生部在 2006 年制定了第一套最小 标准数据集。而美国现在的很多行业都有着这样的统一“最 小数据集”，2011 年美国已拥有 1 万多个这样的系统。 民意社情数据：投入人力、财力主动收集单个公民 或组织数据。我国国家统计局于 2006 年正式成立了社情 民意调查中心，并于 2013 年 11 月，与百度、阿里巴巴、 卓创资讯等 11 家企业签订了大数据战略合作框架协议。 2014 年初，与卓创资讯联合发布流通领域重要生产资料 价格，这被视为拥抱大数据的重要举措。 物理环境数据 ： 以传感器自动采集自然环境、 动植物、 物体数据。对此数据的采集，我国更是落后，直到 2010 年物联网的技术开始在铁道部、交通部得到应用。 2.2 数据分析 进入大数据时代之后，个人的社会行为很多都被数字 化，如个人网上浏览记录、消费记录，通话记录等等，这些 数据足以勾画出一个人的主要社会活动图像，并由这些活动 图像对个人的行为特征进行分析。大数据的意义不在于庞大 的数据信息，而在于对其中有意义的数据进行专业化处理， 只有通过分析才能获取很多智能的、 深入的、 有价值的信息。 例如 , 生活在美国明尼苏达州的一位父亲与 15 岁的女儿购 物后。回家发现商品中被加入了很多针对婴儿孕妇商品的 广告， 怒气冲冲地跑到超市投诉。 两周后， 父亲向经理道歉， 这时他才知道自己女儿已经怀孕近两个月。而超市就是通 过数据分析公司根据她女儿近期所有购物数据预测出该顾 客怀孕，这就是大数据洞察人的方式。 分析的首要前提是让看起来不相关的数据真正地关联 起来。其次，让这些不会说话的“盲数据”活起来。只有 这样才可以及时掌握社会经济发展、公共服务职能运行状 况，才能为政府科学决策和提升执政能力提供很好的支撑 保障。比如城市化的进展给我们带来了现代化生活的同时， 也带来了诸如环境的污染、交通的堵塞、能耗的增加等等 很多问题。在过去因为城市的设置过于复杂，要解决这些 问题很难。但是今天，传感器技术的发展和云计算的成熟， 产生了大量的大数据， 社交媒体数据、 气象数据、 交通数据、 地图数据等等，如果我们使用得当的话，这些大数据就能 引导我们发现问题， 并进一步解决问题。 比如空气质量问题， 我们就可以通过收集空气质量监测站的关于气象条件的数 据加上交通数据、人口、餐厅、公园等等数据，建立一个 地方的数据库和这个地方空气质量的模型，这样我们就可 以算出这个地方任何一个角落的空气质量。我们就知道我 们什么时候可以出来散步，什么时候小孩子可以出来玩， 同时这也是进一步解决空气污染的前奏。 我国经过 20 多年的电子政务建设，政府的管理信息 系统及数据的采集处理几乎覆盖各业务部门和主要公共 服务，政府掌握着大量的、关键的数据，那些沉睡在档 案袋、文件夹中的数据，有着无比巨大的价值，能产生 惊人的效用。比如，某导航公司将上海公开的 2 万多条 地理位置信息用于地图编制与更新，服务了上亿用户。 但是，这些数据应用是极少一部分，政府掌握的绝大 多数数据处于休眠状态，如何让这些“盲数据”发挥出活 力，是“大数据”时代我国政府面临的关键问题。而我国 现有的政府部门的数据犹如一个个信息孤岛，数据缺乏统 一的格式，数据交换缺乏统一的标准和平台。不用说跨部 门之间的信息交换，即便是同一部委，不同业务部门的数 据交换也存在障碍。尽管我国为了提升电子政务发展水平， 实施了“十二金”工程，但数据孤岛在我国当前政府部门 的信息化系统之间是一种普遍现象，这从国际上公认衡量 各国信息化发展水平的全球电子政务发展指数 (EGDI) 上面 也能体现。近十年，我国 EGDI 排名先升后降，从 2003 年第 74位升至2005年第57位，2012年跌至第78 位。 不过互联网和移动互联的普及，已经在形成一种态势 倒逼政府的科学决策，更是对政府执政能力的考验。我们 不能确定这股数据浪潮究竟何时会给政府的数据应用带来 根本性的改变，但我们已经看见这种趋势已经在渐渐形成。 对于政府部门而言，为了迎接以数据分析为支撑的科学决策 的到来，我国先后制定了多项政策，“十二五”国家战 略性新兴产业发展规划中，“智能海量数据处理相关软 件研发和产业化”( 大数据技术 ) 被列为重点发展技术方向 之一。此外，我国发展大数据的产业环境也日渐成熟。2013 年 8 月 14 日，国务院发布关于促进信息消费扩大内需的 若干意见( 以下简称意见 )，赋予信息消费拉动经济增长 的重要使命。随后紧接着推出的“宽带中国”战略，更是 为大数据发展提供了良好的基础网络环境。当然在管理上， 在人才上，在法律上，在产业支撑环境方面等等，我国政 府还有太多的课要补，从认识到“大数据能产生价值”， 到实现了“从大数据中找到价值”，再到“有效使用大数 10中黑白.indd 622014-10-24 17:08:10 政府与公共管理 63 据产生的价值”，这是一条漫长的道路。 2.3 数据发布 2007 年 4 月耶鲁大学法学院教授丹尼尔 埃斯蒂， 曾分析过信息开放对美国政府改革的重要性： “尽管信息时代的技术进步已经彻底改变了商业领 域和体育运动领域的决策过程，但联邦政府对这些技术 的应用还仅仅处在一个开始的阶段。要实施数据驱动 的决策方法，不仅要使用新的技术、还要改变目前的 决策过程。一旦打破这些障碍，将从中获益：政府将更 有效率、更加开放、更加负责，引导政府前进的将是基 于实证的事实，而不是意识形态，也不是利益集 团在决策过程中施加的影响。” 2.3.1 政府部门通过对数据的发布接受社会监督。美 国著名的大法官路易斯 . 布兰代斯有一句名言：“阳光是 最好的防腐剂。” 面对公共信息，奥巴马在签署第二份 总统备忘录信息自由法时强调，“当我们有所怀疑的 时候，公开是第一选择。我们不能因为公开可能导致我们 的官员陷于难堪的境地，或者会暴露我们的错误和失败， 或者因为莫名的担心和害怕，而把信息打上保密的标 签”。可以说这份备忘录的签署，不仅在美国联邦政府的 各部门刮起了“透明和开放”的旋风，而且波及全世界很 多国家。 政府数据的发布在一定程度上可以制约权力滥用， 如果把政府公权力的行使由个别人、少数人知情变为多数 人知情，就能规范行政行为，消除暗箱操作，把腐败的发 生率降到最低。唯有此才能做到“权为民所用、情为民所 系、 利为民所谋” 。 近年来， 我国教育部实现网上招生录取， 录取信息网上查阅。政府部门“三公”经费的公开等等， 都有效防止了腐败现象的发生。 2.3.2 鼓励民间介入。在网上发布数据，将会吸引 一大批对这个问题感兴趣的各界人士参与到政策制定的 过程中来，将会使所有的问题都无所遁形，更多的问题 将被发现， 更多的细节将被讨论， 更好的方案将会被激发。 据介绍，美国联邦政府建立了“Data.Gov”网站，开放 一些公共数据并鼓励挖掘。截至 2011 年 12 月，该网站 共有 3721 项原始数据、386429 项地理数据、1570 个数 据可视化应用。人们可以从这些数据中找出空气质量与 工厂数量、胖子数量与快餐店多寡等关联。这对经济、 环保等领域的研究有着非凡的意义。 2.3.3 推动政策复制。通过发布这些数据，一项具 体政策的执行效果能够被量化，各省之间很方便进行“事 实对比”，新的政策如果有效，很容易在全国范围内被 接受、 复制并推广， 形成一种良性的 “政策竞争” 氛围。 “大 数据”有一个这样的案例，1980 年开始，美国个别州 开始实施驾驶人员必须佩戴安全带的规定，但随后收集 到的数据却表明，实施同样规定的州，死亡率的下降幅 度却各不相同。这个数据之差引发了联邦政府对全国的 执行情况进行检查和对比。后来发现，效果明显的州， 警察有权力随时截停车辆、检查司乘人员是否佩戴了安 全带，而效果不明显的州，仅仅规定警察只能在以其他 理由截停车辆时顺便检查车上的人员是否佩戴了安全带。 这个发现，后来引发了多个州执法方式的改变。 2.3.4 提高管理能力。通过数据整合和运用提高管 理能力，是目前世界各国的通用做法。在西班牙首都马 德里，整合警察、消防、医疗系统，使救援时间大同度 缩短；在新加坡，智能交通综合信息管理平台在预测交 通流速和流量方面有高达 85% 的准确率。在美国，加州 大学的人类学和数学家共同建立了犯罪活动预测平台。 在不增加警力的情况下，洛杉矶的财产犯案率和盗窃案 件分别下降了 12% 和 16%。 中国工程院信息与电子学部主任、中国计算机学会 理事长李国杰院士的课题组，提出我国政府