2023年我国大数据发展分析报告

2014我国大数据进展分析报告【提要】大数据无疑是近期最时髦的词汇了。不管是云计算、社交网络，还是物联网、移动互联网和才智城市，都要与大数据扯上关系。大数据已经成为有特别含义的专用词汇，不在单指数据体量大。那么，大数据进展的现状，大数据能给我们带来什么？很多人不肯定清楚。下面，我想就这些问题和大家一起沟通一下。本系列内容主要阐述2014年中国大数据进展概况，分为以下章节：、国内外大数据的进展状况及应用二、我国大数据的进展趋势及误区三、我国大数据进展的机遇和逆境四、对我国进展大数据的建议五、结论、国内外大数据的进展状况及应用1、大数据已深耕于经济领域且制造了巨大的经济价值美国的大数据产业已经制造了巨大的价值，具体表现在:大数据使美国医疗效劳质量得到提高。对于医疗效劳的供给方和支付方来说，在削减医疗本钱的同时不断提高医疗质量和效率仍旧是一个难以实现的目标，而这也是改善民生的重大机遇。2010年，全美医疗支出占国内生产总值的17.9%2000年增长13.8%。而且，某些慢性疾病如糖尿病的患病率正在增加，正在消耗更多的医疗资源。对这些疾病和其他相关安康效劳的治理将深刻地影响国家的福祉。在这方面大数据可以发挥作用。为在宽阔人群中取得最有效的医疗效果，更多地使用电子安康记录〔电子安康档案并与的分析工具相结合，将供给挖掘信息的时机。争论人员可以利用信息查找有效的统计趋势，并依据真实的医疗效劳质量开展医疗评估。大数据使美国的交通更加便利。通过完善信息和自动驾驶功能，大数据有可能在很多方面彻底转变交通的面貌。开车的人多，交通堵塞就多，其后果是铺张能源，造成全球气候变暖，消耗时间和金钱。手持设备、车辆和道路上的分布式传感器则可以供给实时交通信息。这些信息，再加上更好的自动驾驶功能，可以使驾驶更安全，交通堵塞更少。智能汽车日益互联的型交通生态系统有可能彻底转变道路使用方式。大数据使美国的教育质量得到提升。大数据可以对美国教育及其在全球经济中的竞争力产生深远影响。例如，通过深入地跟踪和分析学生的在线学习活动——精细至每个鼠标点击动作，争论人员能够确定学生的学习方式和提高学习的方法。这种分析可以针对成千上万的学生进展，而不是孤立的小型争论。课程和教学方法，无论是在线的，还是传统的，都可以依据大规模分析所收集到的信息进展修订。大数据提高了美国的征税效率。由于快速觉察特别的力量日益增加，政府税务部门可以缩小“税收缺口”，即纳税人应付税款与其自愿缴税额之间的差额，并且对于那些试图进展不当纳税申报的人，会深刻地转变他们的行为方式。大多数税务机构实行“自愿缴税与追讨欠税并举”的模式。在这种模式下，它们承受纳税人的纳税申报单并办理退税，并对一局部纳税申报单进展抽查，以找出有意或无意欠税的状况。大数据则能够提高欺诈检测的水平，在纳税申报之初就揭露违规状况，削减问题退税的发放。资料说明，在医疗领域每年产生3000亿美元的潜在价值；在公共治理部门，每年产生2500亿美元的潜在价值；在个人位置数据领域，每年产生1000亿美元的市场；在零售业能够增加60%的营业额；在制造业部门，能够降低50%的产品开发及装配本钱。大数据在欧洲公共治理部门得到深入应用。大数据在OECD组织中的欧洲国家公共治理部门制造了1500到3000亿欧元或更高的潜在经济价值，这些经济价值主要通过政府公共治理机构开支的削减、转移支付的下降及税收的增加来实现。三是全球大数据人才需求将上升并且消灭供需缺口。Gartner询问公司推测，到2015年，大数据人才需求到达440万人，人才需求缺口将到达三分之一。2、欧美等兴旺国家把数据资产上升到国家信息战略高度美国已经布局大数据产业。美国政府将大数据视为强化美国竞争力的关键因素之一争论和生产打算提高到国家战略层面。2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据争论和进展打算”，这是继1993年美国宣布“信息高速大路”打算后的又一次重大科技进展部署。美国政府认为大数据是“将来的石油与矿产”，将“大数据争论”上升为国家意志，对将来的科技与经济进展必将带来深远影响。以美国科学与技术政策办公室〔OSTP〕为首，国土安全部、美国国家科学基金会、国防部、美国国家安全局、能源部等已经开头了与民间企业或大学开展多项大数据相关的各种争论开发。美国政府为之拨出超2亿美元的争论开发预算。奥巴马指出，通过提高从大型简单的数字数据集中提取学问和观点的力量，承诺帮助加快在科学与工程中的步伐，转变教学争论，加强国家安全。据悉，美国国防部已经在乐观部署大数据行动，利用海量数据挖掘高价值情报，提高快速响应力量，实现决策自动化。而美国中心情报局通过利用大数据技术，将分析搜集的数据时间由63天缩减到27分钟。2012年5月美国数字政府战略公布，更是提出要通过协调化的方式，全部部门共同提高收集、储存、保存、治理、分析和共享海量数据所需核心技术的先进性，并形成合力；扩大大数据技术开发和应用所需人才的供给。以信息和客户为中心，转变联邦政府工作方式，为美国民众供给更优公共效劳。欧盟及日韩将会紧随其后。继美国领先开启大数据国家战略先河之后，欧盟、日本及韩国等国家也将跟进，估量不久相应的战略举措也将出台。数据规模及运用数据的力量将成为综合国力的重要组成局部，对数据的占有和掌握也将成为国家间争夺的焦点。法国政府为促进大数据领域的进展，将以培育兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资打算。法国政府在其公布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高技术，法国软件编辑联盟曾号召政府部门和私人企业共同3亿欧元资金用于推动大数据领域的进展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在其次届巴黎大数据大会完毕后的其次天共同宣布了将投入1150万欧元用于支持7个将来投资工程。这足以证明法国政府对于大数据领域进展的重视。法国政府投资这些工程的目的在于“通过进展创性解决方案，并将其用于实践，来促进法国在大数据领域的进展”。众所周知，法国在数学和统计学领域具有独一无二的优势。日本为了提高信息通信领域的国际竞争力、培育产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题，日本总务省于20127ICT日本”综合战略，今后日本的ICT略方向备受关注。其中最为关注的是其大数据政策〔从各种各样类型的数据中，快速获得有价值信息的力量〕，日本正在针对大数据推广的现状、进展动向、面临问题等进展探讨，以期对解决社会公共问题作出奉献。20136月，安倍内阁正式公布了ITIT国家宣言”。“宣言”全面阐述了2013～2020年期间以进开放放公共数据和大数据为核心的日本IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。3、我国大数据的国家战略争夺一轮技术革命制高点的战役已经打响，中国政府在美国提出《大数据争论和进展打算》的2012年也批复了“国家政务信息化建设工程规划”，总投资额估量在几百亿，特地有人口、法人、空间、宏观经济和文化等五大资源库的五大建设工程。我国的开放、共享和智能的大数据的时代已经降临！2012年8月份国务院制定了促进信息消费扩大内需的文件，推动商业企业加快信息根底设施演进升级，增加信息产品供给力量，形成行业联盟，制定行业标准，构建大数据产业链，促进创链与产业链有效嫁接。同时，构建大数据争论平台，整合创资源，实施“专项打算”，突破关键技术。大力推动国家发改委和中科院根底争论大数据效劳平台应用示范工程，广东领先启动大数据战略推动政府转型，北京正乐观探究政府公布大数据供社会开发，上海也启动大数据研发三年行动打算。当前，在政府部门数据对外开放，由企业系统分析大数据进展投资经营方面，上海无疑是先行一步。2014515日，上海市自今年起推动各级政府部门将数据对外开放，并鼓舞社会对其进展加工和运用。依据上海市经信委印发的《2014年度上海市政府数据资源向社会开放工作打算》，目前已确定190项数据内容作为2014年重点开放领28个市级部门，涉及公共安全、公共效劳、交通效劳、教育科技、产业进展、金融效劳、能源环境、安康卫生、文化消遣等11领域。其中市场监管类数据和交通数据资源的开放将成为重点民息息相关的信息查询届时将完全开放。这意味着企业运用大数据在上海“掘金”的时代降临，企业投资和上海民生相关的产业如交通运输、餐饮等，可以不再“盲人摸象”。在立足国家战略和产业政策推动大数据收集和分析技术快速进展的同时，我们也应糊涂地生疏到避开数据垄断和保护数据安全的重要性，及早开展相关法律法规的探讨和争论。伴随着大数据时代的降临，世界各国对数据的重视提到了前所未有的高度。套上大数据的光环后，原本那些存放在效劳器上平淡无奇的陈年旧数一夜之间身价倍增。依据世界经济论坛报告的看法，“大数据为财宝，价值堪比石油”。正如大数据之父维克托所推测，“虽然数据还没有被列入企业的资产负债表，但这只是一个时间问题。”今日的国家将大数据视为国家战略，并且在实施上，也已经进入到企业战略层面，这种生疏已经远远超出当年的信息化战略。我们上面介绍了很多国外的动态，末了自然也要落脚到本国，思考本国可能实行的进展道路。但是，尚未见到网络安全战略和信息化进展战略全文〔两会期间公布，也就是这几天〕，我们也不妨先总结国外的情形，以便进展比较。2014年2月27日中心网络安全和信息化领导小组宣告成立，组长指出，没有网络安全就没有国家安全，没有信息化就没有现代化。建设网络强国，要有自己的技术，有过硬的技术；要有丰富全面的信息效劳，富强进展的网络文化；要有良好的信息根底设施，形成实力雄厚的信息经济；要有高素养的网络安全和信息化人才队伍；要乐观开展双边、多边的互联网国际沟通合作。从话的另一方面也说明目前我们没有自己的过硬技术，网络文化还有点问题，根底设施还是太差，人才队伍素养跟不上需求，也没有牢靠的盟友，信息经济实力太弱。毫无疑问，中国的底子太薄了。但是，大数据是信息化时代的“石油”。开发大数据资源的力量将影响将来国家的核心竞争力。我国不能梦想走在别人修好的道路，更不能等靠，只能依靠自身力量加速前行，这种力量就是将数据转化为信息和学问的速度与技术，而这种转化速度和技术，则打算了大数据技术力量的凹凸。二、我国大数据的进展趋势及误区1、我国大数据的进展趋势在全球经济、技术一体化的今日，我国IT行业已经开启了大数据的起航之旅，大数据已经在经济领域发挥重要作用。据计世咨讯推测，2012年，政府、互联网、电信、金融等领域市场规模占据近一半的市场份额。大数据在主要经济领域的进展趋势如下：大数据在经济预警方面发挥重要作用在2008年金融危机中，阿里平台的海量交易记录推测了经济指数的下滑。2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，预示了经济危机的降临。数以万计的中小制造商准时获得阿里巴巴的预警，为预防危机做好了预备。大数据分析成为市场营销的重要手段与传统的市场争论方法不同，大数据的市场争论方法不再局限于抽样调查，而是基于几乎全样本空间。例如，百度拥有中国最大的消费者行为数据库，掩盖95%的中国网民，搜寻市场占比达87%。百度基于最真实的用户行为数据和多维度争论工具，帮助宝洁精准的定位了消费者的地域分布、兴趣爱好等信息，依据百度分析的结论，宝洁适时地调整了营销策略。大数据在临床诊断、远程监控、药品研发等领域发挥重要作用我国目前已经有十余座城市开展了数字医疗。病历、影像、远程医疗等都会产生大量的数据并形成电子病历及安康档案。基于这些海量数据，医院能够精准地分析病人的体征、治疗费用和疗效数据，可避开过度及副作用较为明显的治疗，此外还可以利用这些数据进展实现计算机远程监护，对慢性病进展治理等。大数据为金融领域的客户治理、营销治理及风险治理供给重要支撑大数据能够解决金融领域海量数据的存储、查询优化及声音、影像等非构造化数据的处理。金融系统可以通过大数据分析平台，导入客户社交网络、电子商务、终端媒体产生的数据，从而构建客户视图。依托大数据平台可以进展客户行为跟踪、分析，进而猎取用户的消费习惯、风险收益偏好等。针对用户这些特性，银行等金融部门能够实施风险及营销治理。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息根底设施，进呈现代信息技术产业体系，健全信息安全保障体系，推动信息网络技术广泛运用，是实现四化同步进展的保证。大数据分析对我们深刻领悟世情和国情，把握规律，实现科学进展，做出科学决策具有重要意义。中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应留意公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会供给信息效劳并鼓舞挖掘与利用。2、我国大数据行业的误区1、误区一：只有搞大数据技术开发的，才是真正“圈内人”。笔者曾经参与过假设干会议，70%是偏技术的，在场的都是国内各个数据相关工程经理和技术带头人，大家争论的话题都是在升级CDH版本的时候有什么问题，在处理Hive作业的时候哪种方式更好，在StormKafka匹配时如何效率更高，在Spark应用时内存如何释放这些问题。参会者都一个态度：不懂大数据技术的人没资格评论大数据，您要不懂Hadoop2.0中的资源配置，不懂Spark在内存的驻留时间调优，不懂Kafka采集就别参与这个会！对了，最近Google完全抛弃MR只用Dataflow了，您懂吗？不懂滚粗！在这里我想说，技术的进步都是由业务驱动的，某宝去了IOE才能叫大数据吗，我作为一个聋哑人按摩师用结绳记事完成了对于不同体型的人，用什么按摩手法进展全流程治疗，就不叫大数据分析了吗？技术进展到什么程度，只有一小局部是由科学家追求极致的精神驱动，大局部缘由是由于业务进展到肯定程度，要求技术必需做出进步才能达成目标的。所以，真正的大数据“圈内人”至少要包含以下几种人：业务运营人员。比方互联网的产品经理要求技术人员，必需在用户到达网站的时候就算出他今日的心情指数，而且要实现动态监测，这时候只能用Storm或者Spark来处理了；比方电信运营商要求做到实时营销，用户进入营业厅的时候，必需马上推送短信给用户，提示他本营业厅有一个特别适合他的相亲对象〔呈现身高、三围、体重等指标〕，但是见面前要先购置4G手机；再比方病人来到银行开户，银行了解到用户最近1周曾经去医院门诊过两次，出国旅游过3次，带孩子游泳两次，马上客户经理就给客户推举相关的银行保险+理财产品。这些业务人员，往往是驱动技术进步的核心缘由。架构师。架构师有多么重要，当一个业务人员和一个工程师，一个说着业务语言，一个说着技术术语在那里争论问题的时候，工程师往往想着用什么样的代码能马上让他闭嘴，而架构师往往会跳出来说“不，不能那样，你这样写只能解决一个问题并且会制造后续的假设干问题，依据我这个方案来，可以解决后续的假设干问题！”一个非技术企业的IT系统水平，往往有70%以上的标准把握在架构设计人员手里，尽快很多优秀的架构师都是从工程师渐渐进展学习而来的，IT架构的重要性，很多企业都意识到了，这就是很多企业有CTOCIO两个职位，同样重要！架构之IT系统平稳运行的时候没人能感受到，但是在一个烟囱林立、架构混乱的环境中走过的人眼中，IT开发肯定要架构现行，开发在后！投资人。老板，不用说了，老板给你吃穿，你给老板卖命，天生的根底资料供给者，老板说要有山便有了山，老板说要做实时数据处理分析，便有Storm，老板说要做开源，便有了Hadoop，老板还说要做迭代挖掘，便有了Spark„„科学家。他们是别人眼中的Geek，他们是别人眼中的高大上，他们是类似于霍金一样的奇特的早出晚归昼伏夜出的眼睛男女，他们是驱动世界技术进步的核心力气。除了世界顶级的IT公司〔往往世界技术方向把握在他们手中〕，其他公司一般需要1-2个科学家足以，他们是真正投身于科学的人，不要让他们去考虑业务场景，不要让他们去考虑业务流程，不要让他们去计算本钱，不要让他们去考虑工程进度，他们唯一需要考虑的就是如何在某个指标上击败对手，在某个指标上提高0.1%已经让他们可以连续奋战，不眠不休，让我们都为这些科学家喝彩和欢呼吧。在中国，我认为真正的大数据科学家不超过百人„„工程师。工程师是这样一群得意的人，他们年轻，冲动，有抱负，又被人尊称为“屌丝”“键盘党”，他们孜孜不倦的为自己的抱负而拼搏，每次自己取得一点点进步的时候，都在考虑是不是地铁口的鸡蛋灌饼又涨了五毛钱。他们敏感，自负，从来不屑于和业务人员去争论。工程师和科学家的不同点在于，工程师需要频繁改动代码，频繁测试程序，频繁上线，但是最终的系统是由假设干工程师的代码组合起来的。每个自负的工程师看到系统的历史代码都会鄙视的发出一声“哼，这垃圾代码”，之后便投入到被后人连续鄙视的代码编写工作中去。跟风者。他们中有些是培训师，有些是杀马特洗剪吹，有些是煤老板有些是失足少女。他们的特点就是炒，和炒房者唯一不同的就是，他们不用付出金钱，他们认为只要和数据沾边就叫大数据，他们有些人甚至从来没碰过IT系统，他们是浑水摸鱼、滥竽充数的高手，他们是被前几种人鄙视的隐形人。不过我想说，欢送来炒，一个行业炒的越凶，真正有价值的人就更能发挥自己的作用。2、误区二：只有大数据才能挽救世界大数据目前的技术和应用都是在数据分析、数据仓库等方面，主要针对OLAP〔OnlineAnalyticalSystem〕，从技术角度来说，包含我总结的两条腿：一条腿是批量数据处理〔包括MRMPP等〕，另一条腿实时数据流处理〔Storm、内存数据库等〕在此根底上，局部场景又觉察MR框架或实时框架不能很好的满足近线、迭代的挖掘需要，故又产生了目前格外火的基于内存数据处理Spark框架。很多企业目前的大数据框架是，一方面以Hadoop2.0之上HivePig框架处理底层的数据加工和处理，把依据业务规律处理完的数据直接送入到应用数据库中；另一方面以Storm流处理引擎处理实时的数据，依据业务营销的规章触发相应的营销场景。同时，用基于Spark处理技术集群满足对于实时数据加工、挖掘的需求。以上描述可以看出大数据说白了就是还没有进入真正的交易系统，没有在OLTP〔OnlineTransactionsystem 〕方面做出太大的奉献。至于很多文章把大数据和物联网、泛在网、才智城市都联系在一起，我认为大数据不过是条件之一，其余的OLTP系统是否具备，物理网络甚至组织架构都是重要因素。最终还想说，大数据处理技术，再炫如Google的Dataflow或成熟如Hadoop2.0、数据仓库、Storm等，本质上都是数据加工工具，对于很多工程师来说，只需要把数据处理流程搞清楚就可以了，在这个平台上可以用固定的模版和脚本进展数据加工已经足够。到底数据的价值70%以上是对业务应用而言的，一个炫词对于业务假设没有帮助，终将只是屠龙之术。任何技术、IT架构都要符合业务规划、符合业务进展的要求，否则技术只会阻碍业务和生产力的进展。随着时代变迁，大浪淘沙，作为数据行业的一员，我们每个人都在不同的角色之间转换，今日你可能是科学家，明天就会变成架构师，今日的工程师也会变成几年后的科学家，局部人还终将步入跟风者的行列。三、我国大数据进展的机遇和逆境1、大数据迎来大进展的机遇大数据的快速进展，使它成为IT领域的又一大兴产业。据中心财经大学中国经济治理争论院博士张永力估算，国外大数据行业约有1000亿美元的市场，而且每年都以10%的速度在增长，增速是软件行业的两倍。我国2012年大数据市场规模大约4.7亿元，2013年增速将达到138%11.2亿元，产业进展潜力格外巨大。政府乐观介入推动2009年，联合国启动“全球脉动打算”，借大数据推动落后地区进展。20121月，世界经济论坛年会把“大数据、大影响”作为重要议题。美国从开放政府数据、开展关键技术争论和推动大数据应用三方面布局大数据产业。美国在开放政府上格外乐观，通过D开37万个数据集，并开放网站的API和源代码，供给上千个数据应用。除了推动本国政府数据开放，美国提倡发起全球开放政府数据运动，已41个国家响应。美国政府还投资两亿美元促进大数据核心技术争论和应用，把大数据放在与集成电路、互联网同等重要的位臵，从国家层面推动。资本市场也对大数据钟爱有加20124月，大数据分析公司Splunk高调宣传大数据，引发投资12月初，为企业市场供给Hadoop解决方案的创业公司Cloudera获得6500万美元融资，估值约为7亿美元。近期，高盛联席主席斯科特.斯坦福说：“投资大数据及其运用回报率最高”。大数据领域的企业并购热度也在上升，单笔平均并购金额方面，大数据超过云计算位居IT领域榜首，在总并购额上也位居其次。人才需求巨大据一家国际询问公司，盖特纳询问公司推测大数据将为全球带来440万个IT岗位和上千万个非IT岗位。麦肯锡公司推测美国到2018年需要深度数据分析人才4449万，缺口1419万人；需要既生疏本单位需求又了解大数据技术与应用的治理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创人才更是稀缺资源。各方乐观参与大数据的火爆，也带动了国内学术界、产业界和政府对大数据的热忱。2011年以来，中国计算机学会、中国通信学会先后成立了大数据委员会，争论大数据中的科学与工程问题，科技部的《中国云科技进展“”专项规划》和工信部的《物联网“”进展规划》等都把大数据技术作为一项重点予以支持。其中工信部公布的物联网“”规划上，把信息处理技术作为4项关键技术创工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成局部。而另外3项关键技术创工程，包括信息感知技术、信息传输技术、信息安全技术，也都与“大数据”亲热相关。应用方面，中国三大通信运营商都在结合自身业务状况，乐观推动大数据应用工作，并取得了较好的进展。电子商务企业阿里巴巴提出要做中国数据分析第一平台，通过把握的企业交易数据，借助大数据技术自动分析判定是否赐予企业贷款，全程不会消灭人工干预。据透露，截至目前阿里巴巴已经放贷300多亿元，坏账率约0.3%左右，大大低于商业银行。研发企业方面，我国能够处理大数据的企业并不是很多。北京永洪科技在这方面做的不错。永洪科技在大数据、分布式计算、数据分析等领域具备核心竞争力、自主创并拥有多项制造专利。推出的Z系列产品在大数据的应用分析中在国际上也是领先的。大数据的热潮触发了一场思想启蒙运动，使得“大数据是资产，不是包袱”、“要拿数据说话”等观念逐步深入人心，转变了以往不重视数据积存，不信任数据分析等生疏。有了这种思维模式的转变，大数据的应用就有了期望。2、大数据落地面临的困难应当说，全球来看，对大数据生疏、争论和应用还都处于初期阶段。特别是对我国来说，大数据真正落地，还需要迈过三道坎。数据是否足够丰富和开放丰富的数据源是大数据产业进展的前提。而我国数字化的数据资源总量远远低于美欧，每年增数据量仅为美国的7%12%政府和制造业的数据资源积存远远落后于国外。就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的状况，这大大降低了数据的价值。同时，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，以邻为壑、共享难，这给数据利用造成极大障碍。制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法，无法既保证共享又防止滥用，一方面欠缺推动政府和公共数据的政策，另一方面数据保护和隐私保护方面的制度不完善抑制了开放的乐观性。因此，建立一个良性进展的数据共享生态系统，是我国大数据进展需要迈过去的第一道砍。是否把握强大的数据分析工具要以低本钱和可扩展的方式处理大数据，这就需要对整个IT架构进展重构，开发先进的软件平台和算法。这方面，国外又一次走在我们前面。特别是近年来以开源模式进展起来的Hadoop等大数据处理软件平台，及其相关产业已经在美国初步形成。而我国数据处理技术根底薄弱，总体上以跟随为主，难以满足大数据大规模应用的需求。假设把大数据比作石油，那数据分析工具就是勘探、钻井、提炼、加工的技术。我国必需把握大数据关键技术，才能将资源转化为价值。应当说，要迈过这道坎，开源技术为我们供给了很好的根底。治理理念和运作方式