白皮书2013版和2014发展趋势预测

2013年中国大数据发展白皮书与2014年大数据发展趋势预测CCF大数据专家委员会官方发布报告人：程学旗 2013年 12月 5日第一部分：中国大数据技术与产业发展白皮书（ 2013年版）著作者： CCF大数据专家委员会2013年 12月 5日3CCF大数据专家委员会白皮书成稿背景 白皮书的形成：在中国计算机学会大数据专家委员会精心组织下，花了大半年时间撰写了这本中国大数据技术与产业发展白皮书（ 2013年）120余名专家 参与， 50余名专家直接撰稿 ，来自大学、科研单位、企业和政府部门，从事的专业涵盖计算机系统、通信、数据库和数据挖掘、大数据应用等各个不同的领域 。白皮书前后修改十余次，正式版 8万余字。一定程度上反映了我国大数据学术界和产业界的共识。4CCF大数据专家委员会白皮书定位 白皮书定位：为业界梳理大数据应用现状及发展趋势 ；为政府制定推动大数据产业发 展的政策提供建议 ；探讨大数据研究面临的科学问题和技术挑战，为研究机构和研究人员提供 参考 。5CCF大数据专家委员会白皮书的大纲 1.1大数据的起源 1.2大数据的概念和内涵 1.3大数据的发展历程 1.4大数据的热点问题 1.5各国大数据发展战略 2.1 互联网与大数据 2.2 网络通信与大数据 2.3 网络空间安全与大数据 2.4 城镇化、智慧城市与大数据 2.5 金融与大数据 2.6 健康医疗与大数据 2.7 生物信息、制药与大数据第一章 大数据的发展背景 3.1 大数据采集与预处理 3.2 大数据存储与管理 3.3 大数据计算模式与系统 3.4 大数据分析与挖掘 3.5 大数据可视化计算 3.6 大数据隐私与安全第二章 大数据典型应用现状 4.1 大数据国内外相关产业现状 4.2大数据产学研合作相关社区、开源组织、行业协会 4.3数据生产、数据共享与隐私保护等相关政策与法规 4.4 大数据产业链的创新与瓶颈第三章 大数据技术体系现状 5.1 数据科学学位人才培养 5.2 数据科学职业人才培训第四章 大数据 IT产业链与生态环境 6.1 大数据科学问题与学科发展趋势 6.2 大数据的技术挑战与发展趋势 6.3大数据产业的发展重点 6.4 大数据未来发展的思考与建议第五章 大数据人才资源第六章 大数据发展趋势与建议6CCF大数据专家委员会白皮书的大纲 2.1 互联网与大数据 2.2 网络通信与大数据 2.3 网络空间安全与大数据 2.4 城镇化、智慧城市与大数据 2.5 金融与大数据 2.6 健康医疗与大数据 2.7 生物信息、制药与大数据 3.1 大数据采集与预处理 3.2 大数据存储与管理 3.3 大数据计算模式与系统 3.4 大数据分析与挖掘 3.5 大数据可视化计算 3.6 大数据隐私与安全第二章 大数据典型应用现状第三章 大数据技术体系现状7CCF大数据专家委员会白皮书的大纲 4.1 大数据国内外相关产业现状 4.2大数据产学研合作相关社区、开源组织、行业协会 4.3数据生产、数据共享与隐私保护等相关政策与法规 4.4 大数据产业链的创新与瓶颈 5.1 数据科学学位人才培养 5.2 数据科学职业人才培训第四章 大数据IT产业链与生态环境 6.1 大数据科学问题与学科发展趋势 6.2 大数据的技术挑战与发展趋势 6.3大数据产业的发展重点 6.4 大数据未来发展的思考与建议第五章 大数据人才资源第六章 大数据发展趋势与建议8CCF大数据专家委员会6.1 大数据科学问题与学科发展 趋势科学 问题 大数据复杂性的内在机理 大数据的可计算性及新型计算范式 大数据处理系统的效能评价与优化学科 发展趋势 “数据科学 ”研究的对象是什么？ 数据背后的共性问题 关系网络 大数据研究中的关联关系与因果关系 社会科学的大数据研究 数据处理的复杂性研究 科研第四范式是思维方式的大变化9CCF大数据专家委员会6.2 大数据的技术挑战与发展 趋势技术挑战 大数据的去冗降噪技术 大数据的新型表示方法 高效率低成本的大数据存储 大数据的有效融合 非结构化和半结构化数据的高效处理 适合不同行业的大数据挖掘分析工具和开发环境 大幅度降低数据处理、存储和通信能耗的 新技术技术 发展 趋势1. 数据资源化2. 大数据隐私问题3. 大数据与云计算等深度融合4. 基于海量数据（知识）的智能5. 大数据分析的革命性方法6. 大数据安全7. 数据科学兴起8. 数据共享联盟9. 大数据新职业10. 更大的数据10CCF大数据专家委员会6.4 大数据未来发展的思考与 建议促进 大数据基础研究的 建议1. 优先 支持网络大数据研究2. 大 数据科学的基础研究3. 大 数据研究的组织 方式4. 大 数据研究的资源 支持发展 大数据产业的政策建议 1. 政府 带头，实现等级制数据开放共享2. 尽早 制定国家大数据研究与产业发展规划3. 研究 和制定科学务实的大数据评价 标准4. 建立 数据资产化和数据资产流转 体系5. 完善 法律法规，保障数据安全6. 加强 人才 培养11CCF大数据专家委员会中国大数据技术与产业发展白皮书（ 2013）白皮书是专家委第一次组织撰写，虽反复修改了十余次，但书中肯定还存在一些内容 偏颇 和文字错误，撰写组织工作也有很多不当之处，我们将不断完善稍后 白皮书 将由中国计算机学会正式出版。 将在中国计算机学会官方网站对外发布希望产业界和学术界的专家学者和广大读者提出批评和建议，共同推动中国大数据技术与产业的发展。第二部分2014年大数据发展趋势预测CCF大数据专家委员会专家调研结果发布2013年 12月 5日13CCF大数据专家委员会调研的目标、方法和过程调研范围CCF大数据专家委候选项征集工作组汇总提出候选项专家委投票90位专家投票汇总投票结果形成初步结论 122位委员 学术界 66位、产业界 28位、政府 4位、海外 13位、跨界特邀委员 11位 思考热点问题 给 出 2014年大数据发展趋势预测14CCF大数据专家委员会2014年大数据发展趋势十大预测122位 CCF专家的群体判断15CCF大数据专家委员会大数据从 “ 概念 ” 走向 “ 价值 ”票选第 1（ 93票）一、大数据一、大数据 向更向更 多新领域扩张多新领域扩张 (67票票 )1)【 几乎 所有 】 (11票 )2)【 一些突破 】 (30票 )3)【 突破有限 】 (26票 )4)本 问题不 重要 (23票 )二、二、 更多数据驱动的商业更多数据驱动的商业 模式（模式（ 13票）票）互联网金融等将会成为大数据应用的新的商业模式，特别是基于海互联网金融等将会成为大数据应用的新的商业模式，特别是基于海量数据的信用体系和风险控制量数据的信用体系和风险控制三、资本高度关注（三、资本高度关注（ 13票）票）资本高度关注大数据领域，相关的融资、并购、资本高度关注大数据领域，相关的融资、并购、 IPO纷纷出现纷纷出现16CCF大数据专家委员会票选第 2（ 71票）一、大数据处理多样化模式并存融合（ 34票）Hadoop MapReduce框架一统天下的模式被打破 ，实时流计算、分布式内存计算、图计算框架等并存二、 大数据存储 与管理（ 23票）大数据的 4V放大了以前海量数据的存储与管理的挑战三、内存计算成为提高处理性能主要手段之一（ 14票 ）内存价格不断降低，使内存计算将成为解决实时性大数据处理问题的主要手段大数据处理架构的多样化模式并存17CCF大数据专家委员会票选第 3（ 53票）一、大数据安全 (33票 )大数据更容易成为网络攻击目标对存储的物理安全性要求会越来越高大数据分析技术更容易被黑客利用大数据引起了更多不易被追踪和防范的犯罪手段二、 大数据个人 数据保护和隐私问题立法（ 20票）个人的隐私越来越多地融入各种大数据中大数据拥有者掌控了越来越多人的越来越丰富的信息。有偿的隐私保护服务会被大众接受大数据安全与隐私18CCF大数据专家委员会票选第 4（ 61票）一、大数据可视化（ 33票）规模大，难理解，分析过程离不开可视化技术可视化将贯穿大数据分析与结果展示二、实时分析处 理集成（ 14票）查询和分析的实时性对人们能否及时获得决策信息非常重要，内存计算模式或将成为大数据实时处理的重要手段三、大数据分析 的革命性 方法（ 14票）大数据可能是新一波技术革命基于大数据的数据挖掘 /机器学习可能会改变小数据 /小世界里的很多算法和基础理论大数据分析与可视化成为热点19CCF大数据专家委员会票选第 5（ 71票）一、 大数据产业成为国家战略新兴产业 (31票 )发展大数据产业，利用大数据分析提高国家经济决策和社会服务能力，保障国家安全成为各国的重要战略二、 大企业大数据（ 27票）大企业成为大数据最活跃 的群体三、 政府大数据 (20票 )一些拥有大数据的政府部门纷纷利用积累的数据，采用大数据技术进行分析，产生突出效果大数据产业成为战略性产业20CCF大数据专家委员会票选第 6（ 59）一、数据共享联盟（ 31票）数据共享联盟将逐渐壮大成为产业的核心一环数据共享将扩展到企业层面二、 数据资源化、私有化，进而 商品化（ 28票）数据的私有化和独占问题成为关注的焦点数据产权界定问题日益突出在数据权属确定的情况下，数据商品化成为必然选择数据商品化与数据共享联盟化21CCF大数据专家委员会票选第 7（ 76票）一 、大数据预测和决策支持 (31票 )通过对海量历史数据分析，帮助捕捉现在和预测未来，进而通过大数据进行决策支持二、 精确个性化推荐系统（ 27票 )推荐系统更加了解用户，更精确更个性化；成为最具效果的大数据商业应用三、 基于社交网络的广告营销模式会初现端倪（ 18票 ）在积累了多年用户和数据基础后，基于社交网络的广告营销模式具备了爆发商业应用的机会基于大数据的推荐与预测流行22CCF大数据专家委员会票选第（ 56票）一、 深度学习成为大数据智能分析的核心技术（ 28票 ）在大数据时代，依靠高性能计算的支持，深度学习有望成为大数据智能处理的核心技术之一。二、基于海量知识的智能（ 18票）将要兴起的下一个浪潮 -智能机器会依赖于对扑捉到的数据的分析来做判断和决策三、群体智能与众包计算成为支撑技术（ 10票 ）用分布式计算来支撑大数据分析的必经之路。在很多大数据的应用场合，基于物理资源分散式会有更多的应用场景深度学习与大数据智能成为支撑23CCF大数据专家委员会票选第 9（ 47票）一、 数据科学兴起（ 27票 )数据科学作为一个与大数据相关的新兴学科出现二、 大数据系统评测基准 （ 10票）各种大数据分析系统各有所长，在不同类型分析查询下，表现出不同的性能差异。迫切需要通过基准测试，了解各种大数据分析系统的优缺点三、 所有的科学正迅速变成数据 科学（ 10票）大数据使得数学研究前所未有地与应用相结合，并促使数学学科开始发生变革数据科学的兴起24CCF大数据专家委员会票选 第 10（ 61票 ）一、开源成为主流 (23票 ) ( 6 )开 源成为绝对 主流 (14)开 源是主流， 但不是绝对二、大数据与云计算 、 物联网（ 20票 ）大数据将与云计算 、物联网、移动互联网等热 点新兴 计算产生交 融三、大数据教育 (MOOC和 教育大数据， 18票 )大规模 教学法研究将在学习行为大数据分析中启航四、 大数据个人数据保护和隐私问题立法（ 20）大数据生态环境逐步完善25CCF大数据专家委员会十 大趋势预测的对比2013年度预测1. 数据的资源化2. 大数据的隐私问题突出3. 大数据与云计算等深度融合4. 基于大数据的智能的出现5. 大数据分析的革命性方法6. 大数据安全7. 数据科学兴起8. 数据共享联盟9. 大数据新职业10. 更大的数据2014年度预测1、 大数据从 “ 概念 ” 走向 “ 价值 ”2、 大数据架构的多样化模式并存3、 大数据 安全与隐 私4、 大数据分析与可视化5、 大数据产业成为战略性产业6、 数据商品化与数据共享联盟化7、 基于大数据的推荐与预测流行8、 深度学习与大数据智能成为支撑9、 数据 科学的兴起10、 大数据生态环境逐步完善26CCF大数据专家委员会十 大趋势预测的对比2013年度预测1. 数据的资源化2. 大数据的隐私问题突出3. 大数据与云计算等深度融合4. 基于大数据的智能的出现5. 大数据分析的革命性方法6. 大数据安全7. 数据科学兴起8. 数据共享联盟9. 大数据新职业10. 更大的数据2014年度预测 大数据向更多新领域扩张 大数据处理多样化模式并存融合 大数据安全 大数据可视化 大数据产业成为国家战略新兴产业 数据共享联盟 大数据预测和决策支持 深度学习 成为智能 分析的核心技术 数据 资源化、私有化，进而商品化 数据科学兴起 精确个性化推荐系统 大企业大 数据27CCF大数据专家委员会十 大趋势预测的对比2013年度预测1. 数据的资源化2. 大数据的隐私问题突出3. 大数据与云计算等深度融合4. 基于大数据的智能的出现5. 大数据分析的革命性方法6. 大数据安全7. 数据科学兴起8. 数据共享联盟9. 大数据新职业10. 更大的数据2014年度预测第 13-20(第 13)大 数据存储与管理(第 13)开 源成为主流(第 15)大 数据与云计算、物联网(第 15)大 数据个人数据保护和隐私问题立法(第 15)政府 大数据(第 18) 基于海量知识的智能(第 18) 基于社交网络的广告营销模式(第 18) MOOC和教育大数据(第 31)大数据新职业28CCF大数据专家委员会十 大趋势预测的对比2013年度预测1. 数据的资源化2. 大数据的隐私问题突出3. 大数据与云计算等深度融合4. 基于大数据的智能的出现5. 大数据分析的革命性方法大数据分析的革命性方法6. 大数据安全7. 数据科学兴起8. 数据共享联盟9. 大数据新职业10. 更大的数据2014年度预测 大数据向更多新领域扩张 大数据处理多样化模式并存融合大数据处理多样化模式并存融合 大数据安全 大数据可视化大数据可视化 大数据产业成为国家战略新兴产业 数据共享联盟 大数据预测和决策支持 深度学习成为智能分析的核心技术深度学习成为智能分析的核心技术 数据 资源化、私有化，进而商品化 数据科学兴起 精确个性化推荐系统 大企业大 数据29CCF大数据专家委员会十 大趋势预测的对比2013年度预测1. 数据的资源化2. 大数据的隐私问题突出3. 大数据与云计算等深度融合4. 基于大