朱扬勇-上海市数据科学重点实验室

1、朱扬勇 复旦大学计算机科学技术学院 上海市数据科学重点实验室,发展农业大数据产业的关键,2016第三届农业大数据论坛，泰安，2016-07-9,大数据发展动态,大数据在中国,2015年初 有人说大数据 冬天快到了,2016年初？,2013年初 很多人说早就在做大数据了,2012年初 几乎没有人知道 大数据,2014年初 大数据步入实用,大数据成为交易标的,大数据在中国,大数据在中国,大数据在中国,2016年4月1日，上海数据交易中心挂牌,信息化促进人类社会的进步与发展,国民 经济 与 社会 信息化 发展 战略,信息化促进人类社会的进步与发展,政府/非政府数据 公共/私有数据 领域数据 社会数据

2、 网页/非网页数据 ,信息化是生产数据的过程,数据是CYBER 空间的唯一存在,数据的大量积累形成了数据资源,数据资源是重要的现代战略资源，其重要性越来越显现，在本世纪有可能超过石油、煤炭、矿产，成为最重要的人类资源。 提高数据资源开发利用水平、保护国家的战略资源是增强我国综合国力和国际竞争力的必然选择。 朱扬勇，熊赟，数据资源保护与开发利用. 收录于专家论城市信息化， 上海科技文献出版社2008: 133-137.,Amazon前首席科学家表示“数据是原油，但石油需要加以提炼后才能使用，从事海量数据处理的公司就是炼油厂”。2012年,数据资源的战略性得到了重视,数据资源的战略性得到了重视,发

3、改委,科技部/工信部,自然基金委,2015年8月19日国务院通过关于促进大数据发展的行动纲要 2015年10月29日中央五中全会提出“实施国家大数据战略”,2014年开始大数据写入政府工作报告,国家层面,科技部大数据重大工程项目建议,上海市推进大数据研究与发展三年行动计划 上海市大数据与云计算十三五规划 上海市大数据与云计算重大科技创新工程,信息化战略与大数据战略,十四届五中全会提出信息化战略,十八届五中全会提出大数据战略,数据是基础性资源，也是重要生产力。,中国正在推动各行各业依托大数据创新商业模式，实现融合发展，推动提升政府科学决策和管理水平。,国务院发布关于促进大数据发展行动纲要,十八届

4、五中全会提出“实施国家大数据战略”,国家大数据战略,李克强总理指出：,开放 共享 安全,推动数据资源共享开放是纲要的核心,不愿开放共享,不敢开放共享,不会开放共享,十八届五中全会提出“实施国家大数据战略”,纲要要求政府带头开放共享数据资源,建设可开发的数据资源、确保数据拥有者的利益,培养数据人才、发展数据科技,建立数据资源开发和数据财政体系,要尽早、尽快、尽量使用数据资源，而不是囤积待涨,数据拥有者,国家大数据战略,步入深水区后的核心主题和战略抉择,数据,数据,数据,不愿 开放共享,不敢 开放共享,不会 开放共享,国家大数据战略,用数据解决问题 解决数据的问题,简单的大数据,农业大数据的关键,

5、大数据 产业整合,大数据产业创新,大数据资源,终端 低价甚至免费,应用 低价甚至免费,传统业 终端制造、IT、电信,新业态 基于大数据产业创新,农业的大数据问题,消费者,农业 科学家,农民,流通环节,政府,科学家,流通,农民,农业大数据服务平台,政府,消费者,农业数据产业现状,超算中心和云计算中心并不适合大数据,超算中心和云计算中心并不适合大数据,几个关键认识,大数据之,大,2012年 1 PB,2030年 100EB,2016年 10PB,2020年 100PB,2040年 100ZB,数据特性,数据用途,可用数据,思想准备,超算中心和云计算中心并不适合大数据,超算中心和云计算中心并不适合大

6、数据,几个关键问题,大数据之,大,2012年 1 PB,2030年 100EB,2016年 10PB,2020年 100PB,2040年 100ZB,数据储备,人才储备,应用推广,服务三农,变“土地财政 ”为“数据财政”,变“土地财政 ”为“数据财政”,数据资源,土地资源,单次使用 越用越少 囤积待涨,传统资源 传统产业,土地国有,可多次重复使用 不会因使用而减少 不会因不用而增值,新兴资源 新兴产业,政府和公共数据占比最大,上海市数据科学重点实验室,五、保障措施 （一）创新体系建设 成立“上海大数据产业技术创新战略联盟”，建设“上海市数据科学重点实验室”、大数据工程技术研究中心等等,实验室的

7、建设目标为：发挥上海乃至全国的人才优势、技术优势和数据优势，使其成为国际知名数据科学研究机构、数据科学人才培养基地，在数据科学基础理论方面取得国际领先的研究成果，引领国际数据科学研究，提升上海乃至中国的数据创新能力。,上海推进大数据研究与发展三年行动计划的组成部分,多学科辐射全国,复旦人员构成,复旦之外人员构成,概况,学术委员会构成,军民、通信、计算机、安全、环境、中医、生物、经济、新闻等专业,实验室创下多项纪录,国内第一个政府支持的数据科学实验室,国际第一个系统阐述数据科学和大数据,国内第一个设置数据科学专业,国内第一套大数据方面的丛书大数据技术与应用,国际第一届数据科学会议“Interna

8、tional Conference on Data Sceince,国内第一届数据科学家大会,概况,科学研究,数据科学基础理论研究方向,数据界探索研究方向,数据技术及应用研究方向,科技部“973计划”项目1项、“863计划”项目5项、国家科技重大专项3项、国家自然科学基金委重大项目3项、国家自然科学基金委重点项目2项、国家自然基金面上项目12项、省部级项目10项、企业委托项目10项，共计69项。2015年度新增35项。 合同经费总额为6087.93万元，2014年度到款经费总额为2623.98万元，其中，纵向项目合同经费为4830.53万元，年度到款经费为2044.18万元；企业委托项目合同经

9、费为1257.4万元，年度到款总额为579.8万元。 72篇以研究人员为第一作者、通讯作者、署名为上海市数据科学重点实验室的文章在IJCAI、TKDE、CIKM、WWW、软件学报等数据领域顶级影响力国际会议和期刊上发表。 组织编著了大数据技术与应用丛书（共六本），第二批已由上海科学技术出版社出版,上海市数据科学重点实验室： 大数据试验场原型（600万）,2013年-2015年期间 复旦大学上海市数据科学重点实验室累计投入600万资金。,208个CPU核心，4032GB内存,1081TB的数据存储能力,48个万兆以太网口、144个千兆以太网口接入能力,30个公网地址,已经形成200TB的各类数据

10、资源，涵盖常用的科研实验数据集，世界主要语种语料库，以及交通、医疗、生物、证券期货、社交网络与舆情、互联网营销、公共设施安全、天文和遥感等应用领域数据资源。,复旦-仪电合作项目 复旦大数据试验场（2000万）,2016年复旦大学联合上海仪电已经筹集到位2000万元资金，拟用于大数据试验场原型的设备购置、集成等，建设方案已经完成初稿。2016年将完成大数据试验场原型系统开发建设，总投资8000万元以上。,目前进入2000万设备采购招标流程，正组织开发、建设、运行团队。计划年底开通。,大数据试验场,张江国家科学中心，作为上海加快建设具有全球影响力的科技创新中心的关键举措和核心任务，构建代表世界先进

11、水平的重大科技基础设施群。到2020年，要基本形成综合性国家科学中心基础框架。 重点开展四个方面工作： 1）建立世界一流重大科技基础设施集群。 2）推动设施建设与交叉前沿研究深度融合。 3）构建跨学科、跨领域的协同创新网络。 4）探索实施重大科技设施组织管理新体制。,全球领先的大数据试验场,全球领先的大数据技术,全球领先的大数据产业,张江专项： 大数据试验场建设（2000万）,科委： 支持交易的大数据试验场（1994万）,子课题一：支持大数据试验的关键技术 (复旦大学),子课题二：支持数据交易关键技术 （如：质量与风险管控技术 (产研院、软件中心、理想、复旦),子课题三：大数据试验场原型系统研制 （万达信息、仪电）,子课题四：大数据众创空间数据平台研制（超算中心）,目标： 突破大数据试验场的技术瓶颈，解决数据流通、交易过程中的共性支撑技术，构建试验环境，支持大数据交易,一、支持大数据试验的关键技术 试验全流程安全审计监管 多宿主、多粒度访问控制 动态软硬件环境自动配置及调度 探索性大数据分析建模 二、大数据试验场运维管理原型系统研制 多场景、多