农业大数据解决方案_第1页
农业大数据解决方案_第2页
农业大数据解决方案_第3页
农业大数据解决方案_第4页
农业大数据解决方案_第5页
已阅读5页,还剩48页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

农业大数据解决方案-白皮书vl.O

贡献中国数据智慧

释放全球数据价值

目录

一、背景情况........................................................1

(一)大数据已上升为国家战略,成为政府治理的重要途径............1

(二)大数据领域最新发展趋势....................................2

(三)农业大数据应用及存在的问题................................3

二、可行性和必要性.................................................7

(-)实施政府农业大数据的必要性................................7

1.实施农业大数据是破解农业发展难题的迫切需要...................7

2.实施农业大数据是提升农业行业监管效率的重要途径...............9

3.实施农业大数据是实现数据共享和公开需求的必要途径.............9

(二)实施政府农业大数据的可行性................................10

1.政策环境支持农业大数据的发展................................10

2."金农工程”积累了丰富的数据和信息基础........................10

3.大数据技术的发展和和应用及土地流转为数据的自动化采集提供渠道12

4.九次方大数据在政府数据解决方案领域的优势....................13

三、总体方案......................................................14

(―)主要目标.................................................14

(二)建设原则.................................................14

(三)总体框架.................................................16

1.一网——农业大数据采集网....................................16

2.一库----农业数据库..........................................21

3.一平台一一大数据平台........................................22

4.N大应用场景................................................24

5.一门户一一区域农业大数据网..................................24

四、应用场景示例.................................................25

(-)政府治理应用场景.........................................25

1.区域农业资源环境精准监测....................................25

2.区域农业灾害预警平台........................................27

3.区域土地流转监管............................................29

4.区域农业创新组织监测........................................31

5.粮食安全监测预警大数据平台..................................33

6.区域农产品供需监测..........................................34

7.区域农产品质量安全全程追溯平台..............................37

(二)民生服务应用场景.........................................38

1.农作物种子行业信息查询追溯平台..............................38

2.农户个性化生产服务平台......................................42

3.问题农产品曝光平台..........................................43

4.农产品价格信息平台..........................................45

(三)产业促进应用场景.........................................46

1.县域农业产业投资平台........................................46

2.农企创业创新指数............................................48

五、效益分析......................................................50

G九次方大数据贡献中国数据智息

JUSFOUNBIGDATA箱放全球数据价侑

一、背景情况

(一)大数据已上升为国家战略,成为政府治理的重要途径

大数据是以容量大(Volume),类型多(Variety)、存取速度快(Velocity)、

应用价值高(Value)为主要特征的数据集合,正快速发展为从数据中发现新知

识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据归根结底要

应用于实体行业,提升产业效率,才有实际意义,否则再多的数据也只是沉睡的

资产。

目前,大数据已渗透到每一个行业及职能领域,成为最重要的生产因素之一。

国家对大数据的政策支持也使得大数据行业迎来前所未有的发展机遇。2015年

9月5日,国务院发布《促进大数据发展行动纲要》,提出“大数据将成为提升

政府治理能力的新途径2016年3月17日《中华人民共和国国民经济和社会

发展第十三个五年规划纲要》发布,提出“实施国家大数据战略”,“全面实施促

进大数据发展行动,加快推动数据资源共享开放和开发应用,助力产业转型升级

和社会治理创新

随着互联网和移动互联网的普及,以及大数据收集存储挖掘技术的研发突破,

在中国,运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正

成为趋势,上至国务院各部委,下至地方各级政府都已经或准备启动大数据相关

工作。

地址:北京市海淀区王庄路1号清华同方科技广场D座西楼16层,电话:4008190919

1

02012.7国务院《十二五国家战略性新兴产业发展规划》明确提出海量数据存储、处理技

术的研发和产业化

O2013.7重庆《重庆市大数据行动计划》2017年将大数据产业培育成全市经济发展的重要

增长极

上海《上海推进大数据研究与发展三年行动计划(2013-2015)》数据硬件及大数据

软件产品具备产业核心竞争力

U2014.2贵州《关于加快大数据产业发展应用若干政策的意见》打造大数据产业发展应用

新高地,建成全国领先的大数据资源中心和大数据应用服务示范基地

力2015.3国务院制定“互联网+"行动计划推进互联网、云计算、大数据、物联网等与现

代制造业结合,促进电子商务、工业互联网和互联网金融健康发展,引导互联网企业拓展

国际市场.

O2015.4发改委《创新投资管理方式建立协同监管机制的若干意见》提出运用互联网和大

数据的技术来创新监管的方式

O2015.5工信部将编制实施软件和大数据产业“十三五”规划大数据产业第一次明确出现

在规划中.

O2015.6国家信息中心联合深圳大学成立深圳大数据研究院推动我国大数据技术、人才与

产业发展,

f信部加快推进云计算与大数据标准体系建设将加快云计算与物联网、移动互联

网、现在制造业的融合发展与创新应用,积极培育新业态、新产业、加快推进云计算与大

数据标准体系的建设.

O2015.7国务院《关于运用大数据加强对市场主体服务和监管的若干意见》运用大数据加

强对市场主体服务和监管,明确时间表.

O2015.9国务院发布《促进大数据发展行动纲要》,提出"数据已成为国家基础性战略资

源"、”大数据成为提升政府治理能力的新途径"

力2016.3《中华人民共和国国民经济和社会发展第十三个五年规划纲要》发布,提出"实施

国家大数据战略","全面实施促进大数据发展行动,力瞅推动数据资源共享开放和开发

应用,助力产业转型升级和社会治理创新”.

图表1.2012年-2016年国家及地方密集发布大数据政策

(二)大数据领域最新发展趋势

1、数据来源向移动终端转移,非结构化数据快速增长

随着手机、平板、智能穿戴设备等移动端的普及,交易和支付方式已向移动

终端转移,在移动终端开始产生和积累大量的数据。根据国际数据公司(IDC)监

测,全球数据量大约每两年翻一番,预计到2020年,全球将拥有35ZB的数据量,

并且85%以上的数据以非结构化或半结构化的形式存在。

2、大数据技术开源使得行业应用更为普及

2

目前一些开源的数据存储、数据挖掘、数据分析、可视化等技术开始广泛应

用于各个行业,例如Hadoop、spark、storm等。

3、中国政府数据逐步开放共享,以及对大数据行业的政策支持,将使得中

国大数据行业迎来快速发展的机遇,创造更多创业就业机会,助力实体

经济改革。

4、各个行业现在不缺数据,缺数据分析人才,同时拥有行业背景和数

据挖掘分析能力的人,解读数据并将数据分析结果应用到实际行业的人。

(三)农业大数据应用及存在的问题

农业农村是大数据产生和应用的重要领域之一,随着信息化和农业现代化深

入推进,农业农村大数据正在与农业产业全面深度融合,逐渐成为智慧农业的神

经系统和推进农业现代化的核心关键要素。

2015年9月,国务院发布《促进大数据发展行动纲要》,3个月后,农业部

发布《关于推进农业农村大数据发展的实施意见》,提出农业农村大数据将在未

来十年实现“四步走”的发展目标。

W到2017年底前,农业部及省级农业行政主管部门数据共享的范围边界和使用方

式基本明确,跨部门、跨区域数据资源共享共用格局基本形成。

■"1嬴府底前,实现“金农工程”信息系统与中央政府其他相关信息系统通过

统一平台进行数据共享和交换。

隼底前,逐步实现农业部和省级农业行政王管部门数据集向社会开放L

眨实现农业农村历史资料的数据化、数据采集的自动化、数据使用的智能化、数

据共享的便捷化

华,奖现农业产业链、价值链、供回铤的*H,大幡提升农业生产智般

;化、经营网络化、管理高效化、服务便捷化的能力和水平,全面建成全球农业

数据调查分析系统。

图表2.中国农业大数据发展目标

我国是农业大国,由于农业的国民经济基础属性,以及我国农业相对分散的

生产模式,信息采集大多由人工上报,电子化的数据采集模式应用较少,农业数

据主要来源于农业部门及统计局等政府部门,主要包括土地数据、农村基础设施

3

数据、种植业数据、养殖业数据、渔业数据、农产品加工行业、农产品流通和销

售数据。

目前,国内外农业大数据主要应用于以下几个方向

1、农业科研育种。例如先锋等公司,所有试验站共用一套种质资源库,

育种过程实行大规模、程序化、数据化的流水线式商业育种管理,从

试验设计、试验用种分包和排列、播种、试验标牌和田间记载簿管理、

数据采集、收获、数据分析、决策和保存、冬繁和育种材料决选都贯

穿机械化和电子化,应用成熟的育种资料分析软件系统,大大提高了

育种的效率。

2、精准农业。通过GPS定位、农田遥感监测、智能农机具等采集监测的

数据,利用大数据技术和方法处理与分析,能够实现农业生产各个环

节的精准管理。

种植业中,精准农业技术公司提供监测工具,农民驾驶播种机在不同

区域、不同土壤条件进行不同作物品种不同间距、深度播种,并实现

差异化灌溉。气候公司分析气象、天气、降雨、地质、土壤数据等,

为农民提供适合的种植建议。

在养殖场,农场云端服务商通过对饲养畜牧的追踪和信息记录(饲料

库存、成本,畜牧的出生、死亡、产奶等信息,还有农场的经营数据)。

监测分析农场及生产状况,为农场主科学地制定养殖计划。

3、农情监测与预警。将农作物生长信息数据、气象数据、病虫害数据等

上传到云端,进行存储,运用大数据分析技术进行农情监测、灾情预

报、灾情分析、辅助救灾决策等,并面向全国各地政府部门、科研机

构、农户提供客观可靠、快速及时的农业病虫害预警、农业气象预警

等预警服务。此外,针对供需数据和价格监测,FAO、美国农业部、

中国农科院等机构均有农产品市场监测预警模型系统。

4、农业保险快速响应和赔付。美国天气意外保险公司利用采集点获取的

天气数据,结合大量天气模拟、海量植物根部构造和土质分析等信息

对意外天气风险做出综合判断,为农民提供涵盖全年各季节的天气保

险项目。当损失发生并需要赔付时,只依据天气数据库,而不需要繁

4

琐的纸面工作和实地勘测。

5、农产品食品溯源保障食品安全。商业层面上,阿里巴巴,京东商场等

电商企业利用大数据保障食品溯源。如辽宁省大洼县盛产稻田米和稻

田蟹,2015年加入阿里农业满天星计划,开始农产品溯源探索,针

对不同类型农产品的成长特点,通过二维码来承载产品名、产品特征、

产地、种植人、生长周期、生长期施肥量、农药用量、采摘上市日期

等不同的溯源信息。

当然,我国农业行业发展也存在一些问题

1、生产管理标准化水平低,缺乏及时的数据和信息

农业是关系国计民生的产业,基础相对薄弱,相对于工业、银行业等行业,

农业信息化仅处于起步阶段。由于我国的农业生产比较分散,规模化程度低,因

此生产管理欠标准化,而且由于物联网普及程度不够,农业实时数据和信息缺乏。

我国农业农村数据历史长、数量大、类型多,但长期存在底数不清、核心数

据缺失、数据质量不高、共享开放不足、开发利用不够等问题,无法满足农业农

村发展需要。

2、农产品结构性产销失衡,价格波动剧烈,滞销事件时有发生。

农业连年丰收,但部分品种却出现了产销失衡的情况,有的农产品严重供大

于求,比如玉米,国储库存高达2.5亿吨,巨量库存和国家收储政策的改革,直

接导致今年玉米价格暴跌,而且,国家面临高额的利息仓储成本,以及陈化根变

质报废的极大风险;有的农产品则处于短缺状态,如大豆,93%%以上依赖进口。

此外,农产品市场价格剧烈波动,滞销事件时有发生。例如几年的"姜你军”、

“蒜你狠",农产品价格暴涨暴跌频率增加,由于产销数据和信息闭塞和滞后,各

地经常会出现某个农产品滞销卖难的情况,农民的收入不稳定,风险极高。

3、农业贷款难,限制农业经营者的扩大再生产。农业经营者难以提供充分

的信用数据,可抵押物少,因而贷款难,限制其扩大土地流转规模,购买农资等

生产资料。

4、农业食品安全事件时有发生。受制于传统农产品流通渠道复杂等特点,

中国食品安全事件频发,给消费者造成了重大伤害,例如2008年中国奶制品三

聚氟胺事件,其对消费者信心及中国乳业的重创和恶劣影响至今仍未消退。大数

5

据技术的发展使得全面、多维感知农产品流通成为可能。目前,技术层面上,在

产地环境、产品生产、收购、储存、运输、销售、消费全产业链条上,物联网、

RFID技术得到广泛应用,一批监测新技术如“食品安全云”和“食安测”等应

用软件陆续开发;利用大数据技术,可以实现农产品的质量的溯源和追踪,保障

食品安全。

5、农村环境污染严重。我国农业生产中化肥、农药、农膜等农资产品投入

不合理,农业生态环境恶化,对我国农业的可持续发展构成巨大挑战。可以利用

现代信息技术,实现耕地质量监测、草原生态系统监测和渔业水域生态环境监测,

保障农业可持续发展。

另外,由于信息化程度低,我国的农业数据有以下几个特点:

(1)农业行业自动化采集数据较少,且历史数据类型偏结构化数据

由于我国农业物联网仅在使部分高端设施农业中使用,大部分的大田生产和

养殖中,农业数据的采集仍然依靠人工统计上报的方式,且大部分数据为结构化

数据。其他非结构化数据均以资讯形式散落在不同的机构网站,例如农作物病

虫害数据、农产品供需信息、农业企业数据、农业合作社创新农业组织数据、农

业标准、农业专家数据等。

(2)不同来源的农业数据统计口径差异较大,缺乏标准和规范

对农业数据的统计涉及农业部(农业厅、局等)、国家统计局、科技部、发

改委、商务部、海关总署等部门,数据统计口径差异较大,缺乏统一的标准规范,

例如马铃薯的价格数据在不同部门统计时会使用马铃薯、土豆两种,品种名称、

价格类型不规范。

此外由于部门属性、体制、利益等原因,同一类型的数据在不同部门差异较

大,数据孤岛的情况较多。

(3)农业数据公开较少,及时性差,无法提供及时的指导

目前我国的农业数据一般通过统计局农业部等网站渠道或者农业统计年鉴

纸质资料渠道发布,数据频次一般为年度,且比实际情况滞后2-3年不等,时效

性差,目前仅有农产品价格数据做到实时更新发布。

出于粮食安全以及农业基础地位的考虑,我国关键粮食品种的库存、以及金

农工程子系统的很多统计信息均处于保密,内部统计,没有得到公开共享和共享。

6

(4)注重大品种的数据采集,忽略了小品种数据采集和监测预警

近年出现的“姜你军豆你玩",都是小宗农产品价格出现暴涨暴跌的情况,

相对于大宗粮食玉米等品种,一些关系民生的小宗农产品的数据采集严重缺失,

信息闭塞匮乏,导致投机分子炒作,严重损害农民和消费者的利益。

以前不采集小宗的原因可能是由于资源和精力有限,但现在物联网和IT技

术快速发展,自动化的数据采集成本降低,且小宗品种一般生产相对集中,数据

采集范围较大宗品种小,采集成本低,这使得小品种的数据采集监测预警可行性

提高。

(5)农业数据的相关性分析较少,数据价值挖掘严重不足

目前,我国农业数据逐渐积累,从产前(耕地、种业、农资、土壤、灌溉等)、

产中(种植、机械使用、养殖等)、产后(收购、流通、批发、消费等)三个环

节,以及针对不同的农业对象(农资、农作物品种、动物品种、农业种植加工出

口企业、农业政府部门、农业数据信息服务商、农业电商、超市、消费者等),

均有了很多了数据积累,但这些数据是分散的,仅仅是发布出来,最多支持查询

功能,没有进行清洗、整合、挖掘分析和共享,没有挖掘出更大的价值,我们只

能通过工具、通过大数据技术把原来相关的数据信息关联起来,找到或提取这些

数据之间的相关性,为农业生产、销售、政策制定提供科学的数据依据。

二、可行性和必要性

(一)实施政府农业大数据的必要性

当前,我国农业监管面临重大考验,农产品供需出现结构性失调,部分农产

品国储库存高企,部分农产品生产萎缩严重依赖进口;农产品价格暴涨暴跌情况

时有发生,严重损害农民和消费者的利益;化肥农药施用不合理,导致农村土地

水源污染加重;土地流转加速进行,中国农业生产模式将发生重大的变化。

1.实施农业大数据是破解农业发展难题的迫切需要

农业部发布《关于推进农业农村大数据发展的实施意见》,提出农业农村大

7

数据已成为现代农业新型资源要素,发展农业农村大数据是破解农业发展难题的

迫切需要。

我国已进入传统农业向现代农业加快转变的关键阶段。2015年中央农村工

作会议首次提出要着力加强农业供给侧结构性改革,目的是有效应对农业资源环

境约束趋紧、部分品种阶段性过剩与优质安全农产品紧缺并存、农产品价格下行

压力加大与农民增收难度加大等问题,提高农业供给体系的质量和效率。《农业

部关于推进农业农村大数据发展的实施意见》提出,需要运用大数据推进农产品

供给侧与需求侧的结构改革,提高农业全要素的利用效率。提升我国农业国际竞

争力,需要运用大数据加强全球农业数据调查分析,增强在国际市场上的话语权、

定价权和影响力。推进政府治理能力现代化,需要运用大数据增强农业农村经济

运行信息及时性和准确性,加快实现基于数据的科学决策。

因此,农业部及省厅亟需建立农业大数据研究与服务中心,实施农业农村大

数据战略,推动和改善农业大数据的收集、存储和分析技术研发,并在农业服务

领域开展大数据应用示范,提升农业农村服务能力和运作效率,推动现代农业发

展。

目前,国家已经开始筹建农业大数据中心,各省也付诸行动,农业部计划建

立国家农业数据中心,由一个中央平台和各省自治区直辖市农业数据分中心共同

组成,集成农业部各类数据和涉农部门数据。中央平台将把包括种植、畜牧和渔

业等产业数据,国际农业、全球遥感、质量安全、科技教育、设施装备、农业要

素、资源环境、防灾减灾、疫病防控等数据资源。

2016年2月28日,得到农业部批复后,云南省在昆明市成立国家农业农村

大数据中心云南分中心,将云南把分中心打造成为农业农村大数据发展的示范平

台,为全国农业农村大数据的发展应用提供可复制可推广的经验。由云南农业大

学、云南省高原特色农业产业研究院和云南省食品安全管理学院联合打造的国家

农业农村大数据中心云南分中心,包括在线农业、生物资源、农业电商和放心云

南4大板块。中心目前已经开发完成“农业基础数据库群”“特色产业数据库群”

等8大数据库,配套开发了“农业大数据分析管理平台”“云南省农产品价格调

查系统”“农情直报与分析系统”等大数据软件产品。

8

2.实施农业大数据是提升农业行业监管效率的重要途径

大数据应用能力将成为未来政府机构或企业的核心竞争力。农业行业每天都

在产生大量的数据,这些数据"原油",只有经过各种加工程序,炼制成为数据挖

掘分析"成品油",最终为政府机构或企业提供动力才有价值。深化政府农业部门

的数据应用,实现农业部、农业厅、农业局、统计部门等监管数据共享,将农业

数据挖掘分析成果应用到提升农业监管效率和推动行业发展方向,才能发挥农业

数据的价值。促进农业管理高效透明。推动农业部门政府数据开放共享,加强农

业部门政务数据资源与涉农部门数据、社会数据、互联网数据等的关联分析和融

合利用,完善“用数据说话、用数据管理、用数据决策、用数据创新”的机制,

提高农业宏观调控的科学性、预见性和有效性。运用大数据推动行政审批流程优

化,加快在线审批进程,提高行政审批效率。加强和改进市场监管,构建大数据

监管模型,加强事中事后监管和服务,推动政府治理精准化。

由于农业业务种类繁多,大数据应用场景多样化,除了建立各类基础大数据

资源库之外,还需要做到事前预警,及可视化查询统计等,通过引入大数据领域

的先进技术,推动农业数据的有效利用,释放数据潜在的价值。

3.实施农业大数据是实现数据共享和公开需求的必要途径

农业数据共享和公开是农业部、农业厅局与其他政府部门及相关社会机构等

外部门之间实现双向信息交换、访问与共享应用的计算机软硬件系统。数据共享

主要是实现综合利用数据库同步技术,实现农业数据库与共享平台数据库之间的

双向数据同步,实现数据抽取、清洗、转换、集成、加载等操作;通过门户网站

页面、WEB服务接口等方式,为外部门用户提供信息核查比对等服务;外部门用

户可以通过共享平台查询农产品面积、产量、价格等对外共享的信息;通过文件、

数据库交换,数据库实时同步,WEB服务等多种方式获取或接收外部的资源数据;

将清洗、转换后形成符合标准的数据应用于其他部门、机构。

随着各地农业信息系统的建设和业务的发展,农业系统多年运行积累下来的

农业数据量正在急速增长,政府对数据的管理与应用需求已经超越了传统的历史

数据备份的需求。通过打造基于大数据的农业数据共享,为农业及相关业务部门

9

解决数据量庞大、来源多样、处理复杂、共享困难的难题。

(二)实施政府农业大数据的可行性

1.政策环境支持农业大数据的发展

国务院发布《促进大数据发展行动纲要》,是指导我国大数据发展的国家顶

层设计,《纲要》将大数据上升至国家战略,提出了"大数据成为提升政府治理能

力的新途径”,加大财政金融支持,完善政府采购大数据服务的配套政策,加大

对政府部门和企业合作开发大数据的支持力度。

农业部发布《关于推进农业农村大数据发展的实施意见》,全面部署农业农

村大数据发展工作。《意见》明确了农业农村大数据发展和应用的五大基础性工

作和十一个重点领域,即夯实国家农业数据中心建设、推进数据共享开放、发挥

各类数据的功能、完善农业数据标准体系、加强数据安全管理等五大基础;突出

支撑农业生产智能化、实施农业资源环境精准监测、开展农业自然灾害预测预报、

强化动物疫病和植物病虫害监测预警、实现农产品质量安全全程追溯、实现农作

物种业全产业链信息查询可追溯、强化农产品产销信息监测预警数据支持、服务

农业经营体制机制创新、推进农业科技创新数据资源共享、满足农户生产经营的

个性化需求、促进农业管理高效透明等11个重点领域。

2.“金农工程”积累了丰富的数据和信息基础

农业信息化未来5-10年的总体目标,就是要实现农业的在线化和数据化改造。

自20世纪90年代,我国相继启动了一系列重大的农业信息化项目,以金农工程”

为代表的信息化项目为农业大数据发展奠定了一定的基础。

“金农工程”是1994年12月在“国家经济信息化联席会议”第三次会议上

提出的,目的是加速和推进农业和农村信息化,建立“农业综合管理和服务信息

系统”的建设项目。

“金农工程一期”项目是《国家信息化领导小组关于我国电子政务建设指

导意见》(中办发[2002]17号)中确定的12个国家重点建设的电子政务项目之一,

是农业电子政务建设和农业信息化的重要基础项目。项目于2005年11月由国家

10

发展改革委批复立项,农业部牵头、国家粮食局配合建设,各省参加建设,直到

2014年,该项目顺利完成了全部建设内容。

项目建成了互联互通的国家和省两级农业数据中心、国家农业科技数据分中

心、国家和省级粮食购销调存数据中心、国家农业综合门户网站和农业监测预警、

农产品和生产资料市场监管、农村市场和科技信息服务三大类应用系统;构建了

部省两级信息安全管理体系、技术体系、运维体系和农业电子政务标准规范体系。

/农业信息资源库

主要包括16个农业数据采集管理系统,农业综合统计信息采集系统、物价

监测信息采集系统、农产品成本调查系统、统计事故报送分析系统、农业部农情

调度数据管理系统、国际农产品市场信息采集系统、农机化信息统计系统、土肥

信息统计系统、花卉信息统计系统、植保信息统计系统、农业经营管理情况调查

信息、对外农业合作信息系统、农药监管业务系统、农机监理监管业务系统、绿

色食品监管业务系统、农资打假监管业务系统。

/国家农业科学数据共享中心

农业科学数据共享中心(http:〃/)由中国农业科学院农业信

息研究所承担,按照作物科学、动物科学与动物医学、农业科技基础、渔业与水

产科学、热带作物科学、草地与草业科学、农业资源与环境科学、农业区划科学、

农业微生物科学、农业生物技术与生物安全、食品工程与农业质量标准、农业信

息与科技发展十二大主题,分年度收集与农业科技有关的各类数据进行数字化加

工与整合,以后逐年对主体数据库进行更新和维护。但该网站目前使用较少,数

据需求发布最新到2016年3月,网站的农业数据更新却只到2014年6月,信息

严重滞后。

农业科技基础数据分中心(http:〃/)隶属于农业科学数据中

心,规划设计的模块内容丰富,包含农业科技统计、农业科技管理、农业科技动

态发展、农业科技专题、农业科技信息资源导航共计5个主题数据库。但也面临

着无人运营,数据滞后、应用程度低的问题。

/国家农业综合门户网站和农业监测预警

主要包括中国农产品促销平台、中国农业网上展厅、一站通商机服务系统、

中国国际农产品交易会、全国农产品促销系列活动、农产品批发市场价格信息服

11

务平台,此外,配合农业部网站、中国农业推广网等,构成中国农业的综合门户

网站,目前金农一期的综合网站中,农产品批发市场价格信息服务网站

(/)应用最广、价格和预警信息实时更新较好,价格信

息为每日实时更新,主要包括400家全国性和区域性农产品批发市场、500多个

交易品种的价格交易信息。

/新建完善1500多个县级农业平台,培训了信息员21万人次

据农业部信息显示,“金农工程”一期带动新建和完善了1500多个县级农业

信息服务平台,建成了11万多个“六有”乡镇信息服务站和“五个一”标准的

村级信息服务点,累计培训农村信息员21万人次。金农工程数据库系统填报用

户近3.7万,累计完成省、地、县、市等各级报表采集395万多张,与国家粮食

局主要粮食品种的购、销、收购价等数据建立了共享渠道,已完成全国32个省

的部署。

整体来看,“金农工程”一期的建设,为农业大数据奠定了农业数据标准基

础、数据渠道基础、历史数据资源基础、农业数据信息人才培养基础,但部分应

用系统却没有得到充分和持续的使用,采集的大部分数据没有得到很好的应用,

无法发挥更大的价值在“金农工程一期”实施期间,农业和大数据领域都在发生

重要的变化,农村宽带普及率大大提高、农业物联网、移动互联网、云计算等开

始应用到农业中,大数据存储分析技术也快速发展并应用到各个领域。鉴于目前

金农工程的应用功能发挥不充分,可以将大数据技术应用到“金农二期“的建设

思路中,基于一期工程,建立农业大数据服务平台,改造传统农业,快速提农业

信息化水平。

省级金农工程一般包括金农办的规定内容(农业厅网络平台及数据中心,建

设粮食数据中心,省级监管单位、农产品批发市场采集、国内农业信息采集点的

终端配置)和省级新增内容(建设,新建、完善县级农业信息服务平台,新建、

完善乡镇农业信息服务站、开展信息员培训等)。

3.大数据技术的发展和和应用及土地流转为数据的自动化采集提供渠道

随着农村网络基础设施建设加快和网民人数的快速增长,农业农村数据载体

和应用市场的优势逐步显现,特别是移动互联网、云计算、大数据、物联网等新

12

一代信息技术的快速发展,各种类型的海量数据快速形成,发展农业农村大数据

具备良好基础和现实条件,为解决我国农业农村大数据发展面临的困难和问题提

供了有效途径。

我国农村互联网快速普及。根据中国互联网络信息中心(CNNIC)发布的第

37次《中国互联网络发展状况统计报告》,截至2015年12月,我国网民中农村

的网民占比28.4%,规模达到1.95亿,较2014年底增加1694万人,增幅为9.5%;

城镇网民占比71.6%,规模为4.93亿,较2014年底增加2257万人,增幅为4.8%。

农村网民在整体网民中的占比增加,规模增长速度是城镇的2倍,反映出2015

年农村互联网普及工作的成效。

大数据技术开始应用。近年来大数据产业飞速发展,大数据的一系列配套技

术逐步完善,如云技术、数据存储技术、数据挖掘技术、数据清洗技术、数据保

密、加密技术等。这些技术的日益成熟和完善,为证券大数据平台的实现提供技

术支持。

此外,我国此次土地变革也将推进农业规模化生产进程,使得农业信息采集

更为便捷,目前我国农村土地流转面积占农村耕地的30%以上。

4.九次方大数据在政府数据解决方案领域的优势

九次方在大数据行业具有一定的战略高度和行业影响力

创建于2010年的九次方大数据是中国领先的大数据资产运营商,同时也是

贵阳大数据交易所的创始者。公司坚持以“贡献中国数据智慧,释放全球数据价

值”为使命,通过“三轴一平台一中心”战略,构建完整的大数据生态链。九次

方是国内唯一一家已经设计研发完毕了2000多个政府大数据应用场景的公司。

此外,九次方大数据是工信部《大数据十三五发展规划》起草单位之一,同

时参与了国家信标委的《大数据安全标准》及《中国大数据交易标准》、《大数据

行业应用标准》、《大数据技术标准》的制定工作。

九次方具有较强的大数据技术和人才优势

九次方拥有大数据挖掘、数据清洗、企业数据采集、金融数据建模、数据标

准顶层设计、可视化技术方面的全产业链人才结构,数据技术团队200多人。

九次方大数据拥有六大技术架构:(1)云计算、云服务技术的应用,包括:

13

云平台服务优化管理技术;云计算应用构建与集成技术;云计算应用系统持续运

行技术;云计算多模式客户端技术;(2)存储管理技术;(3)Hadoop技术;Hadoop

能够在一个平台的多种数据之间更行更多的分析,解决了通常与关系型数据仓库

架构有关的一些棘手的数据整合的挑战;(4)灾难备份;(5)数据安全保障技术;

(6)安全认证技术。

三、总体方案

(一)主要目标

本项目依据《农业部关于推进农业农村大数据发展的实施意见》,建设区域

农业大数据平台,具体实现如下目标:

1、提高农业部门的数据管理能力,包括数据采集、存储、清洗处理、交换

共享、分析建模、应用能力。完善农业数据标准体系。构建涵盖涉农产品、资源

要素、产品交易、农业技术、政府管理等内容在内的数据指标、样本标准、采集

方法、分析模型、发布制度等标准体系。开展农业部门数据开放、指标口径、分

类目录、交换接口、访问接口、数据质量、数据交易、技术产品、安全保密等关

键共性标准的制定和实施。构建互联网涉农数据开发利用的标准体系。

2、实现农业部门的数据共享,打破农业行业数据壁垒,实现农业业务部门

内部、外部、横向、纵向的数据共享,彻底解决数据标准不一、各部门自建小数

据中心导致的资源浪赛现象,让数据更好的为农业部门服务。

3、提升农业部门的实时监管和决策效率,实时便捷掌握农业运行情况,通

过对海量数据的智能分析,从而发现知识、发现科学、发现规律,帮助农业部门

管理人员更清晰的认识到业务及事情的本质及发展规律,为合理制定农业政策及

评估政策实施效果提供数据支撑。

4、利用农业大数据平台,为公众提供更加丰富的数据公开产品,提高公众

知情、参与、监督政府工作的积极性,提升政府部门的公信力,借助大数据,提

高农民收入、降低农业生产经营风险、保障粮食安全和食品安全。

(二)建设原则

14

•顶层设计、应用导向

围绕农业现代化开展区域农业大数据顶层设计,顶层设计开放、创新应用全

面、基础架构灵活,不断适应农业生产新形势、新任务和新要求。坚持应用导向,

从面临的突出问题和迫切需求入手,明确建设重点,主攻薄弱环节,以应用为内

生动力,推动科学高效可持续发展。

•适用易用、安全稳定

从当地农业监管机构的具体业务需求出发,解决目前数据采集、资源管理和

处理应用面临的困难,提高信息管理和应用水平。在系统设计和实施中,充分考

虑使用对象的特点,做到系统易用,数据采集处理流程操作简单,易于维护,系

统管理界面结构合理、布局美观、操作简单、功能引导明确,易于维护。系统能

够承受大数据量和大负荷的考验,兼顾各节点的平衡,保证系统运行的稳定性,

并有较强的容错和出错修复功能;系统处理能力能够充分胜任业务处理的要求及

库容量不断增长的挑战,支持多机并行运行,确保系统性能的稳定性。

充分利用当地农业系统现有的信息系统建设成果,遵照行业数据规范、接口

规范、交换规范等标准,采用标准化的技术和标准化的协议,保证系统的开放性。

在满足当前农业监管服务业务需求的前提下,充分考虑未来业务发展的需要,采

用先进的数据平台构建理念,确保技术领先。

此外,系统在设计中充分考虑建立保障有力的安全体系,对数据流程的各个

环节都要有相应的安全保密机制,保证数据的原始性和完整性,以及数据访问和

修改的可追踪性,既要考虑系统级的安全性、又要考虑应用级的安全性,采用多

级用户认证、数据加密、容灾备份等多种手段保证数据安全,同时应综合运用技

术、制度、法律等手段,强化网络和数据的安全管理。保证避免遭受网络上的非

法侵入危害的能力;不能因操作人员误操作导致系统崩溃、数据丢失。

•遵循标准、开放共享

系统建设一定要遵循农业部门相应标准和规范,避免在业务互通和数据沉淀

方面出现缺陷,同时继续完善和补充相应的信息化规范和标准,也是本次建设重

要内容。在按照省市标准规范体系建设时,需要参考并遵循国家电子政务总体框

架、电子政务标准化指南、以及电子政务领域内一系列政策法规、标准服务的要

求,制定满足业务信息化建设需要的标准规划,指导下属单位的未来信息化建设。

15

大数据建设是一个系统工程,除了部门内部数据,有很多基础数据还需要从

其他部门、机构的信息系统中获取,与这些系统均需要保持双向的信息交互能力,

因此系统设计保持开发性、具有良好的互连、互操作能力,必须遵循最新的国际

标准、国家标准和行业标准,遵循开放的原则。系统将定义并提供标准的数据导

入导出接口,能将其他业务部门及第三方开发的农业系统信息,通过接口导入库

中。

(三)总体框架

九次方对于农业大数据项目的建设思路为“一网、一库、一平台、N大应用

场景、一门户”,通过建设大数据采集“网”全面感知、汇聚农业大数据,规划

农业大数据''库",建设大数据技术''平台",提高农业部门的数据治理能力,完

善农业部门户网站应用功能,更好的为农业产业参与者及公众提供农业信息服务。

1.一网——农业大数据采集网

我国农业农村数据历史长、数量大、类型多,但长期存在底数不清、核心数

据缺失、数据质量不高等问题,而且政府的农业数据分散在农业系统及统计局、

发改委等多个各个部门,没有系统的采集汇总,此外,近年农业数据信息服务公

司、农产品电商公司以及农业物联网等公司层出不穷,积累了大量的新数据内容,

这些内容没有和政府数据融合应用。

农业大数据采集网,是在农业部门原有数据网络及九次方布局在70多万个

网络信息采集渠道的基础上建立,打通信息孤岛基础通道,为建设统一大数据中

心做基础。数据来源包括农业部农业厅局、统计局等其他部门,九次方自有的行

业企业大数据、农业数据信息服务公司、其他机构或网络数据。数据按类别还可

以分为农业生产数据、农业资源与环境数据、农业市场数据和农业管理数据等,

整合农业部数据资源,统一数据管理,实现数据共享。农业部各类统计报表、

各类数据调查样本和调查结果、通过遥感等现代信息技术手段获取的数据、各类

政府网站形成的文件资料、政府购买的商业性数据等在国家农业数据中心平台共

享共用。通过内部整合和外部交换,逐步推进部内司局之间、涉农部门之间、中

16

央与地方之间数据共建共享。鉴于数据来源渠道丰富,数据结构差异较大,有必

要建立数据采集标准、数据资源交换目录。

农业大数据网主要集中在不同农业环节数据采集、不同渠道数据采集(政府

不同部门数据采集、网络数据采集、物联网数据采集、农业遥感数据采集等)两

方面。

/围绕耕地、育种、播种、施肥、植保、收获、储运、农产品加工、销售

等农业各环节,依托现有的信息技术,建立交叉、立体、融合的农业大

数据采集网络;

/建立基于爬虫技术的网络农业数据资讯和离线数据采集系统;

/建立基于农业物联网技术的农业生产环境数据采集系统,实时采集大田、

设施、水域中的农业生产环境数据;

,建立基于卫星技术的农业遥感数据采集系统,采集农业用地资源、农作

物大面积与长势监测、农业气象灾害等数据;

/建立基于移动互联的智能数据采集系统,动态采集农产品市场信息、农

情信息、农业突发事件等数据;

/建立农业科研信息化环境,采集农业科研实验数据、种质资源数据、品

种选育数据、基因图谱数据等农业科学数据。

图表3.农业部门内部数据

来源数据指标

农业局粮食作物处:本市及分县的主要粮食品种的面积、产量、成本收益、价格、种植周期

等。(玉米、水稻、小麦、谷子、高粱、燕麦、枝麦、青裸、马铃薯、木薯、甘薯、

大豆、蚕豆、绿豆等)

经济作物处:本市及分县的经济作物品种的面积、单产、产量、成本收益、收购价格、

种植周期等(棉花、麻类、甜菜、甘蔗、花生、向日葵、油菜籽、果树、茶树、咖啡、

可可、烟叶、橡胶、药材、花卉等)

蔬菜作物处:本市及分县的露天蔬菜和设施蔬菜的面积、单产、产量、种植周期等(叶

菜类-菠菜、芹菜、油菜,白菜类-大白菜、圆白菜、甘蓝,瓜菜类-黄瓜、南瓜,块

茎类-白萝卜、胡萝卜,茄果菜类-茄子、西红柿,葱蒜类-葱、莲藕、朝天椒等)

畜牧管理处:本市及分县的畜牧生产数据,包括主要畜牧品种的养殖数量、规模、成

本收益、屠宰、消费、价格数据、养殖环境数据、饲料结构数据、疫情数据等。(养

17

殖品种:猪、牛、肉牛、黄牛、马、驴、骡、羊、山羊、绵羊、禽、鸡、鸭、鹅、鸽

子、鹤鹑、兔子等)(畜禽产品:猪肉、牛肉、马肉、驴肉、骡肉、羊肉、山羊肉、

绵羊肉、禽肉、兔肉、奶类产量、牛奶、羊奶、禽蛋产量、鸡蛋、鸭蛋、鹅蛋、羊毛、

牛皮、羊皮、蜂蜜等)

畜禽屠宰与兽药管理处:本市及分县的畜牧屠宰数量、畜牧产品产量、定点屠宰证数

据、定点屠宰企业数据、兽药登记数据等。

水产管理处:本市及分县的淡水和海水养殖面积、水产品产量、价格数据等。(不同

养殖类型:海水养殖、池塘养殖、湖泊养殖、水库养殖、河沟养殖等)(养殖品种:

各类鱼类、虾类、蟹类、甲壳类、贝类、藻类、珍珠等)

农业机械化管理处:本市及分县的农机拥有量、农机购置补贴数据、拖拉机及联合收

割机档案、农业机械驾驶人数据、各农业生产环节机械化作业比率、农机专业合作社

数据、农机推广鉴定数据等。

兽医管理处(站):本市及分县的兽药登记审批数据、兽药抽检数据等。

农村能源生态处:本市及分县的农村清洁能源数据、农村沼气数据、农村秸秆利用数

据、农村能源综合利用示范工程建设数据、清洁能源示范村评定数据。

动植物疫情应急工作处:动物植物疫情数据、动植物疫情应急工作预案等

政策法规处;本市及县区的农业政策,包含农业种植、养殖补贴等、产业扶持政策。

科技教育处:农民及企业的农业科技培训教材、视频图片记录、培训规范,农业技术

资料等

计划财务处:各类农业补贴发放、市县农业项目经费使用等

农业事业单位:农业技术推广站、种子管理站、农业环境监测站、植保站、信息中心

等。

农业资源数据(耕地资源、水资源、气象资源、基础设施、农田水利等)、农村灌溉

用电、农业受灾数据、农业产值、种业公司基本情况,种子生产经营许可证数据、种

子溯源数据、品种选育和审定数据、农产品加工企业的产能等、淀粉、白糖等各类农

产品加工品数据、农产品加工品的消费贸易数据、农业政策标准、农业专利数据、农

作物病虫害数据、植保植物检疫数据、农业肥料数据、农业培训视频、农业技术推广、

当地批发市场农产品的交易和价格数据等。

农业部数据涉及的地区、农产品品种更多,厅级涉及的地区一般是省级和市级,农业部涉及

农业厅的省级,但农业部目前已在全国的市县建立监测点,数据区域下沉。

相关委办局数据

18

部门数据内容

粮食局主要粮油的国家和地方收储数据、抛储数据,品种包括玉米、稻米、小麦、菜籽

油等,数据包括:收储数量、收储价格、粮食库存、抛储数量、抛储价格等

统计局农业生产资料、农村灌溉用电、农业机械情况、耕地灌溉及化肥施用、农村水利

设施、农作物面积单产产量、畜产品产量、经济数据

发改委超市、集市等的农产品价格、主要农产品的成本收益数据

商务部集贸市场的粮食、油脂、畜产品、水产品等的价格、农产品贸易数据

海关总署各种农产品的进出口详细数据(所有进出口农产品的海关编码、进出口数量、金

额、数量金额分企业/国家/海关/贸易方式/运输方式等)

林业局森林覆盖率、林场、林区、碳汇、野生动植物保护、森林公园、湿地公园、沙漠

公园、自然保护区、主要树种、珍惜动植物、林地资源等数据

国土局土地利用、耕地保护、农田保护、地质、地籍等数据

其他气象局的气象数据、财政部的农业投入数据、民政部的农业救灾数据、保监会的

的农业保险数据、工商局的农业企业基本信息处罚信息、银行的农业企业信用和

授信数据、气象局所的气象数据、设施农业数据等

其他企业及机构

目前九次方大数据平台具备3000多万家企业数据,其中包括:

•搜索引擎数据(标题、正文、发布时间、作者)(企业新闻、社会舆情)

•四大门户(标题、正文、发布时间、作者)(企业新闻、社会舆情)

•新闻媒体(标题、正文、发布时间、作者)(企业新闻、社会舆情)

•报媒杂志(标题、正文、发布时间、作者)(企业新闻、社会舆情)

•企业(机构)官网(企业财务信息、企业结构信息、主要人员及团队、

企业新闻)

•四大微博客(新浪微博、腾讯微博、网易微博、搜狐博客)(微博内容、

微博评论、作者个人信息、粉丝量、微博认证信息、话题信息等)

•博客数据(新浪博客、网易博客)

•各大论坛(标题、正文、发布时间、作者)(企业新闻、社会舆情)

•微信公众账号数据(标题、正文、发布时间、作者)(企业新闻、社会

舆情)

•法院诉讼数据(原告、被告、涉案金额、裁叛文书、案件类型、案件

时间、执行人)

•行政处罚数据(海关数据、农业数据、工商数据、税务数据、食品药

品、安全生产等)

19

•企业资质数据(高新技术企业、金融牌照、授权信息、行业许可等)

•招标信息(招标公告、招标企业、标的信息、招标时间、招标金额、

中标企业等)

•招聘网站数据(企业基本信息、招聘职位、招聘规模、公司规模、相

关评价等)

•失信企业数据(失信原因、失信情况、失信企业、失信个人、失信时

间等)

•国际财经信息(路透社、华尔街新闻、日经、朝日新闻、俄罗斯之声、

金融时报等)(新闻、财经数据、来源)

•工商信息(全省31个省市及自治区的工商网站)(企业注册信息、股

东信息、行业信息、变更信息、主要人员信息)

•电商信息(淘宝、京东、一号店、苏宁等)(商品信息、价格信息、评

价信息、店铺走势等、电商信息、卖家信息)。

•组织机构代码(官方网站)(企业的机构代码)

•工商农业处罚(政府相关部门)

•专利数据(cnipr开放平台、知识产权局官网、各专利查询网)(专利

申请、专利审查、专利审批、授权、专利类型、同族信息等)

此外,以下机构或企业也积累了相关的农业数据。

股票交易所、股转系统:农业上市公司和非上市公众公司的生产经营财务股

票交易数据等

期货交易所:玉米等大宗农产品期货的合约信息、交易数据等

全球及主要国家的农业数据:美国农业部、FAO、巴西农业部、欧盟统计局、

日本农林水产省、韩国农业部、世界银行等。

农业数据服务公司等:垂直细分行业例如中国玉米网(玉米现货价格信息)

等、农业综合数据服务商等

互联网数据

随着互联网的飞速发展,网络新闻媒体已被公认为是继报纸、广播、电视之

后的“第四媒体”。在反映和引导舆论方面,网络与传统新闻媒体都有着同样的

作用,如果对网络舆情不能有效的分析和追踪,将容易产生不良的社会影响。

20

互联网数据主要包括搜索数据、农业灾害或农产品食品安全的网络舆情数据、

农产品电商数据等,同时,国外农业及农产品的数据也可以列入互联网数据,绝

大部分已经数据化和电子化,在农业机构网站上可以查询搜索。

利用网络爬虫方式,针对搜索引擎、重点网站、重点论坛、微博、农业行业

网站等进行舆论信息爬取,由于抓取的目标是互联网上数以亿计的结构化及非结

构化信息。

数据交换分析

农业大数据需要将以下数据集成整合到大数据平台:

•内部业务系统数据,包括农资监管、种植业管理、养殖业管理、水产养殖

管理、农产品质量检查等数据,可以通过交换平台实现数据采集。

•直属事业单位,包括种子管理站、农业环境监测站、植保站等,可以通过

交换平台实现异源数据采集。

・下级单位,包括县级农业局的数据。

・外部单位,包括统计、发改委、气象、工商等等单位的相关数据,可以通

过交换平台实现异源数据采集。

・互联网数据,在互联网上通过网页爬虫工具爬取的数据。

・其它数据,包括手机等移动终端采集的数据,以及智能机械、设施农业物

联网设备等采集的数据,数据通过传感设备采集上传到地面站,再通过交换平台

整合到数据中心。

2.一库农业数据库

农业大数据的数据库包括中心交换数据库、基础数据库、主题数据库、元数

据库、共享数据库和发布数据库。

农业大数据平台数据库构成

•中心交换数据库,中心交换数据库临时存储从每个

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论