农业大数据解决方案

农业大数据解决方案大数据关键技术及其在农业中的应用摘要：结合大数据系统的一般构造，介绍和比照了当前大数据领域在文件存储、数据处理和数据库领域的关键技术。分析了大数据的产生背景，简述了大数据的基木概念、典型的4“V”特征以及重点应用领域.通过各种技术的比照，得到了一些分析结果。农业数据具有容量大、关联性强、简洁多变等特点。大数据技术能从浩大的数据集合中查找有价值的数据和学问。推动大数据技术在农业领域的实践和应用，对把握农业信息内在联系和规律意义重大。关键词：大数据；数据分析；关键技术；农业；应用随着移动互联网、物联网和云计算技术的快速进展，开启了移动云时代的序幕，大数据〔BigData〕也越来越吸引人们的视线。人们通过网络无障碍沟通、交换信息和协同工作，互联网的消灭缩短了人与人、人与世界之间的距离，整个世界连成一个“地球村”。与此同时，借助互联网的高速进展、高内存高性能的存储设备和存储介质的消灭、数据库技术的成熟和普及，人类在日常学习、生活、工作中产生的1]。“大数据问题”〔BigDataProblem〕就是在这样的背景下产生的，成为科研学术界和相关产业界的热门话题，吸引着越来越多的科学家争论大数据带来的相关问题。大数据的“大”不仅仅表达在数据的海量性，还在于其数据类型的简洁性。随着报表、账单、影像、办公文档等在商业公司中得到普遍使用，互联网上视频、音乐、网络玩耍不断进展，越来越多的非构造化数据进一步推动数字宇宙爆相比，大数据具有规模性〔Volume〕、多样性Variety〔Velocity和低价值密e4V2]。规模性和高速性是数据处理始终以来争论和探讨的问题，多样性和价值密度低是当前数据处理进展中不断显现出来的问题，而且在可以预见的将来，随着才智城市、才智地球等各种设想的不断成为现实，上面的4种问题将会变得更加凸显，而且是不得不面对的问题。处于进展中国家前列的中国，大数据的应用处于起步阶段。在工信部公布的物联网“”规划中，把信息处理技术作为四项关键技术创工程之一提出。其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成局部。还有另外3项：信息感知技术、信息传输技术、信息安全技术，也与大数据亲热相关。大数据关键技术从大数据的纵向应用过程〔猎取、存储、挖掘、分析〕来看，文件系统供给了对最底层存储力气的支持。文件系统之上的数据库系统可通过构建索引等功能，对外供给高效的数据查询等常用功能。最终，数据分析技术从数据库中的大数据中提取出有益的学问，供给面对对象的效劳。从横始终看，大数据的每层应用既需要进展软件算法等的开发，也需3]。云计算与物联网技术毫无疑义地成为影响大数据进展的首要因素。大数据系统架构大数据处理系统不管构造如何简洁，承受的技术千差万别，但是总体上总可以分为以下的几个重要局部。大数据系统构造如图1所示。分布式存储横向扩展构造分布式软件架构并行计算构造从数据处理的一般流程可以看到，在大数据环境下需要的关键技术主要针对海量数据的存储和海量数据的运算。传统的关系数据库经过.近40年的进展已经成为了一门成熟同时仍在不断演进的数据治理和分析技术，构造化查询语言〔SQL〕作为存取关系数据库的语言得到了标准化，其功能和表达力气也得到的不断增加。但是，关系数据治理系统的扩展性在互联网环境下遇到了前所未有的障碍，不能胜任大数据分析的要求。关系数据治理模型追求的是高度的全都性和CPU硬盘以扩展单个节点的力气，终会遇到“瓶颈”。分布式文件系统对数据存储，文件系统需要考虑3个问题：高性能共享性、文件的治理和保护、重复数据的处理。尤其是在面对海量文件时，上述问题更加凸显。文件系统是支持大数据应用的根底。GoogleGoogleGoogle件治理系统——GFS〔Googlefilesystem〕。GFS是构建在大量廉价效劳器之上的可扩展的分布式文件系统，主要针对文件较大、且读远大于写的应用场景，采用主从〔Master-Slave〕构造，通过数据分块、追加更〔append-only〕等方式实现了海量数据的高效存储。同时，谷歌公司选择电价较低的地点建立存储库，从而降低了运行本钱。GFS与传统的分布式文件系统有很多一样的目标，比方，性能、可伸缩性、牢靠性以及可用性。但是，GFS之处在于其与传统文件系统的不同。GFS基于以下的假设：对于系统而言，组件失败是一种常态而不是特别。GFS布式文件系统，承受主从构造。通过数据分块、追加更等方式实现了海量数据的高效存储。分布式数据处理系统传统的针对构造化数据进展挖掘的理论已日臻成熟，但是针对大数据时代的数据类型，则需要开发的数据处理与挖掘技术。大数据的处理模式分为流处理和批处理两种。流处理是直接处理，批处理承受先存储再处理。流处理将数据视为流，源源不断的数据形成数据流。当的数据到来即立即处理并返回所需的结果。大数据的实时处理是一个极具挑战性的工作，数据具有大规模、持续到达的特点。因此，如果要求实时的处理大数据，必定要求承受分布式的方式，在这种状况下，除了应当考虑分布式系统的全都性问题，还将涉及到分布式系统网络时延的影响，这都增加了大数据流处理的简洁性。目前比较有代表性的开源流处理系统主要有：TwitterStorm、YahooS4Linkedin的Kafka等。目前，大数据的分析与处理尚没有确定适宜的工具。HadoopHadoopHadoop改进并将其应用于各种场景的大数据处理已经成为业界的争论热点，主要的争论成果集中在Hadoop平台性能改进、Hadoop构建、Hadoop与数据库系统的连接、数据挖掘、推举系统等方面。分布式数据库系统大数据的特点打算了数据库系统需解决的问题[4]：第一，数据量规模巨大。大数据时代的数据量远远超过单机所能容纳的数据量，因此，必需承受分布式存储方式。这就需要系统具有很好的扩展性，即适应大数据的数据库系统应当具有良好的横向扩展〔scale-out〕力气。其次，数据异构性。构造化数据、半构造化数据、非结构化数据均是大数据的重要组成局部。高效地处理多种数据类型是大数据时代数据库技术面临的重要挑战之一。第三，设计理念要不断创。面对多种类型的数据，不可能存在统一的数据处理方式，这就要求型的数据库系统以不断变化的角度对待数据。面对这些挑战，Google公司提出了Bigtable的解决方案。Bigtable的设计目的是牢靠的处理拍字节级别的数据，Bigtable已经实现了以下几个目标：适用性广泛、可扩展、高性能和高牢靠性。Bigtable已经在超过60个Google产品在性能要求和集群的配置上都提出了迥异的需求，Bigtable大数据技术在农业中的应用农业大数据类别简洁。从领域来看，以农业领域为核心〔涵盖种植业、林业、畜牧水产养殖业、产品加工业等子行业〕，逐步拓展到相关上下游产业〔饲料、化肥、农药、农机，仓贮、屠宰业，肉类加工业等〕，并需整合宏观经济背气象、灾难数据等；从地域来看，以国内区域数据为核心，借鉴国际农业数据作为有效参考；不仅包括全国层面数据，还应涵盖省市数据，甚至地市级数据，为区域农业进展争论供给根底；从广度来看，不仅包括统计专利信息、进出口信息、聘请信息、媒体信息、地理空间坐标信息等；从专业性来看，应分步构建农业领域的专业数据5]。应用指的是农业大数据各应用系统、应用平台的开发，为上层治理和效劳供给应用支撑。依据目前农业大数据的主要，可以将其应用领域归纳为以下几个方面：农业生产过程治理方面应用运用大数据的先进技术对农业各主要生产领域在生产过程中采集的大量数据进展分析处理，进而供给“精准化”6]，到达农业增产、农民增收的目的。农业资源治理方面应用农业资源除了土地、水等自然资源之外，还包括各种农业生物资源和农业生产资料等。我国虽然地大物博，但可以进展农业生产的资源已越来越少。从目前农业根底实际状况来看，有必要运用物联网、大数据等先进技术对农业资源进一步优化配置、合理开发，从而实现农业的高产优质和节能高效。农业生态环境治理方面应用灾难等，需要对这些农业环境影响因子实现全而监测、精准化治理。农产品和食品安全治理方面应用农产品安全治理涉及产地环境、产前产中产后、产业链治理、贮存加工、市场流通、物流、供给链与溯源系统等食品链的各个环节，通过对农产品质量安全监管信息的分析处理，实现食品安全风险的推想预警及质量安全突发大事的应急治理。农业装备与设施监控方面应用可以供给农业装备和设施在工作运作状况下状态的监控、远程诊断以及效劳调度等方而的智能化治理和应用。供给各种农业科研活动产生的大数据应用篇二：农业大数据下的才智农业进展农业大数据下的才智农业进展一、农业大数据对才智农业的重要性随着云时代的降落，大数据也吸引了越来越多的关注。物联网的存在使这种基于大数据的采集以及分析变成了一种可能，20XX年以来，在国家政策乐观鼓舞和财政资金大力支持下物联网进展掀起高潮，此后，物联网在工业、农业、交通、物流、城市治理、环境保护、公共安全、医疗、家居等各个领域都开展了应用示范，目前提倡的现代农业精细化生产与物联网技术结合有着巨大的市场需求空间，以感知为前提，人与人、人与物、物与物全面互联的网络平台构筑成功，现代农业悄然步入物联网时代，才智农业大局初现。试想，假设农民能随时把握天气变化数据、市场供需数据、农作物生长数据等等，农民朋友和农技专家足不出户就可观测到大田里的实景和相关数据，准确推断农作物是否该而且可以避开因市场供需失衡给农民带来经济损失。各国政开头发力推动大数据在农业领域的跨界应用。大数据时代，不仅可以通过建立综合的数据平台，调控农业生产，还可以记录分析农业种植养殖过程、农产品流通过程中的动态变化，通过分析数据，同时结合阅历，制定一系列调控和治理措施，使农业高效有序进展。二、农业大数据平台建设在经受了多年的进展，研发了涵盖多层面、多领域的农业信息化系统，构建了很多不同级别、面对不同领域的数据资源，形成了浩大的信息资源财宝。但是由于利益等缘由，这些数据相互之前缺乏统一的标准和标准，信息缺乏共享，信息资源与业务脱节，这必定导致数据利用率低下、信息冗余散乱。构造虚拟化技术平台，标准数据标准，将在大规模数据中心治理和解决方案交付方面发挥巨大的作用。推动农业经济的优化，实现可持续的产业进展和区域产业构造优化调整，进一步推动才智农业进展进程，需要全面准时把握农业的进展动态，这需要依托农业大数据及相关大数据分析处理技术，建设一个农业大数据分析应用平台。?在技术上，托普云农物联网才智农业平台应基于先进的大数据系统框架，充分融合物联网在数据猎取以及云计算在数据处理方面的技术优势，建设具有高效性，先进性和开放性的业务化应用平台。?构造上，托普云农物联网才智农业平台具有良好的可配置性，满足资源扩展、业务流程的变化。平台应具有稳健的设计构架、良好的人机交互功能，便于一般技术人员开发使用。随着应用领域的拓宽、业务的进展、业务量的增加，系统也应当具有良好的扩展性和应用性。三、农业大数据的应用领域及解决猜测〔一〕农业大数据目前主要应用领域农业大数据类别简洁。?从领域来看，托普云农物联网才智农业平台以农业领域为核心〔涵盖种植业、林业、畜牧水产养殖业、产品加工业等子行业〕，逐步拓展到相关上下游产业〔饲料、化肥、农药、农机，仓贮、屠宰业，肉类加工业等〕并需整合宏观生产数据、气象、灾难数据等；?从地域来看，托普云农物联网才智农业平台以国内区域数据为核心，借鉴国际农业数据作为有效参考；不仅包括全国层面数据，还应涵盖省市数据，甚至地市级数据，为区域农业进展争论供给根底；?从广度来看，托普云农物联网才智农业平台不仅包括统计数据，还包括涉农经济主体根本信息、投资信息、股东信息、专利信息、进出口信息、聘请信息、媒体信息、地理空间坐标信息等；?从专业性来看，托普云农物联网才智农业平台应分步构建农业领域的专业数据资源，进而应逐步有序规划专业的子领域数据资源。〔二〕农业大数据解决猜测农业资源治理：3S农业种植用地进展科学决策、精细化治理。?基于3S技术，托普云农物联网才智农业平台建立治理区域电子地图以全球定位系统〔GPS〕供给的地理根本信息基于地理信息系统〔GIS〕建立农业用地的电子地图。运用遥感〔RS〕技术感知电子地图中的实地信息〔土质、〕，全面把握农业种植用地的范围，实时了解区域内土壤条件、大气环境等综合信息并通过对信息的差异性分析将种植区域划分为不同的治理区域，有针对性地进展规划。?附加种植业专题数据，托普云农物联网才智农业平台充分整合区域信息将包含实地遥感数据的电子地图与种植业相关试验数据相结合，实现种植业农业资源的实时查询、分析、决策功能。农作物生产治理：整合传统统计数据及农业资源治理信息，对不同治理区域内农作物进展有针对性的种植治理。对种植影响因素差异性较大的不同区域定量猎取影响作物生长的环境因素〔如土壤肥力、含水量、苗情、病虫害等?处方农业托普云农物联网才智农业平台针对水稻的品种、叶绿素含量、氮含量等信息的遥感信息抽取示意图?农作物监测、估产托普云农物联网才智农业平台利用遥感〔RS〕技术监控农作物长势，依据需要准时实行有效措施，并依据各种数据的综合分析较准确地预估农作物产量。遥感估产系统示意图〔颜色越深产量越高〕?病虫害分析托普云农物联网才智农业平台利用GIS、遥感、高光谱分析等技术，对植物病虫害进展分析、推想、防治。农产品质量安全治理：整合产地环境、生产档案、检测数据形成农产品质量安全溯源数据。?产地环境数据托普云农物联网才智农业平台运用遥感〔RS〕、传感器等技术手段全面把握农产品产地环境数据，并形成历史记录。?生产档案数据托普云农物联网才智农业平台农产品生产记录，记录农产品在生长过程中的各种农事操作信息。?农产品检测数据托普云农物联网才智农业平台记录企业资质，检测报告，产品品质的认证证明等信息。农村政务效劳治理：托普云农物联网才智农业平台政务效劳治理涵盖人口治理、计生治理、党群治理、公共询问、社保治理、经营管理、资源治理，将这些数据整合，形成县、乡、村三级政府部门的信息治理系统。?政务治理托普云农物联网才智农业平台政务治理内网担当各级政务治理外网处理各部门面对企业的业务及政府部门之间的业务。?公共效劳治理托普云农物联网才智农业平台人口、计生、社保等公共效劳的信息化治理，实现公共效劳的简便快捷?农业资源治理托普云农物联网才智农业平台涵盖局部农业资源治理〔土地使用状况、作物种植状况、产量预估等〕，为农业资源的科学决策供给牢靠依据。四、农业大数据引领才智农业总的来讲，大数据作为一代信息技术，在农业领域的应用任重道远。大数据不仅布满了挑战和未知，人们也布满了更多期盼和向往。大数据涉及的内容十大数据应用等领域。目前在大数据技术和大数据应用方面关注的较多，而相比之下大数据科学和大数据工程问题尚缺乏足够的重视。农业大数据属于技术和应用层面，但同时也需要不断吸取大数据的科学思想、引进大数据的最争论成果，才能保持农业大数据的生命力。农业作为中国的根底产业，面临着农产品需求不断增加、资源紧缺、气候变化导致灾难频发、生态安全脆弱、生物多样性持续下降等严峻挑战，夯实以农业物联网、云计算技术为核心的农业信息化根底，提升以大数据为支撑的农业信息化效劳，开拓才智农业局面，实现农业现代化和信息化的跨越式进展。公司简介：浙江托普云农科技股份农业物联网、农业信息化综合解决方案效劳商托普云农潜心十二年致力于中国农业信息化进展，同时供给面对土壤、农业气象、种子、植物生理、植物保护、粮油食品等监测检测精准农业仪器装备。迄今为止已获国家制造专利542项，7018技术企业、杭州市院士工作站，研发实力强！受到多位行业专家及行业领导认可，智能硬件及农业信息化应用普及全国！上市公司〔股票代码：833692〕、大品牌，质量信得过、售后有保障！篇三：互联网+农业,看美国如何实现农业大数据的建设互联网+农业，看美国如何实现农业大数据的建设罗德尼?席林是美国伊利诺伊州的一个农场主，他和父130083最好的帮手是农场里的那几台农业机械。跟国内常见的农业机械比，这些机器高大得多，一台喷36“大家伙”还很有“头脑”——驾驶室里配备的全球卫星导航系统和自动驾驶系统。即使在下田作业时，席林也远没有传统农民那么辛苦，只要他情愿，完全可以坐在驾驶座上，一边喝着咖啡，一边用平板电脑扫瞄闻，机器会依据设定的路线工作，施肥、打药完全自动化，哪些地方打过，哪些地方没打，确定不会搞混，GPSAPP软件会提示他何时适宜下地查看，该打药或是该施肥了，以及供给实时的和将来几天的天气数据。在美国，像席林这样“劳作”的农场主越来越多。农业生产模式正在从机械化向信息化转变，以精准为特征的农业，正在让种植变得更加简洁。美国的农业GDP业化国家，而且也是世界上最大的农业兴盛国家。美国土地肥沃，气候温22017020XX年农业就业21332%，从事农业生产的人不到1业部的数据，美国农场数量1935年到达峰值680万个，农业人口超过亿，现如今农场数量只有220万个，农民数量也300农业生产的盈利性从根本上保证了农业的吸引力。爱荷华州全职农民年收入根本都在5万至7万美元以上，有些农民可能会到达10万至25万美元，一般而言要比城市居民平均收入水平高。美国是对农业数据收集比较齐全的国家，也是较早进展农业数据开放的国家，目前，有关农业数据的采集、共享和利用正帮助美国农业政策制定者对农业部门的进展制定各种政策。不仅如此，美国各大农场主协会以及涉农企业也不惜投入大量的时间、金钱以及花费巨大的精力去搜集被人们称为“大数据”的涉农数据。大数据对于农业的作用随着全球人口的增加，天气的波动更加不稳定，以及依赖石油的农业对于石化燃料的价格越来越敏感，必定鼓舞更多地运用技术来提高作物产量，并治理风险。围围着基因组学、生物信息学以及计算生物学的争论活动都已经取得了重大的进展，使得科学家和组织能够更好地养活全世界，并提高食品和农作物的质量。这些技术都涉及到浩大的数据集和计算分析，那么在此过程中，大数据的作用是什么首先，也是最重要的，农民需要需要测量和了解数据巨大和种类繁多的数据能够带来怎样的影响，由于这些数据驱GPS数据、土壤细节、种子、化肥和作物药剂等，充分利用这些数据对于土地进展长期治理和短期模拟，以实现产量和利润的最大化。其次，种子和肥料以及药剂的供给商需要接收全部的这些数据，将其放入统一的模型中，并使用专用算法，以便向农民供给尽可能最优化的解决方案和效劳。再次，农业机械制造商是整个价值链的另一个重要组成局部。他们不仅需要确保其资产能够在最低本钱保持最长的正常运行时间，还要支持移动数据采集，并让这些琐碎的信息在价值链能被实时猎取，以进展进一步的处理。除了农民、农企、种子化肥供给商和农业机械制造商以外，气象站和试验室、贸易商和行业合作伙伴、技术和解决方案供给商也是这个日益简洁的生态系统的一局部。他们对于来自很多信息源的大数据也有着巨大的需要。大数据进田大数据在农业中应用最普遍的领域之一就是精准农业。通过对气候、土壤和空气质量、作物成熟度，甚至是设备和劳动力的本钱及可用性方面的实时数据收集，推想分析可