农业大数据以及相关技术应用

农业大数据以及相关技术

应用数字农业的发展还处于早期阶段，对于其核心的组成部分以及各个部分的理解还有不少歧义。大数据（BigData）是一个比较新的概念，它也很容易让人望文生义。最简单和最直接的反应就是认为大数据就是“大量的数据”。一位统计局的领导就自豪地跟我说：“我们有各行各业多年来的统计数据，有公开发表的，也有没有公开发表的。这些都是最好的大数据”。客观地说，这是一个非常典型的误读。关于大数据，不同的研究机构给出的定义是不同的：美国专门研究大数据公司Gartner的定义是：无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托•迈尔-舍恩伯格及肯尼斯•库克耶编写的《大数据时代》中给出的定义是：不用随机分析法（传统的抽样调查）的途径，而采用所有数据进行分析处理。IBM公司归纳了大数据的5V特点：Volume（大量），Velocity（高速），Variety（多样），Value（低价值密度），Veracity（真实性）。笔者认为，这些国外的机构和专家的总结和归纳，都在一些侧面反映了大数据的特质和特性，但是还不够全面和准确。那么我们应该怎样理解和定义“大数据”呢？。1大数据是动态数据-通过各种设备、设施、软件和系统实时获取的动态数据是大数据。比如生产过程中通过监控设备获取的数据、气象监测数据、作物生长数据和消费者的动态数据等等。但统计数据不是大数据，因为它是主要是通过行政管理机构或者市场调查机构，逐层调查和统计上来的静态数据，比如说农业、农村和农民数据等。这些数据的获得不仅耗时费力，还常常会出现人为的偏差和失误。而且一旦统计结果汇总之后即成为历史数据。动态的数据的收集、汇总和实时更新需要通过适当的设备、设施和技术手段来实现。所幸，社会活动的多样化，信息技术的发展，特别是移动终端的普及，使得无限这一任务可以轻松达成，而且大数据的触角也得到极大延展。2大数据是多维度的数据-我们以农业的产业大数据为例，影响生产过程的因素可以是投入的原材料的变化，技术的先进程度，生产的环境条件，人员的操作水平，市场的行情变化，物流的调控能力等等，总之是多维度的。这些维度的数据需要涵盖能够影响结果诸多原因，即必要的维度，否则就没有价值。数据量大不代表“充分”，也不表示能够包含必要的“维度”。只有一个或少量维度的数据，数量再大也不能够称之为大数据。3大数据是有逻辑关系的数据-现代社会生活丰富多彩，节奏快，每时每刻都产生大量的有价值和无价值的数据。我们根据需求，将这些大量、动态和碎片化的数据收集、标识和关联，并按照一定的逻辑关系组合起来以后，这些数据就开始变得有意义和有价值了。以消费大数据为例，收入水平与消费支出，年龄段与产品类型，地域分布与产品偏好，职业与品牌选择等等，都存在着极高和多重的逻辑关联，我们通过关联分析，可以产生大量和有价值的次生数据并从中得到结论。因此，没有逻辑关系关联的数据是没有价值的，也不能称之为大数据。4大数据之间可以形成多种函数关系-以产业大数据为例，从统计的角度可以统计工厂，产品，工人，原材料投入，消耗，生产效率等很多项目…，统计数据之间一般只有线性关系。从大数据的角度可以把整个生产分为不同的生产过程或生产单元，每个生产过程或单元的变量因素都可以有不同的原材料投入，生产条件，管理方式，控制节点等，其中任何一点或多点的变化及其变化的幅度，对生产结果会造成不同的和有规律可循的影响，这些数据之间具有非常清晰的数量关联，人们可以通过参数，算法等总结出其中的数量关系。而且这些多种变量数据之间通常是可以被描述为模型下的函数关系。发现、构建和不断完善各种数据之间逻辑和函数关系才是大数据的本质追求。综合以上各点，大数据的正确定义应该是：大数据是通过应用软件或系统，自我产生和实时更新的，按一定逻辑关系关联的多维数据。农业大数据技术核心在于技术，包括获取技术和处理数据的技术，相比工业大数据技术，大数据处理技术类似，但是农业大数据获取技术对于技术的多样性和复杂程度要求更高，根本原因在于工业大数据技术面对的是非生命物质，农业大数据面对的是开放环境生长的动植物生命，农业大数据技术更为复杂。那什么是农业大数据？首先理解什么是大数据？它是真实世界的一种映射，通过数据化把真实世界映射在另外一个虚拟世界，通过对数据的建模、运算和处理，让我们对于真实世界的感知又深了一层，相比于传统利用经验的判断，农业大数据其实是我们解构生命属性的动植物全生命流程（产业链）的一种新的更接近真实的模式。-农业大数据技术-（1）农业大数据获取的技术遥感技术，它包括卫星遥感，无人机遥感，有人机遥感、定点摄像头等；气象技术，它包括气象卫星、气象雷达、气象基站、无人自动气象站等；探测技术，包括照相机，摄像头，探测设备，传输设备；定位技术，它包括GPS,北斗，伽利略，格罗纳斯，RTK等；各种有线和无线传输技术（2）农业大数据的处理技术数据库参数、算法、模型小程序、APP、软件功能、模块、系统、平台、SAAS云计算、区块链2-农业大数据-我们之前讲过，农业大数据之“大”主要是体现在“多维度”上。那么，农业大数据的多维度主要都体现在哪些方面呢？（1）它首先体现“涉农”的广泛性和全面性，即它涵盖农业生产过程的全要素宏观要素，社会因素、经济因素、政策因素、成本要素、价格要素、供求关系、国际贸易因素等；投入要素：如种子、化肥、农药、农机、农膜等；环境要素：气候因素、气象因素、地理环境、小区域气候、土壤因素等；操作要素：如农事规划，农事操作，操作与农时/作物生长周期的配合，农机与农具的搭配，操作的时间、数量、质量、效果等；管理要素：规模，效率、投入、产出、成本、效益、人均劳动生产率等。（2）它体现“涉业”，即涉及产业链的全过程的各个方面的数据金融大数据：融资、信贷、数量、比例、期限、利率、还款方式、保险、期货、收入、效益等；产业大数据：作物、品种、投入、生产、产出、销售、加工、损耗、成本、效益、投入产出比，资金周转率、仓储、物流，库存，损耗，开工率等；消费大数据：消费群体、消费水平，地域、渠道、年龄、偏好、品类、数量、频次、时段、价格敏感度、支付方式、重复购买率、品牌忠诚度等。3-农业大数据的逻辑和架构-构建农业大数据系统有三大注意事项。（1）业务逻辑优先技术逻辑农业大数据因为涉及开放和多变环境，冗长的产业链，漫长的时间，多重的参与者，所以远远比一般产业的大数据来得复杂。正确理解产业链的基本构成和各自不同的内在逻辑，预见产业链的变化和发展的趋势，厘清整体和各个组件结构关系，模型的构成以及要素的优先次序和权重等尤为重要。业务逻辑优先于技术逻辑是农业大数据能够得以正确实现的基本前提，万万不可由于“技术控”而被误导。技术再先进，结构做的再漂亮，如果模型没有能够正确理解和按照业务逻辑建立起来的，其结果也只能是好看而不实用。（2）底层芯片设计很重要构建农业大数据系统如同设计“芯片”，是一层层通过叠加而搭建起来的。在清晰的产业逻辑基础上建立的底层架构的合理性十分重要，它决定着“芯片”最后的成功与否以及是否具有实用价值。如果没有合理的底层设计，许多先前看