《农业物联网应用技术》课件-4.1 信息处理和数据库

农业物联网应用技术任务一信息处理和数据库PART01知识目标1.掌握信息处理技术的特点2.掌握数据存储的相关概念技能目标能够指出农业信息的特点能够指出数据库存储技术的组成部分素质目标提高学生现代信息知识储备任务描述农业物联网信息处理就像人的大脑，需要对海量的信息进行分析、归纳、处理和应用。信息处理包括信息的收集、信息的加工(如信息的分类、计算、分析、转换和检索)、信息的存储(如书写、摄影、录音和录像等)、信息的传递和信息的使用(如控制和显示)。通过这些步骤，我们才能得到信息中对农业发展、生产和管理有价值的部分。本任务主要学习比较常见的农业物联网信息处理技术。案例导入

案例一在北京大兴精准农业示范区，处处可以体验到物联网“感知”精准农业技术。采育镇鲜切花生产基地的中控室内，温室环境监控大屏挂在墙的正中间，数字频闪的表格中，各温室内的温度、相对湿度、光照强度、二氧化碳浓度一目了然。突然，A1棚相对湿度显示由绿变红：85%!技术员立刻开启一旁的网络视频语音监控系统，点击“一排温室”发令；“相对湿度大了，请开风口和天窗!”视频画面上，一名操作员立即行动起来。10分钟后，系统传来语音回复：“全部打开。”大屏幕上，红色数值随即下降，很快恢复成绿色：70%。“这些实时监控的环境指标可以自动报警，绿色表示正常，红色即为报警。”技术人员介绍，这套温室环境监测与智能控制系统，通过室内传感器“捕捉”各项数据，经数据采集控制器汇总、中控室电脑分析处理，将结果即时显示在屏幕上。管理人员通过另一项技术——视频语音监控系统随时指挥。基地经理李春贵务农20多年，算是一把好手，现在却全听“系统”指挥。他说：“以前都凭感觉，觉得温室冷了就升温，觉得暗了就补光。智能监控下的科学数据，大伙都服!”像采育镇鲜切花生产基地这样，大兴已在5个镇、6个村示范推广精准农业技术，智能温室娃娃、室外气象自动监测、负水头精准灌溉、液肥精准施用、静电精准喷药……16项信息化专利技术，实时定量监控农作物在不同生长周期所需的温度、湿度、光照强度、二氧化碳浓度等，调节水、肥、药的投入，帮助农民实现更高层次的精耕细作。案例导入

案例二为提高种植效率，苍山县在现代农业示范园引进了浙江托普云农农业物联网技术，在其所建设的蔬菜大棚中全部安装农业物联网监测设备，通过农业物联网技术实时监测蔬菜大棚温度、湿度、光照强度、二氧化碳浓度等。根据产生的智能监测信息对蔬菜进行精确管理，通过无线传感器对温室环境进行自动和手动调节，温度高了自动开启风机等设备进行降温；通过土壤湿度传感器对灌溉进行自动控制，达到该浇水的时候浇水，该施肥的时候施肥，完全实现自动化，促进农业高效发展。“使用物联网以后，我们马上就能和大棚里的蔬菜‘对话’了。”走进大棚内，农技师说，“蔬菜它需要什么温度?什么时候要浇水?什么时候要施肥?浇多少水?施多少肥?你并不完全知道，或只知道个大概。但是装上一个小小的传感器，它就会说话、有感觉、有思想了，大棚里的温度高了它会警告你，土壤里的湿度低了它会通知你，更准确地告诉你它的需求，使大棚内植物所需要的生长环境永远保持在最佳状态。”农技师对于“物联网”了解一些，还指着棚里靠近中间位置架起的一副“天线”,上面挂着几个小盒子，说“这就是传感器，分别采集环境温度、湿度、土壤温度、水分含量、光照强度以及二氧化碳浓度，每隔5分钟采集一次数据，通过智能传感器与嵌入3G模块的无线物联网网关，发送到上位机系统。”农技师现在只需要坐在办公室里，笔记本或者电脑的页面停留在几片蔬菜叶片上，用鼠标一点点拉近，就可以很清晰地看到叶片上趴着几只小蚜虫。这样农技师通过物联网的远程监控系统发现了“敌情”,可以立即提醒棚里的农业工人，尽早采取防护措施。虽然物联网对于农业发展所带来的好处显而易见，但在使用上还未形成刚性需求。作为一个新兴事物，农业物联网正处在边试验边示范的阶段，有着广阔的应用前景。对于传统农业来说，物联网的成本过高，在没有见到效益之前，让农民提前投资难度较大。所以政府在加大扶持、建立补贴制度的同时，应尽快建立适应农业发展需求的商业模式，由市场引导，推动农业物联网发展。信息是关于客观事实的可通信的知识，是客观世界各种事物状态和特征的反映。（一）概念一、信息处理技术信息处理技术是指利用电子设备、计算机软件和网络系统等手段对信息进行收集、传递、加工、存储和使用等，是提高和扩展人类信息处理能力的方法和手段。信息系统一般来说，我们将人、硬件、软件、数据库和工作规程看作信息系统，以实现对信息的收集、传递、加工、存储和处理等。一、信息处理技术信息处理的过程收集(感知、测量、获取、输入)传递(邮寄、出版、电话、广播)加工(分类、计算、分析、转换、检索)存储(书写、摄影、录音、录像)使用(控制、显示、指挥等)一、信息处理技术智能信息处理技术就是自动地对信息进行处理，从信息采集、传输、处理到最后提交都自动完成。它涉及到计算机技术、人工智能、电子技术、嵌入式技术等，具有智能、准确、高效实时的特点，目前已被广泛应用于物流、工业控制等多个领域。物联网应用的最终目标是实现对物理世界的智能化控制，因此物联网应用的智能化是其核心和本质的要求。物联网的智能信息处理指物联网应用过程中信息的储存、检索、智能化分析利用，例如，利用人工智能、专家系统对感知的信息做出决策和处理等。一、信息处理技术1.概念指在农业生产、经营管理、战略决策过程中，利用信息处理技术对自然、经济和社会信息进行采集、存储、传递、处理和分析的集成农业技术。在农业生产中，信息处理技术可以用于监测环境参数(如温度、湿度、光照强度等)、控制农业生产环境(如调节温度、开启或关闭灌溉系统等)、预测农作物产量等。在农业资源监测中，信息处理技术可以用于跟踪和监测农业资源的利用情况，如监测土壤质量、水资源和肥料的使用等。信息处理技术还可以用于农业决策和管理例如，通过分析大量的数据，可以预测市场需求，制订销售策略；通过监测农作物病虫害的发生和发展情况，及时采取防治措施，减少损失。（二）农业信息技术一、信息处理技术2.农业信息的特征农业信息具有一般信息的基本特征，如可感知性、可传递性、可存储性、可加工性和可共享性等。(1)农业信息由于来源于农业生产、加工和销售及相关经济活动，因此具有客观性。它反映了农业生产、加工和销售及相关经济活动的产生、发展和变化的过程和趋势，不以人的意志为转移。(2)农业信息具有价值性。农业信息的价值与经济体制、行业分类、空间范围、社会经济条件和人的知识水平等密切相关。(3)农业信息具有时效性。由于农业生产周期长，受自然条件的影响大，生产过程复杂多变，因此农业信息具有时效性，过时的农业信息对农业生产决策的指导意义会大大降低，甚至起到相反作用。(4)农业信息具有可利用性、共享性等一般信息的特征，可以在不同层次、不同范围被重复使用，实现资源共享。一、信息处理技术数据存储技术、数据搜索技术基础农业信息处理技术智能化农业信息处理技术云计算技术中间件技术数据融合与数据挖掘技术智能信息处理技术农业预测预警技术农业视觉信息处理与智能监控技术农业诊断推理与智能决策技术边缘计算技术人工智能技术大数据技术区块链技术……农业信息处理关键技术一、信息处理技术数据存储与数据库技术农业物联网的数据来自哪里？具有哪些特点？信息处理技术中哪个最基础的处理技术发挥着巨大作用？二、数据库存储技术（一）数据存储技术在网络上进行的所有活动都会产生数据，数据存储对象包括数据在流通和加工处理的过程中产生的临时文件，或加工过程中需要查找的信息。这些数据以某种格式或者形式被记录在计算机内部或外部的存储介质上，即数据存储。数据存储技术解决了计算机信息处理过程中大量数据有效地组织和存储的问题，是实现数据共享、保障数据安全以及高效地检索数据的重要工具。数据存储技术可以及时对农业物联网数据进行存储和组织，提供便捷的查询、统计和分析利用。关键技术数据库存储技术分布式云存储技术农业数据库建设二、数据库存储技术关键技术1：数据库存储技术数据库是按照数据结构来组织、存储和管理数据的仓库，是计算机数据处理与信息管理系统的一个核心技术。它研究如何组织和存储数据，如何高效地获取和处理数据。通过研究数据库的结构、存储、设计、管理，对数据库中的数据进行处理、分析和理解。二、数据库存储技术（一）数据存储技术关键技术2：分布式云存储技术分布式数据库系统(DistributedDataBaseSystem，DDBS)是以数据的分布存储为基础，由相应的管理系统、通信网络实现各类数据的管理、访问的系统。从逻辑上分析，DDBS是统一的整体；而从物理层面分析，数据库中的数据存储于不同的物理节点之上，是传统技术和网络时代结合的产物。典型的分布式数据库系统如图3所示。二、数据库存储技术（一）数据存储技术关键技术3：农业数据库建设世界大型农业数据库：联合国粮农组织的农业数据库(AGRIS)、国际食物信息数据库(IFIS)、美国农业部农业联机存取数据库(AGRICO2LA)、国际农业与生物科学中心数据库(ABI)。中国大型农业数据库：我国除引进了以上世界大型数据库外，自己建立了100多个数据库，主要包括各种农作物、果树、蔬菜、园艺植物、畜禽动物、水产动植物的品种分类、生态适宜性、植物营养状况、农艺形状、抗性、品质、长势、作物营养需求、农业病虫害、主产区、产量等数据。二、数据库存储技术（一）数据存储技术中国大型农业数据库有哪些？分别储存哪些数据？（二）数据库1.数据库的起源20世纪50年代：美国为了适应战争的需要，将各种情报集中存入计算机。1963年：Honeywell公司的IDS系统投入运行，揭开了数据库技术的序幕。1965年：美国利用数据库帮助设计了阿波罗登月火箭，推动了数据库技术的应用。1968年：IBM公司推出了层次模型的IMS数据库系统，并于1969年形成产品。1969年：CODASYL下属的数据库任务组（DBTG）发表了网状数据库系统的标准文本（1971年正式通过）。20世纪70年代，网状系统和层次系统在市场中占据主导地位，关系系统开始进入实验阶段，IBM公司研制出了原型关系语言SystemR。1979年：关系软件有限公司推出了第一个基于SQL的商用关系数据库产品Oracle。二、数据库存储技术（二）数据库2.数据库的定义及特性数据库(database)是存放数据的仓库，是存储在一起的相关数据的集合。它的存储空间很大，可以存放百万条、千万条，甚至上亿条数据，但是数据库并不是随意地将数据进行存放的，而是有一定的规则的，否则查询的效率会很低。当今世界是一个充斥着大量数据的互联网世界，即数据世界。数据的来源有很多，如出行记录、消费记录、浏览的网页、发送的消息等。除了文本类型的数据，图像、音乐、声音都是数据。所以计算机软件系统将数据按照结构来存储和管理，形成数据库。数据库是一个实体，能够保管数据，用户可以在数据库中存放要管理的数据。数据库具有如下特性：现实世界的反映，逻辑上有关联数据的集合，有特定目的和特定用户。二、数据库存储技术知识延伸数据库的事务四大特性（ACID原则）以银行A账户转100元给B账户为例：原子性：A扣100、B加100，两步必须一起完成；一致性：转账前后账户总金额保持不变；隔离性：当多个人同时转账时，彼此操作互相隔离、互不干扰；持久性：转账记录持久保留在数据库中。04智能信息处理技术（三）数据库技术数据库技术是通过研究数据库的结构、存储、设计、管理以及应用的基本理论和实现方法，并利用研究结果对数据库中的数据进行处理、分析和理解的技术。数据库技术的研究和管理对象是数据，通过对数据的统一组织和管理，按照指定的构造建立相应的数据库和数据仓库，实现对数据库中的数据进行添加、修改、删除、处理、分析等数据管理和数据挖掘。二、数据库存储技术（三）数据库技术数据库技术经历了人工管理、文件系统和数据库系统三个阶段。(1)人工管理阶段：20世纪50年代中期及以前，计算机的硬件只有磁带、卡片和纸带，没有磁盘等可以直接存取的存储设备，没有操作系统及管理数据的软件。这个阶段的特点是数据不能保存，也没有相关管理软件，不能共享，不独立，无数据结构而言。(2)文件系统阶段：20世纪50年代后期到60年代中期。此时计算机的硬件和软件都有了一定发展，计算机不仅用于科学计算，还能进行大量的管理工作。硬件方面，已经有了磁盘、磁鼓等可以直接存取数据的设备，软件方面，有了数据管理软件这样的文件系统，能够实现实时快速的联机处理数据。(3)数据库系统阶段：20世纪60年代末，出现了统一管理数据的专门软件系统，即数据库管理系统，实现了对数据的统一管理和控制。二、数据库存储技术（四）数据库系统数据库系统(databasesystem,DBS)是存储、管理、处理和维护数据的软件系统，是一个典型的由数据库环境所涉及的各种成分构成的整体，通常由数据库、硬件、软件和数据库用户四个部分组成。(1)数据库：长期存储在计算机内的，有组织，可共享的数据的集合。数据库中的数据按一定的数学模型组织、描述和存储，具有较小的冗余度，较高的数据独立性和易扩展性，并可为各种用户共享。(2)硬件：构成计算机系统的各种物理设备，包括外部设备。(3)软件：计算机系统的操作系统、数据库管理系统和各种应用程序。(4)数据库用户：系统分析员和数据库设计员、应用程序员、最终用户、数据库管理员。数据库系统有大小之分，大型数据库系统有SQLServer、Oracle、DB2等，中小型数据库系统有Foxpro、Access、MySQL。二、数据库存储技术（五）数据库管理系统数据库管理系统(databasemanagementsystem,DBMS)是计算机系统软件，负责组织和存储数据、获取和管理数据、接受和完成用户提出的访问数据的各种请求。数据库管理系统主要功能包括以下几个方面。(1)数据定义功能：DBMS提供了数据定义语言(datadefinitionlanguage,DDL),用户可以通过它方便地对数据库中的相关内容进行定义。例如，对数据库、表、索引进行定义。(2)数据操纵功能：DBMS提供了数据操纵语言(datamanipulationlanguage,DML),用户可以通过它实现对数据库的基本操作。例如，对表中数据的查询、插入、删除和修改。(3)数据库运行控制功能：这是DBMS的核心部分，它包括并发控制(处理多个用户同时使用某些数据时可能产生的问题)、安全性检查、完整性约束条件的检查和执行、数据库的内部维护(如索引的自动维护)等。所有数据库的操作都要在这些控制程序的统一管理下进行，以保证数据的安全性、完整性以及多个用户对数据库的同时使用。(4)数据库的建立和维护功能：DBMS的一个重要组成部分，包括数据库初始数据的输入、转换功能，数据库的转储、恢复功能，数据库的重新组织功能和性能监视、分析功能等。这些功能通常由一些实用程序完成。二、数据库存储技术在物联网应用中，数据库起着记忆（数据存储）和分析（数据挖掘）的作用。数据库关系型数据库非关系型数据库relationalSQLDatabaseNon-relationalNo-SQLDatabase二、数据库存储技术1.关系型数据库关系数据库，是指采用了关系模型来组织数据的数据库。SQL语句是关系数据库中查询和操作数据和模式的标准方法，所以关系数据库又称为SQL数据库。在关系数据库中，数据一般以表的形式构建。列：属性行：记录二、数据库存储技术1.关系型数据库SQL具有数据定义、数据操纵、和数据控制的功能。数据定义功能：能够定义数据库的三级模式结构，即外模式、全局模式和内模式结构。数据操纵功能：包括对基本表和视图的数据插入、删除和修改，特别是具有很强的数据查询功能。数据控制功能：主要是对用户的访问权限加以控制，以保证系统的安全性。二、数据库存储技术1.关系型数据库在关系数据库中，数据一般以表的形式构建。列：属性行：记录二、数据库存储技术1.关系型数据库在数据库中，表和表之间有一定关系。一组表、列和表之间的关系称为“数据库架构”。二、数据库存储技术1.关系型数据库表里能唯一标识一条记录的字段为主键，不能重复、不能为空。学生表学号、手机号、身份证号、员工编号，都是天然主键。二、数据库存储技术1.关系型数据库在一张表里，引用另一张表主键的字段为外键，作用是把两张表关联起来，保证数据完整性。举例：班级表（班级编号是主键），学生表里的「班级编号」就是外键，关联班级表。二、数据库存储技术1.关系型数据库关系数据库的特点：（1）容易理解。二维表结构是非常贴近逻辑世界的一个概念，关系模型相对网状、层次等其他模型来说更容易理解。（2）使用方便。通用的SQL语言使得操作关系型数据库非常方便，程序员和数据管理员可以方便地在逻辑层面操作数据库，而完全不必理解其底层实现。（3）易于维护。丰富的完整性（实体完整性、参照完整性和用户定义的完整性）大大降低了数据冗余和数据不一致的概率。二、数据库存储技术2.非关系型数据库关系数据库被认为是通用数据库，是用于构建应用程序和系统的最常见数据库类型。随着物联网、云计算等技术的发展，大数据广泛存在，同时也呈现出了许多云环境下的新型应用，如社交网络、移动服务、协作编辑等。这些新型应用对海量数据管理或称云数据管理系统提出了新的需求，如事务的支持、系统的弹性等。管理、维护和操作巨大的数据库，非常具有挑战及高成本。二、数据库存储技术为了满足物联网应用的大数据需求，非关系数据可应运而生。为了与关系型数据库对应，非关系型数据库又称为NoSQL数据库。NoSQL仅仅是一个概念，泛指非关系型的数据库，区别于关系数据库，它们不保证关系数据的ACID特性。2.非关系型数据库NoSQL数据库的主要功能：满足对数据库高并发读写的需求；满足对海量数据的高效率存储和访问的需求；满足对数据库的高可扩展性和高可用性的需求。二、数据库存储技术2.非关系型数据库常见的NoSQL数据库类型：键值(Key-Value)存储数据库列存储数据库文档型数据库图型(Graph)数据库二、数据库存储技术2.非关系型数据库在Key-ValueDB中，数据存储在键值对的关联数组中。键(key)用作元素的索引，值(value)则表示所存储和读取的数据：二、数据库存储技术键值(Key-Value)存储数据库2.非关系型数据库Key-value模型对于IT系统来说，其优势在于简单、易部署。二、数据库存储技术键值(Key-Value)存储数据库数据格式：Key（键）→Value（值），像字典查单词适合缓存、会话、购物车这类高频读写场景代表：Redis、Memcached2.非关系型数据库列存储数据库数据排列在列值的记录汇总。这种结构更适合需要快速访问列数据的分析应用程序。不是传统行列，而是按列族分组存储。擅长海量数据、海量存储，可横向无限扩展。适合大数据、日志、物联网海量采集数据。代表：HBase二、数据库存储技术2.非关系型数据库文档型数据库文档型数据库与第一种键值存储相类似。该类型的数据模型是版本化的文档，半结构化的文档以特定的格式存储。文档型数据库比键值数据库的查询效率更高。此模型最适合架构无法定义或频繁更改的非结构化数据。二、数据库存储技术2.非关系型数据库数据存储在节点之中，节点之间的关系存储在边中，这种结构允许快速查询复杂的数据关系。常用于：社交网络、电信诈骗检测系统等。二、数据库存储技术图型(Graph)数据库2.非关系型数据库四大类型比较分类典型应用场景数据模型优点缺点键值(Key-Valu)数据库内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等。Key指向Value的键值对，通常用hashtable来实现。查找速度快数据无结构化，通常只被当作字符串或者二进制数据。列存储数据库分布式的文件系统以列簇式存储，将同一列数据存在一起。查找速度快，可扩展性强，更容易进行分布式扩展。功能相对局限文档型数据库Web应用(与Key-Value类似，Value是结构化的，不同的是数据库能了解Value的内容)Key-Value对应的键值对，Value为结构化数据。数据结构要求不严格，表结构可变，不像关系型数据库需预先定义表结构。查询性能不高，而且缺乏统一的查询语法。图型(Graph)数据库社交网络，推荐系统等。专注于构建关系图谱图结构利用图结构相关算法。比如最短路径寻址，N度关系查找等。很多时候需要对整个图做计算才能得出需要的信息，而且这种结构不易做分布式的集群方案。二、数据库存储技术2.非关系型数据库NoSQL并没有一个明确的范围和定义，但他们普遍存在以下特征：1）不需要预定义模式：不需要事先定义数据模式、预订义表结构。数据库中的每条记录都可能有不同的属性和格式。2）