农业信息技术chapter三农业数据库系统

农业信息技术chapter三农业数据库系统第三章农业数据库系统3数据库系统概述农业数据库建设农业管理信息系统农业数据处理与统计分析第一节数据库系统概述一、数据库系统的构成与特点二、数据库管理系统三、数据库中的数据模型四、数据库设计第一节数据库系统概述一、数据库系统的构成与特点（一）数据管理与数据库系统数据管理技术是指对数据进行分类、编码、存储、检索和维护，它是数据处理的中心问题。数据管理技术经历了人工管理、文件系统、数据库系统、高级数据库等发展阶段。数据库系统（databasesystems）是计算机应用系统中一种专门管理数据资源的系统，由数据库、数据库管理系统和用户应用三部分组成。第一节数据库系统概述数据库（database，DB）是按照数据结构来组织、存储和管理数据的仓库。详细讲，数据库是长期存储在计算机内、与应用彼此独立的、以一定的组织方式存储在一起的、彼此相互关联的、具有较少冗余的、能被多个用户共享的数据集合。数据库类型多样，有最简单的存储各种数据的表格，也有存储海量数据的大型数据库系统，有文字型、数字型、图像型和声音型等不同数据形式。多媒体数据库（MultimediaDataBase，MDB）能提供图像、文本、声音等信息的全方位“立体化”的服务方式。一、数据库系统的构成与特点（一）数据管理与数据库系统第一节数据库系统概述一、数据库系统的构成与特点（一）数据管理与数据库系统分类标准类别用户数量单用户数据库多用户数据库数据类型和表现形式文献型数据库数值型数据库事实型数据库文本型数据库它们的结合型数据库数据存诸介质类型磁带数据库硬盘数据库光盘数据库数据结构和存取方法关系型数据库层次型数据库网络型数据库数据存放地点集中式数据库分布式数据库第一节数据库系统概述一、数据库系统的构成与特点（一）数据管理与数据库系统数据库是为获取数据而设计，而数据仓库是为分析数据而设计。数据仓库（Datawarehouse，DW）是决策支持系统和联机分析应用数据源的结构化数据环境，是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。数据仓库系统是一个信息提供平台，包含数据获取（DataAcquisition）、数据存储（DataStorage）、数据访问（DataAccess）三个关键部分，为用户提供各种手段从数据中获取信息和知识。第一节数据库系统概述（二）数据库系统的构成一、数据库系统的构成与特点数据库系统简图数据库用户软件硬件终端用户应用程序员数据库管理员数据库管理系统DBMS

存储数据库运行DBMS(包括操作系统)的硬件资源第一节数据库系统概述（二）数据库系统的构成一、数据库系统的构成与特点数据库系统的4个组成部分构成了一个复杂的层次系统第一节数据库系统概述（三）数据库系统的特点一、数据库系统的构成与特点（1）数据的结构化（2）数据共享性好（3）数据独立性好（4）用户接口简单（4）系统运行可靠（5）能够重组数据（6）基于某种数据模型，能够充分描述数据间的内在联系第一节数据库系统概述二、数据库管理系统数据库管理系统（DataBaseManagementSystem，DBMS）是一种操纵和管理数据库的大型软件，用于建立、使用和维护数据库，对数据库进行统一的管理和控制，以保证数据库的安全性和完整性。用户通过DBMS访问数据库中的数据，数据库管理员也通过DBMS进行数据库的维护工作。第一节数据库系统概述二、数据库管理系统（一）数据库管理系统的功能（1）数据定义功能（2）数据存取功能（3）数据库运行管理功能（4）数据库建立和维护功能（5）数据库的传输第一节数据库系统概述二、数据库管理系统（二）数据库管理系统的层次结构根据处理对象的不同，数据库管理系统的层次结构由高级到低级依次为应用层语言翻译处理层数据存取层数据存储层操作系统第一节数据库系统概述（三）常用的数据库管理系统二、数据库管理系统（1）Oracle（2）MicrosoftSQLServer（3）MicrosoftAccess第一节数据库系统概述三、数据库中的数据模型在数据库中用数据模型（datamodel）来抽象、表示和处理现实世界中的数据和信息。数据模型是指描述反映客观事物的数据及其联系。按照应用层次，数据模型分为概念数据模型、逻辑数据模型和物理数据模型等三类。第一节数据库系统概述三、数据库中的数据模型（一）概念模型概念数据模型也称信息模型，它是按用户的观点来对数据和信息建模，主要用于数据库设计。是现实世界到机器世界的一个中间层次，是数据库设计的有力工具。它不依赖于某个DBMS支持的数据模型，同时又可以转换为某一DBMS支持的特定数据模型。概念模型的特点是：具有较强的语义表达能力，能够方便、直接地表达应用中的各种语义知识；简单、清晰、易于用户理解，是用户与数据设计人员之间进行交流的语言。第一节数据库系统概述三、数据库中的数据模型（一）概念模型1.信息世界中的基本概念2.概念模型的表示方法（1）实体（2）属性（3）键（4）域（5）实体型（6）实体集（7）关联E-R方法称为实体-联系方法（Entity-RelationshipApproach），该方法能够方便、准确地表示出上述信息世界中常用的概念，它用E-R图来描述现实世界的概念模型。E-R方法也称为E-R模型，它是概念模型常用的方法。此外，还有扩充的E-R模型、面向对象模型及谓词模型等。第一节数据库系统概述三、数据库中的数据模型（二）数据模型逻辑数据模型又被简称为数据模型，主要包括网状模型，层次模型，关系模型等，它是按计算机系统的观点对数据建模，主要用于DBMS的实现。层次模型、网状模型是早期的数据模型。通常把它们称为格式化数据模型，因为它们是属于以“图论”为基础的表示方式。关系模型是用“二维表”（或称关系）来表示数据之间的联系。第一节数据库系统概述三、数据库中的数据模型（二）数据模型1.层次模型层次数据模型实质上是一种有根结点的定向有序树（在数学中“树”被定义为一个无回的连通图），即用“树”结构表示实体集之间的关联，其中实体集（用矩形框表示）为结点，而树中各结点之间的连线表示它们之间的关联。根据“树”结构的特点，建立数据的层次模型需要满足下列两个条件：①有且仅有一个结点无“父”结点称为根结点；②其他数据记录有且只有一个“父”结点。按照层次模型建立的数据库系统称为层次模型数据库系统，其典型代表是管理信息系统（ManagementInformationSystem，MIS）。第一节数据库系统概述三、数据库中的数据模型（二）数据模型1.层次模型不能很好的表示两个以上实体型之间的复杂关联和实体型之间多对多关联优点数据模型简单对具有一对多的层次关系描述自然、直观，容易理解性能优于关系模型，不低于网状模型层次数据模型提供了良好的完整性支持缺点第一节数据库系统概述三、数据库中的数据模型（二）数据模型2.网状模型能很好地解决了实体间复杂关系的表达问题有致命的弱点，即当需求扩展时，对原有数据结构及应用程序的修改会产生严重的后果网状模型的特点：①可以有一个以上的结点无“父”；②至少有一个结点有多于一个的“父”按照网状数据结构建立的数据库系统称为网状数据库系统，其典型代表是DBTG（DataBaseTaskGroup）用数学方法可将网状数据结构转化为层次数据结构第一节数据库系统概述三、数据库中的数据模型（二）数据模型3.关系模型关系模型是以人们经常使用的二维表格形式来表示实体本身及其相互之间的关联，它以关系理论为坚实的基础，是经典数据模型中建模能力最强的一种，对于各种类型数据联系都可描述，成为当今实用数据库系统的主流。在关系模型中，把数据看成一个二维表格，每个二维表格就是一个关系，由多列和多行组成，每列描述实体的一个属性，每行描述一个具体实体。对于一个表示关系的二维表格，其最基本的要求是，不允许表中再有表。第一节数据库系统概述三、数据库中的数据模型（二）数据模型3.关系模型一个关系称为一个数据库，若干个数据库可以构成一个数据库系统。在关系数据库中，对数据的操作几乎全部建立在一个或多个关系表格上，通过对这些关系表格的分类、合并、连接或选取等运算来实现数据的管理。由关系数据结构组成的数据库系统被称为关系数据库系统。第一节数据库系统概述三、数据库中的数据模型（二）数据模型3.关系模型优点缺点①数据结构简单②具有很高的数据独立性③可以直接描述多对多的关联④有坚实的理论基础当数据库很大时，查找满足特定关系的数据费时，对空间关系无法满足。第一节数据库系统概述四、数据库设计（一）数据库设计的步骤第一节数据库系统概述（二）概念结构设计四、数据库设计概念模型是对实际应用对象形象而又具体的描述概念结构设计要借助于某种方便又直观的描述工具。E-R图提供了表示实体型、属性和关联的方法（如图）：实体型属性关联某校教学管理数据库的E-R图E-R图中的关系连线上的“1”、“0”，表示实体的最小基数，菱形框内的数字表示的是最大基数。“1”，表示在关联中这一侧必须存在一个实体，“0”表示实体可以不存在。第一节数据库系统概述（三）关系数据库设计四、数据库设计关系数据库就是依据关系模型建立的数据库。将E-R数据模型转化为关系模型的过程，可分为以下3个步骤：将用E-R图描述的数据库概念模型转化一组关系模式根据关系型数据库规范化理论对这组关系模式进行规范化处理根据数据库的完整性和一致性要求以及系统查询效率要求，对所得模式进行优化第二节农业数据库建设一、农业数据库的类型二、国外农业数据库三、中国农业数据库第二节农业数据库建设一、农业数据库的类型农业资源数据库地理资源数据库种质资源数据库基因资源数据库人力资源数据库农业技术数据库农业统计数据库企业与产品数据库生产信息统计数据库农业气象资料数据库农业生产数据库农业企业与产品数据库农业市场信息数据库农业政策法规数据库农业科技文献数据库第二节农业数据库建设二、国外农业数据库（一）国外数据库发展概况国外的数据库建设起步较早，在20世纪60年代中期，美国就开始了数据库方面的建设；70年代中期，欧洲各国和日本相继建立和发展了本国的数据库；到了80年代后期，数据库联机检索系统开始在经济发达国家兴起，这时出现了光盘数据库。随后，伴随计算机技术及互联网的快速发展，农业数据库的发展除了在光盘数据库、网络在线数据库等方面不断发展壮大以外，各国农业信息网络系统也在不断涌现。目前，国际上最著名的农业数据库系统是CABI、AGRICOLA、AGRIS三大数据库。第二节农业数据库建设二、国外农业数据库（二）国外农业文摘数据库1.CABAbstracts2.AGRICOLA3.AGRIS4.FSTA5.Pest-Bank6.BIOSISPreviews7.TROPAG&RURAL8.ZoologicalRecords9.DerwentBiotechnologyAbstracts10.FOODLINE11.WilsonBiological&AgriculturalIndex12.PollutionandToxicology13.ASFA第二节农业数据库建设二、国外农业数据库（三）国外农业全文数据库1.EBSCO全文数据库2.ScienceDirect电子期刊数据库3.ProQuest博硕士论文全文数据库4.AnnualReviews电子期刊5.Blackwell出版社电子期刊6.SpringerLink（Springer出版社电子期刊数据库）7.ProQuest生物和农业全文期刊数据库8.BioOne全文数据库9.Nature系列电子期刊10.ASABETechnicalLibrary11.Taylor&Francis农业百科全文数据库12.OECD农业与食品数据库和电子图书资源13.CABIPublishingJournals（YourJournals@OVID）14.Taylor&FrancisJournalsOnline三、中国农业数据库第二节农业数据库建设（一）中国农业数据库建设概况经过了70年代的起步、80年代上半期的普及阶段后，从1987年进入数据库的提高阶段，到现在数据库的建设已进入快速发展的时代。中国农业信息方面的数据库建设不断发展进步，经历了从题录文献库到全文库，从光盘库到网络库的发展。主要问题是：（1）农业数据库数量不足，规模不大，覆盖面不广，信息不全，质量不高，利用率低。（2）缺乏统筹规划，重复建设现象严重，标准化和规范化较低，封闭现象严重，兼容性和共享性差。（3）数据库内容以文摘型、题录型为主，而全文数据库、多媒体数据库比重较低。（4）数据库建设和管理不规范，重建设轻维护，重形式轻功能，重硬件轻软件。三、中国农业数据库第二节农业数据库建设（二）综合性农业数据库1.中国农业科技文献数据库2.中国期刊全文数据库3.中文科技期刊数据库4.全国报刊索引数据库（三）典型农业专题数据库1.中国作物种质资源数据库（CGRIS）2.中国农业科学数据中心（agridata）3.热带农业数据库4.中国土壤数据库5.资源环境遥感数据库6.中国西南药用植物资源数据库7.中国经济植物资源数据库第三节农业管理信息系统一、农业管理信息系统的类型二、农业管理信息系统的构成与开发流程三、农业管理信息系统的设计与实现第三节农业管理信息系统一、农业管理信息系统的类型土地资源信息系统土壤资源信息系统水资源信息系统农业气候资源信息系统肥料资源信息系统农业种质资源信息系统第三节农业管理信息系统二、农业管理信息系统的构成与开发流程农业管理信息系统AMIS是一个GIS专题信息系统，由计算机硬件、计算机软件、数据、应用模型和系统组织管理者组成农业管理信息系统构成框图示例第三节农业管理信息系统二、农业管理信息系统的构成与开发流程农业管理信息系统开发过程包括可行性研究、系统分析、系统总体方案设计、系统技术方案分析、系统实施、系统评价与维护等6个阶段第三节农业管理信息系统三、农业管理信息系统的设计与实现1.系统分析（1）用户类型与需求分析（2）可行性分析2.系统设计系统功能设计软硬件选择3.系统应用设计4.系统的组织实现农业管理信息系统基本功能框图第四节农业数据处理与统计分析一、数据处理与统计软件简介二、数据处理软件中数据文件的基本结构三、SAS程序简介四、用SAS进行数据分析实例第四节农业数据处理与统计分析一、数据处理与统计软件简介类型功能软件例举文本编辑类使用基本文本格式创建和编辑文本文件，用于数据的录入和管理EditPlus、EmEditor、UltraEdit等电子表格类数据的录入和管理、基本的数据分析、简单的图表制作等MicrosoftOfficeExcel2003、WPSOffice2005金山表格等统计分析类数据访问和录入、数据管理、数据挖掘和分析、数据呈现等SAS、SPSS、STATA、Minitab、S-Plus、DPS等第四节农业数据处理与统计分析一、数据处理与统计软件简介SAS（StatisticalAnalysisSystem）是美国SAS软件研究所研制的一套用于数据分析与决策支持的大型集成式模块化软件包，能够完成以数据为中心的四大任务:数据访问、数据管理、数据分析和数据呈现，广泛应用于政府行政管理、科研、教育、生产和金融等不同领域。SAS系统中提供的主要分析功能包括统计分析、经济计量分析、时间序列分析、决策分析、财务分析和全面质量管理工具等。SAS系统的功能特点：（1）模块式结构、把数据管理和数据分析融为一体；（2）数据接口丰富；（3）语言编程能力强；（4）统计分析方法丰富，使用简单。（一）SAS第四节农业数据处理与统计分析一、数据处理与统计软件简介SPSS（StatisticalPackagefortheSocialScience）——社会科学统计软件包是美国SPSS公司开发。SPSSforWindows是一个组合式软件包，集数据整理、分析功能于一身。使用Windows的窗口方式展示各种管理和分析数据方法的功能，使用对话框展示出各种功能选择项，分析结果清晰、直观、易学易用，可以直接读取EXCEL及DBF数据文件。SPSS的基本功能包括数据管理、统计分析、图表分析、输出管理等等。SPSS的主要缺点在于它很难与一般办公软件如Office等直接兼容，在撰写报告时往往要用电子表格软件及专业制图软件来重新绘制相关图表；SPSS统计分析功能与SAS相比仍有一定欠缺，但由于操作简单，已经在我国的社会科学、自然科学的各个领域发挥了巨大作用。（二）SPSS第四节农业数据处理与统计分析一、数据处理与统计软件简介Stata最初由美国计算机资源中心（ComputerResourceCenter）研制，现在为Stata公司的产品，其最新版本为10.0版。Stata和SAS、SPSS一起，被称为新的三大权威统计软件。Stata突出特点是短小精悍、功能强大，包含全部的统计分析、数据管理和绘图等功能，其统计分析功能极为全面。Stata在分析时将数据全部读入内存，在计算全部完成后才和磁盘交换数据，因此运算速度极快。（三）Stata第四节农业数据处理与统计分析一、数据处理与统计软件简介Stata的操作方式以命令行／程序为主，辅以菜单操作系统，其命令语句简洁明快，命令设置条理性好，用户极易上手。Stata的用户接口非常简洁，数据格式简单，分析结果输出简洁明快，易于阅读。Stata的另一个特点是他的许多高级统计模块均是编程人员用其宏语言写成的程序文件（ADO文件），这些文件可以自行修改、添加和下载。用户可随时到Stata网站寻找并下载最新的升级文件。Stata已经在科研、教育领域得到了广泛应用，联合国世界卫生组织（WHO）已将Stata作为主要的统计分析工作软件。（三）Stata第四节农业数据处理与统计分析一、数据处理与统计软件简介DPS是我国浙江大学研制的具有自主知识产权的统计分析软件。从20世纪90年代开始，DPS软件功能不断扩充，不断地完成了数学生态、生物测定、地理统计、遗传育种、生存分析、水文频率分析、量表分析、质量控制图、ROC曲线分析等内容，已成为21世纪初期国内统计分析功能最全的软件包。（四）DPS第四节农业数据处理与统计分析二、数据处理软件中数据文件的基本结构统计分析软件对数据文件的组织和管理类似于数据库管理软件可以形象地将数据集、数据文件、数据表等看作一个“表”其中每一行代表一条信息或一个对象，SAS中称作观测（Observation），SPSS中称作事件（Case），这相当于数据库中的记录（Record）如某一个样本、某一个品种；每一个观测或事件均有相同数量的列，每一列代表一个变量（Variable），每一个变量均表达了单条信息或对象某一方面的属性，就相当于数据库中的字段，如每一个品种均有5个性状，这5个性状就是5个变量。第四节农业数据处理与统计分析二、数据处理软件中数据文件的基本结构例如，有10个小麦品系的株高和千粒重数据如表1所示。在建立数据文件时，我们不能直接按表1中的排列填入数据表，而应该将每一个品系占一行，株高和千粒重分别占一列。即：品系9702977498459832987699459979001200340067株高(cm)78798676828190738280千粒重(g)35434150423839434137VarHeightWeight9702783597747943………00678037至于变量的名称，不同的统计软件对变量名称的设置方法不同。一般情况下，变量的名称可以用英文缩写或汉语拼音，长度不超过8个字符，大小写具有同样的功效。为便于各种软件之间的数据交换，不推荐使用汉字作为变量名称。第四节农业数据处理与统计分析二、数据处理软件中数据文件的基本结构有时原始数据与表的形式差距较大，这就需要一定的方法构造便于进行数据分析的数据结构。培养液ＡＢＣ盆号123123123生长量503545505555856572553540456045607070403040505065908068354050455055856573TreatPotRepeatGrowthA1150A1255A1340A1435A2135A2235…………C2380C2465C3172C3270C3368C3473如在温室内以3种培养液培养某作物，每种3盆，每盆4株，一个月后测定其株高生长量（mm），每盆测定4株，得结果见表。第四节农业数据处理与统计分析二、数据处理软件中数据文件的基本结构统计分析软件具有较好的辨识和处理缺失数据的功能。如果原始数据中某些变量存在缺失值，在建立数据表时应该给以恰当的标识，在SAS、SPSS等常用统计软件中用英文点号“．”表示缺失数据，不能简单地将缺失写成0。例如，计算5名学生的的选修课成绩，原始数据如表所示NO.NameEnglishAgronomyComputerStatisticsChinese4张三76858998508李四.6769899813王五87..964924刘六459078.8927赵七67...91第四节农业数据处理与统计分析三、SAS程序简介（一）SAS数据步SAS数据步就是把原始数据作为输入，建立SAS数据集，为过程步准备数据。建立SAS数据集有多种途径，下面只介绍在编辑（editor）窗口直接建立数据集的方法。数据步的语句和结构为：DATA数据集名;INPUT变量列表;CARDS;数据块;RUN;第四节农业数据处理与统计分析（二）SAS过程步三、SAS程序简介SAS过程步用来调用系统提供的标准过程和统计分析过程，对指定的SAS数据集进行处理，并将结果输出到OUTPUT窗口。一个过程步是一个功能程序模块，调用不同的过程可实现用不同方法对数据进行分析。SAS过程步的一般形式为：PROC过程名选择项;[其他相关过程步语句;]RUN;第四节农业数据处理与统计分析四、用SAS进行数据分析实例（一）t测验和方差分析1）用MEANS过程作t测验1.t测验例如：某小麦良种的千粒重μ0=34g，现自外地引入一高产品种，在8个小区种植，得其千粒重（g）为：35.6、37.6、33.4、35.1、32.7、36.8、35.9、34.6，问新引入品种的千粒重与当地良种有无显著差异？第四节农业数据处理与统计分析四、用SAS进行数据分析实例第四节农业数据处理与统计分析四、用SAS进行数据分析实例（一）t测验和方差分析2）用TTEST过程作t测验1.t测验例如：调查某生产队每亩30万苗和35万苗的稻田各5块，得30万苗亩产量（斤）分别为：800，840，870，920，850；35万苗亩产量（斤）分别为：900，880，890，890，840。试测验两种亩产量的差异显著性。第四节农业数据处理与统计分析四、用SAS进行数据分析实例第四节农业数据处理与统计分析四、用SAS进行数据分析实例（一）t测验和方差分析2.方差分析研究6种氮肥施用法对小麦的效应（下表），每种施肥法种5盆小麦，完全随机设计，最后测定它们的含氮量（mg）。试作方差分析。（1）单向分组资料的方差分析举例12345612.914.012.610.514.614.012.313.8

3.210.814.613.312.213.813.410.714.413.712.513.613.410.814.413.512.713.613.010.514.413.7第四节农业数据处理与统计分析四、用SAS进行数据分析实例（一）t测验和方差分析2.方差分析有一小麦品种比较试验，共有8个品种，其中A是标准品种，采用随机区组设计，重复3次，小区计产面积200平方尺，其产量见表，试作方差分析。（2）两向分组资料的方差分析举例区组品种ABCDEFGHI10.910.811.19.111.810.110.09.3II9.112.312.510.713.910.611.510.4III12.214.010.510.116.811.814.114.4第四节农业数据处理与统计分析四、用SAS进行数据分析实例（二）相关和回归分析1.相关分析一些夏季害虫盛发期的早迟和春季温度高低有关。已测定3月下旬至4月中旬旬平均温度累积值（x，单位：旬.度）和一代三化螟蛾盛发期（y，以5月10日为0）的数据（下表）。试计算x和y的相关系数。X累积温35.534.131.740.336.840.231.739.244.2Y盛发期12169273139-1累积温和一代三化螟蛾盛发期的关系数据第四节农业数据处理与统计分析四、用SAS进行数据分析实例（二）相关和回归分析2.线性回归分析（1）线形回归分析例：测定13块中籼南京11号高产田的每亩穗数（x1，单位：万）、每穗粒数（x2）和每亩稻谷产量（y，单位：斤），得结果如下表。试分析每亩穗数、每穗粒数和亩产量间的相关。x1x2Yx1x2Yx1x2Y26.773.4100833.864.6110331.561.1100431.359.095930.462.199233.156.099530.465.9105127.071.494534.059.8104533.958.2102233.364.5107434.664.6109730.464.11029第四节农业数据处理与统计分析四、用SAS进行数据分析实例（二）相关和回归分析（2）逐步回归分析例：基本建设的规模必须与国家的财力物力相适应，才能保证国民经济稳步增长。影响基本建设规模（y，亿元）的因素较多，根据定性分析结果，选择其主要因素有：国民收入使用额（x1，亿元），积累率（x2，%），财政收入（x3，亿元），储蓄（x4，亿元）。原始数据见下表。试用逐步回归分析拟合“最优”回归模型。年份x1x2x3x4Y年份x1x2x3x4y195260721.4183.78.643.561968140921.1361.378.3113.06195372723.1222.912.390.441969153723.2526.875.9200.83195476525.5262.415.999.071970187632.9662.979.5312.55195580722.9272.019.9100.361971200834.1744.790.3340.84195688824.4287.426.7155.281972205231.6766.6105.2327.98195793524