作物表型组学 课件 第9-15章 种子表型分析技术-表型与作物遗传育种结合

种子表型分析技术HUAZHONGAGRICULTURALUNIVERSITY1目录CONTENTS第一节种子表型分析的意义第二节种子表型分析方法第三节种子表型分析展望第四节推荐阅读第五节思考与讨论2一、种子表型分析的意义

表型组学定义种子表型的重要性典型作物种子表型的特点表型组学（phenomics）是一门在基因组水平上系统研究生物体或细胞在各种环境条件下所有表型的学科。作为一门跨多门类学科（光电子学、计算机科学、机械制造、自动控制、基因组学、生物信息学等学科，图9-0），表型组学研究综合了自动化控制、光学成像、图像分析、计算机技术等现代科学技术，利用多尺度、多维度的全方位数据有效追踪基因型、环境与表型的关系。图9-0表型组学3一、种子表型分析的意义

表型组学定义种子表型的重要性典型作物种子表型的特点4作物口感品质作物育种改良粮食产量安全打破经验化作业仅关注基因型是不够的还应该关注作物表型如就粒重而言,直立穗型＞半弯曲穗型＞弯曲粒型穗粒数是影响结实率的最大直接正效应因素水稻产量=单位面积穗数×平均每穗粒数×结实率×千粒重÷1000，从中可以看出水稻的表型参数对产量有着较大的影响一、种子表型分析的意义

表型组学定义种子表型的重要性典型作物种子表型的特点5穗型、结实率、千粒重、谷粒长宽厚、谷粒形状（短圆形、阔卵形、椭圆形、中长形、细长形）、株高、茎秆长、穗长和穗粒数。水稻表型参数穗重、穗粗、穗长、穗行数、行粒数、粒色、果穗长、果穗粗和百粒重等。玉米表型参数株高、穗长、芒长、百粒重、单株穗粒数、分蘖数和成穗数小麦表型参数水稻表型参数和水稻产量密不可分二、种子表型分析方法人工考种自动化考种设备基于深度学习及先进光学成像的考种设备不同的种子测量参数不同，但基本都是通过人工计数，用尺子、游标卡尺、电子天平等工具进行测量人工考种工作量大，效率低，8个人在工作8h的情况下，一天只能完成大约300份样品人工考种主观性强，误差大，无法解决“一把尺子一杆秤，用牙咬，用眼瞪”的问题6二、种子表型分析方法人工考种自动化考种设备基于深度学习及先进光学成像的考种设备采集图像时相机通过像素矩阵拍摄，图像细节由分辨率决定，分辨率由镜头焦距决定对图像进行识别分析，可用于水稻、花生、玉米、小麦、大豆、油菜等作物的籽粒考种可在线实时获取籽粒的数量、粒长、粒宽、周长、面积、质量等参数自动考种效率1500～2500粒/min，数粒误差＜0.1%；粒长、粒宽测量精度达0.1mm；重量测量精度达0.01g。7（1）面成像考种设备多品种高效高精二、种子表型分析方法人工考种自动化考种设备基于深度学习及先进光学成像的考种设备被测视野为细长的带状，多用于滚筒上检测的问题可实时检测水稻种子样品的总粒数、实粒数、结实率、粒长、粒宽、粒面积、粒周长和千粒重等参数可实时检测玉米果穗的穗数、穗粗、穗行数、穗行粒数、粒厚、粒色、穗重、轴重等参数效率达到60s/单株，系统测量值和人工测量值比较，平均相对误差小于5%，R2

大于0.9。8（2）线扫描成像考种设备高集成技术融合高通量高精度二、种子表型分析方法人工考种自动化考种设备基于深度学习及先进光学成像的考种设备采用深度学习与机器视觉、云计算相结合的技术将水稻考种便利化仅仅使用移动端APP就可以完成考种工作9（1）基于人工智能云计算的水稻便携式考种系统基本原理与技术流程便携式易部署二、种子表型分析方法人工考种自动化考种设备基于深度学习及先进光学成像的考种设备提取总粒数、实粒数、粒长、粒宽等23个谷粒表型性状，其中实粒数、粒长的R2

值分别为0.98、0.96，表明CT所测的性状精度较高10（2）基于CT的水稻谷粒3D性状无损检测基本原理：X射线照射物体某个部位，经过物体组织吸收衰减后，透过的射线被探测器接收到，转变为可见光后，由光电转换器转换为电信号，再经过模数转换后输入计算机处理，最终将图像呈现出来水稻CT图像获取三维图像处理三维重建检测分割表型性状深度提取解析服务育种二、种子表型分析方法人工考种自动化考种设备基于深度学习及先进光学成像的考种设备采用X射线透射成像方式获取稻穗射线吸收图，然后采用自动阈值分割、分水岭、图像标记等算法得到单颗米粒标记图像再采用椭圆检测、边缘提取计算得到米粒的粒长、粒宽、粒面积采用k-means和高斯混合模聚类算法准确识别稻穗中的实粒和瘪粒11（3）基于X射线透射成像的稻穗米粒粒型及谷粒饱满度测量内在性状突破传统多特征计算二、种子表型分析方法人工考种自动化考种设备基于深度学习及先进光学成像的考种设备12（4）基于点云的谷粒高通量表型信息自动提取技术点云分类三维重建信息提取通过对谷粒点云数据进行聚类分析，完成谷粒点云的分类对谷粒离散点云进行柱面构网，获取谷粒点云的三维模型数据实现谷粒40个表型参数的自动提取在进行水稻的数字化考种、表型与基因关联分析和数字农业仿真模拟时，需要大量的谷粒表型信息作数据支撑。此方法能同时自动获取谷粒的三维模型和40个表型参数，实现谷粒形状的定量和定性描述。二、种子表型分析方法人工考种自动化考种设备基于深度学习及先进光学成像的考种设备13（5）基于近红外光谱的杂交水稻种子发芽率测量波长范围为0.9～1.7μm被广泛用于植物含水量、水分动力学、胁迫生理学等方面的研究近红外NIR自然界中一切温度高于绝对零度的物体每时每刻都辐射出红外线红外线辐射载有物体的特征信息基本原理三、种子表型分析展望14深度学习边缘计算基于互联网交互分析技术深度学习对算力和存储都有较高要求，常用的方法是利用云计算通过云计算会引发来自网络额外的排队和传播延迟，不可能满足实时性交互当所连接设备的数量增长时，连接到云的网络可能成为一个瓶颈数据隐私问题问题与挑战边缘计算接近终端设备上的数据源减少了延迟，支持实时性服务边缘计算支持终端设备、边缘计算节点和云数据中心的层次结构边缘计算支持数据在接近源地址来被分析，避免了穿越公众互联网边缘计算架构设备上的计算，深度神经网络在终端设备上执行边缘服务器体系架构，来自终端设备上的数据被发送到一个或更多的边缘服务器进行计算跨终端设备、边缘服务器和云上的联合计算隐私推理，使用加密技术的安全计算特点与优势三、种子表型分析展望15深度学习边缘计算基于互联网交互分析技术搭建网站，在网页上制作操作界面，为互联网交互的界面图采集各种子的图像数据，如水稻、小麦、玉米等让用户在网页上进行操作来获取种子表型参数，此方法能极大地方便用户使用，成本极低四、推荐阅读16五、思考与讨论复习思考题简述种子表型分析技术的概念及意义。简述种子表型分析技术的方法及优缺点。开放性讨论还有哪些种子表型分析方法？17植物微观表型测量技术HUAZHONGAGRICULTURALUNIVERSITY18目录CONTENTS第一节微观表型简介第二节植物叶片气孔表型测量技术第三节植物叶片气孔表型参数测量方法第四节叶片气孔表型在生物学中的应用19一、微观表型简介微观表型定义微观图像无损成像设备植物微观表型是指在植物组织和细胞尺度上可观察到且在特定时间由基因型表达出来的物理、化学或生物性状。植物从冠层到器官的不同层次上捕获外部环境信号，通过能量和质量交换以及细胞和组织水平上的传输，转化为内部环境信号，再通过细胞器水平上的信号转导途径导入并被进一步放大，最终通过表观遗传修饰影响基因表达（图10-1）。微观表型作为连接外部环境因子和内部环境信号的重要界面，对理解基因表达与复杂宏观表型形成之间的关系发挥着关键作用。图10-1植物微观表型示意图20微观表型定义微观图像无损成像设备微观图像采集方法包括有损取样如切片和无损两种。组织和细胞尺度的无损成像设备主要有以下5种。激光共聚焦扫描显微镜（Confocallaserscanningmicroscope，CLSM）激光烧蚀断层扫描（LAT）X射线微断层摄影技术（Micro-CT）核磁共振成像（Magneticresonanceimaging，MRI）显微高光谱成像（Micro-hyperspectralimaging，MHSI）21一、微观表型简介二、植物叶片气孔表型测量技术气孔简介气孔分类方法影响叶片气孔表型的主要环境因素22气孔是植物表皮所特有的结构，多存在于植物的地上部分，尤其是植物叶片表皮上。气孔是植物蒸腾失水的“门户”，也是植物与外界环境进行气体交换的“窗口”，在植物生长过程中起着十分重要的作用。气孔一般由一对保卫细胞围绕一个孔隙构成（图10-2），当气孔打开时，植物可以摄取进行光合作用所必需的二氧化碳，当气孔关闭时，植物可以减少水分的散失以提高抗旱能力。通过叶片气孔的打开和关闭，可使植物体内的水分与外界环境之间达到平衡，通过改变打开气孔孔隙大小来调节光合作用、呼吸作用和蒸腾作用的速率，以适应变化的环境，使植物适应不同的生长环境。图10-2气孔结构二、植物叶片气孔表型测量技术气孔简介气孔分类方法影响叶片气孔表型的主要环境因素23气孔通常存在于植物体的地上部分，尤其是在叶片的叶表皮上，在幼茎、花瓣上也可见到，但多数沉水植物则没有。叶片上气孔的数目和分布因植物不同而不同，一般叶片上表皮和下表皮都有气孔，多数植物下表皮的气孔数多于上表皮；同一植物不同的叶片，气孔分布也存在差异，一般来说，低处着生的叶片气孔比高处的大但数量较少，并且气孔密度随之从低到高；一般来说，同种植物单个叶片的气孔密度排序为叶基>叶中>叶尖，但也有例外，如禾谷类植物最高的气孔密度在叶片中部；不同的植物，其叶片上的气孔分布特征差异较大，并无统一的分布规律。二、植物叶片气孔表型测量技术24气孔的分类方法有很多种：1）根据副卫细胞的数目及排列方式，可分为：极细胞型、共环极细胞型、腋细胞型、聚腋下细胞型、无规则四细胞型、橫列型。2）根据保卫细胞内的叶绿体的数目及大小差异，可分为：大粒型、群粒型、中粒型、小粒型。3）根据气孔的保卫细胞和副卫细胞的发生来源是否相同，可分为：中源型、周源型、中周型。4）根据保卫细胞的形状、壁的加厚情况，可分为：肾状等厚壁型、球状等厚壁型、哑铃型、半月型、结节型、窗框型、流苏型、类帽型、扁担型、珠贝型、枕头型、船型、卷发型、耳垂型、锯齿型、唇状亚铃型、方框型、双气孔型。5）根据单子叶植物和双子叶植物的不同特点，单子叶植物可分为：保卫细胞由一个副卫细胞包围、保卫细胞外侧伴有一个副卫细胞、保卫细胞由一个副卫细胞包围且其中两个副卫细胞较小略成圆形位于气孔两端、气孔无任何副卫细胞包围，双子叶植物可分为：无规则型、不等型、平列型、橫列型。气孔简介气孔分类方法影响叶片气孔表型的主要环境因素二、植物叶片气孔表型测量技术外界环境变化对植物气孔表型的主要境影响因素有4种。光照光能是植物进行光合作用的驱动力，光照影响植物叶片进行光合作用的效率，在叶片气孔的形成和发育过程中起到关键的诱导和调节作用。不同植物叶片气孔对光照的响应也不一样。二氧化碳浓度叶片气孔是植物吸收大气二氧化碳和散失水分的主要门户，植物叶片通过改变气孔开口大小控制外界环境二氧化碳进入叶片的数量。25气孔简介气孔分类方法影响叶片气孔表型的主要环境因素土壤水分叶片气孔对植物的蒸腾作用和光合作用等生理过程有重要影响，与植物抗旱能力密切相关。气孔调节是植物抵御干旱胁迫和适应环境的机制之一，植物通过控制气孔数目和开闭程度调节叶片的蒸腾速率，从而影响叶片水势。温度温度是影响植物气孔性状的重要因子，但温度对气孔性状的影响尚无一致的结论。有研究发现，高温没有改变植物叶片的气孔密度，但另外有研究却显示高温能减少或增加气孔密度，高温还能改变单个气孔的大小及其在叶片上的空间分布格局。除了环境因素影响气孔的性状，快速的气孔反应速度也能使植物更好地应对不断变化的环境。三、植物叶片气孔表型参数测量方法概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数图10-3气孔表型测量流程框图植物叶片气孔表型参数测量一般包括以下步骤：植物叶片气孔图像采集、图像处理和分析、气孔表型参数测量（图10-3）图像采集方式：无损、有损图像处理和分析：对原始图像的预处理和采用深度学习神经网络识别或分割图像中的气孔主要气孔表型参数：气孔密度、气孔指数、关闭气孔大小和打开气孔孔隙大小图10-4为华中农业大学作物表型团队气孔研究小组采用两种分辨率的图像采集设备测量活体玉米叶片气孔表型参数的流程图。26三、植物叶片气孔表型参数测量方法图10-4玉米叶片气孔表型参数测量流程（Liang等，2022）27概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数三、植物叶片气孔表型参数测量方法植物叶片气孔图像采集可分为两类：离体图像采集和活体图像采集利用化学药品处理叶片表皮后将其制成载玻片，再在显微观测设备下进行图像采集优点：采集到的气孔图像清晰、平整，所有气孔处在一个平面上缺点：制作载玻片操作过程繁琐、有损、耗时耗力且不易掌握采用显微设备直接对活体植物叶片进行气孔图像采集优点：无损、快速，可通过观测气孔变化实时表达植物体生理状态，能在植物的整个生长过程中动态观察气孔变化缺点：采用显微设备采集图像时，由于叶片不平整，需要调焦以适应不同高度的叶片，有时会出现一幅图像中部分气孔模糊的现象，另外当叶片表面有灰尘和杂质时，采集到的气孔图像模糊离体图像采集活体图像采集28概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数三、植物叶片气孔表型参数测量方法（1）离体图像采集29概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数10-5植物叶片气孔离休图像采集方法植物叶片气孔离体图像采集方法大体如图10-5所示，采集方法的不同主要体现在叶片气孔制片方法的不同上。常用的气孔制片方法主要有以下4种。撕取法：用镊子从叶片上撕取叶片表皮再制片，包括直接撕取法和煮沸撕取法。刮制法：用刀片刮去一侧表皮和叶肉细胞，只留下需要观察的一侧表皮细胞制片，包括透明胶带刮制法和离析刮制法。印迹：在植物叶片表面涂抹印迹试剂，待试剂风干凝成薄膜后将薄膜取下，或直接用透明胶带粘取，取下的薄膜上就印有表皮细胞的界迹边痕和气孔的形态结构，包括透明胶带粘取法、火棉胶法、白乳胶法、指甲油法、乒乓球的丙酮溶液法、502胶印迹法、琼脂糖印迹法。离析法：主要原理是用化学试剂把细胞间的中层物质溶解，使细胞分离，从而研究细胞的立体形态结构，包括氢氧化钠离析法、次氯酸钠快速离析法、次氯酸钠离析改良法、酸解离法、蜡叶标本离析法、铬酸处理再透明胶带粘取法。三、植物叶片气孔表型参数测量方法（2）活体图像采集30概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数图10-6基恩士VHX2000(a)及其图像(b)(WenlongSong等，2020)植物叶片气孔活体图像采集方法主要有两种。图10-7便携式显微镜及其图像基恩士公司的数码显微镜：镜头的放大倍数有500~5000倍，气孔图像一般在500×和1000×镜头下采集便携式设备采集气孔图像：目前用便携式显微镜采集气孔图像主要有艾尼提显微镜和ProScopeHR2显微镜，艾尼提显微镜的放大位数为400~600倍，ProScopeHR2显微镜的放大位数为400倍。三、植物叶片气孔表型参数测量方法（1）图像预处理采用便携式显微镜采集活体植物叶片气孔时，活体植物叶片不经过任何处理，叶片比较生硬，采集时不能保证完全平整，且便携式显微镜的景深有限，所以采集到的图像中存在清晰的气孔，也有模糊的气孔；另外，有些植物叶片表面存在蜡质，采集到的图像比较模糊。因此测量气孔图像中气孔表型参数之前需对图像进行预处理，主要是去模糊处理。31概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数

三、植物叶片气孔表型参数测量方法32概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数

三、植物叶片气孔表型参数测量方法33概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数图10-8图像预处理效果图(a)原图；(b)去雾效果；(c)去雾+LR算法效果；(d)自适应直方图均衡化；(e)全局直方图均衡化Lucy-Richardson图像复原算法:Lucy-Rechard(LR)图像复原算法是Lucy和Richardson提出的，LR算法假设图像服从Poission分布，采用最大似然法进行估计，是一种基于贝叶斯分析的迭代算法。LR算法对模糊参数的估计具有较高精度，对运动模糊图像复原有良好的效果。图10-8c为模糊气孔图像经过去雾和LR算法后的效果。Lucy-Richardson图像复原算法的Matlab代码如下：img=imread(需要处理的图像);PSF=fspecial(‘gaussian’,5,5);Img_deconvlucy=deconvlucy(img,PSF,5);其中PSF为点扩展函数，img为去模糊之前的RGB图像

Img_deconvlucy为去模糊后的图像。三、植物叶片气孔表型参数测量方法34概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数直方图均衡化算法:直方图均衡化是一种简单有效的图像增强技术，通过改变图像的直方图来改变图像中各像素的灰度，主要用于增强动态范围偏小的图像的对比度。主要有局部均衡化和全局均衡化两种方法。全局均衡化是对图像整体做均衡化处理，放大图像信息量多的灰度区域，提升图像的视觉效果。该方法比较简单，但局部细节效果不明显，且由于整体亮度的提升，也会使局部图像的细节变得模糊（图10-8e所示）。局部均衡化是将均衡化算法分散到图像的局部区域，然后通过局部的运算获得所需的增强效果，适用在深度信息变化复杂而对比度不高的气孔图像处理，但该算法会加大噪声对图像的影响。局部均衡化算法有自适应均衡化（如图10-8d所示）和限制对比度自适应均衡化两种。三、植物叶片气孔表型参数测量方法35概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数用python+opencv2实现全局直方图均衡化和自适应直方图均衡化的代码如下：img=cv2.imreadPlanes=cv2.split(img)Size_O=np.shape(img)Planes_C=np.zeros((size_O[2],size_O[0],size_O[1]))Planes_C_G=np.zeros((size_O[2],size_O[0],size_O[1]))clahe=cv2.createCLAHE(clipLimit=2,tileGridSize=(8,8))forjjinrange(3):Planes_C[jj]=clahe.apply(Planes[jj])

Planes_P_G[jj]=cv2.equalizeHist(Planes[jj])image_C=cv2.merge(Planes_C)image_C_G=cv2.merge(Planes_C_G)#image_C为经过自适应直方图均衡化后的RGB图像；image_C_G为经过全局直方图均衡化后的RGB图像。三、植物叶片气孔表型参数测量方法（2）气孔识别算法叶片气孔图像中，气孔与背景的颜色非常接近，用传统的方法很难识别。目前常用的方法是采用深度学习神经网络识别图像中气孔，包括识别气孔的关闭和打开。采用的深度学习神经网络主要有：FasterRCNN、FPN、YOLO等网络。36概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数Fetter等开发了基于显微图像的不同种类植物叶片气孔自动计数器，采用基于AlexNet的深度卷积神经网络（D-CNN）提取图像特征图，在不考虑图像边缘的气孔时，采用混合训练的模型对测试集气孔的识别率达到98.1%Li等采集黑杨、鸭跖草叶片气孔图像，采用基于VGG16网络的Faster-RCNN识别图像中的气孔及其位置，运用Chan-Vese模型分割出气孔孔隙，对孔隙边界进行椭圆拟合并计算孔隙的长度、宽度、面积、偏心率和开张度，但此方法不适合分割气孔图像比较模糊或气孔开度比较小的孔隙孙壮壮等采用YOLOv3算法对艾尼提便携式显微镜采集的小麦、大麦、水稻和玉米等单子叶作物叶片图像进行气孔识别与计数，该算法对气孔检测的精确率大于0.89，召回率大于0.42，F1值大于0.57，具有较好的模型泛化能力Liang等分别采用卷积神经网络FPN和FasterRCNN识别图像中的气孔个数，实验结果表明FPN比FasterRCNN适合检测TipScope采集的图像中的气孔，FasterRCNN比FPN适合检测ProScope采集的图像中的气孔，另外还采用FasterRCNN识别了ProScope采集的图像中打开气孔和关闭气孔的个数，自动测量值与人工测量值的决定系数(R2)高于0.98。三、植物叶片气孔表型参数测量方法（3）气孔孔隙分割算法目前气孔图像分割的方法主要分为四类：①利用图像处理软件，如借助ImageJ手动标记显微图像上的气孔特征点（如边界，长度，宽度），该方法需要人工干预，耗时耗力，主观性强。②利用经典的图像分割方法，如基于阈值、区域和能量泛函等的分割方法。③通过自制模板或借助椭圆拟合技术。④基于机器学习的方法。37概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数Omasa和Onoe于1984年提出采用阈值法分割气孔，提取孔隙区域，测量孔隙面积、孔隙长度和孔隙宽度，该方法适用于图像中仅有一个气孔的简单情况Toda等利用方向梯度直方图特征(HistogramofOrientedGradient,HOG)识别气孔并裁剪成单个气孔图像，使用卷积神经网络(ConvolutionalNeuralNetwork，CNN)将单个气孔图像分成气孔完全张开、气孔部分张开、气孔关闭等三类，再用阈值分割法对张开气孔图像进行分割并测量孔隙性状参数，该方法需要手动预定义面积、稳定度、长轴长度、质心坐标等参数Sanyal等采用分水岭的方法分割电子扫描图像中的气孔，用Sobel算子提取气孔边缘，此算法对气孔边缘不清晰或有噪声的情况下检测效果不好Liang等采用便携式显微镜采集了玉米叶片气孔图像，并基于改进的CV模型提取打开气孔孔隙的长度、宽度、面积、周长、偏心率、开度6个性状，与人工测量值相比较，6个性状的决定系数（R2）大于0.85三、植物叶片气孔表型参数测量方法在计算机视觉和模式识别等领域中，常用来评价目标识别算法的性能和效果的量化评价指标主要有以下6个。38概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数

三、植物叶片气孔表型参数测量方法39概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数

三、植物叶片气孔表型参数测量方法40概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数

图10-9关闭气孔和孔隙表型参数测量流程图(a)关闭气孔；(b)打开气孔孔隙三、植物叶片气孔表型参数测量方法41概述气孔图像采集图像处理和分析方法量化评价指标气孔表型参数

四、叶片气孔表型在生物学中的应用42试验材料和仪器表型参数和试验结果试验材料：华中农业大学作物表型中心气孔研究团队以野生型‘B73’（敏感）和突变型‘Zmfab1a’（抗旱）为材料，研究了基于玉米叶片气孔表型的干旱响应。‘Zmfab1a’是基于‘B73’的甲基磺酸乙酯突变体，其野生型为‘ZmFAB1A’。试验处理：野生型‘B73’和突变体‘Zmfab1a’都分成两个组：对照组（WW）和干旱（DS）组。2021年5月26日，播种，从6叶期（播种后第27天）开始，干旱组停止浇水，对照组正常浇水，土壤水分含量（SM）采用DELTA-TsoilmoistureKit测定，干旱组从9叶期（播种后第36天）开始正常浇水。图像采集：利用ProScopeHR2和400镜头的显微镜分别在第32天、第35天、第36天和第37天采集玉米植株叶片气孔图像，每天采集6次图像，从上午8点到下午18点，间隔2h。其中干旱组第32天、第35天、第36天和第37天的平均土壤水分含量分别为15%、10%、25%和35%（图10-10a，图10-10b）。四、叶片气孔表型在生物学中的应用43图10-10野生型‘B73’和突变型‘Zmfab1a’在水分(WW)和干旱(DS)条件下的气孔动态响应(Liang等，2022)(a)野生型‘B73’在D32、D35、D36和D37土壤含水量分别为15%、10%、25%和35%时的气孔图像；(b)‘Zmfab1a’突变株在D32、D35、D36和D37土壤含水量分别为15%、10%、25%和35%时的气孔图像；(c)正常浇水和干旱胁迫下，‘B73’和‘Zmfab1a’4个气孔性状(打开气孔比率、孔隙总面积、气孔开度、单个气孔平均面积)4天平均值的t检验结果(**P<0.05;***P<0.01)；(d)‘B73’和‘Zmfab1a’4个性状4天的DS/WW变化曲线。试验材料和仪器表型参数和试验结果四、叶片气孔表型在生物学中的应用44提取表型：经过对气孔图像的处理和分析，提取了打开气孔比率、孔隙总面积、气孔开度、单个气孔平均面积等4个表型参数试验结果：结果表明打开气孔比率和孔隙总面积差异显著(**平均值P<0.05，***平均值P<0.01，图10-10c)，其余2个不显著。从图10-10c可以看出，在正常浇水条件下，‘B73’的打开气孔比率和孔隙总面积均高于‘Zmfab1a’，而在干旱条件下则相反。分别计算‘B73’和‘Zmfab1a’4个性状的干旱组与正常浇水组的比值（图10-10d），结果表明，干旱后再正常浇水，‘Zmfab1a’的打开气孔比率和孔隙总面积均高于‘B73’，这表明‘Zmfab1a’叶片气孔的恢复力高于‘B73’。试验材料和仪器表型参数和试验结果四、推荐阅读1.陈吉玉，冯铃洋，高静，等.光照强度对苗期大豆叶片气孔特性及光合特性的影响[J].中国农业科学，2019，52（21）：3773-3781.本文通过研究苗期大豆叶片在不同光照强度下气孔特征、光合作用以及糖类的变化，揭示大豆叶片在面对荫蔽时的光合作用和气孔特性的响应机制。2.王静涛，宋文龙，李克新，等.依据FasterR-CNN的活体植株叶片气孔检测方法[J].东北林业大学学报，2020，48（2）：4-39.

本文在详细研究叶片气孔显微图像特征的基础上，建立了一个基于FasterR-CNN目标检测框架的气孔识别网络模型，通过优化网络参数，成功实现了对植物叶片显微图像中气孔的准确检测和详尽分析。3.KouwenbergLLR,KurschnerWM,McelwainJC.Stomatalfrequencychangeoveraltitudinalgradients:Prospectsforpaleoaltimetry[J].ReviewsinMineralogy&Geochemistry,2007,66:215-241.

本文对叶片气孔频率随海拔的变化进行了推测，详尽阐述了其他气候变量的影响，以更全面地描述气孔频率在推断古海拔方面的应用。45四、推荐阅读4.MingX.TheoptimalatmosphericCO2concentrationforthegrowthofwinterwheat(Triticumaestivum)[J].JournalofPlantPhysiology,2015,184(20):89-97.

本文以CO2施肥对冬小麦生长效果的最佳大气CO2浓度为基础，阐述了大气中CO2浓度初始增加的情况下，通过CO2施肥效应显著促进了冬小麦的生长。5.SongW,LiJ,LiK,etal.AuautomaticmethodforstomatalporedetectionandmeasurementinMicroscopeimagesofplantleafbasedonaconvolutionalneuralnetworkmodel[J].Forests,2020,11,954.

本文介绍了一种利用深度卷积神经网络的方法，用于植物叶片显微图像中气孔的自动分割和参数计算。该方法采用了一种卷积神经网络模型，即MaskR-CNN（基于区域的卷积神经网络），以提取叶片显微图像中气孔区域的轮廓坐标。46五、思考与讨论复习思考题影响叶片气孔表型的主要环境因素有哪些？简述植物叶片气孔图像采集方法及其优缺点。气孔图像分割的方法有哪几种？简述气孔检测模型的量化评价指标及其意义。开放性讨论气孔表型检测还可以应用在哪些方面？47作物图像处理算法和应用HUAZHONGAGRICULTURALUNIVERSITY48目录CONTENTS第一节图像的一些基本概念第二节图像的基本运算第三节图像预处理第四节图像分割第五节形态学处理第六节彩色图像处理第七节特征提取第八节推荐阅读第九节思考与讨论49一、图像的基本概念

像素的定义邻接和连接连通

像素是数字图像的基本单位，数字图像由像素以行和列的方式排列而成。图像中每个像素都有一个明确的位置和值，其中像素值可以用8位、16位、24位或32位数据表示。

f(x，y)，其中x和y分别代表行、列坐标。数组中的每个元素代表图像中的像素，位于坐标（x，y）处的像素记为p(x，y)。图11-1(a)人眼感知的图像；(b)计算机“眼中”的图像50一、图像的基本概念

像素的定义邻接和连接连通相邻关系只是像素间基于坐标位置（x，y）上的关系，在相邻关系上考虑像素值，可构成像素间的连接关系。像素间在坐标位置相邻，并且像素值满足特定的相似准则（如像素值相等或像素值在定义的同一个灰度值集合内），称为像素连接。根据邻接类型，像素连接可分为4-连接和8-连接。两个连接的像素一定邻接，而两个邻接的像素不一定连接。51图11-2像素间的邻接关系(a)4-邻域；(b)对角邻域；(c)8-邻域一、图像的基本概念

像素的定义邻接和连接连通52如果从像素p到像素q的通路上像素两两连接，则称像素p和像素q连通。根据连通通路采用的连接类型，连通分为4-连通和8-连通。在定义邻接、连接和连通关系时，必需指定邻接类型定义才有意义。二值图像中相邻像素只有像素值相同才存在邻接关系。图(a)中正方形和长方形分别为两个4-连通区域，正方形和长方形组成的部分为一个8-连通区域。图11-3像素间连接和连通关系(a)图像；(b)数字图像二、图像的基本运算53图像的算术运算图像的逻辑运算图像的卷积运算图像处理实际上是对图像数组的各种运算。图像运算以单个像素为基础，在相应的像素对之间执行。因此，运算涉及的图像具有相同的大小，即图像具有相同的行数和列数。在图像处理中，图像相加常用来降低图像中的噪声，图像相减运算则能获得图像之间的差异，可以用于提取图像中的噪声。二、图像的基本运算54图像的算术运算图像的逻辑运算图像的卷积运算图像相乘常用于感兴趣区域（regionofinterest，ROI）操作。ROI操作也称为模板操作。将模板图像与给定图像相乘，可获得ROI区域内的图像信息。图像相除的一个重要应用是阴影校正。用除法将采集图像除以阴影图像，可以校正光照不均匀产生的阴影。二、图像的基本运算55图像的算术运算图像的逻辑运算图像的卷积运算图像的逻辑运算包括补操作(NOT)、与操作(AND)、或操作(OR)和异或操作(XOR)，常被应用于二值图像。图11-8以两颗麦粒的图像举例说明了这些操作。二、图像的基本运算56图像的算术运算图像的逻辑运算图像的卷积运算图像的邻域操作指输出结果图像中任一像素点(x，y)的取值由该像素点及其邻域内的像素点共同决定。图像卷积是图像处理中常用的邻域操作。卷积运算前，需要先定义运算时使用的邻域模板。卷积模板通常也被称为核。卷积运算是对图像中的每个像素，将模板中心与该像素位置重合，计算模板中各元素与模板下各对应的图像像素值相乘，再将所有乘积相加，取该运算结果为中心像素新的像素值。图11-9图像卷积运算说明当边界像素不能完全与模板重叠时，可以采用在运算前增加边界像素的方法（即padding）来确保图像的边缘被处理。三、图像预处理

基于灰度变换的图像增强图像滤波图像的直方图是对图像中所有像素值的统计分布，每个直方图的水平轴对应于图像像素值，垂直轴为图像中像素值等于对应值的像素数量。通常，高对比度图像的直方图分量覆盖像素值范围比较宽，并且分布较均匀。图像增强时，可以参考图像直方图分布选择合适图像增强算法。5758公式：s＝ar＋b式中a和b为常数，该变换对整个像素值范围使用相同的参数，提高的是整张图像的对比度。如果需要降低/提高特定区域的对比度，则需要根据不同的像素值范围进行不同的线性变换，即分段线性变换。又称幂律变换，公式为s＝crγ其中c和γ为正值常数，若c＝1，当γ＝1时，图像不变；γ值小于1，可以增强图像对比度；反之则降低对比度线性变换伽马变换公式：s＝clog(1+r)c为常数，当图像较暗时，该变换可以扩展图像中的暗像素，压缩亮像素，实现图像增强；反对数变换则可以压缩图像中暗像素的值，同时扩展亮像素的值。r和s分别代表变换前后的像素值，灰度变换是把像素值r映射到像素值s的变换，主要包含以下几种变换方式。对数变换缺点：以上数学变换都需要人工指定变换所用映射关系中的参数值三、图像预处理

基于灰度变换的图像增强图像滤波直方图均衡化是通过使图像像素值分布均匀（概率分布相等）来实现图像增强的目的。具体过程如下：记图像中像素值为k的像素出现的概率为：直方图均衡化的目的是使像素值概率分布相等，即：直方图均衡化变换前后图像像素值概率密度函数分别为pr(r)和ps(s)，则:则有直方图均衡化变换形式：离散化表示为：优点：该过程仅基于图像本身的信息，不涉及参数的选择，是全自动化的图像处理操作缺点：对像素值非常集中的区域，直方图将会被拉得非常稀疏，区域内的噪声可能会被放大，而另一些区域的细节则可能会损失。59三、图像预处理

基于灰度变换的图像增强图像滤波三、图像预处理

基于灰度变换的图像增强图像滤波

限制对比度自适应直方图均衡化（CLAHE）是针对直方图均衡化可能造成的问题而提出的一种优化算法。CLAHE算法通过设置直方图分布阈值限制原始像素值经变换函数后的增幅，并利用图像分块计算局部区域直方图，能实现图像增强的同时抑制噪声并保留细节信息。60三、图像预处理61

图像滤波处理通过图像卷积运算执行。滤波器的定义即图像卷积核的定义，卷积核中的元素即为滤波器系数。图像滤波后的像素值为滤波器覆盖内图像像素值与对应滤波器系数的乘积之和。基于灰度变换的图像增强图像滤波图像滤波器平滑滤波器(用于图像模糊处理和降低噪声)锐化滤波器(突出图像中像素值过渡变化)均值滤波器（盒子滤波器）统计排序滤波器高斯滤波器作用效果Roberts滤波器Prewitt滤波器Sobel滤波器Laplace滤波器滤波器系数不同三、图像预处理62均值滤波器：对图像中任意位置（x，y）的像素值用以（x，y）为中心，由滤波器模板确定的邻域中所有像素的平均像素值代替。均值滤波器能将较小的物体与图像背景混合，方便较大物体的检测。统计排序滤波器：包括中值滤波器、最大值滤波器和最小值滤波器等。这类滤波器基于模板覆盖的图像区域内所有像素点像素值的排序，使用排序结果决定滤波器的输出值。基于灰度变换的图像增强图像滤波图11-12(a)均值滤波器处理结果;(b)中值滤波器处理结果;(c)最大值滤波器处理结果;(d)最小值滤波器处理结果三、图像预处理63Roberts滤波器：利用对角线相邻两像素之间像素值的差分，来进行边缘检测。该滤波器能较好地增强正负45°的图像边缘。Prewitt滤波器：采用大小为3×3的模板，用像素点上下左右相邻像素之间的像素值差，实现边缘增强目的。该滤波器对水平方向和垂直方向上的边缘增强作用更明显。基于灰度变换的图像增强图像滤波图11-13Roberts滤波器的两个滤波模板图11-14Prewitt滤波器的两个滤波模板三、图像预处理64Sobel滤波器：在Prewitt滤波器的基础上，增加了权重的概念，加强了中心像素点上下左右4个方向像素的权值。对像素值渐变和噪声较多的图像处理结果比较好。Laplace滤波器：通过比较中心像素点像素值与邻域内其他像素值均值之间的关系，对中心像素的像素值进行调整。只使用一个滤波器，且没有固定的滤波器模板，对滤波器模板的基本要求是所有系数的和为零。不能检测边缘的方向，并且对图像中的噪声比较敏感。基于灰度变换的图像增强图像滤波图11-15Sobel滤波器的两个滤波模板图11-14Prewitt滤波器的两个滤波模板三、图像预处理65

图为利用上述4个图像锐化滤波器进行处理的结果。值得一提的是，没有任何一种图像增强技术普遍适用于所有场合。图像预处理过程中，需要针对给定的任务选择合适的算法，或结合多种图像增强方法，才能达到令人满意的图像增强效果。基于灰度变换的图像增强图像滤波四、图像分割66图像分割是基于机器视觉研究作物表型中图像处理的核心，图像分割能区分图像中感兴趣的目标区域（前景），目的是去除背景或不相关区域。作物图像处理过程中，图像分割常常是困难的任务之一。图像分割算法通常基于像素值的不连续性和相似性。常用的图像分割算法有基于阈值的分割方法、基于轮廓的分割方法、基于区域的分割方法、基于图论的分割方法、基于偏微分方程的分割方法和基于机器学习的分割方法等。四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割67图像阈值化分割是最常用的传统的图像分割方法。阈值分割基于目标区域与背景区域之间的像素值差异，通过选择合适的阈值将像素分为像素值大于阈值和小于阈值两类关键是如何选择合适的阈值固定阈值选择算法有Otsu阈值分割、最大熵阈值分割、最小交叉熵阈值分割、三角法阈值分割、迭代阈值分割、模糊阈值分割、矩不变阈值分割等四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割68四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割69全局二值化，图像中所有的像素都按照同一个阈值T处理。当图像光照不均匀时，分割效果不好；不能很好地处理图像细节局部二值化，将整张图像进行分块，在每个图像分块内按照同一个阈值处理。如果对图像中的每个像素单独进行阈值处理，并且使用的阈值根据像素邻域内像素的像素值分布来确定，即每个像素的阈值可能都不同，这种阈值方式称为局部自适应二值化。虽然计算量大，但是对光照不均匀的图像分割效果更好。四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割70区域生长是从种子点开始，根据一定的生长准则，将与种子性质类似的邻域像素合并到种子点中，生长成为更大区域，最终收敛为目标区域的过程。区域生长开始前，需要指定种子点和生长准则（像素相似性判断准则），算法的具体步骤如下：（1）指定种子点，标记种子点为前景像素。（2）从种子点开始，依据生长准则对种子点的邻域像素进行判断。（3）如果邻域像素满足生长准则时，将该邻域像素点标记为前景像素，并以该像素为新的种子点，重复步骤（2）。（4）当不再有满足相似准则的像素加入区域时，生长停止。四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割71区域生长算法的关键是种子点的选择和像素相似性判断准则四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割72图像中像素值大的位置为山峰和丘陵，像素值小的位置则为山谷。分水岭算法的思想是模拟水淹过山地的过程。分水岭算法的实现有多种方法，常用的实现方法主要分为以下两个步骤。（1）选择标记点（也就是注水点），常用图像中像素值为局部最小值的像素作为标记点；（2）以标记点为起始点，按照分水岭规则，逐渐增加阈值（升高注水面），对标记点周围的邻域像素进行判断，确定像素的归属区域或在像素上设置分割线。四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割73四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割74图论（graphtheory）以图（graph）为研究对象，图是由节点和连接这些节点的边组成的图形。实现图像分割需要断开的所有边，称为“割”。基于图论的分割算法其主要思想就是找到付出代价最小的割，这个割就是图像分割的结果。具体实现过程中通常可以理解为寻找使代价函数（costfunction）最小的最优化问题四、图像分割阈值化分割区域生长分水岭基于图论的分割基于机器学习的图像分割图像分割实际上可以看作是一个分类问题。按照图像分割的目的定义像素类别，如前景和背景两类。对图像中的所有像素进行分类，判断每个像素所属类别，并根据所属类别分别赋予不同的像素值，分类结果即为分割结果。机器学习中常用的分类、聚类、判别等方法，包括K均值、线性判别分析、支持向量机、随机森林和神经网络等算法均可用于图像分割。75五、形态学处理形态学的基本操作常用形态学算法76腐蚀是对图像中的任一像素，只有当对应结构元素覆盖下所有像素均为前景像素（像素值为255/1）时，输出为前景像素；否则，输出为背景像素（像素值为0）。腐蚀会缩小图像中的前景区域，有效去除图像中小的前景（白色）噪点。膨胀与腐蚀相反，对图像中的任一像素，只要对应结构元素覆盖下有一个像素为前景像素，输出为前景像素。膨胀会扩大图像中的前景区域，最简单的应用为桥接裂缝。可以用膨胀进行连接带有断裂的目标物体。开操作对图像进行先腐蚀后膨胀的操作称为开操作。开操作一般会平滑物体的轮廓，可以去掉细小的物体，断开物体间的狭长连接，消除细的毛刺，平滑较大目标物体轮廓的同时不明显改变目标物体的面积。闭操作对图像进行先膨胀后腐蚀的操作称为闭操作。闭操作也具有平滑物理轮廓的作用，通常用于修补较窄的间断或断裂，填充目标物体区域内小的孔洞。五、形态学处理形态学的基本操作常用形态学算法腐蚀膨胀开操作闭操作77腐蚀是对图像中的任一像素，只有当对应结构元素覆盖下所有像素均为前景像素（像素值为255或1）时，输出为前景像素（像素值为255或1）；否则，输出为背景像素（像素值为0）。腐蚀会缩小图像中的前景区域，可以作为形态学滤波器，等效于最小值滤波，能将小于结构元的图像细节从图像中去除，有效去除图像中小的前景（白色）噪点。五、形态学处理形态学的基本操作常用形态学算法腐蚀膨胀开操作闭操作78膨胀与腐蚀相反，对图像中的任一像素，只要对应结构元素覆盖下的像素有一个像素为前景像素，输出为前景像素；只有对应结构元素覆盖下所有像素均为背景像素时，输出才为背景像素。膨胀会扩大图像中的前景区域，等效于最大值滤波，最简单的应用为桥接裂缝。图像分割得到的二值图中带有断裂的目标物体时，可以用膨胀进行连接。能够修复的断裂长度由结构元决定。五、形态学处理形态学的基本操作常用形态学算法腐蚀膨胀开操作闭操作79开操作对图像进行先腐蚀后膨胀的操作称为开操作。开操作一般会平滑物体的轮廓，可以去掉细小的物体，断开物体间的狭长连接，消除细的毛刺，平滑较大目标物体轮廓的同时不明显改变目标物体的面积。闭操作对图像进行先膨胀后腐蚀的操作称为闭操作。闭操作也具有平滑物理轮廓的作用，通常用于修补较窄的间断或断裂，填充目标物体区域内小的孔洞。五、形态学处理形态学的基本操作常用形态学算法边缘提取孔洞填充骨架提取用膨胀后的图像减去腐蚀后的图像，可以获取图像前景物体的边缘。通常边缘提取时，膨胀和腐蚀使用的结构元相同，提取的边缘宽度由结构元尺寸决定。如使用3×3结构元，提取的边缘宽度为1像素。80五、形态学处理形态学的基本操作常用形态学算法边缘提取孔洞填充骨架提取图像中的孔洞定义为由相连接的前景像素边缘包围内的背景区域。前面介绍的闭操作可以用来填充孔洞，但是能填充孔洞的大小受结构元尺寸大小影响。而在实际应用中，图像中的孔洞大小不好确定。特别是如果孔洞较大，采用闭操作对图像进行孔洞填充，需要使用大尺寸结构元，可能会改变前景物体的形状甚至连接情况。因此，需要针对孔洞填充的算法。基于形态学处理的孔洞填充，通过膨胀、NOT和AND操作执行。假设I（x，y）为需要填充的二值图像，孔洞填充具体过程由下列步骤组成。①对图像I（x，y）进行NOT操作，得到图像Ic（x，y）。②创建一张尺寸大小与I（x，y）相同的图像F（x，y），图像F（x，y）在图像边界处的像素值为Ic（x，y），其他位置像素值为0。③对图像F（x，y）使用所有元素都为1的3×3结构元进行膨胀操作后，再与Ic（x，y）进行AND操作。④重复迭代步骤③，直至收敛稳定，即输出结果不再变换。⑤对步骤④得到的结果进行NOT操作。81五、形态学处理形态学的基本操作常用形态学算法边缘提取孔洞填充骨架提取骨架提取，骨架可以理解为目标物体的中轴，宽度通常只有1像素宽，代表了目标物体主要的形状和结构信息，连通性和拓扑结构分布与原始物体形状保持一致。假设物体内部存在至少两个或多个不同位置与物体边缘相切的圆，所有这样圆的圆心集合就是物体的骨架。骨架提取对每个连通区域进行细化，具体操作通过腐蚀和开操作执行，主要包括三步。①对图像进行腐蚀操作。②对腐蚀结果进行开操作。③将腐蚀结果和步骤②得到结果进行图像相减运算。对图像I（x，y）进行连续腐蚀操作，对每次腐蚀结果进行开操作，并与腐蚀结果进行相减运算（即重复以上三个步骤），直至腐蚀后图像中所有像素均为背景像素。对每次腐蚀过程得到的结果进行OR操作，即得到原始图像中前景目标物体的骨架。82六、彩色图像处理与灰度图像相比，彩色图像中包含了颜色信息，能提供更多的信息。彩色图像中每个像素均由红（R）、绿（G）、蓝（B）三个分量组成，像素的颜色由R、G、B三个分量共同决定。因此，彩色图像有R、G、B三个通道。通常，每个分量的值用8位数据表示，彩色图像可表示224种颜色。彩色图像有R、G、B三个通道，每个通道分别对应一张灰度图像。除了RGB分量外，对色彩的描述还可以使用CMY、HSV、HIS、Lab等。用灰度图像处理方法分别处理彩色图像的每一个分量，再对处理结果进行合成，或者将像素的3种颜色分量组成颜色向量，直接对像素的颜色向量进行处理。83六、彩色图像处理针对植物颜色特征，用到的颜色分量：84

六、彩色图像处理85

六、彩色图像处理86

七、特征提取图像特征主要有图像的形状特征、颜色特征、纹理特征和空间特征，包括边缘、亮度、几何形状、纹理、图像变换特征描述子，如主成分（principlecomponent，PC）、矩（moment）、尺度不变特征变换（scale-invariantfeaturetransform，SIFT）、加速稳健特征（speededuprobustfeatures，SURF）、方向梯度直方图（histogramoforientedgradient，HOG），傅里叶描述子（fourierdescriptors）和小波变换（wavelettransform，WT）等。从作物图像中提取的特征大致可以分为两类。一类特征是具有明确生物学定义的农艺性状，如植株高度、叶片角度、籽粒大小等。第二类特征通常是基于数理、图论、计算、统计等概念，定义基于图像特征的新颖数字化表型性状来描绘人眼能感知但是人工测量存在困难的作物特征。87七、特征提取

88凸壳（convexhull）为包含连通区域的最小凸多边形。描述物体所占空间的大小。物体面积与凸壳面积的比例称为solidity，常被用于描述物体的稀疏程度。最小外接矩形/椭圆，指包含连通区域的最小外接矩形/椭圆，通常指面积最小的外接矩形/椭圆。八、推荐阅读GonzalezRC.Digitalimageprocessing[M].karnataka：PearsonEducationIndia，2009.本书专注于当代图像处理所有主流领域的发展，侧重于基础性内容，并具有广泛的应用范围。BradskiG，KaehlerA.LearningOpenCV：computervisionwiththeOpenCVlibrary[M].Cambridge：O’ReilyMedia，2008.本书囊括了计算机视觉的基础概念，包括图像处理的基础知识以及对直方图和轮廓方法的有效处理技术。此外，它还深入探讨了跟踪算法、三维视觉和机器学习所涉及的复杂挑战。Perez-SanzF，NavarroPJ，Egea-CortinesM.Plantphenomics：anoverviewofimageacquisitiontechnologiesandimagedataanalysisalgorithms[J].Gigascience，2017，6（11）：1-18.在本文中，对为获取图像而设计的主要系统进行了概述，深入研究了图像处理中的关键问题，并详细探讨了用于自动从图像中提取数据的算法，其中包括目前正在使用或逐渐出现的算法。89九、思考与讨论90复习思考题作物图像处理的基本步骤是什么？平滑滤波和锐化滤波的差别是什么？实现形态学的基本操作有哪些？试比较不同结构元处理的结果。图像分割算法可以分成几类？每类图像分割算法的特点是什么？各类图像分割算法分别适用于什么场景？实现彩图图像不同分量的提取，观察不同分量的特征是什么？深度学习在表型分析上的应用HUAZHONGAGRICULTURALUNIVERSITY91目录CONTENTS第一节卷积神经网络的基本概念第二节基于卷积神经网络的作物图像分类第三节基于卷积神经网络的作物图像分割第四节

基于卷积神经网络的作物目标检测与计数第五节推荐阅读第六节思考与讨论92一、卷积神经网络的基本概念

卷积神经网络（convolutional

neuralnetwork，CNN）是应用最为广泛的深度学习模型之一。在大规模有标签训练样本的监督学习下，CNN可直接以原始二维图像作为输入，模拟人脑分层处理信息机制，以自动学习与表达的方式，从原始像素开始逐层学习图像特征，在挖掘高表达能力图像特征与图像分类识别上具有显著优势。

1989年，LeCun提出LeNet，该网络包含两个卷积层和两个全连接层，共有6万多个参数，并首次提出“卷积”这一新概念，卷积神经网络因此得名。

近年来，随着硬件设备GPU的不断进步，计算机的大规模计算能力显著增强，训练模型所需的时间大幅降低。同时，大数据的获取越来越容易，为卷积神经网络提供了数据支持。93卷积神经网络定义卷积神经网络组成卷积层激活函数层池化层全连接层一、卷积神经网络的基本概念

卷积神经网络是受到了生物学感受野机制的启发而提出。在生物学中，感受野（receptivefield）机制指的是听觉、视觉等复杂神经系统中，一些神经元只响应其所控制的刺激区域内的输入信号。

一个典型的卷积神经网络，通常由卷积层（convolutionlayer）、激活函数层（activationfunctionlayer）、池化层（poolinglayer）和全连接层（fullyconnectedlayer)等交替堆叠而成。94卷积神经网络定义卷积神经网络组成卷积层激活函数层池化层全连接层一、卷积神经网络的基本概念

局部连接：卷积层中的神经元并不与前一层中所有神经元相连，而是仅与一个局部区域内的神经元建立连接。

权重共享：卷积核中的参数对于所有的神经元都相同。局部连接及权重共享这两个特性使得卷积神经网络的参数大大减少。卷积层的主要作用是从图像中抽取特征，这些特征是通过反向传播算法不断优化卷积参数而得到。卷积层工作时，通过卷积核在输入图像上进行滑动，对每个覆盖区域执行卷积操作，提取出该区域的特征。不同卷积核相当于不同的特征提取器，从图像中捕捉不同的特征模式。可在每一层部署多个卷积核，以增强卷积神经网络的特征表示能力。

卷积层的性能与输出特征图的维度主要受到三个核心参数的影响：卷积核尺寸(filtersize)、步长（stride）和边界填充（padding）。95卷积神经网络定义卷积神经网络组成卷积层激活函数层池化层全连接层一、卷积神经网络的基本概念卷积运算提取的是线性特征，要获取非线性特征，需要引入非线性变换，激活函数层即可实现非线性变换。

激活函数的主要作用是将卷积层的输出（即特征图上的像素值）映射到一个非线性空间内。激活函数通常需要具备以下特点：单调、非线性、连续可微等。使用较为广泛的激活函数有tanh函数、Sigmoid函数及ReLU函数等。96卷积神经网络定义卷积神经网络组成卷积层激活函数层池化层全连接层一、卷积神经网络的基本概念池化层，亦被称为下采样层，其主要功能在于特征的选择与压缩，可减少特征数量，从而有效缩减模型参数量。

池化一般有两种，均值池化与最大池化。最大池化：在filter区域中找最大值，将其作为该区域的表示。均值池化：取filter区域内的平均值，将其作为该区域的表示。池化层不仅可显著地降低神经元的数量，还增强了模型对输入数据微小变化的鲁棒性，并增大了感受野。池化层常选用2x2的窗口（或称为filter）作为滑动窗口，不重叠地遍历整个特征图。在每个窗口区域内，采用最大池化或平均池化策略来选择最大值或平均值作为该区域的代表，进行采样处理。97卷积神经网络定义卷积神经网络组成卷积层激活函数层池化层全连接层一、卷积神经网络的基本概念全连接层一般置于卷积神经网络末端，将特征图扁平化为特征向量，进行非线性组合后传递给输出层。

全连接层的每一个神经元都与前一层的所有神经元相连接。针对图像分类任务，输出层会利用Logistic函数或Softmax函数来计算类别概率，确定图像所属类别。当前，卷积神经网络一个明显的设计趋势是采用更深的网络层次及更小的卷积核（如1×1和3×3）。同时，由于卷积操作的日益灵活多样（如不同步长的应用等），传统池化层的作用逐渐减弱，池化层的应用正逐步减少，趋向于构建全卷积网络架构。98卷积神经网络定义卷积神经网络组成卷积层激活函数层池化层全连接层二、基于卷积神经网络的作物图像分类在作物图像检测识别中，经常会遇到阴影、强曝光等情况，因此需要对图像进行预处理，使图像识别结果尽可能不被图像亮度等无关因素影响。卷积神经网络的训练需要大量的有标签样本。通过数据增强，人为扩大训练图像数量，有助于改进模型性能，提高模型泛化能力。传统的数据增强方法：旋转、镜像、翻转、平移、缩放、随机变换等基于生成对抗网络的数据增强法将CNN和LSTM相结合，可以同时利用图像的空间信息及时序信息，提高植物分类的准确性。99作物图像分类基本概念建模方法作物图像分类常用评价指标作物图像分类应用实例二、基于卷积神经网络的作物图像分类准确率：分类器正确判别的样本数量占总样本数量的比例。精确率：分类器判定为正样本的实例中，真正为正样本的比例，用于衡量分类器识别正样本的准确性。召回率：分类器正确判定的正样本数量占所有实际正样本数量的比例，它反映了分类器识别出所有正样本的能力。F值：综合考虑了精确率和召回率，是衡量精确率和召回率之间平衡的一个指标。F值越高，表示分类效果越好。平均精确率：精确率-召回率曲线上精确率对召回率的积分值，AP值越大，分类器对某个类别的识别效果越好。平均精确率均值：所有类别平均精确率的平均值，用于衡量分类器对所有类别的整体检测效果。100作物图像分类基本概念建模方法作物图像分类常用评价指标作物图像分类应用实例二、基于卷积神经网络的作物图像分类基于卷积神经网络的作物病虫害分类Ferentinos利用不同深度学习算法模型对作物病害开放数据集进行分类诊断，该数据集包含25种作物的58种病害图像数据，研究表明识别精度达到了99.53%。Nazki等通过生成对抗网络模型在健康叶片图像-虫害叶片图像间进行风格迁移，生成大量样本图像，大大提高了分类准确率。在病虫害检测时，同一叶片上可能会出现多种病虫害，可通过滑动窗口在原始高分辨大图上滑动，生成可反映病虫害概率的热图。这种方法的优势在于保留了原始高分辨图像的空间分辨率，同时可提供空间信息。高光谱图像用于病虫害检测，可通过3D卷积神经网络，综合利用空间信息和光谱波长信息，达到更准确的病虫害检测，且有望用于症状未显现出来时的病虫害早期检测。101作物图像分类基本概念建模方法作物图像分类常用评价指标

作物图像分类应用实例二、基于卷积神经网络的作物图像分类融合CNN和LSTM的作物品种分类Namin等结合CNN和LSTM进行作物品种识别。时序图像序列中的每一个时间点的图像先由CNN提取一个固定长度的深度视觉特征向量。时序图像序列对应的特征向量时间序列接着被输入LSTM模块，由LSTM学习特征间的时序模式并进行品种识别。经测试，CNN结合LSTM的方法在拟南芥品种识别上的性能显著优于传统人工特征提取+LSTM或单独使用CNN。102作物图像分类基本概念建模方法作物图像分类常用评价指标

作物图像分类应用实例三、基于卷积神经网络的作物图像分割103图像语义分割技术作物图像分割评价指标作物图像分割应用实例图像语义分割是一种图像分割技术，根据图像中每个像素点所蕴含的语义信息来进行分类。该技术的主要任务是将图像划分为若干个具有实际意义的目标区域，并为这些区域分配相应的类别标签。实质上，语义分割是对图像中的每一个像素点进行类别判定，并为其标注所属类别。传统图像分割算法主要可以分为基于阈值、边缘、区域、聚类以及图论的分割等几大类。然而，这些方法大多只能提取图像的低级语义信息，如大小、纹理、颜色和形状，应对复杂环境的