农业人工智能 - 第13章 智慧农业

智慧农业

计算机视觉ComputerVision目录什么是计算机视觉01二维图像的形成02图像特征与分类03三维世界04多模态模型05TableofContents什么是计算机视觉？0101什么是计算机视觉构建一台能够“看到”三维世界的机器投影计算机视觉图片像素矩阵目标：将光转化为信息（几何信息、语义信息、动态信息……）01计算机视觉中的经典问题计算机视觉的“三个R”——JitendraMalikRecognitionReconstructionRe-organization01计算机视觉任务分类输入图片分类&检测语义分割Recognition深度估计表面法线估计三维几何对应ReconstructionReorganization图像生成全景分割01计算机视觉任务分类图像分类图像分割图像生成图像检测3D生成二维图像的形成0202针孔相机模型图像平面小孔真实物体焦距02图像的形成物体照明源成像系统（内部）成像平面输出图片像素02图像的亮度与颜色灰度强度颜色03图像特征与分类03识别任务物体类别：y1,...,yn图片：x

数据集：{xi,yi}n任务：f:x→yi同一类别的物体看起来不同相同的物体从不同角度看起来不同不同类别的物体可能看起来相似透视压缩观察视角遮挡变形03识别任务：面临的挑战03机器学习03线性回归03深度学习03多层感知机输入层中间隐藏层输出层03卷积神经网络三维世界0404三维世界：多角度视图第一张照片中的点对应到第二张照片中的哪个点？04双目立体视觉视差即从有一定距离的两个点上观察同一个目标所产生的位置差异通过测量视差，我们能了解有关场景深度的信息04从移动摄像头获取三维信息时间：T时间：T+1光流（即图像中物体的运动）反映了摄像机与物体之间的相对运动。摄像机平移时，图像中的物体会相对移动，近处的物体移动得更快，远处的物体移动得较慢。想象你用摄像机从左到右平移看外面的景物。远处的建筑几乎不动，而近处的树木会快速移动。通过这种关系，我们可以推测物体的大致深度。近的物体变化大，远的物体变化小，这种“运动视差”帮助我们推测出场景中物体的相对距离。04从移动摄像头获取三维信息扩展重点（FocusofExpansion，FOE）是指在摄像头平移过程中，图像中所有光流的方向指向的一个点。在这个点上，光流的速度为零，因为在该点上，物体没有相对运动。扩展重点帮助我们理解摄像机的移动方向，而物体离摄像机的距离决定了它在图像中产生的光流的大小。通过摄像机的平移，我们能够观察到物体在图像中的运动（光流）。这些运动的大小和方向反映了物体的深度信息。摄像机平移越大，物体的光流差异越明显，帮助我们推测物体距离摄像机的远近，也即三维中的深度信息。04从单一视角获取三维信息如果我们只有一张照片，你能从中获取到深度信息吗？04从单一视角获取三维信息人比栏杆近（遮挡）有的树比别的树近（近大远小）......除此之外，光照，纹理也常常是获取深度信息的重要依据多模态模型0505多模态数据图像数据（如番茄的外观颜色和形状）土壤湿度空气温度农事操作记录log多模态在计算机视觉领域扮演着至关重要的角色，它扩展了单一视觉模态的局限性，通过整合多种类型的数据来提升系统的理解能力和应用范围。05建立图像与文字的桥梁胡萝卜，西红柿构建标签系统为图片添加相关关键词视觉问答系统05应用实例：建立农作物诊断视觉问答系统IntegratingdeeplearningforvisualquestionansweringinAgriculturalDiseaseDiagnostics:CaseStudyofWheatRust05从多视角重建在农田监测和作物建模中，多视角图像重建技术能够整合来自无人机、卫星等不同角度拍摄的图像，构建出高精度的三维农田模型。也可以利用监测数据用来建模作物的生长情况05单视图几何信息提取从摄像机出发，给出图像中每个像素到其对应场景深度的距离，从而获得深度图。单视角几何信息提取技术在农业中的应用聚焦于从单一图像中获取物体的尺寸、形状等关键信息。这对于作物监测很有帮助。05图像生成配对图像转换任务中，输入数据包含航拍图像与其对应的地图切片，目标是训练一个网络，使其能够根据航空图像生成地图切片。训练两个转换网络，并加入循环一致性约束。第