机器人传感器课件

机器人传感器第七章机器人传感器第一节机器人传感器功能与分类第二节机器人视觉传感器1、人眼与视觉2、机器人视觉方法3、机器人图像处理技术4、机器人立体视觉第三节机器人触觉传感器1、接触觉传感器2、压觉传感器3、力觉传感器4、滑觉传感器5、仿生皮肤第四节机器人接近觉传感器1、电磁式接近觉传感器2、光电式接近觉传感器3、超声波接近觉传感器机器人传感器第七章第一节机器人1第一节机器人传感器分类PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity机器人分类机器人传感器的特点传感器的信号获取与处理过程机器人传感器的分类第一节机器人传感器分类PrinciplesandA2第一节机器人传感器功能与分类机器人是由计算机控制的能模拟人的感觉、手工操纵和具有自动行走能力而又足以完成有效工作的装置。机器人分类：第一代机器人：进行程式化操作的机器，完成一系列预置动作。未采用传感器，不能适应外界环境的变化。第二代机器人：采用传感器，具有初步感觉和反馈控制能力，能进行识别、选取和判断。具有初步智能。第三代机器人：更高一级智能机器，“电脑化”是其重要标志。Robot是捷克语“奴工”的意思，捷克剧作家卡鲁·卡帕克1920年一部剧本中的“人物”，一种具有人类特征的机器。第一节机器人传感器功能与分类机器人是由计算机控制的能模拟3对敏感材料的柔性和功能有特定要求。机器人传感器的特点获取的信息实时地用于控制，用以决定机器人的行动。有别于其它种类的传感器，机器人传感器信息收集能力强：既能获取信息，又紧随环境状态进行大幅度变化。机器人传感器既包括传感器本身，也包含传感器的信号处理。它由获取信息和处理信息两部分有机地构成。对敏感材料的柔性和功能有特定要求。机器人传感器的特点获取的信4传感器的信号获取与处理过程信号获取→信号处理→信号提取→数据解释等几个层次。并非所有传感器的信号处理都要经过这四个全过程。如视觉和高密度压觉传感器一般需经过③和④的的过程。位置、接近觉和压觉等传感器仅经过②过程。接触觉传感器多半是经过①过程。传感器的信号获取与处理过程信号获取→信号处理→信号提取→数据5内部检测传感器传感器的分类：以机器人本身的坐标轴来确定其位置，用来感知运动学参数。通过内部检测传感器，机器人可以了解自己的工作状态，调整和控制自己按照一定的位置、速度、加速度、压力和轨迹等进行工作。外部检测传感器用于获取周围环境或者目标物状态特征的信息，是机器人与周围进行交互工作的信息通道。其功能是让机器人对环境有自校正和自适应能力，很好地执行工作。接近觉、视觉、听觉、嗅觉、味觉等传感器。内部检测传感器传感器的分类：以机器人本身的坐标轴来确定其位置6机器人传感器的分类及应用机器人传感器的分类及应用7PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第二节机器人视觉传感器机器人视觉方法人眼与视觉机器人图像处理技术机器人立体视觉PrinciplesandApplicationsof8一、人眼与视觉人的80%以上的外界信息通过视觉所获取。对于机器人来说，视觉传感器也是最重要的传感器。人眼视觉是立体的，就是说能将视场中的物体区别出远近。第二节机器人视觉传感器1、人眼的结构眼球壁外层（角膜、巩膜）中层（虹膜、睫状体、脉络膜）内层（视网膜）屈光系统感光系统角膜晶状体房水睫状肌视网膜视神经视中枢黄斑一、人眼与视觉人的80%以上的外界信息通过视觉所获取9单眼成像单眼成像10黄斑Maculalutea(直径约2mm)双眼注视无穷远的点，无穷远点与双目的夹角θ=0，无穷远的点经水晶体成的像都落在左右眼的黄斑处；=0天空远景，处于无穷远双眼成像视网膜上视觉最敏锐的部位视乳头(视盘)(直径约1．5mm)没有视细胞，在视野中是生理盲点黄斑双眼注视无穷远的点，无穷远点与双目的夹角θ=0，无穷远11人的双眼从不同的方位获取同一景物的信息，各自得到关于景物的二维图像，这左右两幅图像有着微小的区别，这种区别就叫做视差。人的双眼从不同的方位获取同一景物的信息，各自得到关于景物的二12人脑通过对左右两幅图像视差的分析和处理，可以得到关于景物的光亮度、形状、色彩、空间分布等等信息。人脑通过对左右两幅图像视差的分析和处理，可以得到关于景物的光13双眼注视有限距离点B，B在视网膜上的像也落在左右眼的黄斑位置B1和Br。2、人眼的立体视觉B点相对于左右眼的两视线的夹角O1BOr称作视差角，用θb表示。为了观看物点B，眼睛将偏转一定量的会聚角φ。B相对于人眼的距离Zb为：

Zb=b/tgφ A点的像分别为A1和Ar，设线视差分别为Δl、Δr。θb=2φ双眼注视有限距离点B，B在视网膜上的像也落在左右眼的黄斑位置14根据A点的线视差计算得：线视差是描述物点在空间中位置的重要参数，在机器人立体视觉中，视差也是一个十分重要的判定景物空间分布的因素之一。根据A点的线视差计算得：线视差是描述物点在空间中位置的重要参151、激光扫描法二、机器人视觉方法在OlenA’D中综合上式计算得tgα=x/Lf在AOlenM’中OM=(Z+Ll)

×tgα=x×(Z+Ll)/Lf在AOlaserM中MOlaser=Z×ctgβOM+MOlaser=b另外A点的另外两个坐标值Z=(bLf–xLl)/(x+Lftgβ)X=x(btgβ+Ll)/(xtgβ+Lf)Y=y(btgβ+Ll)/(xtgβ+Lf)1、激光扫描法二、机器人视觉方法在OlenA’D中综合上式16机械扫描装置把激光光束投向景物空间，按照一定的顺序对景物空间进行二维扫描，即可得到景物空间各点的距离信息。如果用扇形光束代替点光束，只需进行一维扫瞄，就能快速测定CCD图像画面内全部点的距离信息。机械扫描装置把激光光束投向景物空间，按照一定的顺序对景物空间172、立体摄影法物点A和B两视线的夹角O1AO2称作视差角：点A和B视差角的差值Δθab称作立体视差：Δθab=θa-θbθa=2b/Za 2b——CCD摄像机光轴间的距离视差角的大小表征了物点的远近，图中：θa>θb，物点A较B近。立体视差Δθab的正负也能表征物点的远近。在CCD成像面上，物体的角视差实际上是以线视差来表现的。2、立体摄影法物点A和B两视线的夹角O1AO2称作视差角18设坐标A点的线视差ΔXaAl(Xal、Yal、Zal)Ar(Xar、Yar、Zar)Bl(Xal、Yal、Zal)Br(Xar、Yar、Zar)设坐标A点的线视差ΔXaAl(Xal、19A、B两点的线视差ΔXa、ΔXb物点A和物点B之间的相对线视差ΔXab为由二维图像中的线视差和相对线视差，可以推算出空间物点的三维信息。A、B两点的线视差ΔXa、ΔXb物点A和物点B之间的相20三、机器人图像处理技术机器人图像第一步是初级处理，内容主要有：从灰度图中寻找图像边缘和分割图像通过图像的分割，机器人可以区分出所关心的特定的对象（即整个画面中的一部分图像）。为了识别特征物体，常用具有标准姿势的物体图像与所拍摄的物体图像相比较。同样出于对姿态调整的考虑，需要计算图像两个垂直的主惯性轴的方向。简单的图像分割方法有阈值处理和边缘检测两种。求取图像重心位置提取图像的两个垂直的主惯性轴视觉获取的任意姿态物体图像，需要进行姿态调整，其第一步就是计算出物体的重心点坐标。三、机器人图像处理技术机器人图像第一步是初级处理，内容主要有21对图像的初级处理，可以识别物体的形状特征、区分出物体在背景中所处的的位置。具有图像初级处理能力的机器人往往能满足在工业应用中的要求。对图像的初级处理，可以识别物体的形状特征、区分出物体在背景中221、图像的分割算法根据适当的灰度阈值th将图像的转变成二值化图像，便于图像分割。1）阈值处理法阈值的获得途径：二维图像函数f（x，y），假设其二值化之后的图像函数为：ft（x，y），则：1）由图像灰度分布概率，用最小二乘法准确计算2）实验法1、图像的分割算法根据适当的灰度阈值th将图像的转变成二23双峰值特性的图像物体背景1(1)2(2)——期望值——协方差假定其灰度分布服从正态分布，其概率密度函数联合概率密度：P1、P2为两个峰下面的面积，且：P1+P2

=1双峰值特性的图像物体背景1(1)2(2)——期24以阈值th分割图像thE1(th)E2(th)背景当物体的概率：物体当背景的概率：物体背景总误差概率：E(th

)=P2E1

(th)+P1

E2(th

)p2(t)p1(t)关于

t微分，取dE(t)

/dt=0，得：P2p2

(th

)=P1p1(th)以阈值th分割图像thE1(th)E2(th)背景当物体的25若P1=P2，则最佳阈值

t为：将p2(t)

和p1(t)

代入上式，得：Ath

2

+Bth+C=0A=σ12+σ22B=2(μ1σ22-μ2σ12)C=μ22σ12

-μ12σ22

+2σ12σ22

ln(σ2P1/σ1P2)如果σ12

=σ22

=σ2

，则：若P1=P2，则最佳阈值t为：将p2(t)26thth272）微分边缘检测法：2）微分边缘检测法：282）微分边缘检测法：xxx2）微分边缘检测法：xxx292）微分边缘检测法：设图像f（x，y）原坐标（x，y）旋转θ角，新坐标为（x’，y’）两者的关系：

x=x'cosθ–y'sinθy=x'sinθ–y'cosθ图像函数f（x，y）沿x、y和x’、y’方向的灰度变化率为：2）微分边缘检测法：设图像f（x，y）原坐标（x，y）旋转30上式对θ微分，并令其为0梯度的大小灰度变化最陡的方向在数字图像中，用差分代替微分图像的梯度矢量的大小：图像的梯度矢量的方向：例如Sobel算子x方向y方向上式对θ微分，并令其为0梯度的大小灰度变化最陡的方向在数字图312、重心点及惯性矩计算图像灰度函数f(i，j)的重心坐标xc、ycm——象素最大列数n——象素最大行数图像灰度值总和x(i)y(j)xc、ycf(i，j)2、重心点及惯性矩计算图像灰度函数f(i，j)的重心坐32图像的惯性矩Ix、Iy、Ixy图像的主惯性矩I’x、I’y、I’xy偏角φ：图像的惯性矩Ix、Iy、Ixy图像的主惯性矩I’x、I’y、33原坐标系和新坐标系的变换关系x2=[(x0

–xc

)cosφ-(

y0–yc

)sinφ]+xcy2

=[(x0

–xc

)sinφ-(

y0–yc

)cosφ]+yc比对图像原始图像图像调整原坐标系和新坐标系的变换关系x2=[(x0–xc34StereovisionofMarsRoverStereovisionofMarsRover35StereoGraphicsdevelopedthespecial3-DglassescalledCrystalEyes

StereoGraphicsdevelopedthes36PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第三节机器人触觉传感器接触觉传感器压觉传感器力觉传感器滑觉传感器仿生皮肤PrinciplesandApplicationsof37一、接触觉传感器第三节机器人触觉传感器机械人触觉可分为：接触觉、压觉、力觉、滑觉等几种。用来检测机器人的某些部位与外界物体接触与否，例如感受是否抓住零件，是否接触地面等。一、接触觉传感器第三节机器人触觉传感器机械人触觉可分为：38机器人传感器课件39机器人传感器课件40模拟开关A/D转换计算机_+_+_+_+阵列扫描电路模拟开关A/D转换计算机_+_+_+_+阵列扫描电路41二、压觉传感器用来检测机器人手指的握持面上承受的压力大小和分布。特点：小型轻便、响应快、阵列密度高、在线性好、可靠性高等。常用的敏感材料：导电橡胶或塑料、偏聚二氟乙烯薄膜（PVF2）、应变片阵列、磁弹性式压磁传感器阵列（如针式差动变压器、霍尔元件）、光电传感器阵列等。二、压觉传感器用来检测机器人手指的握持面上承42Vo=Vp

[(Cx-CR)/CF]=Vp(ΔC/CF)

Vo=Vp[(Cx-CR)/CF]43三、力觉传感器腕力传感器发展趋势：用于感知机器人的指、肢和关节等在工作和运动中所受力的大小和方向，从而决定如何运动、采用什么姿势、以及推测对象物体的重量等。特点是感知多维的作用力。间接输出型腕力传感器将传感器本身设计的简单化，经过复杂的计算求出传递矩阵，使用时要经过矩阵运算才能提取出六个力分量。直接输出型腕力传感器传感器结构比较复杂，简单的计算就能提取六个分量，甚至可以直接得到六个分量。三、力觉传感器腕力传感器发展趋势：用于感知机44材料：铝筒式六自由度腕力传感器X、Y、Z方向：力——Fx、Fy、Fz转矩——Mx、My、MzFx=K1（Py++Py-

）Fy=K2（Px++Px-）Fz=K3（Qx++Qx-+Qy++Qy-） Mx=K4（Qy+-Qy-）My=K5（-Qx++Qx-）Mz=K6（Px+-Px--Py++Py-）K1、K2、K3、K4、K5、K6为比例系数，与各根梁所贴应变片的应变灵敏度有关。XYZ材料：铝筒式六自由度腕力传感器X、Y、Z方向：Fx=K145材料：铝挠性件十字梁式腕力传感器梁侧面贴应变片手臂尼龙球（易于伸缩）相对面上的两片应变片构成一组半桥，共8只应变计，输出参数fx1、fx3、fy1、fy2、fy3、fy4、fz2、fz4X、Y、Z的力：Fx、Fy、Fz力矩：Mx、My、Mz： Fx=-fx1

-fx3 Fy=-fy1-fy2

-fy3-fy4 Fz=-fz2-fz4 Mx=afz2+afz4

+bfy1-bfy3 My=-bfx1+bfz4

+bfz2–bfz4 Mx=-afx1–afx3

–bfy2+bfy4

材料：铝挠性件十字梁式腕力传感器梁侧面贴应变片手臂尼龙球相对46四、滑觉传感器用于机器人感知手指与物体接触面之间相对运动（滑动）的大小和方向，从而确定最佳大小的把握力，以保证既能握住物体不产生滑动，又不至于因用力过大而使物体发生变形或被损坏。四、滑觉传感器用于机器人感知手指与物体接触面47四、仿生皮肤聚偏二氟乙烯（PVDF）触觉传感器PVDF薄膜与物体有相对滑移时，指纹或凸点变形，引起诱导振动，发生应力变化，产生电荷。表皮信号输出PVDF（厚几十微米）橡胶基底外壳四、仿生皮肤聚偏二氟乙烯（PVDF）触觉传感器PVDF薄膜与48触、滑、温觉传感器上层为两面镀银的整块PVDF，两面引出电极，可以获取温觉、触觉信号。橡胶基底下层PVDF隔热层加热层上层PVDF橡胶表层下层PVDF镀有条状电极，引线由导电胶粘接后引出，可以获取压觉和滑觉信号。上下两层PVDF之间，有电加热层和柔性隔热层，隔离成两个不同的物理测量空间。触、滑、温觉传感器上层为两面镀银的整块PVDF，两面引出电极49手爪表面开始接触物体时，接触阶跃性应力使PVDF产生电荷，呈现单方向脉冲信号特征。触觉Vt手爪表面开始接触物体时，接触阶跃性应力使PVDF产生电荷，呈50Vt物体相对于表层滑动时，摩擦力变化引起传感器表层的诱导振动，使PVDF产生交变信号。滑觉Vt物体相对于表层滑动时，摩擦力变化引起传感器表层的诱导振动51温觉：将上层PVDF保持在55℃左右，当与物体接触时，物体与表皮的温差形成热能传递，使PVDF极化面产生相应数量的电荷输出。Vt55℃温觉：将上层PVDF保持在55℃左右，当与物体接触时，物体与52压电效应产生的电荷是x、y、z三方向的轴向应力和切向应力产生电荷的总和，所以它能感觉出三维应力，从而判断触觉、滑觉的大小及应力区域。PVDF纤维丝(几十微米)高分子充水薄膜微球由于PVDF薄膜丝纤维束有强的热释电效应，环境温度的变化使极间产生电荷，从而产生了温觉。压电效应产生的电荷是x、y、z三方向的轴向应力和切向应力产生53信号的检出与重构——PVDF微单元~放大器RiQ(t)漏电流i信号的检出与重构~放大器RiQ(t)漏电流i54控制电路数据采集电路计算机A/D转换器上层PVDF下层PVDFMOSFET输入型高阻抗、低失调、低漂移高精度放大器云母电容复位开关使每次读值从同一起点开始控制电路数据采集电路计算机A/D转换器上层PVDF下层PVD55PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第四节机器人接近觉传感器电磁式接近觉传感器光电式接近觉传感器超声波接近觉传感器PrinciplesandApplicationsof56

第四节机器人接近觉传感器机械人接近觉是介于触觉和视觉之间的感觉，感应的距离范围一般为几毫米至几十毫米，用于感知一定距离内场景的状况。常见的接近觉传感器有电磁式、光电式、电容式、气动式、超声式、红外线、微波式等多种类型。第四节机器人接近觉传感器机械人接近觉是介57一、电磁式接近觉传感器精度比较高、响应速度快、受环境影响小、结构简单、可以在高温下工作。物体（金属）检测线圈激励线圈检测线圈物体内产生流线闭合的感应电流（即涡流）。涡流大小与对象物的距离等有关。焊接机器人多半使用涡流传感器来跟踪焊接缝，在200℃下工作，距离0~8mm时，误差小于4%。涡流式一、电磁式接近觉传感器精度比较高、响应速度快、受环境影响小、58用永久磁铁和紧贴磁铁的圆柱形线圈构成线圈永久磁铁外壳树脂磁铁式用永久磁铁和紧贴磁铁的圆柱形线圈构成线圈永久磁铁外壳树脂磁59在远离物体时，永久磁铁的磁力线对称分布在远离物体时，永久磁铁的磁力线对称分布60有导磁金属（钢或铁等）接近时，磁力线分布发生变化。用霍尔元件或集成磁敏传感器代替线圈，可感知近距离的静止物体的接近情况。有导磁金属（钢或铁等）接近时，磁力线分布发生变化。用霍尔元件61这种接近觉传感器所能感知的距离很近，对于小于几分之一毫米的近距离运动物体十分灵敏。电流输出急剧变化呈非线性关系只能感知金属物体，无法感知非金属物体。这种接近觉传感器所能感知的距离很近，对于小于几分之一毫米的近62二、光电式接近觉传感器物体表面特性特别是表面反射率等对灵敏度有较大影响Ipθ发射透镜接收透镜灵敏区域光敏二极管发光二极管不同物体的光反射率不同，无法测量物体远近，只感知有无物体接近θ越小，敏感距离越远二、光电式接近觉传感器物体表面特性特别是表面反射率等对灵敏度63264837+5V+12V+12V+-+-+-+-VoutCD4066光发射与接收电路5551KHz方波功率放大解调264837+5V+12V+12V+-+-+-+-VoutC64机器人传感器课件65三、超声波接近觉传感器超声波换能器的构造与特性（双向声电器件）。在接近觉传感器中，可以用一只超声波换能器兼作发射和接收器件，也可以用两只超声波换能器，分别发射和接收超声波。超声波换能器兼作发射和接收器的话，由于压电陶瓷机械振荡的衰减需要一定时间，换能器对于很近的物体无法探测。必然存在一个盲区，大小为脉冲延时法：电路简单，但受到超声波传播速度以及电子器件工作速度的限制，脉冲延时法感知的距离不可能很近。相位调制法：电路复杂，但可以根据需要选择适当的调制波长，实现近距离高精度探测。三、超声波接近觉传感器超声波换能器的构造与特性（双向声电器件66设超声波传播速度为v，则物体距离传感器的距离l为：τtt发射波接收波脉冲延时法延时时间

v

=20.067[T(1+0.3192e/p)]1/2(m/s)≈23.05(T)1/2超声波传播速度为：设超声波传播速度为v，则物体距离传感器的距离l为：τtt发射67相位调制法λ/2发射波接收波tt物体相对于传感器的距离——整数部分1234……n相位调制法λ/2发射波接收波tt物体相对于传感器的距离——整68物体相对于传感器的距离——余数部分λ/2发射波接收波Δφtt物体相对于传感器的距离——余数部分λ/2发射波接收波Δφtt69本章结束再见本章结束70机器人传感器课件71机器人传感器课件72机器人传感器课件73左眼图像左眼图像74右眼图像右眼图像75Vison-guidedrobotsplaceheavyengines从货箱中抓起机器从流水线提起机器装箱Vison-guidedrobotsplaceheav76图像灰度与直方图图像灰度与直方图77刚性工具通过六轴腕力传感器与手臂连接，工具在刚体表面转动，形成特定的轨迹刚性工具通过六轴腕力传感器与手臂连接，工具在78聚偏二氟乙烯（PVDF）是具有压电效应、热释电效应的高分子材料。工作温度范围宽、体电阻高、重量轻、柔顺性好、机械强度高、频响宽，很容易用热成形的办法加工成薄膜、细管或微粒。利用PVDF可以制成接触觉、滑觉、温觉等传感器，是研制仿生皮肤的主要材料。聚偏二氟乙烯聚偏二氟乙烯（PVDF）是具有压电效应、热释电效应的高分子材79发光二极管发光二极管80光敏管光敏管81机器人传感器第七章机器人传感器第一节机器人传感器功能与分类第二节机器人视觉传感器1、人眼与视觉2、机器人视觉方法3、机器人图像处理技术4、机器人立体视觉第三节机器人触觉传感器1、接触觉传感器2、压觉传感器3、力觉传感器4、滑觉传感器5、仿生皮肤第四节机器人接近觉传感器1、电磁式接近觉传感器2、光电式接近觉传感器3、超声波接近觉传感器机器人传感器第七章第一节机器人82第一节机器人传感器分类PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity机器人分类机器人传感器的特点传感器的信号获取与处理过程机器人传感器的分类第一节机器人传感器分类PrinciplesandA83第一节机器人传感器功能与分类机器人是由计算机控制的能模拟人的感觉、手工操纵和具有自动行走能力而又足以完成有效工作的装置。机器人分类：第一代机器人：进行程式化操作的机器，完成一系列预置动作。未采用传感器，不能适应外界环境的变化。第二代机器人：采用传感器，具有初步感觉和反馈控制能力，能进行识别、选取和判断。具有初步智能。第三代机器人：更高一级智能机器，“电脑化”是其重要标志。Robot是捷克语“奴工”的意思，捷克剧作家卡鲁·卡帕克1920年一部剧本中的“人物”，一种具有人类特征的机器。第一节机器人传感器功能与分类机器人是由计算机控制的能模拟84对敏感材料的柔性和功能有特定要求。机器人传感器的特点获取的信息实时地用于控制，用以决定机器人的行动。有别于其它种类的传感器，机器人传感器信息收集能力强：既能获取信息，又紧随环境状态进行大幅度变化。机器人传感器既包括传感器本身，也包含传感器的信号处理。它由获取信息和处理信息两部分有机地构成。对敏感材料的柔性和功能有特定要求。机器人传感器的特点获取的信85传感器的信号获取与处理过程信号获取→信号处理→信号提取→数据解释等几个层次。并非所有传感器的信号处理都要经过这四个全过程。如视觉和高密度压觉传感器一般需经过③和④的的过程。位置、接近觉和压觉等传感器仅经过②过程。接触觉传感器多半是经过①过程。传感器的信号获取与处理过程信号获取→信号处理→信号提取→数据86内部检测传感器传感器的分类：以机器人本身的坐标轴来确定其位置，用来感知运动学参数。通过内部检测传感器，机器人可以了解自己的工作状态，调整和控制自己按照一定的位置、速度、加速度、压力和轨迹等进行工作。外部检测传感器用于获取周围环境或者目标物状态特征的信息，是机器人与周围进行交互工作的信息通道。其功能是让机器人对环境有自校正和自适应能力，很好地执行工作。接近觉、视觉、听觉、嗅觉、味觉等传感器。内部检测传感器传感器的分类：以机器人本身的坐标轴来确定其位置87机器人传感器的分类及应用机器人传感器的分类及应用88PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第二节机器人视觉传感器机器人视觉方法人眼与视觉机器人图像处理技术机器人立体视觉PrinciplesandApplicationsof89一、人眼与视觉人的80%以上的外界信息通过视觉所获取。对于机器人来说，视觉传感器也是最重要的传感器。人眼视觉是立体的，就是说能将视场中的物体区别出远近。第二节机器人视觉传感器1、人眼的结构眼球壁外层（角膜、巩膜）中层（虹膜、睫状体、脉络膜）内层（视网膜）屈光系统感光系统角膜晶状体房水睫状肌视网膜视神经视中枢黄斑一、人眼与视觉人的80%以上的外界信息通过视觉所获取90单眼成像单眼成像91黄斑Maculalutea(直径约2mm)双眼注视无穷远的点，无穷远点与双目的夹角θ=0，无穷远的点经水晶体成的像都落在左右眼的黄斑处；=0天空远景，处于无穷远双眼成像视网膜上视觉最敏锐的部位视乳头(视盘)(直径约1．5mm)没有视细胞，在视野中是生理盲点黄斑双眼注视无穷远的点，无穷远点与双目的夹角θ=0，无穷远92人的双眼从不同的方位获取同一景物的信息，各自得到关于景物的二维图像，这左右两幅图像有着微小的区别，这种区别就叫做视差。人的双眼从不同的方位获取同一景物的信息，各自得到关于景物的二93人脑通过对左右两幅图像视差的分析和处理，可以得到关于景物的光亮度、形状、色彩、空间分布等等信息。人脑通过对左右两幅图像视差的分析和处理，可以得到关于景物的光94双眼注视有限距离点B，B在视网膜上的像也落在左右眼的黄斑位置B1和Br。2、人眼的立体视觉B点相对于左右眼的两视线的夹角O1BOr称作视差角，用θb表示。为了观看物点B，眼睛将偏转一定量的会聚角φ。B相对于人眼的距离Zb为：

Zb=b/tgφ A点的像分别为A1和Ar，设线视差分别为Δl、Δr。θb=2φ双眼注视有限距离点B，B在视网膜上的像也落在左右眼的黄斑位置95根据A点的线视差计算得：线视差是描述物点在空间中位置的重要参数，在机器人立体视觉中，视差也是一个十分重要的判定景物空间分布的因素之一。根据A点的线视差计算得：线视差是描述物点在空间中位置的重要参961、激光扫描法二、机器人视觉方法在OlenA’D中综合上式计算得tgα=x/Lf在AOlenM’中OM=(Z+Ll)

×tgα=x×(Z+Ll)/Lf在AOlaserM中MOlaser=Z×ctgβOM+MOlaser=b另外A点的另外两个坐标值Z=(bLf–xLl)/(x+Lftgβ)X=x(btgβ+Ll)/(xtgβ+Lf)Y=y(btgβ+Ll)/(xtgβ+Lf)1、激光扫描法二、机器人视觉方法在OlenA’D中综合上式97机械扫描装置把激光光束投向景物空间，按照一定的顺序对景物空间进行二维扫描，即可得到景物空间各点的距离信息。如果用扇形光束代替点光束，只需进行一维扫瞄，就能快速测定CCD图像画面内全部点的距离信息。机械扫描装置把激光光束投向景物空间，按照一定的顺序对景物空间982、立体摄影法物点A和B两视线的夹角O1AO2称作视差角：点A和B视差角的差值Δθab称作立体视差：Δθab=θa-θbθa=2b/Za 2b——CCD摄像机光轴间的距离视差角的大小表征了物点的远近，图中：θa>θb，物点A较B近。立体视差Δθab的正负也能表征物点的远近。在CCD成像面上，物体的角视差实际上是以线视差来表现的。2、立体摄影法物点A和B两视线的夹角O1AO2称作视差角99设坐标A点的线视差ΔXaAl(Xal、Yal、Zal)Ar(Xar、Yar、Zar)Bl(Xal、Yal、Zal)Br(Xar、Yar、Zar)设坐标A点的线视差ΔXaAl(Xal、100A、B两点的线视差ΔXa、ΔXb物点A和物点B之间的相对线视差ΔXab为由二维图像中的线视差和相对线视差，可以推算出空间物点的三维信息。A、B两点的线视差ΔXa、ΔXb物点A和物点B之间的相101三、机器人图像处理技术机器人图像第一步是初级处理，内容主要有：从灰度图中寻找图像边缘和分割图像通过图像的分割，机器人可以区分出所关心的特定的对象（即整个画面中的一部分图像）。为了识别特征物体，常用具有标准姿势的物体图像与所拍摄的物体图像相比较。同样出于对姿态调整的考虑，需要计算图像两个垂直的主惯性轴的方向。简单的图像分割方法有阈值处理和边缘检测两种。求取图像重心位置提取图像的两个垂直的主惯性轴视觉获取的任意姿态物体图像，需要进行姿态调整，其第一步就是计算出物体的重心点坐标。三、机器人图像处理技术机器人图像第一步是初级处理，内容主要有102对图像的初级处理，可以识别物体的形状特征、区分出物体在背景中所处的的位置。具有图像初级处理能力的机器人往往能满足在工业应用中的要求。对图像的初级处理，可以识别物体的形状特征、区分出物体在背景中1031、图像的分割算法根据适当的灰度阈值th将图像的转变成二值化图像，便于图像分割。1）阈值处理法阈值的获得途径：二维图像函数f（x，y），假设其二值化之后的图像函数为：ft（x，y），则：1）由图像灰度分布概率，用最小二乘法准确计算2）实验法1、图像的分割算法根据适当的灰度阈值th将图像的转变成二104双峰值特性的图像物体背景1(1)2(2)——期望值——协方差假定其灰度分布服从正态分布，其概率密度函数联合概率密度：P1、P2为两个峰下面的面积，且：P1+P2

=1双峰值特性的图像物体背景1(1)2(2)——期105以阈值th分割图像thE1(th)E2(th)背景当物体的概率：物体当背景的概率：物体背景总误差概率：E(th

)=P2E1

(th)+P1

E2(th

)p2(t)p1(t)关于

t微分，取dE(t)

/dt=0，得：P2p2

(th

)=P1p1(th)以阈值th分割图像thE1(th)E2(th)背景当物体的106若P1=P2，则最佳阈值

t为：将p2(t)

和p1(t)

代入上式，得：Ath

2

+Bth+C=0A=σ12+σ22B=2(μ1σ22-μ2σ12)C=μ22σ12

-μ12σ22

+2σ12σ22

ln(σ2P1/σ1P2)如果σ12

=σ22

=σ2

，则：若P1=P2，则最佳阈值t为：将p2(t)107thth1082）微分边缘检测法：2）微分边缘检测法：1092）微分边缘检测法：xxx2）微分边缘检测法：xxx1102）微分边缘检测法：设图像f（x，y）原坐标（x，y）旋转θ角，新坐标为（x’，y’）两者的关系：

x=x'cosθ–y'sinθy=x'sinθ–y'cosθ图像函数f（x，y）沿x、y和x’、y’方向的灰度变化率为：2）微分边缘检测法：设图像f（x，y）原坐标（x，y）旋转111上式对θ微分，并令其为0梯度的大小灰度变化最陡的方向在数字图像中，用差分代替微分图像的梯度矢量的大小：图像的梯度矢量的方向：例如Sobel算子x方向y方向上式对θ微分，并令其为0梯度的大小灰度变化最陡的方向在数字图1122、重心点及惯性矩计算图像灰度函数f(i，j)的重心坐标xc、ycm——象素最大列数n——象素最大行数图像灰度值总和x(i)y(j)xc、ycf(i，j)2、重心点及惯性矩计算图像灰度函数f(i，j)的重心坐113图像的惯性矩Ix、Iy、Ixy图像的主惯性矩I’x、I’y、I’xy偏角φ：图像的惯性矩Ix、Iy、Ixy图像的主惯性矩I’x、I’y、114原坐标系和新坐标系的变换关系x2=[(x0

–xc

)cosφ-(

y0–yc

)sinφ]+xcy2

=[(x0

–xc

)sinφ-(

y0–yc

)cosφ]+yc比对图像原始图像图像调整原坐标系和新坐标系的变换关系x2=[(x0–xc115StereovisionofMarsRoverStereovisionofMarsRover116StereoGraphicsdevelopedthespecial3-DglassescalledCrystalEyes

StereoGraphicsdevelopedthes117PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第三节机器人触觉传感器接触觉传感器压觉传感器力觉传感器滑觉传感器仿生皮肤PrinciplesandApplicationsof118一、接触觉传感器第三节机器人触觉传感器机械人触觉可分为：接触觉、压觉、力觉、滑觉等几种。用来检测机器人的某些部位与外界物体接触与否，例如感受是否抓住零件，是否接触地面等。一、接触觉传感器第三节机器人触觉传感器机械人触觉可分为：119机器人传感器课件120机器人传感器课件121模拟开关A/D转换计算机_+_+_+_+阵列扫描电路模拟开关A/D转换计算机_+_+_+_+阵列扫描电路122二、压觉传感器用来检测机器人手指的握持面上承受的压力大小和分布。特点：小型轻便、响应快、阵列密度高、在线性好、可靠性高等。常用的敏感材料：导电橡胶或塑料、偏聚二氟乙烯薄膜（PVF2）、应变片阵列、磁弹性式压磁传感器阵列（如针式差动变压器、霍尔元件）、光电传感器阵列等。二、压觉传感器用来检测机器人手指的握持面上承123Vo=Vp

[(Cx-CR)/CF]=Vp(ΔC/CF)

Vo=Vp[(Cx-CR)/CF]124三、力觉传感器腕力传感器发展趋势：用于感知机器人的指、肢和关节等在工作和运动中所受力的大小和方向，从而决定如何运动、采用什么姿势、以及推测对象物体的重量等。特点是感知多维的作用力。间接输出型腕力传感器将传感器本身设计的简单化，经过复杂的计算求出传递矩阵，使用时要经过矩阵运算才能提取出六个力分量。直接输出型腕力传感器传感器结构比较复杂，简单的计算就能提取六个分量，甚至可以直接得到六个分量。三、力觉传感器腕力传感器发展趋势：用于感知机125材料：铝筒式六自由度腕力传感器X、Y、Z方向：力——Fx、Fy、Fz转矩——Mx、My、MzFx=K1（Py++Py-

）Fy=K2（Px++Px-）Fz=K3（Qx++Qx-+Qy++Qy-） Mx=K4（Qy+-Qy-）My=K5（-Qx++Qx-）Mz=K6（Px+-Px--Py++Py-）K1、K2、K3、K4、K5、K6为比例系数，与各根梁所贴应变片的应变灵敏度有关。XYZ材料：铝筒式六自由度腕力传感器X、Y、Z方向：Fx=K1126材料：铝挠性件十字梁式腕力传感器梁侧面贴应变片手臂尼龙球（易于伸缩）相对面上的两片应变片构成一组半桥，共8只应变计，输出参数fx1、fx3、fy1、fy2、fy3、fy4、fz2、fz4X、Y、Z的力：Fx、Fy、Fz力矩：Mx、My、Mz： Fx=-fx1

-fx3 Fy=-fy1-fy2

-fy3-fy4 Fz=-fz2-fz4 Mx=afz2+afz4

+bfy1-bfy3 My=-bfx1+bfz4

+bfz2–bfz4 Mx=-afx1–afx3

–bfy2+bfy4

材料：铝挠性件十字梁式腕力传感器梁侧面贴应变片手臂尼龙球相对127四、滑觉传感器用于机器人感知手指与物体接触面之间相对运动（滑动）的大小和方向，从而确定最佳大小的把握力，以保证既能握住物体不产生滑动，又不至于因用力过大而使物体发生变形或被损坏。四、滑觉传感器用于机器人感知手指与物体接触面128四、仿生皮肤聚偏二氟乙烯（PVDF）触觉传感器PVDF薄膜与物体有相对滑移时，指纹或凸点变形，引起诱导振动，发生应力变化，产生电荷。表皮信号输出PVDF（厚几十微米）橡胶基底外壳四、仿生皮肤聚偏二氟乙烯（PVDF）触觉传感器PVDF薄膜与129触、滑、温觉传感器上层为两面镀银的整块PVDF，两面引出电极，可以获取温觉、触觉信号。橡胶基底下层PVDF隔热层加热层上层PVDF橡胶表层下层PVDF镀有条状电极，引线由导电胶粘接后引出，可以获取压觉和滑觉信号。上下两层PVDF之间，有电加热层和柔性隔热层，隔离成两个不同的物理测量空间。触、滑、温觉传感器上层为两面镀银的整块PVDF，两面引出电极130手爪表面开始接触物体时，接触阶跃性应力使PVDF产生电荷，呈现单方向脉冲信号特征。触觉Vt手爪表面开始接触物体时，接触阶跃性应力使PVDF产生电荷，呈131Vt物体相对于表层滑动时，摩擦力变化引起传感器表层的诱导振动，使PVDF产生交变信号。滑觉Vt物体相对于表层滑动时，摩擦力变化引起传感器表层的诱导振动132温觉：将上层PVDF保持在55℃左右，当与物体接触时，物体与表皮的温差形成热能传递，使PVDF极化面产生相应数量的电荷输出。Vt55℃温觉：将上层PVDF保持在55℃左右，当与物体接触时，物体与133压电效应产生的电荷是x、y、z三方向的轴向应力和切向应力产生电荷的总和，所以它能感觉出三维应力，从而判断触觉、滑觉的大小及应力区域。PVDF纤维丝(几十微米)高分子充水薄膜微球由于PVDF薄膜丝纤维束有强的热释电效应，环境温度的变化使极间产生电荷，从而产生了温觉。压电效应产生的电荷是x、y、z三方向的轴向应力和切向应力产生134信号的检出与重构——PVDF微单元~放大器RiQ(t)漏电流i信号的检出与重构~放大器RiQ(t)漏电流i135控制电路数据采集电路计算机A/D转换器上层PVDF下层PVDFMOSFET输入型高阻抗、低失调、低漂移高精度放大器云母电容复位开关使每次读值从同一起点开始控制电路数据采集电路计算机A/D转换器上层PVDF下层PVD136PrinciplesandApplication