多媒体搜索引擎ppt课件

多媒体搜索引擎,对象分割,多媒体文档语义描述,人描述多媒体信息的方法“面若中秋之月，色如春晓之花，鬓若刀裁，眉如墨画，面如桃瓣，目若秋波。”“一双丹凤三角眼，两弯柳叶吊梢眉，身量苗条，体格风骚，粉面含春威不露，丹唇未启笑先闻。”,“部件”,“特征”,多媒体文档语义描述,分割把多媒体文档分解成语义相对独立的部分特征提取从各部分提取出能表示其语义的特征特征必须是计算机可计算的不可计算：“丹凤三角眼”，“柳叶吊梢眉”可计算：矢量,图像分割,如何分割需要被分割成不同部分的对象有什么不同？,第一类图像：前景与背景,图像分割,前景与背景分割假设：前景与背景亮度不同一个暗一个亮阈值分割,阈值,如何求最优分割阈值？,图像分割,前景与背景分割基于直方图的方法直方图：图像灰度级的离散概率密度函数,如何发现这个点？,图像分割,前景与背景分割最大熵算法熵：物理含义：分布的“均匀性”越均匀，熵越大越不均匀，熵越小,图像分割,前景与背景分割最大熵算法图像假设：前景/背景亮度不同直方图如同时包含前景和背景，则其熵将变小如只包含前景或背景，熵将变大把直方图分解成两部分，分别计算熵，两部分熵的和最大时为最佳分割阈值,H1,H2,很强很完美？,图像分割,前景与背景分割最大熵算法图像噪声影响直方图,图像分割,前景与背景分割最大熵算法,如何解决？,图像分割,前景与背景分割物体的分布区域是空间连续的相邻像素应该有相同的分类,很可能是噪声,如何利用这些信息?,图像分割,前景与背景分割松弛算法P(i):像素i是前/背景的概率,i,i1,i2,i3,i4,i5,i6,i7,i8,先有鸡？先有蛋？,图像分割,前景与背景分割先有鸡？先有蛋？恐龙象鸡蛋的恐龙蛋象鸡的恐龙更象一点的蛋再象一点的鸡高产芦花鸡优质土鸡蛋“鸡蛋同出”迭代优化EM算法,图像分割,前景与背景分割松弛算法初始化:迭代：,图像分割,前景与背景分割松弛算法,00,反复迭代多次，直至收敛,同等对待所有邻域,图像分割,前景与背景分割松弛算法,待分割图像,阈值分割,松弛算法,还有更高级、更复杂的算法,图像分割,前景与背景分割实际应用：指纹图像处理,很强很完美？,图像分割,前景与背景分割实际图像并非一定有显著亮度/颜色差异可以是纹理差异可以是没有差异！？有边缘线条画前/背景有多个物体还可能互相遮盖,图像分割,对象分割(ObjectSegmentation)把图像分解成对象“对象”：具有独立语义的图像区域人脸眼睛、鼻子、眉毛？人？不同应用有不同“粒度”,图像分割,对象分割人眼分割物体的方法边缘：人眼对边缘敏感通过边缘分割物体检测边缘边缘所围的区域为物体,如何检测边缘？,图像分割,对象分割边缘检测边缘的数学模型,图像分割,对象分割边缘检测图像的一阶导数图像是二维的只能求偏导数结果为矢量梯度矢量,幅度：,方向：,图像分割,对象分割边缘检测检测算子：用卷积对一阶偏导数的近似,Prewitt,Sobel,水平,垂直,-45,+45,图像分割,对象分割Sobel算子检测例,很强很完美？,图像分割,对象分割边缘检测的问题噪声敏感导数反映的是变化噪声是高频的变化阶越高对噪声越敏感很少使用二阶导数基本上不考虑更高阶的导数,图像分割,对象分割边缘检测的问题不大可能总是检测出连续的边缘,图像分割,对象分割局部连接如果在很近的领域内像素的梯度幅度和方向都很相似，则连接这两个像素|f(x,y)f(x,y)|T|(x,y)(x,y)|A在同一边缘上的像素能连接的仍然很少只能在很小的局部进行连接(3x3,5x5),图像分割,对象分割Hough变换把坐标空间变换到参数空间，检测峰值,y=ax+b,X,Y,A,B,a,b,任何可以化为参数方程的形状都可以检测,“简化”的Hough变换：实际变换的理论更复杂,图像分割,对象分割边缘检测虽然可以使用大量技术，要获得完整的边缘并不容易边缘检测只作为图像分割和其它图像处理技术的辅助手段,如何更好地进行分割？,图像分割,对象分割基于颜色、纹理特征的分割假设：对象和对象之间总要有差异要么颜色，要么纹理检测这种差异，即可进行分割,原始图像,特征图像,聚类,！,图像分割,对象分割基于颜色、纹理特征的分割使用RGB颜色作为特征，K-均值聚类算法,必须指定类数,图像分割,对象分割基于颜色、纹理特征的分割Mean-Shift聚类,/lazebnik/research/spring08/lec21_segmentation.ppt,视频分割,视频分割（shotdetection）视频是图像的时间序列在时间轴上应该分割成小的单元镜头：摄像机从打开到关闭所拍摄的一段视频镜头边界：两个镜头之间的边界镜头分割：分析视频，标记镜头边界,本质上是一个聚类过程,视频分割,镜头