工程中常用的数学模型.pdf

1 工程中常用的数学模型 姚鸿勋 2 N孟轲说过 人之患在好为人师 见孟子 离娄章句上 N在尽心章句下里 贤者以其昭昭使人 昭昭今以其昏昏使人昭昭 N赶不上贤者的昭昭但也不想强不知以为 知 以其昏昏使人昭昭 一点 3 N从北大的办学风格想到的 两院一堂 五四运动的发源地 新文化运动的先驱 1917年蔡元培来北大任校长采取 一系列对症下药的措施进行改革北大 也日新月异逐渐显示出新的风貌 二点 4 二点 N 他聘的教师有的革新有的守旧有的反 对旧礼教有的维护儒家正统只要他们言之成 理持之有故都听凭他们在课堂上讲授何去 何从让学生判断自由选择不同主张的教师 们尽管争辩得不可开交甚至水火不能相容可 是对蔡元培都是尊敬的作为一个校长这是 一种多么感人的力量 所以不到两三年北大便 从一个培养官僚的腐朽机构一变而为全国许多进 步青年仰望的学府 5 二点 N 蔡元培认为大学里应培养通才学文 史哲与社会科学的要有自然科学知识 学自然科学的要有文史知识这样不至 于囿于一隅 6 内 容 信号模型 描述方法 认知模型 工程中常用的数学模型工程中常用的数学模型 7 N信号模型 随机过程 Stochastic Processes 统计的方法 信号的统计模型有高斯过程泊松过程马 尔可夫过程等这些统计模型的基本假设是信 号可以被很好的描述成一个参数的随机过程 并且随机过程的参数可以被一种精确的经过 很好定义的方法决定估计 信号的统计模型 8 N布朗运动 Brown N高斯过程 Gaussian N泊松过程 Poisson N马尔可夫过程 Markov 信号的统计模型 9 N计数过程 随机过程 称为一个计数过程 若 表示到时刻 为止已发生的事件的总 数因此一个计数过程 必须满足 信号的统计模型 0 ttN tNt tN 0 tN tNsNts 则若 是整数值tN 中发生的事件的个数 等于区间时当 tssNtNts 立的中发生的事件个数是独在不相交的时间区间 11 信号的统计模型 N马尔可夫链有限状态空间 考虑只取有限个或可数个值的随机过程 若 就说过程在时刻 n 处于 状态 i假设每当过程处于状态 i 则在下一时 刻将处于状态 j 的概率是固定的 也即假设 对一切状态 及一切 有 这样的随机过程称为马尔可夫链 2 1 0 L nX n iX n ij P jiiiii n 1210 L0 n ijnnnn PiXiXiXiXjXP 0011111 L 12 内 容 Active Contour Models Snakes Deformable Template Kalman Filtering Optical Flow MPA Wavelet PCA AAM 对信号的描述方法对信号的描述方法 13 Active Shape Model Active Contour Model Active Shape Model Active Contour Model Micheal Kass 等人于1987年提出 Snakes have been successful in performing tasks such as edge detection both actual as well as subjective corner detection motion tracking and stereo matching Snake Snake 14 NWhy snakes The shape of many objects is not easly represented by rigid primitives For example Natural objects such as bananas have similar recognizable shapes But no two bananas are exactly the same In medical imaging objects are similar but not exact An exact representation of a vein s shape for example cannot be given Some objects such as lips change over time Active Shape Model Active Contour Model Snake 15 NWhat is a snake Energy minimising spline Deforms to fit local minima Local not global so initial location must be provided 从数学角度讲是一条能量最小曲线 从物理角度讲是一条被内外力驱动的链 Active Shape Model Active Contour Model Snake 16 N Snake 模型是在图像力和外部约束力共 同影响下的一条受控制的连续样条 N内部样条力是平滑性约束 N图像力让Snake更接近图像的显著特征 即线边缘和物体的轮廓 N外部约束力则推动Snake趋向局部极小 N 这些力来自于用户界面自动生成或 是高层次的图像解释 Active Shape Model Active Contour Model Snake 17 dssVEsVEsVE dssVEE conimage snakesnake 1 0 int 1 0 则能量函数定义为 sysxsV Snake 参数为如果一条 Active Shape Model Active Contour Model Snake 18 2 2 2 2 ds sVd s ds sVd sE tin NInternal Energy is a measure of the elasticity of the snake is a measure of the stiffness of the snake s s Active Shape Model Active Contour Model Snake 19 NImage Forces Line Functional Edge Functional Termination Functional termtermedgeedgelinelineimage EwEwEwE yxIEline n Eterm nC nC 22 2 322 22 2 yx yxxyxxyxyy CC CCCCCCC 2 yxIEedge Active Shape Model Active Contour Model Snake 20 Figure 1 External and image forces which determine the snake Active Shape Model Active Contour Model Snake 21 Figure 2 Tracking facial movement using snakes Terzopoulos and Szeliski Active Shape Model Active Contour Model Snake 22 图像清晰度要求和目标的人工锁定 初始位置的设置不然收敛不到正确位置 搜索到局部极小值 contraction force image E 问题 Active Shape Model Active Contour Model Snake 23 两条轮廓线的初始位置不同当各自搜索到局部 能量极小值且不重合时给一外力让能量高的轮廓线 向能量低的轮廓线继续前进驱动力的方向是朝着另一 条轮廓线上的点使ASM具有爬山能力从而避 免病态的局部极小值当轮廓线的能量降到低于另一条 轮廓线的能量时撤掉驱动力以让其自动搜索一更好的 极小值随后驱动力又可能被加到另一条轮廓线上此 过程一直重复至两条轮廓线找到近似的同一解 改进 Active Shape Model Active Contour Model Snake 24 Deformable Template N变形模板一例 25 Deformable Template N变形模板方程1 ul Y 2 0 2 1 1 off off aw ax h 4 2 0 2 4 0 4 0 off off off off aw ax aw ax q ur Y 2 0 2 1 1 off off aw ax h 4 2 0 2 4 0 4 0 off off off off aw ax aw ax q 2 0 2 2 1 w x hYui 26 Deformable Template N变形模板方程2 2 0 2 3 1 w x hYli 4 1 2 1 2 4 1 4 1 2 1 2 4 w x w x q w x hYlo 27 Deformable Template 变形模板对唇动的描述 28 Kalman Filtering NWhy the Kalman filtering Often times we would like to estimate the state of a system given a set of measurements taken over an interval of time The state of the system refers to a set of variables that describe the inherent properties of the system at a specific instant of time 29 Kalman Filtering NWhat is the Kalman filter model Kalman filtering is a useful technique for estimating or updating the previous estimate of a system s state by 1 using indirect measurements of the state variables and 2 using the covariance information of both the state variables and the indirect measurements Intuitively the idea is to use information about how measurements of a particular aspect of a system are correlated to the actual state of the system Kalman filtering is one such technique for using the correlation information to derive better estimates of unknown quantities 30 Kalman Filtering 搜索结果初始化位置设定 张田文教授 Two Active Contours Kalman Filtering 31 Optical Flow N基于运动的光流描述方法 日本 一种基于运动的方法它的思想是从图像序 列检测目标运动提取运动参数分析运动 规律主要研究的是目标瞬时位置速度场 也称为光流场 一般认为瞬时图像灰度没 有变化 32 Optical Flow N使用光流有以下优点 首先特征有效性强因为人类视觉对运动是敏感 的即使在变化的照明条件亦如此 其次便于切分例如因为词间间隔唇动瞬时速度 为零以此作为切分连续词或句子序列的特征变得 容易 再次可以消除个性差别例如因为发同样的音 从生理学角度看其肌肉运动是相同的 33 Optical Flow N光流的计算技术 刘国锋 诸昌钤 西南交通大学 计算机应用与信息工程研究所 成都 610031 N摘要 光流场携带了有关物体运动和景物三维结构的丰富信息文 中对现有的光流计算方法作了全面的评述这些方法包括微分 法匹配法基于能量的方法基于相位的方法以及神经动力学 方法首先提出了一个光流技术的性能评价准则而后系统地研 究了五类光流技术的理论模型和计算原理并对它们的性能作了 深入的分析与评估最后指出了光流技术发展的趋势与方向 N N关键词 光流计算机视觉图象序列 N TN29 34 MRA NMRA multi resolution analysis多分辨分 析 35 Wavelet N在信号数据处理方面 最基本的数学工具就是Fourior分析 但是Fourior变换反映的是信号或函数的整体 特征而在实际问题当中有时却恰恰关心信 号在局部范围中的特征如函数在给定点附近 的性质非平稳信号分析和奇性方程求解 36 小波分析 小波分析是当前数学中一个迅速发展的新领域它 同时具有理论深刻和应用十分广泛的双重意义它 与Fourier变换窗口Fourier变换Gabor变换相比 这是一个时间和频率的局域变换因而能有效的从信 号中提取信息通过伸缩和平移等运算功能对函数或 信号进行多尺度细化分析Multiscale Analysis解 决了Fourier变换不能解决的许多困难问题从而小波 变化被誉为 数学显微镜 它是调和分析发展史上里 程碑式的进展 37 小波分析 小波变换在数学领域本身的许多学科信号分析 图像处理量子力学电子对抗计算机识别数据压 缩CT成像地震勘探数据处理边缘检测音乐与 语音人工合成机械故障诊断大气与海洋波的分析 分形力学流体湍流以及天体力学方面都已取得了具有 科学意义和应用价值的重要成果除了微分方程的求解 之外原则上能用Fourier分析的地方均可用小波分析 甚至能获得更好的结果 38 小波分析 小波变换的概念是由法国从事石油信号处理 的工程师 J Morlet 在1974年首先提出的通过物 理的直观和信号处理的实际需要经验的建立了反 演公式当时未能得到数学家的认可正如1807 年法国的热学工程师 J B J Fourier提出任一函数 都能展开成三角函数的无穷级数的创新概念未能 得到著名数学家 J L LagrangeP S Laplace以及 A M Legendre的认可一样 39 小波分析 幸运的是 早在七十年代A Calderon表示定理的 发现 Hardy空间的原子分解和无条件基的深入研究为小 波变换的诞生做了理论上的准备而且 J O Stromberg 还构造了历史上非常类似于现在的小波基1986年著名 数学家 Y Meyer 偶然构造出一个真正的小波基并与 S Mallat 合作建立了构造小波基的同意方法棗多尺度分 析之后小波分析才开始蓬勃发展起来其中比利时女 数学家 I Daubechies 撰写的小波十讲Ten Lectures on Wavelets对小波的普及起了重要的推动作用 40 多分辩率分析与小波变换 NS Mallat于1988年提出的小波多分辨率分析 NDaubechies于1988年构造了一系列紧支集的规范正 交小波基 N通过多分辨率分析可以构造出一对正交共轭滤波器 H和G其脉冲响应分别为 h n 和 g n N二维小波可以使用同尺度张量积方法由一维小波推 广而来 41 小波分解递推公式 给出平方可和的二维离散图像信号 x m n m n Z l 令 c0 m n xm nm n Z 则二维图像的小波分解递推公式为 cj m n H H cj 1 m n k lcj 1 k lh2m kh2n l d j m n H G cj 1 m n k lcj 1 k lh2m kg2n l d j m n G H cj 1 m n k lcj 1 k lg2m kh2n l d j m n G G cj 1 m n k lcj 1 k lg2m kg2n l 2 1 2 3 42 二维小波分解示意图 a 原图像 b 一层二维小波分解 其中子带图象H H 保持原图象的低频分量为原图像 的平滑象子带图象H G 保持了原图象的垂直边缘细 节子带图象G H 保持了原图象的水平边缘细节子 带图象G G 保持了原图象的斜边缘细节 X HH GHGG HG 43 二维小波分解示意图 N采用若干小波分解后低频子图象作为原图象的表 达丢掉了高频细节信息可以有效地消除人像 不同表情或遮掩带来的识别误差 N作n 次二维小波分解后低频子图象的尺寸仅为原 图象的1 2 2 n 因而能有效的降维 44 45 小波分析去噪应用 Hand CR image with random noises Hand CR image with removed random noises 46 基于小波变换的融合 原图 子图 融合结果 47 Principal Component Analysis K L Karhunen Loeve transform also called as the Principal Component Analysis Hotelling transform Eigen space such as eigenface eigenlip eigen values eigen vectors 48 Principal Component Analysis Let one of object image be agrey image in two dimensional spatial domain which can be looked as a dimensional vector The covariance matrix By the eigen equations of The eigen values and eigen vectors can be solved T iN ijiii xxxxX 2 21 yxP iNN 2 N i X T X XXXXE 0 I X 49 Principal Component Analysis An orthogonal transform matrix is constructed by the normalized and orthogonal eigen vectors of the covariance matrix We only select Where A k 2 3 2 1NkL T N k A 2 21 T M A 21 2 NM 50 Principal Component Analysis The features can be calculated by Then we compute the minimum distance from test sample to samples in data base ii XAY i Y d 11 P 33 P i P 2 M i iiiii d 1 51 通过将人脸特征主向量可视化不难看出前面根 据训练集计算得到的前8 维人脸特征主向量对应较大特 征值的特征向量含有丰富的人脸信息而后面根据训 练集计算得到的后8 维人脸特征主向量对应最小特征值 的那些特征向量则反应了图像集合中的噪声情况 Principal Component Analysis 52 a 原图 b 1 维 c 5 维 d 10 维 e 15 维 f 20 维 g 25 维 h 30 维 用部分人脸主特征向量进行面部图像重构 a 原图 b 1 维 c 5 维 d 10 维 e 15 维 f 20 维 g 25 维 h 30 维 用部分人脸主特征向量的非人脸图像人脸重构 Principal Component Analysis 53 Active Appearance Models An AAM contains a statistical model of the shape and grey level appearance of the object of interest which can generalise to almost any valid example Matching to an image involves finding model parameters which minimise the difference between the image and a synthesised model example projected into the image The potentially large number of parameters makes this a difficult problem 54 Active Appearance Models Displacing each model parameter from the correct value induces a particular pattern in the residuals In a training phase the AAM learns a linear model of the relationship between parameter displacements and the induced residuals During search it measures the residuals and uses this model to correct the current parameters leading to a better fit A good overall match is obtained in a few iterations even from poor starting estimates 55 Active Appearance Models The figure below shows frames from an AAM search for a new face each starting with the mean model displaced from the true face centre Multi Resolution search from displaced position 56 内 容 模板匹配方法 动态时间归正 DTW Dynamic Time Warping 隐马尔可夫模型 HMM 动态高斯混合模型 DGMM 支持向量机 SVM Support Vector Machines 人工神经网络 ANN Artificial Neural Network 自组织映射SOFM Self Organising Feature Maps 神经网络NN Neural Network 延迟神经网络TDNN Time Delay Neural Network 遗传算法模拟退火 认知模型认知模型 57 N马尔可夫链 在极短的时间内用线性模型参数来 表示再将许多线性模型在时间上串接 起来 马尔可夫模型中的每个状态都与一 个观察物理事件相对应 Markov Model 58 N隐马尔可夫模型 将马尔可夫模型的概念扩展到一个双重随 机过程的模型即一个双重的内含不可见隐 藏的从属随机过程的随机过程它只能通过 另一套产生观察序列的随机过程才能观察到 隐马尔可夫模型是一系列可相互转移的有 限状态集合这些状态的转移又是间接地通过 观察序列来描述的它是一个双重随机过程 HMM 59 N 隐马尔可夫用短时模型描述平稳段的信号 又解决了每一个短时平稳段是如何转变到下一短 时平稳段的问题 N 隐马尔可夫模型利用概率及统计学理论成功 地解决了如何辨识具有不同参数的短时平稳的信 号段以及它们之间的转化问题 HMM 60 N 壶与彩球 的例子 设有N个壶每个壶中放了M种颜色的许 多彩球球的数目不相等表示从各壶取某色 球的概率不相同先从N个壶中选定一个壶 初始状态从中取出一个球记下颜色 再放回去然后根据与当前壶相联系的转移概 率分布及取出的彩球的结果选择新壶再做试 验L从而得出下列结果 HMM 61 N一个隐马尔可夫模型可以用一个三元组 来描述式中 为状态转移概 率矩阵 并满足约束条件 BA ij aA 1ijitjt SqSqPa Nji 1 0 ij a 1 1 N j ij a Nji 1 Ni 1 HMM 62 为观测信号概率密度 为 j 状 态下观察符号 k 的概率密度 表示初始状态概率集合 满足约束条件 kbB j kbj i 1ii SqP Ni 1 0 i 1 1 N i i Ni 1 HMM 63 当观察符号 k 是离散符号时 是离散的 概率值当观察符号 k 取为连续矢量时 是连续概率密度函数通常取为Gaussian混合 密度函数即 式中N是模型的状态数M为混合项数 表示 k 时刻观察向量 称为混合比 kbj M m kjmjmjmj OGckb 1 k O jm c HMM 64 0 jm c 满足约束条件 G取为高斯概率密度函数 和 分别是高斯混合概率密度中第 m 个分量 的均值向量和协方差矩阵 1 1 M m jm c jm jm Nj 1Mm 1 Nj 1 HMM 65 这时的HMM称为连续的隐马尔可夫 模型CHMM 2 1 exp 2 1 1 2 1 jmkjm T jmk jm kjmjm OO OG HMM 66 当模型中的每个状态用相同的混合项函数 G时即对于任一个状态 j其每一个混 合分量的 都与 j 无关 这时的HMM称为半连续隐马尔可 夫SCHMM记为 jmjm mjm mjm MNcA mmjm HMM 67 CHMM及SCHMM的识别效果较 DHMM的识别效果好但CHMM的计 算复杂度较高为了保证识别的性能及 速度采用SCHMM作为识别算法较为 常见 HMM 68 NSCHMM的三个基本问题 评估问题evaluation problem 对于给定的模型参数 和一个观测序列 如何有效地计 算概率 MNcA mmjm OP T OOOO 21 L HMM 69 NSCHMM的三个基本问题 状态解码问题decoding problem 已知观测序列 和模型 如何估计与观测序 列相对应的最佳状态序列即在某种准则下能 够最好的 解释 观测序列 MNcA mmjm T OOOO 21 L 识别问题 HMM 70 NSCHMM的三个基本问题 训练问题training problem 对于已知的观测序列 如何调整模型 使得 取最大值 对于评估问题和状态解码问题可以分别 利用Forward Backward Procedure和Viterbi Algorithm加以解决 T OOOO 21 L MNcA mmjm OP HMM 71 如图所示 132 GMMGMMGMM 时间状态 DGMM 72 如上图所示在连续 DGMM CDGMM 中用一个随时间变化的 具有 M 个分量的混合概率密度函数将 t 时刻信号模型化即 M j tjjjt OqtpOP 1 DGMM 73 其中 t 是时间变量 为混合比Mixture Proportions 为Gaussian N 元混合密度定义为 1 0 1 M j jj j N n tjnjnjntj OGcOq 1