机器学习课件 6.4条件随机场

条件随机场概率无向图模型条件随机场

一种条件概率分布模型P(Y|X)，表示的是给定一组输入随机变量的条件下另一组输出随机变量的马尔可夫随机场一种直接建模条件概率的判别式无向图模型（conditionalrandomfield，CRF）JohnLafferty等人2001年提出条件随机场条件随机场

假设条件随机场的最大团集合为C，其条件概率为：

条件随机场条件随机场

对任意结点v成立，则称条件概率分布p(Y

|X)为条件随机场。其中表示结点v可以取无向图中除结点u以外的任一结点，

表示结点u的邻接结点集条件随机场线性条件随机场

以词性标注为例，X表示输入的句子，

表示第n-1位置上的文本；Y表示对应的词性序列，表示第n-1位置上的词性。条件随机场条件概率定义为：条件随机场使用势函数和图结构上的团来定义条件概率

。选择合适的势函数，即可得下面的条件概率，在条件随机场中，选用指数势函数并引入特征函数是定义在观测序列的两个相邻标记位置上的转移特征函数，用于刻画相邻标记变量之间的相关关系以及观测序列对它们的影响；是定义在观测序列的标记位置i上的状态特征函数，用于刻画观测序列对标记变量的影响；和是参数，z是规范化因子条件随机场

若两个特征函数统一为，则：

条件随机场

以自然语言处理的词性标注任务为例观测数据为单词序列，标记为相应的词性序列，具有线性序列结构。

若采用转移特征函数：

若采用状态特征函数：

条件随机场

条件随机场需解决下面三个关键问题：

（1）特征函数的选择（2）参数估计（3）模型推断从已经标注好的训练数据集学习条件随机场模型的参数，即各特征函数的权重向量在给定条件随机场参数

下，预测出最可能的状态序列特征函数的选择直接关系模型的性能条件随机场参数估计极大似然估计迭代缩放条件随机场

取对数形式：

条件随机场

条件随机场模型中极大似然函数：

条件随机场

条件随机场

迭代缩放算法GIS算法（generalisediterativescaling）IIS算法（improvediterativescaling）

Laffety提出两个迭代缩放的算法用于估计条件随机场的极大似然参数迭代缩放是一种通过更新规则来更新模型中的参数，通过迭代改善联合或条件概率模型分布的方法。条件随机场迭代基本原理：

条件随机场条件随机场对数似然值的变化可以表示为：

条件随机场引入辅助函数：

条件随机场迭代过程：

条件随机场

定义一个全局修正特征S(x,y)：

条件随机场更新值按下式计算：

条件随机场

①GIS算法的收敛速度由计算更新值的步长确定。C值越大，步长越小，收敛速度就越慢；反之C值越小，步长越大，收敛的速度也就越快。②GIS算法是依赖于一个额外的全局修正特征S(x,y)，以确保对于每个(x,y)的有效特征总和是一个常量。但是一旦加入这个新的特征，就认为这个特征和特征集中所有其他的特征之间是相互独立的，并且它的参数也需要使用上式来更新。计算期望需要对所有可能的标记序列求和，这将是一个指数级的计算过程。条件随机场IIS算法

将每个对观察序列和标记序列对(x,y)

起作用的特征值的和近似等于对于观察序列x的最大可能的观察特征的和：

使用牛顿—拉夫森方法求解。

条件随机场模型推断条件随机场的模型推断常见的两个问题：

（2）对于未标记的序列，求其最可能的标记。前向后向法