隐马尔科夫模型在智能学习系统中的应用

1、隐马尔科夫模型隐马尔科夫模型在智能学习系统中的应用在智能学习系统中的应用东北大学东北大学2010.3.30文献题目：文献题目：隐马尔科夫模型隐马尔科夫模型 在智能学习系统中的应用在智能学习系统中的应用作者：作者：翟琳琳，陈仪香翟琳琳，陈仪香 上海师范大学上海师范大学内容：内容：智能学习系统的引导功能：智能学习系统的引导功能： 知识点知识点1 1 。 Link(将要学习的知识点的将要学习的知识点的)希望希望首先要确定：首先要确定： 知识点之间前趋与后继的知识点之间前趋与后继的线性关系。线性关系。本系统要实现的是：本系统要实现的是： 根据大量学习数据以及学习效果来确根据大量学习数据以及学习效果来确

2、定定一个线性的学习序列。一个线性的学习序列。一个最优序，一个最优序，来实现引导功能。来实现引导功能。那么那么解决方案解决方案 使用大量学习序列进行训练使用大量学习序列进行训练得到隐马尔科夫模型得到隐马尔科夫模型（即确定各个知识点之间的关联概率）（即确定各个知识点之间的关联概率）首先首先根据用户已有的观察序列和已知的根据用户已有的观察序列和已知的HMMHMM来估计内在知识点的迁移来估计内在知识点的迁移得到最优的状态转序列得到最优的状态转序列然后然后利用学习页面和知识点之间的关联利用学习页面和知识点之间的关联取出最优的学习页面供用户进行学习取出最优的学习页面供用户进行学习再再隐马尔科夫模型的确定隐

3、马尔科夫模型的确定S模型中的状态，在此表示模型中的状态，在此表示知识点知识点A状态转移矩阵，表示状态转移矩阵，表示知识点之间的关联知识点之间的关联初始状态分布概率，在初始状态分布概率，在第一时间学习某个知识点的概率第一时间学习某个知识点的概率B观察值的概率分布矩阵，表示观察值的概率分布矩阵，表示在学习某个知识点时，在学习某个知识点时， 进入某一页面的概率进入某一页面的概率O观察序列，观察值是学习知识点的页面。观察序列，观察值是学习知识点的页面。隐马尔科夫模型：隐马尔科夫模型：=(S,O,A,B) 在此系统中：在此系统中： 已已 知知：HMM的参数的参数S和和O 通过训练通过训练要得到要得到：A

4、、B和和 所以建立隐马尔科夫的模型就是确定所以建立隐马尔科夫的模型就是确定A、B和和的的过程。过程。 在此使用在此使用Baum-Welch算法算法对该模型进行训练。对该模型进行训练。Baum-Welch算法算法Step 1Step 2初始模型（带训练模型）初始模型（带训练模型）=(A,B,)根据观测序列根据观测序列O O，求得一组新参数，求得一组新参数传统的传统的Baum-Welch对对HMM建模法建模法逐步改善模型直至收敛逐步改善模型直至收敛所求模型改进的改进的Baum-Welch算法算法因为在智能学习系统中存在这许多特殊性因为在智能学习系统中存在这许多特殊性所以做了如下改进所以做了如下改进

5、观察序列是用户点观察序列是用户点击页面的顺序。不击页面的顺序。不能避免一些用户随能避免一些用户随意点击毫无关联的意点击毫无关联的页面这样才能保证页面这样才能保证训练结果的正确性训练结果的正确性。对将要训练的对将要训练的O进行筛选进行筛选然后和用户使用时然后和用户使用时的序列进行匹配，的序列进行匹配，如果超过了一定的如果超过了一定的阈值，便认为是相阈值，便认为是相对正确的序列。只对正确的序列。只有正确的序列才鞥有正确的序列才鞥作为训练数据保存。作为训练数据保存。确定知识点的确定知识点的大致顺序大致顺序这样模型在训练的时这样模型在训练的时候就可以大大提高收候就可以大大提高收敛的速度，既体现了敛的速

6、度，既体现了绝大多数用户的习惯，绝大多数用户的习惯，又保证了算法具有较又保证了算法具有较高的效率。高的效率。在初始化时给各矩阵在初始化时给各矩阵大致的概率分布大致的概率分布开 始 判 断 是 否 可 以 用 做 训 练 数 据取 一 条 用 户 学 习 记 录 （ 观 察 序 列 ）计 算 前 向 概 率计 算 后 向 概 率计 算 整 个 当 前 观 察 序 列 的前 向 概 率 和 后 向 概 率 之 和重 新 估 算 、 A和 B取 下 条 用 户 学 习 记 录判 断 收 敛 否结 束按 照 预 设 的 数 值 初 始 化 矩 阵 、 A和 B可 以可 以 不 可 以 不 可 以收 敛

7、收 敛 不 收 敛 不 收 敛具体过程具体过程本试验中本试验中：n 状态状态：5 5个知识点个知识点 （代数结构中的广群、结合律、半群、幺元和独异点（代数结构中的广群、结合律、半群、幺元和独异点) ) 状态集合状态集合S=S=（1,2,3,4,51,2,3,4,5）n 观察值：观察值：1010个学习页面个学习页面每个知识点对应两个学习页面每个知识点对应两个学习页面n 训练数据：训练数据：100100条正确的用户学习序列条正确的用户学习序列实验前实验前HMM模型模型u初始状态概率分布初始状态概率分布：=(0.3,0.3,0.2,0.1,0.1)u状态转移概率分布状态转移概率分布:u观察值概率分布

8、观察值概率分布:HMM：=(S,O,A,B)训练结束后，得到的新的训练结束后，得到的新的HMMu初始状态概率分布为：初始状态概率分布为：)1011. 0 ,1021. 0 ,1031. 0 ,1027. 0 ,99. 0(11212218u训练后观察值训练后观察值 的概率矩阵的概率矩阵:u训练后状态转移训练后状态转移 概率矩阵概率矩阵:结论 本文主要讨论了如何在智能学习系统本文主要讨论了如何在智能学习系统中，利用隐马尔科夫模型对大量学习序列中，利用隐马尔科夫模型对大量学习序列进行训练，找到隐藏在不同知识点之间的进行训练，找到隐藏在不同知识点之间的内在关联。并且在用户学习的过程中根内在关联。并且在用户学习的过程中根据前面的学习页面，通过推导得到即将应据前面的学习页面，通过推导得到即将应该学习的页面，自动地发送给用户学习。该学习的页面，自动地发送给用户学习。使用隐马尔科夫模型对知识点的关系进行使用隐马尔