版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、CBOW模型简介及若干源码细节,目录,神经网络语言模型 CBOW模型简介 若干源码细节,神经网络语言模型,神经网络语言模型即是用神经网络模型训练词向量,使生成的词向量能够捕获语义信息,如语义相近的词它们的词向量也相似。 一种比较常见的模型,其输入是某个词的上下文,输出为这个词的概率,通过使这个概率最大进行参数的更新,其中参数包括词向量。如Bengio提出的模型。,Bengio提到的未来工作,他提出可以将条件概率用树结构进行表示,其中树的每个节点表示在当前上下文下对词进行一次分类的概率,叶子节点表示词在上下文下的条件概率。,CBOW模型,输入层:包括当前词t前面的c个词以及当前词后的c个词 映射
2、层:将输入层的若干词向量相加 输出层:输出层是一个树结构,以语料库中出现的词作叶子节点,输出层,为描述方便起见,引入相关记号。考虑赫夫曼树中的某个叶子节点,其对应词w :从根节点出发到词w对应的叶子节点的路径 :路径 中包含的节点的个数 1 , 2 , :路径 中的 个节点,其中 1 即根节点, 为叶子节点 2 , 3 , :词w对应的赫夫曼编码, 表示路径中第j个节点对应的编码,根节点不对应编码 1 , 2 , 1 :路径中非叶子节点对应的向量, 表示第j个节点对应的向量,赫夫曼编码:左边记为1,右边记为0 分类:分到左边为负类,右边为正类 被分为正类的概率用下式表示,对于“足球”这个叶子节
3、点来说,经历了4次二分类,赫夫曼编码为1001,对于词典中的任意词w,赫夫曼树中必定存在一条从根节点到其对应的叶子节点的一条路径,每个节点都有两个分支,可以看成是一个二分类问题,将每一次分类所产生的概率相乘,得到了最终的词w在上下文中的概率。 因此,条件概率p(w|Context(w)的一般公式为 其中 即,得到的对数似然函数如下 用随机梯度下降法可以得到,更新公式为 其中为学习率 同理可得 词向量的更新公式为,CBOW模型更新参数的伪代码,若干源码细节,()的近似计算 词典的存储 低频词和高频词 自适应学习率 参数初始化,()的近似计算,Sigmoid函数()在x = 0附近时变化剧烈,两边
4、趋于平缓,在 x 6或x -6时函数值基本上不变。 此外,由于对精度要求并不是非常严格,其采用了一种近似方法计算sigmoid函数 将区间-6, 6等距分成K份,各个节点分别记为 0 , 1 , 2 . ,如下图为在K=1000时的分割,事先将( )的值存储起来,计算()时可以采用如下的近似公式,词典的存储,由于需要根据词的内容确定其对应的赫夫曼编码和获得该词的词频,因此会有在词典中查找某个词的操作。 为了节省查找时间,将词典用哈希表进行存储。,低频词和高频词,对于低频词就是将词频小于某个值的词去掉,不参加训练。 对于高频词,以一定的概率确定其是否参与某一次训练。概率的确定如下 其中,自适应学习率,学习率的计算公式如下 其中word_count_actual表示当前已训练的词数,train_words表示总词数。 学习率也不能过小,在小于某个值时就不再变化。,参数初始化,对参数的初始化,包括词向
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初中生物八年级下册6.3.2生物进化的历程教学设计
- 初中八年级心理健康教学设计 探寻未知的自我
- 小学六年级数学小升初衔接第八课时用字母表示数教学设计
- 初中英语七年级下册Unit 5第6课时教学设计:以读促写深度构建叙事写作素养
- 下沉市场之王 2026年云南省基因检测与健康管理A+轮融资服务运营规划
- 十五五技术交叉:新风机结合量子传感的PM2.5精准监测突破
- 拉美市场蓝海:2026智能录音麦克风出口增长机遇与渠道布局
- 第四单元-主题活动二《走进立法、司法机关》教学设计-2026-2027学年内蒙古版小学综合实践活动六年级上册
- 电子档案管理软件应用技巧
- 关于员工离职交接流程及工作交接确认函3篇范本
- 2025年国考证监会法律类专业科目真题及答案解析
- 220kV升压站调试施工方案
- 中小学学校维修改造工程施工组织设计方案
- 梅毒患者日常护理要点
- 2026年新能源汽车维修技师招聘面试问题与诊断思路解析
- 网络意识形态工作责任制实施细则
- 2026年钻探施工中的环境保护措施
- 低温蒸汽甲醛灭菌技术
- 2025年音乐视唱模拟真题及答案
- 全国大学生职业规划大赛《时尚传播》专业生涯发展展示
- 法学派出所实习个人总结
评论
0/150
提交评论