基于稀疏差异深度信念网络的绝缘子故障识别算法 .pdf

第 5 3卷第 1期 2 0 1 6年1月 1 0日 电测 与仪表 Ele c t r ic a l M e a s u r e me n t I n s t r u me n t at io n V0 I 5 3 No 1 J a n 1 0 2 0 1 6 基于稀疏差异深度信念 网络 的绝缘子故障识别 算法 高强 阳武 李倩 华北电力大学 电气与电子工程学院 河北 保定 0 7 1 0 0 3 摘要 针对深度信念网络 D B N 的识别准确率比较低的问题 引入了基于模糊隶属函数的差异理论 提出了一 种基于稀疏差异的深度信念 网络 图像分类新方法 简称 D D B N方法 并将其应用在了绝缘子故障识别 中 差 异理论有扩大低灰度区域 缩小高灰度区域的优点 更符合人眼的视觉特性 首先将图像的灰度特征矩阵转换 成差异表示矩阵 并对其进行均值化 归一化和稀疏化 然后利用 D B N网络对得到的差异特征进行训练 学 习 数据更本质的特征 从而达到提高识别性能的 目的 在 MN I S T和 S V H N库上对不同样本规模和不 同网络结构 进行实验 识别结果证明 与传统 D B N和其它改进方法相 比 本文算法取得 了最好的识别效果 最后 将 D D B N方法应用到绝缘子故障识别 中 关键词 深度信念网络 差异 图像分类 绝缘子 故 障识别 中图分类号 T M2 1 6 文献标识码 A 文章编号 1 0 0 1 1 3 9 0 2 0 1 6 0 1 0 0 1 9 0 7 A f a u lt e d ins u la t o r id e nt ifi c a t io n a lg o r it h m o f s p a r s e d iffe r e nc e ba s e d de e p be lie f n e t wo r k G a o Q ia n g Y a n g Wu L i Q ia n I n s t i t u t e o f E l e c t r i c a l a n d E l e c t r o n i c E n g in e e r in g N o a h C h in a E le c t r ic P o w e r U n i v e r s it y B a o d in g 0 7 1 0 0 3 H e b e i C h i n a Ab s t r a c t Aiming a t t h e p r o b le m o f t he lo w r e c o g n i t io n a c c ur a c y o f d e e p b e li e f ne t wo r k t h e di f f e r e nc e t h e o r y b a s e d o n f u z z y me mb e r s h i p f u n c t io n i s in t r o d u c e d a n e w i ma g e c la s s ifi c a t io n me t h o d o r D D BN f o r s h o r t o f d e e p b e lie f n e t wo r k ba s e d o n t h e s p a r s e d if f e r e n c e is pr o po s e d i n t h is p a p e r a nd it s a p p lic a t io n o n in s u la t o r f a u lt ide n t ific a t io n i s p u t f o r w a r d B e c a u s e t h e d i f f e r e n c e t h e o r y h a s t h e a d v a n t a g e o f w id e n in g t h e l o w g r a y a r e a s a n d r e d u c in g t h e h ig h g r a y a r e a s it is mo r e c o n s is t e n t w it h c h a r a c t e r is t i c s o f h u ma n v is io n At fi r s t t h e ima g e s we r e c h a n g e d f r o m gra y f e a t u r e ma t r ic e s t o t h e di f f e r e n c e f e a t u r e ma t ri c e s a n d t h e n t h e d if f e r e n c e ma t r i c e s we r e ma d e me a n no r ma liz a t i o n a n d s p ars e S e c o n d ly t h e d if f e r e n c e f e a t u r e s we r e t r a i n e d b y D BN t o le a rn mo r e in t ri n s ic c h a r a c t e ri s t ic s o f d a t a s o a s t o a c hi e v e t h e a im o f imp r o v i n g r e c o g n i t i o n p e r f o rm a n c e Th e id e n t ific a t io n r e s u lt s o n MNI S T a n d S VHN d a t a b a s e wi t h d i f f e r e n t s a mp le s iz e s a n d d if f e r e n t n e t w o r k s t r u c t u r e s d e mo n s t r a t e t h a t t h e p r o p o s e d me t h o d a c h ie v e s b e t t e r r e c o g n it io n p e rf o rm a n c e a f t e r c o mp a ri n g w it h t h e t r a d i t io n a l D BN me t h o d a n d o t h e r imp r o v e d me t h o d s At la s t a me t h o d o f D DBN wa s a pp li e d in t h e f a u lt id e n t ifi c a t i o n o f in s u la t o r s Ke y wor d s de e p b e lie f n e t wo r k di f f e r e n c e ima g e c l a s s i fi c a t io n in s u la t o r f a u l t id e n t i fi c a t io n 0 引 言 绝缘子是高压输 电线路 中重要 的部件 对绝缘 子故障的检测非常关键 常用 的绝缘子故障识别方 法是从绝缘子 的颜色 纹理等描述特 征 以及绝缘子 片之间 的距 离来 着手 而 深度 学 习 d e e p le a r n in g 是一种利用多个隐含 层的神经 网络来完成学 习 任务的机 器学 习方法 其 中 深度 信念 网络 d e e p b e lie f n e t w o r k D B N 由于其结合 了无监督 预训练和 有监督微调 的优点 对高维数据具有 良好 的分类能 力 因此 得到 了广泛 的研究 与应 用 目前 D B N 已经成功应用于许多领域 比如 音乐类型识别 语 音情感识别 等听觉识别领域 手写字体分类 人脸 识别 和航 拍 场 景分 类 等视 觉识 别 领 域 以及 P M2 5预 测 6 J 垃圾 邮件过滤 文 本分类 等 其他 一 1 9 学兔兔 w w w x u e t u t u c o m 第 5 3卷第 1期 2 0 1 6年1月 1 O日 电测与仪表 El e ct r ica l M e a s u r e me nt I n s t r u m e nt a t io n V0 I 5 3 No 1 J a n 1 0 2 0 1 6 领域 然而 D B N仍处于发展初期 许 多问题值得深入 研究 目前 D B N的分类性能仍有待进一步提升 J 提升 陛能最简单的方法就是通过增加每个 隐含层 的 神经元数 目或增加网络的隐含层数来实现 但 当 D B N中的神经元数 和隐含层数达到一定峰值 后 再 增加数 目 并不会提升识别性能 反而造成计算成本 较高 效率较低 J 研究表明 人的视觉系统在处理 图像时 只激活了感受野上 的部分细胞 基于此 许 多学者 1 在 D B N中引入稀疏编码产生稀疏表示 另外 研究发现 采 用 R e L U s o f t p l u s 和 ma x o u t 等激活函数代替传统 的 S ig m o i d也有助于提升分类 性 能 近 几 年 具 有 连 续 值 单 元 的 R B M 如 mcRBM 1 4 3 s p i k e a n d s l a b R B M 1 5 等模 型 显示 具有 优越的学 习性 能 文 献 1 6 基 于 卷 积 神 经 网络 C N N 和 D B N各 自的优点 通过把 C N N的局部感受 野引入到 D B N的单层中 提出了卷积深度信念网络 模型 即 C D B N 对分类性能的提升也有一定的效果 目前 有关提升 D B N识别性能的研究非常多 且 基本上都是针对 网络结构 网络内部用到的算法 函 数等进行改进 但很少有从转换输入 网络 的图像灰 度特征值角度进行研究 本课题通过结合差异度量 的理论 提出改进的深度信念 网络图像分类方法 旨在利用差异特征代替灰度特征 并实现均值化 归 一 化 稀疏化 对低灰度 区域进行 扩张 对高灰度 区 域进行压缩 使得输人到 D B N网络中的绝缘子样本 特征更符合人眼对灰度级 的敏感度 进而有效 的提 升绝缘子的分类性能 1 基于隶属函数的差异度量方法 1 1差异 的定 义 差异即差别 是事物 内部 包含的没有激化 的矛 盾 用于表征事物相互区别和 自身 区别 的哲学范 畴 由于差异本身具有模糊性 可加性 单调性和非负性 等属性 文献 1 7 提出一种基于模 糊隶属 函数的差 异度量方法 假设 u 0 1 是样本属 于所在类 的隶 属度 值 D是该样本与对应类的差异值 显然 与 D具 有如下的关系 1 D是 的函数 即 D 厂 且是单调递减 函数 2 若 Y Y 贝 0 D Y D D y 3 差异 具有模 糊性 可加性 单调性 和非 负 一 2 O 一 性等 由柯西 函数方程解 可知 满足 以上 条件 的函数 表达式为 D c l o 一 c 1 o g 1 式 1 即是基于隶属度的差异度量公式 其中 c为差异系数 口 为对数的底 是样本属于所在类的 隶属度值 D是该样本与对应类的差异值 当差异系数 c 1 底数 0 1 0时 差异的公式简 化为 D l g 一 l g 2 1 2 图像的隶属函数的确定 常用的隶属度函数有正态分布型 梯形 s型函 数等 根据图像 灰度值 与隶属度之间 的关 系 本文 采用的隶属度 函数表达式为 1 Y 2 5 5 Y 1 Y 一 一 L 1 0 Y 1 3 式中 Y 是像 素点 Y 对应 的灰度值 Y 是灰度值 Y 属于灰度等级的隶属度 2 D D B N算法 由于差异值对低灰度 区域进行 了扩张 对高灰 度区域进行了压缩 更符合人们的视觉感受 本文 用差异特征代替灰度特征作为样本图像输入到 D B N 网络中进行无监督预训练 有监督微调 并利用训练 好的参数对未知样本进行测试 我们称这种基 于差 异的深度信念网络改进算法为D D B N算法 具体实 现流程如下 2 1 图像灰度特征矩阵的转化 训练样本的灰度值范围是0 2 5 5 根据式 2 和式 3 将训练样本 的灰度特征矩阵转换成差异特 征矩阵 表达式为 y f Ilg I 1 2 5 5 t 0 0 Y 1 4 式 中 为训练样本的灰度特征矩阵 D为对应 的差异 特征矩阵 2 2 稀疏化差异特征矩阵 首先对每个样本的差异特征矩 阵进行 预处理 包括均值化和归一化 即减掉该样本的平均值 将不 同样本的数据范围归一化到同一范围 神经系统的 学兔兔 w w w x u e t u t u c o m 第 5 3卷第 1期 2 0 1 6年1月 1 0日 电测与仪表 Ele ct r ica l M e a s u r e me n t I n s t r ume n t a t io n VO 1 5 3 N0 1 J a n 1 0 2 0 1 6 研究表明 人的视觉系统在处理图像时 感受野上的 视觉细胞只有少部分被激活 基于此 在去均值 和归一化后 将差异特征稀疏化来模 拟视觉 系统 即 将全部小于0的值置为 0 最后将所有样本图像的 稀疏化差异数据整理成一个 矩阵 矩 阵的每一行就 是一个样本 2 3 训 练 阶段 通过得到的差异特征矩阵对 网络进行训练 D D B N的训练 包括无 监督 预训练 和有 监督 微调 两个 阶段 1 无 监督 预训 练 U n s u p e r v is e d p r e t r a i n in g 目的是以重 构误差 函数作 为 目标 函数 采用 贪婪逐 层算法 对 R B M逐层进行训练 训练样本对应的差 异矩阵作为第一层 R B M的可视层输入 对应的隐含 层神经元 的概率分布为 p 1 l 5 式中 为可视层第 i个神经元的输入 即差异值 h b i分别为隐含层第 个 神经元 对应 的输 出值和偏置 值 是可视层节点 i 与隐含层节点 之间的连接权 重值 是 S ig mo i d激 活函数 将 隐含层输 出的概率 值二值化作为反向传播的输入 计算可视层神经元 的概率分布 并得到重构误差 利用 C D k算法 以及 MC MC对重构数据进 行近似 拟采样 得到参数 的更 新规则 A w d 叼 d 一 r e co n 6 A a 7 d a l 一 7 6 d 一 r e 8 式中 叼为学习率 为训练样本集所定义的分 布之上的数学期望 为重构后的模型所定义 的分布上的期望 获得第一个 R B M 的参数后 将第 一个 R B M 的 隐含层输出作为下一个 R B M的可见层输入 再进行 无监督预训练 2 微调 F i n e t u n i n g 首先 利用带有标签的训 练样本对 S o f t m a x分类器进行 训练 然后 将 已经调 整好的 D B N网络参数作为微调的初始值 采用 m in i b a t ch 梯度下降法 通过最小化交叉熵函数 尽量找到 全局最优点 提取到较精细的特征 2 4 图像 分 类测试 阶段 利用训练好的参数值 对带有标签的测试样本 对应的差异特征矩 阵进行测试 通过 比较 网络输 出 层 两个 节点 的概 率值 大 小 决定 训 练样 本属 于 哪 个类 3 D D B N算法的实验验证 实验选用 MN I S T S V HN两个 常用 的标 准数据 库 与传统 的 D B N算 法 进行 比较 验 证 提 出的 D D B N算法的有效性 3 1 MN I S T库 上 的 实验 验证 M N I S T 手写字体数据库 中包含 l0类数字 0 9 共有 6 0 0 0 0张训练样本 1 0 0 0 0张测试样本 分 辨率为 2 8 x 2 8 为了验证 D D B N算法 的优越性 下 面通过 两个 对比实验来观察其算法性能 首先对 比的是 训 练集变 化对 正确识 别 率 的影 响 从 每 类 数 字 中分 别 选 取 1 0 0 2 0 0 3 0 0 5 0 0 1 0 0 0 5 0 0 0幅样本作 为训练样本 数 据库 中所有 的 1 0 0 0 0幅图像作为测试样本 随着每类训练样本数 目的增加 正确识别率性能比较如表 1 所示 表 1 训练集变化对比实验结果 T a b 1 Co mp a r is o n r e s u lt wit h t h e n u mb e r o f t r a i n i n g ima g e s 1 0 0幅 类 2 0 0幅 类 3 0 0幅 类 5 0 0幅 类 1 0 0 0幅 类 5 0 0 0幅 类 算法 训 练识别 测试识别 训 练识别 测 试识别 训 练识别 测试识别 训 练识别 测试识别 训 练识别 测试识别 训练识别 测试识别 率 辛 盂 辛 盂 蓦 耍 率 率 率 率 由表 1可知 不论训练样本中每类选取多少张图 像 D D B N算法的正确识别率都高于 D B N算法 且 随着每类训练样本数 目的增加 D D B N算法 可提升 的空间越来越小 即相对 于大样本 的 MN I S T 小样本 情况的 D D B N算法具有更大的提升空 间 第二个对 比实验是针对 隐含层神经元数 目与正 确识别率的关系的 从每类数据库中选取 3 0 0幅图 片作为训 练样 本 1 0 0 0 0幅图片作为测试样 本 随 着隐含层神经元数 目的变化 性能比较如图 1 所示 一 21 学兔兔 w w w x u e t u t u c o m 学兔兔 w w w x u e t u t u c o m 学兔兔 w w w x u e t u t u c o m 第 5 3卷第 1期 2 0 1 6年1月 1 0 E t 电测与仪表 El e c t r ic a l M e a s ur e me n t l ns t r u me n t a t io n VO 1 5 3 N0 1 J a n 1 0 2 0 1 6 识别率比较结果如图4所示 图4微调迭代次数对识别性能的影响 Fi g 4 Ef f e c t o f fi n e t u n in g i t e r a t io n s o n id e n t ifi c a t io n pe r f o r ma n c e 从 图4很容易看出 随着微调迭代次数 的增加 D D B N算法的训练样本和测试样本的正确识别率都 呈上升的趋势 但 当迭代次数增加到4 5次时 识别率 基本保持不变 训练样本和测试样本的正确识别率 达 到 9 8 和 8 2 5 4 3 3 算法 比较 为了验证 D D B N算法在绝缘子故障识别 中的有 效性 本 实验将 D D B N算 法 与 S V M 文 献 1 8 的 P C A S V M 以及改进的 D B N算法 中最有影 响力 的算 法一L e e等人 1 6 提 出的卷 积深度信 念 网络 C D B N 算法进行对 比 在本实验中 对于 P C A S V M算法 保 留 9 7 的 非零特征值 对于 C D B N算法 也是 通过本文 的 D D B N算法的改进思路 首先将绝缘 子数据 库图像 经 过了图像灰度处理 差异值转化 去均值 归一化 以 及稀疏化等预处理 然后输 入到卷积深度信念 网络 中 在本实验 中我们称之 为基于稀疏差异 的卷 积深 度信念 网络 即 D C D B N算法 识别性 能的评 价指 标包括正确识别率和时间复杂度 表 4为不 同算法 的识别性能比较表 表 5为不 同算法对应 的时间复 杂度比较表 表 4 不同算法的分类性能比较表 Ta b 4 Co mpa r i s o n wit h t h e c l a s s ifi c a t io n pe rfo rm a n c e o f d if f e r e n t a l g o r i t h ms 一 2 4 一 表 5不同算法的时间复杂度比较表 Ta b 5 Co mpa r is o n wi t h t h e t ime c o mp l e x it y o f d iff e r e n t a l g o ri t h ms 从表 4 表 5可以得 出 对 于绝缘子故障识别 的 实验 深度 网络模 型 D D B N和 D C D B N 相对 于浅 层神经网络 S V M和 P C A S V M 训练阶段的耗时 比 较长 时间复杂度较高 但是测试 阶段稍快一些 尤 其是不管对于训练样本还是测试样本 深层 神经 网 络的正确识别率 明显优于浅层神经网络 由于 C D B N模 型结合 了卷积神经网络 C N N 和 深度信念网络 D B N 的优势 识别率高于 D B N 模 型 因此 对于 同样 的基 于差异 预处 理 的样 本 D C D B N模型的识别率 8 4 高于 D D B N模型的识别 率 8 2 5 但训练阶段所需的时间也更长 在本 实验中 D D B N算法 的识别率略高于 C D B N算法 的 识别率 综上 采用 D D B N算法实现绝缘子故 障识 别是有一定实用价值的 5 结束语 本文结合差异理论 提 出了一种 基于差异稀疏 化的深度信念 网络图像分类改进方法 简称 D D B N 方法 基于模糊隶属 函数 的差异 可以实现将人 眼 对图像灰度敏感 度的非 线性关 系转换 成线性关系 更符合人们的感官认识 因此 用稀疏化后 的差异特 征矩阵代替灰度特征矩阵 输入到网络 中进行训练 测试 可 以 有效 的提 高 图像 分 类 的正 确 识 别 率 MN I S T和 S V HN数据库实验证明 本文 的 D D B N方 法有一定的优越性 最后 将 D D B N算法应用到实 际的绝缘子故障识别中 也表现出不错的效果 参 考 文 献 1 张晶晶 韩军 赵亚博 等 形状感知的绝缘子识别 与缺陷诊断 J 中国图象图形学报 2 0 1 4 1 9 8 1 1 9 4 1 2 0 1 Z h a n g J i n g j in g H a rt J u n Z h a o Y a b o e t a 1 I n s u l a t o r r e c o g n i t i o n a n d d e f e c t s d e t e c t i o n b a s e d o n s h a p e p e r c e p t u a l J J o u r n a l o f i m a g e a n d g r a p h i c s 2 0 1 4 1 9 8 1 1 9 4 1 2 0 1 2 吕启 窦勇 牛新 等 基 于 D B N模 型的遥感 图像 分类 J 计 算机研 究与发展 2 0 1 4 5 1 9 1 9 1 1 1 9 1 8 L v Q i D o u Y o n g N i u Xi n e t a 1 R e mo t e s e n s i n g im a g e c l a s s i fic a 学兔兔 w w w x u e t u t u c o m 第 5 3卷 2 0 1 6盎 第 1期 1月 1 O 日 电测与仪表 El e c t r ica l M e a s u r e me n t I n s t r ume n t a Uo n V0 I 5 3 No 1 J a n 1 0 2 0 1 6 t io n b a s e d o n D B N m o d e l J J o u r n a l o f C o m p u t e r R e s e a r ch a n d D e v e l o p m e n t 2 0 1 4 5 1 9 1 9 1 1 1 9 1 8 3 黄晨晨 巩微 伏文龙 等 基于深度信念网络的语音情感识别 的研究 J 计算机研 究与发展 2 0 1 4 5 1 增刊 7 5 8 0 Hu a n g C h e n c h e n Go n g We i Fu W e n l o n g e t a 1 Re s e a r ch o f s p e e c h e m o t i o n r e co g n i t i o n b a s e d o n D B N s J J o u rn a l o f C o m p u t e r R e s e a r ch a n d D e v e l o p m e n t 2 0 1 4 5 1 S u p p 1 7 5 80 4 柴瑞敏 曹振基 基于改进的稀疏深度信念 网络的人脸识别 方法 J 计算 机应 用研究 2 0 1 5 3 2 8 C h a i R u im i n C a o Z h e n j i F a ce r e co gni t i o n a l g o rit h m b a s e d o n i m p r o v e d s p a r s e d e e p b e l i e f n e t w o r k s J A p p l i ca t i o n R e s e a r ch o f C o mp u t e r s 2 0 1 5 3 2 8 5 李晓龙 张兆翔 王蕴红 深度学习在航拍场景分类 中的应用 J 计算 机科学 与探 索 2 0 1 4 8 3 3 0 5 3 1 2 L i Xia o l o n g Z h a n g Z h a o x ia n g W a n g Yu n h o n g Ae ri a l ima g e s ca t e g o r i z a t i o n w i t h d e e p l e a r n i n g J J o u r n al o f F re n t i e r s o f C o m p u t e r S cie n ce a n d T e ch n o l o g y 2 0 1 4 8 3 3 0 5 3 1 2 6 郑毅 朱成璋 基于深度信念网络的P M 2 5 预测 J 山东大学 学报 工学版 2 0 1 4 4 4 6 1 9 45 Z h e n g Yi Zh u Ch e n g z h a n g A p r e d ict io n me t h o d o f a t mo s ph e ri c P M 2 5 b a s e d o n D B N s J J o u r n al o f s h a n d o n g u n i v e r s it y e n g i n e e rin g s ci e n ce 2 0 1 4 4 4 6 1 9 2 5 7 陈翠平 基于深度信 念网络的文本分 类算法 J 计算机 系统应 用 2 0 1 5 2 4 2 1 2 1 1 2 6 C h e n C u i p i n g T e x t ca t e g o riz a t i o n b a s e d o n d e e p b e l i e f n e t w o r k J C o mp u t e r S y s t e ms A p p l i ca t i o n s 2 0 1 5 2 4 2 1 2 1 1 2 6 8 王一 杨 俊安 刘辉 等 一种基 于层次结构 深度信念 网络的音 素识别方法 J 应用科学学报 2 0 1 4 3 2 5 5 1 5 5 2 2 Wa n g Yi Ya n g J u n a n L iu Hu i e t a1 Hie r a r ch ical s t r u ct u r e o f d e e p b e l i e f n e t w o r k f o r p h o n e m e reco g n i t i o n J J o u rnal o f A p p l ie d S ci e n ce s 2 0 1 4 3 2 5 5 1 5 5 2 2 9 Mo h a me d A D a h l G H i n t o n G Aco u s t i c mo d e l i n g u s i n g d e e p b e l i e f n e t w o r k s J I E E E T r a n s a ct i o n s o n A u d i o S p e e ch a n d L a n g u age P r o ce s s i n g 2 0 1 2 2 0 1 1 4 2 2 1 0 Ha n l i n G o h N i co l a s T h o m e Ma t t h i e u C o r d B ia s i n g r e s t rict e d b o l t z m a n n m a ch in e s t o m a n i p u l a t e l a t e n t s e l e ct iv i t y a n d s p a r s i t y c NI P S wo r k s h o p o n d e e p l e a rnin g a n d u n s u p e r v is e d f e a t u r e l e a r n in g 2 0 1 0 1 1 L u o H e n g S h e n R u i m i n N i u C h a n g y o n g e t a1 S p a r s e g r o u p r e s t r i ct e d b o l t z ma n n ma ch i n e s C P roce e d i n g s o f th e Na t i o n a l C o n f e r e n ce o n Ar t ificial I n t e l l ig e n ce S a n F r a n cis co AAAI 2 01 1 4 2 9 4 3 4 1 2 A n d r e w Ma a s A w n i Ha n n u n A n d r e w N g R e ct i fie r n o n l i n e a r it i e s i mp r o v e n e u r al n e t w o r k a co u s t i c mo d e l s c P r o ce e d i n g s o f t h e 3 0t h I n t e rn a t io n al C o n f e r e n ce o n Ma ch in e L e a r n in g At l a n t a J MLR 2 01 3 1 3 S e n i o r A X i n L e i F i n e co n t e x t lo w r ank s o h p l u s d e e p n e u r al n e t w o r k s fo r m o b i l e s p e e ch r e co gni t i o n C 2 0 1 4 I E E E I n t e rna t i o n al C o n f e ren ce o n Aco u s t ics S p e e ch an d S ig n al P r o ce s s in g Fl o r e n ce I CAS S P 2 01 4 7 6 4 4 7 6 4 8 1 4 R a n z a t o M H i n t o n G M o d e l i n g p i x e l m e a n s a n d co v a ria n ce s u s i n g f a ct o riz e d t h i r d o r d e r b o h z m a n n m a ch i n e s C P r o ce e d i n g s o f I E E E Co nfe ren ce o n C o mp u t e r Vis io n a n d P a t t e rn Re co gnit io n 2 0 1 0 2 5 5 1 2 5 5 8 1 5 C o u r v i l l e A B e r g s t r a J B e n g i o Y U n s u p e r v i s e d m o d e l s o f i m a g e s b y s p i k e a n d s l a b R B Ms C P r o ce e d i n g s o f t h e 2 8 t h I n t e rna t io n al Co nfe ren ce o n Ma ch in e Le a r n in g B e l l e v ue I CML 2 01 1 1 1 4 5 1 1 52 1 6 H L e e R G r o s s e R R a n g ana t h e t a1 U n s u p e