基于流形正则化的在线半监督极限学习机.pdf

第 4 9 卷 第 8期 2 0 1 5年 8月 上海交通大学学 报 J OURNAL OF S HANGHAI J I AO TONG UNI VERS 1 TY V0 I 4 9 NO 8 Au g 2 01 5 文 章编 号 1 0 0 6 2 4 6 7 2 0 1 5 0 8 1 1 5 3 0 6 1 1 6 7 DO I 1 0 1 6 1 8 3 j c n k i j s j t u 2 0 1 5 0 8 0 1 2 基于流形正则化的在线半监督极 限学习机 王 萍 王 迪 冯 伟 天津大学 电气与 自动化工程学院 天津 3 0 0 0 7 2 摘 要 在基 于流形正则化的半监督极 限学习机 S S E L M 的基础上 利用分块矩阵的运算法则 提 出了在线半监督极 限学习机 OS S E L M 方法 为避免在 实时学习的过程中由于数据 累积引起 的 内存 不足 通过 对 S S ELM 的 目标 函数 的流 形正 则 项 的近 似 给 出 了 OS S ELM 的近 似 算 法 OS S E L M b u f f e r 在 Ab a l o n e 数 据 集上 的 实验 显 示 O S S E L M b u f f e r 在 线 学 习的 累计 时 间与 所 处 理 的样 本 个数呈 线性 关 系 同时 9个 公共 数 据 集 上 的 实验 表 明 O S S E L M b u f f e r 的 泛 化 能 力与 S S E L M 的泛 化 能力的相 对偏 差在 1 以下 这 些 实验 结 果说 明 OS S E L M b u f f e r 不仅 解 决 了 内 存 问题 还在 基 本保持 S S E L M 泛化 能 力的 基础 上 大幅 度提 高 了在 线 学 习速 度 可 以 有 效 应 用 于 在 线半 监督 学 习 当中 关 键词 极 限学 习机 半监 督 学 习 在线 学 习 流形 正则化 中图分 类号 TP 1 8 3 文献 标 志码 A On l i n e Semi Su p er v i s e d Ex t r e me L ea r n i n g Ma c h i n e Ba s e d o n Ma n i f o l d Re g U l ar iZ a t i On W A NG Pi ng W AN G Di FENG W e i De p a r t me n t o f El e c t r i c a l En g i n e e r i n g a n d Au t o ma t i o n Ti a n j i n Un i v e r s i t y Ti a n j i n 3 0 0 0 7 2 Ch i n a Ab s t r a c t I n t h i s pa pe r wi t h t h e h e l p o f t he r u l e s of bl o c k m a t r i x mul t i pl i c a t i on a n o nl i n e s e mi s up e r v i s e d e x t r e me l e a r n i n g ma c h i n e OS S ELM wa s p r o p o s e d a c c o r d i n g t o s e mi s u p e r v i s e d e x t r e me l e a r n i n g ma c h i n e S S ELM b a s e d o n ma n i f o l d r e g u l a r i z a t i o n By t h e a n a l y s i s o f t h e ma n i f o I d r e g u l a r i z a t i o n t e r m o f t h e o b j e c t i v e f u n c t i o n o f S S ELM a k i n d o f a p p r o x i ma t i o n a l g o r i t h m o f OS S EL M n a me d OS S ELM b u f f e r wa s p r o p os e d t o a v oi d r u nn i ng ou t of me mo r y i n t he p r o c e s s o f on l i ne l e t r n i ng The l i n e a r r e l a t i on s hi p b e t we e n t h e s a mp l e n u mb e r a n d t h e c u mu l a t i v e r u n n i n g t i me o f t h e 0S S EL M b u f f e r wa s r e v e a l e d i n t h e e x p e r i me n t s u s i n g Ab a l o n e a n d t h e r e l a t i v e d e v i a t i o n o f t h e g e n e r a 1 i z a t i o n a b i l i t y o f t h e OS S EL M a n d t h e S S ELM i S l e s s t h a n 1 i n 9 p u b l i c d a t a s e t s wh i c h s h o w t h a t t h e 0S S ELM b u f f e r n o t o n l y s o l v e s t h e pr o bl e m o f l i m i t e d m e m o r y bu t a l s o i m p r ov e s t he s p e e d o f o nl i n e l e a r n i ng whi l e ke e pi n g t h e ge ne r a l i z a t i o n a b i l i t y o f S S EL M Th i s p r o v e s t h a t t h e OS S E LM b u f f e r c a n b e e f f e c t i v e l y a p p l i e d t o o n l i n e s e mi s u p e r v i s e d l e a r ni ng Ke y wo r d s e x t r e me l e a r n i ng ma c hi ne ELM s e m i s u pe r vi s e d l e a r n i ng on l i ne l e a r ni ng ma n i f o l d r e gul a r j z a t j o n 收稿 日期 2 0 1 4 0 9 1 9 基金项 目 2 0 1 4年度公益性行业 气象 科研专项 GYHY2 0 1 4 0 6 0 0 4 天津市面上基金项 目 1 4 J C Y B J C 2 1 8 O 0 资助 作者简介 王萍 1 9 5 5 女 河北省l临西县人 教授 主要研究方 向为模式识别方法 图像识别 运动对象跟踪 电话 T e 1 0 2 2 2 7 8 9 0 9 8 7 E ma i l w a n g p s t j u e d u c n 上 海 交通 大 学 学 报 第4 9 卷 为克服传统的 B P算法在训练单 隐层前馈神经 网络 s L F N 过程 中存在 的学 习速度慢 易陷于局 部极小等问题 文献 1 中首次提出一种快速 的训练 方法 由此 方法得 到 的 单 隐层 前 馈 神 经 网络 称 为 极 限学习机 E L M E L M 的主要特点是 隐层神经元 数 目很大 一般 1 0 0 0左右l 2 隐层参数 随机生成 隐层到输出层 的权值通过最小二乘 的方法求得 由 于其隐层参数不用训练 且需要人为调整 的参数很 少 使得 E L M 相 比于 由 B P单隐层神经网络和支持 向量机来 说 学 习速 度更 快 更 少 需 要 人 为 干 预 且 泛 化能 力基本 相 同或较好 这 些特 点 吸引 了大批 学 者对 E L M 的理 论 拓展及 应 用 展开 研 究 目前对 E L M 的研究 主 要集 中于监 督学 习 并 取得 了一 些很 好 的成果 2 刮 而 E L M 在 无监 督 及 半监 督 方 面研 究 较少 文献 I 9 1 中首 次 将 E L M 的监 督 半 监 督 及 无 监督 学 习统一 到一 个 框 架 中 提 出 了用 于 半 监督 学 习 的半监 督极 限学 习机 S e mi S u p e r v i s e d E L M S S E L M 并 实 验证 明了 S S E L M 的学 习能 力 半 监 督 学 习是 充 分 利用 已有信 息 通 过 少量 有 标签样本和大量无标签样本进行学习的方法 减少 或规避 了给样本标签产生的成本 更加贴近一些实 际应用和人们 自身的学习过程 1 在许多实 际应 用 中 无标 签数 据往往 是 大量 的 对 于 内存 有 限的计 算 机而 言 直接批 量学 习很 难 一 些应 用往 往要求 学 习机可 以对实时的数据进行处理和进行实时决策 这些都对在线半监督学习提 出了需求 本文在 对 S S E L M 研 究 的基础 上 提 出基 于 流 形正 则 化 的 在 线 半 监 督 极 限 学 习 机 On l i n e S S E L M OS S E L M O S S E L M 只需要 简单 的矩 阵递 推 即可 实现 在线 学 习 为 防 止 内 存 不 足 本 文 还 给 出 了 OS S E L M 的近似算法 OS S E L M b u f f e r 理论分析和 实验 表 明 0S S E L M b u f f e r 不仅解 决 了 内存 问题 还在 基本 保 持 S S E L M 泛 化 能力 的 基 础 上 大 幅 度 提高了学习速度 可以有效地应用于在线学习 1 oS S ELM 1 1 ELM 与 S S EL M 本文的分析均基 于单输出极限学习机 相关分 析可以很 自然地推广到多输出情形 单隐层单输出前馈神经网络通式口 为 M x 0 G x n J b j J 1 其 中 E R 为 自变量 口 E R E R b E R M E N 为参 数 G X 口 b 为 以 n b为 参 数 的激 活 函 数 G x a 6 一g a T 6 其 中g 为 s i g mo i d函 数 此类单隐层前馈神经网络是通用逼近器l 1 以 往对 神经 网络 逼 近 理论 的证 明是 在 网络 的 M 足 够 大并且参数 a 6 可以任意调节I 的前提下得到 的 很难指导实践 如何合理选取 M 并调节 a b j 在 实践 中面 临 困境 文献 5 中指出 若随机生成 口 b j 并使得 M 足 够大 则只需调节 即可使得单隐层前馈神经网络 逼 近任 意连续 函数 由此 引 出了下 面 的 称 为极 限学 习的学 习方法 给定容量为 z 的训练集 y Y Y X E R Y E R 参数 M 固定 并随机生成 M 组参 数 1 b 1 口 2 b 2 口 M b M 记 一 y E y z Y 1 G n 1 b 1 a T x 2 b 1 a T x z b 1 g a x 1 6 2 g a x 2 6 2 g n f 6 2 g a x 1 6 M g a x 2 6 M g a x f 6 M 则通过解优化问题 ra i n Il 邵 YII Il II 为矩阵的 F 一 范数 下同 得到最终的参数 卢 根据矩阵伪逆 的结论 该优 化 问题 的最小范 数解 卢 一G y 至 此极 限学 习机学 习完 毕 给 出 的 与 Y 的对 M 应关系Y 一 厂 一 g a x 由于只计算 卢 且结果只涉及 矩阵求伪逆和乘积运算 计算速 度很 快 可 以看 出 极 限学 习机 本 质 上 是将 维 空 间 的 映射 到 M 维空 间 的 g 一 g n b 1 g a x b 2 g a r x b M 并用 M 1维空间中过原点的超平面表示 g 与 Y 之间 的关 系 即 Y一 厂 一 g 由于该 算法在 固定 M 并 随机 生 成 a b 后 问 题求解就转化为一个线性 回归问题 Hu a n g又给出 了算法的岭回归版本 即将原优化 问题改为优化 问 题 ra i n C 1 r lf fI 其中c为正则化参数 用于权衡I G l ll 和模型复杂度 防止过拟合 其 等价于约束优化问题 ra i n IJ G YII lI B 其中 B 为 常 数 即 等 价 于 在 某 个 函 数 子 空 间 中 求 解 ra i n IJ G 卢 rlI 该优化问题也有矩阵公式 最终得到 的 函数表 达式 为 r 一 1 厂 一 g G 十G G 1 Y 一 U T 一 1 g f G T G G Y 第8 期 王 萍 等 基 于流形 正则化 的在 线半 监督 极 限学 习机 其 中 J为单 位矩 阵 l 2 S S E L M 能充分利用有标签和无标签样本进行 复杂 函数 的学 习 其 中基 于流 形 正 则 化 的 E L M 由 文献 9 中首次提出 其学习过程描述如下 给定一组有 标签样 本 R E R 及 一 组 无 标 签 样 本 E R 记 w 一 硼 为样 本 的相 似 矩阵 即 一 且若 置 与 越相似 则 叫 越大 本文 取 相 似 性 度 量 为 叫 一 e 一 一 2 z 其 中 为参数 D为对角阵 其第 i 个对角元素为 i 则 L D W 称为拉普拉斯矩 阵 对于一组好样本 和固定的 M S S E L M 首先随机生成 M 组参数 然 后通过解如下优化问题确定参数 卢 ra i n J c l vlf H L 1 式中 C 为超参数 为表述 方便 本文 只讨论 有 2 个超 参数 的情 形 G f g L g H n l b l n r z b 1 口 b 1 X1 2 g a x l 6 2 g a x 2 6 2 g C a T x 6 2 g a x 1 6 2 g a x 2 易 2 g a x 6 2 g a x l 6 M g a x 2 g a x 6 M g a x 1 6 M g a x 2 g a x 6 M 根据文献 9 及简单推导 可知上式的解 为 卢 一 J M C G G 2 H L H C G Y 式 中 J M为 M 阶单 位 阵 则 S S E L M 的输 出函数 为 g 一 g J M CG G H LH 一 C jG Y 2 1 2 O S s E L M 算法 在线半监督学习的数据 以数据流的形式传递给 学 习机 设 训 练数 据 流 为 z z z 其 中 E R Y E R 其 意 义 与 上文相同 为指示标志 其 为 1时 对学 习机可 见 即 有 标 签 为 0时 无标签 随着样 本一 个个 到来 学习机学到的函数 随之不断的改变 文献E 1 2 1 3 中指出 在线学习机的 目标就是在 t 很大 的情况 下 学 习机得 到 的 函数 和 一 次 给 足 容 量 为 t 的样 本 后用 批量 学 习算 法得 到 的 函数 基 本 相 同 即保 证 解 函数 的渐 进一 致 性 由于 S S E L M 的输 出 函数 为 式 2 给出的矩阵相乘的形式 用前 一1 个样本求得 的 S S E L M 的解函数与用前 t 个样本求得的解函数 存在递推关系 故在每一时刻 t 为解优化问题 1 无需使用批量 的 S S E L M 算法 而是采用递推 的方 法 这 便 是 下 文 要 给 出 的 O S S E L M 算 法 利 用 OS S E L M 保证 了在 线得 到 解 函数 与 批 量学 习算 法 得 到的 函数完 全一 致 自然也 保证 了渐 进一 致性 由文献 2 可知 对实际问题 E L M 的隐节点数 M 一般 取 足够 多 即可 如 1 0 0 0 所 以本 文 约 定 在 整个 在线 学 习的过程 中 M 为一 足够大 的常 数 记 g 一h E g a x b 1 g a 置 b z g a x b M G H 为 在前 t个数 据下优 化 1 得 到 的 P G H Q 一 G G 一H L H W D L 为 相应 的 w D L y 且 设 相似 矩 阵 w 为 对 称 矩 阵 并记 的第 i 个对 角元 素为 s 记 为 叫 即由第 t 个数据与前 f 一1 个数 据 的相似 性度 量 组 成 的列 向量 并 记 其 各 元 素 之和 为 s 且 记 f d i a g 1 f 2 l f 训f l 即 为依次以p 的各元素为对角线元素的对角矩阵 下面 给 出矩 阵 H G y 的递推 关 系 H 一 HT 一H r L H 一 H h D 一w H h 一 H r s s tW t t k HT J z p 1 以 踟 r 一 p 硼 J J H L 五 p H T Jz 一 L p s p j H 1 L 一 l H HT H 一 一h Ir p H 1 一 H 1 h h s p h 一 一 1 H 1 H 一 1 一 J l T p H 一H T p fh h 若在 t 时刻 一0 则有 G G l Q Q l Y y 1 若 一1 则有 G 一 G g Ir 一 G G 一 G g G T g 一 1 1 5 6 上 海 交 通 大 学 学 报 第4 9 卷 G G g g 一 Q g g Y 一 y 丁卜 以上便是建立 OS S E L M 算法所需要用到的递推关 系式 由式 2 知 确 定 了这组矩 阵 就 确定 了前 t 个 样本下 S S E L M 的输 出函数 该函数为 g M C G Y 记 一 l 日ll H 一 l 一 f l p H 一 日T l h h 3 至此 可给出如下 OS S E L M 的算法 1 输入隐层节 点数 M 随机 产生的 M 组 隐层参 数 参数 C 数 据 流 1 l 1 2 2 2 输出 t时刻 输 出解 函数 g I M C Q a G y 若 Y 为 空 则不 输 出 步骤 1 初始化各量 t 一0 G 一 Q H 一 一 Y 一 口为空矩阵 并约定任何矩阵 与空矩 阵相 加结果 为原 矩 阵 与 空 矩 阵相 乘 结 果 为 空 矩 阵 步骤 2 一 1 步骤 3 若 已接收到数据 则执行步 骤 4 否则 等待 步骤 4 若 一0 则 G 一G 一 1 Q 一Q Y 一 Y 若 一1 则 G 一 G g Q 一 Q g g Y 一 y l 一 一 一 1 输 出 g C CG r l H 一 日 矗 r 转 到 步骤 2 上述算法在 y 不空时可以准确输出式 1 在前 t 个样本下的解函数 无需迭代和近似计算 然 而 由于 每次 到来新样 本都 要计 算 p 算法 需 要储存所有的历史样本 以计算新样本与原来所有样 本 的相似关系 这在很大时将会导致内存不足 所以 无法用于实际的长时间的在线计算 由文献 1 2 1 4 可知 一种改进方法 抛弃较早 的历史样本 只保存 较近时间段的样本 新来 的样本 只计算与保存样本 的相似关系 并用于计算输 出函数 即文献 1 2 中提 到的 b u f f e r 方法 其中抛弃过程还考虑无标签样本 优先抛弃 以尽量保存有标签样本 另一种方法是用 一 些能够代表数据流形结构的代表元素代替历史样 本 新 的样本与这些代表元素参 与计算以得 到输 出 函数 本 文 给出 的改 进 算 法借 鉴 了 b u f f e r 的 思 想 设 学习机最多能储存 r个历史样本 以及 t 一1 时刻 对应 的 4个 矩 阵 G H Q H 一 在 t时刻 若 r 改进算法和上述算法相同 t r 则在对第 t 个样本完成相关计算后 若内存中存在无标签样本 则抛弃在内存中停 留时间最长的无标签样本 并删 除 H 中该样本对应的行 使 H 始终为 r行矩阵 若 内存中均为有标签样本 则抛弃停 留时间最长的样 本 并删除 G y 中该样本对应 的行 若 G 删除 了第 i 行元 素 g 为使 一 G 仍 成立 应 令 一 Q g T g 以上是 H G Q y 的更 新规 则 下 面 给 出 的更新 规则 由文献 9 中的式 1 1 知 对 前 f 一1 个样本 式 1 中流形 正则项 为 H L H 一 p一 叫 E g x 一g x J 1 l J 1 对前 t 个 样本 式 1 中流形正 则项 为 l Lt H t 一 一 E g x 一g x 1 J 所 以有 t 1 E g x p g x 卢 一 t 一 1 叫 g 一g x 一 z J 叫 E g x 一g 一 即前 t 个 样 本 的流 形 正 则 项 比前 t 一 1 个 样 本 大 反映 到解上 即 一 一 一 由 矿 t 一 H Z tHt一 h p Ht一 一 Hl p fh h T s o h 形式上 易知 若 HH 为上 文 提到 的 z 行矩 阵 即 HH 只对应 r 个样本 p f 为 与保存的 r个样本的 关系列向量 五 分别为p 各元素的和及以p 各 元素 为对 角元素 的对 角阵 则有 E g x g x 一 i 1 其中 的下标不是原始时刻的下标 而是和存储 顺序相关的下标 一 仍表示成式 3 只是右边 各 量含 义不 同 当保 留所 有 样 本 t时刻 正 则 化 项 的 增 量 是 一 个 求和 的形式 1 g g x 阳 一 t l 卜 1 一1 w g 置 一g x 4 第8 期 王 萍 等 基 于流 形正 则化 的在 线半监 督极 限 学 习机 将 看作 1 一1 出现的概率 则式 4 可以看作求 一1 叫 E g 一g 的 期望 若 将 保 留的 r个 值 看 做 对 的采 样 则 Z U E g x 卢 一 g x 卢 可作为式 4 的 一 i 1 个估计 所 以 在考虑内存情况下 且 t r时本文给 出 的 的更新 规则 为 一 一 一 其 中 一 为 原始 一 增量 的一个 估计 Z 至此 可给 出在 考 虑 内存 的情 况 下 OS S E L M 的算法 2 记作 OS S E L M b u f f e r 输入 隐层节点数 M 随机产生 的 M 组隐层参 数 参数 C 保存的数据个数 r 数据流 1 2 Y 2 2 t Y 输 出 t 时刻输 出式 1 的 近 似 解 g J M O G 若 Y 为空则不输 出 步骤 1 初始化各量 t一0 G 一 一 H 口 一 Y 一 步骤 2 一 十1 步骤 3若已接收到数据 则执行步 骤 4 否则等待 步骤 4 若 一0 则 G 一G 一QH Y 一 y 一 若 1 则 G G Q 一Q 一 g T g 一 y T 1 Y 若 r 转到步骤 5 否则转到步骤 6 步骤 5 一 一 一 输 出 g I M C G rr y H 一 H 转 到 步骤 2 1 步骤 6 一 一 r 输 出 g J M C Q c T Y H 一 H 若 一0 删除矩阵 H 中被抛弃样本对应 的行 若 一1 删 除 矩 阵 G H l 中被 抛 弃 样 本 对 应 的行 设 在 G 中该 行为 g 则令 一 g f g 转 到 步骤 2 算法 2可保证在内存有限的情况下实时的在线 学 习 对于多输出情况下 如对于 m维输 出 只需将 Y 改成相应的m 个列向量构成的矩阵 并将流形 正则项 改 成 t r H L 一 叫 ll g 一 g x 1 J 即可 其余 的论述过程及算法无需改变 需要说明的是 在本文与文献 6 1 2 1 4 中所提 到的在线学习算法 中 不考虑内存的算法均在理论 上能够保证与非在线算法解的一致性 文献 6 1 2 1 4 中只是保 证 了渐 进一致性 但 对考虑 内存 的 b u f f e r 算 法均 没 有严 格 的理 论 保 证 算 法 的 有效 性 需要通过实验加 以证实 2 实 验 S S E L M 的泛化 能力 已由文献 1 9 所 证 实 本 文 实验 的 目的 是 要说 明 S S E L M OS S E L M 和 0S E L M b u f f e r 的泛化 能力 几乎 相 同 并且 OS S E L M b u f f e r 大幅降低 了在线计算的时间 实 验 的设计 过程 参 照 了文 献 1 2 1 4 9个较 大 的数据集被用来测试算法 其中 No i s e C h e s s Ab a l o ne W a v e f or ml W a v e f o r m2 H a n dwr i t t e n S t a t l o g取 自 UC I 数据库 h t t p a r c h i v e i c s u c i e d u m1 B a l l o o n S p a c e g a 取 自 S t a t l i b数据 库 h t t p l i b s t a t c ruz e d u d a t a s e t s 数据集的说 明如 表 1所示 表 1 数据集说 明 Ta b 1 De t ai l s o f da t a s e I s 每个数据集的每个属性都先归一化到 一1 1 在每个数据集上进行 5次实验 每次实验随机将数 据集的 1 4用作测试集 其余用作训 练集 实验取 M 一1 0 0 0 r 一3 0 0 参 数 C 的选 取 方 式 见 文 献 E 1 3 每次实验从训 练集中随机挑选 2 的样本作 为有标签样本 其余为无标签样本 对训练集样本进 行无放 回抽样形成数据流 在每个时刻 学习机都要 上 海 交通 大 学 学 报 第4 9 卷 给出输出函数 并在测试集 中测试其泛化能力 其中 泛化能力用 测试集上 的均方 根误差 RMS E 来度 量 具体地 在 t 时刻 S S E L M 用所有 t 个样本计算 输出函数 OS S E L M OS S E L M b u f f e r 分 别按算 法 1 2计算输 出函数 算法在 2 9 3 Hz主频 4 G B 内存的计算机上用 MATL AB 2 0 1 3 b实现 图 1给出了 Ab a l o n e 数据集上各学习机的在线 学 习的累 计 时 间 从 图 中可 以很 清 楚 地 看 出 OS S E L M b u f f e r 的在线运行速度最快 且是线性的 这 是 因为 每 新 来 一 个样 本 后 OS S E L M b u f f e r 的计 算 时 间是 r 和 M 的 函数 而 两 者 均 为 常量 由此 看 出 0S S E L M b u f f e r 确实有很强 的实时处理数据 的能 力 图 1 在 Ab a l o n e上 的累 计 运 行 时 J 司 Fi g 1 C u mu l a t i v e r u n t i me i n Ab a l o n e c a s e 在所 有数据 集上 S S E L M 与 O S S E L M 的泛化 能力没有区别 这是 因为两者 的差异仅仅 源于数值 计 算 对 每个 数据 集 的每 个 时刻 记 录 OS S E L M 与 S S E L M 的泛化 能力 的 相 对 偏 差 即 OS S E L M 与 S S E L M 的 R MS E之 差 的绝 对 值 除 以 S E L M 的 RMS E 取 5次 实 验 中最 大 的 相对 偏 差 记 为 Ma x E r r o r 它用 以衡 量 O S S E L M 与 S S E L M 的泛 化能 力 的相对 差异 相关 结果 见表 2 表 2各数据集的 Ma x E r r o r Ta b 2 M a x e r r o r s o f da t a s e t s 数 据集 ma x e r r o r 数据集 ma x e r r o r No i s e 0 0 8 4 W a v e f o r m l 0 2 0 0 Ba l l o on 0 0 7 4 W a v e f o r m 2 0 1 7 0 S p a c e g a 0 41 0 H a nd wr i t t e n 0 2 6 0 Che s s 0 1 1 0 S t a t l o g 0 1 8 O Ab a l o n e 0 8 8 0 从 表 2中可 以 看 出 实 验 中 的 所 有 数 据 集 的 Ma x E r r o r 均在 1 以下 在 一 定 程度 上 说 明 OS S E L M 与 S S E L M 泛化 能力相差不 大 实验结果表 明 虽然 OS S E L M b u f f e r 舍弃 了部分样本 但其 得 到 的函数 与不 舍 弃样 本 的 S S E L M 得 到 的 函数 的泛 化 能 力 很 相 近 这 是 因 为 S S E L M 与 OS S E L M b u f f e r 的主 要 差异 在 于流 形 正 则 项 的不 同 而该项仅为一和式 故只需部分样本参 与计算就可 得 到该 项 的较准 确 的估 计 综合 以上实验结果可以看出 在实时学 习并预 测 的过程 中 OS S E L M b u f f e r 不 仅 在 泛 化 能力 上 与 S S E L M 基 本一 致 而 且 花费 的累计 时 问 与 t 呈 线性关 系 速度 以绝对 优势快 于 S S E L M 表现 出优 秀的实时处理数据的性能 3 结 语 针对 半监督 学 习存 在实 时处 理在线 数据 流 的需 求 本 文在 S S E L M 的基 础 上 提 出了 OS S E L M 给 出 了 其 在 内 存 有 限 情 形 下 的 近 似 算 法 OS S E L M b u f f e r 实验 结 果 表 明 O S S E L M b u f f e r 在 保 持 泛化能力的同时加快 了在线学习速度 克服了内存 不足的问题 有很强的实时处理数据的能力 在在线 学 习方 面表现 出 优秀 的性能 参 考文 献 Hu a n g G B Z h u Q Y S i e w C K Ex t r e me l e a r n i n g ma c h i n e A n e w l e a r n i n g s c h e me o f f e e d f o r wa r d n e u r a l n e t wo r k s C N e u r a l N e t w o r k s P r o c e e d i n g s o f 2 0 0 4 I EE E I n t e r n a t i o n a l J o i n t Co n f e r e n c e o n Bu d a p e s t I EEE 2 00 4 98 5 9 9 0 Hua n g G B Zhou H Di n g X e t a1 Ext r e me l e a r n i n g ma c hi ne f o r r e gr e s s i o n a nd mu l t i c l a s s c l a s s i f i c a t i o n J S y s t e ms Ma n a n d C y b e r n e t i c s P a r t B C y b e r n e t i c s I E EE T r a n s a c t i o n s o n 2 0 1 2 4 2 2 5 1 3 5 2 9 Hu a ng G B W a ng D H La n Y Ext r e me l e a r ni ng ma c h i n e s a s u r v e y J I n t e r n a t i o n a l J o u r n a l o f Ma c hi n e Le a r ni n g a nd Cy b e r ne t i c s 20 11 2 2 1 07 1 22 Hu a n g G B Z h u Q Y S i e w C K Ex t r e me l e a r n i n g ma c h i n e t h e o r y a n d a p p l i c a t i o n s J N e u r o c o mp u t i n g 2 0 0 6 7 0 1 4 8 9 5 0 1 H u a ng G B An i n s i ght i nt o e xt r e me l e a r ni ng ma c hi ne s Ra n do m ne ur o ns r a ndo m f e a t ur e s a nd k e r n e l s J C o g n i t i v e C o mp u t a t i o n 2 0 1 4 6 3 3 7 6 3 9 0 张弦 王宏力 局域极端学 习机及其在状态在线监 测中 的应用E J 上海交通大学学报 2 0 1 1 4 5 2 2 3 6 2 4 0 ZHANG Xi a n W ANG Hon g l i Lo c a l e xt r e me l e a r ni ng ma c hi ne a nd i t s a pp l i c a t i on t O c o ndi t i on o n l i n e mo n i t o r i n g J J o u r n a l o f S h a n g h a i J i a o t o n g U n i v e r s i t y 2 01 i 4 5 2 2 3 6 2 40 下转 第 1 1 6 7页 l 2 3 4 5 6 第8 期 王 进 等 基 于视觉的缩微智能车车道检测与控制 1 1 6 7 7 8 9 1 o 1 1 1 2 La k h o t i a A Go l c o n d a S Ma i d a A e t a 1 Ca j u n Bo t Ar c h i t e c t u r e a n d a l g o r i t h ms J J o u r n a l o f F i e l d R o b o t i c s 2 0 0 6 2 3 8 5 5 5 5 7 8 Ba i X Z Zh ou F G A uni f i e d f or m o f mul t i s c al e Top Ha t t r a ns f o r m b a s e d al g or i t hms f o r i ma ge p r o c e s s i n g J O p t i k I n t e r n a t i o n a i J o u r n a l f o r L i g h t a n d E l e c t r o n Op t i c s 2 0 1 3 1 2 4 1 3 1 6 1 4 1 6 1 9 金辉 吴乐林 陈慧岩 等 结构化 道路车道线识别 的 一 种改进算法 J 北 京理工大 学学报 2 0 0 7 2 7 6 5 01 50 5 J I N Hu i WU Le l i n CHEN Hu i y a n e t a 1 An i mpr ov e d al g or i t h m f o r t he l a ne r e c og ni t i on o f s t r u e t u r e d r o a d J T r a n s a c t i o n s o f B e U i n g I n s t i t u t e o f T e c h n o l o g y 2 0 0 7 2 7 6 5 0 1 5 0 5 Tr u o n g Q B Le e B R Ne w l a n e d e t e c t i o n a l g o r i t h m f o r a u t o n o mo u s v e h i c l e s u s i n g c o mp u t e r v i s i o n C Pr oc e e d i ng s o f t h e 20 08 I EEE I nt e r n at i o na l Con f e r e nc e o n Co nt r o l Aut oma t i o n a nd Sy s t e ms I CCAS 2 00 8 Pi s c a t a wa y I EEE 2 00 8 12 08 12 1 3 F a n C Z h a n g R Xu J B e t a 1 Re s e a r c h o n t h e l a n e d e t e c t i o n a l g o r i t h m b a s e d o n c r o s s e n t r o p y J J o u r n a i o f Co mp u t a t i o n a l I n f o r ma t i o n S y s t e ms 2 0 1 3 9 7 2 66 7 2 67 4 陈龙 李 清泉 毛 庆洲 基 于成 像模 型 的车道线 检测 与跟踪方法 J 中国公路学报 2 0 1 2 2 4 6 9 6 1 0 2 1 3 1 4 1 5 1 6 1 7 CHEN Lo n g LI Qi n g q u a n MA0 Qi n g z h o u L a n e d e t e c t i o n a n d f o l l o wi n g a l g o r i t h m b a s e d o n i ma g i n g Mo d e J C h i n a J o u r n a l o f H i g h w a y a n d T r a n s p o r t 2 O 1 2 2 4 6 9 6 1 0 2 Mo h a me d A C a l t e c h l a n e s d a t a s e t E B OL 2 o 1 l O 6 2 9 2 0 1 3 0 7 0 1 h t t p ww w v i s i o n c a l t e c h e d u ma l a a d a t a s e t s c a l t e c h l a n e s C MU VAs c i ma g e d a t a b a s e E B 0 L 1 9 9 0 0 5 3 0 2 0 1 3 0 7 0 1 h t t p v a s c r i c mu e d u i d b h t ml r o a d i n d e x h t m 1 Re n W At k i n s E Di s t r i b u t e d mu l t i v e h i c l e c o o r d i n a t e d c o n t r o l v i a l o c a l i n f o r ma t i o n e x c h a n g e J I n t e r n a t i o n a l J o u r n a l o f Ro b u s t a n d No n l i n e a r Co n t r o l 2 0 0 7 1 7 1 0 1 1 1 0 0 2 1 0 3 3 彭新 荣 杨 明 谢强 德 等 一 种基 于可靠 预约 A L O HA 的智能车多车协作 通信 协议 J 上海 交通 大学 学 报 2 0 1 0 4 4 9 1 2 1 1 1 2 1 6 P E NG Xi n r o n g YANG Mi n g E Qi a n g d e e t a 1 An i n t e r v e hi c l e c o mmun i c a t i o n p r o t o c ol f o r mu l t i v e hi c l e c o o p e r a t i o n b a s e d o n R R AL OH A J J o u r n a l o f S h a n g h a i J i a o t o n g Un i v e r s i t y 2 0 1 0 4 4 9 1 2 1 1 1 2 1 6 周俊 姬长英 智能 车辆横 向控制研 究 J 机器 人 2 0 0 3 2 5 1 2 6 3 0 Z HOU J u n J I Ch a n g y i n g La t e r a l c o n t r o l o f i n t e l l i g e n t v e h i c l e J R o b o t 2 0 0 3 2 5 1 2 6 3 0 上 接第 1 1 5 8页 7 刘学艺 李平 郜传厚 极限学习机的快速留一交叉验证 算法 J 上海交通大学学报 2 0 1 1 4 5 8 1 1 4 0 1 1 4 5 LI U Xue y i LI Pi n g GAO Chua n hou Fa s t l e a ve o n e o u t c r o s s v a l i d a t i o n a l g o r i t h m f o r e x t r e me l e a r n i n g ma c h i n e J J o u r n a l o f S h a n g h a i J i a o t o n g U n i v e r s i t