二进前向网络的分类超平面理论

1、二进前向网络的分类超平面理论    【中文题名】 二进前向网络的分类超平面理论【英文题名】 Classification Hyperplane Theory for the Analysis of Binary Feedforward Neural Networks 【中文摘要】 本文提出并建立了一整套对二进前向网络分类能力进行研究的分类超平面理论，系统地解决了前向网络研究中一个困难的公开问题：二进前向网络的分类能力问题，亦即n元Boole函数非线性分类复杂度的最小上界问题，同时进行了一系列有关问题的研究，这些研究结果为二进前向网络隐节点数目的设计和稳健

2、二进前向网络的设计提供了重要的理论依据。 造成这一问题难解的主要原因是它是一个高维空间中的强非线性问题，而关于二进前向网络的非线性分类行为目前还知之甚少。本文则从一个全新的角度，通过开创性地引入一系列新概念，系统地彻 【英文摘要】 This dissertation constructs a classification hyperplane theory for the analysis of binary feedforward neural networks (BNNs), and solves systemmatically one of public problems of most

3、 difficulty in the theory of feedforward neural networks, a so called classification capability of BNNs, which is strongly associated with the least upper bound (LU B) of the number of hidden neurons required in the network. The solid theoretical fundamentals are presented in 【中文关键词】 二进前向网络隐节点数目的最小上

4、界. 分类超平面稳健分类超平面. Boole函 数的分类复杂度稳健分类复杂度平行分类复杂度稳健平行分类复杂度. 稳健分类超 平面对的反向距. 稳健分类超平面的余地. 稳健分类超平面对的退化. 平行模式分类超 平面系的平行退化. 分类超平面系的退化. 【英文关键词】 the Least Upper Bound (LUB) of the Number of Hidden Neurons in Binary Feedforward Neural Networks (BNNs). Classification Hyperplane (CH )/Robust Classification Hyperpl

5、ane (RCH). Classification Complexity/Robust Classification Complexity/Parallel Classification Complexity/Robust Parallel Classification Complexity of a Boolean Function. Signed-distance of a pair of RCHs. Leeway of an RCH. Degeneration of a pair of RCHs. Parallel Degeneration of a system of CHs in P

6、arallel Pattern. Degeneration of a system of CHs. 【论文级别】 博士 【学科专业名称】 信号与信息处理 【论文提交日期】 1998-02-01 内容提要 3-6 英文摘要 6-13 第一章 绪 论 13-33 11 前向网络的研究概况 13-14 12 二进前向网络的研究现状 14-18 121 网络的分类能力 15-17 122 网络的分类行为与稳建性能 17-18 123 网络的训练 18-19 13 本文有关的约定、名词和术语 18-21 131 前向网络与二进前向网络 19-19 132 前向网络用于分类与分类超平面 19-20 133

7、 二进前向网络与单位超立方体顶点着色、Boole函数 20-21 134 二进前向网络的性能指标 21-21 14 本文的意义和创新之处 21-27 141 研究的意义 21-22 142 基本问题和难点 22-23 143 本文的基本方法和创新之处 23-34 15 本文的内容安排 27-29 参考文献 29-33 第二章 二进前向网络的最稳健设计 33-46 21 引言 33-34 22 基本逻辑的稳健神经网络设计 34-37 221 逻辑与运算的稳健神经网络设计 34-35 222 逻辑或运算的稳健神经网络设计 35-36 223 逻辑非运算的稳健神经网络设计 36-38 23 网络结构

8、与稳健性能 37-41 231 单隐层稳健网络设计及其稳健性能分析 38-39 232 实现Boole函数的最稳健网络设计 39-81 24 仿真实验与结果 41-44 参考文献 44-46 第三章 稳健分类与稳健分类超平面（一阶稳健可分问题研究） 46-58 31 引言 46-48 32 分类复杂度和稳健分类复杂度 48-51 33 稳健分类超平面 51-53 34 稳健分类超平面的辅阈值区域特性 53-56 参考文献 56-58 第四章 两个稳健分类超平面的反向距（2阶稳健可分问题研究） 58-68 41 引言 58-59 42 两个分类超平面的反向距 59-60 43 对偶原理 60-6

9、1 44 反向距与二阶稳健可分的关系 61-64 45 两个稳健分类超平面的辅阈值约束特性 64-65 46 稳健分类超平面系的基本模式 65-66 参考文献 66-68 第五章 隐空间分类超平面的构造（k阶可分问题研究） 68-79 51 引言 68-69 52 分类超平面的反转对隐空间分类超平面的影响 69-70 53 模式对调对隐空间分类超平面的影响 70-70 54 隐空间稳健分类超平面的构造 70-74 55 基于稳健二进前向网络的逻辑规则提取 74-76 参考文献 76-79 第六章 稳健分类超平面对的退化和稳健退化 79-101 61 引言 79-80 62 讨论退化条件的准备

10、80-83 621 退化的可能形式 81-82 622 红色顶点集之间的关系 82-82 623 使可能退化为的分类超平面的红色顶点集最小的条件 82-83 63 两个稳健分类超平面的退化 83-91 631 退化的形式 83-87 632 退化的充分条件 87-89 633 不可退化的必要条件 89-91 64 两个稳健分类超平面的稳健退化 91-99 641 稳健退化后的形式 91-95 642 稳健退化的充要条件 95-135 参考文献 99-101 第七章 稳健分类超平面系的构造 101-120 71 引言 101-102 72 稳健分类超平面的余地 102-104 73 稳健分类超平

11、面的构造条件 104-107 74 稳健分类超平面的构造规则 107-112 75 满足构造条件的稳健分类超平面的计数 112-114 76 满足构造条件的稳健分类超平面系举例 114-117 参考文献 117-120 第八章 （稳健）分类超平面系的（稳健）平行退化 120-134 81 （稳健）平行退化的引入 120-121 82 相邻4个稳健分类超平面的（稳健）平行退化 121-126 83 任意相邻4个稳健分类超平面都不可（稳健）平行退化稳健分类超平面系的构造 126-128 84 （稳健）分类超平面系的（稳健）平行退化 128-132 参考文献 132-134 第九章 Boole函数平

12、行分类/稳健平行分类复杂度的最小上界 134-151 91 引言 134-134 92 插入稳健分类超平面/分类超平面的可能性 134-141 921 稳健分类超平面的插入 135-136 922 反向距概念的拓展 136-137 923 分类超平面的插入 137-152 93 Boole函数稳健平行分类/平行分类复杂度的最小上界 141-146 参考文献 146-151 第十章 分类超平面系的一般模式及其（稳健）可分性 151-168 101 引言 151-151 102 分类超平面系的一般模式 151-152 103 分类超平面系的可分性 152-160 1031 处于模式一的分类超平面系

13、的可分性 152-156 1032 处于模式二的分类超平面系的可分性 156-159 1033 几种典型分类超平面系的可分性 159-209 104 平行模式分类超平面系退化为其它模式举例 160-161 参考文献 161-168 第十一章 Boole函数分类复杂度的最小上界 168-186 111 引言 168-169 112 一组收一扩过程对分类超平面系数和辅阈值的影响 169-172 113 2n3个稳健分类超平面所对应的Boole函数的分类复杂度 172-175 114 （稳健）分类复杂度最大的Boole函数的构造 175-178 115 （稳健）分类复杂度最大的Boole函数的计数

14、178-179 参考文献 179-186 第十二章 关于二进前向网络隐节点数的实验研究 186-197 121 引言 186-187 122 基于BP训练方法的实验与结果 187-189 123 基于其它训练算法的实验结果 189-191 124 讨论 191-192 参考文献 192-197 第十三章 结论与进一步研究的方向 197-203 131 全文结论 197-199 132 进一步研究的方向 199-201 参考文献 201-203 附录A 稳健线性可分Boole函数的一些计数性质 203-207 A1 稳健分类超平面方程的几种变形 203-204 A2 稳健线性可分的一些计数性质 204-205 A3 稳健线性可分Boole函数的计数 205-206 参考文献 206-207 附录B 稳健二进前向网络的遗传训练方法 207-215 B1 引 言 207-207 B2 稳健分类超平面方程的进一步改进 207-209 B3 遗传编码与操作 209-211 B31 编码结构与操作 209-210 B32 优化指标 210-210 B33 适应度函数设计 210-211 B34 变异操作 211-216 B4 实验研究与结果 211-212 参考文献 212-215 附