神经网络和应用

1、人工神经网络发展 萌芽期 阀值加权和模型 (MP模型） Hebb学习律 上世纪四十年代 第一次高潮期 电子线路模拟感知器 大规模投入研究 上世纪五六十年代 沉寂期 异或运算不可表示 多层感知器学习规 则不知 上世纪八十年代初 复兴期 Hopfield网络 BP神经网络 至今 生物神经元 神经元 细胞体 突起 树突 轴突 生物神经元构成 标准M-P模型图 v1 v4 v3 v2 vn i wi1 wi2 wi3 wi4 win F(ui) ui 标准M-P模型数学描述 神经元状态Ui = Wij * Vj - i j 神经元输出Vi = f（Ui） 阶跃函数Vi = f（Ui）= 1Ui0 0U

2、i=0 典型神经网络应用 自适应谐振理论（ART） 该模型主要包括ART1、ART2和ART3，它们可以对任意多和任意复杂的二维 模式进行自组织、自稳定和大规模并行处理。ART1主要用于二值输入，ART2和 ART3主要用于连续信号输入。该类模型主要用于模式识别（如雷达、声纳的信号 识别）。 缺点是对转换、失真及规模的变化较为敏感。 雪崩模型（Avalanche） 该类神经网络模型可以学习、 记忆和重现随机复杂度的时空模式。主要 用于连续的语音识别和教学机器人。 缺点是调节困难。 Hopfield神经网络模型 它是由相同处理单元构成的单层自联想网络模型。主要用于从片段中进行 图像和数据的完全恢

3、复。 典型神经网络应用 对流传播模型（CPN ） 该类神经网络模型是一种在功能上作为统计最优化和概率密度函数分析的网络 模型。主要用于图像压缩、统计分析、贷款应用打分。 缺点是对任何类型的问题均需大量的处理单元和连接。 反传神经网络模型（BP） 该类神经网络模型是一多层映射神经网络。采用的是最小均方差的学习 方式，是目前使用最广泛的神经网络模型之一。主要用于语言综合、语言识 别、自适应控制等。 缺点是它仅仅是有监督的一种学习方式，而且需要大量的输入、输出样 本。 神经网络分类 网络拓扑结构 反馈型网络 前向型网络 连续型网络 离散型网络 网络性能 学习方式 有监督型网络 无监督型网络 突触性质

4、 一阶线性网络 高阶非线性网络 误差反向传播网络（BP） 调整权值 误差反向传播过程实际上是通过计算输出层的误差ek，然后将其与输出层激活函数 的一阶导数f2相乘来求得ki 由于隐含层中没有直接给出目标矢量，所以利用输出层的ki反向传递来求出隐含层 权值的变化量w2ki。然后计算 同样通过将ei与该层激活函数的一阶导数f1相乘，而求得ij，以此求出前层权值的 变化量w1ij 如果前面还有隐含层，沿用上述同样方法依此类推，一直将输出误差ek逐层的反推 算到第一层为止 神经网络适用场景 1. 非典型解决方案 神经网络与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时 神经网络方法才能

5、显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表 示的系统,如故障诊断、特征提取和预测等问题,神经网络往往是最有利的工具。 2. 海量数据处理 神经网络对处理大量原始数据而不能用规则或公式描述的问题, 表现出极大的灵 活性和自适应性。 神经网络工具包 重量级工具 Matlab Joone Editor 构建网络很方便 更新滞后 Joone 例子丰富，提供很多种网络及工具 支持云计算 Encog For Java 神经网络工具包 - Joone 神经网络工具包 Encog For Java 意向度模型架构图 卖家买家买家 数据收集 偏好信息行为信息客户信息反馈信息 网站 模型管理 AN

6、N模型 数据预处理器 训练器 输出处理 营销匹配 意向度计算 模型训练 意向度模型应用场景 意向度模型 后台接待系统 访客 精准营销探头 浏览网站 计算 意向 度 访 客 识 别 模型优化 WEB IM 接待人员 聊天数据反馈 意向度数据模型 构造BP神经网络 选择BP神经网络， BP神经网络被广泛 采用，在大数据量处 理上具有很好的性能 构造神经网络 2. 确定隐含层节点数 量 1. 确定隐含层层数 3. 调整学习率、动量 4. 调整网络结构 RPROP（弹性BP），LM方法，标准BP 人工神经网络发展 萌芽期 阀值加权和模型 (MP模型） Hebb学习律 上世纪四十年代 第一次高潮期 电子线路模拟感知器 大规模投入研究 上世纪五六十年代 沉寂期 异或运算不可表示 多层感知器学习规 则不知 上世纪八十年代初 复兴期 Hopfield网络 BP神经网络 至今 生物神经元 神经元 细胞体 突起 树突