神经网络算法.pptVIP

神经网络算法 丁一杰石嫣然丁志浩贾斐然 算法发展历史 1943年 心理学家McCulloch和数学家Pitts参考了生物神经元的结构 发表了抽象的神经元模型MP 1949年 心理学家Hebb提出了Hebb学习率 认为人脑神经细胞的突触 也就是连接 上的强度上可以变化的 1958年 计算科学家Rosenblatt提出了由两层神经元组成的神经网络 1969年 Minsky出版了一本叫 Perceptron 的书 里面用详细的数学证明了感知器的弱点 尤其是感知器对XOR 异或 这样的简单分类任务都无法解决 1986年 Rumelhar和Hinton等人提出了反向传播 Backpropagation BP 算法 解决了两层神经网络所需要的复杂计算量问题 2006年 Hinton在 Science 和相关期刊上发表了论文 首次提出了 深度信念网络 的概念 MP模型 权重是已知的 不能进行学习 只能处理简单的线性问题 两层神经元网络 两层神经元网络 又称感受器 起初得到热捧 感知器的作用和缺陷 感受器可以方便地处理线性问题 但是无法有效解决与或非问题 BP神经网络 虽然增加层数能够解决与或非问题 但是计算量是一个巨大的问题 向后计算法 BP 的出现 解决了计算量的问题 使神经网络算法得到了推广 BP模型对数据的处理结果 但是BP模型计算时间太长受到了诟病 很快被支持向量机取代 多层神经网络 首先 通过预训练 得到接近最优解的权重 这样可以节约计算的时间 再者 多层网络学习可以比一般网络容纳更多的参数 结果可以更精确 神经网络BP模型算法原理 信号处理激活函数数据训练 向后传递法 信号处理 归一化处理1 最大 最小标准化2 Z score标准化 通常是为了把数据限制在 0 1 范围内 而且也是为了减小奇异数据对整体的影响 激活函数 激活函数就是人工神经元处理输入信息并信息传递的机制 选择使用非线性函数 可以更适用特定的学习任务 数据训练 向后算法 通过输出信号与真实值的差异 修改权重来减小误差 其中利用的梯度下降法 是利用每一个神经元的激活函数来确定输入方向上的权重 以找到合适的权重该变量 实例讲解 基于论文 anextensibleneuralnetworkpotentialwithDFTaccuracyatforcefieldcomputationalcost 原理对水分子的分析 数据处理 输入的数据是不同状态下分子中各原子的坐标 以此得到表示不同原子环境的向量Gi f函数是一类终止函数 减小半径过大异常的数据对结果的而影响 以及舍去半径超过Rc 默认不成共价键的数据 激活函数 半径对称函数 其中 是改变高斯分布宽度的参数 Rs是分布的位移参数 角度对称函数 是改变高度的参数 s是角度位移的参数 Model 神经网络算法训练之后得到的数据与计算化学中算法 DFT 泛函理论 之间的拟合程度 意义 可以看出神经网络算法在计算化学中有着重要的前景 它有效地弥补如今DFT 泛函理论 SE 半经验算法 的不足 此外 已有化学家想通过深度学习来扩大计算机算法在化学中的应用 比如有研究人员多层神经网络实现对有机全合成的预测 未来 神经网络会在化学领域有更大的应用 我们这次工作的努力是为了探究神经网络算法 复现论文中的算法在水分子能量计算的应用 只是可惜受限于水平 无法复制论文中用蒙特卡洛法改变分子模型得到随机数据的程序 只能用50组数据象征性地训练一下 Reference 1 数据归一化处理 神经网络与深度学习之激活函数anextensibleneuralnetworkpotentialwithDFTaccuracyatforcefieldcomputationalcost ChemicalScience 2017