【低密度奇偶校验码（LDPC码）与神经网络理论基础概述5400字】_第1页
【低密度奇偶校验码（LDPC码）与神经网络理论基础概述5400字】_第2页
【低密度奇偶校验码（LDPC码）与神经网络理论基础概述5400字】_第3页
【低密度奇偶校验码（LDPC码）与神经网络理论基础概述5400字】_第4页
【低密度奇偶校验码（LDPC码）与神经网络理论基础概述5400字】_第5页
已阅读5页，还剩10页未读， 继续免费阅读

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

低密度奇偶校验码（LDPC码）与神经网络理论基础概述目录TOC\o"1-3"\h\u297401.1LDPC码理论 [13]。2、Tanh函数 Tanh函数的表达式是： tanh相比于Sigmoid函数，Tanh函数是以0为中心的，与Sigmoid函数相同，Tanh函数也存在饱和问题，但Tanh函数的优点是相比于Sigmoid函数，它在反向传播算法中收敛速度更快，且定义域和值域都是关于原点对称的3、ReLU函数 ReLU函数的表达式是 y=相较于Sigmoid函数和Tanh函数，ReLU函数由于其部分线性和非饱和形式的特点收敛速度更快，而且可以缓解神经网络反向传播时的梯度消失问题，缺点就是当x<0时会导致部分神经元输出为0，无法改变权重w，造成神经元的死亡。损失函数损失函数是神经网络训练的反馈信号，将神经网络的输出值与预期值通过损失函数进行计算，计算结果反映的就是预神经网络预测值与真实值之间的差距，差距越小，模型的性能越好，数据还原度越高。处理不同的问题使用的神经网络也有所不同，所以适用的损失函数也有所不同，最终训练出来的神经网络性能也有所不同。常用的神经网络损失函数是均方误差损失函数和交叉熵损失函数。1、均方误差损失函数（MSE）均方误差损失函数常用于回归问题，其表达式是：MSE 均方误差的含义是求一个batch中n个样本的输出值y与期望输出y'2、交叉熵损失函数 交叉熵损失函数常用于分类问题中，交叉熵描述的就是两个概率分布之间的距离，距离越小表示这两个概率越相近，越大表示两个概率差异越大。对于两个概率分布p和q，使用q来表示p的交叉熵为： H上式表示的物理意义是使用概率分布q来表示概率分布p的困难程序，q是预测值，p是期望值。在神经网络中，可以通过Softmax回归将输出值变成概率分布，然后对于处理后的结果就可以使用交叉熵函数计算loss了，在tensorflow中将两者封装，构成tf.nn.softmax_cross_entropy_with_logits函数，可用于直接计算loss。优化器优化器的作用就是根据损失函数计算出来的loss值按照一定的算法来更新网络权重，常常目标是使loss最小化。优化器的种类有很多，适用环境和优劣也有所不同。最基础的优化器就是梯度下降（GradientDescent，GD）优化器，但其可能会陷入局部最小值，由于LDPC码的稀疏特性，可考虑使用自适应学习率算法的自适应梯度算法（Adaptivegradientalgorithm，Adagrad）或者自适应矩估计

人人文库> 全部分类> 行业资料 > 工业设计

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论