第07章 神经网络

第七章

神经网络

学习目标通过本章学习,学员应该能够:(1)了解什么是神经网络;(2)了解BP神经网络;(3)掌握如何用PythonKeras库建立神经网络;(4)掌握卷积神经网络。

引导案例联合国数据显示，2016年美国每十万人就有5.35人被谋杀,而中国每十万人只有0.62人,美国的谋杀案大约是中国的9倍。中国之所以这么安全,一定程度上归功于我国全球最大的视频监控系统“中国天网”,视频镜头超过2000万个。以深圳为例,天网工程建立后,报案量从2012年59.4万件降到了2017年的20.5万件,5年时间里案件减少超过一半。当美国人还在纠结于监控侵犯隐私的时候,中国的天网工程已经为人民安全保驾护航。该工程不仅在中国全面普及,其技术更是处于世界领先水平,特别体现在人工智能和大数据的警务预测应用上。其人脸识别系统能够对人脸进行精准、快速的侦别,能在1秒内将实时照片与公安网上逃犯数据库中的数十万条数据进行比对,一旦发现逃犯,警务室内的警报系统会立即启动,并在屏幕上显示出网上逃犯的信息、逃犯号、人像照等信息,为警方提供了极大的便利和效率。资料来源:https://www.163.com/dy/article/G3TV8C2C0532EXP1.html。3刘军机器学习与商务决策清华大学出版社神经网络概述多层感知机反向传播算法深度神经网络深度神经网络神经网络算法应用案例神经网络概述1.1神经网络神经网络是一种基于许多连接的处理单元或节点的信息处理系统，可以看作是一个有输入（源）、输出（汇聚）和隐藏（内部）节点的有向图。右图是一个简单的3层神经网络，一个输入层4个神经元，一个输出层3个神经元，一个隐藏层6个神经元。通过比较这两幅图，我们可以发现神经元的树突表示为输入节点，细胞核表示隐藏节点对数据进行处理，并将计算出的输出通过轴突转发。树突的宽度与每个输入数据相关联的权重成正比。6刘军机器学习与商务决策清华大学出版社1.2人工神经元模型受生物神经元的启发，1943年心理学家McCulloch与数学家Pitts提出了人工神经元模型77刘军机器学习与商务决策清华大学出版社1.3神经网络与其他的关系神经网络构成了深度学习的核心，深度学习是机器学习领域的一个重要分支。神经网络不仅是深度学习算法的基本构建模块，而且它们在解决各种复杂的数据密集型问题中发挥着关键作用。它们能够高效地处理和分析海量数据，例如对数十亿图像进行分类、提升语音识别技术的准确性，以及为用户推荐最适合的视频内容。通过这些功能，神经网络极大地推动了人工智能在多个领域的应用和发展。刘军机器学习与商务决策清华大学出版社8多层感知机2.1感知机感知机(perceptrons)可以被认为是神经网络的基础，它是由弗兰克·罗森布拉特在1957年发明的。它是最早的神经网络,可以视为一种最简单的前馈式人工神经网络,是一种二元分类器,只能用于实现线性可分分类。感知机的基本原理是通过计算输入特征的线性组合，然后使用激活函数对结果进行二分类。10刘军机器学习与商务决策清华大学出版社2.2多层感知机多层感知机（Multi-layerPerceptrons，MLP），有时被称为前馈神经网络，通常由两层或更多的非线性激活节点组成，这些节点比单一感知机具有更大的处理能力来处理更复杂的决策问题。MLP也可以看作是多个感知机的网络，可以说，如果一个神经网络中有两层或更多层，它是一个多层感知机，否则，它应该被称为单一感知机。一个具有多个隐藏层的MLP可以被称为更深层次的MLP。刘军机器学习与商务决策清华大学出版社11反向传播算法3.1反向传播算法反向传播（Backpropagation，BP）算法，也称为误差的反向传播算法，是大卫•鲁梅尔哈特（David

Rumelhart）、杰弗里•辛顿（Geoffrey

Hinton）和罗纳德•威廉姆斯（Ronald

Williams）在1986年提出的。BP算法由输入层、隐藏层、输出层组成。刘军机器学习与商务决策清华大学出版社133.1反向传播算法BP算法的过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；第二阶段是误差的反向传播，从输出层到隐含层，最后到输入层，依次调节隐含层到输出层以及输入层到隐藏层的权重、偏置权重和偏置。我们以产品投放为例简要说明BP算法核心。某厂商生产一种产品，投放到市场之后得到了消费者的反馈，根据消费者的反馈，厂商对产品进一步升级，优化，一直循环往复，直到实现最终目的——生产出让消费者更满意的产品。产品投放就是“信号的前向传播”，消费者的反馈就是“误差的反向传播”。刘军机器学习与商务决策清华大学出版社143.2激活函数1．阶跃函数

2．sigmoid函数3.tanh函数4.ReLU函数刘军机器学习与商务决策清华大学出版社153.3损失函数均方误差(MSE)交叉熵损失散度损失刘军机器学习与商务决策清华大学出版社16深度神经网络4.1卷积神经网络卷积神经网络（ConvolutionalNeuralNetworks，CNN）以其在计算机视觉和图像识别领域的出色表现而闻名。刘军机器学习与商务决策清华大学出版社184.1卷积神经网络19刘军机器学习与商务决策清华大学出版社CNN中会有4种主要操作•卷积(convolution)•非线性操作(ReLU)•池化或子采样(pooling)•全连接(fullyconnected）

4.2递归神经网络递归神经网络（RecursiveNeuralNetworks，RNN）是一种深度学习算法，源自前馈神经网络，用于处理连续数据，如自然语言、语音记录、视频、音频或不断发生的多个事件。基本的RNN（也称为香草RNN）是一个由神经元节点组成的网络，被组织成连续的层。刘军机器学习与商务决策清华大学出版社20用PythonKeras库建立神经网络5.1Keras模型Keras是一个用Python编写的深度学习API,运行在机器学习平台TensorFlow之上。Keras有两类主要的模型：Sequential顺序模型和函数式API的Model类模型。Sequential顺序模型适用于简单的线性堆叠模型，如全连接网络和卷积神经网络。函数式API适用于更加复杂的模型，如多输入、多输出和共享层的模型，它允许用户定义任意的网络结构，可以构建非常灵活的模型。Sequential顺序模型允许用户以顺序方式构建神经网络，无需手动配置神经网络图的连接。函

数为Sequential(layers)。函数式API是一种图形模型，用户可以通过定义输入和输出来构建网络。刘军机器学习与商务决策清华大学出版社225.2神经网络层(1)常用层Dense层:全连接层,构造函数：Flatten层:拉平层,构造函数：23刘军机器学习与商务决策清华大学出版社5.2神经网络层(2)卷积层Conv1D:一维卷积层,构造函数：Conv2D:二维卷积层,构造函数：

24刘军机器学习与商务决策清华大学出版社5.2神经网络层(3)池化层MaxPooling1D:对时域1D信号进行最大值池化,构造函数：MaxPooling2D:为空域信号施加最大值池化,构造函数：25刘军机器学习与商务决策清华大学出版社

神经网络算法应用案例

案例1：房价预测——基于神经网络的商务决策随着经济的不断发展和人口的增长，房地产市场一直是社会关注的热点之一。房价预测作为该领域的关键研究方向，对于个人和整体经济决策均具有深远影响。对个人而言，购房决策涉及重大经济投入，房价预测能够揭示未来房价走势的信息，帮助个人做出明智的购房决策。房地产市场的健康发展对于国家经济的稳定和可持续发展具有重要的意义。政府需紧密关注房价走势，结合预测数据，科学制定调控和税收政策，以确保房地产市场的平稳有序发展。本案例选用了Kaggle平台上的房价项目。

刘军机器学习与商务决策清华大学出版社27案例2：图像识别——基于卷积神经网络的的商务决策在商务决策中，图像识别技术正展现出其广泛的应用价值。通过精准的图像识别，企业能够高效地辅助商品库存管理、实时监控、客流量分