深度学习基础与实践 课件 2.3.1深度学习基本原理V2

深度学习基本原理深度学习基本原理01深度学习任务深度学习算法是一种能够从数据中学习的算法。能够解决一些人为设计和使用确定性程序很难解决的问题。常见的深度学习任务包括：1、分类任务：通过计算机程序判别输入数据属于k类中的哪一类。如猫狗分类、数字识别。2、回归任务：通过计算机程序对输入的特定事件进行预测。如特定时间的房价预测。3、异常检测：通过计算机程序检测特定的事件。如信用卡欺诈检测，不合格产品检测。4、机器翻译：输入一种语言，通过计算机程序转化为另一种语言，媒体形式可能是声音也可能是文字。深度学习的主要挑战是模型必须在未见的样本上表现良好，而不是只在训练集上表现良好，也就是说需要泛化误差（不可直接获得）越小越好。01深度学习基本原理x1x2y000010100111单个神经元(感知器)我们设计一个感知器，让它来实现与（and）运算y=𝑓(𝑤1.𝑥1+𝑤2.𝑥2+𝑏)01深度学习基本原理x1x2y000010100111单个神经元(感知器)我们设计一个感知器，让它来实现与（and）运算𝟏,𝒇 𝒛 =

𝟎,y=𝑓(𝑤1.𝑥1+𝑤2.𝑥2+𝑏)我们如果选择阶跃函数作为激活函数。𝒛>

𝟎其他思考：如果是或运算，还能用这个感知器来实现吗？具体应该如何设计？01深度学习基本原理x1x2y000010100111单个神经元(感知器)我们设计一个感知器，让它来实现与（and）运算𝟏,𝒇 𝒛 =

𝟎,y=𝑓(𝑤1.𝑥1+𝑤2.𝑥2+𝑏)我们如果选择阶跃函数作为激活函数。𝒛>

𝟎其他如果选择:𝑤1=0.5;

𝑤2=0.5;

𝑏=-0.8进行验证当x1=x2=0时，y=f(-0.8)=0;当x1=1，x2=0时，y=f(-0.3)=0;当x1=0，x2=1时，y=f(-0.3)=0;当x1=x2=1时，y=f(0.2)=1;思考：如果是或运算，还能用这个感知器来实现吗？具体应该如何设计？01深度学习基本原理模型验证——留出法将数据随机分为两部分，比如选择70%的数据作为训练数据，剩下的30%数据作为测试数数据。使用训练数据集训练模型使其获得最优的性能，然后在测试数据集上测试模型的性能。如果模型在两个数据集的性能都表现出色，则模型是合适的，否则，模型不合适。原始数据训练数据测试数据01深度学习基本原理模型验证——留出法原始数据训练数据测试数据缺点：1.造成了数据资源浪费，如例子中浪费了30%的数据

2.模型性能严重依赖于训练数据和测试数据的划分。优点：简单、运算速度快通常会将训练数据中2/3~4/5的数据用于训练，剩余数据用于测试01深度学习基本原理模型选择——交叉验证交叉验证就很好地避免了留出法这一问题：该方法的基本思想是将训练数据划分成多个子集，并将每个子集轮流作为测试数据重复进行多次训练和测试。交叉验证的一种实现方法是k折交叉验证法（k-foldcross-validation）：将训练集随机分为k个不相交的子集，将其中的第1个子集作为测试集，而将其余的数据作为训练集进行模型训练。然后，将其中的第2个子集作为测试集，而将其余的数据作为训练集进行模型训练。