《大数据分析与挖掘》实训教案-深度学习在图像识别及图像分类领域中的应用

深度学习在图像识别及图像分类领域中的应用一、操作环境1.操作系统：windowAll2.软件平台：LogisPMT,python3.4二、业务场景图像识别技术是人工智能的一个重要领域。它是指对图像进行对象识别，以识别各种不同模式的目标和对像的技术。在人类图像识别系统中，对复杂图像的识别往往要通过不同层次的信息加工才能实现。对于熟悉的图形，由于掌握了它的主要特征，就会把它当作一个单元来识别，而不再注意它的细节了。这种由孤立的单元材料组成的整体单位叫做组块，每一个组块是同时被感知的。在文字材料的识别中，人们不仅可以把一个汉字的笔划或偏旁等单元组成一个组块，而且能把经常在一起出现的字或词组成组块单位来加以识别。深度学习是近十年来人工智能领域取得的重要突破。它在语音识别、自然语言处理、计算机视觉、图像与视频分析、多媒体等诸多领域的应用取得了巨大成功。现有的深度学习模型属于神经网络。神经网络的起源可追溯到20世纪40年代，曾经在八九十年代流行。神经网络试图通过模拟大脑认知的机理解决各种机器学习问题。深度学习在图像识别领域最具影响力的突破发生在2012年，Hinton（加拿大多伦多大学）的研究小组采用深度学习赢得了ImageNet图像分类比赛的冠军，排名第2到第4位的小组采用的都是传统的图像识别方法，手工设计的特征，他们之间准确率的差别不超过1%。Hinton研究小组的准确率超出第二名10%以上，这个结果在计算机视觉领域产生了极大的震动，引发了深度学习的热潮。 深度学习与传统模式识别方法的最大不同在于它所采用的特征是从大数据中自动学习得到，而非采用手工设计。好的特征可以提高模式识别系统的性能。过去几十年，在模式识别的各种应用中，手工设计的特征一直处于统治地位。手工设计主要依靠设计者的先验知识，很难利用大数据的优势。由于依赖手工调参数，因此特征的设计中所允许出现的参数数量十分有限。深度学习可以从大数据中自动学习特征的表示，可以包含成千上万的参数。 一个图像识别系统包括特征提取和分类器两部分。在传统方法中，特征提取和分类器的优化是分开的。而在神经网络的框架下，特征提取和分类器是联合优化的，可以最大程度地发挥二者联合协作的性能。 本案例将重点介绍深度学习领域中的卷积神经网络（CNN）在图像特征提取中的应用，以及BP神经网络在有监督场景下的分类任务。目标：构建一个简单的图像识别及分类模型。该模型能自动地对场景中的不同图像（图片）进行精准识别，从而实现不同物体的自动归类。三、数据 不同物体的图像数据。数据体量：63张图片（格式为jpg），图片类目数量为9。本案例中数据为本地数据，为了克服保存在同一文件下图片名称不能相同的问题，同一类目下的图片采用名称+编号的形式展现，如：汽车1，汽车2等。四、操作步骤新建一个工程，如图1所示。图1新建工程1.数据载入 通过ImageAnalytics区域中的图片加载组件载入本地图片数据（注：该组件加载图片数据的基本单元是文件夹），如图2所示。图2载入本地数据 在弹出的对话框数据简要区域，用户可以简单观测到载入的图片数量。为了进一步观测原始图片数据，引入ImageAnalytics区域中的图片可视化组件，并与图片加载组件相连，双击打开，如图3所示。图3原始图片数据可视化观测 如图3所示，在弹出的对话框中，在图片文件名属性设置框中选择本地图片地址字段（本案例为image），用户可以自由切换标题属性设置框中的选项以便实现不同的观测目标，如每一种图片的名称，种类，原始尺寸等信息。图片尺寸设置栏中，用户可以滑动进度条以调节展示图片的尺寸大小。最下方的保存图片按钮可实现将当前的图片展现方式保存至本地，保存的格式为：png，svg，pdf等。2．图片标签设定 为了给同一类目下的图片设定相同的标签，如汽车1、汽车2统一标签为汽车，引入创建类组件，该组件位于Data区域，并与图片加载组件相连，双击打开，从列（特征）设置栏中选择imagename，新建的名称与子链具体配置情况如图4所示。图4为不同种类的图片创建类如上图4所示，用户在名称栏中输入创建新类的名称，在子链中输入相应的子链名称，算法根据该子链关键词来自动匹配对应的图片，创建完之后点击应用。3．图像特征提取 为了将非结构化的图片数据转换为计算机能够处理的结构化二维列表数据，引入ImageAnalytics区域中的图片向量化组件，并与创建类组件相连，双击打开，如图5所示。图5图片向量化图像向量化组件会读取图片数据并将其上传到远程服务器（由于考虑到不同用户计算机性能的差异，因此将相关算法置于远程服务器中统一管理），远程服务器使用深度学习模型（卷积神经网络CNN）提取每个图片的特征向量，并返回一个带有其他列(图片描述符)的增强数据表。图像向量化组件提供了多个方法，每个方法针对特定的任务进行了训练。图片数据被发送到远程服务器，在那里进行特征提取。发送的图片数据不会存储在任何位置，用户需要在网络畅通的环境下使用该组件。 在图5的设置框中，图像属性:包含要向量化的图像属性。在方法器中，Inceptionv3：基于ImageNet训练的谷歌初始化v3模型；VGG-16:基于ImageNet的16层图像识别模型；VGG-19：基于ImageNet的19层图像识别模型；Painters：一种训练好的模型，用于从艺术品图像中预测画家；DeepLoc：一种训练用于分析酵母细胞图像的模型。本案例中暂且选择第一种方法。4．特征选择 本案例的图像分类实验是有监督下的学习模型，因此需要在图片特征提取完毕之后进一步定义好目标特征。在Data区域中引入特征选择组件，并与图像向量化组件相连，双击打开，以图片种类作为目标特征，而图片名称及其尺寸等信息在建模中无含义，因此将其置于元特征变量区域，如图6所示。图6特征选择5．模型构建 本案例中将引入BP神经网络算法作为图片分类预测的基础，并以逻辑回归算法训练模型作为对比。将原始图片数据集划分为70%的训练集和30%的验证集，为了克服由于随机采样造成的训练集和测试集在图片数量上的较大差异，勾选分层采样（若可行），引入Data区域中的数据采样组件，配置好参数后与特征选择组件相连，如图7所示。图6数据采样在Evaluate区域中选择模型评估组件，并与数据采样组件相连，并修改数据传输信号，如图7所示；在model区域中选择神经网络组件与逻辑回归组件，并与模型评估组件相连，为了对比神经网络算法在不同激活函数下模型性能的差异，采用多组件（不同激活函数）下并行训练模型，如图8所示。图7修改数据传输信号图8模型训练双击打开模型评估组件，分别选择检验训练数据和训练测试数据，获取各训练模型的验证集性能如下图9所示。图9模型评估 从图9可以清晰的观测，在验证集下，各模型的AUC值皆达到最高值1，具有很强的泛化性能，除了激活函数为Identity的神经网络模型，其他模型在验证集上都展现出很高的预测准确性，其中准确率（CA）达到了0.944。为了进一步观测模型预测错误的图片数据，从Evaluate区域中引入混淆矩阵组件，并与模型评估组件相连，双击打开，如图10所示。图10混淆矩阵从图10的混淆矩阵中可以发现，各训练模型在预测错误的图片数据上都有一个共同点：将其中的一张大象图片误判为熊猫。为了进一步观测出现异常的情况，引入图片可视化组件，并与混淆矩阵组件相连，双击打开，如图11所示。图11模型误判图片 由于训练集过少造成的少量误差实属正常，为了降低误差，用户可以增加训练图片的数量与种类。6．图像聚类分析 为了从另外一个角度来观察经过特征提取以后的图像数据在无监督场景下的聚类效果，本节内容重点介绍层次聚类在图像聚类中的应用。 在Data区域中引入特征选择组件，并与图像向量化组件相连，将图片种类字段置于元特征变量区域，如图12所示。图12特征选择 为了计算各记录之间的欧式距离，在Unsupervised区域中引入距离方程组件，并与特征选择组件相连，具体配置如图13所示。图13计算各记录之间的欧式距离 为了观测层次聚类效果，在Unsupervised区域中引入层次聚类组件，并与距离方程组件相连，双击打开，其中联动方式配置为Average，注释方式选择图片种类，修建编辑选择无，选项区域的高度比率设置为71.2%，当然，用户自定义调节层次聚类图的大小，如图14所示。图13层次聚类图该组件根据距离矩阵计算任意类型对象的分层聚类，并显示相应的树图，并支持四种测量群集之间距离的联动方式：Single：计算两个集群中最近元素之间的距离；Average：计算两个集群元素之间的平均距离；Weighted：使用加权配对算术平均法（WPGMA）；Complete：计算丛集最远端元素之间的距离。通过选择树图的最大深度，可以在修剪箱中修剪大树图。这只会影响显示，而不会影响实际群集。该组件提供三种不同的选择展示方法: 1.自定义选择：单击树图内部将选择一个群集，按住Ctrl/Cmd可选择多个群集。每个选定的群集以不同的颜色显示，并在输出中作为单独的群集处理； 2.高度比率：单击树状图的底部或顶部标尺可在图形中放置截断线，将选择行右侧的项目；