模块6：智能边缘设备算法基础-实操

模块6：智能边缘设备算法基础案例实现模块小结知识拓展PARTONEPARTTWOPARTTHREE案例实现：人工智能算法应用与基础实现人工智能边缘设备应用01人工智能算法应用与基础实现在人工智能边缘设备中，已经提前预置了图像分类、目标检测、图像分割、人体关键点检测等算法模型，在本模块中，首先将配置人工智能算法运行所需环境，然后将分别应用其中的部分算法功能，体验不同算法的效果差异，最后编写人脸识别算法，实现基于人工智能边缘设备的人脸检测功能。（1）实训环境准备（2）体验图像分类功能（3）体验目标检测功能（4）体验图像分割功能（5）体验人体关键点检测功能（6）人脸检测算法实现任务1：实训环境准备首先打开Linux系统终端。运行AI功能前，需要在命令行中启动对应的容器。首先在桌面打开终端，接着在终端中输入以下命令进入AI功能文件夹：进入jetson-inference文件夹后，继续输入以下命令进入root模式，sudo密码为：tringai。cdjetson-inferencesudosu任务1：实训环境准备进入root模式后，在终端中输入以下命令进入容器环境：运行后效果如下图所示，即为启动实训容器环境。docker/run.sh任务2：体验图像分类功能进入容器环境后，输入命令切换至计算机视觉案例文件夹。进入bin文件夹后，运行imagenet-camera.py文件启动视频图像分类程序，并在后面添加相机参数命令/dev/video0参数，即可调用摄像头进行视频图像分类。运行以上命令后即可通过摄像头实现图像实时分类，具体效果如图所示。cdbuild/aarch64/bin./imagenet-camera.py/dev/video0▲图像分类AI模型预测图中目标对象为北极熊的概率为96.14%。任务2：体验图像分类功能该应用程序最多可以识别1000种不同类型的对象，因为分类模型是在包含1000类对象的ILSVRCImageNet数据集上训练的，可区分动物、植物、昆虫、自然风景、生活用品等多种类别。1000种分类对象的名称映射可以在data/networks路径下查看ilsvrc12_synset_words.txt文件。部分可区分类别明细如下表所示。英文名称中文名称greywhale鲸鱼kingpenguin企鹅daisy菊花bee蜜蜂valley谷地woodenspoon勺子任务3：体验目标检测功能进入容器环境后，输入命令切换至计算机视觉案例文件夹。进入bin文件夹后，运行detectnet-camera.py文件启动视频图像检测程序，并在后面添加相机参数命令/dev/video0参数，即可调用摄像头进行视频图像检测。运行命令后即可通过摄像头实现图像实时检测，具体效果如图所示。cdbuild/aarch64/bin./detectnet-camera.py/dev/video0▲标记框中左上角为目标检测AI模型的检测判断结果任务4：体验图像分割功能进入容器环境后，输入以下命令切换至计算机视觉案例文件夹。进入bin文件夹后，运行segnet.py文件启动视频图像分割程序，此处指定模型类型为fcn-resnet18-mhp，并在后面添加相机参数命令/dev/video0参数，即可调用摄像头进行视频图像分割。运行以上命令后即可通过摄像头实现图像实时分割，具体效果如下图所示。cdbuild/aarch64/bin./segnet.py--network=fcn-resnet18-mhp/dev/video0▲图中不同颜色的区域表示分割得到的不同物体任务4：体验图像分割功能不同的图像分割AI模型，在对目标物体的类别和分割效果等方面都不尽相同。尝试更换其他AI模型查看不同图像分割AI模型的应用效果。可以使用命令查看fcn-resnet18-sun网络模型实现的结果。分割效果如图。./segnet.py--network=fcn-resnet18-sun/dev/video0▲fcn-resnet18-sun网络模型实现效果任务4：体验图像分割功能使用命令查看fcn-resnet18-deepscene网络模型实现的效果。运行以上命令后即可使用fcn-resnet18-deepscene网络模型进行图像分割，具体效果如图所示。./segnet.py--network=fcn-resnet18-deepscene/dev/video0▲fcn-resnet18-deepscene网络模型实现效果任务5：体验人体关键点检测功能进入容器环境后，输入以下命令切换至计算机视觉案例文件夹。进入bin文件夹后，运行posnet.py文件启动视频人体姿态估计程序，并在后面添加相机参数命令/dev/video0参数，即可调用摄像头进行视频人体姿态估计。运行以上命令后即可通过摄像头实现人体关键点检测，具体效果如图所示。cdbuild/aarch64/bin▲人体关键点检测功能实现效果./posenet.py/dev/video0任务6：人脸检测算法实现在终端中输入以下命令，创建人脸检测算法测试文件，然后在文件中进行代码编写。（1）配置所需环境首先导入算法所需库：通过以下代码调用模型库文件，其中“./haarcascade_frontalface_default.xml”为模型文件路径。通过以下代码打开设备内置摄像头，并设置视频窗口大小。其中宽为640像素，高为480像素。vimface_dete.pyimportcv2cap=cv2.VideoCapture(0)cap.set(3,640)cap.set(4,480)faceNum=0face_cascade=cv2.CascadeClassifier('./haarcascade_frontalface_default.xml')任务6：人脸检测算法实现（2）读取摄像视频设置循环任务，以便实时读取摄像帧。通过代码读取视频帧。由于边缘设备计算资源有限，在本任务中通过将图像灰度化处理，以减少算法运行过程中的计算量。通过以下代码实现图像灰度处理。接下来设定人脸识别算法相关参数，具体代码如下所示。该函数主要实现检测出图片中所有的人脸，并保存各个人脸的坐标，主要为人脸检测框的左上、左下、右上和右下4个点位的坐标信息。该函数共包含三个参数:“gray”、“scaleFactor”和“minNeighbors”。whileTrue:#读取视频帧

ret,frame=cap.read()gray=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)faces=face_cascade.detectMultiScale(gray,scaleFactor=1.3,minNeighbors=3)任务6：人脸检测算法实现（3）人脸画框标记检测到人脸位置后，需要将检测到人脸的4个点位进行画框标记，通过代码将检测结果进行可视化。为了将可视化的结果实时刷新到摄像头采集的视频画面中，我们需要通过代码进行显示。由于视频帧更新速度非常快，上述代码执行处于while循环中，因此在设计程序时需要预留程序退出的方式。如代码所示，按下“L”键即可退出程序。最后，在程序设计时可以添加以下代码，释放程序计算资源。iflen(faces)>0:forfaceRectinfaces:x,y,w,h=faceRect#--------在人脸周围绘制矩形

cv2.rectangle(frame,(x,y),(x+w,y+h),(255,255,0),2)cv2.imshow('Output',frame)ifcv2.waitKey(1)&0xff==ord('L'):breakcv2.destroyAllWindows()#结束服务cap.release()#释放资源任务6：人脸检测算法实现完整代码及实现效果如图：importcv2#调用模型库文件face_cascade=cv2.CascadeClassifier('./haarcascade_frontalface_default.xml')#打开内置摄像头cap=cv2.VideoCapture(0)#设置视频窗口大小cap.set(3,640)cap.set(4,480)faceNum=0whileTrue:#读取视频帧

ret,frame=cap.read()#图像灰度处理

gray=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)#设定人脸识别参数

faces=face_cascade.detectMultiScale(gray,scaleFactor=1.3,minNeighbors=3)▲人脸检测算法实现效果任务6：人脸检测算法实现完整代码及实现效果如图：iflen(faces)>0:forfaceRectinfaces:x,y,w,h=faceRect#--------在人脸周围绘制矩形

cv2.rectangle(frame,(x,y),(x+w,y+h),(255,255,0),2)#显示图像

cv2.imshow('Output',frame)#L键退出显示

ifcv2.waitKey(1)&0xff==ord('L'):break#释放资源cv2.destroyAllWindows()cap.release()▲人脸检测算法实现效果模块小结人工智能边缘设备应用02模块小结在本模块的学习中，我们了解到了：面向边缘计算设备的人工智能算法主要分为两类，一类是边缘智能算法，一类是深度模型压缩的方法。人工智能算法的相关概念，包括人工智能算法的概念、两个基本要素和三个基本特征，接着讲解边缘智能算法中的6个常见算法及其应用；最后体验了人工智能算法的应用及人脸检测算法的实现过程。知识拓展人工智能边缘设备应用03知识拓展2019年4月，国家人工智能标准化总体组发布《人工智能伦理风险分析报告》，报告指出，人工智能算法安全风险产生的原因，包括算法泄露带来