垃圾分类垃圾分类

2021.5.252021.5.252021.5.252021.5.252021.5.25昇腾AI应用

第二章智慧园区视觉模块开发

——基于HiLens垃圾分类

案例应用场景

案例规划部署

案例演示操作

案例相关知识案例应用场景案例演示操作案例规划部署案例需求方案案例相关知识

垃圾分类（英文名为：Garbageclassification），一般是指按一定规定或标准将垃圾分类储存、投放和搬运，从而转变成公共资源的一系列活动的总称。分类的目的是提高垃圾的资源价值和经济价值，力争物尽其用，减少垃圾处理量和处理设备的使用，降低处理成本，减少土地资源的消耗，具有社会、经济、生态等几方面的效益。垃圾在分类储存阶段属于公众的私有品，垃圾经公众分类投放后成为公众所在小区或社区的区域性公共资源，垃圾分类搬运到垃圾集中点或转运站后成为没有排除性的公共资源。从国内外各城市对生活垃圾分类的方法来看，大多都是根据垃圾的成分、产生量，结合本地垃圾的资源利用和处理方式等来进行分类的。垃圾分类

生活垃圾是垃圾分类工作的重大关注点。通过物联网结合垃圾分类的运营管理模式，提供区域性的小规模垃圾分类试点项目和大规模的垃圾分类运营管理项目落地方案，有效解决客户的垃圾分类工作难题，全面提升区域垃圾分类工作中的用户参与率、生活垃圾减量率等重要绩效考核指标。住宅小区公司服务的全国住宅小区垃圾分类项目数量500多个，覆盖深圳市、珠海市、郑州市、天津市等多个城市，能够为我们的客户创造更加经济可行、更为科学的运营管理系统，同时也为小区居民用户打造更为方便和智能的参与模式，全面提升住宅小区生活垃圾前端分类收集的工作成效，提高居民用户的整体参与率，共同创建一个可持续发展的绿色生活方式。垃圾分类应用场景城中村针对人口密集且人员流动量大的城中村所制定的完整可实施的垃圾分类项目运营管理方案。利用德立信高科技智能前端垃圾分类收集设备，结合后台数据分析系统和人力督导的全用户覆盖宣传，将垃圾分类开展工作实施到点、到面、到人，全面提升居民用户的知晓率、认可度及参与率，解决城中村垃圾分类工作的数据采集和监管问题难点，确保城中村垃圾分类项目工作的有效实施。政府机构以企业现有项目经验、完整可实施的垃圾分类项目运营管理方案为基础，为政府机关提供执法协助、垃圾分类项目进展情况、垃圾分类工作调研等，有效提高垃圾分类工作成效、监督垃圾分类工作进展的完备服务方案，为各区政府打造具有区域特色的垃圾分类运营管理模式，充分调动区内用户与政府的积极性，确保垃圾分类工作指标的达成。垃圾分类应用场景部队军营党政军机关单位需做好榜样，率先实行垃圾分类，是习总书记所强调的方针。通过德立信垃圾分类针对部队军营区域项目制定的运营管理方案，推动部队单位落实垃圾分类工作，强化军营环境保护意识，学习垃圾分类知识，发动全体军官一起为改善生活环境贡献力量，将垃圾分类观念扎根部队，起到带头作用，使得居民在党政军机关单位的指引下，共建绿色生活环境。机场作为城市外来客流量最大的交通枢纽之一，机场是城市建设及城市形象的第一道风景线，良好的机场建设能够给外地游客、外国游客、到访领导、媒体一个良好的城市印象。垃圾分类是智慧城市建设中重要的一环，智能垃圾分类系统解决方案有着丰富的实操经验，能够协助机场打造高层次、高水平的智慧化便利体验，极大的提升游客心目中的城市形象。垃圾分类应用场景案例应用场景案例演示操作案例规划部署案例需求方案案例相关知识演示操作流程准备工作：（1）配置网络（2）注册、配置HiLensKit流程（3）查看设备状态垃圾分类技能开发：(1)准备数据(2)创建数据集(3)订阅算法(4)使用订阅算法创建训练作业(5)转换模型(6)导入模型至华为HiLens(7)新建技能(8)（可选）发布技能(9)安装技能(10)启动技能演示操作流程——准备工作准备工作：演示操作流程——准备工作准备工作：演示操作流程——准备工作准备工作：演示操作流程——准备工作准备工作：登录OBS服务，创建桶和文件夹，用于存放样例的训练数据。创建名称为“hilens-garbage”OBS桶，区域选择“华北-北京四”，创建如下文件夹：“garbage-data”：用于存放训练模型的数据。“garbage-data-output”：用于存放模型输出数据。“garbage-data-record”：用于存放日志。“garbage-convert-output”：用于存放转换模型后的输出文件。演示操作流程——准备数据演示操作流程——准备数据演示操作流程——准备数据演示操作流程——创建数据集演示操作流程——创建数据集演示操作流程——创建数据集演示操作流程——订阅算法演示操作流程——订阅算法演示操作流程——订阅算法演示操作流程——使用订阅算法训练作业演示操作流程——使用订阅算法训练作业演示操作流程——使用订阅算法训练作业演示操作流程——转换模型演示操作流程——转换模型演示操作流程——转换模型演示操作流程——导入模型至华为HiLens演示操作流程——导入模型至华为HiLens演示操作流程——导入模型至华为HiLens演示操作流程——新建垃圾分类技能演示操作流程——新建垃圾分类技能演示操作流程——发布技能演示操作流程——安装技能演示操作流程——安装技能演示操作流程——安装技能演示操作流程——安装技能演示操作流程——启动技能演示操作流程——启动技能演示操作流程——启动技能演示操作流程——启动技能

技能处于“运行中”状态时，您可以通过显示器查看技能输出的视频数据，此样例所开发的垃圾分类技能可识别垃圾，技能输出的视频中会用方框标记出垃圾，并标记出垃圾的分类。案例规划案例应用场景案例演示操作案例规划部署案例任务实施

案例相关知识掌握垃圾分类技能开发(1)准备数据(2)创建数据集(3)订阅算法(4)使用订阅算法创建训练作业(5)转换模型(6)导入模型至华为HiLens(7)新建技能(8)（可选）发布技能(9)安装技能(10)启动技能案例任务实施目标案例任务实施任务一：注册设备到HiLens管理控制台

准备工作（1）开通HiLens服务（2）修改设备连接（3）HiLensKit登录系统（4）HiLensKit固件升级（5）HiLensKit时区设置（6）SSH远程连接HiLensKit（7）注册设备至华为HiLens管理控制台任务二：垃圾分类技能开发•

已注册华为云账号，并完成实名认证。•

注意使用华为HiLens前，检查账号不能处于欠费或冻结状态。账号准备•

HiLens

Kit设备1台、笔记本电脑1台、路由器1台、显示屏1台、HDMI线1根、网线1根。硬件准备•

SSH登录工具，如Putty、MobaXterm等•

SSH登录、HiLens管理平台登录、固件升级、时区设置软件准备环境准备1.2.注册华为云账号，并完成实名认证登录HiLens管理控制台https://www.huaweicloud.com/product/hilens.html

。环境准备：（1）开通HiLens服务将笔记本电脑和HiLens

Kit用网线直连，单击“打开网络和共享中心”，修改本地连接属性，将IPV4的IP改为192.168.2.X（2-255,其中111除外），保证电脑和HiLensKit在同一网段。环境准备：（2）修改设备连接1.2.登录HiLens

kit

管理平台https://192.168.2.111，进入硬件管理平台首页。初始登录用户名：admin，密码：Huawei12#$，确保安全请修改密码环境准备：（3）HiLensKit登录管理系统1.检查：在升级之前先检测版本号，若低于2.2.100.31，则需要在HiLens帮助文档或论坛先下载升级包进行固件升级。升级：选择下载后的升级文件，点击升级，注意在升级的过程中勾选重启。2.2.2.0.031环境准备：（4）HiLensKit固件升级环境准备：（4）HiLensKit固件升级HiLensKit时间若与网络时间不匹配，则技能无法推理，所以要保持时间一致。新购买的设备时间需设置，如下环境准备：（5）HiLensKit时区设置1.2.使用SSH远程连接HiLens

Kit，推荐SSH使用工具MobaXterm。默认IP：192.168.2.111；初始登录用户名：admin，密码：Huawei12#$；进入develop模式，密码：Huawei@SYS3环境准备：（6）SSH远程连接HiLensKit1.网络连接3.技能选择5.技能查看4.技能部署6.结果演示2.设备注册任务一：注册设备到HiLens管理控制台HiLensKit组网，默认IP：11（1）无线网络连接路由器（推荐）；（2）有线网络直连路由器；普通用户技能使用流程①HiLens

Kit连网Web登陆HiLens硬件管理平台登陆HiLensKit管理系统②云侧技能使用网络设置1.2.登录HiLens

kit

管理平台https://192.168.2.111，进入硬件管理平台首页。初始登录用户名：admin，密码：Huawei12#$，确保安全请修改密码HiLensKit管理系统登录注意：配置前，先检查默认网关是否为空。若不为空，请先删除默认网关，再配置WIFI。网络连接-无线连接登录硬件管理平台https://192.168.2.111，用户名：admin，默认密码：Huawei12#$修改默认网关，保证和路由器IP在同一网段的IP地址。网络连接-有线连接1.登陆HiLens管理系统，查看网络是否已连接。2.SSH登录HiLensKit

,ping

8.8.8.8功，其提示信息显示如下图类似信息：或者pingwww.huawei.com，如果设备连接成注意：修改DNS域名解析（echo

“nameserver

8.8.8.8”>/etc/resolv.conf）检测网络1.2.登录HiLenskit

管理平台https://192.168.2.111

，进入硬件管理平台首页。初始登录用户名：admin，密码：Huawei12#$，填入账号信息（1）设备名用户自定义（2）若是普通账号登录，账号名和用户名一致；若是IAM账号登录，账号名和用户名不一致，填写相应的名称（3）密码为华为云账号密码注册HiLensKit登录华为云HiLens官网，查看是否完成注册检查注册结果任务二：垃圾分类技能开发垃圾分类技能开发(1)准备数据(2)创建数据集(3)订阅算法(4)使用订阅算法创建训练作业(5)转换模型(6)导入模型至华为HiLens(7)新建技能(8)（可选）发布技能(9)安装技能(10)启动技能《详见实验文档》案例应用场景案例演示操作案例规划部署案例具体实施

案例相关知识垃圾分类，指按一定规定或标准将垃圾分类储存、分类投放和分类搬运，从而转变成公共资源的一系列活动的总称。这不仅是出于生态环境角度考虑，“没有垃圾，只有放错位置的资源”，分类收集后，不少垃圾都可以被重新再利用。随着我国城市化水平的提高，越来越多的生活、生产垃圾成了每一座城市的心病。由于国内现在采取的垃圾处理方式还是粗放型的堆肥、焚烧和填埋，投入成本高、浪费严重，同时效率低下，近几年大城市因土地容量不够而向中小城市转移垃圾非法填埋的新闻屡见报端。垃圾分类概述在这波垃圾分类的热潮中，最可怜就要数小龙虾了，小龙虾经历了“龙虾头是干垃圾、龙虾壳是湿垃圾”、“受污染的龙虾头是有害垃圾”、“不管是龙虾壳还是龙虾头，只要是吃剩下的都是湿垃圾”这三个阶段，小龙虾“悲惨”的一生注定了它无论是生还是死，都逃不过人们的争议。今年7月1日起，新的《上海市生活垃圾管理条例》正式开始施行。面对志愿者的大妈的灵魂拷问，一时间“你是什么垃圾”成为年轻人之间最流行的日常用语。以后扔垃圾前我们都必须先将垃圾仔细分成：可回收物、有害垃圾、湿垃圾和干垃圾四个类别。垃圾分类概述

垃圾分类是垃圾终端处理设施运转的基础，实施生活垃圾分类，可以有效改善城乡环境，促进资源回收利用。应在生活垃圾科学合理分类的基础上，对应开展生活垃圾分类配套体系建设，根据分类品种建立与垃圾分类相配套的收运体系、建立与再生资源利用相协调的回收体系，完善与垃圾分类相衔接的终端处理设施，以确保分类收运、回收、利用和处理设施相互衔接。只有做好垃圾分类，垃圾回收及处理等配套系统才能更高效地运转。垃圾分类处理关系到资源节约型、环境友好型社会的建设，有利于我国新型城镇化质量和生态文明建设水平的进一步提高。垃圾分类的意义垃圾分类的意义：减少占地

垃圾分类，去掉能回收的，不易降解的物质，减少垃圾数量达50%以上。减少环境污染

废弃的电池等含有金属汞等有毒物质，会对人类产生严重的威胁，废塑料进入土壤，会导致农作物减产，因此回收利用可以减少这些危害。变废为宝

1吨废塑料可回炼600公斤无铅汽油和柴油。回收1500吨废纸，可避免砍伐用于生产1200吨纸的林木。因此，垃圾回收既环保，又节约资源。垃圾分类的意义垃圾种类：可回收垃圾可回收物主要包括废纸、塑料、玻璃、金属和布料五大类。废纸：主要包括报纸、期刊、图书、各种包装纸等。但是，要注意纸巾和厕所纸由于水溶性太强不可回收。塑料：各种塑料袋、塑料泡沫、塑料包装（快递包装纸是其他垃圾/干垃圾）、一次性塑料餐盒餐具、硬塑料、塑料牙刷、塑料杯子、矿泉水瓶等。玻璃：主要包括各种玻璃瓶、碎玻璃片、暖瓶等。（镜子是其他垃圾/干垃圾）金属物：主要包括易拉罐、罐头盒等。布料：主要包括废弃衣服、桌布、洗脸巾、书包、鞋等。垃圾种类垃圾种类：其他垃圾其他垃圾（上海称干垃圾）包括除上述几类垃圾之外的砖瓦陶瓷、渣土、卫生间废纸、纸巾等难以回收的废弃物及尘土、食品袋（盒）。采取卫生填埋可有效减少对地下水、地表水、土壤及空气的污染。大棒骨因为“难腐蚀”被列入“其它垃圾”。玉米核、坚果壳、果核、鸡骨等则是餐厨垃圾。垃圾种类垃圾种类：其他垃圾卫生纸：厕纸、卫生纸遇水即溶，不算可回收的“纸张”，类似的还有烟盒等。餐厨垃圾装袋：常用的塑料袋，即使是可以降解的也远比餐厨垃圾更难腐蚀。此外塑料袋本身是可回收垃圾。正确做法应该是将餐厨垃圾倒入垃圾桶，塑料袋另扔进“可回收垃圾”桶。果壳：在垃圾分类中，“果壳瓜皮”的标识就是花生壳，的确属于厨余垃圾。家里用剩的废弃食用油，也归类在“厨余垃圾”。尘土：在垃圾分类中，尘土属于“其它垃圾”，但残枝落叶属于“厨余垃圾”，包括家里开败的鲜花等。垃圾种类垃圾种类：厨余垃圾厨余垃圾（上海称湿垃圾）包括剩菜剩饭、骨头、菜根菜叶、果皮等食品类废物。经生物技术就地处理堆肥，每吨可生产0.6~0.7吨有机肥料。有害垃圾有害垃圾含有对人体健康有害的重金属、有毒的物质或者对环境造成现实危害或者潜在危害的废弃物。包括电池、荧光灯管、灯泡、水银温度计、油漆桶、部分家电、过期药品及其容器、过期化妆品等。这些垃圾一般使用单独回收或填埋处理。垃圾种类在实际的应用场景中，待分类的样本往往是不可控的，所以一般会增加“其他”这个类别用来收留各种异常样本。在垃圾分类中，除可回收物、有害垃圾和湿垃圾外都属于干垃圾，所以干垃圾已经扮演了“其他”的角色。我们的“垃圾”图像数据集最终分为：可回收垃圾、有害垃圾、湿垃圾和干垃圾四个类别。数据集的部分图像如下图所示。垃圾分类的方法垃圾自动分类器垃圾自动分类本质上是一个图像分类问题，我们先回顾卷积神经网络基础知识、分类网络的演进思路，再进一步将分类算法应用于垃圾分类模型等技术。垃圾分类中涉及的技术垃圾自动分类器卷积神经网络在2012年迎来了历史突破，AlexNet的出现让卷积神经网络开始逐渐成为计算机视觉任务的标配。在AlexNet的基础上，以增加网络深度为思路，出现了VGGNet；以增强卷积模块为思路，出现了基于Inception的一系列网络。垃圾分类实现方式卷积神经网络在处理图像任务中，全连接神经网络会把图像中每一个像素点作为一个特征输入到网络中。图像像素点的数量很大，且由于全连接神经网络的特性，会导致模型的参数量非常庞大，且模型往往难以收敛，导致性能不佳。卷积神经网络特征是关键点人是通过图像的局部特征来理解图像。特征边缘+纹理认知+https:///Research/Projects/CS/vision/grouping/segbench//ponce_grp/data/texture_database/samples/

眼睛or耳朵?鼻子or下巴?卷积神经网络卷积神经网络（ConvolutionalNeuralNetwork，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于图像处理有出色表现。它包括卷积层（convolutionallayer），池化层（poolinglayer）和全连接层（fullyconnectedlayer）。卷积神经网络全景输入层卷积层（4层）池化层（3层）全连接层输出层SunY,Deeplearningfacerepresentationfrompredicting10,000classes深度学习卷积的重要概念卷积核（ConvolutionKernel），根据一定规则进行图片扫描并进行卷积计算的对象称为卷积核。卷积核可以提取局部特征。卷积核尺寸（KernelSize），卷积核是一个3维的矩阵，可以用一个立方体图示，宽w，高h，深度d。深度d由输入的通道数决定，一般描述卷积核尺寸时，可以只描述宽w和高h。特征图（FeatureMap），经过卷积核卷积过后得到的结果矩阵就是特征图。每一个卷积核会得到一层特征图，有多个卷积核则会得到多层的卷积图。特征图尺寸（FeatureMapSize），特征图也是一个3维的矩阵，可以用一个立方体图示，宽w，高h，深度d。深度d由当前层的卷积核个数决定，一般描述特征图尺寸时，可以只描述宽w和高h。步长（stride），卷积核在输入图像上滑动的跨度。如果卷积核一次移动一个像素，我们称其步长为1。零填充（padding），为了提取图像边缘的信息，并且保证输出特征图的尺寸满足要求，可以对输入图像边缘填充一个全为0的边框，边框的像素宽度就是padding。参数共享，对输入的照片，用一个或者多个filter扫描照片，filter自带的参数就是权重，在同一个filter扫描的图层当中，每个filter使用同样的参数进行加权计算。卷积神经网络——单卷积核计算(1)卷积计算描述卷积神经网络——单卷积核计算(2)卷积计算结果演示卷积神经网络——多卷积核计算(1)输入图像：5*5*3Pad=1卷积核2个

3*3*3stride=2特征图

3*3*2卷积神经网络——多卷积核计算(2)输入图像：5*5*3Pad=1卷积核2个:3*3*3stride=2特征图：3*3*2hanbingtao，2017，卷积神经网络卷积神经网络——多通道卷积通道（Channel），是指图片中每个像素由几个数来表示，这几个数一般指的是色彩。比如一个灰度图的通道就是1，一个彩色图的通道就是3（红、绿、蓝）。在卷积神经网络里，通道又分输入通道和输出通道。输入通道：如是彩色图片，起始的输入通道就是3。如是中间层的卷积，输入通道就是上一层的输出通道个数，计算方法是，每个输入通道的图片都使用同一个卷积核进行卷积操作，生成与输入通道匹配的featuremap（比如彩色图片就是3个），然后再把这几张featuremap相同位置上的值加起来，生成一张featuremap。输出通道：想要输出几个featuremap，就放几个卷积核，就是几个输出通道。卷积神经网络——转置卷积转置卷积是卷积操作的逆运算，但本质上来说就是在做卷积运算。具体的操作是将上一层的特征图进行特定的Padding，再将卷积核的值做中心对称变换，再进行卷积计算。123456789987654321原卷积核转置卷积核原特征图经过转置卷积后的特征图阴影部分为转置卷积核/slide/15353689/卷积神经网络——空洞卷积（膨胀卷积）空洞卷积（AtrousConvolution），或称为膨胀卷积（DilatedConvolution），是一种不增加参数数量，同时增加输出单元感受野的一种方法。/2079-9292/10/12/1426/htm卷积神经网络——可分卷积某些神经网络架构使用了可分卷积，比如MobileNets。可分卷积有空间可分卷积和深度可分卷积。空间可分卷积是将一个卷积分解为两个单独的运算。对于下面的示例，3×3的核被分成了一个3×1核和一个1×3核。在卷积中，3×3核直接与图像卷积。在空间可分卷积中，3×1核首先与图像卷积，然后再应用1×3核。这样，执行同样的操作时仅需6个参数，而不是9个。深度可分卷积的计算分为两部分，首先对通道（深度）分别进行空间卷积，并对输出进行拼接，随后使用单位卷积核进行通道卷积已得到特征图。卷积神经网络——池化的基本操作和原理池化层主要的作用是下采样，通过去掉FeatureMap中不重要的样本，进一步减少参数数量。Pooling的方法很多，最常用的是MaxPooling。MaxPooling实际上就是在n*n的样本中取最大值，作为采样后的样本值。下图是2*2maxpooling：除了MaxPooing之外，常用的还有AveragePooling

-取各样本的平均值。对于深度为D的FeatureMap，各层独立做Pooling，因此Pooling后的深度仍然为D。https://kiseliu.github.io/2016/09/22/understanding-convolutional-neural-networks-for-nlp/深度学习模型发展历史Hubel&WieselNeocognitronLeCun1989LeNetAlexNetVGG16VGG19MSRANetNINGoogLeNetInceptionV3InceptionV4FastR-CNNFasterR-CNNInceptionV2(BN)FCNFCN+CRFSTNetResNetInceptionResNet早期尝试历史突破网络加深增强卷积木块功能从分类任务到检测任务增加新的功能单元SPP-NetR-CNNCNN+RNN/LSTM两条路线的集成，训练更深的网络结构，加速收敛网络模型——LeNet-5LeNet-5：是YannLeCun在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。LeNet-5中主要有2个卷积层、2个下采样层（池化层）、3个全连接层3种连接方式。https:///it/lenet-5-a-kotlin-con-tensorflow-202630331086503网络模型——AlexNetAlexNet是2012年在ILSVRC比赛中夺冠的网络结构。不算输入层、AlexNet只有八层，但是它有60M以上的参数总量，事实上在参数量上比后面的网络都大。由于早期GPU显存的限制，最早的AlexNet包括了双数据流的设计，以让网络中一半的节点能存入一个GPU。用多个GPU训练。Alex,ImageNetClassificationwithDeepConvolutionalNeuralNetworks网络模型——Inception结构GoogLeNet设计了一种称为Inception的模块，它是GoogleNet之所以能夺冠的关键，这个模块使用密集结构来近似一个稀疏的CNN，使用不同大小的卷积核来抓取不同大小的感受。ChristianSzegedy,GoingDeeperwithConvolutions网络模型——ResNet随着网络深度增加，网络的准确度应该同步增加。但是增加网络深度后，比较靠前的网络层梯度会很小。这意味着这些层基本上学习停滞了，这就产生了梯度消失问题。当网络更深时，网络的参数空间更大，优化问题变得更难，因此简单地去增加网络深度反而会导致更高的训练误差。残差网络的提出就是为了解决以上两个问题。KaimingHe,DeepResidualLearningforImageRecognition网络模型——DenseNetDenseNet获得了CVPR2017最佳论文，论文中提出的DenseNet（DenseConvolutionalNetwork）主要还是和ResNet及Inception网络做对比，思想上有借鉴，但却是全新的结构，网络结构并不复杂，却非常有效。

/pdf/2001.02394.pdf网络模型——SSDSSD（SingleShotMultiBoxD