基于嵌入式AI模组的3D视觉应用开发实践

1、基于嵌入式AI模组的3D视觉应用开发实践嵌入式 AI 服务商小型化立足3D视觉 低功耗算法移植低成本算法优化服务算法公司服务智能硬件公司联合合作生态服务集成商小钴科技定位结合场景的完整的硬件+软件+算法解决方案加速AI产品与市场的落地大纲1、3D视觉在嵌入式设备中的应用现状与挑战2、面向嵌入式设备的高精度3D人脸识别算法设计3、AlphaLook 嵌入式AI视觉模组详解4、基于嵌入式AI模组的3D人脸识别应用开发实践大纲1、3D视觉在嵌入式设备中的应用现状与挑战2、面向嵌入式设备的高精度3D人脸识别算法设计3、AlphaLook 嵌入式AI视觉模组详解4、基于嵌入式AI模组的3D人脸识别应用开

2、发实践3D视觉3D视觉算法多一维度的视觉，突破2D视觉技术瓶颈3D点云数据作为输入，提取立体特征，实现3D视觉算法，区分度更强，误识率更低。3D活体防伪、3D人脸识别、3D人头检测、3D姿态识别、3D手势识别、3D量体、3D测量、3D场景重建3D视觉的优势3D视觉是在2D视觉的基础上加入了立体深度感知信息，从而使 得机器同人类一样具备三维感知能力。3D相对于2D具有如下优势：3D选项2D3D区分平面和立体不支持支持与形状相关的测量，如深度、平面度、厚度、表面角度、体积不支持支持测量物体的对比度依赖于光照和颜色/灰度变化不受影响区分接触性的两个物体不支持支持区分相同颜色的物体和背景不支持支持精度

3、和可重复性低高3D视觉在嵌入式设备中的应用现状人脸识别技术在终端设备中的占比得益于3D技术的深度感知、三维高精度等特点，3D人脸识别可 以有效实现人脸活体、高精度识别，逐步取代2D人脸识别。小钴3D技术-双目散斑结构光技术双目成像3D结构光TOF双目散斑结构光原理双摄像头投影条纹斑点编码红外光反射时间差投影条纹斑点编码+双摄像头弱光环境弱良好良好（不受光源影响）良好（不受光源影响）强光环境良好弱一般良好深度精确度高高低高分辨率良好良好一般良好响应时间一般慢快一般识别距离与双摄像头距离有关短远与双摄像头距离有关成本低高一般一般功耗低一般低一般缺点弱光环境差易受光源影响分辨率差弱光表现良好、不受光

4、源影响3D视觉在嵌入式设备中的应用现状3D视觉技术广泛应用与各种嵌入式设备中小钴3D人脸识别产品3D玻璃锁3D消费机3D考勤门禁机3D家用锁3D智能门3D智能储物柜3D收银机3D视觉在嵌入式设备中的应用挑战应用挑战性问题3D数据很难获取3D算法需要配套的3D摄像头模组3D算法需要深度信息，芯片必须支持深度值计算3D模型很难训练好3D算法计算量大，需要很强的计算能力3D算法对光线、高度、姿态、配饰的鲁棒性大纲1、3D视觉在嵌入式设备中的应用现状与挑战2、面向嵌入式设备的高精度3D人脸识别算法设计3、AlphaLook 嵌入式AI视觉模组详解4、基于嵌入式AI模组的3D人脸识别应用开发实践自建3D

5、数据库数据采集采用专用高精度设备+3D摄像头不同角度、不同距离、不同光线、不同配饰采集各个角度的3D图像和点云信息3D模拟器，根据已有数据生成数百万张图像3D人脸防伪算法使用3D点云作为算法输入，通过预处理和特征提取，实现特征融合，进而 区分出真实人脸和虚假人脸。Infrared imageKey-points LocalizationPre-processingDepth dataFeature ExtractionFeature ExtractionPhoto & VideoMaskDecisionLivef1visf1depthFeature Integrationf2visf2dept

6、hAbs(f1vis- f1depth)Abs(f2vis- f2depth)Abs(f1-f2)f1f2f 维度为1728SVM3D人脸防伪算法小钴3D人脸防伪算法可有效防止打印照片、手机视频、3D打印面具、硅胶面具的防伪攻击。真人照片数码打印照片手机视频仿真面具passFAILUREXFAILUREXFAILUREX小钴3D算法可有效防止3D打印面具、硅胶面具的防伪攻击。3D人脸识别算法3D点云数据作为输入，提取立体人脸特征，实现3D人脸识别算法，区分度 更强，误识率更低。3D人脸识别算法姿态鲁棒性保证识别准确率情况下可兼容 15度姿态偏转；兼容眼镜、墨 镜、帽子等饰物的影响光线适应性双目

7、散斑结构光不受光线 影响；实现室外光、暗光、 强光条件的识别大人库精准度融合点云信息特征，精确度 更高，是2D识别误识率的 1/100，提高识别精度3D人脸识别方案的对比小钴科技 VS 友商对比优势大纲1、3D视觉在嵌入式设备中的应用现状与挑战2、面向嵌入式设备的高精度3D人脸识别算法设计3、AlphaLook 嵌入式AI视觉模组详解4、基于嵌入式AI模组的3D人脸识别应用开发实践全球第一款面向门锁场景定制的3D摄像头 富士康代工55mm12mm深度模组可靠性精度高0.1mm的深度信息误差一致性批量生产的精度一致性强，良品率高稳定性抗震性/高温/高湿/阳光直射IR摄像头IR摄像头RGB摄像头双

8、目散斑结构光3D摄像头IR LED结构光投射器深度模组双目散斑结构光技术无惧强光、暗光、逆光、侧光、顶光摄像机视野的明显改进垂直有效视场角高达78更好的适应身高最佳支持1.2m-1.9m超高深度精确性0.1mm50cm准确度随校准、场景和光照条件而变核心技术-解决身高0.5-1m1.25mAlphaLook 嵌入式AI视觉模组AlphaLook 3D mini：深度计算+AI计算 双VPURGBRealSense VPUMIPIMIPIMIPIIR3D CemeraIR LEDIRProjectorGPIOMovidius VPUUSB3.0Depth/IRSlave BoardXiaogu

9、AlphaLook 3D mini ModuleIRISPHostUARTUSB2.0GPIOAlphaLook 嵌入式AI视觉模组3D mini模组芯片方案Movidius + RealSense 双芯片 实现人脸识别算法+深度计算搭载纯3D人脸识别算法，识别速度700毫秒低功耗设计，断电启动到识别完成1.8秒人库支持支持十万人特征云端比对支持一千人特征本地储存硬件接口串口USB 2.0客户可以快速开发云边结合的AIoT落地方案WiFi特征上传/下发UART算法APIUSB2.0RGB 视频流AlphaLook 3D mini 模块云端十万人特征比对数据库管理特征上传/下发主控应用RGB视频

10、预览网络控制人脸特征上传/下载图像抓取深度计算人脸防伪3D人脸特征提取3D人脸特征匹配3D人脸录入WiFi/4G记录/用户 固件手机端用户管理记录管理系统配置固件升级AlphaLook 3D视觉嵌入式AI模组3D Eye3D Eye 23D mini3D3D Pro3D Plus3D mini23D mini 33D支付摄像头3D宽动态支付摄3D人脸识别算法3D人脸识别整体带屏3D人脸识别3D人脸识别算法3D姿态/手势/人3D人脸识别算法像头模块方案幕整体方案+猫眼模块头检测模组模块小钴科技面向各个场景需求打造了不同的3D模组大纲1、3D视觉在嵌入式设备中的应用现状与挑战2、面向嵌入式设备的高

11、精度3D人脸识别算法设计3、AlphaLook 嵌入式AI视觉模组详解4、基于嵌入式AI模组的3D人脸识别应用开发实践3D人脸识别模组开发过程驱动调 试数据通 路优化模型压 缩模型转 换量化模型移 植应用接 口封装嵌入式硬件设计嵌入式驱动调试打通3D数据流 的数据通路和缓 存处理；根据模型、硬件 资源选择合适的 摄像头输出分辨 率、帧率、格 式；充分发挥硬件计 算资源特点，解 决存储墙问题模型裁剪轻量化模型平衡模型大小、 推理时间、准确 度考虑NPU支持 操作有限，模型 中使用的层、操 作需要针对性调 整，平衡可实现 性和模型准确度转换模型后，使 用工具对量化后 模型进行数值误 差评估。对于精 度损失严重的层、 操作替换使用量化后的模 型替换原始模型， 实现完整的算法、 应用流程，和原 始模型流程进行 数值累积误差评 估。在嵌入式硬件上 使用工具，转换 量化后的模型， 面向嵌入式AI芯 片，实现算法移 植结合应用功能需 求，对算法接口、 应用接口进行详 细实现面向模组的串口 或者USB接口实 现相应的算法对 接协议3D人脸识别产品开发过程产品定 义外观结 构设计硬件设 计驱动调 试软件开 发云平台 开