智能传感器与嵌入式技术应用聚焦深度视觉赋能智慧生活

地点·上海·聚焦深度视觉，赋能智慧生活演讲人：姜涛sunnyaiot本文件为某著名企业智能光学专有之财产，非由书面，不得以其他形式使用。某著名企业集团发展历程单反相机传统光学显微镜手机现代光学安防扫地机智慧光学机器人数码相机汽车元宇宙19841991显微镜20032004200720152017香港联交所主公司成立，手机摄像模组板某省市进入光学产业车载镜头手机镜头1985纳入香港恒生指数成份股某著名企业智能照相机镜片光学成立1995200620152025年营收突破1亿元年营收突破10亿元年营收突破100亿元年营收突破1000亿元——从2D成像到3D感知——2D-成像3D-感知结构光TOF双目——主流3D视觉技术——主流3D视觉双目视觉结构光视觉iTOF视觉LDS/dTOF基本原理•

双目视差法•

特征点提取与匹配•

三角测量法•

主动投射特征点•

飞行时间差测距•

采样反射光束，计算时间差•

三角测量法/飞行时间法•

主动投射特征点特点•

依赖光照和环境纹理•

计算量巨大•

量程和精度受限于基线大小•

不依赖光照和环境纹理•

计算量适中•

量程和精度受限于基线大小•

不依赖光照和环境纹理•

计算量小•

无基线要求，化•

不依赖光照和环境纹理•

计算量小——从人眼视觉到机器视觉——浅灰深灰土黄蓝灰炭黑人看ü颜色信息ü

深度信息深棕0.50m1.00m1.50m2.00m2.00m机器看ü

深度信息ü颜色信息3.00m——视觉产品总览——双目2DVSLAMAI识别USB相机3TOF主动双目深度被动双目深度TOF-RGB线性TOF广角TOFD视觉结构光线结构光面结构光双目结构光某著名企业智能光学眼球追踪

智能避障姿态识别物体识别识机器人定场景重建别视觉位测量检测建图导航人脸识别元宇宙智慧家庭智慧商用智慧工业——元宇宙-AR&VR——全景曝光模组GSTOF6DOF定位手势识别RGB/TOF模组RGB/TOF模组全彩透视RGB眼球/面部追踪IR——智慧家庭-扫地机器人——顶视RGB/IR-VLSAM前视RGB-识别前视深度-避障前视RGBD-SLAM＆避障170°＜1%-小体积--大视角--障碍物识别--实时视频传输--三维感知--高精度--RGBD融合-——智慧家用-陪伴机器人——RGB

IRRGB模组

IR模组视频通话

夜间安防TOFTOF模块远程监控定点配送——智慧家庭-智能门锁——TOF相机双目IR人脸识别结构光RGB视频通话双目、结构光相机猫眼模组掌纹识别模组双目RGB+IRTOF掌纹识别智能门防夹——智慧家庭-智能电视——4KRGBRGB/结构光相机2KRGB视频通话结构光RGB人脸识别手势识别

运动监测——智慧家庭-智能健身镜——RGBD相机RGBDRGB相机TOF模组游戏感应2D姿态识别RGBTOF3D姿态识别——智慧家庭-智能台灯——RGB模组坐姿纠正

学习辅助TOF模组TOFRGBRGB文本识别——智慧商用-商用机器人——RGB双目结构光人脸识别交互IR相机RGB相机TOF相机RGB物机交互RGBD相机Lidar机器调度、梯控交互——智慧商用-人身核验——结构光RGB+IR人脸识别-支付RGB+IR人脸识别-门禁RGB+IR人脸识别-闸机掌纹识别-支付——智慧工业-工业机器人——广角TOFRGBDRGBD相机路径规划货物距离识别焊缝追踪相机广角TOF相机Lidar货架识别广角TOF线激光焊缝传感焊接追踪一站式交互、识别、定位解决方案元宇宙解决方案智慧家庭解决方案智慧商用解决方案智慧工业解决方案系统层企业合作视觉定位SDK视觉识别SDK智能建图智能定位路径规划人脸识别物体识别手势识别算法层高校合作运动控制智能避障行为识别活体检测目标跟踪算法引擎SLAM算法引擎机器人运动引擎3D数据处理引擎DeepLearning算法引擎驱动层某著名企业自研驱动引擎NPU优化单元ARM优化单元设备驱动单元处理器平台库Linux&Android&Windows核心主板TOF传感器核心主板&传感器LDS双目Camera硬件层某著名企业自研RGB\IRCamera建图定位方案--SLAM算法应用场景：•

遥控建图—酒店，商场，医院，办公楼等大型场景•

自动建图--家居等小型场景算法特点与优势：•

动态地图更新，地图智能分区•

惯性、视觉、深度融合建图与定位，解决各种复杂环境下的建图与定位问题•

支持TOF，激光雷达等传感器某著名企业1500平米办公室建图动态避障方案--路径规划&避障算法应用场景：•

覆盖式路径规划•

点到点的路径规划：送餐机器人，酒店机器人，配送机器人，迎宾机器人•

目标跟踪：迎宾机器人，服务机器人算法特点与优势：•

结合机器视觉，AI-3D避障•

自动规划最短路径服务机器人动态避障人机交互算法—手势识别＆人脸识别手势识别

人脸识别应用场景：·手势控制算法特点：·3D手部关键点定位·静态手势和动态手势识别应用场景：·刷脸支付·会员识别·刷脸解锁算法特点：·金融级别安全性，通过BCTC增强级认证（TOF和结构光）人、物识别算法—姿态识别＆物体识别应用场景：姿态识别应用场景：物体识别·看护机器人，跌倒检测·体感交互算法特点：·3D姿态估计，14个关键点定位·智能避障·安防场景·物体抓取算法特点：·2D神经网络+3D点云辅助某著名企业机器人视觉生态建设自生态合研作布局文件等级：一般版本号：SUNNYOITV1.1本文件为某著名企业智能光学专有之财产，非由书面，不得以其他形式使用。机器人视觉系统方案解决商感MANYTHANKS.sunnyaiot