毫末智行DriveGPT、SAM-模型及华为智驾方案

毫末智行DriveGPT、SAM-模型及华为智驾方案PAGEPAGE1内容目录DriveGPT：毫末智行DriveGPT上车在即，视觉方案重塑智驾路线 4SAM模型：CV领域GPT-3时刻，分割技术走向通用化 6华为全新智驾方案：问界M5高阶智驾版粉墨登场，华为智驾迈向下一站 8图表目录图1：ChatGPT的原理类似词语接龙 4图2：DriveGPT的“DriveLanguage” 4图3：特斯拉的BEV视觉示意图 4图4：DriveGPT场景识别成本大幅降低 4图5：特斯拉Model3ADAS传感器主要为摄像头 5图6：毫末智行MANA（雪湖）感知能力vs激光雷达 5图7：毫末智行DriveGPT的算力支持MANAOASIS 5图8：毫末智行DriveGPT合作伙伴 5图9：计算机视觉包括对卷积神经网络进行特定训练 6图10：使用卷积神经网络计算机视觉分析图像 6图模型官方功能示例 7图12：SAM模型官方功能示例 7图13：MetaAI官网demo原图（示例） 7图14：SAM模型可以通过鼠标点击选中目标，实现图像分割 7图15：SAM与之前的大规模分割数据收集工作相比速度大幅提升 7图16：SA-1B的掩码比任何现有的分割数据集多400倍 7图17：SAM应用于农业场景 8图18：SAM应用于生物学研究场景 8图19：问界M5智驾版申报图 8图20：华为ADS2.0高阶辅助驾驶四大亮点 9表1：卷积神经网络(CNN)能够针对多种应用场合执行分割、分类和检测 6表2：华为ADS2.0配置情况 9表3：持续进化的HarmonyOS车机系统 10毫末智行DriveGPT、SAM-模型及华为智驾方案全文共9页，当前为第1页。表4：HarmonyOS3.0核心功能点毫末智行DriveGPT、SAM-模型及华为智驾方案全文共9页，当前为第1页。DriveGPT：毫末智行DriveGPT上车在即，视觉方案重塑智驾路线4月1日，毫末智行IDY发布rieGP“雪湖·海若G+自动驾驶赋能自动驾驶视觉路线，或重新配置自动驾驶硬件。用语言描述与想象自动驾驶，DriveGPTChatGPT的DriveGPTkenreagagGPT图1：ChatGPT的原理类似词语接龙图2：DriveGPT的“DriveLanguage”DriveGPTDriveGPT的“DriveLanguageBEV（Bird'sEyeView，鸟瞰视图BEVBEV方案。纯视觉方案训练需要对视频画面进行大量标注，目前自动驾驶的视觉路线驾驶场50.51/104DClips自场景识别服务，这将大幅降低自动驾驶视觉信号的使用成本。毫末智行毫末智行DriveGPT、SAM-模型及华为智驾方案全文共9页，当前为第2页。图3：特斯拉的BEV视觉示意图图4：DriveGPT场景识别成本大幅降低DriveGPT视觉方案重新配置自动驾驶硬件，自动驾驶有望降本下沉。毫末BEV1530cm，210cmBEV3D10cm图5：特斯拉Model3ADAS传感器主要为摄像头图6：毫末智行MANA（雪湖）感知能力vs激光雷达底层大算力支持+DriveGPTMANAOASIS（·67/2T/800G/DriveGPTDriveGPTDHT-PHEVDriveGPTNOH毫末智行毫末智行DriveGPT、SAM-模型及华为智驾方案全文共9页，当前为第3页。图7：毫末智行DriveGPT的算力支持MANAOASIS图8：毫末智行DriveGPT合作伙伴SAM模型：CV领域时刻，分割技术走向通用化表1：卷积神经网络(CNN)能够针对多种应用场合执行分割、分类和检测序号项目名称分割图像分割是指将像素归类为特定类别，如汽车、道路或行人。它广泛用于自动驾驶汽车应用，用于显示道路、汽车和人员。可将其理解成一种可视化技术，该技术能够使人们更容易理解计算机的工作。分类图像分类用于确定图像中的内容。例如，神经网络经过训练后能够识别狗或猫，或者许多其他东西，并且具有高精确度。检测通过图像检测，计算机可以定位对象的位置。在许多应用中，CNN会在相关区域周围设置矩形边界框，将对象完全包含在内。检测器也可以接受训练，以便检测图像中汽车或人员的位置。图9：计算机视觉包括对卷积神经网络进行特定训练图10：使用卷积神经网络计算机视觉分析图像为帮助计算机识别哪些图像像素属于同一个对象，用于从分析科学图像到编辑照片等。以往为特定任务创建准确的分割模型通常需要技术专家进行高度专业化的工作，需要大量经过详细注释过的域内数据，种种因素限制了图像分割的进一步发展。SAM（SegmentAnythingModel）是一种通用的分割模型，它已经学会毫末智行DriveGPT、SAM-模型及华为智驾方案全文共9页，当前为第4页。了关于物体的一般概念，可以为任何图像或视频中的任何物体生成掩码，甚至包SAM毫末智行DriveGPT、SAM-模型及华为智驾方案全文共9页，当前为第4页。图11：SAM模型官方功能示例图12：SAM模型官方功能示例SAM能够泛化到新任务和新领域，实现CV分割领域的首创性突破。（）交互式分割：允许分割任何类别的对象，但需（）自动分割：允许分割提前定义的（法都没有提供通用的、全自动的分割方法。SAM是这两类方法的概括。它是一个单一的模型，可以轻松地执行交互式分割和自动分割。该模型的可提示界面允（be，图13：MetaAI官网demo原图（示例）图割借助收集并构建SA-1B数据集，大大提升速度和准确度。SAM可以SAMSAM14SAM6.52万张SA-1B400毫末智行毫末智行DriveGPT、SAM-模型及华为智驾方案全文共9页，当前为第5页。图与之前的大规模分割数据收集工作相比速度大图16：SA-1B的掩码比任何现有的分割数据集多400倍幅提升SM有望拓展至/RetapromptSAMVRAISAMAR图17：SAM应用于农业场景图18：SAM应用于生物学研究场景计算机视觉领域时刻已至，智能驾驶未来可期。SAM模型对于计算机JimFanMeta此项SAM的推出从SAMM5AIOT问界M5系列华为高阶智能驾驶版将于2023年4月17日正式发布。对比现有车型，新车型将首发华为ADS2.0高阶辅助驾驶，重点加强了辅助驾驶功能，配备一颗位于车顶凸出的激光雷达，同时还增加了一颗后视镜雷达和全视角ADAS该车型有望使用华为HarmonyOS3.0系统PC醒、小艺免唤醒以及HUDM5DriveONE4秒级的毫末智行DriveGPT、SAM-模型及华为智驾方案全文共9页，当前为第6页。图19：问界M5智驾版申报图毫末智行DriveGPT、SAM-模型及华为智驾方案全文共9页，当前为第6页。华为ADS2.0高阶辅助驾驶：让人驾更安全，让智驾更轻松。华为ADS2.02023416M5全系列以及极狐阿尔法S全新Hi版等车型。华为高阶智能驾驶系统ADS2.0主要升级了四大亮点：1）安全领先一代：业界首创激光融合GOD网络，传统的白GOD高速体验优化：NCA25930ADS2.0ADS1.0100km2.0搭载的NCA智驾领航可覆盖城区90%场景，按照规划将在今年Q2、Q3、Q4515452.0在处理窄车位上能力进一步提升，针对车宽余量仅大于0.4米的窄车位，可通过0.4遥图20：华为ADS2.0高阶辅助驾驶四大亮点毫末智行毫末智行DriveGPT、SAM-模型及华为智驾方案全文共9页，当前为第7页。表2：华为ADS2.0配置情况ADS基础包主动安全辅助ADS进阶包高速+智能泊车ADS高阶包城区+代客泊车功能主动安全辅助自适应巡航辅助（ACC）360°全景环视（AVM）高速车道巡航辅助（HighwayLLC）高速智驾领航辅助（HighwayNCA）城市车道巡航辅助（CityLCC）智能泊车辅助（APA）遥控泊车辅助（RPA）（CityNCA）（CityLLC+）代客泊车辅助（AVP）配置随车标配随车标配消费者可一次性购买或订阅HarmonyOS3.0HarmonyOS3.0PCHarmonyOS3.026%提升39%，无缝流转流畅性提升28%；在行车重载场景下，应用启动速度提升5%32%45%。新一HarmonyOS5OS表3：持续进化的HarmonyOS车机系统HarmonyOS2.0实现单人单设备HarmonyOS3.0实现单人多设备HarmonyOS4.0无限可能实现多人多设备多屏多音区语音四音区声源定位端云协同响应六音区声源定位多人多屏多音区并发控制视觉舱内人脸级识别舱内眼球位置识别舱内眼球位置追踪及眼部状态识别协同流转碰一碰流转多设备发展超级桌面分布式调度多屏多通道双向流转多屏跨设备投屏毫末智行毫末智行DriveGPT、SAM-模型及华为智驾方案全文共9页，当前为第8页。表4：HarmonyOS3.0核心功能点功能功能展示具体介绍超级桌面PC双屏协同功能座舱屏幕可作为PC屏幕的镜像或扩展展示，键鼠可在双屏间自由穿越，用户可以在车内进行文档处理，视频剪辑等车主隐私模式多人乘车自动检测个人敏感信息意见隐藏（通话记录/导航记录）来电通知仅主驾可见智慧寻车功能车过程中更好地观察车辆