版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
S81823
-利用
NVIDIACosmosVSS构建智慧交通(ITS)
违章检测系统图灵新智算(广州)科技集团有限公司陈峰>
图灵新智算(Turing
IntelligentComputing)介绍>
图灵智能视觉平台介绍>图灵智能视觉平台在交通行业(ITS)
的应用>利用
TGC&世界模型开放平台实现平台能力快速验证
>利用
Spark
实现快速业务渗透关于图灵新智算•
新型智算算力运营服务厂商•
聚焦面向场景的“生成式AI超级工厂”全栈定制方案•
依托自研全栈性能重塑技术(PRT)与“图灵一体化智算网”资源•
提供涵盖智算算力的生产、建设与运营的全方位产品服务算力建设•
AIDC系统设计•Nvidia
GPU
Cloud系统建设(AIE,
Run.ai,
Cosmos,
…)•
Profession
Services系统级高效交付产业协同算力运营•IaaS
(H20,
L20,
Pro
6000D)•
PaaS
(NIMs,
Blueprints,
…)•
行业方案(TICVSS,
…)一体化算力运营算力生产•
智算系统定制•
定制化系统生产•
绿色回收再制造高性价比算力产品全栈智算算力服务力资源服务•
资源类型覆盖国内外主流商用
GPU产品•
基于广州核心资源节点,为大湾区及全国客户提供高质量算图灵一体化智算网>NVIDIA
原生NIM
镜像
&
Blueprint
下载>
TIC
定制NIM
镜像下载>
基于NIMs
的行业解决方案(交通,金融,
医疗,教育)>面向Cosmos
及
具身智能的开发者社区(TICWFM
Hub)>NVIDIA
GPU
Cloud
资源TuringGPUCloud
(TGC)–
NVIDIA授权NIM合作伙伴
Physical
AI
数据增强(SDG)管线•
基于Omniverse和Cosmos构建的SDG管线•3D模型(Omniverse
ChatUSD)
=>真实世界(Cosmos
Predict)
=>数据增强(CosmosTransfer)Cosmos
世界模型体验环境•
提供最新的Cosmos模型及blueprints
的UI验证环境及API服务TICWFM
Hub–世界模型开放平台/cosmos/developer图灵智能视觉平台TIC
Intelligent
Vision
PlatformNVIDIA三大计算机平台•
高保真数字孪生•合成数据&数据增强仿真&数据增强(SDG)Omniverse
+
CosmosNVIDIACosmos–世界基础模型NVIDIACosmos是一系列预训练多模态模型,开发者可以开箱即用,用于世界生成和推理,或进行后训练以开发专用的物理
AI世界基础模型Cosmos
Predict高性能基础模型,根据单个图像和文本提示生成
30
秒的世界状态预
测视频Cosmos
Transfer多控制模型可跨各种环境和光照条件快速扩展单个模拟或空间视频Cosmos
Reason完全可定制的推理视觉语言模型,使用视频和图像的结构化推理,在
理解物理世界方面表现出色类别子类定义空间(Space)空间关系场景中物体的空间关系&相机视角关系(人的左侧vs
相机视角的左侧)可行性判断某种空间关系是否可行功能性理解物体与主体(人/动物/机器人等)
的交互关系(例如:桌子可供放置、把手可供抓握)环境理解理解场景或周围环境特征时间(Time)动作理解准确描述动作(运动类型、方向、强度等),确定动作目标,任务分解,
判断动作是否成功完成时序理解事件的时间戳和先后顺序因果判断事件A是否导致事件B相机运动确定相机的空间位置及运动轨迹,理解相机角度/位置变化对场景的影响,场景切换中的相机运动规划基于已有观察制定未来计划基础物理物体属性确定物体的物理属性:语义描述、大小、颜色、材料、质量、温度、固体性(能否相互穿透)状态变化判断物体当前状态,理解状态变化过程(如:
冰->水、生蛋->熟蛋)物体恒常性在不同条件下判断哪些属性可变、哪些属性不可变(重量、形状、大小、颜色等)力学静力学:平衡、稳定性、支撑、弹性、变形、质心运动学:速度、加速度、线性/圆周/旋转运动动力学:重力、碰撞、摩擦、滑动、惯性、动量守恒、流体与粒子动力学电磁学光学:照明、阴影、遮挡、反射、折射、衍射、吸收、透射电学:
电现象磁学:
磁现象热力学热与温度变化,蒸发与凝结,热传递,热膨胀与收缩反物理现象违反物理定律的情况:反重力、时间倒流、永动机构造、物体突然消失等Cosmos
Reason–基于对物理常识理解的推理主要功能:
•
基于
VLM、
LLM和NIM构建的
AIAgent
Blueprint•通过自然语言分析、解释视频数据,提供关键见解•云边端协同部署:可以部署在
BlackwellGPU、
DGXSpark和
Jetson
Thor等平台上局限性:
•
快速PoC,不满足生产场景的需求•
业务场景适配需求•
扩展性及高可用需求•
架构灵活性需求•系统部署门槛高,难以快速进行功能评估Cosmos
Reason
Blueprint–
VSS
(视频搜索和总结)AgentVSS
AI
Agent
Blueprint图灵智能视觉平台>
面向场景:
面向意图识别视频分析相关业务场景>
灵活扩容:
系统架构按功能解耦,各模块可随业务增长灵活扩容。>
易于集成:
流水线设计,
便于既有系统集成
>
核心功能功能基于NIMs
构建(红色部分)意图识别(VLM)Rag
Server视频流数据结构化对象识别(CV)MessageQueueServerApp
ServerStorage>
灵活扩展能力•跨环境无缝线性扩容(演示->开发->业务验证->生产环境)•功能集群解耦,根据业务增长灵活进行集群扩容•灵活组合大小模型,在功能提升的同时,优化运营成本•
可与客户既有系统灵活集成>客户方案快速定制能力:基于客户业务目标(视频路数,分辨率,场景数等输入参数)•硬件配置方案(服务器数量&配置)•
BOM清单,参考报价•
网络拓扑面向场景灵活扩展、快速定制的系统方案GPU
Server•
私有化部署,用于Cosmos
WFM模型后训练及
Agent应用开发TGC•
TIC行业方案•NIM
&
Blueprint服务•IaaS服务(GPU/wAIE)Spark
->Thor•
All-In-One行业一体机:演示
&快速功能评估TICWFM
Hub•
Cosmos服务:快速功能评估Thor•
All-In-One边缘一体机(部署在路口,
网点,
…)Minimum
Footprint•
管线方案的最小部署:快速业务验证Cluster•
功能集群为粒度,根据业务增长快速扩容开发演示
&评估业务验证生产环境全产品周期支持>运管&安保场景(如:使用个人手机对网点电脑屏幕非法拍照)>手术视频智能日志(例如,设备识别、手术区域分析、事件识别、动作行为分析等)更多行业场景医疗
–AI
手术室金融
–AI
网点图灵智能视觉平台在智慧交通(ITS)
行业的应用解决方案现状:•
传统视频分析解决方案(如:平安城市、车联网等)通常是建立在功能固定、能力有限的模型(CV)之上,这些模型仅能检测和识别特定的一组预定义对象。CV模型局限性:•
物理世界理解力:基于深度学习算法,识别对象能力强,但是对物理世界规则(时间、空间、物理规则)理解能力有限•
场景泛化能力:面向有限具体场景训练特定模型,对于新场景需要训练新模型实现。传统视频分析解决方案的局限性车联网系统典型参考架构一个模型基座
Transformer海量通用数据多模态迁移学习各种任务各种场景引入视觉语言模型(VLM)提升物理世界理解能力•
在复杂任务上表现卓越,能精准识别细微差别和复杂行为•
强大的泛化能力和多功能性,适用于多样化的应用场景•
提供更高的准确性和可靠性,特别适合对精度要求极高的专业领域•
在处理简单、明确的任务时表现出色,如基本的动作识别和目标检测•
对复杂场景的理解能力有限,泛化能力较弱•
监督学习和训练数据驱动的深度神经网络•
任务、模型与数据集绑定,泛化效果不好•
劳动密集型的数据标注和训练•
基于Transformer
架构的自监督学习•
通用数据预训练和领域数据后训练驱动•
跨领域智能,执行五花八门的任务数据集1模型1任务1数据集3模型3任务3数据集2模型2任务2数据集4模型4任务4VLMCNN传统CV视频分析VLM视频分析场景描述违停车辆驶入禁停区域,停止时间超过5分钟,给司机发送短信;超过十分钟,通报
交警拥堵按车道(含待行区)统计车辆数量;一个车道的车辆数量超过阈值,发起报警桥隧非机动车进入高架桥或隧道;普通行人进入高架桥或隧道压实线变道私家车到达实线区域,右转/左转,进入另一车道拍摄三张:原车道、压线(含车牌)
、新车道交通事故道路中车辆碰撞;车辆与行人、非机动车碰撞。侵占公交车道在限行时间私家车辆进入公交车道;私家车在公交车道禁行区域行驶时间超过阈
值大货车闯入在高架桥、隧道区域,有大货车进入,识别大货车车牌禁行期间,大货车进入市区,识别大货车车牌摩托车闯入在高架桥、隧道区域,有摩托车进入,识别摩托车车牌违法掉头私家车到达禁止掉头路口,左转掉头,进入另一车道拍摄三张:原车道、掉头压线(含红绿灯)
、新车道车辆慢行私家车以低于阈值的速度行驶;该车前方无其他障碍物,后方有车辆被堵塞不礼让行人车辆经过十字路口右转,
同时有行人通过,未停车礼让交叉口溢出红绿灯路口车辆堵车,导致前一个红绿灯路口被堵>落地项目:xx
交投项目(2026H1落地)>业务场景:聚焦需多张照片识别的违法场景,如:连续并线、非法掉头等案例:智慧交通违章检测系统方向方案精度提升(Precision/
Recall)基模能力提升后训练连续跨实线并行(1833训练数据)
:37.1%/
56
.1%
=>
97
.2%/
97
.2%Reason-1-7B
=>
R
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026国新控股(上海)有限公司岗位招聘3人备考题库(含答案详解)
- 2026四川雅安荥经县考核招聘学校教师、医护类事业单位工作人员的11人备考题库带答案详解
- 2026重庆市开州区事业单位绿色通道引进高层次人才12人备考题库含答案详解(黄金题型)
- 2026河北唐山市市直中小学选聘教师42人备考题库及答案详解(名师系列)
- 2025湖南安化经济开发建设投资有限公司人员招聘拟录取人员笔试历年难易错考点试卷带答案解析
- 2025湖北汉江水利水电(集团)有限责任公司招聘5人笔试历年难易错考点试卷带答案解析
- 2026广西贵港市港北区八一社区卫生服务中心招聘人员3人备考题库含答案详解(a卷)
- 2026中国联通西藏自治区分公司校园招聘备考题库附答案详解(巩固)
- 2026浙江温州市瓯海区招聘专职社区工作者6人备考题库附答案详解(能力提升)
- 2026四川乐山市市中区发展和改革局面向区内选调事业人员3人备考题库附答案详解(培优b卷)
- 【新高教版中职数学基础模块下册PPT】7.2旋转体
- 绝对最大弯矩公式
- 维克多高中英语3500词汇
- 水稻幼穗发育
- 疗养院新康复大楼lte室内分布测试报告
- 全国优质课一等奖小学四年级道德与法治下册《学会合理消费》(精品课件)
- 核磁共振上册氢谱
- 皮肤科常见疾病康复
- 输气管道毕业论文输气管道工程初步设计
- 第3章物流类型
- 烹饪化学教程课件
评论
0/150
提交评论