AIoT 2.0重塑智能硬件：让设备真正“听懂、看懂、思考”

让设备真正“听懂、看懂、思考”/——AIoT2.0重塑智能硬件OO万物智联连接、控制典型芯片数据处理无深度学习CNN典型芯片数据处理按规则识别“人车非”大模型典型芯片数据处理泛化、理解、规划、决策首推内置NPU首推内置NPU芯片首推端侧大模型协处理器芯片首推搭载Android进入IoT市场Agent能力Agent能力大模型泛化能力视频分析、工业检测、语音处理等应用小参数大模型类型广泛ASR、TTS、翻译、视觉编码、OCR、多模态、3D深度估计等各类模型层出不穷小参数大模型能力迅速变强隐私安全(Privacy)实时性(Latency)Token带宽成本(BandwidthCost)可靠性(Reliability)无网弱网可用，不依赖网络，稳定可靠大模型运行的超大带宽需求Transformer架构/Attention机制支持模型精度挑战->量化方案支持模型生态挑战->主流模型支持和厂商合作AI算力功耗->高算力带来的功耗DRAM功耗->超大访存带来功耗商业化性价比--晶圆面积限制->芯片性能商业化性价比--外挂DDR容量及成本((Memory-Intensive)(Compute-Intensive)算力要求高带宽要求相对较低算力要求高带宽要求相对较低(以7B模型INT4量化为例)传统SoC(如RK3588)理论带宽峰值:传统封装传统封装b布板简单面积小b布板简单面积小优势项优势项详细内容详细内容收益收益低功耗访存功耗比SoC低一个数量级平均能耗比远高于竞品无需外挂DDR架构/算子加速量化支持低比特支持W4A16量化，内存占用少模型精度提升支持FP16激活参数，Group量化模型效果好真多核，大小模型同时运行保障实时任务(ViT/LLM任务时间长)不影响主控已有业务独立选配升级模型适配全面支持CNN/ViT/LLM/VLM/Omni/语音/嵌入/扩散等各类开源、商用模型能量效率9能量效率9876543210Qwen2.5-3B性能功耗对比RK182XO***NX8GB120.00100.0080.0060.0040.0020.000.00主控/主控/RK182XAI处理器感知规划、决策执行视觉反馈扬声器显示器机械臂视觉反馈扬声器显示器机械臂结构光摄像头麦克风雷达端侧大模型端侧大模型感知与理解理解、记忆、学习实时性与低延迟理解、记忆、学习实时性与低延迟弱网离线可用推理成本确定规划与决策深度思考、路径规划意图理解、指令生成ASR、TTS、翻译、声纹、多音轨视觉算法(CNN)视觉算法(CNN)算法算法伙伴AISPEECH》》从“听清”到“听懂”精准语音识别(不理解潜台词)关键词唤醒(每次对话都“失忆”)简单指令执行(固定操作)基础问答(标准回复)怎么说都懂，理解意图连续对话，像朋友一样聊天主动建议，自动完成复杂任务链有温度，个性化的回应》》从“听清”到“听懂”—AIoT2.0给语音交互装上大脑多轮对话，上下文记忆自主规划、调用服务自主规划、调用服务结合常识、消除歧义长期记忆、学习用户习惯长期记忆、学习用户习惯智能办公：从“录音笔”到“专属秘书”智能办公：从“录音笔”到“专属秘书”智能家居：从“遥控器”到“私人管家”智能车载：从“导航仪”到“副驾伙伴”成员识别，自然交互陪伴，基于时间地点自主规划任务智能车载：从“导航仪”到“副驾伙伴”成员识别，自然交互陪伴，基于时间地点自主规划任务智能机器人：从“遥控”到“自主助理”场景识别情绪分析，基于记忆个性化交互，自主完成任务看得清：高清画质，超低照度认得准：精准识别“人、车、物”等目标反应快：基于固定规则触发告警没有环境、行为、事件分析能力容易误报：规则死板，环境干扰检索效率低：依赖关键词传统AIoT传统AIoT能分析行为背后的意图b能认到有人出现多模态大模型b场景和行为分析b异常行为预警能关联时间地点能用人类的语言问答总结能关联时间地点能用人类的语言问答总结》》AIoT2.0视频分析—从被动记录到主动预警、分析》》体验升级—事件检索“一键即达”自然语言输入秒级快速反应精准匹配视频“谁把箱子搬走了？“谁把箱子搬走了？”主芯片+协处理器，成为瑞芯微并行研发、快速b研发一代成熟一代传统硬件迭代痛点：升级主控(AP)是“痛苦”的协处理器(CP)负责：核心“思考”、协处理器(CP)负责：核心“思考”、大模型推理主控(Host)无缝升级算力解耦成本优势无缝升级算力解耦成本优势下一代AI模型出现时，仅升级协处理模型名称输入长度输出长度首字时延TTFT(ms)输出速度TPS48.19448*44847.93模型图像分辨率ViT(ms)LLMTTFT(ms)输出速度TPSYOLOv5s640x640212.6ResNet50V2224x224851.3ViT_b_p16224x22448.9/DINOv3224x224331.0DepthAnythingV2448x252/模型类别模型名称数据集考察重点原始精度RKNN3精度数据类型数学能力大语言模型(LLM)大语言模型(LLM)语音模型语音模型ASR、TTS多模态/视觉语言模型(VLM)向量嵌入与重排序(Em