陈冠中：地瓜机器人RDK系列部署生成式AI模型

D-Robotics

地瓜机器人RDK系列

部署生成式AI模型

陈冠中地瓜机器人算法工程师

DataFunSummit#2024DataFun.

D-Robotic*

■RDK系列产品介绍

■RDK上的模型部署

・RDK上LLM的技术选型

■RDK上LLM的实际效果演示

>DataFun.

D-Robotic*

01

RDK系列产品介绍

>DataFun.

嵌入式。D-Robotics

嵌入式系统昂一种专门设计用于特定仟务的计算机系统c它通

常被嵌入在另一个设备中，以控制、监测或执行某些特定功能。

嵌入式系统通常包含一个或多个微处理器或微控制器，以及与

其配套的硬件和软件。嵌入式系统可以用于各种不同的应用领

域，例如汽车、家电、医疗设备、电子玩具、军事设备等等。

嵌入式系统通常需要满足以下特定要求：

实时性：嵌入式系统通常需要能够在严格的时间限制下运行。

可靠性：由于嵌入式系统通常被嵌入到其他设备中，因此其

稳定性衽回靠性非常重要。

低功耗：嵌入式系统通常需要在低功耗模式下运行，以便延

长其电池寿命或降低功耗成本。

低成本：嵌入式系统通常需要在成本可控的情况下设计和制

造。

嵌入式产品介绍D-Robotics

菖能会议

机器人

智能音箱智慧教育

边缘计算盒

:DataFun.

RDK系列:口D-Robotic?

RDK全称为RoboticsDeveloperKits,即地瓜机器人开发套件（RDK）

是基于地瓜智能芯片打造的机器人开发者套件，包括RDKX3、RDKX3Module.RDKX5、

RDKX5Module等。搭配TogetheROS.Bot机器人中间件，RDK套件可以帮助开发者快速搭

建机器人原型，开展评测和验证工作。

RDKX3Module■

RDKX3

Compute5TopiC<x«pute：10TopiCoHpute：?

Cooputo：5TopsCPU；4XCortcxA5315GCPU:BXCortcxA5515GCPU：?

GPU*Aodio?

CPU：4XCortexA531.2GDDR；2/4G8GPUi326flopsCorputo:>20Tops

0»：?

DDR：2/4G8eVWC：16/32/6468DDR；4/8G8

•MC?

Wi-Fi：2.4Gii-Fi:2.4G/5G■i-Fii2.4G/56

m-Fis?

佥

2022.62023.52023.72024.92025^^(UaFun.

RDKX5:口D-Robotic?

i4G/8GRAM8NFD

40PIN:灵活选洋灵活连接机器人底盘和电机

最大化曳用拓展：

HDMIUSB3-4

更好兼容常见蚊据线全霸速通信

双频wifi6+盘牙54

极速通信

多标准爱容耳机.

多梗应用Debug®C

使张消诚

天线模块

«!壬夜状天绊

千兆河口

'支持POE供电

TypeC供电

5V/5A

RTCTypcC内连双MIPI

精准时间同步极速开发4-lane双目

>DataFun.

RDKX5D-Robotics

公版模型尺寸类别数参数量BPU延迟BPU吞吐量后处理时间

Yolov8n640x640803.2M5.6ms263.6FPS5ms

Yolov8s640x6408011.2M12.4ms194.9FPS5ms

Yolov8m640x6408025.9M29.9ms35.7FPS5ms

Yolov8x640x6408068.2M90ms11.2FPS5ms

YolovlOn640x640806.7G9.3ms132.7FPS4.5ms

YolovlOs640x6408021.6G15.8ms71.0FPS4.5ms

YolovlOm640x6408059.1G30.8ms34.5FPS4.5ms

:DataFun.

D-Robotic*

02

RDK上的模型部署

>DataFun.

人工智能演变史D-Robotics

4-L生成式AI

I2021］根据提示或现有数据创建新的书面、视觉和听觉内容

图深度学习

一种使用多层神经网络处理数据并做出决策的机器

学习技术

••机器学习

I1997|人工智能的子集，使机器能够从现有数据中学习,

并改道该数据以做出决策或预测

国温翦域，

人工智能

能的智能机器

9DataFun.

自然语言处理D-Robotics

自然语言处理是一种人工智能领域，旨在使计算机能够像人类一样理斛和生成自然语言文本。自然语言处理的研究主要

关注如何使计算机理解和处理人类语言.并从中提取有用的信息或生成符合语境的语言输出。

自然语言处理涉及到很多不同的任务，包括文本分类、情感分析、机器翻译、自动摘要、问答系统、命名实体识别、语

言生成等。

同义词计算句子情感倾向分析

对话/篇章・对话系统*1tovtChHmovie.

I'vtK«nitm.nytimes

•ndK'sstill

NLP问题•阅读理解-o

"Thismovieisb»d.

Idontlikeititall.

句子/段落・文本分类

NLP问题•文本相似度

词/短语级・切词

NLP问题・同义词计算

自然语言生成对话系统

大语言模型（LLM）。D-Robotics

传统语言模型的劣势在于：局限于某一领域的知识、泛化能力差难以迁移、上下问理解有限

基于transformer的大语言模型：基于海量（基本全互联网）数据进行预训练。对于特定场景的任务，只需微调适应

文心一言、、同义千问等

:ChatGPT.LlamaBaichuan2x

LargeLanguageModels(LLMs)

DataModelSizeComputation

Scali

,...,

TransformersTransferLearningSelf-SupervisedLearning

郴Y・1・・T

yataFun.

地瓜工具链:口D-Robotic?

分析现实问题选用合适的模型减少训练好的模型

影响算法的选择、模型的评估、投入的成本寻找或编写对应的模型代码计算和储存需要的技术

问题定义数据准备模型选择/开发模型训练与调优模型量化

定义数据范围：适配任务需求

数据获取：下载，清洗

使用数据集在模型中训练模型存储、导出、推理服务的部署

数据预处理：预处理、增强围绕业务需求对模型目标调优系统对接、指标监控

数据集定义和切分：训练、浜估、测试

>DataFun.

地瓜工具链D-Robotics

《Fun.

地瓜工具链D-Robotics

：:DataFun.

ModeIZooD-Robotics

实例分割

以图搜图

目标检测

/D-Robotics/rdk_model_zoo/tree/main

图像分类>DataFun.

D-Robotic*

03

RDK上LLM技术选型

>DataFun.

LLM类别D-Robotics

Output

Protabilities

大语言模型（LargeLanguageModel,LLM）主要分为两类：基

于transformer的模型和基于循环神经网络RNN的模型。

Transformer是近年来非常流行的一种神经网络架构，它在自然

语言处理（NLP）任务中取得了巨大的成功。Transformer依赖

于“注意力机制”（AttentionMechanism）来处理输入数据，从

而更好地理解句子中各个词之间的关系。

RNN（循环神经网络）是一类适用十处理序列数据的神经网络

架构。RNN通过"循环”的方式在时间步之间共享信息，因此

非常适合处理像文本和语音这类序列数据。早期的语言模型大多

基于RNN及其改进版本（如LSTM和GRU）.

InputsOutputs

(shiftedright)

::JataFun.

RWKV语言模型。D-Robotics

RWKV模型在架构上继承了Transformer的思想，但在具体的实

现上做了一些重要的改进，这些改进主要体现在TimeMixing和

ChannelMixing两个方面

TimeMixing:与Transformer中的自注意力机制不同，rwkv模型

引入了时间混合(TimeMixing)机制。这种机制关注序列数据

中时间步之间的依赖关系，通过时间混合层来捕捉时间序列中的

长期依赖性。TimeMixing通过加权平均和非线性变换的方式，

将不同时间步的信息进行整合，确保模型能够有效捕捉序列的全

局和局部信息。

ChannelMixing:ChannelMixing则是对序列中不同特征通道的

处理。在Transformer中，特征通道的混合主要通过多头自注意

力和前馈神经网络来完成，而在rwkv模型中,ChannelMixing

采用了一种更加高效的方式。通过一系列的线性变换和激活函数

来对通道信息进行融合。这种方法不仅减少了计算复杂度，还保

持了模型的表达能力，使其能够在处理大规模数据时更加高效。

RWKV语言模型:口D-Robotic!

高效训练0(1)内存占用

高效并彳到।练，训练速度与上下文长度无关空间豆杂度恒定0Q).transformer内存占用随

上下文长度不断熠加，即。1八2)

可解释性强0")推理速度

约以RNN每次推理内部有固定大小的state,触时间豆杂度0(D.即与RNN持平

即上下文信息•向量transformer推理速度为0(TA2)

ZX

DataFun.

D-Robotic*

04

RDK上LLM效果演示

>DataFun.

端侧RWKV-V5展示D-Robotics

ActivitiesFirefoxWebBrowser▼9月1311：39A▼

>Gradio

A0OO:7860a

RWKV-V5RDKX5ChatInterface

Q

a«rtrytjundoVClMf

:

•1Submit

jFun.

端侧Llama1B展示D-Robotics

Activities。Firefo