CESA-2020-3-023 信息技术 移动设备增强现实系统技术规范-征求意见稿

ICS01.040.35

L60

团体标准

T/CESAXXXX—2020

信息技术移动设备增强现实系统技术规范

Informationtechnology-Technicalspecificationoftheaugmentedrealitysystemfor

mobiledevices

征求意见稿

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申请证明材料为专利公

开通知书复印件或扉页，未公开的专利申请的证明材料为专利申请号和申请日期。

2020-XX-XX发布2020-XX-XX实施

中国电子工业标准化技术协会发布

T/CESAXXXX-2020

前  言

本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

本文件由浙江商汤科技开发有限公司提出。

本文件由中国电子技术标准化研究院、中国电子工业标准化技术协会归口。

本文件起草单位：浙江商汤科技开发有限公司、中国电子技术标准化研究院、浙江大学、山东大学、

北京邮电大学、OPPO广东移动通信有限公司、北京小米移动软件有限公司、北京爱奇艺智能科技有限公

司、北京百度网讯科技有限公司、网易（杭州）网络有限公司、杭州易现先进科技有限公司。

本文件主要起草人：。

III

T/CESAXXXX-2020

信息技术移动设备增强现实系统技术规范

1范围

本文件规定了移动设备的增强现实系统的功能要求、基本性能要求和测试方法。

本文件适用于移动设备增强现实系统的设计、生产、应用、维护，其他相关领域可参考使用。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T38247-2019信息技术增强现实术语

T/CESAXXXXX信息技术移动设备增强现实接口

3术语和定义

GB/T38247-2019和T/CESAXXXXX界定的以及下列术语和定义适合于本文件。

3.1

移动设备mobiledevice

具备摄像头、显示屏、网络功能以及可检测其方位和运动信息的元件。

注：GPS、加速度计、磁力计和陀螺仪的手机或平板电脑等智能设备。

3.2

增强现实augmentedreality

采用以计算机为核心的现代高科技手段生成的附加信息对使用者感知到的真实世界进行增强的环

境，生成的信息以视觉、听觉、味觉、嗅觉、触觉等生理感觉融合的方式叠加至真实场景中。

[来源：GB/T38247-2019，2.1.2]

3.3

真实环境actualenvironment

人类所处的不需要借助装备就能感知的包含多物理对象的真实世界。

[来源：GB/T38247-2019，2.2.4]

3.4

虚拟对象virtualobject

计算机生成的具有几何形状、特定格式或特定行为的对象。

注：其原型可以是现实对象，也可以是完全虚构的对象。

1

T/CESAXXXX-2020

[来源：GB/T38247-2019，2.2.1]

3.5

二维标志物2dimensionalmarker

预先设定的具有特殊编码或图案的二维图像，通过检测、跟踪或识别该二维图像，可在场景、图像

或视频中估计出其相对于移动设备的位置和朝向。

3.6

三维标志物3dimensionalmarker

预先设定的具有特殊形状或纹理的三维物体，通过检测、跟踪或识别该三维图像，可在场景、图像

或视频中估计出其相对于移动设备的位置和朝向。

3.7

锚点anchorpoint

将虚拟物体放置在环境过程中所使用的基准点。

[来源：GB/T38247-2019，2.2.45]

3.8

云端cloudend

供具备访问权限的移动设备远程接入、具备计算和存储功能的系统。

3.9

定位localization

获取确定指定对象的空间位置信息。

3.10

重定位relocalization

当移动设备因意外的位置突变等情况造成定位丢失时，移动设备根据之前跟踪过的历史位置和朝向，

通过触发对移动设备的重新定位机制来获取正确的位姿信息，并重置移动设备当前的位姿。

3.11

六自由度跟踪sixdegreeoffreedomtracking

实时计算移动设备相对真实场景的六自由度位置和姿态。

3.12

同步定位与地图构建simultaneouslocalizationandmapping

设备（移动终端或者机器人等）在未知环境里通过观察外部环境来定位自身的位置和姿态，再通过

自身的位置增量式地构建未知环境的地图。

[来源：GB/T38247-2019，2.2.67]

3.13

光照估计illuminationestimation

从传感器或摄像机视图中分析计算物理场景的光源照度分布信息的过程。

2

T/CESAXXXX-2020

[来源：GB/T38247-2019，2.2.50]

3.14

尺度估计scaleestimation

在系统中获得到物理世界的长度尺寸信息的过程。

[来源：GB/T38247-2019，2.2.51]

3.15

绝对位置误差absolutepositionerror

6DoF位姿在当前时刻位置的绝对误差，通过计算当前时刻移动设备位置的真实值与估计值之间的

差而获得。

3.16

绝对旋转误差absoluterotationerror

6DoF位姿在当前时刻旋转角度的绝对误差，通过计算当前时刻移动设备旋转角度的真实值与估计

值之间的差而获得。。

3.17

相对位置误差relativepositionerror

6DoF位姿在当前时刻与上一秒时刻之间位置的相对误差，通过计算当前时刻与上一秒时刻之间移

动设备位置的真实值变化量与估计值变化量之间的差而获得。

3.18

相对旋转误差relativerotationerror

6DoF位姿在当前时刻与上一秒时刻之间旋转角度的相对误差，通过计算当前时刻与上一秒时刻之

间移动设备旋转角度的真实值变化量与估计值变化量之间的差而获得。

4缩略语

下列缩略语适用于本文件。

6DoF：六自由度（SixDegreesofFreedom）

APE：绝对位置误差（AbsolutePositionError）

AR：增强现实（AugmentedReality）

ARE：绝对旋转误差（AbsoluteRotationError）

CPU：中央处理器(CentralProcessingUnit)

FPS：每秒帧数（FramesPerSecond）

IMU：惯性测量单元（InertialMeasurementUnit）

RPE：相对位置误差（RelativePositionError）

RRE：相对旋转误差（RelativeRotationError）

SLAM：同步定位与地图构建（SimultaneousLocalizationandMapping）

5系统结构图

3

T/CESAXXXX-2020

说明：

可选模块

必选模块

图1移动设备增强现实系统结构图

本文件只规定对移动设备增强现实系统中实时跟踪定位、尺度估计、标志物识别跟踪、三维重建、

虚实遮挡模块、标志物识别与跟踪、光照估计、渲染引擎等的通用技术要求和测试方法。

实时跟踪定位模块利用移动设备的输入数据计算6DoF位姿；尺度估计模块利用输入数据计算尺度信

息；三维重建模块利用6DoF位姿、尺度信息和深度流数据）重建场景的三维模型；虚实遮挡模块利用视

频流和深度流实现虚拟物体与现实环境的遮挡效果；标志物识别与跟踪模块基于视频流实现标志物的识

别与跟踪；光照估计模块利用视频流实现光照信息的解算；6DoF位姿、三维模型、虚实遮挡、标志物识

别与跟踪、光照这些信息汇总至渲染引擎实现真实感的增强现实效果，并在移动设备的显示屏上呈现。

6功能要求

6.1实时跟踪定位

6.1.1六自由度实时跟踪

通过硬件和软件的组合，移动设备增强现实系统应能实时估计设备的六个自由度位姿。

6.1.2本地重定位

因意外的位置突变等情况造成定位丢失时，移动设备增强现实系统应能在本地重新定位并重置设备

当前的位姿。

6.1.3云端重定位

因意外的位置突变等情况造成定位丢失时，端云协同的移动设备增强现实系统应能在云端重新定位

并重置设备当前的位姿。

4

T/CESAXXXX-2020

6.2尺度估计

通过硬件和软件的组合，移动设备增强现实系统应能：

——得到物理世界的尺度信息；

——使得虚拟场景与物理世界注册在同一尺度的坐标系下；

——实现虚拟对象与物理世界1：1虚实融合的效果。

6.3标志物识别跟踪

6.3.1二维标志物识别跟踪

通过计算机视觉技术，移动设备增强现实系统应能：

——对定义好的场景二维标志物进行识别；

——对定义好的场景二维标志物进行6DoF位姿跟踪；

——在识别到预定义的特定标志时，触发增强现实效果。

6.3.2三维标志物识别跟踪

通过计算机视觉技术，移动设备增强现实系统应能：

——对真实场景中三维标志物体的纹理或结构信息进行预处理；

——将来自摄像头的实时信息与处理过的信息进行比较，实现二维和三维信息的匹配；

——理解场景中三维物体的位置和朝向。

6.3.3云端标志物识别跟踪

端云协同的移动设备增强现实系统应能：

——对用户上传到云端的带二维标志物的图像帧，利用云端服务器计算资源进行识别跟踪，并返回

该帧二维标志物的位置和朝向信息至用户端；

——对用户上传到云端的带三维物体的图像帧，利用云端服务器计算资源进行识别跟踪，并返回该

帧三维物体的位置和朝向信息至用户端。

6.4三维重建

6.4.1平面检测及求锚点

6.4.1.1单一平面重建及求锚点

移动设备增强现实系统应能：

——需支持水平面和竖直平面的检测；

——理解真实场景的主水平面，并在其上求出锚点或对其进行渲染；

——对平面上的三维点进行识别、判定平面位置并进行拓展；

——对场景中单一平面的检测；

——对单一平面进行重建并求锚点。

6.4.1.2多个平面重建及求锚点

对于包含多个平面的场景，移动设备增强现实系统应能：

——理解真实场景的多个平面（包括水平平面或垂直平面），并在其上求出锚点或对其进行渲染；

——对平面上的三维点识别、判定平面位置并进行拓展；

——对场景中多个平面进行检测；

5

T/CESAXXXX-2020

——对多个平面进行重建并求锚点。

6.4.1.3平面位置自动调节

当发生回路闭合或触发其它历史帧位姿的优化行为时，移动设备增强现实系统应能：

——根据位姿的优化，自动调整平面的位置；

——自动调整平面上锚点的位置。

6.4.2稠密点云重建及求锚点

当在较为复杂的非平面场景上置放虚拟物体时，移动设备增强现实系统应能：

——支持渐增式的实时拓展；

——重建场景的稠密三维点云信息，点云中的每个三维点包含位置、法向、颜色等信息；

——求解稠密点云的锚点位置和法向，实现虚拟物体摆放在复杂表面的效果。

6.4.3稠密网格重建及求锚点

在较为复杂的真实场景上构建更为真实的虚实融合效果时，例如：遮挡、阴影、碰撞等，移动设备

增强现实系统应能：

——重建场景稠密的三维网格信息；

——求解稠密网格的锚点位置和法向，实现虚拟物体摆放在复杂表面的效果。

6.4.4云端三维重建

端云协同的移动设备增强现实系统应能：

——应支持渐增式的实时拓展；

——利用云端服务器计算资源对用户端上传的关键帧图像进行三维重建；

——将重建结果与统一坐标对齐；

——读取或显示重建信息。

6.5光照估计

移动设备增强现实系统应当能从传感器或者摄像头视图中估计出物理场景的全局光照环境信息，用

于虚拟对象、虚拟场景的渲染。

6.6渲染引擎

移动设备增强现实系统应能：

——实时将动/静态虚拟对象绘制在现实画面中；

——紧密贴合虚拟对象与现实背景；

——正确响应现实世界的光照变化；

——支持静态模型和动态模型(如骨骼动画)的渲染。

6.7虚实遮挡

移动设备增强现实系统应能实现虚拟物体与真实环境之间的遮挡，包括虚拟对象与静态背景环境之

间的遮挡和虚拟对象与动态前景（例如人）之间的遮挡。

7性能要求

6

T/CESAXXXX-2020

7.1实时跟踪定位

7.1.1六自由度实时跟踪

在本文件所述基准测试数据集所涵盖的运动类型和测试场景下，移动设备增强现实系统6DoF实时

跟踪应满足：

——准确率不低于95%；

——帧率不低于24fps。

判断某一帧的跟踪是否准确，应同时满足以下四个条件：

——APE小于10cm或小于轨迹总长的1%以及活动范围（轨迹中两点最长距离）的5%；

——ARE小于6°；

——与前0.1s的那帧的相对位置误差不超过3cm；

——与前0.1s的角度误差不超过2°。

7.1.2本地重定位

移动设备增强现实系统应具备在本地重定位能力，且需要满足：

——重定位的成功率不低于90%；

——在重定位成功的情况下，重定位时间不超过2s；

——重定位的误差不超过10cm或小于轨迹总长的1%以及活动范围（轨迹中两点最长距离）的5%。

7.1.3云端重定位

移动设备增强现实系统应具备在云端重定位能力，且需要满足：

——重定位的成功率不低于90%；

——在重定位成功的情况下，重定位时间不超过2s；

——重定位的误差不超过10cm或小于轨迹总长的1%以及活动范围（轨迹中两点最长距离）的5%。

7.2尺度估计

移动设备增强现实系统应满足：

——真实环境尺度的估计与其真实值的偏差应在15%以内；

——尺度估计耗时不应超过2s。

7.3标志物识别跟踪

7.3.1二维标志物识别跟踪

移动设备增强现实系统应满足：

——不多于4个平面标志的识别与跟踪；

——单个平面标志识别的延迟应当在0.5s以内；

——多个平面标志情况下，延迟应当在1s以内；

——识别召回率应达到90%；

——准确率应达到90%；

——单个平面的跟踪应当达到在人眼观测下的实时，即最低频率24fps，建议不低于30fps；

——多个平面标志情况下，跟踪频率不低于20fps。

7.3.2三维标志物识别跟踪

7

T/CESAXXXX-2020

移动设备增强现实系统的三维标志物跟踪应满足：

——频率不低于24fps，识别时间不超过1s；

——位置误差每米应当不超过3cm，或物体运动轨迹的最大距离的3%以内（以较大值为准）；

——识别召回率应达到90%，准确率应当在90%以上。

7.3.3云端标志物识别跟踪

云端检索识别时间应小于0.2s。

7.4三维重建

7.4.1平面检测

平面的位置精度误差每米小于2cm；

相对精度误差应小于摄像头运动轨迹最大距离的4%（以较大值为准）。

7.4.2稠密点云重建

移动设备增强现实系统应满足：

——稠密点云重建处理帧率和6DoF跟踪帧率一致；

——点云总数控制在8万以内；

——稠密点云的位置精度误差每米小于3cm或小于摄像头运动轨迹最大距离的3%（以较大值为准）。

7.4.3稠密网格重建

移动设备增强现实系统应满足：

——稠密网格重建处理帧率和6DoF跟踪帧率一致；

——重建的网格面片数量控制在6万以内；

——稠密网格的几何精度误差每米小于3cm或小于摄像头运动轨迹最大距离的3%（以较大值为准）。

7.5光照估计

移动设备增强现实系统的光照估计对于环境变化的响应时间不应超过1s。

7.6渲染引擎

移动设备增强现实系统的渲染引擎的绘制帧率和绘制分辨率都不应低于摄像头采集视频的帧率和

分辨率。

7.7虚实遮挡

移动设备增强现实系统应满足：

——画面深度图的获取和遮挡处理的帧率和6DoF跟踪帧率应当一致；

——遮挡边缘的误差不超过3个像素；

——画面中遮挡关系错误占比不超过10%。

7.8运行

7.8.1CPU和内存占用要求

在单目方案中，移动设备增强现实系统在运行基本的跟踪和稀疏点云地图构建时，

——CPU占用率不宜超过50%；

8

T/CESAXXXX-2020

——内存占用量不宜超过500MB。

7.8.2算法运行时间要求

移动设备增强现实系统的运行帧率应在20fps以上。

8测试方法

8.1测试环境

在5×5平方米的实验室中，按以下要求布置标准测试场景：

a）在房间中布置红绿蓝白四种光源模式，每种光源均为漫射光，保证场景中的光线均匀照射；

b）场景中包含三面墙体和一张方桌，墙体表面贴上带图案的墙纸，方桌上铺上带花纹的桌布；

c）三面墙角上和桌面上均摆一些杂物；

d）在场景中布置不少于5个二维标志物、和不少于5个三维标志物；

e）基准数据集参照KITTI、EuRoC、TUM等公开数据集；

8.2功能测试方法

8.2.1实时跟踪定位

8.2.1.1六自由度实时跟踪

6DoF实时跟踪能力测试具体操作步骤如下：

a）将布置的测试环境光照调节成白光模式；

b）在测试环境中，手持上述移动设备，进行不同方式的运动并开启增强现实系统；

c）通过观察设备的可视化轨迹和设备显示屏上的虚拟对象的位置来判断增强现实系统是否可以

正常估计设备的6DoF位姿。

8.2.1.2本地重定位

参照8.2.1.1中的场景布置方法，进行移动设备的本地重定位操作。具体操作如下：

a）扫描场景，使算法可以充分构建场景地图信息；

b）快速甩动设备或者长时间遮挡摄像头，使得算法进入跟踪失败状态；

c）对着扫描过的场景重新进行扫描定位，如果能够定位成功（表现为虚拟对象恢复原位），则增

强现实系统具备本地重定位功能，如果始终无法定位，则算不具备本地重定位功能。

8.2.1.3云端重定位

参照8.2.1.1中的场景布置方法，进行移动设备的云端重定位操作。具体操作如下：

a）扫描场景，使算法可以充分构建场景地图信息；

b）快速甩动设备或者长时间遮挡摄像头，使得算法进入跟踪失败状态；

c）对着扫描过的场景重新进行扫描定位，如果能够定位成功（表现为虚拟对象恢复原位），则增

强现实系统具备云端重定位功能，如果始终无法定位，则算不具备云端重定位功能。

8.2.2尺度估计

参照8.2.1.1中的场景布置和设备操作方法，通过观察尺度估计成功后虚拟对象的尺寸是否接近真

实大小，来判断增强现实系统是否具备尺度估计功能。

9

T/CESAXXXX-2020

8.2.3标志物识别跟踪

8.2.3.1二维标志物识别跟踪

二维标志物识别跟踪的测试方法具体步骤如下：

a）将布置的测试环境光照调节成白光模式；

b）在测试环境中用移动设备扫描拍摄二维标志物，通过观察设备显示屏上虚拟AR内容是否出现

及其位置来判断增强现实系统是否能成功识别和跟踪二维标志物。

8.2.3.2三维标志物识别跟踪

三维标志物识别跟踪的测试方法具体步骤如下：

a）参照8.2.3.1中的场景布置方法；

b）在测试环境中用移动设备扫描拍摄三维标志物，通过观察设备显示屏上虚拟AR内容是否正确

出现及其位置来判断增强现实系统是否能成功识别和跟踪三维标志物。

8.2.3.3云端标志物识别跟踪

云端标志物识别跟踪的测试方法具体步骤如下：

a）参照8.2.3.1中的场景布置方法，并保证测试移动设备网络通畅；

b）在测试环境中用移动设备扫描拍摄标志物，通过移动设备将场景视频流上传至云平台，观察设

备显示屏上虚拟AR内容是否正确出现及其位置来判断增强现实系统是否能在云端成功识别和

跟踪二维标志物和三维标志物。

8.2.4三维重建

8.2.4.1平面检测

平面检测的测试方法具体步骤如下：

a）将布置的测试环境光照调节成白光模式；

b）对测试环境进行移动平台上的平面检测，测试增强现实系统是否具备平面检测功能，平面检测

是否具有渐增式的实时拓展性，以及是否可以检测出多个平面。

8.2.4.2稠密点云重建

稠密点云重建的测试方法具体步骤如下：

a）参照8.2.4.1中的场景布置方法；

b）对测试环境进行移动平台上的稠密点云重建，测试增强现实系统是否具备稠密点云重建功能，

以及稠密点云重建是否具有渐增式的实时拓展性。

8.2.4.3稠密网格重建

稠密网格重建的测试方法具体步骤如下：

a）参照8.2.4.1中的场景布置方法；

b）对测试环境进行移动平台上的稠密网格重建，测试增强现实系统是否具备稠密网格重建功能，

以及稠密网格重建是否具有渐增式的实时拓展性。

8.2.5光照估计

光照估计的测试方法具体步骤如下：

10

T/CESAXXXX-2020

a）在布置的测试环境中轮流切换红绿蓝白四种光照模式；

b）观察虚拟对象的颜色是否与测试环境光照一致，是否会随着光照变化而变化，来判断增强现实

系统是否具备光照估计功能。

8.2.6渲染引擎

渲染引擎测试方法如下：

a）参照8.2.1.1中的场景布置方法；

b）在实验室中，手持上述移动设备，进行不同方式的运动并开启增强现实系统，观察移动设备屏

幕显示的渲染效果，判断增强现实系统是否具备以下功能：

1)实时将动/静态虚拟对象绘制在现实画面中；

2)紧密贴合虚拟对象与现实背景；

3)正确响应现实世界的光照变化；

4)支持常见静态AR模型和动态AR模型(如骨骼动画)的渲染。

8.2.7虚实遮挡

虚实遮挡的测试方法具体步骤如下：

a）寻找一个景深层次结构相对复杂的场景；

b）用移动设备拍摄该场景并启动增强现实系统，并在手机场景的画面中放置动态虚拟物体，通过

增强现实系统实现虚拟物体和真实场景（包括静态背景和动态前景）之间遮挡效果，以此判断

增强现实系统是否具备虚实遮挡功能。

8.3性能测试方法

8.3.1实时跟踪定位

8.3.1.1六自由度实时跟踪

6DoF实时跟踪的精度测试具体操作步骤如下：

a）构建AR精度评估的基准数据集，数据集应覆盖不同场景和不同运动的数据，数据集应包括SLAM

运行的基本数据，包括图像、IMU等传感器数据以及相应的标定参数等，同时需要提供真值数

据（真值可以通过运动捕捉系统获取）；也可以借助于标准公开数据集来作为基准数据集；

b）搭建一个支持离线运行算法的移动端数据采集工具，可以读入基准数据集，并能够正常运行算

法；

c）基于基准数据运行算法，并记录每帧图像的6DoF位姿和单帧处理时间；

d）借助精度评估工具评估算法的APE、ARE、RPE、RRE等指标，衡量算法精度；

e）评估算法的准确率、帧率等指标。

8.3.1.2本地重定位

本地重定位的性能测试具体操作如下：

a）利用8.3.1.1的移动端数据采集工具，采集以下数据：

i）扫描场景，使算法可以充分构建场景地图信息；

ii）快速甩动设备或者长时间遮挡摄像头，使得算法进入跟踪失败状态；

iii）对着扫描过的场景重新进行扫描定位。

b）基于上述数据评估本地重定位的成功率、重定位耗时和重定位精度。

11

T/CESAXXXX-2020

8.3.1.3云端重定位

云端重定位的性能测试具体操作如下：

a）利用8.3.1.1的移动端数据采集工具，采集以下数据：

i）扫描场景，使算法可以充分构建场景地图信息；

ii）快速甩动设备或者长时间遮挡摄像头，使得算法进入跟踪失败状态；

iii）对着扫描过的场景重新进行扫描，并传输至云端进行重定位。

b）基于上述数据评估云端重定位的成功率、重定位耗时和重定位精度。

8.3.2尺度估计

参照8.3.1.1中的数据采集方法，生成所需要的算法6DoF参数和真值数据，通过算法的位姿参数

与真值数据的比较来评估算法的6DoF位姿的尺度误差。

8.3.3标志物识别跟踪

8.3.3.1二维标志物识别跟踪

参考8.2.3.1的测试环境布置方法，测试增强现实系统对二维标志物识别与跟踪的性能。具体包括：

a）将每一帧识别与跟踪算法的执行时间记录在日志中，通过不少于5分钟的执行时间统计出二维

标志物识别与跟踪的平均单帧耗时情况，包括：

1)分别测试单个二维标志物和5个二维标志物识别的平均耗时；

2)分别测试单个二维标志物和5个二维标志物跟踪的平均耗时。

b）测试二维标志物识别的成功率，包括不同角度、不同距离和不同光照下的成功率。

8.3.3.2三维标志物识别跟踪

参考8.2.3.2的测试环境布置方法，使用算法测试三维标志物的识别与跟踪的性能。具体包括：

a）将每一帧识别与跟踪算法的执行时间记录在日志中，通过不少于5分钟的执行时间统计出三维

标志物识别与跟踪的平均单帧耗时情况，包括：

1)分别测试单个三维标志物和5个三维标志物识别的平均耗时；

2)分别测试单个三维标志物和5个三维标志物跟踪的平均耗时。

b）测试三维标志物识别的成功率，包括不同角度、不同距离和不同光照下的成功率。

8.3.3.3云端标志物识别跟踪

参考8.1.3.3的场景标志物布置方法，保证测试移动设备网络通畅，通过移动设备将场景视频流上

传至云平台，测试云端识别二维标志物和三维标志物的速度和成功率，包括：

a）测试二维标志物识别的平均网络耗时、算法耗时和成功率；

b）测试三维标志物识别的平均网络耗时、算法耗时和成功率。

8.3.4三维重建

8.3.4.1平面检测

平面检测的测试方法具体步骤如下：

a）参照8.2.4.1的测试环境布置方法，根据场景的实际测量尺寸用3dsmax或Maya建出其中的多

个平面模型作为真值；

b）评估检测的每个平面与真值平面之间的位置精度误差；

12

T/CESAXXXX-2020

c）将每一帧平面检测算法的执行时间记录在日志中，通过不少于5分钟的执行时间统计出平面检

测的平均单帧耗时情况，包括单个平面检测和5个平面检测的平均耗时。

8.3.4.2稠密点云重建

稠密点云重建的性能测试方法具体步骤如下：

a）参照8.2.4.2的测试环境布置方法，利用三维扫描仪扫描出场景的精确三维模型作为真值；

b）对场景进行移动平台上的稠密点云重建，评估重建的稠密点云与真值三维模型之间的位置精度

误差；

c）将每一帧稠密点云重建算法的执行时间记录在日志中，通过不少于5分钟的执行时间统计出稠

密点云重建的平均单帧耗时情况。

8.3.4.3稠密网格重建

稠密网格重建的性能测试方法具体步骤如下：

a）参照8.2.4.3的测试环境布置方法和真值获取方法；

b）对场景进行移动平台上的稠密网格重建，评估重建的稠密网格与真值三维模型之间的几何精度

误差；

c）将每一帧稠密网格重建算法的执行时间记录在日志中，通过不少于5分钟的执行时间统计出稠

密网格重建的平均单帧耗时情况。

8.3.5光照估计

参照8.2.5的测试环境和光源布置方法，测试四种光照估计值和颜色与光照真值之间的误差，具体

步骤：

a）关闭所有灯光，测试光照估计的亮度值和颜色值的误差；只打开白灯，通过调整白灯亮度，测

量不同白色灯光下光照估计的亮度值和颜色值的误差；

b）只打开红色灯光，通过调整红灯亮度，测量不同红色灯光下光照估计的亮度值和颜色值的误差；

c）只打开绿色灯光，通过调整绿灯亮度，测量不同绿色灯光下光照估计的亮度值和颜色值的误差；

d）只打开蓝色灯光，通过调整蓝灯亮度，测量不同蓝色灯光下光照估计的亮度值和颜色值的误差。

8.3.6渲染引擎

通过常见移动端设备截帧工具，例如：Arm或者Qualcomm的截帧工具，可以测试渲染引擎的绘制分

辨率和运行帧率。提供标准格式的静态模型，骨骼动画模型，并利用光照估计的亮度值和颜色值作为环

境光的亮度和环境光颜色进行绘制，测试静态模型和动态模型的载入、动画更新及绘制结果。

8.3.7虚实遮挡

虚实遮挡的性能测试方法具体步骤如下：

a）参照8.2.7的测试环境布置方法，用移动设备拍摄该场景并启动增强现实系统，并在手机场景

的画面中放置动态虚拟物体，通过增强现实系统实现虚拟物体和真实场景（包括静态背景和动

态前景）之间遮挡效果，同时输出遮挡处理每帧的耗时至日志，判断帧率是否可达到6DoF跟

踪的帧率；

b）通过常见移动端设备截帧工具录制5组实时的虚实遮挡画面帧，将画面帧信息给到5位体验者，

每位体验者对5组画面中虚实遮挡的边缘精确度和遮挡错误率进行评估，通过统计5位测试员

评估结果的平均值给出移动平台增强现实系统的虚实遮挡效果的边缘精准度和遮挡正确率。

13

T/CESAXXXX-2020

8.3.8运行

8.3.8.1CPU和内存占用测试

移动设备平台上启动增强现实系统后，可以利用操作系统内置的命令或系统工具来查移动设备增强

现实系统进程的CPU以及内存占用。对于不同的移动设备平台操作系统，其命令和工具不尽相同。例

如，移动设备Android平台上启动增强现实系统后，运行命令行"adbshelltop"可以查看移动设备增

强现实系统的CPU占用率。运行命令行"adbshelldumpsysmeminfo包名"可以获取对应包名的进

程的实时内存占用，也可以通过AndroidStudio的Profile工具来查看移动设备增强现实系统进程的

CPU以及内存占用；移动设备iOS平台上启动增强现实系统后，可以采用XCode自带的Instruments工

具分析移动设备增强现实系统的CPU和内存占用。

8.3.8.2算法运行时间测试

移动设备平台上启动增强现实系统后，将每一帧数据的算法运行时间记录在日志中，基于算法不少

于5分钟的执行时间记录可以统计出算法单帧耗时的最大值、最小值、平均值。

14

T/CESAXXXX-2020

附录A

（规范性附录）

增强现实系统相关的移动设备传感器

A.1曝光参数

摄像头应具备适当的曝光参数设定，使得设备移动过程中，拍摄的画面清晰、不模糊，特征点数稳

定。

曝光时间不宜超过20ms，其曝光值发生变化时，变化应当平缓。

A.2惯性测量单元

IMU由陀螺仪和加速度计等传感器构成，能够测量物体的三轴姿态角（或角速率）以及加速度。应

用于移动设备增强现实的IMU，其信息频率应达到至少200Hz以上，其时钟应当和摄像头始终严格校准

对齐，时间偏差不超过5ms。

A.3对焦模式

A.3.1定焦模式

移动设备的摄像头不启动自动对焦时，默认焦点在无穷远处。改变焦点会造成摄像头画面抖动。定

焦模式因其焦距不变，具有图像稳定的特点，清晰度难以达到最佳。

单次对焦模式下，应用启动时即确定焦点且不再更改，焦点可手动选择或默认选择无穷远。

A.3.2变焦模式

变焦模式下，摄像头可多次连续对焦。可基于焦点选择，提供较高的清晰度。

A.3.3模式选择

增强现实宜选用定焦模式的摄像头，如需使用连续对焦，焦点应当平缓变化。

摄像头回路马达将有助于移动设备的对焦，推荐配备。

A.4时间对准

移动设备需要通过一定的策略将来自摄像头的视觉信息和来自IMU等传感器的信息实现时间上的

同步。摄像头和IMU的时间戳应当来自于同一个时钟源，此时图像数据和IMU数据的时间戳差应当在

20ms以内。

A.5摄像头图像质量

移动设备摄像头捕获视频每帧的分辨率应不低于720p。

移动设备摄像头应当配备光学防抖功能，以排除图像抖动、模糊、噪点等不利于特征点识别和跟踪

15

T/CESAXXXX-2020

定位的因素对增强现实效果的影响。

A.6深度摄像头

移动设备深度摄像头应可以用来获取画面中的空间深度信息，通常包含以下两类不同实现方式的摄

像头：

a)结构光摄像头；

b)TOF摄像头。

普通摄像头帧率应当是深度摄像头的整数倍且深度摄像头帧率不应低于5fps。

深度摄像头和普通摄像头的时钟应当严格校准对齐，时间偏差不超过15ms。

深度摄像头和普通摄像头需有精确的出厂外参（相对位姿）标定，在640*480图像分辨率下，颜色

与深度的对应像素位置偏差不超过2个像素；在320*240图像分辨率下，颜色与深度的对应像素位置偏

差不超过1个像素。

16

T/CESAXXXX-2020

目  次

前  言.............................................................................................................................................................III

1范围...................................................................................................................................................................1

2规范性引用文件...............................................................................................................................................1

3术语和定义.......................................................................................................................................................1

4缩略语...............................................................................................................................................................3

5系统结构图.......................................................................................................................................................3

6功能要求...........................................................................................................................................................4

6.1实时跟踪定位...........................................................................................................................................4

6.2尺度估计...................................................................................................................................................5

6.3标志物识别跟踪.......................................................................................................................................5

6.4三维重建...................................................................................................................................................5

6.5光照估计...................................................................................................................................................6

6.6渲染引擎...................................................................................................................................................6

6.7虚实遮挡...................................................................................................................................................6

7性能要求...........................................................................................................................................................6

7.1实时跟踪定位...........................................................................................................................................7

7.2尺度估计...................................................................................................................................................7

7.3标志物识别跟踪.......................................................................................................................................7

7.4三维重建...................................................................................................................................................8

7.5光照估计...................................................................................................................................................8

7.6渲染引擎...................................................................................................................................................8

7.7虚实遮挡...................................................................................................................................................8

7.8运行...........................................................................................................................................................8

8测试方法...........................................................................................................................................................9

8.1测试环境...................................................................................................................................................9

8.2功能测试方法...........................................................................................................................................9

8.3性能测试方法.........................................................................................................................................11

附录A（规范性附录）增强现实系统相关的移动设备传感器.................................................................15

II

T/CESAXXXX-2020

信息技术移动设备增强现实系统技术规范

1范围

本文件规定了移动设备的增强现实系统的功能要求、基本性能要求和测试方法。

本文件适用于移动设备增强现实系统的设计、生产、应用、维护，其他相关领域可参考使用。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T38247-2019信息技术增强现实术语

T/CESAXXXXX信息技术移动设备增强现实接口

3术语和定义

GB/T38247-2019和T/CESAXXXXX界定的以及下列术语和定义适合于本文件。

3.1

移动设备mobiledevice

具备摄像头、显示屏、网络功能以及可检测其方位和运动信息的元件。

注：GPS、加速度计、磁力计和陀螺仪的手机或平板电脑等智能设备。

3.2

增强现实augmentedreality

采用以计算机为核心的现代高科技手段生成的附加信息对使用者感知到的真实世界进行增强的环

境，生成的信息以视觉、听觉、味觉、嗅觉、触觉等生理感觉融合的方式叠加至真实场景中。

[来源：GB/T38247-2019，2.1.2]

3.3

真实环境actualenvironment

人类所处的不需要借助装备就能感知的包含多物理对象的真实世界。

[来源：GB/T38247-2019，2.2.4]

3.4

虚拟对象virtualobject

计算机生成的具有几何形状、特定格式或特定行为的对象。

注：其原型可以是现实对象，也可以是完全虚构的对象。

1

T/CESAXXXX-2020

[来源：GB/T38247-2019，2.2.1]

3.5

二维标志物2dimensionalmarker

预先设定的具有特殊编码或图案的二维图像，通过检测、跟踪或识别该二维图像，可在场景、图像

或视频中估计出其相对于移动设备的位置和朝向。

3.6

三维标志物3dimensionalmarker

预先设定的具有特殊形状或纹理的三维物体，通过检测、跟踪或识别该三维图像，可在场景、图像

或视频中估计出其相对于移动设备的位置和朝向。

3.7

锚点anchorpoint

将虚拟物体放置在环境过程中所使用的基准点。

[来源：GB/T38247-2019，2.2.45]

3.8

云端cloudend

供具备访问权限的移动设备远程接入、具备计算和存储功能的系统。

3.9

定位localization

获取确定指定对象的空间位置信息。

3.10

重定位relocalization

当移动设备因意外的位置突变等情况造成定位丢失时，移动设备根据之前跟踪过的历史位置和朝向，

通过触发对移动设备的重新定位机制来获取正确的位姿信息，并重置移动设备当前的位姿。

3.11

六自由度跟踪sixdegreeoffreedomtracking

实时计算移动设备相对真实场景的六自由度位置和姿态。

3.12

同步定位与地图构建simultaneouslocalizationandmapping

设备（移动终端或者机器人等）在未知环境里通过观察外部环境来定位自身的位置和姿态，再通过

自身的位置增量式地构建未知环境的地图。

[来源：GB/T38247-2019，2.2.67]

3.13

光照估计illuminationestimation

从传感器或摄像机视图中分析计算物理场景的光源照度分布信息的过程。

2

T/CESAXXXX-2020

[来源：GB/T38247-2019，2.2.50]

3.14

尺度估计scaleestimation

在系统中获得到物理世界的长度尺寸信息的过程。

[来源：GB/T38247-2019，2.2.51]

3.15

绝对位置误差absolutepositionerror