《增强现实算法基础》习题及答案 秦学英

《增强现实算法基础》习题的参考答案：第1章习题答案什么是增强现实技术？增强现实技术有哪三个要素？答：增强现实技术是将计算机构建的虚拟物体与现实场景叠加在一起，使人类的感官产生虚拟物体与现实场景一体化共存的知觉体验的技术。其三要素包括：虚实共存、三维注册、实时交互。增强现实的主要模式有哪些？答：增强现实的模式主要体现在呈现方式上，据此有头盔、屏幕式、移动终端、空间增强式等AR模式。增强现实的模式还有很多，不同的模式在呈现、定位方式、交互方式等方面都有所不同。增强现实与虚拟现实有哪些共性技术?答：增强现实与虚拟现实技术有很强的关联，都是采用计算机技术营造了虚拟的景象，并与用户交互。二者的区别仅仅在于增强现实需要跟现实世界发生关联，而虚拟现实不必。因此，二者的共性技术包括：1）头盔的设计与定位；2）用户与虚拟物体的交互；3）虚拟物体景象的渲染与呈现。当然，尽管二者可以使用一些共性技术，但是在一些细节的处理上，仍然有巨大的差异。例如：在虚拟物体的呈现上，虚拟物体的渲染需要考虑现实场景的光照，而虚拟现实采用虚拟的光源照射；在虚拟现实中，虚拟物体的呈现直接在位于视点的前方显示器上就行；在增强现实中，还需要考虑如何使用户能够同时观察到现实世界。可以采取什么方式取代增强现实的头盔显示器或者眼镜？答：增强现实的头盔或者眼镜是重要的虚实融合的显示器，该显示器跟随了视点和视向，并为不同的视点和视向提供相应的虚实融合的呈现。有一些特殊的装置可以提供虚实融合的景象，例如秀盒，采用半反射半透明的材质来将虚拟与现实融合在统一的空间中。采用投影仪在白色3D模型上投射光线的方式，也可以营造各种光影现象，用户勿须佩戴任何设备，就可以看到虚实融合的场景。增强现实可以如何应用到人类生产和生活中？答：增强现实本质上是一个交互平台，将计算机营造的景象与现实世界融为一体，因此是自然人机交互的工具，在现实世界中有重要应用。例如：用手机购买家具，可以用增强现实技术将家具模型在现实场景中摆放后的模样呈现出来，用户可以容易地评估该款产品是否适合自己的心意；用计算机设计的产品配件，是否可以组装到已有的设备上，可以用增强现实进行验证。当然，这样的实例很多，可以不断地列举。第2章习题答案分别建立相机坐标系和世界坐标系，并且由世界坐标系变换到相机坐标系的变换矩阵有：请问：在相机坐标系中，世界坐标系的原点与轴的向量是什么?在世界坐标系中，相机坐标系的原点与轴的向量是什么?请写出3D空间中，三点所决定平面的方程，以及平面经过一个3D空间点的方程。答：平面方程为：如果已知一幅图像中2D标志的水平轴和竖直轴所在的2D直线方向，以及标志到相机的坐标变换矩阵，那么标志的水平轴和竖直轴在相机坐标系中的方向向量是什么？答：标志的水平轴与竖直轴在相机坐标系中的向量直接由标志到相机的坐标变换矩阵就可以计算，也就是旋转矩阵的列向量（参考第7题答案）。若已知图像中2D标志的水平轴和竖直轴所在的2D直线方向，则可以用于内部参数矩阵的计算。但是，需要注意已知条件只有4个约束，因此需要对内部参数矩阵的未知数个数进行限制。比较常用的限制是认为相机的principalpoint就在图像的中心点。如果一个坐标系到另一个坐标系的坐标变换矩阵为，请写出两个坐标标架的变换矩阵。答：坐标标架是指坐标系的原点和各轴向，其变换是指坐标系的原点和轴向的变换。例如：平面标志定义了一个坐标标架，相机坐标系也存在坐标标架，其坐标标架变换矩阵是坐标变换矩阵的逆矩阵，即：成像平面与图像平面的变换矩阵是什么？答:成像平面与图像平面是一个二维的仿射变换，即变换矩阵，且有。请推导图像的分辨率变化与内部参数矩阵的关系。答：相机的内容参数矩阵有：根据式（2.28）当解像度是原解像的倍时，其内部参数矩阵为：设场景坐标系到相机坐标系的坐标变换矩阵为和，那么请推导下述关系：场景坐标变换到相机坐标的变换矩阵;相机的原点在场景坐标系中的坐标;相机的各轴在场景坐标系中的坐标;场景坐标系的各轴在相机坐标系中的坐标。答：1)场景坐标变换到相机坐标系的变换矩阵，是相机坐标系到场景坐标系变换的逆矩阵。也即由式（2.17）所定义的矩阵。2）相机的原点在场景坐标系中的坐标为：也即。3）相机的各轴分别为：，由于轴向只有旋转，没有平移，记旋转矩阵为：其逆矩阵为其转置，即：在场景坐标系中的坐标分别为：可见，这分别是旋转矩阵的3个行向量。4）场景坐标系的各轴采用旋转矩阵来映射向量，则有：可见，这分别是旋转矩阵的3个列向量。对于一个严重畸变的相机拍摄画面，如果已知相机内外部参数，如何将虚拟物体合成到画面呢？答：由于相机画面严重畸变，而渲染模型一般不考虑畸变，因此需要将渲染图像实施一次相机畸变的图像变换以后，再叠加到原始画面上去。实现投影仪-相机校准的实验。请参考教材2.4.4节的内容。第3章习题答案已知是物体3D模型上一点，物体在相机坐标系中的旋转和平移参数分别为、，相机内参矩阵为。求在图像上的投影点坐标。答： 如果单应性矩阵表示某3D平面到图像的变换，则主要包含哪些信息？答： H主要包含相机内参矩阵K，以及3D平面与图像平面的变换R,t是一个3D平面，和分别是在不同视角下观测到的图像，证明：在和中的投影像素坐标可以通过一个单应性矩阵进行精确对应，即存在单应性矩阵，使得，有，其中，分别是在和中投影像素的齐次坐标。答： 上任意一点可以用一个二维坐标表示。根据单应性矩阵的性质以及中心投影原理，到和上像素的对应关系分别可以用一个单应性矩阵表示，即，。由于单应性矩阵都是可逆的且两个单应性矩阵的乘积还是单应性矩阵，因此推导单应性矩阵的雅可比矩阵（公式3.14）。答： 根据公式（3.8）将单应性变换展开：，即为向量分别对求导的结果理解从到OpenGL投影变换矩阵的变换公式（公式3.19）。答：对相机坐标系中的三维点[X,Y,Z]，采用公式3.19作为投影矩阵所得结果应当与采用公式3.18的相机内参矩阵投影结果相同。将3.19与公式3.20中的坐标系变换矩阵合并可得：以x分量为例，[X,Y,Z]经过投影的结果为：上述结果是在OpenGL的视口坐标系下，范围归一化到了[-1,1]，对应到原图像坐标系应该为：可见与内参矩阵K的投影结果是相同的，y分量同理。根据本章所述基本原理，实现一个如图3.1所示的简易增强现实系统。该题可作为实验作业，基于OpenCV的Aruco库检测平面标志，并采用3.4的方法渲染虚拟物体。第4章习题答案推导3D空间中三角测量法的位姿计算公式。答：3D空间的三角测量法需要3个锚点，这三个锚点的空间坐标已知，因此边长也已知，即已知a,b,c，如图1(a)所示。每一个点测量2个角度，即如图1(b)所示的角度，其中下标表示动点P与AB形成的角度，总共测量6个角度。锚点构成的三角形(b)动点P与各边张成的角度可测量图1空间三维点的三角测量几何表示由动点P向三角形的各边引垂线，垂足分别为D，E，F。用模长表示边PA，PB，PC的长度，则有：上式在存在钝角的情况下也成立，但是左侧的符号会有所变化，这里不一一说明。这是一个关于等3个未知数的线性方程，可以解析求解得到：由于锚点A，B，C的坐标已知，动点到锚点的距离也知道了，可以采用4.1.2节的三边定位法确定动点的坐标。由于只有3个锚点，二次方程的根有多个解。验证满足角度值的解即可获得唯一解。推导3D空间中航位推算法的位姿计算公式。答：3D空间的航位推算法需要已知初始位置，测量每一时刻的方位角和距离，其中表示与x轴的水平夹角，即方向角；表示仰角，则有：如果有实时跟踪空点点坐标的系统，如何跟踪人体的肢体动作呢？答：在人体的关节点上绑定一个或多个标志点，根据标志点的变化，估计人体关节的位置变化，捕获人体的动作。基于3D点的空间注册方法适合什么样的环境？与基于标志的方法相比，有哪些优势和劣势？答：基于3D的空间注册方法，一般需要预先布置场景（锚点的布置），并设置/绑定传感器实时测量角度或者距离等变量，然后估计位姿。优势是：速度快、精度高；劣势是：使用繁杂、对设备要求高。基于标志的方法需要制作标志，使用方法比较简单，算法复杂度更高。当标志特征不足时精度受到影响。时间延迟是如何产生的？在一个实时系统中，时间延迟会导致什么问题？如果系统的每一个环节都达到实时，会不会存在时间延迟？答：时间延迟是由于数据捕获、传输、计算等流程所花费的时间产生的。在AR实时系统中，会导致虚拟物体与现实世界脱离或者飘忽。即便系统的每一一个环节都达到实时，由于有些环节是串行的，仍然导致时间延迟的累加，从而导致明显的延迟。在空间变换的估计方法中，为了实时估计一个刚性物体（例如相机、头部）的位姿，需要至少绑定多少标志点？标志点是不是越多越准确?在这样的系统中，在需要准确估计位姿的条件下，物体所处的范围由什么决定？为什么？答：空间变换中，用直接法估计位姿，至少需要求解12个参数，每一个点对应产生3个方程，因此至少需要4个点。由于现实系统中存在遮挡等情况，通常会配置冗余点来获得良好的结果。当有冗余的标志点时，可以采用优化方法求解，一般也更为鲁棒精确。物体在远离传感器时，测量精度会下降，甚至完全无法测量。因此，物体所处的范围必须是传感器能够覆盖到的范围。因此，物体的动态范围越大，越需要更多的传感器。当增强现实环境中的虚拟物体较多，又各自有自己的坐标系时，常常需要将虚拟物体统一到一个全局坐标系中。如何建立这样的坐标系？又如何将这一组物体变换到增强现实的每一帧绘制画面中呢？答：需要为虚拟物体组建立一个统一的坐标系，将各物体从各子物体的局部坐标系，用刚体变换矩阵将其变换到该统一的坐标系中。其坐标的建立很灵活，可以选择一个物体的局部坐标系作为统一的坐标系，也可以直接定义一个坐标系，将所有物体变换到该坐标系中。虚拟物体组可以作为一个整体，在现实场景中进行注册，然后根据观察者的跟踪定位，将其作为整体与画面融合。（若虚拟物体组没有统一的坐标系，则需要对每一个物体进行单独注册。当虚拟物体之间的关系不密切时，这是更好的选择）当一个增强现实系统中存在多个定标系统时，如何建立统一的坐标系？答：一般的定标系统都建立了坐标系。要建立同一个坐标系，则需要获得这些坐标系之间的变换矩阵。为此，需要一个公共的观测对象，通过对该对象位姿参数的估计，获得坐标系之间的变换矩阵。最后，选取一个坐标系作为统一后的坐标系，将其他坐标系下的位姿变换到统一的坐标系下即可。如果空间点的定位存在坏点，能够发现这个坏点么？请给出算法策略。答：坏点指outlier，也即采用模型无法与观测达成一致。发现外点通常需要具有冗余的观测值，如果按照空间定位模型计算出的位置，再按照模型计算观测值时，会产生较大的差异，由此可以给出坏点。第5章习题答案Harris角点检测将图像区域分为哪几类？分别怎么判定？答： 分为3类：平坦区域、边缘、角点，可根据两个特征值和进行判定，如果特征值都很小，则为平坦区域；如果一个较大一个较小，则为边缘；如果两个值都较大，则为角点。直观地解释：为什么LoG算子可以用于检测斑点？答： LoG算子实际上计算的是窗口内中心区域和边沿区域的像素值差异，且差异越大LoG的响应越强，因此对斑点具有较强的响应。简述尺度选择理论的基本原理。答： 尺度选择通过使用不同尺度的滤波函数（如LoG）对图像进行滤波，并选择尺度空间的函数局部极值点作为特征点对应的尺度。这实际上是利用了所选滤波函数与图像尺度的相关性，当图像尺度发生变化时，滤波函数达到极大值的尺度也随之变化，从而可以获得变化后的尺度。常见特征检测和匹配方法实现旋转不变性的基本原理是什么？答： 基本思想在于估计可以随图像一起运动的特征点主方向，并对图像旋转进行矫正。SIFT和SURF都基于图像梯度估计主方向，ORB则基于亮度质心估计主方向，本质上都反映的是区域内像素值的变化规律，因此可以随图像一起变化。SIFT特征检测的结果，往往会有多个特征点的像素坐标完全相同，请问可能是由哪些原因造成的？答： 主要原因在于主方向估计的不确定性，某些特征点可能在多个方向上的梯度分布都较强，因此被赋与了多个主方向。对每个主方向都需要计算一个特征描述，因此被当成多个特征点进行了处理。什么情况需要用RANSAC方法进行参数估计？答： 当特征点对应可能包含错误匹配时，需要用RANSAC排队错误匹配的影响。实际情况下，由于外点比率未知，因此RANSAC所需的最大迭代次数是很难根据公式5.29预估的。有什么方法可以用来减少RANSAC的迭代次数，从而降低计算量？答： 输入中的内点比率应该大于等于当前最优解的内点比率，因此根据公式5.29和当前最优解对应的内点比率，可以估计一个最大迭代次数作为终止条件。如果输入数据中内点比率很高，则可以提前终止迭代。改进在第3章实现的简易增强现实系统，使之可以用任意图案作为平面跟踪标志，实现如图5.1所示的效果。答：本题可以作为实验题目，基于特征点检测跟踪估计平面物体运动，替换第3章的平面标志检测。第6章习题答案给出基础矩阵的一般性的推导。解：ZhengyouZhang[1998]曾在关于基础矩阵求解的综述论文中给出了一般性推导证明。由，可以得：，其中s为三维点得深度值。再得：，其中，，容易证明，；为投影矩阵的右零子空间，也即：。可见，这证明是满足相机模型的。由，可以得：，将代入：先上式两边叉乘，从而消除此项，因为向量自己跟自己叉乘为0：再进一步从左侧点乘，消除上式左侧的量：此时，系数s不再起作用，消去后有：令，则有：是投影矩阵的零子空间，即。试证明是相机的光心。证明：相机的光心是所有图像点的汇聚点，也就是说，从光心发出去的一条光线上所有的3D点，其图像点是相同的。设这条光线表示为：其中，为光心，为射线的方向。则图像的像点表示为：对于任意的，上式均相同，则，也即。在视频序列中，需要获得高度精确定标参数，需要采用什么样的优化策略？答：视频序列中，集束调整是获得高度精确定标参数的有效方法。基于单目视频的视觉方法重构的3D场景，为什么不能确定场景的尺度？给定什么样的条件可以确定呢？答：单目视频方法建立的约束都是采用齐次坐标建立的，这样的方程同时乘以或者除以一个非零系数也保持成立，因此无法确定场景的尺度系数。给出稀疏重构后的任意两点间的绝对距离，就可以获得尺度。3D重建有哪些方法和手段？这些方法的优点和缺点各是什么？答：3D重建可以采用交互式的体素重建方法，优点是精确简单，缺点是重建的对象有限制，难以自动进行。3D也可以采用主动光学测量，如激光扫描、结构光扫描等方式。这一类方法人为地产生了特征，准确性较高，尤其是激光扫描仪，具有很高的精度。但是，这一类方法对于镜面或者透射物体，通常无法准确测量，从而导致数据缺失。3D重建可以采样视觉重建方法，有些方法单纯采用RGB数据，有一些方法还加上D的数据。这类方法对设备要求简单便捷，但是对算法要求很高，精度通常比激光重建低一个数量级。如果场景中有一个方形盒子需要重构其3D形状，叙述如何采用视觉的方法重建？答：最好采用基于体素的方法重建，预先校准相机，再拍一张图像，并在图像中配准可见的长方体顶点，从而估计其长宽高，可以较为精确地重建模型。检测任务在增强现实中的作用是什么？答：检测任务在跟踪注册任务中很少提及，但在增强现实环境中有重要作用，包括跟踪的初始化、重定位，以及自然交互等。目前有哪些设备可以捕获场景的静态3D信息？哪些可以捕获动态的3D信息？这些设备可以如何应用于增强现实环境？答：激光扫描仪可以捕获静态的3D信息，基于SLAM的方法也可以先做稀疏重构再做稠密重构。采用Kinect、RealSense等深度传感器可以捕获动态3D信息。3D信息的获取，一方面用于重建场景，用于虚实融合，另一方面可以用于交互。本章所讲述的基于视觉的跟踪注册方法，与第4章中讲述的基于3D点的跟踪注册方法相比，其主要区别是什么？各有什么优势和劣势？答：第6章的跟踪注册方法是基于自然的视觉特征匹配来计算的，而第4章则需要布置锚点，并测量动点与锚点的数量关系。本章的方法灵活便捷，缺点是计算量大，并且在视觉特征缺失时，容易定标失败。

第7章习题答案请简述虚实融合过程中的一致性条件，并说明制作具有高度真实感虚实融合画面的流程。答：虚实融合的一致性条件主要有：空间一致性、光照一致性与交互一致性。生成具有高度真实感的虚实融合画面的流程如下：Step1：通过传感器（摄像机、激光雷达、惯导等）捕获真实场景信息，根据这些信息建立虚实融合过程中不同空间之间的变换关系，如虚拟空间与真实空间的关系、视点空间与真实空间的关系等，即进行空间注册。利用空间注册过程中获取的虚实空间变换关系将创建好的虚拟物体嵌入真实空间。Step2：根据传感器捕获的真实数据对场景中部分区域进行有限3D重建。重建的场景3D模型可为计算机获取更多场景信息（光照、材质、语义信息等）提供依据，是虚拟物体与真实场景产生正确交互的关键。Step3：重建拍摄时真实场景的光照环境。Step4：判断场景中与虚拟物体邻近的真实物体的运动状态，依此对虚拟物体的行为做出相应的调整。例如，在广场上的虚拟人需根据周围真实行人的运动状态对其下一步的行为进行建模，以避免与周围人发生碰撞。Step5：对虚拟物体进行虚实融合绘制并显示。分别叙述如何才能使虚实融合画面满足几何一致性、光照一致性和交互一致性。答：虚拟物体注册与跟踪等技术是解决虚实场景融合的空间一致性问题的主要手段。虚拟物体注册技术确定了虚拟世界同真实世界的变换关系，使绘制的虚拟物体能准确嵌入真实场景中；跟踪技术确定了真实相机的运动轨迹，可以在观察者位置移动时使虚拟物体在视频画面中同周围真实环境始终保持一致。除此之外，虚实物体之间的遮挡处理也是空间一致性需要解决的问题。光照一致性主要体现在三方面：首先，虚拟物体的外观，如亮度、颜色等应与它们置身于真实场景时一致；其次，需要正确模拟虚、实场景之间的阴影投射效果；最后，若虚、实场景中存在镜面或透明物体，还需在这些物体表面绘制出正确的镜面反射和透射。特别地，当真实场景的光照条件发生改变时，虚拟物体的光影要随之实时地改变。为此，首先需要重建场景的光照环境，以使虚实场景共享相同的光照条件；另外还需获取真实场景中的阴影信息，以模拟虚实阴影的交互效果；最后，需要对场景几何、反射材质、表面纹理进行全面重建，以模拟虚实场景的镜面反射效果。交互一致性主要分为符合基本物理规律和符合社会与心理规范两类：符合基本物理规律是指嵌入到真实场景中的虚拟物体需要满足物理定律的约束；符合社会与心理规范则要求虚拟物体能够按照特定社会准则或用户的预期在真实场景中进行运动、变化等。上述功能需要机器理解真实场景的高层语义信息，对系统的智能水平提出了更高的要求。请给出光照明模型的定义，并比较局部光照明模型同整体光照明模型的区别和联系。答：真实感光照明模型是模拟真实场景光照对物体表面作用效果的数学公式，根据光照明模型，在已知场景几何、材质和光照的情况下可以计算出物体的外观。光照明模型可分为局部光照明模型(LocalIlluminationModel)和整体光照明模型(GlobalIlluminationModel)。局部光照明模型在计算物体表面效果时仅考虑光源直接照射物体所产生的影响，可以形成光源照射在物体表面所形成的明暗变化和镜面高光等效果，可用来生成具有一定的真实感的虚拟物体。而整体光照明模型除了考虑直接光源，还考虑周围环境对物体表面的影响，可模拟对周围环境的镜面反射，折射以及物体之间的相互辉映等光学效果。整体光照明模型在计算时需要使用局部光照明模型来计算直接光源对物体表面的影响。简述漫反射光与镜面反射光的特点。答：漫反射光在空间各方向上的分布是均匀的。因此，从不同角度观察漫反射表面，看到的外观都是相同的。镜面反射光的空间分布具有一定的方向性，在入射方向的镜面反射方向上反射光能量最大，当偏离镜面反射方向后，反射光能力将会快速降低。因此，镜面高光出现的位置会随着观察位置的不同而发生变化，某场景仅有一点光源，光源位置为(5,10,10)，光源颜色为(120,110,100)，环境光强为(50,50,50)；P(0,0,0)为场景中物体上一点，其法向为(0,0,1),视点位于(-2,-1,2)。忽略光照衰减，试根据下述条件用简单局部光照明模型求P点颜色。(1).P为漫反射材质，其漫反射系数(0.3,0.6,0.6)，环境光反射系数(0.5,0.5,0.5)；(2).P为镜面反射材质，其镜面反射系数为(0.3,0.3,0.3)，镜面高光指数为2,其余材质属性同上问。答：入射光方向为（5,10,10），其对应单位向量为（1/3,2/3,2/3）视线方向为（-2,-1,2），其对应单位向量为（-2/3,-1/3,2/3）（1）根据Lambert模型，I=KdIlcos(θ)+KaIa，其中cos(θ)=(1/3,2/3,2/3)•(0,0,1)=2/3，因此，I=（120*0.3,110*0.6,100*0.6）╳(2/3)+(25,25,25)=(49,69,65)。（2）根据根据phone模型，视线同入射光方向的角平分单位向量为故P点颜色为（49,69,65）+（0.3*120,0.3*110,0.3*100）╳=(81,69+88/3,65+80/3)≈(81,98，92)。什么是高动态范围（HDR）图像，HDR图像在增强现实中有什么用？答：能够记录更大亮度范围的图像就是HDR图像，理论上讲HDR图像可以准确记录场景中各点的亮度。在增强现实中，HDR图像可以用来存储真实场景的光照分布，以作为光源绘制虚拟物体。请根据真实感阴影绘制技术设计一种将真实场景中的阴影投射至虚拟物体表面的技术方案。答：根据场景中的阴影和光线入射方向（平行光源）或光源位置（点光源）构建阴影体，利用阴影体技术即可将真实阴影投射至虚拟物体表面（其他方法思路合理即可）。简述如何根据Z缓冲器算法模拟虚实融合过程中虚、实景物间的相互遮挡效果。答：首先需要获取真实场景景物的深度信息，并将其写入Z缓冲器；然后绘制虚拟物体，并根据Z缓冲器算法确定是否需要使用虚拟物体的像素值更新当前像素；完成上述过程后即可实现虚、实物体的相互遮挡效果。根据课本中描述的光线跟踪算法写出光线跟踪算法伪代码。答：RayTracing(start,direction,weight,color)

{

if(weight<MinWeight)

color=black;

else

{

计算光线与所有物体的交点中离start最近的点；

if(没有交点)

color=black;

else

{

Ilocal=在交点处用局部光照模型计算出的光强；

计算反射方向R；

RayTracing(最近的交点,R,weight*Wr,Ir);

计算折射方向T；

RayTracing(最近的交点,T,weight*Wt,It);

color=Ilocal+KsIr+KtIt;

}

}

}陈述采用标志制作一个可以产生正确动态遮挡的增强现实应用的方法。答：本题可以规划为实验题目。动态遮挡的实现有2种不同的方法：1）用深度视频判断虚拟物体是否被遮挡；2）预先建立遮挡物体的几何模型，上面贴上平面标志，并通过标志估计位姿，从而建立相机与物体的几何关系。采用手机屏幕和塑料薄板制作一个简单的增强现实盒子。答：略。构建一个投影仪和相机组合，校准投影仪参数，并使得无论投影仪如何倾斜，都会在平面上产生正投影的效果。答：略。第8章习题答案简述室内场景和室外场景的光照分布特点。答：室内场景光照分布特点为：（1）室内光源一般多为人造光源，光源种类繁多，如聚光灯，面光源等；（2）室内光源通常个数较多，光源之间的互相影响不能忽略；（3）室内场景景物密度较大，景物之间的遮挡较多；（4）由于景物间的遮挡，室内场景不同区域光照情况差异较大。室外场景光照分布为：（1）室外场景的光照受局部的天气条件影响较大，在不同的时刻，太阳光和天空光的亮度和色度会有很大的变化；（2）受到空气云层、以及空气污染的影响，天空光的分布也非常复杂，目前仍缺乏实用的天空光模型；（3）室外场景中光线的传播路径复杂，直接使用整体光照明模型从图像中估计光照难以实时进行；（4）室外场景的光照不能人为控制；（5）室外场景阴影形状复杂，且含有大量软影。简述基于采集的光照重建方法的优点和缺点。答：优点为：（1）获得的光照信息较为准确;（2）绘制的虚拟物体真实感高。缺点为：（1）需要特殊的采集设备，限制了该方法的应用范围；（2）要求场景完全静止，这是由于HDRI的合成仅针对静态场景，当场景中存在运动的物体或是光照变化时均会导致采集到的光照贴图具有较大误差；（3）需要多次曝光，一般的相机无法达到在线运行的要求，同时也给设备带来较大的损耗；（4）仅能采集镜面球放置处的光照，当虚拟物体移至别处时则需重新采集。请列举光照重建的基本步骤。答：Step1：根据场景光照特点构建场景光照明模型；Step2：获取场景信息，如：场景几何信息、场景材质属性（不同区域的材质相似性、材质参数等），光源形状、光源位置等。利用上述信息减少光照明模型中未知参数的数量，在基于深度学习的光照重建方法中，上述信息可以作为对网络优化的额外约束。Step3：光照参数求解；Step4：完成场景光照重建。移动视点下的室外光照重建与固定视点下的光照重建有哪些区别和联系？答：联系：两者使用的基本光照明模型相同；光照分布的表示方法相同；均需直接或间接的获取场景几何信息；均需获取场景的材质反射属性；计算光照参数的方法类似；在动态光照计算时均可利用帧间连续性；场景中同一地点的光照分布相同。区别：固定视点的光照重建方法，捕获图像同一像素的材质、几何保持不变，为光照参数的求解带来了更多的约束，更容易利用帧与帧之间的关系进行光照求解，而移动视点光照重建方法则没有此约束，帧与帧之间需要进行几何配准后才可利用其连续性；固定视点情况下场景内容保持不变，而移动视点情况下场景内容可能发生较大的变化，光照分布的变化也更为复杂；视点固定情况下，相机能够捕获到的视野范围有限，准确重建场景不可见区域的光照分布具有较大难度，移动视点情况下，相机获取的场景内容较为丰富，有利于完整场景光照分布的重建。根据本书中介绍的场景光照估计方法对光照估计技术进行分类。答：按照求解使用的具体方法可分为：基于采集的光照重建方法、基于光照参数求解的光照重建方法和基于深度学习的光照重建方法。按照场景信息的已知性可分为：几何一致情况下的光照求解方法和几何未知情况下的光照求解方法。对于室内场景，如何根据基图像理论对其进行建模？答：首先获取场景中的光源；对于每一光源，将其亮度为单位亮度且场景中只有该光源照明时捕获的场景图像记为该光源对应的基图像；所有光源对应基图像的线性组合即构成了室内场景的光照明模型。试在一张自然场景图像中加入一个虚拟茶壶，使茶壶表面的光照与周围的光照环境一致。答：略。尝试利用镜面球、曝光可控相机采集室内场景某点处的光照环境，可采用HDRShop等软件生成高动态范围图像。答：略。第9章习题答案简述阴影的形成原理及其在增强现实系统中的作用。答：当光源被场景中的物体遮挡后就会形成阴影。在增强现实中，通过将虚拟物体的阴影投射在真实场景中，可帮助观察者判断虚拟物体在场景中深度和位置信息，例如，可以通过阴影和虚拟物体的相对关系判断虚拟物体是否与地面接触。此外，在虚实融合的过程中加入阴影还可以增加用户对虚拟物体的关注度，增强用户人机交互过程中的感受。最后，正确模拟虚实物体间的阴影交互效果是保证虚实融合画面真实感的必要手段。简述虚实融合中的阴影检测与一般单幅的图像阴影检测有什么区别和联系？答：两种操作的目的均为从图像中检测出阴影区域，但是虚实融合中的阴影检测对于阴影检测提出了更高的要求，首先，由于增强现实是实时呈现的，因此要求阴影检测必须实时进行；其次，增强现实以视频流形式呈现，阴影检测结果的不稳定性必然造成真实场景中的景物向虚拟物体表面投射阴影的不稳定，从而引起虚拟物体表面的亮度闪烁，破坏融合的真实感；再次，增强现实系统特别是移动增强现实系统中用户视点是自由移动的，与监控视频中固定视点下的阴影检测框架不同，需要开发支持移动视点下的视频检测技术框架；最后，为处理虚实融合过程中软影区域的交互效果，增强现实阴影检测需要准确获取软影区域的明暗变化情况。表9.1介绍的阴影纹理算法在实际使用时有哪些限制与不足？答：首先，构建阴影纹理需要已知真实阴影区域的表面几何信息，因此，该方法更适用于将真实环境中形状简单表面，如地面、墙面上阴影投射至虚拟物体表面，当阴影所在区域形状较为复杂时，则必须重建该区域的几何，阴影纹理才可工作；其次，该方法仅能处理平行光源和单个点光源产生的阴影，当场景中包含多个光源或面光源上，阴影纹理无法正确模拟虚实阴影交互效果。分别说明在虚拟物体表面产生真实场景镜面映像和在真实场景中镜面映射虚拟物体所涉及的关键技术。答：为使虚拟物体表面产生真实场景的镜面映像，其核心在于重建真实场景，具体包括重建真实场景的几何和重建真实场景的表面纹理。为使真实场景中的镜面物体表面产生虚拟物体的镜面映像，其核心在于从重建该真实镜面物体，包括镜面物体的几何形状和表面材质反射属性。将虚拟物体加入真实场景，根据本书9.1节介绍的虚实阴影交互方法实现虚拟物体阴影向真实场景的投射和虚实阴影的正确交互效果。答：略。将虚拟物体加入真实场景，通过手工设定场景中镜面反射表面的材质属性实现虚拟物体在真实场景表面产生镜面映像。答：略。除了书中提出的虚实物体间的阴影、倒影等光影交互，为了获得逼真的视觉融合效果，还需要模拟虚实物体之间的哪些光影现象？答：漫反射物体之间会产生颜色辉映，在真实感图形学中可以通过辐射度算法模拟这一现象，但是在虚实融合场景中如何生成这种效果仍是一个值得探索的问题；自然场景中存在透明的物体，在增强现实中，有时可能需要将虚拟物体放置在真实场景中一个透明物体之后，或者放置的虚拟物体本身就是一个透明物体，如何模拟虚实景物间的透射效果目前还缺乏成熟的解决方案；向真实场景中添加自发光的虚拟物体，如何模拟该发光虚拟物体对真实场景光影的影响也是一个具有挑战的问题。根据第8章、第9章介绍的内容，生成一张满足光照一致性的虚实融合场景图像。答：略。第10章习题