CN113074733B 飞行轨迹的生成方法、控制装置及无人飞行器 （深圳市大疆创新科技有限公司）

201680012475.X2016.11.14南区粤兴一道9号香港科大深圳产学A,2016.09.21A,2013.07.10A,2015.12.02A,2016.11.09U,2013.01.23器一种飞行轨迹的生成方法、控制装置(40,各像素点分别在地面坐标系中对应的三维轨迹轨迹用于控制无人飞行器沿着所述飞行轨迹飞行。从而使无人飞行器(100)可按照用户个性化设计的特定曲线(21-22)飞行，实现了无人飞行器(100)的飞行模式的个性化设计，提高了无人2特定图像为第一无人飞行器的成像装置拍摄的实时根据所述特定图像和所述特定曲线确定三维轨迹点集，所述根据所述预处理后的三维轨迹点集生成第一飞行轨迹，所述第一飞获取搭载在所述第一无人飞行器上的成像装获取所述成像装置拍摄所述特定图像时距离地面的高度、所述成像装根据所述成像装置拍摄所述特定图像时距离地面的高度、所述成像装置获取所述第一无人飞行器的最大飞行距离，根据所述最大飞行获取所述三维轨迹点集中至少部分连续的三维轨迹点的密集度获取所述三维轨迹点集中的特定三维轨迹点的抖动程度，根据所述三维轨迹点集中至少部分连续的三维轨迹点生成三维3若所述由所述三维轨迹点集构成的三维轨迹的长度大于所述最的三维轨迹的长度小于所述第一无人飞行器若所述预设范围内的三维轨迹点的个数大于阈值，则减少所述所述特定三维轨迹点的下一个三维轨迹点到所述特定三维轨迹点和所述特定三维轨迹点一三维轨迹点的前后两个三维轨迹点构成的曲线在所述代替点处的曲率小于所述三维轨在所述第一三维轨迹点和所述第一三维轨迹点的前一个三维轨迹点之间获取第一中获取由所述第一三维轨迹点、所述第一三维轨迹点的前一个三维4确定所述像素点在所述地面的反投影点，所述反投影点是经根据所述像素点在所述特定图像所在的图像坐标系中的坐标，以及根据所述反投影点在摄像机坐标系中的坐标位置，确定所述反投影根据所述成像装置拍摄所述特定图像时距离地面的高度、以及根据所述成像装置拍摄所述特定图像时距离地面的高度、所述成像装置根据所述反投影点在摄像机坐标系中的坐标位置，以及所述摄在所述第一无人飞行器沿着所述第一飞行轨迹飞行时，检测所若所述第一飞行轨迹上位于所述第一无人飞行器前方的在所述第一无人飞行器绕开所述障碍物后，控制所述第一所述第二地面站能够控制所述第二无人飞行器以所述第二飞其中，所述第一飞行轨迹和所述第二飞行轨迹相同，5其中，所述第一飞行轨迹和所述第二飞行轨迹同时执行，或特定图像为第一无人飞行器的成像装置拍摄的实时根据所述特定图像和所述特定曲线确定三维轨迹点集，所述根据所述预处理后的三维轨迹点集生成第一飞行轨迹，所述第一飞于控制所述第一无人飞行器沿着所述第一飞获取搭载在所述第一无人飞行器上的成像装显示屏，所述显示屏用于展示所述实时图像；以及感测在所述显示所述一个或多个处理器用于：获取所述特定曲线和特定图像，所6获取所述成像装置拍摄所述特定图像时距离地面的高度、所述成像装所述一个或多个处理器根据所述特定图像和所述特定曲线确定三维轨迹点集时具体根据所述成像装置拍摄所述特定图像时距离地面的高度、所述成像装置的焦距，将所述特定曲线上每个像素点在地面的反投影点平移到无人飞行器的飞行高度，处理后的三维轨迹点集生成第一飞行轨迹时具轨迹点集进行预处理时具体用于执行如下至获取所述第一无人飞行器的最大飞行距离，根据所述最大飞行获取所述三维轨迹点集中至少部分连续的三维轨迹点的密集度获取所述三维轨迹点集中的特定三维轨迹点的抖动程度，根据所述三维轨迹点集中至少部分连续的三维轨迹点生成三维大飞行距离对所述三维轨迹点集进行预处理若所述由所述三维轨迹点集构成的三维轨迹的长度大于所述最的三维轨迹的长度小于所述第一无人飞行器集度对所述至少部分连续的三维轨迹点集进行预处若所述预设范围内的三维轨迹点的个数大于阈值，则减少所述7根据所述特定三维轨迹点的下一个三维轨迹点到所述特定三维轨迹点和所述特定三维轨一三维轨迹点的前后两个三维轨迹点构成的曲线在所述代替点处的曲率小于所述三维轨在第一三维轨迹点和所述第一三维轨迹点的前一个三维轨迹点之间获取第一中间点，在所述第一三维轨迹点和所述第一三维轨迹点的后一个三维轨迹点之间获取第二中间点，获取由所述第一三维轨迹点、所述第一三维轨迹点的前一个三维确定所述像素点在所述地面的反投影点，所述反投影点是经根据所述像素点在所述特定图像所在的图像坐标系中的坐标，以及根据所述反投影点在摄像机坐标系中的坐标位置，确定所述反投影根据所述成像装置拍摄所述特定图像时距离地面的高度、以及根据所述成像装置拍摄所述特定图像时距离地面的高度、所述成像装置根据所述反投影点在摄像机坐标系中的坐标位置，以及所述摄8所述一个或多个处理器根据所述检测结果，确定所述第一飞行轨迹上若所述第一飞行轨迹上位于所述第一无人飞行器前方的部分有在所述第一无人飞行器绕开所述障碍物后，所述一个或多个制的曲线，所述特定图像为第一无人飞行器的成像装置拍摄的实时动态视频中的多帧图确定模块，用于根据所述特定图像和所述特定曲线确定三维点集包括所述特定曲线在所述特定图像上对应的多个像素点分别在地面坐标系中对应的一飞行轨迹，所述第一飞行轨迹用于控制所述第一无人飞行器沿着所述第一飞行轨迹飞所述获取模块具体用于获取特定图像，所述特定图像包括所述特定曲线时，所述获取模块具体用于获取所述成像装置拍摄所述特定图像时距离地面的高度、9所述确定模块根据所述特定图像和所述特定曲线确定三维轨迹点集时所述预处理单元具体用于：根据所述最大飞行距离对所述三维轨迹点集进行预处理；所述预处理单元根据所述最大飞行距离对所述三维轨迹点集进行预模块用于计算由所述三维轨迹点集构成的三维轨迹若所述由所述三维轨迹点集构成的三维轨迹的长度大于所余的三维轨迹点构成的三维轨迹的长度小于所述第一无人飞行器的若所述特定三维轨迹点的抖动程度不小于阈值，则所述预处根据所述特定三维轨迹点的下一个三维轨迹点到所述特定三维轨迹点和所述特定三维轨前后两个三维轨迹点构成的曲线在所述代替点处的曲率小于所述三维轨迹在所述第一三在所述第一三维轨迹点和所述第一三维轨迹点的前一个三维轨迹点之间获取第一中获取由所述第一三维轨迹点、所述第一三维轨迹点的前一个三维确定所述像素点在所述地面的反投影点，所述反投影点是经根据所述像素点在所述特定图像所在的图像坐标系中的坐标，以及根据所述反投影点在摄像机坐标系中的坐标位置，确定所述反投影根据所述成像装置拍摄所述特定图像时距离地面的高度、以及根据所述成像装置拍摄所述特定图像时距离地面的高度、所述成像装置根据所述反投影点在摄像机坐标系中的坐标位置，以及所述摄检测模块，用于在所述第一无人飞行器沿着所述第一飞行轨迹飞行时飞行轨迹上位于所述第一无人飞行器前方的控制模块，用于在所述第一无人飞行器绕开所述障碍物后，所述飞行控制器包括如权利要求24-39任一项所述所述飞行控制器包括如权利要求43-56任一项所述[0039]01-光心0在图像平面10上中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施[0055]本发明实施例提供一种飞行轨迹的生成方法。图1为本发明实施例提供的飞行轨[0060]若点0为成像装置的光心，XC轴与X轴平构成的三维坐标系即是地面坐标系。如图1A所示，假设点N为图像平面中的任意一个像素[0067]飞行控制器将成像装置拍摄的实时图像例如静态画面或[0068]若用户是在动态视频上描绘的特定曲线，由于动态视频是由一帧一帧图像组成可通过地面站A从该云平台将该特定图形和特定曲线下载到地面站A，以使用户A可以像用站A，用户B操作地面站B，用户A和用户B通过各自的平板电脑分别登陆同一款即时通信软述第一种方式获取到特定图像和特定曲线，且地面站B根据该特定图像和特定曲线可以控制无人飞行器B的飞行轨迹既流畅又节省功耗，则用户B通过地面站B上的该即时通信软件还可以通过地面站A更改无人飞行器的飞行高度，从而控制无人飞行器在不同的高度按照[0075]步骤S102、根据所述特定图像和所述特定曲线将所述特所述飞行轨迹用于控制无人飞行器沿着所述飞[0076]本实施例可以由飞行控制器根据所述特定图像和所述特定曲线将所述特定曲线得到每个像素点在地面的反投影点。由于无人飞行器是在离地面一定高度的空中飞行的，因此，将特定曲线21-22上每个像素点在地面的反投影点平移到成像装置拍摄该特定图像时无人飞行器的飞行高度，即可得到各像素点在三维空间即地面坐标系中的三维坐标点，控制器根据该飞行轨迹控制无人飞行器沿着所述飞行轨迹在服务器，以便其他的飞行控制器或其他的地面站可以从该特定服务器直接下载该飞行轨可用于控制无人飞行器的飞行轨迹，即无人飞行器可按照用户个性化设计的特定曲线飞[0083]本发明实施例提供一种飞行轨迹的生成方法。图2为本发明另一实施例提供的飞置相对地面的角度、所述特定曲线上各像素点在所述特定图像所在的图像坐标系中的坐点N为特定图像20中特定曲线21-22上的任意一个像素点，像素点N在特定图像20所在的图定曲线21-22上的像素点N在地面上的置相对地面的角度、所述特定曲线上各像素点在所述特定图像所在的图像坐标系中的坐特定图像上对应的各像素点分别在地面坐标系中对应的三相对地面的角度、所述特定曲线上各像素点在所述特定图像所在的图像坐标系中的坐标、摄像镜头的光心和所述像素点的投影射线与所述地的高度H，采用公式(1)可确定出特定曲线21-22上的像素点N在地面上的反投影点P在摄像摄像机坐标系相对于地面坐标系的外参数，根据公式(2)和公式(3)分别确定旋转矩阵R与[0105]根据上述步骤确定出特定图像20中特定曲线21-22上任一像素点在地面上的反投snap)轨迹生成算法。采用最小震荡(minimumsnap)轨迹生成算法生成的三维轨迹不仅满[0110]本发明实施例提供一种飞行轨迹的生成方法。图3为本发明另一实施例提供的飞发明实施例提供的三维轨迹点的示意图；图3C为本发明实施例提供的三维轨迹点的示意预设范围内的三维轨迹点的个数大于阈值，则减少所述预设范围内的三维轨迹点的个数，[0121]所述特定三维轨迹点的抖动程度是根据所述特定三维轨迹点的下一个三维轨迹点到所述特定三维轨迹点和所述特定三维轨迹点的前一个三维轨迹点所在直线的距离确替点和所述第一三维轨迹点的前后两个三维轨迹点构成的曲线在所述代替点处的曲率小于所述三维轨迹在所述第一三维轨迹点处的曲率；用所述代替点代替所述第一三维轨迹飞行器上的设置的雷达设备可用于检测该飞行轨迹上位于无人飞行器前方的部分是否有述飞行轨迹用于控制无人飞行器沿着所述飞送的飞行轨迹，所述一个或多个处理器还用于控制所述无人飞行器沿着所述飞行轨迹飞时，一个或多个处理器41用于获取搭载在所述无人飞行器上的成像装置拍摄到的实时图[0146]本发明实施例提供的飞行控制器的具体原理和实现方式均与图1所示实施例类可用于控制无人飞行器的飞行轨迹，即无人飞行器可按照用户个性化设计的特定曲线飞[0148]本发明实施例提供一种控制装置。图5为本发明另一实施例提供的控制装置的结像和特定曲线，一个或多个处理器41还用于控制所述无人飞行器沿着所述飞行轨迹飞行。特定曲线上各像素点在所述特定图像所在的图像坐标系中的坐标、所述成像装置的焦距，集进行预处理时具体用于：确定所述三维轨迹点集中位于预设范围内的三维轨迹点的个[0159]所述特定三维轨迹点的抖动程度是根据所述特定三维轨迹点的下一个三维轨迹点到所述特定三维轨迹点和所述特定三维轨迹点的前一个三维轨迹点所在直线的距离确[0163]本发明实施例提供的飞行控制器的具体原理和实现方式均与图3所示实施例类相对地面的角度、所述特定曲线上各像素点在所述特定图像所在的图像坐标系中的坐标、[0169]本发明实施例提供的飞行控制器的具体原理和实现方式均与图2所示实施例类[0171]本发明实施例提供一种控制装置。图6为本发明另一实施例提供的控制装置的结密集度、获取所述三维轨迹点集中的特定三维轨迹点的抖动程度；预处理单元621具体用部分连续的三维轨迹点进行预处理；根据所述抖动程度对所述特定三维轨迹点进行预处预处理单元621用于删除所述三维轨迹点集中的部分三维轨迹点，以使由所述三维轨迹点集中剩余的三维轨迹点构成的三维轨迹的长度小于所述无人飞行器[0178]预处理单元621根据所述密集度对所述至少部分连续的三维轨迹点集进行预处理述预设范围内的三维轨迹点的个数大于阈值，则预处理单元621用于减少所述预设范围内621以所述预设范围内的代替点代替所述预设范围内的所有[017