CN112308869B 图像采集方法、装置、电子设备及计算机存储介质 （阿里巴巴集团控股有限公司）

WO2021018019A1,2021.02本发明实施例提供了一种货架图像采集方第一引导信息用于对所述货架的图像采集路径像采集路径的第二引导信息或获取指示结束采2获取对所述货架图像进行货架边缘检测的边若所述边缘检测结果指示所述货架图像中包括货架边缘，则获所述方法还包括：从最新采集的所述货架图像中，获取与当前图像采获取所述第一引导信息，其中，所述第一引导信息为与所述图像若所述边缘检测结果指示所述货架图像中包括货架边缘，根据所述商品信息结果，获取指示新的图像采集路径的第二引若所述商品信息结果指示所述采集结果图像中未包含所述货若所述商品信息结果指示所述采集结果图像中包含所述货架的若所述边缘检测结果指示所述货架图像中包括货架边缘，则根据所述姿态数据获取指示新的图像采集路径的第二引导信息或获取指示结束采集3获得根据对采集的所有货架图像进行拼接后对所述采集结果图像进行商品信息识别和/或商品位置识别，并获得商对所述商品信息结果和/或所述商品位置结果进行分析操作，并生成与所述分析操作根据获取的第一引导信息采集货架的图像数据，其中，所述第对所述图像数据进行识别，并获得所述货架上的商品信息和是否包含货架边缘的信若确定所述图像数据中包含货架边缘的信息，则根据所述商所述方法还包括：从最新采集货架的图像数据中，获取与当前图像采展示对货架商品的第一采集提示信息，其中，所述第一若识别结果指示所述图像中包括货架边缘，则展示用于指示新所述方法还包括：从最新采集的图像数据中，获取与当前图像采集路展示界面，所述展示界面用于展示第一采集提示信息，所述所述展示界面还用于展示第二采集提示信息，所述第二采集提示方法还包括：从最新采集的图像数据中，获取与当前图像采集路4根据所述待补货商品，生成并显示用于提示对所述待补货商品获得对采集的图像进行实时目标对象边缘检测的检测结果，其中若所述检测结果指示在所述图像中检测到所述目标对象的根据所述姿态数据生成对应的引导信息，通过所述引导信息引导用所述获取采集所述图像的图像采集设备的姿态数据，包括：获取所述图像采所述根据所述姿态数据生成对应的引导信息，通过所述引导信息引根据当前姿态生成指示用户向与所述当前姿态所匹配方向移动以进行接续图像采集5在所述获得对采集的图像进行实时目标对象边缘检测的检所述获得对采集的图像进行实时目标对象边缘检测的检测结果根据所述图像重合关系对采集的多个图像进行拼接，并根对任意两张图像，根据两个所述图像的特征点进行匹配，并基于匹配在对目标对象进行图像采集的过程中，获取图像采集设备的姿根据所述姿态数据生成对应的引导信息，通过所述引导信息引导用所述根据所述姿态数据生成对应的引导信息，通过所述引导信息引根据当前姿态生成指示用户向与所述当前姿态所匹配方向移动以进行接续图像采集若当前姿态符合预设的路径转换条件，则生成引导用户将当前图若当前姿态不符合预设的路径转换条件，则生成引导用户沿当6获取所述图像采集设备实时采集的目标对象的图像；对采集的所述图像进行边缘检所述根据所述姿态数据生成对应的引导信息，通过所述引导信息引根据所述姿态数据和所述检测结果生成对应的引导信息，通过所述引导信若当前姿态符合预设的路径转换条件且所述检测结果指示检测到所述目标对象的边若当前姿态不符合预设的路径转换条件且所述检测结果指示未检测到所述目标对象第一获取模块，用于若所述检测结果指示在所述图像中检测到所述目标对象的边缘，生成模块，用于根据所述姿态数据生成对应的引导信息，通过所述引导所述存储器用于存放至少一可执行指令，所述可执行指令使所求1-9中任一项所述的货架图像采集方法对应的操作，或者执行如权利要求10所述的商品信息处理方法对应的操作，或者执行如权利要求11所述的货架图像采集方法对应的操作，要求1-9中任一项所述的货架图像采集方法，或者实现如权利要求10所述的商品信息处理78架商品进行图像采集时的采集位置；获取根据所述第一采集提示信息进行图像采集的图新的图像采集路径并指示继续进行图像采集的第9第一方面～第三方面和第五～第九方面中任一完成的能够进行目标对象进行边缘检测的神经网络模型如卷积神经网络模型可以直接生成用于指示用户继续沿当前移动方向移包括但不限于空间坐标系中的加速度信息和/或角速度信息。例如，通过所述加速度信息[0052]根据该姿态数据可以确定出用户是否有对目标对象的不同位置进行接续拍摄的[0059]本实施例的图像采集方法可以由任意适当的具有数据处[0066]在本实施例中，为了保证能够及时检测到采集的图像中是否包含目标对象的边[0068]具体地，该轻量级神经网络模型可以是预先训练完成的轻量级卷积神经网络模进行训练。使训练完成的卷积神经网络模型可以正确识别到图像中是否包含货架的边缘。之后可以将训练完成的卷积神经网络模型动态下发到图像[0074]本实施例的图像采集方法可以由任意适当的具有数据处[0082]根据图像采集设备的在空间坐标系中的加速度信息和/或角速度信息可以确定出其是否有向上或向下的倾斜图像采集设备，进而可以确定用户是否有进行换行拍摄的意采集设备有向上或向下的倾角变化，则表示用户有换行拍摄的意图，因此可以执行步骤[0089]当根据角速度信息确定图像采集设备有在X轴上的角速度时，可以确定其为倾斜[0090]子步骤S1062：根据当前姿态生成指示用户向与所述当前姿态所匹配方向移动以定当前姿态后，可以根据当前姿态和设置的对应关系确定匹配的引导信息或引导关键词，进而生成与所述当前姿态所匹配方向移动以进行接续图像采[0097]本实施例的图像采集方法可以由任意适当的具有数据处用实施例二中的实现方式实现。步骤S104可以采用实施例三的实现方式或其他实现方式。[0103]在一种可行方式中，使用采集的多个图像形成所述目标对象的完整图像信息包处的完整图像可以使用户能够更加直观地观察目[0109]对图像进行特征提取可以采用HOG(方向梯度直方图，HistogramofOriented送到后端服务器由服务器进行检测再返回检测结果的方式，在图像采集设备本地进行检[0121]本实施例的图像采集方法可以由任意适当的具有数据处置的图像之间，均具有一定的图像重合度。可选地，所述重合度可以设定为大于或等于数据确定用户是否依照引导信息的指示进行了操作，若用户未依照引导信息的指示操作，有拍摄货架其余部分的意图，从而根据分析出的意图更好地引导用户拍摄完整的一节货体图像仅用于获得货架结构信息，因此可以拍摄一张或几张不同视角的货架的整体图像，[0145]对货架结构的分析的具体实现可以由本领域技术人员根据实际需求采用任意适[0147]图中002处指示线条为分割路径中与第一引导信息对应的图像采集路径。通常图像采集路径可以是分割路径的部分或全部。图中003处指示图像采集设备的一次图像采集在后续步骤中用户可以将图像采集设备移动到取景位置与新的图像采集路径对应的位置[0157]其中，已采集的所有货架图像生成的采集结果图像可以在图像采集设备本地生[0164]其中，所述姿态数据包括所述图像采集设备在空间坐标系中的加速度信息和/或域与货架对应位置对齐，从而保证用户相邻两次采集的货架图像重合部分足够进行拼接，又能够防止重合部分过多导致采集货架的完整信息需要的采[0171]这样就可以使用户在进行下一次图像采集操作时将显示界面中的保留区域与实服务端获得采集结果图像，并使用训练的能够进行商品信息识别的神经网络模型进行识架图像生成的采集结果图像中是否包含货架采集结果图像和相关采集信息(如图像采集路径等)保存，并提示用户存在未上传(或未更本使用场景的商品信息处理方法可以实现对货架上商品信息的处理，从而满足补货提示、进行识别。界面还用于展示第二采集提示信息(如图5g中的007处)，所述第二采集提示信息为在获取[0216]第一采集提示信息可以通过使用场景四中所述的方式生成，并通过展示界面展[0223]货架的图像数据可以通过图像采集设备进行采集，图像采集设备可以是手机采集货架的图像数据可以采用前述的使用场景一到五中任一向上的倾角或者具有向下的倾角等。根据被持握的姿态就可以确定出用户的图像采集意设备通常是被竖直持握；而用户如果有切换到新的图像采集路径进行接续采集的意图时，图像采集设备通常被以具有向上的倾角或者具有向下的倾角的方[0265]图像采集设备的姿态数据包括但不限于所述图像采集设备在空间坐标系中的加成指示用户向与所述当前姿态所匹配方向移动以进行接姿态数据可以生成指示用户向与所述当前姿态所匹配方向移动以进行接续图像采集的引[0280]目标对象的图像可以是用户根据引导信息使用图像采集姿态数据可以生成指示用户向与所述当前姿态所匹配方向移动以进行接续图像采集的引行所述目标对象边缘检测的轻量级神经网络模型；所述检测模块902用于使用所述轻量级[0303]可选地，所述第一获取模块904用于获取所述图像采集设备在空间坐标系中的加据当前姿态生成指示用户向与所述当前姿态所匹配方向移动以进行接续图像采集的引导定具有图像重合关系的多组图像，其中，每组图像中包括两张图像；完整图像获得模块[0307]本实施例的图像采集装置用于实现前述多个方法实施例[0310]如图10所示，该电子设备可以包括：处理器(processor)1002、通信接口[0316]处理器1002可能是中央处理器CPU，或者是特定集成电路ASIC(Application图像采集设备的姿态数据时，获取所述图像采集设备在空间坐标系中的加速度信息和/或结果，获取指示新的图像采集路径的第二引导信息或获取指示结束采集的第三引导信息述商品信息结果和/或所述商品位置结果进行分析操作，并生成与所述分析操作对应的分[0345]在一种可选的实施方式中，程序1010还用于使得处理器1002根据所述待补货商所述引导信息引导用户对所述目标对象进行接续图像速度信息和/或角速度信息；程序1010还用于使得处理器1002在根据所述姿态数据生成对示用户向与所述当前姿态所匹配方向移动以进行接续图像采集[0352]程序1010中各步骤的具体实现可以参见上述图像采集方法实施例中的相应步骤络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质代码时，代码的执行将通用计算机转换为用于执行在此示出的图像采集方法的专用计算