[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN113763307B - 样本数据的获取方法和装置 - Google Patents

样本数据的获取方法和装置 Download PDF

Info

Publication number
CN113763307B
CN113763307B CN202010801961.8A CN202010801961A CN113763307B CN 113763307 B CN113763307 B CN 113763307B CN 202010801961 A CN202010801961 A CN 202010801961A CN 113763307 B CN113763307 B CN 113763307B
Authority
CN
China
Prior art keywords
target object
point cloud
cloud data
attribute information
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010801961.8A
Other languages
English (en)
Other versions
CN113763307A (zh
Inventor
李梅
刘伟峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202010801961.8A priority Critical patent/CN113763307B/zh
Publication of CN113763307A publication Critical patent/CN113763307A/zh
Application granted granted Critical
Publication of CN113763307B publication Critical patent/CN113763307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Finance (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供的样本数据的获取方法和装置，在获取样本数据时，先获取目标对象的属性信息及目标对象对应的点云数据，由于该属性信息和点云数据为目标对象的较为真实的数据，因此，对该较为真实的属性信息和点云数据融合得到的深度图像点云数据在一定程度上可以准确地描述目标对象，再将该准确的深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据，且该样本数据的获取过程无需用户手动操作，因此，实现了在保证样本数据的准确度的情况下，提高样本数据的获取效率。

Description

样本数据的获取方法和装置
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种样本数据的获取方法和装置。
背景技术
在智能仓储系统中，实现自动化拣选是整个仓储运营系统中至关重要的环节。智能拣选机器人在智能仓库中拣选物品时，需要先获取该物品在不同环境下的三维模型，再基于该三维模型在智能仓库中识别出该物体，从而拣选出该物品。
在获取该物品在不同环境下的三维模型时，需要先获取该物品在不同环境下大量的样本数据，再基于该物品在不同环境下大量的样本数据构建三维模型。现有技术中，在获取物品在不同环境下大量的样本数据时，需要用户手动采集大量的在不同环境下的图像，并在大量的图像中手动添加标注信息，以获取到物品在不同环境下大量的样本数据。
可以看出，采用现有的样本数据获取方式，使得样本数据的获取效率较低。
发明内容
本申请实施例提供一种样本数据的获取方法和装置，在获取样本数据时，提高了样本数据的获取效率。
第一方面，本申请实施例提供了一种样本数据的获取方法，该样本数据的获取方法可以包括：
获取目标对象的属性信息及所述目标对象对应的点云数据；其中，所述属性信息包括纹理、尺寸和重量。
对所述目标对象的属性信息和所述目标对象对应的点云数据进行融合处理，得到所述目标对象对应的深度图像点云数据。
将所述深度图像点云数据输入到预设环境对应的环境模型中，得到所述目标对象在所述预设环境中的图像样本数据；其中，所述图像样本数据中标注有所述目标对象的属性信息。
在一种可能的实现方式中，所述预设环境包括遮挡环境、碰撞环境、或者阴影环境中的至少一种。
在一种可能的实现方式中，获取所述目标对象对应的点云数据，可以包括：
获取三维相机视野下的点云数据；其中，所述三维相机视野中包括所述目标对象。
从所述三维相机视野下的点云数据中提取所述目标对象对应的点云数据。
在一种可能的实现方式中，所述样本数据的获取方法还可以包括：
基于所述图像样本数据，训练生成所述目标对象对应的深度学习模型，所述深度学习模型用于识别所述目标对象。
在一种可能的实现方式中，所述属性信息还包括颜色，所述样本数据的获取方法还可以包括：
获取二维相机采集的目标对象的颜色；其中，颜色包括所述目标对象的各个平面的颜色。
在一种可能的实现方式中，所述从所述三维相机视野下的点云数据中提取出所述目标对象对应的点云数据，可以包括：
采用点云分割算法，从所述三维相机视野下的点云数据中提取所述目标对象对应的点云数据。
第二方面，本申请实施例还提供了一种样本数据的获取装置，该样本数据的获取装置可以包括：
获取模块，用于获取目标对象的属性信息及所述目标对象对应的点云数据；其中，所述属性信息包括纹理、尺寸和重量。
处理模块，用于对所述目标对象的属性信息和所述目标对象对应的点云数据进行融合处理，得到所述目标对象对应的深度图像点云数据；并将所述深度图像点云数据输入到预设环境对应的环境模型中，得到所述目标对象在所述预设环境中的图像样本数据；其中，所述图像样本数据中标注有所述目标对象的属性信息。
在一种可能的实现方式中，所述预设环境包括遮挡环境、碰撞环境、或者阴影环境中的至少一种。
在一种可能的实现方式中，所述获取模块，具体用于获取三维相机视野下的点云数据；其中，所述三维相机视野中包括所述目标对象；并从所述三维相机视野下的点云数据中提取所述目标对象对应的点云数据。
在一种可能的实现方式中，所述样本数据的获取装置还可以包括生成模块。
所述生成模块，具体用于基于所述图像样本数据，训练生成所述目标对象对应的深度学习模型，所述深度学习模型用于识别所述目标对象。
在一种可能的实现方式中，所述属性信息还包括颜色。
所述获取模块，还用于获取二维相机采集的目标对象的颜色；其中，颜色包括所述目标对象的各个平面的颜色。
在一种可能的实现方式中，所述获取模块，具体用于采用点云分割算法，从所述三维相机视野下的点云数据中提取所述目标对象对应的点云数据。
第三方面，本申请实施例还提供了一种终端，该终端可以包括存储器和处理器；其中，
所述存储器，用于存储计算机程序。
所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行上述第一种可能的实现方式任一项所述的样本数据的获取方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述第一种可能的实现方式任一项所述的样本数据的获取方法。
由此可见，本申请实施例提供的样本数据的获取方法和装置，在获取样本数据时，先获取目标对象的属性信息及目标对象对应的点云数据，由于该属性信息和点云数据为目标对象的较为真实的数据，因此，对该较为真实的属性信息和点云数据融合得到的深度图像点云数据在一定程度上可以准确地描述目标对象，再将该准确的深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据，且该样本数据的获取过程无需用户手动操作，因此，实现了在保证样本数据的准确度的情况下，提高样本数据的获取效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的一种应用场景的示意图；
图2为本申请实施例提供的一种样本数据的获取方法的流程示意图；
图3为本申请实施例提供的采集的一种平面的图像示意图；
图4为本申请实施例提供的采集的另一种平面的图像示意图；
图5为本申请实施例提供的采集的又一种平面的图像示意图；
图6为本申请实施例提供的采集的再一种平面的图像示意图；
图7为本申请实施例提供的一种平面的深度图像点云数据的示意图；
图8为本申请实施例提供的另一种平面的深度图像点云数据的示意图；
图9为本申请实施例提供的又一种平面的深度图像点云数据的示意图；
图10为本申请实施例提供的再一种平面的深度图像点云数据的示意图；
图11为本申请实施例提供的一种深度图像点云数据的示意图；
图12为本申请实施例提供的一种样本数据的获取装置的结构示意图；
图13为本发明实施例提供的一种终端的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本申请的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本申请的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的样本数据的获取方法可以应用于在智能仓库中自动化拣选物品的场景中。智能拣选机器人在智能仓库中拣选物品时，需要先获取该物品在不同环境下的三维模型，再基于该三维模型在智能仓库中识别出该物体，从而拣选出该物品。在获取该物品在不同环境下的三维模型时，需要先获取构建三维模型需要的样本数据。现有技术中，在获取物品在不同环境下大量的样本数据时，需要用户手动采集大量的在不同环境下的图像，并在大量的图像中手动添加标注信息，以获取到物品在不同环境下大量的样本数据。但是，采用现有的样本数据获取方式，使得样本数据的获取效率较低。
为了提高样本数据的获取效率，可以尝试自动获取样本数据，在自动获取样本数据时，容易想到的方案为：可以先构建不同视点下物体的CAD模型，再将构建的CAD模型输入到旋转、碰撞、堆叠等环境对应的物理引擎仿真中，合成样本数据，从而实现样本数据的自动获取。但是，采用该样本数据的获取方式，由于现实环境中的物品都会受到灯光、或者遮挡的影响，但构建的物体的CAD模型并没有包括这些影响，因此，在将未包括这些影响的CAD模型输入到旋转、碰撞、堆叠等环境对应的物理引擎仿真中，合成样本数据时，会导致合成的样本数据的与真实的样本数据存在较大的差值，从而导致获取到的样本数据的准确度较低。
基于此，为了在保证样本数据的准确度的情况下，提高样本数据的获取效率，可参见图1所示，图1为本申请实施例提供的一种应用场景的示意图，智能机器人在智能仓库中自动化拣选物品A时，可以先通过数据采集装置获取物品A的样本数据，并基于获取的物品A的样本数据，训练生成该物品A对应的深度学习模型，并将生成的深度学习模型发送给智能机器人，使得智能机器人根据该深度学习模型识别出该物品A，从而拣选出该物品A。或者，数据采集装置可以只负责物品A的属性信息和点云数据的采集，在采集到物品A的属性信息及目标对象对应的点云数据后，将该物品A的属性信息和点云数据发送给终端，例如智能机器人，以使智能机器人获取到该物品A的属性信息和点云数据，并基于获取的样本数据，训练生成该物品A对应的深度学习模型，这样智能机器人就可以根据该深度学习模型识别出该物品A，从而拣选出该物品A。
基于图1所示的场景，本申请实施例提供了一种样本数据的获取方法，在获取样本数据时，可以先获取目标对象的属性信息及目标对象对应的点云数据，该属性信息包括纹理、尺寸和重量，并对目标对象的属性信息和目标对象对应的点云数据进行融合处理，得到目标对象对应的深度图像点云数据；再将该深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据，该图像样本数据中标注有目标对象的属性信息。
由此可见，本申请实施例提供的样本数据的获取方法，在获取样本数据时，先获取目标对象的属性信息及目标对象对应的点云数据，由于该属性信息和点云数据为目标对象的较为真实的数据，因此，对该较为真实的属性信息和点云数据融合得到的深度图像点云数据在一定程度上可以准确地描述目标对象，再将该准确的深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据，且该样本数据的获取过程无需用户手动操作，因此，实现了在保证样本数据的准确度的情况下，提高样本数据的获取效率。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请实施例提供的一种样本数据的获取方法的流程示意图，该样本数据的获取方法可以由软件和/或硬件装置执行，例如，该硬件装置可以为数据采集装置，也可以为终端，例如上述的智能机器人。示例的，请参见图2所示，该样本数据的获取方法可以包括：
S201、获取目标对象的属性信息及目标对象对应的点云数据。
其中，属性信息包括纹理、尺寸和重量。
示例的，在获取目标对象的纹理时，可以通过二维相机和三维相机共同采集该目标对象的纹理；在获取目标对象的尺寸时，可以通过三维相机采集该目标对象的尺寸；在获取目标对象的重量时，可以通过称重器采集该目标对象的重量，从而获取到该目标对象的属性信息。可以理解的是，在本申请实施例中，获取目标对象的属性信息所采用的二维相机、三维相机及称重器可以设置在数据采集装置上，从而通过数据采集装置获取目标对象的属性信息。
在通过获取的目标对象的属性信息时，该属性信息除了包括纹理、尺寸和重量之外，还可以包括其它信息，例如颜色和物品序列号等。当属性信息包括颜色时，可以二维相机采集的目标对象的颜色；其中，颜色包括目标对象的各个平面的颜色，即需要通过二维相机采集目标对象各个平面的颜色。在通过二维相机采集目标对象各个平面的颜色时，以采集一个长方体盒子的颜色为例，可以先通过二维相机拍摄该长方体盒子每一个平面的图像，可参见图3-图6所示，以采集其中的四个平面为例，图3为本申请实施例提供的采集的一种平面的图像示意图，图4为本申请实施例提供的采集的另一种平面的图像示意图，图5为本申请实施例提供的采集的又一种平面的图像示意图，图6为本申请实施例提供的采集的再一种平面的图像示意图，在采集到这四个平面的图像后，可以在每一个图像提取得到该平面的颜色，从而通过二维相机采集目标对象各个平面的颜色。
在获取目标对象对应的点云数据时，可以通过三维相机获取目标对象对应的点云数据。示例的，在通过三维相机获取目标对象对应的点云数据时，可以先获取三维相机视野下的点云数据；由于该三维相机视野中除了包括目标对象之外，还可能包括其它背景信息，因此，需要从三维相机视野下的点云数据中提取目标对象对应的点云数据，从而获取到目标对象对应的点云数据。
示例的，从三维相机视野下的点云数据中提取出目标对象对应的点云数据时，可以采用点云分割算法，从三维相机视野下的点云数据中提取目标对象对应的点云数据，从而获取到目标对象对应的点云数据。可以理解的是，除了采用点云分割算法，从三维相机视野下的点云数据中提取目标对象对应的点云数据之外，还可以采用2D模板匹配算法从三维相机视野下的点云数据中提取目标对象对应的点云数据，具体可以根据实际需要进行设置，在此，本申请实施例只是以采用点云分割算法，从三维相机视野下的点云数据中提取目标对象对应的点云数据为例进行说明，但并不代表本申请实施例仅局限于此。
在分别获取到目标对象的属性信息和目标对象对应的点云数据后，由于目标对象对应的点云数据并未包括目标对象的属性信息，因此，仅通过该点云数据并不能准确地描述目标对象，因此，需要对目标对象的属性信息和目标对象对应的点云数据进行融合处理，以得到目标对象对应的深度图像点云数据，即执行下述S202：
S202、对目标对象的属性信息和目标对象对应的点云数据进行融合处理，得到目标对象对应的深度图像点云数据。
其中，深度图像点云数据可以为理解为RGB-D数据。
在对目标对象的属性信息和目标对象对应的点云数据进行融合处理时，可以先对目标对象的属性信息和目标对象对应的点云数据进行配准，并对配准后的目标对象的属性信息和目标对象对应的点云数据进行融合处理，从而得到目标对象对应的深度图像点云数据。
可结合上述图3-图6所示，可以将图3-图6所示的长方体物体的属性信息和点云数据融合处理，得到该长方体物体对应的深度图像点云数据，该深度图像点云数据包括了长方体物体的六个平面中每一个平面的深度图像点云数据。同样以采集其中的四个平面为例，图7为本申请实施例提供的一种平面的深度图像点云数据的示意图，图8为本申请实施例提供的另一种平面的深度图像点云数据的示意图，图9为本申请实施例提供的又一种平面的深度图像点云数据的示意图，图10为本申请实施例提供的再一种平面的深度图像点云数据的示意图。结合图7-图10所示，由于该属性信息和点云数据为长方体物体的较为真实的数据，因此，对该较为真实的属性信息和点云数据融合得到的深度图像点云数据在一定程度上可以准确地描述该长方体物体，为真实场景下的该长方体物体对应的深度图像点云数据。
S203、将深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据。
其中，图像样本数据中标注有目标对象的属性信息。
示例的，预设环境包括遮挡环境、碰撞环境、或者阴影环境中的至少一种。可以理解的是，在本申请实施例中，只是以预设环境可以包括遮挡环境、碰撞环境、或者阴影环境中的至少一种为例进行说明，但并不代表本申请实施例仅局限于此。
在将准确的深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据时，由于该预设环境为仿真的真实场景下的环境，因此，得到的预设环境下的图像样本数据为该目标对象在真实场景下的样本数据，且该样本数据的获取过程无需用户手动操作，因此，实现了在保证样本数据的准确度的情况下，提高样本数据的获取效率。
结合上述图7-图10所示，在将长方体物体准确的深度图像点云数据输入到预设环境对应的环境模型中，得到长方体物体在预设环境中的图像样本数据时，由于该预设环境为仿真的真实场景下的环境，因此，得到的预设环境下的图像样本数据为该长方体物体在真实场景下的样本数据，可参见图11所示，图11为本申请实施例提供的一种深度图像点云数据的示意图。
由此可见，本申请实施例提供的样本数据的获取方法，在获取样本数据时，先获取目标对象的属性信息及目标对象对应的点云数据，由于该属性信息和点云数据为目标对象的较为真实的数据，因此，对该较为真实的属性信息和点云数据融合得到的深度图像点云数据在一定程度上可以准确地描述目标对象，再将该准确的深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据，且该样本数据的获取过程无需用户手动操作，因此，实现了在保证样本数据的准确度的情况下，提高样本数据的获取效率。
基于上述图1所示的实施例，在获取到目标对象对应的图像样本数据之后，还可以基于获取到的目标对象对应的图像样本数据，对初始深度学习模型进行训练，生成目标对象对应的深度学习模型，这样在生成目标对象对应的深度学习模型后，可以将该深度学习模型发送给智能机器人，使得智能机器人可以基于该深度学习模型在智能仓库中识别出该目标对象，从而拣选出该目标对象。
图12为本申请实施例提供的一种样本数据的获取装置120的结构示意图，示例的，请参见图12所示，该样本数据的获取装置120可以包括：
获取模块1201，用于获取目标对象的属性信息及目标对象对应的点云数据；其中，属性信息包括纹理、尺寸和重量。
处理模块1202，用于对目标对象的属性信息和目标对象对应的点云数据进行融合处理，得到目标对象对应的深度图像点云数据；并将深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据；其中，图像样本数据中标注有目标对象的属性信息。
可选的，预设环境包括遮挡环境、碰撞环境、或者阴影环境中的至少一种。
可选的，获取模块1201，具体用于获取三维相机视野下的点云数据；其中，三维相机视野中包括目标对象；并从三维相机视野下的点云数据中提取目标对象对应的点云数据。
可选的，该样本数据的获取装置120还包括生成模块1203。
生成模块1203，具体用于基于图像样本数据，训练生成目标对象对应的深度学习模型，深度学习模型用于识别目标对象。
可选的，属性信息还包括颜色；获取模块1201，还用于获取二维相机采集的目标对象的颜色；其中，颜色包括目标对象的各个平面的颜色。
可选的，获取模块1201，具体用于采用点云分割算法，从三维相机视野下的点云数据中提取目标对象对应的点云数据。
本申请实施例提供的样本数据的获取装置120，可以执行上述任一实施例中的样本数据的获取方法的技术方案，其实现原理以及有益效果与样本数据的获取方法的实现原理及有益效果类似，可参见样本数据的获取方法的实现原理及有益效果，此处不再进行赘述。
图13为本发明实施例提供的一种终端130的结构示意图，示例的，请参见图13所示，该终端130可以包括处理器1301和存储器1302；其中，
所述存储器1302，用于存储计算机程序。
所述处理器1301，用于读取所述存储器1302存储的计算机程序，并根据所述存储器1302中的计算机程序执行上述任一实施例中的样本数据的获取方法的技术方案。
可选地，存储器1302既可以是独立的，也可以跟处理器1301集成在一起。当存储器1302是独立于处理器1301之外的器件时，终端还可以包括：总线，用于连接存储器1302和处理器1301。
可选地，本实施例还包括：通信接口，该通信接口可以通过总线与处理器1301连接。处理器1301可以控制通信接口来实现上述终端的接收和发送的功能。
本发明实施例所示的终端130，可以执行上述任一实施例中的样本数据的获取方法的技术方案，其实现原理以及有益效果与样本数据的获取方法的实现原理及有益效果类似，可参见样本数据的获取方法的实现原理及有益效果，此处不再进行赘述。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述任一实施例中的样本数据的获取方法的技术方案，其实现原理以及有益效果与样本数据的获取方法的实现原理及有益效果类似，可参见样本数据的获取方法的实现原理及有益效果，此处不再进行赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所展示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元展示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例方法的部分步骤。
应理解的是，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital SignalProcessor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本发明附图中的总线并不限定仅有一根总线或一种类型的总线。
上述计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种样本数据的获取方法，其特征在于，包括：
获取目标对象的属性信息及所述目标对象对应的点云数据；其中，所述属性信息包括纹理、尺寸和重量；
对所述目标对象的属性信息和所述目标对象对应的点云数据进行融合处理，得到所述目标对象对应的深度图像点云数据；
将所述深度图像点云数据输入到预设环境对应的环境模型中，得到所述目标对象在所述预设环境中的图像样本数据；其中，所述图像样本数据中标注有所述目标对象的属性信息；
所述对所述目标对象的属性信息和所述目标对象对应的点云数据进行融合处理，得到所述目标对象对应的深度图像点云数据，包括：
对所述目标对象的属性信息和所述目标对象对应的点云数据进行配准，并对配准后的目标对象的属性信息和目标对象对应的点云数据进行融合处理，得到所述目标对象对应的深度图像点云数据；
所述预设环境包括阴影环境。
2.根据权利要求1所述的方法，其特征在于，
所述预设环境还包括遮挡环境或者碰撞环境中的至少一种。
3.根据权利要求1所述的方法，其特征在于，获取所述目标对象对应的点云数据，包括：
获取三维相机视野下的点云数据；其中，所述三维相机视野中包括所述目标对象；
从所述三维相机视野下的点云数据中提取所述目标对象对应的点云数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述图像样本数据，训练生成所述目标对象对应的深度学习模型，所述深度学习模型用于识别所述目标对象。
5.根据权利要求1所述的方法，其特征在于，所述属性信息还包括颜色，所述方法还包括：
获取二维相机采集的目标对象的颜色；其中，颜色包括所述目标对象的各个平面的颜色。
6.根据权利要求3所述的方法，其特征在于，所述从所述三维相机视野下的点云数据中提取出所述目标对象对应的点云数据，包括：
采用点云分割算法，从所述三维相机视野下的点云数据中提取所述目标对象对应的点云数据。
7.一种样本数据的获取装置，其特征在于，包括：
获取模块，用于获取目标对象的属性信息及所述目标对象对应的点云数据；其中，所述属性信息包括纹理、尺寸和重量；
处理模块，用于对所述目标对象的属性信息和所述目标对象对应的点云数据进行融合处理，得到所述目标对象对应的深度图像点云数据；并将所述深度图像点云数据输入到预设环境对应的环境模型中，得到所述目标对象在所述预设环境中的图像样本数据；其中，所述图像样本数据中标注有所述目标对象的属性信息；
所述处理模块，具体用于对所述目标对象的属性信息和所述目标对象对应的点云数据进行配准，并对配准后的目标对象的属性信息和目标对象对应的点云数据进行融合处理，得到所述目标对象对应的深度图像点云数据；
所述预设环境包括阴影环境。
8.根据权利要求7所述的装置，其特征在于，
所述预设环境还包括遮挡环境或者碰撞环境中的至少一种。
9.根据权利要求8所述的装置，其特征在于，
所述获取模块，具体用于获取三维相机视野下的点云数据；其中，所述三维相机视野中包括所述目标对象；并从所述三维相机视野下的点云数据中提取所述目标对象对应的点云数据。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括生成模块；
所述生成模块，具体用于基于所述图像样本数据，训练生成所述目标对象对应的深度学习模型，所述深度学习模型用于识别所述目标对象。
11.根据权利要求7所述的装置，其特征在于，所述属性信息还包括颜色；
所述获取模块，还用于获取二维相机采集的目标对象的颜色；其中，颜色包括所述目标对象的各个平面的颜色。
12.根据权利要求9所述的装置，其特征在于，
所述获取模块，具体用于采用点云分割算法，从所述三维相机视野下的点云数据中提取所述目标对象对应的点云数据。
13.一种终端，其特征在于，包括存储器和处理器；其中，
所述存储器，用于存储计算机程序；
所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行上述权利要求1-6任一项所述的样本数据的获取方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述权利要求1-6任一项所述的样本数据的获取方法。
CN202010801961.8A 2020-08-11 2020-08-11 样本数据的获取方法和装置 Active CN113763307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010801961.8A CN113763307B (zh) 2020-08-11 2020-08-11 样本数据的获取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010801961.8A CN113763307B (zh) 2020-08-11 2020-08-11 样本数据的获取方法和装置

Publications (2)

Publication Number Publication Date
CN113763307A CN113763307A (zh) 2021-12-07
CN113763307B true CN113763307B (zh) 2024-06-18

Family

ID=78785674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010801961.8A Active CN113763307B (zh) 2020-08-11 2020-08-11 样本数据的获取方法和装置

Country Status (1)

Country Link
CN (1) CN113763307B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898354A (zh) * 2022-03-24 2022-08-12 中德（珠海）人工智能研究院有限公司 基于三维模型的测量方法、装置、服务器及可读存储介质
CN117689980B (zh) * 2024-02-04 2024-05-24 青岛海尔科技有限公司 构建环境识别模型的方法、识别环境的方法及装置、设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107544095B (zh) * 2017-07-28 2019-03-08 河南工程学院 一种地面三维激光点云与探地雷达图像融合的方法
CN108460414B (zh) * 2018-02-27 2019-09-17 北京三快在线科技有限公司 训练样本图像的生成方法、装置及电子设备
US10832469B2 (en) * 2018-08-06 2020-11-10 Disney Enterprises, Inc. Optimizing images for three-dimensional model construction
CN109471128B (zh) * 2018-08-30 2022-11-22 福瑞泰克智能系统有限公司 一种正样本制作方法及装置
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术（北京）有限公司 物体检测方法、装置、设备、存储介质及车辆
CN110163904B (zh) * 2018-09-11 2022-04-22 腾讯大地通途（北京）科技有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
US11391844B2 (en) * 2018-12-19 2022-07-19 Fca Us Llc Detection and tracking of road-side pole-shaped static objects from LIDAR point cloud data
CN110120091B (zh) * 2019-04-28 2023-06-16 深圳供电局有限公司 电力巡检图像样本制作方法、装置和计算机设备
CN110598743A (zh) * 2019-08-12 2019-12-20 北京三快在线科技有限公司 一种目标对象的标注方法和装置
CN111161398B (zh) * 2019-12-06 2023-04-21 苏州智加科技有限公司 一种图像生成方法、装置、设备及存储介质
CN111047693A (zh) * 2019-12-27 2020-04-21 浪潮(北京)电子信息产业有限公司 一种图像训练数据集生成方法、装置、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN113763307A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN110427917B (zh) 用于检测关键点的方法和装置
CN104268498B (zh) 一种二维码的识别方法及终端
CN110246163B (zh) 图像处理方法及其装置、设备、计算机存储介质
EP3660703A1 (en) Method, apparatus, and system for identifying device, storage medium, processor, and terminal
CN111563923A (zh) 获得稠密深度图的方法及相关装置
CN112446919A (zh) 物体位姿估计方法、装置、电子设备及计算机存储介质
CN105378792A (zh) 三维对象建模
CN106485196A (zh) 视觉搜索方法、对应的系统、设备和计算机程序产品
CN113763307B (zh) 样本数据的获取方法和装置
CN108230384A (zh) 图像深度计算方法、装置、存储介质和电子设备
CN113240031A (zh) 全景图像特征点匹配模型的训练方法、装置以及服务器
CN115205383A (zh) 相机位姿的确定方法、装置、电子设备及存储介质
CN117593200A (zh) 一种多视角体表标记点融合方法、装置、设备及介质
CN112802081A (zh) 一种深度检测方法、装置、电子设备及存储介质
CN111161348B (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN112819963B (zh) 一种树木枝干模型批量差异化建模方法以及相关设备
CN110310325A (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
CN113160414B (zh) 货物余量自动识别方法、装置、电子设备以及计算机可读介质
CN112700455A (zh) 一种激光点云数据生成方法、装置、设备及介质
CN111832494B (zh) 信息存储方法及设备
CN115880428A (zh) 一种基于三维技术的动物检测数据处理方法、装置及设备
CN112819953B (zh) 三维重建方法、网络模型训练方法、装置及电子设备
CN109242984A (zh) 虚拟三维场景构建方法、装置及设备
CN114708230A (zh) 基于图像分析的车架质量检测方法、装置、设备及介质
CN116109759A (zh) 激光相机与球幕相机的火灾现场三维重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant