CN113012211B - 图像采集方法、装置、系统、计算机设备及存储介质 - Google Patents
图像采集方法、装置、系统、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113012211B CN113012211B CN202110338211.6A CN202110338211A CN113012211B CN 113012211 B CN113012211 B CN 113012211B CN 202110338211 A CN202110338211 A CN 202110338211A CN 113012211 B CN113012211 B CN 113012211B
- Authority
- CN
- China
- Prior art keywords
- camera
- rgb
- region
- interest
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000013507 mapping Methods 0.000 claims description 126
- 238000001514 detection method Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 20
- 238000012805 post-processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像采集方法、装置、系统、计算机设备及存储介质,属于图像处理技术领域。在本申请实施例中,通过目标对象上的感兴趣区域与深度相机之间的距离,确定RGB相机的第一焦距以获取清晰的目标对象的RGB图像,以便于后续基于清晰的RGB图像,检测RGB图像中感兴趣区域。本申请实施例可以使用更少的相机(最少一个深度相机和一个RGB相机即可),采集高度变化范围更大的目标对象的感兴趣区域图像。
Description
技术领域
本申请实施例涉及图像处理技术领域,特别涉及一种图像采集方法、装置、系统、计算机设备及存储介质。
背景技术
随着电子商务的快速发展,快递物流行业呈现高速增长势头,快递业务量大大增加。在快递物流行业中,快递分拣一直是成本最高、耗时最长、效率最低的环节。而快递面单所在的感兴趣区域的检测是快递分拣中不可或缺的一部分。随着快递业务量的增加,感兴趣区域的检测成为了当前关注的热点。为了实现对感兴趣区域的检测,则需先采集针对感兴趣区域的图像。
相关技术中,通常是使用单个RGB(red green blue,红绿蓝)相机进行感兴趣区域的图像的采集。而在快递物流行业中,快递包裹的高度差异较大,单个RGB相机的景深很难保证覆盖所有的快递包裹的感兴趣区域。因此,将多个RGB相机布置在不同的景深段,每个RGB相机负责采集相应景深段的感兴趣区域的图像。然后将多个RGB相机的采集结果进行融合筛选等处理。当感兴趣区域的检测要求的景深范围越广时,布置的RGB相机越多。
但是,由于布置了多个RGB相机,导致感兴趣区域检测系统复杂,成本增加。
发明内容
本申请实施例提供了一种图像采集方法、装置、系统、计算机设备及存储介质,可以对长景深范围内的感兴趣区域进行检测,从而减少了需要的RGB相机的数量,使得感兴趣区域检测系统成本减少。所述技术方案如下:
一方面,提供了一种图像采集方法,所述方法应用于图像采集系统,所述图像采集系统包括深度相机和红绿蓝RGB相机;
所述方法包括:
基于目标对象上的感兴趣区域与所述深度相机之间的距离,确定所述RGB相机的第一焦距,所述感兴趣区域与所述深度相机之间的距离是基于所述深度相机对所述目标对象采集的深度图像确定的;
基于所述第一焦距控制所述RGB相机采集所述目标对象的RGB图像。
基于上述方法,在一种可能的实现方式中,所述基于所述第一焦距控制所述RGB相机采集所述目标对象的RGB图像,包括:
基于所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标,获取所述感兴趣区域在所述RGB相机对应的二维相机坐标系中的平面坐标,所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标是基于所述深度相机对所述目标对象采集的深度图像确定的;
获取焦距调整范围,所述焦距调整范围的中心为所述第一焦距,所述焦距调整范围的区间长度为参考焦距差值;
控制所述RGB相机采集所述焦距调整范围内的多帧初始RGB图像;
基于所述感兴趣区域在所述RGB相机对应的二维相机坐标系中的平面坐标,确定所述多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量;
基于所述多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量,从所述多帧初始RGB图像中确定一帧初始RGB图像作为所述RGB相机采集的所述目标对象的RGB图像。
基于上述方法,在一种可能的实现方式中,所述图像采集系统中存储有映射关系,所述映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述深度相机之间的不同距离;
所述基于目标对象上的感兴趣区域与所述深度相机之间的距离,确定所述RGB相机的第一焦距,包括:
基于所述感兴趣区域与所述深度相机之间的距离,从所述多个深度中确定和所述感兴趣区域与所述深度相机之间的距离匹配的一个或两个目标深度;
基于所述一个或两个目标深度各自对应的焦距确定所述第一焦距。
基于上述方法,在一种可能的实现方式中,所述深度相机和所述RGB相机的拍摄方向相同,且所述深度相机和所述RGB相机在所述拍摄方向上的相对位置关系固定;
所述方法还包括:
调整标定物件的高度处于不同的高度,在每次调整所述标定物件的高度后,获取所述深度相机采集的所述标定物件的深度图像,并确定所述RGB相机拍摄所述标定物件的标定焦距,所述RGB相机基于所述标定焦距拍摄所述标定物件后的RGB图像的质量满足参考图像质量;
基于所述标定物件的深度图像,确定所述标定物件和所述深度相机之间的距离,将所述标定物件和所述深度相机之间的距离与所述标定焦距之间的对应关系添加至所述映射关系中。
基于上述方法,在一种可能的实现方式中,所述图像采集系统中存储有映射关系,所述映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述RGB相机之间的不同距离;
所述基于所述感兴趣区域与所述深度相机之间的距离,确定所述RGB相机的第一焦距,包括:
基于所述感兴趣区域与所述深度相机之间的距离、以及所述深度相机和所述RGB相机在拍摄方向上的相对位置关系,确定所述感兴趣区域与所述RGB相机之间的距离;
从所述多个深度中确定和所述感兴趣区域与所述深度相机之间的距离匹配的一个或两个目标深度;
基于所述一个或两个目标深度各自对应的焦距确定所述第一焦距。
基于上述方法,在一种可能的实现方式中,所述深度相机和所述RGB相机的拍摄方向相同,且所述深度相机和所述RGB相机在所述拍摄方向上的相对位置关系固定;
所述方法还包括:
调整标定物件的高度处于不同的高度,在每次调整所述标定物件的高度后,获取所述深度相机采集的所述标定物件的深度图像,并确定所述RGB相机拍摄所述标定物件的标定焦距,所述RGB相机基于所述标定焦距拍摄所述标定物件后的RGB图像的质量满足参考图像质量;
基于所述标定物件的深度图像,确定所述标定物件和所述深度相机之间的距离,基于所述标定物件和所述深度相机之间的距离、以及所述深度相机和所述RGB相机在拍摄方向上的相对位置关系,确定所述标定物件和所述RGB相机之间的距离,将所述标定物件和所述RGB相机之间的距离与所述标定焦距之间的对应关系添加至所述映射关系中。
基于上述方法,在一种可能的实现方式中,所述图像采集系统中存储有多个映射关系,所述多个映射关系和多个图像区域一一对应,所述多个映射关系中任一映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述深度相机之间的不同距离;
所述基于所述感兴趣区域与所述深度相机之间的距离,确定所述RGB相机的第一焦距,包括:
基于所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标,从所述多个图像区域中查找匹配的图像区域,得到目标图像区域,所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标是基于所述深度相机对所述目标对象采集的深度图像确定的;
基于所述感兴趣区域与所述深度相机之间的距离,从与所述目标图像区域对应的映射关系中查找匹配的焦距,得到所述第一焦距。
基于上述方法,在一种可能的实现方式中,所述图像采集系统中存储有多个映射关系,所述多个映射关系和多个图像区域一一对应,所述多个映射关系中任一映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述RGB相机之间的不同距离;
所述基于所述感兴趣区域与所述深度相机之间的距离,确定所述RGB相机的第一焦距,包括:
基于所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标,从所述多个图像区域中查找匹配的图像区域,得到目标图像区域,所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标是基于所述深度相机对所述目标对象采集的深度图像确定的;
基于所述感兴趣区域与所述深度相机之间的距离、以及所述深度相机和所述RGB相机在拍摄方向上的相对位置关系,确定所述感兴趣区域和所述RGB相机之间的距离;
基于所述感兴趣区域和所述RGB相机之间的距离,从与所述目标图像区域对应的映射关系中查找匹配的焦距,得到所述第一焦距。
基于上述方法,在一种可能的实现方式中,所述目标对象为快递包裹,所述感兴趣区域为所述快递包裹上的面单区域;
所述方法还包括:
基于所述RGB相机采集的RGB图像中的感兴趣区域,确定面单信息,所述面单信息包括收件人、收件人地址、发件人中的一者或多者。
另一方面、提供了一种图像采集装置,所述装置应用于图像采集系统,所述图像采集系统包括深度相机和红绿蓝RGB相机;
所述装置包括:
确定模块,用于基于目标对象上的感兴趣区域与所述深度相机之间的距离,确定所述RGB相机的第一焦距,所述感兴趣区域与所述深度相机之间的距离是基于所述深度相机对所述目标对象采集的深度图像确定的;
聚焦模块,用于基于所述第一焦距控制所述RGB相机采集所述目标对象的RGB图像。
基于上述装置,在一种可能的实现方式中,所述聚焦模块用于:
基于所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标,获取所述感兴趣区域在所述RGB相机对应的二维相机坐标系中的平面坐标,所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标是基于所述深度相机对所述目标对象采集的深度图像确定的;
获取焦距调整范围,所述焦距调整范围的中心为所述第一焦距,所述焦距调整范围的区间长度为参考焦距差值;
控制所述RGB相机采集所述焦距调整范围内的多帧初始RGB图像;
基于所述感兴趣区域在所述RGB相机对应的二维相机坐标系中的平面坐标,确定所述多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量;
基于所述多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量,从所述多帧初始RGB图像中确定一帧初始RGB图像作为所述RGB相机采集的所述目标对象的RGB图像;
基于上述装置,在一种可能的实现方式中,所述图像采集系统中存储有映射关系,所述映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述深度相机之间的不同距离;
所述确定模块用于:
基于所述感兴趣区域与所述深度相机之间的距离,从所述多个深度中确定和所述感兴趣区域与所述深度相机之间的距离匹配的一个或两个目标深度;
基于所述一个或两个目标深度各自对应的焦距确定所述第一焦距;
基于上述装置,在一种可能的实现方式中,所述深度相机和所述RGB相机的拍摄方向相同,且所述深度相机和所述RGB相机在所述拍摄方向上的相对位置关系固定;
所述装置还包括:
第一获取模块,用于调整标定物件的高度处于不同的高度,在每次调整所述标定物件的高度后,获取所述深度相机采集的所述标定物件的深度图像,并确定所述RGB相机拍摄所述标定物件的标定焦距,所述RGB相机基于所述标定焦距拍摄所述标定物件后的RGB图像的质量满足参考图像质量;
第一添加模块,用于基于所述标定物件的深度图像,确定所述标定物件和所述深度相机之间的距离,将所述标定物件和所述深度相机之间的距离与所述标定焦距之间的对应关系添加至所述映射关系中;
基于上述装置,在一种可能的实现方式中,所述图像采集系统中存储有映射关系,所述映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述RGB相机之间的不同距离;
所述确定模块用于:
基于所述感兴趣区域与所述深度相机之间的距离、以及所述深度相机和所述RGB相机在拍摄方向上的相对位置关系,确定所述感兴趣区域与所述RGB相机之间的距离;
从所述多个深度中确定和所述感兴趣区域与所述深度相机之间的距离匹配的一个或两个目标深度;
基于所述一个或两个目标深度各自对应的焦距确定所述第一焦距;
基于上述装置,在一种可能的实现方式中,所述深度相机和所述RGB相机的拍摄方向相同,且所述深度相机和所述RGB相机在所述拍摄方向上的相对位置关系固定;
所述装置还包括:
第二调整模块,用于调整标定物件的高度处于不同的高度,在每次调整所述标定物件的高度后,获取所述深度相机采集的所述标定物件的深度图像,并确定所述RGB相机拍摄所述标定物件的标定焦距,所述RGB相机基于所述标定焦距拍摄所述标定物件后的RGB图像的质量满足参考图像质量;
第二添加模块,用于基于所述标定物件的深度图像,确定所述标定物件和所述深度相机之间的距离,基于所述标定物件和所述深度相机之间的距离、以及所述深度相机和所述RGB相机在拍摄方向上的相对位置关系,确定所述标定物件和所述RGB相机之间的距离,将所述标定物件和所述RGB相机之间的距离与所述标定焦距之间的对应关系添加至所述映射关系中;
基于上述装置,在一种可能的实现方式中,所述图像采集系统中存储有多个映射关系,所述多个映射关系和多个图像区域一一对应,所述多个映射关系中任一映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述深度相机之间的不同距离;
所述确定模块用于:
基于所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标,从所述多个图像区域中查找匹配的图像区域,得到目标图像区域,所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标是基于所述深度相机对所述目标对象采集的深度图像确定的;
基于所述感兴趣区域与所述深度相机之间的距离,从与所述目标图像区域对应的映射关系中查找匹配的焦距,得到所述第一焦距;
基于上述装置,在一种可能的实现方式中,所述图像采集系统中存储有多个映射关系,所述多个映射关系和多个图像区域一一对应,所述多个映射关系中任一映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述RGB相机之间的不同距离;
所述确定模块用于:
基于所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标,从所述多个图像区域中查找匹配的图像区域,得到目标图像区域,所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标是基于所述深度相机对所述目标对象采集的深度图像确定的;
基于所述感兴趣区域与所述深度相机之间的距离、以及所述深度相机和所述RGB相机在拍摄方向上的相对位置关系,确定所述感兴趣区域和所述RGB相机之间的距离;
基于所述感兴趣区域和所述RGB相机之间的距离,从与所述目标图像区域对应的映射关系中查找匹配的焦距,得到所述第一焦距;
基于上述装置,在一种可能的实现方式中,所述目标对象为快递包裹,所述感兴趣区域为所述快递包裹上的面单区域;所述装置还包括:
检测模块,用于基于所述RGB相机采集的RGB图像中的感兴趣区域,确定面单信息,所述面单信息包括收件人、收件人地址、发件人中的一者或多者。
另一方面,提供了一种计算机设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述所述的图像采集方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述所述的图像采集方法。
另一方面、提供了一种图像采集系统,所述图像采集系统包括深度相机、红绿蓝RGB相机、控制装置以及传送带;
所述深度相机和所述RGB相机的拍摄方向均朝向所述传送带传送物体的一面,且所述深度相机和所述RGB相机的拍摄区域能够覆盖所述传送带的宽度;
所述传送带用于传送快递包裹,且所述传送带上传递的快递包裹的面单区域朝向所述深度相机和所述RGB相机的拍摄方向;
所述控制装置分别与所述深度相机和所述RGB相机连接以进行通信,所述控制装置用于实现上述所述的图像采集方法的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括:
在本申请实施例中,通过目标对象上的感兴趣区域与深度相机之间的距离,确定RGB相机的第一焦距以获取清晰的目标对象的RGB图像,以便于后续基于清晰的RGB图像,检测RGB图像中感兴趣区域。本申请实施例可以使用更少的相机(最少一个深度相机和一个RGB相机即可),采集高度变化范围更大的目标对象的感兴趣区域图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种感兴趣区域检测系统的结构示意图;
图2是本申请实施例提供的一种图像采集系统的架构示意图;
图3是本申请实施例提供的一种图像采集方法流程图;
图4是本申请实施例提供的一种映射关系的结构示意图;
图5是本申请实施例提供的一种感兴趣区域检测的装置的结构示意图;
图6是本申请实施例提供的一种终端的结构示意图;
图7是本申请实施例提供的一种服务器结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细的解释说明之前,先对本申请实施例中的应用场景予以说明。
本申请实施例提供的感兴趣区域检测方法可以应用于涉及感兴趣区域的检测的多种行业中。例如,快递物流行业。在快递自动传送带上方门架上安装高清摄像头,通过高清摄像头拍摄快递包裹的上表面,并通过图像采集系对对自动传送带上的快递包裹的上表面区域进行检测。当然,也可以应用在超市行业中,在自主扫码支付的柜台内,安装高清摄像头,通过高清摄像头拍摄包装袋的表面,并通过图像采集系统对包装袋的二维码进行检测。前述仅仅是两个举例说明,本申请实施例对此不做具体限定。
图1是本申请实施例提供的一种感兴趣区域检测系统的结构示意图。参见图1,该感兴趣区域检测系统100包括:触发单元110、深度图获取单元120、自动聚焦单元130、RGB图获取单元140、检测单元150以及信息后处理单元160。上述各单元之间通过有线或无线的方式以进行通信。
需要说明的是,上述感兴趣区域检测系统为一软件系统。该软件系统中的各个单元可以通过硬件设备来实现。比如,如图2所示,预先部署有硬件设备对应的图像采集系统200,该图像采集系统200中包括深度相机210和RGB相机220。
基于图2所示的图像采集系统,感兴趣区域检测系统100中的深度图获取单元120、自动聚焦单元130、RGB图获取单元140可以有以下几种部署方式。
一种方式为:深度图获取单元120是通过深度相机210来实现,自动聚焦单元130和RGB图获取单元140通过RGB相机220来实现。这种场景下,可以由深度相机获取深度图像,并基于深度图像得到感兴趣区域和深度相机之间的距离,然后将确定的距离发送至RGB相机,由RGB相机基于感兴趣区域和深度相机之间的距离,确定一个合适的焦距进而采集RGB图像。此外,在这种场景下,还可以由深度相机获取深度图像,然后直接将深度图像发送至RGB相机,由RGB相机基于深度图像得到感兴趣区域和深度相机之间的距离,然后基于感兴趣区域和深度相机之间的距离确定一个合适的焦距进而采集RGB图像。
另一种方式为:深度图获取单元120和自动聚焦单元130均是通过深度相机210来实现,RGB图获取单元140通过RGB相机220来实现。这种场景下,由深度相机获取深度图像,基于深度图像得到感兴趣区域和深度相机之间的距离,然后基于感兴趣区域和深度相机之间的距离,确定一个合适的焦距,并将确定的焦距发送至RGB相机,由RGB相机直接基于深度相机确定的焦距采集RGB图像。
另一种实现方式为:图2所示的图像采集系统还可以包括一个控制装置,此时深度图获取单元120是通过深度相机210来实现,自动聚焦单元130由控制装置来实现,RGB图获取单元140通过RGB相机220来实现。这种场景下,由深度相机获取深度图像,然后将深度图像发送至控制装置,由控制装置基于深度图像得到感兴趣区域和深度相机之间的距离,然后基于感兴趣区域和深度相机之间的距离,确定一个合适的焦距,并将确定的焦距发送至RGB相机,由RGB相机直接基于深度相机确定的焦距采集RGB图像。或者,由深度相机获取深度图像,基于深度图像得到感兴趣区域和深度相机之间的距离,然后将确定的距离发送至控制装置,由控制装置基于感兴趣区域和深度相机之间的距离,确定一个合适的焦距,并将确定的焦距发送至RGB相机,由RGB相机直接基于深度相机确定的焦距采集RGB图像。
此外,如图2所示,深度相机210和RGB相机220用来拍摄目标对象230,目标对象230的上表面包括待检测的感兴趣区域240。其中,深度相机210是3D(Three Dimensions,三维)视觉系统中的常见组件,深度相机210用于获取感兴趣区域240中各个拍摄点离成像平面的距离,基于各个拍摄点离成像平面的距离生成深度图像。其中,深度相机210采集的深度图像还可以称为距离影像。深度图像中每个像素点对应深度相机的拍摄区域240内的一个拍摄点,深度图像中的像素点的像素值指示对应的拍摄点和深度相机之间的距离,换句话说,深度图像中的像素点的像素值代表拍摄点的深度值。深度图像中的像素点的图像坐标指示对应的拍摄点在深度相机210的平面坐标系下平面坐标。
另外,RGB相机220是机器视觉系统中的关键组件,RGB相机220用于将可见光信号转变为有序的电信号,通常是RGB图像信号,或其他格式的图像信号,然后基于图像信号生成RGB图像。
可选地,深度相机210和RGB相机220可以组合成一体相机。一体相机的个数由具体场景的视野范围确定。例如,在快递物流行业中,有20条快递自动传送带,可以每四条快递自动传送带上方中央门架上安装一个一体相机,从而可以安装5个一体相机,进一步扩大了感兴趣区域检测的视野范围。在这种场景下,图1中的深度图获取单元120、自动聚焦单元130、RGB图获取单元140均可以集成部署在该一体相机中。
基于图2所示的图像采集系统,在图1所示的感兴趣区域检测系统中,触发单元110用于检测目标区域中目标对象进入和离开,目标区域是指用于采集目标对象的图像的区域。当触发单元110检测到目标对象进入目标区域时,触发单元110向深度图获取单元120发送触发检测信号,该触发检测信号用于指示深度图获取单元120采集深度图像。当触发单元110检测到目标对象离开目标区域后,触发单元110向检测单元150发送触发输出信号,该触发输出信号用于指示检测单元150定位RGB图像中的感兴趣区域、提取感兴趣区域中的信息,并将提取的感兴趣区域中的信息发送至信息后处理单元160,由信息后处理单元160继续对感兴趣区域中的信息进行处理。
需要说明的是,当目标对象为传送带上的快递包裹时,检测单元150用于检测感兴趣区域中的面单信息,包括定位面单位置和提取面单内容,信息后处理单元160用于对面单信息进行后处理。
深度图获取单元120在接收到触发检测信号时,采集目标对象的深度图像。其中,深度图像获取单元120采集目标对象的深度图像可采用光飞行时间原理、结构光原理以及双目测距原理等,本申请实施例对此不做具体限定。
此外,深度图获取单元120还可以对深度图像中各个拍摄点的像素值所指示的深度进行聚类操作,以确定拍摄区域中目标对象上的感兴趣区域的平面坐标和深度,感兴趣区域的平面坐标包括感兴趣区域中各个拍摄点在深度相机的二维相机坐标下的平面坐标,感兴趣区域的深度指示感兴趣区域中各个拍摄点相对于深度相机的距离。深度图获取单元120将感兴趣区域的平面坐标和深度发送给自动聚焦单元130。
通常情况下,目标对象上的感兴趣区域为一个平均高度接近的区域,因此,可以预先根据感兴趣区域的大概高度对深度图像中各个拍摄点的像素值所指示的深度进行聚类操作,以确定拍摄区域中目标对象的感兴趣区域的平面坐标和具体的深度。
例如,在快递物流行业中,目标对象为快递包裹,快递包裹的上表面通常包括面单信息,因此可以将快递包括的上表面作为感兴趣区域。通过聚类的方法计算包裹上表面的平面坐标和深度值。这种场景下,如果预先设置了拍摄点离深度相机越近,深度图像中的像素点的像素值越大,由于快递包裹上表面距离深度相机最近,此时深度图像中像素值较大的一些像素点对应的拍摄点即为快递包括上表面中各个拍摄点。基于该原理,对深度图像中像素值较大的一类像素点对应的拍摄点进行聚类操作,如此便可识别出深度图像中哪一部分区域为感兴趣区域。
针对上述快递面单检测的场景,聚类方法具体是指:将深度图像中的各个像素点按照像素值进行分类。将像素值接近最大像素值的像素点分成一类,这一类像素点团块所形成的区域便为感兴趣区域。基于像素点团块中各个像素点的平面坐标便可确定目标对象上的感兴趣区域的平面坐标,基于像素点团块中各个像素点的像素值便可确定目标对象上的感兴趣区域的深度。
在一种可能的实现方式中,将像素点团块中所有像素点的像素值取平均值,然后基于该平均值确定一个深度,将该深度作为感兴趣区域的深度。可选地,还可以选择像素点团块中所有像素点的像素值的中间值,基于该中间值确定一个深度,将该深度作为感兴趣区域的深度,本申请实施例对此不做具体限定。此外,还可以基于像素点团块中各个像素点的像素值中的最大值和最小值分别确定一个最大深度和最小深度,将最大深度和最小深度之间的范围作为感兴趣区域的深度范围。
此外,由于深度相机通常会受到环境噪音的影响,导致获取的拍摄区域中的某些拍摄点的深度不准确。因此,在对深度图像进行处理之前,还可以对深度图像进行降噪处理,然后基于降噪处理后的深度图像确定感兴趣区域的平面坐标和深度。
深度图像获取单元在基于上述方式确定出目标对象上的感兴趣区域的平面坐标和深度后,可以将目标对象上的感兴趣区域的平面坐标和深度发送给自动聚焦单元。该自动聚焦单元130用于根据目标对象上的感兴趣区域的平面坐标和深度对RGB相机中的镜头进行自动调节,使得RGB相机在拍摄感兴趣区域时所使用焦距为最佳焦距,从而使得RGB相机能够获得感兴趣区域的清晰图像,以便后续的处理。关于自动聚焦单元根据目标对象上的感兴趣区域的平面坐标和深度对RGB相机中的镜头进行自动调节的具体实现方式将在后续实施例中详细说明,在此先不展开说明。
RGB图获取单元140用于基于自动聚焦单元130调整后的焦距逐帧采集包括感兴趣区域的图像,并将采集到的图像发送给检测单元150。
检测单元150用于定位到多帧包括感兴趣区域图像中有效区域,并提取多帧图像中每帧图像中的有效区域的边界信息。将多帧图像中每帧图像中的有效区域的边界信息以及这多帧图像发送给信息后处理单元160。由信息后处理单元160基于这多帧图像中每帧图像中的有效区域的边界信息以及这多帧图像,对有效区域中的信息进行分析。
例如,在快递物流行业中,感兴趣区域为快递包裹的上表面,有效区域为快递面单所在的区域,检测单元150检测采集的多帧RGB图像中快递包裹上表面,然后定位到多帧RGB图像中快递面单所在的区域,提取每帧RGB图像中指示快递面单的有效区域的边界信息。
信息后处理单元160基于多帧RGB图像中指示快递面单的有效区域的边界信息,便可分析面单中包括的信息,比如可以分析出面单中包括的收件人、收件人地址、发件人等信息,本申请实施例对此不做具体限定。
在一种可能的实现方式中,信息后处理单元160可以基于多帧RGB图像中指示快递面单的有效区域的边界信息,对多帧RGB图像中指示快递面单的有效区域进行图像融合,得到最佳的有效区域,然后基于最佳的有效区域确定面单包括的信息,并在在接收到触发输出信号后,即接收到快递包裹离开目标区域的信号后输出该快递包裹的面单包括的信息。
需要说明的是,本申请实施例中对如何对面单进行检测的实现方式不做具体限定。例如,通过深度学习网络进行面单进行检测,以提取面单中包括的信息。
另外需要说明的是,上述信息后处理单元160的部分或全部功能也可以通过检测单元来实现,上述检测单元、以及信息后处理单元仅仅是按照功能划分的两个软件模块,本申请实施例并不限定每个单元的具体功能。
此外,图1中的检测单元,信息后处理单元仅仅是以感兴趣区域为快递包裹中包括面单信息的区域为例进行说明。当本申请实施例提供的方法应用在其他感兴趣区域检测的场景时,该信息后处理单元还可以采用其他处理方式,在此不再一一举例说明。
基于图1所示的感兴趣区域检测系统以及图2所示的图像采集系统,下面对本申请实施例提供的图像采集方法进行详细解释说明。
图3是本申请实施例提供的一种感图像采集方法流程图。基于图1所示的感兴趣区域检测系统可知,该图像采集方法应用于图像采集系统,该图像采集系统包括深度相机和红绿蓝RGB相机。参见图3,该图像采集方法包括如下几个步骤。
步骤301:基于目标对象上的感兴趣区域与深度相机之间的距离,确定RGB相机的第一焦距,感兴趣区域与深度相机之间的距离是基于深度相机对目标对象采集的深度图像确定的。
基于前述对图1所示的系统的介绍可知,本申请实施例并不限定基于深度相机对目标对象采集的深度图像确定感兴趣区域与深度相机之间的距离的执行主体。为了便于说明,下面以控制装置基于深度相机对目标对象采集的深度图像确定感兴趣区域与深度相机之间的距离、并基于目标对象上的感兴趣区域与深度相机之间的距离,确定RGB相机的第一焦距为例来说明。
因此,在一种可能的实现方式中,深度相机在采集到针对目标对象的深度图像后,将该深度图像发送至控制装置,由控制装置基于该深度图像确定目标对象上的感兴趣区域的位置信息。
在不同的应用场景中,确定目标对象上的感兴趣区域的位置信息不同。在一种可能的实现方式中,基于深度图像的像素值确定目标对象上的感兴趣区域的深度,该深度指示感兴趣区域与深度相机之间的距离,然后将目标对象上的感兴趣区域的深度作为感兴趣区域的位置信息。可选地,在另一种可能的实现方式中,基于深度图像的像素值确定目标对象上的感兴趣区域的深度,基于深度图像的各个像素点的平面坐标确定目标对象上的感兴趣区域的平面坐标,然后将目标对象上的感兴趣区域的深度和目标对象上的感兴趣区域的平面坐标作为感兴趣区域的位置信息。
在本申请实施例中,为了拍摄出感兴趣区域清晰的图像,可以基于感兴趣区域的位置信息对RGB相机的焦距进行调整,在一种可能的实现方式中,具体实现如上述步骤301所示:基于感兴趣区域与深度相机之间的距离,确定RGB相机的第一焦距。
在本申请实施例中,确定上述RGB相机的第一焦距具体有以下两种可能的实现方式。
第一种可能的实现方式:基于感兴趣区域与深度相机之间的距离,确定RGB相机的第一焦距。
为了减少上述步骤301中确定RGB相机的第一焦距的时间,在一种可能的实现方式中,在图像采集系统中预先存储有映射关系,该映射关系包括多个深度以及与多个深度各自对应的焦距。多个深度各自对应的焦距是指RGB相机的焦距。此时,在步骤301中,以感兴趣区域与深度相机之间的距离作为索引,在映射关系中查找感兴趣区域与深度相机之间的距离对应的焦距,查找到的焦距即为上述第一焦距。
上述映射关系中的多个深度可以是指拍摄点与深度相机之间的不同距离、也可以是指拍摄点与RGB相机之间的不同距离。因此,针对上述第一种可能的实现方式,具体有以下两种应用场景。
场景一:上述映射关系中的多个深度范围可以是指拍摄点与深度相机之间的不同距离。
此时,步骤301的实现方式可以为:基于感兴趣区域与深度相机之间的距离,从多个深度中确定和感兴趣区域与深度相机之间的距离匹配的一个或两个目标深度;基于一个或两个目标深度各自对应的焦距确定第一焦距。
由于映射关系中的多个深度为拍摄点与深度相机之间的不同距离,因此,在得到感兴趣区域与深度相机之间的距离,便可直接从该映射关系中查找和感兴趣区域与深度相机之间的距离匹配的一个或两个目标深度,以便于基于一个或两个目标深度各自对应的焦距确定第一焦距。
需要说明的是,由于映射关系中存储的一个个离散的深度,因此映射关系中可能存在和感兴趣区域与深度相机之间的距离完全一致的深度,此时直接将该完全一致的深度对应的焦距作为第一焦距即可。
当映射关系中不存在和感兴趣区域与深度相机之间的距离完全一致的深度时,那么感兴趣区域与深度相机之间的距离必定位于映射关系的某两个相邻的深度之间,此时将这两个相邻的深度作为匹配的两个目标深度即可,以便于基于两个目标深度确定第一焦距。
上述基于两个目标深度确定第一焦距的实现方式可以为:将两个目标深度分别对应的焦距的平均值作为第一焦距。可选地,也可以通过其他插值方式基于两个目标深度各自对应的焦距来确定第一焦距。本申请实施例对此不做限定。
上述映射关系是预先标定的,以便于加快RGB相机采集RGB图像的速度。下面对标定上述映射关系的过程进行详细说明。需要说明的是,深度相机和RGB相机的拍摄方向相同,且深度相机和RGB相机在拍摄方向上的相对位置关系固定。也即是,标定过程以及后续采集图像过程中深度相机和RGB相机在拍摄方向上的相对位置关系是一样的。如此,才能利用标定得到的映射关系确定采集图像时的RGB相机焦距。
在一种可能的实现方式中,确定上述映射关系可以通过如下几个步骤来实现。
步骤a:调整标定物件的高度处于不同的高度。
其中,标定物件是指用于标定上述映射关系所使用的物体。比如,标定物件可以为一个方形盒子。
在标定过程中,可以预先将标定物件安装在一个升降架上,然后通过升降架调整标定物件的高度,以便于后续深度图像采集不同高度的标定物件的深度图像。
步骤b:在每次调整标定物件的高度后,获取深度相机采集的标定物件的深度图像,并确定RGB相机拍摄标定物件的标定焦距,RGB相机基于标定焦距拍摄标定物件后的RGB图像的质量满足参考图像质量。
也即是,对于调整高度后的标定物件,调整RGB相机的焦距,直至RGB相机采集到针对该标定物件的高清图像,此时便可将RGB相机的焦距作为RGB相机拍摄标定物件的标定焦距。其中,高清图像即为满足参考图像质量的图像,本申请实施例中参考图像质量也可以预先指定。
步骤c:基于标定物件的深度图像,确定标定物件和深度相机之间的距离,将标定物件和深度相机之间的距离与标定焦距之间的对应关系添加至映射关系中。
由于映射关系中存储的深度为拍摄点与深度相机之间的距离,因此可以直接将标定物件和深度相机之间的距离与标定焦距之间的对应关系添加至映射关系中。
图4是本申请实施例提供的一种映射关系的结构示意图。映射关系中的左侧栏中为深度围,映射关系中的右侧栏中为焦距。在该映射关系中,基于深度可以查找到对应的焦距。
场景二:上述映射关系中的多个深度范围可以是指拍摄点与RGB相机之间的不同距离。
在场景二中,步骤301的实现方式可以为:先基于感兴趣区域与深度相机之间的距离、以及深度相机和RGB相机在拍摄方向上的相对位置关系,确定感兴趣区域与RGB相机之间的距离,然后基于感兴趣区域与RGB相机之间的距离从映射关系中查找匹配的一个或两个目标深度,然后基于这一个或两个目标深度各自对应的焦距确定第一焦距。
在上述映射关系中的深度指示拍摄点与RGB相机之间的不同距离的情况下,上述实现方式具体可以参考场景一中的实现方式。不同之处在于:需要将该感兴趣区域与深度相机之间的距离转换为感兴趣区域与RGB相机之间的距离,然后从映射关系中查找匹配的目标深度。
在深度相机和RGB相机部署在传送带的上方的情况下,上述深度相机和RGB相机在拍摄方向上的相对位置关系具体可以是:深度相机和RGB相机在竖直方向上的相对位置关系。
此外,在上述映射关系中的深度范围指示拍摄点与RGB相机之间的不同距离范围的情况下,映射关系的预先标定过程同样可以参考上述步骤a至步骤c。不同之处在于:每次在基于深度相机采集的深度图像得到感兴趣区域与深度相机之间的距离后,需要将该感兴趣区域与深度相机之间的距离转换为感兴趣区域与RGB相机之间的距离,然后将感兴趣区域与RGB相机之间的距离和标定焦距作为映射关系中的一对深度和焦距之间的对应关系。
也即是,在场景二中,标定映射关系的实现方式可以为:调整标定物件的高度处于不同的高度,在每次调整标定物件的高度后,获取深度相机采集的标定物件的深度图像,并确定RGB相机拍摄标定物件的标定焦距,RGB相机基于标定焦距拍摄标定物件后的RGB图像的质量满足参考图像质量;基于标定物件的深度图像,确定标定物件和深度相机之间的距离,基于标定物件和深度相机之间的距离、以及深度相机和RGB相机在拍摄方向上的相对位置关系,确定标定物件和RGB相机之间的距离,将标定物件和RGB相机之间的距离与标定焦距之间的对应关系添加至映射关系中。
第二种可能的实现方式:基于感兴趣区域与深度相机之间的距离以及感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标,确定RGB相机的第一焦距。
当感兴趣区域的位置信息还包括感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标时,图像采集系统中可以存储有多个映射关系,多个映射关系和多个图像区域一一对应,多个映射关系中任一映射关系包括多个深度以及与多个深度各自对应的RGB相机的焦距,多个深度指示拍摄点与深度相机之间或RGB相机之间的不同距离。
此时,在映射关系中的深度指示拍摄点与深度相机之间的不同距离的情况下,基于感兴趣区域与深度相机之间的距离,确定RGB相机的第一焦距的具体实现方式为:基于感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标,从多个图像区域中查找匹配的图像区域,得到目标图像区域,基于感兴趣区域与深度相机之间的距离,从与目标图像区域对应的映射关系中查找匹配的焦距,得到第一焦距。
由于预先针对不同的区域分别标定了映射关系,这样每个区域都有针对自身的一个映射关系。如此,映射关系中的某个深度对应的焦距是针对该区域标定的更加精细的一个焦距,从而提高了后续采集的RGB图像的质量。
需要说明的是,基于感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标,从多个图像区域中查找匹配的图像区域后,可能存在多个匹配的图像区域的情况。也即是,感兴趣区域中各部分区域分别位于不同的图像区域中,此时,可以确定感兴趣区域位于不同图像区域中的各部分区域的面积,将面积最大的部分区域所在的图像区域作为匹配的图像区域。可选地,也可以从感兴趣区域位于的不同图像区域中随机选择一个图像区域作为匹配的图像区域。本申请实施例对此不做限定。
例如,将RGB相机拍摄的图像划分为6个图像区域。对于每个图像区域都建立一个映射关系,因此建立了6个映射关系。也就是说每个映射关系包括多个深度和对应的焦距。当基于深度相机采集的深度图像获得感兴趣区域的平面坐标后,从6个图像区域中查找匹配的图像区域,得到目标图像区域1后,在目标图像区域1对应的映射关系中基于感兴趣区域与深度相机之间的距离查找第一焦距。
在目标图像区域1对应的映射关系中基于感兴趣区域与深度相机之间的距离查找第一焦距的实现方式具体可以参考前述场景一中的实现方式,在此不再赘述。
此外,由于映射关系是针对某个具体的区域的,因此这种场景下,标定上述各个图像区域对应的映射关系的实现方式可以为:在固定好RGB相机和深度相机的相对位置关系之后,将RGB相机的拍摄区域预先划分为多个图像区域,对于这多个图像区域中任一个图像区域,先固定标定物件位于该图像区域内(比如可以将标定物件的中心和该图像区域的中心重合),然后参考上述步骤a至步骤c,得到与该图像区域对应的映射关系。
另外,在映射关系中的深度指示拍摄点与RGB相机之间的不同距离的情况下,基于感兴趣区域与深度相机之间的距离,确定RGB相机的第一焦距的具体实现方式为:基于感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标,从多个图像区域中查找匹配的图像区域,得到目标图像区域,感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标是基于深度相机对目标对象采集的深度图像确定的;基于感兴趣区域与深度相机之间的距离、以及深度相机和RGB相机在拍摄方向上的相对位置关系,确定感兴趣区域和RGB相机之间的距离;基于感兴趣区域和RGB相机之间的距离,从与目标图像区域对应的映射关系中查找匹配的焦距,得到第一焦距。
在上述映射关系中的深度指示拍摄点与RGB相机之间的不同距离的情况下,上述实现方式具体可以参考映射关系中的深度指示拍摄点与深度相机之间的不同距离。不同之处在于:需要将该感兴趣区域与深度相机之间的距离转换为感兴趣区域与RGB相机之间的距离,然后从目标图像区域对应的映射关系中查找匹配的目标深度。在此不再详细阐述。
步骤302:基于第一焦距控制RGB相机采集目标对象的RGB图像。
对于步骤301的任一种实现方式,均可以直接将第一焦距设置为RGB相机的焦距,然后控制RGB相机采集目标对象的RGB图像。以便于后续对采集的每帧RGB图像中的感兴趣区域进行检测。
此外,对于步骤301的第一种可能的实现方式,由于映射关系中存储的是多个深度和焦距的映射关系,而且RGB相机和深度相机视野范围较广,很难保证目标对象的感兴趣区域的图像质量满足图像质量要求。因此,为了进一步保证获得高质量的图像,在这种场景下,还可以基于感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标对上述第一焦距进一步进行调整,以得到高质量的RGB图像。
具体地,基于感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标,获取感兴趣区域在RGB相机对应的二维相机坐标系中的平面坐标,其中,感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标是基于深度相机对目标对象采集的深度图像确定的;获取焦距调整范围,焦距调整范围的中心为第一焦距,焦距调整范围的区间长度为参考焦距差值;控制RGB相机采集焦距调整范围内的多帧初始RGB图像;基于感兴趣区域在RGB相机对应的二维相机坐标系中的平面坐标,确定多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量;基于多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量,从多帧初始RGB图像中确定一帧初始RGB图像作为RGB相机采集的目标对象的RGB图像。
上述参考焦距差值是预先设置的焦距差值,本申请实施例对此不做限定。此外,基于多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量,从多帧初始RGB图像中确定一帧初始RGB图像作为RGB相机采集的目标对象的RGB图像的实现过程可以为:从多帧初始RGB图像中,选择感兴趣区域的图像质量最高的一帧初始RGB图像作为RGB相机采集的目标对象的RGB图像。
需要说明的是,图像质量可以通过图像边缘等信息量确定,本申请实施例对此不做具体限定。
此外,上述基于感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标,获取感兴趣区域在RGB相机对应的二维相机坐标系中的平面坐标。具体地,同样可以通过深度相机和RGB相机之间相机坐标转换矩阵得到。在此不再详细说明。
通过上述调整第一焦距,对于步骤301的第一种可能的实现方式,在本申请实施例中,可以基于获得的感兴趣区域的深度得到第一焦距,从而对RGB相机焦距先进行粗调。然后再基于感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标以及RGB相机在第一焦距附近采集的图像中感兴趣区域的质量,对RGB相机的焦距进行细调,直至得到能够采集到高清感兴趣区域图像。如此,不仅获得了包括清晰感兴趣区域的图像,而且也减少了聚焦的时间。
此外,对于步骤301的第二种可能的实现方式,基于感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标,确定目标图像区域。再基于感兴趣区域与深度相机之间的距离,从与目标图像区域对应的映射关系中查找匹配的焦距,得到第一焦距,从而对RGB相机焦距进行粗调。这种场景下,在步骤303中,还可以继续再基于感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标以及RGB相机在第一焦距附近采集的图像中感兴趣区域的质量,对RGB相机的焦距进行细调,直至得到能够采集到高清感兴趣区域图像的第二焦距。上述对于得到第二焦距的过程可以参考上述内容,在此不再赘述。
在通过步骤301至步骤302得到针对目标对象上的感兴趣区域的RGB图像之后,便可基于该RGB图像实现对感兴趣区域的检测。
如前述所示,在目标对象为快递包裹的场景中,感兴趣区域为快递包裹上的面单区域。此时,便可基于RGB相机采集的RGB图像中的感兴趣区域,确定面单信息,该面单信息包括收件人、收件人地址、发件人中的一者或多者。具体实现方式在此不再赘述。
在本申请实施例中,通过目标对象上的感兴趣区域与深度相机之间的距离,确定RGB相机的第一焦距以获取清晰的目标对象的RGB图像,以便于后续基于清晰的RGB图像,检测RGB图像中感兴趣区域。本申请实施例可以使用更少的相机(最少一个深度相机和一个RGB相机即可),采集高度变化范围更大的目标对象的清晰感兴趣区域图像。
上述所有可选技术方案,均可按照任意结合形成本申请的可选实施例,本申请实施例对此不再一一赘述。
图5是本申请实施例提供的一种感兴趣区域检测的装置的结构示意图。如图5所示,该感兴趣区域检测的装置500应用于图像采集系统,该图像采集系统包括深度相机和红绿蓝RGB相机,感兴趣区域检测的装置500可以包括如下几个模块。
确定模块501,用于基于目标对象上的感兴趣区域与深度相机之间的距离,确定RGB相机的第一焦距,感兴趣区域与深度相机之间的距离是基于深度相机对目标对象采集的深度图像确定的;
聚焦模块502,用于基于第一焦距控制RGB相机采集目标对象的RGB图像。
基于上述装置,在一种可能的实现方式中,聚焦模块用于:
基于感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标,获取感兴趣区域在RGB相机对应的二维相机坐标系中的平面坐标,感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标是基于深度相机对目标对象采集的深度图像确定的;
获取焦距调整范围,焦距调整范围的中心为第一焦距,焦距调整范围的区间长度为参考焦距差值;
控制RGB相机采集焦距调整范围内的多帧初始RGB图像;
基于感兴趣区域在RGB相机对应的二维相机坐标系中的平面坐标,确定多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量;
基于多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量,从多帧初始RGB图像中确定一帧初始RGB图像作为RGB相机采集的目标对象的RGB图像;
基于上述装置,在一种可能的实现方式中,图像采集系统中存储有映射关系,映射关系包括多个深度以及与多个深度各自对应的RGB相机的焦距,多个深度指示拍摄点与深度相机之间的不同距离;
确定模块用于:
基于感兴趣区域与深度相机之间的距离,从多个深度中确定和感兴趣区域与深度相机之间的距离匹配的一个或两个目标深度;
基于一个或两个目标深度各自对应的焦距确定第一焦距;
基于上述装置,在一种可能的实现方式中,深度相机和RGB相机的拍摄方向相同,且深度相机和RGB相机在拍摄方向上的相对位置关系固定;
装置还包括:
第一获取模块,用于调整标定物件的高度处于不同的高度,在每次调整标定物件的高度后,获取深度相机采集的标定物件的深度图像,并确定RGB相机拍摄标定物件的标定焦距,RGB相机基于标定焦距拍摄标定物件后的RGB图像的质量满足参考图像质量;
第一添加模块,用于基于标定物件的深度图像,确定标定物件和深度相机之间的距离,将标定物件和深度相机之间的距离与标定焦距之间的对应关系添加至映射关系中;
基于上述装置,在一种可能的实现方式中,图像采集系统中存储有映射关系,映射关系包括多个深度以及与多个深度各自对应的RGB相机的焦距,多个深度指示拍摄点与RGB相机之间的不同距离;
确定模块用于:
基于感兴趣区域与深度相机之间的距离、以及深度相机和RGB相机在拍摄方向上的相对位置关系,确定感兴趣区域与RGB相机之间的距离;
从多个深度中确定和感兴趣区域与深度相机之间的距离匹配的一个或两个目标深度;
基于一个或两个目标深度各自对应的焦距确定第一焦距;
基于上述装置,在一种可能的实现方式中,深度相机和RGB相机的拍摄方向相同,且深度相机和RGB相机在拍摄方向上的相对位置关系固定;
装置还包括:
第二调整模块,用于调整标定物件的高度处于不同的高度,在每次调整标定物件的高度后,获取深度相机采集的标定物件的深度图像,并确定RGB相机拍摄标定物件的标定焦距,RGB相机基于标定焦距拍摄标定物件后的RGB图像的质量满足参考图像质量;
第二添加模块,用于基于标定物件的深度图像,确定标定物件和深度相机之间的距离,基于标定物件和深度相机之间的距离、以及深度相机和RGB相机在拍摄方向上的相对位置关系,确定标定物件和RGB相机之间的距离,将标定物件和RGB相机之间的距离与标定焦距之间的对应关系添加至映射关系中;
基于上述装置,在一种可能的实现方式中,图像采集系统中存储有多个映射关系,多个映射关系和多个图像区域一一对应,多个映射关系中任一映射关系包括多个深度以及与多个深度各自对应的RGB相机的焦距,多个深度指示拍摄点与深度相机之间的不同距离;
确定模块用于:
基于感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标,从多个图像区域中查找匹配的图像区域,得到目标图像区域,感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标是基于深度相机对目标对象采集的深度图像确定的;
基于感兴趣区域与深度相机之间的距离,从与目标图像区域对应的映射关系中查找匹配的焦距,得到第一焦距;
基于上述装置,在一种可能的实现方式中,图像采集系统中存储有多个映射关系,多个映射关系和多个图像区域一一对应,多个映射关系中任一映射关系包括多个深度以及与多个深度各自对应的RGB相机的焦距,多个深度指示拍摄点与RGB相机之间的不同距离;
确定模块用于:
基于感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标,从多个图像区域中查找匹配的图像区域,得到目标图像区域,感兴趣区域在深度相机对应的二维相机坐标系中的平面坐标是基于深度相机对目标对象采集的深度图像确定的;
基于感兴趣区域与深度相机之间的距离、以及深度相机和RGB相机在拍摄方向上的相对位置关系,确定感兴趣区域和RGB相机之间的距离;
基于感兴趣区域和RGB相机之间的距离,从与目标图像区域对应的映射关系中查找匹配的焦距,得到第一焦距;
基于上述装置,在一种可能的实现方式中,目标对象为快递包裹,感兴趣区域为快递包裹上的面单区域;装置还包括:
检测模块,用于基于RGB相机采集的RGB图像中的感兴趣区域,确定面单信息,面单信息包括收件人、收件人地址、发件人中的一者或多者。
在本申请实施例中,通过目标对象上的感兴趣区域与深度相机之间的距离,确定RGB相机的第一焦距以获取清晰的目标对象的RGB图像,以便于后续基于清晰的RGB图像,检测RGB图像中感兴趣区域。本申请实施例可以使用更少的相机(最少一个深度相机和一个RGB相机即可),采集高度变化范围更大的目标对象的感兴趣区域图像。
需要说明的是:上述实施例提供的图像采集的装置在采集图像时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像采集的装置与图像采集的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6是本申请实施例提供的一种终端600的结构示意图。该终端600可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端600包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的图像采集方法。
在一些实施例中,终端600还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置终端600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在终端600的不同表面或呈折叠设计;在另一些实施例中,显示屏605可以是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
定位组件608用于定位终端600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时,可以检测用户对终端600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时,由处理器601根据用户对显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时,指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制显示屏605的显示亮度。具体地,当环境光强度较高时,调高显示屏605的显示亮度;当环境光强度较低时,调低显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时,由处理器601控制显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时,由处理器601控制显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对终端600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例还提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行上实施例提供的图像采集方法。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在终端上运行时,使得终端执行上述实施例提供的图像采集方法。
图7是本申请实施例提供的一种服务器结构示意图。该服务器可以是后台服务器集群中的服务器。具体来讲:
服务器700包括中央处理单元(CPU)701、包括随机存取存储器(RAM)702和只读存储器(ROM)703的系统存储器704,以及连接系统存储器704和中央处理单元701的系统总线705。服务器700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)706,和用于存储操作系统713、应用程序714和其他程序模块715的大容量存储设备707。
基本输入/输出系统706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中显示器708和输入设备709都通过连接到系统总线705的输入输出控制器710连接到中央处理单元701。基本输入/输出系统706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备707通过连接到系统总线705的大容量存储控制器(未示出)连接到中央处理单元701。大容量存储设备707及其相关联的计算机可读介质为服务器700提供非易失性存储。也就是说,大容量存储设备707可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术,CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备707可以统称为存储器。
根据本申请的各种实施例,服务器700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器700可以通过连接在系统总线705上的网络接口单元711连接到网络712,或者说,也可以使用网络接口单元711来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的如下所述的图像采集方法。
本申请实施例还提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行上述实施例提供的图像采集方法。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在服务器上运行时,使得服务器执行上述实施例提供的图像采集方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请实施例的较佳实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (13)
1.一种图像采集方法,其特征在于,所述方法应用于图像采集系统,所述图像采集系统包括深度相机和红绿蓝RGB相机;
所述方法包括:
基于目标对象上的感兴趣区域与所述深度相机之间的距离,确定所述RGB相机的第一焦距,所述感兴趣区域与所述深度相机之间的距离是基于所述深度相机对所述目标对象采集的深度图像确定的;
基于所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标,获取所述感兴趣区域在所述RGB相机对应的二维相机坐标系中的平面坐标,所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标是基于所述深度相机对所述目标对象采集的深度图像确定的;
获取焦距调整范围,所述焦距调整范围的中心为所述第一焦距,所述焦距调整范围的区间长度为参考焦距差值;
控制所述RGB相机采集所述焦距调整范围内的多帧初始RGB图像;
基于所述感兴趣区域在所述RGB相机对应的二维相机坐标系中的平面坐标,确定所述多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量;
基于所述多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量,从所述多帧初始RGB图像中确定一帧初始RGB图像作为所述RGB相机采集的所述目标对象的RGB图像。
2.如权利要求1所述的方法,其特征在于,所述图像采集系统中存储有映射关系,所述映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述深度相机之间的不同距离;
所述基于目标对象上的感兴趣区域与所述深度相机之间的距离,确定所述RGB相机的第一焦距,包括:
基于所述感兴趣区域与所述深度相机之间的距离,从所述多个深度中确定和所述感兴趣区域与所述深度相机之间的距离匹配的一个或两个目标深度;
基于所述一个或两个目标深度各自对应的焦距确定所述第一焦距。
3.如权利要求2所述的方法,其特征在于,所述深度相机和所述RGB相机的拍摄方向相同,且所述深度相机和所述RGB相机在所述拍摄方向上的相对位置关系固定;
所述方法还包括:
调整标定物件的高度处于不同的高度,在每次调整所述标定物件的高度后,获取所述深度相机采集的所述标定物件的深度图像,并确定所述RGB相机拍摄所述标定物件的标定焦距,所述RGB相机基于所述标定焦距拍摄所述标定物件后的RGB图像的质量满足参考图像质量;
基于所述标定物件的深度图像,确定所述标定物件和所述深度相机之间的距离,将所述标定物件和所述深度相机之间的距离与所述标定焦距之间的对应关系添加至所述映射关系中。
4.如权利要求1所述的方法,其特征在于,所述图像采集系统中存储有映射关系,所述映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述RGB相机之间的不同距离;
所述基于所述感兴趣区域与所述深度相机之间的距离,确定所述RGB相机的第一焦距,包括:
基于所述感兴趣区域与所述深度相机之间的距离、以及所述深度相机和所述RGB相机在拍摄方向上的相对位置关系,确定所述感兴趣区域与所述RGB相机之间的距离;
从所述多个深度中确定和所述感兴趣区域与所述深度相机之间的距离匹配的一个或两个目标深度;
基于所述一个或两个目标深度各自对应的焦距确定所述第一焦距。
5.如权利要求4所述的方法,其特征在于,所述深度相机和所述RGB相机的拍摄方向相同,且所述深度相机和所述RGB相机在所述拍摄方向上的相对位置关系固定;
所述方法还包括:
调整标定物件的高度处于不同的高度,在每次调整所述标定物件的高度后,获取所述深度相机采集的所述标定物件的深度图像,并确定所述RGB相机拍摄所述标定物件的标定焦距,所述RGB相机基于所述标定焦距拍摄所述标定物件后的RGB图像的质量满足参考图像质量;
基于所述标定物件的深度图像,确定所述标定物件和所述深度相机之间的距离,基于所述标定物件和所述深度相机之间的距离、以及所述深度相机和所述RGB相机在拍摄方向上的相对位置关系,确定所述标定物件和所述RGB相机之间的距离,将所述标定物件和所述RGB相机之间的距离与所述标定焦距之间的对应关系添加至所述映射关系中。
6.如权利要求1所述的方法,其特征在于,所述图像采集系统中存储有多个映射关系,所述多个映射关系和多个图像区域一一对应,所述多个映射关系中任一映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述深度相机之间的不同距离;
所述基于所述感兴趣区域与所述深度相机之间的距离,确定所述RGB相机的第一焦距,包括:
基于所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标,从所述多个图像区域中查找匹配的图像区域,得到目标图像区域,所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标是基于所述深度相机对所述目标对象采集的深度图像确定的;
基于所述感兴趣区域与所述深度相机之间的距离,从与所述目标图像区域对应的映射关系中查找匹配的焦距,得到所述第一焦距。
7.如权利要求1所述的方法,其特征在于,所述图像采集系统中存储有多个映射关系,所述多个映射关系和多个图像区域一一对应,所述多个映射关系中任一映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述RGB相机之间的不同距离;
所述基于所述感兴趣区域与所述深度相机之间的距离,确定所述RGB相机的第一焦距,包括:
基于所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标,从所述多个图像区域中查找匹配的图像区域,得到目标图像区域,所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标是基于所述深度相机对所述目标对象采集的深度图像确定的;
基于所述感兴趣区域与所述深度相机之间的距离、以及所述深度相机和所述RGB相机在拍摄方向上的相对位置关系,确定所述感兴趣区域和所述RGB相机之间的距离;
基于所述感兴趣区域和所述RGB相机之间的距离,从与所述目标图像区域对应的映射关系中查找匹配的焦距,得到所述第一焦距。
8.如权利要求1至7任一所述的方法,其特征在于,所述目标对象为快递包裹,所述感兴趣区域为所述快递包裹上的面单区域;
所述方法还包括:
基于所述RGB相机采集的RGB图像中的感兴趣区域,确定面单信息,所述面单信息包括收件人、收件人地址、发件人中的一者或多者。
9.一种图像采集装置,其特征在于,所述装置应用于图像采集系统,所述图像采集系统包括深度相机和红绿蓝RGB相机;
所述装置包括:
确定模块,用于基于目标对象上的感兴趣区域与所述深度相机之间的距离,确定所述RGB相机的第一焦距,所述感兴趣区域与所述深度相机之间的距离是基于所述深度相机对所述目标对象采集的深度图像确定的;
聚焦模块,用于基于所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标,获取所述感兴趣区域在所述RGB相机对应的二维相机坐标系中的平面坐标,所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标是基于所述深度相机对所述目标对象采集的深度图像确定的;获取焦距调整范围,所述焦距调整范围的中心为所述第一焦距,所述焦距调整范围的区间长度为参考焦距差值;控制所述RGB相机采集所述焦距调整范围内的多帧初始RGB图像;基于所述感兴趣区域在所述RGB相机对应的二维相机坐标系中的平面坐标,确定所述多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量;基于所述多帧初始RGB图像中每帧初始RGB图像中的感兴趣区域的图像质量,从所述多帧初始RGB图像中确定一帧初始RGB图像作为所述RGB相机采集的所述目标对象的RGB图像。
10.如权利要求9所述的装置,其特征在于,其中,所述图像采集系统中存储有映射关系,所述映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述深度相机之间的不同距离;
所述确定模块用于:
基于所述感兴趣区域与所述深度相机之间的距离,从所述多个深度中确定和所述感兴趣区域与所述深度相机之间的距离匹配的一个或两个目标深度;
基于所述一个或两个目标深度各自对应的焦距确定所述第一焦距;
其中,所述深度相机和所述RGB相机的拍摄方向相同,且所述深度相机和所述RGB相机在所述拍摄方向上的相对位置关系固定;
所述装置还包括:
第一获取模块,用于调整标定物件的高度处于不同的高度,在每次调整所述标定物件的高度后,获取所述深度相机采集的所述标定物件的深度图像,并确定所述RGB相机拍摄所述标定物件的标定焦距,所述RGB相机基于所述标定焦距拍摄所述标定物件后的RGB图像的质量满足参考图像质量;
第一添加模块,用于基于所述标定物件的深度图像,确定所述标定物件和所述深度相机之间的距离,将所述标定物件和所述深度相机之间的距离与所述标定焦距之间的对应关系添加至所述映射关系中;
其中,所述图像采集系统中存储有映射关系,所述映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述RGB相机之间的不同距离;
所述确定模块用于:
基于所述感兴趣区域与所述深度相机之间的距离、以及所述深度相机和所述RGB相机在拍摄方向上的相对位置关系,确定所述感兴趣区域与所述RGB相机之间的距离;
从所述多个深度中确定和所述感兴趣区域与所述深度相机之间的距离匹配的一个或两个目标深度;
基于所述一个或两个目标深度各自对应的焦距确定所述第一焦距;
其中,所述深度相机和所述RGB相机的拍摄方向相同,且所述深度相机和所述RGB相机在所述拍摄方向上的相对位置关系固定;
所述装置还包括:
第二调整模块,用于调整标定物件的高度处于不同的高度,在每次调整所述标定物件的高度后,获取所述深度相机采集的所述标定物件的深度图像,并确定所述RGB相机拍摄所述标定物件的标定焦距,所述RGB相机基于所述标定焦距拍摄所述标定物件后的RGB图像的质量满足参考图像质量;
第二添加模块,用于基于所述标定物件的深度图像,确定所述标定物件和所述深度相机之间的距离,基于所述标定物件和所述深度相机之间的距离、以及所述深度相机和所述RGB相机在拍摄方向上的相对位置关系,确定所述标定物件和所述RGB相机之间的距离,将所述标定物件和所述RGB相机之间的距离与所述标定焦距之间的对应关系添加至所述映射关系中;
其中,所述图像采集系统中存储有多个映射关系,所述多个映射关系和多个图像区域一一对应,所述多个映射关系中任一映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述深度相机之间的不同距离;
所述确定模块用于:
基于所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标,从所述多个图像区域中查找匹配的图像区域,得到目标图像区域,所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标是基于所述深度相机对所述目标对象采集的深度图像确定的;
基于所述感兴趣区域与所述深度相机之间的距离,从与所述目标图像区域对应的映射关系中查找匹配的焦距,得到所述第一焦距;
其中,所述图像采集系统中存储有多个映射关系,所述多个映射关系和多个图像区域一一对应,所述多个映射关系中任一映射关系包括多个深度以及与所述多个深度各自对应的RGB相机的焦距,所述多个深度指示拍摄点与所述RGB相机之间的不同距离;
所述确定模块用于:
基于所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标,从所述多个图像区域中查找匹配的图像区域,得到目标图像区域,所述感兴趣区域在所述深度相机对应的二维相机坐标系中的平面坐标是基于所述深度相机对所述目标对象采集的深度图像确定的;
基于所述感兴趣区域与所述深度相机之间的距离、以及所述深度相机和所述RGB相机在拍摄方向上的相对位置关系,确定所述感兴趣区域和所述RGB相机之间的距离;
基于所述感兴趣区域和所述RGB相机之间的距离,从与所述目标图像区域对应的映射关系中查找匹配的焦距,得到所述第一焦距;
其中,所述目标对象为快递包裹,所述感兴趣区域为所述快递包裹上的面单区域;所述装置还包括:
检测模块,用于基于所述RGB相机采集的RGB图像中的感兴趣区域,确定面单信息,所述面单信息包括收件人、收件人地址、发件人中的一者或多者。
11.一种计算机设备,其特征在于,所述计算机设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述权利要求1至权利要求8中的任一项权利要求所述的方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述权利要求1至权利要求8中的任一项权利要求所述的方法的步骤。
13.一种图像采集系统,其特征在于,所述图像采集系统包括深度相机、红绿蓝RGB相机、控制装置以及传送带;
所述深度相机和所述RGB相机的拍摄方向均朝向所述传送带传送物体的一面,且所述深度相机和所述RGB相机的拍摄区域能够覆盖所述传送带的宽度;
所述传送带用于传送快递包裹,且所述传送带上传递的快递包裹的面单区域朝向所述深度相机和所述RGB相机的拍摄方向;
所述控制装置分别与所述深度相机和所述RGB相机连接以进行通信,所述控制装置用于实现上述权利要求1至权利要求8中的任一项权利要求所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110338211.6A CN113012211B (zh) | 2021-03-30 | 2021-03-30 | 图像采集方法、装置、系统、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110338211.6A CN113012211B (zh) | 2021-03-30 | 2021-03-30 | 图像采集方法、装置、系统、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113012211A CN113012211A (zh) | 2021-06-22 |
CN113012211B true CN113012211B (zh) | 2024-06-18 |
Family
ID=76409142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110338211.6A Active CN113012211B (zh) | 2021-03-30 | 2021-03-30 | 图像采集方法、装置、系统、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113012211B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102021109078B3 (de) | 2021-04-12 | 2022-11-03 | Sick Ag | Kameravorrichtung und Verfahren zur Erfassung eines bewegten Stromes von Objekten |
CN114120509A (zh) * | 2021-09-29 | 2022-03-01 | 天津中科虹星科技有限公司 | 基于融合识别技术的区域准入授权装置 |
CN117787984A (zh) * | 2022-09-27 | 2024-03-29 | 腾讯科技(深圳)有限公司 | 图像采集方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107896303A (zh) * | 2017-10-23 | 2018-04-10 | 努比亚技术有限公司 | 一种图像采集方法、系统和设备及计算机可读存储介质 |
CN108156387A (zh) * | 2018-01-12 | 2018-06-12 | 深圳奥比中光科技有限公司 | 通过检测眼睛视线自动结束摄像的装置及方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412426B (zh) * | 2016-09-24 | 2019-08-20 | 上海大学 | 全聚焦摄影装置及方法 |
CN111212217B (zh) * | 2018-11-22 | 2021-07-13 | 北京世纪东方通讯设备有限公司 | 一种铁路隧道漏缆图像采集装置 |
CN110174075B (zh) * | 2019-04-08 | 2020-11-03 | 深圳奥比中光科技有限公司 | 一种单变焦结构光深度相机及变焦方法 |
CN110324532B (zh) * | 2019-07-05 | 2021-06-18 | Oppo广东移动通信有限公司 | 一种图像虚化方法、装置、存储介质及电子设备 |
-
2021
- 2021-03-30 CN CN202110338211.6A patent/CN113012211B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107896303A (zh) * | 2017-10-23 | 2018-04-10 | 努比亚技术有限公司 | 一种图像采集方法、系统和设备及计算机可读存储介质 |
CN108156387A (zh) * | 2018-01-12 | 2018-06-12 | 深圳奥比中光科技有限公司 | 通过检测眼睛视线自动结束摄像的装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113012211A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113012211B (zh) | 图像采集方法、装置、系统、计算机设备及存储介质 | |
CN109302632B (zh) | 获取直播视频画面的方法、装置、终端及存储介质 | |
CN112270718A (zh) | 摄像头标定方法、装置、系统及存储介质 | |
CN113627413B (zh) | 数据标注方法、图像比对方法及装置 | |
CN112396076A (zh) | 车牌图像生成方法、装置及计算机存储介质 | |
EP3982291A1 (en) | Object pick and place detection system, method and apparatus | |
CN111586279B (zh) | 确定拍摄状态的方法、装置、设备及存储介质 | |
CN113562401B (zh) | 控制目标对象传送方法、装置、系统、终端和存储介质 | |
CN111127541B (zh) | 车辆尺寸的确定方法、装置及存储介质 | |
CN113191976B (zh) | 图像拍摄方法、装置、终端及存储介质 | |
CN111179628B (zh) | 自动驾驶车辆的定位方法、装置、电子设备及存储介质 | |
CN112184802B (zh) | 标定框的调整方法、装置及存储介质 | |
CN111488895B (zh) | 对抗数据生成方法、装置、设备及存储介质 | |
CN111444749B (zh) | 路面导向标志的识别方法、装置及存储介质 | |
CN110163192B (zh) | 字符识别方法、装置及可读介质 | |
CN113592874B (zh) | 图像显示方法、装置和计算机设备 | |
CN113709353B (zh) | 图像采集方法和设备 | |
CN112990424B (zh) | 神经网络模型训练的方法和装置 | |
CN112052707B (zh) | 物品检测系统、方法及装置 | |
CN111723615B (zh) | 对检测物图像进行检测物匹配判定的方法和装置 | |
CN111127539B (zh) | 视差确定方法、装置、计算机设备及存储介质 | |
CN111563402B (zh) | 车牌识别方法、装置、终端及存储介质 | |
CN110660031B (zh) | 图像锐化方法及装置、存储介质 | |
CN110728275B (zh) | 车牌识别方法、装置及存储介质 | |
CN117911482B (zh) | 图像处理方法、设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Hikvision Robot Co.,Ltd. Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province Applicant before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |