CN111783775A - 一种图像采集方法、装置、设备和计算机可读存储介质 - Google Patents
一种图像采集方法、装置、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111783775A CN111783775A CN202010618086.XA CN202010618086A CN111783775A CN 111783775 A CN111783775 A CN 111783775A CN 202010618086 A CN202010618086 A CN 202010618086A CN 111783775 A CN111783775 A CN 111783775A
- Authority
- CN
- China
- Prior art keywords
- image
- card
- confidence
- target image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 83
- 230000015654 memory Effects 0.000 claims description 14
- 230000015556 catabolic process Effects 0.000 claims description 7
- 238000006731 degradation reaction Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像采集方法、装置、设备和计算机可读存储介质。该方法包括：获取目标图像；将所述目标图像输入预先训练的目标检测模型中，并获取所述目标检测模型输出的检测结果；所述检测结果包括：所述目标检测模型在所述目标图像中检测到的卡片图像的卡片边框置信度和特征边框置信度；在所述卡片边框置信度大于第一置信度阈值，并且所述特征边框置信度大于第二置信度阈值的情况下，执行针对所述目标图像的图像采集操作。本发明可以避免出现采集错误种类卡片的卡片图像的问题，降低后续图像识别的运算量和运算时长，提升图像识别的效率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像采集方法、装置、设备和计算机可读存储介质。
背景技术
在很多应用场景中都涉及卡片图像识别，以便获得卡片图像中的信息。例如：识别借书卡图像中的借书卡号码，识别银行卡图像中的银行卡账号。
卡片图像采集是卡片图像识别的第一步，卡片图像的采集质量对于卡片图像识别的结果具有较大的影响。
目前，卡片图像采集在前端执行，卡片图像识别在后端执行。
在卡片图像采集阶段，一般采取对卡片进行拍照的方式，完成卡片图像的采集，但是，现有的采集方式缺乏审核机制，容易出现采集错误种类卡片的卡片图像的问题。例如：在一些场景中需要采集用户的借书卡图像，而用户为了保护个人隐私，使用借书卡尺寸相同的其他卡片完成图像采集。
虽然在图像识别阶段可以识别出卡片的类型是错误的，但是后台需要识别的图像数量庞大，这些未经审核的图像增加了图像识别的运算量和运算时长，降低了图像识别的效率。
发明内容
本发明的主要目的在于提供一种图像采集方法、装置、设备和计算机可读存储介质，以解决现有的卡片图像采集方式缺乏审核机制的问题。
针对上述技术问题，本发明实施例是通过以下技术方案来解决的：
本发明实施例提供了一种图像采集方法，包括：获取目标图像；将所述目标图像输入预先训练的目标检测模型中，并获取所述目标检测模型输出的检测结果；所述检测结果包括：所述目标检测模型在所述目标图像中检测到的卡片图像的卡片边框置信度和特征边框置信度；在所述卡片边框置信度大于第一置信度阈值，并且所述特征边框置信度大于第二置信度阈值的情况下，执行针对所述目标图像的图像采集操作。
其中，所述检测结果还包括：所述卡片图像的卡片边框对顶角坐标；所述执行针对所述目标图像的图像采集操作，包括：根据所述卡片图像的卡片边框对顶角坐标，确定所述卡片图像是否处于所述目标图像的预设区域范围之中；如果所述卡片图像处于所述目标图像的预设区域范围之中，则采集所述目标图像；反之，则舍弃所述目标图像，并在所述目标图像所属的视频流中获取下一张目标图像，以便将所述下一张目标图像输入所述目标检测模型中。
其中，所述方法还包括：在所述目标图像所属的视频流为实时拍摄的视频流的情况下，如果所述卡片图像未处于所述目标图像的预设区域范围之中，则在所述目标图像所属的视频流中获取下一张目标图像之前，显示预设的卡片位置提示信息，以便提示移动卡片的位置，使所述下一张目标图像中的卡片图像处于所述下一张目标图像的预设区域之中。
其中，所述方法还包括：在所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值的情况下，舍弃所述目标图像，并在所述目标图像所属的视频流中获取下一张目标图像，以便将所述下一张目标图像输入所述目标检测模型中。
其中，所述方法还包括：在所述目标图像所属的视频流为实时拍摄的视频流的情况下，如果所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值，则在所述目标图像所属的视频流中获取下一张目标图像之前，显示预设的卡片更正提示信息，以便提示更换卡片的种类，使所述下一张目标图像中的卡片图像的卡片边框置信度大于第一置信度阈值，并且特征边框置信度大于第二置信度阈值。
其中，所述方法还包括：在所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值的情况下，确定从所述视频流获取第一张目标图像的时刻到当前时刻的图像采集时长；在所述图像采集时长大于预设的时长阈值时，更新所述第一置信度阈值和所述第二置信度阈值；其中，更新后的所述第一置信度阈值小于更新前的所述第一置信度阈值，更新后的所述第二置信度阈值小于更新前的所述第二置信度阈值。
其中，所述采集所述目标图像，包括：如果在采集所述目标图像之前，所述目标图像中卡片图像的卡片边框置信度大于的第一置信度阈值是更新后的第一置信度阈值，并且所述目标图像中卡片图像的特征边框置信度大于的第二置信度阈值是更新后的第二置信度阈值，则在采集所述目标图像时，为所述目标图像设置对应的置信度阈值降级标识。
其中，所述目标检测模型的参数数量小于预设参数数量阈值；和/或，所述目标检测模型执行的浮点运算次数FLOPs小于预设的浮点运算次数阈值；和/或，所述目标检测模型的帧率大于预设的帧率阈值。
本发明实施例还提供了一种图像采集装置，包括：获取模块，用于获取目标图像；检测模块，用于将所述目标图像输入预先训练的目标检测模型中，并获取所述目标检测模型输出的检测结果；所述检测结果包括：所述目标检测模型在所述目标图像中检测到的卡片图像的卡片边框置信度和特征边框置信度；执行模块，用于在所述卡片边框置信度大于第一置信度阈值，并且所述特征边框置信度大于第二置信度阈值的情况下，执行针对所述目标图像的图像采集操作。
本发明实施例还提供了一种图像采集设备，所述图像采集设备包括处理器、存储器；所述处理器用于执行所述存储器中存储的图像采集程序，以实现上述任一项所述的图像采集方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的图像采集方法。
本发明实施例的有益效果如下：
本发明实施例可以对目标图像中的卡片图像进行审核，确定卡片图像的卡片边框置信度和特征边框置信度，根据卡片边框置信度和特征边框置信度确定是否执行图像采集操作，如果卡片边框置信度大于第一置信度阈值，并且特征边框置信度大于第二置信度阈值，则执行图像采集操作，避免出现采集错误种类卡片的卡片图像的问题，降低后续图像识别的运算量和运算时长，提升图像识别的效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明一实施例的图像采集方法的流程图；
图2是根据本发明一实施例的样本标注的示意图；
图3是根据本发明一实施例的图像采集操作的步骤流程图；
图4是根据本发明一实施例的图像采集装置的结构图；
图5是根据本发明一实施例的图像采集设备的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本发明作进一步地详细说明。
根据本发明的实施例，提供了一种图像采集方法。如图1所示，为根据本发明一实施例的图像采集方法的流程图。
步骤S110，获取目标图像。
目标图像为待审核的目标图像。进一步地，在该目标图像中可能包含目标卡片的卡片图像。
具体而言，在接收到的视频流中，获取其中一帧视频图像，将该视频图像作为目标图像。该视频流为实时拍摄的视频流，或者，预先拍摄的视频流。
例如：可以调用摄像头实时拍摄视频流，接收摄像头回传的视频流，获取视频流的第一帧视频图像作为目标图像。
步骤S120，将所述目标图像输入预先训练的目标检测模型中，并获取所述目标检测模型输出的检测结果；所述检测结果包括：所述目标检测模型在所述目标图像中检测到的卡片图像的卡片边框置信度和特征边框置信度。
目标检测模型用于检测目标图像中是否包含疑似的目标种类卡片的卡片图像，如果目标图像中包含疑似的目标种类卡片的卡片图像，则提取该疑似的目标种类图像的卡片边框和特征边框，并确定该卡片边框对应的卡片边框置信度以及该特征边框对应的特征边框置信度。
目标种类卡片，是指需要审核的卡片种类。例如：借书卡，银行卡等。
卡片边框置信度，是指卡片边框所包围的图像区域为目标种类卡片的可信程度。
特征边框置信度，是指特征边框所包围的图像区域为目标种类的可信程度。特征边框是指目标种类卡片中的特征信息所在区域的边框。
目标种类卡片中的特征信息的数量可以为一个或者多个。例如：借书卡中的特征信息包括：借书卡号码和借书卡照片。又如：银行卡中的特征信息包括银行卡卡号。目标检测模型可以用于检测每个特征信息所在区域的边框对应的特征边框置信度。
步骤S130，在所述卡片边框置信度大于第一置信度阈值，并且所述特征边框置信度大于第二置信度阈值的情况下，执行针对所述目标图像的图像采集操作。
第一置信度阈值，用于衡量卡片图像的卡片边框是否为目标种类卡片的卡片边框。如果卡片图像的卡片边框置信度大于第一置信度阈值，则表示卡片图像的卡片边框是目标种类卡片的卡片边框；反之，则表示卡片图像的卡片边框不是目标种类卡片的卡片边框。
第二置信度阈值，用于衡量卡片图像的特征边框是否为目标种类卡片的特征边框。如果卡片图像的特征边框置信度大于第二置信度阈值，则表示卡片图像的特征边框是目标种类卡片的特征边框；反之，则表示卡片图像的特征边框不是目标种类卡片的特征边框。
在本实施例中，由于卡片边框较为容易提取，而特征边框的提取难度较大，所以第一置信度阈值大于第二置信度阈值。例如：第一置信度阈值设置为0.8，第二置信度阈值设置为0.6；卡片边框置信度为0.9(0.9＞0.8)，特征边框置信度为0.7(0.7＞0.6)，执行图像采集操作；卡片边框置信度为0.85(0.85＞0.8)，特征边框置信度为0.5(0.5＜0.6)，不执行图像采集操作。
在执行针对所述目标图像的图像采集操作时，可以直接采集该目标图像，或者在该目标图像符合预设的图像采集条件时，采集该目标图像。图像采集条件例如是：目标图像中的卡片图像处于目标图像的居中区域中。
在采集目标图像之后，将该目标图像向后端发送，以便后端对该目标图像执行图像识别处理。
通过本实施例，可以对目标图像中的卡片图像进行审核，确定卡片图像的卡片边框置信度和特征边框置信度，根据卡片边框置信度和特征边框置信度确定是否执行图像采集操作，如果卡片边框置信度大于第一置信度阈值，并且特征边框置信度大于第二置信度阈值，则执行图像采集操作，避免出现采集错误种类卡片的卡片图像的问题，降低后续图像识别的运算量和运算时长，提升图像识别的效率。
下面对目标检测模型的训练过程进行描述。
在本实施例中，目标检测模型为轻量型模型，以便本实施例图像采集方法可以集成到前端之中，并且占用较小的存储空间，使得前端可以流畅运行。
进一步地，目标检测模型的参数数量小于预设参数数量阈值；和/或，目标检测模型执行的浮点运算次数(Floating-Point Operations，简称FLOPs)小于预设的浮点运算次数阈值；和/或，目标检测模型的帧率(Frame rate)大于预设的帧率阈值。其中，参数数量阈值、浮点运算次数阈值和帧率阈值都为经验值。
进一步地，目标检测模型可以选择使用SSD(Single Shot MultiBox Detector)算法或者YOLO(You Only Look Once)算法构建。该SSD算法例如是Mobilenet-SSD算法。
在样本标注时，可以将目标种类卡片的卡片边框标注为card，将目标种类卡片的特征边框标注为number。在标注卡片边框时需要保证卡片边框能够包含整个目标种类卡片的区域，在标注特征边框时需要保证特征边框能够包含整个特征信息所在的区域。例如：图2为根据本发明一实施例的样本标注的示意图，银行卡为目标种类卡片，card为银行卡的卡片边框，number为银行卡号所在区域的边框。
利用已经标注的多个样本对目标检测模型进行训练，直到目标检测模型收敛为止。
利用训练完成的目标检测模型来检测目标种类卡片的卡片图像的卡片边框和特征边框准确性较高，而且泛化能力强，即便是为了提升卡片的设计感，将目标种类卡片的卡面图案设计的较为复杂，在拍摄目标种类卡片时，将目标种类卡片放置在背景复杂的环境中，目标检测模型都可以准确检测到卡片图像的卡片边框和特征边框，并且确定卡片边框置信度和特征边框置信度。
进一步地，由于训练目标检测模型时使用的样本为真实目标种类卡片的图像，因此目标检测模型具有辨别目标种类卡片真伪的特性。例如：在一些场景中需要采集用户的银行卡图像，而非法用户为了谋利，盗用他人银行卡的影印件进行银行卡图像采集，但是该影印件无法在颜色、亮度、或者纹理上，都与真实的银行卡图像存在较大差异，比较容易被目标检测模型检测出影印件与真实的银行卡图像的差异，进而目标检测模型输出的卡片边框置信度和特征边框置信度都较小，从而不对该影印件执行图像采集操作。
下面对本发明实施例的另一种情形进行说明。
如果只有一张目标图像，则在所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值的情况下，可以结束本实施例的图像采集流程，并显示图像采集失败提示信息。
如果目标图像是从视频流中获取的一张视频图像，则在所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值的情况下，舍弃所述目标图像，并在所述目标图像所属的视频流中获取下一张目标图像，以便将所述下一张目标图像输入所述目标检测模型中。也即是说，从视频流中获取下一张视频图像，将新获取的视频图像作为新的目标图像。如果一直没有可以执行图像采集操作的目标图像出现，则可以对视频流中的多张视频图像循环执行本发明实施例的图像采集流程，以便动态的在视频流中找到符合置信度要求的目标图像。
进一步地，在所述目标图像所属的视频流为实时拍摄的视频流的情况下，如果所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值，则在所述目标图像所属的视频流中获取下一张目标图像之前，显示预设的卡片更正提示信息，以便提示更换卡片的种类，使所述下一张目标图像中的卡片图像的卡片边框置信度大于第一置信度阈值，并且特征边框置信度大于第二置信度阈值。如果卡片图像的卡片边框置信度和特征边框置信度都低于对应的阈值，则有可能是拍摄的卡片的种类出现了错误，例如：需要采集借书卡图像，如果用户拍摄的是会员卡图像，则在卡片边框的尺寸上不同，并且无法在会员卡图像上提取到借书卡号所在区域的边框(特征边框)。
在一个实施例中，为了避免长时间采集不成功的问题，可以为第一置信度阈值和第二置信度阈值设置为多个梯度。每个梯度对应一组第一置信度阈值和第二置信度阈值，多个梯度之间的第一置信度阈值设置为不同值并且多个梯度之间的第二置信度阈值设置为不同值，并且在多个梯度之间第一置信度阈值和第二置信度阈值的变化趋势相同，从第1梯度到第N梯度，第一置信度阈值从大到小排序，第二置信度阈值也是从大到小排序。其中，为了采集较为清晰的目标图像，所以第一置信度阈值和第二置信度阈值的初始值可以设置为多个梯度中的最大值，为了避免目标种类卡片的目标图像不能正常采集的问题，可以对第一置信度阈值和第二置信度阈值进行降级处理。
具体而言，在所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值的情况下，确定从所述视频流获取第一张目标图像的时刻到当前时刻的图像采集时长；在所述图像采集时长大于预设的时长阈值时，更新所述第一置信度阈值和所述第二置信度阈值；其中，更新后的所述第一置信度阈值小于更新前的所述第一置信度阈值，更新后的所述第二置信度阈值小于更新前的所述第二置信度阈值。
该图像采集时长可以为经验值或者通过实验获得的值。进一步地，可以设置多个时长阈值，在图像采集时长大于最小的时长阈值时，按照取值从大到小的顺序，将第一置信度阈值和第二置信度阈值更新为第2梯度中的第一置信度阈值和第二置信度阈值；在图像采集时长大于次最小的时长阈值时，按照取值从大到小的顺序，将第一置信度阈值和第二置信度阈值更新为第3梯度中的第一置信度阈值和第二置信度阈值；以此类推，如果在所有梯度中的第一置信度阈值和第二置信度阈值都使用完毕后，依旧没有采集到目标图像，则结束本发明实施例的图像采集流程，并显示图像采集失败提示信息。
如果使用更新后的第一置信度阈值和第二置信度阈值分别与卡片边框置信度和特征边框置信度进行比较，则需要为所述目标图像设置对应的置信度阈值降级标识，以便通过置信度阈值降级标识来表示目标图像使用的置信度阈值不是最大的置信度阈值。换而言之，如果在采集所述目标图像之前，所述目标图像中卡片图像的卡片边框置信度大于的第一置信度阈值是更新后的第一置信度阈值，并且所述目标图像中卡片图像的特征边框置信度大于的第二置信度阈值是更新后的第二置信度阈值，则在采集所述目标图像时，为所述目标图像设置对应的置信度阈值降级标识。
在另一实施例中，为了进一步地提高图像识别的效率，还可以对卡片的完整性进行确定。对卡片的完整性进行确定，可以通过对卡片图像在目标图像中所处的区域位置进行确定来实现。
进一步地，目标检测模型还用于确定卡片图像的卡片边框对顶角坐标。这样，所述目标检测模型的检测结果还包括：所述卡片图像的卡片边框对顶角坐标。卡片边框对顶角坐标包括卡片图像的两个对角的顶点坐标。例如：卡片图像的左上角的顶点坐标和右下角的顶点坐标。
如图3所示，为根据本发明一实施例的图像采集操作的步骤流程图。
步骤S310，根据卡片图像的卡片边框对顶角坐标，确定所述卡片图像是否处于所述目标图像的预设区域范围之中；如果是，则执行步骤S320；如果否，则执行步骤S330。
预设区域范围可以是目标图像的居中区域，并且该居中区域与目标图像的边缘没有重叠之处。
例如：卡片图像的左上角的顶点坐标(x1，y1)和右下角的顶点坐标(x2，y2)。目标图像的宽度w、高度h。边界阈值t为卡片图像的边缘到目标图像边缘的最近距离，该边界距离可以划分出目标图像的居中区域。
在卡片图像的左上角的顶点坐标(x1，y1)和右下角的顶点坐标(x2，y2)满足以下条件时，表示卡片图像处于目标图像的居中区域，卡片图像是完整的，可以进行采集：
其中，以目标图像左上角作为坐标系原点，纵轴的方向是沿着目标图像中穿过原点的边缘向下，横轴的方向是沿着目标图像中穿过原点的边缘向右。
步骤S320，如果所述卡片图像处于所述目标图像的预设区域范围之中，则采集所述目标图像。
步骤S330，如果所述卡片图像未处于所述目标图像的预设区域范围之中，则舍弃所述目标图像，并在所述目标图像所属的视频流中获取下一张目标图像，以便将所述下一张目标图像输入所述目标检测模型中。
在所述目标图像所属的视频流为实时拍摄的视频流的情况下，如果所述卡片图像未处于所述目标图像的预设区域范围之中，则在所述目标图像所属的视频流中获取下一张目标图像之前，显示预设的卡片位置提示信息，以便提示移动卡片的位置，使所述下一张目标图像中的卡片图像处于所述下一张目标图像的预设区域之中。
如果卡片图像没有处于目标图像的预设区域范围之中，则卡片图像可能不够完整，这时通过卡片位置提示信息，使用户调整卡片的位置，使得卡片再次出现在目标图像中时处于预设区域范围之中。
本发明实施例还提供了一种图像采集装置。如图4所示，为根据本发明一实施例的图像采集装置的结构图。
该图像采集装置，包括：获取模块410，检测模块420和执行模块430。
获取模块410，用于获取目标图像。
检测模块420，用于将所述目标图像输入预先训练的目标检测模型中，并获取所述目标检测模型输出的检测结果；所述检测结果包括：所述目标检测模型在所述目标图像中检测到的卡片图像的卡片边框置信度和特征边框置信度。
执行模块430，用于在所述卡片边框置信度大于第一置信度阈值，并且所述特征边框置信度大于第二置信度阈值的情况下，执行针对所述目标图像的图像采集操作。
本发明实施例所述的装置的功能已经在上述的方法实施例中进行了描述，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。
本实施例还提供了一种图像采集设备。如图5所示，为根据本发明一实施例的图像采集设备的结构图。
在本实施例中，所述图像采集设备，包括但不限于：处理器510、存储器520。
所述处理器510用于执行存储器520中存储的图像采集程序，以实现上述的图像采集方法。
具体而言，所述处理器510用于执行存储器520中存储的图像采集程序，以实现以下步骤：获取目标图像；将所述目标图像输入预先训练的目标检测模型中，并获取所述目标检测模型输出的检测结果；所述检测结果包括：所述目标检测模型在所述目标图像中检测到的卡片图像的卡片边框置信度和特征边框置信度；在所述卡片边框置信度大于第一置信度阈值，并且所述特征边框置信度大于第二置信度阈值的情况下，执行针对所述目标图像的图像采集操作。
其中，所述检测结果还包括：所述卡片图像的卡片边框对顶角坐标；所述执行针对所述目标图像的图像采集操作，包括：根据所述卡片图像的卡片边框对顶角坐标，确定所述卡片图像是否处于所述目标图像的预设区域范围之中；如果所述卡片图像处于所述目标图像的预设区域范围之中，则采集所述目标图像；反之，则舍弃所述目标图像，并在所述目标图像所属的视频流中获取下一张目标图像，以便将所述下一张目标图像输入所述目标检测模型中。
其中，所述方法还包括：在所述目标图像所属的视频流为实时拍摄的视频流的情况下，如果所述卡片图像未处于所述目标图像的预设区域范围之中，则在所述目标图像所属的视频流中获取下一张目标图像之前，显示预设的卡片位置提示信息，以便提示移动卡片的位置，使所述下一张目标图像中的卡片图像处于所述下一张目标图像的预设区域之中。
其中，所述方法还包括：在所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值的情况下，舍弃所述目标图像，并在所述目标图像所属的视频流中获取下一张目标图像，以便将所述下一张目标图像输入所述目标检测模型中。
其中，所述方法还包括：在所述目标图像所属的视频流为实时拍摄的视频流的情况下，如果所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值，则在所述目标图像所属的视频流中获取下一张目标图像之前，显示预设的卡片更正提示信息，以便提示更换卡片的种类，使所述下一张目标图像中的卡片图像的卡片边框置信度大于第一置信度阈值，并且特征边框置信度大于第二置信度阈值。
其中，所述方法还包括：在所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值的情况下，确定从所述视频流获取第一张目标图像的时刻到当前时刻的图像采集时长；在所述图像采集时长大于预设的时长阈值时，更新所述第一置信度阈值和所述第二置信度阈值；其中，更新后的所述第一置信度阈值小于更新前的所述第一置信度阈值，更新后的所述第二置信度阈值小于更新前的所述第二置信度阈值。
其中，所述采集所述目标图像，包括：如果在采集所述目标图像之前，所述目标图像中卡片图像的卡片边框置信度大于的第一置信度阈值是更新后的第一置信度阈值，并且所述目标图像中卡片图像的特征边框置信度大于的第二置信度阈值是更新后的第二置信度阈值，则在采集所述目标图像时，为所述目标图像设置对应的置信度阈值降级标识。
其中，所述目标检测模型的参数数量小于预设参数数量阈值；和/或，所述目标检测模型执行的浮点运算次数FLOPs小于预设的浮点运算次数阈值；和/或，所述目标检测模型的帧率大于预设的帧率阈值。
本发明实施例还提供了一种计算机可读存储介质。这里的计算机可读存储介质存储有一个或者多个程序。其中，计算机可读存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
当计算机可读存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述的图像采集方法。由于上面已经对图像采集方法进行了详细描述，故在此不做赘述。
以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (11)
1.一种图像采集方法，其特征在于，包括：
获取目标图像；
将所述目标图像输入预先训练的目标检测模型中，并获取所述目标检测模型输出的检测结果；所述检测结果包括：所述目标检测模型在所述目标图像中检测到的卡片图像的卡片边框置信度和特征边框置信度；
在所述卡片边框置信度大于第一置信度阈值，并且所述特征边框置信度大于第二置信度阈值的情况下，执行针对所述目标图像的图像采集操作。
2.根据权利要求1所述的方法，其特征在于，
所述检测结果还包括：所述卡片图像的卡片边框对顶角坐标；
所述执行针对所述目标图像的图像采集操作，包括：
根据所述卡片图像的卡片边框对顶角坐标，确定所述卡片图像是否处于所述目标图像的预设区域范围之中；
如果所述卡片图像处于所述目标图像的预设区域范围之中，则采集所述目标图像；反之，则舍弃所述目标图像，并在所述目标图像所属的视频流中获取下一张目标图像，以便将所述下一张目标图像输入所述目标检测模型中。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在所述目标图像所属的视频流为实时拍摄的视频流的情况下，如果所述卡片图像未处于所述目标图像的预设区域范围之中，则在所述目标图像所属的视频流中获取下一张目标图像之前，显示预设的卡片位置提示信息，以便提示移动卡片的位置，使所述下一张目标图像中的卡片图像处于所述下一张目标图像的预设区域之中。
4.根据权利要求1～3中任一项所述的方法，其特征在于，所述方法还包括：
在所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值的情况下，舍弃所述目标图像，并在所述目标图像所属的视频流中获取下一张目标图像，以便将所述下一张目标图像输入所述目标检测模型中。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在所述目标图像所属的视频流为实时拍摄的视频流的情况下，如果所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值，则在所述目标图像所属的视频流中获取下一张目标图像之前，显示预设的卡片更正提示信息，以便提示更换卡片的种类，使所述下一张目标图像中的卡片图像的卡片边框置信度大于第一置信度阈值，并且特征边框置信度大于第二置信度阈值。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在所述卡片边框置信度小于或等于所述第一置信度阈值，和/或，所述特征边框置信度小于或等于所述第二置信度阈值的情况下，确定从所述视频流获取第一张目标图像的时刻到当前时刻的图像采集时长；
在所述图像采集时长大于预设的时长阈值时，更新所述第一置信度阈值和所述第二置信度阈值；其中，更新后的所述第一置信度阈值小于更新前的所述第一置信度阈值，更新后的所述第二置信度阈值小于更新前的所述第二置信度阈值。
7.根据权利要求6所述的方法，其特征在于，所述采集所述目标图像，包括：
如果在采集所述目标图像之前，所述目标图像中卡片图像的卡片边框置信度大于的第一置信度阈值是更新后的第一置信度阈值，并且所述目标图像中卡片图像的特征边框置信度大于的第二置信度阈值是更新后的第二置信度阈值，则在采集所述目标图像时，为所述目标图像设置对应的置信度阈值降级标识。
8.根据权利要求1～3、5～7中任一项所述的方法，其特征在于，
所述目标检测模型的参数数量小于预设参数数量阈值；和/或，
所述目标检测模型执行的浮点运算次数FLOPs小于预设的浮点运算次数阈值；和/或，
所述目标检测模型的帧率大于预设的帧率阈值。
9.一种图像采集装置，其特征在于，包括：
获取模块，用于获取目标图像；
检测模块，用于将所述目标图像输入预先训练的目标检测模型中，并获取所述目标检测模型输出的检测结果；所述检测结果包括：所述目标检测模型在所述目标图像中检测到的卡片图像的卡片边框置信度和特征边框置信度；
执行模块，用于在所述卡片边框置信度大于第一置信度阈值，并且所述特征边框置信度大于第二置信度阈值的情况下，执行针对所述目标图像的图像采集操作。
10.一种图像采集设备，其特征在于，所述图像采集设备包括处理器、存储器；所述处理器用于执行所述存储器中存储的图像采集程序，以实现权利要求1～8中任一项所述的图像采集方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～8中任一项所述的图像采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010618086.XA CN111783775A (zh) | 2020-06-30 | 2020-06-30 | 一种图像采集方法、装置、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010618086.XA CN111783775A (zh) | 2020-06-30 | 2020-06-30 | 一种图像采集方法、装置、设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111783775A true CN111783775A (zh) | 2020-10-16 |
Family
ID=72760500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010618086.XA Pending CN111783775A (zh) | 2020-06-30 | 2020-06-30 | 一种图像采集方法、装置、设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111783775A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299037A (zh) * | 2021-12-30 | 2022-04-08 | 广州极飞科技股份有限公司 | 一种对象检测结果的质量评估方法、装置、电子设备及计算机可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8805125B1 (en) * | 2013-06-28 | 2014-08-12 | Google Inc. | Comparing extracted card data using continuous scanning |
| US9430766B1 (en) * | 2014-12-09 | 2016-08-30 | A9.Com, Inc. | Gift card recognition using a camera |
| US20170068867A1 (en) * | 2015-09-08 | 2017-03-09 | Sk Planet Co., Ltd. | System and method for recognizing credit card number and expiration date using terminal device |
| WO2017041366A1 (zh) * | 2015-09-08 | 2017-03-16 | 北京百度网讯科技有限公司 | 图像识别方法和装置 |
| CN110378328A (zh) * | 2019-09-16 | 2019-10-25 | 图谱未来(南京)人工智能研究院有限公司 | 一种证件图像处理方法及装置 |
| CN110427909A (zh) * | 2019-08-09 | 2019-11-08 | 杭州有盾网络科技有限公司 | 一种移动端驾驶证检测方法、系统及电子设备和存储介质 |
| CN111027450A (zh) * | 2019-12-04 | 2020-04-17 | 深圳市新国都金服技术有限公司 | 银行卡信息识别方法、装置、计算机设备及存储介质 |
| CN111126394A (zh) * | 2019-12-25 | 2020-05-08 | 上海肇观电子科技有限公司 | 文字识别方法、阅读辅助设备、电路和介质 |
| CN111199240A (zh) * | 2018-11-16 | 2020-05-26 | 马上消费金融股份有限公司 | 银行卡识别模型的训练方法、银行卡识别方法以及装置 |
-
2020
- 2020-06-30 CN CN202010618086.XA patent/CN111783775A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8805125B1 (en) * | 2013-06-28 | 2014-08-12 | Google Inc. | Comparing extracted card data using continuous scanning |
| US9430766B1 (en) * | 2014-12-09 | 2016-08-30 | A9.Com, Inc. | Gift card recognition using a camera |
| US20170068867A1 (en) * | 2015-09-08 | 2017-03-09 | Sk Planet Co., Ltd. | System and method for recognizing credit card number and expiration date using terminal device |
| WO2017041366A1 (zh) * | 2015-09-08 | 2017-03-16 | 北京百度网讯科技有限公司 | 图像识别方法和装置 |
| CN111199240A (zh) * | 2018-11-16 | 2020-05-26 | 马上消费金融股份有限公司 | 银行卡识别模型的训练方法、银行卡识别方法以及装置 |
| CN110427909A (zh) * | 2019-08-09 | 2019-11-08 | 杭州有盾网络科技有限公司 | 一种移动端驾驶证检测方法、系统及电子设备和存储介质 |
| CN110378328A (zh) * | 2019-09-16 | 2019-10-25 | 图谱未来(南京)人工智能研究院有限公司 | 一种证件图像处理方法及装置 |
| CN111027450A (zh) * | 2019-12-04 | 2020-04-17 | 深圳市新国都金服技术有限公司 | 银行卡信息识别方法、装置、计算机设备及存储介质 |
| CN111126394A (zh) * | 2019-12-25 | 2020-05-08 | 上海肇观电子科技有限公司 | 文字识别方法、阅读辅助设备、电路和介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299037A (zh) * | 2021-12-30 | 2022-04-08 | 广州极飞科技股份有限公司 | 一种对象检测结果的质量评估方法、装置、电子设备及计算机可读存储介质 |
| CN114299037B (zh) * | 2021-12-30 | 2023-09-01 | 广州极飞科技股份有限公司 | 一种对象检测结果的质量评估方法、装置、电子设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113139445B (zh) | 表格识别方法、设备及计算机可读存储介质 | |
| US20200160040A1 (en) | Three-dimensional living-body face detection method, face authentication recognition method, and apparatuses | |
| US8983200B2 (en) | Object segmentation at a self-checkout | |
| WO2019153739A1 (zh) | 基于人脸识别的身份认证方法、装置、设备和存储介质 | |
| US12051258B2 (en) | Image processing to detect a rectangular object | |
| KR101333871B1 (ko) | 멀티-카메라 교정을 위한 방법 및 장치 | |
| CN109614910B (zh) | 一种人脸识别方法和装置 | |
| US9619708B2 (en) | Method of detecting a main subject in an image | |
| CN112287868B (zh) | 一种人体动作识别方法及装置 | |
| CN112287866A (zh) | 一种基于人体关键点的人体动作识别方法及装置 | |
| US20120093362A1 (en) | Device and method for detecting specific object in sequence of images and video camera device | |
| CN112287867B (zh) | 一种多摄像头的人体动作识别方法及装置 | |
| CN109255300B (zh) | 票据信息提取方法、装置、计算机设备及存储介质 | |
| CN110647882A (zh) | 图像校正方法、装置、设备及存储介质 | |
| WO2023045183A1 (zh) | 图像处理 | |
| CN111695540A (zh) | 视频边框识别方法及裁剪方法、装置、电子设备及介质 | |
| WO2021195873A1 (zh) | 识别sfr测试卡图像中感兴趣区域的方法及装置、介质 | |
| CN116071790A (zh) | 掌静脉图像质量评估方法、装置、设备及存储介质 | |
| CN111192241A (zh) | 一种人脸图像的质量评估方法、装置及计算机存储介质 | |
| JP7014005B2 (ja) | 画像処理装置及び方法、電子機器 | |
| CN111783775A (zh) | 一种图像采集方法、装置、设备和计算机可读存储介质 | |
| CN111738085B (zh) | 实现自动驾驶同时定位与建图的系统构建方法及装置 | |
| CN113822927A (zh) | 一种适用弱质量图像的人脸检测方法、装置、介质及设备 | |
| CN114332981A (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| JP2007219899A (ja) | 個人識別装置、個人識別方法および個人識別プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: Jingdong Digital Technology Holding Co.,Ltd. Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Digital Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd. |