[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2020173258A1 - 图像识别系统及其方法 - Google Patents

图像识别系统及其方法 Download PDF

Info

Publication number
WO2020173258A1
WO2020173258A1 PCT/CN2020/072957 CN2020072957W WO2020173258A1 WO 2020173258 A1 WO2020173258 A1 WO 2020173258A1 CN 2020072957 W CN2020072957 W CN 2020072957W WO 2020173258 A1 WO2020173258 A1 WO 2020173258A1
Authority
WO
WIPO (PCT)
Prior art keywords
module
inspected object
contraband
information
detection
Prior art date
Application number
PCT/CN2020/072957
Other languages
English (en)
French (fr)
Inventor
赵自然
陈志强
张丽
顾建平
袁绍明
刘鹏
刘阔
耿星杰
周志强
Original Assignee
清华大学
同方威视技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 清华大学, 同方威视技术股份有限公司 filed Critical 清华大学
Priority to EP20757506.9A priority Critical patent/EP3745359A4/en
Priority to SG11202008813PA priority patent/SG11202008813PA/en
Publication of WO2020173258A1 publication Critical patent/WO2020173258A1/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/005—Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Definitions

  • the present invention relates to the field of security inspection technology, and more specifically to an image recognition system, an image recognition method, an electronic device, and a non-transitory computer-readable medium. Background technique
  • Terahertz can carry out long-distance dynamic real-time imaging of passengers, realizing non-intervention, uncoordinated security checks, and millimeter wave can carry out clear and high-resolution imaging of the human body, realizing fine security checks on the human body. Based on these advantages, terahertz/millimeter wave technology is widely used in the field of security inspection.
  • the security check result is displayed on the display, and the security checker needs to view the various security check information displayed in real time in front of the display. Even if the subject is not carrying dangerous goods, the security check information needs to be checked in real time. As a result, the work intensity of security personnel is high, and they are prone to fatigue and easily cause security inspection omissions.
  • an image recognition system may include: an information entry module configured to enter information of the inspected object and identify the inspected object Whether the information of the inspection object is abnormal information;
  • the testing module is configured to detect whether the inspected object and/or its luggage carries contraband;
  • the augmented reality (AR) module is configured to detect the object and/or its luggage when the information of the inspected object is abnormal In at least one of the cases of carrying contraband, obtain the information of the inspected object and/or the information of the contraband from the information entry module and/or the detection module, issue an alarm, and bid in the AR module Out the inspected object and/or contraband;
  • a storage module configured to store information generated during the operation of the information entry module, the detection module, and the AR module.
  • the detection module may include a detection channel, a first detection device, and a second detection device, wherein the first detection device is located in the front of the detection channel, and the second detection device is located in the At the rear of the detection channel, the first detection device and the second detection device each include a first image acquisition device and a second image acquisition device, and the first image acquisition device is used to acquire a perspective view of the object to be inspected,
  • the second image acquisition device is configured to acquire depth information about the inspected object and a color image about the inspected object; the detection module is configured to detect the inspected object and the color image based on the perspective view and the color image. / Or whether the luggage carries prohibited items.
  • the detection module may be further configured to: establish a global profile for the second image acquisition device through the second image acquisition device included in the first detection device and the second detection device Coordinate system to obtain the spatial position of each inspected object in the global coordinate system and/or the spatial position of the contraband carried in the global coordinate system.
  • the detection module may further include an auxiliary image acquisition device, which is located at the middle part of the detection channel, and is used to acquire depth information about the inspected object and a color image about the inspected object.
  • an auxiliary image acquisition device which is located at the middle part of the detection channel, and is used to acquire depth information about the inspected object and a color image about the inspected object.
  • the detection module may be further configured to: establish a global coordinate system for the auxiliary image acquisition device and the second image acquisition device through the second image acquisition device and the auxiliary image acquisition device To obtain the spatial position of each inspected object in the global coordinate system and/or the spatial position of the contraband carried in the global coordinate system.
  • the AR module may also be configured to: based on the spatial location of each inspected object in the global coordinate system and/or the location of the contraband carried in the global coordinate system. According to the conversion relationship between the AR module and the global coordinate system, obtain the spatial position information of each inspected object and/or the contraband carried by the AR module according to the spatial position under the standard system, In order to mark the inspected object and/or contraband on the AR module.
  • an image recognition method may include: using an information entry module to enter information about an object to be inspected, and identifying whether the information of the inspected object is abnormal information; The module detects whether the inspected object and/or its luggage carries contraband; in at least one of the cases where the information of the inspected object is abnormal and the inspected object and/or its luggage carries contraband, the enhanced The reality (AR) module obtains the information of the inspected object and/or the information of the contraband from the information entry module and/or the detection module, issues an alarm, and marks the inspected object and/or the prohibited item in the AR module ⁇ ; and using a storage module to store information generated during the execution of the image recognition method.
  • AR The reality
  • said using the detection module to detect whether the inspected object and/or its luggage carries contraband may include: acquiring the first image included in the first detection device and the second detection device of the detection module The device acquires a perspective view of the object to be inspected, wherein the first detection device is located at the front of the detection channel in the detection module, and the second detection device is located at the back of the detection channel; using the detection module The second image acquisition device included in the first detection device and the second detection device acquires depth information and a color image about the inspected object; and detects the inspected object and/or based on the perspective view and the color image Whether their luggage carries prohibited items.
  • the marking of the inspected object and/or contraband in the AR module may include: establishing by the second image acquisition device included in the first detection device and the second detection device Aiming at the global coordinate system of the second image acquisition device to acquire the spatial position of each inspected object in the global coordinate system and/or the spatial position of the contraband carried in the global coordinate system; and The detected object and/or contraband is marked in the AR module based on the spatial position.
  • the marking of the inspected object and/or contraband in the AR module may include: through an auxiliary image acquisition device, the first detection device, and the second detection device arranged in the middle of the detection channel.
  • the second image acquisition device included in the detection device establishes global coordinates for the auxiliary image acquisition device and the second image acquisition device System to obtain the spatial position of each inspected object in the global coordinate system and/or the spatial position of the contraband carried in the global coordinate system, wherein the auxiliary image acquisition device is used to acquire information about The depth information of the inspected object and the color image about the inspected object; and marking the inspected object and/or contraband in the AR module based on the spatial position.
  • the marking of inspected objects and/or contraband in the AR module may further include: based on the spatial position of each inspected object in the global coordinate system and/or the contraband carried In the spatial position in the global coordinate system, according to the conversion relationship between the AR module and the global coordinate system, obtain the position of each inspected object and/or the contraband carried in the perspective of the AR module Spatial location information to mark the inspected object and/or contraband on the AR module.
  • an electronic device including: one or more processors; and a memory, configured to store one or more programs, wherein, when the one or more programs are described When executed by one or more processors, the one or more processors implement the method according to the second aspect.
  • a non-transitory computer-readable medium including a computer program product recorded on it and capable of being run by a processor, the computer program product including a computer program product for implementing the second aspect Program code instructions for the described method.
  • the security personnel can observe in real time whether each passenger is carrying contraband or other detection information through the AR device. Therefore, the security personnel do not need to be fixed in front of the display screen to view the detection information, which can be achieved In the process of flexible movement, the detection information of each passenger can be learned through the AR device, and when an emergency occurs, the emergency can be dealt with flexibly and quickly to improve the efficiency of security inspection.
  • Fig. 1 shows a schematic block diagram of an image recognition system according to an embodiment of the present invention.
  • Fig. 2 shows an exemplary block diagram of a detection module in an image recognition system according to an embodiment of the present invention.
  • Fig. 3 shows the change of the shape of the contraband under different viewing angles according to an embodiment of the present invention.
  • Fig. 4 shows a flowchart of an image recognition method according to an embodiment of the present invention.
  • Fig. 5 shows an exemplary detailed flow chart of the operation of detecting whether the subject is carrying contraband.
  • Fig. 6 shows an exemplary flow chart of the operation of visually marking the inspected object on the AR according to an embodiment of the present invention. detailed description
  • references to “one embodiment,” “an embodiment,” “an example,” or “example” mean: a specific feature, structure, or characteristic described in conjunction with the embodiment or example is included in the present invention In at least one embodiment. Therefore, the phrases “in one embodiment,” “in an embodiment,” “an example,” or “example” appearing in various places throughout the specification do not necessarily all refer to the same embodiment or example.
  • specific features, structures, or characteristics may be combined in one or more embodiments or examples in any appropriate combination and/or sub-combination.
  • module may include a unit implemented in hardware, software, or firmware, and may be interchangeable with other terms (for example, “logic”, “logic block”, “part” or “circuit”) To use.
  • a module may be a single integrated component adapted to perform one or more functions or the smallest unit or part of the single integrated component.
  • the module may be implemented in the form of an application specific integrated circuit (ASIC).
  • ASIC application specific integrated circuit
  • AR augmented reality technology
  • Fig. 1 shows a schematic block diagram of an image recognition system 100 according to an embodiment of the present invention.
  • the image recognition system 100 may include an information input module 101, a detection module 102, an AR module 103, and a storage module 104.
  • the information input module 101 is connected to the detection module 102, the AR module 103, and the storage module 104, respectively.
  • the connection can be wired or wireless.
  • the information entry module 101 may be configured to collect information of the inspected object.
  • the information of the inspected object can be various information about the inspected object, for example, the image of the inspected person, the name, age, gender, ID number, height, home address, work unit, education background, and inspected person’s Personnel ticket information, travel destination, etc.
  • the information entry module 101 may be applied to the face recognition gate in the security inspection system to register the information of the inspected object where the inspected object undergoes security inspection.
  • the information entry module 101 may also be configured to register the basic information of the inspected object, and compare the registered basic information with the identity information of the criminal suspect in the public security system to identify whether the inspected object is a criminal suspect.
  • the information entry module 101 may also be configured to send the registered basic information of the inspected object to the detection module 102, the AR module 103, and the storage module 104, and store the basic information in the storage module 104.
  • the detection module 102 may be configured to detect the checked object and the luggage carried by the checked object, and send the detection result to the AR module 103 and the storage module 104.
  • FIG. 2 shows an exemplary block diagram of the detection module 102 according to an embodiment of the present invention.
  • the detection module 102 may include a detection channel 1021, a first detection device 1022, and a second detection device 1023.
  • the detection channel 1021 may include a first detection channel 1021' suitable for detecting inspected objects such as people and animals, and a second detection channel 1021 suitable for security inspection of luggage belonging to the inspected objects. ".
  • the second detection channel 1021" may include a camera.
  • the camera can be set at the front end of the second detection channel 1021" (that is, the baggage enters the end of the second detection channel 1021"), and the object to be inspected and belonging to the subject One or more luggage of the inspected object is photographed, and the inspected object is stored in the storage module 104 in association with the luggage of the inspected object.
  • the first detection device 1022 and the second detection device 1023 may be configured as the front part (that is, the end of the first detection channel where the subject enters the first detection channel) and the rear part (that is, the subject One end away from the first detection channel).
  • the first detection device 1022 and the second detection device 1023 may be configured to respectively detect the detected object entering the first detection channel 1021' to detect whether it carries a suspect.
  • the first detection device 1022 and the second detection device 1023 may be the same type or different types.
  • the first detection device 1022 may include a first image acquisition device and a second image acquisition device.
  • the second detection device 1023 may include a third image acquisition device and The fourth image acquisition device.
  • one of the first image acquisition device and the second image acquisition device may be the same as one of the third image acquisition device and the fourth image acquisition device, and the first image acquisition device
  • the other image acquisition device in the second image acquisition device may be the same as the other image acquisition device in the third image acquisition device and the fourth image acquisition device.
  • the first image acquisition device may be configured to obtain a through image of the inspected object
  • the second image acquisition device may be configured to acquire a color image of the inspected object with depth information
  • the second image capture device may be configured to obtain a perspective image of the inspected object
  • the first image capture device may be configured to obtain a color image of the inspected object with depth information
  • the third image capture device may be configured to obtain a through image of the inspected object
  • the fourth image capture device may be configured to obtain a color image of the inspected object with depth information.
  • the fourth image acquisition device may be configured to obtain a perspective image of the inspected object
  • the third image acquisition device may be configured to obtain a color image of the inspected object with depth information.
  • the first image acquisition device and the third image acquisition device may be terahertz cameras.
  • the second image acquisition device and the fourth image acquisition device may be depth cameras. Terahertz cameras can be used to obtain front and back perspective images of the object being inspected.
  • the depth camera can be used to obtain color images of the inspection scene and the inspected object, as well as the spatial distance of the inspected object from the depth camera.
  • the first detection device 1022 may be configured to: obtain the human body mask of the object under inspection in the perspective image based on the image of the object under inspection in the color image; When it is detected that contraband is displayed on the human body mask of the inspected object in the fluoroscopy image, the image of the contraband is correspondingly marked on the inspected object in the color image.
  • obtaining the human body mask of the object under inspection in the fluoroscopy image can be achieved by the following operations: aligning the pixels in the fluoroscopy image with the pixels in the color image, Obtain the transformation parameters between the terahertz camera and the depth camera; use the depth information in the color image (for example, human skeleton) and the target segmentation detection framework (for example, mask RCNN) to extract the human mask of the color image; based on the change parameters And the extracted human body mask of the color image, and extract the human body mask in the perspective image obtained by the terahertz camera.
  • aligning the pixels in the fluoroscopy image with the pixels in the color image Obtain the transformation parameters between the terahertz camera and the depth camera; use the depth information in the color image (for example, human skeleton) and the target segmentation detection framework (for example, mask RCNN) to extract the human mask of the color image; based on the change parameters And the extracted human body mask of the color image, and extract the human body mask in the perspective image obtained by the
  • the perspective image and the color image can be aligned by using rotation, translation, and zooming according to an affine transformation model.
  • the color of the contraband is darker than the color of other areas.
  • the color depth can be roughly inferred by comparing a pre-trained model (for example, the target detection frame) with the shape of the darker area in the perspective view. Whether the area is prohibited.
  • a pre-trained model for example, the target detection frame
  • the type of contraband for example, knives, guns, etc.
  • the type of contraband can be roughly inferred through, for example, a pre-trained model.
  • the operation of correspondingly marking the image of the contraband on the inspected object in the color image can be achieved by the following operations: Through the transformation parameters between the terahertz camera and the depth camera, the perspective image obtained by the terahertz camera The position of contraband in the human body mask in is mapped to the corresponding area of the human body mask in the color image.
  • information such as prohibited species can also be displayed on the human body mask in the perspective view.
  • the first detection device 1022 and the second detection device 1023 are respectively located at the front and rear of the first detection channel 1021', the back perspective view of the object to be inspected obtained by the first detection device 1022 and the front side obtained by the second detection device 1023
  • the perspective images may not be completely matched due to different viewing angles and different parameters. Therefore, the depth cameras in the first detection device 1022 and the second detection device 1023 need to be used to obtain the spatial position relationship of each object under inspection.
  • the depth camera in the first detection device 1022 can be used as a reference camera, and the depth camera in the second detection device 1023 can be calibrated with external parameters using a multi-mode fusion technology to establish a global coordinate system, and then obtain the depth camera.
  • Information fusion is carried out on the images of, so as to obtain the spatial position relationship of each object under inspection.
  • the transformation parameters between the terahertz camera and the depth camera obtain the position of each pixel in the human body mask in the perspective image obtained by the terahertz camera in the global coordinate system, so that the front perspective view and the back side of each passenger
  • the perspective images are matched to determine whether the image of the contraband under the front perspective view and the image of the contraband under the back perspective view are the same image or different images.
  • the position information of the contraband on the global coordinate system can be obtained based on the position of the pixel of the contraband in the global coordinate system.
  • the first inspection device 1022 may not be able to obtain the back perspective view of the inspected object, or the second detection device 1023 may not be able to obtain the inspected object. Even when there are other inspected objects in front and back of the inspected object, neither the first detecting device 1022 nor the second detecting device 1023 can obtain the back perspective view and the front perspective view of the inspected object. Therefore, in order to solve this problem, the detection module 102 may include an auxiliary detection device.
  • the auxiliary detection device may include a terahertz camera and a depth camera.
  • the auxiliary detection device may be located in the middle of the first detection channel 1021'.
  • the number of auxiliary detection devices may be one or more.
  • the depth camera in the first detection device 1022 can be used as the reference camera, and the depth camera and auxiliary The depth camera in the detection device performs external parameter calibration to establish a global coordinate system, and then information fusion is performed on the images obtained by each depth camera, so as to obtain the spatial position relationship of each inspected object.
  • the depth camera in the second detection device 1023 can be used as the reference camera, and the depth camera and the auxiliary detection device in the first detection device 1022 can be combined using multi-mode fusion technology.
  • the depth camera in the device performs external parameter calibration to establish a global coordinate system, and then information fusion is performed on the images obtained by each depth camera, so as to obtain the spatial position relationship of each inspected object.
  • the depth camera in the auxiliary inspection device may be used as the reference camera, and the multi-mode fusion technology may be used to integrate the first inspection
  • the depth camera in the detection device 1022, the depth camera in the second detection device 1023, and the depth cameras in other auxiliary detection devices perform external parameter calibration to establish a global coordinate system, and then perform information fusion on the images obtained by each depth camera, So as to obtain the spatial position relationship of each inspected object.
  • the AR module 103 may include a display device.
  • the display device may be a lens on the AR glasses.
  • the AR module 103 may be configured to receive the abnormality detection result from the information entry module 101 and the detection module 102, and present the abnormality detection result to the security personnel.
  • the abnormality detection result may be the information of the criminal suspect that matches the identity information of the criminal suspect in the public security system detected in the information entry module 101.
  • the abnormality detection result may be information that the detected object is detected in the detection module 102 as carrying contraband or the luggage belonging to the detected object is carrying contraband.
  • the AR module presents the same scene as the real world.
  • the AR module 103 may receive the inspected object's information (for example, image, name, height, etc.) from the inspection module 102, and the space of the inspected object in the global coordinate system Location information, the spatial location information of the contraband carried by the subject (for example, where the contraband is on the subject), information on the contraband, etc., and present the received information to the security personnel, so that the security personnel can accurately find and carry The subject of contraband.
  • the inspected object's information for example, image, name, height, etc.
  • the space of the inspected object in the global coordinate system Location information for example, the spatial location information of the contraband carried by the subject (for example, where the contraband is on the subject), information on the contraband, etc.
  • the AR module 103 may receive the luggage information (for example, the image of the luggage, etc.), the location information of the contraband in the luggage, etc. from the detection module 102 Then, the checked object matching the luggage containing the contraband is matched from the storage unit 104, and then the checked object is accurately indicated to the security personnel.
  • the luggage information for example, the image of the luggage, etc.
  • the location information of the contraband in the luggage, etc. from the detection module 102
  • the checked object matching the luggage containing the contraband is matched from the storage unit 104, and then the checked object is accurately indicated to the security personnel.
  • the AR module 103 can be configured to be based on the contraband received from the detection module 102 Information (for example, violation The spatial position of the prohibited item in the global coordinate system), the dynamic real-time conversion relationship between the AR module and the global coordinate system, transform the shape of the prohibited item.
  • Information for example, violation The spatial position of the prohibited item in the global coordinate system
  • the dynamic real-time conversion relationship between the AR module and the global coordinate system transform the shape of the prohibited item.
  • software or hardware included in the AR module for example, a visual odometer or gyroscope
  • a rigid body conversion relationship between the AR module and the global coordinate system is established based on the real-time position.
  • Fig. 3 shows the change of the shape of the contraband under different viewing angles according to an embodiment of the present invention.
  • the shape of the contraband in the viewing angle of the first detection device and the second detection device, is a rectangle, but in the viewing angle of the AR module, the shape of the contraband is a diamond.
  • the image recognition system 100 may also include a millimeter wave detection device, so as to perform fine detection on the inspected object, so as to accurately identify the contraband carried by the inspected object.
  • Fig. 4 shows a flowchart of an image recognition method 40 according to an embodiment of the present invention.
  • the information of the inspected object is registered.
  • the information of the inspected object may be, for example, the name, gender, and height of the inspected object.
  • step 402 it is determined whether the inspected object is a suspect based on the registered information of the inspected object. For example, the registered information of the subject can be compared with the information of the suspect in the public security system to determine whether the subject is a suspect.
  • the process proceeds to step 407, and the information of the detected object is sent to the AR module, and then at step 408, AR is based on the received detected object
  • the information visually identifies the subject.
  • step 403 it is detected whether there are contraband in the luggage.
  • the processing proceeds to step 404.
  • step 404 based on the relationship between the baggage and the inspected object to which it belongs, the inspected object to which the bag belongs is matched.
  • step 407 the matched information of the inspected object (for example, the spatial position of the inspected object, etc.) and/or the information of the contraband is sent to the AR module.
  • step 408 visually marks the inspected object and/or the contraband based on the received information of the inspected object and/or the information of the contraband.
  • the processing sequentially executes the operations at steps 407 and 408, and sends the information of the inspected object to the AR (for example, the location information of the inspected object, the Basic information of the inspected object (for example, image, name, etc.) and information about the contraband carried (for example, the location information of the contraband, the shape and type of the contraband, etc.), and then visually mark the inspected object and the contraband .
  • the AR for example, the location information of the inspected object, the Basic information of the inspected object (for example, image, name, etc.) and information about the contraband carried (for example, the location information of the contraband, the shape and type of the contraband, etc.), and then visually mark the inspected object and the contraband .
  • step 405 the process proceeds to step 406 , Allow the inspected object to bring his luggage through.
  • Fig. 5 shows an exemplary detailed flow chart of the operation 405 of detecting whether the subject is carrying contraband.
  • a terahertz camera and a depth camera are used to obtain a perspective image of the object to be inspected and a color image with depth information.
  • the human body mask of the subject is extracted from the color image, and then the human body mask is extracted from the fluoroscopic image based on the human body mask of the color image.
  • the perspective image and the color image are aligned using rotation, translation, and zooming to obtain the transformation parameters between the terahertz camera and the depth camera.
  • the depth information in the color image for example, human skeleton
  • the target segmentation detection framework for example, mask RCNN
  • step 4053 based on the pre-trained model, it is identified whether the darker-colored blocks in the human body mask in the perspective image are contraband.
  • the target detection framework for example: YOLOv3
  • YOLOv3 is used to detect whether darker tiles are contraband.
  • the position of the prohibited item in the perspective view is mapped to the color image correspondingly.
  • step 406 the processing proceeds to step 406 as described above.
  • FIG. 6 shows an exemplary flowchart of the operation 408 of visually marking the inspected object on the AR according to an embodiment of the present invention.
  • the spatial position of the inspected object relative to each depth camera is obtained through each depth camera.
  • step 4082 take one of the depth cameras as the reference camera, and calibrate the external parameters of other depth cameras, thereby establishing a global coordinate system.
  • step 4083 information fusion is performed on the image information obtained by each depth camera, so as to obtain the spatial position relationship of each inspected object.
  • step 4084 based on the transformation parameters between the terahertz camera and the depth camera, the spatial position of each pixel in the perspective image in the global coordinate system is obtained.
  • the front perspective view and the back perspective view of the inspected object are matched to determine the image of the contraband under the front perspective view and the image of the contraband under the back perspective view. Is it the same image or a different image.
  • the location of the inspected object and the location of the contraband are sent to the AR module to identify the inspected object and where the contraband is on the inspected object in the global coordinate system.
  • the AR module can change the shape of the contraband in the perspective view according to the conversion relationship between the AR module and the global coordinate system to form a graphic shape in the perspective of the AR module.
  • the electronic components of one or more systems or devices may include but are not limited to at least one processing unit, a memory, and a communication bus or communication device that couples various components including the memory to the processing unit.
  • the system or device can include or have access to various device-readable media.
  • System memory can include volatile and/or non- A device-readable storage medium in the form of volatile memory (for example, read only memory (ROM) and/or random access memory (RAM)).
  • ROM read only memory
  • RAM random access memory
  • the system memory may also include an operating system, application programs, other program modules, and program data.
  • the embodiments may be implemented as a system, method, or program product. Therefore, the embodiments may adopt the form of all hardware embodiments or embodiments including software (including firmware, resident software, microcode, etc.), which may be collectively referred to as "circuits", “modules” or “systems” herein.
  • the embodiment may take the form of a program product embodied in at least one device-readable medium on which the existing device-readable program code is embodied.
  • a device-readable storage medium can be any tangible non-signal medium that can contain or store a program configured to be used by or in combination with an instruction execution system, device, or device Program composed of code.
  • storage media or devices should be interpreted as non-transitory, that is, not including signals or propagation media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像识别系统、一种图像识别方法、一种电子设备以及一种非暂时性计算机可读介质，所述图像识别系统可以包括：信息录入模块，被配置为录入被检对象的信息，并且识别被检对象的信息是否为异常信息；检测模块，被配置为检测被检对象和/或其行李是否携带违禁品；增强现实(AR)模块，被配置为在被检对象的信息异常的情况和被检对象和/或其行李携带违禁品的情况中的至少一种情况下，从信息录入模块和/或检测模块中获取被检对象的信息和/或违禁品的信息，发出警报并且在AR模块中标出被检对象和/或违禁品；以及存储模块，被配置为存储信息录入模块、检测模块和AR模块操作过程中产生的信息。

Description

图像识别系统及其方法 相关申请的交叉引用
本申请要求于 2019年 2月 28日递交的题为“图像识别系统及其 方法” 的中国专利申请 No.201910154670.1 的优先权， 其通过引用整 体并入本文中。 技术领域
本发明涉及安检技术领域， 并且更具体地涉及一种图像识别系 统、 一种图像识别方法、 一种电子设备以及一种非暂时性计算机可读 介质。 背景技术
太赫兹能够对旅客进行远距离动态实时成像， 实现非干预、 非配 合式安检， 毫米波能够对人体进行清晰、 高分辨率成像， 实现对人体 进行精细安检。基于这些优点， 太赫兹 /毫米波技术在安检领域中广泛 应用。 但是， 现有的安检系统中， 安检结果通过显示器显示， 需要安 检人员在显示器前实时查看所显示的各项安检信息， 即使被检对象未 携带危险物品也需要对其安检信息进行实时查看。 由此造成安检人员 的工作强度大， 容易产生疲劳， 容易造成安检疏漏。
此外， 当安检人员根据显示器中显示的信息发现被检对象身上携 带有违禁品时， 安检人员从显示器赶到现场进行处理， 会导致工作效 率低， 甚至会由于处理不及时而导致嫌疑人逃跑等。 发明内容
为了解决现有问题中存在的技术问题， 在本申请的第一方面中， 提供了一种图像识别系统， 可以包括： 信息录入模块， 被配置为录入 被检对象的信息，并且识别所述被检对象的信息是否为异常信息； 检 测模块， 被配置为检测所述被检对象和 /或其行李是否携带违禁品； 增 强现实（AR）模块， 被配置为在被检对象的信息异常的情况和被检对 象和 /或其行李携带违禁品的情况中的至少一种情况下，从所述信息录 入模块和 /或所述检测模块中获取被检对象的信息和 /或违禁品的信 息， 发出警报并且在所述 AR模块中标出被检对象和 /或违禁品； 以及 存储模块，被配置为存储所述信息录入模块、所述检测模块和所述 AR 模块操作过程中产生的信息。
根据第一方面， 所述检测模块可以包括检测通道、 第一检测装置 和第二检测装置，其中，所述第一检测装置位于所述检测通道的前部， 所述第二检测装置位于所述检测通道的后部， 所述第一检测装置和所 述第二检测装置均包括第一图像获取装置以及第二图像获取装置， 所 述第一图像获取装置用于获取被检对象的透视图， 所述第二图像获取 装置用于获取关于被检对象的深度信息和关于被检对象的彩色图像； 所述检测模块被配置为基于所述透视图和所述彩色图像检测所述被检 对象和 /或其行李是否携带违禁品。
根据第一方面， 所述检测模块还可以被配置为： 通过所述第一检 测装置和所述第二检测装置中包括的所述第二图像获取装置建立针对 所述第二图像获取装置的全局坐标系， 以获取每个被检对象在所述全 局坐标系下的空间位置和 /或所携带的违禁品在所述全局坐标系下的 空间位置。
根据第一方面， 所述检测模块还可以包括辅助图像获取装置， 其 位于所述检测通道的中间部位处， 用于获取关于被检对象的深度信息 和关于被检对象的彩色图像。
根据第一方面， 所述检测模块还可以被配置为： 通过所述第二图 像获取装置以及所述辅助图像获取装置建立针对所述辅助图像获取装 置和所述第二图像获取装置的全局坐标系， 以获取每个被检对象在所 述全局坐标系下的空间位置和 /或所携带的违禁品在所述全局坐标系 下的空间位置。
根据第一方面，所述 AR模块还可以被配置为：基于每个被检对象 在所述全局坐标系下的空间位置和 /或所携带的违禁品在所述全局坐 标系下的空间位置，根据所述 AR模块与所述全局坐标系之间的转换关 系， 获得每个被检对象和 /或所携带的违禁品在所述 AR模块视角下的 空间位置信息， 以在所述 AR模块上标出被检对象和 /或违禁品。
在本申请的第二方面中， 提供了一种图像识别方法， 所述方法可 以包括： 利用信息录入模块录入被检对象的信息， 并且识别所述被检 对象的信息是否为异常信息； 利用检测模块检测所述被检对象和 /或 其行李是否携带违禁品；在被检对象的信息异常的情况和被检对象和 / 或其行李携带违禁品的情况中的至少一种情况下，利用增强现实 (AR) 模块从所述信息录入模块和 /或所述检测模块中获取被检对象的信息 和 /或违禁品的信息， 发出警报并且在所述 AR模块中标出被检对象和 / 或违禁品； 以及利用存储模块存储所述图像识别方法执行过程中产生 的信息。
根据第二方面，所述利用检测模块检测所述被检对象和 /或其行李 是否携带违禁品可以包括： 利用所述检测模块的第一检测装置和第二 检测装置中包括的第一图像获取装置获取被检对象的透视图， 其中， 所述第一检测装置位于所述检测模块中的检测通道的前部， 所述第二 检测装置位于所述检测通道的后部； 利用所述检测模块的第一检测装 置和第二检测装置中包括的第二图像获取装置获取关于被检对象的深 度信息和彩色图像； 以及基于所述透视图和所述彩色图像检测所述被 检对象和 /或其行李是否携带违禁品。
根据第二方面，所述在所述 AR模块中标出被检对象和 /或违禁品 可以包括： 通过所述第一检测装置和所述第二检测装置中包括的所述 第二图像获取装置建立针对所述第二图像获取装置的全局坐标系， 以 获取每个被检对象在所述全局坐标系下的空间位置和 /或所携带的违 禁品在所述全局坐标系下的空间位置； 以及基于所述空间位置在所述 AR模块中标出被检对象和 /或违禁品。
根据第二方面，所述在所述 AR模块中标出被检对象和 /或违禁品 可以包括： 通过设置在所述检测通道中部的辅助图像获取装置和所述 第一检测装置和所述第二检测装置中包括的所述第二图像获取装置建 立针对所述辅助图像获取装置和所述第二图像获取装置的全局坐标 系， 以获取每个被检对象在所述全局坐标系下的空间位置和 /或所携带 的违禁品在所述全局坐标系下的空间位置， 其中， 所述辅助图像获取 装置用于获取关于被检对象的深度信息和关于被检对象的彩色图像； 以及基于所述空间位置在所述 AR模块中标出被检对象和 /或违禁品。
根据第二方面， 所述在所述 AR模块中标出被检对象和 /或违禁品 还可以包括： 基于每个被检对象在所述全局坐标系下的空间位置和 / 或所携带的违禁品在所述全局坐标系下的空间位置，根据所述 AR模块 与所述全局坐标系之间的转换关系，获得每个被检对象和 /或所携带的 违禁品在所述 AR模块视角下的空间位置信息， 以在所述 AR模块上标 出被检对象和 /或违禁品。
在本申请的第三方面中， 提供了一种电子设备， 包括： 一个或多 个处理器； 以及存储器， 用于存储一个或多个程序， 其中， 当所述一 个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个 处理器实现根据第二方面所述的方法。
在本申请的第四方面中， 提供了一种非暂时性计算机可读介质， 包括记录在其上且能够由处理器运行的计算机程序产品， 所述计算机 程序产品包括用于实现根据第二方面所述的方法的程序代码指令。
基于本申请提供的各个方面， 安检人员可以通过 AR设备实时观 察到每个旅客是否携带违禁品的提示， 或其它检测信息， 由此， 安检 人员不需要固定在显示屏前查看检测信息， 可以实现在灵活移动的过 程中通过 AR设备得知每个旅客的检测信息， 并且可以在发生突发情 况时， 机动快速地处理突发情况， 提高安检的效率。 附图说明
图 1中示出了根据本发明实施例的图像识别系统的示意性框图。 图 2示出了根据本发明实施例的图像识别系统中的检测模块的示 例性框图。
图 3中示出了根据本发明实施例的不同视角下的违禁品形状的变 换。
图 4中示出了根据本发明实施例的图像识别方法的流程图。 图 5中示出了检测对象身上是否携带违禁品的操作的示例性详细 流程图。
图 6中示出了根据本发明实施例的在 AR上视觉地标出被检对象 的操作的示例性流程图。 具体实施方式
下面将详细描述本发明的具体实施例， 应当注意， 这里描述的实 施例只用于举例说明， 并不用于限制本发明。 在以下描述中， 为了提 供对本发明的透彻理解， 阐述了大量特定细节。 然而， 对于本领域普 通技术人员显而易见的是： 不必采用这些特定细节来实行本发明。 在 其他实例中， 为了避免混淆本发明， 未具体描述公知的电路、 材料或 方法。
在整个说明书中， 对“一个实施例”、 “实施例”、 “一个示例”或“示 例”的提及意味着： 结合该实施例或示例描述的特定特征、 结构或特性 被包含在本发明至少一个实施例中。 因此， 在整个说明书的各个地方 出现的短语“在一个实施例中”、 “在实施例中”、 “一个示例”或“示例” 不一定都指同一实施例或示例。 此外， 可以以任何适当的组合和 /或子 组合将特定的特征、 结构或特性组合在一个或多个实施例或示例中。
应当理解， 当称元件“耦接到”或“连接到”另一元件时， 它可以是 直接稱接或连接到另一元件或者可以存在中间元件。 相反， 当称元件 “直接耦接到”或“直接连接到”另一元件时， 不存在中间元件。
此外， 这里使用的术语“和 /或”包括一个或多个相关列出的项目的 任何和所有组合。
将理解的是， 与术语相应的单数形式的名词可包括一个或更多个 事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或 B”、 “A和 B中的至少一个”、 “A或 B中的至少一个”、 “A、 B或 C’’、 “A、 B和 C中的至少一个’’以及“A、 B或 C中的至少一个’’的短语中的每一 个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项 的所有可能组合。 如这里所使用的， 诸如“第 1”和“第 2”或者“第一”和 “第二”的术语可用于将相应部件与另一部件进行简单区分， 并且不在 其它方面 （例如， 重要性或顺序） 限制所述部件。
如这里所使用的， 术语“模块”可包括以硬件、 软件或固件实现的 单元， 并可与其他术语 （例如， “逻辑”、 “逻辑块”、 “部分”或“电路”） 可互换地使用。 模块可以是被适配为执行一个或更多个功能的单个集 成部件或者是该单个集成部件的最小单元或部分。例如， 根据实施例， 可以以专用集成电路 （ASIC） 的形式来实现模块。
应该理解的是， 本公开的各种实施例以及其中使用的术语并不意 图将在此阐述的技术特征限制于具体实施例， 而是包括针对相应实施 例的各种改变、 等同形式或替换形式。 除非本文另有明确定义， 否则 所有术语将给出其最广泛的可能解释， 包括说明书中暗示的含义以及 本领域技术人员理解的和 /或字典、 论文等中定义的含义。
此外， 本领域普通技术人员应当理解， 在此提供的附图都是为了 说明的目的， 并且附图不一定是按比例绘制的。 对于附图的描述， 相 似的参考标号可用来指代相似或相关的元件。 以下将参考附图对本公 开进行示例性描述。
为了解决安检人员必须固定于某一位置处查看安检信息的问题， 本申请在安检领域中应用增强现实技术 （AR） 技术， 通过 AR装置实 时呈现安检信息。 为了便于说明和描述， 以下以 AR眼镜为例进行说 明。
图 1中示出了根据本发明实施例的图像识别系统 100的示意性框 图。 如图所述， 图像识别系统 100可以包括信息录入模块 101、 检测 模块 102、 AR模块 103、 以及存储模块 104。
信息录入模块 101分别与检测模块 102、AR模块 103 以及存储模 块 104连接。 连接可以是有线连接或者无线连接。
信息录入模块 101可以被配置为采集被检对象的信息。 被检对象 的信息可以是关于被检对象的各种信息， 例如， 被检人员的图像、 被 检人员的姓名、 年龄、 性别、 身份证号、 身高、 家庭住址、 工作单位、 学历、 被检人员的票面信息、 乘车目的地等等。
信息录入模块 101可以应用于安检系统中的人脸识别闸机处， 以 在被检对象进行安检之处登记被检对象的信息。 信息录入模块 101还可以被配置为将登记被检对象的基本信息， 并且将所登记的基本信息与公安系统中犯罪嫌疑人的身份信息进行比 对， 以识别被检对象是否是犯罪嫌疑人。
信息录入模块 101还可以被配置为向检测模块 102、 AR模块 103 以及存储模块 104发送所登记的被检对象的基本信息， 并且将该基本 信息存储在存储模块 104中。
检测模块 102可以被配置为对被检对象以及被检对象所携带的行 李进行检测， 并且向 AR模块 103和存储模块 104发送检测结果。
具体地， 参见图 2对被检模块 102进行描述。 图 2示出了根据本 发明实施例的检测模块 102的示例性框图。
检测模块 102可以包括检测通道 1021、 第一检测装置 1022、 以 及第二检测装置 1023。
根据实施例， 检测通道 1021 可以包括适用于对诸如人、 动物之 类的被检对象进行检测的第一检测通道 1021’、 以及适用于对属于被 检对象的行李进行安检的第二检测通道 1021”。
根据实施例， 第二检测通道 1021”可以包括拍摄装置。 拍摄装置 可以设置在第二检测通道 1021”的前端 （即， 行李进入第二检测通道 1021”的一端）， 对被检对象以及属于被检对象的一个或多个行李进行 拍摄， 并且将被检对象与被检对象的行李相关联地存储在存储模块 104中。
根据实施例， 第一检测装置 1022和第二检测装置 1023可以设置 为第一检测通道 1021’的前部 （即， 被检对象进入第一检测通道的一 端） 和后部 （即， 被检对象离开第一检测通道的一端）。
根据实施例， 第一检测装置 1022和第二检测装置 1023可以被配 置为分别对进入第一检测通道 1021’中的被检对象进行检测， 以检测 其是否携带嫌疑物。
根据实施例， 第一检测装置 1022和第二检测装置 1023可以是相 同的类型的， 或者是不同类型的。
根据实施例， 第一检测装置 1022 可以包括第一图像采集装置和 第二图像采集装置。第二检测装置 1023可以包括第三图像采集装置和 第四图像采集装置。
根据实施例， 第一图像采集装置和第二图像采集装置中的一个图 像采集装置可以与第三图像采集装置和第四图像采集装置中的一个图 像采集装置是相同的， 而第一图像采集装置和第二图像采集装置中的 另一个图像采集装置可以与第三图像采集装置和第四图像采集装置中 的另一个图像采集装置是相同的。
根据实施例， 第一图像采集装置可以被配置为获得被检对象的透 视图像， 并且第二图像采集装置可以被配置为获得被检对象的具有深 度信息的彩色图像。
备选地， 第二图像采集装置可以被配置为获得被检对象的透视图 像， 并且第一图像采集装置可以被配置为获得被检对象的具有深度信 息的彩色图像。
根据实施例， 第三图像采集装置可以被配置为获得被检对象的透 视图像， 并且第四图像采集装置可以被配置为获得被检对象的具有深 度信息的彩色图像。
备选地， 第四图像采集装置可以被配置为获得被检对象的透视图 像， 并且第三图像采集装置可以被配置为获得被检对象的具有深度信 息的彩色图像。
例如， 第一图像采集装置和第三图像采集装置可以是太赫兹相 机。 第二图像采集装置和第四图像采集装置可以是深度相机。 太赫兹 相机可以用于获得被检对象的正面透视图像和背面透视图像。 深度相 机可以用于获得检测场景和被检对象的彩色图像以及被检对象距离深 度相机的空间距离。
对于第一检测装置 1022 检测被检对象是否携带嫌疑物， 第一检 测装置 1022可以被配置为:基于彩色图像中的被检对象的图像来获取 透视图像中的被检对象的人体掩膜； 在检测到透视图像中被检对象的 人体掩膜上显示有违禁品的情况下， 则将违禁品的图像对应地标记在 彩色图像中的被检对象上。
根据实施例， 获取透视图像中的被检对象的人体掩膜可以通过以 下操作来实现： 将透视图像中的像素与彩色图像中的像素进行对齐， 获得太赫兹相机和深度相机之间的变换参数； 利用彩色图像中的深度 信息 （例如， 人体骨架） 和目标分割检测框架 （例如， 掩膜 RCNN） 来提取彩色图像的人体掩膜； 基于变化参数和所提取的彩色图像的人 体掩膜， 提取由太赫兹相机获得的透视图像中的人体掩膜。
在一个示例中， 例如可以根据仿射变换模型， 利用旋转、 平移和 缩放将透视图像和彩色图像对齐。
对于被检对象的携带的违禁品， 在一个示例中， 在太赫兹相机所 获得的透视图中， 违禁品所呈现的颜色比其他区域的颜色更深。
对于被检对象的携带的违禁品， 在一个示例中， 例如可以通过将 预先训练好的模型 （例如， 目标检测框架） 与透视图中颜色较深区域 的形状进行比对来大致推断出颜色深的区域是否是违禁品。
对于被检对象的携带的违禁品， 在一个示例中， 可以例如通过预 先训练好的模型来大致推断出违禁品的类型 （例如， 刀具、 枪支等）。
根据实施例， 将违禁品的图像对应地标记在彩色图像中的被检对 象上的操作可以通过以下操作来实现： 通过太赫兹相机和深度相机间 的变换参数， 将由太赫兹相机获得的透视图像中的人体掩膜中违禁品 位置映射到彩色图像中人体掩膜的对应区域上。
在一个示例中， 还可以在透视图中的人体掩膜上显示违禁品种类 等信息。
由于第一检测装置 1022和第二检测装置 1023分别位于第一检测 通道 1021’的前端和后端， 因此第一检测装置 1022获得的被检对象的 背面透视图和第二检测装置 1023 获得的正面透视图可以会由于视角 不同、 参数不同等原因而无法完全匹配。 因此， 需要通过第一检测装 置 1022和第二检测装置 1023中的深度相机来获得每个被检对象的空 间位置关系。
具体地， 可以例如将第一检测装置 1022 中的深度相机作为基准 相机，利用多模式融合技术将第二检测装置 1023中的深度相机进行外 部参数标定， 从而建立全局坐标系， 然后将深度相机获得的图像进行 信息融合， 从而获得每个被检对象的空间位置关系。
进一步地， 在知道被检对象的空间位置关系的情况下， 可以利用 太赫兹相机和深度相机之间的变换参数， 得到太赫兹相机所获得的透 视图像中的人体掩膜中的每个像素在全局坐标系下的位置， 从而将每 个旅客的正面透视图和背面透视图相匹配， 以确定正面透视图下的违 禁品的图像和背面透视图下的违禁品的图像是相同图像还是不同图 像。
进一步地， 在经由太赫兹相机获得的透视图中呈现有违禁品的情 况下， 可以基于违禁品的像素在全局坐标系下的位置， 获得违禁品在 全局坐标系上的位置信息。
在一个示例中， 当第一检测通道 1021’中同时存在多个被检对象 时，第一检测装置 1022可能无法获得被检对象的背面透视图，或者第 二检测装置 1023可能无法获得被检对象的正面透视图，甚至由于被检 对象的前后均有其它被检对象的情况下，第一检测装置 1022和第二检 测装置 1023均不能获得被检对象的背面透视图和正面透视图。 因此， 为了解决该问题， 检测模块 102可以包括辅助检测装置。
辅助检测装置中可以包括太赫兹相机和深度相机。
根据实施例， 辅助检测装置可以位于第一检测通道 1021’的中间 部位处。
根据实施例， 辅助检测装置的数量可以为一个或多个。
在一个示例中， 为获得每个被检对象的空间位置关系， 可以例如 将第一检测装置 1022中的深度相机作为基准相机，利用多模式融合技 术将第二检测装置 1023中的深度相机、辅助检测装置中的深度相机进 行外部参数标定， 从而建立全局坐标系， 然后将各个深度相机获得的 图像进行信息融合， 从而获得每个被检对象的空间位置关系。
备选地， 为获得每个被检对象的空间位置关系， 可以例如将第二 检测装置 1023中的深度相机作为基准相机，利用多模式融合技术将第 一检测装置 1022中的深度相机、辅助检测装置中的深度相机进行外部 参数标定， 从而建立全局坐标系， 然后将各个深度相机获得的图像进 行信息融合， 从而获得每个被检对象的空间位置关系。
备选地， 为获得每个被检对象的空间位置关系， 可以例如将辅助 检测装置中的深度相机作为基准相机， 利用多模式融合技术将第一检 测装置 1022中的深度相机、 第二检测装置 1023中的深度相机、 以及 其它辅助检测装置中的深度相机进行外部参数标定， 从而建立全局坐 标系， 然后将各个深度相机获得的图像进行信息融合， 从而获得每个 被检对象的空间位置关系。
再次返回图 1， AR模块 103可以包括显示装置。 在一个示例中， 在 AR模块 103是 AR眼镜的情况下， 显示装置可以是 AR眼镜上的 镜片。
AR模块 103可以被配置为从信息录入模块 101和检测模块 102 接收异常检测结果， 并且向安检人员呈现该异常检测结果。
根据实施例， 异常检测结果可以是在信息录入模块 101中检测到 与公安系统中犯罪嫌疑人的身份信息相匹配的犯罪嫌疑人的信息。
根据实施例， 异常检测结果可以是在检测模块 102中检测到的被 检对象身上携带有违禁品或者属于被检对象的行李中携带有违禁品的 信息。
在没有异常检测的情况下， AR 模块中呈现的为与现实世界一样 的场景。
在一个示例中， 当被检对象携带有违禁品时， AR模块 103可以 从检测模块 102接收被检对象的信息 （例如， 图像、 姓名、 身高等）、 被检对象在全局坐标系下的空间位置信息、 被检对象携带的违禁品的 空间位置信息（例如，违禁品在被检对象身上何处）、违禁品的信息等， 并且向安检人员呈现所接收的信息， 以便安检人员准确找到携带违禁 品的被检对象。
在一个示例中， 当被检对象所携带的行李中藏有违禁品时， AR 模块 103可以从检测模块 102接收行李的信息（例如，行李的图像等）、 违禁品在行李中的位置信息等， 然后从存储单元 104中匹配出与藏有 违禁品的行李相匹配的被检对象， 然后向安检人员精确地指示出被检 对象。
对于相同违禁品， 由于检测模块 102中的第一检测装置和第二检 测装置的视角可能与 AR模块 103 的视角不同， 因此， AR模块 103 可以被配置为基于从检测模块 102接收到的违禁品的信息 （例如， 违 禁品在全局坐标系中的空间位置）、 AR模块与全局坐标系的动态实时 转换关系， 对违禁品的形状进行转换。 例如， 可以利用 AR模块中包 括的软件或硬件 （例如， 视觉里程计或陀螺仪） 等实时记录 AR眼镜 的实时位置， 然后基于该实时位置建立 AR模块与全局坐标系之间的 刚体转换关系。
图 3中示出了根据本发明实施例的不同视角下的违禁品形状的变 换。 如图所示， 在第一检测装置和第二检测装置的视角下， 违禁品的 形状为矩形， 但是在 AR模块的视角下， 违禁品则为菱形。
在一个示例中， 图像识别系统 100还可以包括毫米波检测装置， 以便对被检对象进行精细检测， 以精确识别被检对象携带的违禁品为 何物。
图 4中示出了根据本发明实施例的图像识别方法 40的流程图。 在步骤 401中， 登记被检对象的信息。 被检对象的信息可以例如 是被检对象的姓名、 性别、 身高等。
在步骤 402中， 基于所登记的被检对象的信息来确定被检对象是 否为嫌疑人。 例如， 可以通过将所登记的被检对象的信息与公安系统 中嫌疑人的信息进行比对， 来确定被检对象是否是嫌疑人。
在被检对象是嫌疑人的情况下 （步骤 402处的“是”）， 处理进行 到步骤 407， 向 AR模块发送被检对象的信息， 然后在步骤 408处， AR基于所接收的被检对象的信息视觉地标识出被检对象。
在被检对象不是嫌疑人的情况下 （步骤 402处的“否”）， 处理进 行到步骤 403和步骤 405。 在步骤 403处， 检测行李中是否存在违禁 品。 在行李中存在违禁品的情况下 （步骤 403处的 “是”）， 处理进行 到步骤 404处。 在步骤 404处， 基于行李及其所属的被检对象之间的 关系， 匹配出行李所属的被检对象。 然后， 在步骤 407处， 向 AR模 块发送所匹配出的被检对象的信息 （例如， 被检对象的空间位置等） 和 /或违禁品的信息。 然后， 在步骤 408处， AR模块基于所接收的被 检对象的信息和 /或违禁品的信息视觉地标出被检对象和 /或违禁品。 至此， 处理结束。
在步骤 408处标出被检对象时， 可以同时呈现被检对象的信息。 在步骤 405处， 检测被检对象身上是否携带违禁品。 在被检对象 携带违禁品的情况下 （步骤 405处的“是”）， 处理依次执行步骤 407、 408处的操作， 向 AR发送被检对象的信息 （例如， 被检对象的位置 信息、 被检对象的基本信息（例如， 图像、 姓名等））和所携带的违禁 品的信息（例如， 违禁品的位置信息、 违禁品的形状、 类型等）， 然后 视觉地标出被检对象和违禁品。
在被检对象未携带违禁品 （即， 步骤 405 处的 “否”） 且被检对 象的行李中没有违禁品 （即， 步骤 403处的“否”） 的情况下， 处理进 行到步骤 406处， 允许被检对象携带其行李通过。
图 5中示出了检测对象身上是否携带违禁品的操作 405的示例性 详细流程图。
在步骤 4051 处， 例如通过太赫兹相机和深度相机获得被检对象 的透视图像和具有深度信息的彩色图像。
在步骤 4052 处， 从彩色图像中提取被检对象的人体掩膜， 然后 基于彩色图像的人体掩膜， 从透视图像中提取人体掩膜。 例如， 根据 仿射变换模型， 利用旋转、 平移和缩放将透视图像和彩色图像对齐， 得到太赫兹相机和深度相机之间的变换参数。 然后利用彩色图像中的 深度信息（例如，人体骨架）和目标分割检测框架（例如，掩膜 RCNN） 提取彩色图像的人体掩膜。 然后， 根据太赫兹相机和深度相机间的变 换参数， 基于彩色图像的人体掩膜轮廓信息， 提取出透视图像中的人 体掩膜。
在步骤 4053 处， 基于预先训练好的模型， 识别透视图像中的人 体掩膜中存在的颜色较深的图块是否为违禁品。 例如， 通过目标检测 框架 （例如： YOLOv3） 检测颜色较深的图块是否是违禁品。
在颜色较深的图块为违禁品的情况下， 在步骤 4054 处， 将透视 图中的违禁品的位置对应地映射到彩色图像中。
在颜色较深的图块不是违禁品的情况下， 处理进行到如上所述的 步骤 406处。
图 6中示出了根据本发明实施例的在 AR上视觉地标出被检对象 的操作 408的示例性流程图。 在步骤 4081 处， 通过每个深度相机获得被检对象相对于每个深 度相机的空间位置。
在步骤 4082 处， 以深度相机中的一个深度相机为基准相机， 将 其他深度相机进行外部参数标定， 从而建立全局坐标系。
在步骤 4083处， 将各个深度相机获得的图像信息进行信息融合， 从而获得每个被检对象的空间位置关系。
在步骤 4084 处， 基于太赫兹相机和深度相机之间的变换参数， 得到透视图像下的每个像素在全局坐标系下的空间位置。
在步骤 4085 处， 基于每个像素的空间位置， 将针对被检对象的 正面透视图和背面透视图进行匹配， 以确定正面透视图下的违禁品的 图像和背面透视图下的违禁品的图像是相同图像还是不同图像。
在步骤 4086 处， 将被检对象的位置和违禁品的位置发送给 AR 模块， 以在全局坐标系下标识出被检对象以及违禁品在被检对象身上 何处。
由于安检人员佩戴 /携带 /穿戴着 AR模块随处移动， 因此， 对于 相同的违禁品， AR 模块的视角下违禁品的形状可以变化。 因此， 可 选地， 在步骤 4087处， AR模块可以根据其与全局坐标系之间的转换 关系， 将透视图中的违禁品的形状进行变化， 形成 AR模块视角下的 图形形状。
尽管以上各个框图中示出了多个组件， 但是本领域技术人员应当 理解， 可以在缺少一个或多个组件或将某些组件组合的情况下实现本 发明的实施例。
尽管以上根据附图中所示的顺序对各个步骤进行了描述， 但是本 领域技术人员应当理解， 所述各个步骤可以按照不同的顺序执行， 或 者可以在没有上述步骤中的一个或多个步骤的情况下实现本发明的实 施例。
根据前述内容可以理解， 一个或多个系统或设备的电子组件可以 包括但不限于至少一个处理单元、 存储器、 以及将包括存储器在内的 各个组件耦接到处理单元的通信总线或通信装置。 系统或设备可以包 括或可以访问各种设备可读介质。系统存储器可以包括易失性和 /或非 易失性存储器形式的设备可读存储介质 （比如， 只读存储器 （ROM） 和 /或随机存取存储器 （RAM））。 通过示例而非限制的方式， 系统存 储器还可以包括操作系统、 应用程序、 其它程序模块和程序数据。
实施例可以实现为系统、 方法或程序产品。 因此， 实施例可以采 用全硬件实施例或者包括软件 （包括固件、 常驻软件、 微代码等） 的 实施例的形式， 它们在本文中可以统称为“电路”、 “模块”或“系统”。 此外， 实施例可以采取在其上体现有设备可读程序代码的至少一个设 备可读介质中体现的程序产品的形式。
可以使用设备可读存储介质的组合。 在本文档的上下文中， 设备 可读存储介质 （“存储介质”） 可以是任何有形的非信号介质， 其可以 包含或存储由配置为由指令执行系统、 装置或设备使用或与其结合使 用的程序代码组成的程序。 出于本公开的目的， 存储介质或设备应被 解释为非暂时性的， 即不包括信号或传播介质。
本公开出于说明和描述的目的得以呈现， 但是并非旨在穷举或限 制。 许多修改和变化对于本领域普通技术人员将是明显的。 选择和描 述实施例以便说明原理和实际应用， 并且使得本领域普通技术人员能 够理解具有适合于所预期的特定用途的各种修改的本公开的各种实施 例。

Claims

权 利 要 求 书
1.一种图像识别系统， 包括：
信息录入模块， 被配置为录入被检对象的信息， 并且识别所述被 检对象的信息是否为异常信息；
检测模块，被配置为检测所述被检对象和 /或其行李是否携带违禁 品；
增强现实（AR）模块， 被配置为在被检对象的信息异常的情况和 被检对象和 /或其行李携带违禁品的情况中的至少一种情况下，从所述 信息录入模块和 /或所述检测模块中获取被检对象的信息和 /或违禁品 的信息， 发出警报并且在所述 AR模块中标出被检对象和 /或违禁品； 以及
存储模块， 被配置为存储所述信息录入模块、 所述检测模块和所 述 AR模块操作过程中产生的信息。
2. 根据权利要求 1所述的图像识别系统，所述检测模块包括检测 通道、 第一检测装置和第二检测装置， 其中，
所述第一检测装置位于所述检测通道的前部， 所述第二检测装置 位于所述检测通道的后部， 所述第一检测装置和所述第二检测装置均 包括第一图像获取装置以及第二图像获取装置， 所述第一图像获取装 置用于获取被检对象的透视图， 所述第二图像获取装置用于获取关于 被检对象的深度信息和关于被检对象的彩色图像；
所述检测模块被配置为基于所述透视图和所述彩色图像检测所 述被检对象和 /或其行李是否携带违禁品。
3. 根据权利要求 2所述的图像识别系统，所述检测模块还被配置 为： 通过所述第一检测装置和所述第二检测装置中包括的所述第二图 像获取装置建立针对所述第二图像获取装置的全局坐标系， 以获取每 个被检对象在所述全局坐标系下的空间位置和 /或所携带的违禁品在 所述全局坐标系下的空间位置。
4. 根据权利要求 2所述的图像识别系统，所述检测模块还包括辅 助图像获取装置， 其位于所述检测通道的中间部位处， 用于获取关于 被检对象的深度信息和关于被检对象的彩色图像。
5. 根据权利要求 4所述的图像识别系统，所述检测模块还被配置 为： 通过所述第一检测装置和所述第二检测装置中包括的所述第二图 像获取装置以及所述辅助图像获取装置建立针对所述辅助图像获取装 置和所述第二图像获取装置的全局坐标系， 以获取每个被检对象在所 述全局坐标系下的空间位置和 /或所携带的违禁品在所述全局坐标系 下的空间位置。
6. 根据权利要求 3或 5所述的图像识别系统， 所述 AR模块还被配 置为：基于每个被检对象在所述全局坐标系下的空间位置和 /或所携带 的违禁品在所述全局坐标系下的空间位置，根据所述 AR模块与所述全 局坐标系之间的转换关系，获得每个被检对象和 /或所携带的违禁品在 所述 AR模块视角下的空间位置信息， 以在所述 AR模块上标出被检对 象和 /或违禁品。
7.—种图像识别方法， 包括：
利用信息录入模块录入被检对象的信息， 并且识别所述被检对象 的信息是否为异常信息；
利用检测模块检测所述被检对象和 /或其行李是否携带违禁品； 在被检对象的信息异常的情况和被检对象和 /或其行李携带违禁 品的情况中的至少一种情况下， 利用增强现实（AR）模块从所述信息 录入模块和 /或所述检测模块中获取被检对象的信息和 /或违禁品的信 息， 发出警报并且在所述 AR模块中标出被检对象和 /或违禁品； 以及 利用存储模块存储所述图像识别方法执行过程中产生的信息。
8. 根据权利要求 7所述的图像识别方法，所述利用检测模块检测 所述被检对象和 /或其行李是否携带违禁品包括：
利用所述检测模块的第一检测装置和第二检测装置中包括的第 一图像获取装置获取被检对象的透视图， 其中， 所述第一检测装置位 于所述检测模块中的检测通道的前部， 所述第二检测装置位于所述检 测通道的后部；
利用所述检测模块的第一检测装置和第二检测装置中包括的第 二图像获取装置获取关于被检对象的深度信息和彩色图像； 以及 基于所述透视图和所述彩色图像检测所述被检对象和 /或其行李 是否携带违禁品。
9. 根据权利要求 8所述的图像识别方法， 所述在所述 AR模块中 标出被检对象和 /或违禁品包括：
通过所述第一检测装置和所述第二检测装置中包括的所述第二 图像获取装置建立针对所述第二图像获取装置的全局坐标系， 以获取 每个被检对象在所述全局坐标系下的空间位置和 /或所携带的违禁品 在所述全局坐标系下的空间位置； 以及
基于所述空间位置在所述 AR模块中标出被检对象和 /或违禁品。
10. 根据权利要求 8所述的图像识别方法， 所述在所述 AR模块 中标出被检对象和 /或违禁品包括：
通过设置在所述检测通道中部的辅助图像获取装置和所述第一 检测装置和所述第二检测装置中包括的所述第二图像获取装置建立针 对所述辅助图像获取装置和所述第二图像获取装置的全局坐标系， 以 获取每个被检对象在所述全局坐标系下的空间位置和 /或所携带的违 禁品在所述全局坐标系下的空间位置， 其中， 所述辅助图像获取装置 用于获取关于被检对象的深度信息和关于被检对象的彩色图像； 以及 基于所述空间位置在所述 AR模块中标出被检对象和 /或违禁品。
11. 根据权利要求 9或 10所述的图像识别方法， 所述在所述 AR模 块中标出被检对象和 /或违禁品还包括：
基于每个被检对象在所述全局坐标系下的空间位置和 /或所携带 的违禁品在所述全局坐标系下的空间位置，根据所述 AR模块与所述全 局坐标系之间的转换关系，获得每个被检对象和 /或所携带的违禁品在 所述 AR模块视角下的空间位置信息， 以在所述 AR模块上标出被检对 象和 /或违禁品。
12. 一种电子设备， 包括：
一个或多个处理器； 以及
存储器， 用于存储一个或多个程序，
其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个处理器实现根据权利要求 7至 11中任一项所述的 方法。
13. —种非暂时性计算机可读介质，包括记录在其上且能够由处 理器运行的计算机程序产品， 所述计算机程序产品包括用于实现根据 权利要求 7至 11中任一项所述的方法的程序代码指令。
PCT/CN2020/072957 2019-02-28 2020-01-19 图像识别系统及其方法 WO2020173258A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20757506.9A EP3745359A4 (en) 2019-02-28 2020-01-19 IMAGE RECOGNITION SYSTEM AND METHOD
SG11202008813PA SG11202008813PA (en) 2019-02-28 2020-01-19 Image recognition system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910154670.1 2019-02-28
CN201910154670.1A CN109785446B (zh) 2019-02-28 2019-02-28 图像识别系统及其方法

Publications (1)

Publication Number Publication Date
WO2020173258A1 true WO2020173258A1 (zh) 2020-09-03

Family

ID=66486589

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/072957 WO2020173258A1 (zh) 2019-02-28 2020-01-19 图像识别系统及其方法

Country Status (4)

Country Link
EP (1) EP3745359A4 (zh)
CN (1) CN109785446B (zh)
SG (1) SG11202008813PA (zh)
WO (1) WO2020173258A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049575A (zh) * 2021-10-09 2022-02-15 国家邮政局邮政业安全中心 一种安检机违禁品智能检测方法及系统、电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785446B (zh) * 2019-02-28 2024-02-02 清华大学 图像识别系统及其方法
CN112149446B (zh) * 2019-06-26 2024-06-25 京东科技信息技术有限公司 一种属性信息识别方法、装置、终端设备和存储介质
CN112346141A (zh) * 2020-11-05 2021-02-09 上海亨临光电科技有限公司 一种太赫兹图像与可见光图像映射融合方法及系统
CN112580474B (zh) * 2020-12-09 2021-09-24 云从科技集团股份有限公司 基于计算机视觉的目标对象检测方法、系统、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542601A (zh) * 2010-12-10 2012-07-04 三星电子株式会社 一种用于3d对象建模的设备和方法
CN106198580A (zh) * 2016-08-26 2016-12-07 合肥丁点网络科技有限责任公司 一种x光安检机行李危险品快速自动检测报警装置及方法
CN106548263A (zh) * 2015-09-21 2017-03-29 同方威视技术股份有限公司 一种智能安全检查系统和方法
CN108268120A (zh) * 2016-12-29 2018-07-10 同方威视技术股份有限公司 基于vr或ar的图像数据处理方法、设备和安检系统
CN108519625A (zh) * 2018-04-08 2018-09-11 安徽理工大学 基于射线技术与深度学习的可识别违禁物品安检系统
CN109785446A (zh) * 2019-02-28 2019-05-21 清华大学 图像识别系统及其方法
CN209895386U (zh) * 2019-02-28 2020-01-03 清华大学 图像识别系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494210B2 (en) * 2007-03-30 2013-07-23 Optosecurity Inc. User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same
US8320659B2 (en) * 2007-08-01 2012-11-27 Telesecurity Sciences, Inc. Method for customs inspection of baggage and cargo
CN106934326B (zh) * 2015-12-29 2020-07-07 同方威视技术股份有限公司 用于安全检查的方法、系统和设备
CN105700029B (zh) * 2016-01-22 2018-11-16 清华大学 基于宇宙射线的检查对象的方法、装置及系统
CN107958435A (zh) * 2016-10-17 2018-04-24 同方威视技术股份有限公司 安检系统及配置安检设备的方法
CN108549898B (zh) * 2018-03-20 2019-03-12 特斯联（北京）科技有限公司 一种用于安检透视的特定目标识别与增强的方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542601A (zh) * 2010-12-10 2012-07-04 三星电子株式会社 一种用于3d对象建模的设备和方法
CN106548263A (zh) * 2015-09-21 2017-03-29 同方威视技术股份有限公司 一种智能安全检查系统和方法
CN106198580A (zh) * 2016-08-26 2016-12-07 合肥丁点网络科技有限责任公司 一种x光安检机行李危险品快速自动检测报警装置及方法
CN108268120A (zh) * 2016-12-29 2018-07-10 同方威视技术股份有限公司 基于vr或ar的图像数据处理方法、设备和安检系统
CN108519625A (zh) * 2018-04-08 2018-09-11 安徽理工大学 基于射线技术与深度学习的可识别违禁物品安检系统
CN109785446A (zh) * 2019-02-28 2019-05-21 清华大学 图像识别系统及其方法
CN209895386U (zh) * 2019-02-28 2020-01-03 清华大学 图像识别系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3745359A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049575A (zh) * 2021-10-09 2022-02-15 国家邮政局邮政业安全中心 一种安检机违禁品智能检测方法及系统、电子设备

Also Published As

Publication number Publication date
CN109785446B (zh) 2024-02-02
EP3745359A1 (en) 2020-12-02
EP3745359A4 (en) 2021-11-03
CN109785446A (zh) 2019-05-21
SG11202008813PA (en) 2020-10-29

Similar Documents

Publication Publication Date Title
WO2020173258A1 (zh) 图像识别系统及其方法
KR102021999B1 (ko) 인체 감시 발열 경보 장치
US7965904B2 (en) Position and orientation measuring apparatus and position and orientation measuring method, mixed-reality system, and computer program
CN105389797B (zh) 一种基于超分辨率重建的无人机视频小目标检测方法
CN209895386U (zh) 图像识别系统
JP7255718B2 (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
WO2019061293A1 (zh) 对象检测方法、对象检测终端及计算机可读介质
JP6732522B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2017163955A1 (ja) 監視システム、画像処理装置、画像処理方法およびプログラム記録媒体
JP2016218760A5 (zh)
CN108141568B (zh) Osd信息生成摄像机、合成终端设备及共享系统
CN106937532B (zh) 用于检测真正用户的系统和方法
JP2017017431A (ja) 画像処理装置、情報処理方法及びプログラム
US20190065900A1 (en) Information processing device, information processing program, and information processing method
CN111066023A (zh) 检测系统、检测设备及其方法
KR20150021351A (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR20210074259A (ko) 체온검출장치 및 그 방법
CN107704851B (zh) 人物识别方法、公共传媒展示装置、服务器和系统
EP3683716A1 (en) Monitoring method, apparatus and system, electronic device, and computer readable storage medium
Bandyopadhyay et al. Identifications of concealed weapon in a Human Body
CN113405674B (zh) 体温测量方法及摄像设备
US11481996B2 (en) Calculation device, information processing method, and storage medium
JP2011071746A (ja) 映像出力装置及び映像出力方法
JP2016194847A (ja) 画像検出装置、画像検出方法およびプログラム
TWI765670B (zh) 關注姿態估計方法及其系統

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020757506

Country of ref document: EP

Effective date: 20200826

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20757506

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE