[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2007138811A1 - 不審行動検知装置および方法、プログラムおよび記録媒体 - Google Patents

不審行動検知装置および方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
WO2007138811A1
WO2007138811A1 PCT/JP2007/058936 JP2007058936W WO2007138811A1 WO 2007138811 A1 WO2007138811 A1 WO 2007138811A1 JP 2007058936 W JP2007058936 W JP 2007058936W WO 2007138811 A1 WO2007138811 A1 WO 2007138811A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
action
behavior
authority
unit
Prior art date
Application number
PCT/JP2007/058936
Other languages
English (en)
French (fr)
Inventor
Eiki Ishidera
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2008517807A priority Critical patent/JP4924607B2/ja
Priority to US12/302,925 priority patent/US7973656B2/en
Priority to ES07742371T priority patent/ES2431667T3/es
Priority to EP07742371.3A priority patent/EP2037426B1/en
Publication of WO2007138811A1 publication Critical patent/WO2007138811A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves

Definitions

  • the present invention relates to a monitoring technique, and more particularly to an apparatus and method for detecting suspicious behavior, abnormal behavior, and prohibited behavior from an authentication sensor and camera video.
  • Non-Patent Document 2 A System for Video Surveillance and Monitoring tech. Report CMU-R TR-00-12, Roootics Institute, Carnegie” The technology disclosed in Mellon University, May, 2000.
  • Object Video's VEW and other products are known.
  • violations occur when a person or vehicle enters an area where entry is prohibited, or when a person or vehicle crosses a dividing line that must not be exceeded. It is possible to automatically detect prohibited actions and issue an alarm.
  • RFID is known to be used in various forms as an authentication device.
  • the authority to enter and leave the building network is authenticated by RFID, and the person or vehicle that is authenticated to have authority is gated. It is applied to entrance / exit management such as opening the door to allow entry.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2004-127142
  • a person who has the authority to enter a predetermined space is authenticated using an IC card or the like, and the legitimacy of the person entering the space is verified.
  • a method for judging the gender is disclosed, according to this technology, it is possible to judge only the legitimacy of entering a certain person, and it is not possible to judge the legitimacy of the action in a certain person or a place with a vehicle. There was a problem.
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2005-110557 discloses a method for improving accuracy by combining video surveillance and a sensor such as RFID.
  • Patent Document 2 According to the technique of Patent Document 2, it is possible to obtain detailed dynamic information such as people and things that cannot be grasped only by video information from a camera or the like.
  • Patent Document 1 JP 2004-127142 A
  • Patent Document 2 JP-A-2005-11057
  • Non-Patent Document 2 A System for Video Surveillance and Monotonng tech.report CMU- RI-TR-00-12, Robotics Institute, Carnegie Mellon University, May, 2000.
  • Non-Patent Document 2 With the technology disclosed in Non-Patent Document 2, even a person or vehicle with action authority issues a warning as a prohibited action or a violation action, just like a general person or vehicle. was there.
  • Patent Document 2 uses only information about whether or not it has an RFID or GPS mobile terminal, and authenticates it according to the action authority of the monitoring target. Therefore, it is not possible to apply a detailed monitoring policy according to the action authority, On the other hand, there was a problem that an alarm was erroneously issued.
  • the present invention improves the conventional problems as described above, and does not assume that all persons or vehicles to be monitored carry RFID or assume biometric authentication. Analyzes the behavior of persons and vehicles in detail, and automatically violates and prohibits behavior without issuing extra warnings as long as it is within the scope of action authority given to the person or vehicle to be monitored. It is an object of the present invention to provide a suspicious behavior detection device and method capable of detecting an alarm and issuing an alarm.
  • the suspicious behavior detection device includes a signal generating means, a sensor that receives a signal from the signal generating means, and a suspicious behavior detecting device that detects suspicious behavior using image data captured by a camera. Because
  • An image input unit that captures and outputs image data from the camera
  • a moving object such as a person or a vehicle included in the image indicated by the image data from the image input unit is detected, whether the detected moving object is a person or a vehicle, the position is determined, and a movement locus is also extracted.
  • An action analysis unit that outputs as mobile body action information,
  • An authentication information input unit that obtains an ID number, a reception time, and a reception position indicated by the signal received by the sensor, and outputs it as authentication information based on the output of the sensor;
  • Action authority information that stores the action authority information corresponding to the authentication information, obtains action authority information corresponding to the authentication information input from the authentication information input section, and outputs the action authority information added to the input authentication information;
  • the action authority information is added to the mobile action information by associating the authentication information added with the action authority information input from the action authority authentication section with the mobile action information input from the action analysis section.
  • An information integration unit that outputs
  • a list of allowed and prohibited actions is provided according to the action authority, and the action authority added to the mobile action information input from the information integration unit is set in advance. Actions that generate and output warning information when it is detected that the behavior indicated by mobile behavior information is a violation or prohibited action by referring to the list. And An output unit that outputs a warning when warning information from the behavior determination unit is input.
  • the behavior authority level for the mobile body behavior information is set as the lowest level. It ’s good to know.
  • the behavior determination unit creates and associates temporary mobile body behavior information and sets the behavior authority level to the lowest level. As a recognition, as well.
  • a suspicious behavior detection device detects suspicious behavior using signal generation means, a sensor that receives a signal from the signal generation means, and image data captured by a camera.
  • a suspicious behavior detection device detects suspicious behavior using signal generation means, a sensor that receives a signal from the signal generation means, and image data captured by a camera.
  • An image input unit that captures and outputs image data from the camera
  • a moving object such as a person or a vehicle included in the image indicated by the image data from the image input unit is detected, whether the detected moving object is a person or a vehicle, the position is determined, and a movement locus is also extracted.
  • An action analysis unit that outputs as mobile body action information,
  • An authentication information input unit that obtains an ID number, a reception time, and a reception position indicated by the signal received by the sensor, and outputs it as authentication information based on the output of the sensor;
  • Action authority information corresponding to the authentication information is stored, a template for uniforms and clothes is stored, and a partial image of the person is obtained by referring to the position of the person from the moving body action information from the action analysis unit.
  • the clothes and clothes Using the information as recognition information, obtain the action authority information corresponding to the authentication information input from the authentication information input unit or the recognition information that is information about uniforms and clothes, and add it to the input authentication information and output it
  • An action authority authentication unit to
  • the action authority information is added to the mobile action information by associating the authentication information added with the action authority information input from the action authority authentication section with the mobile action information input from the action analysis section.
  • An information integration unit that outputs
  • the behavior authority added to the mobile behavior information input from the information integration unit is recognized by referring to the list, and the behavior behavior information indicated by the mobile behavior information is recognized in advance.
  • An action determination unit that generates and outputs warning information when it detects that the action is a violation action or a prohibited action;
  • An output unit that outputs a warning when warning information from the behavior determination unit is input.
  • the action authority authenticating unit sets the action authority level for the mobile body action information as the lowest level when the mobile body action information is input that does not correspond to any authentication information. As you do.
  • the behavior authority authentication unit creates and associates temporary mobile body behavior information and minimizes the behavior authority level. It may be set as a level.
  • the list of permitted actions and prohibited actions in the action determination unit may be changed according to time.
  • the behavior determination unit may apply the behavior authority added to one mobile behavior information to other mobile behavior information.
  • a program according to the present invention causes a computer system to execute the processing performed by each of the above components, and the recording medium according to the present invention stores the program.
  • the behavior analysis unit detects a person or vehicle, detects its position, extracts a movement trajectory, etc.
  • the behavior authority authentication unit extracts the behavior authority information of the person or vehicle, and the behavior authority information The position where is detected is detected.
  • the information integration unit compares the position where the action authority information is detected with the position of the person or vehicle calculated from the image, and obtains the action authority level of the person or vehicle detected from the image. If no action authority information is detected when a person or vehicle is detected in the video, the action authority level is set to the lowest level.
  • the action determination unit refers to a list of permitted actions and prohibited actions according to the detected action authority of the person or vehicle, and generates alarm information when a violation action or a prohibited action is detected. . [0034] Therefore, for example, even when a person is detected in a prohibited area other than the related person, if the person is permitted to enter with reference to the action authority information, alarm information is not generated. Therefore, it is possible to reduce the number of times that false alarm information is generated and to perform efficient monitoring.
  • FIG. 1 is a block diagram of a figure reading apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of a figure reading method according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of a figure reading apparatus according to an embodiment of the present invention.
  • FIG. 4 is a diagram showing an example in which camera video is converted to coordinates on a map.
  • FIG. 5 is a diagram showing an example of the position of moving body behavior information obtained from a camera image.
  • FIG. 6 is a diagram showing an example of an estimated range of the position of authentication information obtained from an RFID sensor.
  • FIG. 7 is a diagram showing an example in which the position of the moving body behavior information and the position of the authentication sensor at the time Ijt are indicated by coordinates on the map.
  • FIG. 8 is a diagram showing an example in which the position of the mobile action information and the position of the authentication information at the time ljt + 1 are indicated by coordinates on the map.
  • FIG. 9 A diagram showing an example of a camera image of a one-way airport passage.
  • FIG. 10 is a diagram showing an example of a camera image obtained by photographing a platform of a station.
  • FIG. 11 is a diagram showing an example of mobile object information, authentication information, and restricted areas detected at a station platform.
  • FIG. 1 is a block diagram showing a configuration of an embodiment of a figure reading apparatus according to the present invention.
  • the present embodiment includes an image input unit 11, a behavior analysis unit 12, and an authentication information input unit.
  • action authority authentication unit 14 information integration unit 15, action determination unit 16, and output unit 17, each of which is shown in Fig. 2, image input processing 21, action analysis processing 22, authentication information
  • An input process 23, an action authority authentication process 24, an information integration process 25, an action determination process 26, and an output process 27 are executed.
  • the image input unit 11 can be easily created from a normal CCD camera and memory.
  • the image input unit 11 captures image data indicating an image taken by the camera or the like and outputs the image data to the behavior analysis unit 12.
  • the behavior analysis unit 12 detects a moving object (image) such as a person or a vehicle included in the image indicated by the image data input from the image input unit 11, and determines whether the detected moving object is a person or a vehicle. ⁇ Recognize, find its position, extract the movement trajectory, and output it to the broadcast integration unit 15 as moving body action information.
  • the authentication information input unit 13 can be easily created from, for example, a normal RFID reader, memory, and control means (CPU).
  • the sensor (not shown) reads the ID number of a person or vehicle and the time of reading. Is output to the action authority authentication unit 14 as authentication information.
  • the action authority authentication unit 14 includes a storage unit that stores the action authority information corresponding to the authentication information, and obtains and inputs the action authority information corresponding to the authentication information input from the authentication information input unit 13. It is added to the authentication information and output to the information integration unit 15.
  • the authentication information input unit 13 includes, for example, face authentication, fingerprint authentication, vein authentication, and iris recognition. It is also possible to use certificates, clothing authentication, optical ID tags, and GPS mobile phone authentication. When using face authentication, iris authentication, clothing authentication, or optical ID tag authentication, it can be easily created from a normal CCD camera, memory, and CPU. When using fingerprint authentication, it can be easily created from a normal fingerprint sensor, memory and CPU. When using vein authentication, it can be easily created from a normal vein sensor, memory and CPU.
  • the authentication information input unit 13 may be a normal GPS and a GPS mobile terminal such as a GPS mobile phone.
  • the information integration unit 15 associates the authentication information to which the behavior authority information input from the behavior authority authentication unit 14 is added with the mobile body behavior information input from the behavior analysis unit 12, and moves the mobile body behavior information.
  • Action authority information is added to and output to the action determination unit 16.
  • the action determination unit 16 includes a list of permitted actions and prohibited actions according to the action authority, and the action added to the mobile action information input from the information integration part 15 Recognize the violations and prohibited actions set in advance by referring to the above list, and generate alarm information when the behavior indicated by the mobile action information is detected as a violation or prohibited action. And output to the output unit 17.
  • the output unit 17 When the warning information from the behavior determination unit 16 is input, the output unit 17 outputs a warning.
  • the behavior analysis unit 12, the behavior authority authentication unit 14, the information integration unit 15, the behavior determination unit 16, and the output unit 17 can be easily configured on a normal computer or PDA terminal.
  • a moving object is detected from the video, whether the detected moving object is a person, a vehicle, or the like, the position of the moving object is obtained, and the movement locus is extracted. Then, the mobile body action information is created by obtaining the time information.
  • a moving object detection algorithm an algorithm for recognizing whether the detected moving object is a person or a vehicle, and the position of the moving object are obtained, and the movement locus
  • the moving body action information is obtained, for example, as time series information including time information, a circumscribed rectangle of the moving body on the image, and a recognition result for recognizing a person, a vehicle, or the like.
  • time series information including time information, a circumscribed rectangle of the moving body on the image, and a recognition result for recognizing a person, a vehicle, or the like.
  • Time series information of the position coordinates of the center of the circumscribed rectangle on the image of the moving body and the midpoint of the lower side can be used as the movement locus, and information obtained by converting these points into coordinates on the map Can also be used as a moving trajectory.
  • Mobile body behavior information can be acquired in real time, and time series information can be acquired by measuring N times per second. At this time, N can be a positive integer from 1 to 30, for example.
  • authentication information input processing 23 performed in authentication information input unit 13, authentication information is created.
  • the authentication information includes the read ID number, the read time, and the location information of the read location.
  • the read RFID or optical ID ID number and the time when the ID number was read when using RFID or optical ID, the read RFID or optical ID ID number and the time when the ID number was read. Authentication information can be created.
  • the position information may be, for example, coordinates on a map of an installation location of an RFID reader or an optical ID sensor.
  • the coordinates on the image obtained in the image input process 21 performed by the image input unit 11 are converted into real-world coordinates. It can also be set as a value.
  • the position coordinates on the map of each RFID reader are obtained, and the RFID radio waves are obtained. It is also possible to triangulate the intensity to determine the position coordinates on the RFID map and use this as position information.
  • the coordinates on the image obtained by the image input processing 21 performed in the image input unit 11 are converted into the real world. It can also be a value converted into coordinates.
  • RFID position information is collected in real time within the RFID detection range. It can also be obtained, or it can be measured N times per second to obtain and output position information as a time series. At this time, N can be a positive integer from 1 to 30, for example.
  • a person to be authenticated is a person, and facial authentication, fingerprint authentication, vein authentication, or iris authentication is used
  • the ID number of the authenticated person is referred to by referring to a list of biometric information stored in advance.
  • Authentication time information can be created.
  • the position information may be, for example, coordinates on a map of the installation location of a fingerprint authentication sensor, a vein authentication sensor, or an iris authentication sensor.
  • the coordinates on the image obtained by the image input processing 21 performed in the image input unit 11 are converted into the real world. It can also be a value converted into coordinates.
  • the face position is usually detected for face authentication.
  • the coordinates on the face image detected in the face authentication process can be used as position information.
  • the position of the face can be obtained in real time, or the face position information, its time, and the person ID number are obtained as time series by measuring N times per second. It can also be information. At this time, N can be a positive integer from 1 to 30, for example.
  • FIG. 3 is a block diagram showing the configuration of the figure reading apparatus when a subject to be authenticated is a person and clothes authentication is used.
  • the apparatus shown in FIG. 3 includes an image input unit 31, a behavior analysis unit 32, an authentication information input unit 2 unit 33, a behavior authority authentication unit 34, an information integration unit 35, a behavior determination unit 36, and an output unit 37. Be done
  • each unit in the present embodiment is as follows.
  • the action authority authentication unit 34 in this embodiment stores the uniform and clothing templates, and the position of the person based on the mobile body action information from the behavior analysis unit 32 is the same as the output unit 17.
  • a partial image of a person is obtained by referring to the image and compared with a uniform or clothing stored in the template. If there is a uniform or clothing whose similarity is higher than a predetermined threshold, the uniform Information on clothes and clothes is used as recognition information, and action authority information corresponding to this recognition information is obtained and added to the input authentication information for output.
  • Dmax is a predetermined positive constant.
  • the position information and the time information can be given the same information as the moving body behavior information obtained by the behavior analysis unit 12 or the behavior analysis processing 22.
  • a position of a person or a vehicle is referred to obtain a partial image thereof to detect a light ID, and read the ID number to create authentication information. it can.
  • the position information and the time information can be given the same information as the moving body behavior information obtained in the behavior analysis processing 22 in the behavior analysis unit 12.
  • action authority authentication process 24 in the action authority authenticating unit 14 for example, referring to a table-type database of predetermined ID numbers and corresponding action authority levels using the ID number of the authentication information as a key, A behavior authority level is added to authentication information.
  • the information integration processing 25 in the information integration unit 15 of FIG. 1 it is confirmed that the time is almost the same, or the mobile behavior information determined to have the closest time is compared with the authentication information. Thus, which mobile body information corresponds to which authentication information, the action authority level is given to the mobile body action information.
  • Patent Document 2 described above Can be used.
  • FIG. 4 is a diagram showing an image obtained by converting a certain camera image into coordinates on a map.
  • Each of the persons 41A to 43A carries an active RFID, and the sensors 41B to 41B receive signals from the active RFID carried by the persons 41A to 43A.
  • FIG. 5 is a diagram showing estimated positions based on the moving body behavior information 41C to 43C obtained by the behavior analysis unit 12 or 32).
  • the behavior analysis unit 12 or 32 obtains the moving body behavior information 41C to 43C from the camera video.
  • the estimated positions based on the mobile body behavior information 41C to 43C are the positions shown in FIG.
  • the authentication information input unit 13 or 33 outputs the authentication information according to signals from the sensors 41B to 41B. If coordinate information on the map of sensors 41B-44B is also given in advance, the radio field strength of the active RFID carried by each person 41A-43A shown in the measurement results of each sensor 41B-44B as authentication information is triangular. As shown in FIG. 6, the estimated position based on the authentication information 41D to 43D can be obtained by surveying, and the authentication information input unit 13 (or 33) includes information including the estimated position in addition to the information based on RFID. Output as authentication information.
  • the information integration unit 15 compares the estimated position information, and can determine that the correspondence is established if the position of the mobile action information exists within the estimated range of each authentication information. It is. It is also possible to express the position of mobile action information and authentication information as a continuous probability such as a normal distribution centered on a certain coordinate point, and the value obtained by multiplying the position information of each other is maximized. It is also possible to determine that the pair is in a correspondence relationship.
  • the authentication sensor is a face authentication sensor, optical ID sensor, or GPS mobile terminal, the correspondence between the moving body behavior information and the authentication information can be obtained by the same method.
  • FIG. 7 is a diagram showing an image obtained by converting a certain camera image into coordinates on a map.
  • Human body motion information of person 51 A obtained from camera image at time t Position information and sensor based on 51C
  • the mobile body behavior information 51C is not yet authenticated.
  • the action determination unit 16 sets the action authority level for the mobile action information regardless of the content of the action authority information. Is recognized as the lowest level. Conversely, if there is authentication information that does not correspond to any mobile body behavior information, it is possible to create temporary mobile body behavior information and associate it with the assumption that it exists in the blind spot of the camera. Is recognized as the lowest level.
  • the behavior authority in the behavior determination unit 16 described above is used.
  • the action authority level can be set similarly to the level recognition, and such a configuration may be adopted.
  • Temporary moving body behavior information can be replaced with newly found moving body behavior information.
  • the list of permitted actions and prohibited actions is referred to according to the action authority of the detected person or vehicle, and the violation action or the prohibited action is determined. Generate alarm information when detected.
  • the monitoring system is configured to generate alarm information.
  • the monitoring system is configured to generate alarm information.
  • the case will be explained.
  • a person 61A walking in the opposite direction is detected in a one-way corridor of an airport.
  • This person 61A is authenticated with active RFID, for example, and refers to a list of actions permitted and prohibited from the person's action authority level, and freely travels even in a one-way corridor at the airport. If it is possible to know that it is good, it is possible to determine that it is not necessary to issue an alarm because the behavior of walking in the opposite direction in the one-way corridor is within the scope of action authority, and alarm information is generated do not do.
  • Person 61A's behavioral authority cannot be authenticated, or free traffic on one-way corridor is not permitted with reference to the list of permitted and prohibited behaviors at a low level of behavioral authority If it is known, alarm information can be generated.
  • the authentication method is not limited to active RFID. Face authentication, fingerprint authentication, vein authentication, iris authentication, etc., narrow detection range, RFID, optical ID, clothing authentication, etc.
  • alarm information should be created if a general person enters the track. This will be described in the case of a monitoring system with various settings.
  • FIG. 11 shows a state in which FIG. 10 is represented on the map, and it is determined that the person 71A is in the restricted entry area in the area where entry is permitted only on the home.
  • This person 71A is authenticated by active RFID or uniform, for example, and is allowed to enter the track by referring to the list of permitted and prohibited actions based on the person's action authority level. If it is possible to know that this is done, it is possible to determine that it is not necessary to issue an alarm because entry into the track is within the scope of action authority, and no alarm information is generated. .
  • the authentication method does not need to be active RFID or authentication by clothes.Face authentication or fingerprint authentication can be performed using vein authentication or iris authentication with a narrow detection range, RFID or optical ID, etc. .
  • the definition of permitted actions and non-permitted actions can be changed dynamically.
  • Example it is possible to prohibit the intrusion of a person having a specific action authority according to the time zone.
  • the determination of the permitted action and the non-permitted action may be a composite determination for a plurality of moving objects. For example, anyone can be allowed to enter a specific area only when there is a supervisor wearing a specific uniform. In addition, for example, a maximum of M people can be allowed to enter for clothes wearers.
  • M can be set freely by a positive integer from 1 to 10, for example.
  • Alarm information can be generated when L) ⁇ A X N (0).
  • A is a predetermined constant.
  • an alarm corresponding to the level of the alarm information is output.
  • the text “Intruder in restricted area” is displayed, the character is displayed in yellow, orange, red according to the level, and the size of the character according to the level You can also change it.
  • information can be distributed to e-mail, a portable information terminal, and a mobile phone, and the number of persons to be distributed and the target person can be changed according to the level.
  • an alarm can be distributed to other monitoring systems via a network, and the number of systems for distributing information and target systems can be changed according to the level. It is also possible to emit an alarm sound with a siren or a local speaker, and the volume of the alarm sound or the frequency can be changed according to the level.
  • the image input unit 31, the behavior analysis unit 32, the authentication information input unit 33, the behavior authority authentication unit 34, the information integration unit 35, the behavior determination unit 36, and the output unit 37 input signals from CCD cameras and sensors.
  • the present invention can also be constructed on a computer system, and the present invention includes a program for causing a computer system to execute the processing performed by each component described above, and a CD—ROM, floppy disk, DVD— Recording media such as ROM are also included.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

　本発明は監視カメラで検出された人物や乗り物の行動の監視を効率良く行うことを目的とし、信号発生手段と、該信号発生手段からの信号を受信するセンサと、カメラにより撮影された画像データを用い、カメラによる画像に含まれる人物や乗り物などの移動体を検出して移動体行動情報とし、センサが受信した信号に示されるID番号を認証情報とし、認証情報と対応する行動権限に応じて、許可されている行動と禁止されている行動を定め、移動体行動情報が示す行動が違反行動や禁止行動であることを検知した場合には警報を出力する。

Description

明 細 書
不審行動検知装置および方法、プログラムおよび記録媒体
技術分野
[0001] 本発明は監視技術に関し、特に、認証用センサとカメラ映像から不審行動や異常 行動や禁止行動を検知する装置および方法に関する。
背景技術
[0002] 従来からカメラで撮影された映像から人物や乗り物を検出し、これらの行動を分析 することで自動的に警報を発するための方法が多く提案されてレ、る。
[0003] 上記の方法を実行する具体的な技術としては、例えば、非特許文献 2 ("A System f or Video Surveillance and Monitoring tech. report CMU-Rト TR-00-12, Roootics In stitute, Carnegie Mellon University, May, 2000.)に開示されている技術や、 Object Video社の VEWとレ、う製品に利用されてレ、る技術が知られてレ、る。
[0004] これらの技術によると、立ち入り禁止として設定されている区域に人物や乗り物が侵 入した場合や、越えてはならないと定められた仕切り線を人物や乗り物が越えた場合 等、違反行動や禁止行動を自動的に検知して警報を発することが可能である。
[0005] しかし、これらの技術では、例えば、「関係者以外立ち入り禁止」の区域に立ち入る 権限を持った関係者が、「関係者以外立ち入り禁止」の区域に立ち入った場合や、 救急車両が赤信号の交差点に侵入した場合等、行動権限を持つ人物や乗り物であ つても、一般の人物や乗り物と同じように禁止行動や違反行動として警報を発してし まうという問題があった。
[0006] 一方で、 RFIDは認証機器として様々な利用形態が知られており、例えばビルゃォ フィスの入退場の権限を RFIDにより認証し、権限を持つと認証された人物や乗り物に はゲートを開いて入場を許可する等の入退場管理に応用されている。
[0007] また、人物だけを対象とした場合、顔や指紋や静脈や虹彩による生体認証を用いる 方法も知られている。
[0008] しかし、 RFIDだけを用いた監視システムでは、 RFIDの反応が無い場合、なにもィべ ントが起きていないことと同じであるため、監視対象者全員に RFIDを携帯させなけれ ば十分な監視機能が得られないという問題があり、適用範囲が限られるという問題も あった。
[0009] とりわけ、ビルのロビーや鉄道の駅、空港等の RFIDを持っていない人物が数多く存 在するような領域や公共エリアでは RFIDだけを用いても効果的な監視システムの実 現は困難であった。
[0010] また、生体認証の場合でも同様な問題があり、監視対象者全員を認証可能な状態 にしておかなければならず、データ管理の負担が大きい。
[0011] また、 RFIDや生体認証だけでは監視対象となる人物や乗り物の詳しレ、行動は分析 できず、何時にどのゲートを通過したカ 何時にどの場所にいたか等、粒度の粗い監 視しかできないとレ、う問題があった。
[0012] 例えば、特許文献 1 (特開 2004-127142号公報）では、所定のスペースへ入場'利 用する権限を有する者を ICカード等を用いて認証し、該スペースへの入場者の正当 性を判定する方法が開示されているが、この技術によると、ある人物がある場所に入 場する正当性しか判定できず、ある人物や乗り物のある場所における行動の正当性 は判定できなレ、とレ、う問題があった。
[0013] 特許文献 2 (特開 2005-11057号公報）には、映像監視と RFID等のセンサーを組み 合わせて精度を上げる方法が開示されている。
[0014] 特許文献 2の技術によると、カメラ等の映像情報のみでは把握できない、人やもの 等の詳細動態情報を得ることが可能である。
[0015] また、特許文献 2の技術によると、会社の敷地内のような場所では全員が RFIDタグ を持っているはずなので、 RFIDの反応が無いのに人物が検知された場合には不審 者であるとして警報を発することができる。
[0016] しかし、この技術では単純に RFIDや GPS携帯端末を持っているかどうかだけの情報 のみを使用し、監視対象の行動権限については認証していないので、以下のような 細かい警報の制御が難しい。
[0017] すなわち、どの場所にでも入場できる権限を持つ人物なら監視対象とせず何も警 報は発しなレ、、ある特別なエリアにだけ入場を許可されている人物ならば許可されて レ、ないエリアに入れば違反行動をしたとして警報を発する、入場自体許可されていな い人物や RFIDタグ不携帯の人物は検知した時点で警報を発する、逆走禁止の通路 で逆走する人物を検知してもその人物が特別に逆走しても良いという行動権限を持 つてレ、れば警報を発しない、逆走禁止の通路で逆走する人物を検知してもその人物 が特別に逆走しても良いとレ、う行動権限を持ってレ、れば警報を発しなレ、、立ち止まつ てはいけない通路で立ち止まつている人物を検知してもその人物が特別に立ち止ま つても良いという行動権限を持っていれば警報を発しない等、行動権限に応じたきめ 細かな監視ポリシーを適用できず、行動権限を持つ人物に対しても誤って警報を発 してしまうという問題があった。
特許文献 1：特開 2004-127142号公報
特許文献 2：特開 2005-11057号公報
非特許乂献 2 : A System for Video Surveillance andMonitonng tech. report CMU- RI-TR-00-12, Robotics Institute, Carnegie Mellon University, May, 2000.
発明の開示
発明が解決しょうとする課題
[0018] 非特許文献 2に開示される技術では、行動権限を持つ人物や乗り物であっても、一 般の人物や乗り物と同じように禁止行動や違反行動として警報を発してしまうという問 題があった。
[0019] RFIDだけを用いた監視システムでは、 RFIDの反応が無い場合、なにもイベントが起 きていないことと同じであるため、監視対象者全員に RFIDを携帯させなければ十分 な監視機能を得ることができず、適用範囲が限られるという問題がある。このことは、 生体認証の場合でも同様であり、監視対象者全員を認証可能な状態にしておかなけ ればならず、データ管理の負担が大きい。
[0020] また、 RFIDや生体認証だけでは監視対象となる人物や乗り物の詳しレ、行動は分析 できず、何時にどのゲートを通過した力、何時にどの場所にいたか等、粒度の粗い監 視しかできないとレ、う問題があった。
[0021] 特許文献 2に開示される技術では、単純に RFIDや GPS携帯端末を持っているかど うかだけの情報のみを使用し、監視対象の行動権限にっレ、ては認証してレ、なレ、ので 、行動権限に応じたきめ細かな監視ポリシーを適用できず、行動権限を持つ人物に 対しても誤って警報を発してしまうという問題があった。
[0022] 本発明は、上述したような従来の問題点を改善し、監視対象となる人物や乗り物の 全てが RFIDを携帯していたり生体認証可能な状態を仮定しなくても、監視対象となる 人物や乗り物の行動を詳細に分析し、監視対象となる人物や乗り物に与えられた行 動権限の範囲内であれば余計な警報を発することなしに、違反行動や禁止行動を自 動的に検知して警報を発することが可能な不審行動検知装置および方法を提供す ることを目的とする。
課題を解決するための手段
[0023] 本発明による不審行動検知装置は、信号発生手段と、該信号発生手段からの信号 を受信するセンサと、カメラにより撮影された画像データを用いて不審行動を検知す る不審行動検知装置であって、
前記カメラによる画像データを取り込んで出力する画像入力部と、
前記画像入力部からの画像データが示す画像に含まれる人物や乗り物などの移動 体を検出し、検出した移動体が人物か乗り物かその他かを認識し、その位置を求め、 移動軌跡も抽出して移動体行動情報として出力する行動解析部と、
前記センサの出力により、前記センサが受信した前記信号に示される ID番号と、受 信時刻と受信位置を求め、認証情報として出力する認証情報入力部と、
前記認証情報と対応する行動権限情報を記憶し、前記認証情報入力部より入力さ れた認証情報に対応する行動権限情報を得、入力された認証情報に付加して出力 する行動権限認証部と、
前記行動権限認証部から入力された行動権限情報が付加された認証情報と、前 記行動解析部から入力された移動体行動情報とを対応付けて移動体行動情報に行 動権限情報を付加して出力する情報統合部と、
行動権限に応じて、許可されている行動と禁止されている行動のリストを備え、前記 情報統合部より入力された移動体行動情報に付加されている行動権限について、予 め設定されてレ、る違反行動や禁止行動を前記リストを参照することで認識し、移動体 行動情報が示す行動が違反行動や禁止行動であることを検知した場合には警報情 報を生成して出力する行動判定部と、 前記行動判定部からの警告情報が入力されると警告を出力する出力部と、 を有する。
[0024] この場合、前記行動判定部は、どの認証情報とも対応しなレ、移動体行動情報が入 力された場合には、その移動体行動情報についての行動権限レベルを最低レベル として言忍識することとしてもよレ、。
[0025] また、前記行動判定部は、どの移動体行動情報にも対応しない認証情報がある場 合には、仮の移動体行動情報を作成して対応付け、その行動権限レベルを最低レ ベルとして認識することとしてもょレ、。
[0026] 本発明の他の形態による不審行動検知装置は、信号発生手段と、該信号発生手 段からの信号を受信するセンサと、カメラにより撮影された画像データを用いて不審 行動を検知する不審行動検知装置であって、
前記カメラによる画像データを取り込んで出力する画像入力部と、
前記画像入力部からの画像データが示す画像に含まれる人物や乗り物などの移動 体を検出し、検出した移動体が人物か乗り物かその他かを認識し、その位置を求め、 移動軌跡も抽出して移動体行動情報として出力する行動解析部と、
前記センサの出力により、前記センサが受信した前記信号に示される ID番号と、受 信時刻と受信位置を求め、認証情報として出力する認証情報入力部と、
前記認証情報と対応する行動権限情報を記憶し、かつ、制服や衣服のテンプレー トを記憶し、前記行動解析部からの移動体行動情報から人物の位置を参照して人物 の部分画像を得て、前記テンプレートに記憶されてレ、る制服や衣服と比較を行い、 両者の類似性が予め定められた閾値よりも高い制服や衣服がある場合にはその制 服や衣服にっレ、ての情報を認識情報とし、前記認証情報入力部より入力された認証 情報、または、制服や衣服についての情報である認識情報に対応する行動権限情 報を得、入力された認証情報に付加して出力する行動権限認証部と、
前記行動権限認証部から入力された行動権限情報が付加された認証情報と、前 記行動解析部から入力された移動体行動情報とを対応付けて移動体行動情報に行 動権限情報を付加して出力する情報統合部と、
行動権限に応じて、許可されている行動と禁止されている行動のリストを備え、前記 情報統合部より入力された移動体行動情報に付加されている行動権限について、予 め設定されてレ、る違反行動や禁止行動を前記リストを参照することで認識し、移動体 行動情報が示す行動が違反行動や禁止行動であることを検知した場合には警報情 報を生成して出力する行動判定部と、
前記行動判定部からの警告情報が入力されると警告を出力する出力部と、 を有する。
[0027] この場合、前記行動権限認証部は、どの認証情報とも対応しなレ、移動体行動情報 が入力された場合には、その移動体行動情報についての行動権限レベルを最低レ ベルとして設定することとしてもょレ、。
[0028] また、前記行動権限認証部は、どの移動体行動情報にも対応しない認証情報があ る場合には、仮の移動体行動情報を作成して対応付け、その行動権限レベルを最 低レベルとして設定することとしてもよい。
[0029] 上記のいずれにおいても、前記行動判定部における許可されている行動と禁止さ れている行動のリストは時刻に応じて変更されることとしてもよい。
[0030] さらに、前記行動判定部は、 1つの移動体行動情報に付加されている行動権限を、 他の移動体行動情報にも適用することとしてもよい。
[0031] 本発明によるプログラムは、上記の各構成要素で行われる処理をコンピュータシス テムに実行させ、本発明による記録媒体は該プログラムを格納する。
[0032] 本発明では、 行動解析部で人物や乗り物を検出してその位置の検出や移動軌跡 の抽出等を行い、行動権限認証部で人物や乗り物の行動権限情報を抽出し、行動 権限情報が検出された位置を検出する。情報統合部において、行動権限情報が検 出された位置と映像から算出した人物や乗り物の位置を比較して映像によって検出 された人物や乗り物の行動権限のレベルを得る。 映像で人物や乗り物が検出されて レ、るのに行動権限情報が検出されていない場合は行動権限のレベルを最低レベル に設定する。
[0033] 行動判定部では検出された人物や乗り物の行動権限に応じて、許可された行動と 禁止された行動のリストを参照し、違反行動や禁止行動を検知した場合に警報情報 を生成する。 [0034] よって、例えば関係者以外立ち入り禁止の区域に人物を検出した場合にも、行動 権限情報を参照して立ち入りが許可されている人物であるならば警報情報を生成し ないので、不必要であったり誤った警報情報の生成する回数を減らすことができ、効 率の良い監視を行うことが可能になる。
図面の簡単な説明
[0035] [図 1]本発明の一実施例による図形読み取り装置のブロック図である。
[図 2]本発明の一実施例による図形読み取り方式のフローチャートである。
[図 3]本発明の一実施例による図形読み取り装置のブロック図である。
[図 4]カメラ映像を地図上の座標に変換した例を示す図である。
[図 5]カメラ映像から求めた移動体行動情報の位置の例を示す図である。
[図 6]RFIDセンサから求めた認証情報の位置の推定範囲の例を示す図である。
[図 7]時亥 Ijtにおける移動体行動情報の位置と認証センサの位置を地図上の座標で 示した例を示す図である。
[図 8]時亥 ljt + 1における移動体行動情報の位置と認証情報の位置を地図上の座標 で示した例を示す図である。
[図 9]一方通行の空港通路を撮影したカメラ映像の例を示す図である。
[図 10]駅のホームを撮影したカメラ映像の例を示す図である。
[図 11]駅のホームで検出された移動体情報と認証情報と立ち入り禁止エリアの例を 示す図である。
符号の説明
[0036] 11 画像入力部
12 行動解析部
13 認証情報入力部
14 行動権限認証部
15 情報統合部
16 行動判定部
17 出力部
21 画像入力処理 22 行動解析処理
23 認証情報入力処理
24 行動権限認証処理
25 情報統合処理
26 行動判定処理
27 出力処理
発明を実施するための最良の形態
[0037] 次に、本発明の実施の形態について、図面を参照して説明する。
[0038] 図 1は本発明による図形読み取り装置の一実施形態の構成を示すブロック図であ る。
[0039] 本実施形態は、図示するように、画像入力部 11、行動解析部 12、認証情報入力部
13、行動権限認証部 14、情報統合部 15、行動判定部 16、および、出力部 17から 構成され、これらの各部は図 2に示される、画像入力処理 21、行動解析処理 22、認 証情報入力処理 23、行動権限認証処理 24、情報統合処理 25、行動判定処理 26、 および、出力処理 27を実行する。
[0040] 画像入力部 11は通常の CCDカメラとメモリーから容易に作成できるもので、カメラな どで撮影された画像を示す画像データを取り込み、行動解析部 12へ出力する。
[0041] 行動解析部 12では、画像入力部 11より入力された画像データが示す画像に含ま れる人物や乗り物などの移動体（画像）を検出し、検出した移動体が人物か乗り物か その他力 ^認識し、その位置を求め、移動軌跡も抽出して移動体行動情報としで晴 報統合部 15へ出力する。
[0042] 認証情報入力部 13は、例えば、通常の RFIDリーダとメモリーと制御手段（CPU)か ら容易に作成できるもので、センサ（不図示）によって人物や乗り物の ID番号と読み 取った時刻と位置を求め、認証情報として行動権限認証部 14へ出力する。
[0043] 行動権限認証部 14では、認証情報と対応する行動権限情報を記憶する記憶手段 を備えるもので、認証情報入力部 13より入力された認証情報に対応する行動権限情 報を得、入力された認証情報に付加して情報統合部 15へ出力する。
[0044] なお、認証情報入力部 13には、例えば、顔認証や指紋認証や静脈認証や虹彩認 証や服装の認証や光 IDタグや GPS付き携帯電話の認証等を用いることも可能である 。顔認証や虹彩認証や服装の認証や光 IDタグの認証を用いる場合は通常の CCD力 メラとメモリと CPUから容易に作成できる。指紋認証を用いる場合は通常の指紋セン サとメモリと CPUから容易に作成できる。静脈認証を用いる場合は通常の静脈センサ とメモリと CPUから容易に作成できる。
[0045] また、認証情報入力部 13には通常の GPSと GPS付き携帯電話等の GPS携帯端末を 用いることも可能である。
[0046] 情報統合部 15は、行動権限認証部 14から入力された行動権限情報が付加された 認証情報と、行動解析部 12から入力された移動体行動情報とを対応付けて移動体 行動情報に行動権限情報を付加して行動判定部 16へ出力する。
[0047] 行動判定部 16は行動権限に応じて、許可されている行動と禁止されている行動の リストを備えるもので、情報統合部 15より入力された移動体行動情報に付加されてい る行動権限について、予め設定されている違反行動や禁止行動を上記リストを参照 することで認識し、移動体行動情報が示す行動が違反行動や禁止行動であることを 検知した場合には警報情報を生成して出力部 17へ出力する。
[0048] 出力部 17は、行動判定部 16からの警告情報が入力されると、警告を出力する。
[0049] 行動解析部 12と行動権限認証部 14と情報統合部 15と行動判定部 16と出力部 17 は通常のコンピュータや PDA端末上で容易に構成可能である。
[0050] 行動解析部 12で行われる行動解析処理 22では、映像から移動体を検出し、検出 した移動体が人物か乗り物かその他かを認識し、移動体の位置を求め、移動軌跡を 抽出して、時刻情報も求めて移動体行動情報を作成する。
[0051] 行動解析部 12で行われる行動解析処理 22における、移動体の検出アルゴリズムと 、検出した移動体が人物か乗り物かその他かを認識するアルゴリズムと、移動体の位 置を求め、移動軌跡を抽出するアルゴリズムは、例えば、〃A System for Video Survei llance and Monitoring" tech. report CMU_RI-TR_00_12, Robotics Institute, Carneg ie Mellon University, May, 2000.に記載の方法を用いることができる。
[0052] 移動体行動情報は、例えば、時間情報と画像上での移動体の外接矩形と、人物か 、乗り物か、その他か、を認識した認識結果が格納された情報を時系列情報として得 ること力 Sできる。
[0053] また、実世界座標とカメラ画像座標とを関係付けるカメラキャリブレーション済みの力 メラと、カメラを設置した付近の場所の地図を利用すれば、画像上での移動体の位置 座標を地図上の座標に変換した値も求めることができる。
[0054] 移動体の画像上での外接矩形の中心や下辺の中点の位置座標の時系列情報を 移動軌跡とすることも可能であるし、これらの点を地図上の座標に変換した情報も移 動軌跡とすることも可能である。
[0055] 移動体行動情報はリアルタイムに取得することができ、 1秒間に N回計測して時系列 情報を取得することができる。このとき、 Nは、例えば 1から 30までの正の整数とするこ とができる。
[0056] 認証情報入力部 13で行われる認証情報入力処理 23では、認証情報を作成する。
認証情報としては、読み取った ID番号と読み取った時刻と読み取った場所の位置情 報が含まれる。
[0057] より詳しく説明すると、認証情報入力部 13で行われる認証情報入力処理 23では、 RFIDや光 IDを用いる場合、読み取った RFIDや光 IDの ID番号と、その ID番号を読み 取った時刻を求めて認証情報を作成することができる。
[0058] 位置情報としては、例えば、 RFIDリーダや光 IDセンサの設置場所の地図上の座標 とすることもできる。また、実世界座標とカメラ画像座標とを関係付けるカメラキヤリブレ ーシヨン済みのカメラを利用すれば、画像入力部 11で行われる画像入力処理 21で 得られた画像上の座標を実世界座標に変換した値とすることもできる。
[0059] さらに、検知範囲の広レ、 UHF帯の RFIDやアクティブ RFID等を用いて、 3つ以上の R FIDリーダを用いる場合、各 RFIDリーダの地図上の位置座標を得て、 RFIDの電波強 度を三角測量して、 RFIDの地図上の位置座標を求め、これを位置情報とすることも できる。
[0060] また、実世界座標とカメラ画像座標とを関係付けるカメラキャリブレーション済みの力 メラを利用すれば、画像入力部 11で行われる画像入力処理 21で得られた画像上の 座標を実世界座標に変換した値とすることもできる。
[0061] また、この場合は RFIDの検知範囲内であればリアルタイムに RFIDの位置情報を取 得することもできるし、 1秒間に N回計測して位置情報を時系列として取得し出力する こともできる。このとき、 Nは、例えば 1から 30までの正の整数とすることができる。
[0062] 特に認証する対象が人物であり、顔認証や指紋認証や静脈認証や虹彩認証を用 いる場合は、予め記憶されている生体情報のリストを参照し、認証された人物の ID番 号と認証した時刻力 認証情報を作成することができる。
[0063] また、位置情報としては、例えば、指紋認証センサや静脈認証センサや虹彩認証 センサの設置場所の地図上の座標とすることもできる。
[0064] また、実世界座標とカメラ画像座標とを関係付けるカメラキャリブレーション済みの力 メラを利用すれば、画像入力部 11で行われる画像入力処理 21で得られた画像上の 座標を実世界座標に変換した値とすることもできる。
[0065] 顔認証センサを用いる場合、顔の認証には、通常、顔の位置検出が行われるので
、顔認証の過程において検出された顔の画像上の座標を位置情報とすることができ る。
[0066] また、実世界座標とカメラ画像座標とを関係付けるカメラキャリブレーション済みの力 メラと、カメラを設置した付近の場所の地図を利用すれば、画像上での移動体の位置 座標を地図上の座標に変換した値も求めることができる。
[0067] また、顔認証の場合、リアルタイムに顔の位置を取得することもできるし、 1秒間に N 回計測して顔の位置情報とその時刻と人物の ID番号を時系列として取得し認証情報 とすることもできる。このとき、 Nは、例えば 1から 30までの正の整数とすることができる。
[0068] 図 3は、認証する対象が人物であり、服装の認証を用いる場合の図形読み取り装置 の構成を示すブロック図である。
[0069] 図 3に示す装置は、画像入力部 31、行動解析部 32、認証情報入力 2部 33、行動 権限認証部 34、情報統合部 35、行動判定部 36、および、出力部 37から構成される
[0070] 本実施形態における各部の動作は、図 1に示した画像入力部 11、行動解析部 12 、認証情報入力部 13、行動権限認証部 14、情報統合部 15、行動判定部 16、およ び、出力部 17と同様であるが、本実施形態における行動権限認証部 34は、制服や 衣服のテンプレートを記憶し、行動解析部 32からの移動体行動情報から人物の位置 を参照して人物の部分画像を得て、テンプレートに記憶されている制服や衣服と比 較を行い、両者の類似性が予め定められた閾値よりも高い制服や衣服がある場合に はその制服や衣服についての情報を認識情報とし、この認識情報に対応する行動 権限情報を得、入力された認証情報に付加して出力する。
[0071] 認証情報作成の際の類似性の尺度としては、尤度や単純類似度や (Dmax-距離値) 等を用いることが可能である。ここで、 Dmaxは予め定められた正の定数である。また、 位置情報や時刻情報は行動解析部 12や行動解析処理 22で求められた移動体行 動情報と同じ情報を与えることができる。
[0072] また、近年では物体の識別および位置検出のために、一定時間内に光を点滅させ てビット列を表現する光 IDが提案されている。このような光 IDを用いて認証する場合 にも図 3のような構成をとることが可能である。
[0073] 行動解析部 32で得られた移動体行動情報から人物や乗り物の位置を参照してそ の部分画像を得て光 IDを検出し、 ID番号を読み取って認証情報を作成することがで きる。
[0074] また、位置情報や時刻情報は行動解析部 12における行動解析処理 22で求められ た移動体行動情報と同じ情報を与えることができる。
[0075] 行動権限認証部 14における行動権限認証処理 24では、例えば認証情報の ID番 号をキーとして、予め定められた ID番号とそれに対応する行動権限レベルの表形式 のデータベースを参照して、認証情報に行動権限レベルを付加する。
[0076] 図 1の情報統合部 15における情報統合処理 25では、時刻がほぼ同じであることが 確認されたか、または、最も時刻が近いと判定された移動体行動情報と認証情報とを 比較して、どの移動体情報が、どの認証情報に対応するかを求め、移動体行動情報 に行動権限レベルを付与する。
[0077] 映像から得られた移動体行動情報と各種センサから得られた認証情報とを比較し て対応を求めるアルゴリズムとしては様々な用いることが可能である力 例えば、先述 の特許文献 2に開示されている技術を用いることができる。
[0078] また、アクティブ RFIDを用いる場合に映像から得られた移動体行動情報と各種セン サから得られた認証情報とを比較して対応を求めるアルゴリズムとしては、以下の図 4 に示す例を用いて説明するアルゴリズムを用いることも可能である。
[0079] 図 4は、あるカメラ映像を地図上の座標に変換した映像を示す図である。
[0080] 人物 41A〜43Aのぞれぞれはアクティブ RFIDを携帯しており、センサ 41B〜41Bは 各人物 41A〜43Aが携帯するアクティブ RFIDによる信号を受信する。
[0081] 図 5は、行動解析部 12ほたは 32)で得られた移動体行動情報 41C〜43Cによる 推定位置を示す図である。
[0082] 行動解析部 12ほたは 32)がカメラ映像より移動体行動情報 41C〜43Cを求める。
移動体行動情報 41C〜43Cによる推定位置は図 5に示す位置となる。
[0083] 認証情報入力部 13ほたは 33)は、センサ 41B〜41Bからの信号により認証情報を 出力する。センサ 41B〜44Bまでの地図上の座標情報も予め与えられているならば、 認証情報として各センサ 41B〜44Bの測定結果に示される各人物 41A〜43Aが携 帯するアクティブ RFIDの電波強度を三角測量することで図 6に示すように、認証情報 41D〜43Dによる推定位置を求めることができ、認証情報入力部 13 (または 33)は、 RFIDによる情報に加えて、推定位置を含めた情報を認証情報として出力する。
[0084] 情報統合部 15では、上記の推定された位置情報を比較して、各認証情報の推定 範囲内に移動体行動情報の位置が存在すれば互いに対応が付けられたと判定する ことが可能である。また、移動体行動情報と認証情報の位置を、ある座標の点を中心 にした正規分布等の連続的な確率として表現することも可能で、互レ、の位置情報の 掛け算した値が最大になる対を対応関係にあると判定することも可能である。
[0085] また、必ずしも正規分布としなくても良ぐある座標に位置する確率をテーブル化し て持つことで、任意の形状の位置推定結果を用いることもできる。また、認証センサが 顔認証センサや光 IDセンサや GPS携帯端末の場合もこれと同様な方法により、移動 体行動情報と認証情報との対応を求めることができる。
[0086] また、認証センサに指紋認証や静脈認証や虹彩認証ゃ検知範囲の狭レ、RFIDを用 いる場合は、移動体行動情報と認証情報との対応付けアルゴリズムとして、以下の図 5に示す例を用いて説明するアルゴリズムを用いることも可能である。
[0087] 図 7は、あるカメラ映像を地図上の座標に変換した映像を示す図である。時刻 tにお けるカメラ映像から求めた人物 51 Aの移動体行動情報 51 Cによる位置情報とセンサ 51Bの位置が求まっている力 まだ、移動体行動情報 51Cは認証されていない状態 である。
[0088] 時刻 t + 1において、図 8に示すように、人物 51Aが認証されて認証情報 51Dが発 生すると、認証情報 51Dの位置はセンサ 51Bの位置と同じであることがわかり、セン サ 51Bに最も近い場所に位置する移動体行動情報は移動体行動情報 51Cであるか ら、移動体行動情報 51Cと認証情報 51Dが対応関係にあると判定でき、以後、移動 体行動情報 51Cに認証情報 51Dを対応させて保持することができる。
[0089] 服装の認証や光 IDの認証であれば、移動体行動情報と認証情報の位置情報と時 刻情報が同じものを対応付けることができる。
[0090] 行動判定部 16は、どの認証情報とも対応しなレ、移動体行動情報がある場合には、 行動権限情報の内容に関わらずに、その移動体行動情報についての行動権限レべ ルを最低レベルとして認識する。逆に、どの移動体行動情報にも対応しない認証情 報がある場合には、カメラの死角に存在すると考えて仮の移動体行動情報を作成し て対応付けることも可能であるし、行動権限レベルを最低レベルとして認識する。
[0091] また、図 3に示した構成である場合には、行動権限認証部 34には行動解析部 32よ り移動体行動情報が入力されているため、上記の行動判定部 16における行動権限 レベルの認識と同様に行動権限レベルを設定することができ、このような構成としても よい。
[0092] また、ある時刻 tでどの移動体行動情報にも対応しなレ、認証情報があつたとしても、 時亥 ijt + 1で対応する新しレ、移動体行動情報が見つかったとすれば、仮の移動体行 動情報を新しく見つかった移動体行動情報に置き換えることができる。
[0093] 行動判定部 16における行動判定処理 26では、検出された人物や乗り物の行動権 限に応じて、許可された行動と禁止された行動のリストを参照し、違反行動や禁止行 動を検知した場合に警報情報を生成する。
[0094] この動作を具体例を元に、詳細に説明する。
[0095] 図 9に示すカメラ映像の例のように、映像中に一方通行の廊下で逆方向に歩く一般 の人物を検知した場合、警報情報を作成するような設定を施された監視システムの 場合で説明する。 [0096] 例えば空港の一方通行の廊下で逆方向に歩く人物 61Aを検出したとする。この人 物 61Aが例えばアクティブ RFIDで認証され、当人の行動権限レベルから許可された 行動と禁止された行動のリストを参照し、空港の一方通行の廊下であっても自由に往 来して良いということを知ることができたならば、一方通行の廊下で逆方向に歩く行動 は行動権限の範囲内であるから警報を出す必要がないと判断することが可能であり、 警報情報は生成しない。
[0097] 人物 61Aの行動権限が認証できない場合や、低い行動権限レベルであり許可され た行動と禁止された行動のリストを参照して一方通行の廊下の自由な往来を許可さ れていないことを知ることができたならば、警報情報を生成することができる。
[0098] ここで、認証する方法はアクティブ RFIDでなくても良ぐ顔認証や指紋認証や静脈 認証や虹彩認証ゃ検知範囲の狭レ、RFIDや光 IDや服装等による認証でもよレ、。 次に、図 10に示すカメラ映像の例のように、立ち入りが許可されているエリアは駅の ホーム上だけである場合、線路軌道内に一般の人物が立ち入ったならば警報情報を 作成するような設定を施された監視システムの場合で説明する。
[0099] 例えば線路軌道内に人物が立ち入った人物 71Aを検出したとする。図 10を地図上 で表現した様子が図 11であり、ホーム上だけが立ち入り許可されているエリアであつ て、人物 71Aは立ち入り禁止エリアにいると判定される。この人物 71Aが例えばァク ティブ RFIDで認証されたり制服によって認証されて、当人の行動権限レベルから許 可された行動と禁止された行動のリストを参照し、線路軌道内への立ち入りが許可さ れていることを知ることができたならば、線路軌道内への立ち入りは行動権限の範囲 内であるから警報を出す必要がないと判断することが可能であり、警報情報は生成し ない。
[0100] 人物 71Aの行動権限が認証できない場合や、低い行動権限レベルであり許可され た行動と禁止された行動のリストを参照して線路軌道内への立ち入りが許可されてい ないことを知ることができたならば、警報情報を生成することができる。ここで、認証す る方法はアクティブ RFIDや服装による認証でなくても良ぐ顔認証や指紋認証ゃ静 脈認証や虹彩認証ゃ検知範囲の狭レ、RFIDや光 ID等による認証でもよレ、。
[0101] また、許可された行動と不許可の行動の定義は、動的に変更することができる。例 えば、時間帯に応じて特定の行動権限を持つ人物の侵入を禁止することもできる。
[0102] また、許可された行動と不許可の行動の判定は、複数の移動体に対する複合的な 判断をしても良い。例えば、監督者である特定の制服を着用した人物がいる場合の み、誰でも特定領域への侵入を許可するように設定することもできる。また、例えば制 服着用者について最大 M人まで侵入を許可するという設定を行うこともできる。ここで Mは、例えば 1から 10までの正の整数で自由に設定可能とすることもできる。
[0103] また、移動体が人物であり、監視している場所がある管理された構内であった場合 などには、最低レベルの行動権限レベルを持った人物が検知されたとしてもその人 物の周りに、最高レベルの行動権限レベルを持った人物が複数人検知されていたな らば、警報情報を生成しないような判定も可能である。
[0104] 具体的には、行動権限レベルを BLとして、それぞれのレベルで検知された人数を N(BL)として、最低レベルの行動権限レベルの人数を N(0)としたときに、∑ BL X N(B
BL
L)≤A X N(0)の場合に警報情報を生成することができる。ここで Aは予め定められた 定数である。
[0105] 出力部 17における出力処理 27では、警報情報のレベルに応じた警報を出力する 。例えば、文字で「立ち入り禁止区域内に侵入者あり」と表示したり、その文字をレべ ルに応じて、黄色、オレンジ色、赤色に分けて表示したり、文字の大きさをレベルに 応じて変えるとこもできる。
[0106] また、電子メールや携帯情報端末や携帯電話に情報を配信することも可能で、レべ ルに応じて、情報を配信する人数や対象者を変えることも可能である。
[0107] また、ネットワークを介して他の監視システムに警報を配信することも可能で、レべ ルに応じて、情報を配信するシステムの数や対象システムを変えることも可能である。 また、サイレンや構内のスピーカによって警報音を発することも可能であり、レベルに 応じて、警報音のボリュームを変えたり、周波数を変えることも可能である。
[0108] また、点滅等の光を発することも可能であるし、レベルに応じて点滅速度を変えたり 、色を、黄色、オレンジ色、赤色に分けて発光させることも可能である。
[0109] また、警報を出力すると同時に映像を配信することも可能であるし、警報を出力しな い場合にも映像の配信は定常的に行うようにすることも可能である。 なお、図 1に示した画像入力部 11、行動解析部 12、認証情報入力部 13、行動権 限認証部 14、情報統合部 15、行動判定部 16、および、出力部 17、図 3に示した画 像入力部 31、行動解析部 32、認証情報入力部 33、行動権限認証部 34、情報統合 部 35、行動判定部 36、および、出力部 37は、 CCDカメラやセンサからの信号を入力 するコンピュータシステム上に構築することもでき、本発明には上記の各構成要素で 行われる処理をコンピュータシステムに実行させるプログラムおよび該プログラムを格 糸内する CD— R〇M、フロッピーディスク、 DVD— ROMなどの記録媒体も含まれる。

Claims

請求の範囲
[1] 信号発生手段と、該信号発生手段からの信号を受信するセンサと、カメラにより撮影 された画像データを用いて不審行動を検知する不審行動検知装置であって、 前記カメラによる画像データを取り込んで出力する画像入力部と、
前記画像入力部からの画像データが示す画像に含まれる人物や乗り物などの移動 体を検出し、検出した移動体が人物か乗り物かその他かを認識し、その位置を求め、 移動軌跡も抽出して移動体行動情報として出力する行動解析部と、
前記センサの出力により、前記センサが受信した前記信号に示される ID番号と、受 信時刻と受信位置を求め、認証情報として出力する認証情報入力部と、
前記認証情報と対応する行動権限情報を記憶し、前記認証情報入力部より入力さ れた認証情報に対応する行動権限情報を得、入力された認証情報に付加して出力 する行動権限認証部と、
前記行動権限認証部から入力された行動権限情報が付加された認証情報と、前 記行動解析部から入力された移動体行動情報とを対応付けて移動体行動情報に行 動権限情報を付加して出力する情報統合部と、
行動権限に応じて、許可されている行動と禁止されている行動のリストを備え、前記 情報統合部より入力された移動体行動情報に付加されている行動権限について、予 め設定されてレ、る違反行動や禁止行動を前記リストを参照することで認識し、移動体 行動情報が示す行動が違反行動や禁止行動であることを検知した場合には警報情 報を生成して出力する行動判定部と、
前記行動判定部からの警告情報が入力されると警告を出力する出力部と、 を有する不審行動検知装置。
[2] 請求項 1記載の不審行動検知装置において、
前記行動判定部は、どの認証情報とも対応しない移動体行動情報が入力された場 合には、その移動体行動情報についての行動権限レベルを最低レベルとして認識 する不審行動検知装置。
[3] 請求項 1または請求項 2に記載の不審行動検知装置において、
前記行動判定部は、どの移動体行動情報にも対応しなレゝ認証情報がある場合に は、仮の移動体行動情報を作成して対応付け、その行動権限レベルを最低レベルと して認識する不審行動検知装置。
[4] 信号発生手段と、該信号発生手段からの信号を受信するセンサと、カメラにより撮影 された画像データを用いて不審行動を検知する不審行動検知装置であって、 前記カメラによる画像データを取り込んで出力する画像入力部と、
前記画像入力部からの画像データが示す画像に含まれる人物や乗り物などの移動 体を検出し、検出した移動体が人物か乗り物かその他かを認識し、その位置を求め、 移動軌跡も抽出して移動体行動情報として出力する行動解析部と、
前記センサの出力により、前記センサが受信した前記信号に示される ID番号と、受 信時刻と受信位置を求め、認証情報として出力する認証情報入力部と、
前記認証情報と対応する行動権限情報を記憶し、かつ、制服や衣服のテンプレー トを記憶し、前記行動解析部からの移動体行動情報から人物の位置を参照して人物 の部分画像を得て、前記テンプレートに記憶されてレ、る制服や衣服と比較を行い、 両者の類似性が予め定められた閾値よりも高い制服や衣服がある場合にはその制 服や衣服にっレ、ての情報を認識情報とし、前記認証情報入力部より入力された認証 情報、または、制服や衣服にっレ、ての情報である認識情報に対応する行動権限情 報を得、入力された認証情報に付加して出力する行動権限認証部と、
前記行動権限認証部から入力された行動権限情報が付加された認証情報と、前 記行動解析部から入力された移動体行動情報とを対応付けて移動体行動情報に行 動権限情報を付加して出力する情報統合部と、
行動権限に応じて、許可されている行動と禁止されている行動のリストを備え、前記 情報統合部より入力された移動体行動情報に付加されている行動権限について、予 め設定されてレ、る違反行動や禁止行動を前記リストを参照することで認識し、移動体 行動情報が示す行動が違反行動や禁止行動であることを検知した場合には警報情 報を生成して出力する行動判定部と、
前記行動判定部からの警告情報が入力されると警告を出力する出力部と、 を有する不審行動検知装置。
[5] 請求項 4記載の不審行動検知装置において、 前記行動権限認証部は、どの認証情報とも対応しない移動体行動情報が入力され た場合には、その移動体行動情報についての行動権限レベルを最低レベルとして 設定する不審行動検知装置。
[6] 請求項 4または請求項 5に記載の不審行動検知装置において、
前記行動権限認証部は、どの移動体行動情報にも対応しなレ、認証情報がある場 合には、仮の移動体行動情報を作成して対応付け、その行動権限レベルを最低レ ベルとして設定する不審行動検知装置。
[7] 請求項 1ないし請求項 6のいずれかに記載の不審行動検知装置において、
前記行動判定部における許可されている行動と禁止されている行動のリストは時刻 に応じて変更される不審行動検知装置。
[8] 請求項 1ないし請求項 7のいずれかに記載の不審行動検知装置において、
前記行動判定部は、 1つの移動体行動情報に付加されている行動権限を、他の移 動体行動情報にも適用する不審行動検知装置。
[9] 画像入力部と、行動解析部と、認証情報入力部と、行動権限認証部と、情報統合部 と、行動判定部と、出力部と、を備え、信号発生手段と、該信号発生手段からの信号 を受信するセンサと、カメラにより撮影された画像データを用いて不審行動を検知す る不審行動検知装置で行われる不審行動検知方法であって、
前記画像入力部は、前記カメラによる画像データを取り込んで出力し、 前記行動解析部は、前記画像入力部からの画像データが示す画像に含まれる人 物や乗り物などの移動体を検出し、検出した移動体が人物か乗り物かその他かを認 識し、その位置を求め、移動軌跡も抽出して移動体行動情報として出力し、 前記認証情報入力部は、前記センサの出力により、前記センサが受信した前記信 号に示される ID番号と、受信時刻と受信位置を求め、認証情報として出力し、 前記行動権限認証部は、前記認証情報と対応する行動権限情報を記憶し、前記 認証情報入力部より入力された認証情報に対応する行動権限情報を得、入力され た認証情報に付加して出力し、
前記情報統合部は、前記行動権限認証部から入力された行動権限情報が付加さ れた認証情報と、前記行動解析部から入力された移動体行動情報とを対応付けて 移動体行動情報に行動権限情報を付加して出力し、
前記行動判定部は、行動権限に応じて、許可されている行動と禁止されている行 動のリストを備え、前記情報統合部より入力された移動体行動情報に付加されている 行動権限にっレ、て、予め設定されてレ、る違反行動や禁止行動を前記リストを参照す ることで認識し、移動体行動情報が示す行動が違反行動や禁止行動であることを検 知した場合には警報情報を生成して出力し、
前記出力部は、前記行動判定部からの警告情報が入力されると警告を出力する、 不審行動検知方法。
[10] 請求項 9記載の不審行動検知方法において、
前記行動判定部は、どの認証情報とも対応しない移動体行動情報が入力された場 合には、その移動体行動情報についての行動権限レベルを最低レベルとして認識 する不審行動検知方法。
[11] 請求項 9または請求項 10に記載の不審行動検知方法において、
前記行動判定部は、どの移動体行動情報にも対応しなレゝ認証情報がある場合に は、仮の移動体行動情報を作成して対応付け、その行動権限レベルを最低レベルと して認識する不審行動検知方法。
[12] 画像入力部と、行動解析部と、認証情報入力部と、行動権限認証部と、情報統合部 と、行動判定部と、出力部と、を備え、信号発生手段と、該信号発生手段からの信号 を受信するセンサと、カメラにより撮影された画像データを用いて不審行動を検知す る不審行動検知装置で行われる不審行動検知方法であって、
前記画像入力部は、前記カメラによる画像データを取り込んで出力し、 前記行動解析部は、前記画像入力部からの画像データが示す画像に含まれる人 物や乗り物などの移動体を検出し、検出した移動体が人物か乗り物かその他かを認 識し、その位置を求め、移動軌跡も抽出して移動体行動情報として出力し、
前記認証情報入力部は、前記センサの出力により、前記センサが受信した前記信 号に示される ID番号と、受信時刻と受信位置を求め、認証情報として出力し、 前記行動権限認証部は、前記認証情報と対応する行動権限情報を記憶し、かつ、 制服や衣服のテンプレートを記憶し、前記行動解析部からの移動体行動情報から人 物の位置を参照して人物の部分画像を得て、前記テンプレートに記憶されてレ、る制 服や衣服と比較を行い、両者の類似性が予め定められた閾値よりも高い制服や衣服 力 Sある場合にはその制服や衣服についての情報を認識情報とし、前記認証情報入 力部より入力された認証情報、または、制服や衣服についての情報である認識情報 に対応する行動権限情報を得、入力された認証情報に付加して出力し、 前記情報統合部は、前記行動権限認証部から入力された行動権限情報が付加さ れた認証情報と、前記行動解析部から入力された移動体行動情報とを対応付けて 移動体行動情報に行動権限情報を付加して出力し、
前記行動判定部は、行動権限に応じて、許可されている行動と禁止されている行 動のリストを備え、前記情報統合部より入力された移動体行動情報に付加されている 行動権限にっレ、て、予め設定されてレ、る違反行動や禁止行動を前記リストを参照す ることで認識し、移動体行動情報が示す行動が違反行動や禁止行動であることを検 知した場合には警報情報を生成して出力し、
前記出力部は、前記行動判定部からの警告情報が入力されると警告を出力する、 不審行動検知方法。
[13] 請求項 12記載の不審行動検知方法において、
前記行動権限認証部は、どの認証情報とも対応しない移動体行動情報が入力され た場合には、その移動体行動情報についての行動権限レベルを最低レベルとして 設定する不審行動検知方法。
[14] 請求項 12または請求項 13に記載の不審行動検知方法において、
前記行動権限認証部は、どの移動体行動情報にも対応しなレ、認証情報がある場 合には、仮の移動体行動情報を作成して対応付け、その行動権限レベルを最低レ ベルとして設定する不審行動検知方法。
[15] 請求項 12ないし請求項 14のいずれかに記載の不審行動検知方法において、 前記行動判定部における許可されている行動と禁止されている行動のリストは時刻 に応じて変更される不審行動検知方法。
[16] 請求項 9ないし請求項 15のいずれかに記載の不審行動検知装置において、
前記行動判定部は、 1つの移動体行動情報に付加されている行動権限を、他の移 動体行動情報にも適用する不審行動検知方法。
[17] 請求項 9ないし請求項 16の各構成要素で行われる処理をコンピュータシステムに実 行させるプログラム。
[18] 請求項 17記載のプログラムを格納した記録媒体。
PCT/JP2007/058936 2006-05-31 2007-04-25 不審行動検知装置および方法、プログラムおよび記録媒体 WO2007138811A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008517807A JP4924607B2 (ja) 2006-05-31 2007-04-25 不審行動検知装置および方法、プログラムおよび記録媒体
US12/302,925 US7973656B2 (en) 2006-05-31 2007-04-25 Suspicious activity detection apparatus and method, and program and recording medium
ES07742371T ES2431667T3 (es) 2006-05-31 2007-04-25 Dispositivo y método para detectar una actividad sospechosa, programa y medio de grabación
EP07742371.3A EP2037426B1 (en) 2006-05-31 2007-04-25 Device and method for detecting suspicious activity, program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-152582 2006-05-31
JP2006152582 2006-05-31

Publications (1)

Publication Number Publication Date
WO2007138811A1 true WO2007138811A1 (ja) 2007-12-06

Family

ID=38778332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/058936 WO2007138811A1 (ja) 2006-05-31 2007-04-25 不審行動検知装置および方法、プログラムおよび記録媒体

Country Status (6)

Country Link
US (1) US7973656B2 (ja)
EP (1) EP2037426B1 (ja)
JP (1) JP4924607B2 (ja)
CN (1) CN101496074A (ja)
ES (1) ES2431667T3 (ja)
WO (1) WO2007138811A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009113265A1 (ja) * 2008-03-11 2009-09-17 パナソニック株式会社 タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法
JP2010205191A (ja) * 2009-03-06 2010-09-16 Omron Corp 安全管理装置
JP2012069023A (ja) * 2010-09-27 2012-04-05 Hitachi Ltd 異常検知装置
JP2012174058A (ja) * 2011-02-22 2012-09-10 Nec Corp 特定事象検出装置、システム、方法及びプログラム
JP2012203616A (ja) * 2011-03-25 2012-10-22 Hitachi Kokusai Electric Inc 警報システム
JP2013012149A (ja) * 2011-06-30 2013-01-17 Secom Co Ltd 警備システム
JP2013025529A (ja) * 2011-07-20 2013-02-04 Secom Co Ltd 警備システム
JP2015095695A (ja) * 2013-11-09 2015-05-18 富士通株式会社 情報処理装置、情報処理システム、プログラム及び情報処理方法
JP2017046023A (ja) * 2015-08-24 2017-03-02 三菱電機株式会社 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム
JP2017536587A (ja) * 2014-08-08 2017-12-07 ディジコン ソシエダーヂ アノニマ コントローレ エレトロニコ パラ メカニカ 監視及び制御システムとアクセスと禁止区域への立ち入り法
JP2018137608A (ja) * 2017-02-22 2018-08-30 株式会社日立国際八木ソリューションズ 監視カメラシステム
JP2019109760A (ja) * 2017-12-19 2019-07-04 セコム株式会社 画像監視装置
CN110418106A (zh) * 2019-07-08 2019-11-05 中铁第一勘察设计院集团有限公司 基建设备运营状态移动式组合监测方法
WO2020116023A1 (ja) * 2018-12-05 2020-06-11 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN111564015A (zh) * 2020-05-20 2020-08-21 中铁二院工程集团有限责任公司 一种轨道交通周界入侵的监测方法及装置
US11417189B2 (en) 2018-03-29 2022-08-16 Canon Kabushiki Kaisha Information processing apparatus and method, storage medium, and monitoring system
US20220341220A1 (en) * 2019-09-25 2022-10-27 Nec Corporation Article management apparatus, article management system, article management method and recording medium
US12079770B1 (en) * 2014-12-23 2024-09-03 Amazon Technologies, Inc. Store tracking system

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9721167B2 (en) 2008-07-21 2017-08-01 Facefirst, Inc. Biometric notification system
US9141863B2 (en) 2008-07-21 2015-09-22 Facefirst, Llc Managed biometric-based notification system and method
US10043060B2 (en) 2008-07-21 2018-08-07 Facefirst, Inc. Biometric notification system
US9405968B2 (en) 2008-07-21 2016-08-02 Facefirst, Inc Managed notification system
US10929651B2 (en) 2008-07-21 2021-02-23 Facefirst, Inc. Biometric notification system
US10909400B2 (en) 2008-07-21 2021-02-02 Facefirst, Inc. Managed notification system
JP5473801B2 (ja) * 2010-06-30 2014-04-16 株式会社日立製作所 監視装置
IL207176A0 (en) * 2010-07-25 2011-04-28 Verint Systems Ltd System and method for video - assisted identification of mobile phone users
CN103108151A (zh) * 2011-11-09 2013-05-15 华为技术有限公司 视频监控的方法和系统
US20150042795A1 (en) * 2012-02-29 2015-02-12 Reshimo Ltd. Tracking system for objects
CN102663452B (zh) * 2012-04-14 2013-11-06 中国人民解放军国防科学技术大学 基于视频分析的可疑行为检测方法
CN102968873B (zh) * 2012-11-29 2015-01-07 深圳市捷顺科技实业股份有限公司 一种停车场预警系统
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9393695B2 (en) * 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9515769B2 (en) 2013-03-15 2016-12-06 Src, Inc. Methods and systems for exploiting sensors of opportunity
BR112015026374B1 (pt) * 2013-04-19 2022-04-12 James Carey Sistema de reconhecimento analítico
US10202135B2 (en) * 2013-05-17 2019-02-12 International Electronic Machines Corp. Operations monitoring in an area
CN104217205B (zh) * 2013-05-29 2018-05-18 华为技术有限公司 一种识别用户活动类型的方法及系统
CN103679848A (zh) * 2013-12-13 2014-03-26 北京尚易德科技有限公司 不文明行车行为的监控方法及文明行车监督记录仪
US10878323B2 (en) 2014-02-28 2020-12-29 Tyco Fire & Security Gmbh Rules engine combined with message routing
US10268485B2 (en) 2014-02-28 2019-04-23 Tyco Fire & Security Gmbh Constrained device and supporting operating system
US9541631B2 (en) 2014-02-28 2017-01-10 Tyco Fire & Security Gmbh Wireless sensor network
US9342884B2 (en) * 2014-05-28 2016-05-17 Cox Enterprises, Inc. Systems and methods of monitoring waste
WO2016123400A1 (en) * 2015-01-28 2016-08-04 Al-Amin Muhammad Portable phone activated video camera with phone location tracking
CN106507037A (zh) * 2016-09-30 2017-03-15 北京中星微电子有限公司 人员入侵/越界的智能监控方法和系统
GB2562251A (en) * 2017-05-09 2018-11-14 Zircon Software Ltd System and method for detecting unauthorised personnel
JP2019148949A (ja) * 2018-02-27 2019-09-05 株式会社 イマテック 支援システム及び支援方法
CN109446998A (zh) * 2018-10-31 2019-03-08 广州小鹏汽车科技有限公司 目标人物检测方法及系统
CN109495727B (zh) * 2019-01-04 2021-12-24 京东方科技集团股份有限公司 智能监控方法及装置、系统、可读存储介质
CN113678178B (zh) * 2019-03-29 2023-05-05 日本电气株式会社 监视系统、监视设备、监视方法和非暂时性计算机可读介质
US11501275B2 (en) * 2019-04-05 2022-11-15 Toshiba Global Commerce Solutions Holdings Corporation Point of sale optical-based device association and configuration
CN110718067A (zh) * 2019-09-23 2020-01-21 浙江大华技术股份有限公司 违规行为告警方法及相关装置
CN110930624A (zh) * 2019-12-06 2020-03-27 深圳北斗国芯科技有限公司 一种基于北斗的安全生产监控系统
CN112052719A (zh) * 2020-07-16 2020-12-08 国网浙江省电力有限公司 基于图像特征识别的人员行为分析方法及系统
US11039075B1 (en) * 2020-11-11 2021-06-15 University Of Tabuk Method and system for controlling devices for tracking synchronous movements
CN115546824B (zh) * 2022-04-18 2023-11-28 荣耀终端有限公司 禁忌图片识别方法、设备及存储介质
CN115394026A (zh) * 2022-07-15 2022-11-25 安徽电信规划设计有限责任公司 一种基于5g技术的智能监控方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09330415A (ja) * 1996-06-10 1997-12-22 Hitachi Ltd 画像監視方法および画像監視システム
JP2000501253A (ja) * 1995-11-06 2000-02-02 アイディー．システムズ，インコーポレイテッド 電子制御システム／ネットワーク
JP2003132469A (ja) * 2001-10-19 2003-05-09 Sumitomo Heavy Ind Ltd 認証管理システム及び認証管理プログラム
JP2004005511A (ja) * 2002-03-26 2004-01-08 Toshiba Corp 監視システム、監視方法および監視プログラム
JP2004110690A (ja) * 2002-09-20 2004-04-08 Fuji Xerox Co Ltd 機密文書管理システム、機密文書持ち出し管理装置、機密文書持ち出し管理方法
JP2004127142A (ja) 2002-10-07 2004-04-22 Hitachi Ltd 認証方法及びシステム並びにそれを利用した入退場管理方法及びシステム
JP2004178258A (ja) * 2002-11-27 2004-06-24 Mitsubishi Heavy Ind Ltd 港湾セキュリティシステム
JP2004240839A (ja) * 2003-02-07 2004-08-26 Matsushita Electric Ind Co Ltd 集合住宅セキュリティシステム
JP2005011057A (ja) 2003-06-19 2005-01-13 Mitsubishi Electric Corp 空間情報配信装置
JP2005135230A (ja) * 2003-10-31 2005-05-26 Casio Comput Co Ltd 屋内管理システムおよびプログラム
JP2005292942A (ja) * 2004-03-31 2005-10-20 Secom Co Ltd セキュリティシステム
JP2005316945A (ja) * 2004-03-31 2005-11-10 Japan Research Institute Ltd セキュリティシステムおよびセキュリティ保護方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07134767A (ja) 1993-11-10 1995-05-23 Toshiba Corp 不審者侵入監視装置
JPH08163652A (ja) 1994-11-30 1996-06-21 Mitsubishi Electric Corp 侵入監視システム
ATE274733T1 (de) 1999-06-04 2004-09-15 Philipp Schmelter Verfahren und vorrichtung zum kontrollieren des betretens oder verlassens eines bereichs durch personen oder bewegliche sachen
US7123126B2 (en) 2002-03-26 2006-10-17 Kabushiki Kaisha Toshiba Method of and computer program product for monitoring person's movements
JP4198413B2 (ja) 2002-08-05 2008-12-17 大日本印刷株式会社 入退場管理システムおよび方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000501253A (ja) * 1995-11-06 2000-02-02 アイディー．システムズ，インコーポレイテッド 電子制御システム／ネットワーク
JPH09330415A (ja) * 1996-06-10 1997-12-22 Hitachi Ltd 画像監視方法および画像監視システム
JP2003132469A (ja) * 2001-10-19 2003-05-09 Sumitomo Heavy Ind Ltd 認証管理システム及び認証管理プログラム
JP2004005511A (ja) * 2002-03-26 2004-01-08 Toshiba Corp 監視システム、監視方法および監視プログラム
JP2004110690A (ja) * 2002-09-20 2004-04-08 Fuji Xerox Co Ltd 機密文書管理システム、機密文書持ち出し管理装置、機密文書持ち出し管理方法
JP2004127142A (ja) 2002-10-07 2004-04-22 Hitachi Ltd 認証方法及びシステム並びにそれを利用した入退場管理方法及びシステム
JP2004178258A (ja) * 2002-11-27 2004-06-24 Mitsubishi Heavy Ind Ltd 港湾セキュリティシステム
JP2004240839A (ja) * 2003-02-07 2004-08-26 Matsushita Electric Ind Co Ltd 集合住宅セキュリティシステム
JP2005011057A (ja) 2003-06-19 2005-01-13 Mitsubishi Electric Corp 空間情報配信装置
JP2005135230A (ja) * 2003-10-31 2005-05-26 Casio Comput Co Ltd 屋内管理システムおよびプログラム
JP2005292942A (ja) * 2004-03-31 2005-10-20 Secom Co Ltd セキュリティシステム
JP2005316945A (ja) * 2004-03-31 2005-11-10 Japan Research Institute Ltd セキュリティシステムおよびセキュリティ保護方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"A System for Video Surveillance and Monitoring", TECH. REPORT CMU-RI-TR-00-12, May 2000 (2000-05-01)
"A System for Video Surveillance and Monitoring", TECH. REPORT CMU-RI-TR-00-12, ROBOTICS INSTITUTE, May 2000 (2000-05-01)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8243136B2 (en) 2008-03-11 2012-08-14 Panasonic Corporation Tag sensor system and sensor device, and object position estimating device and object position estimating method
JP5385893B2 (ja) * 2008-03-11 2014-01-08 パナソニック株式会社 位置特定システムおよびセンサ装置
WO2009113265A1 (ja) * 2008-03-11 2009-09-17 パナソニック株式会社 タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法
JP2010205191A (ja) * 2009-03-06 2010-09-16 Omron Corp 安全管理装置
JP2012069023A (ja) * 2010-09-27 2012-04-05 Hitachi Ltd 異常検知装置
JP2012174058A (ja) * 2011-02-22 2012-09-10 Nec Corp 特定事象検出装置、システム、方法及びプログラム
JP2012203616A (ja) * 2011-03-25 2012-10-22 Hitachi Kokusai Electric Inc 警報システム
JP2013012149A (ja) * 2011-06-30 2013-01-17 Secom Co Ltd 警備システム
JP2013025529A (ja) * 2011-07-20 2013-02-04 Secom Co Ltd 警備システム
JP2015095695A (ja) * 2013-11-09 2015-05-18 富士通株式会社 情報処理装置、情報処理システム、プログラム及び情報処理方法
JP2017536587A (ja) * 2014-08-08 2017-12-07 ディジコン ソシエダーヂ アノニマ コントローレ エレトロニコ パラ メカニカ 監視及び制御システムとアクセスと禁止区域への立ち入り法
US12079770B1 (en) * 2014-12-23 2024-09-03 Amazon Technologies, Inc. Store tracking system
JP2017046023A (ja) * 2015-08-24 2017-03-02 三菱電機株式会社 移動体追跡装置及び移動体追跡方法及び移動体追跡プログラム
JP2018137608A (ja) * 2017-02-22 2018-08-30 株式会社日立国際八木ソリューションズ 監視カメラシステム
JP2019109760A (ja) * 2017-12-19 2019-07-04 セコム株式会社 画像監視装置
US11417189B2 (en) 2018-03-29 2022-08-16 Canon Kabushiki Kaisha Information processing apparatus and method, storage medium, and monitoring system
WO2020116023A1 (ja) * 2018-12-05 2020-06-11 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN110418106A (zh) * 2019-07-08 2019-11-05 中铁第一勘察设计院集团有限公司 基建设备运营状态移动式组合监测方法
US20220341220A1 (en) * 2019-09-25 2022-10-27 Nec Corporation Article management apparatus, article management system, article management method and recording medium
CN111564015A (zh) * 2020-05-20 2020-08-21 中铁二院工程集团有限责任公司 一种轨道交通周界入侵的监测方法及装置

Also Published As

Publication number Publication date
EP2037426B1 (en) 2013-07-31
ES2431667T3 (es) 2013-11-27
JPWO2007138811A1 (ja) 2009-10-01
EP2037426A1 (en) 2009-03-18
US20090243844A1 (en) 2009-10-01
JP4924607B2 (ja) 2012-04-25
CN101496074A (zh) 2009-07-29
EP2037426A4 (en) 2010-07-07
US7973656B2 (en) 2011-07-05

Similar Documents

Publication Publication Date Title
JP4924607B2 (ja) 不審行動検知装置および方法、プログラムおよび記録媒体
US11842613B2 (en) System and methods for smart intrusion detection using wireless signals and artificial intelligence
JP4627743B2 (ja) 入退出管理システム、並びに入退出管理装置
US10552687B2 (en) Visual monitoring of queues using auxillary devices
US20110001812A1 (en) Context-Aware Alarm System
US20120076356A1 (en) Anomaly detection apparatus
WO2010103584A1 (ja) 入退検出装置、監視装置及び入退検出方法
JP2019508801A (ja) なりすまし防止顔認識のための生体検知
US20050068165A1 (en) System and method of providing security for a site
EP2779132A2 (en) System and method of anomaly detection with categorical attributes
US20070035622A1 (en) Method and apparatus for video surveillance
CN110674761B (zh) 一种区域行为预警方法及系统
US12039820B2 (en) Multiple-factor recognition and validation for security systems
US8786699B2 (en) Suspicious person detection device, suspicious person detection method and suspicious person detection program
US8873804B2 (en) Traffic monitoring device
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
CN105094080A (zh) 访问控制系统中的动态主体跟踪和多标记的系统和方法
EP3968294B1 (en) Apparatus, system, method and program
Tay et al. Application of computer vision in the construction industry
WO2023124451A1 (zh) 用于生成告警事件的方法、装置、设备和存储介质
CN106297162A (zh) 使用楼层地图的控制系统中的智能事件分析的系统和方法
Sankar et al. Intelligent Door Assist system using Chatbot and Facial Recognition
Edward et al. Smart surveillance system using emotion detection
Bhattacharya et al. Smart home security system using emotion detection
Balasubramanian et al. Next-Gen Parking Facilities: Deep Learning for Face and License Plate based Access

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780027835.4

Country of ref document: CN

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07742371

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008517807

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12302925

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007742371

Country of ref document: EP

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)