[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2020178893A1 - 辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体 - Google Patents

辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体 Download PDF

Info

Publication number
WO2020178893A1
WO2020178893A1 PCT/JP2019/008071 JP2019008071W WO2020178893A1 WO 2020178893 A1 WO2020178893 A1 WO 2020178893A1 JP 2019008071 W JP2019008071 W JP 2019008071W WO 2020178893 A1 WO2020178893 A1 WO 2020178893A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
dictionary
similarity
unit
images
Prior art date
Application number
PCT/JP2019/008071
Other languages
English (en)
French (fr)
Inventor
指原 利之
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/419,049 priority Critical patent/US20220067351A1/en
Priority to JP2021503249A priority patent/JP7248097B2/ja
Priority to PCT/JP2019/008071 priority patent/WO2020178893A1/ja
Publication of WO2020178893A1 publication Critical patent/WO2020178893A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Definitions

  • the present invention relates to a dictionary generation device, a biometric authentication device, a monitoring system, a dictionary generation method, and a recording medium, for example, a dictionary generation device that generates a person dictionary used for biometric authentication.
  • facial images of persons who are allowed to enter these facilities are registered in a dictionary (also called a whitelist). Then, when a person who is not registered in the dictionary is found by a surveillance camera arranged at a key point such as an entrance of a facility, an alarm is issued or a person concerned is notified of a danger.
  • Patent Document 1 shows a method of registering information about a person by causing a person to present a password or a bar code without the intervention of an authorized person.
  • Patent Document 1 With the technique described in Patent Document 1, a great deal of time and labor is required to manually register information regarding a large number of persons in a dictionary. In particular, in a cram school or school, students are frequently replaced by admission, transfer, graduation, and the like, so that it is troublesome to create a dictionary.
  • An object of the present invention is to provide a dictionary generation device and the like that can easily generate a dictionary that stores information about persons who are allowed to enter the surveillance area.
  • a dictionary generation apparatus is characterized in that an image acquisition unit that acquires a plurality of images taken at intervals in a predetermined area and a feature of a person included in each of the plurality of images are extracted. Calculating similarity between the extracting means and the feature of the first person included in one of the plurality of images and the feature of the second person included in one or more other images; The similarity calculation means and the registration means for determining whether or not to register the information about the first person in the dictionary based on the similarity.
  • a dictionary generation method acquires a plurality of images photographed at intervals in a predetermined area, extracts a feature of a person included in each of the plurality of images, and extracts the plurality of images.
  • a dictionary generated by Determining whether to register information about the first person in a dictionary.
  • a recording medium obtains a plurality of images photographed at a predetermined time in a predetermined area, extracts a feature of a person included in each of the plurality of images, and Calculating a similarity between a characteristic of a first person included in one image of the plurality of images and a characteristic of a second person included in one or more other images;
  • a program for causing a computer to determine whether to register the information about the first person in the dictionary based on the degree is stored.
  • a monitoring system is a monitoring system including a person detecting unit, a dictionary generating device, and a biometric authentication device, wherein the person detecting unit sets a time in a predetermined area.
  • the dictionary generation device detects an area of a person from a plurality of captured images
  • the dictionary generation apparatus includes an image acquisition unit that acquires a plurality of images including the area of the person from the person detection unit, and the image acquisition unit is included in each of the plurality of images.
  • a feature extracting means for extracting a feature of a person, a feature of a first person included in one image of the plurality of images, and a feature of a second person included in one or more other images.
  • a registration unit that determines whether or not to register information about the first person in the dictionary based on the similarity, and the biometric authentication device
  • a collation unit that collates the person in the input image with the first person registered in the dictionary with reference to the dictionary generated by the dictionary generation device, and outputs a collation result by the collation unit.
  • FIG. 1 is a block diagram showing a configuration of a monitoring system according to a first exemplary embodiment. 7 shows a flow of processing executed by a person detection unit of the monitoring system according to the first embodiment.
  • 1 illustrates a surveillance camera included in the surveillance system according to the first embodiment and a person in the field of view of the surveillance camera.
  • 3 is a block diagram showing a configuration of a dictionary generation device according to the first exemplary embodiment.
  • FIG. It is a table showing the degree of similarity between people.
  • 3 is a flowchart showing a flow of processing executed by each unit of the dictionary generation device according to the first exemplary embodiment.
  • 1 is a block diagram showing a configuration of a biometrics authentication system according to a first embodiment.
  • FIG. 3 shows a flow of processing executed by the biometric authentication device according to the first embodiment.
  • 7 is a block diagram showing the configuration of a dictionary generation device according to a second exemplary embodiment.
  • FIG. 9 shows a flow of processing executed by the dictionary generation device according to the second embodiment.
  • the person detected by the person detecting unit according to the second embodiment is shown in time series. It is a bar graph which shows the frequency
  • FIG. 9 is a block diagram showing a configuration of a dictionary generation device according to a third exemplary embodiment.
  • 11 is a flowchart showing a flow of processing executed by the dictionary generation device according to the third embodiment during a registration period. It is a bar graph showing the cumulative degree of similarity between people.
  • the configuration of the hardware device according to the fourth embodiment
  • the direction of the arrow in the drawing shows an example, and does not limit the direction of the signal between blocks.
  • FIG. 1 is a block diagram showing the configuration of the monitoring system 1 according to the first embodiment.
  • the monitoring system 1 illustrated in FIG. 1 includes a plurality of cameras 10, a person detection unit 20, a dictionary generation device 30, a biometric authentication device 40, a person dictionary 50, and a notification unit 60.
  • the monitoring system 1 may not include at least one of the camera 10 and the notification unit 60.
  • the monitoring system 1 detects a suspicious person by a plurality of cameras 10 arranged in a monitoring area such as a school premises, and notifies a concerned person of danger by an alarm or the like.
  • the number of cameras 10 may be one or more, and is not particularly limited.
  • Each camera 10 shoots a subject in the shooting region as a time-series image (moving image or a plurality of still images) at a predetermined time interval ⁇ t (eg, 10 minutes).
  • the person detection unit 20 will be described.
  • the person detection unit 20 is an example of a person detection means.
  • the person detection unit 20 acquires time-series images (moving images or a plurality of still images) taken by a plurality of cameras 10 in real time, and detects a person area from each acquired image.
  • the person detection unit 20 has a feature (eg, HOG; Histogram Oriented Gradients, SIFT; Scale-invariant feature transform, or SURF; Speeded-Up Robust Features) from each acquired image. Extract the image area.
  • the detection of the person area from each image by the person detection unit 20 is referred to as the detection of the person by the person detection unit 20. If the monitoring system 1 does not include the camera 10, the person detection unit 20 acquires, for example, time-series images stored in a recording device (not shown).
  • the image acquisition unit 31 of the dictionary generation device 30 receives, from the person detection unit 20, a plurality of images taken at predetermined times within a predetermined area.
  • the images acquired by the image acquisition unit 31 are images taken at predetermined intervals, at the same time on the same day of the week, or based on a predetermined trigger.
  • Each of the images transmitted from the person detecting unit 20 includes a person.
  • the image acquisition unit 31 generates a plurality of person images from the received plurality of images and transmits the plurality of person images to the feature extraction unit 32.
  • the person image is an image including an area of one person.
  • the person image may be the image itself received by the image acquisition unit 31 from the person detection unit 20, or may be a part thereof. Further, the person image may include only a part of the person (for example, face or eyes).
  • the feature extraction unit 32 extracts the features of a person included in each of a plurality of person images. For example, the feature extraction unit 32 extracts information indicating a feature related to a person's face or pupil from the area of the person's face or pupil included in the person image.
  • the registration unit 34 of the dictionary generation device 30 registers, in the person dictionary 50, information regarding a person who is permitted to enter the monitoring area after a predetermined process described later.
  • the registration unit 34 registers a person image including a person's area in the person dictionary 50 as information about the person.
  • the person image may include only a part (for example, face) of the person.
  • the registration unit 34 may also register the features of the person extracted by the feature extraction unit 32 in the person dictionary 50.
  • the registration unit 34 may register an image including the pupil of the person in the person dictionary 50 as information about the person. Further, the registration unit 34 may register the iris pattern extracted by the feature extraction unit 32 in the person dictionary 50 as the information about the person.
  • the information registered by the registration unit 34 in the person dictionary 50 is not limited to this example.
  • FIG. 2 is a flowchart showing a flow of processing executed by the person detecting unit 20.
  • FIG. 3 shows persons A to C in the visual field of the camera 10 at a certain time t1 during the registration period.
  • the registration period is a period in which the dictionary generation device 30 registers information about a person (for example, a person image including a person area and/or a characteristic of the person) in the person dictionary 50.
  • the person detection unit 20 acquires an image p1 taken by the camera 10 at time t1 (S1).
  • the person detection unit 20 detects the persons A to C in the image p1 (S2). Specifically, the person detecting unit 20 detects an area including the persons A to C (or may be referred to as a person's area) from the image p1 based on the feature indicating the person-likeness. If the person detection unit 20 cannot detect the person from the image p1, the person detection unit 20 waits until the next image is acquired from the camera 10.
  • the person detection unit 20 determines whether the registration period is currently in progress (S3). For example, the person detecting unit 20 uses a timer to determine whether or not the registration period is currently in progress.
  • the person detection unit 20 transmits a start signal to the dictionary generation device 30.
  • the dictionary generation device 30 returns from the standby state when receiving the start signal.
  • the person detection unit 20 transmits an end signal to the dictionary generation device 30.
  • the dictionary generation device 30 receives the end signal, the dictionary generation device 30 transits to the standby state.
  • the registration period may be set and changed freely.
  • the registration period may include a certain rest period (interval), or may be interrupted at the discretion of the administrator or a person concerned. Further, the registration period may be determined for each camera 10 that is the transmission source of the image. Alternatively, the registration period may not exist. If there is no registration period, step S3 of FIG. 2 is omitted and the processing of steps S4 and S5 shown in FIG. 2 is executed. The order of processing in steps S4 and S5 does not matter.
  • the person detection unit 20 transmits the image p1 including the persons A to C to the dictionary generation device 30 (S4). On the other hand, if the registration period is not currently in progress (No in S3), the person detecting unit 20 transmits the image p1 including the persons A to C to the biometric authentication device 40 (S5).
  • step S4 or step S5 shown in FIG. 2 the flow returns to step S1.
  • the person detecting unit 20 acquires from the camera 10 another image captured at time t2 (>t1) during the registration period.
  • the person detection unit 20 repeats the process of sequentially acquiring the time-series images captured by the camera 10 and detecting the person from each image.
  • the time from time t1 to time t2, that is, the cycle in which the processes of steps S1 to S5 are repeated (corresponding to the above-mentioned time interval ⁇ t) is, for example, 10 minutes.
  • This cycle is preferably set to be sufficiently long according to the usage environment of the monitoring system 1. If the cycle is too short, the person in the field of view of the camera 10 does not move, so the person detection unit 20 continuously detects the same person.
  • the camera 10 that captures the image transmitted to the dictionary generation device 30 and the camera 10 that captures the image transmitted to the biometric authentication device 40 may be separate. In that case, the person detection unit 20 determines which is the camera 10 that is the transmission source of the image.
  • the dictionary generation device 30 registers, in the person dictionary 50, person images corresponding to persons who are permitted to enter the monitoring area during the registration period.
  • FIG. 4 is a block diagram for explaining the configuration of the dictionary generation device 30 according to the first embodiment. Specifically, FIG. 4 illustrates a dictionary generation device 30, a person detection unit 20, and a person dictionary 50 as a part of the configuration of FIG. 1. Further, FIG. 4 shows a detailed configuration of the dictionary generation device 30. As shown in FIG. 4, the dictionary generation device 30 includes an image acquisition unit 31, a feature extraction unit 32, a similarity calculation unit 33, and a registration unit 34.
  • the image acquisition unit 31 is an example of an image acquisition means.
  • the feature extraction unit 32 is an example of a feature extraction means.
  • the similarity calculation unit 33 is an example of similarity calculation means.
  • the registration unit 34 is an example of registration means.
  • the image acquisition unit 31 acquires, from the person detection unit 20, a plurality of images taken in a predetermined area with time. These images correspond to time-series images captured by the camera 10.
  • Each image acquired by the image acquisition unit 31 includes a person.
  • the image acquisition unit 31 receives seven images including the persons A to G during the registration period. It is assumed that the persons A to G are included in different images.
  • the image acquisition unit 31 detects the areas of the persons A to G from the plurality of received images and generates a plurality of person images respectively corresponding to the persons A to G.
  • the plurality of person images are images including the areas of persons A to G, respectively. The generation of the person image will be described later with reference to the flowchart of FIG.
  • the image acquisition unit 31 transmits the generated plurality of person images to the feature extraction unit 32.
  • the feature extraction unit 32 receives a plurality of person images from the image acquisition unit 31. Further, the feature extraction unit 32 respectively extracts the features (for example, HOG) of the persons A to G from the plurality of person images. The feature extracting unit 32 generates data in which the received individual images are associated with the features of the persons A to G extracted from the individual images. The feature extraction unit 32 transmits the data thus generated to the similarity calculation unit 33.
  • the features for example, HOG
  • the similarity calculation unit 33 receives, from the feature extraction unit 32, data including a plurality of person images and the features of the persons A to G linked to the respective person images.
  • the similarity calculation unit 33 calculates the similarity between the characteristics of the first person included in one image of the plurality of images and the characteristics of the second person included in one or more other images ( Hereinafter, the degree of similarity between persons or simply referred to as the degree of similarity) is calculated.
  • the characteristics of the person are represented by binary data
  • the similarity calculation unit 33 calculates the Hamming distance between the characteristics of the people and calculates the similarity based on the calculated Hamming distance. For example, the similarity calculating unit 33 calculates the similarity by normalizing the Hamming distance to a value from 0 to 1 and subtracting the normalized Hamming distance from 1. As a result, the similarity takes a value from 0 to 1. The closer the Hamming distance between the features of the person is, the closer the similarity is to 1, and the farther the Hamming distance is, the closer the similarity is to 0.
  • the similarity calculation unit 33 selects an arbitrary combination of two persons from a plurality of persons A to G. Then, the similarity calculation unit 33 calculates the similarity between the two selected persons. For example, if the first person is person A, the second person is persons BG. In this case, the similarity calculator 33 calculates the similarity between the person A and the persons B to G, respectively.
  • the table in FIG. 5 shows an example of the degrees of similarity between the persons A to G calculated as described above.
  • the similarity is represented by a number between 0 and 1.00.
  • each of the vertical columns and the horizontal rows corresponds to one person.
  • the similarities between the characteristics of the persons A to G indicated by the vertical columns and the characteristics of the persons A to G indicated by the horizontal rows are described in the frame where the columns and the rows intersect.
  • the degree of similarity between the person A and the person B is 0.32.
  • the similarity calculation unit 33 transmits data including a plurality of person images corresponding to the persons A to G and the calculation result of the similarity between the persons A to G to the registration unit 34.
  • the registration unit 34 is connected to the person dictionary 50.
  • the registration unit 34 receives, from the similarity calculation unit 33, data including a plurality of person images corresponding to the persons A to G and a calculation result (see FIG. 5) of the degrees of similarity between the persons A to G.
  • the registration unit 34 determines whether to register each piece of information regarding the persons A to G in the person dictionary 50 based on the similarity calculated by the similarity calculation unit 33. Specifically, when the similarity between the first person and the second person exceeds a threshold, the registration unit 34 registers information about the first person in the person dictionary 50.
  • the threshold may be set arbitrarily.
  • the threshold value described above is 0.8.
  • the similarity between the person A and the person F shown in FIG. 5 is 0.88.
  • the registration unit 34 registers the information about the person A in the person dictionary 50.
  • the threshold value is 0.90.
  • the degree of similarity between the person A and the other persons B to G does not exceed the threshold value. In this case, the registration unit 34 does not register the information about the person A in the person dictionary 50.
  • the high similarity between the first person and the second person means that the first person and the second person are likely to be the same. That is, the same person is shown in the two person images. Therefore, the first person has entered the surveillance area at least twice.
  • the registration unit 34 registers only such information about the first person in the person dictionary 50.
  • the suspicious individual invades the surveillance area only once and the camera 10 captures the suspicious individual. In this case, there is only one person image corresponding to the suspicious person.
  • the dictionary generating device 30 can accurately identify a suspicious individual and another person, the registration unit 34 does not register information about the suspicious individual in the person dictionary 50.
  • the dictionary generation device 30 determines the first person who has entered the surveillance area at least twice as a person who is allowed to enter the dictionary, and only such a first person is stored in the person dictionary 50. sign up. Therefore, it is possible to easily generate the person dictionary 50 that stores information about persons who are allowed to enter the monitoring area.
  • the person dictionary 50 As shown in FIG. 1, the person dictionary 50 is connected to the registration unit 34 of the dictionary generation device 30 and the biometric authentication device 40.
  • the person dictionary 50 stores person images registered by the registration unit 34 of the dictionary generation device 30 as information about persons. However, as will be described later, the person dictionary 50 may store information about a person in addition to the person image.
  • the monitoring system 1 may be configured so that an administrator or a person concerned can freely view and edit information about a person registered in the person dictionary 50.
  • the biometric authentication device 40 may combine the person dictionaries 50 used for biometric authentication in one or a plurality of areas and use them for biometric authentication in other areas.
  • the biometric authentication device 40 automatically allows a person who is permitted to enter both the first area and the second area (not shown) to enter the third area (not shown). Can be allowed.
  • the biometric authentication device 40 can automatically allow a person who is permitted to enter at least one of the first area and the second area to enter the third area.
  • FIG. 6 is a flowchart showing a flow of processing executed by each unit of the dictionary generation device 30 according to the first embodiment.
  • the image acquisition unit 31 acquires, from the person detection unit 20, a plurality of images photographed at intervals in a predetermined area (S101). Each image includes one or more people.
  • the image acquisition unit 31 detects a person's area from each of the acquired images. For example, the image acquisition unit 31 uses a sample image of an unspecified person to learn in advance the characteristics of each part of the unspecified person, such as the characteristics of the head, shoulders, arms, and feet. Then, the image acquisition unit 31 detects a region having features similar to the learned features from each of the plurality of images as a human region (S102).
  • the area of a person may be an area of the entire body of one person or a part of the body of the person.
  • the area of the person may be the area of the face of the person or the area of the eyes or eyes of the person.
  • the image acquisition unit 31 may detect the area of the person from the data indicating the area of the person.
  • the image acquisition unit 31 generates a plurality of person images from the plurality of images acquired from the person detection unit 20. Each person image includes the area of one person detected in step S102. Then, the image acquisition unit 31 transmits the generated plurality of person images to the feature extraction unit 32. Note that the person image transmitted to the feature extraction unit 32 may be attached with data indicating the area of the person. Further, the data of the person image may be stored in the storage device as the sample image described above. Alternatively, the storage device may include the person dictionary 50.
  • the feature extraction unit 32 receives a plurality of person images from the image acquisition unit 31.
  • the feature extraction unit 32 extracts the feature of each person from each person image (S103).
  • the feature extraction unit 32 transmits, to the similarity calculation unit 33, data in which a person image including a person region is associated with a person feature extracted from the person image.
  • the feature extraction unit 32 may extract the iris pattern from the human image. In that case, the feature extraction unit 32 transmits, to the similarity calculation unit 33, data in which an image including a person's iris (for example, a pupil or eye region in the person image) and a person's iris pattern are associated with each other.
  • the similarity calculation unit 33 receives, from the feature extraction unit 32, data including a plurality of person images and the person features extracted from those person images.
  • the similarity calculator 33 calculates the similarity between a plurality of persons using the received data (S104).
  • step S104 the similarity calculation unit 33 is based on the characteristics of the first person included in one of the plurality of images and the characteristics of the second person included in one or more other images. Then, the similarity between the two is calculated.
  • the similarity calculation unit 33 calculates the iris pattern of the first person and the iris pattern of the one or more second persons. Calculate the similarity between The similarity calculation unit 33 transmits data including a plurality of person images and the similarity calculation result (see FIG. 5) to the registration unit 34.
  • the similarity is based on, for example, the well-known Hamming distance.
  • the similarity calculator 33 normalizes the Hamming distance to a value from 0 to 1 and subtracts the normalized Hamming distance from 1 to calculate the similarity.
  • the similarity calculation unit 33 determines the similarity between the first person and the second person based on the distance between the feature vector regarding the first person and the feature vector regarding the second person and/or Alternatively, it may be calculated based on the direction.
  • the feature vector is a multidimensional vector having a plurality of features as elements. In this case as well, the similarity calculation unit 33 determines that the closer the distance between the feature vectors is, the closer the direction is, the similarity is closer to 1, the distance between the feature vectors is, and the further the direction is, The similarity is defined so that the similarity approaches 0.
  • the similarity calculation unit 33 may calculate the similarity based on the correlation coefficient between the feature vector regarding the first person and the feature vector regarding the second person.
  • the similarity calculation unit 33 defines the distance between the two feature vectors. Specifically, the larger the correlation coefficient (-1 to 1) between the two feature vectors, the longer the distance. For example, one obtained by subtracting the correlation coefficient from the feature vector distance ( It is defined as 0-2).
  • the similarity calculation unit 33 normalizes the distance (0 to 2) of the feature vector so as to take a value from 0 to 1. Then, the similarity calculation unit 33 calculates the similarity having a value of 0 to 1 by subtracting the normalized distance (0 to 1) from 1. That is, as the normalized distance (0 to 1) becomes shorter, the similarity becomes larger and approaches 1.
  • the registration unit 34 receives the data including the plurality of person images and the similarity calculation result from the similarity calculation unit 33.
  • the registration unit 34 determines, based on the degree of similarity calculated by the degree-of-similarity calculation unit 33, which person among the persons included in the plurality of person images should be registered in the person dictionary 50.
  • the registration unit 34 determines whether the similarity calculated by the similarity calculation unit 33 exceeds a certain threshold (S105).
  • the registration unit 34 registers the person image corresponding to the first person in the person dictionary 50 (see FIG. 1) (S106).
  • the registration unit 34 registers the first person in the person dictionary 50 when it is highly possible that the first person is included in at least two person images.
  • the registration unit 34 may register an image including a part (for example, face or pupil) region of the first person in the person dictionary 50 as another information regarding the first person.
  • the registration unit 34 may also register the characteristics of the first person in the person dictionary 50.
  • the registration unit 34 registers the person image corresponding to the first person in the person dictionary 50. do not do. With that, the operation of the dictionary generation device 30 ends.
  • the dictionary generation device 30 may overwrite or update the person dictionary 50 generated during the previous registration period without generating a new person dictionary 50 for each registration period. That is, the dictionary generation device 30 may register the person image corresponding to the first person in the person dictionary 50 generated during the previous registration period.
  • the similarity calculator 33 calculates the similarity between the characteristic of the first person and the characteristic of one or more second persons.
  • the registration unit 34 can distinguish between the first person and the second person based on this similarity.
  • the registration unit 34 registers the person image corresponding to the first person in the person dictionary 50.
  • the dictionary generation device 30 can easily generate the person dictionary 50.
  • the biometric authentication device 40 authenticates a person by using the person dictionary 50 generated by the dictionary generation device 30.
  • the person registered in the person dictionary 50 will be referred to as a registered person.
  • the configuration of the biometric authentication device 40 will be described.
  • FIG. 7 is a block diagram for explaining the configuration of the biometric authentication device 40. Specifically, FIG. 7 shows a biometric authentication device 40, a person detection unit 20, and a person dictionary 50 as a part of the configuration of FIG. 1. Further, FIG. 7 shows a detailed configuration of the biometric authentication device 40. As shown in FIG. 7, the biometric authentication device 40 includes an input unit 41, a matching unit 42, and an output unit 43.
  • the input unit 41 is an example of an input means.
  • the collating unit 42 is an example of collating means.
  • the output unit 43 is an example of an output unit.
  • the input unit 41 acquires an image (hereinafter referred to as an input image) from the person detecting unit 20 (see FIG. 1) of the monitoring system 1.
  • the input unit 41 transmits the acquired input image to the matching unit 42.
  • the collation unit 42 is connected to the person dictionary 50.
  • the collating unit 42 receives the input image from the input unit 41.
  • the matching unit 42 refers to the person dictionary 50 and matches the person in the input image acquired from the input unit 41 with the registered person registered in the person dictionary 50. Specifically, the matching unit 42 calculates the degree of similarity between the person in the input image received from the input unit 41 and the registered person using a general biometric authentication technique. For example, when the person image corresponding to the registered person is registered in the person dictionary 50 as the information about the person, the matching unit 42 extracts the feature from the person in the input image, and the person image corresponding to the registered person. From, the characteristics of the registered person are extracted. Then, the matching unit 42 calculates the degree of similarity between the feature of the person in the input image and the feature of the registered person.
  • the similarity is based on, for example, the well-known Hamming distance.
  • the matching unit 42 calculates the similarity between the feature vector representing the feature of the person A and the feature vector representing the feature of the person B based on the distance and/or the direction between the feature vectors.
  • the feature vector is a multidimensional vector having a plurality of feature elements.
  • the matching unit 42 may calculate the similarity based on the correlation coefficient between the feature vectors of the two persons.
  • the matching unit 42 extracts the iris pattern from the pupil of the person in the input image. Then, the matching unit 42 calculates the degree of similarity between the iris pattern of the person in the input image and the iris pattern of the registered person by pattern matching.
  • the collation unit 42 collates the person in the input image with all the persons registered in the person dictionary 50. Specifically, the matching unit 42 determines whether or not the similarity between the feature of the person detected by the person detecting unit 20 and the feature of each person registered in the person dictionary 50 exceeds a threshold value. ..
  • the collation unit 42 acquires the input unit 41. It is determined that the same person as the person in the input image is registered in the person dictionary 50. Note that the similarity threshold used by the matching unit 42 may be different from or the same as the similarity threshold used by the registration unit 34.
  • the collation unit 42 transmits information indicating the collation result to the output unit 43.
  • the matching result here indicates whether or not the same person as the person detected by the person detecting unit 20 is registered in the person dictionary 50.
  • the output unit 43 receives the information indicating the matching result from the matching unit 42.
  • the output unit 43 determines whether to give a notification instruction to the notification unit 60 based on the comparison result. Specifically, when the collation result indicates that the same person as the person detected by the person detecting unit 20 is registered in the person dictionary 50, the output unit 43 does not issue the notification instruction.
  • the output unit 43 gives a notification instruction to the notification unit 60.
  • the content of the notification instruction is to issue an alarm and notify a person concerned that there is a danger.
  • the notification unit 60 will be described.
  • the notification unit 60 receives a notification instruction from the output unit 43 of the biometric authentication device 40, the notification unit 60 issues a warning by sound, light, or display according to the content of the notification instruction.
  • the notification unit 60 notifies the concerned parties that there is a danger. That is, the notification unit 60 notifies the relevant person via an alarm that a person who is not registered in the person dictionary 50 has been detected.
  • the notification unit 60 is, for example, a speaker, a warning light, a display, or a wireless device.
  • the input unit 41 acquires one input image from the person detection unit 20 (see FIG. 1) of the monitoring system 1 (S201).
  • the input unit 41 transmits the acquired input image to the matching unit 42.
  • the matching unit 42 extracts the characteristics of the person from the input image acquired from the input unit 41.
  • the characteristic of the person is, for example, a facial characteristic or an iris pattern.
  • the matching unit 42 may extract the characteristics of any person.
  • the collation unit 42 collates the person included in the input image with each person registered in the person dictionary 50 (S202). For example, the matching unit 42 calculates the degree of similarity between the facial features of the person in the input image and the facial features of the registered person. Alternatively, the matching unit 42 may calculate the degree of similarity between the iris pattern of the person in the input image and the iris pattern of the registered person by pattern matching.
  • the collation unit 42 transmits information indicating the collation result to the output unit 43.
  • the matching result indicates whether or not the person in the input image is registered in the person dictionary 50.
  • the collation unit 42 transmits information indicating whether the calculated similarity exceeds the threshold value to the output unit 43.
  • the output unit 43 receives the information indicating the matching result from the matching unit 42.
  • the output unit 43 determines whether to give a notification instruction to the notification unit 60 based on the comparison result (S203).
  • the output unit 43 gives a notification instruction to the notification unit 60 (S204). This completes the operation of the biometric authentication device 40.
  • the biometric authentication device 40 includes an erasing unit (not shown) that erases, from the person dictionary 50, information about a person who is registered in the person dictionary 50 but has not been authenticated even once within a predetermined period. It may be further equipped.
  • the predetermined period is, for example, one month. However, it is preferable that an appropriate predetermined period is arbitrarily set according to the environment in which the monitoring system 1 is used.
  • the configuration of the present modification it is possible to delete from the person dictionary 50 the information regarding the person whose frequency of entering the surveillance area is reduced, so that the data amount of the person image registered in the person dictionary 50 becomes enormous. Can be suppressed.
  • the person detection unit 20 transmits, to the dictionary generation device 30, a plurality of images photographed in a predetermined area with time.
  • the person detection unit 20 acquires a time-series image (moving image or a plurality of still images) from the camera 10.
  • the time-series images are obtained, for example, by the camera 10 photographing the monitoring area at a preset time every day or at a preset time on a preset day of the week.
  • the similarity calculation unit 33 calculates the similarity between a plurality of persons included in a plurality of images. More specifically, the similarity calculation unit 33 determines the characteristics of the first person included in one of the plurality of images and the characteristics of the second person included in one or more other images. Calculate the similarity between
  • the registration unit 34 determines whether or not to register the person image corresponding to each person in the person dictionary 50 based on the similarity calculated by the similarity calculation unit 33. In this way, the dictionary generation device 30 can easily generate the person dictionary 50 that stores information about a person without the input operation of the person who applies for registration as in the technique described in Patent Document 1. ..
  • the registration unit 34 registers the person image corresponding to the first person in the person dictionary 50.
  • the registration unit 34 registers, in the person dictionary 50, the person image corresponding to the first person who is likely to be included in at least two of the plurality of images.
  • the threshold value of the degree of similarity is used to determine whether the first person and the second person are likely to be the same or not.
  • the registration unit 34 can also register the first person who appears twice or more in the monitoring area in the person dictionary 50.
  • the dictionary generation device 30 differs from the technique described in Patent Document 2 (Japanese Patent Laid-Open No. 2004-157602). According to the technique described in Patent Document 2 (Japanese Patent Laid-Open No. 2004-157602), it is not possible to determine a person suspicious of a facility or a suspicious person who appears only once in the surveillance area. On the other hand, the dictionary generation device 30 can prevent such information about a person from being registered in the person dictionary 50.
  • the configuration of the monitoring system according to this embodiment is the same as the basic configuration of the monitoring system 1 of the first embodiment (see FIG. 1).
  • the dictionary generation device 230 according to the second embodiment has a configuration different from that of the dictionary generation device 30 described in the first embodiment.
  • the dictionary generation device 30 registers the first person in the person dictionary 50 when the similarity between the first person and the second person exceeds a certain threshold.
  • the condition that the number of times the first person is detected reaches a certain threshold value is a condition for registering the first person in the person dictionary 50 (hereinafter, referred to as registration condition).
  • registration condition a condition for registering the first person in the person dictionary 50 (hereinafter, referred to as registration condition).
  • the face image corresponding to the first person is stored in the temporary dictionary 235 (described later) included in the dictionary generation device 230.
  • a plurality of face images corresponding to the plurality of first persons may be stored in the temporary dictionary 235.
  • the number of times the first person is detected from the time-series images captured by the camera 10 corresponds to the evaluation value.
  • the number of images including the first person corresponds to the evaluation value.
  • the above-mentioned registration conditions may be set for each camera 10 (see FIG. 1) of the surveillance system 1 or for each group of cameras 10.
  • the threshold of the number of detections may be different for each camera 10.
  • the registration condition may be flexibly changed according to the state of the first person.
  • the threshold of the number of detections which is a registration condition
  • the threshold value of the number of times of detection may be smaller.
  • the registration unit 237 (described later) of the dictionary generation device 230 determines the state of the first person by using the discriminator obtained by machine learning.
  • FIG. 9 is a block diagram showing the configuration of the dictionary generation device 230 according to the second embodiment.
  • the dictionary generation device 230 includes an image acquisition unit 231, a feature extraction unit 232, a similarity calculation unit 233, an evaluation value calculation unit 234, a temporary dictionary 235, and a registration unit 237.
  • the image acquisition unit 231 is an example of an image acquisition unit.
  • the feature extraction unit 232 is an example of a feature extraction means.
  • the similarity calculation unit 233 is an example of similarity calculation means.
  • the evaluation value calculation unit 234 includes the same person determination unit 238 and the number of times calculation unit 239.
  • the evaluation value calculation unit 234 is an example of evaluation value calculation means.
  • the same person determination unit 238 is an example of the same person determination unit.
  • the number of times calculating unit 239 is an example of a number of times calculating unit.
  • the registration unit 237 is an example of registration means.
  • the configuration of the dictionary generation device 230 according to the second embodiment will be compared with the configuration of the dictionary generation device 30 according to the first embodiment.
  • the dictionary generation device 230 differs from the dictionary generation device 30 in that the dictionary generation device 230 further includes the same person determination unit 238, the number-of-times calculation unit 239, and the temporary dictionary 235.
  • the dictionary generation device 230 differs from the dictionary generation device 30 in that the feature extraction unit 232, the number-of-times calculation unit 239, and the registration unit 237 are connected to the temporary dictionary 235.
  • the temporary dictionary 235 stores a face image corresponding to the first person and an evaluation value (in the present embodiment, the number of times the person is detected).
  • the first persons different from each other are distinguished by the information (for example, ID; Identification) for identifying the first person.
  • the person detection unit 20 acquires, in real time, time-series images (frame images of a moving image or a plurality of still images taken at different timings) taken by the camera 10 in a predetermined area at a time. To do. Every time one image is acquired from the person detection unit 20, the image acquisition unit 231 detects the area of the face of the second person from the acquired image. Then, the image acquisition unit 231 generates a face image including the face area of the second person. When the image acquired by the image acquisition unit 231 from the person detection unit 20 includes a plurality of second persons, the image acquisition unit 231 generates one face image for each second person. That is, one face image includes a face area of one second person. The image acquisition unit 231 transmits the generated face image to the feature extraction unit 232.
  • the feature extraction unit 232 receives the face image corresponding to the second person from the image acquisition unit 231.
  • the feature extraction unit 232 detects the face of the second person from the received face image and extracts the features of the face of the second person. If the temporary dictionary 235 is not empty, the feature extraction unit 232 acquires the face image corresponding to the first person from the temporary dictionary 235.
  • the feature extraction unit 232 extracts the face feature of the first person from the acquired face image.
  • the feature extraction unit 232 uses the similarity calculation unit to calculate the data of the facial features of the first person and the data in which the facial image corresponding to the second person and the facial features of the second person are associated with each other. Send to 233.
  • the similarity calculation unit 233 associates the face feature data of the first person, the face image corresponding to the second person, and the face feature of the second person from the feature extraction unit 232. Receive data.
  • the similarity calculation unit 233 calculates the similarity between the facial features of the first person and the facial features of the second person.
  • the degree of similarity between the facial features of the first person and the facial features of the second person is described as the degree of similarity between the first person and the second person, or simply the degree of similarity. To do.
  • the similarity calculation unit 233 may use the first person and the first person based on the distance and / or direction between the feature vector representing the characteristics of the first person and the feature vector representing the characteristics of the second person. Calculate the similarity between two people. In this case, the similarity calculation unit 233 determines that the shorter the distance between the feature vectors, the closer the direction is, the closer the similarity is to 1, the longer the distance between the feature vectors is, and the further the direction is, the more similar the similarity is. The similarity is defined so that the degree approaches 0.
  • the similarity calculation unit 233 calculates the similarity between the first person and the second person based on the correlation coefficient between the feature vectors, as described in the first embodiment. Good.
  • the similarity calculation unit 233 transmits data including the face image of the second person and the similarity calculation result to the same person determination unit 238 of the evaluation value calculation unit 234.
  • the same person determination unit 238 receives information including the face image of the second person and the similarity calculation result from the similarity calculation unit 233. The same person determination unit 238 determines whether or not the first person and the second person are the same by using the similarity calculation result received from the similarity calculation unit 233.
  • the fact that the first person and the second person are the same means that the degree of similarity between these people exceeds a certain threshold value. That is, when the degree of similarity between the first person and the second person exceeds the threshold value, the same person determination unit 238 determines that these persons are the same. The same person determination unit 238 transmits the face image of the second person and the determination result to the number-of-times calculation unit 239.
  • the feature extraction unit 232 determines that the face feature data of the plurality of first persons and the second person.
  • the data in which the corresponding face image and the facial feature of the second person are linked is transmitted to the similarity calculation unit 233.
  • the similarity calculator 233 calculates the similarity between each of the first person and the second person.
  • the same person determination unit 238 is the first person having the highest similarity with the second person. Is determined to be the same as the second person.
  • the number calculation unit 239 is connected to the temporary dictionary 235.
  • the number of times calculation unit 239 determines that the face image of the second person is the new first person. It is stored in the temporary dictionary 235 as a face image.
  • the new first person is distinguished from other first persons by the information for identifying the new first person.
  • the number-of-times calculation unit 239 determines that the face image of the first person is stored in the temporary dictionary 235.
  • the number of associated detections is incremented by +1 (increment).
  • the evaluation value calculation unit 234 calculates the number of times the first person is detected as the evaluation value that changes depending on the degree of similarity.
  • the evaluation value calculation unit 234 calculates an evaluation value for each first person.
  • the number-of-times calculation unit 239 transmits information (for example, ID) for identifying the first person to the registration unit 237, and also notifies the registration unit 237 that the temporary dictionary 235 has been updated.
  • the registration unit 237 is connected to the temporary dictionary 235 and the person dictionary 50.
  • the registration unit 237 is notified from the number-of-times calculation unit 239 that the temporary dictionary 235 has been updated along with information (for example, ID) for identifying the first person.
  • the registration unit 237 refers to the temporary dictionary 235 and determines whether or not the number of detections of the first person has reached the threshold value. When the number of detections of the first person reaches the threshold, the registration unit 237 acquires the face image corresponding to the first person from the temporary dictionary 235 and registers the acquired face image in the person dictionary 50. .. After that, the registration unit 237 deletes the face image of the first person registered in the person dictionary 50 and the data indicating the number of detections from the temporary dictionary 235.
  • FIG. 10 is a flowchart showing the flow of processing executed by the dictionary generation device 230 during the registration period. After the image acquisition unit 231 receives the start signal from the person detection unit 20, each unit of the dictionary generation device 230 starts the process described below.
  • the image acquisition unit 231 determines whether or not the registration period is in progress based on the start signal and the end signal received from the person detection unit 20 (S300). If it is not during the registration period (No in S300), the flow proceeds to step S310 described later.
  • the image acquisition unit 231 acquires a plurality of images taken at intervals within a predetermined area from the person detection unit 20 (S301).
  • the image acquisition unit 231 may acquire one image in real time from the person detection unit 20 each time the camera 10 captures an image, or may acquire a plurality of images collectively. Good.
  • the former example will be described below.
  • the image acquisition unit 231 detects one or a plurality of areas of the second person from the acquired image (S302). Then, the image acquisition unit 231 generates a face image including the detected face area of the second person.
  • the image acquisition unit 231 When the image acquired by the image acquisition unit 231 includes a plurality of second persons, the image acquisition unit 231 generates a plurality of face images each including only the area of one second person from the acquired images. .. Therefore, each face image includes a face area of one second person.
  • the image acquisition unit 231 transmits the generated face image to the feature extraction unit 232.
  • the image acquisition unit 231 generates only one face image.
  • the feature extraction unit 232 receives the face image corresponding to the second person from the image acquisition unit 231.
  • the feature extraction unit 232 refers to the temporary dictionary 235 and acquires the face image corresponding to the first person.
  • the feature extraction unit 232 extracts the face feature of the first person from the face image acquired from the temporary dictionary 235.
  • the feature extraction unit 232 also extracts the face feature of one second person from the face image received from the image acquisition unit 231 (S303).
  • the feature extraction unit 232 stores the data of the feature of the face of the first person, and the data in which the face image corresponding to the second person and the feature of the face of the second person extracted from the face image are associated with each other. , To the similarity calculation unit 233.
  • the similarity calculation unit 233 associates the face feature data of the first person, the face image corresponding to the second person, and the face feature of the second person from the feature extraction unit 232. Receive data.
  • the similarity calculation unit 233 calculates the similarity between the characteristics of the first person and the characteristics of the second person (S304).
  • the similarity calculation unit 233 determines that all the first persons and the second persons are The degree of similarity with a person is calculated. The processes described below are also performed for all first persons.
  • the similarity calculation unit 233 transmits the calculation result of the similarity in step S304 and the face image corresponding to the second person to the same person determination unit 238.
  • the same person determination unit 238 receives information including the face image corresponding to the second person and the similarity calculation result from the similarity calculation unit 233. The same person determination unit 238 determines whether or not the first person and the second person are the same, using the similarity calculation result received from the similarity calculation unit 233 (S305).
  • the same person determination unit 238 transmits the face image corresponding to the second person and information including the determination result in step S305 to the number calculation unit 239.
  • the number-of-times calculation unit 239 determines, together with the face image corresponding to the second person, the determination result in step S305, that is, the information indicating whether the first person and the second person are the same, for the same person determination. It is received from the unit 238.
  • the number-of-times calculation unit 239 transmits information (for example, ID) for identifying the first person to the registration unit 237, and also notifies the registration unit 237 that the temporary dictionary 235 has been updated. Then, the flow proceeds to step S308.
  • the number-of-times calculating unit 239 determines that the first person in the temporary dictionary 235 is the first person.
  • the number of detections associated with the face image corresponding to the person is increased by 1 (S307).
  • the number-of-times calculation unit 239 notifies the registration unit 237 that the temporary dictionary 235 has been updated, along with the information (for example, ID) for identifying the first person.
  • the registration unit 237 is notified from the number-of-times calculation unit 239 that the information for identifying the first person has been received and that the temporary dictionary 235 has been updated. Upon receiving the notification from the number-of-times calculation unit 239, the registration unit 237 refers to the temporary dictionary 235 and determines whether the number of times of detection of the first person has reached the threshold value (S308).
  • the registration unit 237 acquires the face image of the first person from the temporary dictionary 235 and registers it in the person dictionary 50 (S309). .. After that, the registration unit 237 deletes the face image corresponding to the first person registered in the person dictionary 50 and the information on the number of times the first person is detected from the temporary dictionary 235.
  • the registration unit 237 may determine whether or not the face image of the first person to be registered in the person dictionary 50 is not already registered in the person dictionary 50. For example, the registration unit 237 extracts features from the face image corresponding to the first person and the face image corresponding to the registered person stored in the person dictionary 50. Then, when the degree of similarity between the extracted features exceeds a predetermined threshold, the registration unit 237 determines that the face image corresponding to the first person is already registered in the person dictionary 50. Then, when the face image corresponding to the first person is already registered in the person dictionary 50, the registration unit 237 cancels the registration of the face image corresponding to the first person in the person dictionary 50. As a result, it is possible to prevent a plurality of face images corresponding to the same first person from being stored in the person dictionary 50.
  • the image acquisition unit 231 receives the start signal received from the person detection unit 20. Then, it is determined again based on the end signal whether the registration period is in progress (S300). However, in the above-mentioned step S302, when the image acquisition unit 231 generates a plurality of face images corresponding to the plurality of second persons, No in step S308 or after step S309, the flow returns to step S303. Then, the image acquisition unit 231 detects the area of the face of the other second person from the other face image.
  • step S300 If the registration period is still in progress (Yes in S300), the flow returns to step S301, and the image acquisition unit 231 acquires another image from the person detection unit 20. Then, each unit of the dictionary generation device 230 executes the flow shown in FIG. 10 again.
  • the image acquisition unit 231 After the registration period has ended (No in S300), the image acquisition unit 231 notifies the registration unit 237 that the registration period has ended. After receiving the notification from the image acquisition unit 231 that the registration period has expired, the registration unit 237 deletes the data relating to all the first persons stored in the temporary dictionary 235 (S310). Alternatively, in step S310, the registration unit 237 may reset all the detection counts associated with all the first persons in the provisional dictionary 235 to zero. This completes the operation of the dictionary generator 230.
  • the registration unit 237 does not perform the process of registering the face image corresponding to the first person in the person dictionary 50 during the registration period (steps S308 to S309 described above), and the registration period After the process ends (No in S300), the process corresponding to steps S308 to S309 is executed only once before the process of step S310 is executed. That is, in this modified example, after the registration unit 237 is notified by the image acquisition unit 231 that the registration period has ended, the number of detection times for all the first persons stored in the provisional dictionary 235 is It is determined whether the threshold is reached. Then, the registration unit 237 identifies the first person whose detection number has reached the threshold value, and registers the face image corresponding to the specified first person in the person dictionary 50. After that, the registration unit 237 deletes the face image of all the first person and the data of the number of detections from the temporary dictionary 235 (S310).
  • the characteristics of the first person may be registered in the person dictionary 50 as information about the first person.
  • the feature extraction unit 232 extracts the iris pattern from the face image corresponding to the second person generated by the image acquisition unit 231.
  • the feature extracting unit 232 also refers to the temporary dictionary 235 to acquire a face image corresponding to the first person, and extracts the iris pattern of the first person from the acquired face image corresponding to the first person. Extract.
  • the feature extraction unit 232 uses the data of the iris pattern of the first person and the image including the iris of the second person (or the image including the eye or eye region of the second person), and the second person.
  • the data associated with the iris pattern of is transmitted to the similarity calculation unit 233.
  • the similarity calculation unit 233 calculates the similarity between the iris pattern of the first person and the iris pattern of the second person.
  • the evaluation value calculation unit 234 calculates the number of times the first person is detected based on the similarity calculated by the similarity calculation unit 233.
  • the number of times the first person is detected is an example of an evaluation value that depends on the degree of similarity.
  • the registration unit 237 determines whether or not to register the information about the first person in the person dictionary 50, based on the evaluation value (the number of times of detection) calculated by the evaluation value calculation unit 234. When the evaluation value (the number of detections) of the first person reaches the threshold, the registration unit 237 registers the image including the eye or pupil region of the first person and/or the iris pattern in the person dictionary 50. To do.
  • FIGS. 11 and 12A to 12C A use case of the monitoring system 1 including the dictionary generator 230 according to the second embodiment will be described with reference to FIGS. 11 and 12A to 12C.
  • the camera 10 photographs the image p1 at the time t1, the image p2 at the time t2, and the image p3 at the time t3.
  • FIG. 11 shows images p1, p2, p3,... In time series (t1, t2, t3,%) And persons A to G included in at least one of images p1 to p3.
  • the image p1 at time t1 includes persons A, B, and C. Further, the image p2 at time t2 includes persons D, E, and F.
  • the image p3 at time t3 includes the person G.
  • the numbers in parentheses shown below the code of the person indicate the number of times each person is detected at times t1 to t3.
  • the conditions in the use case are as follows.
  • (2) One camera 10 is installed in front of the classroom. The camera 10 takes an image once every week between 17:00 and 19:00. Times t1, t2, t3,... At which the camera 10 shoots are preset by a timer.
  • the time t1 shown in FIG. 11 is the time between 17:00 and 19:00 on the starting day of the second week of April.
  • the time t2 is the time between 17:00 and 19:00 on the starting day of the third week of April.
  • the time t3 is the time between 17:00 and 19:00 on the day of starting the fourth week of April.
  • Registration period From the 2nd week to the 4th week of April (4) Registration conditions: The threshold of the number of detections is 3 times (the start date of the 2nd week of April)
  • the camera 10 takes the first image at the time t1 between 17:00 and 19:00 on the second week of April and generates the first image p1.
  • the image p1 is transmitted from the camera 10 to the person detection unit 20.
  • the person detection unit 20 detects the persons A to C included in the image p1. Since the registration period is currently in progress, the person detection unit 20 transmits the image p1 to the dictionary generator 230 (see S4 in FIG. 2).
  • FIG. 12A shows the number of times each of the persons A to C detected by the person detecting unit 20 at time t1 on the starting day of the second week of April. As shown in FIG. 12A, in the second week of April, all of the persons A to C have the number of detections of 1 and do not satisfy the registration condition. Therefore, the registration unit 237 of the dictionary generation device 230 does not register the face images of the persons A to C in the person dictionary 50.
  • the camera 10 takes a second image at time t2 between 17:00 and 19:00 on the third week of April, and generates a second image p2.
  • the image p2 is transmitted from the camera 10 to the person detection unit 20.
  • the person detection unit 20 detects persons D to F from the image p2. Since the registration period is currently in progress, the person detection unit 20 transmits the image p2 to the dictionary generation device 230.
  • FIG. 12B shows the number of times each of the persons A to E was detected at the time t2 on the starting day of the third week of April.
  • the number of detections of person B as of the start date of the third week of April has increased by 1 from the start date of the second week of April.
  • the registration unit 237 of the dictionary generation device 230 does not register the face images of the persons A to E in the person dictionary 50.
  • the camera 10 generates a third image p3 at time t3 between 17:00 and 19:00 on the opening day of the fourth week of April.
  • the image p3 is transmitted from the camera 10 to the person detection unit 20.
  • the person detection unit 20 detects the person G included in the image p3. Since the registration period is currently in progress, the person detection unit 20 transmits the image p3 to the dictionary generation device 230.
  • the same person determination unit 238 of the dictionary generator 230 determines that the person B and the person G are the same. Therefore, the number calculation unit 239 of the dictionary generation device 230 increases the number of detections associated with the face image of the person B by 1 in the temporary dictionary 235.
  • FIG. 12C shows the number of detections of each of the persons A to E at time t3 on the start day of the fourth week of April.
  • the number of detections of person B as of the start date of the 4th week of April has increased by 1 from the start date of the 3rd week of April.
  • the registration unit 237 of the dictionary generation device 230 registers the face image of the person B in the person dictionary 50.
  • the number of detections of other persons has not reached the threshold value. Therefore, the registration unit 237 of the dictionary generation device 230 does not register the face images of persons other than the person B in the person dictionary 50.
  • the registration conditions are the same for all the persons A to E, so only the face image corresponding to the person B is registered in the person dictionary 50.
  • the person registered in the person dictionary 50 changes.
  • the threshold value of the number of detections may be two for only the person A.
  • the registration period may be extended to May for only Person E.
  • the similarity calculation unit 233 calculates the similarity between the first person and one or more second persons. More specifically, the similarity calculation unit 233 determines the characteristics of the first person included in one of the plurality of images in time series and the characteristics of the second person included in one or more other images. Compute the similarity between features.
  • the number-of-times calculating unit 239 as the second means of the evaluation value calculating means calculates the number of times of detection of the first person.
  • the registration unit 237 as a registration unit determines whether to register information about the first person in the person dictionary 50 based on the number of times the first person is detected during the registration period.
  • the number-of-times calculating unit 239 calculates the number of times the first person goes in and out of the facility.
  • the registration unit 237 registers, in the person dictionary 50, the first person who has entered or left the facility a predetermined number of times or more during the registration period. This is because a person who frequently goes in and out of the facility is more likely to be a person concerned with the facility or familiar with the person concerned and not a suspicious person.
  • the dictionary generation device 230 can easily generate the person dictionary 50 that stores information about a person, as in the dictionary generation device 30 according to the first embodiment. Unlike the technique described in Patent Document 1, it is not necessary for the person and the administrator to manually create a dictionary that stores information about the person.
  • the dictionary generation device 230 determines whether to register the person in the dictionary based on the number of times the person is detected. As a result, it is possible to prevent a person who should not be registered in the dictionary (for example, a suspicious person) from being registered in the person dictionary 50 indiscriminately, as compared with the technique described in Patent Document 2.
  • the basic configuration of the monitoring system according to the third embodiment is the same as that of the monitoring system 1 of the first embodiment (see FIG. 1).
  • the dictionary generation device 330 according to the third exemplary embodiment has a configuration different from that of the dictionary generation device 230 described in the second exemplary embodiment.
  • the number of times a person was detected corresponded to the evaluation value of the present invention.
  • the registration condition is that the number of times a person is detected reaches a certain threshold during the registration period.
  • the evaluation value of the person in the third embodiment is a cumulative total of the degrees of similarity between the first person and the second person.
  • the registration condition is that the cumulative degree of similarity exceeds a certain threshold value.
  • the threshold value in the registration condition of the third embodiment is different from the threshold value in the registration condition of the second embodiment.
  • FIG. 13 is a block diagram showing the configuration of the dictionary generation device 330 according to the third exemplary embodiment.
  • the dictionary generation device 330 includes an image acquisition unit 231, a feature extraction unit 232, a similarity calculation unit 233, an evaluation value calculation unit 334, a temporary dictionary 235, and a registration unit 336.
  • the image acquisition unit 231 is an example of an image acquisition means.
  • the feature extraction unit 232 is an example of a feature extraction means.
  • the similarity calculation unit 233 is an example of similarity calculation means.
  • the evaluation value calculation unit 334 includes a score calculation unit 337.
  • the evaluation value calculation unit 334 is an example of the evaluation value calculation means.
  • the registration unit 336 is an example of registration means.
  • the configuration of the dictionary generation device 330 according to the third embodiment will be compared with the configuration of the dictionary generation device 230 according to the second embodiment.
  • the image acquisition unit 231, the feature extraction unit 232, the similarity calculation unit 233, and the temporary dictionary 235 are the dictionary generation device 230 according to the second embodiment (see FIG. 9).
  • the temporary dictionary 235 stores data in which the face image corresponding to the first person and the score of the first person are associated with each other. In the third embodiment, the description of each of these parts will be omitted.
  • the evaluation value calculation unit 234 includes the same person determination unit 238 and the number of times calculation unit 239, whereas the dictionary generation device 330 according to the third embodiment has.
  • the evaluation value calculation unit 334 includes a score calculation unit 337. In this respect, the dictionary generator 230 and the dictionary generator 330 are different from each other.
  • the score calculator 337 calculates the score of the first person. More specifically, the score calculation unit 337 includes a first person corresponding to the face image stored in the temporary dictionary 235 and a second person corresponding to another face image stored in the temporary dictionary 235. The total value of all the similarities between and is calculated as the score of the first person.
  • the score calculation unit 337 notifies the registration unit 336 of the score of the first person along with the information (for example, ID) for identifying the first person.
  • the registration unit 336 is connected to the temporary dictionary 235 and the person dictionary 50.
  • the registration unit 336 is notified of the score of the first person from the score calculation unit 337 together with the information (for example, ID) for identifying the first person.
  • the registration unit 336 determines whether the score of the first person exceeds the threshold value. More specifically, the registration unit 336 confirms the magnitude relationship between the score of the first person and the threshold value.
  • the registration unit 336 registers the face image corresponding to the first person in the person dictionary 50. After that, the registration unit 336 deletes the information about the first person from the temporary dictionary 235.
  • FIG. 14 is a flowchart showing the flow of processing executed by the dictionary generation device 330 according to the third embodiment during the registration period. After the image acquisition unit 231 receives the start signal from the person detection unit 20, each unit of the dictionary generation device 330 starts the process described below.
  • the image acquisition unit 231 determines whether or not the registration period is in progress based on the start signal and the end signal received from the person detection unit 20 (S400). If it is not during the registration period (No in S400), the flow proceeds to step S408 described later.
  • the image acquisition unit 231 acquires a plurality of images taken at intervals within a predetermined area from the person detection unit 20 (S401). Each time the camera 10 takes an image, the image acquisition unit 231 may acquire one image from the person detection unit 20 in real time, or may acquire a plurality of images at once. The former example will be described below.
  • the image acquisition unit 231 detects the face area of the second person from the acquired image (S402).
  • the image acquisition unit 231 generates a face image including the face area of the second person, and transmits the generated face image to the feature extraction unit 232.
  • the image acquisition unit 231 When a plurality of second persons are included in the image acquired by the image acquisition unit 231, the image acquisition unit 231 generates a plurality of face images corresponding to the plurality of second persons. In this case, the process described below is executed for each face image corresponding to the one second person.
  • the feature extraction unit 232 refers to the temporary dictionary 235. Then, the feature extraction unit 232 extracts the face feature of the first person from the face image stored in the provisional dictionary 235. In addition, the feature extraction unit 232 acquires a face image from the image acquisition unit 231 and extracts the facial features of the second person from the acquired face image (S403).
  • the feature extraction unit 232 extracts the facial features of the plurality of first persons.
  • the feature extraction unit 232 uses the similarity calculation unit to calculate the data of the facial features of the first person and the data in which the facial image corresponding to the second person and the facial features of the second person are associated with each other. Send to 233.
  • the similarity calculation unit 233 associates the face feature data of the first person, the face image corresponding to the second person, and the face feature of the second person from the feature extraction unit 232. Receive data.
  • the similarity calculation unit 233 calculates the similarity between the characteristics of the first person and the characteristics of the second person (S404). When a plurality of face images corresponding to a plurality of first persons are received from the feature extracting unit 232, in step S404, the similarity calculating unit 233 determines that the similarity between all the first persons and the second persons is large. The similarity of each is calculated.
  • the score calculation unit 337 refers to the score associated with the face image corresponding to the first person in the temporary dictionary 235. Then, the score calculation unit 337 adds the similarity calculated by the similarity calculation unit 233 to the score of the first person (S405). The score calculation unit 337 updates the score of the first person stored in the temporary dictionary 235 to the score after adding the similarity.
  • the score calculation unit 337 may notify the registration unit 336 that the temporary dictionary 235 has been updated. In this case, the registration unit 336 acquires the score information of the first person stored in the temporary dictionary 235 from the temporary dictionary 235.
  • the registration unit 336 determines whether the score of the first person satisfies the registration condition (S406).
  • the registration unit 336 determines whether the score of the first person exceeds the threshold value.
  • the registration unit 336 determines whether or not the score of each first person exceeds the threshold value.
  • the registration unit 336 acquires the face image corresponding to the first person from the provisional dictionary 235 and registers it in the person dictionary 50 ( S407). After that, the registration unit 336 deletes the face image and the score data corresponding to the first person from the temporary dictionary 235. In step S406, when the scores of the plurality of first persons exceed the threshold value, the registration unit 336 registers the face images corresponding to the plurality of first persons in the person dictionary 50.
  • the registration unit 336 may determine whether or not the face image of the first person to be registered in the person dictionary 50 is not already registered in the person dictionary 50. For example, the registration unit 336 extracts features from the face image corresponding to the first person and the face image corresponding to the registered person stored in the person dictionary 50. Then, when the similarity between the extracted features exceeds a predetermined threshold value, the registration unit 336 determines that the face image corresponding to the first person is already registered in the person dictionary 50. Then, when the face image corresponding to the first person is already registered in the person dictionary 50, the registration unit 336 cancels registering the face image corresponding to the first person in the person dictionary 50. As a result, it is possible to prevent a plurality of face images corresponding to the same first person from being stored in the person dictionary 50.
  • step S407 or when the scores of the first person (all the first persons when there are a plurality of first persons) do not exceed the threshold value (No in S406), the image acquisition unit 231 Based on the start signal and the end signal received from the person detection unit 20, it is determined whether or not the registration period is in progress (S400). However, when the image acquisition unit 231 generates a plurality of face images corresponding to the plurality of second persons in step S402 described above, the flow returns to step S403 after No in step S406 or step S407. Then, the image acquisition unit 231 detects the area of the face of the other second person from the other face image.
  • step S400 If the registration period is still in progress (Yes in S400), the flow returns to step S401, and the image acquisition unit 231 acquires another image from the person detection unit 20. Then, each unit of the dictionary generation device 330 executes the above-described flow again.
  • the image acquisition unit 231 After the registration period ends (No in S400), the image acquisition unit 231 notifies the registration unit 336 that the registration period has ended. After being notified by the image acquisition unit 231, the registration unit 336 deletes the face images and score data of all the first persons from the temporary dictionary 235 (S408). Alternatively, in step S408, the registration unit 336 may reset all the scores associated with the first person in the provisional dictionary 235 to zero. This completes the operation of the dictionary generator 330.
  • the registration unit 336 does not perform the process of registering the face image corresponding to the first person in the person dictionary 50 (steps S406 to S407 described above) during the registration period, and the registration period. After the process ends (No in S400), the processes corresponding to steps S406 to S407 are executed only once. That is, in this modification, after the image acquisition unit 231 notifies that the registration period has expired, the registration unit 336 has a threshold value for each of the first persons stored in the temporary dictionary 235. Judgment is made. Then, the registration unit 336 identifies the first person whose score exceeds the threshold and registers the face image corresponding to the identified first person in the person dictionary 50. After that, the registration unit 336 deletes the face images and score data of all the first persons from the temporary dictionary 235 (S408).
  • FIG. 11 shows time-series images p1 to p3 and persons A to G included in the respective images p1 to p3.
  • the image acquisition unit 231 acquires the images p1 to p3 one by one in this order.
  • the image acquisition unit 231 acquires the image p1 in the first flow after the start of the registration period.
  • the image p1 includes persons A to C. Persons A to C correspond to the second person.
  • the temporary dictionary 235 is still empty. That is, the first person does not exist. Therefore, in this flow, the similarity calculation unit 233 does not perform the process of calculating the similarity between the first person and the second person.
  • the image acquisition unit 231 acquires the image p2 in the second flow.
  • the image p2 includes persons D to F.
  • the similarity calculation unit 233 calculates the similarities between the first person persons A to C and the second person persons DF, respectively.
  • the score calculation unit 337 adds the cumulative value of the respective degrees of similarity with the persons D to F to the scores associated with the face images of the persons A to C in the temporary dictionary 235.
  • the similarity between the person A and the person D is 0.64
  • the similarity between the person A and the person E is 0.49
  • the similarity between the person A and the person F is 0.88.
  • the score calculation unit 337 adds the cumulative value of the degree of similarity between the persons B and C and the persons D to F to the scores of the persons B and C, respectively.
  • the image acquisition unit 231 acquires the image p3 in the third flow.
  • the image p3 includes the person G.
  • the similarity calculator 233 calculates the similarity between the first person, that is, the persons A to F and the second person, that is, the person G.
  • the score calculation unit 337 adds the degree of similarity with the person G to the scores associated with the face images of the persons A to F in the temporary dictionary 235.
  • FIG. 15 shows an example of the scores of the persons A to G at the time when the above-described third flow ends.
  • the score of the person A is a value obtained by accumulating the degrees of similarity with the persons D to G.
  • each of the small blocks indicated by reference signs D to G represents the degree of similarity between the person A and each of the persons D to G.
  • a stack of these small blocks represents the score of the person A.
  • the registration unit 336 (see FIG. 13) according to the third embodiment registers the face image corresponding to the person B in the person dictionary 50 (see FIG. 1).
  • information other than the face image of the first person may be registered as information about the person.
  • the iris pattern of a person is registered in the person dictionary 50.
  • the feature extraction unit 232 extracts the iris pattern from the face image corresponding to the second person in place of the facial features of the person or in addition to the facial features of the person.
  • the feature extracting unit 232 also refers to the temporary dictionary 235 to acquire a face image corresponding to the first person, and extracts the iris pattern of the first person from the acquired face image corresponding to the first person. Extract.
  • the feature extraction unit 232 includes the data of the iris pattern of the first person, the image including the iris of the second person (or the image including the eye or eye region of the person), and the iris of the second person.
  • the data associated with the pattern is transmitted to the similarity calculation unit 233.
  • the similarity calculation unit 233 calculates the similarity between the iris pattern of the first person and the iris pattern of the second person.
  • the evaluation value calculation unit 334 calculates the score of the first person based on the similarity calculated by the similarity calculation unit 233.
  • the score of the first person is an example of an evaluation value that depends on the degree of similarity.
  • the registration unit 336 determines whether or not to register the information about the first person in the person dictionary 50 based on the evaluation value calculated by the evaluation value calculation unit 334. When the evaluation value of the first person exceeds the threshold value, the registration unit 336 registers the image including the iris of the first person and/or the iris pattern in the person dictionary 50 as information about the first person. ..
  • whether or not to register the first person in the person dictionary 50 is determined based on the cumulative value of the degrees of similarity. Therefore, the degree of similarity of the same person is large and the degree of similarity between different persons is Small is important. In other words, the accuracy of identifying a person needs to be high.
  • the score calculation unit 337 set a second threshold value and add only the degree of similarity larger than the second threshold value to the score.
  • the second threshold value is preferably larger than the average similarity between different persons and smaller than the average similarity between the same person.
  • the score calculation unit 337 does not have to set the above-mentioned second threshold value. In such a case, even if the small similarity of another person is added to the score, the influence on the score is small.
  • the score calculation unit 337 adds (plus) or subtracts (minus) the score of the first person who satisfies a predetermined condition.
  • the predetermined condition is arbitrary.
  • the score calculation unit 337 analyzes the behavior, behavior, or attribute of the first person, and adds or subtracts the score of the first person according to the analysis result.
  • the person detection unit 20 tracks a person in the image taken by the camera 10 and transmits a time-series image including the same person to the image acquisition unit 231.
  • the image acquisition unit 231 generates a face image including the face area of the second person from one of the time-series images received from the person detection unit 20.
  • the feature extraction unit 232 extracts the face feature of the second person from the face image corresponding to the second person generated by the image acquisition unit 231.
  • the feature extraction unit 232 acquires a face image corresponding to the first person registered in the provisional dictionary 235, and extracts the face feature of the first person.
  • the similarity calculation unit 233 calculates the similarity between the characteristics of the first person and the characteristics of the second person.
  • the score calculation unit 337 detects the behavior or behavior of the first person from the time-series images, and evaluates the behavior or behavior of the detected first person by pattern matching. Then, the score calculation unit 337 adds or subtracts the score of the first person based on the evaluation result.
  • An example of the action of the first person is that the person is talking to another person. In this case, the score calculation unit 337 adds the scores. Further, another example of the behavior of the first person is that the first person behaves hostilely to another person. In this case, the score calculation unit 337 subtracts the score.
  • the first person by adjusting the score of the first person based on the behavior or action of the first person, the first person can be easily registered in the person dictionary 50, or conversely. You can make it difficult to register.
  • the similarity calculation unit 233 calculates the similarity between the first person and one or more second persons. More specifically, the similarity calculation unit 233 determines the characteristics of the first person included in one of the plurality of images in time series and the characteristics of the second person included in one or more other images. Compute the similarity between features.
  • the evaluation value calculation unit 334 as the evaluation value calculation unit includes a score calculation unit 337, and the score calculation unit 337 calculates a score that is a cumulative value of the degrees of similarity between the first person and the second person. calculate.
  • the score is an example of an evaluation value.
  • the registration unit 336 as a registration unit determines whether to register the information about the first person in the person dictionary 50 based on the score calculated by the score calculation unit 337. More specifically, the registration unit 336 registers the face image of the first person in the person dictionary 50 when the score of the first person exceeds the threshold value. This is because the higher the score of the first person, the more likely the first person has been to and from the facility many times before, and thus the higher the probability of not being a suspicious person.
  • the dictionary generation apparatus 330 can easily generate the person dictionary 50 without any trouble for the administrator.
  • a person who applies for registration does not need to perform an input operation unlike the technique described in Patent Document 1.
  • the dictionary generation apparatus 330 uses the above-described score to identify a person who should be registered in the dictionary (that is, a person who is allowed to enter the facility) and a person who should not be registered in the dictionary (for example, Suspicious person) can be distinguished. Therefore, unlike the technique described in Patent Document 2, it is possible to prevent all persons from being indiscriminately registered in the person dictionary 50. [Embodiment 4] Another embodiment of the present invention will be described below.
  • each component of each device represents a block of functional units. A part or all of each component of each device is realized by an arbitrary combination of the information processing device 900 and the program as shown in FIG. 16, for example.
  • FIG. 16 is a block diagram showing an example of a hardware configuration of the information processing device 900 that realizes each component of each device.
  • the information processing device 900 includes, for example, the following configuration.
  • ⁇ CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • 903 -Program 904 loaded in RAM 903 -Storage device 905 storing the program 904 -Drive device 907 for reading and writing the recording medium 906 -Communication interface 908 connected to the communication network 909 -Input/output interface 910 for inputting/outputting data .
  • Bus 911 that connects each component
  • Each component of each device in each embodiment is realized by the CPU 901 acquiring and executing a program 904 that realizes these functions.
  • the program 904 that realizes the function of each component of each device is stored in the storage device 905 or the ROM 902 in advance, for example, and the CPU 901 loads the program into the RAM 903 and executes it as necessary.
  • the program 904 may be supplied to the CPU 901 via the communication network 909, or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901.
  • monitoring of a person is taken as an example, but the application example of the present invention is not limited thereto.
  • it can be used in a store to detect regular customers.
  • the monitoring system related to this application example associates the number of times a customer has visited the store with the customer's face image and stores it in a person dictionary.
  • the store can provide the customer with a special service according to the number of times the customer visits the store, for example.
  • a dictionary generating device including a registration means for determining whether or not to register information about the first person in a dictionary based on the similarity.
  • Appendix 2 The dictionary generation device according to appendix 1, wherein the registration unit registers the information about the first person in the dictionary when the similarity exceeds a threshold value.
  • An evaluation value calculation means for calculating an evaluation value that changes depending on the similarity is further provided.
  • the dictionary generation device according to appendix 1 or 2, wherein the registration unit determines whether to register information about the first person in the dictionary based on the evaluation value.
  • Appendix 4 The evaluation value calculation means, The same person determining means for determining whether or not the first person and the second person are the same based on the similarity, and The dictionary generator according to Appendix 3, wherein the evaluation value includes a number-of-times calculating means for calculating the number of times determined to be the same.
  • Appendix 5 The dictionary generator according to Appendix 3, wherein the evaluation value is a cumulative value obtained by totaling the similarities.
  • the feature extraction means extracts facial features of a person included in the plurality of images, respectively.
  • the similarity calculating means calculates the similarity between the feature of the face of the first person and the feature of the face of the second person.
  • the dictionary generation device according to item 1.
  • a dictionary generation method including determining whether or not to register information about the first person in a dictionary based on the similarity.
  • Appendix 11 The program, in the computer, Further execution is performed to calculate the evaluation value that changes depending on the similarity. Determining whether to register the information about the first person in the dictionary based on the similarity is whether to register the information about the first person in the dictionary based on the evaluation value.
  • Person detection means A dictionary generator, A biometric device, A monitoring system comprising: The person detecting means detects a person's area from a plurality of images taken at intervals in a predetermined area.
  • the dictionary generation device An image acquisition means for acquiring a plurality of images including a region of the person from the person detection means, and A feature extraction means for extracting the characteristics of a person included in each of the plurality of images, and Similarity calculation means for calculating the similarity between the characteristics of the first person included in one image of the plurality of images and the characteristics of the second person included in one or more other images
  • a registration means for determining whether or not to register information about the first person in a dictionary based on the similarity is provided.
  • the biometric device A collation means for collating a person in the input image with the first person registered in the dictionary with reference to the dictionary generated by the dictionary generator.
  • a monitoring system including an output means for outputting a collation result by the collation means.
  • the present invention can be used, for example, in a monitoring system to which biometric authentication technology is applied. It can also be used for customer management in stores.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

監視エリアへの立ち入りを許可される人物に関する情報を格納した辞書を簡単に生成できる辞書生成装置を提供する。画像取得部(31)は、所定のエリア内で時間をおいて撮影された複数の画像を取得し、特徴抽出部(32)は、複数の画像にそれぞれ含まれる人物の特徴を抽出し、類似度計算部(33)は、複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算し、登録部(34)は、類似度に基づいて、第1の人物に関する情報を辞書に登録するか否かを決定する。

Description

辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体
 本発明は、辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体に関し、例えば、生体認証に用いられる人物辞書を生成する辞書生成装置等に関する。
 学習塾や学校などの施設には、多数の人物が頻繁に出入りする。そのため、これらの施設へ侵入しようとする不審者を発見することが困難である。関連する技術では、これらの施設に立ち入ることを許可する人物の顔画像を、辞書(ホワイトリストとも呼ぶ)に登録している。そして、施設の出入り口などの要所に配置した監視カメラによって、辞書に登録されていない人物を発見した場合、警報を発報したり、関係者に危険を通報したりする。
 特許文献1には、人物にパスワードやバーコードを提示させることによって、権限者の介在なしに、人物に関する情報を登録する方法が示されている。
特開2009-205393号公報 特開2004-157602号公報
 特許文献1に記載の技術では、多数の人物に関する情報を手動で辞書に登録するために、多大な時間及び労力を要する。特に、学習塾や学校では、入学、転入および卒業などによって、学生が頻繁に入れ替わるため、辞書を作成する手間が大きい。
 本発明の目的は、監視エリアへの立ち入りを許可される人物に関する情報を格納した辞書を簡単に生成できる辞書生成装置等を提供することにある。
 本発明の一態様に係わる辞書生成装置は、所定のエリア内で時間をおいて撮影された複数の画像を取得する画像取得手段と、前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する類似度計算手段と、前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定する登録手段とを備えている。
 本発明の一態様に係わる辞書生成方法は、所定のエリア内で時間をおいて撮影された複数の画像を取得し、前記複数の画像にそれぞれ含まれる人物の特徴を抽出し、前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算し、前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定することを含む。
 本発明の一態様に係わる記録媒体は、所定のエリア内で時間をおいて撮影された複数の画像を取得することと、前記複数の画像にそれぞれ含まれる人物の特徴を抽出することと、前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算することと、前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定することとをコンピュータに実行させるためのプログラムを記憶している。
 本発明の一態様に係わる監視システムは、人物検出手段と、辞書生成装置と、生体認証装置と、を備えた監視システムであって、前記人物検出手段は、所定のエリア内で時間をおいて撮影された複数の画像から人物の領域を検出し、前記辞書生成装置は、前記人物検出手段から前記人物の領域を含む複数の画像を取得する画像取得手段と、前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する類似度計算手段と、前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定する登録手段とを備え、前記生体認証装置は、前記辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第1の人物とを照合する照合手段と、前記照合手段による照合結果を出力する出力手段とを備えている。
 本発明によれば、監視エリアへの立ち入りを許可される人物に関する情報を格納した辞書を簡単に生成できる。
実施形態1に係わる監視システムの構成を示すブロック図である。 実施形態1に係わる監視システムの人物検出部が実行する処理の流れを示す。 実施形態1に係わる監視システムに含まれる監視カメラと、監視カメラの視野内の人物とを示す。 実施形態1に係わる辞書生成装置の構成を示すブロック図である。 人物の間の類似度を表す表である。 実施形態1に係わる辞書生成装置の各部が実行する処理の流れを示すフローチャートである。 実施形態1に係わる生体認証装置の構成を示すブロック図である。 実施形態1に係わる生体認証装置が実行する処理の流れを示す。 実施形態2に係わる辞書生成装置の構成を示すブロック図である。 実施形態2に係わる辞書生成装置が実行する処理の流れを示す。 実施形態2に係わる人物検出部が検出した人物を時系列で示す。 ある時刻において、人物の検出回数を示す棒グラフである。 別の時刻において、人物の検出回数を示す棒グラフである。 さらに別の時刻において、人物の検出回数を示す棒グラフである。 実施形態3に係わる辞書生成装置の構成を示すブロック図である。 実施形態3に係わる辞書生成装置が登録期間中に実行する処理の流れを示すフローチャートである。 人物の間の類似度の累計を示す棒グラフである。 実施形態4に係わるハードウェア機器の構成を示す。
 図面中の矢印の向きは、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
 〔実施形態1〕
 本発明の実施形態1について、以下で説明する。
 図1は、本実施形態1に係わる監視システム1の構成を示すブロック図である。図1に示す監視システム1は、複数台のカメラ10と、人物検出部20と、辞書生成装置30と、生体認証装置40と、人物辞書50と、報知部60とを備えている。なお、監視システム1は、カメラ10および報知部60の少なくとも一方を備えていなくてもよい。監視システム1は、学校の敷地などの監視エリア内に配置された複数台のカメラ10によって、不審人物を発見し、警報などによって関係者に危険を通知する。カメラ10の台数は、1台以上であればよく、特に限定されない。各カメラ10は、所定の時間間隔Δt(たとえば、10分)で、撮影領域内の被写体を時系列の画像(動画、または複数の静止画)で撮影する。
 人物検出部20について説明する。人物検出部20は、人物検出手段の一例である。
 人物検出部20は、複数台のカメラ10が撮影した時系列の画像(動画、または複数の静止画)をリアルタイムで取得し、取得した各画像から人物の領域を検出する。具体的には、人物検出部20は、取得した各画像から、人物らしさを示す特徴(例えばHOG;Histogram of Oriented Gradients、SIFT;Scale-invariant feature transform、あるいはSURF;Speeded-Up Robust Features)を有する画像領域を抽出する。なお、以下では、人物検出部20が各画像から人物の領域を検出することを、人物検出部20が人物を検出するという。なお、監視システム1がカメラ10を備えていない場合、人物検出部20は、例えば、図示しない録画装置に格納された時系列の画像を取得する。
 図4を参照して後述するように、辞書生成装置30の画像取得部31は、所定のエリア内で時間をおいて撮影された複数の画像を、人物検出部20から受信する。例えば、画像取得部31が取得する画像は、所定時間おき、同一曜日の同一時刻、または所定のトリガーに基づいて撮影されたものである。人物検出部20から送信された画像には、それぞれ、人物が含まれている。画像取得部31は、受信した複数の画像から、複数の人物画像を生成し、特徴抽出部32へ複数の人物画像を送信する。人物画像は、1人の人物の領域を含む画像である。人物画像は、画像取得部31が人物検出部20から受信した画像そのものであってもよいし、その一部であってもよい。また人物画像は、人物の一部(例えば顔や瞳)のみを含んでいてもよい。
 特徴抽出部32は、複数の人物画像にそれぞれ含まれる人物の特徴を抽出する。たとえば、特徴抽出部32は、人物画像に含まれる人物の顔や瞳の領域から、人物の顔や瞳に関する特徴を示す情報を抽出する。
 辞書生成装置30の登録部34は、後述する所定の処理の後に、監視エリアへの立ち入りを許可する人物に関する情報を、人物辞書50に登録する。本実施形態1では、登録部34は、人物に関する情報として、人物の領域を含む人物画像を、人物辞書50に登録する。人物画像は、人物の一部(例えば顔)のみを含んでいてもよい。また、登録部34は、特徴抽出部32により抽出された人物の特徴も、人物辞書50に登録してもよい。
 あるいは、特徴抽出部32が、人物の特徴として、虹彩パターンを抽出する場合、登録部34は、人物に関する情報として、人物の瞳を含む画像を、人物辞書50に登録してもよい。また、登録部34は、人物に関する情報として、特徴抽出部32により抽出された虹彩パターンを、人物辞書50に登録してもよい。しかしながら、登録部34が人物辞書50に登録する情報は、この例に限定されない。
 辞書生成装置30の詳細な構成については後述する。
 人物検出部20の動作について説明する。図2および図3を参照して、本実施形態に係わる人物検出部20が実行する処理の流れを説明する。図2は、人物検出部20が実行する処理の流れを示すフローチャートである。図3は、登録期間中のある時刻t1において、カメラ10の視野内にいる人物A~Cを示す。登録期間は、人物に関する情報(例えば、人物の領域を含む人物画像、および/または人物の特徴)を、辞書生成装置30が人物辞書50に登録する期間である。
 図2に示すように、人物検出部20は、カメラ10が時刻t1に撮影した画像p1を取得する(S1)。
 次に、人物検出部20は、画像p1内の人物A~Cを検出する(S2)。具体的には、人物検出部20は、人物らしさを表す特徴に基づいて、人物A~Cを含む領域(あるいは人物の領域と呼ぶ場合がある)を、画像p1から検出する。なお、人物検出部20は、画像p1から人物を検出することができなかった場合、カメラ10から次の画像を取得するまで待機する。
 図2に示すステップS2の後、人物検出部20は、現在が登録期間中であるかどうかを判定する(S3)。例えば人物検出部20は、タイマーによって、現在が登録期間中であるかどうかを判定する。登録期間に入ったとき、人物検出部20は、辞書生成装置30へ開始信号を送信する。辞書生成装置30は開始信号を受信したときに、待機状態から復帰する。また、登録期間が終了したとき、人物検出部20は、辞書生成装置30へ終了信号を送信する。辞書生成装置30は終了信号を受信したときに、待機状態に遷移する。
 なお、登録期間は、自由に設定および変更されてよい。登録期間は、一定の休止期間(インターバル)を含んでいてもよいし、管理者または関係者の判断によって、中断されてもよい。また、登録期間は、画像の送信元であるカメラ10ごとに決定されていてもよい。あるいは、登録期間は存在しなくてもよい。登録期間がない場合、図2のステップS3は省略されて、図2に示すステップS4およびステップS5の処理が実行される。ステップS4およびステップS5の処理の順番は問わない。
 現在が登録期間中である場合(S3でYes)、人物検出部20は、人物A~Cを含む画像p1を、辞書生成装置30へ送信する(S4)。一方、現在は登録期間中でない場合(S3でNo)、人物検出部20は、人物A~Cを含む画像p1を、生体認証装置40へ送信する(S5)。
 図2に示すステップS4またはステップS5の後、フローはステップS1へ戻る。そして、人物検出部20は、登録期間中の時刻t2(>t1)に撮影された他の画像をカメラ10から取得する。このようにして、人物検出部20は、カメラ10が撮影した時系列の画像を順番に取得して、各画像から人物を検出する処理を繰り返す。なお、時刻t1から時刻t2までの時間、すなわちステップS1~S5の処理が繰り返される周期(上述の時間間隔Δtと対応)は、例えば10分である。この周期は、監視システム1の使用環境に応じて、十分に長く設定されることが好ましい。周期が短すぎる場合、カメラ10の視野内にいる人物が移動しないので、人物検出部20は、同じ人物を連続して検出することになる。
 なお、監視システム1では、辞書生成装置30へ送信される画像を撮影するカメラ10と、生体認証装置40へ送信される画像を撮影するカメラ10とが別々であってもよい。その場合、人物検出部20は、画像の送信元であるカメラ10がどちらであるのかを判別する。
 次に、辞書生成装置30について説明する。
 本実施形態1に係わる辞書生成装置30は、登録期間中、監視エリアへの立ち入りを許可する人物に対応する人物画像を、人物辞書50に登録する。
 図4は、本実施形態1に係わる辞書生成装置30の構成を説明するためのブロック図である。具体的には、図4には、図1の一部の構成として、辞書生成装置30と、人物検出部20と、人物辞書50とが、示されている。また、図4には、辞書生成装置30の詳細構成が示されている。図4に示すように、辞書生成装置30は、画像取得部31と、特徴抽出部32と、類似度計算部33と、登録部34とを備えている。
 画像取得部31は、画像取得手段の一例である。特徴抽出部32は、特徴抽出手段の一例である。類似度計算部33は、類似度計算手段の一例である。登録部34は、登録手段の一例である。
 画像取得部31は、人物検出部20から、所定のエリア内で時間をおいて撮影された複数の画像を取得する。これらの画像は、カメラ10が撮影した時系列の画像に相当する。画像取得部31が取得する各画像は、それぞれ人物を含む。ここでは、画像取得部31は、登録期間中、人物A~Gを含む7枚の画像を受信する。人物A~Gは、それぞれ異なる画像に含まれるとする。画像取得部31は、受信した複数の画像から、人物A~Gの領域を検出し、人物A~Gにそれぞれ対応する複数の人物画像を生成する。複数の人物画像は、人物A~Gの領域をそれぞれ含む画像である。人物画像の生成については、図6のフローチャートを用いて後述される。画像取得部31は、生成した複数の人物画像を、特徴抽出部32へ送信する。
 特徴抽出部32は、画像取得部31から複数の人物画像を受信する。さらに、特徴抽出部32は、複数の人物画像から、人物A~Gの特徴(例えばHOG)をそれぞれ抽出する。特徴抽出部32は、受信した各人物画像に対し、その人物画像から抽出した人物A~Gの特徴を紐付けたデータを生成する。特徴抽出部32は、こうして生成したデータを、類似度計算部33へ送信する。
 類似度計算部33は、特徴抽出部32から、複数の人物画像と、それぞれの人物画像に対して紐付けられた人物A~Gの特徴とを含むデータを受信する。類似度計算部33は、複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度(以下、人物の間の類似度または単に類似度と記載する)を計算する。
 一例では、人物の特徴はバイナリデータで表されており、類似度計算部33は、人物の特徴の間のハミング距離を計算して、計算したハミング距離に基づいて、類似度を計算する。例えば、類似度計算部33は、ハミング距離を0から1までの値に正規化し、1から正規化したハミング距離を減算することで、類似度を計算する。これにより、類似度は、0から1までの値を取る。人物の特徴の間のハミング距離が近いほど、類似度は1に近づき、ハミング距離が遠いほど、類似度は0に近づく。
 具体的には、類似度計算部33は、複数の人物A~Gの中から、任意の2人の人物の組み合わせを選択する。そして、類似度計算部33は、選択した2人の人物の間の類似度を計算する。例えば、第1の人物が人物Aであるとすれば、第2の人物は人物B~Gである。この場合、類似度計算部33は、人物Aと人物B~Gとの間の類似度をそれぞれ算出する。
 図5の表は、以上のように計算された人物A~Gの間の類似度の一例を示している。類似度は、0から1.00の間の数値で表される。図5の表において、縦の列及び横の行は、それぞれ一人の人物に対応する。縦の列が示す人物A~Gの特徴と、横の行が示す人物A~Gの特徴との間の類似度が、列と行とが交差する枠内に記載されている。例えば、図5に示す表によれば、人物Aと人物Bとの間の類似度は、0.32である。
 類似度計算部33は、人物A~Gに対応する複数の人物画像と、人物A~Gの間の類似度の計算結果とを含むデータを、登録部34へ送信する。
 登録部34は、人物辞書50に接続されている。登録部34は、類似度計算部33から、人物A~Gに対応する複数の人物画像と、人物A~Gの間の類似度の計算結果(図5参照)とを含むデータを受信する。登録部34は、類似度計算部33により計算された類似度に基づいて、人物A~Gに関する各情報を、人物辞書50に登録するか否かを決定する。具体的には、登録部34は、第1の人物と第2の人物との間の類似度が閾値を超えた場合、第1の人物に関する情報を人物辞書50に登録する。閾値は任意に設定されてよい。
 例えば、第1の例では、上述した閾値が0.8であるとする。図5に示す人物Aと人物Fとの間の類似度は0.88である。この場合、登録部34は、人物Aに関する情報を人物辞書50に登録する。第2の例では、閾値が0.90であるとする。人物Aと他の人物B~Gとの間の類似度は、いずれも閾値を超えない。この場合、登録部34は、人物Aに関する情報を人物辞書50に登録しない。
 第1の人物の第2の人物との間の類似度が高いことは、第1の人物と第2の人物とが同一である可能性が高いことを意味する。すなわち、2つの人物画像に同一人物が映っている。よって、第1の人物は、少なくとも2回、監視エリア内に立ち入っている。登録部34は、このような第1の人物に関する情報のみを人物辞書50に登録する。一方、不審者が1度だけ監視エリア内に侵入し、カメラ10によってこの不審者が撮影されたとする。この場合、不審者に対応する人物画像は1つだけである。辞書生成装置30が、不審者と他の人物とを正確に識別できる限り、登録部34は、この不審者に関する情報を人物辞書50に登録することはない。
 このように、辞書生成装置30は、少なくとも2回、監視エリア内に立ち入っている第1の人物を、立ち入りを許可される人物として判別し、そのような第1の人物のみを人物辞書50に登録する。したがって、監視エリアへの立ち入りを許可される人物に関する情報を格納した人物辞書50を簡単に生成できる。
 次に、人物辞書50について説明する。図1に示すように、人物辞書50は、辞書生成装置30の登録部34と、生体認証装置40とに接続されている。
 人物辞書50には、人物に関する情報として、辞書生成装置30の登録部34が登録した人物画像が格納されている。しかしながら、後述するように、人物辞書50には、人物画像以外にも、人物に関する情報が格納されていてもよい。監視システム1は、人物辞書50に登録された人物に関する情報を、管理者や関係者が自由に閲覧および編集することが可能であるように、構成されていてよい。
 人物辞書50の変形例について説明する。
 一変形例では、人物辞書50は複数あってもよい。例えば、カメラ10ごと、カメラ10が配置されているエリアごと、あるいは時間帯ごとに、異なる人物辞書50が存在する。本変形例では、生体認証装置40は、1または複数のエリアにおいて生体認証に使用される人物辞書50を組み合わせて、他のエリアにおける生体認証のために使用してもよい。
 本変形例の構成によれば、例えば、生体認証装置40は、図示しない第1エリアおよび第2エリアの両方への立ち入りを許可されている人物に対し、図示しない第3エリアへの立ち入りも自動的に許可することができる。あるいは、生体認証装置40は、第1エリアおよび第2エリアのうち少なくとも一方への立ち入りを許可されている人物に対し、第3エリアへの立ち入りも自動的に許可することもできる。
 次に、辞書生成装置30の動作について説明する。
 図6を参照して、辞書生成装置30の動作を説明する。図6は、実施形態1に係わる辞書生成装置30の各部が実行する処理の流れを示すフローチャートである。
 図6に示すように、画像取得部31は、人物検出部20から、所定のエリア内で時間をおいて撮影された複数の画像を取得する(S101)。各画像は1または複数の人物を含む。
 画像取得部31は、取得した複数の画像の各々から、人物の領域を検出する。たとえば、画像取得部31は、不特定の人物のサンプル画像を用いて、不特定の人物の各部位の特徴、たとえば、頭部、肩、腕、及び足などの特徴を予め学習する。そして、画像取得部31は、複数の画像の各々から、学習した特徴と類似する特徴を備えた領域を、人物の領域として検出する(S102)。ここで、人物の領域とは、1人の人物の身体全体の領域であってもよいし、人物の身体の一部の領域であってもよい。例えば、人物の領域は、人物の顔の領域、あるいは、人物の目または瞳の領域であってもよい。画像取得部31は、人物の領域を示すデータから、人物の領域を検出してもよい。
 画像取得部31は、人物検出部20から取得した複数の画像から、複数の人物画像を生成する。それぞれの人物画像は、ステップS102において検出した1人の人物の領域を含む。そして、画像取得部31は、生成した複数の人物画像を、特徴抽出部32へ送信する。なお、特徴抽出部32へ送信される人物画像には、人物の領域を示すデータが添付されてもよい。また、人物画像のデータは、前述のサンプル画像として、記憶装置に記憶されてもよい。または、記憶装置は、人物辞書50を含んでいてもよい。
 特徴抽出部32は、画像取得部31から、複数の人物画像を受信する。特徴抽出部32は、それぞれの人物画像から、人物の特徴をそれぞれ抽出する(S103)。特徴抽出部32は、人物の領域を含む人物画像に対し、その人物画像から抽出した人物の特徴を紐付けたデータを、類似度計算部33へ送信する。なお、上述したように、特徴抽出部32は、人物画像から、虹彩のパターンを抽出してもよい。その場合、特徴抽出部32は、人物の虹彩を含む画像(例えば人物画像における瞳または目の領域)と、人物の虹彩のパターンとを紐付けたデータを、類似度計算部33へ送信する。
 類似度計算部33は、特徴抽出部32から、複数の人物画像と、それらの人物画像から抽出された人物の特徴とを含むデータを受信する。類似度計算部33は、受信したデータを用いて、複数の人物の間の類似度を計算する(S104)。
 ステップS104において、類似度計算部33は、複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴とに基づいて、両者の間の類似度を計算する。特徴抽出部32から、人物の特徴として、虹彩のパターンを受信した場合、類似度計算部33は、第1の人物の虹彩のパターンと、1または複数の第2の人物の虹彩のパターンとの間の類似度を計算する。類似度計算部33は、複数の人物画像と、類似度の計算結果(図5参照)とを含むデータを、登録部34へ送信する。
 類似度は、例えば、よく知られたハミング距離に基づいている。上述したように、類似度計算部33は、ハミング距離を0から1までの値に正規化し、1から正規化したハミング距離を減算することで、類似度を計算する。
 あるいは、類似度計算部33は、第1の人物と、第2の人物との間の類似度を、第1の人物に関する特徴ベクトルと、第2の人物に関する特徴ベクトルとの間の距離および/または方向に基づいて、計算してもよい。特徴ベクトルは、複数の特徴を要素とする多次元ベクトルである。この場合も、類似度計算部33は、特徴ベクトル間の距離が近付くほど、また、方向が近付くほど、類似度が1に近づき、特徴ベクトル間の距離が遠ざかるほど、また、方向が遠ざかるほど、類似度が0に近づくように、類似度を定義する。
 あるいは、類似度計算部33は、第1の人物に関する特徴ベクトルと第2の人物に関する特徴ベクトルとの間の相関係数に基づいて、類似度を計算してもよい。この場合、類似度計算部33は、2つの特徴ベクトルの距離を定義する。具体的には、2つの特徴ベクトルの間の相関係数(-1~1)が大きいほど、距離が長くなるように、例えば、1から相関係数を引いたものを、特徴ベクトルの距離(0~2)と定義する。類似度計算部33は、特徴ベクトルの距離(0~2)を、0から1までの値を取るように正規化する。そして、類似度計算部33は、正規化した距離(0~1)を1から減算することで、0から1までの値を取る類似度を計算する。すなわち、正規化した距離(0~1)が短くなるほど、類似度は大きくなり、1に近づく。
 登録部34は、類似度計算部33から、複数の人物画像と、類似度の計算結果とを含むデータを受信する。登録部34は、類似度計算部33により計算された類似度に基づいて、複数の人物画像に含まれる人物のうち、どの人物に関する情報を人物辞書50に登録するのかを決定する。
 具体的には、登録部34は、類似度計算部33により計算された類似度がある閾値を超えるかどうかを判定する(S105)。
 類似度がある閾値を超える場合(S105でYes)、登録部34は、第1の人物に対応する人物画像を、人物辞書50(図1参照)に登録する(S106)。
 第1の人物と第2の人物との間の類似度が高いことは、第1の人物と第2の人物とは同一である可能性が高いことを意味する。したがって、言い換えると、登録部34は、第1の人物が少なくとも2枚の人物画像に含まれている可能性が高い場合、第1の人物を人物辞書50に登録する。なお、登録部34は、第1の人物に関する別の情報として、第1の人物の一部(例えば顔または瞳)の領域を含む画像を、人物辞書50に登録してもよい。または、登録部34は、第1の人物の特徴も、人物辞書50に登録してもよい。
 一方、第1の人物と第2の人物との間の類似度がある閾値を超えない場合(S105でNo)、登録部34は、第1の人物に対応する人物画像を人物辞書50に登録しない。以上で辞書生成装置30の動作は終了する。
 なお、辞書生成装置30は、登録期間ごとに、新たな人物辞書50を生成せず、前の登録期間中に生成された人物辞書50を上書きまたは更新してもよい。すなわち、辞書生成装置30は、前の登録期間中に生成された人物辞書50に、第1の人物に対応する人物画像を登録してもよい。
 上記の構成によれば、類似度計算部33は、第1の人物の特徴と、1または複数の第2の人物の特徴との間の類似度を計算する。登録部34は、この類似度に基づいて、第1の人物と第2の人物とを判別することができる。登録部34は、類似度計算部33が計算した類似度が閾値を超える場合、第1の人物に対応する人物画像を、人物辞書50に登録する。
 以上に説明した構成により、辞書生成装置30は、人物辞書50を簡単に生成することができる。
 次に、生体認証装置40について説明する。生体認証装置40は、辞書生成装置30が生成した人物辞書50を用いて、人物を認証する。以下では、人物辞書50に登録されている人物を登録人物と呼ぶ。
 生体認証装置40の構成について説明する。
 図7は、生体認証装置40の構成を説明するためのブロック図である。具体的には、図7には、図1の一部の構成として、生体認証装置40と、人物検出部20と、人物辞書50とが示されている。また、図7には、生体認証装置40の詳細構成が示されている。図7に示すように、生体認証装置40は、入力部41と、照合部42と、出力部43とを備えている。入力部41は、入力手段の一例である。照合部42は、照合手段の一例である。出力部43は、出力手段の一例である。
 入力部41は、監視システム1の人物検出部20(図1参照)から、画像(以下では、入力画像と呼ぶ)を取得する。入力部41は、取得した入力画像を照合部42へ送信する。
 照合部42は、人物辞書50と接続されている。照合部42は、入力部41から入力画像を受信する。照合部42は、人物辞書50を参照して、入力部41から取得した入力画像中の人物と、人物辞書50に登録されている登録人物とを照合する。具体的には、照合部42は、一般的な生体認証技術を用いて、入力部41から受信した入力画像中の人物と、登録人物との間の類似度を計算する。例えば、登録人物に対応する人物画像が、人物に関する情報として、人物辞書50に登録されている場合、照合部42は、入力画像中の人物から特徴を抽出し、また登録人物に対応する人物画像から、登録人物の特徴を抽出する。そして、照合部42は、入力画像中の人物の特徴と、登録人物の特徴との間の類似度を計算する。
 類似度は、例えば、よく知られたハミング距離に基づいている。あるいは、2人の人物をA、Bとする。この場合、照合部42は、人物Aの特徴を表す特徴ベクトルと、人物Bの特徴を表す特徴ベクトルとの間の類似度を、特徴ベクトル間の距離および/または方向に基づいて、計算してもよい。この場合、特徴ベクトルは、複数の特徴要素とする多次元ベクトルである。あるいは、照合部42は、2人の人物の特徴ベクトルの間の相関係数に基づいて、類似度を計算してもよい。
 あるいは、登録人物の虹彩パターンが、人物に関する情報として、人物辞書50に登録されている場合、照合部42は、入力画像中の人物の瞳から虹彩パターンを抽出する。そして、照合部42は、パターンマッチングによって、入力画像中の人物の虹彩パターンと、登録人物の虹彩パターンとの間の類似度を計算する。
 照合部42は、入力画像中の人物と、人物辞書50に登録されている全ての人物とをそれぞれ照合する。具体的には、照合部42は、人物検出部20が検出した人物の特徴と、人物辞書50に登録されている各人物の特徴との間の類似度が閾値を超えるかどうかをそれぞれ判定する。
 入力部41が取得した入力画像中の人物と、人物辞書50に登録されているいずれかの人物との間で計算した類似度が閾値を超える場合、照合部42は、入力部41が取得した入力画像中の人物と同一の人物が、人物辞書50に登録されていると判定する。なお、照合部42が用いる類似度の閾値は、登録部34が用いる類似度の閾値とは、互いに異なっていてもよいし、同じであってもよい。
 照合部42は、照合結果を示す情報を出力部43へ送信する。ここでの照合結果は、人物検出部20が検出した人物と同一の人物が、人物辞書50に登録されているかどうかを示す。
 出力部43は、照合部42から、照合結果を示す情報を受信する。出力部43は、照合結果に基づいて、報知部60に対する報知指示を行うか否かを決定する。具体的には、人物検出部20が検出した人物と同一の人物が、人物辞書50に登録されていることを照合結果が示している場合、出力部43は、報知指示を行わない。
 人物検出部20が検出した人物と同一の人物が、人物辞書50に登録されていないことを照合結果が示している場合、出力部43は、報知部60に対して報知指示を行う。報知指示の内容は、警報を発報し、関係者に対して危険があることを知らせることである。
 報知部60について説明する。報知部60は、生体認証装置40の出力部43から報知指示を受信したとき、その報知指示の内容にしたがって、音、光、または表示などにより、警報を発報する。これにより、報知部60は、関係者に対して危険があることを知らせる。すなわち、報知部60は、人物辞書50に登録されていない人物が検出されたことを、警報を介して、関係者に報知する。報知部60は、例えば、スピーカ、警告灯、ディスプレイ、または無線機である。
 つぎに、生体認証装置40の動作について説明する。
 図8に示すフローチャートを参照して、生体認証装置40の各部が実行する処理の流れを説明する。以下では、人物辞書50は、辞書生成装置30によって既に生成されているとする。
 図8に示すように、入力部41は、監視システム1の人物検出部20(図1参照)から、1枚の入力画像を取得する(S201)。入力部41は、取得した入力画像を、照合部42へ送信する。照合部42は、入力部41から取得した入力画像から、人物の特徴を抽出する。人物の特徴とは、例えば顔の特徴や虹彩パターンである。しかしながら、照合部42は、どのような人物の特徴を抽出してもよい。
 照合部42は、入力画像に含まれる人物と、人物辞書50に登録されている各人物とを照合する(S202)。例えば、照合部42は、入力画像中の人物の顔の特徴と、登録人物の顔の特徴との間の類似度を計算する。あるいは、照合部42は、パターンマッチングによって、入力画像中の人物の虹彩パターンと、登録人物の虹彩パターンとの間の類似度を計算してもよい。
 そして、照合部42は、照合結果を示す情報を、出力部43へ送信する。照合結果は、入力画像中の人物が、人物辞書50に登録されているかどうかを示す。上述した例では、照合部42は、計算した類似度が閾値を超えるかどうかを示す情報を、出力部43へ送信する。
 出力部43は、照合部42から、照合結果を示す情報を受信する。出力部43は、照合結果に基づいて、報知部60に対する報知指示を行うか否かを決定する(S203)。
 入力画像中の人物が、人物辞書50に登録されていないことを照合結果が示している場合(S203でNo)、出力部43は、報知部60に対して報知指示を行う(S204)。以上で、生体認証装置40の動作は終了する。
 一つの変形例では、生体認証装置40は、人物辞書50に登録されているが所定期間内に一度も認証されていない人物に関する情報を、人物辞書50から消去する消去部(図示せず)をさらに備えていてもよい。所定期間は、例えば、一か月である。しかしながら、監視システム1が使用される環境に応じて、適切な所定期間が任意に設定されることが好ましい。
 本変形例の構成によれば、監視エリア内に立ち入る頻度が減少した人物に関する情報を人物辞書50から消去することができるので、人物辞書50に登録されている人物画像のデータ量が膨大になることを抑制することができる。
 (本実施形態の効果)
 本実施形態の構成によれば、登録期間中、人物検出部20は、所定のエリア内で時間をおいて撮影された複数の画像を、辞書生成装置30へ送信する。人物検出部20は、カメラ10から、時系列の画像(動画、または複数の静止画)を取得する。時系列の画像は、例えば、毎日の予め設定された時刻、または、毎週の予め設定された曜日の所定の時刻に、カメラ10が監視エリアを撮影することによって得られる。
 類似度計算部33は、複数の画像に含まれる複数の人物の間の類似度を計算する。より詳細には、類似度計算部33は、複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する。
 登録部34は、類似度計算部33が計算した類似度に基づいて、各人物に対応する人物画像を、人物辞書50に登録するか否かを決定する。このようにして、辞書生成装置30は、特許文献1に記載の技術のような、登録を申請する人物の入力操作なしで、人物に関する情報を格納した人物辞書50を簡単に生成することができる。
 さらに、複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の画像に含まれる第2の人物の特徴との間の類似度が閾値を超える場合、登録部34は、第1の人物に対応する人物画像を人物辞書50に登録する。言い換えれば、登録部34は、複数の画像のうち少なくとも2枚の画像に含まれている可能性が高い第1の人物に対応する人物画像を、人物辞書50に登録する。ここで、類似度の閾値は、第1の人物と第2の人物とが同一らしいかそうではないかを判別するために用いられる。
 第1の人物が2枚以上の画像に含まれることは、その第1の人物が、監視エリア内に少なくとも2回現れたことを意味する。したがって、登録部34は、監視エリア内に2回以上現れた第1の人物を、人物辞書50に登録するということもできる。この点で、辞書生成装置30は、特許文献2(特開2004-157602号公報)に記載の技術とは異なる。特許文献2(特開2004-157602号公報)に記載の技術では、監視エリア内に1回だけ現れた、施設に無関係の人物や不審者を判別できない。一方、辞書生成装置30は、そういった人物に関する情報が、人物辞書50に登録されることを防止できる。
 〔実施形態2〕
 本発明の実施形態2について、以下で説明する。
 本実施形態に係わる監視システムの構成は、前記実施形態1の監視システム1の基本構成と同じである(図1参照)。しかし、以下で説明するように、本実施形態2に係わる辞書生成装置230は、前記実施形態1で説明した辞書生成装置30とは異なる構成を備えている。
 本実施形態2に係わる辞書生成装置230および前記実施形態1で説明した辞書生成装置30の概要を対比する。
 前記実施形態1では、辞書生成装置30は、第1の人物と第2の人物との間の類似度がある閾値を超える場合、第1の人物を人物辞書50に登録した。
 これに対して、本実施形態2では、第1の人物が検出された回数が、ある閾値に達することが、その第1の人物を人物辞書50に登録する条件(以下では登録条件と呼ぶ)である。本実施形態2では、第1の人物に対応する顔画像が、辞書生成装置230が備えた仮辞書235(後述する)に格納されている。複数の第1の人物に対応する複数の顔画像が、仮辞書235に格納されていてもよい。
 また本実施形態2では、カメラ10が撮影した時系列の画像から第1の人物が検出された回数(以下では、検出回数と呼ぶ)が、評価値に対応する。言い換えれば、第1の人物を含む画像の数が、評価値に対応する。辞書生成装置230は、第1の人物の検出回数が閾値に達したとき、第1の人物に関する情報を、人物辞書50へ登録する。
 なお、上述した登録条件は、監視システム1のカメラ10(図1参照)ごと、あるいは、カメラ10のグループごとに設定されていてもよい。例えば、検出回数の閾値は、カメラ10ごとに異なっていてもよい。
 さらに本実施形態2では、第1の人物の状態に応じて、登録条件が柔軟に変更されてもよい。例えば、他の人物と連れだって移動している第1の人物について、登録条件である検出回数の閾値は、そうでない人物よりも小さくてもよい。また、人物辞書50に登録された人物と連れだって移動している第1の人物について、検出回数の閾値はさらに小さくてもよい。この構成では、辞書生成装置230の登録部237(後述)が、機械学習によって得られた識別器を用いて、第1の人物の状態を判定する。
 辞書生成装置230の構成について説明する。
 図9は、本実施形態2に係わる辞書生成装置230の構成を示すブロック図である。図9に示すように、辞書生成装置230は、画像取得部231、特徴抽出部232、類似度計算部233、評価値計算部234、仮辞書235、および登録部237を備えている。
 画像取得部231は、画像取得手段の一例である。特徴抽出部232は、特徴抽出手段の一例である。類似度計算部233は、類似度計算手段の一例である。評価値計算部234は、同一人物判定部238および回数計算部239を含む。評価値計算部234は、評価値計算手段の一例である。同一人物判定部238は、同一人物判定手段の一例である。回数計算部239は、回数計算手段の一例である。登録部237は、登録手段の一例である。
 本実施形態2に係わる辞書生成装置230の構成と、前記実施形態1に係わる辞書生成装置30の構成とを対比する。辞書生成装置230は、同一人物判定部238、回数計算部239および仮辞書235をさらに備えている点で、辞書生成装置30と相違する。また、辞書生成装置230では、特徴抽出部232、回数計算部239および登録部237が、仮辞書235に接続されている点で、辞書生成装置30と相違する。
 仮辞書235には、第1の人物に対応する顔画像および評価値(本実施形態では、人物の検出回数)が格納される。仮辞書235において、互いに異なる第1の人物は、第1の人物を特定するための情報(たとえばID;Identification)によって区別されている。
 人物検出部20(図1参照)は、カメラ10が所定のエリア内で時間をおいて撮影した時系列の画像(動画のフレーム画像または異なるタイミングで撮影された複数の静止画)をリアルタイムで取得する。画像取得部231は、人物検出部20から、1つの画像を取得するごとに、取得した画像から、第2の人物の顔の領域を検出する。そして、画像取得部231は、第2の人物の顔の領域を含む顔画像を生成する。画像取得部231が人物検出部20から取得した画像中に、複数の第2の人物が含まれていた場合、画像取得部231は、第2の人物ごとに1つの顔画像を生成する。つまり1つの顔画像は、1人の第2の人物の顔の領域を含む。画像取得部231は、生成した顔画像を特徴抽出部232へ送信する。
 特徴抽出部232は、画像取得部231から、第2の人物に対応する顔画像を受信する。特徴抽出部232は、受信した顔画像から、第2の人物の顔を検出し、第2の人物の顔の特徴を抽出する。また、仮辞書235が空でない場合、特徴抽出部232は、仮辞書235から、第1の人物に対応する顔画像を取得する。特徴抽出部232は、取得した顔画像から第1の人物の顔の特徴を抽出する。特徴抽出部232は、第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、第2の人物の顔の特徴とを紐付けたデータを、類似度計算部233へ送信する。
 類似度計算部233は、特徴抽出部232から、第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、第2の人物の顔の特徴とを紐付けたデータを受信する。
 そして、類似度計算部233は、第1の人物の顔の特徴と、第2の人物の顔の特徴との間の類似度を計算する。以下では、第1の人物の顔の特徴と第2の人物の顔の特徴との間の類似度を、第1の人物と第2の人物との間の類似度、または単に類似度と記載する。
 例えば、類似度計算部233は、第1の人物の特徴を表す特徴ベクトルと、第2の人物の特徴を表す特徴ベクトルとの間の距離および/または方向に基づいて、第1の人物と第2の人物との間の類似度を計算する。この場合、類似度計算部233は、特徴ベクトル間の距離が短くなるほど、また、方向が近付くほど、類似度が1に近づき、特徴ベクトル間の距離が長くなるほど、また、方向が遠ざかるほど、類似度が0に近づくように、類似度を定義する。
 あるいは、類似度計算部233は、前記実施形態1で説明したように、特徴ベクトルの間の相関係数に基づいて、第1の人物と第2の人物との間の類似度を計算してもよい。
 類似度計算部233は、第2の人物の顔画像と、類似度の計算結果とを含むデータを、評価値計算部234の同一人物判定部238へ送信する。
 同一人物判定部238は、類似度計算部233から、第2の人物の顔画像と、類似度の計算結果とを含む情報を受信する。同一人物判定部238は、類似度計算部233から受信した類似度の計算結果を用いて、第1の人物と、第2の人物とが同一であるか否かを判定する。
 本実施形態2において、第1の人物と第2の人物とが同一であるとは、これらの人物の間の類似度が、ある閾値を超えることを意味する。すなわち、第1の人物と、第2の人物との間の類似度が閾値を超えた場合、同一人物判定部238は、これらの人物が同一であると判定する。同一人物判定部238は、第2の人物の顔画像と、判定結果とを、回数計算部239に送信する。
 複数の第1の人物に対応する複数の顔画像が仮辞書235に格納されている場合、特徴抽出部232は、複数の第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、第2の人物の顔の特徴とを紐付けたデータを、類似度計算部233へ送信する。類似度計算部233は、それぞれの第1の人物と、第2の人物との間の類似度を計算する。複数の第1の人物と、第2の人物との間の類似度が閾値を超えた場合、同一人物判定部238は、第2の人物との類似度が最も高い1人の第1の人物が、第2の人物と同一であると判定する。
 回数計算部239は、仮辞書235に接続されている。同一人物判定部238による判定結果が、第2の人物は第1の人物と同一ではないことを示す場合、回数計算部239は、第2の人物の顔画像を、新たな第1の人物の顔画像として、仮辞書235に格納する。このとき、回数計算部239は、仮辞書235に格納した新たな第1の人物の顔画像に、「検出回数=1(回)」を示す情報を紐付ける。仮辞書235において、新たな第1の人物は、新たな第1の人物を特定するための情報によって、他の第1の人物と区別される。
 一方、同一人物判定部238による判定結果が、第1の人物と第2の人物とが同一であることを示す場合、回数計算部239は、仮辞書235において、第1の人物の顔画像と紐付けられている検出回数を+1(インクリメント)する。このようにして、登録期間中、評価値計算部234は、類似度に依存して変化する評価値として、第1の人物の検出回数を計算する。第1の人物が複数いる場合、評価値計算部234は、それぞれの第1の人物について、評価値を計算する。
 回数計算部239は、第1の人物を特定するための情報(例えばID)を登録部237へ送信するとともに、仮辞書235を更新したことを、登録部237に通知する。
 登録部237は、仮辞書235および人物辞書50に接続されている。登録部237は、回数計算部239から、第1の人物を特定するための情報(例えばID)とともに、仮辞書235を更新したことを通知される。
 登録部237は、仮辞書235を参照して、第1の人物の検出回数が閾値に達しているかどうかを判定する。第1の人物の検出回数が閾値に達している場合、登録部237は、第1の人物に対応する顔画像を、仮辞書235から取得して、取得した顔画像を人物辞書50に登録する。その後、登録部237は、人物辞書50に登録した第1の人物の顔画像および検出回数を示すデータを、仮辞書235から消去する。
 次に、辞書生成装置230の動作について説明する。
 図10は、辞書生成装置230が登録期間中に実行する処理の流れを示すフローチャートである。辞書生成装置230の各部は、画像取得部231が人物検出部20から開始信号を受信した後、以下で説明する処理を開始する。
 図10に示すように、画像取得部231は、人物検出部20から受信する開始信号および終了信号に基づいて、登録期間中かどうかを判定する(S300)。登録期間中でない場合(S300でNo)、フローは後述するステップS310へ進む。
 登録期間中である場合(S300でYes)、画像取得部231は、人物検出部20から、所定のエリア内で時間をおいて撮影された複数の画像を取得する(S301)。ステップS301において、画像取得部231は、カメラ10が画像を撮影するごとに、人物検出部20から、1つずつの画像をリアルタイムで取得してもよいし、複数の画像をまとめて取得してもよい。以下では、前者の例を説明する。
 画像取得部231は、取得した画像から、1または複数の第2の人物の領域を検出する(S302)。そして、画像取得部231は、検出した第2の人物の顔の領域を含む顔画像を生成する。画像取得部231が取得した画像が、複数の第2の人物を含む場合、画像取得部231は、取得した画像から、それぞれ1人の第2の人物の領域のみを含む顔画像を複数生成する。したがって、それぞれの顔画像は、1人の第2の人物の顔の領域を含む。画像取得部231は、生成した顔画像を、特徴抽出部232へ送信する。以下では、画像取得部231が1つの顔画像のみを生成した場合について説明する。これは、画像取得部231が人物検出部20から取得した画像中に、1人の第2の人物のみが含まれていた場合に相当する。なお、画像取得部231が、取得した画像から、複数の第2の人物に対応する複数の顔画像を生成した場合、1の顔画像ごとに、以下で説明する処理が実行される。
 特徴抽出部232は、画像取得部231から、第2の人物に対応する顔画像を受信する。
 特徴抽出部232は、仮辞書235を参照して、第1の人物に対応する顔画像を取得する。特徴抽出部232は、仮辞書235から取得した顔画像から、第1の人物の顔の特徴を抽出する。また特徴抽出部232は、画像取得部231から受信した顔画像から、1人の第2の人物の顔の特徴を抽出する(S303)。
 特徴抽出部232は、第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、顔画像から抽出した第2の人物の顔の特徴とを紐付けたデータを、類似度計算部233へ送信する。
 類似度計算部233は、特徴抽出部232から、第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、第2の人物の顔の特徴とを紐付けたデータを受信する。
 そして、類似度計算部233は、第1の人物の特徴と、第2の人物の特徴との間の類似度を計算する(S304)。ここで、第1の人物が複数いる場合、すなわち複数の顔画像が仮辞書235に格納されている場合、ステップS304において、類似度計算部233は、全ての第1の人物と、第2の人物との間の類似度を、それぞれ計算する。以下で説明する処理も、全ての第1の人物についてそれぞれ行われる。
 類似度計算部233は、ステップS304における類似度の計算結果と、第2の人物に対応する顔画像とを、同一人物判定部238へ送信する。
 同一人物判定部238は、類似度計算部233から、第2の人物に対応する顔画像と、類似度の計算結果とを含む情報を受信する。同一人物判定部238は、類似度計算部233から受信した類似度の計算結果を用いて、第1の人物と、第2の人物とが同一であるか否かを判定する(S305)。
 同一人物判定部238は、第2の人物に対応する顔画像と、ステップS305における判定結果を含む情報とを、回数計算部239に送信する。
 回数計算部239は、第2の人物に対応する顔画像とともに、ステップS305における判定結果、すなわち、第1の人物と第2の人物とが同一であるか否かを示す情報を、同一人物判定部238から受信する。
 同一人物判定部238による判定結果が、第2の人物は第1の人物と同一ではないことを示す場合(S305でNo)、回数計算部239は、第2の人物の顔画像を、「検出回数=1回」を示す情報に紐付けて、新たな第1の人物の顔画像として、仮辞書235に格納する(S306)。
 回数計算部239は、第1の人物を特定するための情報(例えばID)を登録部237へ送信するとともに、仮辞書235を更新したことを、登録部237に通知する。そして、フローはステップS308へ進む。
 一方、同一人物判定部238による判定結果が、第1の人物と第2の人物とが同一であることを示す場合(S305でYes)、回数計算部239は、仮辞書235において、第1の人物に対応する顔画像と紐付けられている検出回数を1増加させる(S307)。回数計算部239は、第1の人物を特定するための情報(例えばID)とともに、仮辞書235を更新したことを、登録部237に通知する。
 図10に示すステップS306またはS307の後、登録部237は、回数計算部239から、第1の人物を特定するための情報を受信し、仮辞書235を更新したことを通知される。登録部237は、回数計算部239からの通知を受けたとき、仮辞書235を参照して、第1の人物の検出回数が閾値に達したかどうかを判定する(S308)。
 第1の人物の検出回数が閾値に達した場合(S308でYes)、登録部237は、第1の人物の顔画像を、仮辞書235から取得して、人物辞書50に登録する(S309)。その後、登録部237は、人物辞書50に登録した第1の人物に対応する顔画像と、第1の人物の検出回数の情報とを、仮辞書235から消去する。
 なお、ステップS309の前に、登録部237は、人物辞書50に登録しようとしている第1の人物の顔画像が、人物辞書50に既に登録されていないかどうかを判定してもよい。例えば、登録部237は、第1の人物に対応する顔画像と、人物辞書50に格納されている登録人物に対応する顔画像とから、それぞれ特徴を抽出する。そして、抽出した特徴同士の類似度が所定の閾値を超えている場合、登録部237は、第1の人物に対応する顔画像が、人物辞書50に既に登録されていると判定する。そして、第1の人物に対応する顔画像が、人物辞書50に既に登録されている場合、登録部237は、第1の人物に対応する顔画像を人物辞書50に登録することを取りやめる。これにより、同一の第1の人物に対応する複数の顔画像が、人物辞書50に格納されることを防止することができる。
 第1の人物の検出回数が閾値に達していないと登録部237により判定された場合(S308でNo)、または、ステップS309の後、画像取得部231は、人物検出部20から受信する開始信号および終了信号に基づいて、登録期間中かどうかを再び判定する(S300)。ただし、上述したステップS302において、画像取得部231が、複数の第2の人物に対応する複数の顔画像を生成した場合、ステップS308でNoまたはステップS309の後、フローはステップS303に戻る。そして、画像取得部231は、他の顔画像から、他の第2の人物の顔の領域を検出する。
 まだ登録期間中である場合(S300でYes)、フローはステップS301に戻り、画像取得部231は、人物検出部20から、他の画像を取得する。そして、辞書生成装置230の各部は、図10に示すフローを再び実行する。
 登録期間が終了した後(S300でNo)、画像取得部231は、登録期間が終了したことを登録部237に通知する。登録部237は、登録期間が終了したことの通知を画像取得部231から受けた後、仮辞書235に格納されている全ての第1の人物に関するデータを消去する(S310)。あるいは、ステップS310において、登録部237は、仮辞書235において、全ての第1の人物に紐付けられている検出回数を全てゼロにリセットしてもよい。以上で、辞書生成装置230の動作は終了する。
 なお、一変形例において、登録部237は、登録期間中には、第1の人物に対応する顔画像を人物辞書50に登録する処理(上述したステップS308からステップS309)を行わず、登録期間が終了した後(S300でNo)、ステップS310の処理を実行する前に、ステップS308からステップS309に対応する処理を一度だけ実行する。すなわち、本変形例では、登録部237は、登録期間が終了したことを画像取得部231から通知された後、仮辞書235に格納されている全ての第1の人物について、それぞれ、検出回数が閾値に達しているかどうかを判定する。そして、登録部237は、検出回数が閾値に達している第1の人物を特定し、特定した第1の人物に対応する顔画像を人物辞書50に登録する。その後、登録部237は、全ての第1の人物の顔画像および検出回数のデータを、仮辞書235から消去する(S310)。
 本実施形態2においても、前記実施形態1と同様に、人物辞書50には、第1の人物に関する情報として、第1の人物の特徴が登録されてもよい。
 例えば、特徴抽出部232は、画像取得部231が生成した第2の人物に対応する顔画像から、虹彩のパターンを抽出する。また特徴抽出部232は、仮辞書235を参照して、第1の人物に対応する顔画像を取得し、取得した第1の人物に対応する顔画像から、第1の人物の虹彩のパターンを抽出する。
 特徴抽出部232は、第1の人物の虹彩のパターンのデータ、および、第2の人物の虹彩を含む画像(あるいは第2の人物の瞳または目の領域を含む画像)と、第2の人物の虹彩のパターンとを紐付けたデータを、類似度計算部233へ送信する。
 類似度計算部233は、第1の人物の虹彩のパターンと、第2の人物の虹彩のパターンとの間の類似度を計算する。
 評価値計算部234は、類似度計算部233が計算した類似度に基づいて、第1の人物の検出回数を計算する。第1の人物の検出回数は、類似度に依存する評価値の一例である。登録部237は、評価値計算部234が計算した評価値(検出回数)に基づいて、第1の人物に関する情報を人物辞書50に登録するか否かを決定する。第1の人物の評価値(検出回数)が閾値に達した場合、登録部237は、第1の人物の目または瞳の領域を含む画像、および/または虹彩のパターンを、人物辞書50に登録する。
 (ユースケース)
 図11および図12A~図12Cを参照して、本実施形態2に係わる辞書生成装置230を備えた監視システム1のユースケースを説明する。ここでは、カメラ10は、時刻t1に画像p1を撮影し、時刻t2に画像p2を撮影し、時刻t3に画像p3を撮影する。
 図11は、時系列(t1、t2、t3、・・・)の画像p1、p2、p3、・・・と、画像p1~p3の少なくともいずれかに含まれる人物A~Gを示している。
 図11に示されるように、時刻t1の画像p1には、人物A、B、Cが含まれている。また、時刻t2の画像p2には、人物D、E、Fが含まれている。時刻t3の画像p3には、人物Gが含まれている。図11中、「F=B」および「G=B」は、人物FおよびGが人物Bと同一であると同一人物判定部238に判定されたことを示す。それ以外の人物A~Eは、互いに別人であると判定されたとする。図11中、人物の符号の下に示すかっこ内の数字は、時刻t1~t3におけるそれぞれの人物の検出回数を示す。
 ユースケースにおける条件は以下のとおりである。
(1)使用環境:学習塾、4月第2週から週1回、ある曜日の17:00~19:00に開講する。
(2)1台のカメラ10が教室の前方に設置されている。カメラ10は、毎週の開講日の17:00~19:00の間に1回、画像を撮影する。カメラ10が撮影を行う時刻t1、t2、t3、・・・は、タイマーによって予め設定されている。図11に示す時刻t1は、4月第2週の開講日の17:00~19:00の間の時刻である。また、時刻t2は、4月第3週の開講日の17:00~19:00の間の時刻である。時刻t3は、4月第4週の開講日の17:00~19:00の間の時刻である。
(3)登録期間:4月の第2週から第4週まで
(4)登録条件:検出回数の閾値は3回
 (4月第2週の開講日)
 カメラ10は、4月第2週の開講日の17:00~19:00の間の時刻t1に1回目の撮影を行い、1枚目の画像p1を生成する。画像p1は、カメラ10から人物検出部20へ送信される。
 人物検出部20は、画像p1に含まれる人物A~Cを検出する。現在は登録期間中であるので、人物検出部20は、画像p1を辞書生成装置230へ送信する(図2のS4を参照)。
 図10に示す手順(特にステップS304~S306)で、辞書生成装置230の回数計算部239は、人物A~Cの顔画像と、「検出回数=1回」とを紐付けたデータを、仮辞書235に格納する。
 図12Aは、4月第2週の開講日の時刻t1において、人物検出部20により検出された人物A~Cのそれぞれの検出回数を示す。図12Aに示すように、4月第2週には、人物A~Cのいずれも、検出回数が1回であり、登録条件を満たしていない。したがって、辞書生成装置230の登録部237は、人物A~Cの顔画像を人物辞書50に登録しない。
 (4月第3週の開講日)
 カメラ10は、4月第3週の開講日の17:00~19:00の間の時刻t2に、2回目の撮影を行い、2枚目の画像p2を生成する。画像p2は、カメラ10から人物検出部20へ送信される。
 人物検出部20は、画像p2から人物D~Fを検出する。現在は登録期間中であるので、人物検出部20は、画像p2を辞書生成装置230へ送信する。
 図10に示す手順で、辞書生成装置230の同一人物判定部238は、人物Bと、人物Fとが同一であると判定する。したがって、辞書生成装置230の回数計算部239は、仮辞書235において、人物Bの顔画像と紐付けられている検出回数を1増加させる。また、辞書生成装置230の同一人物判定部238は、人物D、Eと、人物A~Cとは同一でないと判定する。したがって、辞書生成装置230の回数計算部239は、人物D、Eの顔画像と、「検出回数=1回」とを紐付けたデータを、仮辞書235に格納する。
 図12Bは、4月第3週の開講日の時刻t2において、人物A~Eのそれぞれの検出回数を示す。4月第3週の開講日時点における人物Bの検出回数は、4月第2週の開講日時点から1増加している。図12Bに示すように、4月第3週には、人物A~Eのいずれも、検出回数が閾値に達していない。したがって、辞書生成装置230の登録部237は、人物A~Eの顔画像を人物辞書50に登録しない。
 (4月第4週の開講日)
 カメラ10が、4月第4週の開講日の17:00~19:00の間の時刻t3に、3枚目の画像p3を生成する。画像p3は、カメラ10から人物検出部20へ送信される。
 人物検出部20は、画像p3に含まれる人物Gを検出する。現在は登録期間中であるので、人物検出部20は、画像p3を辞書生成装置230へ送信する。
 図10に示す手順で、辞書生成装置230の同一人物判定部238は、人物Bと、人物Gとが同一であると判定する。したがって、辞書生成装置230の回数計算部239は、仮辞書235において、人物Bの顔画像と紐付けられている検出回数を1増加させる。
 図12Cは、4月第4週の開講日の時刻t3における人物A~Eのそれぞれの検出回数を示す。4月第4週の開講日時点における人物Bの検出回数は、4月第3週の開講日時点から1増加している。
 図12Cに示すように、4月第4週には、人物Bの検出回数が閾値に達している。したがって、辞書生成装置230の登録部237は、人物Bの顔画像を人物辞書50に登録する。その他の人物の検出回数は、いずれも、閾値に達していない。したがって、辞書生成装置230の登録部237は、人物B以外の人物の顔画像を人物辞書50に登録しない。
 以上で説明した例では、全ての人物A~Eに関して、登録条件が同じであったため、人物Bに対応する顔画像のみが人物辞書50に登録される。しかしながら、登録条件が人物A~Eごとに異なる場合、人物辞書50に登録される人物は変化する。例えば、人物Aのみに関して、検出回数の閾値が2回であってもよい。または、人物Eのみに関して、登録期間が5月まで延長されてもよい。
 (本実施形態の効果)
 本実施形態によれば、類似度計算手段としての類似度計算部233が、第1の人物と、1または複数の第2の人物との間の類似度を計算する。より詳細には、類似度計算部233は、時系列の複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する。
 評価値計算手段の第2の手段としての回数計算部239は、第1の人物の検出回数を計算する。また、登録手段としての登録部237は、登録期間中の第1の人物の検出回数に基づいて、第1の人物に関する情報を人物辞書50に登録するかどうかを決定する。
 たとえば、回数計算部239は、第1の人物が施設に出入りする回数を計算する。この構成では、登録部237は、登録期間中に所定の検出回数以上、施設に出入りした第1の人物を、人物辞書50に登録する。施設に頻繁に出入りしている人物ほど、その施設の関係者であるか、あるいは関係者に顔なじみであり、不審者ではない蓋然性が高いからである。
 これにより、辞書生成装置230は、実施形態1における辞書生成装置30と同様に、人物に関する情報を格納した人物辞書50を簡単に生成できる。特許文献1に記載の技術のように、人物および管理者は、手動で手間をかけて、人物に関する情報を格納した辞書を生成する必要はない。
 さらに、辞書生成装置230は、人物の検出回数に基づいて、人物を辞書に登録するかどうかを判別する。これにより、特許文献2に記載の技術と比較して、辞書に登録すべきでない人物(例えば不審者)が無判別に人物辞書50に登録されることを防止できる。
 〔実施形態3〕
 本発明の他の一実施形態について、以下で説明する。
 本実施形態3に係わる監視システムの構成について説明する。
 本実施形態3に係わる監視システムの基本的な構成は、前記実施形態1の監視システム1と同じである(図1参照)。しかし、以下で説明するように、本実施形態3に係わる辞書生成装置330は、前記実施形態2で説明した辞書生成装置230とは異なる構成を備えている。
 ここで、本実施形態3に係わる辞書生成装置330および前記実施形態2で説明した辞書生成装置230の概要を対比する。
 前記実施形態2では、人物の検出回数が、本発明の評価値に相当した。また、前記実施形態2では、登録条件は、人物の検出回数が登録期間中にある閾値に達することであった。一方、本実施形態3における人物の評価値は、第1の人物と第2の人物との間の類似度の累計である。また、本実施形態3では、登録条件は、類似度の累計がある閾値を超えることである。本実施形態3の登録条件における閾値は、前記実施形態2の登録条件における閾値とは異なる。
 次に、辞書生成装置330の構成について説明する。
 図13は、本実施形態3に係わる辞書生成装置330の構成を示すブロック図である。図13に示すように、辞書生成装置330は、画像取得部231、特徴抽出部232、類似度計算部233、評価値計算部334、仮辞書235、および登録部336を備えている。画像取得部231は、画像取得手段の一例である。特徴抽出部232は、特徴抽出手段の一例である。類似度計算部233は、類似度計算手段の一例である。評価値計算部334は、スコア計算部337を含む。評価値計算部334は、評価値計算手段の一例である。登録部336は、登録手段の一例である。
 ここで、実施形態3における辞書生成装置330の構成と、実施形態2における辞書生成装置230の構成とを対比する。
 図13に示す辞書生成装置330の構成要素のうち、画像取得部231、特徴抽出部232、類似度計算部233、および仮辞書235は、前記実施形態2に係わる辞書生成装置230(図9参照)の構成要素と共通である。ただし、本実施形態3では、仮辞書235には、第1の人物に対応する顔画像と、第1の人物のスコアとを紐付けたデータが格納されている。本実施形態3では、これらの各部に関する説明を省略する。
 前記実施形態2に係わる辞書生成装置230では、評価値計算部234は、同一人物判定部238および回数計算部239を備えているのに対して、本実施形態3に係わる辞書生成装置330では、評価値計算部334は、スコア計算部337を備えている。この点で、辞書生成装置230と辞書生成装置330とは互いに相違する。
 スコア計算部337は、第1の人物のスコアを計算する。より具体的には、スコア計算部337は、仮辞書235に格納されている顔画像に対応する第1の人物と、仮辞書235に格納されている他の顔画像に対応する第2の人物との間の類似度の全てを合計した累計値を、第1の人物のスコアとして計算する。
 スコア計算部337は、第1の人物を特定するための情報(例えばID)とともに、第1の人物のスコアを、登録部336に通知する。
 登録部336は、仮辞書235および人物辞書50に接続されている。登録部336は、スコア計算部337から、第1の人物を特定するための情報(例えばID)とともに、第1の人物のスコアを通知される。
 登録部336は、第1の人物のスコアが閾値を超えたかどうかを判定する。より詳細には、登録部336は、第1の人物のスコアと閾値との間の大小関係を確認する。
 第1の人物のスコアが閾値を超えている場合、登録部336は、第1の人物に対応する顔画像を人物辞書50に登録する。その後、登録部336は、第1の人物に関する情報を、仮辞書235から消去する。
 次に、辞書生成装置330の動作について説明する。
 図14は、本実施形態3に係わる辞書生成装置330が登録期間中に実行する処理の流れを示すフローチャートである。辞書生成装置330の各部は、画像取得部231が人物検出部20から開始信号を受信した後、以下で説明する処理を開始する。
 図14に示すように、画像取得部231は、人物検出部20から受信する開始信号および終了信号に基づいて、登録期間中かどうかを判定する(S400)。登録期間中でない場合(S400でNo)、フローは後述するステップS408へ進む。
 登録期間中である場合(S400でYes)、画像取得部231は、人物検出部20から、所定のエリア内で時間をおいて撮影された複数の画像を取得する(S401)。画像取得部231は、カメラ10が画像を撮影するごとに、人物検出部20から、1つずつの画像をリアルタイムで取得してもよいし、複数の画像をまとめて取得してもよい。以下では、前者の例を説明する。
 画像取得部231は、取得した画像から、第2の人物の顔の領域を検出する(S402)。画像取得部231は、第2の人物の顔の領域を含む顔画像を生成し、生成した顔画像を、特徴抽出部232へ送信する。なお、画像取得部231が取得した画像中に、複数の第2の人物が含まれていた場合、画像取得部231は、複数の第2の人物に対応する複数の顔画像を生成する。この場合、1人の第2の人物に対応する1つの顔画像ごとに、以下で説明する処理が実行される。
 特徴抽出部232は、仮辞書235を参照する。そして、特徴抽出部232は、仮辞書235に格納されている顔画像から、第1の人物の顔の特徴を抽出する。また、特徴抽出部232は、画像取得部231から顔画像を取得し、取得した顔画像から、第2の人物の顔の特徴を抽出する(S403)。ここで、複数の第1の人物に対応する複数の顔画像が、仮辞書235に格納されている場合、特徴抽出部232は、複数の第1の人物の顔の特徴を抽出する。
 特徴抽出部232は、第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、第2の人物の顔の特徴とを紐付けたデータを、類似度計算部233へ送信する。
 類似度計算部233は、特徴抽出部232から、第1の人物の顔の特徴のデータ、および、第2の人物に対応する顔画像と、第2の人物の顔の特徴とを紐付けたデータを受信する。
 類似度計算部233は、第1の人物の特徴と、第2の人物の特徴との間の類似度を計算する(S404)。複数の第1の人物に対応する複数の顔画像を、特徴抽出部232から受信した場合、ステップS404において、類似度計算部233は、全ての第1の人物と、第2の人物との間の類似度を、それぞれ計算する。
 スコア計算部337は、仮辞書235において、第1の人物に対応する顔画像と紐付けられているスコアを参照する。そして、スコア計算部337は、第1の人物のスコアに、類似度計算部233が計算した類似度を加算する(S405)。スコア計算部337は、仮辞書235に格納されている第1の人物のスコアを、類似度を加算した後のスコアに更新する。
 また、スコア計算部337は、第2の人物に対応する顔画像を、「スコア=0」を示す情報と紐付けて、新たな第1の人物に対応する顔画像として、仮辞書235に格納する。このようにして、評価値計算部334のスコア計算部337は、類似度に依存して変化する評価値として、スコアを計算する。
 スコア計算部337は、仮辞書235を更新したことを、登録部336に通知してもよい。この場合、登録部336は、仮辞書235に格納されている第1の人物のスコアの情報を、仮辞書235から取得する。
 登録部336は、第1の人物のスコアが登録条件を満たしているかどうかを判定する(S406)。
 具体的には、登録部336は、第1の人物のスコアが閾値を超えているかどうかを判定する。複数の第1の人物に対応する複数の顔画像が、仮辞書235に格納されている場合、登録部336は、各第1の人物のスコアが閾値を超えているかどうかをそれぞれ判定する。
 第1の人物のスコアが閾値を超えている場合(S406でYes)、登録部336は、第1の人物に対応する顔画像を、仮辞書235から取得して、人物辞書50に登録する(S407)。その後、登録部336は、第1の人物に対応する顔画像とスコアのデータとを、仮辞書235から消去する。ステップS406において、複数の第1の人物のスコアが閾値を超えている場合、登録部336はそれらの複数の第1の人物に対応する顔画像を、人物辞書50に登録する。
 なお、ステップS407の前に、登録部336は、人物辞書50に登録しようとしている第1の人物の顔画像が、人物辞書50に既に登録されていないかどうかを判定してもよい。例えば、登録部336は、第1の人物に対応する顔画像と、人物辞書50に格納されている登録人物に対応する顔画像とから、それぞれ特徴を抽出する。そして、抽出した特徴同士の類似度が所定の閾値を超えている場合、登録部336は、第1の人物に対応する顔画像が、人物辞書50に既に登録されていると判定する。そして、第1の人物に対応する顔画像が、人物辞書50に既に登録されている場合、登録部336は、第1の人物に対応する顔画像を人物辞書50に登録することを取りやめる。これにより、同一の第1の人物に対応する複数の顔画像が、人物辞書50に格納されることを防止することができる。
 ステップS407の後、あるいは、第1の人物(第1の人物が複数いる場合には全ての第1の人物)のスコアが閾値を超えていない場合(S406でNo)、画像取得部231は、人物検出部20から受信する開始信号および終了信号に基づいて、登録期間中であるかどうかを判定する(S400)。ただし、上述したステップS402において、画像取得部231が、複数の第2の人物に対応する複数の顔画像を生成した場合、ステップS406でNoまたはステップS407の後、フローはステップS403に戻る。そして、画像取得部231は、他の顔画像から、他の第2の人物の顔の領域を検出する。
 まだ登録期間中である場合(S400でYes)、フローはステップS401に戻り、画像取得部231は、人物検出部20から、他の画像を取得する。そして、辞書生成装置330の各部は、上述したフローを再び実行する。
 登録期間が終了した後(S400でNo)、画像取得部231は、登録期間が終了したことを登録部336に通知する。登録部336は、登録期間が終了したことを画像取得部231から通知された後、全ての第1の人物の顔画像およびスコアのデータを、仮辞書235から消去する(S408)。あるいは、ステップS408において、登録部336は、仮辞書235において、第1の人物に紐付けられているスコアを全てゼロにリセットしてもよい。以上で、辞書生成装置330の動作は終了する。
 なお、一変形例において、登録部336は、登録期間中には、第1の人物に対応する顔画像を人物辞書50に登録する処理(上述したステップS406からステップS407)を行わず、登録期間が終了した後(S400でNo)、ステップS406からステップS407に対応する処理を一度だけ実行する。すなわち、本変形例では、登録部336は、登録期間が終了したことを画像取得部231から通知された後、仮辞書235に格納されている全ての第1の人物について、それぞれ、スコアが閾値を超えているかどうかを判定する。そして、登録部336は、スコアが閾値を超えている第1の人物を特定し、特定した第1の人物に対応する顔画像を人物辞書50に登録する。その後、登録部336は、全ての第1の人物の顔画像およびスコアのデータを、仮辞書235から消去する(S408)。
 図11を参照して、図14に示すフローにおいて、本実施形態3に係わるスコア計算部337(図13参照)が計算するスコアの具体例を説明する。図11は、時系列の画像p1~p3と、それぞれの画像p1~p3に含まれる人物A~Gを示している。各フローにおいて、画像取得部231は、画像p1~p3をこの順に1つずつ取得する。
 登録期間開始後の最初のフローで、画像取得部231は画像p1を取得する。画像p1は、人物A~Cを含む。人物A~Cは第2の人物に相当する。このとき、仮辞書235はまだ空である。すなわち、第1の人物が存在していない。したがって、このフローでは、類似度計算部233は、第1の人物と第2の人物との間の類似度を計算する処理を行わない。スコア計算部337は、人物A~Cに対応する顔画像を、「スコア=0」を示す情報と紐付けて、新たな第1の人物に対応する顔画像として、仮辞書235に格納する。
 2回目のフローで、画像取得部231は画像p2を取得する。画像p2は、人物D~Fを含む。類似度計算部233は、第1の人物である人物A~Cと、第2の人物である人物D~Fとの間の類似度をそれぞれ計算する。スコア計算部337は、仮辞書235において、人物A~Cの顔画像に紐付けられたスコアに対し、人物D~Fとの間のそれぞれの類似度の累計値を加算する。
 例えば、人物Aと人物Dとの間の類似度が0.64、人物Aと人物Eとの間の類似度が0.49、人物Aと人物Fとの間の類似度が0.88であるとする。この場合、人物Aと人物D~Fとの間の類似度の累計値は、0.64+0.49+0.88=2.01である。したがって、スコア計算部337は、人物Aのスコアに2.01を加算する。
 同様に、スコア計算部337は、人物B、Cのスコアにも、人物B、Cと、人物D~Fとの間の類似度の累計値をそれぞれ加算する。また、スコア計算部337は、画像p2に含まれる人物D~Fに対応する顔画像を、「スコア=0」を示す情報と紐付けて、新たな第1の人物に対応する顔画像として、仮辞書235に格納する。
 3回目のフローで、画像取得部231は画像p3を取得する。画像p3は、人物Gを含む。類似度計算部233は、第1の人物である人物A~Fと、第2の人物である人物Gとの間の類似度をそれぞれ計算する。スコア計算部337は、仮辞書235において、人物A~Fの顔画像に紐付けられたスコアに対し、それぞれ、人物Gとの間の類似度を加算する。
 図15は、上述した3回目のフローが終了した時点における人物A~Gのスコアの一例を示す。図15において、人物Aのスコアは、人物D~Gの各々との間の類似度を累計した値である。図15では、人物Aに関する棒グラフにおいて、符号D~Gで示す各小ブロックは、人物Aと、人物D~Gの各々との間の類似度を表している。これらの小ブロックを積み重ねたものが、人物Aのスコアを表している。
 図15では、人物A~Gのうち、人物Bのスコアのみが閾値を超えている。この場合、本実施形態3に係わる登録部336(図13参照)は、人物Bと対応する顔画像を人物辞書50(図1参照)に登録する。
 人物辞書50には、人物に関する情報として、第1の人物の顔画像以外が登録されてもよい。一変形例では、人物の虹彩のパターンが、人物辞書50に登録される。
 その場合、特徴抽出部232は、第2の人物に対応する顔画像から、人物の顔の特徴に代えて、または人物の顔の特徴に加えて、虹彩のパターンを抽出する。また特徴抽出部232は、仮辞書235を参照して、第1の人物に対応する顔画像を取得し、取得した第1の人物に対応する顔画像から、第1の人物の虹彩のパターンを抽出する。
 特徴抽出部232は、第1の人物の虹彩のパターンのデータ、および、第2の人物の虹彩を含む画像(あるいは人物の瞳または目の領域を含む画像)と、第2の人物の虹彩のパターンとを紐付けたデータを、類似度計算部233へ送信する。類似度計算部233は、第1の人物の虹彩のパターンと、第2の人物の虹彩のパターンとの間の類似度を計算する。
 評価値計算部334は、類似度計算部233が計算した類似度に基づいて、第1の人物のスコアを計算する。第1の人物のスコアは、類似度に依存する評価値の一例である。
 登録部336は、評価値計算部334が計算した評価値に基づいて、第1の人物に関する情報を人物辞書50に登録するか否かを決定する。第1の人物の評価値が閾値を超える場合、登録部336は、第1の人物の虹彩を含む画像、および/または虹彩のパターンを、第1の人物に関する情報として、人物辞書50に登録する。
 本実施形態3の構成では、類似度の累計値に基づいて、第1の人物を人物辞書50に登録するか否かを決定するので、同一人物の類似度は大きく、別人同士の類似度は小さいことが重要である。言い換えれば、人物の識別精度が高い必要がある。
 しかし、人物の識別精度があまり高くない場合、図5に示す例のように、どの2人の間の類似度も、それほど大きな差がない。このような場合、スコア計算部337は、第2の閾値を設定して、第2の閾値よりも大きい類似度のみを、スコアに加算することが好ましい。第2の閾値は、別人同士の平均的な類似度よりも大きく、かつ、同一人物の平均的な類似度よりも小さいことが好ましい。これにより、スコア計算部337は、閾値以下の小さい類似度をスコアに加算しないので、別人の類似度が、スコアに大きな影響を与えることを防止することができる。
 一方、同一人物の平均的な類似度と、別人同士の平均的な類似度との間に、大きな差(例えば、両者の比率が10:1や100:1)がある場合、すなわち人物の識別精度が高い場合、スコア計算部337は、上述した第2の閾値を設定しなくてもよい。このような場合、別人の小さい類似度がスコアに加算されたとしても、スコアに与える影響は小さいからである。
 一変形例では、スコア計算部337は、所定の条件を満たした第1の人物のスコアを加算(プラス)または減算(マイナス)する。所定の条件は任意である。例えば、スコア計算部337は、第1の人物の振る舞い、行動、または属性を解析し、解析結果に応じて、第1の人物のスコアを加算または減算する。
 この構成では、人物検出部20は、カメラ10が撮影した画像中の人物を追跡して、同一人物を含む時系列の画像を画像取得部231へ送信する。画像取得部231は、人物検出部20から受信した時系列の画像のうち1つから、第2の人物の顔の領域を含む顔画像を生成する。特徴抽出部232は、画像取得部231が生成した第2の人物に対応する顔画像から、第2の人物の顔の特徴を抽出する。特徴抽出部232は、仮辞書235に登録された第1の人物に対応する顔画像を取得し、第1の人物の顔の特徴を抽出する。
 類似度計算部233は、第1の人物の特徴と第2の人物の特徴との間の類似度を計算する。
 スコア計算部337は、時系列の画像から、第1の人物の振る舞いまたは行動を検出し、検出した第1の人物の振る舞いまたは行動をパターンマッチングによって評価する。そして、スコア計算部337は、評価結果に基づいて、第1の人物のスコアを加算または減算する。
 第1の人物の行動の例として、例えば、人物が他の人物と会話していることが挙げられる。この場合、スコア計算部337はスコアを加算する。また、第1の人物の行動の別の例として、第1の人物が他の人物に対して敵対的な行動をしていることが挙げられる。この場合、スコア計算部337はスコアを減算する。
 本変形例の構成によれば、第1の人物の振る舞いまたは行動に基づいて、第1の人物のスコアを調整することにより、第1の人物を人物辞書50に登録されやすくしたり、逆に登録されにくくしたりすることができる。
 (本実施形態の効果)
 本実施形態によれば、類似度計算手段としての類似度計算部233が、第1の人物と、1または複数の第2の人物との間の類似度を計算する。より詳細には、類似度計算部233は、時系列の複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する。
 評価値計算手段としての評価値計算部334は、スコア計算部337を備えており、スコア計算部337は、第1の人物と第2の人物との間の類似度の累計値であるスコアを計算する。スコアは評価値の一例である。
 登録手段としての登録部336は、スコア計算部337が計算したスコアに基づいて、第1の人物に関する情報を人物辞書50に登録するかどうかを決定する。より詳細には、登録部336は、第1の人物のスコアが閾値を超えた場合に、第1の人物の顔画像を人物辞書50に登録する。第1の人物のスコアが高いほど、第1の人物が以前に何度も施設に出入りしている可能性が高く、したがって不審者ではない蓋然性が高いからである。
 これにより、本実施形態に係わる辞書生成装置330は、管理者がなんら手間をかけることなしに、人物辞書50を簡単に生成できる。登録を申請する人物は、特許文献1に記載の技術のように、入力操作を行う必要がない。
 加えて、本実施形態3に係わる辞書生成装置330は、上述したスコアに基づいて、辞書に登録すべき人物(すなわち施設に立ち入ることを許可する人物)と、辞書に登録すべきでない人物(例えば不審者)とを判別することができる。したがって、特許文献2に記載の技術と異なり、全ての人物が無判別に人物辞書50に登録されることを防止できる。
〔実施形態4〕
 本発明の他の一実施形態について、以下で説明する。
 (ハードウェア構成について)
 本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図16に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図16は、各装置の各構成要素を実現する情報処理装置900のハードウェア構成の一例を示すブロック図である。
 図16に示すように、情報処理装置900は、一例として、以下のような構成を含む。
  ・CPU(Central Processing Unit)901
  ・ROM(Read Only Memory)902
  ・RAM(Random Access Memory)903
  ・RAM903にロードされるプログラム904
  ・プログラム904を格納する記憶装置905
  ・記録媒体906の読み書きを行うドライブ装置907
  ・通信ネットワーク909と接続する通信インターフェース908
  ・データの入出力を行う入出力インターフェース910
  ・各構成要素を接続するバス911
 各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム904をCPU901が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901がRAM903にロードして実行される。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
 (本実施形態の効果)
 本実施形態の構成によれば、前記のいずれかの実施形態において説明した装置が、ハードウェアとして実現される。したがって、前記のいずれかの実施形態において説明した効果と同様の効果を奏することができる。
 以上、実施形態(及び実施例)を参照して本発明を説明したが、本発明は上記実施形態(及び実施例)に限定されるものではない。上記実施形態(及び実施例)の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 〔適用例〕
 上記の説明では、人物の監視を例としたが、本発明の適用例は、それに限定されない。例えば、店舗において、常連客を検出するために利用することができる。本適用例に係わる監視システムは、客が来店した回数を、その客の顔画像に紐付けて、人物辞書に記憶する。これにより、店舗は、例えば、客が来店した回数に応じた特別サービスを、客に対して与えることができる。
 〔付記〕
 上記の実施形態の一部または全部は、以下の付記のようにも記載されるが、以下の付記に記載する構成に限定されない。
  (付記1)
 所定のエリア内で時間をおいて撮影された複数の画像を取得する画像取得手段と、
 前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、
 前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する類似度計算手段と、
 前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定する登録手段と
を備えた
 辞書生成装置。
  (付記2)
 前記登録手段は、前記類似度が閾値を超える場合に、前記第1の人物に関する情報を辞書に登録する
 ことを特徴とする付記1に記載の辞書生成装置。
  (付記3)
 前記類似度に依存して変化する評価値を計算する評価値計算手段をさらに備え、
 前記登録手段は、前記評価値に基づいて、前記第1の人物に関する情報を前記辞書に登録するか否かを決定する
 ことを特徴とする付記1または2に記載の辞書生成装置。
  (付記4)
 前記評価値計算手段は、
  前記類似度に基づいて、前記第1の人物と前記第2の人物とが同一であるか否かを判定する同一人物判定手段と、
  前記評価値として、前記同一であると判定された回数を計算する回数計算手段とを含む
 ことを特徴とする付記3に記載の辞書生成装置。
  (付記5)
 前記評価値は、前記類似度を合計した累計値である
 ことを特徴とする付記3に記載の辞書生成装置。
  (付記6)
 前記特徴抽出手段は、前記複数の画像にそれぞれ含まれる人物の顔の特徴を抽出し、
 前記類似度計算手段は、前記第1の人物の顔の特徴と、前記第2の人物の顔の特徴との間で、前記類似度を計算する
 ことを特徴とする付記1から5のいずれか1項に記載の辞書生成装置。
  (付記7)
 入力画像を取得する入力手段と、
 付記1から6のいずれか1項に記載の辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第1の人物とを照合する照合手段と、
 前記照合手段による照合結果を出力する出力手段とを備えた
 生体認証装置。
  (付記8)
 所定のエリア内で時間をおいて撮影された複数の画像を取得し、
 前記複数の画像にそれぞれ含まれる人物の特徴を抽出し、
 前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算し、
 前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定することを含む
 辞書生成方法。
  (付記9)
 前記類似度に依存して変化する評価値を計算することをさらに含み、
 前記類似度に基づいて、前記前記第1の人物に関する情報を辞書に登録するか否かを決定することは、前記評価値に基づいて、前記第1の人物に関する情報を前記辞書に登録するか否かを決定することである
 ことを特徴とする付記8に記載の辞書生成方法。
  (付記10)
 所定のエリア内で時間をおいて撮影された複数の画像を取得することと、
 前記複数の画像にそれぞれ含まれる人物の特徴を抽出することと、
 前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算することと、
 前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定することとをコンピュータに実行させるためのプログラムを記憶した、
 一時的でない記録媒体。
  (付記11)
 前記プログラムは、前記コンピュータに、
 前記類似度に依存して変化する評価値を計算することをさらに実行させ、
 前記類似度に基づいて、前記前記第1の人物に関する情報を辞書に登録するか否かを決定することは、前記評価値に基づいて、前記第1の人物に関する情報を前記辞書に登録するか否かを決定することである
 ことを特徴とする付記10に記載の記録媒体。
  (付記12)
 人物検出手段と、
 辞書生成装置と、
 生体認証装置と、
 を備えた監視システムであって、
 前記人物検出手段は、所定のエリア内で時間をおいて撮影された複数の画像から人物の領域を検出し、
 前記辞書生成装置は、
  前記人物検出手段から前記人物の領域を含む複数の画像を取得する画像取得手段と、
  前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、
  前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する類似度計算手段と、
  前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定する登録手段と
を備え、
 前記生体認証装置は、
  前記辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第1の人物とを照合する照合手段と、
  前記照合手段による照合結果を出力する出力手段と
を備えた
 監視システム。
 本発明は、例えば、生体認証技術を応用した監視システムに使用することができる。また、店舗において、顧客管理のために使用することができる。
   1 監視システム
  10 カメラ
  20 人物検出部
  30 辞書生成装置
  31 画像取得部
  32 特徴抽出部
  33 類似度計算部
  34 登録部
  40 生体認証装置
  41 入力部
  42 照合部
  43 出力部
  50 人物辞書
  60 報知部
 230 辞書生成装置
 231 画像取得部
 232 特徴抽出部
 233 類似度計算部
 234 評価値計算部
 237 登録部
 238 同一人物判定部
 239 回数計算部
 330 辞書生成装置
 334 評価値計算部
 336 登録部
 337 スコア計算部

Claims (12)

  1.  所定のエリア内で時間をおいて撮影された複数の画像を取得する画像取得手段と、
     前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、
     前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する類似度計算手段と、
     前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定する登録手段と
    を備えた
     辞書生成装置。
  2.  前記登録手段は、前記類似度が閾値を超える場合に、前記第1の人物に関する情報を辞書に登録する
     ことを特徴とする請求項1に記載の辞書生成装置。
  3.  前記類似度に依存して変化する評価値を計算する評価値計算手段をさらに備え、
     前記登録手段は、前記評価値に基づいて、前記第1の人物に関する情報を前記辞書に登録するか否かを決定する
     ことを特徴とする請求項1または2に記載の辞書生成装置。
  4.  前記評価値計算手段は、
      前記類似度に基づいて、前記第1の人物と前記第2の人物とが同一であるか否かを判定する同一人物判定手段と、
      前記評価値として、前記同一であると判定された回数を計算する回数計算手段とを含む
     ことを特徴とする請求項3に記載の辞書生成装置。
  5.  前記評価値は、前記類似度を合計した累計値である
     ことを特徴とする請求項3に記載の辞書生成装置。
  6.  前記特徴抽出手段は、前記複数の画像にそれぞれ含まれる人物の顔の特徴を抽出し、
     前記類似度計算手段は、前記第1の人物の顔の特徴と、前記第2の人物の顔の特徴との間で、前記類似度を計算する
     ことを特徴とする請求項1から5のいずれか1項に記載の辞書生成装置。
  7.  入力画像を取得する入力手段と、
     請求項1から6のいずれか1項に記載の辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第1の人物とを照合する照合手段と、
     前記照合手段による照合結果を出力する出力手段とを備えた
     生体認証装置。
  8.  所定のエリア内で時間をおいて撮影された複数の画像を取得し、
     前記複数の画像にそれぞれ含まれる人物の特徴を抽出し、
     前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算し、
     前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定することを含む
     辞書生成方法。
  9.  前記類似度に依存して変化する評価値を計算することをさらに含み、
     前記類似度に基づいて、前記前記第1の人物に関する情報を辞書に登録するか否かを決定することは、前記評価値に基づいて、前記第1の人物に関する情報を前記辞書に登録するか否かを決定することである
     ことを特徴とする請求項8に記載の辞書生成方法。
  10.  所定のエリア内で時間をおいて撮影された複数の画像を取得することと、
     前記複数の画像にそれぞれ含まれる人物の特徴を抽出することと、
     前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算することと、
     前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定することとをコンピュータに実行させるためのプログラムを記憶した、
     一時的でない記録媒体。
  11.  前記プログラムは、前記コンピュータに、
     前記類似度に依存して変化する評価値を計算することをさらに実行させ、
     前記類似度に基づいて、前記前記第1の人物に関する情報を辞書に登録するか否かを決定することは、前記評価値に基づいて、前記第1の人物に関する情報を前記辞書に登録するか否かを決定することである
     ことを特徴とする請求項10に記載の記録媒体。
  12.  人物検出手段と、
     辞書生成装置と、
     生体認証装置と、
     を備えた監視システムであって、
     前記人物検出手段は、所定のエリア内で時間をおいて撮影された複数の画像から人物の領域を検出し、
     前記辞書生成装置は、
      前記人物検出手段から前記人物の領域を含む複数の画像を取得する画像取得手段と、
      前記複数の画像にそれぞれ含まれる人物の特徴を抽出する特徴抽出手段と、
      前記複数の画像のうちの1つの画像に含まれる第1の人物の特徴と、1または複数の他の画像に含まれる第2の人物の特徴との間の類似度を計算する類似度計算手段と、
      前記類似度に基づいて、前記第1の人物に関する情報を辞書に登録するか否かを決定する登録手段と
    を備え、
     前記生体認証装置は、
      前記辞書生成装置が生成した前記辞書を参照して、前記入力画像中の人物と、前記辞書に登録されている前記第1の人物とを照合する照合手段と、
      前記照合手段による照合結果を出力する出力手段と
    を備えた
     監視システム。
PCT/JP2019/008071 2019-03-01 2019-03-01 辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体 WO2020178893A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/419,049 US20220067351A1 (en) 2019-03-01 2019-03-01 Dictionary creation device, biometrics device, monitoring system, dictionary creation method, and recording medium
JP2021503249A JP7248097B2 (ja) 2019-03-01 2019-03-01 辞書生成装置、生体認証装置、辞書生成方法、およびプログラム
PCT/JP2019/008071 WO2020178893A1 (ja) 2019-03-01 2019-03-01 辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/008071 WO2020178893A1 (ja) 2019-03-01 2019-03-01 辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体

Publications (1)

Publication Number Publication Date
WO2020178893A1 true WO2020178893A1 (ja) 2020-09-10

Family

ID=72338217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008071 WO2020178893A1 (ja) 2019-03-01 2019-03-01 辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体

Country Status (3)

Country Link
US (1) US20220067351A1 (ja)
JP (1) JP7248097B2 (ja)
WO (1) WO2020178893A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117668762B (zh) * 2024-01-31 2024-05-17 新疆三联工程建设有限责任公司 用于住宅地下渗漏的监测预警系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099723A (ja) * 1998-09-25 2000-04-07 Oki Electric Ind Co Ltd 辞書作成方法及び装置
JP2002288666A (ja) * 2001-03-28 2002-10-04 Omron Corp 本人照合装置、本人照合システムおよび本人照合方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1239405A3 (en) * 2001-03-09 2004-05-19 Kabushiki Kaisha Toshiba Face image recognition apparatus
JP4645411B2 (ja) * 2005-10-28 2011-03-09 コニカミノルタホールディングス株式会社 認証システム、登録システム及びプログラム
JP5730518B2 (ja) * 2010-08-27 2015-06-10 株式会社日立国際電気 特定人物検知システムおよび特定人物検知方法
JP6132490B2 (ja) * 2012-08-20 2017-05-24 キヤノン株式会社 認証装置、認証方法、およびプログラム
JP6268960B2 (ja) * 2013-11-15 2018-01-31 オムロン株式会社 画像認識装置及び画像認識装置に対するデータ登録方法
WO2018039646A1 (en) * 2016-08-26 2018-03-01 Netradyne Inc. Recording video of an operator and a surrounding visual field
US10430644B2 (en) * 2017-06-06 2019-10-01 Global Bionic Optics Ltd. Blended iris and facial biometric system
KR102476756B1 (ko) * 2017-06-20 2022-12-09 삼성전자주식회사 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099723A (ja) * 1998-09-25 2000-04-07 Oki Electric Ind Co Ltd 辞書作成方法及び装置
JP2002288666A (ja) * 2001-03-28 2002-10-04 Omron Corp 本人照合装置、本人照合システムおよび本人照合方法

Also Published As

Publication number Publication date
JP7248097B2 (ja) 2023-03-29
US20220067351A1 (en) 2022-03-03
JPWO2020178893A1 (ja) 2021-11-11

Similar Documents

Publication Publication Date Title
JP6268960B2 (ja) 画像認識装置及び画像認識装置に対するデータ登録方法
TWI336054B (en) Person identification device and person identification method
Gomez-Barrero et al. Is your biometric system robust to morphing attacks?
WO2014050281A1 (ja) 人物認証用辞書更新方法、人物認証用辞書更新装置、記録媒体及び人物認証システム
US9792484B2 (en) Biometric information registration apparatus and biometric information registration method
Anishchenko Machine learning in video surveillance for fall detection
JP2022168070A (ja) 人物検出システム
JP2017151832A (ja) 待ち時間算出システム
JPWO2020115890A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101957677B1 (ko) 얼굴인식을 통한 학습형 실시간 안내 시스템 및 그 안내 방법
JP4910717B2 (ja) 年齢確認装置、年齢確認方法、及び年齢確認プログラム
JP4992517B2 (ja) 顔照合装置
Robertson et al. A framework for biometric and interaction performance assessment of automated border control processes
WO2020178893A1 (ja) 辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体
CN109448193A (zh) 身份信息识别方法及装置
EP3770780B1 (en) Identification system, method, and program
JP2021106330A (ja) 情報処理装置、情報処理方法、及びプログラム
Gorodnichy et al. Target-based evaluation of face recognition technology for video surveillance applications
JP5508088B2 (ja) 顔認証装置、方法、およびプログラム
Ranjan et al. Smart Attendance Monitoring System Using Face Registering.
Suryavanshi et al. Monitor student’s presence in classroom
WO2024202017A1 (ja) 判定方法、判定プログラム、および情報処理装置
CN111723616B (zh) 一种人员相关性度量方法及装置
JP7516297B2 (ja) 画像照合装置、画像照合方法、およびプログラム
Akram et al. Health Monitoring Approaches towards Face Recognition based System

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19918053

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503249

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19918053

Country of ref document: EP

Kind code of ref document: A1