WO2020116023A1 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、情報処理システム、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2020116023A1 WO2020116023A1 PCT/JP2019/039977 JP2019039977W WO2020116023A1 WO 2020116023 A1 WO2020116023 A1 WO 2020116023A1 JP 2019039977 W JP2019039977 W JP 2019039977W WO 2020116023 A1 WO2020116023 A1 WO 2020116023A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- information
- management server
- information processing
- violation
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 91
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000012545 processing Methods 0.000 claims abstract description 194
- 230000009471 action Effects 0.000 claims abstract description 101
- 238000012806 monitoring device Methods 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims description 147
- 230000008569 process Effects 0.000 claims description 144
- 238000012544 monitoring process Methods 0.000 claims description 134
- 238000001514 detection method Methods 0.000 claims description 68
- 230000004044 response Effects 0.000 claims description 27
- 238000004891 communication Methods 0.000 description 38
- 230000006399 behavior Effects 0.000 description 34
- 238000004458 analytical method Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000004308 accommodation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- YJLUBHOZZTYQIP-UHFFFAOYSA-N 2-[5-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]-1,3,4-oxadiazol-2-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C1=NN=C(O1)CC(=O)N1CC2=C(CC1)NN=N2 YJLUBHOZZTYQIP-UHFFFAOYSA-N 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B15/00—Identifying, scaring or incapacitating burglars, thieves or intruders, e.g. by explosives
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
- G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Definitions
- the present disclosure relates to an information processing device, an information processing system, an information processing method, and a program. More specifically, the present invention relates to an information processing apparatus, an information processing system, an information processing method, and a program that monitor a person's entry into a specific place, monitoring of things brought out by a person, and the like.
- Patent Document 1 Japanese Patent Laid-Open No. 2017-225108.
- the above-described conventional technology is a configuration for performing movement control of robots and drones that can be controlled from the outside, and monitors and controls people in areas where various people come and go, such as accommodation facilities, workplaces, airports, and museums. Is not possible.
- a common method of monitoring people is to have a person in the security room check the images taken by the surveillance camera.
- such a method has a problem that it costs a lot of money such as hiring a guard.
- the present disclosure has been made in view of the above problems, for example, without a person directly checking and monitoring a camera-captured image or the like to monitor entry into a specific place or take-out of an object, etc. It is an object of the present invention to provide an information processing device, an information processing system, an information processing method, and a program capable of preventing the action of.
- one embodiment of the present disclosure is to provide an information processing device and an information processing device capable of generating credit information of a person based on the information obtained by the monitoring process and providing the generated credit information to various users.
- a system, an information processing method, and a program are examples of the present disclosure.
- the first aspect of the present disclosure is It has a data processing unit that analyzes user actions based on sensor detection information, The data processing unit is Determine whether the user action is a violation or not, When it is determined that the action is a violation, the information processing device gives a warning.
- the second aspect of the present disclosure is A monitoring device that acquires the detection information of a plurality of sensors provided in the monitoring area and sends it to the management server, A management server that receives sensor detection information from the monitoring device and analyzes user actions in the monitoring area based on the received sensor detection information, An information processing system having a user terminal held by a user, The management server is Determine whether the user action is a violation or not, The information processing system notifies the user terminal or the monitoring device when it is determined to be a violation.
- the third aspect of the present disclosure is An information processing method executed by an information processing device,
- the information processing device has a data processing unit that analyzes a user action based on sensor detection information,
- the data processing unit Determine whether the user action is a violation or not,
- the fourth aspect of the present disclosure is An information processing method executed in an information processing system having a monitoring device, a management server, and a user terminal,
- the monitoring device acquires the detection information of a plurality of sensors provided in the monitoring area and sends it to the management server
- the management server receives sensor detection information from the monitoring device, and based on the received sensor detection information, determines whether or not a user action in the monitoring area corresponds to a violation action
- the information processing method is to notify the user terminal or the monitoring device when it is determined to be a violation.
- the fifth aspect of the present disclosure is A program for executing information processing in an information processing device,
- the information processing device has a data processing unit that analyzes a user action based on sensor detection information,
- the program the data processing unit, A process of determining whether or not a user action corresponds to a violation action, It is in a program that executes a process of notifying a warning when it is determined that it is a violation.
- the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
- a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
- system is a logical set configuration of a plurality of devices, and is not limited to one in which each configuration device is in the same housing.
- a configuration is realized in which a user behavior in a monitoring area is observed, a violation behavior is detected, and credit information for each user is generated.
- a monitoring device that acquires the detection information of the sensor provided in the monitoring area and sends it to the management server, a management server that analyzes user actions in the monitoring area based on the sensor detection information, and a user retention Has a user terminal that operates.
- the management server determines whether or not the user action corresponds to a violation action, and when it determines that the violation action is a violation action, notifies the user terminal or the monitoring device.
- the management server executes user identification, and generates and updates the credit information for each user based on the observation result of the user behavior of the identified user.
- a configuration is realized in which the user behavior in the monitoring area is observed, the violation behavior is detected, and the credit information for each user is generated.
- FIG. 7 is a diagram illustrating a flowchart illustrating a processing sequence of the first embodiment. It is a figure explaining an example of the warning output to a user terminal. It is a figure explaining the example of the update process of the credit information which a credit information generation update part performs.
- FIG. 9 is a diagram illustrating a flowchart illustrating a processing sequence of the second embodiment. It is a figure explaining the specific example of the process performed in the alert notification output control part of a management server, and a credit information generation update part.
- FIG. 3 It is a figure which shows the flowchart explaining the processing sequence of Example 3. It is a figure explaining the example of the display data for feedback response displayed on a user terminal. It is a figure explaining the example of the display data for feedback response displayed on a user terminal. It is a figure showing a flow chart explaining a processing sequence in the case of performing intrusion monitoring processing to a user whose entry is permitted and a time-limited area. It is a figure showing a flow chart explaining a processing sequence in the case of performing monitoring processing of carrying-out processing by a user of an article (book) for which a permitted taking-out time is set.
- FIG. 3 shows the flowchart explaining the processing sequence of Example 3. It is a figure explaining the example of the display data for feedback response displayed on a user terminal. It is a figure explaining the example of the display data for feedback response displayed on a user terminal. It is a figure showing a flow chart explaining a processing sequence in the case of performing intrusion monitoring processing to a user whose entry is permitted and a time-
- FIG. 10 is a diagram showing a flowchart for explaining a processing sequence in the processing example 2 when a processing for setting a user credibility class based on a user action is further performed. It is a figure explaining generation of user credit information in the system of this indication, and the whole composition of the use processing. It is a figure explaining the example of the credit information item set based on the analysis of the credit information which a management server performs. It is a figure explaining the example of the credit information calculation data for every user and for every credit information item which a management server produces
- a monitoring instrument which is a device which constitutes an information processing system of this indication, a management server, a monitoring demander terminal, and a user terminal.
- the system of the present disclosure monitors a person's behavior in the monitoring area, such as a person entering a specific place or a person taking out an object in a monitoring area provided with a sensor such as a camera.
- FIG. 1 shows an example of a company floor as an example of a space for monitoring human behavior.
- the processing of the present disclosure can be used in any place where a plurality of people enter and leave.
- it can be used in a place where a plurality of people come and go, such as a building, a station, an airport, an accommodation facility, a company, a workplace, an apartment, a hospital, an art museum, a private house for a private night, an amusement park, a shopping mall, and the like.
- a monitoring device 10 for controlling a camera 11, a receiver 12, a microphone 13, and a speaker 14 mounted on various places on a company floor, a management server 20 connected to a network, and a monitoring client terminal 40 are shown.
- the user terminal 50 is shown.
- the user terminal 50 is a terminal owned by a user 70 who uses the company floor.
- various devices such as a smartphone (smartphone), an IC card, and a wireless communication device such as an RF (Radio Frequency) tag can be used.
- the monitoring requester terminal 40 is a terminal of a requester who requests monitoring of a monitoring place, such as a company that owns a company floor.
- the management server 20 receives the image acquired by the monitoring device 10 via the camera 11, the receiver 12, and the microphone 13, the reception information (for example, a wireless communication signal such as an RF signal) and the voice information, and analyzes the reception information. Then, the behavior of the person (user 70) is analyzed, and, for example, an analysis process is performed to determine whether or not the user is cheating.
- the fraudulent act is, for example, an act of intruding into an inaccessible area or taking out a prohibited object.
- the company floor shown in FIG. 1 has three areas: area a, area b, area c.
- area a and the area b are areas that only some users are allowed to enter.
- Area c is an area without access restrictions.
- the area a and the area b are different users who are permitted to enter.
- the cleaning staff can enter all areas, but the entry permission time is set to be the cleaning time, for example, only the time from 6:00 to 7:00 in the morning.
- the monitoring device 10 shown in FIG. 1 acquires sensor detection information for analyzing these user actions, that is, user actions for analyzing whether or not the user has invaded each area or has taken out something by the user. And sends it to the management server 20.
- the sensor is a camera, a microphone, a wireless receiver, or the like.
- the monitoring device 10 has a camera 11, a receiver 12, a microphone 13, a speaker 14, etc., as shown in the figure.
- the camera 11, the receiver 12, the microphone 13, and the speaker 14 are attached to each place on the floor, and monitor the behavior of a user moving on the floor, for example, the user 70 shown in FIG.
- the camera 11 captures an image of the floor.
- the captured image is transmitted from the monitoring device 10 to the management server 20.
- the receiver 12 receives data (for example, device ID or user ID) transmitted from the user terminal 50 (smartphone, IC card, RF tag, etc.) owned by the user 70 moving on the floor.
- the received data is transmitted from the monitoring device 10 to the management server 20.
- the microphone 13 acquires a sound generated on the floor.
- the acquired voice data is transmitted from the monitoring device 10 to the management server 20.
- the camera 11, the receiver 12, and the microphone 13 are all sensors for monitoring user behavior.
- three types of sensors that is, the camera 11, the receiver 12, and the microphone 13 are used.
- a configuration using any one or two of these sensors may be adopted.
- a configuration using only the camera 11 may be used.
- a contact sensor, a proximity sensor, or the like other than the camera, the receiver, and the microphone may be used.
- the camera 11 may be configured to use a stereo camera in order to measure the user position and the three-dimensional position of the article.
- the speaker 14 is used, for example, to notify the user 70 of an alarm when a fraudulent activity is detected by the user 70.
- the management server 20 determines whether to output an alarm.
- the management server 20 can generate or generate an illegal act by the user 70, such as intrusion into an intrusion prohibited area or removal of a prohibited item, based on the received information (image, received information, or audio information) from the monitoring device 10. Determine sex.
- the management server 20 determines an alarm output and outputs an alarm sound or a voice warning message via the speaker 14 of the monitoring device.
- FIG. 2 shows each configuration example of the monitoring device 10, the management server 20, the monitoring requester terminal 40, and the user terminal 50. The configuration of each device will be sequentially described.
- the monitoring device 10 has a plurality of cameras 11-1 to n, a plurality of receivers 12-1 to n, a plurality of microphones 13-1 to n, and a plurality of speakers 14-1 to n, and a data processing unit. 15, a communication unit 16, and a storage unit 17.
- the plurality of cameras 11-1 to n, the plurality of receivers 12-1 to n, the plurality of microphones 13-1 to n, and the plurality of speakers 14-1 to n are attached at various positions in the monitoring area.
- the plurality of cameras 11-1 to n, the plurality of receivers 12-1 to n, and the plurality of microphones 13-1 to 13-n acquire images of the monitoring area, wireless communication information, and audio information.
- the receiver 12 receives the data (for example, device ID or user ID) transmitted from the user terminal 50 (smartphone, IC card, RF tag, etc.) owned by the user 70 moving on the floor.
- the plurality of speakers 13-1 to 13-n output warning sounds and warning messages to the user.
- the monitoring device 10 shown in FIG. 2 shows three types of sensors, that is, a camera 11, a receiver 12, and a microphone 13, but as described above, all of these are for monitoring user behavior. It is a sensor, and may be configured to use only one or two of these sensors. Further, it may be configured to use a sensor other than the camera, the receiver, and the microphone.
- the data processing unit 15 controls image capturing processing by a plurality of cameras 11-1 to n, wireless communication processing by a plurality of receivers 12-1 to n, and voice acquisition processing by a plurality of microphones 13-1 to n. In addition, it controls the transmission of the image captured by the camera, the received signal from the receiver, and the captured voice from the microphone to the management server 20. Further, it executes audio output control and the like via the plurality of speakers 14-1 to 14-n.
- the data processing unit 15 executes compression encoding processing and encryption processing for these transmission data when transmitting the camera acquired image, the receiver acquired data, and the microphone acquired voice to the management server 20. This is to prevent leakage to the outside.
- the communication unit 16 transmits/receives data to/from the management server 20 and other devices connected via a network.
- the storage unit 17 records the captured image of the camera 11, the detection signal of the receiver 12, and the acquired sound of the microphone 13.
- the storage unit 17 also stores various warning messages and the like.
- a program in which a processing sequence executed in the data processing unit 15 is recorded, various parameters applied to data processing, and the like are also stored.
- the management server 20 inputs a camera-captured image, microphone acquisition voice information, and the like from the monitoring device 10 and analyzes the behavior of the user at the monitoring location. Specifically, the presence or absence of fraud by a user, such as intrusion into a forbidden area, taking out of a prohibited article, or contact with a prohibited article, is analyzed.
- the management server 20 has a data processing unit 21, a communication unit 22, and a storage unit 23.
- the data processing unit 21 includes an input signal (image and sound) processing unit 31, a person identification unit 32, an action monitoring unit 33, an object monitoring unit 34, a user action (contact, intrusion, takeout) detection unit 35, and an alarm notification output control. It has a section 36 and a credit information generation/update section 37.
- the input signal (image, audio) processing unit 31 of the data processing unit 21 stores the camera-captured image received from the monitoring device 10 via the communication unit 22, the reception information of the receiver, and the voice information acquired by the microphone.
- a signal is input and processing of the input signal, such as decoding processing, is executed.
- the image signal, the reception information of the receiver, and the audio signal received from the monitoring device 10 have been subjected to compression coding and encryption processing, and the data processing unit 21 executes the decoding processing of the reception signal.
- the person identifying unit 32 identifies a person (user) based on the received data (image, received information, voice) from the monitoring device 10. For example, a face area of a person (user) is extracted from a camera-captured image, a matching process is performed with a face image of a registered user registered in the storage unit 23 in advance, and user identification is performed.
- the transmission data (for example, device ID or user ID) of the user terminal (smartphone, IC card, RF tag, etc.) included in the reception information is analyzed and registered in the storage unit 23 in advance.
- the identification processing of the registered user is performed to perform user identification.
- a verification process is performed with a registered user's voice signal registered in advance in the storage unit 23 to perform user identification.
- the storage unit 23 At least one of the face image of the registered user, the identifier corresponding to the user terminal (for example, device ID or user ID), and the registration information of the voice of the user is registered in association with the user identifier.
- the person identifying unit 32 executes a collation process of received data (image, received signal of the receiver, sound) from the monitoring device 10 and registered data in the storage unit 23 to perform person identification (user identification).
- the new user registration process may be performed at this point. .. That is, the process of registering a new user identifier in the storage unit 23 together with the reception data (image, reception signal of the receiver, sound) may be executed.
- the behavior monitoring unit 33 monitors the behavior of the user identified by the person identification unit 32.
- the object monitoring unit 34 monitors various objects in the monitoring area, such as works of art, personal computers, books, and the like, for which carry-out restrictions, contact restrictions, use restrictions, and the like are set.
- the correspondence data between the monitored object and the restriction information is stored in the storage unit 23 in advance.
- the user action (contact, intrusion, takeout, etc.) detection unit 35 detects a violation action by the user identified by the person identification unit 32.
- Violations include, for example, intrusion into an inaccessible area, contact with a contact-prohibited article, use of a prohibited-use article, and take-out of a prohibited article.
- Intrusion prohibited area information and correspondence data between the monitored article and its restriction information are stored in advance in the storage unit 23, and a user action (contact, intrusion, take-out, etc.) detection unit.
- Reference numeral 35 executes a collation process of the user action detected by the action monitoring unit 33, the object detected by the object monitoring unit 34, and the information stored in the storage unit 23 to determine whether there is a violation of the user. ..
- the alarm notification output control unit 36 determines the mode of notification to the user or the monitoring requester when the user's behavior (contact, intrusion, carry-out, etc.) detection unit 35 detects a violation by the user, and determines the notification Perform output control.
- As an output mode of the notification to the user for example, (A) Output of an alarm sound or a warning message via the speaker 13 of the monitoring device 10, (B) Output of alarm sound, output of warning message, vibration (vibration) output to the user terminal 50, There are these output modes.
- the alarm notification output control unit 36 performs a process of determining and outputting at least one of the alarm output modes (a) and (b) according to the mode of the user action (contact, intrusion, carry-out, etc.). .. Further, the monitoring requester terminal 40 is also executed to notify that the violation by the user has been detected.
- the credit information generating/updating unit 37 performs processing of generating and updating credit information (credit level) for each user according to the presence/absence of a violation by the user.
- the management server 20 not only outputs a warning when the user commits a violation, but also generates and updates credit information for each user based on the monitoring information of the user, and stores this credit information in the storage unit 23.
- the user credit information accumulated in the storage unit 23 is provided to various organizations and companies that use the user credit level, such as an insurance company, a credit card company, and a bank. This specific processing example will be described later.
- the communication unit 22 executes communication with the monitoring device 10, the monitoring client terminal 40, and the user terminal 50, which are external devices that communicate with the management server 20.
- the storage unit 23 stores the following data, for example.
- A User information of registered user (face image data, identifier corresponding to user terminal (for example, device ID or user ID), voice data, etc.)
- B Intrusion permission information in the monitoring area (intrusion permission user information, intrusion permission time information in each area)
- C Item information in the monitoring area (corresponding data between the item to be monitored and its restriction information (take-out restriction, contact restriction, use restriction))
- D User credit information
- the storage unit 23 also stores a program in which a processing sequence executed in the data processing unit 21 is recorded, various parameters applied to data processing, and the like.
- the monitoring requester terminal 40 is a terminal of a requester who requests monitoring of a monitoring target area, for example, a company that owns the floor of the company shown in FIG.
- the monitoring requester terminal 40 is composed of, for example, a terminal such as a PC. As illustrated in FIG. 2, the monitoring requester terminal 40 includes a data processing unit 41, an input unit 42, an output unit 43, a communication unit 44, and a storage unit 45.
- the data processing unit 41 executes generation and transmission of request contents for the management server 20, analysis processing of monitoring result information received from the management server 20, and the like.
- the input unit 42 is a user-operable input unit such as a keyboard and a mouse.
- the output unit 43 is composed of a display, a speaker and the like.
- the communication unit 44 executes communication with an external device such as the management server 20.
- the storage unit 45 stores a data processing program executed by the data processing unit 41, parameters applied to the data processing, and the like.
- the user terminal 50 is a terminal owned by a user who uses the monitoring target area, for example, the company floor shown in FIG.
- a device having a data communication function such as a smartphone (smartphone), an IC card, and an RF tag.
- the IC card and the RF tag output an identifier corresponding to the user terminal (for example, device ID or user ID).
- the user terminal 50 has a data processing unit 51, an input unit 52, an output unit 53, a communication unit 54, a storage unit 55, and a vibration control unit 56.
- the data processing unit 51 executes, for example, warning sound output, message output, output control of warning vibration, and the like according to a warning transmitted from the management server 20.
- the input unit 52 is an input unit such as a touch panel that can be operated by a user.
- the output unit 53 includes a display, a speaker, a vibrator, and the like.
- the communication unit 54 is a communication unit that executes communication with an external device such as the management server 20. It also includes a communication unit that outputs an identifier corresponding to the user terminal (for example, a device ID or a user ID) to the receiver 12 that is a component of the monitoring device 10.
- an identifier corresponding to the user terminal for example, a device ID or a user ID
- the storage unit 55 stores a data processing program executed by the data processing unit 51, parameters applied to the data processing, and the like.
- the vibration control unit 56 has a vibration function and a function of vibrating the user terminal 50 as a warning output.
- the user terminal 50 can be configured by various devices such as a smartphone, an IC card, and a tag for wireless communication, and the user terminal 50 has a different configuration depending on the device.
- the configuration including the data processing unit 51 to the vibration control unit 56 illustrated in FIG. 2 is an example of the user terminal 50, and it is essential that the user terminal includes the data processing unit 51 to the vibration control unit 56. is not.
- Example 1 Example of executing warning notification based on detection of user's violation and updating user credibility
- FIG. 3 is a flowchart illustrating the processing sequence of the first embodiment. Hereinafter, processing of each step of the flow will be sequentially described.
- Step S101 user registration processing is executed.
- This user registration process is a process of registering a user who enters the monitoring area.
- the monitoring area is, for example, a company floor shown in FIG. 1, a building, an airport, a museum, an amusement park, or the like, and is a limited area in which a user's activity can be monitored by a camera, a receiver, and a microphone of the monitoring device 10. is there.
- the user executes user registration processing when entering the monitoring area or in advance.
- An example of the user registration process is, for example, a user face registration process.
- the face image is taken by the camera and stored in the storage unit 23 of the management server 20 as registered user information.
- a user terminal capable of transmitting ID information such as a tag having a communication function, for example, an RF tag, an IC card, or the like may be passed to the user to be attached.
- ID information of the user terminal (RF tag, IC card, etc.) given to the user is stored in the storage unit 23 of the management server 20 as registered user information.
- the user's voice registration process may be executed. The voice input from the microphone is stored in the storage unit 23 of the management server 20 as registered user information.
- Step S102 When the user who has completed the user registration process in step S101 enters the monitoring area, the monitoring process for the user is started in step S102.
- This process is a monitoring process using the sensor of the monitoring device 10, for example, the camera 11, the receiver 12, and the microphone 13.
- the sensor of the monitoring device 10 for example, the camera 11, the receiver 12, and the microphone 13.
- the wireless communication information and the voice information are transmitted from the monitoring device 10 to the management server 20 at any time.
- the management server 20 analyzes the received information (image, wireless communication information, voice information) from the monitoring device 10.
- the monitoring process of step S102 is specifically executed by the behavior monitoring unit 33 and the object monitoring unit 34 of the management server 20 described above with reference to FIG.
- the behavior monitoring unit 33 monitors the behavior of the user identified by the person identifying unit 32.
- the object monitoring unit 34 monitors various objects in the monitoring area, such as works of art, personal computers, books, and the like, for which carry-out restrictions, contact restrictions, use restrictions, and the like are set.
- Step S103 Next, in step S103, it is determined whether a violation by the user has been detected.
- the violating act presence/absence determining process in step S103 is executed by the user act (contact, intrusion, takeout, etc.) detection unit 35 of the management server 20 described with reference to FIG.
- the user action (contact, intrusion, takeout, etc.) detection unit 35 detects a violation action by the user identified by the person identification unit 32. For example, the presence/absence of intrusion into the intrusion prohibited area, contact with the contact prohibited article, use of the prohibited article, takeout of the prohibited article is detected.
- the intrusion prohibited area information and the correspondence data between the monitored object and the restriction information are stored in the storage unit 23 of the management server 20, and the user action ( (Contact, intrusion, carry-out, etc.) detection unit 35 executes a collation process of the user action detected by action monitoring unit 33, the object detected by object monitoring unit 34, and the information stored in storage unit 23, Determine whether there is a violation by the user.
- step S103 If a violation by the user is detected in step S103, the process proceeds to step S104. On the other hand, if no violation by the user is detected, the process proceeds to step S105.
- Step S104 If a violation by the user is detected in step S103, the process proceeds to step S104.
- step S104 the following three processes are executed as shown in the flow.
- S104a Warning output to user
- S104b User credit information update process
- S104c Notification request to monitoring requester
- the warning output for the user is a warning output for requesting the user to stop the violation.
- This process is a process executed by the alarm notification output control unit 36 of the management server 20 shown in FIG.
- the alarm notification output control unit 36 determines what kind of alarm is output when the user's behavior (contact, intrusion, carry-out, etc.) detection unit 35 detects a violation by the user. Execute the output control of the determined alarm.
- As an output mode of the alarm for example, (A) Output of an alarm sound or a warning message via the speaker 13 of the monitoring device 10, (B) Output of alarm sound, output of warning message, vibration (vibration) output to the user terminal 50, Perform at least one of these warning outputs.
- FIG. 4 shows an example of the warning output.
- the example shown in FIG. 4 is an example in which a warning message is output to the user terminal 50.
- the example shown in FIG. 4 is an output example of a warning message when the user 70 tries to enter a conference room, which is an intrusion prohibited area.
- a warning message "The meeting room is prohibited to enter" along with the image taken by the camera indicating that the user is about to enter the meeting room, which is an intrusion prohibited area, and the image shooting time information. indicate.
- processing for vibrating the user terminal 50 is also executed in accordance with the display timing of this warning message.
- the user credit information update process is a process executed by the credit information generation/update unit 37 of the management server 20 shown in FIG.
- the credit information generating/updating unit 37 performs processing of generating and updating credit information (credit level) on a user-by-user basis in accordance with the presence or absence of a violation by the user.
- the credit information generation/update unit 37 generates and updates the credit information (credibility) for each user based on the user monitoring information, and stores this credit information in the storage unit 23.
- FIG. 5 shows an example of credit information update processing in the credit information generation/update unit 37.
- the credit information is generated for each user.
- FIG. 5 shows a correspondence table of the following data.
- A Detected violation
- B Credit information item name
- C Update example of credit information (1.0 to 0.0)
- “(A) Detected violation behavior” shows an example of the violation behavior of the user detected by the camera or the like of the monitoring device 10.
- “(B) Credit information item name” indicates a credit information item name set in association with the detection violation act.
- the credit information item is an item classification of the user's credit information, and an item name according to the type of infraction such as intrusion, theft, and contact is defined in advance.
- Example of updating credit information (1.0 to 0.0) includes an example of updating credit information executed by the credit information generating/updating unit 37 in response to "(A) detected violation.” Shows.
- the credit information has a maximum credit rating of 1.0 and a minimum credit rating of 0.0.
- the example of the entry (1) is an example in which the “(A) detected violation” is “intrusion into the intrusion prohibited area”.
- the example of the entry (2) is an example in which the “(A) detected violation” is “unauthorized acquisition of article”.
- the example of the entry (3) is an example in which the “(A) detected violation” is “contact with a contact-prohibited article”.
- the credit information generating/updating unit 37 performs the updating process of changing the credit information (1.0 to 0.0) of the credit information item corresponding to the detected violation in accordance with the detected violation.
- This update data is stored in the storage unit 23.
- the notification process to the monitoring requester is a process executed by the alarm notification output control unit 36 of the management server 20 shown in FIG.
- the alarm notification output control unit 36 When the user behavior (contact, intrusion, carry-out, etc.) detection unit 35 detects a violation by the user, the alarm notification output control unit 36 notifies the monitoring requester of the violation by the user as well as the user. The process of notifying that it has been detected is executed.
- step S104 when a violation by the user is detected in step S103, these three processes, that is, the following processes are executed in step S104.
- S104a Warning output to user
- S104b User credit information update process
- S104c Notification request to monitoring requester After these processes, the process returns to step S102 to continue user monitoring.
- Step S105 is a process of determining whether or not the user has left the monitoring area. When the user leaves the monitoring area, the process ends. If the user has not left the monitoring area, the process returns to step S102 to continue monitoring the user.
- Example 2 Example in which various user actions including a user's violation are detected and notified, and the user credibility is updated.
- the process described with reference to the flowchart shown in FIG. 3 is configured to notify the user or the monitoring requester when a violation by the user is detected, and to generate or update the user credibility.
- the flow shown in FIG. 6 is a flowchart for explaining the processing sequence according to this embodiment.
- the flow shown in FIG. 6 is a flow in which the processing of steps S103 and S104 in the flow shown in FIG. 3 described above is replaced with steps S111 and S112.
- steps S101 to S102 and the processing of step S105 are the same processing as the flow of FIG. 3 described above. Hereinafter, processing of each step of the flow will be sequentially described.
- Step S101 to S102 The processes of steps S101 to S102 are the same as those of the flow of FIG. 3 described above, and thus will be briefly described.
- step S101 user registration processing is executed.
- step S102 the monitoring process for the user is started.
- Step S111 Next, in step S111, it is determined whether or not a user action (notification required action) requiring notification to the user or the monitoring requester has been detected.
- the process of step S111 is executed by the user action (contact, intrusion, takeout, etc.) detection unit 35 of the management server 20 shown in FIG.
- User actions that require notification to the user or the monitoring requester are stored in the storage unit 23 of the management server 20 shown in FIG.
- step S111 when the notification required action is detected, the process proceeds to step S112. On the other hand, if no violation by the user is detected, the process proceeds to step S105.
- step S111 when the notification required action is detected, the process proceeds to step S112.
- step S112 the following three processes are executed as shown in the flow.
- S112a Notification process to the user
- S112b User credit information update process
- S112c Notification process to the monitoring requester
- FIG. 7 shows a correspondence table of the following data.
- A Detected user behavior
- B Notification to user and monitoring requester
- C User credit information update example
- C1 User credit class determination
- C2 User credit information (1.0 to 0.0) update example
- (A) Detected user action shows an example of the user action detected by the camera or the like of the monitoring device 10. This "(A) detected user action” is an action that is specified to notify the user or the monitoring requester. These actions are registered in advance in the storage unit 23 of the management server 20 as “notification required actions”.
- (B) Notification to user and monitoring requester includes an example of notification executed to the user or the monitoring requester by the alarm notification output control unit 36 of the management server 20 according to the detected user action, Specifically, an example of the notification to be executed to the user terminal 50 or the monitoring requester terminal 40 is shown.
- the alarm notification output control unit 36 executes the notification shown in (B) according to each user action.
- “(C) User credit information update example” shows an example of credit information update executed by the credit information generation/update unit 37 of the management server 20 in accordance with the detected user action.
- “(C) User credit information update example” shows (C1) user credit class determination and (C2) user credit information (1.0 to 0.0) update example.
- “(C1) User credibility class determination” is a class determination result of the detected user action.
- the credit information generating/updating unit 37 of the management server 20 classifies the detected user action classes into three classes of “good intention”, “normal”, and “bad intention”.
- the credit information generating/updating unit 37 executes a credit information updating process of increasing “(C2) user credit information (1.0 to 0.0)” when a user act classified into the “good faith” class is detected. To do.
- credit information update processing for lowering “(C2) user credit information (1.0 to 0.0)” is executed.
- the “(C2) user credit information (1.0 to 0.0)” is not changed.
- the management server 20 performs notification processing for the user terminal 50 and the monitoring client terminal 40 regarding various user actions, and classifies the user actions into three classes, "good intention", “normal”, and "bad intention”. Classify, credit information up/down processing is executed according to the class, and credit information updating processing is performed. After the process of step S112, the process returns to step S102 to continue the user monitoring process.
- Step S105 is a process of determining whether or not the user has left the monitoring area. When the user leaves the monitoring area, the process ends. If the user has not left the monitoring area, the process returns to step S102 to continue monitoring the user.
- the flow shown in FIG. 8 is a flowchart illustrating a processing sequence according to this embodiment.
- the processing of steps S101 to S105 in the flow shown in FIG. 8 is the same as the processing in FIG. 3 described above.
- the sequence is such that steps S121 to S122 are added after the warning notification to the user in step S104a.
- Steps S101 to S103 The processes of steps S101 to S103 are the same as those of the flow of FIG. 3 described above, and thus will be briefly described.
- step S101 user registration processing is executed.
- step S102 the monitoring process for the user is started.
- step S103 it is determined whether a violation by the user has been detected. If a violation by the user is detected in step S103, the process proceeds to step S104. On the other hand, if no violation by the user is detected, the process proceeds to step S105.
- Step S104 If a violation by the user is detected in step S103, the process proceeds to step S104.
- step S104 the following three processes are executed as shown in the flow.
- S104a Warning output to user
- S104b User credit information update process
- S104c Notification request to monitoring requester
- Step S121 In the present embodiment, the processes of steps S121 to S122 are executed after the warning output to the user in step S104a.
- step S121 the management server 20 determines whether or not there is a feedback response from the user. If there is a feedback response from the user, the process proceeds to step S122. If there is no feedback response from the user, the process returns to step S102 to continue the monitoring process.
- the feedback response from the user is executed using the user terminal 50 held by the user 70, and is transmitted from the user terminal 50 to the management server 20.
- FIG. 9 shows an example of the feedback response display data displayed on the user terminal 50.
- the example shown in FIG. 9 is an example of feedback response display data that is displayed after a user who attempts to enter a conference room, which is an intrusion prohibited area, is detected and a warning message is output.
- the following two images are taken as feedback response screen areas together with the image captured by the camera showing that the user is about to enter the conference room, which is the intrusion prohibited area, and the image capture time information.
- a screen that allows feedback response is displayed. "This person is not me” "I'm not in the meeting room” The user can select any of these to perform the transmission process.
- the transmission data is transmitted from the user terminal 50 to the management server 20.
- FIG. 10 shows another example of the feedback response display data. Similar to the example shown in FIG. 9, the example shown in FIG. 10 is also an example of the feedback response display data displayed after the user who attempts to enter the conference room, which is the intrusion prohibition area, is detected and the warning message is output. ..
- the following description is displayed in the feedback response screen area together with the image captured by the camera indicating that the user is about to enter the conference room, which is the intrusion prohibited area, and the image capture time information. Is displayed. "The use of your meeting room was detected at 19:50 today. You cannot use the meeting room at night because it is a daytime member. If you are not using the meeting room, sorry for your inconvenience. Please select "Report a problem (false positive)" below and send it.” The user can select "report problem (erroneous detection)" to perform transmission processing.
- the transmission data is transmitted from the user terminal 50 to the management server 20.
- the management server 20 generates the display data for feedback response in various formats and displays it on the user terminal 50.
- the user can make a feedback response to the management server 20 using the feedback response display data provided by the management server 20.
- Step S122 Upon receiving the feedback response from the user in step S121, in step S122, the management server 20 performs maintenance of the monitoring device, notification processing of the feedback response to the monitoring requester, and update/correction processing of the user credit information.
- the maintenance of the monitoring device is a process of analyzing the cause of the erroneous detection and changing the setting of the sensor that caused the erroneous detection.
- the process of notifying the monitoring requester of the feedback response is a process of notifying the user that an erroneous warning notification has been executed.
- the user credential update/correction process is a process of undoing the credential information updated according to the user violation act that was a false detection, such as the process of undoing the update of the user credential information in step S104b.
- step S122 After the process of step S122, the process returns to step S102 to continue the user monitoring process.
- Step S105 is a process of determining whether or not the user has left the monitoring area. When the user leaves the monitoring area, the process ends. If the user has not left the monitoring area, the process returns to step S102 to continue monitoring the user.
- the flowchart shown in FIG. 11 is a flowchart for explaining the processing sequence of this processing example 1. Note that the flow shown in FIG. 11 shows processing executed by the monitoring device 10, the management server 20, and the user terminal 50, respectively. The process is executed in the order of steps S201 to S209. Hereinafter, the processing of each step will be sequentially described.
- Step S201 First, in step S201, the monitoring device 10 acquires an image captured by the camera and sends it to the management server 20.
- Step S202 the management server 20 analyzes the camera-captured image received from the monitoring device 10 and determines whether the user is approaching the restricted area a. If it is confirmed that it is approaching, the process proceeds to step S203. If not confirmed, the process of step S202, that is, the analysis of the camera-captured images input sequentially from the monitoring device 10 is continuously executed.
- Step S203 When the management server 20 determines that a user is approaching the restricted area a by analyzing the camera-captured image received from the monitoring device 10, the user identification process of the user is executed in step S203. For example, the face image included in the image captured by the camera is compared with the face image of the registered user stored in the storage unit 23 of the management server 20 in advance to identify the user.
- Step S204 the management server 20 determines whether the identified user is a “full-time entry permitted user” who is permitted to enter the area a at any time.
- the access permission information for each area of the user is already recorded in the storage unit 23 of the management server 20 as user management information.
- the management server 20 refers to the user management information stored in the storage unit 23 and determines whether the identified user is a “full-time entry permitted user”.
- step S205 When it is confirmed that the identified user is the “full-time entry permitted user”, the process proceeds to step S205. On the other hand, when it is confirmed that the identified user is not the “full-time entry permitted user”, the process proceeds to step S206.
- Step S205 In the determination process of step S204, when it is confirmed that the identified user is the “full-time entry permitted user”, the process proceeds to step S205.
- the management server 20 permits Yaza to enter the area a without outputting a warning to the user.
- Step S206 the management server 20 determines whether the identified user is a “time-limited entry permitted user” who is permitted to enter the area a only during a specific time period.
- this information is also recorded in the storage unit 23, and the management server 20 refers to the information stored in the storage unit 23 and determines whether the identified user is a “time-limit entry permitted user”. To judge.
- step S207 When it is confirmed that the identified user is the “time-limit entry permitted user”, the process proceeds to step S207. On the other hand, when it is confirmed that the identified user is not the “time limit entry permitted user”, the process proceeds to step S208.
- Step S207 In the determination process of step S206, when it is confirmed that the identified user is the “time limit entry permitted user”, the process proceeds to step S207.
- the management server 20 determines whether or not the current time is within the permission time for the identified user to enter the area a. If it is confirmed that it is within the entry permission time, the process proceeds to step S205. On the other hand, if it is confirmed that it is outside the entry permission time, the process proceeds to step S208.
- step S207 When it is confirmed in step S207 that the current time is within the entry permission time, the process proceeds to step S205, and the management server 20 permits the entry of Yaza into the area a without outputting a warning to the user. ..
- Step S208 If it is confirmed in step S206 that the identified user is not the “time-limit entry permitted user”, or if it is confirmed in step S207 that the current time is outside the entry-permitted hour of the identified user, It proceeds to step S208. In these cases, in step S208, the management server 20 outputs a warning notifying the user that entry into the area a is prohibited.
- Step S209a,b Steps S209a and S209b are processing executed as a result of the warning output by the management server 20 in step S208.
- Step S209a is a warning output process in the user terminal 50.
- a voice warning is output through the speaker of the user terminal 50, a vibration warning, or a warning such as displaying a message on the screen is performed.
- step S209b is the output of a voice alarm via a speaker which is a facility of the monitoring device 10. At least one of these outputs may be executed.
- the user who confirms one of these alarms will detect that the intrusion into area a is prohibited and will stop the intrusion.
- the flowchart shown in FIG. 12 is a flowchart for explaining the processing sequence of this processing example 2. Note that the flow shown in FIG. 12 also shows the processes executed by the monitoring device 10, the management server 20, and the user terminal 50, as in the flow of FIG. The process is executed in the order of steps S301 to S306. Hereinafter, the processing of each step will be sequentially described.
- Step S301 First, in step S301, the monitoring device 10 acquires an image captured by the camera and transmits it to the management server 20.
- Step S302 the management server 20 analyzes the camera-captured image received from the monitoring device 10 and determines whether or not the user has taken out the book. It is assumed that this book is a book for which a take-out time limit (for example, 2 hours) is set. The usage restriction information of books and other items is registered in the storage unit 23 of the management server 20.
- step S303 If it is detected that the user has taken out the book, the process proceeds to step S303. If not detected, the process of step S302, that is, the analysis of the camera-captured images input from the monitoring device 10 is sequentially executed.
- Step S303 When the management server 20 confirms that the user takes out the book based on the camera-captured image received from the monitoring device 10, in step S303, the measurement of the elapsed time after the user takes out the book is started.
- Step S304 the management server 20 determines whether or not the user has returned the book within a predetermined carry-out time limit (for example, 2 hours). This determination process is executed based on the image received from the monitoring device 10.
- a predetermined carry-out time limit for example, 2 hours
- step S302 When it is confirmed that the user has returned the book within the predetermined carry-out time limit (for example, 2 hours), the process returns to step S302, and the monitoring based on the input image from the monitoring device 10 is continued. On the other hand, if it is not confirmed that the user has returned the book within the predetermined carry-out time limit (for example, 2 hours), the process proceeds to step S305.
- the predetermined carry-out time limit for example, 2 hours
- Step S305 In step S304, if it is not confirmed that the user has returned the book within the predefined carry-out time limit (for example, 2 hours), the process proceeds to step S305. In this case, the management server 20 outputs a warning prompting the user to return the book in step S305.
- the predefined carry-out time limit for example, 2 hours
- Step S306a,b Steps S306a and b are processes executed as a result of the warning output by the management server 20 in step S305.
- Step S306a is a warning output process in the user terminal 50.
- a voice warning is output through the speaker of the user terminal 50, a vibration warning, or a warning such as displaying a message on the screen is performed.
- step S306b is an output of a voice alarm via a speaker which is a facility of the monitoring device 10. At least one of these outputs may be executed.
- a user who confirms one of these alarms will detect the passage of the time limit for taking out the book and will return the book.
- the flowchart shown in FIG. 13 is a flowchart for explaining the processing sequence of this processing example 3. Note that the flow shown in FIG. 13 is a process executed in addition to the flow shown in FIG. 12, and is a process executed by the management server 20. Hereinafter, the processing of each step will be sequentially described.
- Step S321 the management server 20 determines whether or not the user has returned the book. Although not shown in the flow, this determination process is executed based on the image input from the monitoring device 10.
- step S322 If it is determined that the user has returned the book, the process proceeds to step S322. On the other hand, if it is determined that the user has not returned the book, the process proceeds to step S326.
- Step S322 When it is determined in step S321 that the user has returned the book, the process proceeds to step S322. In step S322, the management server 20 determines whether the timing of returning the book by the user is before the warning notification of the return request to the user.
- step S323 If the timing of returning the book by the user is before the warning notification of the return request to the user, the process proceeds to step S323. On the other hand, if the user's book return timing is after the user's return request warning notification, the process advances to step S324.
- Step S323 When the timing of returning the book by the user is before the warning notification of the return request to the user, in step S323, the management server 20 determines that the user credibility is “good faith class”, and the user credential information stored in the storage unit 23 Perform update processing. That is, as described above with reference to FIG. 7, the user credit information update processing for increasing the points of the user credit information (1.0 to 0.0) is performed.
- Step S324 On the other hand, if it is determined in step S322 that the user's return timing is after the user's return request warning notification, the management server 20 determines in step S324 that the user's book return timing is after the user return request warning notification. It is determined whether it is within a defined threshold time (for example, 10 minutes).
- a predetermined threshold time for example, 10 minutes
- Step S325 if the timing of returning the book by the user is within a predetermined threshold time (for example, 10 minutes) after the user is notified of the return request warning, the management server 20 executes the process of step S325. ..
- the management server 20 determines that the user credibility is "normal class" in step S325. As described above with reference to FIG. 7, in this case, the management server 20 does not change the points of the user credit information (1.0 to 0.0) stored in the storage unit 23.
- Step S326 The process of step S326 is executed in the following two cases. (A) If it is determined in step S321 that the user has not returned the book, or (B) In step S324, if the book return timing by the user is after a predetermined threshold time (for example, 10 minutes) after the user is notified of the return request warning, In these cases, the management server 20 executes the process of step S326.
- a predetermined threshold time for example, 10 minutes
- step S326 the management server 20 determines the user credibility to be a “malicious class” and updates the user credential information stored in the storage unit 23. That is, as described above with reference to FIG. 7, the user credit information update processing for reducing the points of the user credit information (1.0 to 0.0) is performed.
- the management server 20 can accumulate the credit information of many users by monitoring the users who use the monitoring area.
- the credit information of many users generated and updated by the management server 20 has various utility values.
- an example of using the user credit information generated by the management server 20 will be described.
- FIG. 14 is a diagram illustrating an overall configuration of user credit information generation and usage processing in the system of the present disclosure.
- the monitoring device 10 is set in various places (monitoring areas) that can be used by a large number of users, such as a coworking space which is a workplace, a private lodging, an airport, an amusement park, and a shopping mall.
- the sensor detection information of the camera or microphone of the monitoring device 10 is transmitted to the management server 20, and the management server 20 analyzes this sensor detection information to identify the user who uses the monitoring area provided in the monitoring device 10. And monitor the behavior of each identified user. Further, the management server 20 generates the credit information of each user as a result of this monitoring process, and sequentially updates the credit information.
- the user credit information generated by the management server 20 is stored in the storage unit 23 of the management server 20.
- the management server 20 provides the user credit information 100 stored in the storage unit 23 to the monitoring requester 110, and also provides it to the outside of the monitoring requester. It is provided to the external credit information user 120 shown in the figure.
- the external credit information user 120 is, for example, the following various companies and organizations.
- Car sharing service provider (2) Insurance company (3) Credit card company (4) Bank (5) Real estate Can these companies and organizations trust each other when executing transactions with individuals? It is necessary to confirm whether or not.
- the credit information 100 generated by the management server 20 can be used as the information for this confirmation.
- the user credit information generated by the management server 20 is divided into credit information in units of various items (credit information items) by the analysis processing of the management server 20 and collected.
- the management server 20 provides credit information corresponding to items requested by each credit information user. Alternatively, one credit information based on a plurality of items may be calculated and provided.
- FIG. 15 shows the following credit information items.
- the management server 20 calculates the credit information (1.0 to 0.0) of each user in units of each item described above by performing an analysis based on the sensor (camera or the like) detection information of the monitoring device 10. For example, regarding (1) theft, for example, it is analyzed whether the user has stolen/attempted to steal the shared property or equipment based on the sensor detection information, and the credit information of the user is calculated based on the analysis result. And update processing. (2) Regarding the harm, for example, whether the user has/has attempted to harm other users or furniture in the facility is analyzed based on the sensor detection information, and the user is analyzed based on the analysis result. To calculate and update the credit information of.
- the user may have not kept the usage time of the facility (eg, do not leave even though the available time has passed) and have not kept the return time of the shared article. It is analyzed based on the sensor detection information, and the credit information of the user is calculated and updated based on the analysis result.
- FIG. 16 is an example of credit information calculation data generated by the management server 20 for each user and for each credit information item as a result of these analyzes.
- the management server 20 provides the credit information user with credit information for each credit information item.
- credit information users include companies, individuals and organizations in various industries such as banks, private lodgings, real estate companies and car sharing services.
- the required credit information items differ depending on the type of these credit information users. Therefore, the management server 20 performs a process of providing data corresponding to the credit information item according to the request of each user.
- FIG. 17 An example of selecting and providing credit information items according to the credit information user will be described with reference to FIG. 17 (A) Credit information user (B) Providing credit information item An example of corresponding data is shown.
- (b) theft, (b2) harm, (b3) time, (b4) payment, for (1) coworking space and (2) private lodging, (3) companies, individuals and organizations that manage airports, (B5) hygiene, (b6) communication, user-specific credit information corresponding to all of these items is provided.
- the credit card company and the bank are provided with (b4) credit information only for each user corresponding to the payment item.
- the management server 20 performs a process of providing data corresponding to the credit information item according to the request of each user.
- a company, an individual, or an organization that has been provided with credit information from the management server 20 receives a credit from the management server 20 as to whether or not the individual can be trusted when performing a transaction with an individual whose credit level is unknown. It becomes possible to confirm using information.
- FIG. 18 shows an example of hardware that can be used as the monitoring device 10, the management server 20, the monitoring client terminal 40, and the user terminal 50. Each device is shown in FIG. It is not essential that the configuration shown is the same.
- a CPU (Central Processing Unit) 301 functions as a data processing unit that executes various processes according to a program stored in a ROM (Read Only Memory) 302 or a storage unit 308. For example, the processing according to the sequence described in the above embodiment is executed.
- a RAM (Random Access Memory) 303 stores programs and data executed by the CPU 301.
- the CPU 301, the ROM 302, and the RAM 303 are connected to each other by a bus 304.
- the CPU 301 is connected to an input/output interface 305 via a bus 304, and the input/output interface 305 is connected to an input unit 306 including various switches, a keyboard, a touch panel, a mouse, a microphone, and an output unit 307 including a display and a speaker. Has been done.
- the storage unit 308 connected to the input/output interface 305 includes, for example, a hard disk, and stores programs executed by the CPU 301 and various data.
- the communication unit 309 functions as a transmission/reception unit for data communication via a network such as the Internet or a local area network, and communicates with an external device.
- a drive 310 connected to the input/output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
- a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
- the technique disclosed in this specification can have the following configurations. (1) Having a data processing unit that analyzes user actions based on sensor detection information, The data processing unit is Determine whether the user action is a violation or not, An information processing device that gives a warning when it is determined to be a violation.
- the data processing unit is The information processing apparatus according to (1), wherein at least one of a warning notification to a user terminal owned by the user and a warning notification via a speaker around the user is executed.
- the data processing unit is The information processing apparatus according to (1) or (2), wherein an intrusion into the intrusion prohibited area by the user is determined to be a violation act and a warning notification is executed.
- the data processing unit is The information processing apparatus according to any one of (1) to (3), wherein the taking out of the article prohibited by the user is determined to be a violation and a warning notification is executed.
- the data processing unit is Perform user identification based on sensor detection information,
- the information processing apparatus according to any one of (1) to (4), which generates and updates credit information on a user-by-user basis, which indicates the creditworthiness of the user based on an observation result of the user behavior of the identified user.
- the data processing unit is The information processing apparatus according to (5), which executes a credit information update process that reduces the creditworthiness of the user when a violation by the user is observed.
- the data processing unit is The information processing device according to (5) or (6), which executes a credit information update process for increasing the trustworthiness of the user when a good faith act by the user is observed.
- the data processing unit is The information processing apparatus according to any one of (5) to (7), wherein credit information for each user is stored in a storage unit and updated as needed.
- the data processing unit is The information processing apparatus according to any one of (5) to (8), which executes a process of generating and updating a plurality of different credit information item-based credit information items as user-based credit information and storing the credit information in a storage unit.
- the data processing unit is The information processing apparatus according to any one of (5) to (9), wherein a feedback response from the user to the warning notification is input, and the credit information is corrected based on the feedback response.
- a monitoring device that acquires detection information of a plurality of sensors provided in the monitoring area and transmits the detection information to the management server, A management server that receives sensor detection information from the monitoring device and analyzes user actions in the monitoring area based on the received sensor detection information, An information processing system having a user terminal held by a user, The management server is Determine whether the user action is a violation or not, An information processing system that notifies the user terminal or the monitoring device when it is determined to be a violation.
- the management server is The information processing system according to (11), wherein it is determined that the intrusion into the intrusion prohibited area by the user and the removal of the article prohibited by the user by the user are violations, and the user terminal or the monitoring device is notified.
- the management server is Performing user identification based on sensor detection information received from the monitoring device, The information processing system according to (11) or (12), in which credit information for each user, which indicates the credit rating of the user, is generated and updated based on an observation result of the user behavior of the identified user.
- the management server is If a violation by a user is observed, execute credit information update processing that reduces the trustworthiness of the user, The information processing system according to (13), which executes a credit information update process for increasing the trustworthiness of the user when a good faith act by the user is observed.
- An information processing method executed by an information processing device has a data processing unit that analyzes a user action based on sensor detection information, The data processing unit, Determine whether the user action is a violation or not, An information processing method that notifies a warning when it is determined to be a violation.
- An information processing method executed in an information processing system having a monitoring device, a management server, and a user terminal The monitoring device acquires the detection information of a plurality of sensors provided in the monitoring area and sends it to the management server,
- the management server receives sensor detection information from the monitoring device, and based on the received sensor detection information, determines whether or not a user action in the monitoring area corresponds to a violation action, An information processing method of notifying the user terminal or the monitoring device when it is determined to be a violation.
- a program that causes an information processing device to execute information processing The information processing device has a data processing unit that analyzes a user action based on sensor detection information, The program, the data processing unit, A process of determining whether or not a user action corresponds to a violation action, A program that executes the process of issuing a warning when it is determined to be a violation.
- the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
- the program in which the processing sequence is recorded is installed in the memory in the computer incorporated in the dedicated hardware and executed, or the program is stored in a general-purpose computer capable of executing various processing. It can be installed and run.
- the program can be recorded in a recording medium in advance.
- the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed in a recording medium such as a built-in hard disk.
- the various processes described in the specification may be executed not only in time series according to the description but also in parallel or individually according to the processing capability of the device that executes the process or the need.
- the system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of the respective configurations are in the same housing.
- a configuration that observes a user action in a monitoring area, detects a violation action, and further generates credit information for each user is realized. ..
- a monitoring device that acquires the detection information of the sensor provided in the monitoring area and sends it to the management server, a management server that analyzes user actions in the monitoring area based on the sensor detection information, and a user retention Has a user terminal that operates.
- the management server determines whether or not the user action corresponds to a violation action, and when it determines that the violation action is a violation action, notifies the user terminal or the monitoring device.
- the management server executes user identification, and generates and updates the credit information for each user based on the observation result of the user behavior of the identified user.
- monitoring device 11 camera 12 receiver 13 microphone 14 speaker 15 data processing unit 16 communication unit 17 storage unit 20 management server 21 data processing unit 22 communication unit 23 storage unit 31 input signal (image, audio) processing unit 32 person identification unit 33 Action monitoring unit 34 Object monitoring unit 35 User action (contact, intrusion, take-out, etc.) detection unit 36 Alarm notification output control unit 37 Credit information generation/update unit 40 Surveillance requester terminal 41 Data processing unit 42 Input unit 43 Output unit 44 Communication unit 45 storage unit 50 user terminal 51 data processing unit 52 input unit 53 output unit 54 communication unit 55 storage unit 56 vibration control unit 70 user 110 monitoring client 120 external credit information user 301 CPU 302 ROM 303 RAM 304 bus 305 input/output interface 306 input unit 307 output unit 308 storage unit 309 communication unit 310 drive 311 removable media
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Computer Security & Cryptography (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
監視領域におけるユーザ行為を観測して、違反行為の検出を行い、さらにユーザ単位の信用情報を生成する構成を実現する。監視領域に備えたセンサの検出情報を取得して管理サーバに送信する監視装置と、センサ検出情報に基づいて監視領域におけるユーザ行為を解析する管理サーバと、ユーザの保持するユーザ端末を有する。管理サーバはユーザ行為が違反行為に該当するか否かを判定し、違反行為であると判定した場合、ユーザ端末、または監視装置に通知する。さらに、管理サーバはユーザ識別を実行し、識別ユーザのユーザ行為の観測結果に基づいてユーザ単位の信用情報を生成し、更新する。
Description
本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、人の特定場所への立ち入りや、人による物の持ち出し等の監視を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。
多くの人が利用可能な場所として宿泊施設、職場、空港、美術館など、様々な場所があるが、これらの場所には、特定の許可された人物のみ立ち入り可能な領域や、持ち出し禁止の物品等が存在する場合がある。
近年、自走式ロボットやドローン等が多く利用されているが、このようなロボットやドローンの衝突等を防止するため「バーチャルフェンス」という仮想的なフェンスを利用したシステムが提案され、実用化されている。
これは管理システムがロボットやドローンの位置情報を取得して、各ロボットやドローンの移動可能な領域を設定し、ロボットやドローンが衝突しないように制御する構成である。なお、バーチャルフェンスについて開示した従来技術として、特許文献1(特開2017-225108号公報)がある。
しかし、上記の従来技術は、外部から制御可能なロボットやドローン等の移動制御を行う構成であり、例えば宿泊施設、職場、空港、美術館など、様々な人が出入りする領域において人に対する監視や制御を可能とするものではない。
人の監視を行う一般的な手法は、監視カメラの撮影画像を警備室の人がチェックするといった手法である。しかし、このような手法は、警備員を雇用する等、多大なコストがかかるという問題がある。
昨今、個人宅等を宿泊施設として貸し出す民泊といった宿泊施設が増大しているが、このような民泊施設は様々な人が利用するが、家の中には立ち入ってほしくない場所や、触れてほしくない物品がある。しかし、宿泊者の行動を監視カメラで撮影し、これを警備員等が常時、監視するシステムはコスト高となるという問題がある。
本開示は、例えば上記問題点に鑑みてなされたものであり、カメラ撮影画像等を人が直接、確認して監視することなく、特定の場所への立ち入りや物の持ち出し等を監視し、これらの行為を防止すること可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。
さらに、本開示の一実施例は、監視処理によって得られた情報に基づいて人の信用情報を生成し、生成した信用情報を様々な利用者に提供すること可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムである。
本開示の第1の側面は、
センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記データ処理部は、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、警告の通知を行う情報処理装置にある。
センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記データ処理部は、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、警告の通知を行う情報処理装置にある。
さらに、本開示の第2の側面は、
監視領域に備えた複数のセンサの検出情報を取得して管理サーバに送信する監視装置と、
前記監視装置からセンサ検出情報を受信し、受信したセンサ検出情報に基づいて、前記監視領域におけるユーザ行為を解析する管理サーバと、
ユーザの保持するユーザ端末を有する情報処理システムであり、
前記管理サーバは、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、前記ユーザ端末、または前記監視装置に通知する情報処理システムにある。
監視領域に備えた複数のセンサの検出情報を取得して管理サーバに送信する監視装置と、
前記監視装置からセンサ検出情報を受信し、受信したセンサ検出情報に基づいて、前記監視領域におけるユーザ行為を解析する管理サーバと、
ユーザの保持するユーザ端末を有する情報処理システムであり、
前記管理サーバは、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、前記ユーザ端末、または前記監視装置に通知する情報処理システムにある。
さらに、本開示の第3の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記データ処理部が、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、警告の通知を行う情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記データ処理部が、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、警告の通知を行う情報処理方法にある。
さらに、本開示の第4の側面は、
監視装置と、管理サーバと、ユーザ端末を有する情報処理システムにおいて実行する情報処理方法であり、
前記監視装置が、監視領域に備えた複数のセンサの検出情報を取得して管理サーバに送信し、
前記管理サーバが、前記監視装置からセンサ検出情報を受信し、受信したセンサ検出情報に基づいて、前記監視領域におけるユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、前記ユーザ端末、または前記監視装置に通知する情報処理方法にある。
監視装置と、管理サーバと、ユーザ端末を有する情報処理システムにおいて実行する情報処理方法であり、
前記監視装置が、監視領域に備えた複数のセンサの検出情報を取得して管理サーバに送信し、
前記管理サーバが、前記監視装置からセンサ検出情報を受信し、受信したセンサ検出情報に基づいて、前記監視領域におけるユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、前記ユーザ端末、または前記監視装置に通知する情報処理方法にある。
さらに、本開示の第5の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
ユーザ行為が違反行為に該当するか否かを判定する処理と、
違反行為であると判定した場合、警告を通知する処理を実行させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
ユーザ行為が違反行為に該当するか否かを判定する処理と、
違反行為であると判定した場合、警告を通知する処理を実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、監視領域におけるユーザ行為を観測して、違反行為の検出を行い、さらにユーザ単位の信用情報を生成する構成が実現される。
具体的には、例えば、監視領域に備えたセンサの検出情報を取得して管理サーバに送信する監視装置と、センサ検出情報に基づいて監視領域におけるユーザ行為を解析する管理サーバと、ユーザの保持するユーザ端末を有する。管理サーバはユーザ行為が違反行為に該当するか否かを判定し、違反行為であると判定した場合、ユーザ端末、または監視装置に通知する。さらに、管理サーバはユーザ識別を実行し、識別ユーザのユーザ行為の観測結果に基づいてユーザ単位の信用情報を生成し、更新する。
本構成により、監視領域におけるユーザ行為を観測して、違反行為の検出を行い、さらにユーザ単位の信用情報を生成する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、監視領域に備えたセンサの検出情報を取得して管理サーバに送信する監視装置と、センサ検出情報に基づいて監視領域におけるユーザ行為を解析する管理サーバと、ユーザの保持するユーザ端末を有する。管理サーバはユーザ行為が違反行為に該当するか否かを判定し、違反行為であると判定した場合、ユーザ端末、または監視装置に通知する。さらに、管理サーバはユーザ識別を実行し、識別ユーザのユーザ行為の観測結果に基づいてユーザ単位の信用情報を生成し、更新する。
本構成により、監視領域におけるユーザ行為を観測して、違反行為の検出を行い、さらにユーザ単位の信用情報を生成する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.本開示の処理の概要について
2.情報処理システムの構成と、システムを構成する各装置の構成例について
3.(実施例1)ユーザの違反行為の検出に基づく警告通知、およびユーザ信用度の更新を実行する実施例について
4.(実施例2)ユーザの違反行為を含む多様なユーザ行為を検出して通知、およびユーザ信用度の更新を実行する実施例について
5.(実施例3)ユーザへの通知に対するユーザからのフィードバック応答を許容した実施例について
6.具体的な処理例のシーケンスについて
6-1.(処理例1)立ち入りが許可されるユーザと時間に制限のある領域への侵入監視処理を行う処理例
6-2.(処理例2)持ち出し許容時間の設定された物品(書籍)のユーザによる持ち出し処理の監視処理例
6-3.(処理例3)処理例2において、さらに、ユーザ行為に基づくユーザ信用度クラスを設定する処理例
7.ユーザ信用情報の利用について
8.情報処理装置のハードウェア構成例について
9.本開示の構成のまとめ
1.本開示の処理の概要について
2.情報処理システムの構成と、システムを構成する各装置の構成例について
3.(実施例1)ユーザの違反行為の検出に基づく警告通知、およびユーザ信用度の更新を実行する実施例について
4.(実施例2)ユーザの違反行為を含む多様なユーザ行為を検出して通知、およびユーザ信用度の更新を実行する実施例について
5.(実施例3)ユーザへの通知に対するユーザからのフィードバック応答を許容した実施例について
6.具体的な処理例のシーケンスについて
6-1.(処理例1)立ち入りが許可されるユーザと時間に制限のある領域への侵入監視処理を行う処理例
6-2.(処理例2)持ち出し許容時間の設定された物品(書籍)のユーザによる持ち出し処理の監視処理例
6-3.(処理例3)処理例2において、さらに、ユーザ行為に基づくユーザ信用度クラスを設定する処理例
7.ユーザ信用情報の利用について
8.情報処理装置のハードウェア構成例について
9.本開示の構成のまとめ
[1.本開示の処理の概要について]
まず、図1を参照して本開示の処理の概要について説明する。
本開示のシステムはカメラ等のセンサを備えた監視領域において、人の特定場所への立ち入りや、人による物の持ち出し等、監視領域における人の行動の監視を行う。
まず、図1を参照して本開示の処理の概要について説明する。
本開示のシステムはカメラ等のセンサを備えた監視領域において、人の特定場所への立ち入りや、人による物の持ち出し等、監視領域における人の行動の監視を行う。
前述したように、多くの人が利用可能な場所として宿泊施設、職場、空港、美術館など、様々な場所があるが、これらの場所には、特定の許可された人物のみ立ち入り可能な領域や、持ち出し禁止の物品等が存在することが多い。
図1には、人の行動を監視するスペースの一例として、会社のフロアの一例を示している。
なお、図1には会社のフロアを示しているが、本開示の処理は、複数の人が出入りするあらゆる場所おいて利用可能である。例えば、ビル、駅、空港、宿泊施設、会社、職場、マンション、病院、美術館、民泊のための個人宅、アミューズメントパーク、ショッピングモール等、複数の人が出入りする場所において利用可能である。
なお、図1には会社のフロアを示しているが、本開示の処理は、複数の人が出入りするあらゆる場所おいて利用可能である。例えば、ビル、駅、空港、宿泊施設、会社、職場、マンション、病院、美術館、民泊のための個人宅、アミューズメントパーク、ショッピングモール等、複数の人が出入りする場所において利用可能である。
図1には、会社のフロアの様々な場所に装着されたカメラ11、受信機12、マイク13、スピーカ14を制御する監視装置10の他、ネットワーク接続された管理サーバ20、監視依頼者端末40、ユーザ端末50を示している。
ユーザ端末50は、会社のフロアを利用するユーザ70が所有する端末である。なお、ユーザ端末50としては、例えばスマホ(スマートフォン)、ICカード、RF(Radio Frequency)タグ等の無線通信機器等、様々な機器が利用可能である。
監視依頼者端末40は、会社のフロアを所有する会社など、監視場所の監視を依頼した依頼者の端末である。
ユーザ端末50は、会社のフロアを利用するユーザ70が所有する端末である。なお、ユーザ端末50としては、例えばスマホ(スマートフォン)、ICカード、RF(Radio Frequency)タグ等の無線通信機器等、様々な機器が利用可能である。
監視依頼者端末40は、会社のフロアを所有する会社など、監視場所の監視を依頼した依頼者の端末である。
管理サーバ20は、監視装置10がカメラ11、受信機12、マイク13を介して取得した画像や、受信情報(例えばRF信号等の無線通信信号等)、音声情報を受信し、受信情報を解析して人(ユーザ70)の行動を解析し、例えばユーザが不正行為をしていないか等の解析処理を実行する。
不正行為とは、例えば侵入禁止領域への侵入や、持ち出し禁止物の持ち出し等の行為である。
不正行為とは、例えば侵入禁止領域への侵入や、持ち出し禁止物の持ち出し等の行為である。
図1に示す会社のフロアは、多くの社員、社員以外の来客、清掃員等、様々な人(ユーザ)が行き来する。
これらの人(ユーザ)は、それぞれ立ち入ることが許容されている領域と、立ち入りが許容されていない領域が割り当てられている。
また、時間帯によって立ち入り許可、不許可の設定が変更されることもある。
これらの人(ユーザ)は、それぞれ立ち入ることが許容されている領域と、立ち入りが許容されていない領域が割り当てられている。
また、時間帯によって立ち入り許可、不許可の設定が変更されることもある。
図1に示す会社のフロアは領域a、領域b、領域c、これらの3つの領域を有する。この中で、例えば領域aや領域bは、一部のユーザのみに立ち入りが許可された領域である。領域cは、立ち入り制限のない領域である。
領域aと領域bは、それぞれ立ち入り許可されたユーザは異なるユーザである。
また、例えば、清掃員は全ての領域に立ち入ることができるが、その立ち入り許可時間は、清掃時間、例えば朝の6:00~7:00のみの時間である等の設定がなされる。
領域aと領域bは、それぞれ立ち入り許可されたユーザは異なるユーザである。
また、例えば、清掃員は全ての領域に立ち入ることができるが、その立ち入り許可時間は、清掃時間、例えば朝の6:00~7:00のみの時間である等の設定がなされる。
また、図1に示す会社のフロアには、様々な物、例えばパソコン、書籍、書類、美術工芸品等が多数、置かれているが、これらの物の中には、持ち出しが禁止された物や、特定ユーザにのみ持ち出しが許容された物等がある。
さらに、持ち出し禁止ではないが、持ち出し時間に制限がある物、例えば2時間以内であれば持ち出しが許容されている物など、様々な持ち出し制限が設定された物が置いてある。
さらに、持ち出し禁止ではないが、持ち出し時間に制限がある物、例えば2時間以内であれば持ち出しが許容されている物など、様々な持ち出し制限が設定された物が置いてある。
図1に示す監視装置10は、これらのユーザ行為、すなわちユーザの各領域への侵入や、ユーザによる物の持ち出し等の有無を解析するためのユーザ行動を解析するためのセンサ検出情報を取得して管理サーバ20に送信する。センサとはカメラやマイク、無線受信機等である。
監視装置10は、図に示すようにカメラ11、受信機12、マイク13、スピーカ14等を有する。カメラ11、受信機12、マイク13、スピーカ14は、フロアの各場所に取り付けられており、フロア内を移動するユーザ、例えば図1に示すユーザ70の行動を監視する。
カメラ11は、フロア内の画像を撮影する。撮影画像は監視装置10から管理サーバ20に送信される。
受信機12は、フロア内を移動するユーザ70の所有するユーザ端末50(スマホ、ICカード、RFタグ等)の送信するデータ(例えば機器IDやユーザID)を受信する。受信データは監視装置10から管理サーバ20に送信される。
マイク13は、フロア内で発生する音を取得する。取得音声データは監視装置10から管理サーバ20に送信される。
受信機12は、フロア内を移動するユーザ70の所有するユーザ端末50(スマホ、ICカード、RFタグ等)の送信するデータ(例えば機器IDやユーザID)を受信する。受信データは監視装置10から管理サーバ20に送信される。
マイク13は、フロア内で発生する音を取得する。取得音声データは監視装置10から管理サーバ20に送信される。
なお、カメラ11、受信機12、マイク13は、いずれも、ユーザ行動を監視するためのセンサであり、図1に示す構成例では、カメラ11、受信機12、マイク13の3種類のセンサを有する例を示しているが、これらのいずれか1つ、あるいは2つのセンサを用いた構成としてもよい。例えばカメラ11のみを用いた構成としてもよい。また、カメラ、受信機、マイク以外の、例えば、接触センサや近接センサ等を用いる構成としてもよい。
また、カメラ11は、ユーザ位置や物品の3次元位置を測定可能とするためステレオカメラを用いる構成としてもよい。
また、カメラ11は、ユーザ位置や物品の3次元位置を測定可能とするためステレオカメラを用いる構成としてもよい。
スピーカ14は、例えば、ユーザ70による不正行為発覚時に、ユーザ70に警報を通知するために利用される。
警報を出力するか否かは管理サーバ20が決定する。管理サーバ20は、監視装置10からの受信情報(画像や受信情報や音声情報)に基づいて、ユーザ70が不正行為、例えば侵入禁止領域への侵入や持ち出し禁止物の持ち出し等の発生や発生可能性を判定する。管理サーバ20は、ユーザ70による不正行為が行われそうであると判定した場合、警報出力を決定し、監視装置のスピーカ14を介して警報音や音声による警告メッセージを出力する。
警報を出力するか否かは管理サーバ20が決定する。管理サーバ20は、監視装置10からの受信情報(画像や受信情報や音声情報)に基づいて、ユーザ70が不正行為、例えば侵入禁止領域への侵入や持ち出し禁止物の持ち出し等の発生や発生可能性を判定する。管理サーバ20は、ユーザ70による不正行為が行われそうであると判定した場合、警報出力を決定し、監視装置のスピーカ14を介して警報音や音声による警告メッセージを出力する。
[2.情報処理システムの構成と、システムを構成する各装置の構成例について]
次に、図2を参照して、本開示の情報処理システムの構成と、システムを構成する各装置の構成例について説明する。
次に、図2を参照して、本開示の情報処理システムの構成と、システムを構成する各装置の構成例について説明する。
図2には、監視装置10、管理サーバ20、監視依頼者端末40、ユーザ端末50の各構成例を示している。
各装置の構成について、順次、説明する。
各装置の構成について、順次、説明する。
(監視装置10)
監視装置10は、複数のカメラ11-1~n、複数の受信機12-1~n、複数のマイク13-1~n、複数のスピーカ14-1~nを有し、さらに、データ処理部15、通信部16、記憶部17を有する。
複数のカメラ11-1~n、複数の受信機12-1~n、複数のマイク13-1~n、複数のスピーカ14-1~nは、監視領域の様々な位置に取り付けられている。
監視装置10は、複数のカメラ11-1~n、複数の受信機12-1~n、複数のマイク13-1~n、複数のスピーカ14-1~nを有し、さらに、データ処理部15、通信部16、記憶部17を有する。
複数のカメラ11-1~n、複数の受信機12-1~n、複数のマイク13-1~n、複数のスピーカ14-1~nは、監視領域の様々な位置に取り付けられている。
複数のカメラ11-1~n、複数の受信機12-1~n、複数のマイク13-1~nは、監視領域の画像、無線通信情報、音声情報を取得する。
前述したように、受信機12は、フロア内を移動するユーザ70の所有するユーザ端末50(スマホ、ICカード、RFタグ等)の送信するデータ(例えば機器IDやユーザID)を受信する。
複数のスピーカ13-1~nは、ユーザに対する警報音や警告メッセージを出力する。
前述したように、受信機12は、フロア内を移動するユーザ70の所有するユーザ端末50(スマホ、ICカード、RFタグ等)の送信するデータ(例えば機器IDやユーザID)を受信する。
複数のスピーカ13-1~nは、ユーザに対する警報音や警告メッセージを出力する。
なお、図2に示す監視装置10には、カメラ11、受信機12、マイク13の3種類のセンサを示しているが、前述したように、これらは、いずれも、ユーザ行動を監視するためのセンサであり、これらのいずれか1つ、あるいは2つのセンサのみを用いる構成としてもよい。また、カメラ、受信機、マイク以外のセンサを用いる構成としてもよい。
データ処理部15は、複数のカメラ11-1~nによる画像撮影処理、複数の受信機12-1~nによる無線通信処理、複数のマイク13-1~nによる音声取得処理の制御を行う。また、カメラの取得画像、受信機の受信信号、マイクの取得音声を管理サーバ20に送信する制御等を行う。さらに、複数のスピーカ14-1~nを介した音声出力制御等を実行する。
なお、データ処理部15は、カメラの取得画像や、受信機取得データや、マイクの取得音声を管理サーバ20に送信する際、これらの送信データに対する圧縮符号化処理や暗号化処理を実行する。外部への漏えいを防止するためである。
通信部16は、管理サーバ20他、ネットワークを介して接続された装置とのデータ送受信を行う。
記憶部17は、カメラ11の撮影画像、受信機12の検出信号、マイク13の取得音声を記録する。記憶部17には、さらに、様々な警告メッセージ等も記録されている。また、データ処理部15において実行する処理シーケンスを記録したプログラムや、データ処理に適用する各種パラメータ等も格納されている。
記憶部17は、カメラ11の撮影画像、受信機12の検出信号、マイク13の取得音声を記録する。記憶部17には、さらに、様々な警告メッセージ等も記録されている。また、データ処理部15において実行する処理シーケンスを記録したプログラムや、データ処理に適用する各種パラメータ等も格納されている。
(管理サーバ20)
管理サーバ20は、監視装置10からカメラ撮影画像やマイク取得音声情報等を入力して、監視場所におけるユーザの行動を解析する。具体的には、ユーザによる不正、例えば侵入禁止領域への侵入や、持ち出し禁止物品の持ち出し、接触禁止物品への接触等の不正行為の有無等を解析する。
管理サーバ20は、監視装置10からカメラ撮影画像やマイク取得音声情報等を入力して、監視場所におけるユーザの行動を解析する。具体的には、ユーザによる不正、例えば侵入禁止領域への侵入や、持ち出し禁止物品の持ち出し、接触禁止物品への接触等の不正行為の有無等を解析する。
図2に示すように、管理サーバ20は、データ処理部21、通信部22、記憶部23を有する。
データ処理部21は、入力信号(画像、音声)処理部31、人識別部32、行動監視部33、物体監視部34、ユーザ行為(接触、侵入、持ち出し等)検出部35、警報通知出力制御部36、信用情報生成更新部37を有する。
データ処理部21は、入力信号(画像、音声)処理部31、人識別部32、行動監視部33、物体監視部34、ユーザ行為(接触、侵入、持ち出し等)検出部35、警報通知出力制御部36、信用情報生成更新部37を有する。
データ処理部21の入力信号(画像、音声)処理部31は、通信部22を介して、監視装置10から受信するカメラ撮影画像や受信機の受信情報、さらにマイクによって取得された音声情報等の信号を入力して、入力信号の処理、例えば復号処理等を実行する。
監視装置10から受信する画像信号、受信機の受信情報、音声信号は、圧縮符号化や暗号化処理が施されており、データ処理部21は受信信号の復号処理を実行する。
監視装置10から受信する画像信号、受信機の受信情報、音声信号は、圧縮符号化や暗号化処理が施されており、データ処理部21は受信信号の復号処理を実行する。
人識別部32は、監視装置10からの受信データ(画像、受信情報、音声)に基づいて、人(ユーザ)の識別を行う。
例えば、カメラ撮影画像から人(ユーザ)の顔領域を抽出し、記憶部23に予め登録されている登録ユーザの顔画像との照合処理を実行してユーザ識別を実行する。
例えば、カメラ撮影画像から人(ユーザ)の顔領域を抽出し、記憶部23に予め登録されている登録ユーザの顔画像との照合処理を実行してユーザ識別を実行する。
あるいは、受信機の受信情報に基づいて、受信情報に含まれるユーザ端末(スマホ、ICカード、RFタグ等)の送信データ(例えば機器IDやユーザID)を解析し、記憶部23に予め登録されている登録ユーザの識別情報(例えば機器IDやユーザID)との照合処理を実行してユーザ識別を実行する。
あるいは、マイク取得音声に基づいて、記憶部23に予め登録されている登録ユーザの声信号との照合処理を実行してユーザ識別を実行する。
記憶部23には登録ユーザの顔画像、ユーザ端末対応の識別子(例えば機器IDやユーザID)、ユーザの声の登録情報の少なくともいずれかがユーザ識別子に対応付けて登録されている。
人識別部32は、監視装置10からの受信データ(画像、受信機の受信信号、音声)と、記憶部23の登録データとの照合処理を実行して人識別(ユーザ識別)を実行する。
人識別部32は、監視装置10からの受信データ(画像、受信機の受信信号、音声)と、記憶部23の登録データとの照合処理を実行して人識別(ユーザ識別)を実行する。
なお、監視装置10からの受信データ(画像、受信機の受信信号、音声)が、記憶部23に登録済みのデータに一致しない場合は、この時点で、新規ユーザの登録処理を行ってもよい。すなわち、受信データ(画像、受信機の受信信号、音声)とともに、新たなユーザ識別子を記憶部23に登録する処理を実行してもよい。
あるいは、検出ユーザが未登録ユーザであると判定された場合、不審者の侵入と判断し、その時点で警報を出力する等の処理を実行してもよい。
行動監視部33は、人識別部32において識別されたユーザの行動を監視する。
物体監視部34は、監視領域内の様々な物体、例えば美術品、パソコン、書籍等、持ち出し制限、接触制限、使用制限等が設定された物の監視を行う。
なお、監視対象物品とその制限情報(持ち出し制限、接触制限、使用制限)との対応データは予め記憶部23に格納されている。
物体監視部34は、監視領域内の様々な物体、例えば美術品、パソコン、書籍等、持ち出し制限、接触制限、使用制限等が設定された物の監視を行う。
なお、監視対象物品とその制限情報(持ち出し制限、接触制限、使用制限)との対応データは予め記憶部23に格納されている。
ユーザ行為(接触、侵入、持ち出し等)検出部35は、人識別部32において識別されたユーザによる違反行為の検出を行う。違反行為とは、例えば侵入禁止領域への侵入、接触禁止物品に対する接触、使用禁止物品の使用、持ち出し禁止物品の持ち出し等である。
侵入禁止領域情報や、監視対象物品とその制限情報(持ち出し制限、接触制限、使用制限)との対応データは予め記憶部23に格納されており、ユーザ行為(接触、侵入、持ち出し等)検出部35は、行動監視部33の検出したユーザ行為と、物体監視部34の検出した物体と、記憶部23に格納された情報との照合処理を実行して、ユーザの違反行為の有無を判定する。
警報通知出力制御部36は、ユーザ行為(接触、侵入、持ち出し等)検出部35においてユーザによる違反行為が検出された場合に、ユーザや監視依頼者に対する通知の態様を決定し、決定した通知の出力制御を実行する。
ユーザに対する通知の出力態様としては、例えば、
(a)監視装置10のスピーカ13を介する警報音の出力や警告メッセージの出力、
(b)ユーザ端末50に対する警報音の出力、警告メッセージの出力、振動(バイブレーション)出力、
これらの出力態様がある。
ユーザに対する通知の出力態様としては、例えば、
(a)監視装置10のスピーカ13を介する警報音の出力や警告メッセージの出力、
(b)ユーザ端末50に対する警報音の出力、警告メッセージの出力、振動(バイブレーション)出力、
これらの出力態様がある。
警報通知出力制御部36は、ユーザ行為(接触、侵入、持ち出し等)の態様に応じて、上記の(a),(b)の少なくともいずれかの警報出力態様を決定して出力する処理を行う。
さらに、監視依頼者端末40に対してもユーザによる違反行為が検出されたことを通知する処理を実行する。
さらに、監視依頼者端末40に対してもユーザによる違反行為が検出されたことを通知する処理を実行する。
信用情報生成更新部37は、ユーザの違反行為の有無等に応じて、ユーザ単位の信用情報(信用度)を生成、更新する処理を行う。管理サーバ20は、ユーザが違反行為を行った場合に警告を出力するのみならず、ユーザの監視情報に基づいて、各ユーザ単位の信用情報を生成、更新し、この信用情報を記憶部23に格納する。
記憶部23に蓄積されたユーザ信用情報は、例えば保険会社や、クレジットカード会社、銀行等、ユーザ信用度を利用する様々な組織や会社等に提供される。
この具体的処理例については後述する。
記憶部23に蓄積されたユーザ信用情報は、例えば保険会社や、クレジットカード会社、銀行等、ユーザ信用度を利用する様々な組織や会社等に提供される。
この具体的処理例については後述する。
通信部22は、管理サーバ20と通信する外部装置である監視装置10、監視依頼者端末40、ユーザ端末50との通信を実行する。
記憶部23に、例えば以下のデータが格納されている。
(a)登録ユーザのユーザ情報(顔画像データ、ユーザ端末対応の識別子(例えば機器IDやユーザID)、声の音声データ等)
(b)監視領域の侵入許容情報(領域単位の侵入許可ユーザ情報、侵入許可時間情報等)
(c)監視領域の物品情報(監視対象物品とその制限情報(持ち出し制限、接触制限、使用制限)との対応データ)
(d)ユーザの信用情報
なお、記憶部23には、データ処理部21において実行する処理シーケンスを記録したプログラムや、データ処理に適用する各種のパラメータ等も格納されている。
記憶部23に、例えば以下のデータが格納されている。
(a)登録ユーザのユーザ情報(顔画像データ、ユーザ端末対応の識別子(例えば機器IDやユーザID)、声の音声データ等)
(b)監視領域の侵入許容情報(領域単位の侵入許可ユーザ情報、侵入許可時間情報等)
(c)監視領域の物品情報(監視対象物品とその制限情報(持ち出し制限、接触制限、使用制限)との対応データ)
(d)ユーザの信用情報
なお、記憶部23には、データ処理部21において実行する処理シーケンスを記録したプログラムや、データ処理に適用する各種のパラメータ等も格納されている。
(監視依頼者端末40)
監視依頼者端末40は、監視対象領域、例えば図1に示す会社のフロアを所有する会社など、監視場所の監視を依頼した依頼者の端末である。
監視依頼者端末40は、監視対象領域、例えば図1に示す会社のフロアを所有する会社など、監視場所の監視を依頼した依頼者の端末である。
監視依頼者端末40は、例えばPC等の端末によって構成される。
図2に示すように、監視依頼者端末40は、データ処理部41、入力部42、出力部43、通信部44、記憶部45を有する。
図2に示すように、監視依頼者端末40は、データ処理部41、入力部42、出力部43、通信部44、記憶部45を有する。
データ処理部41は、管理サーバ20に対する依頼内容の生成、送信、管理サーバ20から受信する監視結果情報の解析処理等を実行する。
入力部42は、ユーザ操作可能なキーボード、マウス等の入力部である。出力部43はディスプレイ、スピーカ等によって構成される。通信部44は管理サーバ20等の外部装置との通信を実行する。
記憶部45は、データ処理部41において実行するデータ処理プログラム、データ処理に適用するパラメータ等を格納している。
入力部42は、ユーザ操作可能なキーボード、マウス等の入力部である。出力部43はディスプレイ、スピーカ等によって構成される。通信部44は管理サーバ20等の外部装置との通信を実行する。
記憶部45は、データ処理部41において実行するデータ処理プログラム、データ処理に適用するパラメータ等を格納している。
(ユーザ端末50)
ユーザ端末50は、監視対象領域、例えば図1に示す会社のフロアを利用するユーザが所有する端末である。例えばスマホ(スマートフォン)や、ICカード、RFタグ等のデータ通信機能を備えた機器によって構成される。ICカード、RFタグは、ユーザ端末対応の識別子(例えば機器IDやユーザID)を出力する。
ユーザ端末50は、監視対象領域、例えば図1に示す会社のフロアを利用するユーザが所有する端末である。例えばスマホ(スマートフォン)や、ICカード、RFタグ等のデータ通信機能を備えた機器によって構成される。ICカード、RFタグは、ユーザ端末対応の識別子(例えば機器IDやユーザID)を出力する。
図2に示すように、ユーザ端末50は、データ処理部51、入力部52、出力部53、通信部54、記憶部55、振動制御部56を有する。
データ処理部51は、例えば管理サーバ20から送信される警告に応じて警報音出力、メッセージ出力、警告バイブレーションの出力制御等を実行する。
入力部52は、ユーザ操作可能なタッチパネル等の入力部である。出力部53はディスプレイ、スピーカ、バイブレータ等によって構成される。
入力部52は、ユーザ操作可能なタッチパネル等の入力部である。出力部53はディスプレイ、スピーカ、バイブレータ等によって構成される。
通信部54は管理サーバ20等の外部装置との通信を実行する通信部である。また、監視装置10の構成要素である受信機12に対してユーザ端末対応の識別子(例えば機器IDやユーザID)を出力する通信部も含まれる。
記憶部55は、データ処理部51において実行するデータ処理プログラム、データ処理に適用するパラメータ等を格納している。
振動制御部56は、バイブレーション機能であり、警告出力としてユーザ端末50を振動させる機能である。
振動制御部56は、バイブレーション機能であり、警告出力としてユーザ端末50を振動させる機能である。
なお、前述したように、ユーザ端末50は、例えばスマホ、ICカード、無線通信用のタグ等、様々な機器によって構成可能であり、ユーザ端末50は機器に応じて異なる構成を有する。図2に示すデータ処理部51~振動制御部56を有する構成は、ユーザ端末50の一例であり、ユーザ端末は、データ処理部51~振動制御部56の全てを備えた構成であることは必須ではない。
[3.(実施例1)ユーザの違反行為の検出に基づく警告通知、およびユーザ信用度の更新を実行する実施例について]
次に、実施例1として、ユーザの違反行為の検出に基づく警告通知、およびユーザ信用度の更新を実行する実施例について説明する。
次に、実施例1として、ユーザの違反行為の検出に基づく警告通知、およびユーザ信用度の更新を実行する実施例について説明する。
図3は、本実施例1の処理シーケンスを説明するフローチャートである。
以下、フローの各ステップの処理について、順次、説明する。
以下、フローの各ステップの処理について、順次、説明する。
(ステップS101)
まず、ステップS101においてユーザ登録処理を実行する。
このユーザ登録処理は、監視領域に入場するユーザの登録処理である。
監視領域とは、例えば図1に示す会社のフロアや、ビル、空港、美術館、アミューズメントパーク等であり、監視装置10のカメラや受信機、マイクによってユーザの行動が監視可能な限定された領域である。
まず、ステップS101においてユーザ登録処理を実行する。
このユーザ登録処理は、監視領域に入場するユーザの登録処理である。
監視領域とは、例えば図1に示す会社のフロアや、ビル、空港、美術館、アミューズメントパーク等であり、監視装置10のカメラや受信機、マイクによってユーザの行動が監視可能な限定された領域である。
ユーザは、監視領域に入場する際、あるいは事前にユーザ登録処理を実行する。ユーザ登録処理の一例は、例えばユーザの顔の登録処理である。カメラで顔画像を撮影して管理サーバ20の記憶部23に登録ユーザ情報として格納する。
あるいは、例えば通信機能を持つタグ、例えばRFタグ、ICカード等、ID情報を送信可能なユーザ端末をユーザに渡して装着してもらう設定としてもよい。この場合、ユーザに渡したユーザ端末(RFタグ、ICカード等)のID情報を、管理サーバ20の記憶部23に登録ユーザ情報として格納する。
あるいは、ユーザの声の登録処理を実行してもよい。マイクから入力した声を管理サーバ20の記憶部23に登録ユーザ情報として格納する。
あるいは、ユーザの声の登録処理を実行してもよい。マイクから入力した声を管理サーバ20の記憶部23に登録ユーザ情報として格納する。
(ステップS102)
ステップS101におけるユーザ登録処理が完了したユーザが監視領域内に侵入すると、ステップS102において、ユーザに対する監視処理が開始される。
ステップS101におけるユーザ登録処理が完了したユーザが監視領域内に侵入すると、ステップS102において、ユーザに対する監視処理が開始される。
この処理は監視装置10のセンサ、例えばカメラ11、受信機12、マイク13を利用した監視処理である。
先に図1を参照して説明したように、監視領域内には多数のカメラ11、受信機12、マイク13が装着され、これらのカメラ11、受信機12、マイク13の取得情報(画像、無線通信情報、音声情報)が、随時、監視装置10から管理サーバ20に送信される。管理サーバ20は、監視装置10からの受信情報(画像、無線通信情報、音声情報)を解析する。
先に図1を参照して説明したように、監視領域内には多数のカメラ11、受信機12、マイク13が装着され、これらのカメラ11、受信機12、マイク13の取得情報(画像、無線通信情報、音声情報)が、随時、監視装置10から管理サーバ20に送信される。管理サーバ20は、監視装置10からの受信情報(画像、無線通信情報、音声情報)を解析する。
このステップS102の監視処理は、具体的には、先に図2を参照して説明した管理サーバ20の行動監視部33と物体監視部34において実行される。
前述したように、行動監視部33は、人識別部32において識別されたユーザの行動を監視する。物体監視部34は、監視領域内の様々な物体、例えば美術品、パソコン、書籍等、持ち出し制限、接触制限、使用制限等が設定された物の監視を行う。
前述したように、行動監視部33は、人識別部32において識別されたユーザの行動を監視する。物体監視部34は、監視領域内の様々な物体、例えば美術品、パソコン、書籍等、持ち出し制限、接触制限、使用制限等が設定された物の監視を行う。
(ステップS103)
次に、ステップS103において、ユーザによる違反行為が検出されたか否かを判定する。
次に、ステップS103において、ユーザによる違反行為が検出されたか否かを判定する。
このステップS103の違反行為有無判定処理は、図2を参照して説明した管理サーバ20のユーザ行為(接触、侵入、持ち出し等)検出部35において実行される。
前述したように、ユーザ行為(接触、侵入、持ち出し等)検出部35は、人識別部32において識別されたユーザによる違反行為の検出を行う。例えば侵入禁止領域への侵入、接触禁止物品に対する接触、使用禁止物品の使用、持ち出し禁止物品の持ち出し等の有無を検出する。
前述したように、ユーザ行為(接触、侵入、持ち出し等)検出部35は、人識別部32において識別されたユーザによる違反行為の検出を行う。例えば侵入禁止領域への侵入、接触禁止物品に対する接触、使用禁止物品の使用、持ち出し禁止物品の持ち出し等の有無を検出する。
前述したように、侵入禁止領域情報や、監視対象物品とその制限情報(持ち出し制限、接触制限、使用制限)との対応データは、管理サーバ20の記憶部23に格納されており、ユーザ行為(接触、侵入、持ち出し等)検出部35は、行動監視部33の検出したユーザ行為と、物体監視部34の検出した物体と、記憶部23に格納された情報との照合処理を実行して、ユーザの違反行為の有無を判定する。
ステップS103において、ユーザによる違反行為が検出された場合はステップS104に進む。
一方、ユーザによる違反行為が検出されなかった場合はステップS105に進む。
一方、ユーザによる違反行為が検出されなかった場合はステップS105に進む。
(ステップS104)
ステップS103において、ユーザによる違反行為が検出された場合はステップS104に進む。
ステップS104では、フローに示すように以下の3つの処理を実行する。
(S104a)ユーザに対する警告出力
(S104b)ユーザ信用情報の更新処理
(S104c)監視依頼者への通知処理
ステップS103において、ユーザによる違反行為が検出された場合はステップS104に進む。
ステップS104では、フローに示すように以下の3つの処理を実行する。
(S104a)ユーザに対する警告出力
(S104b)ユーザ信用情報の更新処理
(S104c)監視依頼者への通知処理
(S104a)ユーザに対する警告出力は、ユーザに違反行為の中止を求めるための警告出力である。
この処理は、図2に示す管理サーバ20の警報通知出力制御部36が実行する処理である。
この処理は、図2に示す管理サーバ20の警報通知出力制御部36が実行する処理である。
前述したように、警報通知出力制御部36は、ユーザ行為(接触、侵入、持ち出し等)検出部35においてユーザによる違反行為が検出された場合に、どのような警報を出力するかを決定して決定した警報の出力制御を実行する。
警報の出力態様としては、例えば、
(a)監視装置10のスピーカ13を介する警報音の出力や警告メッセージの出力、
(b)ユーザ端末50に対する警報音の出力、警告メッセージの出力、振動(バイブレーション)出力、
これらの警告出力の少なくともいずれかを実行する。
警報の出力態様としては、例えば、
(a)監視装置10のスピーカ13を介する警報音の出力や警告メッセージの出力、
(b)ユーザ端末50に対する警報音の出力、警告メッセージの出力、振動(バイブレーション)出力、
これらの警告出力の少なくともいずれかを実行する。
図4に、警告出力の一例を示す。図4に示す例は、ユーザ端末50に対して警告メッセージを出力した例である。
図4に示す例は、ユーザ70が侵入禁止領域である会議室に侵入しようとした場合の警告メッセージの出力例である。
ユーザ端末50の表示部に、ユーザが侵入禁止領域である会議室に侵入しようとしていることを示すカメラの撮影画像と、画像撮影時刻情報に併せて警告メッセージ「会議室は侵入禁止です。」を表示する。
なお、この警告メッセージの表示タイミングに併せてユーザ端末50を振動(バイブレーション)させる処理も実行する。
図4に示す例は、ユーザ70が侵入禁止領域である会議室に侵入しようとした場合の警告メッセージの出力例である。
ユーザ端末50の表示部に、ユーザが侵入禁止領域である会議室に侵入しようとしていることを示すカメラの撮影画像と、画像撮影時刻情報に併せて警告メッセージ「会議室は侵入禁止です。」を表示する。
なお、この警告メッセージの表示タイミングに併せてユーザ端末50を振動(バイブレーション)させる処理も実行する。
(S104b)ユーザ信用情報の更新処理は、図2に示す管理サーバ20の信用情報生成更新部37が実行する処理である。
信用情報生成更新部37は、ユーザの違反行為の有無等に応じて、ユーザ単位の信用情報(信用度)を生成、更新する処理を行う。
信用情報生成更新部37は、ユーザの違反行為の有無等に応じて、ユーザ単位の信用情報(信用度)を生成、更新する処理を行う。
信用情報生成更新部37は、ユーザの監視情報に基づいて、各ユーザ単位の信用情報(信用度)を生成、更新し、この信用情報を記憶部23に格納する。
信用情報生成更新部37における信用情報の更新処理例を図5に示す。なお、信用情報は、各ユーザ単位で生成される。
図5には、以下の各データの対応表を示している。
(A)検出した違反行為
(B)信用情報項目名
(C)信用情報(1.0~0.0)の更新例
図5には、以下の各データの対応表を示している。
(A)検出した違反行為
(B)信用情報項目名
(C)信用情報(1.0~0.0)の更新例
「(A)検出した違反行為」には、監視装置10のカメラ等によって検出されるユーザの違反行為の例を示している。
「(B)信用情報項目名」は、検出違反行為に対応付けて設定される信用情報項目名を示している。信用情報項目は、ユーザの信用情報の項目区分であり、侵入、盗難、接触等、違反行為の種類に応じた項目名が予め規定されている。
「(B)信用情報項目名」は、検出違反行為に対応付けて設定される信用情報項目名を示している。信用情報項目は、ユーザの信用情報の項目区分であり、侵入、盗難、接触等、違反行為の種類に応じた項目名が予め規定されている。
「(C)信用情報(1.0~0.0)の更新例」には、「(A)検出した違反行為」に応じて、信用情報生成更新部37が実行する信用情報の更新例を示している。
なお、本例において、信用情報は1.0が最高信用度であり、0.0が最低信用度である。
なお、本例において、信用情報は1.0が最高信用度であり、0.0が最低信用度である。
例えば、エントリ(1)の例は、「(A)検出した違反行為」が「侵入禁止領域への侵入」である場合の例である。
信用情報生成更新部37は、この場合、「(B)信用情報項目名」=「侵入」に対応する信用情報(1.0~0.0)を0.1ポイント低下させる信用情報更新処理を実行する。
信用情報生成更新部37は、この場合、「(B)信用情報項目名」=「侵入」に対応する信用情報(1.0~0.0)を0.1ポイント低下させる信用情報更新処理を実行する。
エントリ(2)の例は、「(A)検出した違反行為」が「物品の無断取得」である場合の例である。
信用情報生成更新部37は、この場合、「(B)信用情報項目名」=「盗難」に対応する信用情報(1.0~0.0)を0.2ポイント低下させる信用情報更新処理を実行する。
信用情報生成更新部37は、この場合、「(B)信用情報項目名」=「盗難」に対応する信用情報(1.0~0.0)を0.2ポイント低下させる信用情報更新処理を実行する。
エントリ(3)の例は、「(A)検出した違反行為」が「接触禁止物品に対する接触」である場合の例である。
信用情報生成更新部37は、この場合、「(B)信用情報項目名」=「接触」に対応する信用情報(1.0~0.0)を0.1ポイント低下させる信用情報更新処理を実行する。
信用情報生成更新部37は、この場合、「(B)信用情報項目名」=「接触」に対応する信用情報(1.0~0.0)を0.1ポイント低下させる信用情報更新処理を実行する。
このように、信用情報生成更新部37は、検出された違反行為に応じて、その違反行為に対応する信用情報項目の信用情報(1.0~0.0)を変更する更新処理を行い、この更新データを記憶部23に格納する。
なお、信用度の初期値は様々な設定が可能であるが、一例としては、例えば信用度初期値=1.0(最高信用度)として処理を開始する。
なお、信用度の初期値は様々な設定が可能であるが、一例としては、例えば信用度初期値=1.0(最高信用度)として処理を開始する。
(S104c)監視依頼者への通知処理は、図2に示す管理サーバ20の警報通知出力制御部36が実行する処理である。
警報通知出力制御部36は、ユーザ行為(接触、侵入、持ち出し等)検出部35においてユーザによる違反行為が検出された場合に、ユーザのみならず、監視依頼者に対してもユーザによる違反行為が検出されたことを通知する処理を実行する。
警報通知出力制御部36は、ユーザ行為(接触、侵入、持ち出し等)検出部35においてユーザによる違反行為が検出された場合に、ユーザのみならず、監視依頼者に対してもユーザによる違反行為が検出されたことを通知する処理を実行する。
このように、ステップS103において、ユーザによる違反行為が検出された場合はステップS104において、これら3つの処理、すなわち以下の処理を実行する。
(S104a)ユーザに対する警告出力
(S104b)ユーザ信用情報の更新処理
(S104c)監視依頼者への通知処理
これらの処理の後、ステップS102に戻り、ユーザの監視を継続する。
(S104a)ユーザに対する警告出力
(S104b)ユーザ信用情報の更新処理
(S104c)監視依頼者への通知処理
これらの処理の後、ステップS102に戻り、ユーザの監視を継続する。
(ステップS105)
ステップS105は、ユーザが監視領域から退出したか否かを判定する処理である。
ユーザが監視領域から退出した場合は処理を終了する。ユーザが監視領域から退出していない場合は、ステップS102に戻り、ユーザの監視を継続する。
ステップS105は、ユーザが監視領域から退出したか否かを判定する処理である。
ユーザが監視領域から退出した場合は処理を終了する。ユーザが監視領域から退出していない場合は、ステップS102に戻り、ユーザの監視を継続する。
[4.(実施例2)ユーザの違反行為を含む多様なユーザ行為を検出して通知、およびユーザ信用度の更新を実行する実施例について]
図3に示すフローチャートを参照して説明した処理は、ユーザによる違反行為が検出された場合にユーザや監視依頼者に通知を行い、さらにユーザ信用度の生成、更新を実行する構成であった。
図3に示すフローチャートを参照して説明した処理は、ユーザによる違反行為が検出された場合にユーザや監視依頼者に通知を行い、さらにユーザ信用度の生成、更新を実行する構成であった。
次に、ユーザの違反行為のみならず、違反行為以外の善意の行為等、様々なユーザ行為を解析して、解析結果に基づいてユーザや監視依頼者に通知を行い、さらにユーザ信用度の生成、更新を実行する実施例について説明する。
図6に示すフローは、本実施例に従った処理シーケンスを説明するフローチャートである。
図6に示すフローは、先に説明した図3に示すフロー中のステップS103とステップS104の処理をステップS111とステップS112に置き換えたフローである。
図6に示すフローは、先に説明した図3に示すフロー中のステップS103とステップS104の処理をステップS111とステップS112に置き換えたフローである。
ステップS101~S102の処理とステップS105の処理は、先に説明した図3のフローと同様の処理となる。
以下、フローの各ステップの処理について、順次、説明する。
以下、フローの各ステップの処理について、順次、説明する。
(ステップS101~S102)
このステップS101~S102の処理は、先に説明した図3のフローと同様の処理であるので簡単に説明する。
まず、ステップS101においてユーザ登録処理を実行する。
次に、ステップS102において、ユーザに対する監視処理が開始される。
このステップS101~S102の処理は、先に説明した図3のフローと同様の処理であるので簡単に説明する。
まず、ステップS101においてユーザ登録処理を実行する。
次に、ステップS102において、ユーザに対する監視処理が開始される。
(ステップS111)
次に、ステップS111において、ユーザまたは監視依頼者に対する通知が必要なユーザ行為(要通知行為)が検出されたか否かを判定する。
このステップS111の処理は、図2てに示す管理サーバ20のユーザ行為(接触、侵入、持ち出し等)検出部35において実行される。
ユーザまたは監視依頼者に対する通知が必要なユーザ行為は、図2に示す管理サーバ20の記憶部23に格納されている。
次に、ステップS111において、ユーザまたは監視依頼者に対する通知が必要なユーザ行為(要通知行為)が検出されたか否かを判定する。
このステップS111の処理は、図2てに示す管理サーバ20のユーザ行為(接触、侵入、持ち出し等)検出部35において実行される。
ユーザまたは監視依頼者に対する通知が必要なユーザ行為は、図2に示す管理サーバ20の記憶部23に格納されている。
ステップS111において、要通知行為が検出された場合はステップS112に進む。
一方、ユーザによる違反行為が検出されなかった場合はステップS105に進む。
一方、ユーザによる違反行為が検出されなかった場合はステップS105に進む。
(ステップS112)
ステップS111において、要通知行為が検出された場合はステップS112に進む。
ステップS112では、フローに示すように以下の3つの処理を実行する。
(S112a)ユーザに対する通知処理
(S112b)ユーザ信用情報の更新処理
(S112c)監視依頼者への通知処理
ステップS111において、要通知行為が検出された場合はステップS112に進む。
ステップS112では、フローに示すように以下の3つの処理を実行する。
(S112a)ユーザに対する通知処理
(S112b)ユーザ信用情報の更新処理
(S112c)監視依頼者への通知処理
これらの処理は、管理サーバ20の警報通知出力制御部36と、信用情報生成更新部37において実行される。
管理サーバ20の警報通知出力制御部36と、信用情報生成更新部37において実行する処理の具体例について、図7を参照して説明する。
管理サーバ20の警報通知出力制御部36と、信用情報生成更新部37において実行する処理の具体例について、図7を参照して説明する。
図7には、以下の各データの対応表を示している。
(A)検出したユーザ行為
(B)ユーザ、監視依頼者に対する通知
(C)ユーザ信用情報更新例
(C1)ユーザ信用度クラス判定
(C2)ユーザ信用情報(1.0~0.0)更新例
(A)検出したユーザ行為
(B)ユーザ、監視依頼者に対する通知
(C)ユーザ信用情報更新例
(C1)ユーザ信用度クラス判定
(C2)ユーザ信用情報(1.0~0.0)更新例
「(A)検出したユーザ行為」には、監視装置10のカメラ等によって検出されるユーザの行為の例を示している。
この「(A)検出したユーザ行為」は、ユーザ、または監視依頼者に対して通知を行うことが規定された行為である。これらの行為は管理サーバ20の記憶部23に「要通知行為」として予め登録されている。
この「(A)検出したユーザ行為」は、ユーザ、または監視依頼者に対して通知を行うことが規定された行為である。これらの行為は管理サーバ20の記憶部23に「要通知行為」として予め登録されている。
「(B)ユーザ、監視依頼者に対する通知」には、検出されたユーザ行為に応じて管理サーバ20の警報通知出力制御部36が実行するユーザまたは監視依頼者に対して実行する通知の例、具体的にはユーザ端末50、または監視依頼者端末40に対して実行する通知の例を示している。
警報通知出力制御部36はユーザ行為が、記憶部23に登録された「要通知行為」である場合、各ユーザ行為に応じて、(B)に示す通知を実行する。
警報通知出力制御部36はユーザ行為が、記憶部23に登録された「要通知行為」である場合、各ユーザ行為に応じて、(B)に示す通知を実行する。
「(C)ユーザ信用情報更新例」には、検出されたユーザ行為に応じて管理サーバ20の信用情報生成更新部37が実行する信用情報の更新例を示している。
「(C)ユーザ信用情報更新例」には、(C1)ユーザ信用度クラス判定と、(C2)ユーザ信用情報(1.0~0.0)更新例を示している。
「(C1)ユーザ信用度クラス判定」は、検出されたユーザ行為のクラス判定結果である。
「(C)ユーザ信用情報更新例」には、(C1)ユーザ信用度クラス判定と、(C2)ユーザ信用情報(1.0~0.0)更新例を示している。
「(C1)ユーザ信用度クラス判定」は、検出されたユーザ行為のクラス判定結果である。
管理サーバ20の信用情報生成更新部37は、検出したユーザ行為のクラスを「善意」、「通常」、「悪意」の3つのクラスに分類する。
信用情報生成更新部37は、「善意」クラスに分類されるユーザ行為が検出された場合、「(C2)ユーザ信用情報(1.0~0.0)」を上昇させる信用情報更新処理を実行する。
「悪意」クラスに分類されるユーザ行為が検出された場合、「(C2)ユーザ信用情報(1.0~0.0)」を低下させる信用情報更新処理を実行する。
「通常」クラスに分類されるユーザ行為が検出された場合は、「(C2)ユーザ信用情報(1.0~0.0)」の変更は行わない。
信用情報生成更新部37は、「善意」クラスに分類されるユーザ行為が検出された場合、「(C2)ユーザ信用情報(1.0~0.0)」を上昇させる信用情報更新処理を実行する。
「悪意」クラスに分類されるユーザ行為が検出された場合、「(C2)ユーザ信用情報(1.0~0.0)」を低下させる信用情報更新処理を実行する。
「通常」クラスに分類されるユーザ行為が検出された場合は、「(C2)ユーザ信用情報(1.0~0.0)」の変更は行わない。
このように管理サーバ20は、様々なユーザ行為について、ユーザ端末50、監視依頼者端末40に対する通知処理を行うとともに、ユーザ行為を3つのクラス「善意」、「通常」、「悪意」のクラスに分類し、クラスに応じて信用情報のアップダウン処理を実行して信用情報更新処理を行う。
ステップS112の処理の後、ステップS102に戻り、ユーザの監視処理を継続する。
ステップS112の処理の後、ステップS102に戻り、ユーザの監視処理を継続する。
(ステップS105)
ステップS105は、ユーザが監視領域から退出したか否かを判定する処理である。
ユーザが監視領域から退出した場合は処理を終了する。ユーザが監視領域から退出していない場合は、ステップS102に戻り、ユーザの監視を継続する。
ステップS105は、ユーザが監視領域から退出したか否かを判定する処理である。
ユーザが監視領域から退出した場合は処理を終了する。ユーザが監視領域から退出していない場合は、ステップS102に戻り、ユーザの監視を継続する。
[5.(実施例3)ユーザへの通知に対するユーザからのフィードバック応答を許容した実施例について]
次に、実施例3として、ユーザへの通知に対するユーザからのフィードバック応答を許容した実施例について説明する。
次に、実施例3として、ユーザへの通知に対するユーザからのフィードバック応答を許容した実施例について説明する。
図8に示すフローは、本実施例に従った処理シーケンスを説明するフローチャートである。
図8に示すフローのステップS101~S105の処理は、先に説明した図3のフローと同様の処理となる。
本実施例では、ステップS104aにおけるユーザに対する警告通知の後にステップS121~S122を追加したシーケンスとなる。
図8に示すフローのステップS101~S105の処理は、先に説明した図3のフローと同様の処理となる。
本実施例では、ステップS104aにおけるユーザに対する警告通知の後にステップS121~S122を追加したシーケンスとなる。
以下、このステップS121~S122の処理を中心として説明する。
(ステップS101~S103)
このステップS101~S103の処理は、先に説明した図3のフローと同様の処理であるので簡単に説明する。
(ステップS101~S103)
このステップS101~S103の処理は、先に説明した図3のフローと同様の処理であるので簡単に説明する。
まず、ステップS101においてユーザ登録処理を実行する。
次に、ステップS102において、ユーザに対する監視処理が開始される。
次に、ステップS103において、ユーザによる違反行為が検出されたか否かを判定する。
ステップS103において、ユーザによる違反行為が検出された場合はステップS104に進む。
一方、ユーザによる違反行為が検出されなかった場合はステップS105に進む。
次に、ステップS102において、ユーザに対する監視処理が開始される。
次に、ステップS103において、ユーザによる違反行為が検出されたか否かを判定する。
ステップS103において、ユーザによる違反行為が検出された場合はステップS104に進む。
一方、ユーザによる違反行為が検出されなかった場合はステップS105に進む。
(ステップS104)
ステップS103において、ユーザによる違反行為が検出された場合はステップS104に進む。
ステップS104では、フローに示すように以下の3つの処理を実行する。
(S104a)ユーザに対する警告出力
(S104b)ユーザ信用情報の更新処理
(S104c)監視依頼者への通知処理
これらの処理は、図3を参照して説明した処理と同様の処理である。
ステップS103において、ユーザによる違反行為が検出された場合はステップS104に進む。
ステップS104では、フローに示すように以下の3つの処理を実行する。
(S104a)ユーザに対する警告出力
(S104b)ユーザ信用情報の更新処理
(S104c)監視依頼者への通知処理
これらの処理は、図3を参照して説明した処理と同様の処理である。
(ステップS121)
本実施例では、ステップS104aにおけるユーザに対する警告出力の後に、ステップS121~S122の処理を実行する。
本実施例では、ステップS104aにおけるユーザに対する警告出力の後に、ステップS121~S122の処理を実行する。
まず、ステップS121において、管理サーバ20はユーザからのフィードバック応答の有無を判定する。
ユーザからのフィードバック応答があった場合は、ステップS122に進む。
ユーザからのフィードバック応答がなかった場合は、ステップS102に戻り監視処理を継続する。
ユーザからのフィードバック応答があった場合は、ステップS122に進む。
ユーザからのフィードバック応答がなかった場合は、ステップS102に戻り監視処理を継続する。
ユーザからのフィードバック応答は、ユーザ70が保持するユーザ端末50を利用して実行され、ユーザ端末50から管理サーバ20に送信される。
図9にユーザ端末50に表示されるフィードバック応答用表示データの例を示す。
図9にユーザ端末50に表示されるフィードバック応答用表示データの例を示す。
図9に示す例は、侵入禁止領域である会議室に侵入しようとしたユーザを検出し、その警告メッセージを出力した後に表示されるフィードバック応答用表示データの例である。
ユーザ端末50の表示部に、ユーザが侵入禁止領域である会議室に侵入しようとしていることを示すカメラの撮影画像と、画像撮影時刻情報に併せて、フィードバック応答用画面領域として、以下の2つのフィードバック応答を可能とした画面が表示される。
「この人物は私ではありません」
「会議室には入っていません」
ユーザは、これらのいずれかを選択して送信処理を行うことができる。
送信データはユーザ端末50から管理サーバ20に送信される。
ユーザ端末50の表示部に、ユーザが侵入禁止領域である会議室に侵入しようとしていることを示すカメラの撮影画像と、画像撮影時刻情報に併せて、フィードバック応答用画面領域として、以下の2つのフィードバック応答を可能とした画面が表示される。
「この人物は私ではありません」
「会議室には入っていません」
ユーザは、これらのいずれかを選択して送信処理を行うことができる。
送信データはユーザ端末50から管理サーバ20に送信される。
図10に、フィードバック応答用表示データの別の例を示す。
図10に示す例も図9に示す例と同様、侵入禁止領域である会議室に侵入しようとしたユーザを検出し、その警告メッセージを出力した後に表示されるフィードバック応答用表示データの例である。
ユーザ端末50の表示部に、ユーザが侵入禁止領域である会議室に侵入しようとしていることを示すカメラの撮影画像と、画像撮影時刻情報に併せて、フィードバック応答用画面領域に以下の説明文が表示される。
「本日19:50にお客様の会議室のご利用が検知されました。お客様はデイタイム会員のため夜間の会議室のご利用はできません。もし会議室をご利用されていない場合はお手数ですが下記「問題(誤検知)の報告」を選択して送信してください」
ユーザは、「問題(誤検知)の報告」を選択して送信処理を行うことができる。
送信データはユーザ端末50から管理サーバ20に送信される。
図10に示す例も図9に示す例と同様、侵入禁止領域である会議室に侵入しようとしたユーザを検出し、その警告メッセージを出力した後に表示されるフィードバック応答用表示データの例である。
ユーザ端末50の表示部に、ユーザが侵入禁止領域である会議室に侵入しようとしていることを示すカメラの撮影画像と、画像撮影時刻情報に併せて、フィードバック応答用画面領域に以下の説明文が表示される。
「本日19:50にお客様の会議室のご利用が検知されました。お客様はデイタイム会員のため夜間の会議室のご利用はできません。もし会議室をご利用されていない場合はお手数ですが下記「問題(誤検知)の報告」を選択して送信してください」
ユーザは、「問題(誤検知)の報告」を選択して送信処理を行うことができる。
送信データはユーザ端末50から管理サーバ20に送信される。
このように管理サーバ20は、様々の形式のフィードバック応答用表示データを生成してユーザ端末50に表示する。
ユーザは、管理サーバ20が提供するフィードバック応答用表示データを利用して管理サーバ20に対するフィードバック応答を行うことができる。
ユーザは、管理サーバ20が提供するフィードバック応答用表示データを利用して管理サーバ20に対するフィードバック応答を行うことができる。
(ステップS122)
ステップS121においてユーザからのフィードバック応答を受信した管理サーバ20は、ステップS122において、監視装置のメンテナンスや、監視依頼者へのフィードバック応答の通知処理、さらにユーザ信用情報の更新訂正処理等を実行する。
ステップS121においてユーザからのフィードバック応答を受信した管理サーバ20は、ステップS122において、監視装置のメンテナンスや、監視依頼者へのフィードバック応答の通知処理、さらにユーザ信用情報の更新訂正処理等を実行する。
監視装置のメンテナンスは誤検出の原因を解析して、誤検出の原因となったセンサの設定変更等の処理である。
監視依頼者へのフィードバック応答の通知処理は、ユーザに対して誤った警告通知が実行されてしまったことを通知する処理である。
ユーザ信用情報の更新訂正処理は、ステップS104bにおけるユーザ信用情報の更新を元に戻す処理等、誤検出であったユーザ違反行為に従って更新された信用情報を元に戻す処理である。
監視依頼者へのフィードバック応答の通知処理は、ユーザに対して誤った警告通知が実行されてしまったことを通知する処理である。
ユーザ信用情報の更新訂正処理は、ステップS104bにおけるユーザ信用情報の更新を元に戻す処理等、誤検出であったユーザ違反行為に従って更新された信用情報を元に戻す処理である。
ステップS122の処理の後、ステップS102に戻り、ユーザの監視処理を継続する。
(ステップS105)
ステップS105は、ユーザが監視領域から退出したか否かを判定する処理である。
ユーザが監視領域から退出した場合は処理を終了する。ユーザが監視領域から退出していない場合は、ステップS102に戻り、ユーザの監視を継続する。
ステップS105は、ユーザが監視領域から退出したか否かを判定する処理である。
ユーザが監視領域から退出した場合は処理を終了する。ユーザが監視領域から退出していない場合は、ステップS102に戻り、ユーザの監視を継続する。
[6.具体的な処理例のシーケンスについて]
次に、本開示の処理の具体的な処理例の複数の処理シーケンスについて説明する。
以下の各処理例について説明する。
(処理例1)立ち入りが許可されるユーザと時間に制限のある領域への侵入監視処理を行う処理例
(処理例2)持ち出し許容時間の設定された物品(書籍)のユーザによる持ち出し処理の監視処理例
(処理例3)処理例2において、さらに、ユーザ行為に基づくユーザ信用度クラスを設定する処理例
次に、本開示の処理の具体的な処理例の複数の処理シーケンスについて説明する。
以下の各処理例について説明する。
(処理例1)立ち入りが許可されるユーザと時間に制限のある領域への侵入監視処理を行う処理例
(処理例2)持ち出し許容時間の設定された物品(書籍)のユーザによる持ち出し処理の監視処理例
(処理例3)処理例2において、さらに、ユーザ行為に基づくユーザ信用度クラスを設定する処理例
[6-1.(処理例1)立ち入りが許可されるユーザと時間に制限のある領域への侵入監視処理を行う処理例]
まず、具体的処理例1として、立ち入りが許可されるユーザと時間に制限のある領域への侵入監視処理を行う処理例について説明する。
まず、具体的処理例1として、立ち入りが許可されるユーザと時間に制限のある領域への侵入監視処理を行う処理例について説明する。
図11に示すフローチャートは、この処理例1の処理シーケンスを説明するフローチャートである。
なお、図11に示すフローには、監視装置10、管理サーバ20、ユーザ端末50の実行する処理をそれぞれ示している。
処理はステップS201~S209の順に実行される。
以下、各ステップの処理について、順次、説明する。
なお、図11に示すフローには、監視装置10、管理サーバ20、ユーザ端末50の実行する処理をそれぞれ示している。
処理はステップS201~S209の順に実行される。
以下、各ステップの処理について、順次、説明する。
(ステップS201)
まず、監視装置10がステップS201において、カメラによる撮影画像を取得して管理サーバ20に送信する。
まず、監視装置10がステップS201において、カメラによる撮影画像を取得して管理サーバ20に送信する。
(ステップS202)
次に、管理サーバ20は、ステップS202において、監視装置10から受信したカメラ撮影画像を解析し、ユーザが立ち入り制限エリアaに近づいているか否かを判定する。
近づいていることが確認された場合は、ステップS203に進む。確認されない場合はステップS202の処理、すなわち監視装置10から順次、入力するカメラ撮影画像の解析を続けて実行する。
次に、管理サーバ20は、ステップS202において、監視装置10から受信したカメラ撮影画像を解析し、ユーザが立ち入り制限エリアaに近づいているか否かを判定する。
近づいていることが確認された場合は、ステップS203に進む。確認されない場合はステップS202の処理、すなわち監視装置10から順次、入力するカメラ撮影画像の解析を続けて実行する。
(ステップS203)
管理サーバ20が、監視装置10から受信したカメラ撮影画像の解析によってあるユーザが立ち入り制限エリアaに近づいていると判定した場合、ステップS203において、そのユーザのユーザ識別処理を実行する。
例えばカメラ撮影画像に含まれる顔画像と、予め管理サーバ20の記憶部23に格納された登録ユーザの顔画像との照合処理を実行して、ユーザ識別を行う。
管理サーバ20が、監視装置10から受信したカメラ撮影画像の解析によってあるユーザが立ち入り制限エリアaに近づいていると判定した場合、ステップS203において、そのユーザのユーザ識別処理を実行する。
例えばカメラ撮影画像に含まれる顔画像と、予め管理サーバ20の記憶部23に格納された登録ユーザの顔画像との照合処理を実行して、ユーザ識別を行う。
(ステップS204)
次に、管理サーバ20は、ステップS204において、識別されたユーザは、エリアaにいつでも立ち入ることが許可された「フルタイム立ち入り許可ユーザ」であるか否かを判定する。
なお、ユーザの各エリアに対する立ち入り許可情報は、管理サーバ20の記憶部23にユーザ管理情報として記録済みである。
管理サーバ20は、この記憶部23に格納されたユーザ管理情報を参照して、識別されたユーザが「フルタイム立ち入り許可ユーザ」であるか否かを判定する。
次に、管理サーバ20は、ステップS204において、識別されたユーザは、エリアaにいつでも立ち入ることが許可された「フルタイム立ち入り許可ユーザ」であるか否かを判定する。
なお、ユーザの各エリアに対する立ち入り許可情報は、管理サーバ20の記憶部23にユーザ管理情報として記録済みである。
管理サーバ20は、この記憶部23に格納されたユーザ管理情報を参照して、識別されたユーザが「フルタイム立ち入り許可ユーザ」であるか否かを判定する。
識別されたユーザが「フルタイム立ち入り許可ユーザ」であることが確認された場合は、ステップS205に進む。
一方、識別されたユーザが「フルタイム立ち入り許可ユーザ」でないことが確認された場合は、ステップS206に進む。
一方、識別されたユーザが「フルタイム立ち入り許可ユーザ」でないことが確認された場合は、ステップS206に進む。
(ステップS205)
ステップS204の判定処理において、識別されたユーザが「フルタイム立ち入り許可ユーザ」であることが確認された場合は、ステップS205に進む。
ステップS205では、管理サーバ20は、ユーザに警告を出力することなく、ヤーザのエリアaへの侵入を許可する。
ステップS204の判定処理において、識別されたユーザが「フルタイム立ち入り許可ユーザ」であることが確認された場合は、ステップS205に進む。
ステップS205では、管理サーバ20は、ユーザに警告を出力することなく、ヤーザのエリアaへの侵入を許可する。
(ステップS206)
一方、ステップS204の判定処理において、識別されたユーザが「フルタイム立ち入り許可ユーザ」でないことが確認された場合は、ステップS206に進む。
ステップS206では、管理サーバ20は、識別されたユーザが、エリアaに特定の時間帯のみ立ち入ることが許可された「時間制限立ち入り許可ユーザ」であるか否かを判定する。
一方、ステップS204の判定処理において、識別されたユーザが「フルタイム立ち入り許可ユーザ」でないことが確認された場合は、ステップS206に進む。
ステップS206では、管理サーバ20は、識別されたユーザが、エリアaに特定の時間帯のみ立ち入ることが許可された「時間制限立ち入り許可ユーザ」であるか否かを判定する。
なお、この情報も記憶部23に記録されており、管理サーバ20は、この記憶部23に格納された情報を参照して、識別されたユーザが「時間制限立ち入り許可ユーザ」であるか否かを判定する。
識別されたユーザが「時間制限立ち入り許可ユーザ」であることが確認された場合は、ステップS207に進む。
一方、識別されたユーザが「時間制限立ち入り許可ユーザ」でないことが確認された場合は、ステップS208に進む。
一方、識別されたユーザが「時間制限立ち入り許可ユーザ」でないことが確認された場合は、ステップS208に進む。
(ステップS207)
ステップS206の判定処理において、識別されたユーザが「時間制限立ち入り許可ユーザ」であることが確認された場合は、ステップS207に進む。
ステップS207では、管理サーバ20は、現在時刻が、識別されたユーザのエリアaへの立ち入り許可時間内であるか否かを判定する。
立ち入り許可時間内であることが確認された場合は、ステップS205に進む。
一方、立ち入り許可時間外であることが確認された場合は、ステップS208に進む。
ステップS206の判定処理において、識別されたユーザが「時間制限立ち入り許可ユーザ」であることが確認された場合は、ステップS207に進む。
ステップS207では、管理サーバ20は、現在時刻が、識別されたユーザのエリアaへの立ち入り許可時間内であるか否かを判定する。
立ち入り許可時間内であることが確認された場合は、ステップS205に進む。
一方、立ち入り許可時間外であることが確認された場合は、ステップS208に進む。
ステップS207で、現在時刻が立ち入り許可時間内であることが確認された場合は、ステップS205に進み、管理サーバ20は、ユーザに警告を出力することなく、ヤーザのエリアaへの侵入を許可する。
(ステップS208)
ステップS206において、識別されたユーザが「時間制限立ち入り許可ユーザ」でないことが確認された場合、または、ステップS207において、現在時刻が識別ユーザの立ち入り許可時間外であることが確認された場合は、ステップS208に進む。
これらの場合、管理サーバ20は、ステップS208において、ユーザに対して、エリアaへの侵入が禁止されていることを通知する警告出力を実行する。
ステップS206において、識別されたユーザが「時間制限立ち入り許可ユーザ」でないことが確認された場合、または、ステップS207において、現在時刻が識別ユーザの立ち入り許可時間外であることが確認された場合は、ステップS208に進む。
これらの場合、管理サーバ20は、ステップS208において、ユーザに対して、エリアaへの侵入が禁止されていることを通知する警告出力を実行する。
(ステップS209a,b)
ステップS209a,bは、ステップS208における管理サーバ20による警告出力の結果として実行される処理である。
ステップS209aは、ユーザ端末50における警告出力処理である。ユーザ端末50のスピーカを介した音声警報の出力、または振動による警報、あるいは画面にメッセージを表示する等の警告を行う。
また、ステップS209bは、監視装置10の設備であるスピーカを介する音声警報の出力である。
なお、これらの出力の少なくともいずれかを実行すればよい。
ステップS209a,bは、ステップS208における管理サーバ20による警告出力の結果として実行される処理である。
ステップS209aは、ユーザ端末50における警告出力処理である。ユーザ端末50のスピーカを介した音声警報の出力、または振動による警報、あるいは画面にメッセージを表示する等の警告を行う。
また、ステップS209bは、監視装置10の設備であるスピーカを介する音声警報の出力である。
なお、これらの出力の少なくともいずれかを実行すればよい。
これらいずれかの警報を確認したユーザはエリアaへの侵入が禁止されていることを察知して、侵入を中止することになる。
[6-2.(処理例2)持ち出し許容時間の設定された物品(書籍)のユーザによる持ち出し処理の監視処理例]
次に、具体的処理例2として、持ち出し許容時間の設定された物品(書籍)のユーザによる持ち出し処理の監視処理例について説明する。
次に、具体的処理例2として、持ち出し許容時間の設定された物品(書籍)のユーザによる持ち出し処理の監視処理例について説明する。
図12に示すフローチャートは、この処理例2の処理シーケンスを説明するフローチャートである。
なお、図12に示すフローにも、図11のフローと同様、監視装置10、管理サーバ20、ユーザ端末50の実行する処理をそれぞれ示している。
処理はステップS301~S306の順に実行される。
以下、各ステップの処理について、順次、説明する。
なお、図12に示すフローにも、図11のフローと同様、監視装置10、管理サーバ20、ユーザ端末50の実行する処理をそれぞれ示している。
処理はステップS301~S306の順に実行される。
以下、各ステップの処理について、順次、説明する。
(ステップS301)
まず、監視装置10がステップS301において、カメラによる撮影画像を取得して管理サーバ20に送信する。
まず、監視装置10がステップS301において、カメラによる撮影画像を取得して管理サーバ20に送信する。
(ステップS302)
次に、管理サーバ20は、ステップS302において、監視装置10から受信したカメラ撮影画像を解析し、ユーザによる書籍持ち出しが検出されたか否かを判定する。
なお、この書籍は、持ち出し制限時間(例えば2時間)が設定された書籍であるとする。書籍他の物品の利用制限情報は管理サーバ20の記憶部23に登録されている。
次に、管理サーバ20は、ステップS302において、監視装置10から受信したカメラ撮影画像を解析し、ユーザによる書籍持ち出しが検出されたか否かを判定する。
なお、この書籍は、持ち出し制限時間(例えば2時間)が設定された書籍であるとする。書籍他の物品の利用制限情報は管理サーバ20の記憶部23に登録されている。
ユーザによる書籍持ち出しが検出された場合は、ステップS303に進む。検出されない場合はステップS302の処理、すなわち監視装置10から順次、入力するカメラ撮影画像の解析を続けて実行する。
(ステップS303)
管理サーバ20が、監視装置10から受信したカメラ撮影画像に基づいてユーザによる書籍持ち出しが確認された場合、ステップS303において、ユーザによる書籍持ち出し後の経過時間の計測を開始する。
管理サーバ20が、監視装置10から受信したカメラ撮影画像に基づいてユーザによる書籍持ち出しが確認された場合、ステップS303において、ユーザによる書籍持ち出し後の経過時間の計測を開始する。
(ステップS304)
次に、管理サーバ20は、ステップS304において、ユーザが予め規定された持ち出し制限時間(例えば2時間)内に書籍を返却したか否かを判定する。この判定処理は、監視装置10から受信する画像に基づいて実行する。
次に、管理サーバ20は、ステップS304において、ユーザが予め規定された持ち出し制限時間(例えば2時間)内に書籍を返却したか否かを判定する。この判定処理は、監視装置10から受信する画像に基づいて実行する。
ユーザが予め規定された持ち出し制限時間(例えば2時間)内に書籍を返却したことが確認された場合は、ステップS302に戻り、監視装置10からの入力画像に基づく監視を継続する。
一方、ユーザが予め規定された持ち出し制限時間(例えば2時間)内に書籍を返却したことが確認されなかった場合は、ステップS305に進む。
一方、ユーザが予め規定された持ち出し制限時間(例えば2時間)内に書籍を返却したことが確認されなかった場合は、ステップS305に進む。
(ステップS305)
ステップS304において、ユーザが予め規定された持ち出し制限時間(例えば2時間)内に書籍を返却したことが確認されなかった場合は、ステップS305に進む。
この場合、管理サーバ20は、ステップS305において、ユーザに対して、書籍返却を促す警告出力を実行する。
ステップS304において、ユーザが予め規定された持ち出し制限時間(例えば2時間)内に書籍を返却したことが確認されなかった場合は、ステップS305に進む。
この場合、管理サーバ20は、ステップS305において、ユーザに対して、書籍返却を促す警告出力を実行する。
(ステップS306a,b)
ステップS306a,bは、ステップS305における管理サーバ20による警告出力の結果として実行される処理である。
ステップS306aは、ユーザ端末50における警告出力処理である。ユーザ端末50のスピーカを介した音声警報の出力、または振動による警報、あるいは画面にメッセージを表示する等の警告を行う。
また、ステップS306bは、監視装置10の設備であるスピーカを介する音声警報の出力である。
なお、これらの出力の少なくともいずれかを実行すればよい。
ステップS306a,bは、ステップS305における管理サーバ20による警告出力の結果として実行される処理である。
ステップS306aは、ユーザ端末50における警告出力処理である。ユーザ端末50のスピーカを介した音声警報の出力、または振動による警報、あるいは画面にメッセージを表示する等の警告を行う。
また、ステップS306bは、監視装置10の設備であるスピーカを介する音声警報の出力である。
なお、これらの出力の少なくともいずれかを実行すればよい。
これらいずれかの警報を確認したユーザは書籍の持ち出し制限時間の経過を察知して、書籍を返却することになる。
[6-3.(処理例3)処理例2において、さらに、ユーザ行為に基づくユーザ信用度クラスを設定する処理例]
次に、具体的処理例3として、処理例2において、さらに、ユーザ行為に基づくユーザ信用度クラスを設定する処理例について説明する。
次に、具体的処理例3として、処理例2において、さらに、ユーザ行為に基づくユーザ信用度クラスを設定する処理例について説明する。
図13に示すフローチャートは、この処理例3の処理シーケンスを説明するフローチャートである。
なお、図13に示すフローは、図12に示すフローに併せて実行される処理であり、管理サーバ20の実行する処理である。
以下、各ステップの処理について、順次、説明する。
なお、図13に示すフローは、図12に示すフローに併せて実行される処理であり、管理サーバ20の実行する処理である。
以下、各ステップの処理について、順次、説明する。
(ステップS321)
まず、管理サーバ20は、ユーザによる書籍返却が実行されたか否かを判定する。なお、この判定処理は、フローには示していないが、監視装置10から入力する画像に基づいて実行される。
まず、管理サーバ20は、ユーザによる書籍返却が実行されたか否かを判定する。なお、この判定処理は、フローには示していないが、監視装置10から入力する画像に基づいて実行される。
ユーザによる書籍返却が実行されたと判定した場合はステップS322に進む。
一方、ユーザによる書籍返却が実行されていないと判定した場合はステップS326に進む。
一方、ユーザによる書籍返却が実行されていないと判定した場合はステップS326に進む。
(ステップS322)
ステップS321において、ユーザによる書籍返却が実行されたと判定した場合はステップS322に進む。
管理サーバ20はステップS322において、ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知の前であるか否かを判定する。
ステップS321において、ユーザによる書籍返却が実行されたと判定した場合はステップS322に進む。
管理サーバ20はステップS322において、ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知の前であるか否かを判定する。
ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知前の場合は、ステップS323に進む。
一方、ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知の後である場合はステップS324に進む。
一方、ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知の後である場合はステップS324に進む。
(ステップS323)
ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知前の場合は、管理サーバ20は、ステップS323において、ユーザ信用度を「善意クラス」と判定し、記憶部23に格納されたユーザ信用情報の更新処理を行う。すなわち、先に図7を参照して説明したように、ユーザ信用情報(1.0~0.0)のポイントを上昇させるユーザ信用情報更新処理を行う。
ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知前の場合は、管理サーバ20は、ステップS323において、ユーザ信用度を「善意クラス」と判定し、記憶部23に格納されたユーザ信用情報の更新処理を行う。すなわち、先に図7を参照して説明したように、ユーザ信用情報(1.0~0.0)のポイントを上昇させるユーザ信用情報更新処理を行う。
(ステップS324)
一方、ステップS322においてユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知後の場合は、管理サーバ20は、ステップS324において、ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知後、予め規定したしきい値時間(例えば10分)以内であるか否かを判定する。
一方、ステップS322においてユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知後の場合は、管理サーバ20は、ステップS324において、ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知後、予め規定したしきい値時間(例えば10分)以内であるか否かを判定する。
ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知後、予め規定したしきい値時間(例えば10分)以内である場合はステップS325に進む。
一方、しきい値時間(例えば10分)以後である場合はステップS326に進む。
一方、しきい値時間(例えば10分)以後である場合はステップS326に進む。
(ステップS325)
ステップS324において、ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知後、予め規定したしきい値時間(例えば10分)以内である場合は、管理サーバ20は、ステップS325の処理を実行する。
ステップS324において、ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知後、予め規定したしきい値時間(例えば10分)以内である場合は、管理サーバ20は、ステップS325の処理を実行する。
管理サーバ20は、ステップS325において、ユーザ信用度を「通常クラス」と判定する。先に図7を参照して説明したように、この場合、管理サーバ20は、記憶部23に格納されたユーザ信用情報(1.0~0.0)のポイントの変更は行わない。
(ステップS326)
ステップS326の処理は、以下の2つの場合に実行される。
(a)ステップS321において、ユーザによる書籍返却が実行されていないと判定した場合、または、
(b)ステップS324において、ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知後、予め規定したしきい値時間(例えば10分)以後である場合、
これらの場合、管理サーバ20は、ステップS326の処理を実行する。
ステップS326の処理は、以下の2つの場合に実行される。
(a)ステップS321において、ユーザによる書籍返却が実行されていないと判定した場合、または、
(b)ステップS324において、ユーザによる書籍の返却タイミングがユーザに対する返却要求の警告通知後、予め規定したしきい値時間(例えば10分)以後である場合、
これらの場合、管理サーバ20は、ステップS326の処理を実行する。
管理サーバ20は、ステップS326において、ユーザ信用度を「悪意クラス」と判定し、記憶部23に格納されたユーザ信用情報の更新処理を行う。すなわち、先に図7を参照して説明したように、ユーザ信用情報(1.0~0.0)のポイントを低下させるユーザ信用情報更新処理を行う。
[7.ユーザ信用情報の利用について]
上述したように本開示のシステムを利用することで、管理サーバ20は、監視領域を利用するユーザを監視することで、多くのユーザの信用情報を蓄積することができる。
管理サーバ20が生成、更新する多数のユーザの信用情報は、様々な利用価値がある。
以下、管理サーバ20が生成するユーザ信用情報の利用例について説明する。
上述したように本開示のシステムを利用することで、管理サーバ20は、監視領域を利用するユーザを監視することで、多くのユーザの信用情報を蓄積することができる。
管理サーバ20が生成、更新する多数のユーザの信用情報は、様々な利用価値がある。
以下、管理サーバ20が生成するユーザ信用情報の利用例について説明する。
図14は、本開示のシステムにおけるユーザ信用情報の生成と、その利用処理の全体的な構成を説明する図である。
監視装置10は、例えば職場であるコワーキングスペースや民泊、空港、アミューズメントパーク、ショッピングモール等、多数のユーザが利用可能な様々な場所(監視領域)に設定される。
監視装置10は、例えば職場であるコワーキングスペースや民泊、空港、アミューズメントパーク、ショッピングモール等、多数のユーザが利用可能な様々な場所(監視領域)に設定される。
監視装置10のカメラやマイク等のセンサ検出情報は、管理サーバ20に送信され、管理サーバ20は、このセンサ検出情報の解析を行い、監視装置10の備えられた監視領域を利用するユーザの識別を行うとともに、識別されたユーザ各々の行動を監視する。
さらに、管理サーバ20は、この監視処理の結果として、ユーザ各々の信用情報を生成し、逐次更新する。
管理サーバ20の生成したユーザ信用情報は管理サーバ20の記憶部23に蓄積される。
さらに、管理サーバ20は、この監視処理の結果として、ユーザ各々の信用情報を生成し、逐次更新する。
管理サーバ20の生成したユーザ信用情報は管理サーバ20の記憶部23に蓄積される。
図に示すように、管理サーバ20は、記憶部23に格納したユーザ信用情報100を監視依頼者110に提供し、さらに、監視依頼者以外の外部にも提供する。図に示す外部の信用情報利用者120に提供する。
図に示すように、外部の信用情報利用者120とは、例えば、以下のような様々な会社、組織等である。
(1)カーシェアリングサービス提供会社
(2)保険会社
(3)クレジットカード会社
(4)銀行
(5)不動産
これらの会社、組織は、個人とのと取引を実行する際、その個人が信用できるか否かを確認することが必要となる。
この確認のための情報として、管理サーバ20の生成した信用情報100が利用可能となる。
(1)カーシェアリングサービス提供会社
(2)保険会社
(3)クレジットカード会社
(4)銀行
(5)不動産
これらの会社、組織は、個人とのと取引を実行する際、その個人が信用できるか否かを確認することが必要となる。
この確認のための情報として、管理サーバ20の生成した信用情報100が利用可能となる。
なお、管理サーバ20が生成したユーザ信用情報は、管理サーバ20の解析処理により様々な項目(信用情報項目)単位の信用情報に区分されてとまとめられる。
管理サーバ20は、各信用情報利用者の要求する項目対応の信用情報を提供する。あるいは複数項目に基づく1つの信用情報を算出して提供する構成としてもよい。
管理サーバ20は、各信用情報利用者の要求する項目対応の信用情報を提供する。あるいは複数項目に基づく1つの信用情報を算出して提供する構成としてもよい。
図15を参照して、管理サーバ20が実行する信用情報の解析に基づいて設定する信用情報項目の例について説明する。
図15には、以下の信用情報項目を示している。
(1)盗難
(2)危害
(3)時間
(4)支払
(5)衛生
(6)コミュニケーション
(7)規則の順守
図15には、以下の信用情報項目を示している。
(1)盗難
(2)危害
(3)時間
(4)支払
(5)衛生
(6)コミュニケーション
(7)規則の順守
管理サーバ20は、監視装置10のセンサ(カメラ等)検出情報に基づく解析によって、上記の各項目単位で各ユーザの信用情報(1.0~0.0)を算出する。
例えば、(1)盗難については、例えばユーザが共有物や備品を盗んだ/盗もうとしたことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
(2)危害については、例えばユーザが他の利用者や施設内の什器に危害を加えた/加えようとしたことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
(3)時間については、例えばユーザが施設の利用時間を守らなかったことがあるか(例:利用可能な時間を過ぎているのに退出しない)共有物の返却時間を守らなかったことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
例えば、(1)盗難については、例えばユーザが共有物や備品を盗んだ/盗もうとしたことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
(2)危害については、例えばユーザが他の利用者や施設内の什器に危害を加えた/加えようとしたことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
(3)時間については、例えばユーザが施設の利用時間を守らなかったことがあるか(例:利用可能な時間を過ぎているのに退出しない)共有物の返却時間を守らなかったことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
(4)支払については、例えばユーザが期限までに支払がされなかったことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
(5)衛生については、例えばユーザが施設や共有物を汚したことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
(6)コミュニケーションについては、例えばユーザが他の利用者やスタッフに対して,乱暴な言葉使いをしたことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
(7)規則の順守については、例えばユーザが自由に関を選択可能なコワーキングスペースのフリーアドレスエリアで2箇所以上の場所取りをしたことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
(5)衛生については、例えばユーザが施設や共有物を汚したことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
(6)コミュニケーションについては、例えばユーザが他の利用者やスタッフに対して,乱暴な言葉使いをしたことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
(7)規則の順守については、例えばユーザが自由に関を選択可能なコワーキングスペースのフリーアドレスエリアで2箇所以上の場所取りをしたことがあるかをセンサ検出情報に基づいて解析して、解析結果に基づいてユーザの信用情報の算出や更新処理を実行する。
図16は、これらの解析の結果として、管理サーバ20が生成するユーザ単位、かつ信用情報項目単位の信用情報算出データの例である。
例えば、ユーザ1(User1)の信用情報は、
(b1)盗難=1.0
(b2)危害=1.0
(b3)時間=1.0
(b4)支払=1.0
(b5)コミュニケーション=1.0
:
であり、すべての信用情報項目において、最高信用度(1.0)であり、信用度の高いユーザであると判定することができる。
例えば、ユーザ1(User1)の信用情報は、
(b1)盗難=1.0
(b2)危害=1.0
(b3)時間=1.0
(b4)支払=1.0
(b5)コミュニケーション=1.0
:
であり、すべての信用情報項目において、最高信用度(1.0)であり、信用度の高いユーザであると判定することができる。
一方、ユーザ5(User5)の信用情報は、
(b1)盗難=0.5
(b2)危害=0.3
(b3)時間=0.5
(b4)支払=0.5
(b5)コミュニケーション=0.3
:
であり、すべての信用情報項目において、信用度が低く、信用度の低いユーザであると判定することができる。
(b1)盗難=0.5
(b2)危害=0.3
(b3)時間=0.5
(b4)支払=0.5
(b5)コミュニケーション=0.3
:
であり、すべての信用情報項目において、信用度が低く、信用度の低いユーザであると判定することができる。
管理サーバ20は、これらのユーザ単位、かつ信用情報項目単位の信用情報を信用情報利用者に提供する。
なお、先に図14を参照して説明したように、信用情報利用者には、銀行、民泊、不動産会社、カーシェアリングサービス等、様々な業種の会社、個人、組織が含まれる。これらの信用情報利用者の種類によって必要となる信用情報項目は異なる。
従って、管理サーバ20は、各利用者の要求に応じた信用情報項目に対応するデータを提供する処理を行う。
なお、先に図14を参照して説明したように、信用情報利用者には、銀行、民泊、不動産会社、カーシェアリングサービス等、様々な業種の会社、個人、組織が含まれる。これらの信用情報利用者の種類によって必要となる信用情報項目は異なる。
従って、管理サーバ20は、各利用者の要求に応じた信用情報項目に対応するデータを提供する処理を行う。
図17を参照して信用情報利用者に応じた信用情報項目の選択提供例について説明する。図17には、
(A)信用情報利用者
(B)提供する信用情報項目
これらの対応データの一例を示している。
(A)信用情報利用者
(B)提供する信用情報項目
これらの対応データの一例を示している。
例えば(1)コワーキングスペースや(2)民泊、(3)空港を管理する会社、個人、組織に対しては、(b)盗難、(b2)危害、(b3)時間、(b4)支払、(b5)衛生、(b6)コミュニケーション、これら全ての項目対応のユーザ個別の信用情報を提供する。
一方、(4)アミューズメントパーク、(5)ショッピングモールを管理する会社、個人、組織に対しては、(b)盗難、(b2)危害、(b4)支払、(b5)衛生、(b6)コミュニケーション、これらの項目対応のユーザ個別の信用情報を提供する。
一方、(4)アミューズメントパーク、(5)ショッピングモールを管理する会社、個人、組織に対しては、(b)盗難、(b2)危害、(b4)支払、(b5)衛生、(b6)コミュニケーション、これらの項目対応のユーザ個別の信用情報を提供する。
また(8)クレジットカード会社、銀行に対しては、(b4)支払項目対応のユーザ個別の信用情報のみを提供する。
このように、管理サーバ20は、各利用者の要求に応じた信用情報項目に対応するデータを提供する処理を行う。
このように、管理サーバ20は、各利用者の要求に応じた信用情報項目に対応するデータを提供する処理を行う。
管理サーバ20から信用情報の提供を受けた会社、個人、組織は、信用度が不明な個人とのと取引を実行する際に、その個人が信用できるか否かを、管理サーバ20から受領した信用情報を用いて確認することが可能となる。
[8.情報処理装置のハードウェア構成例について]
次に、図18を参照して本開示の情報処理システムを構成する装置である監視装置10、管理サーバ20、監視依頼者端末40、ユーザ端末50のハードウェア構成例について説明する。
図18を参照して説明するハードウェアは、監視装置10、管理サーバ20、監視依頼者端末40、ユーザ端末50として利用可能なハードウェアの一例を示すものであり、各装置は、図18に示す構成と同一であることは必須ではない。
次に、図18を参照して本開示の情報処理システムを構成する装置である監視装置10、管理サーバ20、監視依頼者端末40、ユーザ端末50のハードウェア構成例について説明する。
図18を参照して説明するハードウェアは、監視装置10、管理サーバ20、監視依頼者端末40、ユーザ端末50として利用可能なハードウェアの一例を示すものであり、各装置は、図18に示す構成と同一であることは必須ではない。
図18に示すハードウェア構成の各要素について説明する。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロホンなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
[9.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記データ処理部は、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、警告の通知を行う情報処理装置。
(1) センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記データ処理部は、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、警告の通知を行う情報処理装置。
(2) 前記データ処理部は、
ユーザの所有するユーザ端末に対する警告通知、またはユーザの周囲のスピーカを介する警告通知の少なくともいずれかの処理を実行する(1)に記載の情報処理装置。
ユーザの所有するユーザ端末に対する警告通知、またはユーザの周囲のスピーカを介する警告通知の少なくともいずれかの処理を実行する(1)に記載の情報処理装置。
(3) 前記データ処理部は、
前記ユーザによる侵入禁止領域への侵入を違反行為と判定し、警告通知を実行する(1)または(2)に記載の情報処理装置。
前記ユーザによる侵入禁止領域への侵入を違反行為と判定し、警告通知を実行する(1)または(2)に記載の情報処理装置。
(4) 前記データ処理部は、
前記ユーザよる持ち出し禁止物品の持ち出しを違反行為と判定し、警告通知を実行する(1)~(3)いずれかに記載の情報処理装置。
前記ユーザよる持ち出し禁止物品の持ち出しを違反行為と判定し、警告通知を実行する(1)~(3)いずれかに記載の情報処理装置。
(5) 前記データ処理部は、
センサ検出情報に基づいてユーザ識別を実行し、
識別ユーザのユーザ行為の観測結果に基づいてユーザの信用度を示すユーザ単位の信用情報を生成し、更新する(1)~(4)いずれかに記載の情報処理装置。
センサ検出情報に基づいてユーザ識別を実行し、
識別ユーザのユーザ行為の観測結果に基づいてユーザの信用度を示すユーザ単位の信用情報を生成し、更新する(1)~(4)いずれかに記載の情報処理装置。
(6) 前記データ処理部は、
ユーザによる違反行為が観測された場合、そのユーザの信用度を低下させる信用情報更新処理を実行する(5)に記載の情報処理装置。
ユーザによる違反行為が観測された場合、そのユーザの信用度を低下させる信用情報更新処理を実行する(5)に記載の情報処理装置。
(7) 前記データ処理部は、
ユーザによる善意の行為が観測された場合、そのユーザの信用度を上昇させる信用情報更新処理を実行する(5)または(6)に記載の情報処理装置。
ユーザによる善意の行為が観測された場合、そのユーザの信用度を上昇させる信用情報更新処理を実行する(5)または(6)に記載の情報処理装置。
(8) 前記データ処理部は、
ユーザ単位の信用情報を記憶部に格納し、随時更新する(5)~(7)いずれかに記載の情報処理装置。
ユーザ単位の信用情報を記憶部に格納し、随時更新する(5)~(7)いずれかに記載の情報処理装置。
(9) 前記データ処理部は、
ユーザ単位の信用情報として、複数の異なる信用情報項目単位の信用情報を生成、更新し記憶部に格納する処理を実行する(5)~(8)いずれかに記載の情報処理装置。
ユーザ単位の信用情報として、複数の異なる信用情報項目単位の信用情報を生成、更新し記憶部に格納する処理を実行する(5)~(8)いずれかに記載の情報処理装置。
(10) 前記データ処理部は、
警告通知に対するユーザからのフィードバック応答を入力し、フィードバック応答に基づく信用情報の修正を実行する(5)~(9)いずれかに記載の情報処理装置。
警告通知に対するユーザからのフィードバック応答を入力し、フィードバック応答に基づく信用情報の修正を実行する(5)~(9)いずれかに記載の情報処理装置。
(11) 監視領域に備えた複数のセンサの検出情報を取得して管理サーバに送信する監視装置と、
前記監視装置からセンサ検出情報を受信し、受信したセンサ検出情報に基づいて、前記監視領域におけるユーザ行為を解析する管理サーバと、
ユーザの保持するユーザ端末を有する情報処理システムであり、
前記管理サーバは、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、前記ユーザ端末、または前記監視装置に通知する情報処理システム。
前記監視装置からセンサ検出情報を受信し、受信したセンサ検出情報に基づいて、前記監視領域におけるユーザ行為を解析する管理サーバと、
ユーザの保持するユーザ端末を有する情報処理システムであり、
前記管理サーバは、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、前記ユーザ端末、または前記監視装置に通知する情報処理システム。
(12) 前記管理サーバは、
前記ユーザによる侵入禁止領域への侵入、および前記ユーザよる持ち出し禁止物品の持ち出しを違反行為と判定し、前記ユーザ端末、または前記監視装置に通知する(11)に記載の情報処理システム。
前記ユーザによる侵入禁止領域への侵入、および前記ユーザよる持ち出し禁止物品の持ち出しを違反行為と判定し、前記ユーザ端末、または前記監視装置に通知する(11)に記載の情報処理システム。
(13) 前記管理サーバは、
前記監視装置から受信するセンサ検出情報に基づいてユーザ識別を実行し、
識別ユーザのユーザ行為の観測結果に基づいてユーザの信用度を示すユーザ単位の信用情報を生成し、更新する(11)または(12)に記載の情報処理システム。
前記監視装置から受信するセンサ検出情報に基づいてユーザ識別を実行し、
識別ユーザのユーザ行為の観測結果に基づいてユーザの信用度を示すユーザ単位の信用情報を生成し、更新する(11)または(12)に記載の情報処理システム。
(14) 前記管理サーバは、
ユーザによる違反行為が観測された場合、そのユーザの信用度を低下させる信用情報更新処理を実行し、
ユーザによる善意の行為が観測された場合、そのユーザの信用度を上昇させる信用情報更新処理を実行する(13)に記載の情報処理システム。
ユーザによる違反行為が観測された場合、そのユーザの信用度を低下させる信用情報更新処理を実行し、
ユーザによる善意の行為が観測された場合、そのユーザの信用度を上昇させる信用情報更新処理を実行する(13)に記載の情報処理システム。
(15) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記データ処理部が、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、警告の通知を行う情報処理方法。
前記情報処理装置は、センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記データ処理部が、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、警告の通知を行う情報処理方法。
(16) 監視装置と、管理サーバと、ユーザ端末を有する情報処理システムにおいて実行する情報処理方法であり、
前記監視装置が、監視領域に備えた複数のセンサの検出情報を取得して管理サーバに送信し、
前記管理サーバが、前記監視装置からセンサ検出情報を受信し、受信したセンサ検出情報に基づいて、前記監視領域におけるユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、前記ユーザ端末、または前記監視装置に通知する情報処理方法。
前記監視装置が、監視領域に備えた複数のセンサの検出情報を取得して管理サーバに送信し、
前記管理サーバが、前記監視装置からセンサ検出情報を受信し、受信したセンサ検出情報に基づいて、前記監視領域におけるユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、前記ユーザ端末、または前記監視装置に通知する情報処理方法。
(17) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
ユーザ行為が違反行為に該当するか否かを判定する処理と、
違反行為であると判定した場合、警告を通知する処理を実行させるプログラム。
前記情報処理装置は、センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
ユーザ行為が違反行為に該当するか否かを判定する処理と、
違反行為であると判定した場合、警告を通知する処理を実行させるプログラム。
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、監視領域におけるユーザ行為を観測して、違反行為の検出を行い、さらにユーザ単位の信用情報を生成する構成が実現される。
具体的には、例えば、監視領域に備えたセンサの検出情報を取得して管理サーバに送信する監視装置と、センサ検出情報に基づいて監視領域におけるユーザ行為を解析する管理サーバと、ユーザの保持するユーザ端末を有する。管理サーバはユーザ行為が違反行為に該当するか否かを判定し、違反行為であると判定した場合、ユーザ端末、または監視装置に通知する。さらに、管理サーバはユーザ識別を実行し、識別ユーザのユーザ行為の観測結果に基づいてユーザ単位の信用情報を生成し、更新する。
本構成により、監視領域におけるユーザ行為を観測して、違反行為の検出を行い、さらにユーザ単位の信用情報を生成する構成が実現される。
具体的には、例えば、監視領域に備えたセンサの検出情報を取得して管理サーバに送信する監視装置と、センサ検出情報に基づいて監視領域におけるユーザ行為を解析する管理サーバと、ユーザの保持するユーザ端末を有する。管理サーバはユーザ行為が違反行為に該当するか否かを判定し、違反行為であると判定した場合、ユーザ端末、または監視装置に通知する。さらに、管理サーバはユーザ識別を実行し、識別ユーザのユーザ行為の観測結果に基づいてユーザ単位の信用情報を生成し、更新する。
本構成により、監視領域におけるユーザ行為を観測して、違反行為の検出を行い、さらにユーザ単位の信用情報を生成する構成が実現される。
10 監視装置
11 カメラ
12 受信機
13 マイク
14 スピーカ
15 データ処理部
16 通信部
17 記憶部
20 管理サーバ
21 データ処理部
22 通信部
23 記憶部
31 入力信号(画像、音声)処理部
32 人識別部
33 行動監視部
34 物体監視部
35 ユーザ行為(接触、侵入、持ち出し等)検出部
36 警報通知出力制御部
37 信用情報生成更新部
40 監視依頼者端末
41 データ処理部
42 入力部
43 出力部
44 通信部
45 記憶部
50 ユーザ端末
51 データ処理部
52 入力部
53 出力部
54 通信部
55 記憶部
56 振動制御部
70 ユーザ
110 監視依頼者
120 外部の信用情報利用者
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
310 ドライブ
311 リムーバブルメディア
11 カメラ
12 受信機
13 マイク
14 スピーカ
15 データ処理部
16 通信部
17 記憶部
20 管理サーバ
21 データ処理部
22 通信部
23 記憶部
31 入力信号(画像、音声)処理部
32 人識別部
33 行動監視部
34 物体監視部
35 ユーザ行為(接触、侵入、持ち出し等)検出部
36 警報通知出力制御部
37 信用情報生成更新部
40 監視依頼者端末
41 データ処理部
42 入力部
43 出力部
44 通信部
45 記憶部
50 ユーザ端末
51 データ処理部
52 入力部
53 出力部
54 通信部
55 記憶部
56 振動制御部
70 ユーザ
110 監視依頼者
120 外部の信用情報利用者
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
310 ドライブ
311 リムーバブルメディア
Claims (17)
- センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記データ処理部は、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、警告の通知を行う情報処理装置。 - 前記データ処理部は、
ユーザの所有するユーザ端末に対する警告通知、またはユーザの周囲のスピーカを介する警告通知の少なくともいずれかの処理を実行する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記ユーザによる侵入禁止領域への侵入を違反行為と判定し、警告通知を実行する請求項1に記載の情報処理装置。 - 前記データ処理部は、
前記ユーザよる持ち出し禁止物品の持ち出しを違反行為と判定し、警告通知を実行する請求項1に記載の情報処理装置。 - 前記データ処理部は、
センサ検出情報に基づいてユーザ識別を実行し、
識別ユーザのユーザ行為の観測結果に基づいてユーザの信用度を示すユーザ単位の信用情報を生成し、更新する請求項1に記載の情報処理装置。 - 前記データ処理部は、
ユーザによる違反行為が観測された場合、そのユーザの信用度を低下させる信用情報更新処理を実行する請求項5に記載の情報処理装置。 - 前記データ処理部は、
ユーザによる善意の行為が観測された場合、そのユーザの信用度を上昇させる信用情報更新処理を実行する請求項5に記載の情報処理装置。 - 前記データ処理部は、
ユーザ単位の信用情報を記憶部に格納し、随時更新する請求項5に記載の情報処理装置。 - 前記データ処理部は、
ユーザ単位の信用情報として、複数の異なる信用情報項目単位の信用情報を生成、更新し記憶部に格納する処理を実行する請求項5に記載の情報処理装置。 - 前記データ処理部は、
警告通知に対するユーザからのフィードバック応答を入力し、フィードバック応答に基づく信用情報の修正を実行する請求項5に記載の情報処理装置。 - 監視領域に備えた複数のセンサの検出情報を取得して管理サーバに送信する監視装置と、
前記監視装置からセンサ検出情報を受信し、受信したセンサ検出情報に基づいて、前記監視領域におけるユーザ行為を解析する管理サーバと、
ユーザの保持するユーザ端末を有する情報処理システムであり、
前記管理サーバは、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、前記ユーザ端末、または前記監視装置に通知する情報処理システム。 - 前記管理サーバは、
前記ユーザによる侵入禁止領域への侵入、および前記ユーザよる持ち出し禁止物品の持ち出しを違反行為と判定し、前記ユーザ端末、または前記監視装置に通知する請求項11に記載の情報処理システム。 - 前記管理サーバは、
前記監視装置から受信するセンサ検出情報に基づいてユーザ識別を実行し、
識別ユーザのユーザ行為の観測結果に基づいてユーザの信用度を示すユーザ単位の信用情報を生成し、更新する請求項11に記載の情報処理システム。 - 前記管理サーバは、
ユーザによる違反行為が観測された場合、そのユーザの信用度を低下させる信用情報更新処理を実行し、
ユーザによる善意の行為が観測された場合、そのユーザの信用度を上昇させる信用情報更新処理を実行する請求項13に記載の情報処理システム。 - 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記データ処理部が、
ユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、警告の通知を行う情報処理方法。 - 監視装置と、管理サーバと、ユーザ端末を有する情報処理システムにおいて実行する情報処理方法であり、
前記監視装置が、監視領域に備えた複数のセンサの検出情報を取得して管理サーバに送信し、
前記管理サーバが、前記監視装置からセンサ検出情報を受信し、受信したセンサ検出情報に基づいて、前記監視領域におけるユーザ行為が違反行為に該当するか否かを判定し、
違反行為であると判定した場合、前記ユーザ端末、または前記監視装置に通知する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、センサ検出情報に基づいてユーザ行為を解析するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
ユーザ行為が違反行為に該当するか否かを判定する処理と、
違反行為であると判定した場合、警告を通知する処理を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020559755A JPWO2020116023A1 (ja) | 2018-12-05 | 2019-10-10 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
US17/309,405 US20220027985A1 (en) | 2018-12-05 | 2019-10-10 | Information processing device, information processing system, and information processing method, and program |
DE112019006072.4T DE112019006072T5 (de) | 2018-12-05 | 2019-10-10 | Informationsverarbeitungsvorrichtung, Informationsverarbeitungssystem, Informationsverarbeitungsverfahren und -programm |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018228427 | 2018-12-05 | ||
JP2018-228427 | 2018-12-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020116023A1 true WO2020116023A1 (ja) | 2020-06-11 |
Family
ID=70975308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/039977 WO2020116023A1 (ja) | 2018-12-05 | 2019-10-10 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220027985A1 (ja) |
JP (1) | JPWO2020116023A1 (ja) |
DE (1) | DE112019006072T5 (ja) |
WO (1) | WO2020116023A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022014390A (ja) * | 2020-07-06 | 2022-01-19 | パナソニックIpマネジメント株式会社 | 検知システム、学習済みモデルの生成方法、検知方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004005511A (ja) * | 2002-03-26 | 2004-01-08 | Toshiba Corp | 監視システム、監視方法および監視プログラム |
WO2007138811A1 (ja) * | 2006-05-31 | 2007-12-06 | Nec Corporation | 不審行動検知装置および方法、プログラムおよび記録媒体 |
JP2008152777A (ja) * | 2006-12-13 | 2008-07-03 | Ncr Corp | セルフ・チェックアウト処理方法 |
JP2011060041A (ja) * | 2009-09-10 | 2011-03-24 | Toshiba Tec Corp | 物品持ち出し管理シテム及び物品持ち出し管理方法 |
JP2015108854A (ja) * | 2012-02-15 | 2015-06-11 | 日本電気株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8515842B2 (en) * | 2010-09-14 | 2013-08-20 | Evolution Finance, Inc. | Systems and methods for monitoring and optimizing credit scores |
US10937289B2 (en) * | 2014-09-18 | 2021-03-02 | Indyme Solutions, Llc | Merchandise activity sensor system and methods of using same |
JP6967868B2 (ja) | 2016-06-08 | 2021-11-17 | 株式会社コンピュータシステム研究所 | 監視システム、監視プログラム、および、記憶媒体 |
US20210304313A1 (en) * | 2016-10-28 | 2021-09-30 | State Farm Mutual Automobile Insurance Company | Driver profiles based upon compliance with driver-specific limitations |
IL271528B2 (en) * | 2017-06-21 | 2024-08-01 | Grabango Co | Observed link of human activity in the video to a user account |
US10186124B1 (en) * | 2017-10-26 | 2019-01-22 | Scott Charles Mullins | Behavioral intrusion detection system |
-
2019
- 2019-10-10 US US17/309,405 patent/US20220027985A1/en not_active Abandoned
- 2019-10-10 WO PCT/JP2019/039977 patent/WO2020116023A1/ja active Application Filing
- 2019-10-10 JP JP2020559755A patent/JPWO2020116023A1/ja not_active Abandoned
- 2019-10-10 DE DE112019006072.4T patent/DE112019006072T5/de active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004005511A (ja) * | 2002-03-26 | 2004-01-08 | Toshiba Corp | 監視システム、監視方法および監視プログラム |
WO2007138811A1 (ja) * | 2006-05-31 | 2007-12-06 | Nec Corporation | 不審行動検知装置および方法、プログラムおよび記録媒体 |
JP2008152777A (ja) * | 2006-12-13 | 2008-07-03 | Ncr Corp | セルフ・チェックアウト処理方法 |
JP2011060041A (ja) * | 2009-09-10 | 2011-03-24 | Toshiba Tec Corp | 物品持ち出し管理シテム及び物品持ち出し管理方法 |
JP2015108854A (ja) * | 2012-02-15 | 2015-06-11 | 日本電気株式会社 | 情報処理システム、情報処理方法および情報処理プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022014390A (ja) * | 2020-07-06 | 2022-01-19 | パナソニックIpマネジメント株式会社 | 検知システム、学習済みモデルの生成方法、検知方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
DE112019006072T5 (de) | 2021-09-02 |
JPWO2020116023A1 (ja) | 2021-10-21 |
US20220027985A1 (en) | 2022-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11823556B2 (en) | Community security system using intelligent information sharing | |
CN114502041B (zh) | 提供对锁定商品的自助服务访问的系统 | |
US9071626B2 (en) | Method and apparatus for surveillance system peering | |
JP3946243B2 (ja) | 認証システム | |
JP4736096B2 (ja) | セキュリティ監視システム、セキュリティ監視方法及び情報処理端末 | |
US10854058B2 (en) | Emergency alert system | |
JP3828901B2 (ja) | 個人認証システム | |
US20120092163A1 (en) | Intruder detection and interdiction system and methods for using the same | |
WO2016139758A1 (ja) | デジタルフューチャーナウ・セキュリティシステム、方法及びプログラム | |
JPWO2015155847A1 (ja) | デジタルロス・アクシデントデフェンスシステム、方法及びプログラム | |
US12045841B2 (en) | System providing self-service access to locked merchandise | |
JP2013065187A (ja) | 防犯システム、情報処理装置、防犯システムの管理方法及びプログラム | |
US11790717B2 (en) | Emergency delegation | |
WO2020116023A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
JP2006236357A (ja) | 個人認証システム | |
JP2007257296A (ja) | 入退室管理システム及び入退室管理方法 | |
JP2015153054A (ja) | セキュリティエリア管理システム、セキュリティエリア管理方法 | |
WO2021186610A1 (ja) | デジタル・オートファイル・セキュリティシステム、方法及びプログラム | |
US10636264B2 (en) | Office building security system using fiber sensing | |
JP2002236986A (ja) | 警備システム | |
JP2006163788A (ja) | 入場者管理方法及び管理システム | |
KR102529551B1 (ko) | 위치 기반 구역 제어 서비스 장치 | |
KR102366866B1 (ko) | 입주민 부동산 관리 시스템 | |
LENKO et al. | Alarm systems and their use in municipalities | |
JP2008139982A (ja) | 要介護患者出入監視システム及び要介護患者捜索情報提供システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19894043 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020559755 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19894043 Country of ref document: EP Kind code of ref document: A1 |