[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2020085223A1 - 情報処理方法、情報処理装置、情報処理プログラム及び情報処理システム - Google Patents

情報処理方法、情報処理装置、情報処理プログラム及び情報処理システム Download PDF

Info

Publication number
WO2020085223A1
WO2020085223A1 PCT/JP2019/041021 JP2019041021W WO2020085223A1 WO 2020085223 A1 WO2020085223 A1 WO 2020085223A1 JP 2019041021 W JP2019041021 W JP 2019041021W WO 2020085223 A1 WO2020085223 A1 WO 2020085223A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
sensor data
vehicle
video data
unit
Prior art date
Application number
PCT/JP2019/041021
Other languages
English (en)
French (fr)
Inventor
淳一 井本
幸恵 庄田
岩崎　正宏
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2020553327A priority Critical patent/JP7438126B2/ja
Priority to CN201980069421.0A priority patent/CN112889270A/zh
Publication of WO2020085223A1 publication Critical patent/WO2020085223A1/ja
Priority to US17/235,389 priority patent/US12148210B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/02—Registering or indicating driving, working, idle, or waiting time only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Definitions

  • the present disclosure relates to a technique of processing sensor data acquired by a sensor installed in a vehicle.
  • the drive recorder that determines that a dangerous situation has occurred when the acceleration of the vehicle exceeds a predetermined threshold value and stores image information taken before and after the time when the dangerous situation occurs.
  • the image information stored in the drive recorder may include image information that does not actually cause a dangerous situation.
  • the image captured by the image capturing unit is input to a neural network trained by an image including a processing target, and the image capturing unit captures an image based on the output from the neural network.
  • An imaging device is disclosed that determines whether or not an image includes a processing target, and transmits an image captured by an imaging unit when it is determined that the image includes a processing target.
  • the image data used in the image pickup device has a large amount of data, the processing load of the image pickup device is large, and further improvement is required.
  • the present disclosure has been made in order to solve the above problems, and an object thereof is to provide a technique capable of reducing the processing load of an information processing system.
  • An information processing method is an information processing method in an information processing system, wherein at least one of acceleration, speed, and angular velocity of the vehicle is acquired by acquiring video data from a camera that captures an image around the vehicle.
  • the sensor data including one is acquired, time information indicating the acquired time is added to each of the video data and the sensor data, and the content of the event that has occurred in the vehicle is identified based on the sensor data. If it is determined whether the identified event is a predetermined event and it is determined that the identified event is the predetermined event, the same time information is added to the sensor data used for identification.
  • the video data to which the time information is added is specified, and the specified video data is transmitted.
  • the content of the event that has occurred in the vehicle is identified based on the sensor data that has a smaller data amount than the video data, and thus the processing load of the information processing system can be reduced. Further, since only the video data when the predetermined event occurs is transmitted, it is possible to prevent unnecessary video data from being transmitted and reduce the data communication amount and the data communication cost.
  • FIG. 3 is a block diagram showing a configuration of a drive recorder in the first embodiment.
  • 3 is a block diagram showing a configuration of a data analysis server according to the first embodiment.
  • FIG. 3 is a block diagram showing a configuration of a video storage server according to the first embodiment.
  • FIG. 5 is a first flowchart for explaining processing of the information processing system in the first embodiment.
  • 6 is a second flowchart for explaining the processing of the information processing system in the first embodiment.
  • FIG. 1 is a figure which shows the relationship between the acceleration of the X-axis direction, the Y-axis direction, and the Z-axis direction measured at the time of the sudden braking which is one of the dangerous driving events, and time.
  • FIG. 5 is a diagram showing a relationship between accelerations in the X-axis direction, the Y-axis direction, and the Z-axis direction, which are measured when the vehicle rides on a bump on the road, and time in the first embodiment.
  • FIG. 6 is a block diagram showing a configuration of a mobile terminal according to the second embodiment.
  • 9 is a first flowchart for explaining processing of the information processing system in the second embodiment.
  • 9 is a second flowchart for explaining the processing of the information processing system in the second embodiment.
  • the image data has a large amount of data. Therefore, in the above-mentioned conventional technique, the amount of learning data required to achieve the practical accuracy is large, and the learning time may be very long. Further, when image data having a large amount of data is handled as input data, it is necessary to create a complicated model in order to achieve practical accuracy.
  • the image data used in the imaging device has a large amount of data, and the processing load of the imaging device becomes large.
  • an information processing method in an information processing system, in which video data is acquired from a camera that captures the surroundings of a vehicle, and the acceleration of the vehicle is obtained. Sensor data including at least one of speed, angular velocity, and time information indicating the acquired time is added to each of the video data and the sensor data, and the vehicle is based on the sensor data. The content of the event that occurred in, to determine whether the identified event is a predetermined event, if the identified event is determined to be the predetermined event, the sensor data used for identification The video data to which the same time information as the time information given to is specified is specified is specified, and the specified video data is transmitted.
  • the content of the event that has occurred in the vehicle is identified based on the sensor data, which has a smaller amount of data than the video data, and therefore the processing load of the information processing system can be reduced. Further, since only the video data when the predetermined event occurs is transmitted, it is possible to prevent unnecessary video data from being transmitted and reduce the data communication amount and the data communication cost.
  • the sensor data is input, the content of the event is output, and the sensor data is input to an identification model generated by machine learning.
  • the content of may be identified.
  • the sensor data is input, the event content is output, and the sensor data is input to the identification model generated by machine learning, whereby the event content is identified.
  • the video data has a large amount of data. Therefore, in order to achieve practical accuracy, the identification model is a complicated model and the amount of input data required for learning is also large. As a result, the learning time of the discrimination model becomes long.
  • the sensor data is used as the input data of the identification model, the sensor data has a smaller data amount than the video data, so the identification model becomes a simple model and the data amount of the input data necessary for learning can be reduced. Therefore, the learning time of the discrimination model can be shortened.
  • the predetermined event is at least one of an event indicating a dangerous driving, an event indicating a collision of the vehicle, an event indicating a road maintenance situation, and an event indicating a malfunction of the vehicle. May be included.
  • the video data when the event indicating the dangerous driving occurs the video data when the event indicating the vehicle collision occurs, the video data when the event indicating the road maintenance situation occurs, and the vehicle data It is possible to store at least one of the video data when the event indicating the defect occurs.
  • the processing method further, based on the sensor data, it is determined whether or not the event has occurred, and in the identification of the event, if it is determined that the event has occurred, the sensor data Based on the information, the content of the event that has occurred in the vehicle may be identified.
  • the event that has occurred in the vehicle is identified based on the sensor data. Therefore, the content of the event is not identified based on all the sensor data, but the content of the event is identified based on only the sensor data when it is determined that the event has occurred. Can be shortened.
  • the information processing system includes a mobile terminal that is attachable to and detachable from the vehicle, and in the acquisition of the sensor data, acquires the sensor data from the mobile terminal attached to the vehicle, Further, the attitude of the mobile terminal may be acquired, and the acquired sensor data may be corrected based on the acquired attitude.
  • the posture of the portable terminal that can be attached to and detached from the vehicle may change every time it is attached to the vehicle.
  • the attitude of the mobile terminal is acquired, and the acquired sensor data is corrected based on the acquired attitude. Therefore, the video data and the sensor data can be acquired using the mobile terminal.
  • the information processing system includes a terminal device mounted on the vehicle and a server communicably connected to the terminal device, and further, the terminal device acquires the information.
  • the sensor data is transmitted to the server, the server further receives the sensor data, and in identifying the event, the server identifies the content of the event that has occurred in the vehicle based on the sensor data.
  • the server transmits an identification result
  • the terminal device further receives the identification result transmitted by the server, and in the determination, the terminal device identifies the identification result indicated by the identification result. It may be determined whether the performed event is a predetermined event.
  • the server on the network identifies the content of the event that has occurred in the vehicle based on the sensor data, so that the software required for the identification process can be easily performed. It can be updated, and the burden on the user can be reduced.
  • An information processing device is a video data acquisition unit that acquires video data from a camera that captures the surroundings of a vehicle, and sensor data that includes at least one of acceleration, velocity, and angular velocity of the vehicle.
  • a sensor data acquisition unit that acquires, a time information addition unit that adds time information indicating the acquired time to each of the video data and the sensor data, and an event that has occurred in the vehicle based on the sensor data.
  • An identifying unit that identifies the contents of the item, a determining unit that determines whether the identified event is a predetermined event, and if the identified event is the predetermined event, Transmitting the specified video data with a specification unit that specifies video data that has the same time information as the time information that has been added to the sensor data Includes a transmission unit that, a.
  • the content of the event that has occurred in the vehicle is identified based on the sensor data, which has a smaller data amount than the video data, and therefore the processing load on the information processing device can be reduced. Further, since only the video data when the predetermined event occurs is transmitted, it is possible to prevent unnecessary video data from being transmitted and reduce the data communication amount and the data communication cost.
  • An information processing program is a video data acquisition unit that acquires video data from a camera that captures the surroundings of a vehicle, and sensor data including at least one of acceleration, speed, and angular velocity of the vehicle.
  • a sensor data acquisition unit that acquires, a time information addition unit that adds time information indicating the acquired time to each of the video data and the sensor data, and an event that has occurred in the vehicle based on the sensor data.
  • An identifying unit that identifies the contents of the item, a determining unit that determines whether the identified event is a predetermined event, and if the identified event is the predetermined event, A specifying unit that specifies video data to which the same time information as the time information added to the sensor data is specified, and the specified video data Causing a computer to function as transmission unit to be transmitted.
  • the content of the event that occurred in the vehicle is identified based on the sensor data, which has a smaller amount of data than the video data, and therefore the processing load on the computer can be reduced. Further, since only the video data when the predetermined event occurs is transmitted, it is possible to prevent unnecessary video data from being transmitted and reduce the data communication amount and the data communication cost.
  • An information processing system includes a terminal device mounted on a vehicle, a data analysis server communicatively connected to the terminal device, and a video storage server communicatively connected to the terminal device.
  • the terminal device includes at least one of a video data acquisition unit that acquires video data from a camera that captures an image of the surroundings of the vehicle, and at least one of acceleration, velocity, and angular velocity of the vehicle.
  • a sensor data acquisition unit that acquires sensor data including the image data and each of the sensor data, a time information addition unit that adds time information indicating the acquired time, and when an event occurs in the vehicle,
  • a sensor data transmission unit for transmitting the sensor data to the data analysis server, wherein the data analysis server is transmitted by the terminal device.
  • a sensor data receiving unit that receives the sensor data, an identification unit that identifies the content of an event that has occurred in the vehicle based on the sensor data, and an identification result transmitting unit that transmits an identification result
  • the terminal device includes an identification result receiving unit that receives the identification result transmitted by the data analysis server, and a determination unit that determines whether the identified event indicated by the identification result is a predetermined event. And a determination unit that, when determining that the identified event is the predetermined event, identifies video data to which the same time information as the time information provided to the sensor data used for identification is added.
  • a video data transmission unit for transmitting the specified video data to the video storage server, wherein the video storage server is transmitted by the terminal device. Comprising a video data receiving unit for receiving the video data, a video data storage unit for storing the image data.
  • the content of the event that has occurred in the vehicle is identified based on the sensor data, which has a smaller amount of data than the video data, and therefore the processing load of the information processing system can be reduced. Further, since only the video data when the predetermined event occurs is transmitted, it is possible to prevent unnecessary video data from being transmitted and reduce the data communication amount and the data communication cost.
  • FIG. 1 is a diagram conceptually showing the overall configuration of the information processing system according to the first embodiment.
  • the information processing system shown in FIG. 1 includes a drive recorder 1, a data analysis server 2, and a video storage server 3.
  • the drive recorder 1 is an example of a terminal device and is installed in a vehicle.
  • the data analysis server 2 is an example of a server, and is connected to the drive recorder 1 via a network 4 so that they can communicate with each other.
  • the network 4 is, for example, the Internet.
  • the video storage server 3 is communicably connected to the drive recorder 1 via the network 4.
  • DRIVER RECORDER 1 acquires video data of the traveling direction of the vehicle.
  • the drive recorder 1 acquires sensor data including at least one of acceleration, speed and angular speed of the vehicle.
  • the drive recorder 1 gives a time stamp to video data and sensor data.
  • the drive recorder 1 stores video data and sensor data to which a time stamp is added.
  • the drive recorder 1 has a third period including a first period from the time when the event occurs to a predetermined time before and a second period from the time the event occurs to a predetermined time after.
  • the sensor data group is transmitted to the data analysis server 2.
  • the drive recorder 1 determines that the generated event is a predetermined event, the drive recorder 1 transmits the stored video data group to the video storage server 3.
  • the data analysis server 2 identifies the content of the event that has occurred in the vehicle based on the sensor data received from the drive recorder 1. Specifically, the data analysis server 2 inputs the sensor data group received from the drive recorder 1 into the identification model generated by machine learning, and acquires the content of the event output from the identification model as the identification result. The data analysis server 2 transmits the identification result to the drive recorder 1.
  • the video storage server 3 stores the video data transmitted by the drive recorder 1. Specifically, the video storage server 3 stores a video data group when a predetermined event occurs.
  • FIG. 2 is a block diagram showing the configuration of the drive recorder according to the first embodiment.
  • the drive recorder 1 is attached to, for example, the windshield or dashboard of the vehicle.
  • the drive recorder 1 includes a camera 11, an acceleration sensor 12, a position measuring unit 13, a processor 14, a memory 15 and a communication unit 16.
  • the camera 11 takes a picture around the vehicle. Specifically, the camera 11 photographs the front of the vehicle. The camera 11 may also photograph the left side, the right side, and the rear side of the vehicle.
  • the acceleration sensor 12 is, for example, a 3-axis acceleration sensor, and measures acceleration in the X-axis direction indicating the left-right direction of the vehicle, the Y-axis direction indicating the front-rear direction of the vehicle, and the Z-axis direction indicating the vertical direction of the vehicle.
  • the position measurement unit 13 is, for example, a GPS (Global Positioning System) receiver, and measures the position information of the drive recorder 1, that is, the position information of the vehicle.
  • the position information is represented by latitude and longitude.
  • the position information measured by the position measuring unit 13 is used to calculate the speed of the vehicle. For example, if the distance between the first position and the second position and the travel time from the first position to the second position are known, the movement of the vehicle from the first position to the second position The speed can be calculated.
  • the processor 14 is, for example, a CPU (Central Processing Unit), and includes a video data acquisition unit 141, a sensor data acquisition unit 142, a time stamp assigning unit 143, an event occurrence detection unit 144, an event determination unit 145, and a video data identification unit 146.
  • a CPU Central Processing Unit
  • the memory 15 is, for example, a semiconductor memory, and includes a video data storage unit 151 and a sensor data storage unit 152.
  • the video data acquisition unit 141 acquires video data from the camera 11.
  • the sensor data acquisition unit 142 acquires sensor data including at least one of vehicle acceleration, speed, and angular speed.
  • the sensor data acquisition unit 142 acquires the acceleration of the vehicle from the acceleration sensor 12. Further, the sensor data acquisition unit 142 acquires the position information of the vehicle from the position measurement unit 13 and calculates the speed of the vehicle based on the acquired position information.
  • the drive recorder 1 may include a gyro sensor that measures angular velocity.
  • the sensor data acquisition unit 142 may acquire the angular velocity from the gyro sensor.
  • the sensor data acquisition unit 142 acquires the acceleration and speed of the vehicle, but the present disclosure is not particularly limited to this, and the sensor data acquisition unit 142 only detects the acceleration of the vehicle. You may get it.
  • the sensor data acquisition unit 142 may acquire any one of the X-axis direction acceleration, the Y-axis direction acceleration, and the Z-axis direction acceleration, but the X-axis direction acceleration and the Y-axis direction acceleration. Also, it is preferable to acquire the acceleration in the Z-axis direction.
  • the sensor data acquisition unit 142 calculates the speed of the vehicle from the position information of the vehicle acquired from the position measurement unit 13, but the present disclosure is not particularly limited to this, and the direct vehicle may be used. The speed may be obtained from. In this case, the drive recorder 1 does not have to include the position measuring unit 13.
  • the time stamp adding unit 143 adds a time stamp (time information) indicating the acquired time to each of the acquired video data and sensor data.
  • the time stamp adding unit 143 stores the time stamp added video data in the video data storage unit 151, and also stores the time stamp added sensor data in the sensor data storage unit 152.
  • the video data storage unit 151 stores the video data acquired by the video data acquisition unit 141 and to which the time stamp is added by the time stamp adding unit 143.
  • the sensor data storage unit 152 stores the sensor data acquired by the sensor data acquisition unit 142 and having the time stamp added thereto by the time stamp adding unit 143.
  • the event occurrence detection unit 144 determines whether an event has occurred based on the sensor data acquired by the sensor data acquisition unit 142. Specifically, the event occurrence detection unit 144 determines that an event has occurred when at least one of the X-axis acceleration, the Y-axis acceleration, and the Z-axis acceleration exceeds a threshold value.
  • the communication unit 16 transmits the sensor data to the data analysis server 2. At this time, the communication unit 16 transmits the sensor data group for a predetermined period based on the time when the event occurs to the data analysis server 2. More specifically, the communication unit 16 includes a third period including a first period from the time when the event occurs to a predetermined time before and a second period from the time the event occurs to a predetermined time after the time. The sensor data group of is transmitted to the data analysis server 2. For example, the communication unit 16 includes the sensor data group in the third period including the first period from the time when the event occurs to 10 seconds before and the second period from the time when the event occurs to 5 seconds after the event. Is transmitted to the data analysis server 2.
  • the communication unit 16 receives the identification result of the content of the event transmitted by the data analysis server 2.
  • the event determination unit 145 determines whether the event identified by the data analysis server 2 is a predetermined event.
  • the event determination unit 145 determines whether the event indicated by the identification result received by the communication unit 16 is a predetermined event.
  • the predetermined event includes at least one of an event indicating a dangerous driving, an event indicating a vehicle collision, an event indicating a road maintenance situation, and an event indicating a vehicle malfunction.
  • the video data specifying unit 146 adds the same time stamp (time information) as the time stamp (time information) given to the sensor data used for the identification.
  • the communication unit 16 transmits the video data specified by the video data specifying unit 146 to the video storage server 3. That is, the communication unit 16 transmits the video data group specified by the video data specifying unit 146 to the video storage server 3.
  • FIG. 3 is a block diagram showing the configuration of the data analysis server according to the first embodiment.
  • the data analysis server includes a communication unit 21, a processor 22 and a memory 23.
  • the communication unit 21 receives the sensor data transmitted by the drive recorder 1. That is, the communication unit 21 receives the sensor data group transmitted by the drive recorder 1.
  • the processor 22 is, for example, a CPU and includes an event identification unit 221.
  • the memory 23 is, for example, a semiconductor memory or a hard disk drive, and includes an identification model storage unit 231.
  • the identification model storage unit 231 receives sensor data as input, outputs event content as output, and stores in advance the identification model generated by machine learning.
  • machine learning for example, deep learning using a multilayer neural network is used.
  • the event identification unit 221 identifies the content of the event that has occurred in the vehicle based on the sensor data.
  • the event identification unit 221 identifies the content of the event by inputting the sensor data into the identification model stored in the identification model storage unit 231.
  • the event identification unit 221 inputs the sensor data group to the identification model and acquires the content of the event output from the identification model as the identification result.
  • the event identification unit 221 identifies the content of the event by inputting the sensor data group to the machine-learned identification model, but the present disclosure is not particularly limited to this.
  • the memory 23 may store the content of the event and the waveform data indicating the waveform of the sensor data group in association with each other.
  • the event identifying unit 221 performs pattern matching between the waveform of the received sensor data group and the waveform data stored in the memory 23, and identifies the content of the event associated with the matching waveform data. It may be acquired as a result.
  • the identification model storage unit 231 may store a plurality of identification models according to the content of the event to be identified.
  • the identification model storage unit 231 may store a first identification model for identifying a dangerous driving event and a second identification model for identifying a collision event.
  • the communication unit 21 transmits the identification result of the event identification unit 221 to the drive recorder 1.
  • FIG. 4 is a block diagram showing the configuration of the video storage server according to the first embodiment.
  • the video storage server 3 includes a communication unit 31, a processor 32 and a memory 33.
  • the communication unit 31 receives the video data transmitted by the drive recorder 1.
  • the video data transmitted by the drive recorder 1 is the video data acquired based on the time when a predetermined event occurs.
  • the processor 32 is, for example, a CPU and includes a video data management unit 321.
  • the video data management unit 321 stores the video data received by the communication unit 31 in the video data storage unit 331. That is, the video data management unit 321 stores, in the video data storage unit 331, the video data group acquired based on the time when a predetermined event occurs.
  • the memory 33 is, for example, a semiconductor memory or a hard disk drive, and includes a video data storage unit 331.
  • the video data storage unit 331 stores video data.
  • the video data stored in the video data storage unit 331 is the video data acquired based on the time when a predetermined event occurs.
  • the video data is used, for example, for driving evaluation, dynamic management or support for safe driving.
  • FIG. 5 is a first flowchart for explaining the processing of the information processing system in the first embodiment
  • FIG. 6 is a second flowchart for explaining the processing of the information processing system in the first embodiment. It is a flowchart.
  • step S1 the video data acquisition unit 141 of the drive recorder 1 acquires video data from the camera 11.
  • the sensor data acquisition unit 142 acquires sensor data including the acceleration and speed of the vehicle.
  • the sensor data acquisition unit 142 acquires the acceleration in the X axis direction, the acceleration in the Y axis direction, and the acceleration in the Z axis direction from the acceleration sensor 12. Further, the sensor data acquisition unit 142 acquires the position of the vehicle from the position measurement unit 13, calculates the distance between the position acquired this time and the position acquired last time, and divides the calculated distance by the acquisition time interval.
  • the vehicle speed is calculated by
  • step S3 the time stamp assigning unit 143 sets the time indicating the time at which each of the video data acquired by the video data acquisition unit 141 and the sensor data acquired by the sensor data acquisition unit 142 is acquired. Give a stamp.
  • step S4 the time stamp adding unit 143 stores the time stamp added video data in the video data storage unit 151.
  • step S5 the time stamp adding unit 143 stores the sensor data to which the time stamp is added in the sensor data storage unit 152.
  • step S5 the event occurrence detection unit 144 determines whether an event has occurred based on the sensor data acquired by the sensor data acquisition unit 142. At this time, the event occurrence detection unit 144 determines whether at least one of the X-axis acceleration, the Y-axis acceleration, and the Z-axis acceleration exceeds a threshold value. Then, when it is determined that none of the X-axis acceleration, the Y-axis acceleration, and the Z-axis acceleration exceeds the threshold value, the event occurrence detection unit 144 determines that an event has not occurred. Further, the event occurrence detection unit 144 determines that an event has occurred if it is determined that at least one of the X-axis acceleration, the Y-axis acceleration, and the Z-axis acceleration exceeds the threshold value.
  • step S6 If it is determined that no event has occurred (NO in step S6), the process returns to step S1.
  • the event occurrence detection unit 144 determines in step S7 whether or not the video data and sensor data for a predetermined period have been acquired.
  • the predetermined period is a period that is a combination of a first period from the time when the event occurs to a predetermined time before and a second period from the time the event occurs to a predetermined time after.
  • the event occurrence detection unit 144 includes 15 seconds of video data including a first period from the time when the event occurs to 10 seconds before and a second period from the time when the event occurs to 5 seconds after the event occurs. Also, it is determined whether or not the sensor data is acquired.
  • step S7 if it is determined that the image data and the sensor data for the predetermined period have not been acquired (NO in step S7), the process returns to step S1.
  • the communication unit 16 sends the sensor data group acquired within the predetermined period to the data analysis server 2 in step S8. Send.
  • step S9 the communication unit 21 of the data analysis server 2 receives the sensor data group transmitted by the drive recorder 1.
  • step S10 the event identification unit 221 identifies the content of the event that has occurred in the vehicle based on the sensor data group received by the communication unit 21.
  • the event identification unit 221 inputs the sensor data group into the identification model stored in the identification model storage unit 231, and acquires the content of the event output from the identification model as the identification result.
  • step S11 the communication unit 21 transmits the identification result of the event content by the event identification unit 221 to the drive recorder 1.
  • step S12 the communication unit 16 of the drive recorder 1 receives the identification result of the event content transmitted by the data analysis server 2.
  • step S13 the event determination unit 145 determines whether the identified event is a predetermined event based on the identification result received by the communication unit 16. At this time, the predetermined event differs depending on what event the video storage server 3 collects.
  • the event determination unit 145 determines that the identified event indicates an event indicating a dangerous driving, that is, an event indicating a sudden braking, an event indicating a sudden steering, and a sudden acceleration. It is determined whether the event is one of the events shown.
  • the event determination unit 145 determines whether the identified event is an event indicating a collision.
  • the event determining unit 145 determines whether the identified event is an event indicating a road defect.
  • the predetermined event is an event indicating the road maintenance condition
  • the event determination unit 145 determines whether the identified event is an event indicating a vehicle malfunction.
  • the malfunction of the vehicle indicates, for example, a state in which the tire pressure of the vehicle is low.
  • the memory 23 may store in advance the position identified as having passed the bump on the road based on the sensor data of another vehicle. Then, when the event identifying unit 221 identifies that the vehicle has passed through the ridge on the road even though another vehicle has not passed through the ridge on the road, the event identifying unit 221 indicates that the tire pressure of the vehicle is low. It may be determined that there is.
  • step S13 if it is determined that the identified event is not the predetermined event (NO in step S13), the process returns to step S1.
  • the video data identification unit 146 determines in step S14 that the time stamp added to the sensor data group used for identification is used.
  • the video data group to which the same time stamp is added is specified from the video data storage unit 151.
  • step S15 the communication unit 16 transmits the video data group specified by the video data specifying unit 146 and the sensor data group used for identification to the video storage server 3.
  • step S16 the communication unit 31 of the video storage server 3 receives the video data group and the sensor data group transmitted by the drive recorder 1.
  • step S17 the video data management unit 321 stores the video data group and the sensor data group received by the communication unit 31 in the video data storage unit 331.
  • the content of the event that has occurred in the vehicle is identified based on the sensor data, which has a smaller data amount than the video data, so that the processing load of the information processing system can be reduced. Further, since only the video data when the predetermined event occurs is transmitted, it is possible to prevent unnecessary video data from being transmitted and reduce the data communication amount and the data communication cost.
  • the information processing system includes the data analysis server 2 and the video storage server 3, but the present disclosure is not particularly limited to this, and the functions of the data analysis server 2 and the video storage server 3 are included. May be provided with one server.
  • the communication unit 16 of the drive recorder 1 transmits only the video data group to the video storage server 3 in step S15.
  • the communication unit 31 of the video storage server 3 receives the video data group transmitted by the drive recorder 1.
  • the video data management unit 321 stores the video data group received by the communication unit 31 and the sensor data group used for identification in the video data storage unit 331.
  • the communication unit 16 of the drive recorder 1 transmits the video data group and the sensor data group to the video storage server 3, but the present disclosure is not particularly limited to this, and the video data group.
  • the event identification result that is, the content of the event may be transmitted to the video storage server 3.
  • the video data management unit 321 of the video storage server 3 may store the video data group, the sensor data group, and the event identification result received by the communication unit 31 in the video data storage unit 331.
  • FIG. 7 shows the relationship between the accelerations in the X-axis direction, the Y-axis direction, and the Z-axis direction, which are measured when sudden braking, which is one of the dangerous driving events, is performed in the first embodiment and time. It is a figure.
  • the vertical axis represents acceleration [G] and the horizontal axis represents time [sec].
  • the solid line shows the acceleration in the X-axis direction
  • the broken line shows the acceleration in the Y-axis direction
  • the alternate long and short dash line shows the acceleration in the Z-axis direction.
  • Time 0 [sec] indicates the time when it is determined that an event has occurred.
  • FIG. 8 is a diagram showing a relationship between time and acceleration in the X-axis direction, the Y-axis direction, and the Z-axis direction, which are measured when the vehicle rides on a bump on the road in the first embodiment.
  • the vertical axis represents acceleration [G] and the horizontal axis represents time [sec].
  • the solid line shows the acceleration in the X-axis direction
  • the broken line shows the acceleration in the Y-axis direction
  • the alternate long and short dash line shows the acceleration in the Z-axis direction.
  • Time 0 [sec] indicates the time when it is determined that an event has occurred.
  • the steering wheel is continuously turned in a certain direction, so it is determined that the acceleration in the X-axis direction has exceeded the threshold value, and the sensor data group is transmitted to the data analysis server 2.
  • the sensor data group indicating that the vehicle is moving on the loop road is input to the identification model, it is determined that the normal event has occurred.
  • the sensor data group is transmitted to the data analysis server 2.
  • this sensor data group is input to the identification model, it is identified that a collision event has occurred.
  • the event identification unit 221 may identify not only the collision event but also the degree of collision. That is, the event identifying unit 221 identifies whether the degree of collision is “large”, “medium”, or “small” according to the maximum acceleration values in the X-axis direction, the Y-axis direction, and the Z-axis direction. You may.
  • the sensor data group is transmitted to the data analysis server 2.
  • this sensor data group is input to the identification model, it is identified that a normal event has occurred.
  • the image captured when the vehicle runs over the bump on the road is not the image to be stored in the image storage server 3. Therefore, when the sensor data group indicating that the vehicle has climbed up the bump on the road is input to the identification model, it is identified that a normal event has occurred. Normal events are not predetermined events. Therefore, when the event indicated by the identification result received by the communication unit 16 is a normal event, the event determination unit 145 determines that the event is not the predetermined event.
  • the sensor data includes three-axis acceleration and speed, but the present disclosure is not particularly limited to this, and data indicating the presence or absence of a brake, data indicating the presence or absence of a right turn signal, and It may also include data indicating the presence or absence of a left turn signal.
  • the information processing system includes the drive recorder 1, the data analysis server 2, and the video storage server 3, but the present disclosure is not particularly limited to this, and the data analysis server 2 may be used. Instead, the drive recorder 1 and the video storage server 3 may be provided.
  • the drive recorder 1 may include the event identification unit and the identification model storage unit of the data analysis server 2. In this case, when the event occurrence detection unit 144 determines that an event has occurred, the event identification unit identifies the content of the event that has occurred in the vehicle based on the sensor data.
  • the information processing system according to the first embodiment includes the drive recorder 1 fixed to the vehicle in advance.
  • the information processing system according to the second embodiment has a portable terminal detachable from the vehicle instead of the drive recorder 1.
  • FIG. 9 is a diagram conceptually showing the overall configuration of the information processing system in the second embodiment.
  • the information processing system shown in FIG. 9 includes a mobile terminal 1A, a data analysis server 2, and a video storage server 3.
  • the mobile terminal 1A is an example of a terminal device and is attachable to and detachable from a vehicle.
  • the data analysis server 2 is communicably connected to the mobile terminal 1A via the network 4.
  • the video storage server 3 is communicably connected to the mobile terminal 1A via the network 4.
  • the same components as those in the first embodiment are designated by the same reference numerals and the description thereof will be omitted.
  • the attitude of the drive recorder 1 with respect to the vehicle does not change.
  • the mobile terminal 1A of the second embodiment since the mobile terminal 1A of the second embodiment is removable, the attitude of the mobile terminal 1A with respect to the vehicle may change every time the mobile terminal 1A is attached to the vehicle. Therefore, the mobile terminal 1A acquires the attitude of the mobile terminal 1A, and corrects the acquired sensor data based on the acquired attitude.
  • FIG. 10 is a block diagram showing the configuration of the mobile terminal according to the second embodiment.
  • the mobile terminal 1A is, for example, a smartphone.
  • the mobile terminal 1A is attached to, for example, a dashboard of a vehicle.
  • the mobile terminal 1A includes a camera 11, an acceleration sensor 12, a position measuring unit 13, a processor 14A, a memory 15, a communication unit 16 and a gyro sensor 17.
  • Gyro sensor 17 detects the attitude of mobile terminal 1A.
  • the attitude of the mobile terminal 1A is represented by the angular velocity of the mobile terminal 1A.
  • the gyro sensor 17 is, for example, a 3-axis gyro sensor, and detects the angular velocity around the X axis, the Y velocity around the Y axis, and the Z velocity around the Z axis of the mobile terminal 1A.
  • the processor 14A is, for example, a CPU and includes a video data acquisition unit 141, a sensor data acquisition unit 142, a time stamp assignment unit 143, an event occurrence detection unit 144, an event determination unit 145, a video data identification unit 146, and a preprocessing unit 147. .
  • the pre-processing unit 147 acquires the attitude of the mobile terminal 1A from the gyro sensor 17. That is, the preprocessing unit 147 acquires the angular velocity about the X axis, the angular velocity about the Y axis, and the angular velocity about the Z axis of the mobile terminal 1A from the gyro sensor 17. The preprocessing unit 147 corrects the acquired sensor data based on the acquired posture.
  • the mobile terminal 1A has a reference mounting posture.
  • the pre-processing unit 147 determines that the mobile terminal 1A moves from the reference posture around the X-axis, around the Y-axis, and around the Z-axis. Calculate how much you are leaning. Then, the preprocessing unit 147 corrects the accelerations in the X-axis direction, the Y-axis direction, and the Z-axis direction detected by the acceleration sensor 12 according to the calculated tilt angle.
  • the time stamp assigning unit 143 assigns a time stamp indicating the acquired time to each of the video data acquired by the video data acquiring unit 141 and the sensor data corrected by the preprocessing unit 147.
  • FIG. 11 is a first flowchart for explaining the processing of the information processing system in the second embodiment
  • FIG. 12 is a second flowchart for explaining the processing of the information processing system in the second embodiment. It is a flowchart.
  • steps S21 and S22 shown in FIG. 11 Since the processing of steps S21 and S22 shown in FIG. 11 is the same as the processing of steps S1 and S2 shown in FIG. 5, description thereof will be omitted.
  • step S23 the pre-processing unit 147 of the mobile terminal 1A acquires the attitude of the mobile terminal 1A from the gyro sensor 17. At this time, the preprocessing unit 147 acquires from the gyro sensor 17 the angular velocity around the X-axis, the angular velocity around the Y-axis, and the angular velocity around the Z-axis of the mobile terminal 1A.
  • the preprocessing unit 147 corrects the sensor data acquired by the sensor data acquisition unit 142 based on the acquired attitude of the mobile terminal 1A. Specifically, the preprocessing unit 147 acquires the X-axis direction acquired by the sensor data acquisition unit 142 based on the acquired angular velocity around the X axis, the Y-axis angular velocity, and the Z-axis angular velocity of the mobile terminal 1A. , Y-axis direction and Z-axis direction acceleration are corrected.
  • step S25 the time stamp assigning unit 143 gives the time stamp indicating the time of acquisition to each of the video data acquired by the video data acquisition unit 141 and the sensor data corrected by the preprocessing unit 147. Is given.
  • steps S26 to S12 shown in FIG. 11 is the same as the process of steps S4 to S17 shown in FIG. 5 and therefore the description thereof will be omitted.
  • the mobile terminal 1A acquires the posture of the mobile terminal 1A and corrects the sensor data every time the sensor data is acquired, but the present disclosure is not particularly limited to this.
  • the mobile terminal 1A may acquire the attitude of the mobile terminal 1A before first acquiring the sensor data. Then, each time the mobile terminal 1A acquires the sensor data, the mobile terminal 1A may correct the sensor data using the attitude of the mobile terminal 1A that is acquired first.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory.
  • a part or all of the functions of the device according to the embodiment of the present disclosure are typically realized as an LSI (Large Scale Integration) that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. Further, the integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure connection and settings of circuit cells inside the LSI may be used.
  • LSI Large Scale Integration
  • a processor such as a CPU executing a program.
  • the order in which the steps shown in the above flowchart are executed is an example for specifically describing the present disclosure, and may be an order other than the above within the range in which the same effect is obtained. .
  • some of the above steps may be executed simultaneously (in parallel) with other steps.
  • the technology according to the present disclosure can reduce the processing load of the information processing system, it is useful as a technology for processing the sensor data acquired by the sensor installed in the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

ドライブレコーダ（１）は、車両の周囲を撮影するカメラから映像データを取得し、車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得し、映像データとセンサデータとのそれぞれに、取得した時刻を示す時刻情報を付与し、車両にイベントが発生した際に、センサデータをデータ解析サーバ（２）へ送信し、データ解析サーバ（２）は、センサデータに基づいて、車両に発生したイベントの内容を識別し、識別結果をドライブレコーダ（１）へ送信し、ドライブレコーダ（１）は、識別結果で示される識別されたイベントが所定のイベントであるか否かを判定し、識別されたイベントが所定のイベントであると判定した場合、識別に用いたセンサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定し、特定した映像データを映像蓄積サーバ（３）へ送信する。

Description

情報処理方法、情報処理装置、情報処理プログラム及び情報処理システム
　本開示は、車両に設置されたセンサにより取得されたセンサデータに対して処理を行う技術に関するものである。
　従来、車両の加速度が所定の閾値を超えた際に危険な状況が発生したと判定し、危険な状況が発生した時点の前後に撮影された画像情報を記憶するドライブレコーダが知られている。しかしながら、ドライブレコーダで記憶される画像情報の中には、実際には危険な状況が発生していない画像情報も含まれることがある。
　そこで、例えば、特許文献１では、処理対象が含まれた画像によって学習させたニューラルネットワークに、撮像部において撮像した画像を入力し、当該ニューラルネットワークからの出力をもとに、撮像部において撮像した画像に処理対象が含まれているか否かを判定し、画像に処理対象が含まれていることを判定した場合、撮像部において撮像した画像を送信する撮像装置が開示されている。
　しかしながら、上記従来の技術では、撮像装置で用いられる画像データはデータ量が多く、撮像装置の処理負荷が大きくなり、更なる改善が必要とされていた。
特開２０１８－１２５７７７号公報
　本開示は、上記の問題を解決するためになされたもので、情報処理システムの処理負荷を軽減することができる技術を提供することを目的とするものである。
　本開示の一態様に係る情報処理方法は、情報処理システムにおける情報処理方法であって、車両の周囲を撮影するカメラから映像データを取得し、前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得し、前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与し、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別し、前記識別したイベントが所定のイベントであるか否かを判定し、前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定し、前記特定した映像データを送信する。
　本開示によれば、映像データに比べてデータ量が少ないセンサデータに基づいて車両に発生したイベントの内容が識別されるので、情報処理システムの処理負荷を軽減することができる。また、所定のイベントが発生した際の映像データのみが送信されるので、不要な映像データが送信されるのを防止し、データ通信量及びデータ通信費を削減することができる。
本実施の形態１における情報処理システムの全体構成を概念的に示す図である。 本実施の形態１におけるドライブレコーダの構成を示すブロック図である。 本実施の形態１におけるデータ解析サーバの構成を示すブロック図である。 本実施の形態１における映像蓄積サーバの構成を示すブロック図である。 本実施の形態１における情報処理システムの処理を説明するための第１のフローチャートである。 本実施の形態１における情報処理システムの処理を説明するための第２のフローチャートである。 本実施の形態１において、危険運転イベントの１つである急ブレーキが行われた際に計測されるＸ軸方向、Ｙ軸方向及びＺ軸方向の加速度と時刻との関係を示す図である。 本実施の形態１において、道路上の隆起を車両が乗り上げた際に計測されるＸ軸方向、Ｙ軸方向及びＺ軸方向の加速度と時刻との関係を示す図である。 本実施の形態２における情報処理システムの全体構成を概念的に示す図である。 本実施の形態２における携帯端末の構成を示すブロック図である。 本実施の形態２における情報処理システムの処理を説明するための第１のフローチャートである。 本実施の形態２における情報処理システムの処理を説明するための第２のフローチャートである。
　（本開示の基礎となった知見）
　一般的に、画像データはデータ量が多い。そのため、上記の従来技術では、実用的な精度を実現するために必要な学習データの量が多くなり、学習時間も非常に長くなるおそれがある。また、データ量が多い画像データを入力データとして扱う場合、実用的な精度を実現するためには、複雑なモデルを作成する必要がある。
　そのため、上記従来の技術では、撮像装置で用いられる画像データはデータ量が多く、撮像装置の処理負荷が大きくなる。
　以上の課題を解決するために、本開示の一態様に係る情報処理方法は、情報処理システムにおける情報処理方法であって、車両の周囲を撮影するカメラから映像データを取得し、前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得し、前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与し、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別し、前記識別したイベントが所定のイベントであるか否かを判定し、前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定し、前記特定した映像データを送信する。
　この構成によれば、映像データに比べてデータ量が少ないセンサデータに基づいて車両に発生したイベントの内容が識別されるので、情報処理システムの処理負荷を軽減することができる。また、所定のイベントが発生した際の映像データのみが送信されるので、不要な映像データが送信されるのを防止し、データ通信量及びデータ通信費を削減することができる。
　また、上記の情報処理方法において、前記イベントの識別において、前記センサデータを入力とし、前記イベントの内容を出力とし、機械学習により生成された識別モデルに、前記センサデータを入力することで前記イベントの内容を識別してもよい。
　この構成によれば、センサデータを入力とし、イベントの内容を出力とし、機械学習により生成された識別モデルに、センサデータが入力されることでイベントの内容が識別される。映像データを識別モデルの入力データとして用いる場合、映像データはデータ量が多いため、実用的な精度を実現するためには、識別モデルは複雑なモデルとなり、学習に必要な入力データのデータ量も多くなり、識別モデルの学習時間も長くなる。一方、センサデータを識別モデルの入力データとして用いる場合、センサデータは映像データに比べてデータ量が少ないため、識別モデルは簡単なモデルとなり、学習に必要な入力データのデータ量も削減することができ、識別モデルの学習時間も短くすることができる。
　また、上記の情報処理方法において、前記所定のイベントは、危険運転を示すイベント、前記車両の衝突を示すイベント、道路の整備状況を示すイベント及び前記車両の不具合を示すイベントのうちの少なくとも１つを含んでもよい。
　この構成によれば、危険運転を示すイベントが発生した際の映像データ、車両の衝突を示すイベントが発生した際の映像データ、道路の整備状況を示すイベントが発生した際の映像データ及び車両の不具合を示すイベントが発生した際の映像データのうちの少なくとも１つを蓄積することができる。
　また、上記の情報処理方法において、さらに、前記センサデータに基づいて、前記イベントが発生したか否かを判定し、前記イベントの識別において、前記イベントが発生したと判定した場合、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別してもよい。
　この構成によれば、まず、センサデータに基づいて、イベントが発生したか否かが判定される。そして、イベントが発生したと判定した場合、センサデータに基づいて、車両に発生したイベントが識別される。したがって、全てのセンサデータに基づいてイベントの内容が識別されるのではなく、イベントが発生したと判定された際のセンサデータのみに基づいてイベントの内容が識別されるので、識別処理に要する時間を短縮することができる。
　また、上記の情報処理方法において、前記情報処理システムは、前記車両に着脱可能な携帯端末を備え、前記センサデータの取得において、前記車両に取り付けられた前記携帯端末から前記センサデータを取得し、さらに、前記携帯端末の姿勢を取得し、さらに、取得した前記姿勢に基づいて、取得した前記センサデータを補正してもよい。
　車両に着脱可能な携帯端末の姿勢は、車両に取り付ける毎に変化するおそれがある。しかしながら、上記の構成によれば、携帯端末の姿勢が取得され、取得された姿勢に基づいて、取得されたセンサデータが補正される。したがって、携帯端末を用いて映像データ及びセンサデータを取得することができる。
　また、上記の情報処理方法において、前記情報処理システムは、前記車両に搭載された端末装置と、前記端末装置に通信可能に接続されたサーバとを備え、さらに、前記端末装置が、取得した前記センサデータを前記サーバへ送信し、さらに、前記サーバが、前記センサデータを受信し、前記イベントの識別において、前記サーバが、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別し、さらに、前記サーバが、識別結果を送信し、さらに、前記端末装置が、前記サーバによって送信された前記識別結果を受信し、前記判定において、前記端末装置が、前記識別結果で示される前記識別したイベントが所定のイベントであるか否かを判定してもよい。
　この構成によれば、車両に搭載された端末装置ではなく、ネットワーク上のサーバが、センサデータに基づいて、車両に発生したイベントの内容を識別するので、識別処理に必要なソフトウエアを容易に更新することができ、ユーザの負担を軽減することができる。
　本開示の他の態様に係る情報処理装置は、車両の周囲を撮影するカメラから映像データを取得する映像データ取得部と、前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得するセンサデータ取得部と、前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与する時刻情報付与部と、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する識別部と、前記識別したイベントが所定のイベントであるか否かを判定する判定部と、前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定する特定部と、前記特定した映像データを送信する送信部と、を備える。
　この構成によれば、映像データに比べてデータ量が少ないセンサデータに基づいて車両に発生したイベントの内容が識別されるので、情報処理装置の処理負荷を軽減することができる。また、所定のイベントが発生した際の映像データのみが送信されるので、不要な映像データが送信されるのを防止し、データ通信量及びデータ通信費を削減することができる。
　本開示の他の態様に係る情報処理プログラムは、車両の周囲を撮影するカメラから映像データを取得する映像データ取得部と、前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得するセンサデータ取得部と、前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与する時刻情報付与部と、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する識別部と、前記識別したイベントが所定のイベントであるか否かを判定する判定部と、前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定する特定部と、前記特定した映像データを送信する送信部としてコンピュータを機能させる。
　この構成によれば、映像データに比べてデータ量が少ないセンサデータに基づいて車両に発生したイベントの内容が識別されるので、コンピュータの処理負荷を軽減することができる。また、所定のイベントが発生した際の映像データのみが送信されるので、不要な映像データが送信されるのを防止し、データ通信量及びデータ通信費を削減することができる。
　本開示の他の態様に係る情報処理システムは、車両に搭載された端末装置と、前記端末装置と通信可能に接続されたデータ解析サーバと、前記端末装置と通信可能に接続された映像蓄積サーバとを備える情報処理システムであって、前記端末装置は、前記車両の周囲を撮影するカメラから映像データを取得する映像データ取得部と、前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得するセンサデータ取得部と、前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与する時刻情報付与部と、前記車両にイベントが発生した際に、前記センサデータを前記データ解析サーバへ送信するセンサデータ送信部と、を備え、前記データ解析サーバは、前記端末装置によって送信された前記センサデータを受信するセンサデータ受信部と、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する識別部と、識別結果を送信する識別結果送信部と、を備え、前記端末装置は、前記データ解析サーバによって送信された前記識別結果を受信する識別結果受信部と、前記識別結果で示される前記識別されたイベントが所定のイベントであるか否かを判定する判定部と、前記識別されたイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定する特定部と、前記特定された映像データを前記映像蓄積サーバへ送信する映像データ送信部と、を備え、前記映像蓄積サーバは、前記端末装置によって送信された前記映像データを受信する映像データ受信部と、前記映像データを記憶する映像データ記憶部と、を備える。
　この構成によれば、映像データに比べてデータ量が少ないセンサデータに基づいて車両に発生したイベントの内容が識別されるので、情報処理システムの処理負荷を軽減することができる。また、所定のイベントが発生した際の映像データのみが送信されるので、不要な映像データが送信されるのを防止し、データ通信量及びデータ通信費を削減することができる。
　以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
　（実施の形態１）
　図１は、本実施の形態１における情報処理システムの全体構成を概念的に示す図である。
　図１に示す情報処理システムは、ドライブレコーダ１と、データ解析サーバ２と、映像蓄積サーバ３とを備える。ドライブレコーダ１は、端末装置の一例であり、車両に搭載される。データ解析サーバ２は、サーバの一例であり、ネットワーク４を介してドライブレコーダ１と互いに通信可能に接続されている。ネットワーク４は、例えば、インターネットである。映像蓄積サーバ３は、ネットワーク４を介してドライブレコーダ１と互いに通信可能に接続されている。
　ドライブレコーダ１は、車両の進行方向を撮影した映像データを取得する。ドライブレコーダ１は、車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得する。ドライブレコーダ１は、映像データ及びセンサデータにタイムスタンプを付与する。ドライブレコーダ１は、タイムスタンプを付与した映像データ及びセンサデータを記憶する。ドライブレコーダ１は、イベントが発生すると、イベントが発生した時点から所定時間前までの第１の期間と、イベントが発生した時点から所定時間後までの第２の期間とを含む第３の期間のセンサデータ群をデータ解析サーバ２へ送信する。ドライブレコーダ１は、発生したイベントが所定のイベントであると判定した場合、記憶した映像データ群を映像蓄積サーバ３へ送信する。
　データ解析サーバ２は、ドライブレコーダ１から受信したセンサデータに基づいて、車両に発生したイベントの内容を識別する。具体的には、データ解析サーバ２は、ドライブレコーダ１から受信したセンサデータ群を、機械学習により生成された識別モデルに入力し、識別モデルから出力されるイベントの内容を識別結果として取得する。データ解析サーバ２は、識別結果をドライブレコーダ１へ送信する。
　映像蓄積サーバ３は、ドライブレコーダ１によって送信された映像データを記憶する。具体的には、映像蓄積サーバ３は、所定のイベントが発生した際の映像データ群を記憶する。
　以下に、ドライブレコーダ１、データ解析サーバ２及び映像蓄積サーバ３の構成について、詳細に説明する。
　図２は、本実施の形態１におけるドライブレコーダの構成を示すブロック図である。
　ドライブレコーダ１は、例えば、車両のフロントガラス又はダッシュボードに取り付けられている。ドライブレコーダ１は、カメラ１１、加速度センサ１２、位置測定部１３、プロセッサ１４、メモリ１５及び通信部１６を備える。
　カメラ１１は、車両の周囲を撮影する。具体的に、カメラ１１は、車両の前方を撮影する。なお、カメラ１１は、車両の左方、右方及び後方を撮影してもよい。
　加速度センサ１２は、例えば、３軸加速度センサであり、車両の左右方向を示すＸ軸方向、車両の前後方向を示すＹ軸方向及び車両の垂直方向を示すＺ軸方向の加速度を測定する。
　位置測定部１３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機であり、ドライブレコーダ１の位置情報、すなわち、車両の位置情報を測定する。なお、位置情報は、緯度及び経度で表される。位置測定部１３によって測定される位置情報は、車両の速度を算出するために用いられる。例えば、第１の位置と第２の位置との間の距離と、第１の位置から第２の位置までの移動時間とが分かれば、第１の位置から第２の位置までの車両の移動速度を算出することができる。
　プロセッサ１４は、例えばＣＰＵ（中央演算処理装置）であり、映像データ取得部１４１、センサデータ取得部１４２、タイムスタンプ付与部１４３、イベント発生検知部１４４、イベント判定部１４５及び映像データ特定部１４６を備える。
　メモリ１５は、例えば半導体メモリであり、映像データ記憶部１５１及びセンサデータ記憶部１５２を備える。
　映像データ取得部１４１は、カメラ１１から映像データを取得する。
　センサデータ取得部１４２は、車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得する。センサデータ取得部１４２は、加速度センサ１２から車両の加速度を取得する。また、センサデータ取得部１４２は、位置測定部１３から車両の位置情報を取得し、取得した位置情報に基づいて、車両の速度を算出する。
　なお、本実施の形態１において、ドライブレコーダ１は、角速度を測定するジャイロセンサを備えてもよい。センサデータ取得部１４２は、ジャイロセンサから角速度を取得してもよい。
　また、本実施の形態１において、センサデータ取得部１４２は、車両の加速度及び速度を取得しているが、本開示は特にこれに限定されず、センサデータ取得部１４２は、車両の加速度のみを取得してもよい。また、センサデータ取得部１４２は、Ｘ軸方向の加速度、Ｙ軸方向の加速度及びＺ軸方向の加速度のいずれか１つを取得してもよいが、Ｘ軸方向の加速度、Ｙ軸方向の加速度及びＺ軸方向の加速度を取得することが好ましい。
　また、本実施の形態１において、センサデータ取得部１４２は、位置測定部１３から取得した車両の位置情報から車両の速度を算出しているが、本開示は特にこれに限定されず、直接車両から速度を取得してもよい。この場合、ドライブレコーダ１は、位置測定部１３を備えなくてもよい。
　タイムスタンプ付与部１４３は、取得された映像データとセンサデータとのそれぞれに、取得した時刻を示すタイムスタンプ（時刻情報）を付与する。タイムスタンプ付与部１４３は、タイムスタンプを付与した映像データを映像データ記憶部１５１に記憶すると共に、タイムスタンプを付与したセンサデータをセンサデータ記憶部１５２に記憶する。
　映像データ記憶部１５１は、映像データ取得部１４１によって取得されると共に、タイムスタンプ付与部１４３によってタイムスタンプが付与された映像データを記憶する。
　センサデータ記憶部１５２は、センサデータ取得部１４２によって取得されると共に、タイムスタンプ付与部１４３によってタイムスタンプが付与されたセンサデータを記憶する。
　イベント発生検知部１４４は、センサデータ取得部１４２によって取得されたセンサデータに基づいて、イベントが発生したか否かを判定する。具体的には、イベント発生検知部１４４は、Ｘ軸の加速度、Ｙ軸の加速度及びＺ軸の加速度のうちの少なくとも１つが閾値を超えた場合、イベントが発生したと判定する。
　通信部１６は、イベント発生検知部１４４によってイベントが発生したと判定された場合、センサデータをデータ解析サーバ２へ送信する。このとき、通信部１６は、イベントが発生した時点を基準とする所定期間のセンサデータ群をデータ解析サーバ２へ送信する。より具体的には、通信部１６は、イベントが発生した時点から所定時間前までの第１の期間と、イベントが発生した時点から所定時間後までの第２の期間とを含む第３の期間のセンサデータ群をデータ解析サーバ２へ送信する。例えば、通信部１６は、イベントが発生した時点から１０秒前までの第１の期間と、イベントが発生した時点から５秒後までの第２の期間とを含む第３の期間のセンサデータ群をデータ解析サーバ２へ送信する。
　通信部１６は、データ解析サーバ２によって送信されたイベントの内容の識別結果を受信する。
　イベント判定部１４５は、データ解析サーバ２によって識別されたイベントが所定のイベントであるか否かを判定する。イベント判定部１４５は、通信部１６によって受信された識別結果で示されるイベントが所定のイベントであるか否かを判定する。ここで、所定のイベントは、危険運転を示すイベント、車両の衝突を示すイベント、道路の整備状況を示すイベント及び車両の不具合を示すイベントのうちの少なくとも１つを含む。
　映像データ特定部１４６は、識別されたイベントが所定のイベントであると判定された場合、識別に用いたセンサデータに付与されているタイムスタンプ（時刻情報）と同じタイムスタンプ（時刻情報）が付与されている映像データを特定する。すなわち、映像データ特定部１４６は、イベント判定部１４５によって発生したイベントが所定のイベントであると判定された場合、識別に用いたセンサデータ群に付与されているタイムスタンプと同じタイムスタンプが付与されている映像データ群を特定する。
　通信部１６は、映像データ特定部１４６によって特定された映像データを映像蓄積サーバ３へ送信する。すなわち、通信部１６は、映像データ特定部１４６によって特定された映像データ群を映像蓄積サーバ３へ送信する。
　図３は、本実施の形態１におけるデータ解析サーバの構成を示すブロック図である。
　データ解析サーバは、通信部２１、プロセッサ２２及びメモリ２３を備える。
　通信部２１は、ドライブレコーダ１によって送信されたセンサデータを受信する。すなわち、通信部２１は、ドライブレコーダ１によって送信されたセンサデータ群を受信する。
　プロセッサ２２は、例えばＣＰＵであり、イベント識別部２２１を備える。
　メモリ２３は、例えば半導体メモリ又はハードディスクドライブであり、識別モデル記憶部２３１を備える。
　識別モデル記憶部２３１は、センサデータを入力とし、イベントの内容を出力とし、機械学習により生成された識別モデルを予め記憶する。なお、機械学習としては、例えば、多層ニューラルネットワークを用いたディープラーニングが用いられる。
　イベント識別部２２１は、センサデータに基づいて、車両に発生したイベントの内容を識別する。イベント識別部２２１は、識別モデル記憶部２３１に記憶されている識別モデルに、センサデータを入力することでイベントの内容を識別する。イベント識別部２２１は、識別モデルにセンサデータ群を入力し、識別モデルから出力されるイベントの内容を識別結果として取得する。
　なお、本実施の形態１において、イベント識別部２２１は、機械学習された識別モデルにセンサデータ群を入力することでイベントの内容を識別しているが、本開示は特にこれに限定されず、メモリ２３は、イベントの内容と、センサデータ群の波形を示す波形データとを対応付けて記憶してもよい。この場合、イベント識別部２２１は、受信されたセンサデータ群の波形と、メモリ２３に記憶されている波形データとのパターンマッチングを行い、一致する波形データに対応付けられているイベントの内容を識別結果として取得してもよい。
　また、本実施の形態１において、識別モデル記憶部２３１は、識別するイベントの内容に応じて複数の識別モデルを記憶してもよい。例えば、識別モデル記憶部２３１は、危険運転イベントを識別するための第１の識別モデル及び衝突イベントを識別するための第２の識別モデルを記憶してもよい。
　通信部２１は、イベント識別部２２１による識別結果をドライブレコーダ１へ送信する。
　図４は、本実施の形態１における映像蓄積サーバの構成を示すブロック図である。
　映像蓄積サーバ３は、通信部３１、プロセッサ３２及びメモリ３３を備える。
　通信部３１は、ドライブレコーダ１によって送信された映像データを受信する。ドライブレコーダ１によって送信された映像データは、所定のイベントが発生した時点を基準に取得された映像データである。
　プロセッサ３２は、例えばＣＰＵであり、映像データ管理部３２１を備える。
　映像データ管理部３２１は、通信部３１によって受信された映像データを映像データ記憶部３３１に記憶する。すなわち、映像データ管理部３２１は、所定のイベントが発生した時点を基準に取得された映像データ群を映像データ記憶部３３１に記憶する。
　メモリ３３は、例えば半導体メモリ又はハードディスクドライブであり、映像データ記憶部３３１を備える。
　映像データ記憶部３３１は、映像データを記憶する。映像データ記憶部３３１に記憶されている映像データは、所定のイベントが発生した時点を基準に取得された映像データである。映像データは、例えば、運転評価、動態管理又は安全運転のサポートなどに利用される。
　図５は、本実施の形態１における情報処理システムの処理を説明するための第１のフローチャートであり、図６は、本実施の形態１における情報処理システムの処理を説明するための第２のフローチャートである。
　まず、ステップＳ１において、ドライブレコーダ１の映像データ取得部１４１は、カメラ１１から映像データを取得する。
　次に、ステップＳ２において、センサデータ取得部１４２は、車両の加速度及び速度を含むセンサデータを取得する。このとき、センサデータ取得部１４２は、加速度センサ１２からＸ軸方向の加速度、Ｙ軸方向の加速度及びＺ軸方向の加速度を取得する。また、センサデータ取得部１４２は、位置測定部１３から車両の位置を取得し、今回取得した位置と前回取得した位置との間の距離を算出し、算出した距離を取得時間間隔で除算することにより、車両の速度を算出する。
　次に、ステップＳ３において、タイムスタンプ付与部１４３は、映像データ取得部１４１によって取得された映像データと、センサデータ取得部１４２によって取得されたセンサデータとのそれぞれに、取得された時刻を示すタイムスタンプを付与する。
　次に、ステップＳ４において、タイムスタンプ付与部１４３は、タイムスタンプを付与した映像データを映像データ記憶部１５１に記憶する。
　次に、ステップＳ５において、タイムスタンプ付与部１４３は、タイムスタンプを付与したセンサデータをセンサデータ記憶部１５２に記憶する。
　次に、ステップＳ５において、イベント発生検知部１４４は、センサデータ取得部１４２によって取得されたセンサデータに基づいて、イベントが発生したか否かを判定する。このとき、イベント発生検知部１４４は、Ｘ軸の加速度、Ｙ軸の加速度及びＺ軸の加速度のうちの少なくとも１つが閾値を超えたか否かを判定する。そして、イベント発生検知部１４４は、Ｘ軸の加速度、Ｙ軸の加速度及びＺ軸の加速度のうちのいずれも閾値を超えていないと判定した場合、イベントが発生していないと判定する。また、イベント発生検知部１４４は、Ｘ軸の加速度、Ｙ軸の加速度及びＺ軸の加速度のうちの少なくとも１つが閾値を超えたと判定した場合、イベントが発生したと判定する。
　ここで、イベントが発生していないと判定された場合（ステップＳ６でＮＯ）、ステップＳ１に処理が戻る。
　一方、イベントが発生したと判定された場合（ステップＳ６でＹＥＳ）、ステップＳ７において、イベント発生検知部１４４は、所定期間の映像データ及びセンサデータを取得したか否かを判断する。ここで、所定期間とは、イベントが発生した時点から所定時間前までの第１の期間と、イベントが発生した時点から所定時間後までの第２の期間とを合わせた期間である。例えば、イベント発生検知部１４４は、イベントが発生した時点から１０秒前までの第１の期間と、イベントが発生した時点から５秒後までの第２の期間とを合わせた１５秒間の映像データ及びセンサデータを取得したか否かを判断する。
　ここで、所定期間の映像データ及びセンサデータを取得していないと判定された場合（ステップＳ７でＮＯ）、ステップＳ１に処理が戻る。
　一方、所定期間の映像データ及びセンサデータを取得したと判定された場合（ステップＳ７でＹＥＳ）、ステップＳ８において、通信部１６は、所定期間内に取得されたセンサデータ群をデータ解析サーバ２へ送信する。
　次に、ステップＳ９において、データ解析サーバ２の通信部２１は、ドライブレコーダ１によって送信されたセンサデータ群を受信する。
　次に、ステップＳ１０において、イベント識別部２２１は、通信部２１によって受信されたセンサデータ群に基づいて、車両に発生したイベントの内容を識別する。このとき、イベント識別部２２１は、識別モデル記憶部２３１に記憶されている識別モデルにセンサデータ群を入力し、識別モデルから出力されるイベントの内容を識別結果として取得する。
　次に、ステップＳ１１において、通信部２１は、イベント識別部２２１によるイベント内容の識別結果をドライブレコーダ１へ送信する。
　次に、ステップＳ１２において、ドライブレコーダ１の通信部１６は、データ解析サーバ２によって送信されたイベント内容の識別結果を受信する。
　次に、ステップＳ１３において、イベント判定部１４５は、通信部１６によって受信された識別結果に基づいて、識別されたイベントが所定のイベントであるか否かを判定する。このとき、所定のイベントは、映像蓄積サーバ３がどのようなイベントが発生した際の映像データを収集するかによって異なる。
　例えば、所定のイベントが危険運転を示すイベントであれば、イベント判定部１４５は、識別されたイベントが、危険運転を示すイベント、すなわち、急ブレーキを示すイベント、急ハンドルを示すイベント及び急加速を示すイベントのいずれかであるか否かを判定する。
　また、例えば、所定のイベントが衝突を示すイベントであれば、イベント判定部１４５は、識別されたイベントが衝突を示すイベントであるか否かを判定する。
　また、例えば、所定のイベントが道路の整備状況を示すイベントであれば、イベント判定部１４５は、識別されたイベントが道路の不良を示すイベントであるか否かを判定する。所定のイベントが道路の整備状況を示すイベントであると判定され場合、センサデータに位置情報を含めることが好ましい。これにより、道路が不良である位置を特定することができる。
　また、例えば、所定のイベントが車両の不具合を示すイベントであれば、イベント判定部１４５は、識別されたイベントが車両の不具合を示すイベントであるか否かを判定する。車両の不具合としては、例えば、車両のタイヤの空気圧が低い状態を示す。この場合、メモリ２３は、他の車両のセンサデータに基づいて道路上の隆起を通過したと識別された位置を予め記憶してもよい。そして、イベント識別部２２１は、他の車両が道路上の隆起を通過していないにもかかわらず、車両が道路上の隆起を通過したと識別された場合、車両のタイヤの空気圧が低い状態であると判定してもよい。
　ここで、識別されたイベントが所定のイベントではないと判定された場合（ステップＳ１３でＮＯ）、ステップＳ１に処理が戻る。
　一方、識別されたイベントが所定のイベントであると判定された場合（ステップＳ１３でＹＥＳ）、ステップＳ１４において、映像データ特定部１４６は、識別に用いたセンサデータ群に付与されているタイムスタンプと同じタイムスタンプが付与されている映像データ群を映像データ記憶部１５１の中から特定する。
　次に、ステップＳ１５において、通信部１６は、映像データ特定部１４６によって特定された映像データ群と、識別に用いたセンサデータ群とを映像蓄積サーバ３へ送信する。
　次に、ステップＳ１６において、映像蓄積サーバ３の通信部３１は、ドライブレコーダ１によって送信された映像データ群及びセンサデータ群を受信する。
　次に、ステップＳ１７において、映像データ管理部３２１は、通信部３１によって受信された映像データ群及びセンサデータ群を映像データ記憶部３３１に記憶する。
　本実施の形態１によれば、映像データに比べてデータ量が少ないセンサデータに基づいて車両に発生したイベントの内容が識別されるので、情報処理システムの処理負荷を軽減することができる。また、所定のイベントが発生した際の映像データのみが送信されるので、不要な映像データが送信されるのを防止し、データ通信量及びデータ通信費を削減することができる。
　なお、本実施の形態１では、情報処理システムは、データ解析サーバ２及び映像蓄積サーバ３を備えているが、本開示は特にこれに限定されず、データ解析サーバ２及び映像蓄積サーバ３の機能を備えた１つのサーバを備えてもよい。この場合、サーバは、既にセンサデータ群を取得しているので、ステップＳ１５において、ドライブレコーダ１の通信部１６は、映像データ群のみを映像蓄積サーバ３へ送信する。映像蓄積サーバ３の通信部３１は、ドライブレコーダ１によって送信された映像データ群を受信する。そして、映像データ管理部３２１は、通信部３１によって受信された映像データ群と、識別に用いたセンサデータ群とを映像データ記憶部３３１に記憶する。
　また、本実施の形態１において、ドライブレコーダ１の通信部１６は、映像データ群及びセンサデータ群を映像蓄積サーバ３へ送信しているが、本開示は特にこれに限定されず、映像データ群及びセンサデータ群に加えて、イベントの識別結果、すなわちイベントの内容を映像蓄積サーバ３へ送信してもよい。映像蓄積サーバ３の映像データ管理部３２１は、通信部３１によって受信された映像データ群、センサデータ群及びイベントの識別結果を映像データ記憶部３３１に記憶してもよい。
　続いて、本実施の形態１におけるイベントの識別についてさらに説明する。
　図７は、本実施の形態１において、危険運転イベントの１つである急ブレーキが行われた際に計測されるＸ軸方向、Ｙ軸方向及びＺ軸方向の加速度と時刻との関係を示す図である。図７において、縦軸は加速度［Ｇ］を示し、横軸は時刻［ｓｅｃ］を示す。また、実線は、Ｘ軸方向の加速度を示し、破線は、Ｙ軸方向の加速度を示し、一点鎖線は、Ｚ軸方向の加速度を示す。また、時刻０［ｓｅｃ］は、イベントが発生したと判定された時刻を示す。
　図７に示すように、急ブレーキが行われた場合、Ｙ軸方向の加速度が、閾値を超えたと判定され、センサデータ群がデータ解析サーバ２へ送信される。そして、図７に示すセンサデータ群が識別モデルに入力された場合、急ブレーキのイベントが発生したと識別される。
　図８は、本実施の形態１において、道路上の隆起を車両が乗り上げた際に計測されるＸ軸方向、Ｙ軸方向及びＺ軸方向の加速度と時刻との関係を示す図である。図８において、縦軸は加速度［Ｇ］を示し、横軸は時刻［ｓｅｃ］を示す。また、実線は、Ｘ軸方向の加速度を示し、破線は、Ｙ軸方向の加速度を示し、一点鎖線は、Ｚ軸方向の加速度を示す。また、時刻０［ｓｅｃ］は、イベントが発生したと判定された時刻を示す。
　図８に示すように、道路上の隆起を車両が乗り上げた場合、Ｘ軸方向の加速度が、閾値を超えたと判定され、センサデータ群がデータ解析サーバ２へ送信される。そして、図８に示すセンサデータ群が識別モデルに入力された場合、通常イベントが発生したと識別される。道路上の隆起を車両が乗り上げた際に撮影された映像は、映像蓄積サーバ３に記憶すべき映像ではない。そのため、道路上の隆起を車両が乗り上げたことを示すセンサデータ群が識別モデルに入力された場合、通常イベントが発生したと識別される。通常イベントは所定のイベントではない。そのため、イベント判定部１４５は、通信部１６によって受信された識別結果で示されるイベントが通常イベントである場合、イベントが所定のイベントではないと判定する。
　また、車両がループ状の道路を移動する場合、ハンドルは一定方向に切り続けられるため、Ｘ軸方向の加速度が、閾値を超えたと判定され、センサデータ群がデータ解析サーバ２へ送信される。このように、車両がループ状の道路を移動していることを示すセンサデータ群が識別モデルに入力された場合も、通常イベントが発生したと識別される。
　また、車両が衝突した場合、Ｘ軸方向の加速度及びＹ軸方向の加速度が、閾値を超えたと判定され、センサデータ群がデータ解析サーバ２へ送信される。そして、このセンサデータ群が識別モデルに入力された場合、衝突イベントが発生したと識別される。
　なお、本実施の形態１において、イベント識別部２２１は、衝突イベントを識別するだけでなく、衝突の程度を識別してもよい。すなわち、イベント識別部２２１は、Ｘ軸方向、Ｙ軸方向及びＺ軸方向の加速度の最大値に応じて、衝突の程度が「大」、「中」及び「小」のいずれであるかを識別してもよい。
　また、道路上の隆起を車両が乗り上げた場合、Ｘ軸方向の加速度が、閾値を超えたと判定され、センサデータ群がデータ解析サーバ２へ送信される。そして、このセンサデータ群が識別モデルに入力された場合、通常イベントが発生したと識別される。道路上の隆起を車両が乗り上げた際に撮影された映像は、映像蓄積サーバ３に記憶すべき映像ではない。そのため、道路上の隆起を車両が乗り上げたことを示すセンサデータ群が識別モデルに入力された場合、通常イベントが発生したと識別される。通常イベントは所定のイベントではない。そのため、イベント判定部１４５は、通信部１６によって受信された識別結果で示されるイベントが通常イベントである場合、イベントが所定のイベントではないと判定する。
　なお、本実施の形態１では、センサデータは、３軸の加速度及び速度を含んでいるが、本開示は特にこれに限定されず、ブレーキの有無を示すデータ、右ウインカーの有無を示すデータ及び左ウインカーの有無を示すデータを含んでもよい。
　また、本実施の形態１における情報処理システムは、ドライブレコーダ１と、データ解析サーバ２と、映像蓄積サーバ３とを備えているが、本開示は特にこれに限定されず、データ解析サーバ２を備えず、ドライブレコーダ１と映像蓄積サーバ３とを備えてもよい。この場合、ドライブレコーダ１がデータ解析サーバ２のイベント識別部及び識別モデル記憶部を備えてもよい。この場合、イベント識別部は、イベント発生検知部１４４によってイベントが発生したと判定された場合、センサデータに基づいて、車両に発生したイベントの内容を識別する。
　（実施の形態２）
　実施の形態１の情報処理システムは、予め車両に固定されたドライブレコーダ１を備えているが、実施の形態２の情報処理システムは、ドライブレコーダ１に替えて、車両に着脱可能な携帯端末を備える。
　図９は、本実施の形態２における情報処理システムの全体構成を概念的に示す図である。
　図９に示す情報処理システムは、携帯端末１Ａと、データ解析サーバ２と、映像蓄積サーバ３とを備える。携帯端末１Ａは、端末装置の一例であり、車両に着脱可能である。データ解析サーバ２は、ネットワーク４を介して携帯端末１Ａと互いに通信可能に接続されている。映像蓄積サーバ３は、ネットワーク４を介して携帯端末１Ａと互いに通信可能に接続されている。なお、本実施の形態２において、実施の形態１と同じ構成については同じ符号を付し説明を省略する。
　実施の形態１のドライブレコーダ１は車両に固定されているため、車両に対するドライブレコーダ１の姿勢が変化することはない。一方、実施の形態２の携帯端末１Ａは、着脱可能であるため、携帯端末１Ａを車両に取り付ける毎に、車両に対する携帯端末１Ａの姿勢が変化するおそれがある。そこで、携帯端末１Ａは、携帯端末１Ａの姿勢を取得し、取得した姿勢に基づいて、取得したセンサデータを補正する。
　図１０は、本実施の形態２における携帯端末の構成を示すブロック図である。
　携帯端末１Ａは、例えば、スマートフォンである。携帯端末１Ａは、例えば、車両のダッシュボードに取り付けられている。携帯端末１Ａは、カメラ１１、加速度センサ１２、位置測定部１３、プロセッサ１４Ａ、メモリ１５、通信部１６及びジャイロセンサ１７を備える。
　ジャイロセンサ１７は、携帯端末１Ａの姿勢を検出する。携帯端末１Ａの姿勢は、携帯端末１Ａの角速度で表される。ジャイロセンサ１７は、例えば、３軸ジャイロセンサであり、携帯端末１ＡのＸ軸周りの角速度、Ｙ軸周りの角速度及びＺ軸周りの角速度を検出する。
　プロセッサ１４Ａは、例えばＣＰＵであり、映像データ取得部１４１、センサデータ取得部１４２、タイムスタンプ付与部１４３、イベント発生検知部１４４、イベント判定部１４５、映像データ特定部１４６及び前処理部１４７を備える。
　前処理部１４７は、ジャイロセンサ１７から携帯端末１Ａの姿勢を取得する。すなわち、前処理部１４７は、ジャイロセンサ１７から携帯端末１ＡのＸ軸周りの角速度、Ｙ軸周りの角速度及びＺ軸周りの角速度を取得する。前処理部１４７は、取得した姿勢に基づいて、取得したセンサデータを補正する。携帯端末１Ａには、基準となる取り付け姿勢がある。前処理部１４７は、取得した携帯端末１ＡのＸ軸周りの角速度、Ｙ軸周りの角速度及びＺ軸周りの角速度から、携帯端末１Ａが基準姿勢からＸ軸周り、Ｙ軸周り及びＺ軸周りにどの程度傾いているかを算出する。そして、前処理部１４７は、算出した傾き角度に応じて加速度センサ１２によって検出されたＸ軸方向、Ｙ軸方向及びＺ軸方向の加速度を補正する。
　タイムスタンプ付与部１４３は、映像データ取得部１４１によって取得された映像データと、前処理部１４７によって補正されたセンサデータとのそれぞれに、取得した時刻を示すタイムスタンプを付与する。
　図１１は、本実施の形態２における情報処理システムの処理を説明するための第１のフローチャートであり、図１２は、本実施の形態２における情報処理システムの処理を説明するための第２のフローチャートである。
　図１１に示すステップＳ２１及びステップＳ２２の処理は、図５に示すステップＳ１及びステップＳ２の処理と同じであるので、説明を省略する。
　次に、ステップＳ２３において、携帯端末１Ａの前処理部１４７は、ジャイロセンサ１７から携帯端末１Ａの姿勢を取得する。このとき、前処理部１４７は、ジャイロセンサ１７から携帯端末１ＡのＸ軸周りの角速度、Ｙ軸周りの角速度及びＺ軸周りの角速度を取得する。
　次に、ステップＳ２４において、前処理部１４７は、取得した携帯端末１Ａの姿勢に基づいて、センサデータ取得部１４２によって取得されたセンサデータを補正する。具体的には、前処理部１４７は、取得した携帯端末１ＡのＸ軸周りの角速度、Ｙ軸周りの角速度及びＺ軸周りの角速度に基づいて、センサデータ取得部１４２によって取得されたＸ軸方向、Ｙ軸方向及びＺ軸方向の加速度を補正する。
　次に、ステップＳ２５において、タイムスタンプ付与部１４３は、映像データ取得部１４１によって取得された映像データと、前処理部１４７によって補正されたセンサデータとのそれぞれに、取得された時刻を示すタイムスタンプを付与する。
　図１１に示すステップＳ２６～図１２に示すステップＳ３９の処理は、図５に示すステップＳ４～図６に示すステップＳ１７の処理と同じであるので、説明を省略する。
　なお、本実施の形態では、携帯端末１Ａは、センサデータを取得する毎に、携帯端末１Ａの姿勢を取得するとともに、センサデータを補正しているが、本開示は特にこれに限定されない。携帯端末１Ａは、最初にセンサデータを取得する前に、携帯端末１Ａの姿勢を取得してもよい。そして、携帯端末１Ａは、センサデータを取得する毎に、最初に取得した携帯端末１Ａの姿勢を用いてセンサデータを補正してもよい。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
　また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
　また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　本開示に係る技術は、情報処理システムの処理負荷を軽減することができるので、車両に設置されたセンサにより取得されたセンサデータに対して処理を行う技術に有用である。

Claims (9)

  1. 　情報処理システムにおける情報処理方法であって、
    　車両の周囲を撮影するカメラから映像データを取得し、
    　前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得し、
    　前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与し、
    　前記センサデータに基づいて、前記車両に発生したイベントの内容を識別し、
    　前記識別したイベントが所定のイベントであるか否かを判定し、
    　前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定し、
    　前記特定した映像データを送信する、
    　情報処理方法。
  2. 　前記イベントの識別において、前記センサデータを入力とし、前記イベントの内容を出力とし、機械学習により生成された識別モデルに、前記センサデータを入力することで前記イベントの内容を識別する、
    　請求項１記載の情報処理方法。
  3. 　前記所定のイベントは、危険運転を示すイベント、前記車両の衝突を示すイベント、道路の整備状況を示すイベント及び前記車両の不具合を示すイベントのうちの少なくとも１つを含む、
    　請求項１又は２記載の情報処理方法。
  4. 　さらに、前記センサデータに基づいて、前記イベントが発生したか否かを判定し、
    　前記イベントの識別において、前記イベントが発生したと判定した場合、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する、
    　請求項１～３のいずれか１項に記載の情報処理方法。
  5. 　前記情報処理システムは、前記車両に着脱可能な携帯端末を備え、
    　前記センサデータの取得において、前記車両に取り付けられた前記携帯端末から前記センサデータを取得し、
    　さらに、前記携帯端末の姿勢を取得し、
    　さらに、取得した前記姿勢に基づいて、取得した前記センサデータを補正する、
    　請求項１～４のいずれか１項に記載の情報処理方法。
  6. 　前記情報処理システムは、前記車両に搭載された端末装置と、前記端末装置に通信可能に接続されたサーバとを備え、
    　さらに、前記端末装置が、取得した前記センサデータを前記サーバへ送信し、
    　さらに、前記サーバが、前記センサデータを受信し、
    　前記イベントの識別において、前記サーバが、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別し、
    　さらに、前記サーバが、識別結果を送信し、
    　さらに、前記端末装置が、前記サーバによって送信された前記識別結果を受信し、
    　前記判定において、前記端末装置が、前記識別結果で示される前記識別したイベントが所定のイベントであるか否かを判定する、
    　請求項１～５のいずれか１項に記載の情報処理方法。
  7. 　車両の周囲を撮影するカメラから映像データを取得する映像データ取得部と、
    　前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得するセンサデータ取得部と、
    　前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与する時刻情報付与部と、
    　前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する識別部と、
    　前記識別したイベントが所定のイベントであるか否かを判定する判定部と、
    　前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定する特定部と、
    　前記特定した映像データを送信する送信部と、
    　を備える情報処理装置。
  8. 　車両の周囲を撮影するカメラから映像データを取得する映像データ取得部と、
    　前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得するセンサデータ取得部と、
    　前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与する時刻情報付与部と、
    　前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する識別部と、
    　前記識別したイベントが所定のイベントであるか否かを判定する判定部と、
    　前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定する特定部と、
    　前記特定した映像データを送信する送信部としてコンピュータを機能させる情報処理プログラム。
  9. 　車両に搭載された端末装置と、前記端末装置と通信可能に接続されたデータ解析サーバと、前記端末装置と通信可能に接続された映像蓄積サーバとを備える情報処理システムであって、
    　前記端末装置は、
    　前記車両の周囲を撮影するカメラから映像データを取得する映像データ取得部と、
    　前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得するセンサデータ取得部と、
    　前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与する時刻情報付与部と、
    　前記車両にイベントが発生した際に、前記センサデータを前記データ解析サーバへ送信するセンサデータ送信部と、
    　を備え、
    　前記データ解析サーバは、
    　前記端末装置によって送信された前記センサデータを受信するセンサデータ受信部と、
    　前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する識別部と、
    　識別結果を送信する識別結果送信部と、
    　を備え、
    　前記端末装置は、
    　前記データ解析サーバによって送信された前記識別結果を受信する識別結果受信部と、
    　前記識別結果で示される前記識別されたイベントが所定のイベントであるか否かを判定する判定部と、
    　前記識別されたイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定する特定部と、
    　前記特定された映像データを前記映像蓄積サーバへ送信する映像データ送信部と、
    　を備え、
    　前記映像蓄積サーバは、
    　前記端末装置によって送信された前記映像データを受信する映像データ受信部と、
    　前記映像データを記憶する映像データ記憶部と、
    　を備える、
    　情報処理システム。
PCT/JP2019/041021 2018-10-22 2019-10-18 情報処理方法、情報処理装置、情報処理プログラム及び情報処理システム WO2020085223A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020553327A JP7438126B2 (ja) 2018-10-22 2019-10-18 情報処理方法及び情報処理システム
CN201980069421.0A CN112889270A (zh) 2018-10-22 2019-10-18 信息处理方法、信息处理装置、信息处理程序以及信息处理系统
US17/235,389 US12148210B2 (en) 2021-04-20 Information processing method, information processing device, non-transitory computer-readable recording medium recording information processing program, and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862748747P 2018-10-22 2018-10-22
US62/748,747 2018-10-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/235,389 Continuation US12148210B2 (en) 2021-04-20 Information processing method, information processing device, non-transitory computer-readable recording medium recording information processing program, and information processing system

Publications (1)

Publication Number Publication Date
WO2020085223A1 true WO2020085223A1 (ja) 2020-04-30

Family

ID=70331427

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041021 WO2020085223A1 (ja) 2018-10-22 2019-10-18 情報処理方法、情報処理装置、情報処理プログラム及び情報処理システム

Country Status (3)

Country Link
JP (1) JP7438126B2 (ja)
CN (1) CN112889270A (ja)
WO (1) WO2020085223A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359587A (zh) * 2022-10-21 2022-11-18 常州海图信息科技股份有限公司 一种微型cvbs图像采集系统及方法
JP7423426B2 (ja) 2020-06-03 2024-01-29 株式会社トランストロン 運転能力低下検知装置、運転能力低下検知システム及び運転能力低下検知プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227701A (ja) * 2010-04-20 2011-11-10 Rohm Co Ltd ドライブレコーダ
WO2016170934A1 (ja) * 2015-04-24 2016-10-27 株式会社パイ・アール ドライブレコーダ
JP2018078500A (ja) * 2016-11-11 2018-05-17 パイオニア株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP2018125777A (ja) * 2017-02-02 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像装置、学習サーバ、撮像システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5804508B2 (ja) * 2011-05-20 2015-11-04 株式会社パイ・アール ドライブレコーダ
CN102442314B (zh) * 2011-11-02 2014-04-02 电子科技大学 一种感知、记录汽车运动特性的方法和记录、警示装置
CN102592412A (zh) * 2012-02-29 2012-07-18 胡乐乐 一种基于智能手机的行车安全保障系统
CN103794035B (zh) * 2012-10-29 2017-01-04 鸿富锦精密工业(武汉)有限公司 车辆紧急事故回报系统及方法
CN104504903B (zh) * 2014-12-31 2017-07-07 北京赛维安讯科技发展有限公司 交通事件采集装置及方法、交通事件监测系统及方法
JP5889463B1 (ja) * 2015-03-30 2016-03-22 ソフトバンク株式会社 画像管理システム、サーバ、画像管理方法、サーバ制御方法、及びサーバプログラム
US9457754B1 (en) * 2015-07-13 2016-10-04 State Farm Mutual Automobile Insurance Company Method and system for identifying vehicle collisions using sensor data
JP2017116998A (ja) * 2015-12-21 2017-06-29 セゾン自動車火災保険株式会社 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム
US10275955B2 (en) * 2016-03-25 2019-04-30 Qualcomm Incorporated Methods and systems for utilizing information collected from multiple sensors to protect a vehicle from malware and attacks
CN108288312A (zh) * 2017-03-06 2018-07-17 腾讯科技（深圳）有限公司 驾驶行为确定方法及装置
CN106934876B (zh) * 2017-03-16 2019-08-20 广东翼卡车联网服务有限公司 一种车辆异常驾驶事件的识别方法及系统
CN108108766B (zh) * 2017-12-28 2021-10-29 东南大学 基于多传感器数据融合的驾驶行为识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227701A (ja) * 2010-04-20 2011-11-10 Rohm Co Ltd ドライブレコーダ
WO2016170934A1 (ja) * 2015-04-24 2016-10-27 株式会社パイ・アール ドライブレコーダ
JP2018078500A (ja) * 2016-11-11 2018-05-17 パイオニア株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP2018125777A (ja) * 2017-02-02 2018-08-09 パナソニックＩｐマネジメント株式会社 撮像装置、学習サーバ、撮像システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7423426B2 (ja) 2020-06-03 2024-01-29 株式会社トランストロン 運転能力低下検知装置、運転能力低下検知システム及び運転能力低下検知プログラム
CN115359587A (zh) * 2022-10-21 2022-11-18 常州海图信息科技股份有限公司 一种微型cvbs图像采集系统及方法

Also Published As

Publication number Publication date
CN112889270A (zh) 2021-06-01
JP7438126B2 (ja) 2024-02-26
JPWO2020085223A1 (ja) 2021-10-07
US20210240991A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
US11827166B2 (en) Systems and methods for impact detection with noise attenuation of a sensor signal
EP3399281B1 (en) Calibrating sensor unit orientation for use in a vehicle monitoring system
US11312430B2 (en) Method and system for lean angle estimation of motorcycles
KR101738414B1 (ko) 차량 사고 감지장치 및 이를 이용한 긴급 콜 시스템
WO2017159186A1 (ja) 記録装置および記録方法
WO2020085223A1 (ja) 情報処理方法、情報処理装置、情報処理プログラム及び情報処理システム
JP6057605B2 (ja) ドライブレコーダ
KR102038482B1 (ko) 관성 센서 향상
JP2019007739A (ja) 自己位置推定方法及び自己位置推定装置
JP2024152819A (ja) 撮像情報記憶装置、撮像情報記憶方法及びプログラム
US12148210B2 (en) Information processing method, information processing device, non-transitory computer-readable recording medium recording information processing program, and information processing system
KR20140028405A (ko) 차량 상태 정보 처리 시스템 및 방법
JP2019046153A (ja) 車載器および急減速イベント検知方法
KR20130021086A (ko) 차량 사고 판단 장치 및 그 방법
JP2017107411A (ja) ドライビングレコーダ、ドライビングレコーダ用プログラム、及び走行管理システム
US11881065B2 (en) Information recording device, information recording method, and program for recording information
KR101456561B1 (ko) 차량 상태 정보 처리 시스템 및 방법
US11615654B1 (en) Signature use for efficient data transfer
EP3709670B1 (en) System for monitoring transport infrastructure and method thereof
JP6835793B2 (ja) 軌跡管理システム
JP2022072304A (ja) ドライブレコーダ、ドライブレコーダの制御方法、及びドライブレコーダの制御プログラム
KR20120019829A (ko) 차량 사고 기록 및 분석 장치
JP2021026547A (ja) ドライブレコーダ
CA3201927A1 (en) A mount security detection method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19875642

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553327

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19875642

Country of ref document: EP

Kind code of ref document: A1