[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7397807B2 - ライダー支援システム及び方法 - Google Patents

ライダー支援システム及び方法 Download PDF

Info

Publication number
JP7397807B2
JP7397807B2 JP2020564924A JP2020564924A JP7397807B2 JP 7397807 B2 JP7397807 B2 JP 7397807B2 JP 2020564924 A JP2020564924 A JP 2020564924A JP 2020564924 A JP2020564924 A JP 2020564924A JP 7397807 B2 JP7397807 B2 JP 7397807B2
Authority
JP
Japan
Prior art keywords
motorcycle
images
pair
series
riding assistance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020564924A
Other languages
English (en)
Other versions
JP2021526681A (ja
Inventor
ラビ,ウリ
コーエン,リオル
ブレイバマン,マイケル
Original Assignee
ライド ビジョン リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライド ビジョン リミテッド filed Critical ライド ビジョン リミテッド
Priority to JP2021149030A priority Critical patent/JP7295185B2/ja
Publication of JP2021526681A publication Critical patent/JP2021526681A/ja
Application granted granted Critical
Publication of JP7397807B2 publication Critical patent/JP7397807B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J3/00Acoustic signal devices; Arrangement of such devices on cycles
    • B62J3/10Electrical devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B60W30/162Speed limiting therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J3/00Acoustic signal devices; Arrangement of such devices on cycles
    • B62J3/10Electrical devices
    • B62J3/12Buzzers; Horns with electrically driven airflow
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J45/00Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
    • B62J45/40Sensor arrangements; Mounting thereof
    • B62J45/41Sensor arrangements; Mounting thereof characterised by the type of sensor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J6/00Arrangement of optical signalling or lighting devices on cycles; Mounting or supporting thereof; Circuits therefor
    • B62J6/22Warning or information lights
    • B62J6/24Warning or information lights warning or informing the rider, e.g. low fuel warning lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J6/00Arrangement of optical signalling or lighting devices on cycles; Mounting or supporting thereof; Circuits therefor
    • B62J6/22Warning or information lights
    • B62J6/26Warning or information lights warning or informing other road users, e.g. police flash lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00Arrangement or adaptation of acoustic signal devices
    • B60Q5/005Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00Indexing codes relating to the type of vehicle
    • B60W2300/36Cycles; Motorcycles; Scooters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、ライディング支援システム及び方法に関する。
自動車先進運転支援システム(「ADAS」としても知られる)は、とりわけ自動車製造業者にとって安全性が主な関心事であるという事実のため、近年、自動車産業の標準になってきている。世界各国の政府は、厳しい自動車安全基準を採用して、インセンティブを自動車製造会社及び自動車所有者に提供して、新しく製造された車両の並びに私有車両に様々なADASを取り付けている。ADASの使用は、自動車の運転者及び同乗者の安全性を劇的に向上させ、また、数多くの場合において命を救うことが証明されている。
残念ながら、オートバイ産業は、自動車産業の他の部分に遅れをとっている。これは、今日世界各国で販売されている大部分のオートバイを低価格にする必要があり、様々なADASの追加がそのような車両のコストを増加させる、という事実の結果であり得る。加えて、オートバイの環境に固有である様々な問題点が存在する。例えば、オートバイは、ADASを配置するための空間が極めて限られている。ライダーがヘルメットを着用するので、また、風、エンジン騒音、などに影響を受ける、雑音が多い環境の中で動作するので、オートバイのライダーに警報を提供することも困難である。さらに、ヘルメットを着用しているオートバイのライダーの視野角は、限られており、また、オートバイに乗っているときにライダーに可視である場所をオートバイ上に位置決めすることに関して、視覚的インジケータ(視覚的指示を提供するためのディスプレイなど)をオートバイ自体に配置することは困難である。またさらに、特に、オートバイが傾いたとき、加速したとき、及び制動したときに、オートバイは、自動車とは異なる挙動を示し、道路に対するオートバイの角度(例えば、リーン角度)は、道路に対する自動車の角度よりもはるかに素早くかつ劇的に変化する。
したがって、当技術分野では、新しいライディング支援システム及び方法に対する必要性が存在する。
本開示の主題の第1の態様によれば、オートバイのためのライディング支援システムが提供され、該ライディング支援システムは、処理リソースと、処理リソースによって使用された日付を記憶するように構成されたメモリと、オートバイの前方の光景の画像を取り込むことを可能する様態でオートバイに取り付けられるように構成された少なくとも1つの前方監視カメラと、を備え、処理リソースは、前方監視カメラによって連続的に獲得された一連の少なくとも2つの画像を取得することであって、画像の各連続した画像対を取り込む間の時間通過が、所与の閾値よりも短い、取得することと、一連の画像を解析して、オートバイと、一連内の連続した画像の少なくとも一部上の少なくとも部分的に可視である1つ以上のそれぞれの物体との衝突までの時間を決定することであって、衝突までの時間は、オートバイがそれぞれの物体と衝突するまでに経過すると予想される時間である、決定することと、衝突までの時間が、オートバイに対する脅威を示した時点で警告通知を生成することと、を行うように構成される。
場合によっては、警告通知は、オートバイのライダーに提供される。
場合によっては、ライディング支援システムは、オートバイの前方に面しているときに、オートバイのライダーに可視である複数のライトを備える点灯システムをさらに備え、警告通知は、該ライトのうちの1つ以上の選択されたライトをオンにすることによって提供される。
場合によっては、選択されたライトは、複数の脅威の種類から脅威の脅威の種類に従って選択され、脅威の種類のうちの少なくとも2つが、選択されたライトの異なる組み合わせと関連付けられる。
場合によっては、警告通知は、選択されたライトを所定のパターン及び/又は色でオンにすることによって提供される。
場合によっては、所定のパターンは、選択されたライトの点滅パターンである。
場合によっては、点灯システムは、オートバイのミラー内に備えられる。
場合によっては、点灯システムは、オートバイのミラーに接続され、オートバイのミラーの外部にある。
場合によっては、警告通知は、1つ以上のスピーカを介してオートバイのライダーに提供される音響通知である。
場合によっては、音響通知は、音声通知である。
場合によっては、警告通知は、オートバイのライダーが感じる振動を生じさせる1つ以上の振動素子を介してオートバイのライダーに提供される振動である。
場合によっては、それぞれの物体のうちの少なくとも1つは、歩行者又はオートバイ以外の車両であり、警告通知が歩行者又は車両の運転者に提供される。
場合によっては、警告通知は、オートバイの少なくとも1つのライトをオンにすること、又はオートバイのホーンを使用してホーンを鳴らすこと、のうちの少なくとも1つを含む。
場合によっては、脅威は、オートバイが物体のうちの1つ以上と衝突する、前方衝突脅威であり、警告通知は、処理リソースが、オートバイとそれぞれの物体との衝突までの時間が所定の閾値時間よりも短いと判定した時点で生成される。
場合によっては、物体のうちの少なくとも1つの所与の物体は、オートバイの方向の変化をもたらす、オートバイが走行しているレーンのカーブであり、この脅威は、オートバイがレーンを維持できないという、車線維持脅威であり、警告通知は、処理リソースが、オートバイがカーブに到達するまでに経過すると予想される時間である、カーブまでの時間が、所定の閾値時間よりも短いと判定した時点で生成される。
場合によっては、物体のうちの少なくとも1つの所与の物体は、オートバイの方向の変化をもたらす、オートバイが走行しているレーンのカーブであり、この脅威は、オートバイが危険なリーン角度でカーブに進入するという、リーン角度脅威であり、警告通知は、処理リソースが、オートバイの現在のリーン角度の情報、カーブの角度、及びオートバイがカーブに到達するまでに経過すると予想される時間である、カーブまでの時間の情報を使用して、オートバイの地面に対するリーン角度である現在のリーン角度が、第1の所定の閾値よりも小さいか、又は第2の所定の閾値よりも大きいと判定した時点で生成される。
場合によっては、現在のリーン角度は、オートバイに接続された慣性測定ユニット(IMU)から取得される。
場合によっては、処理リソースは、画像のうちの少なくとも2つを解析することによって、オートバイの現在のリーン角度を決定するようにさらに構成される。
場合によっては、ライディング支援システムは、オートバイの後方の光景の画像を取り込むことを可能にする様態でオートバイに取り付けられるように構成された少なくとも1つの後方監視カメラをさらに備え、処理リソースは、後方監視カメラによって連続的に獲得された第2の一連の少なくとも2つの第2の画像を取得することであって、第2の画像の各第2の連続した画像対を取り込む間の時間通過が、所与の閾値よりも短い、取得することと、第2の一連の第2の画像を解析して、オートバイと、第2の一連内の第2の画像の少なくとも一部上の少なくとも部分的に可視である1つ以上のそれぞれの第2の物体との第2の衝突までの時間を決定することであって、第2の衝突までの時間は、オートバイがそれぞれの第2の物体と衝突するまでに経過すると予想される時間である、決定することと、第2の衝突までの時間が、オートバイに対する脅威を示した時点で第2の警告通知を生成することと、を行うように構成される。
場合によっては、脅威は、オートバイが第2の物体のうちの1つ以上と衝突する、後方衝突脅威であり、第2の警告通知は、処理リソースが、オートバイとそれぞれの第2の物体との第2の衝突までの時間が第2の所定の閾値時間よりも低いと判定した時点で生成される。
場合によっては、脅威は、オートバイに対する所定の領域内に第2の物体のうちの少なくとも1つが存在する、死角警告脅威であり、第2の警告通知は、処理リソースが、第2の物体のうちの少なくとも1つが所定の領域内に少なくとも部分的に存在すると判定した時点で生成される。
場合によっては、所定の領域は、オートバイの左側及び右側にある。
場合によっては、処理リソースは、衝突までの時間がオートバイに対する脅威を示した時点で、1つ以上の保護手段を行うようにさらに構成される。
場合によっては、保護手段は、オートバイを減速することを含む。
場合によっては、前方監視カメラは、150°を超える角度を網羅する広角カメラである。
場合によっては、取得は、オートバイの移動中にリアルタイムで行われる。
場合によっては、通知は、オートバイのライダーのヘルメットのバイザー上に投影することによって提供される。
場合によっては、第1の時間における、第2の一連内の第2の画像の少なくとも一部上の少なくとも部分的に可視である1つ以上の第2の物体のうちの少なくとも1つが、第1の時間よりも遅い第2の時間における、一連内の画像の少なくとも一部上の少なくとも部分的に可視であるそれぞれの第1の物体になる。
場合によっては、衝突までの時間は、オートバイと、一連内の連続した画像の少なくとも一部上の少なくとも部分的に可視である1つ以上のそれぞれの物体との間の所定の距離、並びにオートバイとそれぞれの物体との相対移動を使用して決定される。
本開示の主題の第2の態様によれば、オートバイのためのライディング支援方法が提供され、該方法は、処理リソースによって、オートバイ上に取り付けられた少なくとも1つの前方監視カメラで、該カメラがオートバイの前方の光景の画像を取り込むことを可能にする様態で連続的に獲得された一連の少なくとも2つの画像を取得することであって、画像の各連続した画像対を取り込む間の時間通過が、所与の閾値よりも短い、取得することと、処理ソースによって、一連の画像を解析して、オートバイと、一連内の連続した画像の少なくとも一部上の少なくとも部分的に可視である1つ以上のそれぞれの物体との衝突までの時間を決定することであって、衝突までの時間は、オートバイがそれぞれの物体と衝突するまでに経過すると予想される時間である、決定することと、処理ソースによって、衝突までの時間が、オートバイに対する脅威を示した時点で警告通知を生成することと、を含む。
場合によっては、警告通知は、オートバイのライダーに提供される。
場合によっては、警告通知は、オートバイの前方に面しているときにオートバイのライダーに可視である点灯システムの複数のライトのうちの選択された1つ以上のライトをオンにすることによって提供される。
場合によっては、選択されたライトは、複数の脅威の種類から脅威の脅威の種類に従って選択され、脅威の種類のうちの少なくとも2つが、選択されたライトの異なる組み合わせと関連付けられる。
場合によっては、警告通知は、選択されたライトを所定のパターン及び/又は色でオンにすることによって提供される。
場合によっては、所定のパターンは、選択されたライトの点滅パターンである。
場合によっては、点灯システムは、オートバイのミラー内に備えられる。
場合によっては、点灯システムは、オートバイのミラーに接続され、オートバイのミラーの外部にある。
場合によっては、警告通知は、1つ以上のスピーカを介してオートバイのライダーに提供される音響通知である。
場合によっては、音響通知は、音声通知である。
場合によっては、警告通知は、オートバイのライダーが感じる振動を生じさせる1つ以上の振動素子を介してオートバイのライダーに提供される振動である。
場合によっては、それぞれの物体のうちの少なくとも1つは、歩行者又はオートバイ以外の車両であり、警告通知が歩行者又は車両の運転者に提供される。
場合によっては、警告通知は、オートバイの少なくとも1つのライトをオンにすること、又はオートバイのホーンを使用してホーンを鳴らすこと、のうちの少なくとも1つを含む。
場合によっては、脅威は、オートバイが物体のうちの1つ以上と衝突する、前方衝突脅威であり、警告通知は、オートバイとそれぞれの物体との衝突までの時間が所定の閾値時間よりも短いと判定した時点で生成される。
場合によっては、物体のうちの少なくとも1つの所与の物体は、オートバイの方向の変化をもたらす、オートバイが走行しているレーンのカーブであり、この脅威は、オートバイがレーンを維持できないという、車線維持脅威であり、警告通知は、処理リソースによって、オートバイがカーブに到達するまでに経過すると予想される時間である、カーブまでの時間が、所定の閾値時間よりも短いと判定した時点で生成される。
場合によっては、物体のうちの少なくとも1つの所与の物体は、オートバイの方向の変化をもたらす、オートバイが走行しているレーンのカーブであり、この脅威は、オートバイが危険なリーン角度でカーブに進入するという、リーン角度脅威であり、警告通知は、処理リソースによって、オートバイの現在のリーン角度の情報、カーブの角度、及びオートバイがカーブに到達するまでに経過すると予想される時間である、カーブまでの時間の情報を使用して、オートバイの地面に対するリーン角度である現在のリーン角度が、第1の所定の閾値よりも小さいか、又は第2の所定の閾値よりも大きいと判定した時点で生成される。
場合によっては、現在のリーン角度は、オートバイに接続された慣性測定ユニット(IMU)から取得される。
場合によっては、本方法は、処理リソースが、画像のうちの少なくとも2つを解析することによって、オートバイの現在のリーン角度を決定することをさらに含む。
場合によっては、本方法は、処理リソースによって、オートバイ上に取り付けられた少なくとも1つの後方監視カメラで、該カメラがオートバイの後方の光景の画像を取り込むことを可能にする様態で連続的に獲得された第2の一連の少なくとも2つの画像を取得することであって、第2の画像の各第2の連続した画像対を取り込む間の時間通過が、所与の閾値よりも短い、取得することと、処理リソースによって、第2の一連の第2の画像を解析して、オートバイと、第2の一連内の第2の画像の少なくとも一部上の少なくとも部分的に可視である1つ以上のそれぞれの第2の物体との第2の衝突までの時間を決定することであって、第2の衝突までの時間は、オートバイがそれぞれの第2の物体と衝突するまでに経過すると予想される時間である、決定することと、処理リソースによって、第2の衝突までの時間が、オートバイに対する脅威を示した時点で第2の警告通知を生成することと、を含む。
場合によっては、脅威は、オートバイが第2の物体のうちの1つ以上と衝突する、後方衝突脅威であり、第2の警告通知は、処理リソースによって、オートバイとそれぞれの第2の物体との第2の衝突までの時間が第2の所定の閾値時間よりも低いと判定した時点で生成される。
場合によっては、脅威は、オートバイに対する所定の領域内に第2の物体のうちの少なくとも1つが存在する、死角警告脅威であり、第2の警告通知は、処理リソースによって、第2の物体のうちの少なくとも1つが所定の領域内に少なくとも部分的に存在すると判定した時点で生成される。
場合によっては、所定の領域は、オートバイの左側及び右側にある。
場合によっては、本方法は、処理リソースによって、衝突までの時間がオートバイに対する脅威を示した時点で、1つ以上の保護手段を行うことをさらに含む。
場合によっては、保護手段は、オートバイを減速することを含む。
場合によっては、前方監視カメラは、150°を超える角度を網羅する広角カメラである。
場合によっては、取得は、オートバイの移動中にリアルタイムで行われる。
場合によっては、通知は、オートバイのライダーのヘルメットのバイザー上に投影することによって提供される。
場合によっては、第1の時間における、第2の一連内の第2の画像の少なくとも一部上の少なくとも部分的に可視である1つ以上の第2の物体のうちの少なくとも1つが、第1の時間よりも遅い第2の時間における、一連内の画像の少なくとも一部上の少なくとも部分的に可視であるそれぞれの第1の物体になる。
場合によっては、衝突までの時間は、オートバイと、一連内の連続した画像の少なくとも一部上の少なくとも部分的に可視である1つ以上のそれぞれの物体との間の所定の距離、並びにオートバイとそれぞれの物体との相対移動を使用して決定される。
本開示の主題の第3の態様によれば、コンピュータ可読プログラムコードを具現化した非一時的コンピュータ可読記憶媒体が提供され、コンピュータ可読プログラムコードは、方法を行うためにコンピュータの処理リソースによって実行可能であり、該方法は、処理リソースによって、オートバイ上に取り付けられた少なくとも1つの前方監視カメラで、該カメラがオートバイの前方の光景の画像を取り込むことを可能にする様態で連続的に獲得された一連の少なくとも2つの画像を取得することであって、画像の各連続した画像対を取り込む間の時間通過が、所与の閾値よりも短い、取得することと、処理ソースによって、一連の画像を解析して、オートバイと、一連内の連続した画像の少なくとも一部上の少なくとも部分的に可視である1つ以上のそれぞれの物体との衝突までの時間を決定することであって、衝突までの時間は、オートバイがそれぞれの物体と衝突するまでに経過すると予想される時間である、決定することと、処理ソースによって、衝突までの時間が、オートバイに対する脅威を示した時点で警告通知を生成することと、を含む。
本開示の主題の第4の態様によれば、オートバイの方向指示器を自動制御するためのシステムが提供され、該システムは、処理リソースと、処理リソースによって使用された日付を記憶するように構成されたメモリと、オートバイの前方の光景の画像を取り込むことを可能する様態でオートバイに取り付けられるように構成された少なくとも1つの前方監視カメラと、を備え、処理リソースは、リアルタイムで、前方監視カメラによって連続的に獲得された連続した画像を取得することであって、連続した画像の各連続した画像対を取り込む間の時間通過が、所与の閾値よりも短い、取得することと、連続した画像の1つ以上の直前のグループを連続的に解析して、オートバイが走っているレーンに対するオートバイの横移動速度を決定することと、速度が閾値を超えている時点で、オートバイの方向指示器をオンにし、オートバイの横移動の方向への旋回を知らせることと、を含む。
場合によっては、処理リソースは、連続した画像の1つ以上の直前のグループの解析が、横移動が終了したことを示している時点で、オートバイの方向指示器をオフにするようにさらに構成される。
場合によっては、処理リソースは、同じくオートバイに接続された慣性測定ユニット(IMU)から得られたオートバイのリーン角度に基づいて、速度を決定する。
場合によっては、本システムは、オートバイの後方の光景の画像を取り込むことを可能にする様態でオートバイに取り付けられるように構成された少なくとも1つの後方監視カメラをさらに備え、処理リソースは、リアルタイムで、後方監視カメラによって連続的に獲得された連続した第2の画像を連続的に取得することであって、連続した第2の画像の各連続した第2の画像対を取り込む間の第2の時間通過が、第2の所与の閾値よりも短い、取得することと、連続した第2の画像の1つ以上の直前のグループを連続的に解析して、オートバイの後方を走っている1台以上の車両の存在を判定することであって、処理リソースがオートバイの後方を走っている車両の存在を判定した場合にのみ、方向指示器をオンにする、判定することと、を含む。
本開示の主題の第5の態様によれば、オートバイの方向指示器を自動制御するための方法が提供され、該方法は、処理リソースによって、リアルタイムで、オートバイ上に取り付けられた少なくとも1つの前方監視カメラで、該カメラがオートバイの前方の光景の画像を取り込むことを可能にする様態で連続的に獲得された連続した画像を取得することであって、連続した画像の各連続した画像対を取り込む間の時間通過が、所与の閾値よりも短い、取得することと、処理リソースによって、連続した画像の1つ以上の直前のグループを連続的に解析して、オートバイが走っているレーンに対するオートバイの横移動速度を決定することと、処理リソースによって、速度が閾値を超えている時点で、オートバイの方向指示器をオンにし、オートバイの横移動の方向への旋回を知らせることと、を含む。
場合によっては、本方法は、処理リソースによって、連続した画像の1つ以上の直前のグループの解析が、横移動が終了したことを示している時点で、オートバイの方向指示器をオフにすることをさらに含む。
場合によっては、速度は、オートバイに接続された慣性測定ユニット(IMU)から取得されたオートバイのリーン角度に基づいても決定される。
場合によっては、本方法は、処理リソースによって、リアルタイムで、オートバイ上に取り付けられた少なくとも1つの後方監視カメラで、該カメラがオートバイの後方の光景の画像を取り込むことを可能にする様態で連続的に獲得された連続した第2の一連の少なくとも2つの画像を連続的に取得することであって、連続した第2の画像の各連続した第2の画像対を取り込む間の第2の時間通過が、第2の所与の閾値よりも短い、取得することと、処理リソースによって、連続した第2の画像の1つ以上の直前のグループを連続的に解析して、オートバイの後方を走っている1台以上の車両の存在を判定することであって、オートバイの後方を走っている車両の存在を判定した場合にのみ、方向指示器をオンにする、判定することと、を含む。
本開示の主題の第6の態様によれば、コンピュータ可読プログラムコードを具現化した非一時的コンピュータ可読記憶媒体が提供され、コンピュータ可読プログラムコードは、方法を行うためにコンピュータの処理リソースによって実行可能であり、該方法は、処理リソースによって、リアルタイムで、オートバイ上に取り付けられた少なくとも1つの前方監視カメラで、該カメラがオートバイの前方の光景の画像を取り込むことを可能にする様態で連続的に獲得された連続した画像を取得することであって、連続した画像の各連続した画像対を取り込む間の時間通過が、所与の閾値よりも短い、取得することと、処理リソースによって、連続した画像の1つ以上の直前のグループを連続的に解析して、オートバイが走っているレーンに対するオートバイの横移動速度を決定することと、処理リソースによって、速度が閾値を超えている時点で、オートバイの方向指示器をオンにし、オートバイの横移動の方向への旋回を知らせることと、を含む。
本開示の主題の第7の態様によれば、オートバイのための適応速度制御システムが提供され、該適応速度制御システムは、処理リソースと、処理リソースによって使用された日付を記憶するように構成されたメモリと、オートバイの前方の光景の画像を取り込むことを可能する様態でオートバイに取り付けられるように構成された少なくとも1つの前方監視カメラと、を備え、処理リソースは、基準距離の指示を取得して、オートバイと、オートバイの前方を走っている車両との間を維持することと、リアルタイムで、前方監視カメラによって連続的に獲得された連続した画像を取得することであって、連続した画像の各連続した画像対を取り込む間の時間通過が、所与の閾値よりも短い、取得することと、連続した画像を連続的に解析して、オートバイと、オートバイの前方を走っている車両との間の実際の距離を決定することと、実際の距離が基準距離と異なった時点で、オートバイの速度を制御して、車両からの基準距離に戻すことと、を行うように構成される。
場合によっては、基準距離は、オートバイのライダーがトリガーを提供している時点で、オートバイのライダーがトリガーを提供する前又は後の所定の時間まで、前方監視カメラによって取り込まれた1つ以上の基準距離決定画像を解析することによって決定される。
本開示の主題の第8の態様によれば、オートバイのための適応速度制御方法が提供され、該方法は、
処理リソースによって、基準距離の指示を取得して、オートバイと、オートバイの前方を走っている車両との間を維持することと、処理リソースによって、リアルタイムで、オートバイ上に取り付けられた少なくとも1つの前方監視カメラで、該カメラがオートバイの前方の光景の画像を取り込むことを可能にする様態で連続的に獲得された連続した画像を取得することであって、連続した画像の各連続した画像対を取り込む間の時間通過が、所与の閾値よりも短い、取得することと、処理リソースによって、連続した画像を連続的に解析して、オートバイと、オートバイの前方を走っている車両との間の実際の距離を決定することと、処理リソースによって、実際の距離が基準距離と異なった時点で、オートバイの速度を制御して、車両からの基準距離に戻すことと、を含む。
場合によっては、基準距離は、オートバイのライダーがトリガーを提供している時点で、オートバイのライダーがトリガーを提供する前又は後の所定の時間まで、前方監視カメラによって取り込まれた1つ以上の基準距離決定画像を解析することによって決定される。
本開示の主題の第9の態様によれば、コンピュータ可読プログラムコードを具現化した非一時的コンピュータ可読記憶媒体が提供され、コンピュータ可読プログラムコードは、方法を行うためにコンピュータの処理リソースによって実行可能であり、該方法は、処理リソースによって、基準距離の指示を取得して、オートバイと、オートバイの前方を走っている車両との間を維持することと、処理リソースによって、リアルタイムで、オートバイ上に取り付けられた少なくとも1つの前方監視カメラで、該カメラがオートバイの前方の光景の画像を取り込むことを可能にする様態で連続的に獲得された連続した画像を取得することであって、連続した画像の各連続した画像対を取り込む間の時間通過が、所与の閾値よりも短い、取得することと、処理リソースによって、連続した画像を連続的に解析して、オートバイと、オートバイの前方を走っている車両との間の実際の距離を決定することと、処理リソースによって、実際の距離が基準距離と異なった時点で、オートバイの速度を制御して、車両からの基準距離に戻すことと、を含む。
本開示の主題の第10の態様によれば、オートバイのためのライディング支援システムが提供され、該ライディング支援システムは、処理リソースと、処理リソースによって使用可能な日付データを記憶するように構成されたメモリと、オートバイの前方の少なくとも右側及び左側を含む光景の画像を取り込むことを可能する様態でオートバイに取り付けられるように構成された少なくとも1つの広角前方監視カメラと、を備え、処理リソースは、カメラによって連続的に獲得された一連の少なくとも2つの画像を取得することであって、画像の各連続した画像対を取り込む間の時間通過が、第1の閾値よりも短い、取得することと、一連の少なくとも一対の連続した画像内の対象領域を解析して、少なくとも一対の連続した画像内のそれぞれの特徴位置を有する特徴を識別することと、一連の少なくとも一対の連続した画像の各画像内の特徴及びそのそれぞれの特徴位置の各々を整合させて、一連の少なくとも一対の連続した画像間のそれぞれの特徴の各々の移動ベクトルを決定することであって、移動ベクトルが、経時的な特徴の移動を表す、決定することと、基準を満たした時点で、警告通知を生成することであって、基準が、それぞれの特徴の移動ベクトルと、又はそれぞれの特徴の拡張移動ベクトルと関連付けられる、生成することと、を行うように構成される。
場合によっては、基準は、オートバイの方向との衝突進路にあるそれぞれの特徴の移動ベクトルの数が別の閾値を超えることである。
場合によっては、基準は、移動ベクトルの平均を表すベクトルである平均ベクトルがオートバイの方向との衝突進路にあることである。
場合によっては、特徴位置は、L2関数又は最近傍アルゴリズムのうちの1つ以上を使用して整合される。
場合によっては、処理リソースは、一連の少なくとも一対の連続した画像の所与の画像内の特徴のうちの少なくともいくつかと関連付けられた車両の存在の可能性を推定するようにさらに構成され、警告通知は、可能性が第3の閾値を超える場合にのみ生成される。
場合によっては、推定は、畳み込みニューラルネットワークを使用して行われる。
場合によっては、処理リソースは、一連の少なくとも1つの他の一対の連続した画像内の対象領域を解析して、それぞれの特徴位置を有する特徴を識別することであって、一対の画像のうちの少なくとも1つが、他の一対の画像のうちの1つである、識別することと、一連の一対の及び他の一対の連続した画像内の特徴の特徴位置を整合させて、一対及び他の一対の連続した画像間のそれぞれの特徴の各々の拡張移動ベクトルを決定することであって、拡張移動ベクトルが、一対及び他の一対の画像内のそれぞれの特徴の位置の間の最長距離と関連付けられる、決定することと、を行うようにさらに構成される。
場合によっては、処理リソースは、特徴の各々の軌跡を推定することと、推定した軌道の交点を識別することであって、基準は、交点が一連の所与の画像内の予め定義された領域内にあるときに満たされる、識別することと、を行うようにさらに構成される。
場合によっては、処理リソースは、一対の一連の連続した画像内の少なくとも1つの他の対象領域内のオートバイに向かう垂直方向のオプティカルフローの平均値を決定するようにさらに構成され、基準は、オプティカルフローの平均値が許容平均オプティカルフロー閾値を超えたときに満たされる。
場合によっては、警告通知は、オートバイのライダーに提供される。
場合によっては、本システムは、オートバイの前方に面しているときにオートバイのライダーに可視である複数のライトを備える点灯システムをさらに備え、警告通知は、該ライトのうちの1つ以上の選択されたライトをオンにすることによって提供される。
場合によっては、選択されたライトは、複数の脅威の種類から脅威の脅威の種類に従って選択され、脅威の種類のうちの少なくとも2つが、選択されたライトの異なる組み合わせと関連付けられる。
場合によっては、警告通知は、選択されたライトを所定のパターン及び/又は色でオンにすることによって提供される。
場合によっては、所定のパターンは、選択されたライトの点滅パターンである。
場合によっては、点灯システムは、オートバイのミラー内に備えられる。
場合によっては、点灯システムは、オートバイのミラーに接続され、オートバイのミラーの外部にある。
場合によっては、警告通知は、1つ以上のスピーカを介してオートバイのライダーに提供される音響通知である。
場合によっては、音響通知は、音声通知である。
場合によっては、警告通知は、オートバイのライダーが感じる振動を生じさせる1つ以上の振動素子を介してオートバイのライダーに提供される振動である。
場合によっては、広角前方監視カメラは、90°を超える角度を網羅する広角カメラである。
場合によっては、取得は、オートバイの移動中にリアルタイムで行われる。
場合によっては、通知は、オートバイのライダーのヘルメットのバイザー上に投影することによって提供される。
場合によっては、画像は、光景の少なくとも60°の角度を網羅する。
本開示の主題の第11の態様によれば、オートバイのためのライディング支援方法が提供され、該方法は、処理リソースによって、オートバイ上に取り付けられるように構成された少なくとも1つの広角前方監視カメラで、該カメラがオートバイの前方の少なくとも右側及び左側を含む光景の画像を取り込むことを可能にする様態で連続的に獲得された一連の少なくとも2つの画像を取得することであって、画像の各連続した画像対を取り込む間の時間通過が、第1の閾値よりも短い、取得することと、一連の少なくとも一対の連続した画像内の対象領域を解析して、少なくとも一対の連続した画像内のそれぞれの特徴位置を有する特徴を識別することと、一連の少なくとも一対の連続した画像の各画像内の特徴及びそのそれぞれの特徴位置の各々を整合させて、一連の少なくとも一対の連続した画像間のそれぞれの特徴の各々の移動ベクトルを決定することであって、移動ベクトルが、経時的な特徴の移動を表す、決定することと、基準を満たした時点で、警告通知を生成することであって、基準が、それぞれの特徴の移動ベクトルと、又はそれぞれの特徴の拡張移動ベクトルと関連付けられる、生成することと、を含む。
場合によっては、基準は、オートバイの方向との衝突進路にあるそれぞれの特徴の移動ベクトルの数が別の閾値を超えることである。
場合によっては、基準は、移動ベクトルの平均を表すベクトルである平均ベクトルがオートバイの方向との衝突進路にあることである。
場合によっては、特徴位置は、L2関数又は最近傍アルゴリズムのうちの1つ以上を使用して整合される。
場合によっては、本方法は、一連の少なくとも一対の連続した画像の所与の画像内の特徴のうちの少なくともいくつかと関連付けられた車両の存在の可能性を推定することをさらに含み、警告通知は、可能性が第3の閾値を超える場合にのみ生成される。
場合によっては、推定することは、畳み込みニューラルネットワークを使用して行われる。
場合によっては、本方法は、対象領域を一連の少なくとも1つの他の一対の連続した画像を解析して、それぞれの特徴位置を有する特徴を識別することであって、一対の画像のうちの少なくとも1つが、他の一対の画像のうちの1つである、識別することと、一連の一対の及び他の一対の連続した画像内の特徴の特徴位置を整合させて、一対及び他の一対の連続した画像間のそれぞれの特徴の各々の拡張移動ベクトルを決定することであって、拡張移動ベクトルは、一対及び他の一対の画像内のそれぞれの特徴の位置の間の最長距離と関連付けられる、決定することと、をさらに含む。
場合によっては、本方法は、特徴の各々の軌跡を推定することと、推定した軌道の交点を識別することであって、基準は、交点が一連の所与の画像内の予め定義された領域内にあるときに基準が満たされる、識別することと、をさらに含む。
場合によっては、本方法は、一対の一連の連続した画像内の少なくとも1つの他の対象領域内のオートバイに向かう垂直方向のオプティカルフローの平均値を決定することをさらに含み、基準は、オプティカルフローの平均値が許容平均オプティカルフロー閾値を超えたときに満たされる。
場合によっては、警告通知は、オートバイのライダーに提供される。
場合によっては、警告通知は、点灯システムに備えられた複数のライトのうちの1つ以上の選択されたライトをオンにすることによって提供され、ライトは、オートバイの前方に面しているときにオートバイのライダーに可視である。
場合によっては、選択されたライトは、複数の脅威の種類から脅威の脅威の種類に従って選択され、脅威の種類のうちの少なくとも2つが、選択されたライトの異なる組み合わせと関連付けられる。
場合によっては、警告通知は、選択されたライトを所定のパターン及び/又は色でオンにすることによって提供される。
場合によっては、所定のパターンは、選択されたライトの点滅パターンである。
場合によっては、点灯システムは、オートバイのミラー内に備えられる。
場合によっては、点灯システムは、オートバイのミラーに接続され、オートバイのミラーの外部にある。
場合によっては、警告通知は、1つ以上のスピーカを介してオートバイのライダーに提供される音響通知である。
場合によっては、音響通知は、音声通知である。
場合によっては、警告通知は、オートバイのライダーが感じる振動を生じさせる1つ以上の振動素子を介してオートバイのライダーに提供される振動である。
場合によっては、広角前方監視カメラは、90°を超える角度を網羅する広角カメラである。
場合によっては、取得することは、オートバイの移動中にリアルタイムで行われる。
場合によっては、通知は、オートバイのライダーのヘルメットのバイザー上に投影することによって提供される。
場合によっては、画像は、光景の少なくとも60°の角度を網羅する。
本開示の主題の第12の態様によれば、コンピュータ可読プログラムコードを具現化した非一時的コンピュータ可読記憶媒体が提供され、コンピュータ可読プログラムコードは、方法を行うために処理リソースによって実行可能であり、該方法は、処理リソースによって、オートバイ上に取り付けられるように構成された少なくとも1つの広角前方監視カメラで、該カメラがオートバイの前方の少なくとも右側及び左側を含む光景の画像を取り込むことを可能にする様態で連続的に獲得された一連の少なくとも2つの画像を取得することであって、画像の各連続した画像対を取り込む間の時間通過が、第1の閾値よりも短い、取得することと、一連の少なくとも一対の連続した画像内の対象領域を解析して、少なくとも一対の連続した画像内のそれぞれの特徴位置を有する特徴を識別することと、一連の少なくとも一対の連続した画像の各画像内の特徴及びそのそれぞれの特徴位置の各々を整合させて、一連の少なくとも一対の連続した画像間のそれぞれの特徴の各々の移動ベクトルを決定することであって、移動ベクトルが、経時的な特徴の移動を表す、決定することと、基準を満たした時点で、警告通知を生成することであって、基準が、それぞれの特徴の移動ベクトルと、又はそれぞれの特徴の拡張移動ベクトルと関連付けられる、生成することと、を含む。
本開示の主題を理解するために、及びそれが実際にどのように実行され得るのかを示すために、以下、単に非限定的な実施例として、添付図面を参照して、主題を説明する。
本開示の主題による、ライディング支援システムを有するオートバイの概略図である。 本開示の主題による、ライディング支援システムの一実施例を概略的に例示するブロック図である。 本開示の主題による、オートバイの前方の危険に関する警告をオートバイのライダー及び/又は他のエンティティに提供するために実行される一連の動作の一実施例を例示するフローチャートである。 本開示の主題による、オートバイの後方の危険に関する警告をオートバイのライダー及び/又は他のエンティティに提供するために実行される一連の動作の一実施例を例示するフローチャートである。 本開示の主題による、オートバイの方向指示器の自動制御のために実行される一連の動作の一実施例を例示するフローチャートである。 本開示の主題による、オートバイの方向指示器の選択的な起動のために実行される一連の動作の一実施例を例示するフローチャートである。 本開示の主題による、オートバイのための適応クルーズコントロールを提供するために実行される一連の動作の一実施例を例示するフローチャートである。 本開示の主題による、ライディング支援システムの例示的な視覚言語の概略図である。 本開示の主題による、側面衝突の危険に関する警告をオートバイのライダー及び/又は他のエンティティに提供するために実行される一連の動作の一実施例を例示するフローチャートである。 本開示の主題による、拡張運動ベクトルを決定するために実行される一連の動作の一実施例を例示する別のフローチャートである。 本開示の主題による、不連続な対象領域を有する例示的なフレームの概略図である。 本開示の主題による、オートバイに対する脅威を例示するフレームシーケンスの概略図である。 本開示の主題による、オートバイに対する非脅威を例示するフレームシーケンスの概略図である。 本開示の主題による、安全地帯を判定するために実行される一連の動作の一実施例を例示するフローチャートである。 本開示の主題による、オートバイに取り付けられた前方監視カメラによって取り込まれる第1の交通状況の映像である。 本開示の主題による、エッジ検出アルゴリズムによって検出された図16aの映像内の物体のエッジを示す。 図16aの映像内の物体の上面図を示す。 本開示の主題による、オートバイに取り付けられた前方監視カメラによって取り込まれた第2の交通状況の映像である。 本開示の主題による、エッジ検出アルゴリズムによって検出された図17aの映像内の物体のエッジを示す。 図17aの映像内の物体の上面図を示す。 本開示の主題による、安全地帯の深さを決定するために実行される一連の動作の一実施例を例示するフローチャートである。
以下の詳細な説明では、本開示の主題の十分な理解を提供するために、数多くの具体的な詳細が記載される。しかしながら、本開示の主題は、これらの具体的な詳細を伴わずに実践され得ることが、当業者によって理解されるであろう。他の事例において、本開示の主題を不明確にしないように、よく知られている方法、手順、及び構成要素は、詳細に説明されていない。
記載した図面及び説明において、同じ参照番号は、異なる実施形態又は構成に共通である構成要素を示す。
別途具体的に提示されない限り、下の考察から明らかなように、「取得する(obtaining)」、「解析する(analyzing)」、「生成する(generating)」、「判定する(determining)」、「行う(performing)」、「制御する(controlling)」などの用語を利用する本明細書の考察全体を通して、データを他のデータに操作及び/又は変換するコンピュータのアクション及び/又はプロセスを含み、該データは、電子量などの物理的量を表し、及び/又は該データは、物理的物体を表すことを認識されたい。「コンピュータ」、「プロセッサ」、及び「コントローラ」という用語は、非限定的な例として、パーソナルデスクトップ/ラップトップコンピュータ、サーバ、コンピューティングシステム、通信デバイス、スマートフォン、タブレットコンピュータ、スマートテレビジョン、プロセッサ(例えば、デジタル信号プロセッサ(DSP)、マイクロコントローラ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、など)、様々なタスクの性能を共有する一グループの多数の物理マシン、単一の物理マシン上に共存在する仮想サーバ、任意の他の電子コンピューティングデバイス、及び/又はこれらの任意の組み合わせを含む、データ処理能力を有する任意の種類の電子デバイスを網羅するように拡張的に解釈されるべきである。
本明細書の教示による動作は、所望の目的のために特別に構築されたコンピュータ、又は非一時的なコンピュータ可読記憶媒体に記憶されたコンピュータプログラムによって所望の目的のために特別に構成された汎用コンピュータによって実行され得る。本明細書において使用される「非一時的(non-transitory)」という用語は、一時的な伝播信号は除外するが、別様には、アプリケーションに適した任意の揮発性又は不揮発性コンピュータメモリ技術を含む。
本明細書で使用するとき、「例えば(for example)」、「など(such as)」、「例えば(for instance)」という語句、及びそれらの変形は、本開示の主題の非限定的な実施形態を説明するものである。本明細書における「1つの場合(one case)」、「いくつかの場合(some cases)」、「他の場合(other cases)」、又はそれらの変形に対する言及は、実施形態(複数可)に関連して説明する特定の特徴、構造、又は特性が、本開示の主題の少なくとも1つの実施形態に含まれることを意味する。したがって、「1つの場合」、「いくつかの場合」、「他の場合」という語句、又はそれらの変形の出現は、必ずしも同じ実施形態(複数可)を指しているわけではない。
別途具体的に提示されない限り、明確にするために別々の実施形態の文脈で説明される、本開示の主題の特定の特徴はまた、単一の実施形態において組み合わせて提供され得ることを認識されたい。反対に、簡潔にするために単一の実施形態の文脈で説明される、本開示の主題の様々な特徴はまた、別々に又は任意の好適な副次的な組み合わせで提供され得る。
本開示の主題の実施形態では、図3~図7、図9~図10、図14、及び図17に示される段階よりも少ない、多い、及び/又は異なる段階が実行され得る。本開示の主題の実施形態では、図3~図7、図9~図10、図14、及び図17例示される1つ以上の段階は、異なる順序で実行され得、及び/又は1つ以上の段階グループが同時に実行され得る。図1及び図2は、本開示の主題の一実施形態によるシステムアーキテクチャの全般的な概略図を例示する。図1及び図2の各モジュールは、本明細書で定義及び説明される機能を行うソフトウェア、ハードウェア、及び/又はファームウェアの任意の組み合わせで構成することができる。図1及び図2のモジュールは、1つの位置に集中され得るか、又は1つを超える位置にわたって分散され得る。本開示の主題の他の実施形態では、システムは、図1及び図2に示されるモジュールよりも少ない、多い、及び/又は、異なるモジュールを備え得る。
本明細書における方法に対する任意の参照は、該方法を実行することが可能なシステムに準用されるべきであり、また、コンピュータによって実行された時点で該方法の実行をもたらす命令を記憶する非一時的コンピュータ可読媒体に準用されるべきである。
本明細書におけるシステムに対する任意の参照は、該システムによって実行され得る方法に準用されるべきであり、また、システムによって実行され得る命令を記憶する非一時的コンピュータ可読媒体に準用されるべきである。
明細書における非一時的コンピュータ可読媒体に対する任意の参照は、非一時的コンピュータ可読媒体に記憶される命令を実行することが可能なシステムに準用されるべきであり、また、非一時的コンピュータ可読媒体に記憶された命令を読み出すコンピュータによって実行され得る方法に準用されるべきである。
以下の説明では、任意の二輪車の種類に関する用語としてオートバイに対する参照を行うが、本明細書で提供される開示はまた、三輪車、四輪車、及び任意の他の種類の車両、動力付き又は動力なし、準用を含む、他の車両にも使用され得ることに留意されたい。本開示の主題を実装することができるいくつかの例示的な種類の車両としては、原動機付き自転車、モータ付きカート、ゴルフカート、電動スクータ、自動車、トラックなどが挙げられる。
このことを念頭に、図1の、本開示の主題によるライディング支援システムを有するオートバイの概略図に注目する。
本開示の主題によれば、オートバイ10は、ライディング支援システムが取り付けられるプラットフォームとして提供される。ライディング支援システムは、オートバイ10の環境を感知するように構成された1つ以上のセンサを含む。センサは、オートバイ10の前方の領域の画像を取得するように構成された少なくとも1つの前方監視カメラ120と、また随意に、オートバイ10の後方の領域の画像を取得するように構成された少なくとも1つの後方監視カメラ130と、を含むことができる。前方監視カメラ(複数可)120は、オートバイ10のヘッドライトの上側に、オートバイ10のヘッドライトの下側に、オートバイ10ヘッドライト内に(例えば、その製造中にそこに一体化される場合)、又はオートバイ10の前方の領域に対して障害物のない視野を前方監視カメラ(複数可)120に提供する任意の他の様態で位置付けることができる。後方監視カメラ(複数可)130は、オートバイ10のテールランプの上側に、オートバイ10のテールランプの下側に、オートバイ10テールランプ内に(例えば、その製造中にそこに一体化される場合)、又はオートバイ10の後方の領域に対して障害物のない視野を後方監視カメラ(複数可)130に提供する任意の他の様態で位置付けることができる。
カメラ(すなわち、少なくとも1つの前方監視カメラ120及び少なくとも一つの後方監視カメラ130)は、随意に、オートバイ10の前方及び/又はオートバイ10の後方の広角視野を取り込むことを可能にする様態で配設することができる。いくつかの実施形態では、広角は、60°超の、さらには90°の任意の角度とすることができ、より具体的な場合では、175°、さらには180°以上の角度とすることができる。175°、さらには180°の角度を有する前方監視及び後方監視カメラを有することで、オートバイ10の周囲の350°~360°の有効範囲を可能にすることを認識することができる。オートバイ10の周囲に350°~360°の有効範囲を有することは、車両のサイズの少なくとも一部を前方監視カメラ(複数可)120又は後方監視カメラ(複数可)130のうちの少なくとも1つの視野内で常に可視であるので、他の車両からの脅威を常時識別する能力を効果的にもたらす。
使用することができるカメラの例示的な仕様は、SAINSMART、SKU 101-40-187による、広角FOV175°-5メガピクセルカメラモジュールである(https://www.sainsmart.com/products/wide-angle-fov175-5-megapixel-camera-moduleを参照されたい)。前方監視カメラ(複数可)120及び後方監視カメラ(複数可)130は、少なくとも2メガピクセル(MP)、及びいくつかの実施形態では、少なくとも5MPの解像度を有することができる。前方監視カメラ(複数可)120及び後方監視カメラ(複数可)130は、少なくとも毎秒20フレーム(FPS)、及びいくつかの実施形態では、少なくとも30FPSのフレームレートを有することができる。
場合によっては、例えば、冗長性のために、又は前方監視広角カメラよりも広い範囲での向上した精度を可能にするために、前方監視広角カメラに加えて、追加的な前方監視狭角カメラを使用することができることに留意されたい。類似する様態で、場合によっては、例えば、冗長性のために、又は後方監視広角カメラよりも広い範囲での向上した精度を可能にするために、後方監視広角カメラに加えて、追加的な後方監視狭角カメラを使用することができる。
本明細書で示されるように、代替の実施形態では、各々が非広角又は広角を有する1つを超える前方監視カメラ120、又は1つを超える後方監視カメラ130を使用することができ、カメラの視野が部分的に重複し得るか、又は非重複であり得る。いくつかの実施形態では、カメラの組み合わせ視野は、例えば60°、90°、175°、さらには180°以上の広角を網羅する。
図は、センサとして前方監視カメラ(複数可)120及び後方監視カメラ(複数可)130のみを示しているが、センサは、他の/追加的なセンサを含むことができ、前方監視及び/又は後方監視レーダ(複数可)、複数のレーザ測距装置、又は処理モジュールが、オートバイ10に危険をもたらし得るオートバイ10と他の物体(例えば、オートバイ10からの特定の閾値距離以内の他の車両)との衝突までの時間を決定することを可能にすることができる任意の他のセンサが挙げられる。
次いで、本明細書でさらに詳細に説明されるように、処理モジュール110によって取得された情報は、センサによって獲得及び解析されて、オートバイ10に対する脅威を識別する。処理モジュール110は、オートバイ10のシートの下に位置付けることができるが、代替的にオートバイの他の場所に位置付けることができる。処理モジュール110は、オートバイ10の電池に接続することができ、又はそれ自体の電力供給源を有することができる。センサ(例えば、前方監視カメラ(複数可)120及び後方監視カメラ(複数可)130)は、シリアライザに接続し、次いで、同軸ケーブルを通してデシリアライザに接続することができ、次に、センサによって獲得された情報を処理モジュール110に供給する。
センサが前方監視カメラ(複数可)120及び/又は後方監視カメラ(複数可)130である場合、処理モジュールは、この目的のために、該カメラによって獲得された画像を解析する。処理モジュール110によって識別することができるいくつかの例示的な脅威としては、右側からオートバイ10に接近している物体(道路上の障害物、別の車両、歩行者、又は処理モジュール110によって検出可能な任意の他の物体にかかわらず)との衝突の右側衝突警告、左側からオートバイ10に接近している物体(道路上の障害物、別の車両、歩行者、又は処理モジュール110によって検出可能な任意の他の物体にかかわらず)との衝突の左側衝突警告、オートバイ10の前方にある物体(道路上の障害物、別の車両、歩行者、又は処理モジュール110によって検出可能な任意の他の物体にかかわらず)との衝突の前方衝突警告(FCW)、オートバイ10のライダーが見ることができない場合がある特定の領域の物体(道路上の障害物、別の車両、歩行者、又は処理モジュール110によって検出可能な任意の他の物体にかかわらず)の存在を示す死角警告(BSW)、オートバイ10がレーンを維持していないという道路/車線維持警告(RKW)、オートバイ10が、その前方にある物体(道路上の障害物、別の車両、歩行者、又は処理モジュール110によって検出可能な任意の他の物体にかかわらず)から特定の距離未満ではないという距離維持警告(DKW)、オートバイ10のリーン角度が大きすぎる、又は十分な大きさでないというリーン角度警告、オートバイ10がカーブを通過し損なうことにつながり得る速度でカーブに接近しているというカーブ速度警告(CSW)、が挙げられる。
オートバイ10に対する脅威を識別した時点で、処理モジュール110は、ライダーがあらゆる危険を排除するために、又は低減させるために、手段を行うことを可能にするために、オートバイ10のライダーに警告するように構成され得る。警報は、オートバイ10のライダーによって感知することができる任意の様態で提供され得る。場合によっては、警報は、可視スペクトルの光(例えば、発光ダイオード(LED)の光、又は任意の他の発光デバイス)を生成する1つ以上の発光構成要素を含む、照明システム140を介して提供されることができる。点灯システム140は、図に示すように、オートバイ10のミラーの輪郭線上に位置付けることができる。場合によっては、このシステムは、ミラー自体に一体化することができる。他の場合では、このシステムは、オートバイ10の既存のミラーの頂部に加えることができる。点灯システム140は、ミラーの上側及び/又は側部及び/又は下部のいずれかで、オートバイのライダーによって見られ得る光を生成する。
警報は、代替的又は追加的に、他の手段を介して提供することができ、ライダーの着用しているヘルメットに(例えば、処理モジュール110と振動素子との間のBluetooth接続を使用する)又はオートバイ10のシートに接続された振動素子を介すること、又はライダーが警報として提供された振動を感知することができる様態でライダーによって着用される任意の他の着用可能な物体を介することが挙げられる。別の随意の警報機構としては、高速で走っているときであってもオートバイ10のライダーが聴くことができる音を生成するヘッドホン及び/又はスピーカ(例えば、オートバイ10ライダーによって着用されるヘルメット内のスピーカ)を介して、ライダーに提供される音ベースの警報を含むことができる。さらに別の随意の警報機構としては、投影機構を使用して、警報を示す情報、並びに随意に、警報の種類及び/又は警報と関連付けられた他の情報を、オートバイ10のライダーのヘルメットのバイザー上に投影することを含むことができる。
場合によっては、ライディング支援システムは、複数の種類の脅威を識別するように構成することができ、そのような場合、各脅威を異なる警報と関連付けることができ、オートバイ10のライダーが、脅威の種類を決定することを可能にすることに留意されたい。したがって、警報が点灯システム140を使用して提供される場合、各種類の警報を、随意に、特定のペースで点滅させることを含む特定のパターンで提供される、特定の組み合わせの光と関連付けることができる。場合によっては、光は、脅威の重大性に従って色を変化させることができる。例えば、オートバイ10がその前方を走っている別の車両と衝突する衝突脅威が存在する場合、(a)脅威が発生する可能性がXよりも低い場合は、光が、軽度の脅威を示す橙色となり、(b)脅威が発生する可能性がXよりも高い場合は、光が、重度の脅威を示す赤色となる。別の例として、警報が音を使用して提供される場合、脅威が高まるにつれて音量を増加させることができる。さらに別の例として、警報が振動素子を使用して提供される場合、脅威が高まるにつれて振動周波数を増加させることができる。
使用され得る1つの例示的な種類の視覚言語を図8に例示するが、該図は、様々な種類の脅威を識別した時点で、オートバイ10のライダーに提供される様々な種類の視覚指示を例示する。表において、各警告は、点灯システムによって提供される特定の色の光(例えば、随意に脅威の重大性によって、橙色及び赤色、軽度の脅威が橙色、重度の脅威が赤色と関連付けられる)、点灯システムの起動のパターン(例えば、単純にライトをオンにするか、又はライトを点滅させるなどの特定のパターンでライトをオンにする)、及び警告の種類ごとにいずれかのLEDライトを起動すること、と関連付けられる。例示される実施例の視覚指示は、オートバイ10のミラー上のLEDストライプによって提供される。
図1に戻ると、場合によっては、オートバイ10のライダーに警報を提供することに加えて、又はその代替例として、ライディング支援システムは、オートバイ10以外の歩行者又は別の車両の運転者に警報を提供し、それがオートバイ10に対する脅威であることを示すことができる。そのような場合、警報は、オートバイ10の少なくとも1つの前方及び/又は後方のライトをオンにするか、又はオートバイ10のホーンを使用してホーンを鳴らすことによって提供し、それによって、視覚及び/又は音ベースの警報を歩行者又は他の車両のドライバーに提供することができる。この目的のために、ライディング支援システムをオートバイ10のコントローラエリアネットワーク(CAN)バスに接続することができ、CANバスは、それを、そのスロットル、そのホーン、そのヘッドライト及び/又はテールライト、そのブレーキ、そのディスプレイ、などからなるグループのうちの1つ以上を含む、オートバイ10の様々なシステムに接続することを可能にすることができることに留意されたい。他の場合では、例えばオートバイ10のCANバスに接続することができない場合、ライディング支援システムは、オートバイ10のシステム(すなわち、オートバイ10のCANバスに接続されるシステム)を使用する必要性を排除するために、ライディング支援システムの一部として取り付けることができる専用のライト(複数可)及び/又はホーンを使用することができる。例えば、点灯ユニットを、オートバイ10のブレーキライトの隣及び/又はオートバイ10の後方のターンライトの隣に加えることができる。
場合によっては、処理モジュール110は、脅威を排除するか、又は低減させるために、オートバイ10に対する脅威の識別時に1つ以上の保護手段を行うようにさらに構成される。保護手段としては、オートバイ10の減速をもたらす様態で、自動化されたシフトダウン又はそのブレーキを使用することによって、及び/又はオートバイ10のスロットルを制御する(又はオートバイ10のエンジンへの燃料の流量を制御する)ことによって。オートバイを減速させることを挙げることができる。場合によっては、保護手段は、例えばオートバイ10のリーン角度が危険なほど急である場合に、その速度を高めることを含むことができることに留意されたい。
図に示していないが、とりわけ図2を参照して本明細書でさらに詳述するように、ライディング支援システムはまた、(a)全地球位置測定システム追跡ユニット(又はオートバイ10の現在の地理的な場所を決定することを可能にする任意の他の種類の装置)、及び/又は(b)例えばオートバイ10のリーン角度を決定することを可能にする、加速度計及び/又はジャイロスコープ及び/又は磁力計を備える慣性測定ユニット(IMU)、及び/又は(c)様々なデータを記憶するために使用することができるデータリポジトリを含むこともできる。
ライディング支援システムを有するオートバイの図を説明してきたが、本開示の主題によるライディング支援システムの一実施例を概略的に例示するブロック図である、図2に注目する。
本開示の主題の特定の実施例によれば、とりわけ図1を参照して本明細書で詳述するように、ライディング支援システム200は、少なくとも1つの前方監視カメラ(複数可)120及び/又は少なくとも1つの後方監視カメラ(複数可)130を備えることができる。
ライディング支援システム200は、とりわけセンサによって獲得された情報(例えば、前方監視カメラ(複数可)120及び/又は後方監視カメラ130(複数可)によって獲得された画像)、過去の乗車記録、などを含むデータを記憶するように構成されたデータリポジトリ210(例えばデータベース、記憶システム、リードオンリーメモリ-ROM、ランダムアクセスメモリ-RAM、又は任意の他の種類のメモリ、など)をさらに備えることができ、又は別様にこれらと関連付けることができる。
ライディング支援システム200は、処理モジュール110をさらに備える。処理モジュール110は、1つ以上の処理ユニット(例えば、中央演算処理装置)、マイクロプロセッサ、マイクロコントローラ(例えば、マイクロコントローラユニット(MCU))、又は任意の他のコンピューティング処理デバイスを含むことができ、これらは、関連するライディング支援システム200リソースを制御するための、及びライディング支援システム200リソースに関連する動作を可能にするためのデータを独立的又は協働的に処理する。
処理モジュール210は、ライディング支援モジュール220、方向指示器制御モジュール230、及び適応型巡航制御モジュール240のうちの1つ以上のモジュールを含むことができる。
本開示の主題のいくつかの実施例によれば、ライディング支援モジュール220は、ライディング支援をオートバイ10のライダーに提供するように構成される。支援としては、オートバイ10のライダーが気付く必要がある、危険な又は潜在的に危険な状況を示す警告を挙げることができる。ライディング支援プロセスに関する詳細な説明は、とりわけ図3、図4、図9、及び図10を参照して本明細書で提供する。
方向指示器制御モジュール230は、とりわけ図5及び図6を参照して本明細書でさらに詳述するように、方向指示器をオン/オフするべきであるという判定に応じて、オートバイ10の方向指示器を自動的に制御するように構成される。
適応クルーズコントロールモジュール240は、とりわけ図7を参照して本明細書でさらに詳述するように、オートバイ10がその前方を走っている車両からの所与の距離又は距離範囲を自動的に維持することを可能にするための適応クルーズコントロールを提供するように構成される。
図3を参照すると、本開示の主題による、オートバイの前方における危険に関する警告をオートバイのライダー及び/又は他のエンティティに提供するために行われる一連の動作の一実施例を例示するフローチャートが示される。
本開示の主題のいくつかの実施例によれば、ライディング支援システム200は、例えばライディング支援モジュール220を利用して、前方カメラベースのライディング支援プロセス300を行うように構成することができる。
この目的のために、ライディング支援システム200は、前方監視カメラ(複数可)120によって連続的に獲得された一連の少なくとも2つの画像を取得するように構成することができ、画像の各連続した画像対を取り込む間の時間通過が、所与の閾値(例えば、200ミリ秒、又は画像内に存在する車両とオートバイ10との現在の相対速度を決定することを可能にする、任意の他の閾値)よりも短い(ブロック310)。場合によっては、画像は、前方監視カメラ(複数可)120から、リアルタイムで、さらにオートバイ10の移動中に、連続的に取得され、該カメラは、オートバイ10のエンジンが動いている限り、又は少なくともオートバイが移動している限り、その最大フレームレートで(又は少なくとも所与の閾値を満たすフレームレートで)画像を取得する。
ライディング支援システム200は、リアルタイムで、ブロック310で取得された一連の画像のうちの少なくとも2つ、及び好ましくは一連の画像のうちの少なくとも2つの最近の画像を解析して、オートバイ10と1つ以上のそれぞれの物体との衝突までの時間を決定する(ブロック320)。衝突までの時間は、オートバイ10が物体と衝突するまで(又は、例えば道路のカーブである場合は、物体に到達するまで)どのくらいの時間がかかるかを示す。
場合によっては、衝突までの時間は、随意にオートバイ10とそれぞれの物体との距離を認識することなく、単一の前方監視カメラ120によって取り込まれた画像を使用して判定することができる。この種類の計算では、各画像内で識別可能なそれぞれの物体の各々には、それぞれの物体について画像から計算される固有のシグネチャが割り当てられる。このシグネチャを使用して、その後に取り込まれた画像(それぞれの物体が現れる)の間でそれぞれの物体を追跡することができる。画像内の物体の相対的サイズが、以前の画像内のその相対的サイズよりも小さくなった、又は大きくなった場合に、画像内の一部分の相対的サイズが、それぞれ、より小さく又はより大きくなることに留意しながら、各シグネチャを、それぞれの物体が現れる画像の特定の一部分と相関させる。この事実のため、一連の画像内の各画像に関して一部分のサイズの変化を監視することは、一部分に対応する物体とオートバイ10との衝突までの時間を決定することを可能にし得る。換言すれば、画像内の所与の一部分に対応する所与の物体との衝突までの時間は、その後に取得された画像の間のそれぞれの一部分のサイズの変化の速度に従って決定することができる。
他の場合では、衝突までの時間は、例えば、(a)オートバイ10と、一連の連続した画像の解析されたサブセットの少なくとも一部に少なくとも部分的に可視である1つ以上のそれぞれの物体(例えば、車両、歩行者、障害物、道路のカーブ、など)との距離、及び(b)オートバイとそれぞれの物体との相対移動を決定することによって決定され得る。
距離及び相対移動は、例えば、2つの連続的に獲得された画像の変化を解析することによって決定され得る。しかしながら、ライディング支援システム200のセンサによって感知されるオートバイ10と他の物体との距離及び相対移動は、準用して他の様態で決定することができることに留意されたい。例えば、レーダ、LIDAR、レーザ測距装置、又は任意の他の好適な方法及び/又は機構を使用することによって、ライディング支援システム200のセンサによって感知されたオートバイ10と他の物体との距離及び相対移動を決定することを可能にする。
画像内で可視であるオートバイ10と所与の物体との距離は、単一の前方監視カメラからの入力を使用して、又は2つの前方監視カメラからの入力を使用して決定することができる。
A.2つのカメラを使用して、オートバイ10の前方の光景を視認することで、オートバイ10と所与の物体との距離を決定することを可能にすることができる。この目的のために、Bは、2つのカメラの間の既知の距離であり、fは、カメラの既知の焦点距離であり、x及びx’は、距離を決定しようとする物体と関連付けられた光景内の所与の点に対応する画像平面内の点の間の距離である。物体の距離は、(B×f)/(x-x’)で計算される。
B.単一のカメラを使用し、hは、オートバイ10が走っている道路からのカメラの中間の焦点面の既知の高さである。fは、カメラの既知の焦点距離である。道路に対するカメラの角度は、既知である。qは、カメラの焦点面の半分の高さである。物体の距離は、(f×h)/qとして計算される。この計算は、カメラ内としての三角形相似に基づいていると認識することができ、h及びfによって表される三角形を有し、これは、h及びDによって表されるカメラの外部の三角形に類似するカメラに類似し、唯一の未知数は、Dである、と認識することができる。
衝突までの時間は、他の方法及び/又は技術を使用して決定することができ、本明細書で詳述する方法は、単なる例示的な実装形態であることに留意されたい。
ライディング支援システム200は、衝突までの時間(ブロック320で決定される)がオートバイに対する脅威を示した時点で、警告通知を生成する(ブロック330)。
図1を参照して示すように、オートバイ10に乗っているときには、多くの脅威が存在すると認識することができる。警告通知が生成され得るいくつかの例示的な脅威としては、右側からオートバイ10に接近している物体(道路上の障害物、別の車両、歩行者、又は処理モジュール110によって検出可能な任意の他の物体にかかわらず)との衝突の右側衝突警告、左側からオートバイ10に接近している物体(道路上の障害物、別の車両、歩行者、又は処理モジュール110によって検出可能な任意の他の物体にかかわらず)との衝突の左側衝突警告、オートバイ10の前方にある物体(道路上の障害物、別の車両、歩行者、又は処理モジュール110によって検出可能な任意の他の物体にかかわらず)との衝突の前方衝突警告(FCW)、オートバイ10のライダーが見ることができない場合がある特定の領域の物体(道路上の障害物、別の車両、歩行者、又は処理モジュール110によって検出可能な任意の他の物体にかかわらず)の存在を示す死角警告(BSW)、オートバイ10がレーンを維持していないという道路/車線維持警告(RKW)、オートバイ10が、その前方にある物体(道路上の障害物、別の車両、歩行者、又は処理モジュール110によって検出可能な任意の他の物体にかかわらず)から特定の距離未満でないという距離維持警告(DKW)、オートバイ10のリーン角度が大きすぎる、又は十分な大きさでないというリーン角度警告、オートバイ10がカーブを通過し損なうことにつながり得る速度でカーブに接近しているというカーブ速度警告(CSW)、又はオートバイ10にもたらされるあらゆる他の脅威、が挙げられる。
本明細書で示すように、場合によっては、警告通知は、オートバイ10のライダーに提供することができる。そのような場合、警告通知は、点灯システム140を介して提供することができ、該点灯システムは、オートバイの正面に面しているときにオートバイ10のライダーに可視である少なくとも1つの、及び随意に複数のライトを備える。
警告通知は、随意に所定のパターン(例えば、所与の周波数での点滅、ライトの起動のタイミング、選択されたライトの異なるライトをオンすること、など)及び/又は色(例えば、軽度の危険の脅威を示す橙色、及び重度の脅威を示す赤色)で、点灯システム140の1つ以上の選択されたライト又は全てのライトをオンにすることによって提供される。選択されたライト(及び随意に、パターン及び/又は色)は、複数の脅威の種類及び/又は重大性から、ブロック330で識別された脅威の脅威の種類及び/又は深刻度に従って(例えば、予め定義されたルールに従って)選択することができる。そのような場合、少なくとも2つの異なる脅威の種類は、各々が、選択されたライト及び/又はパターン及び/又は色の異なる組み合わせと関連付けられる。
追加的又は代替的に、点灯システム140を使用して視覚警告通知を提供するために、警告通知は、1つ以上のスピーカを介してオートバイのライダーに提供される音響通知を含むことができる。スピーカは、ライダーのヘルメットに一体化されたBluetoothスピーカ、又はオートバイ10のライダーによって聴くことができる音を生成する任意の他のスピーカであり得る。場合によっては、音響通知は、識別された特定の脅威の種類の情報及び/又は重大性を提供する、自然言語の音声通知であり得る(例えば、警告-前方衝突の危険」)。場合によっては、危険が高くなるほど通知の音量が大きくなるように、危険の重大性に従って音量を調整することができる。
追加的又は代替的に、警告通知は、オートバイ10のライダーが感じる振動を生じさせる1つ以上の振動素子を介してオートバイのライダーに提供される振動であり得る。場合によっては、危険が大きくなるほど振動が強くなるように、危険の重大性に従って振動を調整することができる。振動素子は、随意に、オートバイ10のライダーが着用するジャケットに、オートバイ10のシートに、又はオートバイ10のライダーが着用するヘルメットに一体化することができるが、振動素子はまた、その振動をオートバイ10のライダーが感じる限り、他の場所に提供することもできる。
追加的又は代替的に、警告通知は、点灯システム140以外の視覚通知とすることができる。例えば、警告通知は、任意の好適な投影機構を使用して、オートバイ10のライダーのヘルメットのバイザー上に投影すること、又はオートバイ10のディスプレイに示すことができる。
上記の警告通知提供システムは、単なる実施例であり、警告通知は、ライダーに脅威(複数可)が通知される限り、任意の他の様態でオートバイ10のライダーに提供することができることに留意されたい。
警告通知をオートバイのライダーに提供することを目的とするいくつかの警告通知提供システムを説明してきたが、以下、警告通知をオートバイ10のライダーに提供することに加えて、又はその代わりに、警告通知が、(ライディング支援システム200のセンサによって感知され、オートバイ10に対する危険をもたらす他の物体である)オートバイ10以外の歩行者又は車両に提供される状況に注目する。警告通知をオートバイ10以外のそのような歩行者又は車両に提供することができるいくつかの例示的な様態としては、(a)ブレーキライト、ヘッドライト、又はターンライトにかかわらず、オートバイの少なくとも1つのライトをオンにすること、及び(b)オートバイのホーン又はライディング支援システム200に接続された任意の他のホーンを使用してホーンを鳴らすこと、が挙げられる。
以下、脅威の種類及びそのライディング支援システム200の処置のいくつかの特定の実施例に注目する。第1の例示的な脅威の種類は、オートバイ10が、オートバイ10の前方に存在する物体の1つ以上と衝突することの、前方衝突脅威である。そのような場合、警告通知は、処理モジュール110が、オートバイがそれぞれの物体と衝突するまでに経過すると予想される時間である、衝突までの時間が、所定の閾値時間よりも短いと判定した時点で生成することができる。点灯システム140を介して警告通知が提供される場合、オートバイ10に対する脅威をもたらす物体の位置に基づいて、第1のライトの組み合わせをオンにすることができる。例えば、オートバイ10の前方かつ左側に物体がある場合、(随意に、上で詳述したように、特定のパターン及び/又は色で)オートバイ10の左側(例えば、左側ミラーの上側)にある1つ以上のライトをオンにすることができる。オートバイ10の前方かつ右側に物体がある場合、(随意に、上で詳述したように、特定のパターン及び/又は色で)オートバイ10の右側(例えば、右側ミラーの上側)にある1つ以上のライトをオンにすることができる。物体がオートバイ10の前方かつその中央にある場合、(随意に、上で詳述したように、特定のパターン及び/又は色で)オートバイ10の左側及び右側(例えば左側及び右側ミラーの上側)にある両方のライトを、又は代替的に、左側ミラーと右側ミラーとの間に配置された1つ以上のライトをオンにすることができる。これらは、単なる実施例であり、警告通知は、準用して他の手段を使用して提供することができることに留意されたい。
別の例示的な脅威の種類は、オートバイ10の必要な方向の変化をもたらす道路/レーンのカーブのため、オートバイ10が走っている道路/レーンを維持することができないという、オートバイ10の道路/車線維持脅威である。そのような場合、警告通知は、処理モジュール110が、(例えば、オートバイとカーブとの距離及び相対移動を使用して)オートバイがカーブに到達するまでに経過すると予想される時間である、カーブまでの時間が、所定の閾値時間よりも短いと判定した時点で生成することができる。点灯システム140を介して警告通知が提供される場合、例えばカーブまでの時間に基づいて、(前方衝突の脅威において提供される第1のライトの組み合わせ以外の)第2のライトの組み合わせをオンにすることができる。例えば、カーブまでの時間が3秒未満である場合、点灯システム140の1つ以上のライトを黄色でオンにすることができる。脅威がまだ存在する場合、カーブまでの時間が2秒未満である場合、点灯システム140の1つ以上のライトを橙色でオンにすることができる。脅威がまだ存在する場合、カーブまでの時間が1秒未満である場合、点灯システム140の1つ以上のライトを赤色でオンにすることができる。
さらに別の例示的な脅威の種類は、オートバイ10が危険なリーン角度で走っているレーンのカーブにオートバイ10が進入することの、リーン角度脅威である。そのような場合、警告通知は、処理モジュール110が、オートバイの現在のリーン角度の情報、カーブの角度、及びオートバイがカーブに到達するまでに経過すると予想される時間である、カーブまでの時間の情報を使用して、オートバイの地面に対するリーン斜角度である現在のリーン角度が、第1の所定の閾値よりも小さいか、又は第2の所定の閾値よりも大きいと判定した時点で生成することができる。点灯システム140を介して警告通知が提供される場合、例えばカーブまでの時間及び/又は現在のオートバイ10リーン角度に基づいて、(前方衝突の脅威において提供される第1のライトの組み合わせ以外の)第3のライトの組み合わせをオンにすることができる。例えば、カーブまでの時間が1.2秒未満であり、かつオートバイ10の現在のリーン角度が第1及び第2の予め定義された閾値以内ではないと判定された場合、黄色の点滅パターンで、点灯システム140の1つ以上のライトをオンにすることができる。脅威がまだ存在する場合、カーブまでの時間が1秒未満である場合、点灯システム140の1つ以上のライトを橙色の点滅パターンでオンにすることができる。脅威がまだ存在する場合、カーブまでの時間が0.8秒未満である場合、点灯システム140の1つ以上のライトを赤色の点滅パターンでオンにすることができる。
オートバイ10の現在のリーン角度に関して、オートバイ10に接続された慣性測定ユニット(IMU)から、及び/又は前方監視カメラ(複数可)120によって獲得された少なくとも2つの直前の連続した画像を解析することによって取得することができることに留意されたい。
本明細書では、警告通知をオートバイ10のライダーに、及び/又はオートバイ10以外の歩行者及び/又は他の車両の運転者などの他のエンティティに提供することを参照した。しかしながら、場合によっては、警告通知を提供することに加えて、又はその代わりに、処理モジュール110は、随意に、(本明細書に示すように、様々な方法及び/又は技術を使用して決定することができる)衝突までの時間が、オートバイに対する脅威を示した時点で、1つ以上の保護手段を行うように構成することができる。保護手段は、例えば、オートバイ10の減速をもたらす様態で、自動化されたシフトダウン又はそのブレーキを使用することによって使用することによって、及び/又はオートバイ10のスロットルを制御する(又はオートバイ10のエンジンへの燃料の流量を制御する)ことによって、例えば、オートバイ10を減速させることを含むことができる。場合によっては、保護手段は、例えばオートバイ10のリーン角度が危険なほど急である場合に、その速度を高めることを含むことができることに留意されたい。
図3を参照すると、ブロックのうちのいくつかは、統合されたブロックに一体化することができ、又は2~3つのブロックに分解することができ、及び/又は他のブロックが加えられ得ることに留意されたい。ブロックのうちのいくつかは、随意である(例えば、脅威の識別時に1つ以上の保護手段を行う場合に、ブロック330での警告通知の生成が省略され得る)ことにさらに留意されたい。また、フロー図は、それらを実現するシステム要素も参照して説明するが、これは、決して束縛するものではなく、ブロックは、本明細書で説明するもの以外の要素によって行われ得ることにも留意されたい。
図4は、本開示の主題による、オートバイの後方の危険に関する警告をオートバイのライダー及び/又は他のエンティティに提供するために行われる一連の動作の一実施例を例示するフローチャートを示す。
本開示の主題のいくつかの実施例によれば、ライディング支援システム200は、例えばライディング支援モジュール220を利用して、ライディング支援プロセス300と同様である、及び随意にその補完である、後方カメラベースのライディング支援プロセス400を行うように構成することができる。
この目的のために、ライディング支援システム200は、後方監視カメラ(複数可)130によって連続的に獲得された一連の少なくとも2つの画像を取得することであって、画像の各連続した画像対を取り込む間の時間通過が、所与の閾値(例えば、200ミリ秒、又は画像内に存在する車両とオートバイ10との現在の相対速度を決定することを可能にする、任意の他の閾値)よりも短い、取得することを行うように構成することができる(ブロック410)。場合によっては、画像は、後方監視カメラ(複数可)130から、リアルタイムで、さらにオートバイ10の移動中に、連続的に取得され、該カメラは、オートバイ10のエンジンが動いている限り、又は少なくともオートバイが移動している限り、その最大フレームレートで(又は少なくとも所与の閾値を満たすフレームレートで)画像を取得する。
ライディング支援システム200は、リアルタイムで、ブロック410で取得された一連の画像のうちの少なくとも2つ、及び好ましくは一連の画像のうちの少なくとも2つの最近の画像を解析して、オートバイ10と1つ以上のそれぞれの物体との衝突までの時間を決定する(ブロック420)。衝突までの時間は、オートバイ10が物体と衝突するまでどのくらいの時間がかかるかを示す。
場合によっては、衝突までの時間は、随意にオートバイ10とそれぞれの物体との距離を認識することなく、単一の後方監視カメラ130によって取り込まれた画像を使用して判定することができる。この種類の計算では、各画像内で識別可能なそれぞれの物体の各々には、それぞれの物体について画像から計算される固有のシグネチャが割り当てられる。このシグネチャを使用して、その後に取り込まれた画像(それぞれの物体が現れる)の間でそれぞれの物体を追跡することができる。画像内の物体の相対的サイズが、以前の画像内のその相対的サイズよりも小さくなった、又は大きくなった場合に、画像内の一部分の相対的サイズが、それぞれ、より小さく又はより大きくなることに留意しながら、各シグネチャを、それぞれの物体が現れる画像の特定の一部分と相関させる。この事実のため、一連の画像内の各画像に関して一部分のサイズの変化を監視することは、一部分に対応する物体とオートバイ10との衝突までの時間を決定することを可能にすることができる。換言すれば、画像内の所与の一部分に対応する所与の物体との衝突までの時間は、その後に取得された画像の間のそれぞれの一部分のサイズの変化の速度に従って決定することができる。
他の場合では、衝突までの時間は、例えば、(a)オートバイ10と、一連の連続した画像の解析されたサブセットの少なくとも一部に少なくとも部分的に可視である1つ以上のそれぞれの物体(例えば、車両、歩行者、障害物、道路のカーブ、など)との距離、及び(b)オートバイとそれぞれの物体との相対移動を決定することによって決定することができる。距離及び相対移動は、例えば、2つの連続的に獲得された画像の変化を解析することによって決定することができる。しかしながら、ライディング支援システム200のセンサによって感知されるオートバイ10と他の物体との距離及び相対移動は、準用して他の様態で決定することができることに留意されたい。例えば、レーダ、LIDAR、レーザ測距装置、又は任意の他の好適な方法及び/又は機構を使用することによって、ライディング支援システム200のセンサによって感知されたオートバイ10と他の物体との距離及び相対移動を決定することを可能にする。
衝突までの時間は、他の方法及び/又は技術を使用して決定することができ、本明細書で詳述する方法は、単なる例示的な実装形態であることに留意されたい。
ライディング支援システム200は、衝突までの時間(ブロック420で決定される)がオートバイ10に対する脅威を示した時点で、警告通知を生成する(ブロック430)。
1つの例示的な脅威の種類は、後部側からオートバイ10と衝突する、オートバイ10以外の車両の、後方衝突脅威である。そのような場合、警告通知は、処理モジュール110が、例えばブロック420で決定される衝突までの時間を使用して、他の車両がオートバイ10と衝突するまでに経過すると予想される時間である、所定の閾値時間よりも短いと判定した時点で生成することができる。そのような場合、ライディング支援システム200は、随意に特定のパターン及び/又は色で、オートバイ10のブレーキライト及び/又はターンライトを起動させることができ、よって、(衝突することによって)オートバイに対する脅威をもたらす車両の運転者に、その車両が脅威であることを知らせる。追加的又は代替的に、ライディング支援システム200は、オートバイ10のホーンを使用して、オートバイ10に対する脅威をもたらすという事実に対して注意を引き付け得る音響通知を、(衝突することによって)オートバイ10に対する脅威をもたらす車両の運転者に提供することができる。場合によっては、ライディング支援システム200は、(例えば、オートバイ10のライト(複数可)及び/又はホーン(複数可)を制御するためのCANバスをオートバイ10に接続することができない)オートバイ10のライト(複数可)及び/又はホーン(複数可)を使用する代わりに、専用のライト(複数可)及び/又はホーン(複数可)を使用することができることに留意されたい。
場合によっては、(衝突することによって)オートバイ10に対する脅威をもたらす車両の運転者に警告通知を提供する代わりに、又はそれに加えて、警告通知をオートバイ10のライダーに提供することもできる。そのような場合、点灯システム140を介して警告通知を提供することができ、オートバイ10に対する脅威をもたらす車両の位置に基づいて、第1のライトの組み合わせをオンにすることができる。例えば、オートバイ10の後方かつ左側に車両がある場合、(随意に、上で詳述したように、特定のパターン及び/又は色で)オートバイ10の左側(例えば、左側ミラーの上側)にある1つ以上のライトをオンにすることができる。オートバイ10の後方かつ右側に物体がある場合、(随意に、上で詳述したように、特定のパターン及び/又は色で)オートバイ10の右側(例えば、右側ミラーの上側)にある1つ以上のライトをオンにすることができる。物体がオートバイ10の後方かつその中央にある場合、(随意に、上で詳述したように、特定のパターン及び/又は色で)オートバイ10の左側及び右側(例えば左側及び右側ミラーの上側)にある両方のライトを、又は代替的に、左側ミラーと右側ミラーとの間に配置された1つ以上のライトをオンにすることができる。これらは、単なる実施例であり、警告通知は、準用して他の手段を使用して提供することができることに留意されたい。
別の例示的な脅威の種類は、オートバイ10のライダーの死角にある物体(例えば、オートバイ10以外の車両)の存在に関する。死角は、ライダーが前方を見ているときにオートバイ10のライダーには見えない、オートバイ10の右側及び左側の特定の領域である。場合によっては、死角は、オートバイの前方から延在する線に対する特定の角度範囲によって定義することができる。例えば、右側死角は、角度範囲35°~120°として定義することができ、左側死角は、215°~300°の角度範囲として定義することができる。オートバイ10の死角内に脅威が存在する場合、点灯システム140を介して警告通知を提供することができ、脅威が存在する側に従って、第1のライトの組み合わせをオンにすることができる。オートバイ10の左側に脅威がある場合、(随意に、上で詳述したように、特定のパターン及び/又は色で)点灯システム140の左側のライトをオンにすることができる。オートバイ10の右側に脅威がある場合、(随意に、上で詳述したように、特定のパターン及び/又は色で)点灯システム140の右側のライトをオンにすることができる。
後方監視カメラ(複数可)130によって識別される物体は、例えばそのような物体がオートバイ10よりも高速に移動するとき、後に、前方監視カメラ(複数可)120によって識別される物体になり得ることに留意されたい。同様に、前方監視カメラ(複数可)120によって識別される物体は、例えばオートバイ10がそのような物体よりも高速に移動するとき、後に、後方監視カメラ(複数可)130によって識別される物体になり得ることに留意されたい。したがって、ライディング支援システム200の少なくともいくつか構成では、前方監視カメラ(複数可)120及び後方監視カメラ(複数可)130を、車両がオートバイ10の隣から特定の範囲内(例えば、オートバイ10から最大3メートル、さらには5メートル)を走っているときに、前方監視カメラ(複数可)120が少なくとも車両の前方を含む画像を取り込み、後方監視カメラ(複数可)130が少なくとも車両の後方を含む画像を取り込み、よって、(前方監視カメラ(複数可)120及び後方監視カメラ(複数可)130のうちの少なくとも1つによってその少なくとも一部を取り込むことによって)保護された範囲内のあらゆる車両を常に網羅するので、前方監視カメラ(複数可)120及び後方監視カメラ130(複数可)の存在は、オートバイの周囲を広範囲に網羅することを可能にし、これは、360°の保護をオートバイ10のライダーに提供することができる。
図4を参照すると、ブロックのうちのいくつかは、統合されたブロックに一体化することができ、又は2~3つのブロックに分解することができ、及び/又は他のブロックが加えられ得ることに留意されたい。ブロックのうちのいくつかは、随意である(例えば、脅威の識別時に1つ以上の保護手段を行う場合に、図3の文脈での説明と同様に、ブロック430での警告通知の生成が省略され得る)ことにさらに留意されたい。また、フロー図は、それらを実現するシステム要素も参照して説明するが、これは、決して束縛するものではなく、ブロックは、本明細書で説明するもの以外の要素によって行うことができることにも留意されたい。
図5を参照すると、本開示の主題による、オートバイの方向指示器の自動制御のために実行される一連の動作の一実施例を例示するフローチャートが示される。
本開示の主題のいくつかの実施例によれば、ライディング支援システム200は、例えば方向指示器制御モジュール230を利用して、方向指示器制御プロセス500を行うように構成することができる。
この目的のために、ライディング支援システム200は、リアルタイムで、前方監視カメラ(複数可)120によって連続的に獲得された連続した画像を取得するように構成することができ、連続した画像の各連続した画像対を取り込む間の時間通過は、所与の閾値(例えば、200ミリ秒、又は画像内に存在する車両とオートバイ10との間の現在の相対速度を決定することを可能にする任意の他の閾値)よりも短い(ブロック510)。場合によっては、画像は、前方監視カメラ(複数可)120から、リアルタイムで、さらにオートバイ10の移動中に、連続的に取得され、該カメラは、オートバイ10のエンジンが動いている限り、又は少なくともオートバイが移動している限り、その最大フレームレートで(又は少なくとも所与の閾値を満たすフレームレートで)画像を取得する。
ライディング支援システム200は、リアルタイムで、ブロック510で取得された連続した画像のうちの1つ以上の直前のグループを解析して、オートバイ10が走っているレーンに対するオートバイ10の横移動の方向及び/又は速度を決定するようにさらに構成される(ブロック520)。移動の方向及び/又は速度は、画像を解析すること、及び道路上のレーンマークからのオートバイ10の距離を識別することによって決定することができる。必然的に、オートバイ10は、曲がり始めると、(曲がる方向に従って、その左側又は右側にある)レーンマークに向かって移動し始め、このように、移動の方向及び/又は速度を画像解析によって決定することができる。しかしながら、移動の方向及び/又は速度は、例えば、移動の方向及び/又は速度を導出するためにオートバイ10の情報と共に、オートバイ10に接続されたIMUから取得された情報を使用することを含む、他の方法及び/又は技術を使用して決定することができることに留意されたい。
ライディング支援システム200は、速度が閾値を超えている時点で、オートバイの方向指示器をオンにして、オートバイ10の横移動の方向への旋回を知らせるように構成される(ブロック530)。横移動が終了したと判定した時点で、ライディング支援システム200は、オートバイ10の方向指示器をオフにすることができる。横移動が終了したという判定は、前方監視カメラ(複数可)120によって獲得された画像の解析を使用して、及び/又はオートバイ10のIMUから取得された情報を使用して行うことができる。
図5を参照すると、ブロックのうちのいくつかは、統合されたブロックに一体化することができ、又は2~3つのブロックに分解することができ、及び/又は他のブロックが加えられ得ることに留意されたい。ブロックのうちのいくつかは、随意であることにさらに留意されたい。また、フロー図は、それらを実現するシステム要素も参照して説明するが、これは、決して束縛するものではなく、ブロックは、本明細書で説明するもの以外の要素によって行うことができることにも留意されたい。
図6は、本開示の主題による、オートバイの方向指示器の選択的な起動のために実行される一連の動作の一実施例を例示するフローチャートである。
本開示の主題のいくつかの実施例によれば、ライディング支援システム200は、例えば方向指示器制御モジュール230を利用して、選択的方向指示器制御プロセス600を行うように構成することができる。選択的方向指示器制御プロセス600は、オートバイ10の後方の車両の存在が判定されたときにのみ方向指示器をオンにすることを可能にするために、方向指示器制御プロセス500を補完することができる。
この目的のために、ライディング支援システム200は、リアルタイムで、後方監視カメラ(複数可)130によって連続的に獲得された連続した画像を連続的に取得することであって、連続した画像の各連続した画像対を取り込む間の時間通過が、所与の閾値(例えば、200ミリ秒、又は画像内に存在する車両とオートバイ10との現在の相対速度を決定することを可能にする、任意の他の閾値)よりも短い、取得することを行うように構成することができる(ブロック510)。
ライディング支援システム200は、ブロック610で取得された連続した画像のうちの1つ以上の直前のグループを連続的に解析して、オートバイ10の後方を走っている1台以上の車両の存在を判定するようにさらに構成される(ブロック620)。判定に従って、ブロック530で方向指示器をオンにするかどうかの判定を行うことができ、よって、方向指示器は、オートバイ10の後方を走っている1台以上の車両の存在を判定した時点でのみオンにされる。
図6を参照すると、ブロックのうちのいくつかは、統合されたブロックに一体化することができ、又は2~3つのブロックに分解することができ、及び/又は他のブロックが加えられ得ることに留意されたい。また、フロー図は、それらを実現するシステム要素も参照して説明するが、これは、決して束縛するものではなく、ブロックは、本明細書で説明するもの以外の要素によって行うことができることにも留意されたい。
図7には、本開示の主題による、オートバイのための適応クルーズコントロールを提供するために実行される一連の動作の一実施例を例示するフローチャートが示される。
本開示の主題のいくつかの実施例によれば、ライディング支援システム200は、例えば適応クルーズコントロールモジュール240を利用して、適応クルーズコントロールプロセス700を行うように構成することができる。
この目的のために、ライディング支援システム200は、オートバイ10とオートバイ10の前方を走っている任意の車両との間で維持するための基準距離の指示を取得するように構成することができる(ブロック710)。この指示は、例えば専用ボタン又は任意の他の入力装置などのオートバイ10の入力装置を介して、適応クルーズコントロールプロセスを開始するための命令であるトリガーをライダーが提供することによって提供することができる。そのような指示を受信した時点で、ライディング支援システム200は、オートバイのライダーがトリガーを提供する前又は後の所定の時間まで(例えば、トリガーが始動される前及び/又はその後の0.5秒まで)前方監視カメラ(複数可)120によって取り込まれた基準距離決定画像を使用して、基準距離を決定することができる。
ライディング支援システム200は、リアルタイムで、前方監視カメラ(複数可)120によって連続的に獲得された一連の画像を取得するように構成することができ、連続した画像の各連続した画像対を取り込む間の時間通過は、所与の閾値(例えば、200ミリ秒、又はオートバイ10の前方を走っている車両とオートバイ10と現在の相対速度を決定することを可能にする、任意の他の閾値)よりも短い(ブロック720)。
ライディング支援システム200は、ブロック720で取得された連続した画像を連続的に解析して、オートバイ10とオートバイ10の前方を走っている車両との実際の距離を決定し(ブロック730)、実際の距離が基準距離とは異なった時点で、ライディング支援システム200は、(例えば、オートバイ10の速度の変化をもたらすと予想される様態で、オートバイ10のスロットル(又は別様にオートバイ10のエンジンへの燃料の流量を制御すること)、ブレーキ、シフト、などを制御することによって)オートバイ10の速度を制御して(増加させて/減少させて)、車両からの基準距離に戻す(ブロック740)。
図7を参照すると、ブロックのうちのいくつかは、統合されたブロックに一体化することができ、又は2~3つのブロックに分解することができ、及び/又は他のブロックが加えられ得ることに留意されたい。また、フロー図は、それらを実現するシステム要素も参照して説明するが、これは、決して束縛するものではなく、ブロックは、本明細書で説明するもの以外の要素によって行うことができることにも留意されたい。
図9を参照すると、本開示の主題による、側面衝突の危険に関する警告をオートバイのライダー及び/又は他のエンティティに提供するために実行される一連の動作の一実施例を例示するフローチャートが示される。
本開示の主題のいくつかの実施例によれば、ライディング支援システム200は、ライディング支援モジュール220を利用して、側面衝突検出プロセス800を行うように構成することができる。
この目的のために、ライディング支援システム200は、前方監視カメラ(複数可)120によって連続的に獲得された一連の少なくとも2つの画像を取得するように構成することができ、画像の各連続した画像対を取り込む間の時間通過が、所与の閾値(例えば、200ミリ秒、又は画像内に存在する車両とオートバイ10との間の現在の相対速度を決定することを可能にする任意の他の閾値)よりも短い(ブロック310)。場合によっては、画像は、前方監視カメラ(複数可)120から、リアルタイムで、さらにオートバイ10の移動中に、連続的に取得され、該カメラは、オートバイ10のエンジンが動いている限り、又は少なくともオートバイが移動している限り、その最大フレームレートで(又は少なくとも所与の閾値を満たすフレームレートで)画像を取得する。場合によっては、道路に対するオートバイ10の少なくとも1つの角度が、少なくとも一対の連続した画像を取り込む間に変化することに留意されたい。
ライディング支援システム200は、随意にリアルタイムで、少なくとも一対の一連の連続した画像内の対象領域(すなわち、随意に不連続である)を解析して、少なくとも一対の連続した画像内のそれぞれの特徴位置を有する特徴を識別する。
場合によっては、対象領域は、一対の連続した画像の各画像のサブ部分であり得る。そ対象領域は、画像の上部分の少なくとも一部(例えば、随意に切り取ることができる、その中に示される輪郭線の上側の画像の特定の部分)を含まない、及び随意に、その最左端の一部とその最右端の一部との間の画像の少なくとも一部を含まない、画像の一部であり得る。例示的な対象領域を図11に示すが、該図は、例示的なフレーム1100を示し、1つが1110と記されたフレームの左下側にあり、1つが1120と記されたフレームの右下側にある2つの部分で構成された不連続な対象領域を有する。この対象領域(1110及び1120で構成される)は、側面衝突からのオートバイに対する潜在的脅威を検出しようとするときに関連性を有する。1110と記された領域の一部は、オートバイ10の左側からの潜在的側面衝突の脅威を検出するためのものであり、1120と記された領域の一部は、オートバイ10の右側からの潜在的側面衝突の脅威を検出するためのものである。これは、単なる実施例であること、及び対象領域(1110及び1120)の比率は、例示のみを目的とするために描画されていることに留意されたい。図内の尺度も例示的なものであり、場合によっては、尺度は、図に示されるものとは異なり得る。本明細書で、不連続である対象領域を参照する場合、不連続な対象領域の各連続部分は、準用して別個の連続した対象領域とみなされ得ることに留意されたい。
側面衝突検出プロセス800、及びブロック820に戻ると、ライディング支援システム200は、少なくとも一対の連続した画像内の対象領域を解析して、少なくとも一対の連続した画像内のそれぞれの特徴位置を有する特徴を識別する。特徴は、既知の特徴識別方法及び/又は技術を使用して、又は専用の方法及び/又は技術を使用して、各フレームにおいて識別することができる。本開示の主題によれば、特徴は、自動車、トラック、又は他の種類の車両と関連付けられた特徴であり得る。例示的な特徴としては、車両の隅部、車両の特定の部分(例えば、ホイール、ミラー、ヘッドライト、ナンバープレート、点滅器、バンパー、など)、などを挙げることができる。
ライディング支援システム200は、一連の少なくとも一対の連続した画像の各画像内の特徴及びそのそれぞれの特徴位置の各々を整合させて、一連の少なくとも一対の連続した画像間のそれぞれの特徴の各々の移動ベクトルを決定し、移動ベクトルは、経時的な(解析した画像を取り込む間の時間)特徴の移動を表す(ブロック830)。特徴は、L関数及び/又は最近傍アルゴリズムを使用して整合することができる。
ライディング支援システム200は、基準を満たした時点で、警告通知を生成するようにさらに構成することができ、基準は、それぞれの特徴の移動ベクトルと、又はそれぞれの特徴の拡張移動ベクトルと関連付けられる(拡張移動ベクトルに関する詳細な説明は、図12を参照して本明細書で提供されることに留意されたい)(ブロック840)。
場合によっては、基準は、オートバイ10の方向との衝突進路にある移動ベクトルの数が閾値を超えることであり得る。代替的な実施形態では、基準は、移動のベクトルの平均を表すベクトルである平均ベクトルが、オートバイ10の方向との衝突進路にあることであり得る。場合によっては、ライディング支援システム200は、特徴の各々の軌跡を推定し、推定した軌道の交点を識別するようにさらに構成することができ、そのような場合、基準は、交点が、ブロック810で取得された一連の画像のうちの所与の画像内の予め定義された領域内にあるときに満たすことができる。場合によっては、ライディング支援システム200は、(ブロック820で解析された対象領域以外の)一対の一連の連続した画像内の少なくとも一つの対象領域内のオートバイ10に向かう垂直方向のオプティカルフローの平均値を決定するようにさらに構成することができ、そのような場合、基準は、オプティカルフローの平均値が許容平均オプティカルフロー閾値(随意に予め定義することができる)を超えたときに満たされ得る。
場合によっては、図に示していないが、ライディング支援システム200は、一連の少なくとも一対の連続した画像の所与の画像内の特徴のうちの少なくともいくつかと関連付けられた車両の存在の可能性を推定するようにさらに構成することができ、そのような場合、警告通知は、可能性が対応する閾値を超える場合にのみ生成される。場合によっては、所与の画像内の特徴のうちの少なくともいくつかと関連付けられた車両の存在の可能性の評価は、畳み込みニューラルネットワークを使用して行うことができる。
本明細書で示すように、場合によっては、ブロック840で生成された警告通知は、オートバイ10のライダーに提供することができる。そのような場合、警告通知は、点灯システム140を介して提供することができ、該点灯システムは、オートバイの正面に面しているときにオートバイ10のライダーに可視である少なくとも1つの、及び随意に複数のライトを備える。
警告通知は、随意に側面衝突の脅威を示すための所定のパターン及び/又は色で、点灯システム140の1つ以上の選択されたライト又は全てのライトをオンにすることによって提供することができる。選択されたライト(及び、随意にパターン及び/又は色)は、(例えば、予め定義されたルールに従って)側面衝突の脅威の方向(右側又は左側)、及び/又はブロック840で識別された脅威の重大性に従って選択することができる。
追加的又は代替的に、点灯システム140を使用して視覚警告通知を提供するために、警告通知は、1つ以上のスピーカを介してオートバイのライダーに提供される音響通知を含むことができる。スピーカは、ライダーのヘルメットに一体化されたBluetoothスピーカ、又はオートバイ10のライダーによって聴くことができる音を生成する任意の他のスピーカとすることができる。場合によっては、音響通知は、脅威の方向及び/又はその重大性の情報を提供する、自然言語の音声通知とすることができる(例えば、警告-左側面衝突」)。場合によっては、危険が高くなるほど通知の音量が大きくなるように、危険の重大性に従って音量を調整することができる。
追加的又は代替的に、警告通知は、オートバイ10のライダーが感じる振動を生じさせる1つ以上の振動素子を介してオートバイのライダーに提供される振動とすることができる。場合によっては、危険が大きくなるほど振動が強くなるように、危険の重大性に従って振動を調整することができる。振動素子は、随意に、オートバイ10のライダーが着用するジャケットに、オートバイ10のシートに、又はオートバイ10のライダーが着用するヘルメットに一体化することができるが、振動素子はまた、その振動をオートバイ10のライダーが感じる限り、他の場所に提供することもできる。
追加的又は代替的に、警告通知は、点灯システム140以外の視覚通知とすることができる。例えば、警告通知は、任意の好適な投影機構を使用して、オートバイ10のライダーのヘルメットのバイザー上に投影すること、又はオートバイ10のディスプレイに示すことができる。
上記の警告通知提供システムは、単なる実施例であり、警告通知は、ライダーに脅威(複数可)が通知される限り、任意の他の様態でオートバイ10のライダーに提供することができることに留意されたい。
警告通知をオートバイ10のライダーに提供することを目的とするいくつかの警告通知提供システムを説明してきたが、以下、警告通知をオートバイ10のライダーに提供することに加えて、又はその代わりに、警告通知が、オートバイ10に対する脅威をもたらす車両に提供される状況に注目する。警告通知をオートバイ10以外のそのような車両に提供することができる例示的な様態としては、オートバイのホーン又はライディング支援システム200に接続された任意の他のホーンを使用してホーンを鳴らすことが挙げられる。
図9を参照すると、ブロックのうちのいくつかは、統合されたブロックに一体化することができ、又は2~3つのブロックに分解することができ、及び/又は他のブロックが加えられ得ることに留意されたい。ブロックのうちのいくつかは、随意であることにさらに留意されたい。また、フロー図は、それらを実現するシステム要素も参照して説明するが、これは、決して束縛するものではなく、ブロックは、本明細書で説明するもの以外の要素によって行うことができることにも留意されたい。
図10を参照すると、本開示の主題による、拡張運動ベクトルを決定するために実行される一連の動作の一実施例を例示する別のフローチャートが示される。
本開示の主題のいくつかの実施例によれば、ライディング支援システム200は、例えばライディング支援モジュール220を利用して、拡張運動決定プロセス900の拡張ベクトルを行うように構成することができる。
この目的のために、ライディング支援システム200は、ブロック820で解析された一対以外の、少なくとも他の一対の一連の連続した画像内の対象領域を解析して、それぞれの特徴位置を有する特徴を識別するように構成することができ、ブロック820で解析された一対の画像のうちの少なくとも1つは、他の一対の画像のうちの1つである(ブロック910)。したがって、3つの連続した画像を解析して、その特徴を識別する。
ライディング支援システム200は、一連の一対の及び他の一対の連続した画像内の特徴の特徴位置を整合させて、一対及び他の一対の連続した画像間のそれぞれの特徴の各々の拡張移動ベクトルを決定し、拡張移動ベクトルは、一対及び他の一対の画像内のそれぞれの特徴の位置の間の最長距離と関連付けられる(ブロック920)。したがって、所与の特徴が3つの全ての解析された画像において識別された場合、拡張ベクトルは、3つのうちの最近の画像内の特徴及び3つのうちの直前の画像内の同じ特徴を接続するものである。特徴が3つ全ての画像において識別されなかった場合、ベクトルは、3つの画像のうちの2つにおいて識別された各特徴を接続して生成される。
ブロック920で生成されたベクトルは、非常にブロック840に従ってそのように判定された場合に警告通知を提供する目的で、ライディング支援システム200によってブロック840で使用することができる。
図10を参照すると、ブロックのうちのいくつかは、統合されたブロックに一体化することができ、又は2~3つのブロックに分解することができ、及び/又は他のブロックが加えられ得ることに留意されたい。また、フロー図は、それらを実現するシステム要素も参照して説明するが、これは、決して束縛するものではなく、ブロックは、本明細書で説明するもの以外の要素によって行うことができることにも留意されたい。
本開示の主題による、オートバイに対する脅威を例示するフレームシーケンスの概略図を示す図12、及び本開示の主題による、オートバイに対する非脅威を例示するフレームシーケンスの概略図を示す図13に注目する。
図12では、3つの連続したフレームの対象領域内の車両の一部が示される。例示される実施例の対象領域は、前方監視カメラ120によって取り込まれた画像の左下側であり、これは、オートバイ10の左側の領域(例えば、例示的な画像/フレームを示す、図11において1110と記された領域)に対応する。VF1は、第1のフレームでの車両を示し、VF2は、第2のフレームでの車両を示し、VF3は、第3のフレームでの車両を示す。例えば既知の特徴識別方法及び技術を使用して、各フレームの特徴が識別され、フレーム間で整合される。全てのフレームにわたって、F1は、第1の特徴を示し、F2は、第2の特徴を示し、F3は、第3の特徴を示し、F4は、第4の特徴を示す。各特徴について、ベクトルは、それぞれの特徴の最先の特徴位置とその最新の特徴位置とを接続して生成される。図12で提供される説明図では、生成されたベクトルの全てが、オートバイ10の進路上にある位置での全てのベクトル点として、オートバイ10との衝突進路にある方向を指していることを認識することができる。
一方で、図13を参照すると、全てのベクトルが、オートバイ10との衝突進路にある方向を指しておらず、いくつかのベクトルは、オートバイ10の進路上にない位置を指している(ベクトル接続F4を見たときに明確に明らかであり、オートバイ10の進路から外方を指している)ことを認識することができる。
したがって、図12は、ブロック840で警告通知が提供されるべきである脅威シナリオを例示し、一方で、図13は、ブロック840で警告通知が提供されるべきでない非脅威シナリオを例示する。
図14を参照すると、本開示の主題による、安全地帯を判定するために実行される一連の動作の一実施例を例示するフローチャートが示される。
本開示の主題のいくつかの実施例によれば、ライディング支援システム200は、例えばライディング支援モジュール220を利用して、図14に例示するような安全ゾーン決定プロセスを行うように構成することができる。
ライディング支援モジュール220は、オートバイ10の前方の車道内の物体を検出し、オートバイ10のライダーが前方の物体に対して安全な距離及び速度で走っているかどうかを評価するように構成することができる。ライディング支援モジュール220は、任意の検出された物体に対するその距離及び/又は相対速度のいずれかが安全でなくなった場合、すなわち、検出された物体の1つ以上が衝突の危険になる場合に、オートバイ10のライダーに警告するようにさら構成することができる。任意の物体がオートバイ10に危険をもたらすかどうかを評価するために、前方衝突安全ゾーンが決定される。前方衝突安全ゾーンは、オートバイ10のすぐ前方の長方形である。この長方形の高さ及び幅は、オートバイの10の速度、位置、運動(ピッチ及び/又はロール及び/又はヨー)の角度、加速度、オートバイ10の周囲の物体の密集度、並びにそのような物体の速度(物体が移動する物体である場合)の速度に依存し、長方形の方向は、運動のオートバイ10の角度、道路カーブ、及びオートバイ10の近傍の交通状態に依存する。オートバイ10の環境の情報を取得するためにカメラ(前方監視カメラ120など)を使用する場合、斜視図のため、この長方形は、カメラの画像平面内で台形になる。
ブロック1570で決定される前方衝突安全ゾーンは、切頂三角形から構築される画像平面の動的な台形である。周囲の交通量が多いときに検出された物体の間をオートバイ10が通過するのにちょうど足りるだけの狭い経路に対して、オートバイ10の周囲の物体の密集度が低い場合に、この三角形の底辺の幅が、(前方監視カメラ120などのカメラによって取り込まれる画像の)画像幅全体から動的に変動する。
オートバイ10及び周囲の検出された物体が、事前に定義した高速度(例えば、60km/時超)で移動している場合、安全ゾーンはどちらも、完全な三角形のレベルまで、(オートバイへの他の物体(複数可)の高速かつ突然の進入の可能性のため)より広くかつより深い(オートバイの自己速度による高速移動)。
交通量が多い場合に、例えば速度が15km/時未満である低速(事前に定義した速度)で移動する物体の間でオートバイ10を操縦するとき、安全ゾーン内にあるとは、オートバイ10が通過することができる経路が物体の間にあることを意味する。一列に次々と移動するのみであり得る(レーン境界)交通内の四輪車とは対照的に、オートバイ10は、低速で移動する車両列の間を走る能力を有する。この移動は、ロール及びヨーの角度の頻繁な変化を特徴とする。この場合、2つの予測経路が定義され、1つは、現在の運動方向によるものであり、もう1つは、車両の間の可能な経路によるものである。これらの経路は、例えば、オートバイ10が、低速で、例えば20~30km/時未満で移動している間、そのハンドルを回転(ヨーイング)させた場合に、互いに大幅に異なることがあり得る。
図14は、オートバイ10の前方に安全ゾーンを定義するために実行される一連の動作の一実施例を例示するフローチャートを示すが、本明細書の教示はまた、オートバイ10の後方の安全ゾーンを決定することにも適用可能である。
この目的のために、ライディング支援システム200は、入力として、前方監視カメラ(複数可)120によって連続的に獲得された一連の少なくとも2つの画像を取得し、画像の各連続した画像対を取り込む間の時間通過は、所与の閾値(例えば、200ミリ秒、又は画像1500内に存在する車両とオートバイ10との間の現在の相対速度を決定することを可能にする任意の他の閾値)よりも短い。
畳み込みネットワークが画像1500に適用され、対象領域内の全ての物体が見出される。オートバイ10の近傍にあるこれらの物体の各々の軌跡が近似される。
場合によっては、ライディング支援システム200は、ブロック1500で取得した画像を解析して、オートバイ10が走っている道路のトラック数、随意に、オートバイ10の近傍の物体(例えば、車両)の密集度、随意に、道路上の物体の方向、道路上の物体の速度、道路上の物体のサイズ、随意に、道路のカーブ、及び随意に、ブロック1500で取得した画像の解析によって決定することができる他の情報を決定することができる(ブロック1520)。
一方で、ライディング支援システム200は、追加的な入力として、一連の自己測定値(例えば、オートバイ10の運動の速度及び/又は加速度及び/又は角度)を取得する(ブロック1510)。場合によっては、図17でさらに説明するように、これらの角度は、1つ以上のセンサによって獲得することができ、時間の経過は、所与の閾値(例えば、200ミリ秒、又はオートバイ10の現在の速度及び/又は位置及び/又は加速度を決定することを可能にする任意の他の閾値)よりも短い。場合によっては、ブロック1500で取得した画像以外の入力に基づいて運動の角度を決定することに加えて、運動のオートバイ10の角度は、既知の方法及び/又は技術を使用して、ブロック1500で取得した一連の少なくとも2つの画像内の画像の解析によって取得することができる。
図17において下でさらに説明するように、オートバイ予測軌道1530は、オートバイのどのくらい前方まで安全ゾーンがなければならないかを定義し、したがって、台形深さ1530を定義する。事前に定義した高速度、例えば60km/時超は、より長い台形になり、一方で、事前に定義した低速度、例えば20km/時未満は、より短い台形になる。
三角形頂点は、ロール及び/又はヨー及び/又はピッチ角1540に従って回転した現在の消失点である。初期消失点は、現実の平行線が画像内で交差する点を見出すことによって、初期較正ステップで定義される。初期較正ステップ中に、ヨー及びピッチの角度がゼロに設定される。初期消失点には、以下の変換、すなわち、画像底部中点の周囲のロール角度での回転、及び/又はx方向における併進、及び/又はピッチ角によるy方向における併進、が適用される。
場合によっては、道路のカーブが台形配向1540を更新し、すなわち、消失点(静的であるか、又は上で説明したように運動の角度によって回転する)が、オートバイ10の前方の道路のカーブに至る位置まで移動する。
場合によっては、ブロック1520、1530、及び1540に基づいて、オートバイ10の周囲の現在の交通状態1550が定義される。交通状態1550は、軽交通から交通渋滞まで変動し得る。例えば、オートバイの10の自己速度が比較的高く、物体の密集度が低く(例えば、2台未満の車両)、特定の期間(例えば、以前の10秒の間)オートバイのロール(例えば、10°超)が存在する場合は、交通量の少ない状態、例えばハイウェイである。一方で、速度が低く、物体密集度は高く(例えば、2台を超える車両)、物体が大きくかつ近くに現れ、特定の期間(例えば、以前の10秒の間)オートバイのヨーイング(例えば、6°超)が存在する場合は、交通量の多い状態、例えば交通渋滞である。
交通量状態1550に従って台形/三角形の底辺の幅1560が定義される。例えば、軽交通では、台形/三角形の底辺の幅は、(前方監視カメラ120などのカメラによって取り込まれた画像の)画像幅全体まで広くなるはずであり、一方で、重交通では、この底辺は、狭くなるはずである。場合によっては、交通量が少なくなるほど、三角形の底辺がより広くなり、その逆も同じである。
場合によっては、図17においてさらに説明するように、三角形は、オートバイ10の予測経路に従って切頂される。必要に応じて、次の数秒(安全時間、例えば1.5秒)後のオートバイ10の予測位置が、カメラ内部パラメータを使用してカメラ画像平面上に投影されて、切頂三角形のy座標を定義する。
この時点で、台形が定義される。この台形は、オートバイ10の予測経路、交通量の状態、周囲の車両密集度、自己データ(速度/加速度/運動の角度)、他の車両の速度、道路のカーブ、などに従って、各時間ステップにおいて動的に更新される。
異なる台形サイズ及び配向に関する2つの実施例を図15及び図16に示す。
図15aは、自動車2000及び2030が非常に大きくかつオートバイの近くに見えるとき、すなわち、図16aに示すよりも大幅に大きくかつオートバイ10の近くに見えるときの状況を示す。オートバイ10の速度は、比較的低い(例えば、20km/時未満)。光景内には、さらに2台の自動車2010及び2020が存在し、4台全ての自動車2000、2010、2020、及び2030は、移動しているとしても低速である。以前の10秒の間に、オートバイ10は、2~3回ヨーイングした。したがって、これは、交通量の多い状態である。台形は、狭く、短く、また、現在の運動の角度に従って配向される。台形2050を図15a及び図15bに示す。その対応する安全ゾーンの長方形2050を図15c(上から見た光景)に示す。
図16aは、自動車2060、2070及び2080が高速で移動しており、自動車が比較的小さく見え、オートバイ10から非常に離れているときの別の状況を示す。オートバイの10の自己速度は、比較的高い(例えば、50km/時超)。最後の10秒の間に、オートバイ10は、何回かローリングした。上記した全ては、交通量の少ない状態であることを示す。台形は、広く、長く、また、現在の運動の角度に応じて配向される。台形2130を図16a及び図16bに示す。その対応する安全ゾーンの長方形2130を図16c(上から見た光景)に示す。
図17は、ブロック1530をさらに掘り下げたフローチャートを示す。
ブロック1513は、画像平面内の物体に影響を及ぼす運動の1つ、2つ、又は3つ全ての角度を計算するための3つの異なる手法を示す。これらの角度は、ロール、ヨー、及びピッチである。
手法1:オートバイ10に接続された慣性測定ユニット(IMU)のロール及び/又はヨー及び/又はピッチの測定に基づく
手法2:オートバイ10の運動の角度の画像1515に対する影響に基づくオートバイ10のロールのため、画像内の物体、特にオートバイ10の前方の四輪車は、回転して見える。画像1515の各画像からロール角度の近似値を再構築することが可能である。画像1515には、畳み込みネットワークが適用される。その結果、対象領域内の全ての物体が見出され、そのような物体ごとに、それを含む境界ボックスが定義される。四輪車の後方側に関連する各境界ボックスに、エッジ検出器(例えば、Cannyエッジ検出器)を適用し、全ての線を探す(例えば、エッジマップ内の連続する線を見出すためにHough変換が適用される)。それらの傾斜を計算し、可能なロール値の範囲に従って線を「フィルタ処理」する。標準的なオートバイ10の場合、ライディングロール角度は、-30°~30°の間で変化する。これらの線の傾斜は、最終ロールにそれらの長さに従って決定される。境界ボックス領域に基づく全ての角度の中央値が、考察中の各画像の最終ロールを定義する。
初期較正ステップでは、ヨー及びピッチが最初にゼロに設定されていることを確認し、このステップで静的消失点を計算する。各画像1515では、以下のステップを使用して画像内の現在の消失点において交差する現実の平行線を見出すことに基づいて、現在の消失点を計算する。
画像1515上へ投影された現実の平行線を見出すために、2つの手順を適用する。第1に、画像の底部の画像中央の右側及び左側の特定の傾斜(例えば、5°~85°)の線を分離する。第2に、画像をHSV色空間に変換し、その中で道路の白色及び黄色のレーンを探す。上記の両方の手順の結果として生じる線は、同じ点(現在の消失点)で交差すると推定される。
静的及び現在の消失点間のx座標の差は、画像に対するヨーの影響を表し、一方で、y座標の差は、ピッチの影響を表す。
手法3:画像1515及び既知の四輪車対称性に対する運動の角度の影響に基づく。車両を含む、人間が作成した大部分の物体は、強い対称性を有する。車両の周囲の境界ボックスの画像平面には、その左側のいくつかのピクセルが、対称軸から同じ距離で、その右側に対応するピクセルを備えるように、垂直対称軸が存在する。これらの対応箇所の対は、地面に平行であり、かつ対称軸に直角である一組の線を作成する。オートバイのロールのため、この一組の平行線及び対称軸は、ロール角度で正確に回転する。この事実を使用して、オートバイ10のロール角度を見出すことができる。
画像内の各四輪車について、その境界ボックスを検討し、そのエッジのマップを作成する。各可能なロール角度の候補(例えば、-30°~30°の範囲の任意の角度)について、この角度で基線を定義する。次いで、この基線に対する各垂線を、可能な対称軸とみなし、この設定に対する対称対の量を計数する。この量は、この線のスコアを表す。最も高いスコアを有する線が、検討中であるロール候補の対称軸であると宣言される。全てのロール候補の中の最も高いスコアが最良適合を定義し、これは、所与の境界ボックスのロール角度である。上述のように、ロール候補は、一般に、標準的なオートバイライディングの場合、-30°~30°の間で変化する。しかしながら、通常、可能な候補の範囲は、はるかに小さく、以前の前フレームにおいて定義されたロールの周囲でわずか2~3度である。この仮定は、連続したフレームの間でロール角度が比較的緩やかに変化しているという事実に基づく。
1515の各画像におけるこの手順の最後に、ロール角度及び四輪車の「マスク」、すなわち、対称軸及びそこに対応するピクセルの対を有する一組の平行線を有する。これらの線は、対称軸に垂直である。これらのマスクは、2つのマスクの間に最大数の一致する対が存在するまで、最初に、マスクの対称軸を整合させ、次いで、その軸に沿ってマスクの1つを移動させることによって、同じ四輪車に対応する2つの連続する境界ボックスの間で整合させることができる。この移動は、オートバイ10の運動によるものであり、オートバイの10のピッチ角を表す。オートバイ10の速度及びその画像に対する影響を知ることで、場合によっては、マスクの最良適合のための移動がオートバイの10の運動の画像に対する影響よりも大きい(例えば、10%超大きい)ときに、ピッチ角の近似値を見出すことができる。
四輪車がオートバイ10のすぐ前方に現れるとき、対称性は完全であり、すなわち、ピクセルから対称軸の左側まで距離は、対応するピクセルからその右側までの距離に等しい。しかしながら、オートバイのヨー角度のため、この対称性は、変化する場合があり、距離は、対称軸の左側及び右側でわずかに異なる。この差は、画像に対するオートバイのヨーの影響を定義する。この事実から、場合によっては、オートバイ10のヨー角度の近似値を見出すことができる。
場合によっては、自己データ(ブロック1512、1513)に基づいて、カルマンフィルタ追跡(線形/非線形)を適用して、オートバイ10の自己軌道、及びモーターサイクリストがその道路状況の期間に反応するために必要な期間(次の数ミリ秒、例えば、標準的なオートバイのライディングの場合、1500ミリ秒)のその予測を定義する、ブロック1514。
場合によっては、オートバイ10の予測軌道はまた、道路のカーブにも依存し得る。場合によっては、道路カーブは、画像1515から見出すことができる。画像をHSV色空間に変換し、その中で道路の白色及び黄色のレーンを探し、そして、例えば曲線適合手順を使用することによって、それらを近似させる。
本開示の主題は、その用途において、本明細書に含まれる説明に記載されている、又は図面に例示されている詳細に制限されないことを理解されたい。本開示の主題は、他の実施形態に対応することができ、また、様々な方法で実践及び実行することができる。したがって、本明細書で用いられる語法及び用語は、説明を目的とするものであり、限定するものとみなすべきではないことを理解されたい。したがって、当業者は、本発明の主題の幾つかの目的を実行するための他の構造、方法、及びシステムを設計するための基礎として、本開示の基礎を成す概念を容易に利用することができることを認識するであろう。
また、本開示の主題によるシステムは、少なくとも部分的に、好適にプログラムされたコンピュータとして実装することができることも理解されるであろう。同様に、本開示の主題は、開示される方法を実行するためのコンピュータによって読み出し可能なコンピュータプログラムを想到する。本開示の主題は、開示される方法を実行するための機械によって実行可能命令のプログラムを実体的に具現化する、機械読み出し可能なメモリをさらに想到する。

Claims (41)

  1. オートバイのためのライディング支援システムであって、
    処理リソースと、
    前記処理リソースによって使用可能なデータを記憶するように構成されたメモリと、
    前記オートバイの前方の少なくとも右側及び左側を含む光景の画像を取り込むことを可能する様態で前記オートバイに取り付けられるように構成された少なくとも1つの広角前方監視カメラと、
    前記オートバイの前方に面しているときに前記オートバイのライダーに可視である複数のライトを備える点灯システムと、を備え、
    前記処理リソースが、
    前記広角前方監視カメラによって連続的に獲得された一連の複数の画像を取得することであって、前記画像の各連続した画像対の一方を取り込んでから他方を取り込むまでの時間が、第1の閾値よりも短い、ことと、
    前記一連の少なくとも一対の連続した画像内の対象領域を解析して、前記少なくとも一対の連続した画像内のそれぞれの特徴位置を有する特徴を識別することと、
    前記一連の少なくとも1つの他の一対またはそれ以上の連続した画像内の前記対象領域を解析して、それぞれの特徴位置を有する前記特徴を識別することであって、前記少なくとも一対の前記画像のうちの少なくとも1つが、前記他の一対またはそれ以上の前記画像のうちの1つである、ことと、
    前記一連の前記少なくとも一対の連続した画像の各画像内の前記特徴及びそのそれぞれの特徴位置の各々を整合させて、前記一連の前記少なくとも一対の連続した画像間の前記それぞれの特徴の各々の移動ベクトルを決定することであって、前記移動ベクトルが、経時的な前記特徴の移動を表す、ことと、
    前記一連の前記少なくとも一対及び前記他の一対またはそれ以上の連続した画像内の前記特徴の前記特徴位置を整合させて、前記少なくとも一対及び前記他の一対またはそれ以上の前記連続した画像間の前記それぞれの特徴の各々の拡張移動ベクトルを決定することであって、前記拡張移動ベクトルが、前記少なくとも一対及び前記他の一対またはそれ以上の前記画像内の前記それぞれの特徴の位置の間の最長距離と関連付けられる、ことと、
    基準を満たした時点で、警告通知を生成することであって、前記基準が、前記それぞれの特徴の前記移動ベクトルと、又はそれぞれの特徴の前記拡張移動ベクトルと関連付けられ、前記警告通知が、前記ライトのうちの1つ以上の選択されたライトをオンにすることによって提供され、前記選択されたライトが、複数の脅威の種類に従って選択され、前記複数の脅威の種類のうちの第1の脅威の種類に従って選択されたライトの組み合わせは、前記複数の脅威の種類のうちの、前記第1の脅威の種類とは異なる第2の脅威の種類に従って選択されたライトの組み合わせと異なる、ことと、を行うように構成されている、ライディング支援システム。
  2. 前記基準は、前記オートバイの方向との衝突進路にある前記それぞれの特徴の移動ベクトルの数が別の閾値を超えることである、請求項1に記載のライディング支援システム。
  3. 前記基準は、前記移動ベクトルの平均を表すベクトルである平均ベクトルが前記オートバイの方向との衝突進路にあることである、請求項1に記載のライディング支援システム。
  4. 前記特徴位置が、L 関数又は最近傍アルゴリズムのうちの1つ以上を使用して整合される、請求項1に記載のライディング支援システム。
  5. 前記処理リソースが、前記一連の前記少なくとも一対の連続した画像の所与の画像内の前記特徴のうちの少なくともいくつかと関連付けられた車両の存在の可能性を推定するようにさらに構成され、
    前記警告通知は、前記可能性が第3の閾値を超える場合にのみ生成される、請求項1に記載のライディング支援システム。
  6. 前記推定が、畳み込みニューラルネットワークを使用して行われる、請求項5に記載のライディング支援システム。
  7. 前記処理リソースが、
    前記特徴の各々の軌跡を推定することと、
    前記推定された軌道の交点を識別することと、を行うようにさらに構成され、
    前記基準は、前記交点が前記一連の所与の画像内の予め定義された領域内にあるときに満たされる、請求項1に記載のライディング支援システム。
  8. 前記処理リソースが、前記一連の前記一対の連続した画像内の少なくとも1つの他の対象領域内の前記オートバイに向かう垂直方向のオプティカルフローの平均値を決定するようにさらに構成され、前記基準は、オプティカルフローの平均値が許容平均オプティカルフロー閾値を超えたときに満たされる、請求項1に記載のライディング支援システム。
  9. 前記警告通知が、前記オートバイのライダーに提供される、請求項1に記載のライディング支援システム。
  10. 前記警告通知が、前記選択されたライトを所定のパターン及び/又は色でオンにすることによって提供される、請求項に記載のライディング支援システム。
  11. 前記所定のパターンが、前記選択されたライトの点滅パターンである、請求項10に記載のライディング支援システム。
  12. 前記点灯システムが、前記オートバイのミラー内に備えられる、請求項に記載のライディング支援システム。
  13. 前記点灯システムが、前記オートバイのミラーに接続され、前記オートバイの前記ミラーの外部にある、請求項に記載のライディング支援システム。
  14. 前記警告通知が、1つ以上のスピーカを介して前記オートバイのライダーに提供される音響通知をさらに含む、請求項1に記載のライディング支援システム。
  15. 前記警告通知が、音声通知である、請求項14に記載のライディング支援システム。
  16. 前記警告通知が、前記オートバイの前記ライダーが感じる振動を生じさせる1つ以上の振動素子を介して前記オートバイの前記ライダーに提供される振動をさらに含む、請求項に記載のライディング支援システム。
  17. 前記広角前方監視カメラが、90°を超える角度を網羅する広角カメラである、請求項1に記載のライディング支援システム。
  18. 前記取得が、前記オートバイの移動中にリアルタイムで行われる、請求項1に記載のライディング支援システム。
  19. 前記警告通知が、前記オートバイのライダーのヘルメットのバイザー上に投影することによってさらに提供される、請求項1に記載のライディング支援システム。
  20. 前記画像が、前記光景の少なくとも60°の角度を網羅する、請求項1に記載のライディング支援システム。
  21. オートバイのためのライディング支援方法であって、
    処理リソースによって、前記オートバイの前方の少なくとも右側及び左側を含む光景の画像を取り込むことを可能にする様態で前記オートバイ上に取り付けられるように構成された少なくとも1つの広角前方監視カメラで連続的に獲得された一連の複数の画像を取得することであって、前記画像の各連続した画像対の一方を取り込んでから他方を取り込むまでの時間が、第1の閾値よりも短い、ことと、
    前記一連の少なくとも一対の連続した画像内の対象領域を解析して、前記少なくとも一対の連続した画像内のそれぞれの特徴位置を有する特徴を識別することと、
    前記一連の少なくとも1つの他の一対またはそれ以上の連続した画像内の前記対象領域を解析して、それぞれの特徴位置を有する前記特徴を識別することであって、前記少なくとも一対の前記画像のうちの少なくとも1つが、前記他の一対またはそれ以上の前記画像のうちの1つである、ことと、
    前記一連の前記少なくとも一対の連続した画像の各画像内の前記特徴及びそのそれぞれの特徴位置の各々を整合させて、前記一連の前記少なくとも一対の連続した画像間の前記それぞれの特徴の各々の移動ベクトルを決定することであって、前記移動ベクトルが、経時的な前記特徴の移動を表す、ことと、
    前記一連の前記少なくとも一対及び前記他の一対またはそれ以上の連続した画像内の前記特徴の前記特徴位置を整合させて、前記少なくとも一対及び前記他の一対またはそれ以上の前記連続した画像間の前記それぞれの特徴の各々の拡張移動ベクトルを決定することであって、前記拡張移動ベクトルが、前記少なくとも一対及び前記他の一対またはそれ以上の前記画像内の前記それぞれの特徴の位置の間の最長距離と関連付けられる、ことと、
    基準を満たした時点で、警告通知を生成することであって、前記基準が、前記それぞれの特徴の前記移動ベクトルと、又はそれぞれの特徴の前記拡張移動ベクトルと関連付けられ、前記警告通知が、点灯システムに備えられた複数のライトのうちの1つ以上の選択されたライトをオンにすることによって提供され、前記ライトが、前記オートバイの前方に面しているときに前記オートバイのライダーに可視であり、前記選択されたライトが、複数の脅威の種類に従って選択され、前記複数の脅威の種類のうちの第1の脅威の種類に従って選択されたライトの組み合わせは、前記複数の脅威の種類のうちの、前記第1の脅威の種類とは異なる第2の脅威の種類に従って選択されたライトの組み合わせと異なる、ことと、を含む、ライディング支援方法。
  22. 前記基準は、前記オートバイの方向との衝突進路にある前記それぞれの特徴の移動ベクトルの数が別の閾値を超えることである、請求項21に記載のライディング支援方法。
  23. 前記基準は、前記移動ベクトルの平均を表すベクトルである平均ベクトルが前記オートバイの方向との衝突進路にあることである、請求項21に記載のライディング支援方法。
  24. 前記特徴位置が、L 関数又は最近傍アルゴリズムのうちの1つ以上を使用して整合される、請求項21に記載のライディング支援方法。
  25. 前記一連の前記少なくとも一対の連続した画像の所与の画像内の前記特徴のうちの少なくともいくつかと関連付けられた車両の存在の可能性を推定することをさらに含み、前記警告通知は、前記可能性が第3の閾値を超える場合にのみ生成される、請求項21に記載のライディング支援方法。
  26. 前記推定することが、畳み込みニューラルネットワークを使用して行われる、請求項25に記載のライディング支援方法。
  27. 前記特徴の各々の軌跡を推定することと、
    前記推定された軌道の交点を識別することと、をさらに含み、
    前記基準は、前記交点が前記一連の所与の画像内の予め定義された領域内にあるときに満たされる、請求項21に記載のライディング支援方法。
  28. 前記一連の前記一対の連続した画像内の少なくとも1つの他の対象領域内の前記オートバイに向かう垂直方向のオプティカルフローの平均値を決定することをさらに含み、前記基準は、前記オプティカルフローの平均値が許容平均オプティカルフロー閾値を超えたときに満たされる、請求項21に記載のライディング支援方法。
  29. 前記警告通知が、前記オートバイのライダーに提供される、請求項21に記載のライディング支援方法。
  30. 前記警告通知が、前記選択されたライトを所定のパターン及び/又は色でオンにすることによって提供される、請求項21に記載のライディング支援方法。
  31. 前記所定のパターンが、前記選択されたライトの点滅パターンである、請求項30に記載のライディング支援方法。
  32. 前記点灯システムが、前記オートバイのミラー内に備えられる、請求項21に記載のライディング支援方法。
  33. 前記点灯システムが、前記オートバイのミラーに接続され、前記オートバイの前記ミラーの外部にある、請求項21に記載のライディング支援方法。
  34. 前記警告通知が、1つ以上のスピーカを介して前記オートバイのライダーに提供される音響通知をさらに含む、請求項21に記載のライディング支援方法。
  35. 前記警告通知が、音声通知である、請求項34に記載のライディング支援方法。
  36. 前記警告通知が、前記オートバイの前記ライダーが感じる振動を生じさせる1つ以上の振動素子を介して前記オートバイの前記ライダーに提供される振動をさらに含む、請求項21に記載のライディング支援方法。
  37. 前記広角前方監視カメラが、90°を超える角度を網羅する広角カメラである、請求項21に記載のライディング支援方法。
  38. 前記取得することが、前記オートバイの移動中にリアルタイムで行われる、請求項21に記載のライディング支援方法。
  39. 前記警告通知が、前記オートバイのライダーのヘルメットのバイザー上に投影することによってさらに提供される、請求項21に記載のライディング支援方法。
  40. 前記画像が、前記光景の少なくとも60°の角度を網羅する、請求項21に記載のライディング支援方法。
  41. コンピュータ可読プログラムコードを具現化した非一時的コンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムコードが、方法を行うために処理リソースによって実行可能であり、該方法が、
    前記処理リソースによって、オートバイの前方の少なくとも右側及び左側を含む光景の画像を取り込むことを可能にする様態で前記オートバイ上に取り付けられるように構成された少なくとも1つの広角前方監視カメラで連続的に獲得された一連の複数の画像を取得することであって、前記画像の各連続した画像対の一方を取り込んでから他方を取り込むまでの時間が、第1の閾値よりも短い、ことと、
    前記一連の少なくとも一対の連続した画像内の対象領域を解析して、前記少なくとも一対の連続した画像内のそれぞれの特徴位置を有する特徴を識別することと、
    前記一連の少なくとも1つの他の一対またはそれ以上の連続した画像内の前記対象領域を解析して、それぞれの特徴位置を有する前記特徴を識別することであって、前記少なくとも一対の前記画像のうちの少なくとも1つが、前記他の一対またはそれ以上の前記画像のうちの1つである、ことと、
    前記一連の前記少なくとも一対の連続した画像の各画像内の前記特徴及びそのそれぞれの特徴位置の各々を整合させて、前記一連の前記少なくとも一対の連続した画像間の前記それぞれの特徴の各々の移動ベクトルを決定することであって、前記移動ベクトルが、経時的な前記特徴の移動を表す、ことと、
    前記一連の前記少なくとも一対及び前記他の一対またはそれ以上の連続した画像内の前記特徴の前記特徴位置を整合させて、前記少なくとも一対及び前記他の一対またはそれ以上の前記連続した画像間の前記それぞれの特徴の各々の拡張移動ベクトルを決定することであって、前記拡張移動ベクトルが、前記少なくとも一対及び前記他の一対またはそれ以上の前記画像内の前記それぞれの特徴の位置の間の最長距離と関連付けられる、ことと、
    基準を満たした時点で、警告通知を生成することであって、前記基準が、前記それぞれの特徴の移動ベクトルと、又はそれぞれの特徴の拡張移動ベクトルと関連付けられ、前記警告通知が、点灯システムに備えられた複数のライトのうちの1つ以上の選択されたライトをオンにすることによって提供され、前記ライトが、前記オートバイの前方に面しているときに前記オートバイのライダーに可視であり、前記選択されたライトが、複数の脅威の種類に従って選択され、前記複数の脅威の種類のうちの第1の脅威の種類に従って選択されたライトの組み合わせは、前記複数の脅威の種類のうちの、前記第1の脅威の種類とは異なる第2の脅威の種類に従って選択されたライトの組み合わせと異なる、ことと、を含む、非一時的コンピュータ可読記憶媒体。
JP2020564924A 2018-06-13 2019-06-04 ライダー支援システム及び方法 Active JP7397807B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021149030A JP7295185B2 (ja) 2018-06-13 2021-09-14 ライダー支援システム及び方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862684208P 2018-06-13 2018-06-13
US62/684,208 2018-06-13
US201862755567P 2018-11-05 2018-11-05
US62/755,567 2018-11-05
US201962813168P 2019-03-04 2019-03-04
US62/813,168 2019-03-04
PCT/IL2019/050634 WO2019239402A1 (en) 2018-06-13 2019-06-04 A rider assistance system and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021149030A Division JP7295185B2 (ja) 2018-06-13 2021-09-14 ライダー支援システム及び方法

Publications (2)

Publication Number Publication Date
JP2021526681A JP2021526681A (ja) 2021-10-07
JP7397807B2 true JP7397807B2 (ja) 2023-12-13

Family

ID=68842612

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020564924A Active JP7397807B2 (ja) 2018-06-13 2019-06-04 ライダー支援システム及び方法
JP2021149030A Active JP7295185B2 (ja) 2018-06-13 2021-09-14 ライダー支援システム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021149030A Active JP7295185B2 (ja) 2018-06-13 2021-09-14 ライダー支援システム及び方法

Country Status (6)

Country Link
US (2) US20210221368A1 (ja)
EP (3) EP3954580A1 (ja)
JP (2) JP7397807B2 (ja)
CN (2) CN112292286A (ja)
SG (1) SG11202111248UA (ja)
WO (1) WO2019239402A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020050220A (ja) * 2018-09-28 2020-04-02 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 制御装置及び制御方法
US11418387B2 (en) * 2019-02-28 2022-08-16 Shoppertrak Rct Corporation Systems and methods for optical device configuration
JP2020164047A (ja) * 2019-03-29 2020-10-08 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh ライダー支援システム、及び、ライダー支援システムの制御方法
JP2020166581A (ja) * 2019-03-29 2020-10-08 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh モータサイクルの動作を制御する制御装置及び制御方法
JP2020175830A (ja) * 2019-04-22 2020-10-29 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 制御装置及び制御方法
JP2021105813A (ja) * 2019-12-26 2021-07-26 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 制御装置及び制御方法
EP4115141A4 (en) * 2020-03-03 2024-03-20 Accelerated Systems Inc. VEHICLE EQUIPPED WITH A PROTECTION WARNING SYSTEM
IT202000004891A1 (it) * 2020-03-09 2021-09-09 Ferrari Spa Metodo di assistenza alla guida prestazionale di un veicolo stradale con interfaccia in realta' aumentata
DE102020202986A1 (de) * 2020-03-10 2021-09-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines Motorrads
JP2022007246A (ja) * 2020-06-26 2022-01-13 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 鞍乗型車両の制御装置、ライダー支援システム、及び、鞍乗型車両の制御方法
JP2022007245A (ja) * 2020-06-26 2022-01-13 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング ライダー支援システムの制御装置、ライダー支援システム、及び、ライダー支援システムの制御方法
US11501452B2 (en) * 2020-08-10 2022-11-15 Honeywell International Inc. Machine learning and vision-based approach to zero velocity update object detection
CN114179713A (zh) * 2020-09-14 2022-03-15 华为技术有限公司 一种车辆提醒方法、系统及相关设备
CN114694375B (zh) * 2020-12-28 2024-02-27 本田技研工业株式会社 交通监视系统、交通监视方法及存储介质
TWI809401B (zh) * 2021-05-24 2023-07-21 宏佳騰動力科技股份有限公司 車輛後視警示系統
CN113514053B (zh) * 2021-07-13 2024-03-26 阿波罗智能技术(北京)有限公司 生成样本图像对的方法、装置和更新高精地图的方法
US20230093042A1 (en) * 2021-09-21 2023-03-23 Reby Rides, Inc. Vehicle collision detection and driver notification system
US11697466B1 (en) * 2021-09-23 2023-07-11 Stephen Shelton Motorcycle integrated safety system
US20230278573A1 (en) * 2022-03-07 2023-09-07 Damon Motors Inc. Lean-compensated position and trajectory of motorcycle
EP4254385B1 (en) * 2022-03-29 2024-09-04 Alps Alpine Europe GmbH Method for assessing a risk of interference, data processing device, system for assessing a risk of interference, and bicycle assembly
DE102022204650A1 (de) * 2022-05-12 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs bei einem deaktivierten Abstands- und Geschwindigkeitsregelungssystem
WO2023243629A1 (ja) * 2022-06-13 2023-12-21 本田技研工業株式会社 情報処理装置、情報処理方法、およびプログラム
CN220076573U (zh) * 2023-01-16 2023-11-24 浙江春风动力股份有限公司 摩托车
AT526931B1 (de) * 2023-03-06 2024-09-15 Ktm Ag Offenes Fahrzeug
US12128920B2 (en) 2023-04-03 2024-10-29 Roadio, Inc. Method and system for producing an environmental awareness for alerting an operator of a vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004349926A (ja) 2003-05-21 2004-12-09 Suzuki Motor Corp 障害物検出装置及び方法並びに障害物検出用プログラム
JP2006215642A (ja) 2005-02-01 2006-08-17 Sharp Corp 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
JP2008276308A (ja) 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置
JP2013084242A (ja) 2011-10-06 2013-05-09 Honda Research Inst Europe Gmbh 映像に基づく車両用警報システム
US20130311075A1 (en) 2012-05-18 2013-11-21 Continental Automotive Systems, Inc. Motorcycle and helmet providing advance driver assistance

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3463858B2 (ja) * 1998-08-27 2003-11-05 矢崎総業株式会社 周辺監視装置及び方法
JP4425495B2 (ja) * 2001-06-08 2010-03-03 富士重工業株式会社 車外監視装置
US7027615B2 (en) * 2001-06-20 2006-04-11 Hrl Laboratories, Llc Vision-based highway overhead structure detection system
US6882287B2 (en) * 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
JP4206928B2 (ja) * 2004-01-19 2009-01-14 株式会社デンソー 衝突可能性判定装置
DE102005013920B4 (de) * 2004-03-26 2007-12-13 Mitsubishi Jidosha Kogyo K.K. Frontsicht-Überwachungsvorrichtung
JP2006103600A (ja) * 2004-10-07 2006-04-20 Yamaha Motor Co Ltd 自動二輪車の前方視認装置
JP4970926B2 (ja) * 2006-01-16 2012-07-11 本田技研工業株式会社 車両周辺監視装置
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US7633383B2 (en) * 2006-08-16 2009-12-15 International Business Machines Corporation Systems and arrangements for providing situational awareness to an operator of a vehicle
DE102007039377B4 (de) * 2007-08-21 2011-11-10 Audi Ag Verfahren zur automatischen Längsführung eines Kraftfahrzeugs mittels eines längsführenden Fahrerassistenzsystems mit Stop&Go-Funktion
JP5064984B2 (ja) * 2007-11-30 2012-10-31 本田技研工業株式会社 自動二輪車のステアリング補助システム
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
EP2401176B1 (en) * 2009-02-27 2019-05-08 Magna Electronics Alert system for vehicle
US8699778B2 (en) * 2009-07-29 2014-04-15 Panasonic Corporation Image coding method, image coding apparatus, program, and integrated circuit
US8232872B2 (en) * 2009-12-03 2012-07-31 GM Global Technology Operations LLC Cross traffic collision alert system
US20110142335A1 (en) * 2009-12-11 2011-06-16 Bernard Ghanem Image Comparison System and Method
DE102012220191A1 (de) * 2012-11-06 2014-05-08 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers bei der Querführung eines Fahrzeugs
US10219571B1 (en) * 2012-11-08 2019-03-05 Peter Aloumanis In helmet sensors providing blind spot awareness
AU2014223307B2 (en) * 2013-03-01 2016-12-15 Federation Enterprises (Wa) Pty Ltd Bicycle camera
US9676336B2 (en) * 2013-06-25 2017-06-13 Magna Mirrors Of America, Inc. Exterior rearview mirror assembly for vehicle
WO2015099696A1 (en) * 2013-12-24 2015-07-02 Intel Corporation Road hazard communication
US20150228066A1 (en) * 2014-02-10 2015-08-13 Michael Scot Farb Rear Encroaching Vehicle Monitoring And Alerting System
WO2015125022A2 (en) * 2014-02-20 2015-08-27 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
JP6252316B2 (ja) * 2014-03-31 2017-12-27 株式会社デンソー 車両用表示制御装置
US9153133B1 (en) * 2014-07-18 2015-10-06 John D. Baker Motorcycle blind spot detector
JP5972332B2 (ja) * 2014-09-26 2016-08-17 本田技研工業株式会社 鞍乗型車両の接近報知装置
US9452801B2 (en) * 2014-11-10 2016-09-27 Rock Langevin Motorcycle safety system with incorporated camera and video recording
US10506838B2 (en) * 2014-11-28 2019-12-17 Eric S. TAMMAM Augmented audio enhanced perception system
KR101604447B1 (ko) * 2015-05-26 2016-03-28 주식회사 피엘케이 테크놀로지 선행차량 추돌 경보 장치 및 방법
US9580009B1 (en) * 2015-12-04 2017-02-28 Karl Lenker Systems and methods for motorbike collision avoidance
WO2017106846A2 (en) * 2015-12-18 2017-06-22 Iris Automation, Inc. Real-time visual situational awareness system
CN105718888B (zh) * 2016-01-22 2019-09-13 北京中科慧眼科技有限公司 障碍物预警方法和障碍物预警装置
KR101749578B1 (ko) * 2016-02-05 2017-06-21 고려대학교 산학협력단 드론의 자동 이착륙 방법 및 장치
CN107176161B (zh) * 2016-03-10 2021-11-23 松下电器(美国)知识产权公司 识别结果提示装置、识别结果提示方法以及自主移动体
CN109641552B (zh) * 2016-07-29 2022-05-31 株式会社小糸制作所 车用照明系统、车辆系统和车辆
JP6761314B2 (ja) * 2016-09-15 2020-09-23 ヤマハ発動機株式会社 電動補助自転車
CN107839797A (zh) * 2016-09-20 2018-03-27 福特环球技术公司 自行车安全禁区系统
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
JP2018164199A (ja) * 2017-03-27 2018-10-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法
KR101813946B1 (ko) * 2017-06-21 2018-01-02 장현우 후방 카메라가 장착된 세이프존 안내 자전거
JP6853756B2 (ja) * 2017-09-05 2021-03-31 川崎重工業株式会社 グリップヒーター装置
US10455882B2 (en) * 2017-09-29 2019-10-29 Honda Motor Co., Ltd. Method and system for providing rear collision warning within a helmet
DE202017107397U1 (de) * 2017-12-05 2017-12-20 Hochschule Für Technik Und Wirtschaft Des Saarlandes Vorrichtung zur Warnung eines Zweiradfahrers vor einer Kollision mit einem anderen Fahrzeug
US20190275888A1 (en) * 2018-03-09 2019-09-12 Honda Motor Co., Ltd. Methods and systems for providing visual notifications in the peripheral vision of a driver
WO2019176028A1 (ja) * 2018-03-14 2019-09-19 本田技研工業株式会社 鞍乗り型車両の情報報知装置、鞍乗り型車両、および情報報知方法
DE112018007625T5 (de) * 2018-05-17 2021-02-25 Mitsubishi Electric Corporation Fahrzeuggenutzte rückseitige warnvorrichtung und fahrzeuggenutztes rückseitiges warnverfahren

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004349926A (ja) 2003-05-21 2004-12-09 Suzuki Motor Corp 障害物検出装置及び方法並びに障害物検出用プログラム
JP2006215642A (ja) 2005-02-01 2006-08-17 Sharp Corp 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
JP2008276308A (ja) 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置
JP2013084242A (ja) 2011-10-06 2013-05-09 Honda Research Inst Europe Gmbh 映像に基づく車両用警報システム
US20130311075A1 (en) 2012-05-18 2013-11-21 Continental Automotive Systems, Inc. Motorcycle and helmet providing advance driver assistance

Also Published As

Publication number Publication date
EP3807128C0 (en) 2024-01-31
EP3807128A1 (en) 2021-04-21
US20210221368A1 (en) 2021-07-22
CN113998034A (zh) 2022-02-01
EP3954580A1 (en) 2022-02-16
CN113998034B (zh) 2023-08-25
EP3807128A4 (en) 2022-03-02
SG11202111248UA (en) 2021-11-29
EP4250269A3 (en) 2023-10-18
JP2021526681A (ja) 2021-10-07
CN112292286A (zh) 2021-01-29
US20220073068A1 (en) 2022-03-10
EP3807128B1 (en) 2024-01-31
WO2019239402A1 (en) 2019-12-19
EP4250269A2 (en) 2023-09-27
JP7295185B2 (ja) 2023-06-20
JP2021192303A (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
JP7397807B2 (ja) ライダー支援システム及び方法
US11538254B2 (en) Safety system for a vehicle to detect and warn of a potential collision
JP7121497B2 (ja) 仮想車路生成装置及び方法
US11798290B2 (en) Obstacle detection and notification for motorcycles
JP6470346B2 (ja) 車両用危険報知制御装置
JP6332384B2 (ja) 車両用物標検出システム
TWI653170B (zh) 駕駛提示方法與系統
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
WO2017183667A1 (ja) 物体検出装置、物体検出方法
JP2018055427A (ja) 車両用物標検出システム
JP2018074286A (ja) 運転支援装置
CN105679090B (zh) 一种基于智能手机的夜间司机驾驶辅助方法
JP2006040029A (ja) 障害物認識方法及び障害物認識装置
KR20150092505A (ko) 차간 거리 경고 방법 및 전방 충돌 감지 장치
JP2015044557A (ja) 車両周辺環境認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231201

R150 Certificate of patent or registration of utility model

Ref document number: 7397807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150