JP6401733B2 - 画像表示装置 - Google Patents
画像表示装置 Download PDFInfo
- Publication number
- JP6401733B2 JP6401733B2 JP2016081949A JP2016081949A JP6401733B2 JP 6401733 B2 JP6401733 B2 JP 6401733B2 JP 2016081949 A JP2016081949 A JP 2016081949A JP 2016081949 A JP2016081949 A JP 2016081949A JP 6401733 B2 JP6401733 B2 JP 6401733B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured image
- area
- display
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 claims description 18
- 238000005562 fading Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 36
- 238000000605 extraction Methods 0.000 description 17
- 230000007246 mechanism Effects 0.000 description 14
- 230000001149 cognitive effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000001629 suppression Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/173—Reversing assist
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/176—Camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/186—Displaying information according to relevancy
- B60K2360/1868—Displaying information according to relevancy according to driving situations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/77—Instrument locations other than the dashboard
- B60K2360/777—Instrument locations other than the dashboard on or in sun visors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
- B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Studio Devices (AREA)
Description
前記画像制御部は、前記表示部の表示画面について、
前記表示部に前記撮像画像を表示する際、常に前記撮像画像のみを表示する撮像画像専用領域と、
前記表示部に前記撮像画像を表示する際、前記撮像画像又は前記撮像画像以外の別画像を選択して表示する兼用領域と
を設け、
さらに、前記画像制御部は、前記兼用領域に前記撮像画像専用領域と連続した前記撮像画像を表示する際、前記表示画面における前記撮像画像専用領域の位置を固定し、
前記画像制御部は、
前記兼用領域に前記撮像画像を表示している状態で前記兼用領域に前記別画像を表示させる際、前記表示画面における前記撮像画像専用領域の位置を固定しつつ、前記兼用領域における前記撮像画像の表示範囲を前記兼用領域の側端部から前記撮像画像専用領域に向かって減少させながら前記別画像をフェードインさせる、又は、
前記兼用領域に前記別画像を表示している状態で前記別画像の表示を終了する際、前記表示画面における前記撮像画像専用領域の位置を固定しつつ、前記兼用領域における前記別画像を前記撮像画像専用領域から前記兼用領域の前記側端部に向かってフェードアウトさせながら、前記撮像画像の表示範囲を拡張する
ことを特徴とする。
前記画像制御部は、前記表示部の表示画面について、
前記表示部に前記撮像画像を表示する際、常に前記撮像画像のみを表示する撮像画像専用領域と、
前記表示部に前記撮像画像を表示する際、前記撮像画像又は前記撮像画像以外の別画像を選択して表示する兼用領域と
を設け、
さらに、前記画像制御部は、前記撮像画像専用領域に対応する前記撮像画像内に所定の対象が存在する場合、横方向における前記所定の対象の位置の変化を抑制するように、前記表示画面の前記撮像画像専用領域に表示される画像を抽出する
ことを特徴とする。
<A−1.構成>
[A−1−1.全体構成]
図1は、本発明の一実施形態に係る画像表示装置12を搭載した車両10の概略構成図である。図1に示すように、画像表示装置12は、後方カメラ20と、側方カメラ22a、22bと、運転者カメラ24と、後席カメラ26と、操作入力装置28と、シフト位置センサ30と、電子ルームミラー32と、電子制御装置34(以下「ECU34」という。)とを有する。本実施形態の車両10は、右ハンドル車である。代わりに、左ハンドル車であっても同様の構成を採用することができる。以下では、後方カメラ20、側方カメラ22a、22b、運転者カメラ24及び後席カメラ26をカメラ20、カメラ22a、22b、24、26ともいう。
後方カメラ20は、車両10後方の画像(以下「後方画像Irr」という。)を撮像するカラーカメラである。後方画像Irrは、車両10が後退する際に電子ルームミラー32に表示されて運転者の操作を補助すると共に、車両10の通常走行時に車両10の後方を運転者が確認するためのものである。
側方カメラ22a、22bは、車両10側方の画像(以下「側方画像Isd」という。)を撮像するカラーカメラである。側方カメラ22a(以下「左側方カメラ22a」ともいう。)は、車両10の左側方の画像(以下「左側方画像Ilt」という。)を撮像する。側方カメラ22b(以下「右側方カメラ22b」ともいう。)は、車両10の右側方の画像(以下「右側方画像Irt」という。)を撮像する。側方画像Isdは、車両10の通常走行時又は後退時に車両10の側方(後側方を含む。)を運転者が確認するためのものである。
運転者カメラ24は、運転者の略正面の画像(以下「運転者画像Idr」という。)を撮像するカラーカメラである。運転者画像Idrは、例えば、特許文献1と同様に、運転者の動きを操作入力として処理するために用いられる。運転者カメラ24は、運転席(図示せず)の前方(例えば電子ルームミラー32の近傍)において運転席側を向いて配置される。運転者カメラ24が撮像した運転者画像Idrのデータは、ECU34に出力される。
後席カメラ26は、後席(図示せず)の略正面の画像(以下「後席画像Irs」という。)を撮像するカラーカメラである。後席画像Irsは、後席に座っている同乗者を映し出すものである。後席カメラ26は、後席の前方且つ上方において後席側を向いて配置される。後席カメラ26が撮像した後席画像Irsのデータは、ECU34に出力される。
操作入力装置28は、電子ルームミラー32(後述する表示部50)の表示に関してユーザ(運転者等)が所定の指令を入力するものであり、例えば、操作ボタン又はタッチパネルから構成される。ここでの指令には、後述する表示モードの切替指令等が含まれる。操作入力装置28は、入力された指令を示す指令信号SuをECU34に出力する。
シフト位置センサ30は、図示しないシフトレバーの位置(以下「シフト位置Ps」という。)を検出してECU34に出力する。
電子ルームミラー32(以下「電子ミラー32」又は「ミラー32」ともいう。)は、車室内において、運転者の前方且つ上方に配置される。より具体的には、ミラー32は、運転者(乗員)から見てフロントウィンドウ(図示せず)の上部の手前(車両10の進行方向後ろ側)に配置される。ミラー32は、車両10の周囲画像Isrを表示する表示部50(図1)を備える。ここでの周囲画像Isrは、例えば後方画像Irrのみ又は後方画像Irr及び側方画像Isdの組合せから生成される。このため、運転者は、ミラー32の表示部50を介して車両10の後方及び/又は側方の様子を確認することができる。
(A−1−9−1.ECU34の概要)
ECU34は、ミラー32の表示部50に映し出す画像を制御するものであり、入出力部70、演算部72及び記憶部74を備える。入出力部70は信号の入出力を行う。入出力部70には、アナログ/デジタル変換器及びデジタル/アナログ変換器を含むことができる。演算部72は、記憶部74に記憶されたプログラム及びデータを用いて各種の制御を実行する。演算部72は、中央演算装置(CPU)を含む。演算部72の詳細は後述する。
図1に示すように、演算部72は、画像認識部80と、画像制御部82とを有する。
次に、本実施形態におけるミラー表示制御について説明する。ミラー表示制御は、ルームミラー32の表示に関する制御であり、ECU34が実行する。
本実施形態のミラー表示制御では、ミラー32(又は表示部50)の表示モードとして、別画像表示モードと周囲画像専用表示モードを用いる。別画像表示モードは、周囲画像Isrと別画像Iaの両方を表示部50に表示するモードである。周囲画像専用表示モードは、周囲画像Isrのみを表示部50に表示するモードである。
図3及び図4は、本実施形態におけるミラー表示制御の第1及び第2フローチャートである。図3のステップS11において、ECU34は、シフト位置Psが後退(R)以外であるか否かを判定する。R以外のシフト位置Psには、例えば、前進モード(D)、ニュートラルモード(N)がある。
図6は、本実施形態における注意対象物体通知処理(図3のS17の詳細)のフローチャートである。図7A、図7B及び図7Cは、本実施形態の注意対象物体通知処理における表示画面100の第1例〜第3例を示す図である。図7A、図7B及び図7Cの表示画面100は、別画像表示モードにおける表示画面として位置付けられる。以下では、図7A、図7B及び図7Cにおける別画像表示モードの表示画面100を表示画面100e〜100gともいう。図7Aの表示画面100eは、図2A及び図5Aの表示画面100a、100bと同じである。上記のように、図3のステップS17は、別画像表示モードの選択中における処理である。
以上説明したように、本実施形態によれば、周囲画像専用領域110(撮像画像専用領域)に加え、兼用領域112a、112bを設ける(図2A、図2B)。このため、車両10の周囲画像Isr(撮像画像Icp)と同時に別画像Iaを表示することで、車両10の周囲画像Isrの利用に関する運転者(ユーザ)の利便性を向上することが可能となる。
なお、本発明は、上記実施形態に限らず、本明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
上記実施形態では、画像表示装置12を車両10に搭載した(図1)。しかしながら、例えば、専用領域110と兼用領域112を用いる観点からすれば、これに限らない。例えば、船舶、航空機等の移動物体に画像表示装置12を適用してもよい。或いは、画像表示装置12をクレーン等の可動装置に用いることもできる。
上記実施形態では、表示部50を電子ルームミラー32に配置したが(図1)、車両10又はその他の対象の周囲画像Isr(撮像画像Icp)を表示する表示部50であれば、これに限らない。例えば、車両10のサイドミラー(ドアミラー)又は図示しないナビゲーション装置に表示部50を配置することが可能である。或いは、ヘッド・マウント・ディスプレイ(HUD)として表示部50をフロントウィンドウ等に配置してもよい。
上記実施形態では、後方カメラ20及び側方カメラ22a、22bをカラーカメラとしたが、車両10の周囲画像Isrに用いられる撮像画像Icpを取得するものであれば、これに限らない。例えば、夜間等に使うことを想定してモノクロカメラ又は近赤外線カメラを後方カメラ20及び側方カメラ22a、22bの一部又は全部として用いてもよい。
上記実施形態では、操作入力装置28として、操作ボタン又はタッチパネルを例示した。しかしながら、例えば、周囲画像専用領域110と兼用領域112とを用いる観点からすれば、これに限らない。例えば、運転者カメラ24の撮像画像Icp(運転者画像Idr)を用いて運転者の指令を入力することも可能である。
上記実施形態では、2か所の兼用領域112a、112bを専用領域110の左右に設けた(図2A)。しかしながら、例えば、周囲画像専用領域110と兼用領域112とを用いる観点からすれば、これに限らない。例えば、1箇所又は3か所以上の兼用領域112を用いることも可能である。また、兼用領域112を専用領域110の上側又は下側に設けることも可能である。
上記実施形態では、シフト位置PsがR以外であることを、別画像表示モードと周囲画像専用表示モードとを切り替える条件とした(図3のS11)。しかしながら、例えば、周囲画像専用領域110と兼用領域112とを用いる観点からすれば、これに限らない。例えば、図3のステップS11を省略して、シフト位置PsがRであるか否かにかかわらず、別画像表示モードと周囲画像専用表示モードとを切替え可能としてもよい。或いは、図3のステップS11において、シフト位置PsがRである場合にのみステップS12に進むように変形することもできる。
20…後方カメラ(カメラ) 22a…左側方カメラ(カメラ)
22b…右側方カメラ(カメラ) 32…電子ルームミラー
50…表示部 82…画像制御部
100、100a〜100h、102、102a、102b…表示画面
110…周囲画像専用領域(撮像画像専用領域)
112、112a、112b…兼用領域 154…周辺車両(注意対象物体)
160…通知 170…強調表示
180…後続車両(所定の対象) 182…レーンマーク(所定の対象)
Ia…別画像 Irr…後方画像
Isr…周囲画像 Ot…注意対象物体
Claims (6)
- カメラの撮像画像を表示部に表示させる画像制御部を有する画像表示装置であって、
前記画像制御部は、前記表示部の表示画面について、
前記表示部に前記撮像画像を表示する際、常に前記撮像画像のみを表示する撮像画像専用領域と、
前記表示部に前記撮像画像を表示する際、前記撮像画像又は前記撮像画像以外の別画像を選択して表示する兼用領域と
を設け、
さらに、前記画像制御部は、前記兼用領域に前記撮像画像専用領域と連続した前記撮像画像を表示する際、前記表示画面における前記撮像画像専用領域の位置を固定し、
前記画像制御部は、
前記兼用領域に前記撮像画像を表示している状態で前記兼用領域に前記別画像を表示させる際、前記表示画面における前記撮像画像専用領域の位置を固定しつつ、前記兼用領域における前記撮像画像の表示範囲を前記兼用領域の側端部から前記撮像画像専用領域に向かって減少させながら前記別画像をフェードインさせる、又は、
前記兼用領域に前記別画像を表示している状態で前記別画像の表示を終了する際、前記表示画面における前記撮像画像専用領域の位置を固定しつつ、前記兼用領域における前記別画像を前記撮像画像専用領域から前記兼用領域の前記側端部に向かってフェードアウトさせながら、前記撮像画像の表示範囲を拡張する
ことを特徴とする画像表示装置。 - カメラの撮像画像を表示部に表示させる画像制御部を有する画像表示装置であって、
前記画像制御部は、前記表示部の表示画面について、
前記表示部に前記撮像画像を表示する際、常に前記撮像画像のみを表示する撮像画像専用領域と、
前記表示部に前記撮像画像を表示する際、前記撮像画像又は前記撮像画像以外の別画像を選択して表示する兼用領域と
を設け、
さらに、前記画像制御部は、前記兼用領域に前記撮像画像専用領域と連続した前記撮像画像を表示する際、前記表示画面における前記撮像画像専用領域の位置を固定し、
前記画像制御部は、前記兼用領域に前記別画像を表示している状態で前記兼用領域に対応する前記撮像画像内にユーザが注意すべき注意対象物体が存在する場合、前記注意対象物体の存在に関する通知を前記表示部の前記兼用領域と前記撮像画像専用領域との間に表示させ、
前記通知の表示開始後に前記ユーザが所定の操作を行ったことを契機として、前記画像制御部は、前記兼用領域において前記別画像の代わりに前記撮像画像を表示させる
ことを特徴とする画像表示装置。 - 請求項2に記載の画像表示装置において、
前記通知の表示開始後に前記ユーザが前記所定の操作を行ったことを契機として前記別画像から前記撮像画像への切替えを行った場合、前記画像制御部は、前記撮像画像における前記注意対象物体を強調表示する
ことを特徴とする画像表示装置。 - 請求項1〜3のいずれか1項に記載の画像表示装置において、
前記表示部は、ユーザの前方且つ上方に配置された車両の電子ルームミラーを構成し、
前記撮像画像は、前記車両の後方画像を含み、
前記画像制御部は、前記車両が前方走行中又は前進モードであるとき、前記兼用領域における前記撮像画像と前記別画像との切替えを許容すると共に、前記撮像画像専用領域の位置を固定する
ことを特徴とする画像表示装置。 - カメラの撮像画像を表示部に表示させる画像制御部を有する画像表示装置であって、
前記画像制御部は、前記表示部の表示画面について、
前記表示部に前記撮像画像を表示する際、常に前記撮像画像のみを表示する撮像画像専用領域と、
前記表示部に前記撮像画像を表示する際、前記撮像画像又は前記撮像画像以外の別画像を選択して表示する兼用領域と
を設け、
さらに、前記画像制御部は、前記撮像画像専用領域に対応する前記撮像画像内に所定の対象が存在する場合、横方向における前記所定の対象の位置の変化を抑制するように、前記表示画面の前記撮像画像専用領域に表示される画像を抽出する
ことを特徴とする画像表示装置。 - 請求項2記載の画像表示装置において、
前記画像制御部は、前記兼用領域に前記別画像を表示している状態で前記兼用領域に対応する前記撮像画像内に前記ユーザが注意すべき注意対象物体が存在する場合、前記通知の表示開始後に前記ユーザが所定の操作を行ったことを契機として、前記兼用領域において前記別画像の代わりに前記撮像画像を表示させ、前記注意対象物体を前記兼用領域に表示できた際に、前記別画像の一部の表示を継続する
ことを特徴とする画像表示装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016081949A JP6401733B2 (ja) | 2016-04-15 | 2016-04-15 | 画像表示装置 |
CN201710157018.6A CN107298050B (zh) | 2016-04-15 | 2017-03-16 | 图像显示装置 |
US15/487,762 US10363876B2 (en) | 2016-04-15 | 2017-04-14 | Image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016081949A JP6401733B2 (ja) | 2016-04-15 | 2016-04-15 | 画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017192089A JP2017192089A (ja) | 2017-10-19 |
JP6401733B2 true JP6401733B2 (ja) | 2018-10-10 |
Family
ID=60039816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016081949A Active JP6401733B2 (ja) | 2016-04-15 | 2016-04-15 | 画像表示装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10363876B2 (ja) |
JP (1) | JP6401733B2 (ja) |
CN (1) | CN107298050B (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6256508B2 (ja) * | 2016-03-30 | 2018-01-10 | マツダ株式会社 | 電子ミラー制御装置 |
DE102016210088B3 (de) * | 2016-06-08 | 2017-07-06 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Darstellung einer Umgebung eines Kraftfahrzeugs |
WO2019092846A1 (ja) | 2017-11-10 | 2019-05-16 | 本田技研工業株式会社 | 表示システム、表示方法、およびプログラム |
CN108162867A (zh) * | 2017-12-21 | 2018-06-15 | 宁波吉利汽车研究开发有限公司 | 一种车道识别系统及车道识别方法 |
JP7147255B2 (ja) * | 2018-05-11 | 2022-10-05 | トヨタ自動車株式会社 | 画像表示装置 |
JP7073991B2 (ja) | 2018-09-05 | 2022-05-24 | トヨタ自動車株式会社 | 車両用周辺表示装置 |
US11364804B2 (en) * | 2019-12-13 | 2022-06-21 | Honda Motor Co., Ltd. | Display system for mode information display |
JP7314885B2 (ja) * | 2020-09-01 | 2023-07-26 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
US12060010B2 (en) | 2021-06-15 | 2024-08-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Dual-sided display for a vehicle |
US12030382B2 (en) * | 2021-06-15 | 2024-07-09 | Toyota Motor Engineering & Manufacturing North America, Inc. | Dual-sided display for a vehicle |
US12092529B2 (en) * | 2021-11-29 | 2024-09-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Window-based object detection and/or identification |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4476723B2 (ja) * | 2004-07-14 | 2010-06-09 | アルパイン株式会社 | 画像表示装置 |
JP5088669B2 (ja) * | 2007-03-23 | 2012-12-05 | 株式会社デンソー | 車両周辺監視装置 |
JP5320970B2 (ja) * | 2008-10-15 | 2013-10-23 | 日産自動車株式会社 | 車両用表示装置および表示方法 |
US8633810B2 (en) * | 2009-11-19 | 2014-01-21 | Robert Bosch Gmbh | Rear-view multi-functional camera system |
EP2775467A4 (en) * | 2011-11-01 | 2016-09-28 | Aisin Seiki | OBSTACLE ALERT DEVICE |
JP6077210B2 (ja) * | 2011-12-22 | 2017-02-08 | トヨタ自動車株式会社 | 車両用後方監視装置 |
JP2013191050A (ja) * | 2012-03-14 | 2013-09-26 | Toyota Motor Corp | 車両周辺監視装置 |
JP5874920B2 (ja) | 2012-04-12 | 2016-03-02 | スズキ株式会社 | 車両周囲確認用モニター装置 |
US20140114534A1 (en) * | 2012-10-19 | 2014-04-24 | GM Global Technology Operations LLC | Dynamic rearview mirror display features |
JP6247450B2 (ja) * | 2013-03-31 | 2017-12-13 | 株式会社村上開明堂 | 運転支援装置 |
JP6323018B2 (ja) * | 2014-01-17 | 2018-05-16 | 株式会社デンソー | 運転支援装置 |
JP6565148B2 (ja) * | 2014-09-05 | 2019-08-28 | アイシン精機株式会社 | 画像表示制御装置および画像表示システム |
US20180065558A1 (en) * | 2015-03-09 | 2018-03-08 | Sharp Kabushiki Kaisha | Mirror, in-vehicle operation device, and vehicle |
-
2016
- 2016-04-15 JP JP2016081949A patent/JP6401733B2/ja active Active
-
2017
- 2017-03-16 CN CN201710157018.6A patent/CN107298050B/zh active Active
- 2017-04-14 US US15/487,762 patent/US10363876B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017192089A (ja) | 2017-10-19 |
CN107298050A (zh) | 2017-10-27 |
CN107298050B (zh) | 2020-05-15 |
US10363876B2 (en) | 2019-07-30 |
US20170297496A1 (en) | 2017-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6401733B2 (ja) | 画像表示装置 | |
US10343607B2 (en) | Viewing device for vehicle | |
US10843628B2 (en) | Onboard display device, control method for onboard display device, and control program for onboard display device | |
JP5316550B2 (ja) | 後方視界支援システム | |
US10737624B2 (en) | Viewing device for vehicle | |
US8031225B2 (en) | Surroundings monitoring system for a vehicle | |
US8886023B2 (en) | Blind-spot image display system for vehicle, and blind-spot image display method for vehicle | |
WO2010137684A1 (ja) | 画像生成装置及び画像表示システム | |
US10166922B2 (en) | On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device | |
JP6360850B2 (ja) | 画像表示装置 | |
JP2004203126A (ja) | 車両用周辺監視装置 | |
JP6770330B2 (ja) | 画像表示装置 | |
US10450003B2 (en) | Parking assist device and parking assist system | |
JP4849333B2 (ja) | 車両用視覚補助装置 | |
JP2006248384A (ja) | 車両周囲監視装置 | |
JPWO2019216087A1 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
JP4977482B2 (ja) | 画像提供装置、車両、および画像提供方法 | |
US20190308482A1 (en) | Surroundings monitoring apparatus | |
JP2020121638A (ja) | 表示制御装置 | |
US12026958B2 (en) | Vehicle camera mirror system with adjustable video feed | |
JP2006273002A (ja) | 車両用監視装置 | |
JP2016030507A (ja) | 車載用表示装置 | |
US20200166641A1 (en) | Image display apparatus | |
JP6415763B2 (ja) | 表示システム、表示装置及び制御装置 | |
JP2023536976A (ja) | 運転者による後方視認のための電子画像ディスプレイを含む車両視認システム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180907 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6401733 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |