[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6665696B2 - 車載装置 - Google Patents

車載装置 Download PDF

Info

Publication number
JP6665696B2
JP6665696B2 JP2016115310A JP2016115310A JP6665696B2 JP 6665696 B2 JP6665696 B2 JP 6665696B2 JP 2016115310 A JP2016115310 A JP 2016115310A JP 2016115310 A JP2016115310 A JP 2016115310A JP 6665696 B2 JP6665696 B2 JP 6665696B2
Authority
JP
Japan
Prior art keywords
driver
wearable device
unit
vehicle
wearable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016115310A
Other languages
English (en)
Other versions
JP2017220094A (ja
Inventor
隆文 岡安
隆文 岡安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016115310A priority Critical patent/JP6665696B2/ja
Priority to PCT/JP2017/019016 priority patent/WO2017212901A1/ja
Publication of JP2017220094A publication Critical patent/JP2017220094A/ja
Priority to US16/211,300 priority patent/US10936890B2/en
Application granted granted Critical
Publication of JP6665696B2 publication Critical patent/JP6665696B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Child & Adolescent Psychology (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、車両に乗車した人が所持するウエアラブル機器と通信する車載装置に関する。
車両には、複数の人が乗車可能であることから、複数のウエアラブル機器が車両内に持ち込まれる可能性があり、車両内に持ち込まれた複数のウエアラブル機器の中から運転者のウエアラブル機器を特定する技術が要請されている。
例えば特許文献１に記載された装置では、携帯端末（即ち、ウエアラブル機器に相当）内に操作者の顔画像を登録しておき、車載カメラで撮影した運転者の顔画像と、携帯端末内の顔画像とを比較し、一致した携帯端末が運転者の携帯端末であると判定している。
また、特許文献２に記載された装置では、車両の複数の座席位置と複数の携帯端末とを対応付けて記憶しておき、運転席に運転者が座ったときに、運転席の座席位置に対応付けられた携帯端末を運転者の携帯端末であると判定している。
特開２０１１−１７２１９５号公報 特開２０１４−４８６０号公報
しかし、通常のウェアラブル機器には、操作者の顔写真が登録されていないので、特許文献１の構成をウェアラブル機器との通信に用いることができない。また、特許文献２の構成の場合、運転席にいつもの運転者とは異なる別の人が座ったときには、座席位置と携帯端末との対応付けが変わるため、上記対応付けが更新されていないと、誤判定する可能性があった。
本発明の目的は、車両内に複数のウエアラブル機器が持ち込まれた場合に、運転者が所持するウエアラブル機器を判定することができる車載装置を提供することにある。
請求項１の発明は、運転者（３）を撮影する車室内カメラ（２）から送信された画像データを受信し、受信した画像データを解析し、運転者（３）の心拍数を検出する画像処理部（１４）と、車両に乗車した１人以上の人が所持する１以上のウエアラブル機器（４、６）と無線通信する無線通信部（１３）と、前記１以上のウエアラブル機器（４、６）から送信された生体情報と、前記画像処理部（１４）により検出された運転者（３）の心拍数とを比較して、運転者（３）が所持するウエアラブル機器４を特定するウエアラブル機器特定部（１７）とを備えたものである。また、この場合、前記画像処理部（１４）は、受信した画像データを解析し、運転者（３）の感情を判定するように構成され、前記ウエアラブル機器特定部（１７）は、前記１以上のウエアラブル機器（４、６）から送信された生体情報と、前記画像処理部（１４）により判定された運転者（３）の感情判定結果とを比較して、運転者（３）が所持するウエアラブル機器（４）を特定するように構成されている。
第１実施形態を示す車載システムのブロック図 ウエアラブル機器のブロック図 ウエアラブル機器接続制御のフローチャート 紐付け制御のフローチャート ウエアラブル機器により検出した心拍数の変化を示す図 他のウエアラブル機器により検出した心拍数の変化を示す図 （ａ）は運転者の顔画像に基づいて検出した心拍数の変化を示す図、（ｂ）は運転者の顔画像に基づいて判定した感情の変化を示す図 紐付け処理時に表示部に表示される表示内容の例を示す図
（第１実施形態）
以下、第１実施形態について、図１ないし図８を参照して説明する。本実施形態の車載システム１は、図１に示すように、車室内カメラ２と、運転者３が所持しているウエアラブル機器４と、同乗者５が所持しているウエアラブル機器６と、車載装置７とを備えて構成されている。
車室内カメラ２は、運転席に座っている運転者３の顔を撮影するカメラであり、２Ｄカメラ（例えばＲＧＢカメラ）、または、３Ｄカメラ（例えば赤外線カメラ）、または、２Ｄカメラ及び３Ｄカメラ両方を備えたカメラで構成されている。車室内カメラ２により撮影された運転者３の画像データは、例えばＬＶＤＳ（Low Voltage Differential Signaling）等の映像伝送技術を用いて車載装置７へ送信される。
運転者３のウエアラブル機器４は、リストバンド型（時計を含む）や、眼鏡型や、衣類型等で構成されており、運転者３の身に付けられている。ウエアラブル機器４は、運転者３の例えば心拍数、体温、脈拍、血圧等の生体情報を検出するセンサを有し、検出した生体情報データを無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）の無線規格）で車載装置７へ送信する。尚、本実施形態では、上記Ｂｌｕｅｔｏｏｔｈの無線規格の中でも、例えばＢＬＥ（Bluetooth Low Energy）を用いることが好ましい。また、他の無線ＬＡＮ等の無線規格で通信しても良い。
ウエアラブル機器４は、図２に示すように、センサ部８と、記憶部９と、無線通信部１０と、制御部１１とを備えている。センサ部８は、心拍数センサ８ａ、体温センサ８ｂ、脈拍センサ８ｃ及び血圧センサ８ｄを有する。記憶部９は、ＲＡＭやＲＯＭやフラッシュメモリ等で構成されており、記憶部９には、ウエアラブル機器４の識別ＩＤ１２が記憶されていると共に、制御用の種々のデータやセンサ部８により検出した各種の生体情報データ等が一時的に記憶されている。無線通信部１０は、ＢＬＥの無線規格で車載装置７と無線通信する機能を有する。制御部１１は、ウエアラブル機器４全体を制御する機能を有する。
同乗者５としては、複数人が乗車可能であり、更に各同乗者５がウエアラブル機器６を所持可能であることから、ウエアラブル機器６は車両内に複数持ち込まれることがあり、複数のウエアラブル機器６は各別に車載装置７と無線通信可能な構成となっている。ウエアラブル機器６の具体的構成は、図２に示すウエアラブル機器４の構成とほぼ同じであり、各ウエアラブル機器４、６はそれぞれ互いに識別可能な固有の識別ＩＤ１２を有している。
車載装置７は、例えばカーナビゲーション装置で構成されており、無線通信部１３と、映像処理部１４と、表示部１５と、記憶部１６と、制御部１７とを備えている。この他に、車載装置７は、通常のカーナビゲーション装置として備えている各構成、具体的には、位置検出部、目的地入力部、経路計算部、経路案内部及び地図データ入力部（いずれも図示しない）等を備えている。
無線通信部１３は、車両内に持ち込まれた各ウエアラブル機器４、６と例えばＢＬＥの無線規格で各別に無線通信し、各ウエアラブル機器４、６のセンサ部８により検出した各種の生体情報データ等を受信する機能を有する。受信した各種の生体情報データ等は、各ウエアラブル機器４、６毎に、記憶部１６内に記憶して蓄積されるように構成されている。
映像処理部１４は、車室内カメラ２により撮影した運転者３の顔画像データを受信し、受信した運転者３の顔画像データを解析することにより、運転者３を個人特定したり、運転者３の感情判定を行なったり、運転者３の心拍数を検出したり、運転者３の視線を検出したりする機能を有する。映像処理部１４は、画像処理部の機能を有する。
この構成の場合、運転者３の顔画像データに基づいて運転者３を個人特定する処理は、生体認証処理の一種であり、予め、運転者３の顔を撮影し、撮影した顔画像の中の複数の特徴点、例えば輪郭、目、鼻及び口等について各形状や位置を解析し、解析した複数の特徴点の各形状や位置のデータを、運転者３のパーソナルデータとして、記憶部１６内に記憶しておく。そして、上記受信した運転者３の顔画像データに基づいて運転者３を個人特定する際には、受信した運転者３の顔画像データを解析し、上記複数の特徴点の各形状や位置のデータについて、記憶部１６内に記憶されているパーソナルデータと比較することにより、運転者３個人を特定することができる。尚、車室内カメラ２としては、２Ｄカメラを用いても良いし、３Ｄカメラ（即ち、赤外線カメラ）を用いると、顔の立体情報を解析して比較することができるので、個人特定の精度を向上させることができる。
また、運転者３の顔画像データに基づいて運転者３の感情を判定する処理については、特開２０１５−１６９９８０号公報に記載されている技術を適宜用いることが好ましい。この公報記載の技術により、運転者３の顔の中の例えば眉の動き、口の動き、頭の動き、目の動き等をとらえることによって、例えば「怒っている」、「怖がっている」、「楽しんでいる」、「悲しんでいる」、「驚いている」、「冷静」などの運転者３の感情を判定することができる。
また、運転者３の顔画像データに基づいて運転者３の心拍数を検出（即ち、把握）する処理については、例えばＸｂｏｘＯｎｅ ｋｉｎｅｃｔ（商標登録）の技術を用いることが好ましい。この技術により、車室内カメラ２の２Ｄカメラと３Ｄカメラで運転者３の肌を撮影して、血液の流れによる微妙な変化に基づいて心拍数や脈拍数等を読み取ることができる。また、富士通（株）が開発した顔の画像に基づいてリアルタイムに脈拍数を計測する技術を適宜用いるように構成しても良い。
表示部１５は、例えば液晶ディスプレイ等で構成されており、種々のメッセージ、画像、地図、経路等が表示される。記憶部１６は、ＲＡＭやＲＯＭやフラッシュメモリ等で構成されており、運転者３のパーソナルデータ、車載装置７のデバイス情報、運転者３の顔画像データ、運転者３の生体情報データ、同乗者５の生体情報データ、各種のアプリケーションプログラム、種々の制御データ等が記憶されている。制御部１７は、車載装置７全体を制御する機能を有する。制御部１７は、ウエアラブル機器特定部、起動部、判断部、及び、運転席判断部の各機能を有する。
次に、上記構成の動作について、図３ないし図１０を参照して説明する。図３及び図４のフローチャートは、車載装置７の制御の内容を示す。まず、図３のステップＳ１０においては、ユーザによりイグニッションスイッチがオン（即ち、ＩＧＯＮ）される、または、アクセサリスイッチがオン（即ち、ＡＣＣＯＮ）される、または、ドアが開放（即ち、ドア開）されてＣＡＮ（Controller Area Network）通信によりウエイクアップ信号を受信すると、車載装置７の電源がオンされ、車載装置７が起動される。
続いて、ステップＳ２０へ進み、車載装置７は、車両内に持ち込まれたウエアラブル機器４、６と無線接続する。そして、ステップＳ３０へ進み、車載装置７の制御部１７は、無線接続したウエアラブル機器４、６の中に運転者３と紐付け済みのウエアラブル機器４があるか否かを判断する。尚、運転者３とウエアラブル機器４との紐付け処理については、後述する。
上記ステップＳ３０において、運転者３と紐付け済みのウエアラブル機器４があるときには（ＹＥＳ）、ステップＳ４０へ進み、車載装置７の制御部１７は、車室内カメラ２からの運転者の顔画像に基づいて、上記ウエアラブル機器４に紐付けられている人（即ち、運転者３）が運転席に座っているか否かを判断する。ここで、紐付けられている運転者３が運転席に座っているときには（ＹＥＳ）、ステップＳ５０へ進み、車載装置７は、運転者３のウエアラブル機器４から運転者３の例えば心拍数、体温、脈拍、血圧等の生体情報を取得し、記憶部１６内に記憶する。
次いで、ステップＳ６０へ進み、車載装置７の制御部１７は、運転者３の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動する。このアプリケーションプログラムとしては、例えば運転者３の心拍数等を使用して安全運転への注意喚起を促したりするアプリケーションプログラムを実行することが好ましい。これにより、本制御を終了する。また、上記ステップＳ４０において、ウエアラブル機器４に紐付けられている運転者３が運転席に座っていないときには、「ＮＯ」へ進み、上記アプリケーションプログラムを起動しないで、本制御を終了する。
また、上記ステップＳ３０において、運転者３と紐付け済みのウエアラブル機器４が無いときには（ＮＯ）、ステップＳ７０へ進み、運転者３とウエアラブル機器４とを紐付ける処理（即ち、制御）を実行する。
この運転者３とウエアラブル機器４との紐付け処理については、図４のフローチャートを参照して説明する。まず、図４のステップＳ１１０においては、車載装置７の無線通信部１３は、車両内の全てのウエアラブル機器４、６から、各ウエアラブル機器４、６を装着した人の例えば心拍数、体温、脈拍、血圧等の生体情報を取得し、記憶部１６内に記憶する。
続いて、ステップＳ１２０へ進み、車載装置７の映像処理部１４は、車室内カメラ２により運転者３の顔を撮影し、撮影した運転者３の顔画像を受信し、受信した運転者３の顔画像を解析することにより、運転者３の心拍数の情報や運転者３の感情判定の情報等を取得し、記憶部１６内に記憶する。
そして、ステップＳ１３０へ進み、車載装置７の制御部１７は、ウエアラブル機器４、６から取得した生体情報（例えば心拍数等）と、車室内カメラ２により撮影した顔画像から取得した生体情報（例えば心拍数数等）とが一致するか否かを判断する。この場合、例えば、ウエアラブル機器４から取得された心拍数の検出データが、図５に示すように変化し、ウエアラブル機器６から取得された心拍数の検出データが、図６に示すように変化したとする。尚、ウエアラブル機器４、５が心拍数のデータを検出する時間は、例えば１分ないし数分程度の長さの時間であり、この時間内に設定時間（例えば１秒、２秒または３秒等程度の時間）間隔で多数回検出するように構成されている。
これに対して、車室内カメラ２により撮影した顔画像（例えば１分ないし数分程度の時間、設定時間間隔で連続的に撮影した顔画像）から取得した心拍数のデータが、図７（ａ）に示すように変化したとする。図５、図６、図７（ａ）を比較すると、心拍数が所定の閾値Ａを越えている部分が存在するのは、図５と図７（ａ）であることから、図５と図７（ａ）は一致していると判定する。
また、車室内カメラ２により撮影した顔画像に基づいて取得された運転者３の感情判定の情報を、ウエアラブル機器４、６から取得した心拍数の情報と比較する場合には、次のようにして比較する。まず、車室内カメラ２により撮影した顔画像（例えば１分ないし数分程度の時間、設定時間（例えば１秒、２秒または３秒等程度の時間）間隔で連続的に撮影した顔画像）から取得した感情判定のデータが、図７（ｂ）に示すように変化したとする。この場合、図７（ｂ）において、「Ｃａｌｍ」と「Ａｎｇｅｒ」との境界をＢ１とし、「Ａｎｇｅｒ」と「Ｃａｌｍ」との境界をＢ２とする。また、車室内カメラ２により撮影した顔画像に基づいて取得された運転者３の心拍数の変化を示す図７（ａ）において、心拍数のグラフと閾値Ａの交点をＣ１、Ｃ２とすると、Ｂ１がＣ１にほぼ一致し、Ｂ２がＣ２にほぼ一致する関係がある。従って、図５、図６、図７（ｂ）を比較すると、心拍数が所定の閾値Ａを越えている部分、即ち、感情判定として「Ａｎｇｅｒ」の部分が存在するのは、図５と図７（ｂ）であることから、図５と図７（ｂ）は一致していると判定する。
さて、上記ステップＳ１３０において、生体情報が一致するウエアラブル機器４があったときには（ＹＥＳ）、ステップＳ１４０へ進み、車載装置７の制御部１７は、上記生体情報が一致したウエアラブル機器４を、運転者３のウエアラブル機器４として特定する。続いて、ステップＳ１５０へ進み、車載装置７の制御部１７は、上記特定したウエアラブル機器４と運転者３とを紐付ける処理を実行する。この場合、車室内カメラ２により撮影した顔画像の中の前記した複数の特徴点を解析し、解析した複数の特徴点の各形状や位置のデータを、運転者３のパーソナルデータとして、記憶部１６内に記憶する。そして、上記運転者３のパーソナルデータに、上記特定したウエアラブル機器４の識別ＩＤのデータを紐付けて（即ち、対応付けて）記憶部１６内に登録する。
続いて、ステップＳ１６０へ進み、車載装置７の制御部１７は、運転者３の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動する。このアプリケーションプログラムとしては、例えば運転者３の心拍数等を使用して安全運転への注意喚起を促したりするアプリケーションプログラムを実行することが好ましい。これにより、本制御を終了する。
また、上記ステップＳ１３０において、生体情報が一致するウエアラブル機器４が１つもなかったときには、「ＮＯ」へ進み、アプリケーションプログラムを起動しないで、本制御を終了する。
また、本実施形態においては、図４に示す運転者３とウエアラブル機器４との紐付け処理を実行開始するときに、車載装置７の制御部１７は、図８（ａ）に示すように、「ドライバ（即ち、運転者３）とウエアラブルデバイス（即ち、ウエアラブル機器４）の関連付け処理をしています。」というメッセージを表示部１５に表示する。そして、この後、上記紐付け処理が成功し、ステップＳ１５０の処理が完了すると、車載装置７の制御部１７は、図８（ｂ）に示すように、「ドライバとウエアラブルデバイスの関連付けが完了しました。アプリケーションを起動します。」というメッセージを表示部１５に表示する。尚、上記紐付け処理が失敗したとき、即ち、ステップＳ１３０の判断で、生体情報が一致するウエアラブル機器４が１つもなかったときには（ＮＯ）、車載装置７の制御部１７は、図８（ｃ）に示すように、「ドライバとウエアラブルデバイスの関連付けができませんでした。アプリケーションを終了します。」というメッセージを表示部１５に表示する。
このような構成の本実施形態においては、車載装置７の映像処理部１４によって、運転者３を撮影する車室内カメラ２から送信された画像データを受信し、受信した画像データを解析し、運転者３の心拍数を検出し、車載装置７の制御部１７によって、車両に乗車した１人以上の人が所持する１以上のウエアラブル機器４、６から送信された生体情報と、映像処理部１４により検出された運転者３の心拍数とを比較して、運転者３が所持するウエアラブル機器４を特定するように構成した。この構成によれば、車両内に複数のウエアラブル機器４、６が持ち込まれた場合に、運転者３が所持するウエアラブル機器４を正確に判定することができる。
そして、上記実施形態では、運転者３が所持するウエアラブル機器４を特定した後、運転者３とウエアラブル機器４とを紐付け、紐付けた情報（例えば運転者３のパーソナルデータ、個人特定情報及びウエアラブル機器４の識別ＩＤの情報等）を記憶部１６に登録し、更に、運転者３の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動するように構成した。この構成によれば、紐付けた情報の登録後は、紐付けた情報（例えばウエアラブル機器４の識別ＩＤ）に基づいて運転者３が所持するウエアラブル機器４を速やかに判定することができる。そして、上記アプリケーションプログラムが自動的に起動されるので、運転者３の生体情報を利用する所定の処理が自動的に実行されるようになる。
また、上記実施形態では、車両内に持ち込まれたウエアラブル機器４，６と無線接続し、その中に、運転者３と紐付けられたウエアラブル機器４があったときに、そのウエアラブル機器４に紐付けられた運転者３が運転席に座っているか否かを判断し、上記紐付けられた運転者３が運転席に座っているときに、運転者３の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動するように構成した。この構成によれば、車両内に複数のウエアラブル機器４、６が持ち込まれた場合に、運転者３が所持するウエアラブル機器４を正確且つ迅速に判定することができ、更に、運転者３の生体情報を利用して所定の処理を実行するアプリケーションプログラムを自動的に起動することができる。
尚、上記実施形態では、車室内カメラ２により撮影した運転者３の顔画像を、車室内カメラ２から車載装置７へ送信し、車載装置７側で運転者３の顔画像の解析を実行するように構成したが、これに限られるものではなく、車室内カメラ側において撮影した運転者３の顔画像の解析を実行し、解析結果の情報、即ち、運転者３の心拍数の情報や、運転者３の感情判定の情報や、運転者３のパーソナルデータの情報等を車載装置７へ送信するように構成しても良い。また、上記実施形態では、車載装置７を、例えばカーナビゲーション装置で構成したが、これに限られるものではなく、他の車載機器で構成しても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
図面中、１は車載システム、２は車室内カメラ、４はウエアラブル機器、６はウエアラブル機器、７は車載装置、センサ部、１０は無線通信部、１２は識別ＩＤ、１３は無線通信部、１４は映像処理部（画像処理部）、１５は表示部、１６は記憶部、１７は制御部（ウエアラブル機器特定部、起動部、判断部、運転席判断部）である。

Claims (5)

  1. 運転者（３）を撮影する車室内カメラ（２）から送信された画像データを受信し、受信した画像データを解析し、運転者（３）の心拍数を検出する画像処理部（１４）と、
    車両に乗車した１人以上の人が所持する１以上のウエアラブル機器（４、６）と無線通信する無線通信部（１３）と、
    前記１以上のウエアラブル機器（４、６）から送信された生体情報と、前記画像処理部（１４）により検出された運転者（３）の心拍数とを比較して、運転者（３）が所持するウエアラブル機器４を特定するウエアラブル機器特定部（１７）と、
    を備え、
    前記画像処理部（１４）は、受信した画像データを解析し、運転者（３）の感情を判定するように構成され、
    前記ウエアラブル機器特定部（１７）は、前記１以上のウエアラブル機器（４、６）から送信された生体情報と、前記画像処理部（１４）により判定された運転者（３）の感情判定結果とを比較して、運転者（３）が所持するウエアラブル機器（４）を特定するように構成されている車載装置。
  2. 前記ウエアラブル機器特定部（１７）により運転者（３）が所持するウエアラブル機器（４）が特定されたときに、運転者（３）の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動する起動部（１７）を備えた請求項１記載の車載装置。
  3. 前記ウエアラブル機器特定部（１７）は、運転者（３）が所持するウエアラブル機器（４）を特定したときに、運転者（３）とウエアラブル機器（４）を紐付けて記憶部（１６）に登録するように構成されている請求項１または２記載の車載装置。
  4. 前記ウエアラブル機器特定部（１７）は、運転者（３）が所持するウエアラブル機器（４）を特定したときに、運転者（３）とウエアラブル機器（４）を紐付けて記憶部（１６）に登録するように構成され、
    前記１以上のウエアラブル機器（４、６）と通信し、前記１以上のウエアラブル機器（４、６）の中に運転者（３）と紐付けられたウエアラブル機器（４）があるか否かを判断する判断部（１７）を備え、
    前記起動部（１７）は、運転者（３）と紐付けられたウエアラブル機器（４）があったときに、運転者（３）の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動するように構成されている請求項２記載の車載装置。
  5. 前記ウエアラブル機器特定部（１７）は、運転者（３）が所持するウエアラブル機器（４）を特定したときに、運転者（３）とウエアラブル機器（４）を紐付けて記憶部（１６）に登録するように構成され、
    前記１以上のウエアラブル機器（４、６）と通信し、前記１以上のウエアラブル機器（４、６）の中に運転者（３）と紐付けられたウエアラブル機器（４）があるか否かを判断する判断部（１７）と、
    前記紐付けられた運転者（３）が運転席に座っているか否かを判断する運転席判断部（１７）とを備え、
    前記起動部（１７）は、運転者（３）と紐付けられたウエアラブル機器（４）があり、更に、前記紐付けられた運転者（３）が運転席に座っているときに、運転者（３）の生体情報を利用して所定の処理を実行するアプリケーションプログラムを起動するように構成されている請求項２記載の車載装置。
JP2016115310A 2016-06-09 2016-06-09 車載装置 Active JP6665696B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016115310A JP6665696B2 (ja) 2016-06-09 2016-06-09 車載装置
PCT/JP2017/019016 WO2017212901A1 (ja) 2016-06-09 2017-05-22 車載装置
US16/211,300 US10936890B2 (en) 2016-06-09 2018-12-06 Vehicle device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016115310A JP6665696B2 (ja) 2016-06-09 2016-06-09 車載装置

Publications (2)

Publication Number Publication Date
JP2017220094A JP2017220094A (ja) 2017-12-14
JP6665696B2 true JP6665696B2 (ja) 2020-03-13

Family

ID=60578528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016115310A Active JP6665696B2 (ja) 2016-06-09 2016-06-09 車載装置

Country Status (3)

Country Link
US (1) US10936890B2 (ja)
JP (1) JP6665696B2 (ja)
WO (1) WO2017212901A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10836403B2 (en) * 2017-12-04 2020-11-17 Lear Corporation Distractedness sensing system
DE102017129787A1 (de) * 2017-12-13 2019-06-13 HELLA GmbH & Co. KGaA Fahrzeug mit einer Kamera zur Erfassung eines Körperteils eines Benutzers und Verfahren für den Betrieb des Fahrzeugs
US10963681B2 (en) 2018-01-30 2021-03-30 Alarm.Com Incorporated Face concealment detection
US10867218B2 (en) 2018-04-26 2020-12-15 Lear Corporation Biometric sensor fusion to classify vehicle passenger state
US10970571B2 (en) * 2018-06-04 2021-04-06 Shanghai Sensetime Intelligent Technology Co., Ltd. Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
US10915769B2 (en) * 2018-06-04 2021-02-09 Shanghai Sensetime Intelligent Technology Co., Ltd Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
US20200221958A1 (en) * 2019-01-14 2020-07-16 Sports Data Labs, Inc. System for measuring heart rate
US12059980B2 (en) 2019-06-21 2024-08-13 Lear Corporation Seat system and method of control
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
US11743719B2 (en) * 2019-10-07 2023-08-29 Denso Corporation System and method for authenticating an occupant of a vehicle
DE102020108064A1 (de) * 2019-12-02 2021-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur kontaktfreien Bestimmung von zeitlichen Farb- und Intensitätsveränderungen bei Objekten
WO2021172038A1 (ja) * 2020-02-28 2021-09-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2024080503A (ja) * 2022-12-02 2024-06-13 株式会社Ｊｖｃケンウッド 映像記録制御装置および映像記録方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339681A (ja) * 2002-05-27 2003-12-02 Denso Corp 車両用表示装置
JP2005169980A (ja) 2003-12-15 2005-06-30 Seikoh Giken Co Ltd 射出成形方法とその成型用金型
JP4980737B2 (ja) * 2007-01-30 2012-07-18 株式会社デンソー 車両用情報提示装置
JP4235843B2 (ja) 2007-02-27 2009-03-11 クオリティ株式会社 車両用施錠装置、車両用施錠システムおよび車両用施錠プログラム
JP2011172195A (ja) * 2010-02-22 2011-09-01 Fujitsu Ltd 車載機、携帯機器、および制御プログラム
JP5835124B2 (ja) 2012-06-21 2015-12-24 トヨタ自動車株式会社 車載端末および通信方法
US9272689B2 (en) * 2013-04-06 2016-03-01 Honda Motor Co., Ltd. System and method for biometric identification in a vehicle
WO2014145204A1 (en) * 2013-03-15 2014-09-18 Affectiva, Inc. Mental state analysis using heart rate collection based video imagery
JP6052027B2 (ja) * 2013-03-29 2016-12-27 富士通株式会社 脈波検出装置、脈波検出プログラムおよび脈波検出方法
WO2014172321A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Access and portability of user profiles stored as templates
JP6142664B2 (ja) 2013-05-14 2017-06-07 富士通株式会社 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム
US9481326B2 (en) 2013-11-06 2016-11-01 Harman International Industries, Incorporated Adapting vehicle systems based on wearable devices
US9037125B1 (en) * 2014-04-07 2015-05-19 Google Inc. Detecting driving with a wearable computing device
JP2016018474A (ja) 2014-07-10 2016-02-01 大日本印刷株式会社 車両制御システム、車両制御プログラム及び車両情報提供サーバ
CN108430321B (zh) * 2015-12-23 2023-01-10 皇家飞利浦有限公司 用于确定人的生命体征的设备、系统和方法

Also Published As

Publication number Publication date
JP2017220094A (ja) 2017-12-14
US10936890B2 (en) 2021-03-02
US20190108407A1 (en) 2019-04-11
WO2017212901A1 (ja) 2017-12-14

Similar Documents

Publication Publication Date Title
JP6665696B2 (ja) 車載装置
US20210268902A1 (en) Driving assistance apparatus and driving assistance method
CN111325129A (zh) 交通工具通勤控制方法及装置、电子设备、介质和车辆
US20140204191A1 (en) Image display device and image display method
US20080186382A1 (en) Field watch apparatus
US20200247422A1 (en) Inattentive driving suppression system
US12024103B2 (en) Management system and method for identification and biomonitoring in vehicles
CN108688593B (zh) 用于通过移动模式来识别车辆的至少一个乘客的系统和方法
JP2018533775A (ja) 被検体に関してモバイルデバイスの位置を決定するためのデバイス及び方法
WO2019208450A1 (ja) 運転支援装置、運転支援方法及びプログラム
JP6417962B2 (ja) 情報処理装置、情報処理方法及び記憶媒体
JP7091983B2 (ja) 機器制御装置
US11203347B2 (en) In-vehicle device, information management server, information management system, and method
CN109421733A (zh) 驾驶者状态掌握装置、驾驶者状态掌握系统及方法
JP2006034576A (ja) 乗り物酔い対策装置および乗り物酔い対策方法
JP6256433B2 (ja) 運転者状態検出装置
JP2017045242A (ja) 情報表示装置
JP2021176235A (ja) 画像処理方法
CN113316805A (zh) 使用红外线和可见光监视人的方法和系统
JP6834578B2 (ja) 車両用健康診断装置
EP3471055B1 (en) Comparison device and comparison method
JP2006293909A (ja) 運転者の視線方向検出装置
JP2017191367A (ja) 安全運転支援装置及び安全運転支援プログラム
JP6449504B1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP4192643B2 (ja) 車両運転者の視線検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200203

R151 Written notification of patent or utility model registration

Ref document number: 6665696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250