JPH10246640A - Information display device for vehicles - Google Patents
Information display device for vehiclesInfo
- Publication number
- JPH10246640A JPH10246640A JP9048219A JP4821997A JPH10246640A JP H10246640 A JPH10246640 A JP H10246640A JP 9048219 A JP9048219 A JP 9048219A JP 4821997 A JP4821997 A JP 4821997A JP H10246640 A JPH10246640 A JP H10246640A
- Authority
- JP
- Japan
- Prior art keywords
- information
- vehicle
- detected
- information display
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005043 peripheral vision Effects 0.000 claims description 15
- 230000004438 eyesight Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 9
- 230000004397 blinking Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 5
- 230000002093 peripheral effect Effects 0.000 abstract 2
- 230000035945 sensitivity Effects 0.000 abstract 1
- 210000003128 head Anatomy 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000004304 visual acuity Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】この発明は、車両の操縦者
(ドライバ)に対して、例えば、車両の進行方向に存在
する移動物体等に係る情報を的確に表示して知らせる車
両用情報表示装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle information display device for accurately displaying, to a driver (driver) of a vehicle, information relating to, for example, a moving object existing in the traveling direction of the vehicle. .
【0002】[0002]
【従来の技術】車両を運転する際、操縦者は、たえず、
自車の速度や自車の前後左右に注意し、道路状況、人や
車の有無、それらの動き等、操縦に必要な情報を、迅速
かつ確実につかむことが必要である。2. Description of the Related Art When driving a vehicle, a driver constantly
It is necessary to pay attention to the speed of the own vehicle, the front, rear, left and right of the own vehicle, and quickly and surely grasp information necessary for steering, such as road conditions, presence or absence of people and vehicles, and their movements.
【0003】操縦に必要な情報は、操縦者の眼や耳によ
って認知されるが、その認知のための補助装置として、
バックミラーやサイドミラーがあり、また、最近では、
いわゆるHUD(headup display)技術
を用い、フロントウインドシールド上にスピード(自車
速度)等を補助的にデジタル表示することも行われてい
る。[0003] The information necessary for maneuvering is recognized by the pilot's eyes and ears.
There are rearview mirrors and side mirrors, and recently,
By using a so-called HUD (headup display) technology, an auxiliary digital display of a speed (own vehicle speed) and the like is also performed on a front windshield.
【0004】車両の進行方向に存在する移動物体等に係
る情報を、車両の操縦者に対して知らせる車両用情報表
示装置として、特開平6―230132号公報に開示さ
れた技術がある。[0004] As a vehicle information display device for informing a driver of a vehicle of information relating to a moving object or the like present in the traveling direction of the vehicle, there is a technique disclosed in Japanese Patent Application Laid-Open No. Hei 6-230132.
【0005】この技術では、操縦者の眼を含む部分に赤
外線照明ライトを照射し、赤外線カメラにより操縦者の
眼球部を撮影する。その撮影画像から視線方向を検出
し、フロントウインドシールド上のその視線方向に対応
するエリアに操縦者の観測エリアを設定する。一方、赤
外線レーダヘッドを用いて車両周囲の障害物の位置方向
を検出し、検出した障害物の位置方向と前記観測エリア
の中心との間に警報マークを表示するようにしている。In this technique, a portion including the operator's eye is irradiated with an infrared illumination light, and an infrared camera photographs the operator's eyeball. The gaze direction is detected from the captured image, and the observation area of the pilot is set in an area corresponding to the gaze direction on the front windshield. On the other hand, the position direction of the obstacle around the vehicle is detected using the infrared radar head, and an alarm mark is displayed between the position direction of the detected obstacle and the center of the observation area.
【0006】前記公報には、警報マークが操縦者の視線
近くに表示されることから障害物の出現を確実に知るこ
とができ、かつ警報マークが観測エリアの中心からどち
らの方向に表示されているかによって障害物の方向が示
されるから、その障害物を容易に確認することができる
と記載されている。In the above publication, the warning mark is displayed near the operator's line of sight so that the appearance of an obstacle can be surely known, and the warning mark is displayed in any direction from the center of the observation area. Since the direction of the obstacle is indicated by the presence or absence, it is described that the obstacle can be easily confirmed.
【0007】[0007]
【発明が解決しようとする課題】この発明は、車両の進
行方向等に存在する物体に係る情報を的確に表示して操
縦者に補助的に知らせることを可能とする車両用情報表
示装置を提供することを目的とする。SUMMARY OF THE INVENTION The present invention provides a vehicle information display device capable of accurately displaying information relating to an object present in a traveling direction of a vehicle or the like so as to inform a pilot in an auxiliary manner. The purpose is to do.
【0008】また、この発明は、操縦者の周辺視の視力
(注意力)を向上することを可能とする車両用情報表示
装置を提供することを目的とする。なお、周辺視とは、
視力は良いが認識エリア(認識範囲、認識ゾーン)の狭
い視軸の近傍に存在する中心視の外側に存在するエリア
であって、認識エリアは広いが視力の落ちるエリアをい
う。It is another object of the present invention to provide a vehicle information display device capable of improving the visual acuity (attention) of a driver's peripheral vision. In addition, peripheral vision is
A visual acuity is good, but an area that exists outside the central vision near the visual axis with a narrow recognition area (recognition range and recognition zone).
【0009】[0009]
【課題を解決するための手段】この発明は、車両に搭載
される車両用情報表示装置において、車外の物体を連続
的に検出する物体情報検出手段と、検出した物体に係る
情報を情報表示部に表示する情報表示手段と、前記情報
表示部上での操縦者の視点位置を検出する視点位置検出
手段と、前記物体情報検出手段と前記情報表示手段と前
記視点位置検出手段の各出力情報を取り込み、前記情報
表示手段による情報表示を制御する表示制御手段とを備
え、前記表示制御手段は、前記検出した物体の位置と前
記検出した視点位置とを比較して、前記検出した物体の
位置が前記検出した視点位置の一定範囲外にある場合に
は、前記検出した物体に係る情報を前記情報表示部上物
体の方向に表示させ、前記検出した物体が前記検出した
視点位置の一定範囲内にある場合には、前記検出した物
体に係る情報を前記情報表示部に表示させないように制
御することを特徴とする。According to the present invention, there is provided a vehicle information display device mounted on a vehicle, comprising: an object information detecting means for continuously detecting an object outside the vehicle; and an information display unit for displaying information on the detected object. Information display means for displaying, a viewpoint position detection means for detecting a viewpoint position of a pilot on the information display section, and output information of the object information detection means, the information display means, and the viewpoint position detection means. Display control means for controlling the information display by the information display means, wherein the display control means compares the position of the detected object with the detected viewpoint position, and determines the position of the detected object. If the detected viewpoint position is outside a certain range, the information on the detected object is displayed in the direction of the object on the information display unit, and the detected object is displayed in a certain range of the detected viewpoint position. In some cases within, and controlling the information relating to the object and the detected so as not to appear on the information display unit.
【0010】この発明によれば、検出した物体の位置が
検出した視点位置の一定範囲外にある場合には、検出し
た物体に係る情報を情報表示部に表示し、検出した物体
が検出した視点位置の一定範囲内にある場合には、検出
した物体に係る情報を情報表示部に表示しないように制
御している。According to the present invention, when the position of the detected object is out of the fixed range of the detected viewpoint position, information on the detected object is displayed on the information display unit, and the detected object is displayed on the detected viewpoint. When the position is within a certain range, control is performed so that information on the detected object is not displayed on the information display unit.
【0011】すなわち、検出した物体が検出した視点位
置の一定範囲内にある場合には、操縦者の注視力の高い
(視力の良い)視野に検出した物体が入っているので、
検出した物体に係る情報を表示しない。一方、検出した
物体が検出した視点位置の一定範囲外にある場合には、
操縦者の注視力の比較的に低い(視力の比較的に悪い)
視野に検出した物体が入っているので、検出した物体に
係る情報を表示するようにする。That is, when the detected object is within a certain range of the detected viewpoint position, the detected object is included in the visual field where the pilot's gaze is high (good visual acuity).
Do not display information about detected objects. On the other hand, if the detected object is outside a certain range of the detected viewpoint position,
The driver's sight is relatively low (the sight is relatively poor)
Since the detected object is in the field of view, information on the detected object is displayed.
【0012】これにより車両の進行方向等に存在する物
体に係る情報を的確に表示して操縦者に補助的に知らせ
ることができる。[0012] This makes it possible to accurately display information relating to an object existing in the traveling direction of the vehicle or the like, and to inform the pilot in an auxiliary manner.
【0013】検出した物体に係る情報の表示は、点滅表
示とすることで、操縦者の注視力の比較的低い視野であ
っても、操縦者に補助的に知らせることができる。[0013] By displaying the information on the detected object in a blinking manner, the pilot can be informed supplementarily even in a field of view where the gaze of the pilot is relatively low.
【0014】また、前記一定範囲を、可変可能とするこ
とで、個々の操縦者に対応した的確な範囲とすることが
できる。[0014] Further, by making the certain range variable, an accurate range corresponding to each operator can be obtained.
【0015】さらに、前記一定範囲内を、操縦者の中心
視に対応する範囲とし、一定範囲外を操縦者の周辺視に
対応する範囲とすることで、操縦者に対応した的確な範
囲とすることができる。Further, the predetermined range is defined as a range corresponding to the pilot's central vision, and the outside of the predetermined range is defined as a range corresponding to the pilot's peripheral vision, thereby providing an accurate range corresponding to the pilot. be able to.
【0016】[0016]
【発明の実施の形態】以下、この発明の一実施の形態に
ついて図面を参照して説明する。An embodiment of the present invention will be described below with reference to the drawings.
【0017】図1は、車両としての自動車に搭載された
この実施の形態に係る車両用情報表示装置10の構成を
示している。FIG. 1 shows the configuration of a vehicle information display device 10 according to this embodiment, which is mounted on an automobile as a vehicle.
【0018】この車両用情報表示装置10は、物体情報
検出手段12と、車両情報検出手段14と、外界情報検
出手段16と、視線検出手段(視点位置検出手段)19
との4つの検出手段を有している。The vehicle information display device 10 includes an object information detecting unit 12, a vehicle information detecting unit 14, an external world information detecting unit 16, and a visual line detecting unit (viewpoint position detecting unit) 19.
And four detection means.
【0019】また、車両用情報表示装置10は、物体情
報検出手段12と車両情報検出手段14と外界情報検出
手段16から出力される情報に基づいて検出した物体に
係る情報を表す所定の映像信号を生成する表示情報生成
手段18と、生成された映像信号を前記視線検出手段1
9から出力される出力情報およびマスク範囲設定手段2
6の設定値に応じて出力するかどうか(マスクするかど
うか)等を決定する映像マスク手段としても機能する映
像制御手段22と、映像制御手段22から出力された映
像信号をディスプレイとしてのフロントウインドシール
ド上に映像として表示する情報表示手段24とを備え
る。The vehicle information display device 10 is provided with a predetermined video signal representing information on an object detected based on information output from the object information detecting means 12, the vehicle information detecting means 14, and the external world information detecting means 16. Display information generating means 18 for generating a video signal;
Output information and mask range setting means 2
6, a video control means 22 also functioning as a video mask means for determining whether or not to output (whether to mask) according to the set value of 6, and a front window as a display which outputs the video signal output from the video control means 22 Information display means 24 for displaying an image on the shield.
【0020】前記映像制御手段22と表示情報生成手段
18とは、表示制御手段20を構成する。The video control means 22 and the display information generating means 18 constitute a display control means 20.
【0021】前記物体情報検出手段12としては、例え
ば、ステレオカメラを利用することができる。ステレオ
カメラを利用する物体情報検出手段12は、例えば、ダ
ッシュボード上の左右に、いわゆる基線長隔てて左右の
ビデオカメラを設置し、車両の進行方向前方の物体を撮
影する。そして、この左右のカメラの出力を各々画像メ
モリに記憶し、対象とする移動物体の各々の画像メモリ
上の対応領域に応じて三角測量法(両眼立体視)に基づ
き、移動物体の当該車両位置を基準とする相対位置を連
続的に演算して移動物体情報を得、これを表示情報生成
手段18に出力する。As the object information detecting means 12, for example, a stereo camera can be used. The object information detection unit 12 using a stereo camera, for example, installs left and right video cameras at a so-called base line distance on the left and right sides of a dashboard, and shoots an object in front of the vehicle in the traveling direction. Then, the outputs of the left and right cameras are stored in an image memory, and the vehicle of the moving object is determined based on a triangulation method (binocular stereovision) according to a corresponding area on the image memory of the moving object. The moving object information is obtained by continuously calculating the relative position based on the position, and is output to the display information generating means 18.
【0022】なお、物体情報検出手段12としては、ス
テレオカメラに代替して、例えば、赤外線レーダを使用
することも可能である。赤外線レーダを使用することに
より、人等の赤外線発光体の位置情報のみを検出するこ
とができる。As the object information detecting means 12, for example, an infrared radar can be used instead of a stereo camera. By using the infrared radar, it is possible to detect only the position information of the infrared light emitter such as a person.
【0023】前記車両情報検出手段14としては、車輪
の回転を検出するパルスエンコーダおよび車軸上に取り
付けたヨーレートセンサ等を用いることができる。パル
スエンコーダの出力を単位時間当たり検出することで、
車両速度を検出することができ、ヨーレートセンサの出
力であるヨーレート(角速度)を積分することで、車両
の進行方向を検出することができる。これらの車両情報
は表示情報生成手段18に供給される。As the vehicle information detecting means 14, a pulse encoder for detecting the rotation of a wheel, a yaw rate sensor mounted on an axle, or the like can be used. By detecting the output of the pulse encoder per unit time,
The traveling speed of the vehicle can be detected by detecting the vehicle speed and integrating the yaw rate (angular velocity) output from the yaw rate sensor. These vehicle information is supplied to the display information generating means 18.
【0024】前記外界情報検出手段16は、外界の光量
を検出し、昼夜の区別を判別する情報を表示情報生成手
段18に供給する。外界情報検出手段16は、物体情報
検出手段12がステレオカメラを利用した装置であれ
ば、その検出露光量から昼夜を判定することができる。
また、ステレオカメラを利用していない場合には、一般
的な光センサを用いることができる。The outside world information detecting means 16 detects the amount of light in the outside world and supplies information for discriminating between day and night to the display information generating means 18. If the object information detecting means 12 is a device using a stereo camera, the external information detecting means 16 can determine day or night from the detected exposure amount.
When a stereo camera is not used, a general optical sensor can be used.
【0025】視線検出手段19は、情報表示手段24が
HUD(headup display)を利用するも
のであれば、図2に示すように、操縦者32の頭部(頭
ともいう。)33を含む部分を撮影するために車両28
のダッシュボード30上に配置される視線計測カメラ3
4と、検出した物体に係る情報をフロントウインドシー
ルド36上の点線で囲んだ情報提示エリア38内に映像
として表示するプロジェクター40を含んで構成され
る。If the information display means 24 uses a HUD (headup display), the line-of-sight detecting means 19 includes a part including the head 33 of the pilot 32 as shown in FIG. Vehicle 28 to shoot
Line-of-sight measurement camera 3 arranged on dashboard 30
4 and a projector 40 for displaying information on the detected object as an image in an information presentation area 38 surrounded by a dotted line on the front windshield 36.
【0026】なお、情報表示手段24がHMD(hea
dmount display)を利用するものであれ
ば、図3A、図3Bに示すように、操縦者32の頭部3
3に対して着脱可能な透過型液晶表示装置42と、この
透過型液晶表示装置42の支持体部44に一体的に取り
付けられた視線計測カメラ46と頭部位置方向センサ4
8と、この透過型液晶表示装置42の前方に、これと一
体的に配置されたハーフミラー50とを含んで構成され
る。視線計測カメラ46は、ハーフミラー50で反射さ
れた眼35の情報を計測して、視線方向(視点位置)を
検出する。検出された視線方向は、頭部位置方向センサ
48により校正される。すなわち、操縦者32の頭部3
3の向いている方向を基準に眼35の向いている方向
(視軸)からの視界(視野)範囲を算出することができ
る。なお、視界(視野)範囲とは、写真レンズの場合の
画角に対応する。It should be noted that the information display means 24 is an HMD (Hea)
3A and 3B, the head 3 of the pilot 32 can be used.
3, a transmissive liquid crystal display device 42, a line-of-sight measuring camera 46 and a head position direction sensor 4 integrally attached to a support 44 of the transmissive liquid crystal display device 42.
8 and a half mirror 50 disposed in front of the transmission type liquid crystal display device 42 and integrally therewith. The line-of-sight measurement camera 46 measures the information of the eye 35 reflected by the half mirror 50, and detects the line-of-sight direction (viewpoint position). The detected gaze direction is calibrated by the head position direction sensor 48. That is, the head 3 of the pilot 32
It is possible to calculate the range of the field of view (viewing field) from the direction in which the eye 35 is facing (the visual axis) based on the direction in which the eye 3 is facing. Note that the field of view (field of view) corresponds to the angle of view in the case of a photographic lens.
【0027】この図3例の情報表示手段24において
は、検出した物体に係る情報が透過型液晶表示装置42
の情報提示エリア38内に映像として表示される。In the information display means 24 of the example shown in FIG.
Is displayed as an image in the information presentation area 38 of FIG.
【0028】なお、頭部位置方向センサ48は、図2に
示したHUDを利用する情報表示手段24においては、
視線計測カメラ34により頭部33と眼35を一緒に撮
影することができるので不要である。It should be noted that the head position direction sensor 48 is provided in the information display means 24 utilizing the HUD shown in FIG.
This is unnecessary because the eye gaze measurement camera 34 can photograph the head 33 and the eyes 35 together.
【0029】マスク範囲設定手段26は、ボリュームや
アップダウンスイッチにより構成され、視線検出手段1
9により検出された操縦者32の視点位置(視点方位)
φと物体情報検出手段12により検出された移動物体の
方位θとの差の絶対値で規定される後述するマスク範囲
(一定範囲)を可変することができる。なお、マスク範
囲は、デフォルト値としても表示制御手段20中の図示
していない記憶手段に記憶されている。The mask range setting means 26 comprises a volume and an up / down switch.
9 viewpoint position (viewpoint direction) of the pilot 32 detected by
It is possible to vary a mask range (fixed range) described later, which is defined by the absolute value of the difference between φ and the azimuth θ of the moving object detected by the object information detecting means 12. The mask range is also stored as a default value in a storage unit (not shown) in the display control unit 20.
【0030】前記した表示制御手段20等、上記各手段
には、制御、記憶、判断手段として機能するマイクロコ
ンピュータが必要に応じて搭載されている。Each of the above-described units such as the display control unit 20 is provided with a microcomputer functioning as a control, storage, and determination unit as necessary.
【0031】次に上記図1例の動作について、図4に示
すフローチャートを参照して説明する。制御主体は、表
示制御手段20である。Next, the operation of the example of FIG. 1 will be described with reference to the flowchart shown in FIG. The control subject is the display control means 20.
【0032】まず、表示制御手段20を構成する表示情
報生成手段18は、車両情報検出手段14から自車の車
速および進行方向等の車両情報を取り込むとともに、物
体情報検出手段12から移動物体の移動方向、移動速度
等の物体情報を取り込み、さらに、外界情報検出手段1
6から光量等の外界情報を取り込む(ステップS1)。
このうち、車両情報と物体情報は、きわめて短い一定時
間毎、例えば、0.01秒毎に取り込まれる。First, the display information generating means 18 constituting the display control means 20 fetches vehicle information such as the vehicle speed and the traveling direction of the own vehicle from the vehicle information detecting means 14 and moves the moving object from the object information detecting means 12. It takes in object information such as direction and moving speed, and furthermore, external world information detecting means 1
6. External information such as the amount of light is fetched from Step 6 (Step S1).
Among them, the vehicle information and the object information are taken in every very short fixed time, for example, every 0.01 second.
【0033】次に、表示情報生成手段18は、取り込ん
だ物体情報と車両情報とから、所定時間後の物体と車両
(自車)の予測位置を計算し、その予測位置から、その
物体(他の車両、人、その他の移動物体)が当該車両
(自車ともいう。)28に対して障害物となり得るかど
うかを判断する(ステップS2)。Next, the display information generating means 18 calculates a predicted position of the object and the vehicle (own vehicle) after a predetermined time from the acquired object information and the vehicle information, and calculates the predicted position of the object (other vehicle) from the predicted position. It is determined whether or not the vehicle, the person, or another moving object) can be an obstacle to the vehicle (also referred to as the own vehicle) 28 (step S2).
【0034】ステップS2の判定が肯定的となった場
合、表示情報生成手段18は、障害物と判定した物体に
対して、情報表示手段24を構成するフロントウインド
シールド36上に表示しようとする重合映像(輝点映像
または輝点の点滅映像)信号を発生して映像制御手段2
2に供給する。If the determination in step S2 is affirmative, the display information generating means 18 superimposes the object determined to be an obstacle on the front windshield 36 constituting the information display means 24. The image control means 2 generates an image (bright point image or blinking image of a bright point) signal and
Feed to 2.
【0035】映像制御手段22は、ステップS2で計算
した、現時点における自車28の進行方向を基準とする
移動物体の方位情報である物体の方位θ(°)を取り込
む(ステップS3)とともに、視線検出手段19から出
力される視線情報より自車28の進行方向を基準とする
視線方位情報を視線方位(視点位置、視点方位、視軸方
向ともいう。)φ(°)として取り込む(ステップS
4)。The image control means 22 fetches the azimuth θ (°) of the object, which is the azimuth information of the moving object based on the current traveling direction of the vehicle 28, calculated in step S2 (step S3). Line-of-sight direction information based on the traveling direction of the vehicle 28 is input from the line-of-sight information output from the detection unit 19 as a line-of-sight direction (also referred to as a viewpoint position, a viewpoint direction, or a visual axis direction) φ (°) (step S).
4).
【0036】そして、映像制御手段22は、次の(1)
式に示す、物体の方位θと視線方位(視軸方向)φとの
差の絶対値が一定範囲(閾値)α(°)を超えているか
どうかを判定する(ステップS5)。Then, the video control means 22 performs the following (1)
It is determined whether or not the absolute value of the difference between the azimuth θ of the object and the line-of-sight azimuth (the visual axis direction) φ shown in the equation exceeds a certain range (threshold) α (°) (step S5).
【0037】 |θ−φ|>α …(1) 一定範囲αは、例えば、α=5°に選択する。この一定
範囲は、人、この場合、操縦者32の視覚の特性に応じ
て設定することが好ましいが、一般的に、図5に示すよ
うに、人の視覚はおおまかに視軸方向の周囲の中心視
(中心視範囲または中心視ゾーンともいう。)60とそ
の中心視の外側の周辺視(周辺視範囲または周辺視ゾー
ンともいう。)61、62とに分けることができ、例え
ば、中心視60を10°(視線方位φに対して±5°)
としたとき、周辺視61、62は、視線方位φに対して
+5°〜+90°、−5°〜−90°程度である。中心
視60は、視力は良いが認識エリアが狭く、一方、周辺
視61、62は、視力は中心視60に比較して良くない
が、認識エリアが広いという特性を有する。図5に示し
ているように、ここでは、一定範囲±αを中心視ゾーン
60に設定している。| Θ−φ |> α (1) The fixed range α is selected to be, for example, α = 5 °. This fixed range is preferably set in accordance with the visual characteristics of the person, in this case, the pilot 32, but in general, as shown in FIG. 5, the human vision is roughly around the visual axis. Central vision (also referred to as central vision range or central vision zone) 60 and peripheral vision (also referred to as peripheral vision range or peripheral vision zone) 61 and 62 outside the central vision can be divided. 60 to 10 ° (± 5 ° to line-of-sight direction φ)
Then, the peripheral visions 61 and 62 are about + 5 ° to + 90 ° and about −5 ° to −90 ° with respect to the line-of-sight azimuth φ. The central vision 60 has good visual acuity but a narrow recognition area, while the peripheral visions 61 and 62 have a characteristic that the visual acuity is not as good as the central vision 60 but the recognition area is wide. As shown in FIG. 5, a certain range ± α is set in the central viewing zone 60 here.
【0038】ステップS5の判定が成立するとき、すな
わち、物体64の方位θ(車両28の進行方向の方位を
基準の0°としている。)が視線方位φよりもα=5°
以上広い場合には、操縦者32は物体64を認識してい
ない可能性があるので、図5に示すように、物体64の
方位θの方向であって、物体64に重なって見えるよう
に輝点66の情報表示を情報表示手段24上(フロント
ウインドシールド36または透過型液晶表示装置42の
各々情報提示エリア38上)に行う(ステップS6)。
この輝点表示は、注意をより喚起するために点滅輝点表
示や、所定のカラー表示とすることが好ましい。When the determination in step S5 is satisfied, that is, the azimuth θ of the object 64 (the azimuth in the traveling direction of the vehicle 28 is set to 0 ° as a reference) is α = 5 ° more than the line-of-sight azimuth φ.
If the distance is wider than the above, the pilot 32 may not recognize the object 64, and therefore, as shown in FIG. The information of the point 66 is displayed on the information display means 24 (on the information presentation area 38 of the front windshield 36 or the transmission type liquid crystal display device 42, respectively) (step S6).
It is preferable that the bright spot display be a blinking bright spot display or a predetermined color display in order to draw more attention.
【0039】この輝点表示を操縦者32が確認した場
合、操縦者32は、輝点66が表示されている方向、す
なわち物体64の方位θに視線方位φを向ける(φ≒
θ)。このとき、ステップS1〜ステップS5までの処
理が連続的に行われており、操縦者32の視線方位φが
(1)式を満足しないことになったとき、換言すれば、
図6に示すように、物体64が操縦者32の中心視ゾー
ン60に入った場合には、ステップS5の判定が成立し
なくなるので、輝点66の表示を行わないように、表示
をマスク(抑制)する(ステップS7:図6参照)。When the pilot 32 confirms the bright spot display, the pilot 32 turns the line of sight φ to the direction in which the bright spot 66 is displayed, that is, the azimuth θ of the object 64 (φ ≒).
θ). At this time, when the processes from step S1 to step S5 are continuously performed and the line-of-sight azimuth φ of the pilot 32 does not satisfy the expression (1), in other words,
As shown in FIG. 6, when the object 64 enters the central vision zone 60 of the pilot 32, the determination in step S5 is not satisfied, and the display is masked so as not to display the bright spot 66 ( (Step S7: see FIG. 6).
【0040】以降、ステップS1〜ステップS7の処理
を繰り返す。Thereafter, the processing of steps S1 to S7 is repeated.
【0041】このように上述の実施の形態によれば、基
本的には、物体情報検出手段12により車外の移動物体
の方位θを連続的に検出する。一方、視線検出手段19
により操縦者32の視線方位φを検出する。この方位の
差を中心視60に対応する一定値±αと比較し、この一
定値±αの範囲外である場合には、検出している物体6
4の方向に、物体64に重畳するように輝点66を表示
し、操縦者32が物体64の方向(輝点66の方向)θ
を向いたときには、輝点66の表示をマスクする(表示
しない)ようにしている。As described above, according to the above-described embodiment, basically, the azimuth θ of the moving object outside the vehicle is continuously detected by the object information detecting means 12. On the other hand, the gaze detecting means 19
To detect the line-of-sight direction φ of the pilot 32. The difference in the azimuth is compared with a fixed value ± α corresponding to the central vision 60, and if the difference is outside the range of the fixed value ± α, the detected object 6
In the direction of 4, the bright spot 66 is displayed so as to be superimposed on the object 64, and the pilot 32 moves the direction of the object 64 (the direction of the bright spot 66) θ.
Is turned on, the display of the bright spot 66 is masked (not displayed).
【0042】このように周辺視61、62内の移動物体
64の方向に輝点66を重合(重畳)表示して制御する
ことにより、視力の弱い周辺視61、62の視力(認識
力)を結果的に高めることができる。In this way, by superimposing (superimposing) and displaying the bright spot 66 in the direction of the moving object 64 in the peripheral visions 61 and 62, the visual acuity (cognition) of the peripheral visions 61 and 62 having weak visual acuity is reduced. As a result, it can be increased.
【0043】なお、この発明は、上述の実施の形態に限
らず、この発明の要旨を逸脱することなく、種々の構成
を採り得ることはもちろんである。The present invention is not limited to the above-described embodiment, but can adopt various configurations without departing from the gist of the present invention.
【0044】[0044]
【発明の効果】以上説明したように、この発明によれ
ば、車両の進行方向等に存在する、例えば、障害物とな
る可能性のある物体に係る情報を的確に表示して操縦者
に補助的に知らせることができる。As described above, according to the present invention, information relating to, for example, an object present in the traveling direction of a vehicle or the like, for example, a potential obstacle may be displayed accurately to assist the operator. Can be informed.
【0045】また、この発明によれば、障害物となる可
能性のある物体が操縦者の周辺視ゾーンに入った場合に
は、その物体の方向に対して輝点を情報表示部上に重畳
して表示するようにしているので、周辺視ゾーンに存在
する物体を、早めに認識することができるという効果が
達成される。According to the present invention, when an object which may become an obstacle enters the peripheral vision zone of the pilot, a bright spot is superimposed on the information display section in the direction of the object. Since the object is displayed in such a manner, an object existing in the peripheral vision zone can be recognized early.
【図1】この発明の一実施の形態の構成を示すブロック
図である。FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
【図2】HUD方式の表示装置に図1例を適用した例を
示す線図である。FIG. 2 is a diagram showing an example in which the example of FIG. 1 is applied to a display device of the HUD system.
【図3】HMD方式の表示装置に図1例を適用した例を
示す線図であって、図3Aは正面図、図3Bは側面図で
ある。3A and 3B are diagrams illustrating an example in which the example of FIG. 1 is applied to an HMD type display device, wherein FIG. 3A is a front view and FIG. 3B is a side view.
【図4】図1例の動作説明に供されるフローチャートで
ある。FIG. 4 is a flowchart for explaining the operation of the example of FIG. 1;
【図5】操縦者が、周辺視で見ている物体の方向に輝点
を重畳して表示している状態を示す線図である。FIG. 5 is a diagram showing a state in which a bright spot is displayed in a manner superimposed on a direction of an object viewed by peripheral vision by an operator.
【図6】操縦者が、物体を中心視で見るようになった場
合の説明に供される線図である。FIG. 6 is a diagram provided to explain a case where an operator comes to view an object with central vision.
10…車両用情報表示装置 12…物体情報検
出手段 18…表示情報生成手段 19…視線検出手
段 20…表示制御手段 22…映像マスク
手段 24…情報表示手段 28…車両(自
車) 32…操縦者(ドライバ) 33…頭部(頭) 34、46…視線計測カメラ 35…眼 38…情報提示エリア 40…プロジェク
ター 42…透過型液晶表示装置 50…ハーフミラ
ー 60…中心視ゾーン 61、62…周辺
視ゾーン 64…物体 66…輝点 θ…物体方位 φ…視線方位DESCRIPTION OF SYMBOLS 10 ... Information display apparatus for vehicles 12 ... Object information detection means 18 ... Display information generation means 19 ... Gaze detection means 20 ... Display control means 22 ... Video mask means 24 ... Information display means 28 ... Vehicle (own vehicle) 32 ... Operator (Driver) 33 Head (head) 34, 46 Eye-gaze measuring camera 35 Eye 38 Information presentation area 40 Projector 42 Transmissive liquid crystal display device 50 Half mirror 60 Central vision zone 61, 62 Peripheral vision Zone 64: Object 66: Bright point θ: Object direction φ: Line-of-sight direction
Claims (4)
いて、 車外の物体を連続的に検出する物体情報検出手段と、 検出した物体に係る情報を情報表示部に表示する情報表
示手段と、 前記情報表示部上での操縦者の視点位置を検出する視点
位置検出手段と、 前記物体情報検出手段と前記情報表示手段と前記視点位
置検出手段の各出力情報を取り込み、前記情報表示手段
による情報表示を制御する表示制御手段とを備え、 前記表示制御手段は、 前記検出した物体の位置と前記検出した視点位置とを比
較して、前記検出した物体の位置が前記検出した視点位
置の一定範囲外にある場合には、前記検出した物体に係
る情報を前記情報表示部上物体の方向に表示させ、前記
検出した物体が前記検出した視点位置の一定範囲内にあ
る場合には、前記検出した物体に係る情報を前記情報表
示部に表示させないように制御することを特徴とする車
両用情報表示装置。1. An information display device for a vehicle mounted on a vehicle, comprising: object information detection means for continuously detecting an object outside the vehicle; information display means for displaying information on the detected object on an information display unit; Viewpoint position detecting means for detecting a pilot's viewpoint position on the information display unit; and fetching output information of the object information detecting means, the information display means, and the viewpoint position detecting means, and information obtained by the information displaying means. Display control means for controlling display, wherein the display control means compares the position of the detected object with the detected viewpoint position, and the position of the detected object is within a certain range of the detected viewpoint position. When it is outside, the information on the detected object is displayed in the direction of the object on the information display unit, and when the detected object is within a certain range of the detected viewpoint position, the The vehicle information display apparatus and controls the information relating to the out object so as not to appear on the information display unit.
た物体に係る情報の表示は、点滅表示とすることを特徴
とする車両用情報表示装置。2. An information display device for a vehicle according to claim 1, wherein the display of the information on the detected object is a blinking display.
囲を、可変可能に構成することを特徴とする車両用情報
表示装置。3. An information display device for a vehicle according to claim 1, wherein said predetermined range is variable.
囲内は前記操縦者の中心視に対応する範囲であり、前記
一定範囲外は前記操縦者の周辺視に対応する範囲である
ことを特徴とする車両用情報表示装置。4. The apparatus according to claim 1, wherein the predetermined range is a range corresponding to the central vision of the pilot, and the outside of the predetermined range is a range corresponding to the peripheral vision of the pilot. Characteristic vehicle information display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04821997A JP3884815B2 (en) | 1997-03-03 | 1997-03-03 | Vehicle information display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04821997A JP3884815B2 (en) | 1997-03-03 | 1997-03-03 | Vehicle information display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10246640A true JPH10246640A (en) | 1998-09-14 |
JP3884815B2 JP3884815B2 (en) | 2007-02-21 |
Family
ID=12797313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04821997A Expired - Fee Related JP3884815B2 (en) | 1997-03-03 | 1997-03-03 | Vehicle information display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3884815B2 (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003132349A (en) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | Drawing device |
JP2004030212A (en) * | 2002-06-25 | 2004-01-29 | Toyota Central Res & Dev Lab Inc | Vehicle information provision device |
JP2005098912A (en) * | 2003-09-26 | 2005-04-14 | Mazda Motor Corp | On-vehicle information providing apparatus |
JP2005207781A (en) * | 2004-01-20 | 2005-08-04 | Mazda Motor Corp | Image display apparatus, method, and program for vehicle |
JP2006066367A (en) * | 2004-07-26 | 2006-03-09 | Denso Corp | Visual recognition support device |
JP2006267887A (en) * | 2005-03-25 | 2006-10-05 | Konica Minolta Photo Imaging Inc | Head mount display equipped with video recognition means |
JP2007537610A (en) * | 2004-05-11 | 2007-12-20 | エルビット・システムズ・リミテッド | Audiovisual communication improvement method and system |
WO2008029802A1 (en) * | 2006-09-04 | 2008-03-13 | Panasonic Corporation | Travel information providing device |
JP2010123046A (en) * | 2008-11-21 | 2010-06-03 | Toyota Motor Corp | Visual recognition support device |
JP2011242769A (en) * | 2003-12-01 | 2011-12-01 | Volvo Technology Corp | Method and system for presenting information |
JP2015180037A (en) * | 2014-02-25 | 2015-10-08 | パナソニックIpマネジメント株式会社 | Display control program, display control device and display device |
CN106415693A (en) * | 2014-03-28 | 2017-02-15 | 株式会社电装 | Vehicle cognitive notification device and vehicle cognitive notification system |
CN106716513A (en) * | 2014-09-26 | 2017-05-24 | 哈曼国际工业有限公司 | Pedestrian information system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06230132A (en) * | 1993-02-03 | 1994-08-19 | Nissan Motor Co Ltd | Obstacle detector for vehicle |
JPH07167668A (en) * | 1993-12-14 | 1995-07-04 | Nissan Motor Co Ltd | Equipment for offering information on running |
JPH08115491A (en) * | 1994-10-13 | 1996-05-07 | Honda Motor Co Ltd | Drive support system for vehicle |
JPH08175228A (en) * | 1994-12-26 | 1996-07-09 | Honda Motor Co Ltd | Driving support device |
-
1997
- 1997-03-03 JP JP04821997A patent/JP3884815B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06230132A (en) * | 1993-02-03 | 1994-08-19 | Nissan Motor Co Ltd | Obstacle detector for vehicle |
JPH07167668A (en) * | 1993-12-14 | 1995-07-04 | Nissan Motor Co Ltd | Equipment for offering information on running |
JPH08115491A (en) * | 1994-10-13 | 1996-05-07 | Honda Motor Co Ltd | Drive support system for vehicle |
JPH08175228A (en) * | 1994-12-26 | 1996-07-09 | Honda Motor Co Ltd | Driving support device |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003132349A (en) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | Drawing device |
JP2004030212A (en) * | 2002-06-25 | 2004-01-29 | Toyota Central Res & Dev Lab Inc | Vehicle information provision device |
JP2005098912A (en) * | 2003-09-26 | 2005-04-14 | Mazda Motor Corp | On-vehicle information providing apparatus |
JP2011242769A (en) * | 2003-12-01 | 2011-12-01 | Volvo Technology Corp | Method and system for presenting information |
JP2005207781A (en) * | 2004-01-20 | 2005-08-04 | Mazda Motor Corp | Image display apparatus, method, and program for vehicle |
JP2007537610A (en) * | 2004-05-11 | 2007-12-20 | エルビット・システムズ・リミテッド | Audiovisual communication improvement method and system |
JP2006066367A (en) * | 2004-07-26 | 2006-03-09 | Denso Corp | Visual recognition support device |
JP2006267887A (en) * | 2005-03-25 | 2006-10-05 | Konica Minolta Photo Imaging Inc | Head mount display equipped with video recognition means |
JP5171629B2 (en) * | 2006-09-04 | 2013-03-27 | パナソニック株式会社 | Driving information providing device |
WO2008029802A1 (en) * | 2006-09-04 | 2008-03-13 | Panasonic Corporation | Travel information providing device |
US8085140B2 (en) | 2006-09-04 | 2011-12-27 | Panasonic Corporation | Travel information providing device |
JP2010123046A (en) * | 2008-11-21 | 2010-06-03 | Toyota Motor Corp | Visual recognition support device |
JP2015180037A (en) * | 2014-02-25 | 2015-10-08 | パナソニックIpマネジメント株式会社 | Display control program, display control device and display device |
CN106415693A (en) * | 2014-03-28 | 2017-02-15 | 株式会社电装 | Vehicle cognitive notification device and vehicle cognitive notification system |
CN106716513A (en) * | 2014-09-26 | 2017-05-24 | 哈曼国际工业有限公司 | Pedestrian information system |
JP2017536595A (en) * | 2014-09-26 | 2017-12-07 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | Pedestrian information system |
Also Published As
Publication number | Publication date |
---|---|
JP3884815B2 (en) | 2007-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107444263B (en) | Display device for vehicle | |
US6327522B1 (en) | Display apparatus for vehicle | |
JP4702437B2 (en) | Vehicle display device | |
JP3855439B2 (en) | Night driving visibility support device | |
US20160297362A1 (en) | Vehicle exterior side-camera systems and methods | |
JP3228086B2 (en) | Driving operation assist device | |
JPH07167668A (en) | Equipment for offering information on running | |
JPH07257228A (en) | Display device for vehicle | |
JP5925163B2 (en) | Driving assistance device | |
JP3884815B2 (en) | Vehicle information display device | |
JP2008018760A (en) | Driving support device | |
US20150124097A1 (en) | Optical reproduction and detection system in a vehicle | |
JP2010143250A (en) | Rear view recognizing apparatus | |
JPH07117593A (en) | Alarm device for vehicle | |
JP4337130B2 (en) | Control device for driving device | |
JP3877116B2 (en) | Vehicle display device | |
US10836311B2 (en) | Information-presenting device | |
US11827148B2 (en) | Display control device, display control method, moving body, and storage medium | |
JPH097100A (en) | Driver's gaze point predicting device and vehicle drive support system using the same | |
JP2017056909A (en) | Vehicular image display device | |
JP3602191B2 (en) | Display device for moving objects | |
JP5223289B2 (en) | Visual information presentation device and visual information presentation method | |
JP2019180075A (en) | Operation support system, image processing system, and image processing method | |
KR20150139540A (en) | Visual positioning with direction orientation navigation system | |
JP7278829B2 (en) | Information processing device and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061120 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091124 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |