[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2009244355A - 画像表示装置及び画像表示方法 - Google Patents

画像表示装置及び画像表示方法 Download PDF

Info

Publication number
JP2009244355A
JP2009244355A JP2008088163A JP2008088163A JP2009244355A JP 2009244355 A JP2009244355 A JP 2009244355A JP 2008088163 A JP2008088163 A JP 2008088163A JP 2008088163 A JP2008088163 A JP 2008088163A JP 2009244355 A JP2009244355 A JP 2009244355A
Authority
JP
Japan
Prior art keywords
image
viewer
images
image display
light beam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008088163A
Other languages
English (en)
Other versions
JP4852062B2 (ja
Inventor
Takashi Sasaki
隆 佐々木
Aira Hotta
あいら 堀田
Haruhiko Okumura
治彦 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008088163A priority Critical patent/JP4852062B2/ja
Priority to CN200980000215.0A priority patent/CN101681022B/zh
Priority to US12/447,295 priority patent/US8451111B2/en
Priority to PCT/JP2009/000895 priority patent/WO2009119008A1/en
Priority to KR1020097021017A priority patent/KR101104503B1/ko
Priority to EP09718568A priority patent/EP2132591A1/en
Publication of JP2009244355A publication Critical patent/JP2009244355A/ja
Application granted granted Critical
Publication of JP4852062B2 publication Critical patent/JP4852062B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/347Optical elements for superposition of display information
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】遮蔽物の存在に依存せずに観視者が見やすい画像を表示可能な画像表示装置を提供する。
【解決手段】それぞれの知覚位置が観視者101の位置から遠方方向に順次変化するように、図形の大きさを変化させた複数の画像を生成する画像生成部10と、観視者101の前方に配置された半透明な反射部材50と、反射部材50を透過して観視される背景と画像が重畳するように、光束を反射部材50で反射させ、観視者101の単眼102に入射させて画像を単眼102に投影する投影部4とを備える。
【選択図】 図1

Description

本発明は、車載用の画像表示装置及び画像表示方法に関する。
車載用の画像表示装置として、ヘッドアップディスプレイ(HUD)と呼ばれる一群の画像表示装置がある。HUDは、液晶ディスプレイ(LCD)やCRTディスプレイ等の光束生成装置が生成した画像を形成する光束を、光学系を介してフロントガラス等の反射部材に反射させ、車両を運転する観視者(運転者)に投影する。観視者は、反射部材を透過して観視される背景と、光束生成装置からの光束により呈示される画像とを重畳して同時に観視することが可能となる。
このようなHUDに対して、背景として観視される周囲環境と、光束生成装置からの光束による画像とをマッチさせる要望が強い。
特に、車載用のカーナビゲーションに用いるために、車両の経路情報等を示す画像を道路等の背景にマッチした状態で呈示しようとする試みがされている。例えば、経路情報を示す矢印を道路の曲がり角で変形させる手法がある(例えば、特許文献1参照。)又、周囲環境の空間位置に配置した矢印を、車両の速度に応じて変更する手法がある(例えば、特許文献2参照。)
従来のHUDでは、光束生成装置からの光束を反射部材で反射して観視者の両眼に投影し、両眼により画像を観視していた。両眼で画像を観視する場合、両眼視差があるため、画像が配置されていると観視者が知覚する位置(知覚位置)は、画像を虚像として呈示する位置(虚像位置)と一致し、知覚位置をより遠方の空間位置とマッチさせることは困難であった。
これに対し、光束生成装置からの光束を観視者の単眼に入射し、単眼で画像を観視する単眼HUDが提案されている。単眼HUDでは、両眼視差がないため、画像の知覚位置が虚像位置に固定されずに、画像を任意の知覚位置に配置することができため、画像の知覚位置を周囲環境の空間位置にマッチさせることができる。
しかしながら、背景に壁や車両等の遮蔽物がある場合、画像の知覚位置が遮蔽物の位置に固定され、遮蔽物よりも遠方方向に画像の知覚位置を配置することが困難であった。このように、遮蔽物の存在に依存して画像の知覚位置が制限され、画像が観視しにくくなるという問題があった。
特開2006−284458号公報 特開2006−17626号公報
本発明の目的は、遮蔽物が存在する場合にも観視者が、より見やすい画像を表示可能な画像表示装置及び画像表示方法を提供することである。
本願発明の一態様によれば、(イ)それぞれの知覚位置が観視者の位置から遠方方向に順次変化するように、図形の大きさを変化させた複数の画像を生成する画像生成部と、(ロ)観視者の前方に配置された半透明な反射部材と、(ハ)反射部材を透過して観視される背景と画像が重畳するように、光束を反射部材で反射させ、観視者の単眼に入射させて画像を単眼に投影する投影部とを備える画像表示装置が提供される。
本願発明の他の態様によれば、(イ)それぞれの知覚位置が観視者の位置から遠方方向に順次変化するように、図形の大きさを変化させた複数の画像を生成するステップと、(ロ)観視者の前方に配置された半透明な反射部材を透過して観視される背景と画像が重畳するように、光束を反射部材で反射させて観視者の単眼に入射させて画像を単眼に投影するステップとを含む画像表示方法が提供される。
本発明によれば、遮蔽物が存在する場合にも観視者が、より見やすい画像を表示可能な画像表示装置及び画像表示方法を提供することができる。
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。
また、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
また、本発明の実施の形態において説明する「図形」とは、コードが与えられている図形、記号又は文字や、コードが与えられていないイメージを含むものを意味する。また、本発明の実施の形態において、図形としてカーナビゲーションに使用される矢印を一例として説明を行うが、これに限定されるものではなく、種々の図形を使用可能である。
本発明の実施の形態に係る画像表示装置として、車載用の単眼HUDを説明する。本発明の実施の形態に係る画像表示装置は、図1に示すように、中央演算処理装置(CPU)1、記憶装置2、車両センサ3、投影部4及び反射部材(コンバイナ)50を備える。
投影部4は、投射画像を形成する光束100を、反射部材50を介して観視者101の単眼102に投影する。投影部4は、光束生成装置40、投影レンズ41、投影範囲制御部42、投影位置制御部43、画像拡大部44及び駆動部45を備える。
光束生成装置40は、車両の速度等の運行情報や目的地への経路情報等の観視者(運転者)に呈示する投射画像を形成する光束100を生成する。光束生成装置40としては、例えば液晶パネルや、マイクロミラーを用いたデジタルマイクロミラーデバイス(DMD)パネル、発光ダイオード(LED)光源プロジェクタ等が使用可能である。光束生成装置40には、投射画像を投影するためにLEDや高圧水銀ランプ等の光源が用いられる。光源としてLEDを用いることにより装置を小型化及び省電力化できる。
投影レンズ41は、光束生成装置40が生成した投射画像を形成する光束100を投影する。投影範囲制御部42としては、レンチキュラースクリーン又は拡散角度を制御した拡散板等が使用可能である。レンチキュラースクリーンとして、例えば入射側の開口数(NA)が0.03、出射側の開口数(NA)が0.1のものが使用可能であるが、これに特に限定されない。投影範囲制御部42は、光束100の発散角を制御することにより光束100の範囲を制御する。ここで、光束100の水平方向の幅を6cm以下に制御することが好ましい。これによれば、両眼の間隔は平均6cm程度であるので、観視者101の単眼102に光束100を投影することができる。
投影位置制御部43としては、回転ステージとミラーを組み合わせた可動式ミラーを使用可能である。投影位置制御部43は、可動式ミラーの角度を調整して光束100の方向を制御することにより、光束100の投影位置を制御する。投影位置制御部43には駆動部45が接続されている。駆動部45としてはモータ等が使用可能である。駆動部45は、CPU1からの制御信号に基づいて投影位置制御部43を駆動する。画像拡大部44としては、投影レンズ等が使用可能である。画像拡大部44は、光束100により形成される投射画像を所望のサイズに拡大する。
反射部材50は、画像拡大部44からの光束100を反射する。反射部材50としては、反射率を制御されたフロントガラス等の半透過性の球面状の凹面ミラーが使用可能である。フロントガラスの他にも、投影レンズとフロントガラスの効果を一体化したパワーを持った部材や、可動ミラーと投影レンズの効果を持った可動式凹面ミラー等も使用可能である。凹面ミラーの曲率を調整することにより観視者101が得られる投射画像の視野を変更することができる。図1に示すように、反射部材50には、反射部材50よりも高い反射率を有する高反射シート51が配置されていても良い。反射部材50が半透過性を有するので、観視者101は反射部材50を介して前方の景色を観視することができる。
本発明の実施の形態に係る画像表示装置において、光束生成装置40が生成した投射画像を形成する光束100は、投影レンズ41を経て投影範囲制御部42により光束100の投影範囲が制御される。更に、投影位置制御部43により光束100の投影位置が制御される。画像拡大部44により光束100が形成する投射画像を所望のサイズに拡大する。その後、光束100は反射部材50により反射され観視者101の眼に入射する。
観視者101は、反射部材50により反射された投射画像を、反射部材50を透過して観視される背景と重畳させることが可能である。CPU1、記憶装置2、光束生成装置40及び投影部4等は、例えば車両のダッシュボード内に組み込まれる。
図2に示すように、光束100が形成する投射画像に含まれる図形(矢印)の画像C1は、虚像として観視位置P0から距離L1離間した位置(虚像位置)P1に呈示される。投影部4からの光束100を両眼に入射する場合、両眼視差があるため、観視者101が画像C1を知覚する位置(知覚位置)は、虚像位置P1と略一致する。このため、観視位置P0から距離L2離間した、虚像位置P1より遠方の空間位置P2に画像C1を知覚させ、背景とマッチさせることは困難である。
これに対して、本発明の実施の形態に係る画像表示装置では、図3に示すように、投影部4からの光束100を単眼102に入射することにより、両眼視差の影響をなくし、画像C1の知覚位置が虚像位置P1に固定されずに、任意の空間位置に配置することができる。このため、画像C1をマッチさせたい空間位置P2に知覚させることができる。
ここで、画像の知覚位置は、例えば観視者の主観で評価することができる。実験画像を用いて、単眼で観視する場合と両眼で観視する場合とを比較した実験を行った。観視者が、標準画像としてチェックの格子模様を単眼及び両眼でそれぞれ観視する。これに対して、図4に示す縦方向と横方向の格子と、をそれぞれ観視位置から近方(2.5m)と遠方(5m)の異なる位置に配置した画像と、図5に示す右上がりと右下がりの格子をそれぞれ観視位置から近方(2.5m)と遠方(5m)の異なる位置に配置した画像とを観視者が単眼及び両眼でそれぞれ観視し、標準画像と同一平面上のひとつのパターンに知覚されるか主観で評価する。評価は、非常に良い(実験画像が標準画像より非常に同一平面上に見える)ときは主観評価値を2、やや良い(実験画像が標準画像より同一平面上に見える)ときは主観評価値を1、同じ(実験画像が標準画像と同じに見える)ときは主観評価値を0、やや悪い(実験画像が標準画像と比べてやや異なる平面に見える)ときは主観評価値を−1、悪い(実験画像が標準画像と比べて全く異なる平面上に見える)ときは主観評価値を−2として行った。
図4及び図5にそれぞれ示した実験画像についての評価結果を図6及び図7に示す。図6及び図7から、両眼観視では異なる平面上に格子が知覚されるのに対し、単眼観視では同じ平面上のひとつのパターンに知覚されたことが分かる。
ここで、図8に示すように、観視位置P0から距離L3の位置P3に背景に壁や車両等の遮蔽物104がある場合には、画像C1の知覚位置は遮蔽物104により制限され、遮蔽物104の位置P3よりも遠方方向に画像C1を知覚させることは困難である。
図1に示した車両センサ3は、車両の前方等に配置され、車両の速度や進行方向、前方に遮蔽物があるか等の車両情報を取得する。車両センサ3としては、カメラやレーダ等が使用可能である。
CPU1は、それぞれの知覚位置が観視者の位置から遠方方向に順次変化するように、図形の大きさを変化させた複数の画像を生成する画像生成部10と、画像生成部10が生成した出力画像に応じた画像信号を生成する画像信号生成部14をハードウェア資源であるモジュール(論理回路)として論理的に備える。
画像生成部10は、経路情報生成部11、位置決定部12及び画像決定部13を備える。経路情報生成部11は、地図情報記憶部21から地図情報を読み出して最終的な目的地を把握し、最終的な目的地に応じた経路情報を生成する。
位置決定部12は、経路情報生成部11が生成した経路情報から現在地を把握し、経路情報と現在地から現状で観視者101に指示すべき一時的な目的地を決定する。更に、位置決定部12は、一時的な目的地から、図9に示すように、観視位置P10から奥行き方向に距離L13離間した位置に、複数の画像のうち終点の画像を配置すべき終点位置(知覚位置)P13を決定する。
更に、位置決定部12は、車両情報記憶部22から車両情報を読み出して車両の速度及び方向を抽出し、車両の速度及び方向と現在地から、観視位置P10から奥行き方向に距離L11離間して、複数の画像のうち始点の画像を配置すべき始点位置(知覚位置)P11を決定する。
更に、位置決定部12は、観視位置P10から奥行き方向に距離L12離間して、始点位置P11と終点位置P13の間に、複数の画像のうち始点の画像と終点の画像とをつなぐ画像を配置すべき経路位置P12を決定する。
画像決定部13は、図9に示すように、位置決定部12が決定した始点位置P11から終点位置P13に向かって大きさが連続して小さくなるように変化させた場合の一部における画像、例えば始点位置P11の画像C11、経路位置P12の画像C12及び終点位置P13の画像C13を決定する。更に、画像決定部13は、決定した画像C11,C12,C13を含む出力画像を生成する。
画像信号生成部14は、画像生成部10が生成した出力画像に基づいて画像信号を出力する。光束生成装置40は、画像信号に基づいて投射画像を形成する光束100を生成する。生成された光束100は投影部により観視者101の単眼102に投影される。
図9に示すように、始点位置P11から終点位置P13に向かって画像C11,C12,C13の大きさを徐々に小さくすると、観視者101にとって画像C11よりも小さい画像C12,C13がより遠方に配置されているように知覚される。即ち、複数の画像C11,C12,C13は始点位置(虚像位置)P11に固定しているが、大きい画像C1は始点位置P11に知覚されるのに対して、小さい画像C12,C13の知覚位置P12,P13がそれぞれより遠ざかる。このように、図形の大きさを徐々に変化させて生成した画像C11,C12,C13を呈示することにより、遮蔽物104の存在に制限されることなく、画像C11,C12,C13が連続して奥行き方向に変化するような知覚を与えることができる。図10は、前方に遮蔽物(車両)104がある場合に、本発明の実施の形態に係る画像表示装置を用いて実際に画像C11,C12,C13を呈示した一例を示す。
図1に示した記憶装置2は、地図情報を予め記憶する地図情報記憶部21と、車両センサ3が逐次取得した車両情報を記憶する車両情報記憶部22を備える。記憶装置2としては、例えばメモリ、磁気ディスク、光ディスク等が採用可能である。メモリは、CPU1において実行されるプログラムを格納しているプログラム記憶装置等として機能させることが可能である(プログラムの詳細は後述する。)。メモリは、CPU1におけるプログラム実行処理中に利用されるデータ等を一時的に格納したり、作業領域として利用される一時的なデータメモリ等として機能させることも可能である。
次に、本発明の実施の形態に係る画像表示方法の一例を、図11のフローチャートを参照しながら説明する。
ステップS101において経路情報生成部11が地図情報記憶部21から地図情報を読み出して最終的な目的地を把握し、ステップS102において最終的な目的地に応じた経路情報を生成する。
ステップS103において位置決定部12が経路情報生成部11が生成した経路情報から現在地を把握し、ステップS104において経路情報と現在地から現状で観視者101に指示すべき一時的な目的地を決定する。
ステップS104において位置決定部12が一時的な目的地から、図9に示すように複数の画像のうち終点の画像を配置すべき終点位置P13を決定する。
ステップS106において位置決定部12が車両情報記憶部22から車両情報を読み出して、車両の速度及び方向を抽出し、ステップS107において車両の速度及び方向と現在地から、始点の画像を配置すべき始点位置P11を決定する。更に、位置決定部12が始点位置P11と終点位置P13の間に画像を配置すべき経路位置P12を決定する。
ステップS108において、画像決定部13は、図9に示すように、位置決定部12が決定した始点位置P11から終点位置P13に向かって、図形の大きさを徐々に変化させて生成した始点位置P11の画像C11、経路位置P12の画像C12及び終点位置P13の画像C13をそれぞれ決定する。ステップS109において決定した画像C11,C12,C13を含む出力画像を生成する。
ステップS110において画像信号生成部14が、画像生成部10が生成した出力画像に基づいて画像信号を出力する。光束生成装置40が画像信号に基づいて投射画像を形成する光束100を生成する。生成された光束100は投影部により観視者101の単眼102に投影される。
本発明の実施の形態に係る画像表示装置及び画像表示方法によれば、反射部材50から透過して観視される背景に遮蔽物104がある場合でも、図形の大きさを徐々に変化させて生成した画像C11,C12,C13を呈示することにより、人間の視覚特性を利用して遮蔽物104を越えて画像C11,C12,C13の知覚位置P11,P12,P13を配置することができる。これにより、観視者101に対して奥行き感があって、より見やすい画像を呈示することが可能となる。
また、図11に示した一連の手順、即ち:観視者101による複数の画像C11,C12,C13の知覚位置P11,P12,P13が観視者101の位置P10から遠方方向に変化するように、図形の大きさを徐々に変化させて画像C11,C12,C13を生成するステップ;出力画像を形成する光束を生成し、観視者101の前方に配置された反射部材50を透過して観視される背景と画像が重畳されるように、光束100を反射部材50で反射させて観視者101の単眼に投影するステップ;等は、図11と等価なアルゴリズムのプログラムにより、図1に示した画像表示装置を制御して実行出来る。
このプログラムは、本発明の画像表示装置を構成するコンピュータシステムの記憶装置2に記憶させればよい。また、このプログラムは、コンピュータ読取り可能な記録媒体に保存し、この記録媒体を画像表示装置の記憶装置2に読み込ませることにより、本発明の実施の形態の一連の手順を実行することができる。
ここで、「コンピュータ読取り可能な記録媒体」とは、例えばコンピュータのメモリ、磁気ディスク、光ディスク等のプログラムを記録することができるような媒体等を意味する。具体的には、メモリカード、CD−ROM,MOディスク等が「コンピュータ読取り可能な記録媒体」に含まれる。例えば、画像表示装置の本体は、記録媒体の読取り装置を内蔵若しくは外部接続するように構成できる。さらに、無線通信網等の情報処理ネットワークを介して、このプログラムを記憶装置2に格納することが可能である。
(第1の変形例)
本発明の実施の形態では、大きさが徐々に変化する画像を同時に呈示する一例を説明したが、本発明の実施の形態の第1の変形例として、大きさを変化させた複数の画像を時系列で順次呈示する一例を説明する。
画像生成部10が、図12に示すように、観視位置P10から距離L20の始点位置P20に第1の画像C20を生成する。例えば第1の画像C20は虚像位置P20に知覚される。
その後、画像生成部10が、図13に示すように、観視位置P10から距離L21離間した始点位置P20と終点位置P22の間の経路位置P21に、第1の画像C20の大きさよりも小さい第2の画像C21を呈示する。第2の画像C21の虚像位置P20は、第1の画像C20の虚像位置P20と一致するが、第1の画像C20を呈示後に連続して第2の画像C21を呈示することにより、第2の画像C21の知覚位置P21を第1の画像C20の知覚位置P20より遠方に配置することができる。
その後、画像生成部10が、図14に示すように、観視位置P10から距離L22の終点位置P22に第2の画像C21よりも小さい第3の画像C22を呈示する。第2の画像C22の虚像位置P20は、第1及び第2の画像C20,C21の虚像位置P20と一致するが、第2の画像C21を呈示後に連続して第3の画像C22を呈示することにより、第3の画像C22の知覚位置P22を第2の画像C21の知覚位置P21より遠方に配置することができる。
本発明の実施の形態の変形例によれば、図形の大きさを変化させて生成した複数の画像C20,C21,C22を時系列で順次呈示することにより、遮蔽物104に制限されることなく画像C20,C21,C22の知覚位置P20,P21,P22を配置することができる。なお、画像C20,C21,C22の垂直方向の位置は順次ずらしても良く、同じ位置でも良い。
(第2の変形例)
本発明の実施の形態の第2の変形例として、画像生成部10が、図形の大きさを変化させるとともに、図形の形状(輪郭)を変化させて画像を生成する一例を説明する。
図15は、車両110が道111に沿った経路112を進む一例を示す。この場合、画像生成部10が、緩やかな道111の曲がりに沿って、図16に示すように図形(矢印)の大きさと形状を連続して変化させて、画像C30,C31,C32を生成する。これにより、観視者101に対して道111の方向に沿って安定した経路案内をすることが可能となる。また、前方に他の車両等の遮蔽物があっても、遮蔽物に関係なく経路案内をすることが可能となる。
図17は、車両110の目的地への経路114が、進行方向と一致していない一例を示す。遮蔽物が全くなく見通しがよい場合、車両110から目的地への表示を直線で示すことは可能であるが望ましくない。そこで、画像生成部10が、地図情報及び車両情報から取得された経路情報と、車両110の進行方向に基づいて、道113に沿って図形(矢印)の大きさと形状を変化させて画像C41,C42,C43を生成する。これにより、観視者101が認識しやすい経路案内をすることが可能となる。
(その他の実施の形態)
上記のように、本発明は実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
例えば、画像表示装置を車載用の単眼HUDとして説明したが、画像表示装置の適用は車両に限定されず、船舶、航空機、工作機械、建築機械、産業機械等にも適用可能なことは勿論である。
また、本発明の実施の形態において画像C11,C12,C13を一例として説明したが、呈示する画像の数は特に限定されない。始点位置と終点位置に2つの画像があればよく、始点位置と終点位置の間に4つ以上の画像を呈示しても良い。
また、画像生成部10は、車両センサ3により取得した遮蔽物104の情報から、遮蔽物104の有無や遮蔽物の位置、大きさを判断し、遮蔽物104の状態に応じた複数の画像を含む出力画像を生成しても良い。
このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
本発明の実施の形態に係る画像表示装置の一例を示すブロック図である。 画像を両眼で観視する一例を説明するための概略図である。 画像を単眼102で観視する一例を説明するための概略図である。 単眼観視と両眼観視についての実験画像を示す画像の一例である。 単眼観視と両眼観視についての実験画像を示す画像の他の一例である。 単眼観視と両眼観視についての評価結果を示すグラフ(その1)である。 単眼観視と両眼観視についての評価結果を示すグラフ(その2)である。 画像を単眼102で観視するときに背景に遮蔽物104がある一例を示す概略図である。 本発明の実施の形態に係る画像表示方法の一例を説明するための概略図である。 本発明の実施の形態に係る画像表示装置の実際の表示例を示す画像である。 本発明の実施の形態に係る画像表示方法の一例を説明するためのフローチャートである。 本発明の実施の形態の第1の変形例に係る画像表示方法の一例を説明するための概略図(その1)である。 本発明の実施の形態の第1の変形例に係る画像表示方法の一例を説明するための概略図(その2)である。 本発明の実施の形態の第1の変形例に係る画像表示方法の一例を説明するための概略図(その3)である。 本発明の実施の形態の第2の変形例に係る車両の進行の様子の一例を示す概略図である。 本発明の実施の形態の第2の変形例に係る画像表示装置による表示の一例を示す概略図である。 本発明の実施の形態の第2の変形例に係る車両の進行の様子の他のを示す概略図である。 本発明の実施の形態の第2の変形例に係る画像表示装置による表示の他の一例を示す概略図である。
符号の説明
1…中央演算処理装置(CPU)
2…記憶装置
3…車両センサ
4…投影部
10…画像生成部
11…経路情報生成部
12…位置決定部
13…画像決定部
14…画像信号生成部
21…地図情報記憶部
22…車両情報記憶部
40…光束生成装置
41…投影レンズ
42…投影範囲制御部
43…投影位置制御部
44…画像拡大部
45…駆動部
50…反射部材
51…高反射シート

Claims (6)

  1. それぞれの知覚位置が観視者の位置から遠方方向に順次変化するように、図形の大きさを変化させた複数の画像を生成する画像生成部と、
    前記観視者の前方に配置された半透明な反射部材と、
    前記反射部材を透過して観視される背景と前記画像が重畳するように、光束を前記反射部材で反射させ、前記観視者の単眼に入射させて前記画像を前記単眼に投影する投影部
    とを備えることを特徴とする画像表示装置。
  2. 前記画像生成部が、複数の前記画像を同時に呈示するように前記画像を生成することを特徴とする請求項1に記載の画像表示装置。
  3. 前記画像生成部が、複数の前記画像を時系列で順次呈示するように前記画像を生成することを特徴とする請求項1に記載の画像表示装置。
  4. 前記画像生成部が、前記図形の輪郭を変化させることを特徴とする請求項1〜3のいずれか1項に記載の画像表示装置。
  5. 前記画像生成部は、
    地図情報から経路情報を生成する経路生成部と、
    前記経路情報に基づいて、前記観視者の位置から遠方方向に始点位置及び終点位置を決定する位置決定部と、
    前記始点位置から前記終点位置に向かって大きさを変化させた前記画像を決定する画像決定部
    とを備えることを特徴とする請求項1〜4のいずれか1項に記載の画像表示装置。
  6. それぞれの知覚位置が観視者の位置から遠方方向に順次変化するように、図形の大きさを変化させた複数の画像を生成するステップと、
    前記観視者の前方に配置された半透明な反射部材を透過して観視される背景と前記画像が重畳するように、光束を前記反射部材で反射させて前記観視者の単眼に入射させて前記画像を前記単眼に投影するステップ
    とを含むことを特徴とする画像表示方法。
JP2008088163A 2008-03-28 2008-03-28 単眼用画像表示装置及び単眼用画像表示方法 Expired - Fee Related JP4852062B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2008088163A JP4852062B2 (ja) 2008-03-28 2008-03-28 単眼用画像表示装置及び単眼用画像表示方法
CN200980000215.0A CN101681022B (zh) 2008-03-28 2009-02-27 用于显示图像的图像显示设备和方法
US12/447,295 US8451111B2 (en) 2008-03-28 2009-02-27 Image display apparatus and method for displaying an image
PCT/JP2009/000895 WO2009119008A1 (en) 2008-03-28 2009-02-27 Image display apparatus and method for displaying an image
KR1020097021017A KR101104503B1 (ko) 2008-03-28 2009-02-27 화상 표시 장치 및 화상 표시 방법
EP09718568A EP2132591A1 (en) 2008-03-28 2009-02-27 Image display apparatus and method for displaying an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008088163A JP4852062B2 (ja) 2008-03-28 2008-03-28 単眼用画像表示装置及び単眼用画像表示方法

Publications (2)

Publication Number Publication Date
JP2009244355A true JP2009244355A (ja) 2009-10-22
JP4852062B2 JP4852062B2 (ja) 2012-01-11

Family

ID=40677634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008088163A Expired - Fee Related JP4852062B2 (ja) 2008-03-28 2008-03-28 単眼用画像表示装置及び単眼用画像表示方法

Country Status (6)

Country Link
US (1) US8451111B2 (ja)
EP (1) EP2132591A1 (ja)
JP (1) JP4852062B2 (ja)
KR (1) KR101104503B1 (ja)
CN (1) CN101681022B (ja)
WO (1) WO2009119008A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011033766A1 (ja) * 2009-09-16 2011-03-24 株式会社 東芝 映像情報の表示装置
WO2011070759A1 (ja) * 2009-12-08 2011-06-16 株式会社 東芝 表示装置、表示方法及び移動体
JP2011253097A (ja) * 2010-06-03 2011-12-15 Toshiba Corp 表示装置及び表示方法
JP2012096731A (ja) * 2010-11-04 2012-05-24 Toshiba Corp 表示装置及び表示方法
JP2014126682A (ja) * 2012-12-26 2014-07-07 Nitto Denko Corp 表示装置
US9696557B2 (en) 2014-07-25 2017-07-04 Kabushiki Kaisha Toshiba Optical device
WO2017138428A1 (ja) 2016-02-08 2017-08-17 株式会社リコー 情報表示装置
JP2021086031A (ja) * 2019-11-28 2021-06-03 株式会社デンソー 虚像表示装置
JP7570768B2 (ja) 2020-08-31 2024-10-22 パナソニックオートモーティブシステムズ株式会社 表示装置

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102149574A (zh) * 2008-09-12 2011-08-10 株式会社东芝 图像照射系统及图像照射方法
JP4686586B2 (ja) * 2008-09-19 2011-05-25 株式会社東芝 車載用表示装置及び表示方法
JP5161760B2 (ja) * 2008-12-26 2013-03-13 株式会社東芝 車載用表示システム及び表示方法
WO2011033549A1 (ja) 2009-09-15 2011-03-24 株式会社 東芝 表示装置およびその制御方法
WO2011036788A1 (ja) 2009-09-28 2011-03-31 株式会社 東芝 表示装置及び表示方法
JP2011188218A (ja) * 2010-03-08 2011-09-22 Toshiba Corp 表示装置
TWI525344B (zh) * 2011-01-20 2016-03-11 緯創資通股份有限公司 顯示系統、抬頭顯示裝置及用於抬頭顯示的套件組
US8781170B2 (en) * 2011-12-06 2014-07-15 GM Global Technology Operations LLC Vehicle ghosting on full windshield display
US9443429B2 (en) * 2012-01-24 2016-09-13 GM Global Technology Operations LLC Optimum gaze location on full windscreen display
JP5734888B2 (ja) 2012-01-31 2015-06-17 株式会社東芝 表示装置、移動体、及び、表示装置の設置方法
DE102012208697B4 (de) * 2012-05-24 2020-11-05 Bayerische Motoren Werke Aktiengesellschaft Head-up-Display für ein Kraftfahrzeug
CN102745084A (zh) * 2012-07-04 2012-10-24 浙江工业大学 多信息显示的车用抬头显示装置
KR101451859B1 (ko) * 2012-12-20 2014-10-16 에스엘 주식회사 이미지 처리 장치 및 그 방법
JP5825328B2 (ja) * 2013-11-07 2015-12-02 コニカミノルタ株式会社 透過型hmdを有する情報表示システム及び表示制御プログラム
DE102013224307A1 (de) * 2013-11-27 2015-05-28 Continental Automotive Gmbh Verfahren und Anordnung zur Anzeige von Navigationsanweisungen
JP6273976B2 (ja) * 2014-03-31 2018-02-07 株式会社デンソー 車両用表示制御装置
JP6550716B2 (ja) * 2014-10-16 2019-07-31 日本精機株式会社 ヘッドアップディスプレイ装置
JP6485732B2 (ja) * 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
CN105774679B (zh) * 2014-12-25 2019-01-29 比亚迪股份有限公司 一种汽车、车载抬头显示系统及其投影图像高度调节方法
CN113147578A (zh) * 2015-04-10 2021-07-23 麦克赛尔株式会社 具有影像投射部的车辆
US20160371872A1 (en) * 2015-06-18 2016-12-22 Facebook, Inc. Systems and methods for providing transitions between content interfaces
JP6516223B2 (ja) * 2015-06-30 2019-05-22 パナソニックIpマネジメント株式会社 表示装置
KR101759945B1 (ko) * 2015-08-05 2017-07-20 엘지전자 주식회사 디스플레이 장치
US10229653B2 (en) * 2015-08-19 2019-03-12 Telenav, Inc. Navigation system with providing display area mechanism and method of operation thereof
TWI588536B (zh) * 2015-10-27 2017-06-21 Wei Luo For display on the vehicle windshield navigation display system
CN105416174B (zh) * 2015-12-29 2017-09-29 深圳市未来媒体技术研究院 一种实现汽车行驶信息显示的系统和方法
JP6714835B2 (ja) * 2016-04-27 2020-07-01 Agc株式会社 車両用窓板
US20170371165A1 (en) * 2016-06-22 2017-12-28 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Head up display with stabilized vertical alignment
CN106125306A (zh) * 2016-06-28 2016-11-16 科世达(上海)管理有限公司 一种抬头显示系统、车辆控制系统及车辆
DE102016213687B4 (de) * 2016-07-26 2019-02-07 Audi Ag Verfahren zum Steuern einer Anzeigevorrichtung für ein Kraftfahrzeug, Anzeigevorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Anzeigevorrichtung
KR102578517B1 (ko) * 2017-01-13 2023-09-14 삼성전자주식회사 전자 장치 및 그 제어 방법
JP6820501B2 (ja) * 2017-02-20 2021-01-27 パナソニックIpマネジメント株式会社 画像表示装置
TWI674000B (zh) * 2017-03-01 2019-10-01 坦前科技股份有限公司 具景深效果之影像追蹤系統與標記之方法
JP6695049B2 (ja) 2017-05-10 2020-05-20 パナソニックIpマネジメント株式会社 表示装置及び表示制御方法
KR102547823B1 (ko) 2017-12-13 2023-06-26 삼성전자주식회사 컨텐츠 시각화 장치 및 방법
JP6753428B2 (ja) * 2018-04-27 2020-09-09 株式会社デンソー ヘッドアップディスプレイ装置
DE102018119481A1 (de) * 2018-08-10 2020-02-13 Connaught Electronics Ltd. Verfahren zum Bereitstellen einer Bilddarstellung von mindestens einem Teil einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt und Fahrerassistenzsystem
CN109683322A (zh) * 2019-02-25 2019-04-26 上海海事大学 一种多功能船用hud显示系统
JP7130688B2 (ja) * 2020-03-27 2022-09-05 矢崎総業株式会社 車両用表示装置
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
KR20230021219A (ko) 2021-08-04 2023-02-14 현대자동차주식회사 차량 디스플레이 제어 장치 및 그 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175067A (ja) * 1992-07-17 1994-06-24 Kaiser Aerospace & Electron Corp 中心間距離調整手段付きヘルメット取付け式双眼ディスプレー光学装置
JPH08146348A (ja) * 1994-11-22 1996-06-07 Hitachi Ltd 単眼観視距離感調節式ディスプレイ装置
WO1997034182A1 (fr) * 1996-03-11 1997-09-18 Seiko Epson Corporation Affichage porte sur la tete
JPH10206790A (ja) * 1996-11-19 1998-08-07 Sony Corp 表示装置
JPH10333092A (ja) * 1997-05-30 1998-12-18 Sanyo Electric Co Ltd 頭部位置追従型立体表示装置
JP2006195333A (ja) * 2005-01-17 2006-07-27 Nissan Motor Co Ltd 車載情報提供装置、および車載情報提供装置の制御方法
JP2007272350A (ja) * 2006-03-30 2007-10-18 Honda Motor Co Ltd 車両用運転支援装置
JP2009128565A (ja) * 2007-11-22 2009-06-11 Toshiba Corp 表示装置、表示方法及びヘッドアップディスプレイ
JP2010517187A (ja) * 2007-01-31 2010-05-20 ミクロマンタイス インコーポレイテッド プロファイリングシステムのためのヘッドマウントディスプレイ装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4937665A (en) * 1989-06-29 1990-06-26 Autovision Associates Apparatus for promoting the vigilance of a vehicle operator using monocular display
WO1991004508A2 (en) 1989-09-14 1991-04-04 General Electric Company Helmet mounted display
US5206811A (en) * 1989-11-10 1993-04-27 Nissan Motor Company, Limited Navigation system for automotive vehicle
DE4314811A1 (de) * 1993-05-05 1994-12-08 Vdo Luftfahrtgeraete Werk Gmbh Verfahren zur Darstellung von Flugführungsinformationen
US6310733B1 (en) * 1996-08-16 2001-10-30 Eugene Dolgoff Optical elements and methods for their manufacture
DE69806692T2 (de) * 1997-05-27 2003-03-20 Sanyo Electric Co., Ltd. Stereoskopische Anzeigevorrichtung mit Benutzerspurfolgesystem
JP2006502421A (ja) * 2001-11-06 2006-01-19 キーオティ 画像投影装置
JP2004340825A (ja) * 2003-05-16 2004-12-02 Xanavi Informatics Corp ナビゲーション装置
US20070188022A1 (en) * 2003-09-02 2007-08-16 Toshiyuki Itabashi Input device
IL162572A (en) * 2004-06-17 2013-02-28 Lumus Ltd High brightness optical device
JP4476719B2 (ja) * 2004-07-02 2010-06-09 よこはまティーエルオー株式会社 ナビゲーションシステム
JP2006284458A (ja) 2005-04-01 2006-10-19 Denso Corp 運転支援情報表示システム
JP2007121001A (ja) * 2005-10-26 2007-05-17 Matsushita Electric Ind Co Ltd ナビゲーション装置
US20070103341A1 (en) * 2005-11-04 2007-05-10 Kreiner Barrett M Multifacted monitoring
JP4501927B2 (ja) 2006-11-14 2010-07-14 カシオ計算機株式会社 撮像装置及びそのプログラム
JP2009229752A (ja) * 2008-03-21 2009-10-08 Toshiba Corp 表示装置、表示方法及びヘッドアップディスプレイ
JP4886751B2 (ja) * 2008-09-25 2012-02-29 株式会社東芝 車載用表示システム及び表示方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175067A (ja) * 1992-07-17 1994-06-24 Kaiser Aerospace & Electron Corp 中心間距離調整手段付きヘルメット取付け式双眼ディスプレー光学装置
JPH08146348A (ja) * 1994-11-22 1996-06-07 Hitachi Ltd 単眼観視距離感調節式ディスプレイ装置
WO1997034182A1 (fr) * 1996-03-11 1997-09-18 Seiko Epson Corporation Affichage porte sur la tete
JPH10206790A (ja) * 1996-11-19 1998-08-07 Sony Corp 表示装置
JPH10333092A (ja) * 1997-05-30 1998-12-18 Sanyo Electric Co Ltd 頭部位置追従型立体表示装置
JP2006195333A (ja) * 2005-01-17 2006-07-27 Nissan Motor Co Ltd 車載情報提供装置、および車載情報提供装置の制御方法
JP2007272350A (ja) * 2006-03-30 2007-10-18 Honda Motor Co Ltd 車両用運転支援装置
JP2010517187A (ja) * 2007-01-31 2010-05-20 ミクロマンタイス インコーポレイテッド プロファイリングシステムのためのヘッドマウントディスプレイ装置
JP2009128565A (ja) * 2007-11-22 2009-06-11 Toshiba Corp 表示装置、表示方法及びヘッドアップディスプレイ

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011033766A1 (ja) * 2009-09-16 2011-03-24 株式会社 東芝 映像情報の表示装置
WO2011070759A1 (ja) * 2009-12-08 2011-06-16 株式会社 東芝 表示装置、表示方法及び移動体
JP2011121401A (ja) * 2009-12-08 2011-06-23 Toshiba Corp 表示装置、表示方法及び移動体
US8970453B2 (en) 2009-12-08 2015-03-03 Kabushiki Kaisha Toshiba Display apparatus, display method, and vehicle
JP2011253097A (ja) * 2010-06-03 2011-12-15 Toshiba Corp 表示装置及び表示方法
JP2012096731A (ja) * 2010-11-04 2012-05-24 Toshiba Corp 表示装置及び表示方法
JP2014126682A (ja) * 2012-12-26 2014-07-07 Nitto Denko Corp 表示装置
US9696557B2 (en) 2014-07-25 2017-07-04 Kabushiki Kaisha Toshiba Optical device
WO2017138428A1 (ja) 2016-02-08 2017-08-17 株式会社リコー 情報表示装置
US10621776B2 (en) 2016-02-08 2020-04-14 Ricoh Company, Ltd. Information display apparatus that changes a virtual image differently from a degree of the change depth
JP2021086031A (ja) * 2019-11-28 2021-06-03 株式会社デンソー 虚像表示装置
JP7570768B2 (ja) 2020-08-31 2024-10-22 パナソニックオートモーティブシステムズ株式会社 表示装置

Also Published As

Publication number Publication date
CN101681022B (zh) 2014-07-09
CN101681022A (zh) 2010-03-24
WO2009119008A1 (en) 2009-10-01
KR101104503B1 (ko) 2012-01-12
US8451111B2 (en) 2013-05-28
JP4852062B2 (ja) 2012-01-11
KR20090127345A (ko) 2009-12-10
EP2132591A1 (en) 2009-12-16
US20110001639A1 (en) 2011-01-06

Similar Documents

Publication Publication Date Title
JP4852062B2 (ja) 単眼用画像表示装置及び単眼用画像表示方法
JP4886751B2 (ja) 車載用表示システム及び表示方法
WO2015174050A1 (ja) 表示装置および表示方法
JP2009246505A (ja) 画像表示装置及び画像表示装置
JP2009008722A (ja) 3次元ヘッドアップディスプレイ装置
JP2009015128A (ja) 立体画像表示装置
JP2015034919A (ja) 情報表示装置
JPWO2011036788A1 (ja) 表示装置及び表示方法
JP2010072455A (ja) 車載用表示装置及び表示方法
JP2012035745A (ja) 表示装置、画像データ生成装置及び画像データ生成プログラム
US10015480B2 (en) Three-dimensional (3D) display module, 3D display system and 3D display method
US11538334B2 (en) Head-up display device
JP2020144247A (ja) 車載表示装置、車載表示方法、および、コンピュータプログラム
JP2021154988A (ja) 車載表示装置、車載表示装置を制御する方法、及びコンピュータプログラム
CN114089528A (zh) 用于控制平视显示的方法和设备以及平视显示装置
JP2022152702A (ja) 虚像表示装置
WO2018216552A1 (ja) ヘッドアップディスプレイ装置
JP2007310285A (ja) 表示装置
WO2018180857A1 (ja) ヘッドアップディスプレイ装置
JP7111071B2 (ja) ヘッドアップディスプレイ装置
JP2021060564A (ja) 虚像表示装置及び表示制御装置
US11977243B1 (en) Collaborative navigation system with campfire display
JP7377740B2 (ja) 車載表示装置、車載表示装置を制御する方法、及びコンピュータプログラム
JP7111070B2 (ja) ヘッドアップディスプレイ装置
JP6829820B2 (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100817

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20100817

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20101012

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110926

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111021

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141028

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees