[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4129168B2 - Position detection apparatus, position detection method, and position detection program - Google Patents

Position detection apparatus, position detection method, and position detection program Download PDF

Info

Publication number
JP4129168B2
JP4129168B2 JP2002332625A JP2002332625A JP4129168B2 JP 4129168 B2 JP4129168 B2 JP 4129168B2 JP 2002332625 A JP2002332625 A JP 2002332625A JP 2002332625 A JP2002332625 A JP 2002332625A JP 4129168 B2 JP4129168 B2 JP 4129168B2
Authority
JP
Japan
Prior art keywords
light
slit
screen
diffused
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002332625A
Other languages
Japanese (ja)
Other versions
JP2004171054A (en
Inventor
崇史 深谷
真宏 河北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2002332625A priority Critical patent/JP4129168B2/en
Publication of JP2004171054A publication Critical patent/JP2004171054A/en
Application granted granted Critical
Publication of JP4129168B2 publication Critical patent/JP4129168B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像表示装置において画面上の画像やメニュー画面の一部を遠隔操作により指し示す位置指定装置と、その位置指定装置で指し示された画面上の指定位置を検出する位置検出装置、位置検出方法及び位置検出プログラムに関する。
【0002】
【従来の技術】
近年、デジタル放送の普及と共に、視聴者が求める情報が細分化され、その細分化された情報を個々に要求し、その要求に対する情報を提供する環境が整備されてきている。また、双方向通信の進展と共に、画面上の映像の一部を選択し、その選択された映像に関連する詳細な情報を提供する要求も高まりつつある。
このような環境において、例えば、テレビジョンの操作では、リモコン操作によってチャンネルを切り替えたり、メニュー画面のボタンをリモコンの上下左右の矢印キーによって選択したりする操作が行われている。しかし、このリモコン操作によっては、画面上の任意の位置を指し示すことができない。
【0003】
そこで、従来、コンピュータから出力される画面をプロジェクタ装置によりスクリーンに投影し、赤外線カメラでスクリーンを撮影し、操作者がレーザポインタにより赤外線でスクリーン上の所望の位置を指定することで、赤外線カメラで撮影された画像から、操作者がスクリーン上で指し示した位置を検出する技術が存在する(例えば、特許文献1参照。)。
また、画像表示装置の画面の画素毎に光センサを備え、操作者がリモコンのレーザ光で画面上の任意の位置を指し示すことで、光センサによって、操作者が所望する位置を検出する技術も存在している(例えば、特許文献2参照。)。
【0004】
【特許文献1】
特開平6−242884号公報(段落番号6−13、第1−3図)
【特許文献2】
特開2001−175413号公報(段落番号12−43、第1−4図)
【0005】
【発明が解決しようとする課題】
前記従来の技術において、スクリーン上で赤外線により指し示された位置を、赤外線カメラで検出する技術では、(赤外線)カメラでスクリーンを撮影する必要があるため、カメラの設置に伴う画角の調整等、設置調整が煩雑であるという問題がある。さらに、カメラの設置に伴い、装置全体が大型化するため一般的な家庭では使用することができないという問題がある。
【0006】
また、画像表示装置の画面の画素毎に光センサを備えてリモコンのレーザ光を検出する技術では、画素毎に光センサを備えたディスプレイを製作する必要があるため、ディスプレイそのものの製作費が高くなってしまうという問題がある。さらに、画素サイズが微細になるほど、光センサを微細に加工しなければならず、高精細ディスプレイを構成することは困難であるという問題がある。
【0007】
本発明は、以上のような問題点に鑑みてなされたものであり、現在、広く普及している様々なディスプレイにおいて、画面上の任意の位置を指定し、その位置を検出することが可能な位置検出装置、位置検出方法及び位置検出プログラム、並びに位置指定装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載の位置検出装置は、画面上の任意の位置を位置指示光により指し示す位置指定装置から、前記位置指示光を中心にスリット状に拡散したスリット拡散光を照射されることで、前記位置指示光により指し示された画面上の指示位置を検出する位置検出装置であって、前記画面の表示領域外に配置され、前記スリット拡散光を検出する複数の光検出手段と、この光検出手段で検出されたスリット拡散光の光強度を測定する光強度測定手段と、前記スリット拡散光を検出した前記光検出手段の照射位置を検出する照射位置検出手段と、この照射位置検出手段で検出された前記光検出手段の照射位置と、前記光強度測定手段で測定された前記スリット拡散光の光強度とに基づいて、前記指示位置を算出する指示位置算出手段と、を備える構成とした。
【0009】
かかる構成によれば、位置検出装置は、画面の表示領域外に複数配置された光検出手段によって、位置指定装置から照射されたスリット状の拡散光(スリット拡散光)を検出する。このスリット拡散光は、線上を照射する線照明光であって、中心と周辺とで光の強度が異なる光強度分布を持つものとする。なお、このスリット拡散光が画面上に照射されたときの線幅は、その画面の表示領域外に配置された光検出手段を特定できる幅であればよい。
【0010】
また、位置検出装置は、光強度測定手段によって、各光検出手段で検出されたスリット拡散光の光強度を測定し、照射位置検出手段によって、スリット拡散光を照射された光検出手段の位置(照射位置)を検出する。この照射位置は、画面の表示領域外でスリット拡散光が照射された2点とする。
【0011】
そして、指示位置算出手段によって、照射位置検出手段で検出された光検出手段の照射位置と、光強度測定手段で測定されたスリット拡散光の光強度とに基づいて、位置指定装置で指示された画面上の指示位置を算出する。このとき、スリット拡散光は、中心と周辺とで光の強度が異なる光強度分布を持っているため、スリット拡散光が照射された2点の照射位置とその光強度とに基づいて、スリット拡散光の中心、すなわち、位置指示光により指し示された指示位置を算出することができる。
【0012】
なお、この位置指示光は、操作者が視覚可能な可視光(波長が約380nm〜約780nm)で、スリット拡散光は、可視光の波長領域外の波長を持つ不可視光とすることが望ましい。これによって、操作者は、自分の指示したい位置のみを位置指示光で確認することができる。
【0017】
また、請求項2に記載の位置検出装置は、請求項1に記載の位置検出装置において、前記光検出手段が、前記画像表示装置の表示領域外である画面の左右及び/又は上下に各一列づつ配置されていることを特徴とする。
【0018】
かかる構成によれば、位置検出装置は、光検出手段を画像表示装置の表示領域外である画面の左右及び/又は上下に各一列づつ配置して構成される。これによって、例えば、画面の左右に光検出手段を一列づつ配置したとき、水平方向に拡散したスリット拡散光を左側に配置した光検出手段と右側に配置した光検出手段とで特定することができる。また、画面の上下左右に光検出手段を一列づつ配置したときは、十字状に拡散したスリット拡散光を各々の光検出手段によって特定することができる。
【0019】
さらに、請求項3に記載の位置検出装置は、請求項1に記載の位置検出装置において、前記光検出手段が、前記画像表示装置の表示領域外である画面の左側、右側、上部又は下部の少なくとも一箇所に並列して配置されていることを特徴とする。
【0020】
かかる構成によれば、位置検出装置は、光検出手段を画像表示装置の表示領域外である画面の左側、右側、上部又は下部の少なくとも一箇所に並列して配置して構成される。これによって、例えば、画面の左側に光検出手段を二列並列して配置したとき、水平方向に拡散したスリット拡散光を、各列の中で検出した2つの光検出手段の位置によって特定することができる。
【0021】
また、請求項4に記載の位置検出方法は、画面上の任意の位置を位置指示光により指し示す位置指定装置から、前記位置指示光を中心にスリット状に拡散したスリット拡散光を照射されることで、前記位置指示光により指し示された画面上の指示位置を検出する位置検出方法であって、前記位置指定装置から、前記スリット拡散光を前記画面に対して投射する光投射ステップと、この光投射ステップで投射されたスリット拡散光を、前記画面の表示領域外に配置された複数の光検出手段によって検出する光検出ステップと、この光検出ステップで検出されたスリット拡散光の光強度を光強度測定手段で測定し、前記スリット拡散光を照射された前記光検出手段の照射位置を検出する照射位置検出ステップと、この照射位置検出ステップで検出された前記光検出手段の照射位置と、前記光強度測定手段で測定された前記スリット拡散光の光強度とに基づいて、前記指示位置を算出する指示位置算出ステップと、を含むことを特徴とする。
【0022】
この方法によれば、位置検出方法は、光投射ステップで、位置指定装置から指示位置を中心としてスリット状に拡散したスリット拡散光を画面に対して投射する。そして、光検出ステップでスリット拡散光を検出し、さらに、照射位置検出ステップで光強度測定手段によって光検出ステップで検出されたスリット拡散光の光強度を測定し、スリット拡散光を照射された前記光検出手段の照射位置を検出する。そして、指示位置算出ステップで光検出手段の照射位置と、前記光強度測定手段で測定された前記スリット拡散光の光強度とに基づいて、指示位置を算出する。
【0023】
なお、この指示位置算出ステップでは、光検出手段の照射位置におけるスリット拡散光の光強度によって、スリット拡散光の中心、すなわち指示位置を算出してもよいし、複数のスリット拡散光を照射された場合にそのスリット拡散光の交点として指示位置を算出してもよい。
【0024】
さらに、請求項5に記載の位置検出プログラムは、画面上の任意の位置を位置指示光により指し示す位置指定装置から、前記位置指示光を中心にスリット状に拡散したスリット拡散光を照射されることで、前記位置指示光により指し示された画面上の指示位置を検出するために、コンピュータを、以下の手段によって機能させる構成とした。
【0025】
すなわち、前記画面の表示領域外に配置された複数の光検出手段によって検出された前記スリット拡散光の光強度に基づいて、前記スリット拡散光を検出した前記光検出手段の照射位置を検出する照射位置検出手段、この照射位置検出手段で検出された照射位置と、前記スリット拡散光の光強度とに基づいて、前記指示位置を算出する指示位置算出手段、とした。
【0026】
かかる構成によれば、位置検出プログラムは、照射位置検出手段によって、スリット拡散光を検出した光検出手段の照射位置を光強度に基づいて検出する。そして、指示位置算出手段によって、光検出手段の照射位置とスリット拡散光の光強度とから、指示位置を算出する。
なお、この指示位置算出手段では、光検出手段の照射位置におけるスリット拡散光の光強度によって、スリット拡散光の中心、すなわち指示位置を算出してもよいし、複数のスリット拡散光を照射された場合にそのスリット拡散光の交点として指示位置を算出してもよい。
【0034】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
[第一の実施の形態]
図1は、本発明における第一の実施の形態に係る位置指定装置10及び位置検出装置20を含んだ画像表示システム1の構成を示した概略図である。図1に示すように画像表示システム1は、位置指定装置10を備えたリモコン装置2、光検出器22を複数配列した光検出器アレイ21と光信号検出処理手段23とを備えた位置検出装置20、表示装置30及び画像表示制御装置40で構成されている。なお、画像表示装置3は、位置検出装置20、表示装置30及び画像表示制御装置40で構成されている。
【0035】
この画像表示システム1は、位置検出装置20によって、リモコン装置2から照射される可視光のビーム光Bで指し示される表示装置30の画面上の指定位置Tを、ビーム光Bと同時に照射されるプローブ光(スリット拡散光)Pから算出し、その指定位置Tに基づいて画像表示の制御を行うものである。
【0036】
リモコン装置2は、位置指定装置10を備え、表示装置30における画面上の任意の位置を指し示すと共に、操作者が画像表示装置3に対して操作を指示するものである。この位置指定装置10は、可視光のビーム光Bとそのビーム光Bを中心としたスリット状の拡散光であるプローブ光Pとを投射するものである。
【0037】
画像表示装置3は、位置検出装置20、表示装置30及び画像表示制御装置40を備え、リモコン装置2から照射されるプローブ光Pに基づいて、操作者がリモコン装置2のビーム光Bで指し示した位置を検出すると共に、操作者が所望する画像を表示するものである。
【0038】
位置検出装置20は、表示装置30の左右の表示領域外に複数の光検出器22を配列した光検出器アレイ21と光信号検出処理手段23とを備え、リモコン装置2から出射されるプローブ光Pに基づいて、操作者がリモコン装置2のビーム光Bで指し示す画面上の指定位置Tを検出するものである。
【0039】
表示装置30は、テレビ映像やパソコンの画面等を表示するディスプレイである。例えば、投射型ディスプレイ、CRTモニタ、液晶モニタ、プラズマディスプレイ、ELディスプレイ等である。
【0040】
画像表示制御装置40は、位置検出装置20で検出された表示装置30の画面上の指定位置Tに基づいて、画面の表示を制御するものである。例えば、パソコン等のコンピュータや、データ放送の受像機等で、アイコン、メニュー画面のボタン等を選択されることで別の画面を表示したり、特定の大きさの領域を選択されることで、その領域の画面を拡大して表示したり等のユーザインタフェースの処理を行うものである。
【0041】
(位置指定装置10の構成)
次に、図2を参照(適宜図1参照)して、第一の実施の形態である画像表示システム1におけるリモコン装置2内の位置指定装置10の構成について説明する。図2は、位置指定装置10の構成を示すブロック図である。図2に示したように位置指定装置10は、第一光投射手段11と、第二光投射手段12と、光合成投射手段13とを備えて構成した。
【0042】
第一光投射手段11は、第一光源部11aを備え、可視波長領域のビーム光(位置指示光)Bを出力するものである。この第一光源部11aは、例えばレーザダイオード、発光ダイオード等で、特定の可視波長領域の光を出力するものとする。この第一光源部11aから出力されたビーム光Bは光合成投射手段13に入力される。
【0043】
第二光投射手段12は、第二光源部12aと波形整形部12bとを備え、不可視波長領域で中心と周辺で光強度が異なるスリット状に広がったプローブ光(スリット拡散光)Pを出力するものである。
【0044】
第二光源部12aは、不可視光の光を出力する光源である。この第二光源部12aは、例えばレーザダイオード、発光ダイオード等で、赤外線等の不可視光を出力するものとする。この第二光源部11aから出力された光は波形整形部12bに入力される。
【0045】
波形整形部12bは、第二光源部12aから出力された不可視光の波形をスリット状の光(スリット拡散光)に整形するものである。この波形整形部12bには、例えばシリンドリカルレンズ、ホログラム回折光学素子等を用いることができる。なお、この波形整形部12bは、スリット拡散光を水平(横)方向に拡散させるものとする。この波形整形部12bでスリット状に拡散されたプローブ光Pは光合成投射手段13に出力される。
【0046】
光合成投射手段13は、第一光投射手段11から出力されたビーム光(位置指示光)Bと、波形整形部12bから出力されたプローブ光Pとを、ビーム光Bを中心として同一方向に投射するものである。例えば、光合成投射手段13は、ダイクロイックミラー13aで構成され、第一光投射手段11から出力された光のみを90°向きを変えて反射させ、第二光投射手段12から出力された光はそのまま通過させることで、プローブ光Pとビーム光Bとを同一方向に出力させることができる。
【0047】
なお、ダイクロイックミラー13aは、特定の波長領域の光のみを反射させるもので、ここでは第一光投射手段11から出力された可視波長領域の光のみを反射させるものとする。
【0048】
このように構成した位置指定装置10をリコモン装置2に備えることで、操作者は、画面上のビーム光Bで指し示した位置を視覚することができ、操作者の所望する位置を直接指定することができる。なお、位置指定装置10は、リコモン装置2の投射ボタン(図示せず)によって、ビーム光B及びプローブ光Pを送出したり停止したりする構成とすることが望ましい。
【0049】
また、位置指定装置10が、プローブ光Pをビーム光Bと同時に投射することで、位置検出装置20では、ビーム光Bで指し示された画面上の位置をプローブ光Pから検出することが可能になる。このビーム光Bで指し示された画面上の位置をプローブ光Pから検出する方法については後記する。
【0050】
なお、リコモン装置2において、決定ボタン等によって画面の操作を行う場合は、従来のリモコン装置と同様に、赤外線のパルス信号列データを送出する。あるいは、プローブ光Pとは異なる波長の赤外線を送出し、画像表示装置3側でその赤外線を操作用の制御信号として受信することとしてもよい。
【0051】
(位置検出装置20の構成)
次に、図3を参照(適宜図1参照)して、第一の実施の形態である画像表示システム1における画像表示装置3内の位置検出装置20の構成について説明する。図3は、位置検出装置20の構成を示すブロック図である。図3に示したように位置検出装置20は、光検出器22を配列した光検出器アレイ21と、照射位置検出部24及び指示位置算出部25を含んだ光信号検出処理手段23とを備えて構成した。
【0052】
光検出器アレイ21は、光検出器22を一列に複数配置して、位置指定装置10から照射されるプローブ光(スリット拡散光)Pを検出するものである。ここでは、光検出器22を一列配置した光検出器アレイ21を1つ図示しているが、実際は、表示装置30の左右の表示領域外に備えられている。なお、図示していないが、光検出器アレイ21の前面(受光側)には、プローブ光Pの波長領域の光のみを透過させる光学フィルタを配置することが望ましい。これによって、プローブ光P以外の外光の影響を抑えることができる。
【0053】
光検出器(光検出手段)22は、プローブ光Pを検出して電気信号に変換するものである。例えば、フォトディテクタ(Photo Detector)等の受光素子を用いることができる。また、プローブ光Pとして、500nm〜900nmの波長の光を使用する場合は、GaAsフォトダイオード、900nm〜1500nmの波長(近赤外)の光を使用する場合は、InGaAsフォトダイオード、さらに長波長(1500nm超)の光を使用する場合は、PbS、PbSe、InSb等の光電素子を用いることができる。ここで電気信号に変換された信号は、光信号検出処理手段23の照射位置検出部24に出力される。
【0054】
光信号検出処理手段23は、照射位置検出部24及び指示位置算出部25を備え、光検出器アレイ21の光検出器22から入力されるプローブ光Pを電気信号に変換した信号の強度(光強度)に基づいて、リモコン装置2のビーム光Bで指し示された画面上の指定位置Tを算出するものである。
【0055】
照射位置検出部(照射位置検出手段)24は、光強度測定部(光強度測定手段)24aを備え、どの光検出器22(221〜22N)がプローブ光Pを照射されたかを光強度に基づいて検出するものである。光強度測定部24aは、光検出器22から入力される電気信号に基づいて、個々の光検出器22が照射された光の強度(光強度)を測定するものである。
【0056】
この照射位置検出部24では、光検出器アレイ21毎に光強度が最も強かった光検出器22の照射位置を検出する。この光検出器22の照射位置及び光強度は、指示位置算出部25に出力される。
なお、この照射位置検出部24では、照射された光が隣合う光検出器22にまたがり、その隣合った光検出器22で検出された光強度がほぼ同等の場合等において、各光検出器22の位置に予め光強度に応じた重み付けを行っておくことで、その重み付けに基づいて照射位置を求め、指示位置算出部25に出力することも可能である。
【0057】
指示位置算出部(指示位置算出手段)25は、照射位置検出部24から出力される光検出器22の照射位置及び光強度に基づいて、画面上の指定位置Tを算出するものである。
なお、照射された光が隣合う光検出器22にまたがり、その隣合った光検出器22で検出された光強度がほぼ同等の場合等において、照射位置前後の複数個の光検出器22で検出された光強度の和を照射位置における光強度とすることも可能である。
【0058】
ここで、図4を参照(適宜図3参照)して、指示位置算出部25が光検出器22の照射位置及び光強度に基づいて、指定位置Tを算出する方法について説明する。図4に示すように、位置指定装置10は、表示装置30に対してビーム光B及びプローブ光Pを投射しているものとする。
【0059】
ここで、表示装置30の画面に対して横方向をx軸、縦方向をy軸とし、表示装置30の左右に配置された個々の光検出器アレイ21において光強度が最も強かった光検出器22の照射位置がL(第一照射位置)及びR(第二照射位置)で、第一照射位置Lの座標が(x1,y1)、光強度がI1、第二照射位置Rの座標が(x2,y2)、光強度がI2であったとする。
このとき、ビーム光Bで指し示された指定位置Tの座標(x,y)は、(1)式で示した直線上に存在することになる。
【0060】
y={(y2−y1)/(x2−x1)}・x+y1 …(1)
【0061】
一方、スリット状に広がったプローブ光Pの中心と周辺とで直線的に異なる光強度分布を持つ場合、α及びβ(α,β>0)を既知の定数、lをプローブ光Pの中心からの距離とすると、光強度Iは(2)式で表現される。
【0062】
I=−αl+β …(2)
【0063】
すなわち、第一照射位置Lの光強度I1及び第二照射位置Rの光強度I2は、それぞれ(3)式及び(4)式となる。
【0064】
1=−αl1+β …(3)
2=−αl2+β …(4)
【0065】
指示位置算出部25では、前記した(1)式、(3)式及び(4)式に基づいて、指定位置Tの座標(x,y)を(5)式及び(6)式のように算出することができる。
【0066】
【数1】

Figure 0004129168
【0067】
【数2】
Figure 0004129168
【0068】
なお、前記(2)式、(3)式及び(4)式において、α及びβを既知の定数として説明したが、操作者が、操作をはじめる前に位置指定装置10からのビーム光Bによって、例えば画面の中心位置等の特定場所を指示し、そのとき検出された第一照射位置Lの光強度I1及び第二照射位置Rの光強度I2を(3)式及び(4)式に代入することで、α及びβを予め得ることも可能である。
【0069】
また、βはプローブ光Pの中心(指定位置T)における光強度に相当する。そこで、プローブ光Pの広がり角をφ、位置指定装置10の光源(図示せず)の出力光強度をβ0、位置指定装置10から表示装置30の画面までの距離をdとすると、βを(7)式で表すことができる。
【0070】
【数3】
Figure 0004129168
【0071】
すなわち、位置指定装置10の光源(図示せず)の出力光強度β0を予め測定しておくことで、位置指定装置10から表示装置30の画面までの距離dを、(8)式で算出することができる。
【0072】
【数4】
Figure 0004129168
【0073】
さらに指示位置算出部25では、プローブ光Pの傾き、すなわち位置指定装置10の表示装置30の画面に対する傾きθを、(9)式によって算出することもできる。
【0074】
θ=tan-1{(y2−y1)/(x2−x1)} …(9)
【0075】
以上、一実施形態に基づいて、画像表示システム1の構成について説明したが、本発明はこれに限定されるものではない。例えば、ここでは、光検出器22を一列に配列した光検出器アレイ21を表示装置30の左右の表示領域外に設置したが、表示装置30の上下の表示領域外に設置する構成としてもよい。この場合、位置指定装置10における波形整形部12b(図2)では、プローブ光(スリット拡散光)Pを垂直(縦)方向に拡散させるものとする。
【0076】
さらに、光検出器アレイ21は表示装置30の上下左右のいずれか1つの表示領域外に、光検出器22を二列に配列したものを設置する構成としてもよい。
例えば、図5に示すように、光検出器アレイ21を、表示装置30の左側の表示領域外に2つ配置し、光検出器22を二列に並列に配列した構成において、スリット状に広がったプローブ光Pが、中心と周辺とで直線的に異なる光強度分布を持つ場合、α及びβ(α,β>0)を既知の定数、lをプローブ光Pの中心(指定位置T)からの距離とすると、光強度Iは前記(2)式で表現される。
【0077】
すなわち、第一照射位置Lの光強度I1及び第二照射位置Rの光強度I2は、それぞれ前記した(3)式及び前記(4)式と同様に表現される。
これにより、指示位置算出部25(図3)では、前記した(3)式及び(4)式に基づいて、指定位置Tの座標(x,y)を(10)式及び(11)式のように算出することができる。
【0078】
【数5】
Figure 0004129168
【0079】
【数6】
Figure 0004129168
【0080】
なお、(10)式及び(11)式におけるα及びβは、操作者が、操作をはじめる前に位置指定装置10からのビーム光Bによって、例えば画面の中心位置等の特定場所を指示し、そのとき検出された第一照射位置Lの光強度I1及び第二照射位置Rの光強度I2を(3)式及び(4)式に代入することで、予め求めておくこととしてもよい。
【0081】
また、位置指定装置10の光源(図示せず)の出力光強度をβ0、プローブ光Pの広がり角をφとすると、位置指定装置10から表示装置30の画面までの距離dを、前記(8)式で算出することができる。さらに、プローブ光Pの傾き、すなわち位置指定装置10の表示装置30の画面に対する傾きθを、前記(9)式によって算出することもできる。
【0082】
(画像表示システム1の動作)
次に、図1、図3及び図6を参照して、画像表示システム1の動作について説明する。図6は、画像表示システム1の動作を示すフローチャートである。
【0083】
<光投射ステップ>
まず、操作者が、リモコン装置2を表示装置30に向け、投射ボタン(図示せず)を押下することで、位置指定装置10からビーム光(位置指示光)Bとプローブ光(スリット拡散光)Pとが、表示装置30の画面に投射される(ステップS1)。このビーム光Bは、操作者が所望する画面上の指定位置Tを視覚して指し示す可視光であり、プローブ光Pは、位置検出装置20が指定位置Tを算出するために用いられる、中心と周辺とで異なる光強度分布を持つスリット状の不可視光である。
【0084】
<光検出ステップ>
そして、位置検出装置20の光検出器22が、位置指定装置10から投射されたプローブ光Pを受光(検出)する(ステップS2)。なお、ここでは、光検出器22は、表示装置30の左右の表示領域外に光検出器アレイ21として一列に配置されているものとする。
【0085】
<照射位置検出ステップ>
そして、位置検出装置20の光強度測定部24aが、ステップS2で受光したプローブ光Pの各光検出器22における光の強度(光強度)を測定する(ステップS3)。この光検出器22における光強度を測定することで、照射位置検出部24は、表示装置30の左右に配置された光検出器アレイ21毎に、光強度が最も強かった光検出器22の位置(第一照射位置L及び第二照射位置R)を、プローブ光Pが照射された照射位置として特定する(ステップS4)。
【0086】
<指示位置算出ステップ>
ステップS3で測定された光強度とステップS4で特定された光検出器22の照射位置(第一照射位置L及び第二照射位置R)とに基づいて、指示位置算出部25が、表示装置30の画面上の指定位置Tを算出する(ステップS5)。この指定位置Tの算出は、前記した(5)式及び(6)式に基づいて行われる。
【0087】
<画像表示ステップ>
ステップS5で算出された指定位置Tに基づいて、画像表示制御装置40が画面の表示を制御する(ステップS6)。例えば、指示された位置がメニュー画面のボタンの場合は、そのボタンが選択されたものとして動作を行う。
【0088】
以上の各ステップによって、位置指定装置10から投射される可視光のビーム光Bを直接画面上に投射することで、操作者は画面上で指示したい位置を直接指し示すことが可能になると共に、位置検出装置20によって、操作者によって指し示された指示位置Tを検出することができる。
【0089】
なお、指示位置算出ステップ(ステップS5)で、位置指定装置10から表示装置30の画面までの距離や、位置指定装置10の表示装置30の画面に対する傾きを算出することで、画像表示ステップ(ステップS6)において、位置指定装置10の距離に基づいて画像を拡大・縮小させたり、位置指定装置10の傾きに基づいて画像を回転させたり等の種々の動作を行うことも可能である。
【0090】
[第二の実施の形態]
次に、図7を参照して、参考例である第二の実施の形態に係る位置指定装置10B及び位置検出装置20Bを含んだ画像表示システム1Bについて説明する。図7は、画像表示システム1Bの構成を示した概略図である。図7に示したように画像表示システム1Bは、位置指定装置10Bを備えたリモコン装置2B、光検出器22を複数配列した光検出器アレイ21と光信号検出処理手段23Bとを備えた位置検出装置20B、表示装置30及び画像表示制御装置40で構成されている。なお、画像表示装置3Bは、位置検出装置20B、表示装置30及び画像表示制御装置40で構成されている。
【0091】
この画像表示システム1Bは、位置検出装置20Bによって、リモコン装置2Bから照射される可視光のビーム光Bで指し示される表示装置30の画面上の指定位置Tを、ビーム光Bと同時に照射されるプローブ光(スリット拡散光)P1及びP2から算出し、その指定位置Tに基づいて画像表示の制御を行うものである。
【0092】
リモコン装置2Bは、位置指定装置10Bを備え、表示装置30における画面上の任意の位置を指し示すと共に、操作者が画像表示装置3に対して、操作を指示するものである。この位置指定装置10は、可視光のビーム光Bと、そのビーム光Bを中心に交差(クロス)した2つのスリット状の拡散光であるプローブ光P1及びP2とを投射するものである。
【0093】
位置指定装置10Bは、図8に示すように、位置指定装置10(図2)の波形整形部12bを、十字にクロスしたスリット拡散光を生成するように機能を変更した波形整形部12Bbとすることで実現することができる。この波形整形部12Bbは、例えば、第二光源部12aから出力された光を光学的に二分配し、それぞれの光を集光方向の異なる2つのシリンドリカルレンズに通すことで、スリット状の拡散光を生成し、これら2つの拡散光の光軸を合わせて投射することで、2つの交差した拡散光(スリット拡散光)を生成することができる。あるいは、入力された光を十字の干渉縞として整形するホログラム回折光学素子を用いて、十字にクロスしたスリット拡散光を生成することもできる。
【0094】
画像表示装置3Bは、位置検出装置20B、表示装置30及び画像表示制御装置40を備え、リモコン装置2Bから照射されるプローブ光P1及びP2に基づいて、操作者がリモコン装置2Bのビーム光Bで指し示した位置を検出すると共に、操作者が所望する画像を表示するものである。表示装置30及び画像表示制御装置40は、図1に示したものと同一であるので、説明を省略する。
【0095】
位置検出装置20Bは、表示装置30の上下左右の表示領域外に複数の光検出器22を配列した光検出器アレイ21と光信号検出処理手段23Bとを備え、リモコン装置2Bから出射されるプローブ光P1及びP2に基づいて、操作者がリモコン装置2Bのビーム光Bで指し示す画面上の指定位置Tを検出するものである。
【0096】
光信号検出処理手段23Bについては、図3及び図7を参照して説明を行う。
光信号検出処理手段23Bは、図3に示すように光信号検出処理手段23の構成において、照射位置検出部24及び指示位置算出部25を、それぞれ機能を変更した照射位置検出部24B及び指示位置算出部25Bとすることで実現することができる。
【0097】
照射位置検出部24Bは、表示装置30の上下左右の表示領域外に設置された4つの光検出器アレイ21毎に光強度が最も強かった光検出器22の照射位置を検出する。この光検出器22の照射位置及び光強度は、指示位置算出部25Bに出力される。
【0098】
指示位置算出部25Bは、照射位置検出部24Bから出力される光検出器22の照射位置に基づいて、画面上の指定位置Tを算出するものである。また、指示位置算出部25Bは、照射位置検出部24Bから出力される光検出器22の光強度に基づいて、位置指定装置10Bから表示装置30の画面までの距離を算出するものでもある。
【0099】
ここで、図9を参照(適宜図3参照)して、指示位置算出部25Bがプローブ光P1及びP2を受光した光検出器22の位置に基づいて、指定位置Tを算出する方法について説明する。図9に示すように、位置指定装置10Bは、表示装置30に対してビーム光Bとプローブ光P1及びP2とを投射しているものとする。
【0100】
ここで、表示装置30の画面に対して横方向をx軸、縦方向をy軸とし、表示装置30の上下左右に配置された個々の光検出器アレイ21毎に光強度が最も強かった光検出器22の照射位置がL(第一照射位置)、R(第二照射位置)、U(第三照射位置)及びD(第四照射位置)で、第一照射位置Lの座標が(x1,y1)、第二照射位置Rの座標が(x2,y2)、第三照射位置Uの座標が(x3,y3)、第四照射位置Dの座標が(x4,y4)であったとする。
【0101】
このとき、ビーム光Bで指し示された指定位置Tの座標(x,y)は、(12)式で示した第一照射位置Lと第二照射位置Rとを結んだ直線と、(13)式で示した第三照射位置Uと第四照射位置Dとを結んだ直線との交点となる。
【0102】
y={(y2−y1)/(x2−x1)}・x+y1−{(y2−y1)/(x2−x1)}・x1 …(12)
y={(y4−y3)/(x4−x3)}・x+y3−{(y4−y3)/(x4−x3)}・x3 …(13)
【0103】
すなわち、指定位置Tの座標(x,y)は、(14)式及び(15)式で求めることができる。
【0104】
【数7】
Figure 0004129168
【0105】
【数8】
Figure 0004129168
【0106】
このように、位置検出装置20Bは、指定位置Tの算出においてプローブ光P1及びP2の光強度分布を考慮する必要がないため、外乱の影響を受けにくく光検出器22の数を増やすことで、位置検出の精度を高めることができる。
【0107】
また、指示位置算出部25Bでは、前記した(14)式及び(15)式によって、指定位置Tの座標(x,y)が求められるため、さらに、第一照射位置Lと指定位置Tとの距離lL及び第二照射位置Rと指定位置Tとの距離lRを、(16)式及び(17)式で求めることもできる。
【0108】
【数9】
Figure 0004129168
【0109】
【数10】
Figure 0004129168
【0110】
また、スリット状に広がったプローブ光Pが、中心と周辺とで直線的に異なる光強度分布を持つ場合、α及びβ(α,β>0)を既知の定数、lをプローブ光Pの中心(指定位置T)からの距離とすると、光強度Iは前記(2)式で表現されることから、第一照射位置Lの光強度IL及び第二照射位置Rの光強度IRは、それぞれ(18)式及び(19)式となる。なお、この(18)式及び(19)式により、βは(20)式となる。
【0111】
L=−αlL+β …(18)
R=−αlR+β …(19)
【0112】
【数11】
Figure 0004129168
【0113】
ここで、プローブ光Pの広がり角をφ、位置指定装置10Bの光源(図示せず)の出力光強度をβ0、位置指定装置10Bから表示装置30の画面までの距離をdとすると、βは前記(7)式で表現されることから、出力光強度β0を予め測定しておくことで、位置指定装置10Bから表示装置30の画面までの距離dを、(21)式で算出することができる。
【0114】
【数12】
Figure 0004129168
【0115】
なお、位置指定装置10Bの表示装置30の画面に対する傾きは、図4で説明した方法と同様に算出することができる。
【0116】
以上、一実施形態に基づいて、画像表示システム1Bの構成について説明したが、本発明はこれに限定されるものではない。例えば、ここでは、光検出器22を一列に配列した光検出器アレイ21を表示装置30の上下左右の表示領域外に設置したが、表示装置30の上下いずれか一方及び左右いずれか一方の表示領域外に、光検出器22を二列に並列に配列したものを設置する構成としてもよい。
【0117】
例えば、図10に示したように、光検出器アレイ21を、表示装置30の左側及び下側の表示領域外にそれぞれ2つ配置し、光検出器22を二列に並列に配列した構成において、第一照射位置Lと第二照射位置Rとを結んだ直線と、第三照射位置Uと第四照射位置Dとを結んだ直線との交点として、前記した(14)式及び(15)式によって指示位置Tを算出することができる。
【0118】
さらに、第一照射位置Lと指定位置Tとの距離lL及び第二照射位置Rと指定位置Tとの距離lRも、前記した(16)式及び(17)式で算出することができる。
【0119】
また、スリット状に広がったプローブ光Pが、中心と周辺とで直線的に異なる光強度分布を持つ場合、プローブ光Pの広がり角をφ、位置指定装置10Bの光源(図示せず)の出力光強度をβ0、位置指定装置10Bから表示装置30の画面までの距離をdとすると、βは前記(7)式で表現されることから、出力光強度β0を予め測定しておくことで、位置指定装置10Bから表示装置30の画面までの距離dを、前記した(8)式で算出することができる。なお、位置指定装置10Bの表示装置30の画面に対する傾きは、図4で説明した方法と同様に算出することができる。
【0120】
(画像表示システム1Bの動作)
次に、図3、図7及び図11を参照して、画像表示システム1Bの動作について説明する。図11は、画像表示システム1Bの動作を示すフローチャートである。
【0121】
<光投射ステップ>
まず、操作者が、リモコン装置2Bを表示装置30に向け、投射ボタン(図示せず)を押下することで、位置指定装置10Bからビーム光(位置指示光)Bと十字にクロスしたプローブ光(スリット拡散光)P1及びP2とが、表示装置30の画面に投射される(ステップS11)。
【0122】
<光検出ステップ>
そして、位置検出装置20Bの光検出器22が、位置指定装置10Bから投射されたプローブ光P1及びP2を受光(検出)する(ステップS12)。なお、ここでは、光検出器22は、表示装置30の上下左右の表示領域外に光検出器アレイ21として一列に配置されているものとする。
【0123】
<照射位置検出ステップ>
そして、位置検出装置20Bの光強度測定部24aが、ステップS12で受光したプローブ光P1及びP2の各光検出器22における光の強度(光強度)を測定する(ステップS13)。この光検出器22における光強度を測定することで、照射位置検出部24Bは、表示装置30の上下左右に配置された光検出器アレイ21毎に、光強度が最も強かった光検出器22の位置(第一照射位置L、第二照射位置R、第三照射位置U及び第四照射位置D)を、プローブ光P1及びP2が照射された照射位置として特定する(ステップS14)。
【0124】
<指示位置算出ステップ>
そして、指示位置算出部25Bが、ステップS14で特定された光検出器22の照射位置である第一照射位置Lと第二照射位置Rとを結んだ直線と、第三照射位置Uと第四照射位置Dとを結んだ直線との交点を、表示装置30の画面上の指定位置Tとして算出する(ステップS15)。この指定位置Tの算出は、前記した(14)式及び(15)式に基づいて行われる。
【0125】
<画像表示ステップ>
ステップS15で算出された指定位置Tに基づいて、画像表示制御装置40が画面の表示を制御する(ステップS16)。例えば、指示された位置がメニュー画面のボタンの場合は、そのボタンが選択されたものとして動作を行う。
【0126】
[第三の実施の形態]
次に、図12を参照して、参考例である第三の実施の形態に係る位置指定装置10C及び位置検出装置20Cを含んだ画像表示システム1Cについて説明する。図12は、画像表示システム1Cの構成を示した概略図である。図12に示したように画像表示システム1Cは、位置指定装置10Cを備えたリモコン装置2C、光検出器22を複数配列した光検出器アレイ21と光信号検出処理手段23Cとを備えた位置検出装置20C、表示装置30及び画像表示制御装置40で構成されている。なお、画像表示装置3Cは、位置検出装置20C、表示装置30及び画像表示制御装置40で構成されている。
【0127】
この画像表示システム1Cは、位置検出装置20Cによって、リモコン装置2Cから照射される可視光のビーム光Bで指し示される表示装置30の画面上の指定位置Tを、ビーム光Bと同時に照射されるプローブ光(スリット拡散光)P1及びP2から算出し、その指定位置Tに基づいて画像表示の制御を行うものである。表示装置30及び画像表示制御装置40は、図1に示したものと同一であるので、説明を省略する。
【0128】
(位置指定装置10Cの構成)
ここで図13を参照(適宜図12参照)して、第三の実施の形態である画像表示システム1Cにおけるリモコン装置2C内の位置指定装置10Cの構成について説明する。図13は、位置指定装置10Cの構成を示すブロック図である。図13に示したように位置指定装置10Cは、第一光投射手段11と、第二光投射手段12Cと、光合成投射手段13と、強度変調手段14とを備えて構成した。第一光出射手段11及び光合成投射手段13は図2で説明したものと同じものであり、第二光出射手段12Cの波形整形部12Bbは図8で説明したものと同じものであるので、ここでは説明を省略する。
【0129】
第二光源部12Caは、後記する強度変調手段14から出力される強度変調信号に基づいて、光強度を時間に伴って変化させた不可視光を出力する光源である。この第二光源部12Caは、例えばレーザダイオード、発光ダイオード等で、赤外線等の不可視光を出力するものとする。この第二光源部12Caから出力された不可視光は波形整形部12Bbに入力される。
【0130】
強度変調手段14は、時間に伴って異なる強さの強度変調信号を生成するものである。例えば、既知の正弦波発生回路等によって、正弦波の位相に応じた強度の信号(強度変調信号)を生成する。ここで生成された強度変調信号は第二光源部12Caに入力される。
このように位置指定装置10Cを構成することで、プローブ光P1及びP2の位相を変化させることができる。
【0131】
(位置検出装置20Cの構成)
次に、図14を参照(適宜図12参照)して、第三の実施の形態である画像表示システム1Cにおける画像表示装置3C内の位置検出装置20Cの構成について説明する。図14は、位置検出装置20Cの構成を示すブロック図である。図14に示したように位置検出装置20Cは、光検出器22を配列した光検出器アレイ21と、照射位置検出部24C及び指示位置算出部25Cを含んだ光信号検出処理手段23Cとを備えて構成した。位相検出部24b及び指示位置算出25C以外の構成は、図3と同様であるので同一の符号を付して説明を省略する。
【0132】
位相検出部(位相検出手段)24bは、光検出器22で検出されたプローブ光P1及びP2の位相を検出するものである。この位相検出部24bでは、光強度測定部24aで光検出器アレイ21毎に光強度が最も強かった光検出器22で検出された信号の位相を検出する。例えば、図12においては、プローブ光P1及びP2が照射されている第一照射位置L、第二照射位置R、第三照射位置U及び第四照射位置Dにおける信号の位相を検出する。ここで検出された位相は、指示位置算出部25Cに出力される。
【0133】
指示位置算出部(指示位置算出手段)25Cは、照射位置検出部24Cから出力される光検出器22の照射位置と、位相検出部24bで検出された照射位置の位相とに基づいて、画面上の指定位置T及び位置指定装置10Cの位置を算出するものである。
【0134】
ここで、図15を参照(適宜図14参照)して、指示位置算出部25Cが光検出器22の照射位置及びその照射位置における位相に基づいて、位置指定装置10Cの位置(三次元位置)を算出する方法について説明する。
【0135】
ここで、表示装置30の画面に対して横方向をx軸、縦方向をy軸、そのxy平面に対して垂直方向をd軸とし、表示装置30の上下左右に配置された個々の光検出器アレイ21毎に光強度が最も強かった光検出器22の照射位置がL(第一照射位置)、R(第二照射位置)、U(第三照射位置)及びD(第四照射位置)で、それぞれの座標が(x1,y1)、(x2,y2)、(x3,y3)及び(x4,y4)であったとする。さらに、それぞれの照射位置(L、R、U及びD)で検出した位相がθ1、θ2、θ3及びθ4であったとする。
【0136】
このとき、それぞれの照射位置(L、R、U及びD)から位置指定装置10Cまでの距離d1、d2、d3及びd4は、以下の(22)〜(25)式で求められる。なお、cは光速度、fはプローブ光P1及びP2の強度変調周波数である。
【0137】
1=θ1・c/(2πf) …(22)
2=θ2・c/(2πf) …(23)
3=θ3・c/(2πf) …(24)
4=θ4・c/(2πf) …(25)
【0138】
さらに、位置指定装置10Cの位置をO(x0,y0,d0)とすると、以下の(26)〜(29)式の関係が成り立つ。
【0139】
(x0−x12+(y0−y12+d0 2=d1 2 …(26)
(x0−x22+(y0−y22+d0 2=d2 2 …(27)
(x0−x32+(y0−y32+d0 2=d3 2 …(28)
(x0−x42+(y0−y42+d0 2=d4 2 …(29)
【0140】
指示位置算出部25Cでは、前記した(26)〜(29)式に基づいて、位置指定装置10Cの位置O(x0,y0,d0)を(30)〜(32)式で算出することができる。
【0141】
【数13】
Figure 0004129168
【0142】
【数14】
Figure 0004129168
【0143】
【数15】
Figure 0004129168
【0144】
なお、指定位置Tや位置指定装置10Cの表示装置30の画面に対する傾きは、図4及び図9で説明した方法で算出することができる。
【0145】
以上、説明したように、位置検出装置20Cは、スリット状の拡散光であるプローブ光P1及びP2の光強度分布を考慮することなく、位置指定装置10Cの位置Oを求めることができる。このように、位置検出装置20Cは、外光等によって変化を受けやすい光強度分布を用いないため、高精度に位置指定装置10Cの位置Oを求めることが可能になる。
【0146】
また、位置検出装置20Cは、位置指定装置10Cの三次元の位置を検出することができるため、位置指定装置10Cを含んだリモコン装置2C(図12)の前後、左右又は上下の動きに応じて、表示装置30の画面に表示された画像を切り替える等のアプリケーションを容易に構築することができる。
【0147】
[第四の実施の形態]
次に、図16を参照して、本発明における第四の実施の形態に係る位置検出装置20Dの構成について説明する。前記した第一乃至第三の実施の形態(図1、図7及び図12)において、光検出器22は、光を検出して電気信号に変換する、例えばフォトディテクタ等の受光素子を用いることとして説明を行ったが、マイクロレンズを用いることとしてもよい。図16は、マイクロレンズを用いた位置検出装置20Dの構成を示すブロック図である。
【0148】
図16に示したように位置検出装置20Dは、マイクロレンズ22Bを配列したマイクロレンズアレイ21Bと、照射位置検出部24、指示位置算出部25及び光電変換部26を含んだ光信号検出処理手段23Dとを備えて構成した。照射位置検出部24及び指示位置算出25は、図3で説明したものと同一であるので説明を省略する。
【0149】
マイクロレンズアレイ21Bは、マイクロレンズ22Bを一列に複数配置して、位置指定装置10(10B、10C)(図1、図7及び図12)から照射されるプローブ光(スリット拡散光)を検出するものである。
【0150】
マイクロレンズ22Bは、数μmから数mm程度の大きさの微小なレンズであり、光を検出する光検出手段としての役割を果たすものである。このマイクロレンズ22Bで受光した光は、光ファイバFを介して光電変換部26に入力される。
【0151】
光電変換部26は、リニアセンサ、二次元センサ等で構成され、光ファイバFを介して入力される光信号を電気信号に変換するものである。例えば、既存のCCDを用いた一次元センサ(CCDラインセンサ)や、二次元センサ(CCDエリアセンサ)等を使用することができる。特に二次元センサを使用した場合は、照射位置検出部24及び指示位置算出部25は、受光し電気信号に変換された信号を二次元の画像とみなし、照射位置及び指示位置を特定することができる。
このように、位置検出装置20Dは、既存のCCD等の一次元センサや二次元センサを使用することができるため、低コストで構築することができる。
【0152】
[第五の実施の形態]
次に、図17を参照して、本発明における第五の実施の形態に係る位置検出装置20Eの構成について説明する。前記した第四の実施の形態(図16)において、光電変換部26として、既存のCCD等の一次元センサや二次元センサを用いた例について説明したが、蓄積型の一次元センサや二次元センサ(例えば、蓄積型CCD)を用いることも可能である。この場合、蓄積型CCD等では露出時間が長いため、図13で説明した位置指定装置10Cから出力される強度変調されたプローブ光の位相を検出することができない。
【0153】
そこで、位置検出装置20Eは、図17に示したように、マイクロレンズ22Bを配列したマイクロレンズアレイ21Bと、照射位置検出部24、指示位置算出部25、光電変換部26E及び信号抽出部27を含んだ光信号検出処理手段23Eとを備えて構成した。光電変換部26E及び信号抽出部27以外の構成は、図3と同一のものであるので同一の符号を付し説明を省略する。
【0154】
光電変換部26Eは、蓄積型の二次元センサ等で構成され、光信号を電気信号に変換するものである。この光電変換部26Eは、例えば蓄積型CCDを用いることで、露光時間を長くすることができるため、受光した光量を上げて感度を高めることができる。
【0155】
信号抽出部27は、光ファイバFを介して入力される光信号を特定の時間間隔でサンプリング(抽出)するものである。この信号抽出部27は、例えば、光速サンプリング素子として、高速ゲート付イメージインテンシファイアを用いることができる。
【0156】
ここで、図18を参照(適宜図13、図17参照)して、位置検出装置20Eが光検出器(マイクロレンズ22B)から位置指定装置10Cまでの距離を算出する方法について説明する。図18は、位置指定装置10Cから照射される強度変調されたプローブ光の時間と光強度(受光強度)の関係を示したグラフである。Iは最大受光強度を示し、Tは周期を示している。
【0157】
マイクロレンズ22Bから位置指定装置10Cまでの距離をd、マイクロレンズ22Bで受光したプローブ光の受光強度をIdとしたとき、ある時間tにおける受光強度Idが(33)式で表されるものとする。なお、fは強度変調周波数、cは光速度を表す。
【0158】
d=I・sin2{2πf(t+d/c)} …(33)
【0159】
ここで、信号抽出部27の第一サンプリング時間をt1、第二サンプリング時間をt2=t1+T/2とする。このとき、第一サンプリング時間t1及び第二サンプリング時間t2で受光したプローブ光の受光強度I1及びI2は、(34)式及び(35)式で表すことができる。
【0160】
Figure 0004129168
【0161】
また、最大受光強度Iは、(36)式により求めることができる。
【0162】
I=I1+I2 …(36)
【0163】
さらに、マイクロレンズ22Bから位置指定装置10Cまでの距離dは、(37)式により算出することができる。
【0164】
1/I2=tan2{2πf(t1+d/c)} …(37)
【0165】
以上、説明したように位置検出装置20Eは、外光等によって変化を受けやすい光強度分布を用いないため、高精度に位置指定装置10Cの位置を求めることが可能になる。さらに、光電変換部26Eとして蓄積型CCDを使用することができるため、受光感度を高めることができる。
【0166】
[位置指定装置及び位置検出装置の利用例]
次に、図19及び図20を参照して、本発明に係る位置指定装置及び位置検出装置の利用例について説明する。
図19は、テレビ受像機、コンピュータディスプレイ等に本発明を適用した例を示す図である。図19(a)は、操作者Mが、位置指定装置(図示せず)を備えたリモコン装置2によって、位置検出装置(図示せず)を備えた画像表示装置3(テレビ受像機、コンピュータディスプレイ等)を操作している状態を示す模式図である。図19(b)は、操作者Mが、位置指定装置10を備えたメガネ4によって、位置検出装置(図示せず)を備えた画像表示装置3を操作している状態を示す模式図である。
【0167】
図19(a)に示すように、操作者Mは、画像表示装置3の画面に表示されたメニュー画面等のボタンを、直接リモコン装置2から投射されるビーム光によって指し示すことができる。これによって、従来、上下左右の方向キーを数回押下して決定ボタンを押下することで所望のボタン位置を選択していたところを、所望のボタン位置にビーム光を照射させて決定キーを押下するだけで所望のボタン位置を選択することが可能になり、操作性を向上させることができる。
【0168】
さらに、画面上にカーソルが表示されて位置を特定する場合であっても、カーソル位置をビーム光に合わせて動作させることができる。これによって、従来、マウス等の入力手段を適当な量だけ移動させることでカーソルの移動を行っていたところを、直接リモコン装置2のビーム光によって移動させることが可能になる。
【0169】
また、図19(b)に示すように、位置指定装置10を備えたメガネ4を装着した操作者Mが、画像表示装置3の画面の方向を向き、メニュー画面の所望のボタン位置にビーム光を一定時間照射することで、ボタンを選択することができる。これによって、例えば、手の障害等でリモコン装置2(図19(a))を操作することができない人に対しても、画像表示装置3の操作手段を提供することができる。
【0170】
さらに、コンピュータディスプレイで位置指定装置10を備えたメガネ4を使用すれば、キーボードから手を離すことなくカーソルの動作等の画面操作を行うことが可能になり、操作性を向上させることができる。
【0171】
図20は、表示画像の中から、詳細に見たい部分を拡大することが可能なバーチャルスコープに本発明を適用した例を示す図である。図20(a)は、バーチャルスコープに使用する表示画像の拡大領域を指定する虫メガネSCの構成を示す概略図である。図20(b−1)、(b−2)は、虫メガネSCの位置に基づいて、画像が拡大される様子を示す概念図である。なお、バーチャルスコープは、「深谷、三ッ峰、井上、“バーチャルスコープ”、第7回画像センシングシンポジウム講演論文集、pp.211−214、2001」等に開示されている。
【0172】
図20(a)に示すように、バーチャルスコープに使用する虫メガネSCは、内部に位置指定装置10を備えている。なお、この位置指定装置10から照射されるビーム光Bは、一点を照射するものではなく、矩形領域を照射するレーザ光を用いる。この場合、レーザ光で照射された画面上における矩形領域の各頂点の座標は、矩形領域の中心の照射位置に対して、虫メガネSCと画面との距離及びレーザ光の投射角度に基づいて演算を行うことで容易に算出することができる。
【0173】
また、図20(b−1)に示すように、画面Gからd1だけ離れた位置から、虫メガネSCのビーム光Bを画面Gに対して照射することで、ビーム光Bによって画面G上に照射された矩形領域g1の画像が拡大表示(拡大画像E1)される。この拡大画像E1は、画面Gが切り替わって表示されることとしてもよいし、別の表示装置に表示されることとしてもよい。
【0174】
図20(b−2)は、図20(b−1)における距離d1をさらに離した状態(距離d2:d1<d2)を表している。このように、d1より遠い位置に虫メガネSCを配置することで、画面Gに照射される矩形領域g2は、図20(b−1)の矩形領域g1よりも大きくなるため、拡大表示された拡大画像E2は、図20(b−1)の拡大画像E1よりも拡大率が小さくなる。
【0175】
このように、本発明に係る位置指定装置及び位置検出装置は、テレビ受像機等のリモコン装置としての利用、コンピュータにおけるマウス等の入力装置としての利用、バーチャルスコープとしての利用等、表示画面を持つ種々の装置において応用することが可能である。
【0176】
【発明の効果】
以上説明したとおり、本発明に係る位置検出装置、位置検出方法及び位置検出プログラムでは、以下に示す優れた効果を奏する。
【0177】
請求項1、請求項4又は請求項5に記載の発明によれば、位置指定装置から照射されるスリット状の拡散光によって、可視光のビーム光によって指示された画面上の位置を検出することができる。これによって、操作者は、画像表示装置において画面上の位置を直接指定して操作を行うことができるため、操作性に優れたユーザインタフェースを提供することができる。
【0179】
請求項2又は請求項3に記載の発明によれば、フォトディテクタ等の光検出手段を、既存の投射型ディスプレイ、CRTモニタ、液晶モニタ、プラズマディスプレイ、ELディスプレイ等の表示装置の表示領域外に配置するという簡単な構成で画像表示装置を実現することができるため、低コストで画像表示装置を製作することができる。
【図面の簡単な説明】
【図1】本発明の第一の実施の形態に係る位置指定装置及び位置検出装置を含んだ画像表示システムの構成を示した概略図である。
【図2】本発明の第一の実施の形態に係る位置指定装置の構成を示すブロック図である。
【図3】本発明の第一の実施の形態に係る位置検出装置の構成を示すブロック図である。
【図4】光検出器を画面の左右の表示領域外に配置したときの、指定位置を算出する方法を説明するための説明図である。
【図5】光検出器を画面の一方(左側)の表示領域外に並列に配置したときの、指定位置を算出する方法を説明するための説明図である。
【図6】本発明の第一の実施の形態に係る位置指定装置及び位置検出装置を含んだ画像表示システムの動作を示すフローチャートである。
【図7】 参考例である第二の実施の形態に係る位置指定装置及び位置検出装置を含んだ画像表示システムの構成を示した概略図である。
【図8】本発明の第二の実施の形態に係る位置指定装置の構成を示すブロック図である。
【図9】光検出器を画面の上下左右の表示領域外に配置したときの、指定位置を算出する方法を説明するための説明図である。
【図10】光検出器を画面の左側及び下側の表示領域外にそれぞれ並列に配置したときの、指定位置を算出する方法を説明するための説明図である。
【図11】本発明の第二の実施の形態に係る位置指定装置及び位置検出装置を含んだ画像表示システムの動作を示すフローチャートである。
【図12】 参考例である第三の実施の形態に係る位置指定装置及び位置検出装置を含んだ画像表示システムの構成を示した概略図である。
【図13】本発明の第三の実施の形態に係る位置指定装置の構成を示すブロック図である。
【図14】本発明の第三の実施の形態に係る位置検出装置の構成を示すブロック図である。
【図15】照射位置及び位相に基づいて、光検出器から位相指定装置までの距離を算出する方法を説明するための説明図である。
【図16】本発明の第四の実施の形態に係る位置検出装置の構成を示すブロック図である。
【図17】本発明の第五の実施の形態に係る位置検出装置の構成を示すブロック図である。
【図18】光検出器から位置指定装置までの距離を算出する方法を説明するための説明図である。
【図19】(a)本発明の位置指定装置及び位置検出装置をテレビ受像機に適用した場合の例を示す図である。
(b)本発明の位置指定装置をメガネに適用した場合の例を示す図である。
【図20】(a)本発明の位置指定装置を適用するバーチャルスコープの全体図である。(b)本発明の位置指定装置を適用したバーチャルスコープの動作の概念を示す概念図である。
【符号の説明】
1、1B、1C ……画像表示システム
2、2B、2C ……リモコン装置
3、3B、3C ……画像表示装置
10、10B、10C ……位置指定装置
11 ……第一光投射手段
12、12C ……第二光投射手段
13 ……光合成投射手段
14 ……強度変調手段
20、20B、20C、20D、20E……位置検出装置
21 ……光検出器アレイ
22 ……光検出器(光検出手段)
23、23B、23C、23D、23E……光信号検出処理手段
24、24B、24C ……照射位置検出部(照射位置検出手段)
24a ……光強度測定部(光強度測定手段)
24b ……位相検出部(位相検出手段)
25、25B、25C ……指示位置算出部(指示位置算出手段)
26、26E ……光電変換部
27 ……信号抽出部
30 ……表示装置
40 ……画像表示制御装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a position designation device for remotely pointing an image on a screen or a part of a menu screen in an image display device, a position detection device for detecting a designated position on the screen pointed to by the position designation device, and a position The present invention relates to a detection method and a position detection program.
[0002]
[Prior art]
In recent years, with the spread of digital broadcasting, information required by viewers has been subdivided, and an environment for requesting the subdivided information individually and providing information for the request has been developed. In addition, with the progress of bidirectional communication, there is an increasing demand for selecting a part of a video on the screen and providing detailed information related to the selected video.
In such an environment, for example, in television operations, operations such as switching channels by remote control operations and selecting menu screen buttons with up, down, left, and right arrow keys are performed. However, this remote control operation cannot point to an arbitrary position on the screen.
[0003]
Therefore, conventionally, a screen output from a computer is projected onto a screen by a projector device, the screen is shot with an infrared camera, and an operator designates a desired position on the screen with an infrared ray using a laser pointer. There is a technique for detecting a position indicated by an operator on a screen from a photographed image (see, for example, Patent Document 1).
Also, there is a technique in which an optical sensor is provided for each pixel of the screen of the image display device, and the operator detects a desired position by the optical sensor by pointing an arbitrary position on the screen with the laser beam of the remote controller. Exists (for example, refer to Patent Document 2).
[0004]
[Patent Document 1]
JP-A-6-242848 (paragraph number 6-13, Fig. 1-3)
[Patent Document 2]
Japanese Patent Laid-Open No. 2001-175413 (paragraph numbers 12-43, FIGS. 1-4)
[0005]
[Problems to be solved by the invention]
In the above-described conventional technology, in the technology in which the position pointed to by infrared rays on the screen is detected by the infrared camera, it is necessary to shoot the screen with the (infrared) camera. There is a problem that the installation adjustment is complicated. Furthermore, there is a problem that it cannot be used in a general home because the entire apparatus becomes large with the installation of the camera.
[0006]
In addition, in the technology for detecting the laser beam of the remote controller by providing an optical sensor for each pixel of the screen of the image display device, it is necessary to manufacture a display having an optical sensor for each pixel, so the manufacturing cost of the display itself is high. There is a problem of becoming. Furthermore, there is a problem that the finer the pixel size, the finer the optical sensor must be processed, making it difficult to construct a high-definition display.
[0007]
The present invention has been made in view of the above-described problems, and it is possible to designate an arbitrary position on the screen and detect the position on various displays that are currently widely used. An object is to provide a position detection device, a position detection method, a position detection program, and a position designation device.
[0008]
[Means for Solving the Problems]
The present invention has been developed to achieve the above object. First, the position detection device according to claim 1 is configured such that the position designation device indicates an arbitrary position on a screen by a position indication light. A position detection device that detects an indication position on a screen indicated by the position indication light by being irradiated with slit diffused light that is diffused in a slit shape with the indication light as a center. A plurality of light detecting means for detecting the slit diffused light, a light intensity measuring means for measuring the light intensity of the slit diffused light detected by the light detecting means, and the light detecting the slit diffused light An irradiation position detection means for detecting an irradiation position of the detection means, an irradiation position of the light detection means detected by the irradiation position detection means, and a light intensity of the slit diffused light measured by the light intensity measurement means Based on, and configured to and a pointed position calculation means for calculating the indicated position.
[0009]
According to such a configuration, the position detection device detects the slit-shaped diffused light (slit diffused light) emitted from the position specifying device by a plurality of light detection means arranged outside the display area of the screen. This slit diffused light is line illumination light that irradiates a line, and has a light intensity distribution in which the light intensity differs between the center and the periphery. Note that the line width when the slit diffused light is irradiated on the screen may be a width that can identify the light detection means arranged outside the display area of the screen.
[0010]
Further, the position detection device measures the light intensity of the slit diffused light detected by each light detection means by the light intensity measurement means, and the position of the light detection means irradiated with the slit diffused light by the irradiation position detection means ( (Irradiation position) is detected. The irradiation positions are two points irradiated with slit diffused light outside the display area of the screen.
[0011]
Instructed by the position specifying device based on the irradiation position of the light detection means detected by the irradiation position detection means and the light intensity of the slit diffused light measured by the light intensity measurement means by the indicated position calculation means The indicated position on the screen is calculated. At this time, since the slit diffused light has a light intensity distribution in which the light intensity is different between the center and the periphery, the slit diffused light is determined based on the two irradiation positions irradiated with the slit diffused light and the light intensity. The center of the light, that is, the indicated position indicated by the position indicating light can be calculated.
[0012]
The position indicating light is visible light (wavelength is about 380 nm to about 780 nm) visible to the operator, and the slit diffused light is preferably invisible light having a wavelength outside the wavelength range of visible light. As a result, the operator can confirm only the position he / she wishes to indicate with the position indicating light.
[0017]
  Also,Claim 2The position detection device described inClaim 1In the described position detection device, the light detection means is arranged in a line on each of the left and right and / or top and bottom of the screen outside the display area of the image display device.
[0018]
According to such a configuration, the position detection device is configured by arranging the light detection means in a line on each of the left and right and / or top and bottom of the screen outside the display area of the image display device. Thereby, for example, when the light detection means are arranged in a line on the left and right of the screen, the slit diffused light diffused in the horizontal direction can be specified by the light detection means arranged on the left side and the light detection means arranged on the right side. . Further, when the light detection means are arranged in a line at the top, bottom, left and right of the screen, the slit diffused light diffused in a cross shape can be specified by each light detection means.
[0019]
  further,Claim 3The position detection device described inClaim 1In the described position detection apparatus, the light detection means is arranged in parallel at least at one place on the left side, right side, upper part, or lower part of the screen outside the display area of the image display apparatus.
[0020]
According to such a configuration, the position detection device is configured by arranging the light detection means in parallel at least at one place on the left side, the right side, the upper portion, or the lower portion of the screen outside the display area of the image display device. Thereby, for example, when two rows of light detection means are arranged in parallel on the left side of the screen, the slit diffused light diffused in the horizontal direction is specified by the positions of the two light detection means detected in each row. Can do.
[0021]
  Also,Claim 4In the position detection method described in the above, the position indication device irradiates a slit diffused light diffused in a slit shape with the position indication light as a center from a position designation device that indicates an arbitrary position on the screen with a position indication light. A position detection method for detecting an indicated position on a screen pointed to by light, a light projection step of projecting the slit diffused light onto the screen from the position designation device, and projecting in this light projection step A light detection step of detecting the slit diffused light by a plurality of light detection means arranged outside the display area of the screen, and a light intensity measurement means for calculating the light intensity of the slit diffusion light detected in the light detection step. An irradiation position detecting step for measuring and detecting an irradiation position of the light detecting means irradiated with the slit diffused light, and the light detection detected in the irradiation position detecting step. An irradiation position of the means, based on the light intensity of the measured by the light intensity measuring means and the slit diffused light, characterized in that it comprises a and a pointed position calculation step of calculating the indicated position.
[0022]
  According to this method, in the light detection step, the position detection method projects the slit diffused light diffused in a slit shape around the designated position from the position designation device onto the screen. And detect the slit diffused light in the light detection step,further,In the irradiation position detection stepMeasure the light intensity of the slit diffused light detected in the light detection step by the light intensity measuring means,The irradiation position of the light detection means irradiated with the slit diffused light is detected. And the irradiation position of the light detection means in the indicated position calculation stepAnd the light intensity of the slit diffused light measured by the light intensity measuring meansBased on the above, the indicated position is calculated.
[0023]
In this indicated position calculation step, the center of the slit diffused light, that is, the indicated position may be calculated based on the light intensity of the slit diffused light at the irradiation position of the light detection means, or a plurality of slit diffused lights are irradiated. In some cases, the indicated position may be calculated as the intersection of the slit diffused light.
[0024]
  further,Claim 5The position detection program described in the above is directed to the position indication by irradiating slit diffused light diffused in a slit shape with the position indication light as a center from a position designation device that indicates an arbitrary position on the screen with position indication light. In order to detect the indicated position on the screen indicated by light, the computer is configured to function by the following means.
[0025]
  That is, by a plurality of light detection means arranged outside the display area of the screen.DetectedSlit diffused lightBased on the light intensity of the light, the irradiation position of the light detection means that detected the slit diffused light is determined.Irradiation position detection means to detect, irradiation position detected by this irradiation position detection meansAnd the light intensity of the slit diffused lightThe indicated position calculating means for calculating the indicated position based on
[0026]
  According to this configuration, the position detection program detects the irradiation position of the light detection means that has detected the slit diffused light by the irradiation position detection means.Based on light intensityTo detect. And by the indicated position calculation means, the irradiation position of the light detection meansAnd the light intensity of the diffused lightFrom this, the indicated position is calculated.
  In the indicated position calculating means, the center of the slit diffused light, that is, the indicated position may be calculated based on the light intensity of the slit diffused light at the irradiation position of the light detecting means, or a plurality of slit diffused lights are irradiated. In some cases, the indicated position may be calculated as the intersection of the slit diffused light.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First embodiment]
FIG. 1 is a schematic diagram showing a configuration of an image display system 1 including a position designation device 10 and a position detection device 20 according to the first embodiment of the present invention. As shown in FIG. 1, the image display system 1 includes a remote control device 2 provided with a position specifying device 10, a position detection device provided with a light detector array 21 in which a plurality of light detectors 22 are arranged and a light signal detection processing means 23. 20, a display device 30 and an image display control device 40. The image display device 3 includes a position detection device 20, a display device 30, and an image display control device 40.
[0035]
In the image display system 1, the position detection device 20 irradiates the designated position T on the screen of the display device 30 indicated by the visible light beam B emitted from the remote control device 2 simultaneously with the beam B. It is calculated from the probe light (slit diffused light) P, and image display is controlled based on the designated position T.
[0036]
The remote control device 2 includes a position specifying device 10, indicating an arbitrary position on the screen of the display device 30, and an operator instructing the image display device 3 to perform an operation. This position designation device 10 projects visible light beam B and probe light P, which is slit-shaped diffused light centered on the light beam B.
[0037]
The image display device 3 includes a position detection device 20, a display device 30, and an image display control device 40, and the operator points to the beam light B of the remote control device 2 based on the probe light P emitted from the remote control device 2. While detecting a position, the image which an operator desires is displayed.
[0038]
The position detection device 20 includes a photodetector array 21 in which a plurality of photodetectors 22 are arranged outside the left and right display areas of the display device 30 and an optical signal detection processing unit 23, and probe light emitted from the remote control device 2. On the basis of P, the operator detects a designated position T on the screen indicated by the light beam B of the remote control device 2.
[0039]
The display device 30 is a display that displays television images, personal computer screens, and the like. For example, a projection display, a CRT monitor, a liquid crystal monitor, a plasma display, an EL display, and the like.
[0040]
The image display control device 40 controls the display of the screen based on the designated position T on the screen of the display device 30 detected by the position detection device 20. For example, with a computer such as a personal computer, a data broadcasting receiver, etc., by selecting an icon, a button on the menu screen, etc., displaying a different screen or selecting a specific size area, A user interface process such as enlarging and displaying the screen of the area is performed.
[0041]
(Configuration of position specifying device 10)
Next, the configuration of the position specifying device 10 in the remote control device 2 in the image display system 1 according to the first embodiment will be described with reference to FIG. 2 (refer to FIG. 1 as appropriate). FIG. 2 is a block diagram illustrating a configuration of the position specifying device 10. As shown in FIG. 2, the position specifying device 10 includes a first light projection unit 11, a second light projection unit 12, and a light combining projection unit 13.
[0042]
The 1st light projection means 11 is provided with the 1st light source part 11a, and outputs the beam light (position indication light) B of a visible wavelength region. The first light source unit 11a is a laser diode, a light emitting diode, or the like, for example, and outputs light in a specific visible wavelength region. The light beam B output from the first light source unit 11 a is input to the light combining and projecting unit 13.
[0043]
The second light projection unit 12 includes a second light source unit 12a and a waveform shaping unit 12b, and outputs probe light (slit diffused light) P that spreads in a slit shape with different light intensities in the center and the periphery in the invisible wavelength region. Is.
[0044]
The second light source unit 12a is a light source that outputs invisible light. The second light source unit 12a is, for example, a laser diode or a light emitting diode, and outputs invisible light such as infrared rays. The light output from the second light source unit 11a is input to the waveform shaping unit 12b.
[0045]
The waveform shaping unit 12b shapes the waveform of invisible light output from the second light source unit 12a into slit-shaped light (slit diffused light). For example, a cylindrical lens or a hologram diffractive optical element can be used for the waveform shaping unit 12b. In addition, this waveform shaping part 12b shall diffuse a slit diffused light in a horizontal (horizontal) direction. The probe light P diffused in a slit shape by the waveform shaping unit 12 b is output to the light combining projection unit 13.
[0046]
The light combining and projecting unit 13 projects the beam light (position indicating light) B output from the first light projecting unit 11 and the probe light P output from the waveform shaping unit 12b in the same direction around the beam light B. To do. For example, the light combining and projecting means 13 is composed of a dichroic mirror 13a, reflects only the light output from the first light projecting means 11 by changing the direction by 90 °, and the light output from the second light projecting means 12 is left as it is. By passing the light, the probe light P and the beam light B can be output in the same direction.
[0047]
Note that the dichroic mirror 13a reflects only light in a specific wavelength region, and here, only light in the visible wavelength region output from the first light projection unit 11 is reflected.
[0048]
By providing the respec device 2 with the position specifying device 10 configured as described above, the operator can visually recognize the position indicated by the beam light B on the screen, and can directly specify the position desired by the operator. Can do. The position specifying device 10 is preferably configured to transmit or stop the beam light B and the probe light P by a projection button (not shown) of the recommon device 2.
[0049]
Further, the position designating device 10 projects the probe light P simultaneously with the beam light B, so that the position detection device 20 can detect the position on the screen indicated by the beam light B from the probe light P. become. A method of detecting the position on the screen indicated by the beam light B from the probe light P will be described later.
[0050]
In the re-common device 2, when a screen operation is performed with a decision button or the like, infrared pulse signal string data is transmitted as in the conventional remote control device. Alternatively, infrared light having a wavelength different from that of the probe light P may be transmitted, and the infrared light may be received as an operation control signal on the image display device 3 side.
[0051]
(Configuration of the position detection device 20)
Next, the configuration of the position detection device 20 in the image display device 3 in the image display system 1 according to the first embodiment will be described with reference to FIG. 3 (refer to FIG. 1 as appropriate). FIG. 3 is a block diagram illustrating a configuration of the position detection device 20. As shown in FIG. 3, the position detection device 20 includes a photodetector array 21 in which photodetectors 22 are arranged, and an optical signal detection processing unit 23 including an irradiation position detection unit 24 and an indicated position calculation unit 25. Configured.
[0052]
The photodetector array 21 has a plurality of photodetectors 22 arranged in a row, and detects the probe light (slit diffused light) P emitted from the position specifying device 10. Here, one photodetector array 21 in which the photodetectors 22 are arranged in a row is illustrated, but actually, it is provided outside the left and right display areas of the display device 30. Although not shown, it is desirable to arrange an optical filter that transmits only light in the wavelength region of the probe light P on the front surface (light receiving side) of the photodetector array 21. Thereby, the influence of outside light other than the probe light P can be suppressed.
[0053]
  The photodetector (light detection means) 22 detects the probe light P and converts it into an electrical signal. For example, a light receiving element such as a photo detector can be used. Moreover, when using light with a wavelength of 500 nm to 900 nm as the probe light P, a GaAs photodiode is used. When using light with a wavelength (near infrared) of 900 nm to 1500 nm, an InGaAs photodiode is used. When using light of more than 1500 nm, photoelectric elements such as PbS, PbSe, InSb can be used. Here, the signal converted into the electric signal is the irradiation position of the optical signal detection processing means 23.detectionIs output to the unit 24.
[0054]
The optical signal detection processing unit 23 includes an irradiation position detection unit 24 and an indication position calculation unit 25, and the intensity (light) of the signal obtained by converting the probe light P input from the photodetector 22 of the photodetector array 21 into an electrical signal. The designated position T on the screen indicated by the light beam B of the remote controller 2 is calculated based on the intensity.
[0055]
The irradiation position detection unit (irradiation position detection unit) 24 includes a light intensity measurement unit (light intensity measurement unit) 24a, and which light detector 22 (221~ 22N) Detects whether the probe light P is irradiated based on the light intensity. The light intensity measurement unit 24 a measures the intensity (light intensity) of the light emitted by each photodetector 22 based on the electrical signal input from the photodetector 22.
[0056]
The irradiation position detector 24 detects the irradiation position of the photodetector 22 having the highest light intensity for each photodetector array 21. The irradiation position and light intensity of the photodetector 22 are output to the indicated position calculation unit 25.
In the irradiation position detection unit 24, each light detector is used when the irradiated light straddles the adjacent photodetectors 22 and the light intensities detected by the adjacent photodetectors 22 are substantially equal. It is also possible to obtain the irradiation position based on the weighting and output it to the indicated position calculation unit 25 by weighting the 22 positions in advance according to the light intensity.
[0057]
The designated position calculation unit (designated position calculation means) 25 calculates a designated position T on the screen based on the irradiation position and light intensity of the photodetector 22 output from the irradiation position detection unit 24.
In the case where the irradiated light straddles the adjacent photodetectors 22 and the light intensities detected by the adjacent photodetectors 22 are substantially equal, the plurality of photodetectors 22 before and after the irradiation position are used. It is also possible to use the sum of the detected light intensities as the light intensity at the irradiation position.
[0058]
Here, with reference to FIG. 4 (refer to FIG. 3 as appropriate), a method in which the designated position calculation unit 25 calculates the designated position T based on the irradiation position and the light intensity of the photodetector 22 will be described. As shown in FIG. 4, it is assumed that the position specifying device 10 projects the beam light B and the probe light P onto the display device 30.
[0059]
Here, the photodetector having the highest light intensity in the individual photodetector arrays 21 arranged on the left and right of the display device 30 with the horizontal direction as the x-axis and the vertical direction as the y-axis with respect to the screen of the display device 30. The irradiation positions 22 are L (first irradiation position) and R (second irradiation position), and the coordinates of the first irradiation position L are (x1, Y1), The light intensity is I1, The coordinates of the second irradiation position R are (x2, Y2), The light intensity is I2Suppose that
At this time, the coordinates (x, y) of the designated position T pointed to by the light beam B exist on the straight line represented by the equation (1).
[0060]
y = {(y2-Y1) / (X2-X1)} X + y1  ... (1)
[0061]
On the other hand, when the light intensity distribution is linearly different between the center and the periphery of the probe light P spread like a slit, α and β (α, β> 0) are known constants, and l is the center of the probe light P. The light intensity I is expressed by the equation (2).
[0062]
I = −αl + β (2)
[0063]
That is, the light intensity I at the first irradiation position L1And the light intensity I at the second irradiation position R2Are the equations (3) and (4), respectively.
[0064]
I1= -Αl1+ Β (3)
I2= -Αl2+ Β (4)
[0065]
In the indicated position calculation unit 25, the coordinates (x, y) of the designated position T are expressed as in the expressions (5) and (6) based on the above expressions (1), (3), and (4). Can be calculated.
[0066]
[Expression 1]
Figure 0004129168
[0067]
[Expression 2]
Figure 0004129168
[0068]
In the above equations (2), (3), and (4), α and β have been described as known constants. However, the operator uses the light beam B from the position specifying device 10 before starting the operation. For example, a specific location such as the center position of the screen is indicated, and the light intensity I of the first irradiation position L detected at that time is indicated.1And the light intensity I at the second irradiation position R2It is also possible to obtain α and β in advance by substituting into the equations (3) and (4).
[0069]
Β corresponds to the light intensity at the center (designated position T) of the probe light P. Therefore, the spread angle of the probe light P is φ, and the output light intensity of the light source (not shown) of the position specifying device 10 is β.0If the distance from the position specifying device 10 to the screen of the display device 30 is d, β can be expressed by equation (7).
[0070]
[Equation 3]
Figure 0004129168
[0071]
That is, the output light intensity β of the light source (not shown) of the position specifying device 100Is measured in advance, the distance d from the position specifying device 10 to the screen of the display device 30 can be calculated by the equation (8).
[0072]
[Expression 4]
Figure 0004129168
[0073]
Further, the indicated position calculation unit 25 can also calculate the inclination θ of the probe light P, that is, the inclination θ of the position specifying device 10 with respect to the screen of the display device 30 by the equation (9).
[0074]
θ = tan-1{(Y2-Y1) / (X2-X1)}… (9)
[0075]
Although the configuration of the image display system 1 has been described based on one embodiment, the present invention is not limited to this. For example, here, the photodetector array 21 in which the photodetectors 22 are arranged in a row is installed outside the left and right display areas of the display device 30, but may be installed outside the upper and lower display areas of the display device 30. . In this case, the waveform shaping unit 12b (FIG. 2) in the position specifying device 10 diffuses the probe light (slit diffused light) P in the vertical (longitudinal) direction.
[0076]
Further, the photodetector array 21 may have a configuration in which the photodetectors 22 are arranged in two rows outside any one display area on the top, bottom, left, and right of the display device 30.
For example, as shown in FIG. 5, two photodetector arrays 21 are arranged outside the display area on the left side of the display device 30 and the photodetectors 22 are arranged in parallel in two rows, and spread in a slit shape. When the probe light P has a light intensity distribution linearly different between the center and the periphery, α and β (α, β> 0) are known constants, and l is the center of the probe light P (designated position T). The light intensity I is expressed by the above equation (2).
[0077]
That is, the light intensity I at the first irradiation position L1And the light intensity I at the second irradiation position R2Are expressed in the same manner as the above-described equations (3) and (4).
Thereby, in the designated position calculation unit 25 (FIG. 3), the coordinates (x, y) of the designated position T are expressed by the expressions (10) and (11) based on the expressions (3) and (4). Can be calculated as follows.
[0078]
[Equation 5]
Figure 0004129168
[0079]
[Formula 6]
Figure 0004129168
[0080]
Note that α and β in the expressions (10) and (11) indicate a specific place such as the center position of the screen by the light beam B from the position specifying device 10 before the operator starts the operation, The light intensity I of the first irradiation position L detected at that time1And the light intensity I at the second irradiation position R2It is good also as calculating | requiring previously by substituting (3) and (4) in Formula.
[0081]
Further, the output light intensity of the light source (not shown) of the position specifying device 10 is expressed by β0If the spread angle of the probe light P is φ, the distance d from the position specifying device 10 to the screen of the display device 30 can be calculated by the above equation (8). Furthermore, the inclination θ of the probe light P, that is, the inclination θ of the position specifying device 10 with respect to the screen of the display device 30 can be calculated by the above equation (9).
[0082]
(Operation of image display system 1)
Next, the operation of the image display system 1 will be described with reference to FIG. 1, FIG. 3, and FIG. FIG. 6 is a flowchart showing the operation of the image display system 1.
[0083]
<Light projection step>
First, the operator points the remote control device 2 toward the display device 30 and presses a projection button (not shown), whereby beam light (position indication light) B and probe light (slit diffusion light) are transmitted from the position designation device 10. P is projected onto the screen of the display device 30 (step S1). The beam light B is visible light that visually points to the designated position T on the screen desired by the operator, and the probe light P is a center used by the position detection device 20 to calculate the designated position T. It is slit-like invisible light having different light intensity distribution from the surroundings.
[0084]
<Light detection step>
Then, the photodetector 22 of the position detecting device 20 receives (detects) the probe light P projected from the position specifying device 10 (step S2). Here, it is assumed that the photodetectors 22 are arranged in a line as the photodetector array 21 outside the left and right display areas of the display device 30.
[0085]
<Irradiation position detection step>
Then, the light intensity measurement unit 24a of the position detection device 20 measures the light intensity (light intensity) of each probe 22 of the probe light P received in step S2 (step S3). By measuring the light intensity in the light detector 22, the irradiation position detector 24 detects the position of the light detector 22 having the highest light intensity for each light detector array 21 arranged on the left and right of the display device 30. (First irradiation position L and second irradiation position R) are specified as irradiation positions irradiated with probe light P (step S4).
[0086]
<Indicated position calculation step>
Based on the light intensity measured in step S3 and the irradiation position (first irradiation position L and second irradiation position R) of the photodetector 22 specified in step S4, the indication position calculation unit 25 displays the display device 30. The designated position T on the screen is calculated (step S5). The calculation of the designated position T is performed based on the above-described equations (5) and (6).
[0087]
<Image display step>
Based on the designated position T calculated in step S5, the image display control device 40 controls the display of the screen (step S6). For example, when the instructed position is a button on the menu screen, the operation is performed assuming that the button is selected.
[0088]
By projecting the visible light beam B projected from the position specifying device 10 directly on the screen through the above steps, the operator can directly indicate the position to be designated on the screen. The pointing device T pointed to by the operator can be detected by the detection device 20.
[0089]
In the indicated position calculation step (step S5), the distance from the position designation device 10 to the screen of the display device 30 and the inclination of the position designation device 10 with respect to the screen of the display device 30 are calculated, whereby the image display step (step In S6), various operations such as enlarging / reducing the image based on the distance of the position specifying device 10 and rotating the image based on the inclination of the position specifying device 10 can be performed.
[0090]
[Second Embodiment]
  Next, referring to FIG.Reference exampleAn image display system 1B including a position designation device 10B and a position detection device 20B according to the second embodiment will be described. FIG. 7 is a schematic diagram showing the configuration of the image display system 1B. As shown in FIG. 7, the image display system 1B includes a remote control device 2B having a position specifying device 10B, a photodetector array 21 in which a plurality of photodetectors 22 are arranged, and an optical signal detection processing means 23B. The apparatus 20B, the display apparatus 30, and the image display control apparatus 40 are comprised. The image display device 3B includes a position detection device 20B, a display device 30, and an image display control device 40.
[0091]
In the image display system 1B, the position detection device 20B irradiates the designated position T on the screen of the display device 30 indicated by the visible light beam B emitted from the remote control device 2B simultaneously with the beam B. It is calculated from the probe light (slit diffused light) P1 and P2, and the image display is controlled based on the designated position T.
[0092]
The remote control device 2B includes a position specifying device 10B. The remote control device 2B indicates an arbitrary position on the screen of the display device 30 and the operator instructs the image display device 3 to perform an operation. This position designation device 10 projects visible light beam B and probe lights P1 and P2 which are two slit-shaped diffused lights that intersect (cross) the beam light B as a center.
[0093]
As shown in FIG. 8, the position specifying device 10 </ b> B uses the waveform shaping unit 12 b of the position specifying device 10 (FIG. 2) as a waveform shaping unit 12 </ b> Bb whose function is changed so as to generate slit diffused light that crosses the cross. Can be realized. For example, the waveform shaping unit 12Bb optically distributes the light output from the second light source unit 12a and passes each light through two cylindrical lenses having different condensing directions, so that the slit-shaped diffused light is transmitted. And the two diffused light beams (slit diffused light) can be generated by projecting the optical axes of these two diffused light beams. Alternatively, it is possible to generate slit diffusion light crossed in a cross using a hologram diffractive optical element that shapes the input light as a cross interference fringe.
[0094]
The image display device 3B includes a position detection device 20B, a display device 30, and an image display control device 40, and the operator uses the beam light B of the remote control device 2B based on the probe lights P1 and P2 emitted from the remote control device 2B. While detecting the pointed position, an image desired by the operator is displayed. The display device 30 and the image display control device 40 are the same as those shown in FIG.
[0095]
The position detection device 20B includes a photodetector array 21 in which a plurality of photodetectors 22 are arranged outside the upper, lower, left, and right display areas of the display device 30 and an optical signal detection processing unit 23B, and a probe emitted from the remote control device 2B. Based on the lights P1 and P2, the operator detects a designated position T on the screen indicated by the beam light B of the remote controller 2B.
[0096]
The optical signal detection processing unit 23B will be described with reference to FIGS.
As shown in FIG. 3, the optical signal detection processing unit 23B is different from the irradiation position detection unit 24 and the designated position calculation unit 25 in the configuration of the optical signal detection processing unit 23. It is realizable by setting it as the calculation part 25B.
[0097]
The irradiation position detection unit 24 </ b> B detects the irradiation position of the photodetector 22 having the highest light intensity for each of the four photodetector arrays 21 installed outside the upper, lower, left, and right display areas of the display device 30. The irradiation position and light intensity of the photodetector 22 are output to the indicated position calculation unit 25B.
[0098]
The designated position calculation unit 25B calculates a designated position T on the screen based on the irradiation position of the photodetector 22 output from the irradiation position detection unit 24B. The indicated position calculation unit 25B is also for calculating the distance from the position designation device 10B to the screen of the display device 30 based on the light intensity of the photodetector 22 output from the irradiation position detection unit 24B.
[0099]
Here, with reference to FIG. 9 (refer to FIG. 3 as appropriate), a method of calculating the designated position T based on the position of the photodetector 22 where the designated position calculation unit 25B has received the probe lights P1 and P2 will be described. . As shown in FIG. 9, it is assumed that the position specifying device 10 </ b> B projects the beam light B and the probe lights P <b> 1 and P <b> 2 to the display device 30.
[0100]
Here, with respect to the screen of the display device 30, the horizontal direction is the x axis and the vertical direction is the y axis, and the light having the highest light intensity for each of the individual photodetector arrays 21 arranged above, below, left, and right of the display device 30. The irradiation position of the detector 22 is L (first irradiation position), R (second irradiation position), U (third irradiation position), and D (fourth irradiation position), and the coordinates of the first irradiation position L are (x1, Y1), The coordinates of the second irradiation position R are (x2, Y2), The coordinates of the third irradiation position U are (xThree, YThree), The coordinates of the fourth irradiation position D are (xFour, YFour).
[0101]
At this time, the coordinates (x, y) of the designated position T pointed to by the light beam B are the straight line connecting the first irradiation position L and the second irradiation position R shown in the equation (12), and (13 ) Is an intersection of a straight line connecting the third irradiation position U and the fourth irradiation position D shown by the equation.
[0102]
y = {(y2-Y1) / (X2-X1)} X + y1− {(Y2-Y1) / (X2-X1)} X1  (12)
y = {(yFour-YThree) / (XFour-XThree)} X + yThree− {(YFour-YThree) / (XFour-XThree)} XThree  ... (13)
[0103]
That is, the coordinates (x, y) of the designated position T can be obtained by the equations (14) and (15).
[0104]
[Expression 7]
Figure 0004129168
[0105]
[Equation 8]
Figure 0004129168
[0106]
As described above, the position detection device 20B does not need to consider the light intensity distributions of the probe lights P1 and P2 in calculating the designated position T. Therefore, the position detection apparatus 20B is less susceptible to the influence of the disturbance, and increases the number of photodetectors 22. The accuracy of position detection can be increased.
[0107]
In addition, since the indicated position calculation unit 25B obtains the coordinates (x, y) of the designated position T by the above-described equations (14) and (15), the first irradiation position L and the designated position T are further determined. Distance lLAnd the distance l between the second irradiation position R and the designated position TRCan also be obtained by the equations (16) and (17).
[0108]
[Equation 9]
Figure 0004129168
[0109]
[Expression 10]
Figure 0004129168
[0110]
When the probe light P spread in a slit shape has light intensity distributions linearly different between the center and the periphery, α and β (α, β> 0) are known constants, and l is the center of the probe light P. Assuming that the distance from the (designated position T), the light intensity I is expressed by the above equation (2), and therefore the light intensity I at the first irradiation position L.LAnd the light intensity I at the second irradiation position RRAre the equations (18) and (19), respectively. Note that β becomes the equation (20) from the equations (18) and (19).
[0111]
IL= -ΑlL+ Β (18)
IR= -ΑlR+ Β (19)
[0112]
[Expression 11]
Figure 0004129168
[0113]
Here, the spread angle of the probe light P is φ, and the output light intensity of the light source (not shown) of the position specifying device 10B is β.0When the distance from the position specifying device 10B to the screen of the display device 30 is d, β is expressed by the above equation (7), so the output light intensity β0Is measured in advance, the distance d from the position specifying device 10B to the screen of the display device 30 can be calculated by the equation (21).
[0114]
[Expression 12]
Figure 0004129168
[0115]
Note that the inclination of the position specifying device 10B with respect to the screen of the display device 30 can be calculated in the same manner as the method described in FIG.
[0116]
The configuration of the image display system 1B has been described above based on one embodiment, but the present invention is not limited to this. For example, here, the photodetector array 21 in which the photodetectors 22 are arranged in a row is installed outside the display area on the top, bottom, left, and right of the display device 30. It is good also as a structure which installs what arranged the photodetector 22 in parallel in 2 rows out of the area | region.
[0117]
For example, as shown in FIG. 10, in the configuration in which two photodetector arrays 21 are arranged outside the left and lower display areas of the display device 30 and the photodetectors 22 are arranged in parallel in two rows. As the intersection of the straight line connecting the first irradiation position L and the second irradiation position R and the straight line connecting the third irradiation position U and the fourth irradiation position D, the above-described equations (14) and (15) The indicated position T can be calculated by the equation.
[0118]
Further, the distance l between the first irradiation position L and the specified position TLAnd the distance l between the second irradiation position R and the designated position TRCan also be calculated by the above-described equations (16) and (17).
[0119]
Further, when the probe light P spreading in a slit shape has a light intensity distribution linearly different between the center and the periphery, the spread angle of the probe light P is φ, and the output of the light source (not shown) of the position specifying device 10B. The light intensity is β0When the distance from the position specifying device 10B to the screen of the display device 30 is d, β is expressed by the above equation (7), so the output light intensity β0Is measured in advance, the distance d from the position specifying device 10B to the screen of the display device 30 can be calculated by the above-described equation (8). Note that the inclination of the position specifying device 10B with respect to the screen of the display device 30 can be calculated in the same manner as the method described in FIG.
[0120]
(Operation of image display system 1B)
Next, the operation of the image display system 1B will be described with reference to FIG. 3, FIG. 7, and FIG. FIG. 11 is a flowchart showing the operation of the image display system 1B.
[0121]
<Light projection step>
First, the operator points the remote control device 2B toward the display device 30 and presses a projection button (not shown), so that the probe light (crossed in a cross with the beam light (position indication light) B from the position designation device 10B) ( (Slit diffused light) P1 and P2 are projected onto the screen of the display device 30 (step S11).
[0122]
<Light detection step>
Then, the photodetector 22 of the position detecting device 20B receives (detects) the probe lights P1 and P2 projected from the position specifying device 10B (step S12). Here, it is assumed that the photodetectors 22 are arranged in a row as the photodetector array 21 outside the display area on the top, bottom, left, and right of the display device 30.
[0123]
<Irradiation position detection step>
Then, the light intensity measuring unit 24a of the position detection device 20B measures the light intensity (light intensity) of the probe light P1 and P2 received in step S12 in each photodetector 22 (step S13). By measuring the light intensity in the light detector 22, the irradiation position detection unit 24 </ b> B has the light intensity of the light detector 22 with the highest light intensity for each light detector array 21 arranged at the top, bottom, left and right of the display device 30. The positions (first irradiation position L, second irradiation position R, third irradiation position U, and fourth irradiation position D) are specified as the irradiation positions irradiated with the probe lights P1 and P2 (step S14).
[0124]
<Indicated position calculation step>
The designated position calculation unit 25B then connects the first irradiation position L and the second irradiation position R, which are the irradiation positions of the photodetector 22 identified in step S14, and the third irradiation position U and the fourth irradiation position. The intersection point with the straight line connecting the irradiation position D is calculated as the designated position T on the screen of the display device 30 (step S15). The calculation of the designated position T is performed based on the above-described equations (14) and (15).
[0125]
<Image display step>
Based on the designated position T calculated in step S15, the image display control device 40 controls the display of the screen (step S16). For example, when the instructed position is a button on the menu screen, the operation is performed assuming that the button is selected.
[0126]
  [Third embodiment]
  Next, referring to FIG.Reference exampleAn image display system 1C including a position designation device 10C and a position detection device 20C according to a third embodiment will be described. FIG. 12 is a schematic diagram showing the configuration of the image display system 1C. As shown in FIG. 12, the image display system 1C includes a remote control device 2C including a position specifying device 10C, a photodetector array 21 in which a plurality of photodetectors 22 are arranged, and an optical signal detection processing unit 23C. The apparatus 20C, the display apparatus 30, and the image display control apparatus 40 are configured. The image display device 3 </ b> C includes a position detection device 20 </ b> C, a display device 30, and an image display control device 40.
[0127]
In the image display system 1C, the position detection device 20C irradiates the designated position T on the screen of the display device 30 indicated by the visible light beam B emitted from the remote controller 2C simultaneously with the beam B. It is calculated from the probe light (slit diffused light) P1 and P2, and the image display is controlled based on the designated position T. The display device 30 and the image display control device 40 are the same as those shown in FIG.
[0128]
(Configuration of position specifying device 10C)
Here, with reference to FIG. 13 (refer to FIG. 12 as appropriate), the configuration of the position specifying device 10C in the remote control device 2C in the image display system 1C according to the third embodiment will be described. FIG. 13 is a block diagram illustrating a configuration of the position specifying device 10C. As shown in FIG. 13, the position specifying device 10 </ b> C includes a first light projection unit 11, a second light projection unit 12 </ b> C, a light combining projection unit 13, and an intensity modulation unit 14. The first light emitting means 11 and the light combining and projecting means 13 are the same as those described in FIG. 2, and the waveform shaping unit 12Bb of the second light emitting means 12C is the same as that described in FIG. Then, explanation is omitted.
[0129]
The second light source unit 12Ca is a light source that outputs invisible light in which the light intensity is changed with time based on an intensity modulation signal output from the intensity modulation unit 14 described later. This 2nd light source part 12Ca shall output invisible light, such as infrared rays, with a laser diode, a light emitting diode, etc., for example. The invisible light output from the second light source unit 12Ca is input to the waveform shaping unit 12Bb.
[0130]
The intensity modulation means 14 generates intensity modulation signals having different strengths with time. For example, an intensity signal corresponding to the phase of the sine wave (intensity modulation signal) is generated by a known sine wave generation circuit or the like. The intensity modulation signal generated here is input to the second light source unit 12Ca.
By configuring the position specifying device 10C in this way, the phases of the probe lights P1 and P2 can be changed.
[0131]
(Configuration of Position Detection Device 20C)
  Next, the configuration of the position detection device 20C in the image display device 3C in the image display system 1C according to the third embodiment will be described with reference to FIG. 14 (see FIG. 12 as appropriate). FIG. 14 is a block diagram illustrating a configuration of the position detection device 20C. As shown in FIG. 14, the position detection device 20C includes a photodetector array 21 in which photodetectors 22 are arranged, and an optical signal detection processing unit 23C including an irradiation position detection unit 24C and an indicated position calculation unit 25C. Configured. Phase detector 24b and indicated position calculationPartSince the configuration other than 25C is the same as that of FIG. 3, the same reference numerals are given and the description thereof is omitted.
[0132]
The phase detection unit (phase detection means) 24b detects the phases of the probe lights P1 and P2 detected by the photodetector 22. In the phase detector 24b, the phase of the signal detected by the photodetector 22 having the highest light intensity is detected for each photodetector array 21 by the light intensity measuring unit 24a. For example, in FIG. 12, the phase of the signal at the first irradiation position L, the second irradiation position R, the third irradiation position U, and the fourth irradiation position D irradiated with the probe lights P1 and P2 is detected. The phase detected here is output to the indicated position calculation unit 25C.
[0133]
Based on the irradiation position of the photodetector 22 output from the irradiation position detection unit 24C and the phase of the irradiation position detected by the phase detection unit 24b, the instruction position calculation unit (instruction position calculation means) 25C is displayed on the screen. The designated position T and the position of the position designation device 10C are calculated.
[0134]
Here, referring to FIG. 15 (refer to FIG. 14 as appropriate), the indicated position calculation unit 25C determines the position (three-dimensional position) of the position specifying device 10C based on the irradiation position of the photodetector 22 and the phase at the irradiation position. A method for calculating the value will be described.
[0135]
Here, the horizontal direction with respect to the screen of the display device 30 is the x axis, the vertical direction is the y axis, and the vertical direction with respect to the xy plane is the d axis. The irradiation position of the photodetector 22 having the highest light intensity for each of the detector arrays 21 is L (first irradiation position), R (second irradiation position), U (third irradiation position), and D (fourth irradiation position). And each coordinate is (x1, Y1), (X2, Y2), (XThree, YThree) And (xFour, YFour). Furthermore, the detected phase at each irradiation position (L, R, U and D) is θ1, Θ2, ΘThreeAnd θFourSuppose that
[0136]
At this time, distances d1, d2, d3, and d4 from the respective irradiation positions (L, R, U, and D) to the position specifying device 10C are obtained by the following equations (22) to (25). Here, c is the speed of light, and f is the intensity modulation frequency of the probe lights P1 and P2.
[0137]
d1= Θ1C / (2πf) (22)
d2= Θ2C / (2πf) (23)
dThree= ΘThreeC / (2πf) (24)
dFour= ΘFourC / (2πf) (25)
[0138]
Further, the position of the position specifying device 10C is set to O (x0, Y0, D0), The following relationships (26) to (29) are established.
[0139]
(X0-X1)2+ (Y0-Y1)2+ D0 2= D1 2  ... (26)
(X0-X2)2+ (Y0-Y2)2+ D0 2= D2 2  ... (27)
(X0-XThree)2+ (Y0-YThree)2+ D0 2= DThree 2  ... (28)
(X0-XFour)2+ (Y0-YFour)2+ D0 2= DFour 2  ... (29)
[0140]
In the indicated position calculation unit 25C, the position O (x) of the position specifying device 10C is based on the above-described equations (26) to (29).0, Y0, D0) Can be calculated by equations (30) to (32).
[0141]
[Formula 13]
Figure 0004129168
[0142]
[Expression 14]
Figure 0004129168
[0143]
[Expression 15]
Figure 0004129168
[0144]
Note that the specified position T and the inclination of the position specifying device 10C with respect to the screen of the display device 30 can be calculated by the method described with reference to FIGS.
[0145]
As described above, the position detection device 20C can determine the position O of the position specifying device 10C without considering the light intensity distributions of the probe lights P1 and P2, which are slit-like diffused light. Thus, since the position detection device 20C does not use a light intensity distribution that is easily changed by external light or the like, the position O of the position designation device 10C can be obtained with high accuracy.
[0146]
Further, since the position detection device 20C can detect the three-dimensional position of the position specification device 10C, the position detection device 20C responds to the back-and-forth, right-and-left or up-and-down movement of the remote control device 2C (FIG. 12) including the position specification device 10C. An application such as switching an image displayed on the screen of the display device 30 can be easily constructed.
[0147]
[Fourth embodiment]
Next, with reference to FIG. 16, the structure of the position detection apparatus 20D according to the fourth embodiment of the present invention will be described. In the first to third embodiments (FIGS. 1, 7, and 12) described above, the photodetector 22 uses a light receiving element such as a photodetector that detects light and converts it into an electrical signal. Although described, a microlens may be used. FIG. 16 is a block diagram showing a configuration of a position detection device 20D using a microlens.
[0148]
  As shown in FIG. 16, the position detection device 20D includes an optical signal detection processing unit 23D including a microlens array 21B in which microlenses 22B are arranged, an irradiation position detection unit 24, an indicated position calculation unit 25, and a photoelectric conversion unit 26. And configured. Irradiation position detection unit 24 and instruction position calculationPart25 is the same as that described in FIG.
[0149]
The microlens array 21B has a plurality of microlenses 22B arranged in a row, and detects probe light (slit diffused light) emitted from the position specifying device 10 (10B, 10C) (FIGS. 1, 7, and 12). Is.
[0150]
The microlens 22B is a minute lens having a size of about several μm to several mm, and plays a role as a light detection means for detecting light. The light received by the micro lens 22B is input to the photoelectric conversion unit 26 via the optical fiber F.
[0151]
The photoelectric conversion unit 26 includes a linear sensor, a two-dimensional sensor, and the like, and converts an optical signal input via the optical fiber F into an electrical signal. For example, a one-dimensional sensor (CCD line sensor) using an existing CCD, a two-dimensional sensor (CCD area sensor), or the like can be used. In particular, when a two-dimensional sensor is used, the irradiation position detection unit 24 and the designated position calculation unit 25 may regard the signal received and converted into an electrical signal as a two-dimensional image, and specify the irradiation position and the designated position. it can.
As described above, the position detection device 20D can be constructed at low cost because an existing one-dimensional sensor or two-dimensional sensor such as a CCD can be used.
[0152]
[Fifth embodiment]
Next, with reference to FIG. 17, the structure of the position detection apparatus 20E which concerns on 5th embodiment in this invention is demonstrated. In the above-described fourth embodiment (FIG. 16), an example in which an existing one-dimensional sensor such as a CCD or a two-dimensional sensor is used as the photoelectric conversion unit 26 has been described. It is also possible to use a sensor (for example, a storage type CCD). In this case, since the exposure time is long in the accumulation type CCD or the like, the phase of the intensity-modulated probe light output from the position specifying device 10C described with reference to FIG. 13 cannot be detected.
[0153]
Therefore, as shown in FIG. 17, the position detection device 20E includes a microlens array 21B in which microlenses 22B are arranged, an irradiation position detection unit 24, an indicated position calculation unit 25, a photoelectric conversion unit 26E, and a signal extraction unit 27. The optical signal detection processing means 23E included is included. Since the configuration other than the photoelectric conversion unit 26E and the signal extraction unit 27 is the same as that in FIG. 3, the same reference numerals are given and description thereof is omitted.
[0154]
The photoelectric conversion unit 26E is configured by a storage type two-dimensional sensor or the like, and converts an optical signal into an electric signal. Since the photoelectric conversion unit 26E can increase the exposure time by using, for example, a storage CCD, the sensitivity can be increased by increasing the amount of received light.
[0155]
The signal extraction unit 27 samples (extracts) an optical signal input via the optical fiber F at specific time intervals. The signal extraction unit 27 can use, for example, an image intensifier with a high-speed gate as a light speed sampling element.
[0156]
Here, with reference to FIG. 18 (refer to FIGS. 13 and 17 as appropriate), a method of calculating the distance from the photodetector (microlens 22B) to the position specifying device 10C by the position detection device 20E will be described. FIG. 18 is a graph showing the relationship between the time of the intensity-modulated probe light irradiated from the position specifying device 10C and the light intensity (light reception intensity). I indicates the maximum received light intensity, and T indicates the period.
[0157]
The distance from the micro lens 22B to the position specifying device 10C is d, and the light receiving intensity of the probe light received by the micro lens 22B is I.d, The received light intensity I at a certain time tdIs represented by the equation (33). Note that f represents the intensity modulation frequency and c represents the speed of light.
[0158]
Id= I · sin2{2πf (t + d / c)} (33)
[0159]
Here, the first sampling time of the signal extraction unit 27 is t1, The second sampling time is t2= T1+ T / 2. At this time, the first sampling time t1And the second sampling time t2Received light intensity I1And I2Can be expressed by equations (34) and (35).
[0160]
Figure 0004129168
[0161]
Further, the maximum received light intensity I can be obtained from the equation (36).
[0162]
I = I1+ I2  ... (36)
[0163]
Further, the distance d from the micro lens 22B to the position specifying device 10C can be calculated by the equation (37).
[0164]
I1/ I2= Tan2{2πf (t1+ D / c)} (37)
[0165]
As described above, since the position detection device 20E does not use a light intensity distribution that is easily changed by external light or the like, the position of the position specifying device 10C can be obtained with high accuracy. Furthermore, since a storage type CCD can be used as the photoelectric conversion unit 26E, the light receiving sensitivity can be increased.
[0166]
[Usage example of position specifying device and position detecting device]
Next, with reference to FIG. 19 and FIG. 20, a usage example of the position specifying device and the position detecting device according to the present invention will be described.
FIG. 19 is a diagram illustrating an example in which the present invention is applied to a television receiver, a computer display, and the like. FIG. 19A shows an image display device 3 (television receiver, computer display) provided with a position detection device (not shown) by an operator M using a remote control device 2 provided with a position designation device (not shown). And so on). FIG. 19B is a schematic diagram showing a state where the operator M is operating the image display device 3 provided with a position detection device (not shown) with the glasses 4 provided with the position specifying device 10. .
[0167]
As shown in FIG. 19A, the operator M can point a button such as a menu screen displayed on the screen of the image display device 3 with the beam light directly projected from the remote control device 2. In this way, in the past, the desired button position was selected by pressing the up / down / left / right direction key several times and pressing the enter button. It becomes possible to select a desired button position by simply doing so, and operability can be improved.
[0168]
Furthermore, even when the cursor is displayed on the screen and the position is specified, the cursor position can be operated in accordance with the beam light. This makes it possible to directly move the cursor by moving an input means such as a mouse by an appropriate amount by the light beam of the remote control device 2.
[0169]
Further, as shown in FIG. 19B, the operator M wearing the glasses 4 equipped with the position specifying device 10 faces the screen of the image display device 3 and beam light at a desired button position on the menu screen. The button can be selected by irradiating with a certain time. As a result, for example, the operation means of the image display device 3 can be provided to a person who cannot operate the remote control device 2 (FIG. 19A) due to hand obstacles or the like.
[0170]
Furthermore, if the glasses 4 provided with the position specifying device 10 are used on a computer display, it is possible to perform screen operations such as cursor operations without releasing the hand from the keyboard, and operability can be improved.
[0171]
FIG. 20 is a diagram illustrating an example in which the present invention is applied to a virtual scope capable of enlarging a portion to be viewed in detail from a display image. FIG. 20A is a schematic diagram illustrating a configuration of the magnifying glass SC that specifies an enlarged region of a display image used for the virtual scope. FIGS. 20B-1 and 20B-2 are conceptual diagrams illustrating how an image is enlarged based on the position of the magnifying glass SC. The virtual scope is disclosed in “Fukaya, Mitsumine, Inoue,“ Virtual Scope ”, Proceedings of the 7th Image Sensing Symposium, pp. 211-214, 2001” and the like.
[0172]
As shown in FIG. 20A, the magnifying glass SC used for the virtual scope has a position specifying device 10 inside. The beam light B emitted from the position specifying device 10 does not irradiate a single point, but uses laser light that irradiates a rectangular region. In this case, the coordinates of each vertex of the rectangular area on the screen irradiated with the laser light are calculated based on the distance between the magnifying glass SC and the screen and the projection angle of the laser light with respect to the irradiation position at the center of the rectangular area. Can be easily calculated.
[0173]
Further, as shown in FIG. 20 (b-1), the beam G of the magnifying glass SC is irradiated onto the screen G from a position separated by d1 from the screen G. The image of the irradiated rectangular region g1 is enlarged and displayed (enlarged image E1). The enlarged image E1 may be displayed by switching the screen G or may be displayed on another display device.
[0174]
FIG. 20B-2 shows a state where the distance d1 in FIG. 20B-1 is further separated (distance d2: d1 <d2). Thus, by arranging the magnifying glass SC at a position far from d1, the rectangular area g2 irradiated on the screen G becomes larger than the rectangular area g1 in FIG. The enlargement ratio of the enlarged image E2 is smaller than that of the enlarged image E1 shown in FIG.
[0175]
As described above, the position designation device and the position detection device according to the present invention have display screens such as use as a remote control device such as a television receiver, use as an input device such as a mouse in a computer, use as a virtual scope, and the like. It can be applied in various apparatuses.
[0176]
【The invention's effect】
  As described above, the position detection device, position detection method, and position detection program according to the present invention.InHas the following excellent effects.
[0177]
  Claim 1,Claim 4OrClaim 5According to the invention described in (4), the position on the screen instructed by the visible light beam can be detected by the slit-shaped diffused light emitted from the position specifying device. As a result, the operator can directly specify the position on the screen in the image display device and perform an operation, so that a user interface with excellent operability can be provided.
[0179]
  Claim 2OrClaim 3According to the invention described in the above, an image can be obtained with a simple configuration in which light detection means such as a photodetector is arranged outside the display area of a display device such as an existing projection display, CRT monitor, liquid crystal monitor, plasma display, or EL display. Since a display device can be realized, an image display device can be manufactured at low cost.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing a configuration of an image display system including a position designation device and a position detection device according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a position specifying device according to the first embodiment of the present invention.
FIG. 3 is a block diagram showing a configuration of a position detection apparatus according to the first embodiment of the present invention.
FIG. 4 is an explanatory diagram for explaining a method of calculating a designated position when a photodetector is arranged outside the left and right display areas of the screen.
FIG. 5 is an explanatory diagram for explaining a method of calculating a designated position when the photodetectors are arranged in parallel outside the display area on one (left side) of the screen.
FIG. 6 is a flowchart showing an operation of the image display system including the position specifying device and the position detecting device according to the first embodiment of the present invention.
[Fig. 7]Reference exampleIt is the schematic which showed the structure of the image display system containing the position designation | designated apparatus and position detection apparatus which concern on 2nd embodiment.
FIG. 8 is a block diagram showing a configuration of a position specifying device according to a second embodiment of the present invention.
FIG. 9 is an explanatory diagram for explaining a method of calculating a designated position when the photodetector is disposed outside the display area on the top, bottom, left, and right of the screen.
FIG. 10 is an explanatory diagram for explaining a method for calculating a designated position when the photodetectors are arranged in parallel outside the left and lower display areas of the screen.
FIG. 11 is a flowchart showing an operation of an image display system including a position designation device and a position detection device according to a second embodiment of the present invention.
FIG.Reference exampleIt is the schematic which showed the structure of the image display system containing the position designation | designated apparatus and position detection apparatus which concern on 3rd embodiment.
FIG. 13 is a block diagram showing a configuration of a position specifying device according to a third embodiment of the present invention.
FIG. 14 is a block diagram showing a configuration of a position detection apparatus according to a third embodiment of the present invention.
FIG. 15 is an explanatory diagram for explaining a method of calculating a distance from a photodetector to a phase specifying device based on an irradiation position and a phase.
FIG. 16 is a block diagram showing a configuration of a position detection apparatus according to a fourth embodiment of the present invention.
FIG. 17 is a block diagram showing a configuration of a position detection device according to a fifth embodiment of the present invention.
FIG. 18 is an explanatory diagram for explaining a method of calculating a distance from a photodetector to a position specifying device.
FIG. 19A is a diagram showing an example in which the position designation device and the position detection device of the present invention are applied to a television receiver.
(B) It is a figure which shows the example at the time of applying the position designation | designated apparatus of this invention to spectacles.
FIG. 20A is an overall view of a virtual scope to which the position specifying device of the present invention is applied. (B) It is a conceptual diagram which shows the concept of operation | movement of the virtual scope to which the position specification apparatus of this invention is applied.
[Explanation of symbols]
1, 1B, 1C ... Image display system
2, 2B, 2C ... Remote control device
3, 3B, 3C ... Image display device
10, 10B, 10C ... Positioning device
11 …… First light projection means
12, 12C ... Second light projection means
13 …… Photosynthesis projection means
14 …… Intensity modulation means
20, 20B, 20C, 20D, 20E …… Position detection device
21 ...... Photodetector array
22 …… Photodetector (light detection means)
23, 23B, 23C, 23D, 23E ... Optical signal detection processing means
24, 24B, 24C ... Irradiation position detection unit (irradiation position detection means)
24a: Light intensity measuring unit (light intensity measuring means)
24b ... Phase detector (phase detector)
25, 25B, 25C ...... Instructed position calculating unit (instructed position calculating means)
26, 26E ...... Photoelectric conversion unit
27 …… Signal extraction unit
30 ...... Display device
40 ...... Image display control device

Claims (5)

画面上の任意の位置を位置指示光により指し示す位置指定装置から、前記位置指示光を中心にスリット状に拡散したスリット拡散光を照射されることで、前記位置指示光により指し示された画面上の指示位置を検出する位置検出装置であって、
前記画面の表示領域外に配置され、前記スリット拡散光を検出する複数の光検出手段と、
この光検出手段で検出されたスリット拡散光の光強度を測定する光強度測定手段と、
前記スリット拡散光を検出した前記光検出手段の照射位置を検出する照射位置検出手段と、
この照射位置検出手段で検出された前記光検出手段の照射位置と、前記光強度測定手段で測定された前記スリット拡散光の光強度とに基づいて、前記指示位置を算出する指示位置算出手段と、
を備えていることを特徴とする位置検出装置。
By irradiating a slit diffused light diffused in a slit shape with the position indicating light as a center from a position specifying device that indicates an arbitrary position on the screen by the position indicating light, A position detection device for detecting the indicated position of
A plurality of light detecting means arranged outside the display area of the screen and detecting the slit diffused light;
A light intensity measuring means for measuring the light intensity of the slit diffused light detected by the light detecting means;
An irradiation position detection means for detecting an irradiation position of the light detection means that detects the slit diffused light;
An indication position calculation means for calculating the indication position based on the irradiation position of the light detection means detected by the irradiation position detection means and the light intensity of the slit diffused light measured by the light intensity measurement means; ,
A position detection device comprising:
前記光検出手段は、前記画像表示装置の表示領域外である画面の左右及び/又は上下に各一列づつ配置されていることを特徴とする請求項1に記載の位置検出装置。The position detection device according to claim 1 , wherein the light detection means is arranged in a line on each of the left and right and / or the top and bottom of the screen outside the display area of the image display device. 前記光検出手段は、前記画像表示装置の表示領域外である画面の左側、右側、上部又は下部の少なくとも一箇所に並列して配置されていることを特徴とする請求項1に記載の位置検出装置。2. The position detection according to claim 1 , wherein the light detection unit is arranged in parallel at least at one place on a left side, a right side, an upper part, or a lower part of a screen outside the display area of the image display device. apparatus. 画面上の任意の位置を位置指示光により指し示す位置指定装置から、前記位置指示光を中心にスリット状に拡散したスリット拡散光を照射されることで、前記位置指示光により指し示された画面上の指示位置を検出する位置検出方法であって、
前記位置指定装置から、前記スリット拡散光を前記画面に対して投射する光投射ステップと、
この光投射ステップで投射されたスリット拡散光を、前記画面の表示領域外に配置された複数の光検出手段によって検出する光検出ステップと、
この光検出ステップで検出されたスリット拡散光の光強度を光強度測定手段で測定し、前記スリット拡散光を検出した前記光検出手段の照射位置を検出する照射位置検出ステップと、
この照射位置検出ステップで検出された前記光検出手段の照射位置と、前記光強度測定手段で測定された前記スリット拡散光の光強度とに基づいて、前記指示位置を算出する指示位置算出ステップと、
を含んでいることを特徴とする位置検出方法。
By irradiating a slit diffused light diffused in a slit shape with the position indicating light as a center from a position specifying device that indicates an arbitrary position on the screen by the position indicating light, A position detection method for detecting the indicated position of
A light projection step of projecting the slit diffused light onto the screen from the position specifying device;
A light detection step of detecting the slit diffused light projected in the light projection step by a plurality of light detection means arranged outside the display area of the screen;
An irradiation position detection step for measuring the light intensity of the slit diffused light detected in this light detection step with a light intensity measuring means, and detecting the irradiation position of the light detection means for detecting the slit diffused light;
An instruction position calculating step for calculating the instruction position based on the irradiation position of the light detection means detected in the irradiation position detection step and the light intensity of the slit diffused light measured by the light intensity measurement means; ,
A position detection method comprising:
画面上の任意の位置を位置指示光により指し示す位置指定装置から、前記位置指示光を中心にスリット状に拡散したスリット拡散光を照射されることで、前記位置指示光により指し示された画面上の指示位置を検出するために、コンピュータを、
前記画面の表示領域外に配置された複数の光検出手段によって検出された前記スリット拡散光の光強度に基づいて、前記スリット拡散光を検出した前記光検出手段の照射位置を検出する照射位置検出手段、
この照射位置検出手段で検出された照射位置と、前記スリット拡散光の光強度とに基づいて、前記指示位置を算出する指示位置算出手段、
として機能させることを特徴とする位置検出プログラム。
By irradiating a slit diffused light diffused in a slit shape with the position indicating light as a center from a position specifying device that indicates an arbitrary position on the screen by the position indicating light, To detect the indicated position of the computer,
Irradiation position detection for detecting an irradiation position of the light detecting means that detects the slit diffused light based on the light intensity of the slit diffused light detected by a plurality of light detecting means arranged outside the display area of the screen means,
Instructed position calculating means for calculating the indicated position based on the irradiated position detected by the irradiated position detecting means and the light intensity of the slit diffused light,
A position detection program that functions as a computer program.
JP2002332625A 2002-11-15 2002-11-15 Position detection apparatus, position detection method, and position detection program Expired - Fee Related JP4129168B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002332625A JP4129168B2 (en) 2002-11-15 2002-11-15 Position detection apparatus, position detection method, and position detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002332625A JP4129168B2 (en) 2002-11-15 2002-11-15 Position detection apparatus, position detection method, and position detection program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008081032A Division JP4161007B2 (en) 2008-03-26 2008-03-26 Position detection device

Publications (2)

Publication Number Publication Date
JP2004171054A JP2004171054A (en) 2004-06-17
JP4129168B2 true JP4129168B2 (en) 2008-08-06

Family

ID=32697600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002332625A Expired - Fee Related JP4129168B2 (en) 2002-11-15 2002-11-15 Position detection apparatus, position detection method, and position detection program

Country Status (1)

Country Link
JP (1) JP4129168B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO323926B1 (en) * 2004-11-12 2007-07-23 New Index As Visual system and control object and apparatus for use in the system.
JP2007066080A (en) * 2005-08-31 2007-03-15 Casio Comput Co Ltd Pointing device
KR20120007735A (en) * 2010-07-15 2012-01-25 삼성전기주식회사 Distance measuring module and electronic device including the same
AT512350B1 (en) * 2011-12-20 2017-06-15 Isiqiri Interface Tech Gmbh COMPUTER PLANT AND CONTROL PROCESS THEREFOR
AT512461B1 (en) * 2012-02-10 2018-02-15 Isiqiri Interface Tech Gmbh DEVICE FOR ENTERING INFORMATION TO A DATA PROCESSING PLANT

Also Published As

Publication number Publication date
JP2004171054A (en) 2004-06-17

Similar Documents

Publication Publication Date Title
JP4057200B2 (en) Coordinate input device and recording medium for coordinate input device
US8089455B1 (en) Remote control with a single control button
US6100538A (en) Optical digitizer and display means for providing display of indicated position
EP2741491B1 (en) Camera and method for thermal image noise reduction using post processing techniques
CN105247414B (en) Image projection apparatus
JPH07261920A (en) Optical position detector and optical coordinate input device
US20130127716A1 (en) Projector
KR20080038176A (en) Input method for surface of interactive display
JP2005091044A (en) Spatial position detection method, information inputting method, spatial position detector, and information inputting device
TW201635092A (en) Display device, electronic device, hand-wearing device and control system
CA2014853C (en) Light-pen system for projected images
JP4161007B2 (en) Position detection device
CN106473759A (en) X-ray imaging equipment and the method for controlling which
EP2804039A1 (en) Microscope system and method for deciding stitched area
KR20130094307A (en) Projector
JP2012099024A (en) Coordinate input device, control method for the same and program
JP4129168B2 (en) Position detection apparatus, position detection method, and position detection program
JPH08234901A (en) Apparatus and system for position indication
US11448500B2 (en) Three-dimensional shape measuring apparatus and method thereof utilizing point cloud data and top view map imaging
JP2002268810A (en) Coordinate input device
JP2023115356A (en) Measurement device, imaging device, control method, and program
JP2001022520A (en) Coordinate input device
JP2007327966A (en) Light source module and position measuring system using it
JP4603407B2 (en) Pointer remote control device
CN108848295A (en) A kind of ultrashort burnt visual imaging method of miniaturization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080229

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080516

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees