JP2010122972A - 画像表示／検出装置、選択方法、及び、プログラム - Google Patents

Abstract

【課題】片手による操作を容易、かつ、直感的に行なうことができるＧＵＩを提供する。
【解決手段】ＰＤＡ１００は、センサ内蔵表示パネル３０１の近傍に親指５００の向きを、センサ内蔵表示パネル３０１により検出された画像に基づいて検知したうえで、基準点Ｒｅｆからみて親指５００の向きにあるアイコンを選択するように構成されており、親指５００を選択したいアイコンに向けてセンサ内蔵表示パネル３０１に接近または接触させることによって、そのアイコンが親指５００の届く範囲にあるか否かに関わらず、選択したいアイコンを容易、かつ、直感的に選択することができる。
【選択図】図１

Description

本発明は、画像の表示と画像の検出とを同時に行うことができる画像表示／検出装置に関する。また、そのような画像表示／検出装置において、表示対象物を選択する選択方法に関する。さらに、そのような画像表示／検出装置を動作させるプログラムに関する。

ＰＤＡ（Personal Digital Assistant）、スマートフォン、携帯電話機、携帯ゲーム機などの携帯型情報端末が広く用いられている。携帯型情報端末に情報を入力するための手段としては、これまで、ボタン（キーボードのキーを含む）が一般的であったが、近年、タッチパネルが利用されるようになってきている。タッチパネルを用いることにより、装置の薄型化を図ることができる。また、ボタンを省略することができるので、装置の小型化を図ることもできる。

このような携帯型情報端末においては、タッチパネル上に表示した複数の表示対象物（アイコン等）のうちの何れかをユーザに選択させるにあたり、ユーザが指で押えた表示対象物を選択するＧＵＩ（Graphical User Interface）が採用されている。

このようなＧＵＩの改良例として、特許文献１に記載のものが知られている。特許文献１に記載の情報処理装置においては、指によるタッチ位置から所定方向に所定距離隔てた位置にポインタが表示される。ユーザは、このポインタの位置を選択項目にあわせることより、所望の選択項目を指定することができる。すなわち、選択項目を目視しながら所望の選択項目を指定することができる。
特開平６−５１９０８（１９９４年２月２５日公開）

しかしながら、従来のＧＵＩにおいては、片手のみを用いた操作が困難であるという問題があった。

実際、タッチパネルを備えた携帯型情報端末を片手のみで操作する場合、携帯型情報端末を保持した手の親指でタッチパネルに触れることになる。しかし、携帯型情報端末を保持した状態で親指が届く範囲は限られており、親指が届かない範囲にあるアイコン等を選択することができないという問題を生じる。

本発明は、上記の問題に鑑みてなされたものであり、その目的は、片手による操作を容易、かつ、直感的に行なうことができるＧＵＩを提供することにある。

本発明に係る画像表示／検出装置は、画像を表示するとともに、近傍の画像を検出する面状部材を備えた画像表示／検出装置であって、上記面状部材の近傍にある物体の向きを上記面状部材により検出された画像に基づいて検知する向き検知手段と、上記面状部材に表示された複数の表示対象物のうち、上記向き検知手段により検知された上記物体の向きに応じた表示対象物を選択する選択手段と、を備えている、ことを特徴としている。

上記構成によれば、上記面状部材によって、上記面状部材の近傍にある物体の画像が検出され、上記向き検知手段によって、その物体の向きが検知される。そして、上記選択手段によって、上記面状部材に表示された表示対象物のうち、その物体の向きに応じた表示対象物が選択される。すなわち、上記構成によれば、上記面状部材の近傍のある物体の向きに応じた表示対象部が選択される。したがって、上記物体が接触または接近し得ない領域に表示された表示対象物であっても、容易に選択することができる。例えば、当該画像表示／検出装置を保持している手の親指を、選択したい表示対象物に向けて上記面状部材に接近または接触させることによって、その表示対象物が親指の届く範囲にあるか否かに関わらず、選択したい表示対象物を選択することができる。

なお、上記物体としては、指、特に、当該装置を保持している手の親指を想定することができるが、本発明はこれに限定されるものではない。すなわち、上記面状部材により検出された画像に基づいてその向きを検知することが可能な物であれば、どんな物であっても上記物体として利用することができる。例えば、ペンなども上記物体として利用することができる。

本発明に係る画像表示／検出装置は、上記物体により指示された上記面状部材上の指示位置を上記面状部材により検出された画像に基づいて逐次検知する位置検知手段を更に備えており、上記選択手段は、上記位置検知手段により逐次検知された指示位置の軌跡であって、上記物体の向きと反対向きに伸びる軌跡が形成される度に、上記物体の向きに対して下流側にある表示対象物から上流側にある表示対象物へと、選択する表示対象物を切り替える、ことが好ましい。

上記構成によれば、ユーザが画像表示／検出装置を保持している手の親指を手前にスライドさせると、上記位置検知手段により逐次検知された指示位置の軌跡であって、親指の向きと反対向きに伸びる軌跡が形成される。したがって、上記構成によれば、ユーザが親指を手前にスライドさせる度に、上記物体の向きに対して下流側にある表示対象物から上流側にある表示対象物へと、選択される表示対象物が切り替わる。このため、ユーザは、親指を手間に何度かスライドさせることにより、親指の向きに応じた表示対象物のうちから、そのスライド回数に応じた表示対象物を選択することができる。

本発明に係る画像表示／検出装置は、上記物体により指示される上記面状部材上の指示位置を上記面状部材により検出された画像に基づいて逐次検知する位置検知手段を更に備えており、上記選択手段は、上記位置検知手段により逐次検知された指示位置の軌跡であって、上記物体の向きと反対向きに伸びる軌跡が形成されている間、上記物体の向きに対して下流側にある表示対象物から上流側にある表示対象物へと、当該軌跡の長さに応じて選択する表示対象物を逐次切り替える、ことが好ましい。

上記構成によれば、ユーザが画像表示／検出装置を保持している手の親指を手前にスライドさせると、上記位置検知手段により逐次検知された指示位置の軌跡であって、親指の向きと反対向きに伸びる軌跡が形成される。ここで、各時点での軌跡の長さは、その時点での親指のスライド量に相当する。したがって、上記構成によれば、ユーザが親指を手前にスライドさせている間、上記物体の向きに対して下流側にある表示対象物から上流側にある表示対象物へと、選択される表示対象物がスライド量に応じて逐次切り替わる。このため、ユーザは、親指を手前にスライドさせることにより、親指の向きに応じた表示対象物のうちから、そのスライド量に応じた表示対象物を選択することができる。

本発明に係る画像表示／検出装置は、上記物体が上記面状部材をタップするタイミングを、上記面状部材により検出された画像に基づいて検知するタイミング検知手段と、上記タイミング検知手段により検知されたタイミングで上記選択手段により選択されている表示対象物に関連付けられた処理の実行を開始する処理実行手段と、を更に備えている、ことが好ましい。

上記の構成によれば、上記面状部材に表示されている表示対象物が、アプリケーションに関連付けられたアイコンや、コマンドに関連付けられたボタンなど、何らかの処理に関連付けられた表示対象物である場合に、上記面状部材を指等の物体によりタップすることで、選択されている表示対象物に関連付けられた処理を実行することができる。

なお、上記タイミング検知手段は、ダブルタップ、あるいは、マルチタップが行なわれるタイミングを検知するように構成されていてもよい。ここで、ダブルタップとは、タップが２回立て続けに行なわれることであり、マルチタップとは、タップが２回以上立て続けに行なわれることである。

本発明に係る画像表示／検出装置は、上記物体が上記面状部材から離間するタイミングを、上記面状部材により検出された画像に基づいて検知するタイミング検知手段を更に備えており、上記タイミング検知手段により検知されたタイミングで上記選択手段により選択されている表示対象物に関連付けられた処理の実行を開始する処理実行手段と、を更に備えている、ことが好ましい。

上記の構成によれば、上記面状部材に表示されている表示対象物が、アプリケーションに関連付けられたアイコンや、コマンドに関連付けられたボタンなど、何らかの処理に関連付けられた表示対象物である場合に、上記面状部材から指等の物体を離間させることで、選択されている表示対象物に関連付けられた処理を実行することができる。

本発明に係る画像表示／検出装置において、上記選択手段は、上記面状部材に表示された複数の表示対象物のうち、予め設定された基準点からみて上記物体の向きにある表示対象物を選択するものであり、上記面状部材に表示された表示対象物は、上記基準点を中心に放射状に配置されている、ことが好ましい。

上記構成によれば、物体をどちらに向けて面状部材に接近または接触させたときに、どの表示対象物が選択されるのかが、ユーザにとって一目瞭然となる。したがって、より直感的な操作を可能ならしめるという更なる効果を奏する。

なお、上記表示対象物は、アプリケーションに関連付けられたアイコンであり、上記面状部材に表示されたアイコンは、類似した機能を有するアプリケーションに関連付けられたアイコン同士が同一の放射線上に位置するように配置されていてもよい。

上記課題を解決するために、本発明に係る選択方法は、画像を表示するとともに、近傍の画像を検出する面状部材を備えた画像表示／検出装置において、該面状部材に表示されている表示対象物を選択する選択方法であって、上記面状部材の近傍にある物体の向きを、上記面状部材により検出された画像に基づいて検知する向き検知工程と、上記面状部材に表示されている表示対象物のうち、上記向き検知工程において検知された上記物体の向きに応じた表示対象物を選択する選択工程と、を含んでいる、ことを特徴としている。

上記構成によれば、上記物体が接触または接近し得ない領域に表示された表示対象物であっても、容易に選択することができる。例えば、当該画像表示／検出装置を保持している手の親指を、選択したい表示対象物に向けて上記面状部材に接近または接触させることによって、その表示対象物が親指の届く範囲にあるか否かに関わらず、選択したい表示対象物を選択することができる。

また、本発明に係る画像表示／検出装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムも本発明の範疇に含まれる。なお、このプログラムは、コンピュータ読み取り可能な記録媒体に記録されていてもよい。

本発明に係る画像表示／検出装置は、以上のように、画像を表示するとともに、近傍の画像を検出する面状部材を備えた画像表示／検出装置であって、上記面状部材の近傍にある物体の向きを上記面状部材により検出された画像に基づいて検知する向き検知手段と、上記面状部材に表示された複数の表示対象物のうち、上記向き検知手段により検知された上記物体の向きに応じた表示対象物を選択する選択手段と、を備えている。このため、当該画像表示／検出装置を保持している手の親指を、選択したい表示対象物に向けて上記面状部材に接近または接触させることによって、その表示対象物が親指の届く範囲にあるか否かに関わらず、選択したい表示対象物を選択することができる。つまり、片手による操作を容易、かつ、直感的に行なうことができるＧＵＩを提供することができる。

本実施形態に係る画像表示／検出装置は、画像を表示するとともに、近傍の画像を検出するセンサ内蔵液晶パネルを備えたＰＤＡ（Personal Digital Assistant：携帯情報端末）として実現されている。そこで、以下、本実施形態に係る画像表示／検出装置を端的にＰＤＡ１００と呼称する。ただし、本発明はこれに限定されるものではなく、画像を表示するとともに近傍の画像を検出する面状部材を備えた情報処理装置一般に適用することができる。

（発明の要点）
ＰＤＡ１００の主要な特徴は、センサ内蔵液晶パネル３０１に表示された表示対象物を選択するにあたり、センサ内蔵液晶パネル３０１の近傍にある物体の向きを検知し、その物体の向きに応じた表示対象物を選択する点にある。このため、ユーザは、例えば、所望の表示対象物の方に向けた親指をセンサ内蔵液晶パネル３０１に近づけることにより、その親指が届かない範囲にある表示対象物であっても、ＰＤＡ１００を握ったまま片手で容易に選択することができる。

ＰＤＡ１００により提供される表示対象物の選択方法について、図１を参照してもう少し詳しく説明する。図１は、ＰＤＡ１００と、ＰＤＡ１００を使用しているユーザの親指５００とを示す図である。ここでは、ＰＤＡ１００が備えているセンサ内蔵液晶パネル３０１に表示された１６個のアイコンａ，ｂ，ｃ，…，ｐの何れかを、ＰＤＡ１００を左手の親指５００を用いた操作により選択するケースを例示している。

ユーザが親指５００をセンサ内蔵液晶パネル３０１に近づけると、ＰＤＡ１００は、センサ内蔵液晶パネル３０１により検出された画像に基づいて、親指５００の向きを検知する。そして、検知した親指５００の向きに応じたアイコン、すなわち、基準点Ｒｅｆからみて親指５００の向きにあるアイコンの何れかを選択する（基準点の設定については後述）。

ここで、基準点Ｒｅｆからみて親指５００の向きにあるアイコンの個数が１であれば、そのアイコンを選択し、基準点Ｒｅｆからみて親指５００の向きにあるアイコンの個数が２以上であれば、それらのアイコンのうち親指５００の向きに対して最も下流側にあるものを選択する。

図１に示した例に即して言えば、基準点Ｒｅｆからみて親指５００の向きにある３つのアイコンｈ，ｋ，ｎのうち、基準点Ｒｅｆから最も遠くにあるアイコンｈを選択する。なお、向きｖに対して点ｘが点ｙよりも下流側にあるとは、点ｙから向きｖに伸びる半直線と、点ｙから点ｘに向かって伸びる半直線との成す角が９０度未満になることである。換言すれば、向きｖを１２時の方向としたときに、点ｙからみて点ｘが９時から３時までの方向に位置することである。

次に、ＰＤＡ１００は、センサ内蔵液晶パネル３０１により検出された画像に基づいて、親指５００により指示されたセンサ内蔵液晶パネル３０１上の指示位置Ｐを逐次検知する。そして、ユーザが親指５００を手前にスライドさせる度に、すなわち、親指５００の向きと反対向きに伸びる指示位置Ｐの軌跡が形成される度に、親指５００の向きに対して下流側にあるアイコンから上流側にあるアイコンへと、選択するアイコンを切り替える。

図１に示した例に即して言えば、アイコンｈが選択されている状態で、ユーザが親指５００を手前に１回スライドさせると、ＰＤＡ１００は、選択するアイコンをアイコンｈからアイコンｋに切り替える。同様に、アイコンｋが選択されている状態で、ユーザが親指５００を手前にもう１回スライドさせると、ＰＤＡ１００は、選択するアイコンをアイコンｋからアイコンｎに切り替える。

基準点Ｒｅｆからみて親指５００の向きにあるアイコンの何れかが選択されている間、ＰＤＡ１００は、タップ操作（親指５００をごく短時間センサ内蔵液晶パネル３０１に接触または接近させる動作）が行われるタイミングを監視している。そして、ＰＤＡ１００は、タップ操作を検出した時点で選択されていたアイコンに関連付けられているアプリケーションを起動する。

図１に示した例に即して言えば、ユーザは、親指５００をアイコンｈ、ｋ、ｎの方向に向けた後、（１）親指５００を手前にスライドさせることなくタップ操作を行なうことで、アイコンｈに関連付けられたアプリケーションを起動することができ、（２）親指５００を手前に１回スライドさせてからタップ操作を行なうことで、アイコンｋに関連付けられたアプリケーションを起動することができ、（３）親指５００を手前に２回スライドさせてからタップ操作を行なうことで、アイコンｎに関連付けられたアプリケーションを起動することができる。すなわち、親指５００が届かない位置にあるアイコンｈやアイコンｋに関連付けられたアプリケーションであっても、ユーザは簡単な操作でこれを起動することができる。

なお、ここでは、図１に示したように、指示位置Ｐを通り親指５００の向きに伸びる直線と、センサ内蔵液晶パネル３０１との交点を基準点Ｒｅｆとするが、これに限定されるものではない。すなわち、例えば、センサ内蔵液晶パネル３０１の左下隅を基準点Ｒｅｆとしてもよい。センサ内蔵液晶パネル３０１の左下隅を基準点Ｒｅｆとしても、ユーザが左手親指を用いてＰＤＡ１００を操作する限り、上記交点を基準点Ｒｅｆとする場合と略同様の操作感を実現することができる。また、ユーザが右手親指を用いてＰＤＡ１００を操作することを想定し、センサ内蔵液晶パネル３０１の右下隅を基準点Ｒｅｆとしてもよい。更に、ユーザがＰＤＡ１００を左手親指で操作しているのか右手親指で操作しているのかを、センサ内蔵液晶パネル３０１により検出された画像に基づいて判定したうえで、センサ内蔵液晶パネル３０１の左下隅を基準点とするか左下隅を基準点とするかを、判定結果に応じて切り替えるようにしてもよい。また、指示位置Ｐを基準点としてもよい。この場合、指示位置Ｐより手前にあるアイコンも選択可能とするために、基準点Ｒｅｆからみて親指５００の向きにあるアイコンの他に、基準点Ｒｅｆからみて親指５００の向きと反対向きにあるアイコンも選択候補アイコンに加えるとよい。

また、ここでは、ユーザが親指５００を手前にスライドさせる度に選択するアイコンを切り替えるものとしたが、これに限定されるものではない。すなわち、例えば、ユーザが親指５００を手前にスライドさせている間、親指５００の向きに対して下流側にあるアイコンから上流側にあるアイコンへと、指示位置Ｐが描く軌跡の長さに応じて選択するアイコンを順次切り替えるようにしてもよい。図１に示した例に即して言えば、例えば、指示位置Ｐを５ｍｍスライドした段階で、選択するアイコンをアイコンｈからアイコンｋに切り替え、指示位置Ｐを更に５ｍｍスライドした段階で、選択するアイコンをアイコンｋからアイコンｎに切り替えるようにしてもよい。

また、ここでは、タップ操作が検出された時点で選択されていたアイコンに関連付けられているアプリケーションを起動するものとしたが、これに限定されるものではない。すなわち、例えば、ダブルタップ操作（タップ操作を２回立て続けに行なう操作）が検出された時点で選択されていたアイコンに関連付けられているアプリケーションを起動するようにしてもよい。また、ユーザが親指５００を手前にスライドさせている間に指示位置Ｐが描く軌跡の長さに応じて選択するアイコンを順次切り替える構成においては、例えば、親指５００をセンサ内蔵液晶パネル３０１から離間させる操作が行われた時点で選択されているアイコンに関連付けられているアプリケーションを起動するようにしてもよい。これにより、ユーザは、親指５００を適当な量スライドさせてセンサ内蔵液晶パネル３０１から離す、という一連の動作を行うだけで所望のアプリケーションを起動することができる。

また、あるアイコンが直接タップされた場合には、基準点Ｒｅｆからみて親指５００の向きにあるか否かに関わらず、そのアイコンに関連付けられたアプリケーションを起動するようにしてもよい。これにより、親指５００を向けにくい位置にあるアイコンに関連付けられたアプリケーションを起動する場合であっても、ユーザは、例えば、右手の人差し指によりそのアイコンをタップすることによりこれを容易に起動することができる。

（センサ内蔵液晶パネルの概要）
ＰＤＡ１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（ＰＤＡの要部構成）
次に、図４を参照しながら、上記ＰＤＡ１００の要部構成について説明する。図４は、ＰＤＡ１００の要部構成を示すブロック図である。図示のように、ＰＤＡ１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、ＰＤＡ１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、ＰＤＡ１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、ＰＤＡ１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、ＰＤＡ１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、ＰＤＡ１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（アイコン選択方法の詳細）
次に、図９および図１０を参照しながら、本発明において特徴的なアイコン選択方法を実現する主制御部８００の構成おおよび動作について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。

図９は、主制御部８００の機能構成を示すブロック図である。図９に示したように、主制御部８００は、アイコンをセンサ内蔵液晶パネル３０１に表示するアイコン表示部８０１と、センサ液晶パネル３０１の近傍にある物体の向きを検知する検知部８０２と、アイコン表示部８０１によりセンサ内蔵液晶パネル３０１に表示されたアイコンのうち、向き検知部８０２により検知された物体の向きに応じたアイコンを選択するアイコン選択部８０３と、アイコン選択部８０３により選択されたアイコンに関連付けられたアプリケーションを実行するためのアプリケーション実行部８０４とを含んでいる。

図１０は、主制御部８００により実現されるアイコン選択方法の流れを示したフローチャートである。図１０に示された各ステップにおいて実行される処理について説明すれば以下のとおりである。

ステップＳ１０は、起動可能なアプリケーションに関連付けられたアイコンをセンサ内蔵液晶パネル３０１に一覧表示するステップである。具体的には、例えば、アイコン表示部８０１が、アイコン記憶部９０１から読み出したアイコンデータに基づいて、起動可能なアプリケーションに関連付けられたアイコンを一覧表示するための表示用データを生成するとともに、生成した表示用データをデータ処理部７００に供給することによって、起動可能なアプリケーションに関連付けられたアイコンをセンサ内蔵液晶パネル３０１に一覧表示させる。

ステップＳ１１は、センサ内蔵液晶パネル３０１の近傍にある物体の向きを検知するステップである。ここでは、センサ内蔵液晶パネル３０１の近傍にある物体として、図１に示した親指５００を想定する。具体的には、例えば、向き検知部８０２が、データ取得タイミングとして「イベント」を指定し、データ種別として「全体画像」を指定し、かつ、スキャン方式として「反射」を指定したコマンドをセンサデータ処理部７０３に送信することにより、センサデータ処理部７０３から全体画像を取得したうえで、例えば図１１に示すようにして、取得した全体画像に基づいて親指５００の向きを検知する。

すなわち、まず、親指５００により指示されるセンサ内蔵液晶パネル３０１上の指示位置Ｐ０を中心に全体画像を複数の扇状領域に分割して、扇状領域毎に平均明度を算出する。そして、各扇状領域の平均明度を比較して、平均明度が最も高い扇状領域を特定する。最後に、指示位置Ｐからみて平均明度が最も高い扇状領域がある向きの反対向きを親指５００の向きとする。ここで、親指５００により指示されるセンサ内蔵液晶パネル３０１上の指示位置Ｐ０の座標は、データ取得タイミングとして「イベント」を指定し、かつ、データ種別として「座標」を指定したコマンドをセンサデータ処理部７０３に送信することにより、センサデータ処理部７０３から全体画像とともに取得することができる。なお、ステップＳ１１において、スキャン方式として「透過」を指定して全体画像を取得する場合には、平均明度が最も低い扇状領域がある向きと反対向きを親指５００の向きとすればよい。

ステップＳ１２は、ステップＳ１０にてセンサ内蔵液晶パネル３０１に表示されたアイコンのうち、基準点Ｒｅｆからみて親指５００の向き（ステップＳ１１にて特定された向き）にあるアイコンを選択候補アイコンとして特定するとともに、選択候補アイコンのうち親指５００の向きに対して最も下流側にあるアイコンを選択するステップである。具体的には、アイコン選択部８０３が、センサ内蔵液晶パネル３０１に表示されたアイコンの各々について、基準点Ｒｅｆからみて親指５００の向きにあるか否かを判定し、基準点Ｒｅｆからみて親指５００の向きにあると判定されたアイコンを選択候補アイコンとする。ここで、あるアイコンが基準点Ｒｅｆからみて親指５００の向きにあるか否かは、例えば、基準点Ｒｅｆからそのアイコンの中心に向かって伸びる半直線と、基準点Ｒｅｆから親指５００の向きに伸びる半直線との成す角が所定の閾値以下であるか否かにより判定することができる。そして、アイコン選択部８０３が、選択候補アイコンのうち、親指５００の向きに対して最も下流側にあるアイコン、換言すれば、基準点Ｒｅｆから最も遠くにあるアイコンを選択する。

ステップＳ１３は、センサデータ処理部７０３により逐次検知された、親指５００により指示されるセンサ内蔵液晶パネル３０１上の指示位置Ｐ_１，Ｐ_２，…，Ｐ_Ｎを取得するためのステップである。具体的には、アイコン選択部８０３が、データ取得タイミングとして「オール」を指定し、かつ、データ種別として「座標」を指定したコマンドをセンサデータ処理部７０３に送信することより、指示位置Ｐ_１，Ｐ_２，…，Ｐ_Ｎの座標を取得して座標記憶部９０１ｂに記憶する。

ステップＳ１４は、センサデータ処理部７０３により逐次検知された指示位置Ｐ_１，Ｐ_２，…，Ｐ_Ｎの軌跡が、ユーザが親指５００を手前にスライドさせる動作に対応するものであるか否か、すなわち、親指５００の向きと反対向きに伸びる軌跡であるか否かを判定するステップである。具体的には、アイコン選択部７０２が、指示位置Ｐ_１，Ｐ_２，…，Ｐ_Ｎの座標を座標記憶部９０１ｂから読み出したうえで、例えば図１２に示すようにして、指示位置Ｐ_１，Ｐ_２，…，Ｐ_Ｎの軌跡が親指５００の向きと反対向きに伸びる軌跡であるか否かを判定する。

すなわち、１以上Ｎ−１以下の全てのｉについて、指示位置Ｐｉから親指５００の向きと反対向きに伸びる半直線と、指示位置Ｐｉから指示位置Ｐ_ｉ＋１に向かって伸びる半直線との成す角α_ｉを予め定められた閾値と比較し、成す角α_１，α_２，…，α_Ｎが何れも閾値以下であれば、指示位置Ｐ_１，Ｐ_２，…，Ｐ_Ｎの軌跡が親指５００の向きと反対向きに伸びる軌跡であると判定する。

ステップＳ１４にて、指示位置Ｐ_１，Ｐ_２，…，Ｐ_Ｎの軌跡が親指５００の向きと反対向きに伸びる軌跡でないと判定された場合には、再びステップＳ１３に戻って新たな指示位置Ｐ_１，Ｐ_２，…，Ｐ_Ｎの座標を取得する。一方、ステップＳ１４にて、指示位置Ｐ_１，Ｐ_２，…，Ｐ_Ｎの軌跡が親指５００の向きと反対向きに伸びる軌跡であると判定された場合には、ステップＳ１５において選択するアイコンを切り替えた後に、再びステップＳ１３に戻って新たな指示位置Ｐ_１，Ｐ_２，…，Ｐ_Ｎの座標を取得する。

ステップＳ１５は、親指５００の向きに対して下流側にあるアイコンから上流側にあるアイコンへと、選択するアイコンを切り替えるステップである。具体的には、アイコン選択部８０３が、ステップＳ１２において特定した選択候補アイコンのうち、現在選択されているアイコンよりも親指５００の向きに対して上流側にあるアイコンを選択する。ここで、現在選択されているアイコンよりも親指５００の向きに対して上流側にあるアイコンの個数が１であれば、そのアイコンを選択し、現在選択されているアイコンよりも親指５００の向きに対して上流側にあるアイコンの個数が２以上であれば、それらのアイコンのうち最も下流側にあるものを選択する。

上記ステップＳ１３〜１５が繰り返されている間、アプリケーション実行部８０４は、タップ操作が行われるタイミングを監視する。具体的には、データ取得タイミングとして「イベント」を指定し、かつ、データ種別として「座標」を指定したコマンドを、最初にステップＳ１３の実行が開始されるのと同時にセンサデータ処理部７０３に送信した後、その応答を待ち受ける。タップ操作が行われると、センサデータ処理部７０３からタップされた点の座標が返される。これにより、アプリケーション実行部８０４は、タップ操作が行われたタイミングを特定することができる。

そして、アプリケーション実行部８０４は、タップ操作が行われた時点でアイコン選択部８０３により選択されているアイコンに関連付けられたアプリケーションの実行を開始する（ステップＳ１６）。なお、記憶部９０１には、アプリケーションを実行するためのプログラムが、アイコンと関連付けて記憶されており、アプリケーション実行部８０４は、アイコン選択部８０３により選択されているアイコンに関連付けられたプログラムをアプリケーション記録部９０１ｂから読み出して実行することができる。

なお、ここでは、ユーザが親指５００を手前にスライドさせる度に選択するアイコンを切り替える構成について説明したが、ユーザが親指５００を手前にスライドさせている間、指示位置Ｐが描く軌跡の長さに応じて選択するアイコンを順次切り替える構成を採用してもよい。この変形例について図１３を参照して説明する。

図１３は、主制御部８００により実現されるこの場合のアイコン選択方法の流れを示したフローチャートである。図１０に示したフローチャートからの変更点は、ステップＳ１３〜Ｓ１５がそれぞれ、ステップＳ１３’〜ステップＳ１５’に置き換えられている点である。

ステップＳ１３’は、センサデータ処理部７０３により検知された、親指５００により指示されるセンサ内蔵液晶パネル３０１上の指示位置Ｐｉを取得するステップである。ただし、ここでは、アイコン選択部８０３は、データ取得タイミングとして「センス」を指定し、かつ、データ種別として「座標」を指定したコマンドをセンサデータ処理部７０３に送信することより、指示位置Ｐｉを１つ取得して座標記憶部９０１ｂに記憶する。

ステップＳ１４’は、軌跡の長さを算出するステップである。具体的には、アイコン選択部８０３が、最初に取得した指示位置Ｐ_１から最後に取得した指示位置Ｐｉまでの指示位置Ｐ_１，Ｐ_２，…，Ｐ_ｉにより形成された軌跡の長さを算出する。指示位置Ｐ_１，Ｐ_２，…，Ｐ_ｉにより形成された軌跡の長さを算出する方法としては、例えば、最初に取得した指示位置Ｐ_１と最後に取得した指示位置Ｐ_ｉとの距離を軌跡の長さＬｉとする方法を挙げることができる。その他、指示位置Ｐ_ｊと指示位置Ｐ_ｊ＋１との間の距離を積算して軌跡の長さとする方法なども考えられる。

ステップＳ１５’は、ステップＳ１４にて算出された軌跡の長さＬ_ｉに応じたアイコンを選択するステップである。ステップＳ１５’においては、軌跡の長さＬ_ｉが長くなれば長くなるほど、親指５００の向きに対してより下流側にあるアイコン、言い換えれば、基準点Ｒｅｆにより近いアイコンを選択する。例えば、アイコンａ、アイコンｂ、およびアイコンｃが基準点Ｒｅｆからみて親指の向きにあり、基準点Ｒｅｆからの距離がそれぞれ、４ｃｍ、３ｃｍ、１ｃｍであるとすると、Ｌ_ｉが３／４ ＜ （Ｌmax−Ｌ_ｉ）／Ｌmax ≦ １を満たすときにアイコンａを、Ｌ_ｉが１／４ ＜ （Ｌmax−Ｌ_ｉ）／Ｌmax ≦ ３／４を満たすときにアイコンｂを、Ｌ_ｉが（Ｌmax−Ｌ_ｉ）／Ｌmax ≦ １／４を満たすときにアイコンｃを選択するようにすればよい。ここで、Ｌmaxは、親指の屈曲より得られる指示位置の最大移動量として予め設定された値である。

この変形例によれば、親指を手前に１回スライドさせるだけで、親指５００の向きにあるアイコンのどれでも選択することができる点で有利である。

最後に、図１０および図１３に示したフローチャートのステップＳ１０にて表示する、望ましいアイコン一覧画面について説明する。

図１４は、Ｓ１０にて表示する望ましいアイコン一覧画面を例示した図である。図１４に示したアイコン一覧画面は、予め設定された基準点Ｒｅｆを中心にアイコンが放射状に配置されていることを特徴としている。このようにアイコンを配置することによって、親指５００によってどのアイコンも明確に指し示すことができるので、アイコンの選択が更に容易となる。

ここで、類似した機能を有するアプリケーションに関連付けられたアイコン同士が同一の放射線上に位置するようにアイコンを配置しておくことが好ましい。例えば、インターネットを利用するアプリケーション（ウェブブラウザーやメーラーなど）に関連付けられたアイコン同士が同一の放射線上に位置するように配置しておくことが望ましい。これにより、ユーザは、親指を手前にスライドさせるだけで、類似した機能を有するアプリケーションに関連付けられたアイコンのなかから、所望のアプリケーションに関連付けられたアイコンを選択することができる。

（付記事項）
最後に、ＰＤＡ１００の主制御部８００、データ処理部７００、回路制御部６００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、ＰＤＡ１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるＰＤＡ１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記ＰＤＡ１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、ＰＤＡ１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像表示機能と画像検出機能とを兼ね備えた面状部材を具備した情報処理装置一般に対して適用することができる。特に、ＰＤＡ（Personal Digital Assistant）、スマートフォン、携帯電話機などの携帯型情報端末装置において、取り分け好適に利用することができる。

本発明の一実施形態に係るＰＤＡと、そのＰＤＡを操作するユーザの左手親指とを示す図である。 本発明の一実施形態に係るＰＤＡが備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 図３（ａ）は、本発明の一実施形態に係るＰＤＡが備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るＰＤＡが備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 本発明の一実施形態に係るＰＤＡの要部構成を示すブロック図である。 本発明の一実施形態に係るＰＤＡで用いられるコマンドのフレーム構造の一例を模式的に示す図である。 図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 図７（ａ）は、本発明の一実施形態に係るＰＤＡにて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るＰＤＡにて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。 本発明の一実施形態に係るＰＤＡが備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。 本発明の一実施形態に係るＰＤＡが備えている主制御部の機能ブロック図である。 本発明の一実施形態に係るＰＤＡおいて、アイコンを選択する処理の流れを示すフローチャートである。 本発明の一実施形態に係るＰＤＡにおいて、親指の向きを検知する方法を例示した図である。 本発明の一実施形態に係るＰＤＡにおいて、親指を手前にスライドさせる動作に相当する指示位置の軌跡を検知する方法を例示した図である。 本発明の一実施形態に係るＰＤＡにおいて、アイコンを選択する処理の流れの変形例を示すフローチャートである。 本発明の一実施形態に係るＰＤＡに表示される、望ましいアイコン一覧画面を例示した図である。

符号の説明

１００ ＰＤＡ（画像表示／検出装置）
３００ 表示／光センサ部
３００Ａ 第１表示／光センサ部
３００Ｂ 第２表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）
６００ 回路制御部
６０１ 表示制御部
６０２ センサ制御部
６０３ バックライト制御部
７００ データ処理部
７０１ 表示データ処理部
７０３ センサデータ処理部（位置検知手段）
８００ 主制御部
８０１ アイコン表示部
８０２ 向き検知部（向き検知手段）
８０３ アイコン選択部（選択手段）
８０４ アプリケーション実行部（処理実行手段）
９０１ 記憶部

Claims (9)

1. 画像を表示するとともに、近傍の画像を検出する面状部材を備えた画像表示／検出装置であって、
   上記面状部材の近傍にある物体の向きを上記面状部材により検出された画像に基づいて検知する向き検知手段と、
   上記面状部材に表示された複数の表示対象物のうち、上記向き検知手段により検知された上記物体の向きに応じた表示対象物を選択する選択手段と、を備えている、
   ことを特徴とする画像表示／検出装置。
2. 上記物体により指示された上記面状部材上の指示位置を上記面状部材により検出された画像に基づいて逐次検知する位置検知手段を更に備えており、
   上記選択手段は、上記位置検知手段により逐次検知された指示位置の軌跡であって、上記物体の向きと反対向きに伸びる軌跡が形成される度に、上記物体の向きに対して下流側にある表示対象物から上流側にある表示対象物へと、選択する表示対象物を切り替える、
   ことを特徴とする請求項１に記載の画像表示／検出装置。
3. 上記物体により指示される上記面状部材上の指示位置を上記面状部材により検出された画像に基づいて逐次検知する位置検知手段を更に備えており、
   上記選択手段は、上記位置検知手段により逐次検知された指示位置の軌跡であって、上記物体の向きと反対向きに伸びる軌跡が形成されている間、上記物体の向きに対して下流側にある表示対象物から上流側にある表示対象物へと、当該軌跡の長さに応じて選択する表示対象物を逐次切り替える、
   ことを特徴とする請求項１に記載の画像表示／検出装置。
4. 上記物体が上記面状部材をタップするタイミングを、上記面状部材により検出された画像に基づいて検知するタイミング検知手段と、
   上記タイミング検知手段により検知されたタイミングで上記選択手段により選択されている表示対象物に関連付けられた処理の実行を開始する処理実行手段と、を更に備えている、
   ことを特徴とする請求項２または３に記載の画像表示／検出装置。
5. 上記物体が上記面状部材から離間するタイミングを、上記面状部材により検出された画像に基づいて検知するタイミング検知手段を更に備えており、
   上記タイミング検知手段により検知されたタイミングで上記選択手段により選択されている表示対象物に関連付けられた処理の実行を開始する処理実行手段と、を更に備えている、
   ことを特徴とする請求項３に記載の画像表示／検出装置。
6. 上記選択手段は、上記面状部材に表示された複数の表示対象物のうち、予め設定された基準点からみて上記物体の向きにある表示対象物を選択するものであり、
   上記面状部材に表示された表示対象物は、上記基準点を中心に放射状に配置されている、
   ことを特徴とする請求項１から５の何れか１項に記載の画像表示／検出装置。
7. 上記表示対象物は、アプリケーションに関連付けられたアイコンであり、
   上記面状部材に表示されたアイコンは、類似した機能を有するアプリケーションに関連付けられたアイコン同士が同一の放射線上に位置するように配置されている、
   ことを特徴とする請求項６に記載の画像表示／検出装置。
8. 画像を表示するとともに、近傍の画像を検出する面状部材を備えた画像表示／検出装置において、該面状部材に表示されている表示対象物を選択する選択方法であって、
   上記面状部材の近傍にある物体の向きを、上記面状部材により検出された画像に基づいて検知する向き検知工程と、
   上記面状部材に表示されている表示対象物のうち、上記向き検知工程において検知された上記物体の向きに応じた表示対象物を選択する選択工程と、を含んでいる、
   ことを特徴とする選択方法。
9. コンピュータを請求項１から７の何れか１項に記載の画像表示／検出装置として機能させるためのプログラムであって、
   上記コンピュータを上記画像表示／検出装置が備えている各手段として機能させるプログラム。

Images