JP2010146394A - 像検知装置、制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】画像データから対象物の画像を抽出する処理を、当該画像データの所定領域に対して施す。
【解決手段】データ表示／センサ装置１００は、表示／光センサ部３００にて検知された像の画像を所定周期で生成する装置であって、上記生成された最新の画像と、当該画像の直前に生成された画像との間で、画素値の変化量が所定閾値より大きい領域である変化領域を抽出する部分画像抽出部７１３を備えるとともに、上記２つの画像間の上記変化領域を抽出する処理を施す対象とする抽出処理対象領域を設定する抽出領域設定部７１１を備える。
【選択図】図１

Description

本発明は、対象物の像を検知する像検知装置、制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。

従来から知られているタッチパネルでは、受光素子から出力される受光信号に基づいて生成した画像データを解析することによって、タッチパネルの近傍の対象物（例えば、ユーザの指やペンなど）の画像を抽出する処理を行ない、対象物がタッチパネルに接している位置の座標を検出している。これにより、ユーザが指やペンなどでタッチした位置の座標を特定している。

ここで、対象物の画像を抽出する処理は、連続して生成される２枚の画像データのそれぞれについて、画像データの全体を比較し、画素の明度等が変化している部分（以下、変化領域と称する）を抽出することによって行なわれるのが一般的である。

なお、変化領域や対象物の画像抽出に関する従来技術として、特許文献１〜３がある。特許文献１では、現画像と背景画像との変化部分である領域が左手あるいは右手のいずれを撮像したものであるかを判定する画像解析装置が開示されている。特許文献２では、部分領域毎の画像の特徴に基づいて、変形する動画像を生成する描画処理システムが開示されている。特許文献３では、複数の受光素子からの受光信号に基づいて生成した受光画像データから検出したオブジェクトの位置関係等に基づいて、マウスで使用されるコマンドのうちの所定の１つを発行する表示方法が開示されている。
特開２００６−１１９６５号公報（公開日：平成１８年１月１２日） 特開平９−２３１３９７号公報（公開日：平成９年９月５日） 特開２００８−９７１７２号公報（公開日：平成２０年４月２４日）

ところで、ユーザがタッチした位置の座標の検出は、ユーザの操作性を損なわないように、できるだけリアルタイムに行なうことが一般的に求められる。

しかしながら、画像データの全体に対して、対象物の画像の抽出処理を施す場合、画像データのサイズが大きくなると、画素の明度等を比較する回数が多くなり、一般的に処理の負荷が大きくなるので、リアルタイムに処理を行なうことが困難になる。

ここで、対象物の画像の抽出処理を、画像データの全体に対して施すのではなく、画像データの所定領域のみに対して施すようにすることが考えられる。このようにすれば、処理の負荷が低減され、リアルタイムに処理を行なうことが可能となる。特に、上記所定領域が、ユーザの操作に基づいて限定することが可能であれば、さらに処理の負荷が低減される。

なお、画像データの所定領域のみに対して対象物の画像の抽出処理を施す技術は、上述した特許文献１〜３には開示されていない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像データから対象物の画像を抽出する処理を、当該画像データの所定領域に対して施す像検知装置、制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。

上記課題を解決するために、本発明に係る像検知装置は、近傍の像を検知する面状部材を備えるとともに、上記面状部材にて検知された像の画像を所定周期で生成する像検知装置であって、上記生成された最新の画像と、当該画像の直前に生成された画像との間で、画素値の変化量が所定閾値より大きい領域である変化領域を抽出する変化領域抽出手段を備えるとともに、上記変化領域抽出手段が上記２つの画像間の上記変化領域を抽出する処理を施す対象とする抽出処理対象領域を設定する抽出領域設定手段を備えることを特徴としている。

また、本発明に係る像検知装置の制御方法は、近傍の像を検知する面状部材を備えるとともに、上記面状部材にて検知された像の画像を所定周期で生成する像検知装置の制御方法であって、上記生成された最新の画像と、当該画像の直前に生成された画像との間で、画素値の変化量が所定閾値より大きい領域である変化領域を抽出する変化領域抽出ステップを含むとともに、上記変化領域抽出ステップにて上記２つの画像間の上記変化領域を抽出する処理を施す対象とする抽出処理対象領域を設定する抽出領域設定ステップを含むことを特徴としている。

上記の構成によれば、所定周期で生成された最新の画像と、当該画像の直前に生成された画像との間で、画素値の変化量が所定閾値より大きい領域である変化領域を抽出する処理を施す対象とする抽出処理対象領域を設定することができる。

よって、変化領域の抽出処理を、抽出処理対象領域に限定して行なうことができる。

したがって、抽出処理対象領域を限定せず、画像全体に対して変化領域の抽出処理を行なう従来方式と比べて、処理の負荷を低減することができるという効果を奏する。

さらに、本発明に係る像検知装置は、上記の構成において、上記抽出領域設定手段は、上記最新の画像の直前に生成された画像と、当該画像の直前に生成された画像との上記変化領域、および、当該変化領域の周辺を、上記抽出処理対象領域として設定する構成としてもよい。

上記の構成によれば、さらに、上記最新の画像の直前に生成された画像と、当該画像の直前に生成された画像との変化領域、および、当該変化領域の周辺を、上記抽出処理対象領域として設定することができる。

よって、今回抽出される変化領域の抽出処理を、前回抽出した変化領域およびその周辺に限定して行なうことができる。

したがって、今回抽出される変化領域が、前回抽出された変化領域の周辺である可能性が高い場合（特に、ユーザが指やペンなどで面状部材上を連続的にドラッグしている場合）、抽出処理対象領域をより正確に設定することができるという効果を奏する。

さらに、本発明に係る像検知装置は、上記の構成において、上記面状部材は、さらに、画像を表示するものであって、上記抽出領域設定手段は、上記面状部材に表示される、ユーザ指示を受け付ける領域を示す画像を少なくとも含む領域を、上記抽出処理対象領域として設定する構成としてもよい。

上記の構成によれば、さらに、上記面状部材に表示される、ユーザ指示を受け付ける領域を示す画像を少なくとも含む領域を、上記抽出処理対象領域として設定することができる。

よって、今回抽出される変化領域の抽出処理を、ユーザ指示を受け付ける領域を示す画像を含む領域に限定して行なうことができる。

したがって、ユーザ指示を受け付ける領域が予め特定可能である場合（特に、ユーザ指示を受け付ける領域が、アプリケーションが表示するボタン等である場合）、抽出処理対象領域をより正確に設定することができるという効果を奏する。

さらに、本発明に係る像検知装置は、上記の構成において、上記変化領域に含まれる所定の１点を検出する代表点検出手段をさらに備える構成としてもよい。

上記の構成によれば、さらに、変化領域に含まれる所定の１点（例えば、中心や重心など）を検出することができる。

よって、ユーザが指やペンなどで面状部材に触れた場合、当該触れた領域に含まれる所定の１点を検出することができる。さらに、当該所定の１点を、ユーザにより指示された位置とみなせば、ユーザにより指示された位置を特定することができる。

したがって、面状部材における所定位置と、実行すべき所定処理とを予め対応付けて記憶しておけば、ユーザにより指示された位置に対応する所定処理を実行させることができるという効果を奏する。

なお、上記像検知装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記像検知装置をコンピュータにて実現させる上記像検知装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係る像検知装置は、本発明に係る像検知装置は、近傍の像を検知する面状部材を備えるとともに、上記面状部材にて検知された像の画像を所定周期で生成する像検知装置であって、上記生成された最新の画像と、当該画像の直前に生成された画像との間で、画素値の変化量が所定閾値より大きい領域である変化領域を抽出する変化領域抽出手段を備えるとともに、上記変化領域抽出手段が上記２つの画像間の上記変化領域を抽出する処理を施す対象とする抽出処理対象領域を設定する抽出領域設定手段を備えている。

また、本発明に係る像検知装置の制御方法は、近傍の像を検知する面状部材を備えるとともに、上記面状部材にて検知された像の画像を所定周期で生成する像検知装置の制御方法であって、上記生成された最新の画像と、当該画像の直前に生成された画像との間で、画素値の変化量が所定閾値より大きい領域である変化領域を抽出する変化領域抽出ステップを含むとともに、上記変化領域抽出ステップにて上記２つの画像間の上記変化領域を抽出する処理を施す対象とする抽出処理対象領域を設定する抽出領域設定ステップを含んでいる。

よって、変化領域の抽出処理を、抽出処理対象領域に限定して行なうことができる。

したがって、従来方式（抽出処理対象領域を限定せず、画像全体に対して変化領域の抽出処理を行なう方式）と比べて、処理の負荷を低減することができるという効果を奏する。

実施の形態に係るデータ表示／センサ装置（像検知装置）１００は、画像を表示するとともに、対象物の画像検出が可能なセンサ内蔵液晶パネル（面状部材）３０１を備える装置として説明する（図４参照）。ただし、データ表示／センサ装置１００は、必ずしもセンサ内蔵液晶パネル３０１を備えることに限定されるものではなく、少なくとも、近傍の対象物の画像を読み取ることができる画面を備えるものであればよい。センサ内蔵液晶パネル３０１については後述する。

なお、本明細書において、「対象物」とは、読み取り対象となる物体を指すものとするが、特に、センサ内蔵液晶パネル３０１を操作するユーザの指やペンなどを想定している。なお、センサ内蔵液晶パネル３０１に載置される名刺、書籍、カード、チラシ、各種資料などの印刷物等も対象物に該当する。

〔発明の概要〕
データ表示／センサ装置１００の主な特徴は、センサ内蔵液晶パネル３０１にて読み取った画像から対象物の画像を抽出するにあたり、上記読み取った画像における所定領域のみに、上記抽出する処理を施すことである。

上記の「対象物の画像を抽出する処理」は、センサ内蔵液晶パネル３０１の読み取り領域全体にて連続して読み取った２つの画像の間で、画素値の変化量が所定閾値より大きい領域である変化領域を含む領域（具体的には、後述する部分画像）を抽出することによって行なうことを想定している。以下では、「対象物の画像を抽出する」とは、上記部分画像を抽出することを意味するものとする。

ここで、上記変化領域とは、上記２つの画像間で、対応する画素の明度等が所定閾値より大きく変化している部分であるものとする。そのため、対象物の画像を抽出する処理を行なう対象となる領域が大きいほど、当該領域内に含まれる画素数が多くなるため、一般的に、上記抽出する処理の負荷は増大する。

これに対して、本発明によれば、センサ内蔵液晶パネル３０１にて読み取った画像から対象物の画像を抽出する処理を、上記所定領域のみに限定して行なうので、センサ内蔵液晶パネル３０１にて読み取った画像全体に対して行なう場合と比較して、処理負荷を軽減することができる。

なお、以下では、上記所定領域を「抽出処理対象領域ＤＡ」と称する。また、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像の全体の領域を「全体領域ＡＡ」と称する。

また、データ表示／センサ装置１００のさらなる特徴は、対象物の画像を抽出する処理を行なう度に、抽出処理対象領域ＤＡを適切に設定することである。実施の形態では、抽出処理対象領域ＤＡの設定方法を２つ説明する。

１つ目の実施の形態では、ユーザが、センサ内蔵液晶パネル３０１の表面を、指やペンなどの対象物により操作した位置の周辺の領域を、抽出処理対象領域ＤＡとして設定する方法について説明する。ここで、ユーザが指やペンなどによりセンサ内蔵液晶パネル３０１上をなぞる操作（ドラッグ操作）を行なっている場合、ユーザは、直近に操作した位置の周辺を引き続き操作する可能性が高い。したがって、この場合、上記設定方法によれば、抽出処理対象領域ＤＡを適切に設定することができる。

なお、過去に抽出した対象物の画像の位置に基づいて、対象物の動きを予測した上で、抽出処理対象領域ＤＡを設定してもよい。これにより、抽出処理対象領域ＤＡをより適切に設定することができる。

２つ目の実施の形態では、センサ内蔵液晶パネル３０１に、ユーザ指示を受け付ける領域（以下、ユーザ指示領域ＵＡと称する）を示す画像が表示されている場合、ユーザ指示領域ＵＡを、抽出処理対象領域ＤＡとして設定する方法について説明する。ユーザ指示領域ＵＡを示す画像とは、具体的には、ユーザの操作を受け付けるボタンやメニューを想定している。例えば、（１）電卓アプリケーションの数字（“０”〜“９”）や加減乗除（“＋”、“−”、“＊”、“／”）を示すボタン、（２）ソフトキーボードの各キーを示すボタン、（３）実行するアプリケーションを起動させるためのメニュー（ツールバー）などである。

ここで、ユーザが、ユーザ指示領域ＵＡではない領域を操作した場合は、当該操作は無効とみなしてよいため、対象物の画像を抽出する必要はない。したがって、対象物の画像を抽出する処理を、ユーザ指示領域ＵＡに限定して行なうことにより、ユーザの操作性を損なうことなく、対象物の画像を抽出する処理の負荷を軽減することができる。

なお、過去にユーザが操作したユーザ指示領域ＵＡに基づいて、引き続きユーザが操作する可能性が高いユーザ指示領域ＵＡを予測し、抽出処理対象領域ＤＡの範囲をさらに狭めてもよい。

〔実施の形態１〕
本実施の形態では、ユーザが直近に操作した位置の周辺の領域を抽出処理対象領域ＤＡとして設定し、当該設定した抽出処理対象領域ＤＡから、対象物の画像を抽出する形態について説明する。本発明の一実施形態について図１から図１３に基づいて説明すると以下の通りである。

以下では、まず、本実施の形態に係るデータ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要、および、データ表示／センサ装置１００の要部構成について説明する。

（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。

図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。

図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。

なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。

次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。

図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。

また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。

上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。

（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。

表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。

センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。

周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。

液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。

光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。

信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。

バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。

バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。

次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。

表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。

なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。

センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。なお、センサデータ処理部７０３は、後述するセンサデータ処理部７０３ａおよびセンサデータ処理部７０３ｂの総称とする。

また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。

バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。

なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。

次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。

データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。

表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。

センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。

次に、主制御部８００は、データ表示／センサ装置１００が備える各部の動作を制御するものである。主制御部８００は、記憶部９０１に記憶されている各種プログラムを読み出して、データ表示／センサ装置１００の各部を制御し、データ表示／センサ装置１００が備える各種機能を実現する。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。

主制御部８００で実行されるプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。

なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。

次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。

次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。

なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。

その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。

（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。

図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。

「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。

次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。

ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。

また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。

また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。

次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。

センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。

また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分（変化領域）を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記所定の閾値は、上記変化領域が、可能な限り、対象物の画像のみを含むように定められる値である。すなわち、変化が無い画素、および、いわゆる雑音などの変化量が微小な画素を、上記変化領域に含めないように定められる値である。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれを主制御部８００に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした領域のそれぞれを部分画像データとして抽出し、主制御部８００に送信する。

さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像における代表点を検出し、当該代表点の部分画像における位置を示す代表座標の座標データを主制御部８００に送信する。なお、上記代表点とは、例えば、上記部分画像の中心、上記部分画像の重心などが挙げられる。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像データのそれぞれの代表点を検出し、当該検出された各代表点の、部分画像における位置を示す代表座標の座標データを主制御部８００に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、各領域における位置を示す代表座標の座標データを、主制御部８００に送信する。

次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表点の、全体画像データにおける位置を示す代表座標の座標データを主制御部８００に送信する。

なお、センサ制御部６０２から受信する画像データから、複数の部分画像データが抽出された場合、センサデータ処理部７０３は、該抽出された複数の部分画像のそれぞれの代表点の、全体画像における位置を示す代表座標の座標データを主制御部８００に送信する。したがって、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１上の複数箇所を同時にタッチした場合、センサデータ処理部７０３は、該タッチした各領域の代表点の、全体画像における位置を示す代表座標の座標データを、主制御部８００に送信する。

すなわち、データ表示／センサ装置１００は、ユーザが指やペンなどでセンサ内蔵液晶パネル３０１をタッチした数に関わらず、該タッチした領域の代表点を検出することができる（多点検出）。そして、該検出された代表点の、部分画像における位置を示す代表座標の座標データ、および、全体画像における位置を示す代表座標の座標データを主制御部８００にすることができる。

なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。

次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。

“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。

また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。

次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。

ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。

また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。

次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。

ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。

また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。

次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。

次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。

ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。

次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。

なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。

また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。

また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。

また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。

（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。

ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。

図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。

なお、領域ＡＰで示される画像データが、“全体画像データ”である。

また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。

（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。

センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。

画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。

画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。

次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。

光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。

次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。

液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。

走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。

データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。

光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。

センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。

（抽出処理対象領域を設定し、対象物の部分画像を抽出する処理の概要）
次に、図９を参照しながら、ユーザが直近に操作した位置の周辺の領域を抽出処理対象領域ＤＡとして設定し、当該設定した抽出処理対象領域ＤＡから、対象物の部分画像を抽出する様子について説明する。図９は、本実施の形態に係るデータ表示／センサ装置１００にて、対象物の部分画像を抽出する様子を示す説明図である。

まず、図９（ａ）は、センサ内蔵液晶パネル３０１にて対象物の読み取りが可能な状態において、ユーザが対象物６２であるペンにて、センサ内蔵液晶パネル３０１の表面を操作した様子を示す図である。このとき、対象物６２は、センサ内蔵液晶パネル３０１上の位置Ｔ１に接しているものとする。

続いて、図９（ｂ）は、図９（ａ）に示す状態において、対象物６２の部分画像ＰＰ１を抽出するとともに、当該抽出した部分画像ＰＰ１の代表点を検出した様子を示す図である。なお、図では、対象物６２がセンサ内蔵液晶パネル３０１に接している部分（画素の明度等が所定の閾値より大きく変化している部分）を白色で示している（図９（ｅ）、図９（ｈ）についても同様）。

この時点では、ユーザが直近に操作した位置の周辺の領域を特定できないので、全体領域ＡＡを抽出処理対象領域ＤＡとして設定し、対象物６２の部分画像ＰＰ１を抽出したものとする（図では、抽出処理対象領域ＤＡをグレー色で示している）。

なお、部分画像ＰＰ１の代表点の座標は（Ｘ１，Ｙ１）であるものとする。代表点とは、例えば、部分画像の中心や重心などであるが、ここでは、特に、部分画像の中心として説明する。なお、図９に記載している座標は、部分画像の代表点の、全体画像に対する位置を示す座標であるものとする。

次に、図９（ｃ）は、図９（ａ）に示した状態に引き続き、ユーザが、センサ内蔵液晶パネル３０１上で対象物６２をドラッグさせている様子を示す図である。ここでは、対象物６２は、右下方向にドラッグされており、センサ内蔵液晶パネル３０１上の位置Ｔ２に接しているものとする。

続いて、図９（ｄ）は、図９（ｃ）に示す状態において、対象物６２の部分画像を抽出するために設定した抽出処理対象領域ＤＡを示す図である。ここでは、図９（ｂ）の時点で検出された代表点の座標（Ｘ１，Ｙ１）の周辺の領域Ａ１２を、抽出処理対象領域ＤＡとして設定している。

なお、領域Ａ１２は、座標（Ｘ１，Ｙ１）の周辺であればどのような領域であってもよいが、少なくとも部分画像ＰＰ１の領域を含む領域である。ここでは、図示のとおり、座標（Ｘ１，Ｙ１）を中心とした、横および縦の長さがそれぞれ２Ｗおよび２Ｈの矩形領域としている。

続いて、図９（ｅ）は、図９（ｄ）に示した抽出処理対象領域ＤＡにて、対象物６２の部分画像ＰＰ２を抽出するとともに、当該抽出した部分画像ＰＰ２の代表点を検出した様子を示す図である。なお、部分画像ＰＰ２の代表点の座標は（Ｘ２，Ｙ２）であるものとする。

次に、図９（ｆ）は、図９（ｃ）に示した状態に引き続き、ユーザが、センサ内蔵液晶パネル３０１上で対象物６２をドラッグさせている様子を示す図である。ここでは、対象物６２は、引き続き右下方向にドラッグされており、センサ内蔵液晶パネル３０１上の位置Ｔ３に接しているものとする。

続いて、図９（ｇ）は、図９（ｆ）に示す状態において、対象物６２の部分画像を抽出するために設定した抽出処理対象領域ＤＡを示す図である。ここでは、図９（ｅ）の時点で検出された代表点の座標（Ｘ２，Ｙ２）の周辺の領域Ａ１３を、抽出処理対象領域ＤＡとして設定している。

なお、領域Ａ１３は、座標（Ｘ２，Ｙ２）の周辺であればどのような領域であってもよいが、少なくとも部分画像ＰＰ２の領域を含む領域である。ここでは、図示のとおり、座標（Ｘ２，Ｙ２）を中心とした、横および縦の長さがそれぞれ２Ｗおよび２Ｈの矩形領域としている。

続いて、図９（ｈ）は、図９（ｇ）に示した抽出処理対象領域ＤＡにて、対象物６２の部分画像ＰＰ３を抽出するとともに、当該抽出した部分画像ＰＰ３の代表点を検出した様子を示す図である。なお、部分画像ＰＰ３の代表点の座標は（Ｘ３，Ｙ３）であるものとする。

このように、本実施の形態に係るデータ表示／センサ装置１００では、直近に検出した座標の周辺の領域を、抽出処理対象領域ＤＡとして設定し、当該設定した抽出処理対象領域ＤＡに対して、対象物の部分画像を抽出する処理を施すとともに、当該部分画像の代表点を検出する。

なお、直近に検出した座標の周辺の領域を抽出処理対象領域ＤＡとして常に設定するのではなく、少なくとも所定周期（以下、当該所定周期を、所定周期Ｃと表記する）で、例えば全体領域ＡＡを抽出処理対象領域ＤＡとして設定することが望ましい。その理由は、ユーザが、直近に操作した位置から離れた位置を操作したときであっても、対象物の部分画像を抽出し損なうことを防止するためである。

所定周期Ｃで、全体領域を抽出処理対象領域として設定する様子について、図１０を参照しながら説明する。図１０（ａ）は、図９（ａ）に示した状態から所定周期Ｃが経過した状態を示す図であると仮定する。このとき、対象物６２は、センサ内蔵液晶パネル３０１上の位置Ｔ４に接しているものとする。なお、位置Ｔ４は、位置Ｔ３の周辺ではないと仮定する。

このとき、抽出処理対象領域ＤＡを、直近に検出された代表点の座標（Ｘ３，Ｙ３）の周辺の領域とした場合、当該抽出処理対象領域ＤＡには、位置Ｔ４に接している対象物６２の画像は含まれない。このような場合であっても、少なくとも所定周期Ｃで全体領域ＡＡを抽出処理対象領域ＤＡとして設定することにより、引き続き、対象物６２の部分画像を抽出することができる。

そこで、図１０（ｂ）に示すとおり、全体領域ＡＡを抽出処理対象領域ＤＡとして設定する（抽出処理対象領域ＤＡはグレー色で示している）。これにより、確実に、対象物６２の部分画像ＰＰ４を抽出することができる。そして、部分画像ＰＰ４の代表点を確実に検出することができる。なお、部分画像ＰＰ４の代表点の座標は（Ｘ４，Ｙ４）であるものとする。

なお、図では、対象物６２がセンサ内蔵液晶パネル３０１に接している部分（画素の明度等が所定の閾値より大きく変化している部分）を白色で示している。

また、上記所定周期Ｃは、センサ内蔵液晶パネル３０１に表示されるアプリケーション毎に定められた値であることが好ましい。アプリケーションに応じて、ユーザが特定の領域を集中的に操作したり、距離が離れた領域同士を頻繁に操作したりすることが考えられるからである。

また、少なくとも所定周期Ｃで抽出処理対象領域ＤＡとして設定する領域を、全体領域ＡＡとする代わりに、アプリケーション毎に定まる、ユーザが操作可能な領域の全体（以下、アプリ別操作全体領域）としてもよい。各アプリケーションは、必ずしも全体領域ＡＡの全てを使用するとは限らないからである。

また、少なくとも所定周期Ｃで全体領域ＡＡを抽出処理対象領域ＤＡとして設定する利点は、上述の他にもある。例えば、ユーザが複数箇所を同時に操作（マルチタッチ）することがあるユースケースにおいても有効である。図１１を参照しながら、ユーザが複数箇所を同時に操作する場合に、所定周期Ｃで全体領域ＡＡを抽出処理対象領域ＤＡとして設定する例について説明する。図１１は、ユーザが複数箇所を同時に操作する場合に、所定周期Ｃで全体領域を抽出処理対象領域して設定する様子を示す説明図である。

図１１（ａ）は、図１０（ａ）に示した状態において、ユーザが、対象物６２に加えて、さらに対象物６４である指にて、センサ内蔵液晶パネル３０１の表面を操作した様子を示す図である。このとき、対象物６４は、センサ内蔵液晶パネル３０１上の位置Ｔ５に接しているものとする。また、位置Ｔ５は、位置Ｔ４の周辺ではないと仮定する。

このとき、抽出処理対象領域ＤＡを、直近に検出された座標の周辺の領域とした場合、当該抽出処理対象領域ＤＡには、対象物６２の画像と対象物６４の画像とが同時に含まれない。そこで、少なくとも所定周期Ｃで全体領域ＡＡを抽出処理対象領域ＤＡとして設定することにより、対象物６２の画像と対象物６４の画像とを同時に抽出することができる。

そこで、図１１（ｂ）に示すとおり、全体領域ＡＡを抽出処理対象領域ＤＡに設定した上で、対象物６２の部分画像ＰＰ４を抽出するともに、座標が（Ｘ４，Ｙ４）である、部分画像ＰＰ４の代表点を検出する。また、対象物６４の部分画像ＰＰ５を抽出するとともに、座標が（Ｘ５，Ｙ５）である、部分画像ＰＰ５の代表点を検出する。

なお、図では、対象物６２および対象物６４がセンサ内蔵液晶パネル３０１に接している部分（画素の明度等が所定の閾値より大きく変化している部分）を白色で示している。

また、上述のように複数の代表点が検出された場合、次回設定する抽出処理対象領域ＤＡは、各代表点の周辺の領域とするようにしてもよい。図１１（ｃ）は、検出された各代表点の周辺の領域を抽出処理対象領域として設定する様子を示す図である。図示のとおり、座標（Ｘ４，Ｙ４）を中心とした、横および縦の長さがそれぞれ２Ｗおよび２Ｈの矩形領域Ａ１６、および、座標（Ｘ５，Ｙ５）を中心とした、横および縦の長さがそれぞれ２Ｗおよび２Ｈの矩形領域Ａ１７を、それぞれ、次回設定する抽出処理対象領域ＤＡとしてもよい。

さらに、過去に検出した代表点の位置に基づいて、対象物の動きを予測した上で、抽出処理対象領域ＤＡを設定してもよい。図１２を参照しながら、対象物の動きを予測した上で、抽出処理対象領域を設定する様子について説明する。図１２は、対象物の動きを予測した上で、抽出処理対象領域を設定する様子を示す説明図である。

図１２（ａ）は、センサ内蔵液晶パネル３０１にて対象物の読み取りが可能な状態において、ユーザが対象物６２であるペンにて、センサ内蔵液晶パネル３０１の表面を右上方向にドラッグしている様子を示す図である。そして、すでに、対象物６２の画像の抽出が少なくとも２回行なわれており、各画像の代表点Ｔ７およびＴ８が検出されているものとする。なお、Ｔ７の座標は（Ｘ７，Ｙ７）であり、Ｔ８の座標は（Ｘ８，Ｙ８）である。

ここで、対象物６２は、右上方向に移動しているため、次回、対象物６２の部分画像を抽出するタイミングには、Ｔ８よりも右上方向に位置していると予想される。そのため、図１２（ｂ）に示すように、次回設定する抽出処理対象領域ＤＡは、Ｔ８の周辺の領域とするのではなく、Ｔ８よりも右上の位置Ｔ９の周辺の領域であるＡ１８とする。

このように、過去に検出した代表点に基づいて、対象物の動きを予測した上で、抽出処理対象領域ＤＡを設定することにより、より適切に抽出処理対象領域ＤＡを設定することができる。

（センサデータ処理部のより詳細な構成）
本実施の形態に係るデータ表示／センサ装置１００では、抽出処理対象領域ＤＡの設定、対象物の部分画像の抽出、および、部分画像の代表点の検出を、センサデータ処理部７０３ａにて行なう。そこで、以下では、センサデータ処理部７０３ａのより詳細な構成について、図１を参照しながら説明する。図１は、センサデータ処理部７０３ａのより詳細な構成を示すブロック図である。

図示のように、センサデータ処理部７０３ａは、上述した画像データバッファ７０４の他に、少なくとも、抽出領域設定部（抽出領域設定手段）７１１、画像処理部７１２、座標データ記憶部７１５を含んでいる。

抽出領域設定部７１１は、抽出処理対象領域ＤＡを設定するものである。具体的には、座標データ記憶部７１５に記憶されている最新の座標（つまり、後述する座標検出部７１４によって直近に（前回）検出された、部分画像の代表点の座標）を取得し、当該取得した座標で示される位置の周辺を、抽出処理対象領域ＤＡとして設定する。

ここで、抽出処理対象領域ＤＡの形状は特に限定されるものではないが、上述したように、上記取得した座標で示される位置を中心とした、矩形領域の横および縦の長さがそれぞれ２Ｗおよび２Ｈである矩形領域であるものとして説明する。したがって、上記取得した座標を（Ｘ_ｔ−１、Ｙ_ｔ−１）とした場合、抽出処理対象領域ＤＡは、（Ｘ_ｔ−１−Ｗ，Ｙ_ｔ−１−Ｈ）、（Ｘ_ｔ−１＋Ｗ，Ｙ_ｔ−１−Ｈ）、（Ｘ_ｔ−１−Ｗ，Ｙ_ｔ−１＋Ｈ）、（Ｘ_ｔ−１＋Ｗ，Ｙ_ｔ−１＋Ｈ）の４点を頂点とした矩形領域となる。

ここで、ＷおよびＨの値については、上記矩形領域が、後述する部分画像抽出部７１３にて直近に抽出された部分画像を少なくとも含む所定の大きさとなるように、抽出領域設定部７１１が決定する。

また、抽出領域設定部７１１は、座標データ記憶部７１５に記憶されている複数の座標に基づいて、対象物の動きを予測した上で、抽出処理対象領域ＤＡを設定してもよい。対象物の動きを予測した上で抽出処理対象領域ＤＡを設定するか否かは、あらかじめ設定されていてもよいし、ユーザにより設定されるようになっていてもよい。

ここで、対象物の動きの予測方法は、特に限定されるものではないが、以下では、前回検出された代表点の座標と、前々回検出された代表点の座標との差分を、前回検出された代表点の座標に加算することによって、次に検出される代表点の座標を予測する方法（いわゆる、ベクトル予測）を用いるものとして説明する。

具体的には、まず、座標データ記憶部７１５に格納されている、前回検出された代表点の座標（（Ｘ_ｔ−１，Ｙ_ｔ−１）とする）、および、前々回検出された代表点の座標（（Ｘ_ｔ−２，Ｙ_ｔ−２）とする）を取得し、これら座標の差分（（ｍ，ｎ）とする）を下式にて計算する。

（ｍ，ｎ）＝（Ｘ_ｔ−１−Ｘ_ｔ−２，Ｙ_ｔ−１−Ｙ_ｔ−２）
そして、下式にて、前回検出された代表点の座標に上記差分を加算することによって、次に検出される代表点の座標（（Ｘ_ｔ，Ｙ_ｔ）とする）を求める。

（Ｘ_ｔ，Ｙ_ｔ）＝（Ｘ_ｔ−１＋ｍ，Ｙ_ｔ−１＋ｎ）
そして、上記求めた座標で示される位置を中心とした矩形領域を、抽出処理対象領域ＤＡとして設定する。つまり、矩形領域の横長および縦長をそれぞれ２Ｗおよび２Ｈとした場合、抽出処理対象領域ＤＡは、（Ｘ_ｔ−Ｗ，Ｙ_ｔ−Ｈ）、（Ｘ_ｔ＋Ｗ，Ｙ_ｔ−Ｈ）、（Ｘ_ｔ−Ｗ，Ｙ_ｔ＋Ｈ）、（Ｘ_ｔ＋Ｗ，Ｙ_ｔ＋Ｈ）の４点を頂点とした矩形領域となる。

また、抽出領域設定部７１１は、少なくとも所定周期Ｃで、全体領域ＡＡを抽出処理対象領域ＤＡとして設定する。なお、上記所定周期Ｃは、センサ内蔵液晶パネル３０１に表示されているアプリケーション毎に定められた値であることが望ましい。また、全体領域ＡＡの代わりに、アプリ別操作全体領域を、少なくとも所定周期Ｃで抽出処理対象領域ＤＡとして設定してもよい。

次に、画像処理部７１２は、画像データバッファ７０４に格納されている画像データから部分画像を抽出するとともに、当該抽出した部分画像における代表点を検出するものである。そのために、画像処理部７１２は、部分画像抽出部（変化領域抽出手段）７１３、および座標検出部（代表点検出手段）７１４を含んでいる。

部分画像抽出部７１３は、画像データバッファ７０４に格納されている最新の画像データにおける、抽出領域設定部７１１が設定した抽出処理対象領域ＤＡと、当該最新の画像データの直前に画像データバッファ７０４に格納された画像データにおける、抽出領域設定部７１１が設定した抽出処理対象領域ＤＡとを比較して、変化領域を算出する。なお、変化領域は、画素の明度等が所定閾値より大きく変化している部分である。そして、部分画像抽出部７１３は、画像データバッファ７０４に格納されている最新の画像データのうち、上記算出した変化領域を含む最小の矩形領域を、部分画像として抽出する。

座標検出部７１４は、部分画像抽出部７１３が抽出した部分画像の代表点を検出する。そして、代表点を検出する度に、当該代表点の部分画像における位置を示す座標、および、当該代表点の全体画像データにおける位置を示す座標を、座標データ記憶部７１５に読み出し可能に格納する。このとき、座標を格納した順序（言い換えれば、代表点を検出した順序）が分かるように、所定のシーケンス番号や格納時刻などと対応付けた状態で、座標データ記憶部７１５に格納する。

なお、上記代表点は、ユーザにより指やペンなどの対象物によって指示された位置とみなすことができる。また、代表点の上記座標は、一般的な画像処理を用いて算出するので、ここでは、その詳細な説明は省略する。

また、代表点の上記座標は、センサデータ処理部７０３ａから主制御部８００に送信される「座標データ」および「部分画像データ」に含まれる座標である。したがって、代表点の上記座標と、主制御部８００にて実行すべき所定処理とを予め対応付けて記憶しておけば、主制御部８００では、ユーザがタッチした位置に応じた所定処理を実行させることができる。

座標データ記憶部７１５は、座標検出部７１４が検出した代表点の座標を格納するものである。座標データ記憶部７１５は、例えば、下記の表１に示すようなデータ構造とすることができる。表１は、座標データ記憶部７１５のデータ構造の一例を示す表である。

表１に示すように、座標データ記憶部７１５は、「シーケンス番号」、「座標（部分）」、および「座標（全体）」の組を記憶する。

「シーケンス番号」は、座標が格納された順序を示す番号である。したがって、シーケンス番号が最も大きいレコードに格納されている座標が、直近に（前回）検出された代表点の座標である。また、シーケンス番号が２番目に大きいレコードに格納されている座標が、前々回に検出された代表点の座標である。

「座標（部分）」は、座標検出部７１４が検出した代表点の、部分画像における位置を示す座標である。また、「座標（全体）」は、座標検出部７１４が検出した代表点の、全体画像における位置を示す座標である。

（センサデータ処理部の処理の流れ）
次に、図１３を参照しながら、本実施の形態に係るデータ表示／センサ装置１００において、抽出処理対象領域ＤＡを設定した上で、部分画像の抽出および部分画像の代表点の検出を行なう処理の流れの一例について説明する。図１３は、本実施の形態に係るデータ表示／センサ装置１００において、抽出処理対象領域ＤＡを設定した上で、部分画像の抽出および部分画像の代表点の検出を行なう処理の流れの一例を示すフローチャートである。

まず、全体領域ＡＡを抽出処理対象領域ＤＡとして部分画像を抽出してから所定期間が経過している場合（Ｓ１１にてＹＥＳ）、抽出領域設定部７１１が、全体領域ＡＡを抽出処理対象領域ＤＡとして設定する（Ｓ１２）。

一方、全体領域ＡＡを抽出処理対象領域ＤＡとして部分画像を抽出してから所定期間が経過していない場合（Ｓ１１にてＮＯ）、抽出領域設定部７１１が、まず、座標データ記憶部７１５に格納されている最新の座標（（Ｘ_ｔ−１，Ｙ_ｔ−１）とする）を取得する（Ｓ１３）。

次に、対象物の動きを予測せずに抽出処理対象領域ＤＡを設定する場合（Ｓ１４にてＮＯ）、抽出領域設定部７１１は、ステップＳ１３にて取得した座標を、抽出処理対象領域ＤＡの代表座標（Ｘ_ｔ，Ｙ_ｔ）とする（Ｓ１５）。すなわち、（Ｘ_ｔ，Ｙ_ｔ）＝（Ｘ_ｔ−１，Ｙ_ｔ−１）とする。そして、（Ｘ_ｔ，Ｙ_ｔ）を中心とした、横および縦の長さがそれぞれ２Ｗおよび２Ｈである矩形領域を、抽出処理対象領域ＤＡとして設定する（Ｓ１９）。

一方、対象物の動きを予測した上で抽出処理対象領域ＤＡを設定する場合（Ｓ１４にてＹＥＳ）、抽出領域設定部７１１は、さらに、前々回検出された代表点の座標（（Ｘ_ｔ−２，Ｙ_ｔ−２）とする）を座標データ記憶部７１５から取得する（Ｓ１６）。そして、ステップＳ１３にて取得した座標と、ステップＳ１６にて取得した座標との差分（ｍ，ｎ）を計算する（Ｓ１７）。すなわち、（ｍ，ｎ）＝（Ｘ_ｔ−１−Ｘ_ｔ−２，Ｙ_ｔ−１−Ｙ_ｔ−２）とする。

そして、ステップＳ１３にて取得した座標に、ステップＳ１７にて計算した差分を加算したものを、抽出処理対象領域ＤＡの代表座標（Ｘ_ｔ、Ｙ_ｔ）とする（Ｓ１８）。すなわち、（Ｘ_ｔ，Ｙ_ｔ）＝（Ｘ_ｔ−１＋ｍ，Ｙ_ｔ−１＋ｎ）とする。そして、抽出領域設定部７１１は、（Ｘ_ｔ，Ｙ_ｔ）を中心とした、横および縦の長さがそれぞれ２Ｗおよび２Ｈである矩形領域を、抽出処理対象領域ＤＡとして設定する（Ｓ１９）。すなわち、抽出処理対象領域ＤＡは、（Ｘ_ｔ−１−Ｗ，Ｙ_ｔ−１−Ｈ）、（Ｘ_ｔ−１＋Ｗ，Ｙ_ｔ−１−Ｈ）、（Ｘ_ｔ−１−Ｗ，Ｙ_ｔ−１＋Ｈ）、（Ｘ_ｔ−１＋Ｗ，Ｙ_ｔ−１＋Ｈ）の４点を頂点とした矩形領域となる。

そして、ステップＳ１２の後、および、ステップＳ１９の後、部分画像抽出部７１３が、抽出領域設定部７１１が設定した抽出処理対象領域ＤＡにて部分画像を抽出する（Ｓ２０）。さらに、座標検出部７１４が部分画像の代表点を検出するとともに、当該代表点の部分画像における位置を示す座標、および、当該代表点の全体画像データにおける位置を示す座標を、座標データ記憶部７１５に読み出し可能に格納する（Ｓ２１）。

その後、センサデータ処理部７０３ａは、主制御部８００から受信しているコマンドに応じて、全体画像データ、部分画像データ（部分画像の座標データを含む）、および座標データの少なくともいずれか１つを、主制御部８００に送信する（Ｓ２２）。そして、処理を継続する場合は（Ｓ２３にてＹＥＳ）、ステップＳ１１に戻る。

〔実施の形態２〕
本実施の形態では、ユーザ指示領域ＵＡを抽出処理対象領域ＤＡとして設定し、当該設定した抽出処理対象領域ＤＡから、対象物の部分画像を抽出する形態について説明する。本発明の一実施形態について図１４から図１６に基づいて説明すると以下の通りである。

なお、本実施の形態では、説明の便宜上、実施の形態１にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、その説明を省略する。また、実施の形態１にて説明した処理と同一の処理については、その説明を省略する。

（抽出処理対象領域を設定し、対象物の部分画像を抽出する処理の概要）
図１４を参照しながら、ユーザ指示領域ＵＡを抽出処理対象領域ＤＡとして設定し、当該設定した抽出処理対象領域ＤＡから、対象物の部分画像を抽出する様子について説明する。図１４は、本実施の形態に係るデータ表示／センサ装置１００にて、対象物の部分画像を抽出する様子を示す説明図である。

まず、図１４（ａ）は、センサ内蔵液晶パネル３０１に、各アプリケーションを起動するためのメニューが領域ＭＡに表示されており、かつ、当該メニューが操作されたことによって起動された電卓アプリケーションが、領域ＣＡに表示されている様子を示す図である。

なお、領域ＭＡは、ユーザの操作を受け付けるメニューを表示する領域であるので、ユーザ指示領域ＵＡである。また、領域ＣＡの領域ＢＡに表示されている各ボタンは、ユーザの操作を受け付けるボタンであるので、これらボタンを表示している各領域も、ユーザ指示領域ＵＡである。

したがって、図１４（ｂ）に示すように、領域ＭＡ、および、領域ＢＡ内の各ボタンを表示している領域（つまり、グレー色で示している領域）を、抽出処理対象領域ＤＡとして設定する。

なお、電卓アプリケーションを起動しているときは、ユーザは、領域ＭＡに表示されているメニューを操作するよりも、領域ＢＡ内に表示されているボタンのいずれかを操作することが多いと予測される。このように予測する場合、図１４（ｃ）に示すように、領域ＢＡ内の各ボタンを表示している領域（つまり、グレー色で示している領域）のみを、抽出処理対象領域ＤＡとして設定するようにしてもよい。

そして、上記設定した抽出処理対象領域ＤＡに、対象物の部分画像を抽出する処理を施すとともに、当該部分画像の代表点を検出する。

（センサデータ処理部のより詳細な構成）
本実施の形態に係るデータ表示／センサ装置１００は、実施の形態１のセンサデータ処理部７０３ａに代えて、センサデータ処理部７０３ｂを備えている点を除けば、実施の形態１と同様の構成である。

そこで、センサデータ処理部７０３ｂのより詳細な構成について、図１５を参照しながら説明する。図１５は、センサデータ処理部７０３ｂのより詳細な構成を示すブロック図である。センサデータ処理部７０３ｂは、センサデータ処理部７０３ａの構成に加えて、ユーザ指示領域情報記憶部７１６およびユーザ指示領域情報取得部７１７を備えている。また、センサデータ処理部７０３ｂは、抽出領域設定部７１１に代えて、抽出領域設定部（抽出領域設定手段）７１８を備えている。

ユーザ指示領域情報記憶部７１６は、ユーザ指示領域ＵＡに関する情報（以下、ユーザ指示領域情報）を、読み出し可能に記憶するものである。ユーザ指示領域情報は、少なくとも、ユーザ指示領域ＵＡの、センサ内蔵液晶パネル３０１における位置を示す情報を含んでいる。つまり、センサ内蔵液晶パネル３０１上のどの位置にユーザ指示領域ＵＡが表示されるかが特定できる情報を含んでいる。

ユーザ指示領域情報記憶部７１６は、例えば下記の表２に示すようなデータ構造とすることができる。表２は、ユーザ指示領域情報記憶部７１６のデータ構造の一例を示す表である。

表２の例では、ユーザ指示領域情報記憶部７１６は、「識別情報」および「位置情報」の組を記憶する。「ユーザ指示領域」は、ユーザ指示領域ＵＡの識別情報である。「位置情報」は、ユーザ指示領域ＵＡのセンサ内蔵液晶パネル３０１における位置を示す情報を示すものである。

したがって、ユーザ指示領域情報記憶部７１６を参照すれば、センサ内蔵液晶パネル３０１上のどの領域が、ユーザ指示領域ＵＡであるかを特定することができる。

ユーザ指示領域ＵＡが矩形領域である場合、「位置情報」には、例えば、表２に示すように、矩形領域の左上の座標と右下の座標との組を記憶する。表２では、１つ目のレコードに、左上の座標が（Ｘａ，Ｙａ）であって、右下の座標が（Ｘｂ，Ｙｂ）である矩形領域を、ユーザ指示領域ＵＡ１として記憶している。

ユーザ指示領域情報は、さらに、ユーザ指示領域ＵＡ同士の関連を示す情報を含んでいてもよい。つまり、どのユーザ指示領域ＵＡが互いに関連するものであるかが特定できる情報を含んでいてもよい。ここで、あるユーザ指示領域ＵＡ１が操作された後に引き続き操作される可能性が高いユーザ指示領域ＵＡ２が存在するとき、ユーザ指示領域ＵＡ１とユーザ指示領域ＵＡ２とは、互いに関連するものとする。

電卓アプリケーションを例に挙げて説明すると、電卓アプリケーションが起動されているときは、数字（“０”〜“９”）や加減乗除（“＋”、“−”、“＊”、“／”）を示すボタンが続けて操作される可能性が高い。したがって、数字（“０”〜“９”）を示すボタンを表示するユーザ指示領域ＵＡと、加減乗除（“＋”、“−”、“＊”、“／”）を示すボタンを表示するユーザ指示領域ＵＡとは、互いに関連している。

この場合、ユーザ指示領域情報記憶部７１６は、例えば下記の表３に示すようなデータ構造に拡張すればよい。表３は、ユーザ指示領域情報記憶部７１６のデータ構造の一例を示す表である。

表３の例では、ユーザ指示領域情報記憶部７１６は、「ユーザ指示領域」および「位置情報」に加えて、さらに「関連操作領域情報」を記憶している。「関連操作領域情報」は、ユーザ指示領域ＵＡ同士の関連を示す情報である。

ここでは、「関連操作領域情報」に同一の文字列が記憶されているレコードのユーザ指示領域ＵＡは、互いに関連しているものとしている。例えば、表３の１つ目〜３つ目のレコードには、「関連操作領域情報」に“電卓”が記憶されているので、ユーザ指示領域ＵＡ１、ＵＡ２、ＵＡ３は、互いに関連している。

なお、表３の例では、ユーザ指示領域ＵＡにボタン等を表示するアプリケーション等が識別可能な文字列を「関連操作領域情報」として記憶している。例えば、ユーザ指示領域ＵＡ１、ＵＡ２、ＵＡ３にボタン等を表示するアプリケーション等は、電卓アプリケーションである。同様に、ユーザ指示領域ＵＡ４、ＵＡ５にボタン等を表示するアプリケーション等は、メモ帳アプリケーションである。また、ユーザ指示領域ＵＡ６、ＵＡ７には、メニューが表示される。

次に、ユーザ指示領域情報取得部７１７は、主制御部８００から、ユーザ指示領域情報を取得し、当該取得したユーザ指示領域情報を、ユーザ指示領域情報記憶部７１６に格納するものである。

なお、主制御部８００にて実行されるプログラムのうち、センサ内蔵液晶パネル３０１に対してボタンやメニューの表示を指示するアプリケーションプログラム等は、ユーザ指示領域情報を保有しているものとする。また、ユーザ指示領域情報を主制御部８００から取得するタイミングは、特に限定されるものではないが、例えば、ボタンやメニューがセンサ内蔵液晶パネル３０１に表示されるタイミング（つまり、主制御部８００がボタンやメニューの表示データを表示データ処理部７０１に送信するタイミング）で、主制御部８００からユーザ指示領域情報取得部７１７に送信されることを想定している。

抽出領域設定部７１８は、実施の形態１の抽出領域設定部７１１と同じく、画像処理部７１２が処理を行なう対象とする抽出処理対象領域ＤＡを設定するものである。しかしながら、実施の形態１の抽出領域設定部７１１とは、抽出処理対象領域ＤＡの設定方法が異なる。

抽出領域設定部７１８は、ユーザ指示領域情報記憶部７１６に格納されているレコードを取得し、当該取得したレコードの「位置情報」で示されるユーザ指示領域ＵＡを、抽出処理対象領域ＤＡとして設定する。なお、ユーザ指示領域情報記憶部７１６から複数のレコードが取得できる場合、各レコードの「位置情報」で示されるユーザ指示領域ＵＡのそれぞれを、抽出処理対象領域ＤＡとして設定する。

また、抽出領域設定部７１８は、直近にユーザ指示領域ＵＡに基づいて、引き続きユーザが操作する可能性が高いユーザ指示領域ＵＡを予測し、抽出処理対象領域ＤＡを設定してもよい。

具体的には、まず、座標データ記憶部７１５に格納されている最新の座標を取得する。そして、当該取得した座標で示される位置を含むユーザ指示領域ＵＡを示す「位置情報」を有するレコードを、ユーザ指示領域情報記憶部７１６から検索する。そして、当該検索されたレコードの「関連操作領域情報」に格納されている文字列を取得する。そして、当該取得した文字列と同じ文字列を「関連操作領域情報」に有する全てのレコードをユーザ指示領域情報記憶部７１６から取得する。そして、当該取得したレコードの「位置情報」で示される領域を、抽出処理対象領域ＤＡとして設定する。このように、直近にユーザが操作したユーザ指示領域ＵＡに関連するユーザ指示領域ＵＡを、抽出処理対象領域ＤＡとして設定する。

また、抽出領域設定部７１８は、少なくとも所定周期Ｃで、全体領域ＡＡを抽出処理対象領域ＤＡとして設定する。なお、上記所定周期Ｃは、センサ内蔵液晶パネル３０１に表示されているアプリケーション毎に定められたものであることが望ましい。また、少なくとも所定周期Ｃで抽出処理対象領域ＤＡとして設定する領域を、全体領域ＡＡとする代わりに、アプリ別操作全体領域としてもよい。

（センサデータ処理部の処理の流れ）
次に、図１６を参照しながら、本実施の形態に係るデータ表示／センサ装置１００において、抽出処理対象領域ＤＡを設定した上で、部分画像の抽出および部分画像の代表点の検出を行なう処理の流れの一例について説明する。図１６は、本実施の形態に係るデータ表示／センサ装置１００において、抽出処理対象領域ＤＡを設定した上で、部分画像の抽出および部分画像の代表点の検出を行なう処理の流れの一例を示すフローチャートである。図１３にて説明した説明したステップと同一のステップについては、その説明を省略する。

全体領域ＡＡを抽出処理対象領域ＤＡとして部分画像を抽出してから所定期間が経過していない場合（Ｓ１１にてＮＯ）、抽出領域設定部７１８が、ユーザ指示領域情報記憶部７１６からユーザ指示領域情報（つまり、各レコードの「位置情報」）を取得する（Ｓ３１）。

次に、ユーザに操作される可能性の高いユーザ指示領域ＵＡを予測せずに抽出処理対象領域ＤＡを設定する場合（Ｓ３２にてＮＯ）、抽出領域設定部７１８は、ステップＳ３１にて取得した位置情報で示されるユーザ指示領域ＵＡのそれぞれを、抽出処理対象領域ＤＡとして設定する（Ｓ３３）。

一方、ユーザに操作される可能性の高いユーザ指示領域ＵＡを予測して抽出処理対象領域ＤＡを設定する場合（Ｓ３２にてＹＥＳ）、抽出領域設定部７１８は、まず、座標データ記憶部７１５に格納されている最新の座標を取得する（Ｓ３４）。

そして、上記取得した座標で示される位置を含むユーザ指示領域ＵＡに関連するユーザ指示領域ＵＡを特定する（Ｓ３５）。具体的には、上記取得した座標で示される位置を含むユーザ指示領域ＵＡを示す「位置情報」を有するレコードを、ユーザ指示領域情報記憶部７１６から検索する。そして、当該検索されたレコードの「関連操作領域情報」に格納されている文字列を取得する。そして、当該取得した文字列と同じ文字列を「関連操作領域情報」に有する全てのレコードをユーザ指示領域情報記憶部７１６から取得し、当該取得したレコードの「位置情報」で示される領域を、関連するユーザ指示領域ＵＡとて特定する。

そして、上記特定したユーザ指示領域ＵＡを、抽出処理対象領域ＤＡとして設定する（Ｓ３６）。

ステップＳ３３の後、および、ステップＳ３６の後の処理の流れは、実施の形態１にて説明したステップＳ２０からステップＳ２３までと同様である。

〔変形例〕
上述の各実施の形態では、全体領域ＡＡ（または、アプリ別操作全体領域）を抽出処理対象領域ＤＡとして設定するタイミングを「所定周期Ｃ」として説明したが、部分画像抽出部７１３が部分画像を抽出できなかったとき（つまり、抽出処理対象領域ＤＡ内に変化領域が無かったとき）、次回設定する抽出処理対象領域ＤＡを、全体領域ＡＡ（または、アプリ別操作全体領域）としてもよい。

〔付記事項〕
最後に、データ表示／センサ装置１００の主制御部８００、データ処理部７００、回路制御部６００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、対象物の像を検知することができる像検知装置に適用できる。特に、ユーザからの操作を受け付け、当該操作された位置の座標を検出することができる液晶パネルを備えるＰＤＡ（Personal Digital Assistant）、携帯電話機、携帯型ゲーム機、ノートパソコンなどに好適に適用できる。

本発明の一実施形態に係るデータ表示／センサ装置のセンサデータ処理部の詳細構成を示すブロック図である。 上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。 図３（ａ）は、上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、図３（ｂ）は、上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。 上記データ表示／センサ装置の要部構成を示すブロック図である。 上記データ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。 上記コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。 図７（ａ）は、対象物がセンサ内蔵液晶パネル上に載置されていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データの一例を示す図であり、図７（ｂ）は、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データの一例を示す図である。 上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。 図９（ａ）は、ユーザが対象物であるペンにて、上記センサ内蔵液晶パネルの表面を操作した様子を示す図である。図９（ｂ）は、図９（ａ）に示す状態において、対象物の部分画像を抽出するとともに、当該抽出した部分画像の代表点を検出した様子を示す図である。図９（ｃ）は、図９（ａ）に示した状態に引き続き、ユーザが、上記センサ内蔵液晶パネル上で対象物をドラッグさせている様子を示す図である。図９（ｄ）は、図９（ｃ）に示す状態において、対象物の部分画像を抽出するために設定した抽出処理対象領域を示す図である。図９（ｅ）は、図９（ｄ）に示した抽出処理対象領域にて、対象物の部分画像を抽出するとともに、当該抽出した部分画像の代表点を検出した様子を示す図である。図９（ｆ）は、図９（ｃ）に示した状態に引き続き、ユーザが、上記センサ内蔵液晶パネル上で対象物をドラッグさせている様子を示す図である。図９（ｇ）は、図９（ｆ）に示す状態において、対象物の部分画像を抽出するために設定した抽出処理対象領域を示す図である。図９（ｈ）は、図９（ｇ）に示した抽出処理対象領域にて、対象物の部分画像を抽出するとともに、当該抽出した部分画像の代表点を検出した様子を示す図である。 図１０（ａ）は、図９（ａ）に示した状態から所定周期が経過した状態を示す図である。図１０（ｂ）は、図１０（ａ）に示す状態において、対象物の部分画像を抽出するとともに、当該抽出した部分画像の代表点を検出した様子を示す図である。 図１１（ａ）は、図１０（ａ）に示した状態において、ユーザが、さらに対象物である指にて、センサ内蔵液晶パネルの表面を操作した様子を示す図である。図１１（ｂ）は、図１１（ａ）に示す状態において、全体領域を抽出処理対象領域に設定した上で、対象物の部分画像を抽出するともに、部分画像の代表点を検出する様子を示す図である。図１１（ｃ）は、図１１（ｂ）にて検出された各代表点の周辺の領域を抽出処理対象領域として設定する様子を示す図である。 図１２（ａ）は、ユーザが対象物であるペンにて、上記センサ内蔵液晶パネルの表面を右上方向にドラッグしている様子を示す図である。図１２（ｂ）は、過去に検出した代表点に基づいて、対象物の動きを予測した上で、抽出処理対象領域を設定する様子を示す図である。 上記データ表示／センサ装置において、抽出処理対象領域を設定した上で、部分画像の抽出および部分画像の代表点の検出を行なう処理の流れの一例を示すフローチャートである。 図１４（ａ）は、上記センサ内蔵液晶パネルに、各アプリケーションを起動するためのメニューが表示されており、かつ、当該メニューが操作されたことによって起動された電卓アプリケーションが表示されている様子を示す図である。図１４（ｂ）は、上記メニュー、および、上記の各ボタンを表示している領域を、抽出処理対象領域として設定する様子を示す図である。図１４（ｃ）は、上記の各ボタンを表示している領域を、抽出処理対象領域として設定する様子を示す図である。 本発明の他の一実施形態に係るデータ表示／センサ装置のセンサデータ処理部の詳細構成を示すブロック図である。 本発明の他の一実施形態に係るデータ表示／センサ装置において、抽出処理対象領域を設定した上で、部分画像の抽出および部分画像の代表点の検出を行なう処理の流れの一例を示すフローチャートである。

符号の説明

６２ 対象物
６４ 対象物
１００ データ表示／センサ装置（像検知装置）
３００ 表示／光センサ部
３０１ センサ内蔵液晶パネル（面状部材）
７０３ａ センサデータ処理部
７０３ｂ センサデータ処理部
７０４ 画像データバッファ
７１１ 抽出領域設定部（抽出領域設定手段）
７１３ 部分画像抽出部（変化領域抽出手段）
７１４ 座標検出部（代表点検出手段）
７１５ 座標データ記憶部
７１６ ユーザ指示領域情報記憶部
７１７ ユーザ指示領域情報取得部
７１８ 抽出領域設定部（抽出領域設定手段）
８００ 主制御部
ＡＡ 全体領域
ＤＡ 抽出処理対象領域
ＵＡ ユーザ指示領域（ユーザ指示を受け付ける領域）

Claims (7)

1. 近傍の像を検知する面状部材を備えるとともに、上記面状部材にて検知された像の画像を所定周期で生成する像検知装置であって、
   上記生成された最新の画像と、当該画像の直前に生成された画像との間で、画素値の変化量が所定閾値より大きい領域である変化領域を抽出する変化領域抽出手段を備えるとともに、
   上記変化領域抽出手段が上記２つの画像間の上記変化領域を抽出する処理を施す対象とする抽出処理対象領域を設定する抽出領域設定手段を備えることを特徴とする像検知装置。
2. 上記抽出領域設定手段は、上記最新の画像の直前に生成された画像と、当該画像の直前に生成された画像との上記変化領域、および、当該変化領域の周辺を、上記抽出処理対象領域として設定することを特徴とする請求項１に記載の像検知装置。
3. 上記面状部材は、さらに、画像を表示するものであって、
   上記抽出領域設定手段は、上記面状部材に表示される、ユーザ指示を受け付ける領域を示す画像を少なくとも含む領域を、上記抽出処理対象領域として設定することを特徴とする請求項１に記載の像検知装置。
4. 上記変化領域に含まれる所定の１点を検出する代表点検出手段をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の像検知装置。
5. 近傍の像を検知する面状部材を備えるとともに、上記面状部材にて検知された像の画像を所定周期で生成する像検知装置の制御方法であって、
   上記生成された最新の画像と、当該画像の直前に生成された画像との間で、画素値の変化量が所定閾値より大きい領域である変化領域を抽出する変化領域抽出ステップを含むとともに、
   上記変化領域抽出ステップにて上記２つの画像間の上記変化領域を抽出する処理を施す対象とする抽出処理対象領域を設定する抽出領域設定ステップを含むことを特徴とする像検知装置の制御方法。
6. 請求項１から４のいずれか１項に記載の像検知装置が備えるコンピュータを動作させる制御プログラムであって、上記コンピュータを上記の各手段として機能させるための制御プログラム。
7. 請求項６に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images