JP4257221B2 - 表示装置および情報端末装置 - Google Patents

Description

本発明は、画像取込み機能を備えた表示装置に関する。

マウス等の座標指示部材を設ける代わりに、表示装置自体に座標入力機能を設る技術が提案されている。例えば、表示装置の表面に感圧式タッチパネルを配置する構成や、表示装置の背面に電磁誘導タブレットを配置する構成が知られている。感圧式タッチパネルは、透明電極材料からなる透明電極パターンの付された2枚の透明平板を所定間隔で対向させ、指等で押された部分のみ、電極パターン同士を接触させて、該電極パターンの抵抗値を変化させて、指等で押された部分の座標を計算する。電磁誘導タブレットは、表示装置の背面に配置された専用のタブレットから所定の電磁波を出力し、共振回路を有した専用ペンが表示装置表面に接近した場合に、専用ペンの共振回路から発せられる電磁波を、タブレットで受けてその位置の座標を所定の方法で計算する。いずれも携帯用パーソナルコンピュータや携帯電話機で用いられている（特許文献１，２参照）。
特開平８−２５４６８２号公報 特開平７−２２５３７１号公報

しかしながら、従来の座標入力機能付きの表示装置は、小型化するのが困難であり、重量も重いものが多かった。また、通常の表示装置に比べて、コストがかなり高く、さらに構造が複雑なため、壊れやすいなどの保守性に問題があった。また、様々なノイズにより誤動作しないことが強く要求される。

本発明は、このような点に鑑みてなされたものであり、その目的は、小型化及び低価格化が可能で、高精度に座標検出を行うことができる表示装置を提供することにある。

本発明の一態様によれば、表示画面の任意の場所を人間の手または指示部材にて指示したことを検知可能な表示装置において、
縦横に列設される信号線及び走査線の各交点付近に形成される表示素子と、
それぞれが所定範囲の入射光を撮像する撮像部と、
前記撮像部で撮像された画像に対応する２値データを格納する２値データ格納部と、
前記２値データの論理が変化する場所と周囲の明るさとに基づいて、手または指示部材による表示画面上の指示位置を検出するポインタ検出手段と、を備え、
前記撮像部および前記ポインタ検出手段は、前記表示素子と同一の基板上に形成または実装され、
前記撮像部は、連続した表示フレーム期間の合間に設けられる撮像フレーム期間に撮像を行うことを特徴とする表示装置が提供される。

本発明によれば、撮像部で撮像された２値データと周囲の明るさに基づいて、手または指示部材の指示位置を検出するため、周囲が明るくても暗くても、高精度の検出が可能となる。

以下、本発明に係る表示装置について、図面を参照しながら具体的に説明する。以下では、本発明に係る表示装置の一例として、液晶表示装置について説明する。

（第１の実施形態）
第１の実施形態の液晶表示装置は、各画素に、画像取込を行うセンサを配置している。LCD基板には共通電極をITO等の透明電極材料により形成した対向基板を所定間隔（約5ミクロン）で配置し、これらの間に液晶材料を注入し所定の方法で封止して、さらに両基板の外側に偏光板を貼り付けて用いる。

図１は液晶表示装置の一実施形態の概略構成を示すブロック図である。図１の液晶表示装置は、信号線及び走査線が列設される画素アレイ部１と、信号線を駆動する信号線駆動回路２と、走査線を駆動する走査線駆動回路３と、センサからの撮像データをシリアル出力する信号処理出力回路４と、同期信号発生回路５と、撮像データの処理を行うコントローラ６とを備えている。

画素アレイ部１はLCD基板上に低温ポリシリコンTFT（Thin Film Transistor）を用いて形成される。また、信号線駆動回路２、走査線駆動回路３、プリチャージ制御回路４及びセンサ制御回路５の少なくとも一部も、低温ポリシリコンTFTでLCD基板上に形成される。コントローラ６は、LCD基板に形成または実装してもよいし、別基板に設けてもよい。

画素アレイ部１は、水平方向320画素×垂直方向240画素の表示解像度を有する。信号線の総数は320本で、走査線の総数は240本である。各画素は正方形状であり、カラーフィルタを持たない。LCD基板の背面に配置される不図示のバックライトは、少なくとも赤、緑及び青で発光するLEDを備える。

補助容量Ｃsに書き込まれる電圧に基づいて、液晶表示を白から黒に64階調で可変可能である。これに同期して、バックライトの色を赤、緑及び青のいずれかで点灯させることにより各色64階調の表示、いわゆるフィールドシーケンシャル駆動を行う。

信号線駆動回路２の内部には不図示のDACが信号線４本ごとに１つの割合で合計80個設けられている。信号線駆動回路は、表示期間中は、１水平期間を４分割して、４本の信号線を組として、各組とも信号線を１本ずつ駆動する。外部ICより所定周期で入力されるデジタル画素データを液晶の駆動に適したアナログ画素電圧に変換して4本の信号線を順に駆動する。

走査線駆動回路３は、80段のシフトレジスタ１１と、３選択回路１２と、レベルシフタ１３と、マルチプレクサ（MUX回路）１４と、バッファ１５とを有する。

３選択デコーダ１２は、隣接する３本の走査線のうちいずれか１本を選択する。したがって、３選択デコーダ１２は、240本の走査線を３本ごとに駆動することができる。このような走査線の駆動方法を行うことにより、画面全体の平均階調（単位画素数に対する白画素数の割合）を短時間で検出できる。すなわち、走査線を３本おきに駆動して、その走査線に対応するセンサの撮像結果を読み出して平均階調を計算し、その計算結果に基づいて、残りのセンサの撮像結果を読み出すか、あるいは撮像条件を変えて撮像をやり直すかを決定するため、撮像条件がふさわしくない撮像データを無駄に取り込まなくて済む。これにより、撮像結果を最終的に表示するまでの時間を短縮でき、かつ、撮像データを出力するための消費電力を小さくできる。

信号処理出力回路４は、プリチャージ回路１６と、４本の信号線出力のうち１本を選択する４選択デコーダ１７と、４選択デコーダ１７の出力をシフトするシフトレジスタ１８と、シフトレジスタ１８の出力に接続された出力バッファ１９とを有する。出力バッファ１９は、従属接続された複数のインバータからなり、各インバータは出力負荷に応じてチャネル幅を徐々に拡大している。シフトクロックに同期して、シフトレジスタ１８の所定ノードに逐次現れる撮像データを増幅して外部に送出する。

図２は画素アレイ部１の１画素分の詳細回路図、図３はガラス基板上の１画素分のレイアウト図である。図２に示すように、１画素は、画素TFT３１と、補助容量Ｃsに電荷を蓄積するか否かを制御する表示制御TFT３２と、それぞれが所定範囲の入射光を撮像する画像取込センサ３３と、センサ３３の撮像結果を格納するキャパシタＣ１（以下ではセンサ容量とも呼ぶ）と、キャパシタＣ１の蓄積電荷に応じた２値データを格納するSRAM３４と、キャパシタＣ１に初期電荷を蓄積するための初期化用TFT３５とを有する。SRAM34は従属接続された2個のインバータを備え、キャパシタC1の電位を2値化したり、TFT35とTFT36が同時にオンした場合にはループ状に接続されて2値化したデータを保持することができる。

ここで、各画素の輝度は、補助容量Csに蓄積された電荷に基づいて決まる画素電極電位と、対向基板上に形成されたコモン電極の電位との差により、これらの間に挟まれた液晶層の透過率を制御することにより、階調制御される。

図２では、各画素ごとに１個のセンサ３３を設ける例を示しているが、センサ３３の数に特に制限はない。１画素当たりのセンサ３３の数を増やすほど、画像取込みの解像度を向上できる。

キャパシタＣ１の初期化を行う場合は、画素TFT３１と初期化用TFT３５をオンする。表示素子の輝度を設定するためのアナログ画素電圧（アナログ画素データ）を補助容量Ｃsに書き込む場合は、画素TFT３１と表示制御TFT３２をオンする。SRAM３４のデータ保持（リフレッシュ）を行う場合は、初期化用TFT３５とSRAM３４内のデータ保持用TFT３６をともにオンする。SRAM３４に格納された撮像データを信号線に供給する場合は、画素TFT３１とデータ保持用TFT３６をともにオンする。

本実施形態の表示装置は、通常の表示動作を行うこともできるし、スキャナと同様の画像取込みを行うこともできる。さらには、ユーザーの指などが接近してくることにより生じる指の影や、光ペンの接近による明部を読取り、指示座標の検出に用いることもできる。通常の表示動作を行う場合は、TFT３５，３６はオフ状態に設定され、SRAM34には有効なデータは格納されない。この場合、信号線には、信号線駆動回路２からの信号線電圧が供給され、この信号線電圧に応じた表示が行われる。

一方、画像取込みを行う場合は、図４に示すようにLCD基板１の上面側に画像取込み対象物（例えば、紙面）３７を配置し、バックライト３８からの光を対向基板３９とLCD基板１を介して紙面３７に照射する。紙面３７で反射された光はLCD基板１上のセンサ３３で受光され、画像取込みが行われる。

ここで、撮像対象側に配置されるガラス基板及び偏光板はできるだけ薄いものが良い。望ましくは合計0.2mm程度以下がよい。紙面はふつう拡散反射面であることが多く、照射される光をつよく拡散する。撮像対象側のガラス基板が厚いと、センサ受光部と紙面の距離が広がりその分拡散反射光が隣接画そのセンサに入りやすくなり取り込み画像がぼやける原因となることがあるからである。またセンサを内蔵したアレイ基板１は図４のようにフロント側に配置するのが好ましい。リア側（バックライト側）に配置してしまうと、指の反射光は液晶層を通過してセンサに到達することになるため、光量が低下してしまうからである。

取り込んだ画像データは、図２に示すSRAM３４に格納された後、信号線を介して、不図示のLCDCに送られる。このLCDCは、本実施形態の表示装置から出力されるデジタル信号を受けて、データの並び替えやデータ中のノイズの除去などの演算処理を行う。

人間の指などの画素ピッチ（数百ミクロン程度）に比べ比較的大きなものの座標検出を行う場合、必ずしも高解像度で画像取込を行う必要はない。そこで、本実施形態では、行（水平）方向には、信号線の４本ごとに画像取込を行い、列（垂直）方向には、走査線の３本ごとに画像取込を行っている。

図５は水平方向に隣接配置される４画素（画素ｎ、画素(n+1)、画素(n+2)、画素(n+3)）の等価回路図である。制御線のうち、Gate線及びCRTを各行毎に、SFB及びPCCを各列毎に駆動できるようにしている点に特徴がある。また、SRAMの出力部にゲートTFTを設けている。図５の４画素には同一のDACからのアナログ画素電圧が供給される。また、図５の４画素のうち１画素のみ（最も左側の画素）の撮像データが信号処理出力回路４から出力される。すなわち、４画素のうち、撮像データを出力するのは、画素ｎのみである。他の画素の撮像データを出力してもよいがその分余計に時間を消費することになる。また、4画素のうちいずれからアナログ画素電圧を書込み、いずれの画素から撮像データを出力するかは限定されない。各行毎に適当に順番を入れ替えても良い。ライトペンや指等の画素ピッチに比べて大きな物体の指示座標を計算する上では大きな違いは無い。

以下では、図５の４画素のうち、画素ｎへのデジタル画素データの書き込みが終わり、画素(n+1)へのデジタル画素データを書き込み中の場合の動作を説明する。この場合、画素ｎでは、図２の信号PCC(n)をロー、信号SFB(n)をハイにして、補助容量Ｃsの電位を保持しつつ、SRAM３４から信号線ｎにデジタル画素データを書き込む。

これにより、画素ｎでは、補助容量Ｃsへの書き込みを行わずに、SRAM３４からデータ保持用TFT３６を経由して信号線ｎに、SRAM３４で保持していた撮像データが出力される。

また、画素(n+1)では、信号PCC(n)をハイ、信号SFB(n+1)をローにして、信号線(n+1)上のデジタル画素データを補助容量Ｃsに書き込む。このため、画素(n+1)では、SRAM３４から信号線(n+1)に撮像データが出力されることはなく、DAC１５により駆動される信号線電圧が補助容量Ｃsに取り込まれる。

また、画素(n+2)では、信号PCC(n)をハイ、信号SFB(n+2)をローにした状態で、信号線(n+2)から補助容量Ｃsへの書き込みを待機する。また、画素(n+3)では、信号PCC(n+3)をハイ、信号SFB(n+3)をローにした状態で、信号線(n+3)から補助容量Ｃsへの書き込みを待機する。

図６は図５の処理動作のタイミング図、図７は詳細タイミング図である。まず、時刻ｔ１で、画素ｎへのデジタル画素データの書き込みが開始される。その後、時刻ｔ２で、画素(n+1)でデジタル画素データの書き込みが開始されるとともに、いったんCRT(m)とSFB(n)をともにオンし、SRAM34にキャパシタC1電位の2値化をさせた後、画素ｎの撮像データが信号線ｎに出力される。ライトペンが当該画素に接近している場合や、指が当該画素に接近している場合には、指の表面で表示装置の各画素から発した光が反射して当該画素の光センサに光リークを生じ、その結果、キャパシタC1の電位が低下する。SRAM34の2値化動作により、デジタル信号のL(ロー)信号に直した上で、信号線ｎに出力する。一方ライトペンや指表面による反射光が及ばない画素の場合にはキャパシタC1の電位は低下せず、2値化動作後にH（ハイ）信号として出力される。その後、時刻ｔ３で、画素(n+2)のデジタル画素データの書き込みが開始されるとともに、信号線上の画素ｎの撮像データが信号処理出力回路４内でラッチされ、その後にシフトレジスタ１８への書き込みが行われた後、シフトレジスタ１８から撮像データがシリアル出力される。

その後、時刻ｔ６になると、画素(n+3)のデジタル画素データの書き込みが開始される。その後、時刻ｔ７になると、信号PCCがローレベルに設定された後、時刻ｔ８でセンサ容量（キャパシタC1）のプリチャージが行われる。そしてまた1フレーム後にセンサ容量の電位が劣化したか否かをSRAM34により2値化して出力するように動作する。

本実施形態は、列（垂直）方向については、走査線駆動回路３内にマルチプレクサを設けて、赤／青／緑の各１画面の表示を行う間に３回のインタレース駆動を行う。インタレース駆動とは走査を第1行から順にでなく、数行飛ばしに行うことをいう。指等の指示座標の計算のためには3行ひとまとめに考えて差し支えない。とすると垂直方向の座標は1画面の表示の間に3回計算されることになる。赤／青／緑の３画面で考えると９回計算されることになる。

なお、1画面の表示のためのインタレース駆動は3回に限定されない。シフトレジスタ数を減らして、マルチプレクサを増やせば、1フレーム期間中のスキャン数を増やすことができる。ライトペンや指等のより早い動きに追随できるようになる。逆にシフトレジスタ数を増やしてマルチプレクサを減らせば、位置精度が向上する。

図８（ａ）及び図８（ｂ）は画素アレイ部１の表面を指で触れる前後のセンサの取込画像を示す図である。室内などのように周囲がそれほど明るくない場合、指で触れる前は、画素アレイ部１の近くには画素アレイ部１からの光を反射するものがないため、図８（ａ）に示すように取込画像は全面黒になる。画素アレイ部１を指で触れるか、あるいは指を近づけると、指の影になる部分のセンサの取込画像だけが図８（ｂ）に示すように白色になる。

このように、指を近づけると、取込画像に黒白の明暗ができるため、撮像データの値により黒白の境界部分を検出することで、画面上の指の位置を正確に特定できる。

ただし、指の輪郭付近は外光が遮られ、画素アレイ部１の発光の反射が弱いため、黒くなる。したがって、黒色部で囲まれた白色部の中心部分を指の指示座標とするのが望ましい。

一方、屋外などの周囲が明るい場所では、指を触れていない場所で外光によりセンサが反応し、ほとんど全面が白に近い状態になる。この状態で、指を近づけると、指が外光を遮って影を作り、図８（ｃ）のように指の部分だけ黒い撮像データが得られる。そして、指を画素アレイ部１に触れると、図８（ｄ）に示すように指の接触面は画素アレイ部１からの発光を反射して白くなる。ただし、指の境界付近では外光が遮られ、画素アレイ部１の発光の反射も弱いため、黒くなる。したがって、指で指示した座標を求めるには、黒色部で囲まれた白色部の中心部を求めるのが望ましい。

図９は指の指示座標を計算する処理手順の一例を示すフローチャートである。このフローチャートは、信号処理出力回路４またはコントローラ６により実行される。まず、１画面分のセンサの取込画像のうち、黒の割合が白の割合よりも多いか否かを判定する（ステップＳ１）。黒の割合の方が多い場合には、周囲が暗いと判断して、撮像データが黒から白に急激に変化した領域の先端部の座標を、指で触れた指示座標とする（ステップＳ２）。

一方、黒の割合よりも白の割合の方が多い場合には、周囲が明るいと判断して、白から黒に変化した領域内の白部の中心座標を、指で触れた指示座標とする（ステップＳ３）。

次に、指で触れた指示座標の計算手法について詳述する。この計算はアレイ基板上で行うのが望ましい。その理由は、外部ICでこの計算を行うと、アレイ基板から全画素分の白／黒データを出力しなければならず、消費電力が増大するだけでなく、座標検出にも時間がかかるためである。

一例として、320×240ドットのいわゆるQVGAパネルについて説明する。各画素の座標を(x,y)とする。ただし、ｘは0,1,…,319であり、ｙは0,1,…,239である。

図１０に示す指の指示座標（Ex, Ey)は、（３）式で求められる。

（１）式の分母のΣL(x,y)は、白の画素の総数になる。

また、指の面積（Vx, Vy)は、（４）式で求められる。

本実施形態では、画素アレイ部１を信号線方向に８分割して指の指示座標を算出する。この場合、撮像データの１画面分の加算値Ｗは（５）式で表され、指示座標のｘ座標Exは（６）式で表される。

ここで、（７）式のように置く。

このとき、（６）式は（８）式のようになる。

（８）式中のWは（９）式で表される。

同様にして、Eyは（１０）式のようになる。

上述した座標計算は信号処理出力回路４またはコントローラ６にて行われる。図１１は座標計算を信号処理出力回路４で行う場合の信号処理出力回路４の内部構成の一例を示すブロック図である。図１１の内部構成は、図１のプリチャージ回路１６、４選択デコーダ１７、シフトレジスタ１８および出力バッファ１９に代わるものである。

図１１の信号処理出力回路４は、（７）式の演算を行う縦続接続されたｎ個のDSP４１と、DSP４１で計算されたＸi(y)（０≦ｉ≦７）を格納するレジスタ４２と、DSP４１で計算されたWi(y)（０≦ｉ≦７）を格納するレジスタ４３と、（１１）式の演算を行うDSP４４と、（１２）式の演算を行うDSP４５と、レジスタX(y)と、レジスタW(y)と、（１３）式の演算を行うDSP４６と、（１４）式の演算を行うDSP４７と、（１５）式の演算を行うDSP４８とを有する。

X(y)＝X₀(y)＋X₁(y)＋…＋X₇(y)＋40・W₁(y)＋…＋280・W₇(y) …（１１）
W(y)＝W₀(y)＋W₁(y)＋…＋W₇(y) …（１２）

これらの回路は低温ポリシリコンTFT技術等を用いてLCD基板１上に内蔵することが有利である。全画面のビットマップを全て外部ICに引き渡す構成より、式（１３）、（１４）、（１５）の結果のみを外部ICに引き渡すことが有利である。最終的な座標計算は外部ICにさせるが、そのために外部ICに引き渡すデータ量は少ないほど、座標検出に要する時間及び消費電力の点で有利となるからである。

このように、本実施形態では、画像取込機能を有する液晶表示装置において、画素アレイ部１に指を近づけたり接触させたときの撮像データの黒白の変化を検出し、かつ周囲の明るさを考慮に入れて指の座標位置を特定するようにしたため、周囲が明るい場合でも、暗い場合でも、座標位置を精度よく検出できる。

また、座標検出を行う際は、全画素分の撮像データを検出するのではなく、信号線方向及び走査線方向ともに複数画素ごとに撮像データを検出するため、座標検出に要する時間を短縮できる。

センサの密度は画素：センサ＝１：１でなく、10画素に1センサのようにしてもよい。また、センサは表示エリアの最外周のみに配置してもよい。

上述した実施形態では、本発明を液晶表示装置に適用した例について主に説明したが、本発明は画像取込機能をもつすべての種類の平面表示装置に適用可能である。

（第２の実施形態）
第２の実施形態は、連続して撮像された２枚の撮像画像の差分画像に基づいて、指の座標検出を行うものである。

図１２は信号処理出力回路４またはコントローラ６が行う指の座標検出処理を示すフローチャート、図１３は撮像画像の一例を示す図である。まず、バックライトを点灯した状態で１フレーム分の撮像を行い、その撮像結果（以下、第１の画像）を不図示の記憶装置に記憶しておく（ステップＳ１１）。

撮像画像には、図１３（ａ）に示すように、バックライトの点灯／消灯に関係なくノイズ光による白色部分を含み、バックライトを点灯した状態では、図１３（ｂ）に示すように、指による白色部分とノイズ光による白色部分とを含んだ画像が得られる。

次に、バックライトが非点灯の状態で１フレーム分の撮像を行い、その撮像結果（以下、第２の画像）を不図示の記憶装置に記憶しておく（ステップＳ１２）。バックライトを消灯した状態では、図１３（ｃ）に示すように、指による白色部分は存在しないが、ノイズ光による白色部分を含んだ画像が得られる。

次に、第１および第２の画像の差分（以下、差分画像）を検出する（ステップＳ１３）。例えば、撮像結果が白の場合を１、黒の場合を０とすると、両画像とも同じ色の場合には、差分はゼロであり、第１の画像が１で第２の画像が０であれば、差分は１である。第１および第２の画像の差分を取ることで、図１３（ｄ）に示すようにノイズ光による白色部分のない差分画像が得られる。

次に、上述の（３）式と（４）式を用いて、差分画像の中心座標と径を計算する（ステップＳ１４）。

次に、差分画像の径が急激に増大したか否かを判定する（ステップＳ１５）。図１４は指と画素アレイ部１との距離によって撮像画像が変化する様子を示す図である。図１４（ａ）は指と画素アレイ部１との距離を概念的に示す図、図１４（ｂ）は距離＝５mm、図１４（ｃ）は距離＝２mm、図１４（ｄ）は距離＝０mm、図１４（ｅ）は距離＝０mmで指を画素アレイ部１に押さえつけた場合を示している。距離＝５mmおよび２mmの場合、指の腹からの反射光はほとんど画素アレイ部１のセンサに到達しない。距離＝０mmになると、指の腹からの反射光がセンサに入力された部分だけ白くなる。その白部分の面積は、指を押さえつけた場合には大きくなる。

このため、図１２のステップＳ１４において、差分画像の径が急激に増大したと判定された場合には、指が画素アレイ部１に確実に接触されたと判断できる。この場合、差分画像の中心座標を指の接触位置とし（ステップＳ１６）、ステップＳ１１の処理に戻る。一方、ステップＳ１５で差分画像の径が急激に増大しなかったと判定された場合は、指は接触されていないと判断してステップＳ１１の処理に戻る。

図１５は第２の実施形態の動作タイミング図である。図１５に示すように、通常表示期間ｔ１と指座標検出期間ｔ２とが設けられる。通常表示期間は、指座標検出は行われない。この期間は、信号線駆動回路２から各信号線に表示用アナログ電圧が供給され、走査線駆動回路３により各行の走査線が所定の順序で駆動される。１秒間に50回（50Hzすなわち20msec）の周期で画面表示が繰り返される。

指座標検出期間は、表示を行いながら指の座標検出を行う。具体的には、１フレームごとに、バックライトの点灯／消灯を繰り返す。このため、ユーザには画面が点滅（ブリンク）しているように視認され、指座標検出期間であることをユーザに報知することができる。

１フレーム期間（20ms）には、現実に走査線を駆動して映像信号を画素に書き込む表示期間（16msec）と、最終行まで書き終わってから次のフレームを書き始めるまでのブランク期間（4msec）がある。ブランク期間には、画素内のセンサからのデータ出力を行うとともに、次のフレームでの撮像のために各画素のセンサ容量にプリチャージを行う。このデータ出力とセンサ容量へのプリチャージは、各フレームごとに行う。

指座標検出期間内は、図１５に示すように、バックライトを周期的に点灯／消灯し、図１２の手順で差分画像を繰り返し検出する。

このように、第２の実施形態では、バックライトを点灯させた状態での撮像画像と消灯させた状態での撮像画像との差分画像に基づいて指の接触位置を検出するため、ノイズ光の影響を受けることなく、精度よく指の接触位置を検出できる。

（第３の実施形態）
上述した第２の実施形態では、指座標検出期間内にバックライトを点灯／消灯させる例を説明したが、バックライトを点灯させたまま、画素アレイ部１全体の色を変えて差分画像を検出してもよい。

より具体的には、指座標検出期間内は、画素アレイ部１全体を１フレーム分の撮像を行うたびに黒表示する。そして、黒表示した場合としない場合の撮像画像の差分により差分画像を検出する。画素アレイ部１全体を黒表示すると、画素アレイ部１からの光が指の腹に照射されないため、指の腹からの反射光がセンサに入力されず、第２の実施形態と同様の指座標検出が可能となる。

このように、第３の実施形態では、バックライトを点灯／消灯させなくてすむため、バックライトの制御が簡易化し、またバックライトの寿命向上が図れる。

（第４の実施形態）
第２および第３の実施形態では、指座標検出時に画素アレイ部１の全体の輝度を周期的に変化させる例を示したが、一部の画面領域だけの輝度を変えてもよい。

画面にボタンを表示して、そのボタンを指で触れさせるようにしたタッチスクリーン方式を採用する表示装置が知られている。このようなタッチスクリーンを本実施形態で採用する場合、指座標検出時に画面全体の輝度を変更する必要はなく、ボタンの表示領域のみの輝度を変更すればよい。

そこで、本実施形態では、図１６に示すように、画面のボタン表示領域ｒ１，ｒ２のみの輝度を指座標検出時に周期的に変更する。より具体的には、バックライトは点灯したままにしておき、ボタンの表示領域に対応する画素の色を１フレームごとに黒にする。指座標検出を行う手順は、図１２のフローチャートがそのまま利用できる。

このように、第４の実施形態は、指座標検出時に、ボタンの表示領域のみ輝度を変更するため、指座標検出時の画面の書き換え処理負担を軽減できる。

（第５の実施形態）
第５の実施形態は、人間の指以外の指示部材を用いて特定位置を指定するものである。

人間の指の表面の色や指の太さには個人差があり、また手袋をしている場合などもあり、検出感度が人間によって、または時と場合によって変動するおそれがある。

そこで、球状の軟性の指示部材を画素アレイ部１に押しつけて特定位置を指示することが考えられる。本実施形態の表示装置を携帯電話等に適用する場合には、図１７に示すように、携帯電話等に付属のストラップに上述の指示部材５０を取り付ければよい。

この種の指示部材は、反射率が例えば50%以上望ましくは100%に近くなるような塗装をするのが望ましい。あるいは、センサが画像検出しやすい塗装をするのが望ましい。また、軟性の材質を選択することで、画素アレイ部１に少し押しつけたときに、接触面積が広がることから、センサの画像として確実に検出することができる。

このように、第５の実施形態では、指示部材を用いて画素アレイ部１上の特定位置を指定するようにしたため、指の表面の色や指の太さ等によらずに、指座標検出を行うことができ、指座標検出の精度が向上する。

また、指示部材の表面を図３１に示すように市松模様などの特殊パターンにするとよい。撮像結果の中で市松パターンを検出できた部分が指示位置と判断できるからである。これを表示面に強く押し付けたときの接触面は、図３２の状態から図３３のように接触面積が増大する。これにより、撮像画像に占める市松模様の面積の割合が増大する。これをタップと判断すればよい。なお、特殊パターンは模様でも形状でもよい。

（第６の実施形態）
通常、バックライトには蛍光管が用いられるが、指座標検出期間内にバックライトの点灯／消灯を繰り返す場合には、応答速度の速いLEDをバックライトの光源として用いればよい。この場合、LEDを画素アレイ部１全体に均一に複数個設けてもよいし、１つあるいは少数のLEDを画素アレイ部１の端部に配置してもよい。

あるいは、バックライトは、指座標検出時も常に点灯したままにしておき、バックライトとは別個の光源を指座標検出に利用してもよい。この別個の光源は、LED、EL（Electroluminescence）または赤外光源が望ましい。

また、図１８の動作タイミング図に示すように、表示フレーム期間の合間に指座標検出期間を設ける場合、指座標検出期間内のバックライト点灯期間と消灯期間の幅を任意に変更してもよい。これにより、位相検波を行うことができ、撮像画像のS/N比がよくなる。

（第７の実施形態）
第７の実施形態は、通常の表示フレームの合間に、撮像のためのフレーム（撮像フレーム）を挿入し、連続して撮像された２枚の撮像画像の差分画像に基づいて、指の座標検出を行うものである。

図19はガラス基板（Glass substrate）５１上に低温ポリシリコンTFT技術を用いて形成する回路と、外部コントローラ６と、ホスト装置５２とを備える表示装置の概略構成図である。ガラス基板５１上には、画素アレイ部１、信号線駆動回路２、走査線駆動回路３、信号処理出力回路４、センサコントローラ５３およびA/Dコンバータ５４等が形成される。コントローラ６は、表示データをガラス基板５１に供給することのほか、ガラス基板５１の信号処理出力回路４から出力される画像データに基づいて、指が指示する座標やタップ（指によるクリック動作）指示有無の判定を行う。

指による入力を受け付けない通常表示においては、フレーム周波数50Hzでコントローラ６から表示データがガラス基板５１に供給される。指入力を受け付ける状態では、図20に示すように表示フレームの合間に、撮像のための3つのフレームＦ１，Ｆ２，Ｆ３が挿入される。これらフレームのうち一つはダミーフレームＦ１で、残りの二つは撮像フレームＦ３である。

ダミーフレームＦ１では、表示を白ラスタ表示に変化させる。よく使われるツイステッドネマチック液晶の応答速度は10ms程度と遅いため、直ちに撮像すると、表示フレームの絵が残像として残るため、指の反射光のほかに白い部分が残り座標演算を誤る原因となる。これを回避するためにダミーフレームＦ１を設けた。

撮像フレームＦ２，Ｆ３のうち一つは白ラスタであり、もう一つは黒ラスタである。ここで黒ラスタは、表示データとして黒を書き込むことはせず、バックライトを消灯することにより実現する。このようにすると、液晶の応答が遅くても、すばやく均一な黒表示を行うことができる。バックライト点灯時の撮像画像と、バックライト消灯時の撮像画像とを用いて、ノイズ光を除去した座標演算をコントローラ6で行う。これは第2の実施形態と同様の手法で行う。

このように、第７の実施形態では、表示フレームと撮像フレームの間にダミーフレームを設けるため、撮像フレームが表示フレームの残像の影響を受けなくなり、撮像画像の画質がよくなる。また、撮像フレームを二つ設けるため、ノイズ光を確実に除去できる。

（第８の実施形態）
第８の実施形態は、通常の表示フレームの合間に設ける撮像フレームを特殊パターンとし、2枚の撮像結果の差分演算を不要とする。

指による入力を受け付けない通常表示においては、フレーム周波数50Hzでコントローラ６から表示データがガラス基板に供給される。指入力を受け付ける状態では、図21に示すように表示フレームの合間に、撮像のための２つのフレームＦ４，Ｆ５を挿入する。これらフレームのうち一つはダミーフレームＦ４であり、もう一つは撮像フレームＦ５である。

ダミーフレームＦ４では、表示を特殊表示に変化させる。本例では市松パターンとした。よく使われるツイステッドネマチック液晶の応答速度は10ms程度と遅いため、直ちに撮像すると、表示フレームの絵が残像として残るため、指の反射光のほかに白い部分が残り座標演算を誤る原因となる。これを回避するためにダミーフレームＦ４を設けた。

撮像フレームＦ５はバックライトを点灯したままの市松表示である。図22のように指が液晶表示面に触れているだけでなく、ノイズ光（太陽光や蛍光灯）が表示面に入射してしまっている状況で、指の座標を正しく演算できるかが問題となる。この場合、表示面で市松模様を表示しているため、液晶表示面から発せられる光は市松模様をもっている。これが指に反射されると市松模様が液晶表示装置に内蔵されたセンサ３３で読み取られることになる。

一方ノイズ光は液晶表示面の明るさによらない。図22の状況での撮像結果は図23のように、指で触れた領域だけが市松模様になり、ノイズ光が入射した部分は白色になる。したがって、コントローラ６は、液晶表示装置から出力される撮像データのうち、市松模様となっている部分を検索し、その中心座標を演算すればよい。また、タップの検出を行う場合も同様に、市松模様を有する部分の径を計算し、径が急変時にタップとみなせばよい。

なお、市松模様をあまり細かくにしてしまうと、撮像画像中で市松模様がつぶれてしまうことがある。とくにマイクロレンズなどの光学系を有しない表示装置で読み取りを行う場合には、指が表示面をタップしている状態において、指と光センサとの間の距離d0より細かい市松模様を認識することは難しい。逆に市松模様が粗すぎると指の中心位置を計算する際の精度が悪くなる。そこで市松模様の黒や白のパターンの幅の最小値は、d0より大きく、望ましくはd0の2倍から5倍程度とするのがよい。本実施形態では、ガラス基板の厚さが0.4mm、偏光板等の光学フィルムの厚さが0.2mmなので、d0=0.4+0.2=0.6mmとなる。市松は1.2mm角の白正方形と1.2mm角の黒正方形を組み合わせるパターンとした。

撮像フレームで用いる特殊パターンは種々変形が可能である。外光が特殊パターンを呈して表示面に入射することがあることを考慮して、外光では構成しにくいパターンにするのがよい。また、単一パターンに限らない。いくつかの撮像フレーム用の特殊パターンを用意しておき、組み合わせて使用してもよい。

図２４は複数の特殊パターンを用いて撮像を行う例を示す図である。図２４では、市松パターンを表示して撮像し、撮像結果から市松パターン部を検索する。次の撮像フレームでは縦じまパターンを表示して撮像し、撮像結果から縦じまパターン部を検索する。

図２５は図２４の特殊パターンを用いて撮像を行うことにより得られた撮像画像を示す図であり、図２５（ａ）は市松パターンを用いた場合の撮像画像、図２５（ｂ）は縦じまパターンを用いた場合の撮像画像を示している。図２５のように市松パターン部と縦じまパターン部とかほぼ同じ位置に検出された場合に指座標と判断する。もし、いずれか一方のみだったら、たとえば縦じまのノイズ光が運悪く入射しただけだと判断する。このようにして指の識別力を高めることができる。これにより、ノイズ光による誤動作の確率をさらに低減することができる。

特殊パターンの色も、白と黒の組み合わせ以外でも可能である。図２６のように、例えば白と黒の市松パターンで撮像し、次の撮像フレームでは赤と黒の市松パターンで撮像してもよい。低温ポリシリコンプロセスを用いて形成するフォトダイオードでは赤に対する感度が比較的低いため、白と黒の市松パターンでの撮像結果では図２７（ａ）のように市松模様が明確で、赤と黒の市松パターンでの撮像結果では図２７（ｂ）のように市松模様がぼやける。一方、外ノイズ光の影響は特殊パターンの色が変わっても不変であるその理由は、図4のようにセンサ３３が内蔵されたアレイ基板をフロント側に配置しているため、液晶表示が変化したからといってセンサ３３への到達信号は変化しないためである。ちなみにセンサ３３が内蔵されたアレイ基板がリア側（バックライト側）に配置されている場合は、外光がセンサに到達するまえに液晶層を通過するため表示による影響をうけてしまうことになり、指の反射光との区別が難しくなる不都合がある。このように、撮像結果のうち、撮像時の表示条件に応答している部分を指、応答しない部分をノイズとする趣旨にて種々変形が可能である。

（第９の実施形態）
第９の実施形態は、図２８に示すように表示フレームの一部に指入力位置を指示するパターン（選択ボタン等）を表示するものである。選択ボタン等の部分が特殊パターンとなる。本例では市松パターンとしている。このようにするとコントローラ6は画像データの解析を選択ボタンの表示領域についてのみ行えばよいので処理を高速化できる。また、ノイズ光による誤動作が生じる確率をさらに低減することができる。

本装置が誤動作する要因は、(1)市松パターンを有したノイズ光が、(2)選択ボタンに入射する場合である。(2)の要請が加わる点で第7の実施例より誤動作確率が減る。また、第7の実施形態と異なり、表示フレームの合間に撮像のための特殊パターンを挿入する必要がない。コントローラの動作が比較的単純になるため、コントローラのゲート数を少なくでき、コントローラを安価にできる。

指による入力を受け付けない通常表示においては、フレーム周波数50Hzでコントローラ６から表示データがガラス基板に供給される。このときはことさらスイッチ等を表示する必要はない。指入力を受け付ける状態では、図２８に示すように表示フレームの任意の位置に、選択ボタンを表示する。選択ボタンの表示領域は特殊パターンとする。本例では市松パターンとした。

図２９のように表示面に任意画像と3個のスイッチが縦に並んで表示され、指で上から2番目の選択ボタンを選択し、ノイズ光が上から3番目の選択ボタンに入射される場合を考える。撮像画像のうち選択ボタンのみ抜き出したものが図３０である。一番上のスイッチは黒なので選択されていないと判断できる。上から3番目のスイッチはただ白いだけなので、外光ノイズによるものと判断できる。上から2番目のスイッチには市松パターンがあるので指により選択されたと判断できる。このようにして指による指示とノイズ光とを区別することができる。

なお、特殊パターンは市松パターンに限らず種々変形が可能である。特殊パターンの色も様々考えられる。パターンを構成する線分等の細さは第８の実施形態と同様である。

液晶表示装置の一実施形態の概略構成を示すブロック図。 画素アレイ部１の１画素分の詳細回路図。 ガラス基板上の１画素分のレイアウト図。 画像取込の方法を説明する図。 水平方向に隣接配置される４画素の等価回路図。 図５の処理動作のタイミング図。 図６の詳細タイミング図。 （ａ）及び（ｂ）は画素アレイ部１の表面を指で触れる前後のセンサの取込画像を示す図。 指の指示座標を計算する処理手順を示すフローチャート。 画面の座標を説明する図。 信号処理出力回路４の内部構成の一例を示すブロック図。 信号処理出力回路４またはコントローラ６が行う指の座標検出処理を示すフローチャート。 撮像画像の一例を示す図。 指と画素アレイ部１との距離によって撮像画像が変化する様子を示す図。 第２の実施形態の動作タイミング図。 画面のボタン表示領域ｒ１，ｒ２のみの輝度を指座標検出時に周期的に変更する例を示す図。 携帯電話等に付属のストラップに軟性の指示部材を取り付ける図。 表示フレーム期間の合間に指座標検出期間を設ける例を示す動作タイミング図。 ガラス基板上に低温ポリシリコンTFT技術を用いて形成した回路を有する表示装置の概略構成図。 表示フレームの合間に、１つのダミーフレームと２つの撮像フレームを挿入する例を示す図。 表示フレームの合間に、１つのダミーフレームと１つの撮像フレームを挿入する例を示す図。 ノイズ光の入射状況を示す図。 図２１のパターンを用いて撮像された撮像画像を示す図。 複数の特殊パターンを用いて撮像を行う例を示す図。 図２４の特殊パターンを用いて撮像を行うことにより得られた撮像画像を示す図。 白と黒の市松パターンで撮像し、次の撮像フレームでは赤と黒の市松パターンで撮像する例を示す図。 図２６のパターンを用いて撮像された撮像画像を示す図。 選択ボタンのみ特殊パターンを表示させる例を示す図。 ノイズ光の入射状況を示す図。 選択ボタンの撮像結果を示す図。 指示部材の表面を特赦パターンにした例を示す図。 接触前の接触面積を示す図。 接触後の接触面積を示す図。

符号の説明

１ 画素アレイ部
２ 信号線駆動回路
３ 走査線駆動回路
４ 信号処理出力回路
５ 同期信号発生回路
１１ シフトレジスタ
１２ ３選択回路
１３ レベルシフタ
１４ マルチプレクサ
１５ バッファ
１６ プリチャージ回路
１７ ４選択デコーダ
１８ シフトレジスタ
１９ 出力バッファ

Claims (30)

1. 表示画面の任意の場所を人間の手または指示部材にて指示したことを検知可能な表示装置において、
   縦横に列設される信号線及び走査線の各交点付近に形成される表示素子と、
   それぞれが所定範囲の入射光を撮像する撮像部と、
   前記撮像部で撮像された画像に対応する２値データを格納する２値データ格納部と、
   前記２値データの論理が変化する場所と周囲の明るさとに基づいて、手または指示部材による表示画面上の指示位置を検出するポインタ検出手段と、を備え、
   前記撮像部および前記ポインタ検出手段は、前記表示素子と同一の基板上に形成または実装され、
   前記撮像部は、連続した表示フレーム期間の合間に設けられる撮像フレーム期間に撮像を行うことを特徴とする表示装置。
2. 複数の信号線ごとに設けられ、対応する複数の信号線に表示用の画素データを供給するD/A変換回路と、
   前記D/A変換回路が複数の信号線に順に画素データを供給している間に、すでに画素表示を行った信号線を利用して出力される前記２値データをシリアル変換して外部に出力する信号処理出力回路とを備えることを特徴とする請求項１に記載の表示装置。
3. 前記ポインタ検出手段は、前記D/A変換回路が画素データを供給する複数の信号線のうち、いずれか１本の信号線に接続された画素内の前記２値データに基づいて指示位置を検出することを特徴とする請求項２に記載の表示装置。
4. 前記ポインタ検出手段は、信号線方向に配置された複数の画素ごとに、かつ走査線方向に配置された複数の画素ごとに、対応する前記２値データに基づいて指示位置を検出することを特徴とする請求項３に記載の表示装置。
5. 前記ポインタ検出手段は、表示画面に接触された前記手または指示部材の中心座標と接触面積とを検出することを特徴とする請求項１乃至４のいずれかに記載の表示装置。
6. 前記ポインタ検出手段は、周囲光の強度が所定値以下の場合には、前記２値データにより、白色と検出された領域の中心部を前記手または指示部材の指示位置として判断することを特徴とする請求項１乃至５のいずれかに記載の表示装置。
7. 前記ポインタ検出手段は、周囲光の強度が所定値以上の場合には、前記２値データにより、黒色領域で囲まれた白色領域の中心部を前記手または指示部材の指示位置として判断することを特徴とする請求項１乃至６のいずれかに記載の表示装置。
8. 前記ポインタ検出手段は、表示画面の信号線方向の画素数をＸ、走査線方向の画素数をＹ、任意の画素(x,y)（ただし、０≦ｘ≦Ｘ、かつ０≦ｙ≦Ｙ）での前記２値データをL(x,y)としたときに、
   前記手または指示部材の中心座標(Ex,Ey)を（１）式で求め、かつ前記手または指示部材のｘ方向及びｙ方向の幅（Vx,Vy)を（２）式で求めることを特徴とする請求項１乃至７のいずれかに記載の表示装置。
   

   
9. 前記ポインタ検出手段は、平均階調Ｗと、Ｗ・Ｅxと、Ｗ・Ｅyとを検出結果として出力することを特徴とする請求項８に記載の表示装置。
10. 前記表示素子は、前記撮像フレーム期間内では、互いに異なる２種類の発光強度を所定タイミングで切り替えることを特徴とする請求項１に記載の表示装置。
11. 前記表示素子は、前記２種類の発光強度のそれぞれで発光する期間を、前記撮像フレーム期間内で２種類以上に変更することを特徴とする請求項１０に記載の表示装置。
12. 表示画面を照明するとともに、前記撮像フレーム期間内に互いに異なる２種類の発光強度を所定タイミングで切り替えるバックライトを備えることを特徴とする請求項１に記載の表示装置。
13. 表示画面を照明するバックライトと、
    前記撮像フレーム期間内に互いに異なる２種類の発光強度を所定タイミングで切り替える撮像用照明装置を備えることを特徴とする請求項１に記載の表示装置。
14. 前記バックライトは、ＬＥＤ光源であることを特徴とする請求項１２に記載の表示装置。
15. 前記撮像用照明装置は、ＬＥＤ光源、ＥＬ光源または赤外線光源であることを特徴とする請求項１３に記載の表示装置。
16. 前記ポインタ検出手段は、表示画面の表示輝度が高い状態での前記撮像部による撮像画像と表示輝度が低い状態での前記撮像部による撮像画像との差分画像を用いて、手または指示部材による表示画面上の指示位置を検出することを特徴とする請求項１に記載の表示装置。
17. 前記表示輝度が低い状態とは、バックライトを消灯した状態であることを特徴とする請求項１６に記載の表示装置。
18. 前記表示輝度が低い状態とは、バックライトを点灯させて、前記表示素子を黒表示した状態であることを特徴とする請求項１６に記載の表示装置。
19. 前記表示輝度が高い状態とは、前記光センサの感度が高い色を表示している状態であり、前記表示輝度が低い状態とは、前記光センサの感度が低い色を表示している状態であることを特徴とする請求項１６に記載の表示装置。
20. 前記ポインタ検出手段は、前記撮像部が撮像を行うたびに、前記差分画像の径を比較して、前記差分画像の径が極大になった場合に、手または指示部材で表示面を強く押圧したと判断することを特徴とする請求項１６に記載の表示装置。
21. 手または指示部材にて指示すべき場所を示す指示画像を表示画面上に表示させる指示画像作成手段を備え、
    この指示画像作成手段は、前記撮像部による撮像期間内は、表示輝度が高い状態と低い状態とで交互に前記指示画像を表示させることを特徴とする請求項１６乃至２０のいずれかに記載の表示装置。
22. 前記指示部材は、表示画面に接触させたときに、接触開始時よりも接触面積が広がる軟性部材であることを特徴とする請求項１６乃至２１のいずれかに記載の表示装置。
23. 前記撮像部は、撮像フレーム期間に、撮像のための表示パターンが表示画面に表示された状態で撮像を行うことを特徴とする請求項１に記載の表示装置。
24. 撮像フレーム期間内は、表示画面が交互に白ラスタ表示と黒ラスタ表示に設定されることを特徴とする請求項２３に記載の表示装置。
25. 撮像フレーム期間内の表示パターンは、少なくとも２種類の色が所定ピッチで組み合わされた特殊パターンであることを特徴とする請求項２３に記載の表示装置。
26. 撮像画像に含まれる前記特殊パターンの中心座標を計算する座標検出手段を備えることを特徴とする請求項２５に記載の表示装置。
27. 前記特殊パターンは複数種類設けられ、それぞれの特殊パターンを用いて撮像された撮像画像により検出される中心座標が互いにかけ離れている場合にはノイズ光と判断するノイズ光判断手段を備えることを特徴とする請求項２６に記載の表示装置。
28. 少なくとも２種類の色が所定ピッチで組み合わされた特殊パターンからなる指示画像を表示画面上に表示させる指示画像作成手段を備え、
    前記ポインタ検出手段は、前記撮像部が撮像した撮像画像の中に前記特殊パターンが含まれるか否かにより、手または指示部材により前記指示画像を接触したか否かを検出することを特徴とする請求項１に記載の表示装置。
29. 前記特殊パターンの最小線幅および最小間隔は、前記撮像部と前記指示部材との間隔より大きいことを特徴とする請求項２８に記載の表示装置。
30. センサが内蔵された基板は表示装置を構成する複数の基板の中で、もっとも手前（観察者側）に配置されていることを特徴とする請求項１乃至２９に記載の表示装置。

Images