JP2006099228A

JP2006099228A - データ処理装置及びプログラム

Info

Publication number: JP2006099228A
Application number: JP2004281979A
Authority: JP
Inventors: Takao Sato; 隆雄佐藤
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2004-09-28
Filing date: 2004-09-28
Publication date: 2006-04-13

Abstract

【課題】撮像手段により撮像された被写体の移動に基づいて、従来のポインティングデバイスに近い操作指示を行う。
【解決手段】撮像部１４の光軸方向と垂直な方向（Ｘ軸方向又はＹ軸方向）における指の移動を検出し、この移動に基づいて、表示画面上のポインタの表示位置を移動させる。また、撮像部１４の光軸方向（Ｚ軸方向）における指の移動を検出し、指が撮像部１４に近づき、規定の範囲内に入った場合に、表示画面上のポインタの表示位置で指定されている項目の選択操作を検出する。
【選択図】図５

Description

本発明は、カメラを利用して表示画面上のポインタ操作を行うデータ処理装置及びプログラムに関する。

従来、表示画面上での操作指示を行うためのポインタは画面上に常に表示されており、ボールマウス、光学マウス、トラックボールやタッチパッド等の操作によってポインタ移動が行われている。それに対して、携帯電話機やＰＤＡ（Personal Digital Assistant）等の小型機器においては、マウスのようなポインタ専用の入力装置を搭載していないものが多く、表示画面に占めるポインタの表示割合も大きく見づらいものとなるため、通常、本体のキー操作によって画面上のフォーカス位置を移動させている。

また、フォーカス位置が確定した後、その位置に表示されている項目に対応する機能を実行させるために、項目の選択操作を行う必要がある。通常のマウスであれば、クリック又はダブルクリックを行うことにより選択操作を行い、矢印キーで操作する場合には、確定キーを押下することにより、選択操作を行っている。画面上にタッチパネルを装備している場合には、ターゲットとなる位置に直接触れることにより、選択操作を行うことができる。

近年、携帯端末等では小型カメラを搭載したものが多くなっている。例えば、カメラで撮影したユーザの指先のジェスチャーに応じてポインタ移動及びクリック操作が行われる携帯通信端末が提案されている（例えば、特許文献１参照）。
特開２００２−２９０５２９号公報

しかし、上記従来技術のようなカメラを利用したジェスチャーによるポインタ操作指示は、従来からのマウス等の平面上におけるポインタ移動操作と付属ボタン押下による選択操作に慣れているユーザにとって使い慣れないものであった。そのため、より従来のポインティングデバイスであるマウス等に近い操作指示が可能となるよう、さらなる開発が望まれていた。

本発明の課題は、撮像手段により撮像された被写体の移動に基づいて、従来のポインティングデバイスに近い操作指示を可能とするデータ処理装置及びプログラムを提供することである。

上記課題を解決するために、請求項１に記載の発明は、データ処理装置において、被写体を撮像する撮像手段と、前記撮像手段で撮像された被写体の前記撮像手段の光軸方向と垂直な方向における移動を検出する第１の移動検出手段と、前記撮像手段で撮像された被写体の前記撮像手段の光軸方向における移動を検出する第２の移動検出手段と、前記第１の移動検出手段により検出された被写体の前記撮像手段の光軸方向と垂直な方向における移動に基づいて、表示画面上のポインタの表示位置を移動させる表示制御手段と、前記第２の移動検出手段により検出された被写体の前記撮像手段の光軸方向における移動に基づいて、前記表示画面上のポインタの表示位置で指定されている項目の選択操作を検出する選択操作検出手段と、を備えたことを特徴とする。

請求項４に記載の発明は、コンピュータに、撮像手段で撮像された被写体の前記撮像手段の光軸方向と垂直な方向における移動を検出する第１の移動検出機能と、前記撮像手段で撮像された被写体の前記撮像手段の光軸方向における移動を検出する第２の移動検出機能と、前記第１の移動検出機能において検出された被写体の前記撮像手段の光軸方向と垂直な方向における移動に基づいて、表示画面上のポインタの表示位置を移動させる表示制御機能と、前記第２の移動検出機能において検出された被写体の前記撮像手段の光軸方向における移動に基づいて、前記表示画面上のポインタの表示位置で指定されている項目の選択操作を検出する選択操作検出機能と、を実現させるためのプログラムである。

請求項１、４に記載の発明によれば、被写体の撮像手段の光軸方向と垂直な方向における移動に基づいて、表示画面上のポインタの表示位置を移動させ、被写体の撮像手段の光軸方向における移動に基づいて、表示画面上のポインタの表示位置で指定されている項目の選択操作を検出するので、撮像手段により撮像された被写体の移動に基づいて、従来のポインティングデバイスに近い操作指示を行うことができる。

以下、本発明の実施の形態に係るデータ処理装置としての携帯電話機１０について、図面を参照しながら説明する。ただし、発明の範囲は図示例に限定されない。

図１（ａ）は、携帯電話機１０の外観斜視図である。図１（ａ）に示すように、表示部１２を備えた上部と、操作部１３を備えた下部と、が撮像部１４を備えたヒンジ１７により接合されており、ヒンジ１７を軸に上部と下部を折り畳むことができる構成となっている。図１（ｂ）は、携帯電話機１０の折り畳んだ状態を示す外観図である。携帯電話機１０は、情報を確認するための表示部１２と、簡単な操作指示を行うための操作部１３と、を備える。なお、本実施の形態では、上記構成の折り畳み式携帯電話機を例として挙げているが、特に限定するものではない。

次に、図２を参照して、携帯電話機１０の内部構成を説明する。図２に示すように、携帯電話機１０は、制御部１１、表示部１２、操作部１３、撮像部１４、記憶部１５、検出部１６を備え、これら各部はバス１８を介して互いに接続されている。

制御部１１は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備え、ＣＰＵにおいて、ＲＡＭの所定領域を作業領域としてＲＯＭに記憶されている各種制御プログラムに従い、上記各部に制御信号を送って携帯電話機１０の動作全般を統括制御する。

制御部１１は、撮像部１４で撮像された画像から被写体である指の存在が検出された場合に、表示部１２の表示画面上の所定位置にポインタを表示させる。ここで、ポインタとは、表示画面中の特定の項目、位置等を指示する表示形態をいい、いわゆるカーソルや表示項目の反転表示等を含む意である。また、制御部１１は、撮像部１４の光軸方向と垂直な方向における指の移動に基づいて、表示部１２の表示画面上のポインタの表示位置を移動させる。また、制御部１１は、撮像部１４の光軸方向における指の移動に基づいて、表示部１２の表示画面上のポインタの表示位置で指定されている項目の選択操作を検出する。

表示部１２は、液晶ディスプレイ等から構成されており、制御部１１から入力された表示データに基づいて表示画面上に画像を表示する。

操作部１３は、携帯電話機１０に対する操作指示を入力するための数字キー、文字キー、機能キー等の各種キーにより構成され、そのキー操作による押下信号を制御部１１に出力する。ユーザは、表示部１２に表示される画面を参照しながら操作部１３を操作することにより携帯電話機１０に対する各種操作指示を入力する。

撮像部１４は、ガラスやプラスチック等からなる光学レンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を平面上に多数配設した撮像画素面等から構成されている。撮像部１４は、制御部１１から撮影を行う指示が入力されると、光学レンズを介して入力され撮像画素面上に結像された被写体像を電気信号に変換して画像データを生成し、制御部１１へ出力する。

記憶部１５は、制御部１１により実行される各種制御処理プログラム及びこれらのプログラムで利用するデータ等が予め記憶されている記録媒体を有している。この記録媒体は、磁気的・光学的記録媒体又は不揮発性メモリ等で構成されており、ＯＳ（Operating System）、各種アプリケーションプログラム、各種条件設定又はデータを格納する。なお、記憶部１５が記憶するプログラム又はデータ等は、その一部又は全部を他の機器から通信ネットワークを介して受信して記憶する構成にしてもよい。

また、記憶部１５には、後述する指の移動の基準となる基準位置Ａ，Ｂ，Ｃを示す画像が記憶されている。また、記憶部１５には、画像全体に対する指部分の占有率と、指から撮像部１４までの距離と、が対応付けられて記憶されている。具体的には、記憶部１５には、占有率と距離とが対応付けられた変換テーブルが記憶されていてもよいし、指から撮像部１４までの距離を算出するための占有率を変数とした計算式が記憶されていてもよい。

検出部１６は、検出用ＤＳＰ（Digital Signal Processor）からなり、制御部１１の指示により、撮像部１４により撮像された画像から、指の検出及び指の移動の検出を行う。指の移動方向として、図３に示すように、撮像部１４の光軸方向にＺ軸を取り、Ｚ軸に垂直な方向にＸ軸及びＹ軸を取る。

検出部１６は、撮像部１４により撮像された画像から指の存在を検出する。
図４（ａ）は、撮像部１４におけるｎ×ｍ個の撮像素子による撮像画像２１の模式図である。各画像素子は、ｎ列からなる画素列ｘとｍ行からなる画素行ｙとが格子行列状に配置されている。図４（ｂ）は撮像画像２２におけるユーザの指先２３を例示した図である。撮像画像２２の網掛け表示されている部分は、色相・明度・彩度に基づいて肌色であると検出された画素である。肌色であると検出された画素部分の形状が指の特徴を示す形状である場合には、画像全体に対する指部分の占有率を算出し、占有率が規定値（例えば１０％）を超えた場合に、指の存在を検出する。手ぶれや取り込む画像の周辺からの影響により、指が存在するか否かの判断が頻繁に変化してしまうのを防ぐために、前記占有率の変化が所定の範囲内（例えば１０％±１％）で所定の時間（例えば１秒間）継続した場合に、指の存在を検出することが好ましい。ここにおける検出は、肌色の検出と形状の判定から行ったが、色及び形状はどのように設定してもよく、特に限定するものではない。

検出部１６は、撮像部１４により撮像された画像から撮像部１４の光軸方向と垂直な方向（図３のＸ軸方向及びＹ軸方向）における指の移動方向及び移動量を検出する。
図５（ａ）に、指の移動の基準となる基準位置Ａ，Ｂを示す。指が基準位置Ａから基準位置Ｂへ移動することにより下方向の移動を示す。逆に、指が基準位置Ｂから基準位置Ａへ移動することにより上方向の移動を示す。また、図５（ｂ）に、指の移動の基準となる基準位置Ａ，Ｃを示す。指が基準位置Ａから基準位置Ｃへ移動することにより右方向の移動を示す。逆に、指が基準位置Ｃから基準位置Ａへ移動することにより左方向の移動を示す。

基準位置設定モードで、ユーザが実際に操作を行うことにより、基準位置の画像の形、位置、動きを取り込んで、各ユーザに適した基準位置Ａ，Ｂ，Ｃの画像を記憶するようにしてもよい。

検出部１６は、撮像部１４により撮像された画像から撮像部１４の光軸方向（図３のＺ軸方向）における指の移動を検出する。
指が撮像部１４に近づいた場合、画像全体に対する指部分の占有率が増加し、逆に、遠ざかった場合は、占有率が減少する。検出部１６は、この占有率に基づいて指から撮像部１４までの距離を算出する。検出部１６は、記憶部１５に記憶されている変換テーブルに基づいて、占有率に対応する距離を取得してもよいし、記憶部１５に記憶されている占有率を変数とした計算式により距離を算出することとしてもよい。

次に、携帯電話機１０の動作について、図６、図８、図１０及び図１１に示すフローチャートを参照しながら説明する。なお、ここでの動作処理は、携帯電話機１０の表示部１２における画面操作を行う際に制御部１１により実行される処理である。このフローチャートは、携帯電話機１０を構成するコンピュータに各機能を実現させるためのプログラムを説明するためのものである。

図６に示すように、まず、撮像部１４により画像が撮影され、画像データが取り込まれる（ステップＳ１）。画像データは記憶部１５に記憶される。

次に、画像中に指が存在するか否かが判断される（ステップＳ２）。画像中に指が存在する場合には（ステップＳ２；ＹＥＳ）、ユーザの指の移動によりポイント制御を行うポイント制御モードに設定されているか否かが判断される（ステップＳ３）。ポイント制御モードに設定されていない場合には（ステップＳ３；ＮＯ）、ポイント制御モードに設定され（ステップＳ４）、表示部１２の表示画面上の基準位置（例えば、画面の中央）にポインタが表示される（ステップＳ５）。図７（ａ）に、指の存在が検出される前の表示部１２の表示画面の一例を示す。指の存在が検出されるまでは、ポインタは表示されない。また、図７（ｂ）に、指の存在が検出され、表示部１２の表示画面上にポインタ３１が表示された例を示す。

ステップＳ３において、ポイント制御モードに設定されている場合には（ステップＳ３；ＹＥＳ）、ステップＳ６に移行する。

次に、画像解析が行われ（ステップＳ６）、撮像部１４により撮像された画像と、記憶部１５に記憶されている基準位置Ａ，Ｂ，Ｃを示す画像とを比較することにより、指が基準位置Ａ，Ｂ，Ｃにあるか否かが判断される（ステップＳ７，Ｓ８，Ｓ９）。

指が基準位置Ａにある場合には（ステップＳ７；ＹＥＳ）、図８のステップＳ２１へ移行する。指が基準位置Ｂにある場合には（ステップＳ７；ＮＯ，ステップＳ８；ＹＥＳ）、図１０のステップＳ５１へ移行する。指が基準位置Ｃにある場合には（ステップＳ７；ＮＯ，ステップＳ８；ＮＯ，ステップＳ９；ＹＥＳ）、図１１のステップＳ７１へ移行する。

指が基準位置Ａ，Ｂ，Ｃのいずれにもない場合には（ステップＳ７；ＮＯ，ステップＳ８；ＮＯ，ステップＳ９；ＮＯ）、ステップＳ１に戻る。

ステップＳ２において、画像中に指が存在しない場合には（ステップＳ２；ＮＯ）、ポイント制御モードが解除され（ステップＳ１０）、表示部１２の表示画面上に表示されているポインタが消去される（ステップＳ１１）。そして、表示部１２における画面操作を終了しない場合には（ステップＳ１２；ＮＯ）、ステップＳ１に戻る。表示部１２における画面操作を終了する場合には（ステップＳ１２；ＹＥＳ）、動作処理が終了する。なお、画面操作の終了は、指によるポインタの移動処理及びポインタの選択処理の終了を示すもので、操作部１３の図示しない操作スイッチによる終了を指示する操作に応答して、終了される。また、この操作スイッチによる開始を指示する操作に応答して、図６のフローで示す処理が開始され、ポインタの移動処理及びポインタの選択処理が行われる。

次に、図８を参照して、図６のステップＳ７において、指が基準位置Ａにあると判断された場合の処理について説明する。
図８に示すように、撮像部１４により画像が撮影され、画像データが取り込まれる（ステップＳ２１）。

次に、画像解析が行われ（ステップＳ２２）、画像の形状、及び画像全体に対する指部分の占有率が履歴として記憶部１５に保存される。そして、撮像部１４の光軸方向に垂直な方向、すなわち、図３に示すＸ軸方向又はＹ軸方向におけるユーザの指の移動が検出されたか否かが判断される（ステップＳ２３）。Ｘ軸方向又はＹ軸方向におけるユーザの指の移動が検出された場合には（ステップＳ２３；ＹＥＳ）、検出された移動方向が制御部１１内のレジスタｆ１に記憶される（ステップＳ２４）。

移動方向が基準位置Ａから基準位置Ｂへ向かう方向の場合には（ステップＳ２５；ＹＥＳ）、図９（ａ）に示すように、表示部１２の表示画面上に移動方向を示す下向き矢印３２が表示され（ステップＳ２６）、指の移動量に応じて表示画面上のポインタ３１が下へ移動される（ステップＳ２７）。なお、ポインタ３１が表示画面上の一番下まで移動した場合には、画面全体が上にスクロールされる。

移動方向が基準位置Ａから基準位置Ｃへ向かう方向の場合には（ステップＳ２５；ＮＯ，ステップＳ２８；ＹＥＳ）、表示部１２の表示画面上に右向き矢印が表示され（ステップＳ２９）、指の移動量に応じて表示画面上のポインタが右へ移動される（ステップＳ３０）。なお、ポインタが表示画面上の一番右まで移動した場合には、画面全体が左にスクロールされる。

移動方向が基準位置Ｂから基準位置Ａへ向かう方向、又は、基準位置Ｃから基準位置Ａへ向かう方向の場合には（ステップＳ２５；ＮＯ，ステップＳ２８；ＮＯ，ステップＳ３１；ＹＥＳ）、これらの指の移動に伴うポインタの表示位置の移動は行われず、ステップＳ３２に移行する。図６のステップＳ７において指が基準位置Ａにあると判断された場合には、逆方向（基準位置Ｂから基準位置Ａへ向かう方向、又は、基準位置Ｃから基準位置Ａへ向かう方向）の移動は無視することにより、ポインタの表示位置を連続して順方向へ移動させることができる。

次に、画像全体に対する指部分の占有率に基づいて、撮像部１４の光軸方向（Ｚ軸方向）における撮像部１４から指までの距離Ｚ₀が取得され（ステップＳ３２）、ステップＳ２１に戻る。

ステップＳ２３において、Ｘ軸方向又はＹ軸方向におけるユーザの指の移動が検出されなかった場合には（ステップＳ２３；ＮＯ）、撮像部１４の光軸方向（Ｚ軸方向）における指の移動の検出が行われる。まず、画像全体に対する指部分の占有率の変化があるか否かが判断される（ステップＳ３３）。占有率の変化がある場合には（ステップＳ３３；ＹＥＳ）、占有率が規定値以下であるか否かが判断される（ステップＳ３４）。占有率が規定値以下である場合には（ステップＳ３４；ＹＥＳ）、ユーザが撮像部１４の撮影範囲から指を離したと考えられ、ステップＳ４０に移行する。

占有率が規定値より大きい場合には（ステップＳ３４；ＮＯ）、占有率に基づいて撮像部１４から指までの距離が算出される（ステップＳ３５）。そして、この距離が規定の範囲内であるか否かが判断される（ステップＳ３６）。例えば、現在の撮像部１４から指までの距離が、ステップＳ３２で取得した距離Ｚ₀を用いて、Ｚ₀／２を中心としてＺ₀／２の±２０％の範囲内であるか否かが判断される。

指を撮像部１４に近づけた結果、距離が規定の範囲内に入った場合には（ステップＳ３６；ＹＥＳ）、ポインタ選択処理が行われ（ステップＳ３７）、ステップＳ４０に移行する。ポインタ選択処理とは、ポインタの表示位置で指定されている項目を選択する処理をいう。図９（ｂ）に、ポインタ３１が項目７を示す位置にあるときにポインタ選択処理が行われた場合の表示例を示す。表示画面上の項目７の部分３３が反転表示され、選択されていることを示している。

ステップＳ３１において移動方向が基準位置Ｂから基準位置Ａへ向かう方向、基準位置Ｃから基準位置Ａへ向かう方向のいずれでもない場合（ステップＳ３１；ＮＯ）、ステップＳ３３において占有率の変化がない場合（ステップＳ３３；ＮＯ）、又は、ステップＳ３６において距離が規定の範囲内でない場合には（ステップＳ３６；ＮＯ）、カウントアップが開始される（ステップＳ３８）。移動方向が基準位置Ｂから基準位置Ａへ向かう方向、基準位置Ｃから基準位置Ａへ向かう方向のいずれでもない状態、占有率の変化がない状態、又は、距離が規定の範囲内でない状態で、カウント値Ｍが所定値以上になった場合には（ステップＳ３９；ＹＥＳ）、ステップＳ４０に移行する。ステップＳ３９からステップＳ４０に移行する処理は、ユーザが指による操作を中断し、上述の状態が所定期間経過した場合である。カウント値Ｍが所定値に達する前に、指の移動が検出された場合には（ステップＳ３９；ＮＯ）、ステップＳ２１に戻る。

ステップＳ４０では、移動方向を示す下向き又は右向きの矢印が表示されていれば、その表示が消去される（ステップＳ４０）。そして、カウンタ（カウント値Ｍ）がクリアされ（ステップＳ４１）、図６のステップＳ１０に移行する。

次に、図１０を参照して、図６のステップＳ８において、指が基準位置Ｂにあると判断された場合の処理について説明する。
図１０に示すように、まず、表示部１２の表示画面上に上向き矢印が表示される（ステップＳ５１）。続いて、撮像部１４により画像が撮影され、画像データが取り込まれる（ステップＳ５２）。

次に、画像解析が行われ（ステップＳ５３）、画像の形状、及び画像全体に対する指部分の占有率が履歴として記憶部１５に保存される。そして、撮像部１４の光軸方向に垂直な方向（Ｘ軸方向又はＹ軸方向）におけるユーザの指の移動が検出されたか否かが判断される（ステップＳ５４）。Ｘ軸方向又はＹ軸方向におけるユーザの指の移動が検出された場合には（ステップＳ５４；ＹＥＳ）、検出された移動方向が制御部１１内のレジスタｆ１に記憶される（ステップＳ５５）。

移動方向が基準位置Ｂから基準位置Ａへ向かう方向の場合には（ステップＳ５６；ＹＥＳ）、指の移動量に応じて表示画面上のポインタが上へ移動される（ステップＳ５７）。なお、ポインタが表示画面上の一番上まで移動した場合には、画面全体が下にスクロールされる。

移動方向が基準位置Ａから基準位置Ｂへ向かう方向の場合には（ステップＳ５６；ＮＯ，ステップＳ５８；ＹＥＳ）、この指の移動に伴うポインタの表示位置の移動は行われず、ステップＳ５９に移行する。

次に、画像全体に対する指部分の占有率に基づいて、撮像部１４の光軸方向（Ｚ軸方向）における撮像部１４から指までの距離Ｚ₀が取得され（ステップＳ５９）、ステップＳ５２に戻る。

ステップＳ５４において、Ｘ軸方向又はＹ軸方向におけるユーザの指の移動が検出されなかった場合には（ステップＳ５４；ＮＯ）、撮像部１４の光軸方向（Ｚ軸方向）における指の移動の検出が行われる。まず、画像全体に対する指部分の占有率の変化があるか否かが判断される（ステップＳ６０）。占有率の変化がある場合には（ステップＳ６０；ＹＥＳ）、占有率が規定値以下であるか否かが判断される（ステップＳ６１）。占有率が規定値以下である場合には（ステップＳ６１；ＹＥＳ）、ユーザが撮像部１４の撮影範囲から指を離したと考えられ、ステップＳ６７に移行する。

占有率が規定値より大きい場合には（ステップＳ６１；ＮＯ）、占有率に基づいて撮像部１４から指までの距離が算出される（ステップＳ６２）。そして、この距離が規定の範囲内であるか否かが判断される（ステップＳ６３）。

距離が規定の範囲内である場合には（ステップＳ６３；ＹＥＳ）、ポインタ選択処理が行われ（ステップＳ６４）、ステップＳ６７に移行する。

ステップＳ５８において移動方向が基準位置Ａから基準位置Ｂへ向かう方向でない場合（ステップＳ５８；ＮＯ）、ステップＳ６０において占有率の変化がない場合（ステップＳ６０；ＮＯ）、又は、ステップＳ６３において距離が規定の範囲内でない場合には（ステップＳ６３；ＮＯ）、カウントアップが開始される（ステップＳ６５）。移動方向が基準位置Ａから基準位置Ｂへ向かう方向でない状態、占有率の変化がない状態、又は、距離が規定の範囲内でない状態で、カウント値Ｍが所定値以上になった場合には（ステップＳ６６；ＹＥＳ）、ステップＳ６７に移行する。ステップＳ６６からステップＳ６７に移行する処理は、ユーザが指による操作を中断し、上述の状態が所定期間経過した場合である。カウント値Ｍが所定値に達する前に、指の移動が検出された場合には（ステップＳ６６；ＮＯ）、ステップＳ５２に戻る。

ステップＳ６７では、移動方向を示す上向き矢印の表示が消去される（ステップＳ６７）。そして、カウンタ（カウント値Ｍ）がクリアされ（ステップＳ６８）、図６のステップＳ１０に移行する。

次に、図１１を参照して、図６のステップＳ９において、指が基準位置Ｃにあると判断された場合の処理について説明する。
図１１に示すように、まず、表示部１２の表示画面上に左向き矢印が表示される（ステップＳ７１）。続いて、撮像部１４により画像が撮影され、画像データが取り込まれる（ステップＳ７２）。

次に、画像解析が行われ（ステップＳ７３）、画像の形状、及び画像全体に対する指部分の占有率が履歴として記憶部１５に保存される。そして、撮像部１４の光軸方向に垂直な方向（Ｘ軸方向又はＹ軸方向）におけるユーザの指の移動が検出されたか否かが判断される（ステップＳ７４）。Ｘ軸方向又はＹ軸方向におけるユーザの指の移動が検出された場合には（ステップＳ７４；ＹＥＳ）、検出された移動方向が制御部１１内のレジスタｆ１に記憶される（ステップＳ７５）。

移動方向が基準位置Ｃから基準位置Ａへ向かう方向の場合には（ステップＳ７６；ＹＥＳ）、指の移動量に応じて表示画面上のポインタが左へ移動される（ステップＳ７７）。なお、ポインタが表示画面上の一番左まで移動した場合には、画面全体が右にスクロールされる。

移動方向が基準位置Ａから基準位置Ｃへ向かう方向の場合には（ステップＳ７６；ＮＯ，ステップＳ７８；ＹＥＳ）、この指の移動に伴うポインタの表示位置の移動は行われず、ステップＳ７９に移行する。

次に、画像全体に対する指部分の占有率に基づいて、撮像部１４の光軸方向（Ｚ軸方向）における撮像部１４から指までの距離Ｚ₀が取得され（ステップＳ７９）、ステップＳ７２に戻る。

ステップＳ７４において、Ｘ軸方向又はＹ軸方向におけるユーザの指の移動が検出されなかった場合には（ステップＳ７４；ＮＯ）、撮像部１４の光軸方向（Ｚ軸方向）における指の移動の検出が行われる。まず、画像全体に対する指部分の占有率の変化があるか否かが判断される（ステップＳ８０）。占有率の変化がある場合には（ステップＳ８０；ＹＥＳ）、占有率が規定値以下であるか否かが判断される（ステップＳ８１）。占有率が規定値以下である場合には（ステップＳ８１；ＹＥＳ）、ユーザが撮像部１４の撮影範囲から指を離したと考えられ、ステップＳ８７に移行する。

占有率が規定値より大きい場合には（ステップＳ８１；ＮＯ）、占有率に基づいて撮像部１４から指までの距離が算出される（ステップＳ８２）。そして、この距離が規定の範囲内であるか否かが判断される（ステップＳ８３）。

距離が規定の範囲内である場合には（ステップＳ８３；ＹＥＳ）、ポインタ選択処理が行われ（ステップＳ８４）、ステップＳ８７に移行する。

ステップＳ７８において移動方向が基準位置Ａから基準位置Ｃへ向かう方向でない場合（ステップＳ７８；ＮＯ）、ステップＳ８０において占有率の変化がない場合（ステップＳ８０；ＮＯ）、又は、ステップＳ８３において距離が規定の範囲内でない場合には（ステップＳ８３；ＮＯ）、カウントアップが開始される（ステップＳ８５）。移動方向が基準位置Ａから基準位置Ｃへ向かう方向でない状態、占有率の変化がない状態、又は、距離が規定の範囲内でない状態で、カウント値Ｍが所定値以上になった場合には（ステップＳ８６；ＹＥＳ）、ステップＳ８７に移行する。ステップＳ８６からステップＳ８７に移行する処理は、ユーザが指による操作を中断し、上述の状態が所定期間経過した場合である。カウント値Ｍが所定値に達する前に、指の移動が検出された場合には（ステップＳ８６；ＮＯ）、ステップＳ７２に戻る。

ステップＳ８７では、移動方向を示す左向き矢印の表示が消去される（ステップＳ８７）。そして、カウンタ（カウント値Ｍ）がクリアされ（ステップＳ８８）、図６のステップＳ１０に移行する。

以上のように、本実施の形態の携帯電話機１０によれば、撮像部１４の光軸方向と垂直な方向における指の移動に基づいて、表示画面上のポインタの表示位置を移動させ、撮像部１４の光軸方向における指の移動に基づいて、表示画面上のポインタの表示位置で指定されている項目の選択操作を検出するので、撮像部１４により撮像された指の移動に基づいて、従来のポインティングデバイスに近い操作指示を行うことができる。また、特別なポインティングデバイスを必要としないため、従来の携帯電話機に対して大きな変更を加えることなく、ソフトウェア処理により本発明を実現することができる。

また、撮像部１４で撮像された画像から指の存在が検出された場合に、表示画面上の所定位置にポインタを表示することができる。したがって、指が検出されない場合はポインタを表示しないため、表示画面上に意図しないポインタが表示されることなく、見やすい画面構成にすることができる。

なお、本実施の形態では、データ処理装置として携帯電話機１０を例に挙げているが、デジタルカメラ付きＰＤＡ、デジタルカメラ付きＰＣ（Personal Computer）、デジタルカメラ等でもよく、特に限定するものではない。

また、本実施の形態においては、図５（ａ）及び（ｂ）に示すような基準位置Ａ，Ｂ，Ｃを用いた例について説明したが、表示位置の移動範囲が狭い場合には、基準位置を撮像部１４の正面中央付近とし、この位置からの被写体の移動を検出して、上下左右にポインタの表示位置を移動させることとしてもよい。

また、本実施の形態においては、通常モードではポインタを表示せず、ポイント制御モードに設定された場合にポインタを表示画面上に表示することとしたが、通常モードでポインタを表示し、ポイント制御モードの開始によってポインタを通常表示とは異なる識別表示（例えば、ポインタを点滅表示し、若しくは通常表示より大きく表示）することにより、ポインタの移動処理及びポインタの選択処理に移行すると共に、このことをユーザに報知するようにしてもよい。

また、本実施の形態においては、操作部１３の図示しない操作スイッチによる開始を指示する操作に応答して、図６のフローで示す処理が開始されてポインタの移動処理及びポインタの選択処理が行われ、また、この操作スイッチによる終了を指示する操作に応答して（ステップＳ１２；ＹＥＳ）、処理を終了するようにしたが、この操作スイッチは必ずしも必要ではなく、図６のステップＳ２で指の存在が検出されない状態では、ポインタの移動処理及びポインタの選択処理以外の処理を行い、ステップＳ２で指の存在が検出された場合は、自動的にポインタの移動処理及びポインタの選択処理に移行するようにしてもよい。また、撮像部１４のカメラ部分を特定の位置に回動させることにより、自動的にポインタの移動処理及びポインタの選択処理に移行するようにしてもよい。

また、本実施の形態においては、Ｘ軸方向及びＹ軸方向の移動検出時に取得された距離Ｚ₀を基準として、撮像部１４から指までの距離がＺ₀／２±２０％の範囲内に入った場合に、ポインタの選択操作として検出することとしたが、撮像部１４から指までの距離が所定時間内に規定範囲内（例えば、Ｚ₀／２±２０％）に２回入った場合に、ポインタの選択操作として検出することとしてもよい。この操作は、従来のマウスによるダブルクリックに相当する操作であり、ポインタの選択操作としてユーザにわかり易い操作を提供できる。また、撮像部１４から指までの距離が所定時間内に規定範囲内に入った回数に応じて、例えば1回はクリック操作、２回はダブルクリック操作として夫々区別してもよく、３回以上で他の選択操作を行わせるように設定することもできる。
更に、撮像部１４から指までの距離がＸ軸方向及びＹ軸方向の移動検出時に取得された距離Ｚ₀より短くなった場合に、ポインタの選択操作として検出することとしたが、距離Ｚ₀より長くなった場合に、ポインタの選択操作として検出するようにしてもよく、この場合も、距離が所定時間内に規定範囲内に入ったこと若しくはその回数に応じて選択操作を行わせるように設定するようにしてもよい。

また、本実施の形態においては、撮像部１４から規定の範囲の距離に存在する指を検出することとしたが、撮像部１４を覆うように指を移動させて、その移動方向を検出することとしてもよい。

また、本実施の形態においては、撮像部１４により撮像される被写体として、親指を例として説明したが、これに限定されず、他の指やペン等の物体を用いることとしてもよい。また、携帯電話機１０等のデータ処理装置における撮像部１４の位置についても図示例に限定されず、ユーザが使いやすい位置であればよい。

また、本実施の形態においては、撮像部１４の光軸方向と垂直な方向における指の移動方向を、Ｘ軸方向とＹ軸方向とに分けて検出することとしたが、これら２方向の移動方向をベクトル合成して、合成された方向にポインタを移動させることとしてもよい。

＜変形例＞
変形例として、図６のステップＳ５においてポインタを定められた基準位置を初期位置としてこの位置に表示させる代わりに、表示画面中で移動方向とは逆の位置を初期位置としてこの位置にポインタを表示することとしてもよい。例えば、図８のステップＳ２６で下向き矢印を表示させた後、ポインタを表示画面上の中央上位置を初期位置としてこの位置に表示させる。また、図８のステップＳ２９で右向き矢印を表示させた後、ポインタを表示画面上の中央左位置を初期位置としてこの位置に表示させる。また、図１０のステップＳ５１で上向き矢印を表示させた後、ポインタを表示画面上の中央下位置を初期位置としてこの位置に表示させる。また、図１１のステップＳ７１で左向き矢印を表示させた後、ポインタを表示画面上の中央右位置を初期位置としてこの位置に表示させる。

（ａ）は、本発明の実施の形態における携帯電話機１０の外観斜視図であり、（ｂ）は、携帯電話機１０の折り畳んだ状態を示す外観図である。本発明における携帯電話機１０の内部構成を示すブロック図である。指の移動方向を説明するための図である。（ａ）は、携帯電話機１０における撮像画像の模式図であり、（ｂ）は、撮像画像におけるユーザの指先を示した図である。（ａ）は、指の移動の基準となる基準位置Ａ，Ｂを示す図であり、（ｂ）は、指の移動の基準となる基準位置Ａ，Ｃを示す図である。携帯電話機１０の動作処理を説明するフローチャートである。（ａ）は、指の存在が検出される前の表示部１２の表示画面の一例であり、（ｂ）は、ポインタ表示時における表示部１２の表示画面の一例である。携帯電話機１０の動作処理を説明するフローチャートである。（ａ）は、ポインタ移動時における表示部１２の表示画面の一例であり、（ｂ）は、ポインタ選択時における表示部１２の表示画面の一例である。携帯電話機１０の動作処理を説明するフローチャートである。携帯電話機１０の動作処理を説明するフローチャートである。

符号の説明

１０携帯電話機
１１制御部
１２表示部
１３操作部
１４撮像部
１５記憶部
１６検出部
１７ヒンジ
１８バス

Claims

被写体を撮像する撮像手段と、
前記撮像手段で撮像された被写体の前記撮像手段の光軸方向と垂直な方向における移動を検出する第１の移動検出手段と、
前記撮像手段で撮像された被写体の前記撮像手段の光軸方向における移動を検出する第２の移動検出手段と、
前記第１の移動検出手段により検出された被写体の前記撮像手段の光軸方向と垂直な方向における移動に基づいて、表示画面上のポインタの表示位置を移動させる表示制御手段と、
前記第２の移動検出手段により検出された被写体の前記撮像手段の光軸方向における移動に基づいて、前記表示画面上のポインタの表示位置で指定されている項目の選択操作を検出する選択操作検出手段と、
を備えたことを特徴とするデータ処理装置。
請求項１に記載のデータ処理装置において、
前記撮像手段で撮像された画像から前記被写体の存在を検出する被写体検出手段を備え、
前記表示制御手段は、前記被写体検出手段により前記被写体の存在が検出された場合に、前記表示画面上の所定位置にポインタを表示させることを特徴とするデータ処理装置。
請求項１又は２に記載のデータ処理装置において、
前記被写体の基準位置を示す画像を記憶する記憶手段を備え、
前記第１の移動検出手段は、前記撮像手段で撮像された画像と、前記記憶手段に記憶されている前記被写体の基準位置を示す画像とを比較することにより、前記被写体の前記撮像手段の光軸方向と垂直な方向における移動を検出することを特徴とするデータ処理装置。
コンピュータに、
撮像手段で撮像された被写体の前記撮像手段の光軸方向と垂直な方向における移動を検出する第１の移動検出機能と、
前記撮像手段で撮像された被写体の前記撮像手段の光軸方向における移動を検出する第２の移動検出機能と、
前記第１の移動検出機能において検出された被写体の前記撮像手段の光軸方向と垂直な方向における移動に基づいて、表示画面上のポインタの表示位置を移動させる表示制御機能と、
前記第２の移動検出機能において検出された被写体の前記撮像手段の光軸方向における移動に基づいて、前記表示画面上のポインタの表示位置で指定されている項目の選択操作を検出する選択操作検出機能と、
を実現させるためのプログラム。