JP6079832B2 - ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法 - Google Patents

Description

本発明は、ヒューマンコンピュータインタラクション（ＨＣＩ）システムにおける、操作者の手と手指示点の位置決め方法、及び操作者の手指のジェスチャ決定方法に関する。

コンピュータ技術や、画像処理技術の飛躍的な発展に伴い、社会の各分野に益々映像が応用されてきている。映像分析処理は、画像処理分野の研究のホットスポットとなっており、キーとなる処理技術としては、映像列における運動物体や対象への検知を行うことであり、その検知結果は、通常、対象追跡や、分類等のような、より高次元の分析や処理に用いられている。各種会議においては、補助ツールとして、プロジェクタが講演の進行に非常に役立つものとなっている。しかしながら、講演中に、講演者は通常、投影領域内の内容を指して聴衆に聞いた内容と表示内容とを組み合わせられるようにするか、講演のスライドフィルムをめくりながら、下線を引き、マークを付けるなどのインタラクション操作を行う。通常、前述の操作は、操作者によるコンピュータのマウス等の操作により実施され、操作者が投影領域とコンピュータとの間を頻繁に行き来しなければならない。言うまでもなく、このような形式は、操作者にとって非常に不便なものである。このため、自分の手や、手に持ったもので直接投影領域内の内容とインタラクティブな操作ができ、或いは、簡単に言えば、手指により一部のマウスの機能を代替可能なヒューマンコンピュータインタラクションシステムが求められている。

米国特許US6594616B2には、視覚による手ジェスチャのインタラクションシステムが提案されている。該システムにおいては、手指を直観的な入力装置とし、四角形パネル上の手指の動作により、遠隔の仮想表示装置とのインタラクションを可能にしている。ここで、上記パネルは、表示装置とコンピュータとの間の架け橋のようなものである。パネルの４つの角点及び４辺の検知により、パネル領域内の手の検知がさらに容易となる。しかしながら、該発明は、操作パネルによる遠隔の仮想表示装置の制御にのみ適しており、手指と仮想表示装置との直接的なインタラクションは不可能である。同時に、このような非直接的な形式の場合、指先位置の微小な検知誤差が、遠隔の表示装置に拡大されることになり、写像されたマウス位置にぶれが生じてしまう。

また、米国特許US20030178493には、描画、位置決め可能なシステムが提案されている。該システムにおいては、操作者が仮想表示領域の前に立ち、仮想表示装置（即ち、投影スクリーン）と直接インタラクションを行っている。しながしながら、該特許は、発光可能なペンや、ポインティング機能を有するポインティンググローブ（pointing glove）といった、マーク付き物体の検知及び追跡に過ぎず、このようなポインティング機能を有するグローブの使用は利便性や融通性に劣り、使用者に容易に受け入れられないのは言うまでもない。

また、文章“Real-time Hand Tracking and Finger Tracking for Interaction”(CSC2503F Project Report By:Shahzad Malik (smalik@cs.toronto.edu)と、“Multi-Finger Interactions with Paper Augmented Tabletops (作者Son DoLenh) ”には、背景減算技術により前景抽出を行うとともに、肌色検知手段により、前景画像から襟などの手じゃない部分を削除することで、手の検知を行っている。肌色検知は、通常、周囲の明るさの変化に比較的敏感であるため、会議室の講演投影環境のような、特別な環境のもので、安定した検知結果を得ることは困難である。このため、該方法は、実際の応用において大きな制限性がある。

他の文章の“A Virtual 3D Blackboard:3D Finger Tracking using a Single Camera”(University of Central Florida)においては、まず、肌色検知により、潜在的に可能な腕領域を取得し、その後、最速移動の重心点を動作中の腕と仮定し、これにより、腕領域の最終判定を行っている。該方法によっては、腕検知を迅速に行うことができるが、肌色の信頼性が低く、運動の仮設も終始成立しているわけではない。

また、“Bare-Hand Human-computer Interaction”(proceedings of the ACM Workshop on Perceptive User Interfaces 2001)の文章には、２種類の局所特徴の検索による指先形状の検知方法が提案されている。該検索の特徴の一つとしては、指先内部には、通常、一回り充填された画素である前景画素に取り囲まれており、２つ目の特徴としては、指先以外の正方形内部は、非充填画素からなる長鎖と充填画素からなる短鎖に取り囲まれている。正確に前述の特徴を量子化することは、言うまでもなく困難なことであり、不適なパラメータは、検知漏れや誤検知の原因になってしまう。

言うまでもなく、リアルタイム処理は、ヒューマンコンピュータインタラクションシステムにおける重要な目標である。この目標に達するために、多くの方法や、容易に検知可能な特徴、例えば、四辺形のパネルや標識付き物体の導入や、全体や一部の画像からの肌色検知や、運動情報による手の検知処理工程の加速化等がある。通常、このように導入された検知可能な特徴は、応用においてさほど便利ではなく、肌色と運動情報は使用条件によっては得られない場合があるため、迅速な手と手指の検知は位置決め方法において非常に価値がある。同時に、どのように、単眼撮像手段の視角不良による、手指形状の特徴不鮮明の検知問題を解決するかについて、前述の方法は有効な解決方法ではない。

本発明は、従来技術のヒューマンコンピュータインタラクションシステムにおける前述の問題を鑑みてなされている。本発明の目的は、ヒューマンコンピュータインタラクションシステムにおける、操作者の手と手指示点の位置決め方法、及び操作者の手指のジェスチャ決定方法を提供することにある。

上述の目的を達成するために、本発明の一態様によれば、ヒューマンコンピュータインタラクションシステムにおける手位置決め方法が提供される。この手位置決め方法は、被制御領域の画像を連続取得して、前景物が含まれる画像列を取得するステップと、撮像した画像から前景画像を抽出するとともに、抽出した前景画像の２値化処理を行うステップと、２値化前景画像の最小凸包の画素頂点集合を取得するとともに、前景画像の最小凸包の各画素頂点を中心点に関心領域を構築して、潜在的に手が含まれる候補領域とするステップと、各構築した関心領域から手画像特徴を抽出し、パターン認識方法により、候補領域における、手が含まれる関心領域を決定するステップと、を含む。

通常、ヒューマンコンピュータインタラクションシステムにおいて、外部照度条件が悪い場合や、複雑すぎて肌色の表現の変化が大きく信頼度が落ちるため、撮像ヘッドを表示領域から離れた場所に載置しないと、大きな視野範囲から仮想表示領域全体の画像を取得することができない。このように取得した画像における手の領域が比較的小さく、明確ではないため、手指検知が極めて困難になる。このような問題を鑑みて、本発明による手位置決め方法は、入力された画像全体から、画像自身の特徴に応じて、迅速に少量の手候補領域を取得し、さらにパターン認識方法により、候補領域から正確な手領域を得ることができる。本発明の基本思想は、操作者の身体外形に存在する凸包の属性を手の検知に適用することである。実験データの統計結果によると、通常操作の場合、操作者の手が身体外形の凸包頂点に出現する可能性は９９．６％に近いことが判明されている。このため、本発明は、まず、操作者の身体外形の凸包頂点集合の算出を行うとともに、各頂点を中心に手の関心領域を構築する。通常、このような関心領域の数は２０を超えないため、本発明は、少ない数の候補領域から、手検知を迅速に行うことができる。

本発明のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法では、前記パターン認識方法は、BPニューラルネットワーク方法、SVM方法、決定木方法のいずれか一つであるが、これに限るものではない。

本発明のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法では、前記前景画像の抽出ステップは、画像差分技術により、入力された画像から操作者を含まない背景画像を減算するか、入力された画像から隣り合うフレームの画像を減算して運動領域を検知する形式で前景画像を抽出する。また、前記前景画像の抽出ステップは、撮像位置の距離画像（depth map）を取得することで、所定の深さ情報によって前景画像を抽出してもよい。

本発明のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法では、前記抽出した前景画像の２値化処理を行うステップは、前景画像のエッジ画像を算出するステップと、前景画像の勾配画像を算出して２値化を行うステップと、所定の閾値により前景画像の２値化を行い、２値化結果を取得するステップと、前述の３つの結果を「OR」論理演算により、新たな２値化画像を生成するステップと、得られた２値化画像における輪郭閉領域を充填するステップとを含む。

本発明のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法では、前記前景画像上の任意の２点の連結線は、前記最小凸包からなる多辺形の辺上や、前記凸多辺形の内部に位置している。

本発明のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法では、前記関心領域は、矩形フレームや、円形状の領域であり、その大きさは操作者の手を丁度覆う大きさであり、前記関心領域の大きさは、検知中は固定不変のものである。

本発明のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法では、前記特徴値は、関心領域内の、画素情報による面積、色、エッジ、或いは、全体情報による形状、テクスチャー、勾配方向のヒストグラムを含み、同時に領域外であるものの、関心領域と一対一の関連のある、手を操作者の身体の他の部位と分別可能な、例えば、関心領域に直接接続された腕領域から適合された楕円のアスペクト比という形状特徴のような特徴やその組み合わせも含んでいる。

また、本発明の一態様によれば、ヒューマンコンピュータインタラクションシステムにおける手領域内の指示点決定方法が提供される。この指示点決定方法は、撮像された画像から手を含む領域を検知するとともに、手領域内の指示点の特徴から手領域内の指示点の候補画素点集合を算出するステップと、検知した手を含む領域に密接する疑似腕領域を取得するとともに、疑似腕領域の形状の楕円適合を行うステップと、楕円適合の結果が有効であると、適合された楕円の長軸に沿って手方向へ最も離れた手領域内の指示点の候補画素点を、手領域内の指示点に決定するステップとを含む。前述の手領域から指先（即ち、指示点）を決定する方法においては、人類の全体から一部への認知習慣を十分に参照し、腕の楕円適合により、適合された楕円の長軸方向に最も離れた点を探す方式で指先の位置を取得している。該方法により、手指特徴が、単レンズの視角不良により、不鮮明になることや、速すぎる運動により画像が不鮮明になることによる検知困難が解消される。例えば、撮像ヘッドの方向と講演者の身体とが平行時、指先の形状は、最終的に形成された画像において大幅に弱まり、検知困難になる。本発明は、全体情報と一部情報を組み合わせることで、人類の認知習慣にあった信頼性のある位置決め結果を得ることができ、一部特徴のみを用いることによる不十分さを避けることができ、誤検知率を減らすことができるため、ヒューマンコンピュータインタラクションシステムにおける連続運動の手指の検知及び位置決めにさらに適している。

本発明のヒューマンコンピュータインタラクションシステムにおける手領域内の指示点決定方法では、前記指示点は、手の人差し指の指先位置や、任意の位置決め特徴を有する携帯物の頂点である。

本発明のヒューマンコンピュータインタラクションシステムにおける手領域内の指示点決定方法では、手領域内の指示点の候補画素点集合は、手の凸包頂点、手輪郭線上の高曲率点、Harris角点、手指形状のフィルタリングにより得られた位置点のうちのいずれか一つ、またはこれらの組み合わせである。

本発明のヒューマンコンピュータインタラクションシステムにおける手領域内の指示点決定方法では、前記検知した手を含む領域と密接する疑似腕領域を取得するステップは、前景画像の重心点と、手領域を含む関心領域の中心点との連結線から1点を取り、該点から手領域を含む関心領域の中心点までの距離が、通常の腕長さの半分となるようにし、前記連結線から取った点を中心に、前記通常の腕長さの半分を半径として円を描き、得られた円の内部領域を疑似腕領域としている。

本発明のヒューマンコンピュータインタラクションシステムにおける手領域内の指示点決定方法では、擬似腕領域形状の楕円適合ステップの後、手領域内の指示点の決定ステップ前は、擬似腕領域形状の楕円適合の結果が有効か否かで、真の腕領域であるか否かを判断するステップを含み、該ステップでは、適合楕円の長軸と短軸の比を算出し、適合楕円の長軸と短軸の比と所定の比例値閾値とを比較し、長軸と短軸の比が、所定の比例値閾値を超えた場合に、適合楕円を有効とし、所定の比例値閾値以下であると、適合楕円を無効としている。

本発明の他の実施形態によると、手領域を含む関心領域の中心点と前景画像の重心点との連結線と、適合楕円の長軸とがなす角度を算出し、算出した角度が、所定の角度閾値未満であると、適合楕円を有効とし、所定の角度閾値以上であると、適合楕円を無効としている。

本発明のヒューマンコンピュータインタラクションシステムにおける手領域内の指示点決定方法では、適合楕円の長軸に沿って手方向へ最も離れた手領域内の指示点の候補画素点を、手領域内の指示点に決定するステップでは、各候補画素点の適合楕円の長軸上の垂直投影位置を算出した後、適合楕円の長軸に沿って手の方向へ最も離れた投影位置を検出するとともに、該投影位置に対応する候補画素点を手領域内の指示点に決定するか、適合楕円の中心点から、手方向の反対方向の楕円長軸上で1点を選択し、該点から各候補画素点までの距離を順次算出するとともに、算出した最大距離に対応する候補画素点を手領域内の指示点に決定している。

また、本発明の一態様によれば、ヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法が提供される。この手指のジェスチャの開閉識別方法は、入力された画像から手を含む領域を検知して、指示点としての指先の位置を決めるステップと、位置決定した指示点を起点として、手のひらの輪郭線に沿って両側方向へ、次の疑似指先を検知するステップと、次の指先の位置点が検出されていないと、現在のジェスチャを「閉」状態と識別し、次の指先の位置点が検出されると、引き続き以下の操作を行うステップと、位置決定した指示点から検知した次の指先の位置点までの輪郭点を取得し、得られた輪郭点からなる曲線のうち、変曲点の位置を検出し、位置決定した指示点と、検知された次の指先の位置点と、検出された変曲点の位置点とからなる三角形の三辺の関係から、当該ジェスチャの開閉状態を識別するステップとを含む。

本発明における手指のジェスチャとは、手指の異なる開閉の組み合わせからなる分類状態を指している。2つの手指のジェスチャのうちの一方とは、人差し指だけ伸ばし、他の指を握りしめた状態を指し、所謂「閉」状態であり、他方の手指のジェスチャとは、親指と人差し指を同時に開いた状態を指し、所謂「開」状態である。

本発明の手指のジェスチャの開閉識別方法は、手指の位置とその幾何学的関係の検知により、２つの手指のジェスチャを識別しており、これは1種の直観的な識別方法である。手指の開閉によるジェスチャ表現において、手指の開いた数と、その開いた後に形成される幾何学的位置関係は、手指のジェスチャの区分識別において最も重要で最も安定した特徴である。本発明はこの特徴に着目して、人類の認知習慣に基づき、指先検知と、幾何学的規則による判断とを根拠としているため、簡単でかつ高効率の手指のジェスチャの識別を実現している。本発明は、従来のパターン認識における高次元の特徴ベクトルのトレーニング分類器を用いた方法に存在する、サンプルが大きすぎることや、収斂が遅いことや、訓練されたモデルの拡張性に不安定な要素が存在することや、識別工程におけるブラックボックス効果等が存在する等の、様々な問題を防止することができる。本発明は、主動的な識別方法であり、優れた識別効果が得られる。

本発明のヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法では、決定した指示点と、次の指先の位置点とが、それぞれ前記変曲点となす二辺の夾角の大きさが、所定範囲内であり、かつ３つの辺の各辺の長さが、所定の長さ閾値を超えた場合に、手指のジェスチャが、「開」状態と判定し、逆の場合は、手指のジェスチャが、「閉」状態と判定している。

本発明のヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法では、検知した次の疑似指先とは、検知した手を含む領域の手輪郭のうち、その輪郭の曲率方向が正で、かつ所定の曲率閾値よりも大きくなる潜在の指先の位置点を指している。

本発明のヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法では、位置決定した指示点を起点として、手のひらの輪郭線に沿って両側方向へ次の疑似指先を検出するステップにおいて、片側で検知した長さは、検知結果が重複しないように、手輪郭線の半分を超えないようにした。

本発明のヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法では、前記変曲点位置とは、取得した輪郭点からなる曲線のうち、曲率の方向が負で、かつ、絶対値が他の所定の曲率閾値を超える輪郭点を指している。

また、本発明の一態様によれば、ヒューマンコンピュータインタラクションシステムが提供される。このヒューマンコンピュータインタラクションシステムは、被制御領域の画像を連続取得して、前景物が含まれる画像列を取得するモジュールと、撮像した画像から前景画像を抽出するとともに、抽出した前景画像の２値化処理を行うモジュールと、２値化前景画像の最小凸包の頂点集合を取得するとともに、前景画像の最小凸包の各画素頂点を中心点に、手が含まれる候補領域として関心領域を構築するモジュールと、各構築した関心領域から、手画像特徴を抽出し、パターン認識により、候補領域における手が含まれる関心領域を決定するモジュールと、を有する。

また、本発明の一態様によれば、ヒューマンコンピュータインタラクションシステムが提供される。このヒューマンコンピュータインタラクションシステムは、撮像された画像から手を含む領域を検知するとともに、手領域内の指示点の特徴から手領域内の指示点の候補画素点集合を算出するモジュールと、検知した手を含む領域と密接する疑似腕領域を取得するとともに、疑似腕領域の形状の楕円適合を行うモジュールと、楕円適合の結果が有効であると、適合楕円の長軸に沿って手方向へ最も離れた手領域内の指示点の候補画素を、手領域内の指示点に決定するモジュールと、を有する。

また、本発明の一態様によれば、ヒューマンコンピュータインタラクションシステムが提供される。入力された画像から手を含む領域を検知して、指先の位置を指示点として位置決定するモジュールと、位置決定した指示点を起点として、手のひらの輪郭線に沿って両側方向へ、次の疑似指先位置を検知するモジュールと、次の指先位置点が検出されないと、当該ジェスチャを「閉」状態と識別するモジュールと、次の指先位置点が検出されると、位置決定した指示点から、検知した次の指先の位置点までの輪郭点を取得し、得られた輪郭点からなる曲線のうち変曲点位置を検出するモジュールと、位置決定した指示点と、検知された次の指先の位置点と、検出された変曲点の位置点とからなる三角形の三辺の関係から、当該ジェスチャの開閉状態を識別するモジュールと、を有する。

前述の本発明の簡単な説明から、本発明のヒューマンコンピュータインタラクションシステムの検知方法及びシステムには、以下の３つの特徴があることが分かる。一つ目の特徴は、凸包の頂点集合の利用により、候補の関心領域の数を減らすことができ、物体の迅速な検知が可能になる。2つ目の特徴は、人類の全体から一部への認知習慣の特徴から、指先の位置決めを実現することができ、単レンズの視角不良により手指特徴が弱められることや、腕の速すぎる運動により手指がぼやけて見えないことなどによる検知困難を解消することができる。3つ目の特徴は、手指検知及び手指の幾何学的関係の規則を用いることにより、2種類の簡単な手指のジェスチャを識別することができる。

本発明の実施例におけるヒューマンコンピュータインタラクションシステムの略図である。 本発明の実施例による、ヒューマンコンピュータインタラクションシステムにおける手と指示点の位置決め及びジェスチャ識別方法の全体フローチャートである。 本発明の実施例による、ヒューマンコンピュータインタラクションシステムにおける手位置決めのフローチャートである。 図３のフローチャートにおける、前景画像抽出の実例を示した図である。 図３のフローチャートにおける、抽出した前景画像の２値化処理の実例を示した図である。 図３のフローチャートにおける、凸包の多辺形演算における凸包の概念及び演算の略図である。 図３のフローチャートにおける、凸包の多辺形演算における凸包の概念及び演算の略図である。 図６Aと６Bの演算工程を具体的な前景画像に適用した実例を示した図である。 本発明の実施例による、ヒューマンコンピュータインタラクションシステムにおける手領域内の指示点の位置決め方法のフローチャートである。 図８の疑似腕領域画定の実例を示した略図である。 図８の腕領域の形状の楕円適合の実例を示した略図である。 図８の手指示点の位置決めの実施例を示した略図である。 本発明の実施例による、画像からのジェスチャの識別の略図である。 本発明の実施例による、画像からのジェスチャの識別の略図である。 本発明の実施例による、画像からのジェスチャの識別の略図である。 本発明の実施例による、画像からのジェスチャの識別の略図である。 本発明の実施例による、画像からのジェスチャの識別の略図である。 本発明の実施例による、画像からのジェスチャの識別の略図である。 画像からの手指のジェスチャの識別の実例図である。 本発明の実施例による方法を実現するシステムのブロック図である。

本発明の目的、技術手段、および効果をより明確にするために、以下、実施例と図面を参照して、本発明をさらに詳細に説明する。

図１は、本発明の実施例によるヒューマンコンピュータインタラクションシステムの略図である。図１に示されたように、前記ヒューマンンコンピュータインタラクションシステムには、プロジェクタ１と、撮像手段２と、コンピュータ３と、投影スクリーン（仮想表示画面）４とが設けられている。講演者５は、仮想表示画面（投影領域）の前に立って、仮想表示装置とのインタラクション操作を直接行っている。撮像手段２は、画像を取得してコンピュータ３へ送信し、コンピュータ３は、画像データを分析して手や指示点位置の検知と手指のジェスチャの識別を行う。次に、予め定義された動作応答規則により、コンピュータ操作をシミュレーションし、スクリーン内容を更新し、更新後のスクリーン表示画像は、さらにプロジェクタ１を経由して仮想表示装置にフィードバックされることで、操作者と仮想表示装置とのインタラクションが可能になる。

図２は、本発明の一実施例による、ヒューマンコンピュータインタラクションシステムにおける、手と指示点の位置決め及びジェスチャ識別方法の全体フローチャートである。図２に示されたように、ステップS21において、コンピュータ３は、撮像手段２で投影領域を撮像して送信されてきた映像画像を受信する。次に、コンピュータ３は、ステップS22において、受信した画像における各フレームの画像における手領域の検知を行う。その後、ステップS23において、コンピュータ３は、手を検出したか否かを判定し、手が検出されない場合は、ステップS21に戻り、次のフレームの画像に対し、ステップS21〜S22を実行する。ステップS23で手を検出したと判定されると、ステップS24に進み、手指示点の検知を行う。換言すると、手の伸ばした指先や、手に持った指示部品の先端の検知を行う。その後、ステップS25に進み、手指のジェスチャの開閉の識別を行う。最後に、ステップS２６において、検知した指示点の位置と手指のジェスチャを出力する。次に、コンピュータ３は、検知した指示点の位置における指示対象に基づき、コンピュータのマウス操作及びキーボード操作をシミュレーションし、表示内容の更新を行う。

図３は、本発明の一実施例による、ヒューマンコンピュータインタラクションシステムにおける手位置決めのフローチャートである。図３に示されたように、ステップS31において、撮像された画像フレームから前景画像を抽出する。前景画像の抽出を実現する具体的な方法の一つとしては、画像差分技術がある。即ち、入力された画像から、操作者を含まない背景画像を引き、或いは、入力された画像から隣り合うフレームの画像を引き、運動領域を検知する方法で前景画像を得る方法である。前景画像の抽出を実現する他の具体的な方法としては、景物の深さ距離情報を取得可能な画像取得装置により、距離画像を取得し、一定の深さ情報を抽出して、良好な前景画像の抽出効果を得ることができる。図４は、図３のフローチャートにおける、前景画像抽出の実例を示した図である。図４に示された背景差分により、前景抽出を行う具体的な実現方法においては、先ず、背景画像（背景画像には、場面の背景情報のみ含まれ、移動可能な物体が一切含まれない）を構築し、次に、入力された各画像から背景画像を引いて差分画像を取得する。差分画像の２値化処理後、背景及び環境光の影響が入力画像から消去されることで、前景画像となる操作者の身体部は自然に増強される。背景差分以外に、運動検知の技術によっても、前景画像の抽出を行うことができる。他の最適な実現方法としては、可視光の干渉をフィルタリングすることで、安定したクリアな前景画像を取得可能な赤外フィルタ付き撮像ヘッドにより、画像を撮像することができる。

次に、ステップS32において、抽出した前景画像の２値化処理を行う。前景画像の２値化画像処理は、前景エッジを検索するとともに、閉じたエッジを充填する方法により行われる。図５は、図３のフローチャートにおける、抽出した前景画像の２値化処理の実例を示した図である。図５に示されたように、先ず、図５の左から右への工程において、入力された各前景差分画像に対し、先ず、対応するCANNYエッジ画像、勾配画像、及び高閾値のもとで得られた比較的保守的な２値化画像をそれぞれ算出し、次に、「OR」演算でこれらの３つの図を合併するとともに、そのうちのエッジ閉領域を充填（Ｆｉｌｌ、即ち、埋め尽くす）し、最後に得られる画像が、即ち前景画像の２値化結果である。該方法により得られる結果は、比較的安定で、特に、明るさのコントラストが低い場合に有効である。もちろん、前景画像への２値化方法は、前記方法に限らず、例えば、OTSU（大津）法のような汎用の演算法も用いることができる。

次に、ステップS33において、２値化前景画像の最小凸包の画素頂点集合を取得する。

図６Aは、凸包概念のイメージを示している。１つの点集合Qの凸包とは、最小の凸多辺形Pを指し、点集合Qのいずれかの１点、或いは任意の２点を結ぶ線については、凸多辺形Pの辺上にあるか、凸多辺形Pの内部にある。テストデータの統計によると、正常の操作プロセスにおいて、操作者の手が身体の外形凸包の頂点に出現する可能性は、ほぼ９９．６％になっていることが判明されている。このため、操作者の凸包からの手領域の検知は、迅速な手検知を実現可能は方法である。

図６Bは、図３のフローチャートにおける、凸包の多辺形演算の略図である。所定の「ｎ」個点の点集合に対し、先ず、最小位置の点P₀（最小ｙ座標点）を検索し、次に、すべての点を走査してP_k+1点を検索して、すべての点がP_kP_k+1の左側に位置するようにし、P_k+1がP0と等しくなるまで順次検索していくことで、最小凸包（図６B）を取得する。

図７は、図６Aと６Bの演算工程を具体的な前景画像に適用した実例を示した図であり、映像から切り取った１フレームの画像における凸包の多辺形演算結果を示している。本発明の具体的な実施例として、２値化前景画像の輪郭点は、凸包の多辺形の演算に用いられる。該図において、小さな丸い円が、最小凸包の頂点を示し、頂点間を結ぶ線が、凸多辺形を構成している。

最後に、ステップS34において、前景画像の最小凸包の各画素頂点を中心点に、手を含む候補領域として関心領域を構築する。図７は、同時に、凸包の頂点集合により構築したすべての手関心領域を示している。前記手関心領域は、凸包頂点集合における各点を中心点に、矩形フレーム（あるいは円）を描画し、該矩形フレーム（あるいは円）のサイズは、固定であり、かつ正常に手を覆うことができる。隣り合う凸包の頂点の距離が非常に近い（図７に示されたように、手近傍の２つの凸包の頂点）と、これらに対応している関心領域を１つに合併し、合併した関心領域の中心点が、２つの凸包の頂点を結ぶ線の中心となる。

手領域の候補関心領域の取得後、候補の関心領域から、手を含む候補領域がどれかを判定するためには、パターン認識方法を用いる必要があり、このようなパターン認識方法には、例えば、マシン学習の方法や、決定による方法がある。マシン学習の方法の典型的な代表として、BPニューラルネットワーク、SVMサポートベクトルマシン及びBoosting方法があり、決定による方法には、決定木がある。いずれの方法においても、先ず認識すべき物体から特徴を抽出する必要がある。このため、ステップS35において、各構築した関心領域から手画像特徴を抽出する。

本発明において、身体の他の部位から手を分別可能な測定及びその組み合わせは、すべて特徴として手の識別に用いることができ、関心領域内の画素情報に基づく面積、カラー、エッジや、全体情報に基づく形状、テクスチャー、勾配方向のヒストグラムが含まれる。同時に、特徴値には、領域外であり、かつ関心領域とそれぞれ関連のある、手と操作者の身体の他の部位とを分別可能な特徴やその組み合わせも含まれ、例えば、関心領域に直接繋がっている腕領域に適合した楕円アスペクト比の形状特徴がある。

以下、手特徴を説明した具体的な実例を示す。本発明は、以下の３つの方向とは関係のない特徴を定義することにより、手領域を説明している。

特徴A=AW/AB、ここで、AWは、２値化画像における関心領域内の前景画素数の総和であり、ABは、関心領域の面積である。該特徴は、手領域の関心領域における面積の比を表している。

特徴B＝SD/AW、ここで、SDは、関心領域のマスク画像（即ち、２値化画像）に対応している前景差分画像上の画素点のグレースケールの累積和である。該特徴は、手の平均グレースケールを表している。

特徴C=SC/AW、ここで、SCは、関心領域内の前景差分画像上のCANNYエッジ点の数であり、該特徴は、手エッジのテクスチャーの複雑度を表している。

次に、ステップS36において、パターン認識方法により、候補領域から手を含む関心領域を判定する。依然として、以上の実例を例として、予め、前記ヒューマンコンピュータインタラクションシステムから得られた手領域の画像サンプリングにおけるそれぞれの特徴の確率分布のヒストグラムにより、各候補の関心領域に対し、それぞれの特徴値ABCを算出後、該特徴の確率分布から各自の確率値P(A)、P(B)、P(C)を得ることができる。本発明の簡単な実施例として、候補領域からの手識別において、各関心領域の各特徴の確率を累積し、P=P(A)+P(B)+P(C)が得られる。同時に、ここから最大の「P」を選択し、最大の該確率「P」が所定の確率閾値を超えた場合、該最大累積確率値「P」に対応する関心領域が手を含む領域と識別される。すべての関心領域に対応する累積確率値「P」が、すべて前記所定確率閾値未満であると、当該入力された画像上には操作者の手が存在しないと判断される。

前記手領域を識別する具体的な実施例においては、改善された方法として、先ずすべての候補関心領域から、最大ｎ個（例えば、３個）の最大「P」値を有する関心領域を検索し、その後、該ｎ個の関心領域にそれぞれ関連する疑似腕領域の楕円適合を行い（具体的な方法として、関心領域の中心点を円心に、腕の長さを半径とする円内から、最大の連通領域を検索し、疑似腕とする）、最終的に適合した楕円の最大のアスペクト比を有する対応の関心領域を手領域と識別する。

前述の方法よりも複雑な、例えば、SVMや決定木のような、パターン認識方法を用いると、手識別の効果がより良好になる。前記パターン認識方法自体は従来技術であり、当業者が前述のように開示された実施例のもとで、SVMや決定木を用いてそれぞれの特徴を抽出して識別することができるため、ここでは、各種方法の具体的な応用についての説明は割愛する。

操作者の直接的なヒューマンコンピュータインタラクションを容易にするために、また、操作者の伸ばした手指の指示点や携帯物の指示点によるヒューマンコンピュータインターアクションの操作を可能にするためには、画像中の手の位置決め後の、操作者の指示点の位置の正確な取得が必要となる。

このため、本発明は、手位置決めのもと、ヒューマンコンピュータインタラクションシステムで手領域内の指示点も確定することができる。図８は、本発明の一実施例による、ヒューマンコンピュータインタラクションシステムにおける手領域内の指示点の位置決め方法のフローチャートである。該フローで行うものは、ステップS24で実現する指示点の識別工程である。

図８に示されたように、手領域を決定した後、ステップS81において、手領域内の指示点の特性に応じて、手領域内の指示点の候補画素点集合を算出する。

手領域内の指示点の候補画素点集合には、手の凸包頂点、手輪郭線上の高曲率点、Harris角点、或いは、文章“Bare-Hand Human-Computer Interaction”に記載された形状検知演算子により検知された点等がある。これらの候補点により、指先位置の一部の特性が反映される。その計算方法は、当該分野の従来技術であり、それぞれの実現プロセスは、オープンソースプロジェクト「OpenCV」に提供されているため、ここではその詳細な説明は割愛する。前記指示点は、手の人差し指の指先の位置や、任意の位置決め特徴を有する携帯物の頂点であってもよい。

次に、ステップS82において、手を含む領域の関心領域の中心点及び前景画像の重心点に基づき、腕領域を取得する。人類の認知習慣は、通常、全体から一部へとなっているため、本発明は、腕とその方向情報による、候補点の集合からの最終の指先の位置決めを試みている。このためには、先ず、腕の位置を取得する必要がある。図９は、図８の疑似腕領域画定の実例を示した略図である。図９に示された内容は、入力された２値化画像から指定された手のひらに関連する腕領域を如何に検索するかを示している。図９に示されたように、前景画像の重心点と、手を含む領域の中心点とを結ぶ線上で１点を取得し、該点から手を含む領域の中心点までの距離が、通常の腕の長さの半分Rになるようにする。また、前記線上から取得した点を中心に、前記通常の腕の長さの半分Rを半径として円を描き、得られた円内部の領域を腕領域とする。

その後、ステップS83において、腕領域内の輪郭点や、腕領域内の２値化画像データに基づき、腕形状の楕円適合を行う。図１０は、図８の腕領域の形状の楕円適合の実例を示した概略図である。図１０に示されたように、腕の規則的な幾何学的形状を取得するために、本発明は、従来の「OpenCV」にある対応の楕円適合関数を用いて、腕領域内のデータの楕円適合を行う。楕円適合に関わる点は、２値化画像上の前景点でもよく、腕領域内の輪郭点でもよい。

楕円適合の結果には、通常の腕輪郭を満足しないものがあるため、一部の適合結果は無効になることがある。このため、無効の適合結果を放棄し、即時次の画像の操作に進むように、ステップS８４において、適合結果の有効性を判断する必要がある。楕円適合の結果の有効性の判断は、下記工程により行われる。即ち、適合楕円の長軸と短軸の比の算出、及び、手領域を含む関心領域の中心点と前景画像の重心点とを結ぶ線と、適合楕円の長軸とがなす夾角の算出を行い、算出した比例値が、所定の比例値閾値を超え、かつ算出した夾角が所定の角度閾値未満であると、適合楕円が有効であると判断し、前述の２つの条件のうちのいずれかが満たされないと、適合楕円が無効であると判断される。通常、前記所定の比例値閾値は、１．５以上であり、例えば、１．５、１．８、２．０、２．８等であり、前記所定の角度閾値は、３０度よりも小さく、例えば、２５度、２０度、１８度である。前記特性から得られた評価結果が、有効であると、下記の指先の位置決め操作が引き続き行われ、ステップS85に進み、そうでなければ、ステップS８６に進み、当該操作を放棄する。

ステップS85において、各候補指示点の画素点の適合楕円の長軸上の垂直投影位置を算出する。図１１は、図８の手指示点の位置決めの実施例を示した略図である。

図１１に示されたように、図面には４つの候補点があり（例示的に、３つ、５つ、６つ、或いはその以上）、それぞれ「A」、「B」、「C」、「D」（即ち、手の凸包頂点）に標記し、先ず、各候補点に対し、各点の楕円長軸上の垂直投影点を算出し、各候補点について、「ａ」、「ｂ」、「ｃ」、「ｄ」が得られる。

次に、ステップＳ８７において、適合楕円の長軸に沿って手方向へ最も離れた投影位置を探す。図１１に示されたように、楕円長軸に沿って手方向へ最も離れた投影点が、「ａ」である。他の最も離れた投影位置の決定方法として、適合楕円の中心点から、手方向の反対方向に沿った楕円長軸上で１点を選択し、該点から各候補画素点までの距離を順次算出し、算出した最大距離の投影点を最も離れた投影位置とする。

最後に、ステップＳ８８において、該投影位置に対応する候補画素点を手領域内の指示点と決定する。実際に、図１１に示されたように、該投影点「ａ」に対応する候補点が、人類の全体から一部への認知習慣のもとでの最終の指先や指示点の位置である。

本発明の実施例によると、指先や指示部品の迅速な位置決めが可能になるとともに、手指の開閉ジェスチャへの高効率かつ安定した識別方法が得られる。本発明の前述の「閉」の手指のジェスチャとは、手のひらを握りしめた状態で人差し指のみ伸ばした状態をいい、本発明の前述の「開」の手指のジェスチャとは、親指及び人差し指を同時に開いた状態をいう。「開」、「閉」とも、人差し指は常に開いた状態で、指先位置がマウスのような位置決め機能を果たしている。

図１２A〜１２Fは、本発明の一実施例による、画像からの手指のジェスチャの識別の略図である。具体的な実施例において、先ず、本発明の指先の指示点の位置決め方法により、入力された画像から人差し指の指先位置を取得し、該位置点を中心に、手のひらや拳を覆う矩形枠や円を作り、２つの手指のジェスチャを識別する研究領域（即ち、関心領域）とする。該研究領域内で、先ず、手指の形状及び出現の特徴により、開いた全ての指先の候補点を算出する。計算方法は、先ず該関心領域内の手の凸包の頂点を検出し、次に該凸包の各頂点が手指か否かを考察する。これは、手のひらの一部において、指を開いた時の指先位置は、必ず手のひらの凸包頂点にあるからである。図１２Aに示されたように、該手のひらには、３つの凸包頂点が存在し、そのうち２つは指先位置である。

次に、手のひらの凸包頂点集合から、手指特徴を満たさない点をさらに排除し、開いた全ての指先の疑似位置を探す。開いた指先として、その位置は、必ず高曲率点であるため、本ステップの具体的な実施形態は、該凸包頂点の存在する輪郭曲率を算出するとともに、その曲率が所定の値よりも大きく、曲率方向が正（内向き）かを判断する。

画像のエッジ点の曲率の算出は、該点を基準点に、該点の付近の前列と後列のエッジから一点ずつ取って２つのベクトルを形成し、ベクトルの内積計算により、その曲率の大きさと方向を予測する。曲率の計算は、従来の技術であるため、ここではその詳細な説明を割愛する。なお、本ステップでは、文章Bare-Hand Human-Computer Interactionに開示された形状検知方式による、手のひらの凸包頂点集合からの全疑似指先の位置点の検出を用いることができる。図１２Bは、手指検知の結果を示している。

指先位置の検知の正確性が高いと、検知した手指の数により、手指のジェスチャへの簡単な識別が可能になる。本発明は、検知結果に通常一定のノイズが含まれていることを考慮し、さらに、一定の幾何学的位置関係の組み合わせにより、その識別の正確性を高めている。

先ず、図１２ｃに示されたように、手の人差し指の指先点（位置決め点）を起点F₀に、手のひらの輪郭線（即ち、手のひらの２値化画像のエッジ）に沿って両側方向へ、それぞれ次に出現する指先点を探し、検索結果が重複しないように、各自方向に辿る輪郭線の長さが手のひらの輪郭線の半分を超えないようにする。検索した手指点をF₁とすると、検索した手指の結果は、データ対｛F₀、F₁、F₀F₁｝と記録することができる。F₀F₁は、図１２Dに示されたように、F₀からF₁まで辿った手のひらのエッジである。エッジに沿って検索した各手指点は、全てこのような形式で記録していく。

本発明の一実施例では、｛F₀、F₁、F₀F₁｝のような、各組の指先のデータ記録に対し、F₀F₁により表される輪郭点からなる曲線中の変曲点位置を算出し、該変曲点は、手のひらの付け根部分の位置点とイメージ的に認識され、特徴としては、該点の所在する曲率が所定値を超え、かつ、曲率方向が負（外向き）である。変曲点が存在しない場合は、該組のデータを放棄する。変曲点の算出後、１組の指先のデータ記録がなければ、該手指のジェスチャは「閉」と判断され、終了して戻る。図１２Eは、該変曲点が存在する演算結果を示している。

残りの指先のデータ記録に対しては、各組のデータにおける対をなす指先及び変曲点からなる三角形の幾何学的関係から、手指のジェスチャが「開」状態を示すか否かを判断している。判断は、変曲点を頂点に両指の夾角が必ず所定の範囲内（３０〜１５０度の範囲）にあり、３辺の辺長とも所定の長さ未満であることを具体的な根拠としている。なお、変曲点から人差し指の指先までの長さが変曲点から親指の指先までの長さ以上であることも、判断の根拠にすることができる。図１２Fは、「開」状態のジェスチャにおける合理的な三角形の幾何学的関係を表した図である。

図１３は、画像からの手指のジェスチャの識別の具体的な実例である。７２０×４８０サイズの原画像に、本発明の手指のジェスチャ検知方式を用いた検知速度は、略５８ｍｓ/フレームであり、該データは、何ら最適化も施されていない状態で得られたもので、本発明の検知及び識別速度がリアルタイム処理のニーズを完全に満たしていることは明らかである。

図１４は、本発明の実施例による方法を実現するシステムのブロック図であり、主に、手検知部１４１と、指示点位置決め部１４２と、手指ジェスチャ識別部１４３と、指令操作インタラクション部１４４の４つの部分に分けられる。手検知部１４１は、被制御領域の画像を連続取得して、前景物が含まれる画像列を取得する画像入力モジュール１４１１と、撮像した画像から前景画像を抽出するとともに、抽出した前景画像の２値化処理を行う前景画像抽出モジュール１４１２と、２値化前景画像の最小凸包の画素頂点集合を取得するとともに、前景物の最小凸包の各頂点を中心点に、手が含まれる候補領域となる関心領域を構築する関心領域構築モジュール１４１３と、各構築した関心領域から、手画像特徴を抽出し、パターン認識により、候補領域における手が含まれる関心領域を決定する手領域認識モジュール１４１４と、手領域出力モジュール１４１５と、を有する。指示点位置決め部１４２は、撮像された画像から手を含む領域を検知する手領域入力モジュール１４２１と、検知した手を含む領域と密接する疑似腕領域を取得するとともに、疑似腕領域の形状の楕円適合を行う腕領域楕円適合モジュール１４２２と、楕円適合の結果の有効性を判断する楕円適合結果判断モジュール１４２３と、手領域内の指示点の特性に応じて、手領域内の指示点の候補画素点集合を選択する候補指示点位置取得モジュール１４２４と、楕円適合の結果が有効であると、適合楕円の長軸に沿って手方向へ最も離れた手領域内の指示点の候補画素を、手領域内の指示点に決定する指示点位置決めモジュール１４２５と、指示点位置出力モジュール１４２６と、を有する。

手指ジェスチャ識別部１４３は、入力された画像から手を含む領域を検知して、指先位置を指示点として位置決める指示点位置入力モジュール１４３１と、位置決定した指先位置点を起点として、手のひらの輪郭線に沿って両側方向へ、次の疑似指先位置を検知する次指先検知モジュール１４３２と、位置決定した指示点から、検知した次の指先の位置点までの輪郭点を取得し、得られた輪郭点からなる曲線のうち変曲点の位置を検出する変曲点位置決めモジュール１４３３と、位置決定した指示点と、検知された次の指先の位置点と、検出された変曲点の位置点とからなる三角形の三辺の関係から、当該ジェスチャの開閉状態を識別する手指ジェスチャ判断モジュール１４３４と、手指ジェスチャ出力モジュール１４３５と、を有する。最後に、指令操作インタラクション部１４４は、検知した指示位置及び手指ジェスチャの結果に基づき、一定の規則によりコンピュータの操作指令に変換し、ヒューマンコンピュータインタラクションを実現している。

本明細書における一連の動作は、ハードウェアや、ソフトウェアや、ハードウェアとソフトウェアの組み合わせから実行することができる。ソフトウェアにより該一連の動作を実行時には、コンピュータプログラムを専用ハードウェアに内蔵されたコンピュータのメモリにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。或いは、コンピュータプログラムを各種処理が実行可能な汎用コンピュータにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。

例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭや、MOや、ＤＶＤや、磁気ディスクや、半導体メモリ等のような移動記録媒体に保存（記録）することができ、このような移動記録媒体をパッケージとして提供してもよい。

前述の具体的な実施例によって、本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内で、実施例の修正や代替が可能なことは言うまでもない。換言すると、本発明は説明の形式で開示されており、制限的に解釈されるものではない。本発明の要旨は、添付された請求範囲で判断されるべきである。

Claims (16)

1. 撮像された画像から手を含む手領域を検知し、該手領域内の指示点の特徴から、該手領域内の指示点の候補画素点集合を算出するステップと、
   検知した前記手領域に密接する疑似腕領域を取得し、該疑似腕領域の形状の楕円適合を行うステップと、
   前記楕円適合の結果が有効であると、適合楕円の長軸に沿って手方向へ最も離れた前記手領域内の指示点の候補画素点を、前記手領域内の指示点に決定するステップと、
   を含む、ヒューマンコンピュータインタラクションシステムにおける手指示点位置決め方法。
2. 前記指示点は、前記手の人差し指の指先位置、又は、任意の位置決め特徴を有する携帯物の頂点である、請求項１に記載のヒューマンコンピュータインタラクションシステムにおける手指示点位置決め方法。
3. 前記手領域内の指示点の候補画素点集合は、手輪郭の凸包頂点、手輪郭線上の高曲率点、Harris角点、手指形状のフィルタリングにより得られた位置点のうちの１つまたは複数を含む、請求項１又は２に記載のヒューマンコンピュータインタラクションシステムにおける手指示点位置決め方法。
4. 前記検知した手領域と密接する疑似腕領域を取得するステップにおいて
   前記手領域の中心点までの距離が通常の腕の長さの半分となる点を、前景画像の重心点と、前記手領域の中心点とを結ぶ線から取得し、
   前記線から取った点を中心に、前記通常の腕の長さの半分を半径として円形を描き、得られた前記円形の内部領域を前記腕領域とする、請求項１乃至３の何れか一項に記載のヒューマンコンピュータインタラクションシステムにおける手指示点位置決め方法。
5. 前記腕の形状の楕円適合ステップ後、前記手領域内の指示点の位置決めステップ前にいて、
   前記適合楕円の長軸と短軸との比を、所定の比例値閾値と比較し、該長軸と短軸の比が、該所定の比例値閾値を超えた場合に、前記適合楕円を有効とし、該所定の比例値閾値以下であると、前記適合楕円を無効とする、請求項１乃至４の何れか一項に記載のヒューマンコンピュータインタラクションシステムにおける手指示点位置決め方法。
6. 前記手領域の中心点と、前記前景画像の重心点とを結ぶ線と、前記適合楕円の長軸とがなす夾角を算出し、得られた前記夾角が、所定の角度閾値未満であると、前記適合楕円を有効とし、該所定の角度閾値以上であると、前記適合楕円を無効とする、請求項４に記載のヒューマンコンピュータインタラクションシステムにおける手指示点位置決め方法。
7. 前記適合楕円の長軸に沿って手方向へ最も離れた前記手領域内の指示点の候補画素点を、前記手領域内の指示点に決定するステップにおいて、
   前記各候補画素点の前記適合楕円の長軸上の垂直投影位置を算出した後、前記適合楕円の長軸に沿って手の方向へ、最も離れた投影位置を検索し、該投影位置に対応する候補画素点を手領域内の指示点に決定するか、前記適合楕円の中心点から前記手方向の反対方向への前記適合楕円の長軸上で1点を選択し、該点から前記各候補画素点までの距離を順次算出し、算出した最大距離に対応する候補画素点を前記手領域内の指示点に決定する、請求項１乃至６の何れか一項に記載のヒューマンコンピュータインタラクションシステムにおける手指示点位置決め方法。
8. 入力された画像から手を含む領域を検知して、指示点として指先の位置を決定するステップと、
   位置決定した前記指示点を起点として、手のひらの輪郭線に沿って両側方向へ、次の疑似指先位置点を検知するステップと、
   前記次の疑似指先位置点が検出されないと、手指のジェスチャを「閉」状態と識別するステップを行うステップと、
   前記次の疑似指先位置点が検出されると、位置決定した前記指示点から検知した前記次の疑似指先位置点までの輪郭点を取得し、得られた前記輪郭点からなる曲線のうち変曲点の位置を検出するステップと、
   位置決定した前記指示点と、検知された前記次の疑似指先位置点と、検出された前記変曲点とからなる三角形の三辺の関係から、手指のジェスチャの開閉状態を識別するステップと、
   を含む、ヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法。
9. 位置決定した前記指示点、及び、検知された前記次の疑似指先位置点が、前記変曲点とそれぞれ形成する二辺の夾角の大きさが、所定の範囲内であり、かつ前記三辺の各辺長が、所定の長さ閾値を超えた場合に、前記手指のジェスチャを、「開」状態と判定し、該所定の長さ閾値以下の場合は、前記手指のジェスチャを、「閉」状態と判定する、請求項８に記載のヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法。
10. 検知された前記次の疑似指先位置点とは、検知した手を含む領域内の指示点とは別の位置点を指し、前記次の疑似指先位置点所在の輪郭の曲率は所定の値よりも大きく、かつ該曲率の方向は正（内向き）である、請求項８又は９に記載のヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法。
11. 位置決定した前記指示点を起点として、手のひらの輪郭線に沿って両側方向へ次の疑似指先位置点を検知するステップにおいて、
    片側の検知長さは、手輪郭線の半分を超えない、請求項８乃至１０の何れか一項に記載のヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法。
12. 前記変曲点とは、取得した前記輪郭点からなる曲線のうち、曲率の方向が負であり、かつ、絶対値が所定の曲率閾値を超える輪郭点を指す、請求項８乃至１１の何れか一項に記載のヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法。
13. 撮像された画像から手領域を検知し、該手領域内の指示点の特徴から該手領域内の指示点の候補画素点集合を算出するモジュールと、
    検知した前記手領域と密接する疑似腕領域を取得し、該疑似腕領域の形状の楕円適合を行うモジュールと、
    前記楕円適合の結果が有効であると、適合楕円の長軸に沿って手方向へ最も離れた前記手領域内の指示点の候補画素点を、前記手領域内の指示点に決定するモジュールと、
    を有する、ヒューマンコンピュータインタラクションシステム。
14. 入力された画像から手を含む領域を検知して、指示点として指先の位置を決定するモジュールと、
    位置決定した前記指示点を起点として、手のひらの輪郭線に沿って両側方向へ、次の疑似指先位置点を検知するモジュールと、
    前記次の疑似指先位置点が検知されないと、手指のジェスチャを「閉」状態と識別するモジュールと、
    前記次の指先位置点が検知されると、位置決定した前記指示点から、検知した前記次の疑似指先位置点までの輪郭点を取得し、得られた前記輪郭点からなる曲線のうち変曲点の位置を検索するモジュールと、
    位置決定した前記指示点と、検知された前記次の疑似指先位置点と、検出された前記変曲点とからなる三角形の三辺の関係から、手指のジェスチャの開閉状態を識別するモジュールと、
    を有する、ヒューマンコンピュータインタラクションシステム。
15. ヒューマンコンピュータインタラクションシステムにおける手指示点位置決めプログラムであって、
    コンピュータに、
    撮像された画像から手を含む手領域を検知し、該手領域内の指示点の特徴から、該手領域内の指示点の候補画素点集合を算出するステップと、
    検知した前記手領域に密接する疑似腕領域を取得し、該疑似腕領域の形状の楕円適合を行うステップと、
    前記楕円適合の結果が有効であると、適合楕円の長軸に沿って手方向へ最も離れた前記手領域内の指示点の候補画素点を、前記手領域内の指示点に決定するステップと、
    を実行させるためのプログラム。
16. ヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別プログラムであって、
    コンピュータに、
    入力された画像から手を含む領域を検知して、指示点として指先の位置を決定するステップと、
    位置決定した前記指示点を起点として、手のひらの輪郭線に沿って両側方向へ、次の疑似指先位置点を検知するステップと、
    前記次の疑似指先位置点が検出されないと、手指のジェスチャを「閉」状態と識別するステップを行うステップと、
    前記次の疑似指先位置点が検出されると、位置決定した前記指示点から検知した前記次の疑似指先位置点までの輪郭点を取得し、得られた前記輪郭点からなる曲線のうち変曲点の位置を検出するステップと、
    位置決定した前記指示点と、検知された前記次の疑似指先位置点と、検出された前記変曲点とからなる三角形の三辺の関係から、手指のジェスチャの開閉状態を識別するステップと、
    を実行させるためのプログラム。