[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2000163196A - ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 - Google Patents

ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置

Info

Publication number
JP2000163196A
JP2000163196A JP26687399A JP26687399A JP2000163196A JP 2000163196 A JP2000163196 A JP 2000163196A JP 26687399 A JP26687399 A JP 26687399A JP 26687399 A JP26687399 A JP 26687399A JP 2000163196 A JP2000163196 A JP 2000163196A
Authority
JP
Japan
Prior art keywords
user
nodding
recognizing
gaze
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP26687399A
Other languages
English (en)
Inventor
Hitoshi Hongo
仁志 本郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP26687399A priority Critical patent/JP2000163196A/ja
Priority to US09/404,877 priority patent/US6677969B1/en
Publication of JP2000163196A publication Critical patent/JP2000163196A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 人物のうなずき動作をより正確に認識するこ
とができ、よりユーザの意思を反映した対話制御が可能
な認識装置を提供する。 【解決手段】 ユーザの指示待ち状態になったら、顔の
向き検出部１４によりうなずき動作が認識され、かつ、
視線検出部１２により検出された視線が選択候補を注視
している場合に、その選択候補を選択する意思があるも
のとして該選択候補が選択されたものとして処理を行
う。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ジェスチャ認識装
置及び指示認識装置に関するものであり、特に、ユーザ
と対話処理を行うための装置に関するものである。
【０００２】
【従来の技術】従来よりカメラを用いて人物を撮像し、
その人物の頭部を認識して、その認識結果に基づき所定
の処理を行うことが行われている。
【０００３】例えば、特開平９−２１８７７０号に記載
の対話処理装置および対話処理方法においては、うなず
き動作を認識して対話を制御する点が開示されている。
【０００４】
【発明が解決しようとする課題】しかし、上記のように
単にうなずきのみを認識することにより対話を行う場合
に、うなずき動作を正確に検出することは困難であっ
た。つまり、うなずき動作は自然な動作であるため、ユ
ーザの指示待ちの状態にある場合に、うなずきもしくは
それに似た動作が本当にユーザの意思を反映した動作で
あるのか否かの判定は困難であり、ユーザの指示を的確
に認識することができなかった。また、うなずき動作の
みにより対話を行う場合には、きめの細かい対話を行う
ことができず、ユーザの意思をより明確に反映した対話
制御を行うことができなかった。
【０００５】そこで、本発明は、人物のうなずき動作を
より正確に認識することができ、よりユーザの意思を反
映した対話制御が可能な認識装置を提供することを目的
とするものである。
【０００６】
【課題を解決するための手段】本発明は上記問題点を解
決するために創作されたものであって、第１には、ユー
ザのジェスチャを認識するジェスチャ認識装置であっ
て、ユーザのジェスチャを認識するジェスチャ認識手段
と、ユーザの視線を検出する視線検出手段と、表示部に
選択候補が表示されたユーザの指示待ちの際に、上記視
線検出手段により検出された視線が該選択候補に向いて
いる状態で、上記ジェスチャ認識手段により所定のジェ
スチャが認識された場合には、上記ジェスチャ認識手段
の認識結果に基づき所定の処理を行う制御手段と、を有
することを特徴とする。
【０００７】この第１の構成のジェスチャ認識装置にお
いては、上記ユーザの指示待ち状態において、上記視線
検出手段により検出された視線が選択候補に向いている
状態で上記ジェスチャ認識装置により所定のジェスチャ
が認識された場合には、上記ジェスチャ認識手段の認識
結果に基づき所定の処理を行う。よって、そのジェスチ
ャが視線が向いている選択候補に対するものであること
が分かるので、該ジェスチャに基づく処理を行ってもユ
ーザの意思を的確に反映した処理を行うことができる。
【０００８】また、第２には、ユーザのジェスチャを認
識するジェスチャ認識装置であって、ユーザの頭部を撮
影した画像に基づきユーザのうなずき動作を検出するう
なずき動作認識手段と、ユーザの視線を検出する視線検
出手段と、表示部に１又は複数の選択候補が表示された
ユーザの指示待ち状態において、上記うなずき動作認識
手段によりうなずき動作が検出され、かつ、該うなずき
動作中に上記視線検出手段により検出された視線がいず
れかの選択候補に視線が向いている場合には、視線が向
いている選択候補が選択されたものとして所定の処理を
行う制御手段と、を有することを特徴とする。
【０００９】この第２の構成のジェスチャ認識装置にお
いては、ユーザの指示待ち状態において、上記うなずき
動作認識手段によりうなずき動作が検出され、かつ、該
うなずき動作中に上記視線検出手段により検出された視
線がいずれかの選択候補に視線が向いている場合には、
視線が向いている選択候補が選択されたものとして所定
の処理を行うので、そのうなずき動作が視線が向いてい
る選択候補に対するものであることが分かるので、ユー
ザの意思を的確に反映した処理を行うことができる。
【００１０】また、第３には、上記第２の構成におい
て、検出された視線が所定時間滞留している注視状態で
ある場合に、検出された視線がいずれかの選択候補に視
線が向いているとして処理を行うことを特徴とする。よ
って、単に視線が通り過ぎた場合等ユーザの意思とは無
関係の視線の動きを排除でき、よりユーザの意思を反映
した処理が可能となる。
【００１１】また、第４には、上記第３の構成におい
て、上記注視状態とは、うなずき動作の開始から終了に
至るまでの間に所定の選択候補に視線が向いていること
を特徴とする。
【００１２】また、第５には、上記第２又は第３又は第
４の構成において、上記うなずき動作認識手段が、頭部
の上下の振幅量に従いうなずきを検出することを特徴と
する。
【００１３】また、第６には、ユーザのジェスチャを認
識するジェスチャ認識機能を有する指示認識装置であっ
て、ユーザの頭部を撮影した画像に基づきユーザのうな
ずき動作を検出するうなずき動作認識手段と、ユーザの
視線を検出する視線検出手段と、画像情報を表示する表
示手段と、該表示手段に１又は複数の選択候補が表示さ
れたユーザの指示待ち状態において、上記うなずき動作
認識手段によりうなずき動作が検出され、かつ、該うな
ずき動作中に上記視線検出手段により検出された視線が
いずれかの選択候補に向いているか否かを判断する判断
手段と、を有することを特徴とする。
【００１４】この第６の構成のジェスチャ認識機能を有
する指示認識装置においては、ユーザの指示待ち状態に
おいて、上記うなずき動作認識手段によりうなずき動作
が検出され、かつ、該うなずき動作中に上記視線検出手
段により検出された視線がいずれかの選択候補に視線が
向いているか否かを判断するので、ユーザの指示待ち状
態において、うなずき動作が検出され、かつ、視線がい
ずれかの選択候補に向いている場合に、視線が向いてい
る選択候補が選択されたものとして所定の処理を行うこ
とにより、そのうなずき動作が視線が向いている選択候
補に対するものであるとして処理を行うことになり、ユ
ーザの意思を的確に反映した処理を行うことができる。
【００１５】また、第７には、上記第６の構成におい
て、上記ジェスチャ認識機能を有する指示認識装置が、
さらに、上記判断手段が、該表示手段に１又は複数の選
択候補が表示されたユーザの指示待ち状態において、上
記うなずき動作認識手段によりうなずき動作が検出さ
れ、かつ、該うなずき動作中に上記視線検出手段により
検出された視線がいずれかの選択候補に向いていると判
断した場合に、ユーザにより視線が向いている選択候補
が選択されたものとして所定の処理を行う実行手段と、
を有することを特徴とする。よって、うなずき動作と視
線により、所定の選択候補が選択されたものとして処理
を行うことができる。
【００１６】また、第８には、上記第６又は第７の構成
において、上記視線検出手段により検出された視線が所
定時間滞留している注視状態であることを条件に、検出
された視線が選択候補に向いていると判定することを特
徴とする。よって、単に視線が通り過ぎた場合等ユーザ
の意思とは無関係の視線の動きを排除でき、よりユーザ
の意思を反映した処理が可能となる。
【００１７】また、第９には、上記第８の構成におい
て、上記注視状態とは、うなずき動作の開始から終了に
至るまでの間に所定の選択候補に視線が向いている状態
であることを特徴とする。
【００１８】また、第１０には、上記第６から第９まで
のいずれかの構成において、上記うなずき動作認識手段
は、ユーザの頭部の上下の振幅量に従いうなずき動作を
検出することを特徴とする。
【００１９】また、第１１には、上記第６から第１０ま
でのいずれかの構成において、上記うなずき動作認識手
段は、ユーザの頭部におけるいずれかの部位が、所定時
間内に上下動を行い、該上下動における移動量がともに
所定値を越える場合に、うなずき動作と認識することを
特徴とする。よって、自然なうなずき動作を検出するこ
とが可能となる。
【００２０】また、第１２には、上記第６から第１１ま
でのいずれかの構成において、上記指示認識装置は、さ
らに、ユーザの頭部を撮影する撮影手段を有し、上記う
なずき動作認識手段は、該撮影手段により撮影された画
像情報によりうなずき動作の検出を行い、また、上記視
線検出手段は、該撮影手段により撮影された画像情報に
より視線検出を行うことを特徴とする。
【００２１】また、第１３には、上記第１２の構成にお
いて、上記うなずき動作認識手段は、上記撮影装置によ
り得られた画像情報におけるユーザの目及び／又は口の
位置の情報を少なくとも用いてうなずき動作を検出する
ことを特徴とする。
【００２２】
【発明の実施の形態】以下本発明の好適な実施例を図面
を利用して説明する。本発明に基づくジェスチャ認識機
能を有する指示認識装置（ジェスチャ認識装置）Ａは、
図１、図２に示されるように、カメラ１０と、視線検出
部１２と、顔の向き検出部１４と、選択意思判断部１６
と、選択意思実行部１７と、表示管理部１８と、表示部
２０と、を有している。
【００２３】ここで、上記カメラ１０は、表示部２０を
見るユーザ甲（図３参照）の顔を撮影するように設定さ
れたものであり、ＣＣＤカメラ等により構成される。該
カメラ１０は、上記撮影手段として機能する。
【００２４】また、上記視線検出手段としての上記視線
検出部１２は、上記カメラ１０により得られた画像デー
タに人間の顔がある場合に、その人間の視線を検出する
ものである。具体的には、撮影して得られた画像データ
に対してエッジ抽出を行い、人間の顔が写っていると判
断される場合に、その目における黒目の方向を検出する
こと等により視線検出を行う。詳しくは後述する。この
視線検出部１２は、実際には、視線検出を行うためのプ
ログラムを格納したメモリと該プログラムに従い所定の
処理を行うＣＰＵ等から構成される。
【００２５】また、上記ジェスチャ認識手段及びうなず
き動作認識手段としての上記顔の向き検出部１４は、上
記カメラ１０により得られた画像データに人間の顔があ
る場合に、その顔の向きを検出し、所定の場合にはうな
ずき動作があったことを認識する。詳しくは後述する。
この顔の向き検出部１４は、実際には、顔の向きを検出
してうなずき動作を検出するためのプログラムを格納し
たメモリと該プログラムに従い所定の処理を行うＣＰＵ
等から構成される。
【００２６】また、上記選択意思判断部１６は、ユーザ
の選択意思を判断するものであり、上記顔の向き検出部
１４によりうなずき動作が検出された場合に、視線検出
部１２で検出された視線に基づきユーザの選択意思を判
断する。つまり、うなずき動作があった場合には、うな
ずき動作があった際の視線を検出して、その視線が通過
するアイコンが選択されたものと判断する。該判断が行
われると、そのアイコンが選択されたものとして処理が
行われることになる。この選択意思判断部１６も、上記
処理を行うためのプログラムを格納したメモリと該プロ
グラムに従い所定の処理を行うＣＰＵ等から構成され
る。この選択意思判断手段１６は、上記判断手段として
機能する。詳しい動作については、後述する。
【００２７】また、上記選択意思実行部（選択意思実行
手段）１７は、上記選択意思判断部１６における判断の
結果を実行する。例えば、上記選択意思判断部１６によ
りあるアイコンを選択する意思があるものと判断された
場合には、そのアイコンが選択されたものとして処理が
実行される。なお、上記選択意思判断部１６と選択意思
実行部１７とは、上記制御装置として機能する。また、
該選択意思実行部１７は、上記実行手段として機能す
る。
【００２８】また、上記表示管理部１８は、表示部２０
への表示に関して、アイコン等の選択候補の表示位置等
を制御するものである。また、上記表示部（表示手段）
２０は、所定の情報を表示するためのものであり、ＣＲ
ＴやＬＣＤ等のモニタにより構成される。
【００２９】上記構成のジェスチャ認識機能を有する指
示認識装置Ａのハード構成図を示すと、図２のようにな
る。つまり、図２に示すように、カメラ１０と、メモリ
３０と、表示管理部１８と、表示部２０とを有し、該メ
モリ３０には、視線検出プログラムや、うなずき動作検
出プログラムや、選択意思判断プログラム等が格納され
ている。該視線検出プログラムは、上記の視線検出を行
うためのプログラムであり、また、うなずき動作検出プ
ログラムは、上記の顔の向きを検出してうなずき動作を
検出するためのプログラムである。また、該選択意思判
断プログラムは、検出された視線とうなずき動作により
ユーザの選択意思を判断するためのプログラムである。
【００３０】上記構成のジェスチャ認識機能を有する指
示認識装置Ａの動作について、図４〜図１１を利用して
説明する。なお、図３に示すように、ユーザは上記構成
のジェスチャ認識機能を有する指示認識装置Ａが搭載さ
れたコンピュータ端末Ｐを使用しているものとする。
【００３１】まず、ユーザがコンピュータ端末Ｐの操作
をしている状態で、ユーザの指示待ち状態にあるか否か
が判定される（Ｓ１０）。つまり、この指示待ち状態と
は、ユーザが所定のアイコンやボタンをマウス等で選択
をすべき状態になる場合である。この状態としては、例
えば、図５に示すように、「次のいずれを選択します
か。」と表示するとともに、選択すべきアイコンとして
アイコン３０ａ、アイコン３０ｂ、アイコン３０ｃが表
示部２０に表示されている場合が挙げられる。また、所
定の処理を行うに際して、「ＹＥＳ」を示すアイコンと
「ＮＯ」を示すアイコンが表示される場合も挙げられ
る。
【００３２】そして、指示待ち状態にある場合には、カ
メラ１０からユーザの顔の画像が撮影される（Ｓ１
１）。その撮影された画像情報は、上記視線検出部１２
や顔の向き検出部１４に送られる。
【００３３】次に、その撮影された画像情報が視線検出
部１２に送られると、視線検出部１２は視線検出を行
う。以下の視線検出の方法について説明する。
【００３４】つまり、視線検出部１２では、撮影された
画像にエッジ抽出処理が行われる。そして、エッジ抽出
処理後に、まず、人の顔があるかどうかが判定される。
つまり、エッジ抽出処理が行われた画像と予め用意され
た人物標準パターン画像としてのテンプレートとを比較
して、人の顔があるかどうかを推定する。なお、人の顔
の判定においては、肌色情報を考慮して行うようにして
もよい。また、フレーム間の差分画像から移動した物体
を検知し、その物体と人物標準パターン画像とを比較し
て人の顔を判定するようにしてもよい。
【００３５】そして、人の顔があることが検出された
ら、視線を検出する。ここでは、視線方向を検出する。
すなわち、エッジ抽出することにより得られたエッジ情
報から、検出された人の顔における目の垂直方向の位置
と水平方向の位置とを推定して目の部分の画像を切り出
し、この切り出した領域の濃淡画像を生成する。その
後、目における黒目の位置に関する濃度分布情報を水平
方向と垂直方向とについて算出し、予め設けられている
水平方向と垂直方向の濃度分布情報と比較して、類似度
を算出して視線方向を算出するのである。なお、視線方
向の検出の方法としては、赤外光を使った方法もある。
【００３６】そして、視線方向が検出された視線の空間
位置を検出する。つまり、撮影された画像におけるその
人の目の空間座標位置と、検出された視線方向とによ
り、その視線の空間位置を検出する。なお、上記目の空
間座標位置の検出は次のように行う。つまり、図３に示
すＸ方向、Ｙ方向の座標については撮影された２次元画
像における座標により検出可能であり、また、Ｚ方向の
座標については、例えば、顔の大きさから推定する等の
方法や距離センサにより検出する方法がある。なお、こ
のＺ方向の座標については、所定の光を照射し、顔や目
等に反射して帰ってくるまでの時間により算出してもよ
い。
【００３７】以上のようにして、目の空間位置と視線方
向とに基づき、空間内にある視線の位置が決定されるの
で、その視線が表示部２０のどの位置にあるかを検出す
ることが可能となる。なお、この視線検出の処理は、ス
テップＳ１４の判定が完了するまで継続して行う。な
お、検出される視線は両目でも片目でもよいが、両目の
視線を検出することが好ましい。
【００３８】上記のように視線検出が行われたらジェス
チャ認識を行う（Ｓ１３）。すなわち、上記顔の向き検
出部１４によりうなずき動作が行われたか否かが認識さ
れる。つまり、カメラ１０により撮影された顔の画像情
報から、目の位置を検出し、その目の上下方向の移動量
が所定値を越えた場合には、うなずき動作があったもの
と認識する。一方、所定値を越えていない場合には、う
なずき動作はないものと認識される。目の位置の検出は
上記のようなエッジ検出処理を行い、水平方向のエッジ
を検出することにより可能である。例えば、図６に示す
ように、時刻ｔ１からｔ３にかけて目の位置がグラフの
曲線に示すように移動した場合に、下降量αと下降後の
上昇量βとが所定のしきい値を越えている場合には、う
なずき動作があったものと認識する。なお、時刻ｔ１と
時刻ｔ３間の時間の許容量を予め定めておき、目の上下
方向の移動量が所定値を越えていても、目の移動に掛か
る時間があまり長い場合には、うなずき動作とはみなさ
ないようにしてもよい。
【００３９】例えば、上記時刻ｔ１、ｔ２、ｔ３のそれ
ぞれの時刻に目の位置を検出してサンプリングを行い、
時刻ｔ２における目の位置と該時刻ｔ２の１つ前のサン
プリング時刻である時刻ｔ１における目の位置の上下方
向の移動量と移動方向を算出する。さらに、時刻ｔ３に
おける目の位置と該時刻ｔ３の１つ前のサンプリング時
刻である時刻ｔ２における目の位置の上下方向の移動量
を算出する。この場合の移動方向としては、目の移動方
向が上方向の成分を含むか、又は、下方向の成分を含む
かを算出すればよい。そして、時刻ｔ１と時刻ｔ２間の
移動量及び時刻ｔ２と時刻ｔ３間の移動量がともに所定
値を越えており、かつ、時刻ｔ１と時刻ｔ２間の移動方
向が下方向の成分を含み、かつ、時刻ｔ２と時刻ｔ３間
の移動方向が上方向の成分を含む場合には、うなずき動
作があったものとみなす。
【００４０】なお、上記の説明では、あるサンプリング
時刻とその前のサンプリング時刻の間の目の移動量と移
動方向を検出するのであるが、あるサンプリング時刻の
前の複数のサンプリング時刻との間の移動量や移動方向
をそれぞれ検出するようにしてもよい。また、上記の説
明では、隣り合うサンプリング間隔同士で、移動量や移
動方向の判定を行うが、必ずしも隣り合うサンプリング
間隔でなくてもよい。
【００４１】具体的には、図７に示すフローチャートの
ように処理を行う。まず、あるサンプリング周期で目の
位置についてサンプリングを行い、あるサンプリング時
刻（これを「対象サンプリング時刻」とする）におい
て、移動量の検出を行い（Ｓ２０、移動量が所定値を越
えているか否かを判定する（Ｓ２１）。ここで、この移
動量の判定に際しては、例えば、直前のサンプリング時
刻との間の移動量のみならず、その前のサンプリング時
刻との間の移動量を検出する。このケースでは、あるサ
ンプリング時刻と、そのサンプリング時刻の前の２つの
サンプリング時刻との間の移動量や移動方向を検出して
いることになる。
【００４２】そして、移動量が所定値を越えている場合
には、その移動の移動方向を検出する（Ｓ２２）。ここ
では、移動が上方向の成分を含むか、下方向の成分を含
むかを検出すればよい。そして、下方向の移動である場
合には、そのサンプリング時刻の情報を保持しておく
（Ｓ２３、Ｓ２４）。一方、上方向の成分を含む場合に
は、そのサンプリング時刻から遡って所定の時間内に上
記保持されたサンプリング時刻の情報があるか否かを判
定する（Ｓ２５、Ｓ２６）。そして、所定の時間内に保
持された時刻情報がある場合には、うなずき動作と判定
するのである（Ｓ２７）。なお、このステップＳ２０〜
Ｓ２７の処理は、各サンプリング周期ごとに行う。
【００４３】上記の処理を図８を使用して具体的に説明
する。図８において、ｔ０からｔ４はサンプリング時刻
を示し、曲線は目の動きを示すものとする。図８の第１
例では、サンプリング時刻ｔ２においては、サンプリン
グ時刻ｔ０及びサンプリング時刻ｔ１との間で所定値を
越える移動がある、すなわち、サンプリング時刻ｔ０と
サンプリング時刻ｔ２間及びサンプリング時刻ｔ１とサ
ンプリング時刻ｔ２間で所定値を越える移動があるの
で、ステップＳ２１からステップＳ２２に移行し、サン
プリング時刻ｔ０及びｔ１とサンプリング時刻ｔ２間で
は、下方向への移動であるので、このサンプリング時刻
ｔ２の情報を保持しておく（Ｓ２４）。なお、サンプリ
ング時刻ｔ２とサンプリングｔ０間の移動方向とサンプ
リング時刻ｔ２とサンプリングｔ１間の移動方向が異な
る場合には、直前のサンプリング時刻との関係を優先す
る。その後、サンプリング時刻ｔ３においては、サンプ
リング時刻ｔ２との間で目の動きが所定量を越えてお
り、かつ、上方向の動きであるので、ステップＳ２６
で、所定の時間内に保持された時刻情報があるか否かが
判定される。ここで、例えば、該所定の時間を、２つ分
のサンプリング時刻間隔であるとすると、サンプリング
時刻ｔ３とサンプリング時刻ｔ２とは１つ分のサンプリ
ング時刻間隔であるので、うなずき動作があったものと
判定されることになる。つまり、サンプリング時刻ｔ１
とｔ３間においてうなずき動作があったものと判定され
る。
【００４４】また、図８における第２例では、サンプリ
ング時刻ｔ２においては、サンプリング時刻ｔ０との間
で所定値を越える移動があるので、ステップＳ２１から
ステップＳ２２に移行し、さらに、サンプリング時刻ｔ
０とサンプリング時刻ｔ２間では、下方向への移動であ
るので、このサンプリング時刻ｔ２の情報を保持してお
く（Ｓ２４）。その後、サンプリング時刻ｔ４において
は、サンプリング時刻ｔ３との間で目の動きが所定量を
越える動きとなり、かつ、上方向の動きであるので、ス
テップＳ２６で、所定の時間内に保持された時刻情報が
あるか否かが判定される。ここで、例えば、該所定の時
間を、２つ分のサンプリング時刻間隔であるとすると、
サンプリング時刻ｔ４とサンプリング時刻ｔ２間には２
つ分のサンプリング時刻間隔があるので、うなずき動作
があったものと判定されることになる。つまり、この場
合は、サンプリング時刻ｔ０とｔ４間においてうなずき
動作があったものと判定される。
【００４５】以上のような処理を行うことにより、すば
やいうなずき動作、ゆっくりしたうなずき動作に拘わら
ずうなずき動作を検出することが可能となる。
【００４６】なお、目の位置ではなく、口の位置により
うなずき認識を行ってもよく、他の顔における水平方向
のエッジを利用してもよい。
【００４７】また、人がうつむく場合には、目と口の間
の距離が短くなるので、その距離を検出することにより
うなずき動作を認識してもよい。つまり、うなずき動作
があった場合には、目と口の間の距離が最初が長く、次
に、短くなり、次に再度長くなるので、これらの動作を
検出することによりうなずき動作を検出する。例えば、
図９において、右目の中心位置と口の中心位置間の距離
ｒ１と左目の中心位置と口の中心位置間の距離ｒ２との
平均値を算出し、この平均値が最初減少した後増加する
変化を示し、その際の減少分と増加分が所定のしきい値
を越えている場合には、うなずき動作があったものと認
識する。例えば、当初の該平均値がａで、その後該平均
値がｂ（ｂ＜ａ）となり、その後平均値がｃ（ｃ＞ｂ）
となった場合に、ａ−ｂの値とｃ−ｂの値とがともに所
定のしきい値を越えている場合には、うなずき動作とす
る。なお、上記の場合と同様に、上記の変化が所定の時
間内に行われたことを条件としてもよい。なお、目と口
間の距離に関して、上記のような距離ｒ１と距離ｒ２と
の平均値の代わりに、各目の中心位置を結んだ直線に対
する口の位置からの垂線の長さｒ３（図９参照）を用い
てもよい。
【００４８】また、顔の肌色領域における重心位置と目
との間の距離や、該重心位置と口との間の距離を検出す
ることにより、うなずき動作を検出するようにしてもよ
い。つまり、肌色領域の重心位置とは、図１０のハッチ
ングに示す肌色領域Ｈの重心位置Ｇであり、この重心位
置Ｇと目との距離を検出する場合には、例えば、図１１
に示すように、該重心位置Ｇから各目の中心位置間を結
ぶ直線への垂線の長さｒ４を検出し、その変化量を検出
することによりうなずき動作を検出する。また、この重
心位置Ｇと口との距離を検出する場合には、例えば、図
１１に示すように、該重心位置Ｇと口の中心位置間の長
さｒ５を検出し、その変化量を検出することによりうな
ずき動作を検出する。
【００４９】また、２つの目と口とで形成される三角形
の重心位置の移動量や、上記肌色領域の重心位置の移動
量により認識を行ってもよい。
【００５０】また、顔の向きを推定する方法として、肌
色領域の重心位置と髪領域の重心位置の関係から顔の向
きを推定する方法や、顔のワイヤフレームモデルの座標
と動きに対して適切な情報を持つ画像を選び、動きパラ
メータを求めることによって顔面上の局所的な動きや眼
鏡などの影響をあまり受けずに、動き推定を行うことが
できる方法が、論文"A Robust Algorithm for 3D Head
Pose Estimation",14th International Conference on
Pattern Recognition, Vol.1, pp.1356-1359 (1998), "
Recognition of Facial Gestures Using the GRIP Meth
od for Head Motion Estimation and Hidden Markov Mo
dels", IEEE International Conferenceon Image Proce
ssing,vol.4, no.861, 1997.に示されている。これらの
方法を用いて顔の向きを求め、一定時間に顔の向きが上
下に動いていることを検出することで、うなずきを検出
することができる。
【００５１】上記のジェスチャ認識が終了したら、該ジ
ェスチャ中に選択候補を注視していたか否かが判定され
る（Ｓ１４）。例えば、うなずき動作があったと認識さ
れた場合には、そのうなずき動作中にアイコンやボタン
等を注視していたか否かが判定される。この選択候補を
注視していたか否かの判定は、うなづき動作の最初から
最後までの間、上記で検出された視線が選択候補を向い
ているか、すなわち、選択候補の表示領域を通過してい
るか否かにより行う。また、２つの視線が検出されてい
る場合に、２つの視線の双方が選択候補を向いているか
否かにより判定してもよいし、また、２つの視線のうち
少なくともいずれか一方が選択候補を向いているか否か
により判定してもよい。
【００５２】例えば、図５及び図６の例では、時刻ｔ１
〜ｔ３の時間中にアイコン３０ａ、３０ｂ、３０ｃのい
ずれかの領域を注視し続けていたか否かが判定される。
そして、例えば、検出された視線が、時刻ｔ１〜ｔ３の
間、アイコン３０ａの表示領域を通過している場合に
は、ジェスチャ中に選択候補を注視していることにな
る。
【００５３】また、図８の第１例では、サンプリング時
刻ｔ１からｔ３までの間、あるアイコンの表示領域を通
過している場合には、ジェスチャ中に選択候補を注視し
ていることになる。
【００５４】なお、図６の例では、時刻ｔ１〜ｔ３の間
継続して所定の選択候補を注視していた場合に、ジェス
チャ中に選択候補を注視していたものとしてステップＳ
１５に移行するとするのが好ましいが、時刻ｔ１〜ｔ３
の時間の所定の割合の時間だけ注視していれば、ジェス
チャ中に選択候補を注視していたものとしてステップＳ
１５に移行するとするようにしてもよい。このように選
択候補を注視していたか否かを判定することにより、単
に視線が通り過ぎた場合等ユーザの意思とは無関係の視
線の動きを排除でき、よりユーザの意思を反映した処理
が可能となる。
【００５５】以上のようにして、うなずき動作中に視線
が所定のアイコンを注視していた場合には、そのアイコ
ンを選択する意思があるものと判断される。このステッ
プＳ１４の処理は、上記選択意思判断部１６が、視線検
出部１２により検出された視線の情報と、顔の向き検出
部１４により検出されたうなずき動作と、表示管理部１
８からのアイコンの表示範囲についての情報とに基づき
行うことになる。
【００５６】そして、ジェスチャの認識結果に基づいた
処理を行う（Ｓ１５）。つまり、ジェスチャ認識におい
てうなずき動作があったことが認識され、かつ、該うな
ずき動作のジェスチャ中に所定のアイコンを注視してい
た場合には、そのアイコンを操作した場合と同様の処理
を行う。この処理は、上記選択意思実行部１７により行
われる。例えば、うなずき動作があったことが認識さ
れ、そのうなずき動作中に図５のアイコン３０ａを注視
していた場合には、アイコン３０ａを操作した場合と同
様の処理を行う。一方、上記ステップＳ１３において、
うなずき動作が認識されなかった場合には、当然ステッ
プＳ１５では、いずれのアイコンも操作されなかったの
と同様の処理を行うことになる。
【００５７】なお、上記の動作は、図３に示すフローチ
ャートに従い説明したが、以下のようにしてもよい。す
なわち、ステップＳ１２において、視線検出を開始した
ら、次のステップでうなずき動作があったか否かを検出
し、うなずき動作がない場合には、もとのステップＳ１
０に戻り、うなずき動作があった場合には、うなずき動
作中に選択候補を注視していたか否かを判定し、注視し
ていた場合には、その注視していた選択候補を選択する
操作を行ったものとして処理を行う。
【００５８】以上のように、本実施例のジェスチャ認識
機能を有する指示認識装置によれば、うなずき動作を検
出するとともに視線検出も行うので、ユーザの意思を的
確に検出することが可能となる。つまり、うなずき動作
は自然な動作であるので、ユーザが本当にうなづいたか
否かを判断するのは困難であるが、その動作中の視線も
検出するので、そのうなずき動作は視線が向いている選
択候補に対するものであることが分かるので、ユーザの
意思を反映したうなずき動作をより正確に検出すること
ができる。
【００５９】また、うなずき動作を検出するとともに、
動作中の視線を検出することにより複数の選択候補の中
からどの選択候補を選択したのかを検出することができ
るので、きめの細かい対話処理を行うことができる。
【００６０】以上のように、本実施例のジェスチャ認識
機能を有する指示認識装置Ａは、ジェスチャ認識装置と
しての機能を有するとともに、視線検出の機能をも有
し、全体として、ユーザの指示を認識する指示認識装置
として機能することになる。
【００６１】なお、上記の説明では、表示部２０に複数
の選択候補を表示するものとして説明したが、これには
限られず、１つの選択候補を表示する場合でもよい。そ
の場合には、その選択候補を注視しながらうなずき動作
をした場合には、その選択候補が選択されたものとして
処理が行われることになる。また、上記の説明では、ジ
ェスチャ認識機能を有する指示認識装置がコンピュータ
端末に搭載される場合を説明したが、これには限られ
ず、例えば、テレビに搭載することも考えられる。
【００６２】
【発明の効果】本発明に基づくジェスチャ認識装置及び
ジェスチャ認識機能を有する指示認識装置によれば、う
なずき動作を認識するとともに視線も検出するので、そ
のうなずき動作が視線が向いている選択候補に対するも
のであることが分かるので、ユーザの意思を的確に反映
した処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施例に基づくジェスチャ認識機能を
有する指示認識装置の構成を示すブロック図である。
【図２】本発明の実施例に基づくジェスチャ認識機能を
有する指示認識装置の構成を示すブロック図である。
【図３】本発明の実施例に基づくジェスチャ認識機能を
有する指示認識装置の使用状態を示す説明図である。
【図４】本発明の実施例に基づくジェスチャ認識機能を
有する指示認識装置の動作を説明するフローチャートで
ある。
【図５】本発明の実施例に基づくジェスチャ認識機能を
有する指示認識装置の使用状態を示す説明図である。
【図６】本発明の実施例に基づくジェスチャ認識機能を
有する指示認識装置の動作を説明する説明図である。
【図７】うなずき動作の検出処理を示すフローチャート
である。
【図８】うなずき動作の検出処理を説明する説明図であ
る。
【図９】うなずき動作の検出処理における測定部位を説
明する説明図である。
【図１０】うなずき動作の検出処理における測定部位を
説明する説明図である。
【図１１】うなずき動作の検出処理における測定部位を
説明する説明図である。
【符号の説明】
Ａ ジェスチャ認識装置 １０ カメラ １２ 視線検出部 １４ 顔の向き検出部 １６ 選択意思判断部 １８ 表示管理部 ２０ 表示部

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】 ユーザのジェスチャを認識するジェスチ
    ャ認識装置であって、 ユーザのジェスチャを認識するジェスチャ認識手段と、 ユーザの視線を検出する視線検出手段と、 表示部に選択候補が表示されたユーザの指示待ちの際
    に、上記視線検出手段により検出された視線が該選択候
    補に向いている状態で、上記ジェスチャ認識手段により
    所定のジェスチャが認識された場合には、上記ジェスチ
    ャ認識手段の認識結果に基づき所定の処理を行う制御手
    段と、を有することを特徴とするジェスチャ認識装置。
  2. 【請求項２】 ユーザのジェスチャを認識するジェスチ
    ャ認識装置であって、 ユーザの頭部を撮影した画像に基づきユーザのうなずき
    動作を検出するうなずき動作認識手段と、 ユーザの視線を検出する視線検出手段と、 表示部に１又は複数の選択候補が表示されたユーザの指
    示待ち状態において、上記うなずき動作認識手段により
    うなずき動作が検出され、かつ、該うなずき動作中に上
    記視線検出手段により検出された視線がいずれかの選択
    候補に視線が向いている場合には、視線が向いている選
    択候補が選択されたものとして所定の処理を行う制御手
    段と、を有することを特徴とするジェスチャ認識装置。
  3. 【請求項３】 検出された視線が所定時間滞留している
    注視状態である場合に、検出された視線がいずれかの選
    択候補に視線が向いているとして処理を行うことを特徴
    とする請求項２に記載のジェスチャ認識装置。
  4. 【請求項４】 上記注視状態とは、うなずき動作の開始
    から終了に至るまでの間に所定の選択候補に視線が向い
    ていることを特徴とする請求項３に記載のジェスチャ認
    識装置。
  5. 【請求項５】 上記うなずき動作認識手段が、頭部の上
    下の振幅量に従いうなずきを検出することを特徴とする
    請求項２又は３又は４に記載のジェスチャ認識装置。
  6. 【請求項６】 ユーザのジェスチャを認識するジェスチ
    ャ認識機能を有する指示認識装置であって、 ユーザの頭部を撮影した画像に基づきユーザのうなずき
    動作を検出するうなずき動作認識手段と、 ユーザの視線を検出する視線検出手段と、 画像情報を表示する表示手段と、 該表示手段に１又は複数の選択候補が表示されたユーザ
    の指示待ち状態において、上記うなずき動作認識手段に
    よりうなずき動作が検出され、かつ、該うなずき動作中
    に上記視線検出手段により検出された視線がいずれかの
    選択候補に向いているか否かを判断する判断手段と、を
    有することを特徴とするジェスチャ認識機能を有する指
    示認識装置。
  7. 【請求項７】 上記ジェスチャ認識機能を有する指示認
    識装置が、さらに、上記判断手段が、該表示手段に１又
    は複数の選択候補が表示されたユーザの指示待ち状態に
    おいて、上記うなずき動作認識手段によりうなずき動作
    が検出され、かつ、該うなずき動作中に上記視線検出手
    段により検出された視線がいずれかの選択候補に向いて
    いると判断した場合に、ユーザにより視線が向いている
    選択候補が選択されたものとして所定の処理を行う実行
    手段と、を有することを特徴とする請求項６に記載のジ
    ェスチャ認識機能を有する指示認識装置。
  8. 【請求項８】 上記視線検出手段により検出された視線
    が所定時間滞留している注視状態であることを条件に、
    検出された視線が選択候補に向いていると判定すること
    を特徴とする請求項６又は７に記載のジェスチャ認識機
    能を有する指示認識装置。
  9. 【請求項９】 上記注視状態とは、うなずき動作の開始
    から終了に至るまでの間に所定の選択候補に視線が向い
    ている状態であることを特徴とする請求項８に記載のジ
    ェスチャ認識機能を有する指示認識装置。
  10. 【請求項１０】 上記うなずき動作認識手段は、ユーザ
    の頭部の上下の振幅量に従いうなずき動作を検出するこ
    とを特徴とする請求項６又は７又は８又は９に記載のジ
    ェスチャ認識機能を有する指示認識装置。
  11. 【請求項１１】 上記うなずき動作認識手段は、ユーザ
    の頭部におけるいずれかの部位が、所定時間内に上下動
    を行い、該上下動における移動量がともに所定値を越え
    る場合に、うなずき動作と認識することを特徴とする請
    求項６又は７又は８又は９又は１０に記載のジェスチャ
    認識機能を有する指示認識装置。
  12. 【請求項１２】 上記指示認識装置は、さらに、ユーザ
    の頭部を撮影する撮影手段を有し、上記うなずき動作認
    識手段は、該撮影手段により撮影された画像情報により
    うなずき動作の検出を行い、また、上記視線検出手段
    は、該撮影手段により撮影された画像情報により視線検
    出を行うことを特徴とする請求項６又は７又は８又は９
    又は１０又は１１に記載のジェスチャ認識機能を有する
    指示認識装置。
  13. 【請求項１３】 上記うなずき動作認識手段は、上記撮
    影装置により得られた画像情報におけるユーザの目及び
    ／又は口の位置の情報を少なくとも用いてうなずき動作
    を検出することを特徴とする請求項１２に記載のジェス
    チャ認識機能を有する指示認識装置。
JP26687399A 1998-09-25 1999-09-21 ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 Pending JP2000163196A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP26687399A JP2000163196A (ja) 1998-09-25 1999-09-21 ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
US09/404,877 US6677969B1 (en) 1998-09-25 1999-09-24 Instruction recognition system having gesture recognition function

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP28881298 1998-09-25
JP10-288812 1998-09-25
JP26687399A JP2000163196A (ja) 1998-09-25 1999-09-21 ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置

Publications (1)

Publication Number Publication Date
JP2000163196A true JP2000163196A (ja) 2000-06-16

Family

ID=26547625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26687399A Pending JP2000163196A (ja) 1998-09-25 1999-09-21 ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置

Country Status (2)

Country Link
US (1) US6677969B1 (ja)
JP (1) JP2000163196A (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004361989A (ja) * 2003-05-30 2004-12-24 Seiko Epson Corp 画像選択システム及び画像選択プログラム、並びに画像選択方法
JP2005352531A (ja) * 2004-06-08 2005-12-22 Toshiba Corp ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
EP1770596A1 (en) 2005-09-28 2007-04-04 Omron Corporation Apparatus, method, recording media, and program for recognition of head nodding.
JP2007213469A (ja) * 2006-02-13 2007-08-23 Saitama Univ 視線制御表示装置と表示方法
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2009525529A (ja) * 2006-02-01 2009-07-09 トビー テクノロジー アーベー コンピュータシステムにおけるグラフィカルフィードバックの生成
JP2010076602A (ja) * 2008-09-26 2010-04-08 Denso It Laboratory Inc 車載機器制御装置および車載機器制御方法
JP2012022632A (ja) * 2010-07-16 2012-02-02 Canon Inc 情報処理装置およびその制御方法
EP2741232A2 (en) 2012-12-04 2014-06-11 Alpine Electronics, Inc. Gesture recognition apparatus, gesture recognition method, and recording medium
WO2014188565A1 (ja) 2013-05-23 2014-11-27 パイオニア株式会社 表示制御装置
KR20150048623A (ko) * 2013-10-28 2015-05-07 오므론 가부시키가이샤 화면 조작장치 및 화면 조작방법
EP2908220A1 (en) 2014-02-14 2015-08-19 Omron Corporation Gesture recognition device and method of controlling gesture recognition device
CN105487652A (zh) * 2014-10-01 2016-04-13 三星电子株式会社 显示装置及其控制方法
KR20160127264A (ko) * 2015-04-24 2016-11-03 가천대학교 산학협력단 시선 검출 시스템 및 그 방법
US9638713B2 (en) 2012-08-06 2017-05-02 Fuji Xerox Co., Ltd. Non-transitory computer readable medium, action detection apparatus, and action detection method
US9684372B2 (en) 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
US9753535B2 (en) 2013-05-09 2017-09-05 Denso Corporation Visual line input apparatus
US9766715B2 (en) 2014-05-01 2017-09-19 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
JP2019095911A (ja) * 2017-11-20 2019-06-20 トヨタ自動車株式会社 操作装置
US10585476B2 (en) 2015-09-04 2020-03-10 Fujifilm Corporation Apparatus operation device, apparatus operation method, and electronic apparatus system
WO2020171098A1 (ja) * 2019-02-19 2020-08-27 株式会社Ｎｔｔドコモ 視線とジェスチャを用いた情報表示装置
US20240019928A1 (en) * 2021-04-01 2024-01-18 Apple Inc. Gaze and Head Pose Interaction

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
SG91841A1 (en) * 1999-11-03 2002-10-15 Kent Ridge Digital Labs Face direction estimation using a single gray-level image
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
DE50012364D1 (de) * 2000-05-16 2006-05-04 Swisscom Mobile Ag Verfahren und terminal zur eingabe von instruktionen
US20020178440A1 (en) * 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US20030095154A1 (en) * 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and apparatus for a gesture-based user interface
JP3837505B2 (ja) * 2002-05-20 2006-10-25 独立行政法人産業技術総合研究所 ジェスチャ認識による制御装置のジェスチャの登録方法
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
AU2003301043A1 (en) 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
JP4035610B2 (ja) * 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 インタフェース装置
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4794453B2 (ja) * 2003-10-24 2011-10-19 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) * 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US20060053097A1 (en) * 2004-04-01 2006-03-09 King Martin T Searching and accessing documents on private networks for use with captures from rendered documents
US7812860B2 (en) * 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20060041605A1 (en) * 2004-04-01 2006-02-23 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US20080313172A1 (en) * 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9008447B2 (en) * 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20070300142A1 (en) * 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20060081714A1 (en) * 2004-08-23 2006-04-20 King Martin T Portable scanning device
US8081849B2 (en) * 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US8713418B2 (en) * 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8874504B2 (en) * 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8489624B2 (en) * 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US20070099699A1 (en) * 2005-10-28 2007-05-03 Anatoly Plotkin Novel enhanced image entertainment and laser engraving site and method of engraving an image
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US7515734B2 (en) * 2006-03-27 2009-04-07 Eyecue Vision Technologies Ltd. Device, system and method for determining compliance with a positioning instruction by a figure in an image
US8611587B2 (en) 2006-03-27 2013-12-17 Eyecue Vision Technologies Ltd. Device, system and method for determining compliance with an instruction by a figure in an image
JP4607132B2 (ja) * 2006-03-28 2011-01-05 富士フイルム株式会社 トレーニング支援装置、トレーニング支援方法、およびトレーニング支援プログラム
WO2008091399A2 (en) * 2006-09-01 2008-07-31 Board Of Regents Of The University Of Texas Device and method for measuring information processing speed of the brain
EP2067119A2 (en) 2006-09-08 2009-06-10 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
KR101443404B1 (ko) * 2006-09-15 2014-10-02 구글 인코포레이티드 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
US9596401B2 (en) * 2006-10-02 2017-03-14 Sony Corporation Focusing an image based on a direction of a face of a user
JP4853320B2 (ja) * 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
JP2008225550A (ja) * 2007-03-08 2008-09-25 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP4424364B2 (ja) * 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
JP4396720B2 (ja) * 2007-03-26 2010-01-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US8203530B2 (en) * 2007-04-24 2012-06-19 Kuo-Ching Chiang Method of controlling virtual object by user's figure or finger motion for electronic device
JP2009003334A (ja) * 2007-06-25 2009-01-08 Sony Corp 画像撮像装置、撮像制御方法
US8878796B2 (en) * 2007-08-01 2014-11-04 Kuo-Ching Chiang Finger motion virtual object indicator with dual image sensor for electronic device
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US20110145068A1 (en) * 2007-09-17 2011-06-16 King Martin T Associating rendered advertisements with digital content
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8595218B2 (en) * 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US9652030B2 (en) 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
WO2010096193A2 (en) * 2009-02-18 2010-08-26 Exbiblio B.V. Identifying a document by performing spectral analysis on the contents of the document
WO2010105245A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Automatically providing content associated with captured information, such as information captured in real-time
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US20100295782A1 (en) * 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US9383823B2 (en) * 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US9081799B2 (en) * 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) * 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US20110211739A1 (en) * 2009-12-23 2011-09-01 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US9875719B2 (en) 2009-12-23 2018-01-23 Gearbox, Llc Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
CN102270035A (zh) * 2010-06-04 2011-12-07 三星电子株式会社 以非触摸方式来选择和操作对象的设备和方法
US8639042B2 (en) 2010-06-22 2014-01-28 Microsoft Corporation Hierarchical filtered motion field for action recognition
US8836638B2 (en) 2010-09-25 2014-09-16 Hewlett-Packard Development Company, L.P. Silent speech based command to a computing device
US9013264B2 (en) 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
EP2503479B1 (en) * 2011-03-21 2015-08-05 BlackBerry Limited Login method based on direction of gaze
US8625847B2 (en) 2011-03-21 2014-01-07 Blackberry Limited Login method based on direction of gaze
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
JP5840399B2 (ja) * 2011-06-24 2016-01-06 株式会社東芝 情報処理装置
US8699090B1 (en) * 2012-01-09 2014-04-15 Intuit Inc. Automated image capture based on spatial-stability information
JP5994328B2 (ja) * 2012-03-29 2016-09-21 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US9148537B1 (en) * 2012-05-18 2015-09-29 hopTo Inc. Facial cues as commands
US9395826B1 (en) 2012-05-25 2016-07-19 hopTo Inc. System for and method of translating motion-based user input between a client device and an application host computer
US9064184B2 (en) 2012-06-18 2015-06-23 Ebay Inc. Normalized images for item listings
DE102012215407A1 (de) * 2012-08-30 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Bereitstellen einer Eingabe für ein Bedienelement
US9554049B2 (en) * 2012-12-04 2017-01-24 Ebay Inc. Guided video capture for item listings
CN103064519A (zh) * 2012-12-26 2013-04-24 珠海市魅族科技有限公司 一种信息内容的显示控制方法及终端
DE102014208463B4 (de) 2014-05-06 2017-07-06 Siemens Healthcare Gmbh Patientenliege mit einem Steuerungssystem und Verfahren zum Steuern einer Patientenliege
US11023038B2 (en) * 2015-03-05 2021-06-01 Sony Corporation Line of sight detection adjustment unit and control method
JP6589796B2 (ja) * 2016-09-27 2019-10-16 株式会社デンソー ジェスチャ検出装置
JP6747311B2 (ja) * 2017-01-20 2020-08-26 富士通株式会社 画像処理プログラム、画像処理方法及び画像処理装置
CN107491755B (zh) * 2017-08-16 2021-04-27 京东方科技集团股份有限公司 用于手势识别的方法及装置
US10898399B2 (en) * 2017-12-20 2021-01-26 Stryker Corporation User controls for patient support apparatus having low height
US10839492B2 (en) 2018-05-23 2020-11-17 International Business Machines Corporation Selectively redacting unrelated objects from images of a group captured within a coverage area
KR20220144889A (ko) * 2020-03-20 2022-10-27 후아웨이 테크놀러지 컴퍼니 리미티드 디바이스의 손 제스처 기반 제어를 위한 방법 및 시스템
JP7447302B2 (ja) 2020-03-23 2024-03-11 華為技術有限公司 デバイスのハンドジェスチャベースの制御のための方法及びシステム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03256112A (ja) * 1990-03-07 1991-11-14 Toshiba Corp 制御処理装置
JPH05232908A (ja) * 1992-02-19 1993-09-10 Toshiba Corp 指示入力装置
JPH08314621A (ja) * 1995-05-15 1996-11-29 Canon Inc 画像生成方法及び装置
JPH0944297A (ja) * 1995-07-25 1997-02-14 Canon Inc データ入力方法及びその装置
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH10105310A (ja) * 1996-09-27 1998-04-24 Nissan Motor Co Ltd 身振り入力装置及びそれを含む入力装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335657A (en) * 1991-05-03 1994-08-09 Cyberonics, Inc. Therapeutic treatment of sleep disorder by nerve stimulation
US6097392A (en) * 1992-09-10 2000-08-01 Microsoft Corporation Method and system of altering an attribute of a graphic object in a pen environment
JP3267047B2 (ja) * 1994-04-25 2002-03-18 株式会社日立製作所 音声による情報処理装置
KR19990008158A (ko) * 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
JPH09218770A (ja) 1996-02-14 1997-08-19 Toshiba Corp 対話処理装置および対話処理方法
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6204852B1 (en) * 1998-12-09 2001-03-20 Lucent Technologies Inc. Video hand image three-dimensional computer interface

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03256112A (ja) * 1990-03-07 1991-11-14 Toshiba Corp 制御処理装置
JPH05232908A (ja) * 1992-02-19 1993-09-10 Toshiba Corp 指示入力装置
JPH08314621A (ja) * 1995-05-15 1996-11-29 Canon Inc 画像生成方法及び装置
JPH0944297A (ja) * 1995-07-25 1997-02-14 Canon Inc データ入力方法及びその装置
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH10105310A (ja) * 1996-09-27 1998-04-24 Nissan Motor Co Ltd 身振り入力装置及びそれを含む入力装置

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004361989A (ja) * 2003-05-30 2004-12-24 Seiko Epson Corp 画像選択システム及び画像選択プログラム、並びに画像選択方法
JP2005352531A (ja) * 2004-06-08 2005-12-22 Toshiba Corp ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
US7650017B2 (en) 2004-06-08 2010-01-19 Kabushiki Kaisha Toshiba Gesture detecting method, gesture detecting apparatus, and recording medium
EP1770596A1 (en) 2005-09-28 2007-04-04 Omron Corporation Apparatus, method, recording media, and program for recognition of head nodding.
JP2007094619A (ja) * 2005-09-28 2007-04-12 Omron Corp 認識装置および方法、記録媒体、並びに、プログラム。
US7853051B2 (en) 2005-09-28 2010-12-14 Omron Corporation Recognizing apparatus and method, recording media, and program
JP2009525529A (ja) * 2006-02-01 2009-07-09 トビー テクノロジー アーベー コンピュータシステムにおけるグラフィカルフィードバックの生成
JP2007213469A (ja) * 2006-02-13 2007-08-23 Saitama Univ 視線制御表示装置と表示方法
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2010076602A (ja) * 2008-09-26 2010-04-08 Denso It Laboratory Inc 車載機器制御装置および車載機器制御方法
JP2012022632A (ja) * 2010-07-16 2012-02-02 Canon Inc 情報処理装置およびその制御方法
US9638713B2 (en) 2012-08-06 2017-05-02 Fuji Xerox Co., Ltd. Non-transitory computer readable medium, action detection apparatus, and action detection method
US9684372B2 (en) 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
EP2741232A2 (en) 2012-12-04 2014-06-11 Alpine Electronics, Inc. Gesture recognition apparatus, gesture recognition method, and recording medium
US9256779B2 (en) 2012-12-04 2016-02-09 Alpine Electronics, Inc. Gesture recognition apparatus, gesture recognition method, and recording medium
US9753535B2 (en) 2013-05-09 2017-09-05 Denso Corporation Visual line input apparatus
WO2014188565A1 (ja) 2013-05-23 2014-11-27 パイオニア株式会社 表示制御装置
KR20150048623A (ko) * 2013-10-28 2015-05-07 오므론 가부시키가이샤 화면 조작장치 및 화면 조작방법
KR101663452B1 (ko) * 2013-10-28 2016-10-07 오므론 가부시키가이샤 화면 조작장치 및 화면 조작방법
EP2908220A1 (en) 2014-02-14 2015-08-19 Omron Corporation Gesture recognition device and method of controlling gesture recognition device
US9965048B2 (en) 2014-05-01 2018-05-08 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
US9766715B2 (en) 2014-05-01 2017-09-19 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
CN105487652A (zh) * 2014-10-01 2016-04-13 三星电子株式会社 显示装置及其控制方法
KR101717222B1 (ko) * 2015-04-24 2017-03-17 가천대학교 산학협력단 시선 검출 시스템 및 그 방법
KR20160127264A (ko) * 2015-04-24 2016-11-03 가천대학교 산학협력단 시선 검출 시스템 및 그 방법
US10585476B2 (en) 2015-09-04 2020-03-10 Fujifilm Corporation Apparatus operation device, apparatus operation method, and electronic apparatus system
JP2019095911A (ja) * 2017-11-20 2019-06-20 トヨタ自動車株式会社 操作装置
US10890980B2 (en) 2017-11-20 2021-01-12 Toyota Jidosha Kabushiki Kaisha Operating apparatus for estimating an operation intention intended by a face direction
WO2020171098A1 (ja) * 2019-02-19 2020-08-27 株式会社Ｎｔｔドコモ 視線とジェスチャを用いた情報表示装置
JPWO2020171098A1 (ja) * 2019-02-19 2021-11-25 株式会社Ｎｔｔドコモ 視線とジェスチャを用いた情報表示装置
JP7117451B2 (ja) 2019-02-19 2022-08-12 株式会社Ｎｔｔドコモ 視線とジェスチャを用いた情報表示装置
US20240019928A1 (en) * 2021-04-01 2024-01-18 Apple Inc. Gaze and Head Pose Interaction

Also Published As

Publication number Publication date
US6677969B1 (en) 2004-01-13

Similar Documents

Publication Publication Date Title
JP2000163196A (ja) ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
JP4411387B2 (ja) 動体検出装置、動体検出方法、ポインティングデバイス、コンピュータプログラム及び記憶媒体
CN103576857B (zh) 凝视跟踪系统的快速唤醒
KR101761050B1 (ko) 인간-컴퓨터 자연스러운 3차원 손 제스처 기반 내비게이션 방법
US20200334477A1 (en) State estimation apparatus, state estimation method, and state estimation program
US9268412B2 (en) Input apparatus having an input recognition unit and input recognition method by using the same
US20150116206A1 (en) Screen operation apparatus and screen operation method
EP2273345A2 (en) Movement controlled computer
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
US20180052521A1 (en) Gesture recognition device, gesture recognition method, and information processing device
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
TW200941313A (en) Apparatus and methods for a touch user interface using an image sensor
JPH1185452A (ja) スクロール制御装置
KR20130079229A (ko) 머리 동작 검출 장치
JPWO2017029749A1 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
US11093030B2 (en) Operation determination device and operation determination method
KR101396488B1 (ko) 신호 입력 장치 및 신호 입력 방법
JP5360406B2 (ja) 画像表示装置
JP2017191426A (ja) 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
JP5482412B2 (ja) ロボット、位置推定方法及びプログラム
JP4563723B2 (ja) 指示動作認識装置及び指示動作認識プログラム
Park et al. Facial and eye gaze detection
JPH05232908A (ja) 指示入力装置
JP7443044B2 (ja) 生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080318