[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPH04271423A - Information input method - Google Patents

Information input method

Info

Publication number
JPH04271423A
JPH04271423A JP3053565A JP5356591A JPH04271423A JP H04271423 A JPH04271423 A JP H04271423A JP 3053565 A JP3053565 A JP 3053565A JP 5356591 A JP5356591 A JP 5356591A JP H04271423 A JPH04271423 A JP H04271423A
Authority
JP
Japan
Prior art keywords
pointing
target object
motion
reference point
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3053565A
Other languages
Japanese (ja)
Other versions
JP3114813B2 (en
Inventor
Masaaki Fukumoto
福本雅朗
Kenji Mase
間瀬健二
Yasuhito Suenaga
末永康仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP03053565A priority Critical patent/JP3114813B2/en
Publication of JPH04271423A publication Critical patent/JPH04271423A/en
Application granted granted Critical
Publication of JP3114813B2 publication Critical patent/JP3114813B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE:To perform the indication of a pointed target object in a three- dimensional space and the instruction operation to this object without using a special device. CONSTITUTION:Plural image pickup signals of an indicating operation material like a hand or a pointer are processed to obtain coordinates, and the position of the indicating operation material nearest to a pointed target object is defined as the front end point, and a reference point 8 is determined by the indicating operation to the known pointed target object. A cursor 5.1 is displayed on the pointed target object 5 pointed at present, and the indicating operation is performed by the indicating operation material and another certain operation is added to give an instruction to the pointed target object.

Description

【発明の詳細な説明】[Detailed description of the invention]

【0001】0001

【産業上の利用分野】本発明は、情報処理装置への情報
入力方法、特に人間の手足や指示器の如き指示動作物体
の動きを直接映像としてとらえ、画像処理によって該指
示動作物体の動きによって表現される人間の意図をコン
ピュータに伝えるための安価にして簡便な情報入力方法
に関するものである。
[Industrial Field of Application] The present invention relates to a method of inputting information to an information processing device, in particular, by directly capturing the movement of a pointing object such as a human limb or a pointing device as an image, and using image processing to determine the movement of the pointing object. The present invention relates to an inexpensive and simple information input method for conveying expressed human intentions to a computer.

【0002】0002

【従来の技術】従来、計算機の入力装置としては、キー
ボードやマウスなどが一般的に用いられている。しかし
ながら、これらの装置を使用する場合、ある程度の熟練
が要求され、万人が即座に使用できるようなものではな
い。現在、「コンピュータはむずかしい」という人が多
いのは、このような熟練を必要とするインタフェースに
もその一因があると考えられる。本来ならば、人間同士
が会話をするのと同じような自然な方法を用いて、コン
ピュータとの会話が行なわれることが望まれる。この点
、「身振り手振り」を用いたインタフェースは、誰にで
も熟練を要することなく簡便に使用でき、「誰にでも使
えるコンピュータ」の実現に大きく寄与すると考えられ
る。
2. Description of the Related Art Hitherto, keyboards, mice, and the like have been commonly used as input devices for computers. However, when using these devices, a certain degree of skill is required, and not everyone can use them immediately. The reason why many people today think that computers are difficult is thought to be partly due to the interfaces that require such skill. Originally, it would be desirable to have a conversation with a computer using a natural method similar to that used by humans to converse with each other. In this respect, an interface using ``gestures'' can be easily used by anyone without requiring any skill, and is thought to greatly contribute to the realization of ``computers that anyone can use.''

【0003】特願昭60−36580(特開昭61−1
96317間瀬、末永:「情報入力方式」は上記問題を
一部解決し、テレビカメラから入力された映像から指先
もしくは指示器の位置を検出し、指示器の位置と異なる
位置にある基準点と結ぶ直線上の特定点の座標位置を決
定するものである。
[0003] Japanese Patent Application No. 60-36580 (Japanese Unexamined Patent Publication No. 61-1
96317 Mase, Suenaga: "Information input method" partially solves the above problem, detects the position of the fingertip or indicator from the image input from the TV camera, and connects it to a reference point at a different position from the indicator. This is to determine the coordinate position of a specific point on a straight line.

【0004】0004

【発明が解決しようとする課題】前述の特許出願発明に
おいては次のような問題がある。 (1)指先もしくは指示器の位置(以下先端点という)
の決定の方法が明確に述べられていない。また、指示目
標物体を決定するためには、先端点並びに基準点を定め
る必要があるが、基準点を「空間内の適当な固定点を定
めておく」としているだけで、基準点の求め方について
は言及していない。また、「顔の中心位置」を基準点と
して定めると良いとしているが、人間が「顔の中心」と
「指先」を用いて指示動作を行なう場合は、「ねらいを
つけて凝視する」ことにあたり、この動作を続けている
と疲労が激しい。 (2)複数個の指示目標物体から特定のものを選択する
場合、現在指示している物体が表示されていないので、
正確な目標物体の決定が困難である。 (3)「本来人間の手の動きは種々の意味に使用される
ものであり、本発明方式で入力された3次元点列に対す
る種々の識別法を開発することにより…」とあるが、識
別法に対しては言及されていない。また、指示目標物体
を固定したままで命令を与えるには、単一の3次元点列
の解析のみでは移動と命令の区別がつきにくい。さらに
、指示によって指示目標物体を決定できたとしても、こ
れに対して命令を与えるには、何らかの動作が必要とさ
れる。
[Problems to be Solved by the Invention] The above-mentioned patent application invention has the following problems. (1) Position of fingertip or indicator (hereinafter referred to as tip point)
The method of determination is not clearly stated. In addition, in order to determine the designated target object, it is necessary to determine the tip point and the reference point, but the reference point is simply determined by "determining an appropriate fixed point in space", and the method for determining the reference point is There is no mention of. Additionally, it is said that it is good to set the ``center position of the face'' as a reference point, but when a human uses the ``center of the face'' and ``fingertips'' to make a command, it is considered to be ``staring with an aim.'' If you keep doing this motion, you will become extremely fatigued. (2) When selecting a specific target object from multiple pointing objects, the object currently being pointed to is not displayed.
It is difficult to determine the exact target object. (3) "Human hand movements are originally used for various meanings, and by developing various identification methods for the three-dimensional point sequence input using the method of the present invention..." There is no mention of the law. Furthermore, in order to give commands while keeping the designated target object fixed, it is difficult to distinguish between movement and commands by analyzing only a single three-dimensional point sequence. Furthermore, even if the designated target object can be determined by instructions, some kind of action is required to give a command to it.

【0005】本発明の目的は、手もしくは指示器などの
指示動作物体の複数の撮像信号を処理して得られる指示
動作物体の座標を入力するとともに、同座標および基準
点の座標から決定される直線上にある指示目標物体を決
定し入力する情報入力方法に関し、指示動作物体の座標
としての先端点および基準点の新しい決定方法、現に指
示されている指示目標物体にカーソルを表示して次の指
定動作を補助する方法、さらに、指示動作物体の特定の
動作により指示目標物体に命令を行う方法を提供するこ
とである。
An object of the present invention is to input the coordinates of a pointing object such as a hand or a pointing device, which are obtained by processing a plurality of imaging signals of the pointing object, and to determine the coordinates of a pointing object such as a hand or a pointing device from the coordinates of the pointing object and the coordinates of a reference point. Regarding the information input method for determining and inputting a pointing target object on a straight line, there is a new method for determining the tip point and reference point as the coordinates of the pointing object, and a new method for displaying the cursor on the currently pointed pointing target object and moving to the next one. It is an object of the present invention to provide a method for assisting a designated motion, and a method for commanding a designated target object by a specific motion of the designated motion object.

【0006】[0006]

【課題を解決するための手段】本発明の情報入力方法は
、人間の手もしくは指示器などの指示目標物体を指示す
る指示動作物体に対して異なる視野を持つように配置さ
れた複数の撮像装置から得られる複数の撮像信号を処理
して該指示動作物体の3次元座標を得て入力するととも
に、前記指示動作物体および基準点を結ぶ直線上に存在
する指示目標物体を決定し、これを入力する情報入力方
法において、 (1)前記指示動作物体の座標を該物体における前記指
示目標物体に最も近接する位置の3次元座標を求めて得
た先端点の座標とし、情報入力を行うにあたって複数の
既知の指示目標物体に対し順次指示動作を行い、指示方
向を表わす直線が1点に交差する定点を求めて基準点と
し、該基準点および前記先端点から指示目標物体を決定
し入力する。 (2)現に指示動作が行われている指示目標物体に対し
てカーソルを表示する。 (3)前記指示動作物体の特定の動作を識別し、前記指
示目標物体に対する命令情報を入力する。
[Means for Solving the Problems] The information input method of the present invention provides a plurality of imaging devices arranged to have different fields of view with respect to a pointing motion object that points to a pointing target object such as a human hand or a pointing device. Processing a plurality of imaging signals obtained from a plurality of imaging signals to obtain and input the three-dimensional coordinates of the pointing object, and determining and inputting a pointing target object existing on a straight line connecting the pointing object and the reference point. In an information input method, (1) the coordinates of the pointing object are the coordinates of a tip point obtained by finding the three-dimensional coordinates of the position closest to the pointing target object in the object, and a plurality of A pointing operation is sequentially performed on a known pointing target object, a fixed point where a straight line representing the pointing direction intersects is found and used as a reference point, and a pointing target object is determined and input from the reference point and the tip point. (2) Display a cursor on the pointing target object on which the pointing operation is currently being performed. (3) Identifying a specific motion of the indicated motion object and inputting command information for the indicated target object.

【0007】[0007]

【作用】(1)指示目標物体に最も近い位置にある指示
動作物体の部分の座標を指示動作物体の座標位置(先端
点)として定め、既知の複数の指示目標物体に対する指
示動作によって求められた3次元空間内の特定の1点(
基準点)と前記先端点から決定される直線上に指示目標
物体の決定を行ない、 (2)指示動作物体によって決定された前記指示目標物
体に対して、カーソルを表示し、指示動作物体に対して
指示目標物体を知らしめることにより、次に行う指示目
標物体の決定の補助を行ない、 (3)前記指示動作物体の特定の動作を識別し、該動作
を命令情報として利用することにより、指示目標物体に
対して命令動作を与えることを可能としている。
[Effect] (1) The coordinates of the part of the pointing object that is closest to the pointing object are determined as the coordinate position (tip point) of the pointing object, and the coordinates are determined by the pointing motion for multiple known pointing objects. One specific point in three-dimensional space (
(2) display a cursor on the indicated target object determined by the indicated motion object; (3) identify a specific motion of the motion object and use the motion as command information; This makes it possible to give commands to target objects.

【0008】[0008]

【実施例】次に本発明の実施例について図面を参照して
説明する。
Embodiments Next, embodiments of the present invention will be described with reference to the drawings.

【0009】図1は本発明の情報入力方法の一実施例の
説明図、図2は図1においてyz平面からX軸方向に向
って見た、先端点の決定方法を示す説明図、図3は先端
点の探索アルゴリズムの一例を示す説明図、図4は基準
点の決定方法の一例を示す図、図5は基準点の補正アル
ゴリズムの一例を示す説明図、図6は親指の開閉動作の
識別アルゴリズムの一例を示す説明図、図7は親指の開
閉状態を示す図である。
FIG. 1 is an explanatory diagram of an embodiment of the information input method of the present invention, FIG. 2 is an explanatory diagram showing a method for determining the tip point as viewed from the yz plane in the X-axis direction in FIG. 1, and FIG. is an explanatory diagram showing an example of a tip point search algorithm, FIG. 4 is an explanatory diagram showing an example of a reference point determination method, FIG. 5 is an explanatory diagram showing an example of a reference point correction algorithm, and FIG. 6 is an explanatory diagram showing an example of a reference point correction algorithm. An explanatory diagram showing an example of the identification algorithm, FIG. 7 is a diagram showing the open and closed states of the thumb.

【0010】図1には本発明の情報入力方法の一実施例
が適用される情報入力システムが示されており、指示動
作物体の一部としての人間の手6、指示目標物体として
のスクリーン4に投影された仮想物体5、指示動作物体
の平面画像および立面画像を取込むテレビカメラ(#1
,#2)1および2、情報入力装置3および情報処理装
置0を含んでいる。図中5.1は現在の指示目標物体を
表示するカーソルであり、また、基準点8と先端点7を
結ぶ直線が指定目標物体5に達している。
FIG. 1 shows an information input system to which an embodiment of the information input method of the present invention is applied, in which a human hand 6 is used as a part of the pointing object, and a screen 4 is used as the pointing target object. A television camera (#1
, #2) 1 and 2, an information input device 3 and an information processing device 0. In the figure, 5.1 is a cursor that displays the current designated target object, and a straight line connecting the reference point 8 and the tip point 7 has reached the designated target object 5.

【0011】なお、本実施例では指示動作物体5として
人間の手6を用いているが、これは口や足など身体の他
の部分や棒などの指示器を用いてもよい。また指示目標
物体5として、仮想現実空間を想定し、実在の物体では
なく壁面に設置されたスクリーン4中に表示された仮想
的な物体としている。撮像装置として用いる2台のテレ
ビカメラ1、2を天井と壁面に配置しているが、テレビ
カメラはステレオ画像を得ることができるような位置に
複数台配置されていれば本発明の目的を果たすことが可
能である。
In this embodiment, a human hand 6 is used as the pointing object 5, but other parts of the body such as the mouth or feet, or a pointing device such as a stick may also be used. In addition, assuming a virtual reality space, the pointing target object 5 is a virtual object displayed on the screen 4 installed on the wall instead of a real object. Two television cameras 1 and 2 used as imaging devices are placed on the ceiling and a wall, but the purpose of the present invention can be achieved if a plurality of television cameras are placed at positions where stereo images can be obtained. Is possible.

【0012】次に上述のシステムにおける情報入力方法
について説明する。まず図1の配置により、上方と側方
に置かれた2台のテレビカメラ1,2から手6の映像を
入力し、該映像を情報入力装置3において処理すること
によって先端点7の3次元座標位置を検出する。次いで
先端点7と基準点8の座標から決定される直線上にある
指示目標物体5を決定する方法に関し、先端点7の決定
方法および基準点8の決定方法について述べる。
Next, a method of inputting information in the above-mentioned system will be explained. First, with the arrangement shown in FIG. 1, images of the hand 6 are inputted from two television cameras 1 and 2 placed above and on the side, and the information input device 3 processes the images to create a three-dimensional image of the tip point 7. Detect coordinate position. Next, regarding the method of determining the designated target object 5 located on the straight line determined from the coordinates of the tip point 7 and the reference point 8, the method of determining the tip point 7 and the method of determining the reference point 8 will be described.

【0013】まず先端点の決定方法について説明する(
図2参照)。通常、人間が手または指示器を用いて指示
動作を行なう場合には、手または指示器の先端が、指示
目標物体に一番近い位置にあると考えることができる。 そこで、本発明では、先端点7の座標として、指示動作
物体9の一部である手6のうち、指示目標物体5に最も
近い位置の座標を、先端点7として定めている。アルゴ
リズムの一例を図3で説明する。 (1)指示動作物体を背景から切り出し、2値化処理等
を行なう(11を得る)。 (2)スクリーン4と反対方向から、スクリーン4の方
向に向かって連続した領域12の探索を行なう。これに
よって、ノイズ13などの影響を除外している。 (3)スクリーン4に一番近い連続領域12の先端を、
「先端点7」とする。この方法によって簡便に先端点7
の座標を決定することができる。
First, the method for determining the tip point will be explained (
(see Figure 2). Normally, when a person performs a pointing operation using a hand or a pointing device, the tip of the hand or pointing device can be considered to be at the closest position to the pointing target object. Therefore, in the present invention, as the coordinates of the tip point 7, the coordinates of the position closest to the pointing target object 5 of the hand 6, which is a part of the pointing motion object 9, are determined as the tip point 7. An example of the algorithm will be explained with reference to FIG. (1) Cut out the designated motion object from the background and perform binarization processing, etc. (obtain 11). (2) A continuous area 12 is searched from the opposite direction to the screen 4 toward the screen 4. This eliminates the influence of noise 13 and the like. (3) The tip of the continuous area 12 closest to the screen 4,
Let it be "tip point 7". This method allows you to easily
The coordinates of can be determined.

【0014】次に基準点8の決定方法について述べる(
図4参照)。指示動作を行なう場合の基準点8は、人に
よってその場所が異なっている。さらに、指示動作を行
なう状況(立位か座位か、リラックスの程度など)によ
っても異なる。また、一度決定した基準点は、その後の
一連の指示動作中は有効であると考えられる。そこで指
示動作を行なう前に既値の指示目標物体に対する指示動
作によりキャリブレーションを行なうことによって、基
準点8を決定する。キャリブレーションの方法としては
、スクリーン4の特定の位置に表示された指示目標物体
5を人間に指示させ、これを複数の既知の指示目標物体
5に対し順次繰り返すことによって、基準点8の3次元
的な座標を求める方法が考えられる。キャリブレーショ
ンアルゴリズムの一例を図5で説明する。 (1)スクリーンの中央に指示目標物体14を表示し、
指示動作を行なわせる。 (2)先端点16を決定すると、指示目標物体14の位
置(既知)から3次元空間中の直線17が1本定まる。 (3)スクリーンの4隅に順番に指示目標物体15を表
示させ、同じようにして直線群18を決定する。 (4)得られた直線群(18及び17)の交差する3次
元空間上の点19を、基準点8とする。
Next, the method for determining the reference point 8 will be described (
(See Figure 4). The location of the reference point 8 when performing an instruction action differs depending on the person. Furthermore, it also differs depending on the situation in which the instruction movement is performed (standing or sitting position, degree of relaxation, etc.). Furthermore, the reference point once determined is considered to be valid during a subsequent series of instruction operations. Therefore, before performing the instruction operation, the reference point 8 is determined by performing calibration using the instruction operation with respect to the specified target object. The calibration method involves having a person point out a pointing target object 5 displayed at a specific position on the screen 4, and repeating this sequentially for a plurality of known pointing objects 5 to calibrate the three-dimensional reference point 8. One possible method is to find the coordinates. An example of the calibration algorithm will be explained with reference to FIG. (1) Display the designated target object 14 in the center of the screen,
Make the person perform the instructed action. (2) Once the tip point 16 is determined, one straight line 17 in the three-dimensional space is determined from the (known) position of the designated target object 14. (3) Display the designated target objects 15 in order at the four corners of the screen, and determine the group of straight lines 18 in the same way. (4) Point 19 in the three-dimensional space where the obtained straight line groups (18 and 17) intersect is set as reference point 8.

【0015】なお、指示動作を行う場合、上体を変動さ
せずに腕を動かす程度であれば上述の直線群は容易に畧
一点に交差することがわかっている。
[0015] It is known that when performing an instruction action, the above-mentioned straight line group easily intersects at a single point if the user only moves the arm without moving the upper body.

【0016】以上のようにして基準点が決定されると、
その後の一連の指示動作が行われるが、その場合現在指
示中の指示目標物体には前述のカーソルが表示される。 このカーソルの補助があるため複数個の指示目標物体か
ら特定のものを選択するような場合にも容易に正確に目
標物体を決定することができる。
[0016] Once the reference point is determined as described above,
A series of subsequent pointing operations are performed, in which case the aforementioned cursor is displayed on the pointing target object currently being pointed. With the assistance of this cursor, even when a specific target object is selected from a plurality of designated target objects, the target object can be easily and accurately determined.

【0017】決定された基準点の座標は情報入力装置に
読み込まれ、指示動作により先端点の座標が読み込まれ
れば両者による直線が決定され、従って指示目標物体が
決定される。本実施例の場合は上の直線とスクリーン(
Z=0)の交点の座標が指示目標物体の座標となる。
[0017] The coordinates of the determined reference point are read into the information input device, and when the coordinates of the tip point are read by the pointing operation, a straight line between the two is determined, and accordingly, the pointed target object is determined. In this example, the upper straight line and the screen (
The coordinates of the intersection point (Z=0) are the coordinates of the indicated target object.

【0018】なお、上述の基準点の座標を情報処理装置
に入力し、基準点の位置の微調整を行うことも可能であ
る。
[0018] It is also possible to input the coordinates of the above-mentioned reference point into the information processing device and finely adjust the position of the reference point.

【0019】次に、指示動作物体の特定の動作を識別し
、該動作を命令情報として利用することについて述べる
。図6では、手の動作のうち、親指の開閉動作をスイッ
チ情報として用いている。親指の開閉動作は、図1のテ
レビカメラ1,2によって撮影され、情報入力装置3に
よって識別が行なわれる。識別アルゴリズムの一例を図
7で説明する。 (1)指示動作物体を背景から切り出し、2値化処理を
行なう(11を得る)。 (2)図3で述べた如き手法を用いて先端点7(人差し
指先端)を認識する。 (3)先端点7と手首の位置20から、親指の移動範囲
を推測し、該範囲内で親指先端19の探索を行なう。 (4)親指先端19が発見されれば、「親指=開」状態
とし、発見されなければ、親指が人差し指の影に折りた
たまれているとし、「親指=閉」状態とする。親指の動
作は、開いた時点をON、閉じた時点をOFFとして定
義しても良いし、その逆も可能である。また、1ビット
のスイッチではなく、バリオームのような無段階又は多
段階の情報を持たせることもできる。この方法の利点は
、先端点を固定したままで命令動作を行なうことができ
るため、対象物決定と命令の区別が明確になることにあ
る。
Next, a description will be given of identifying a specific motion of an instruction motion object and using the motion as command information. In FIG. 6, among the hand movements, the opening/closing movement of the thumb is used as switch information. The opening and closing motions of the thumb are photographed by the television cameras 1 and 2 in FIG. 1, and identified by the information input device 3. An example of the identification algorithm will be explained with reference to FIG. (1) Cut out the pointing motion object from the background and perform binarization processing (obtain 11). (2) Recognize tip point 7 (tip of index finger) using the method described in FIG. (3) The movement range of the thumb is estimated from the tip point 7 and the wrist position 20, and the thumb tip 19 is searched within the range. (4) If the tip of the thumb 19 is found, the state is set as "thumb=open"; if not found, the thumb is assumed to be folded in the shadow of the index finger, and the state is set as "thumb=closed". The action of the thumb may be defined as ON when the thumb is opened and OFF when the thumb is closed, or vice versa. Further, instead of a 1-bit switch, stepless or multi-step information such as variome can be provided. The advantage of this method is that the command operation can be performed while the tip point is fixed, so the distinction between object determination and command becomes clear.

【0020】以上のようにして求められた指示目標物体
および指示目標物体に対する命令に関する情報は、情報
入力装置から出力され情報処理装置に入力される。
The information regarding the designated target object and the command for the designated target object obtained as described above is outputted from the information input device and inputted to the information processing device.

【0021】[0021]

【発明の効果】以上説明したように本発明は、特殊な装
置を使用することなく、3次元空間内の指示目標物体の
決定および該物体に対する命令動作を効率的に行うこと
を可能にし、3次元ビデオタブレット、3次元空間内仮
想指示装置などの実現に資する効果がある。
As explained above, the present invention makes it possible to efficiently determine a designated target object in a three-dimensional space and command operations for the object without using any special equipment. This has the effect of contributing to the realization of dimensional video tablets, virtual instruction devices in three-dimensional space, and the like.

【図面の簡単な説明】[Brief explanation of the drawing]

【図1】本発明の一実施例の説明図である。FIG. 1 is an explanatory diagram of an embodiment of the present invention.

【図2】図1においてyz平面からX軸に向かって見た
、先端点の決定方法を示す説明図である。
FIG. 2 is an explanatory diagram illustrating a method for determining a tip point, viewed from the yz plane toward the X axis in FIG. 1;

【図3】先端点の探索アルゴリズムの一例を示す説明図
である。
FIG. 3 is an explanatory diagram showing an example of a tip point search algorithm.

【図4】基準点の決定方法の一例を示す図である。FIG. 4 is a diagram illustrating an example of a method for determining a reference point.

【図5】基準点のキャリブレーションアルゴリズの一例
を示す説明図である。
FIG. 5 is an explanatory diagram showing an example of a reference point calibration algorithm.

【図6】親指の開閉動作の識別アルゴリズムの一例を示
す説明図である。
FIG. 6 is an explanatory diagram illustrating an example of an algorithm for identifying the opening/closing motion of the thumb.

【図7】親指の開閉状態を示す図である。FIG. 7 is a diagram showing the open and closed states of the thumb.

【符号の説明】[Explanation of symbols]

1,2    テレビカメラ、 3        情報入力装置、 0        情報処理装置、 4        スクリーン、 5        指示目標物体、 5.1    カーソル、 6        指示動作物体の一部(人間の手)、
7        先端点、 8        基準点、 9        指示動作物体(人間)、11   
   二値化された指示動作物体(手)、12    
  連続領域、 13      非連続領域、 14      スクリーンの中央に表示された指示目
標物体、 15      スクリーンの四隅に順番に表示された
指示目標物体、 16      先端点、 17      得られた直線、 18      得られた直線群
1, 2 television camera, 3 information input device, 0 information processing device, 4 screen, 5 pointing target object, 5.1 cursor, 6 part of pointing object (human hand),
7 Tip point, 8 Reference point, 9 Indication motion object (human), 11
Binarized instructional motion object (hand), 12
Continuous area, 13 Discontinuous area, 14 Indication target object displayed in the center of the screen, 15 Indication target object displayed in order at the four corners of the screen, 16 Tip point, 17 Obtained straight line, 18 Obtained straight line group

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】  人間の手もしくは指示器などの指示目
標物体を指示する指示動作物体に対して異なる視野を持
つように配置された複数の撮像装置から得られる複数の
撮像信号を処理して該指示動作物体の3次元座標を得て
入力するとともに、前記指示動作物体および基準点を結
ぶ直線上に存在する指示目標物体を決定し、これを入力
する情報入力方法において、前記指示動作物体の座標を
該物体における前記指示目標物体に最も近接する位置の
3次元座標を求めて得た先端点の座標とし、情報入力を
行うにあたって複数の既知の指示目標物体に対し順次指
示動作を行い、指示方向を表わす直線が1点に交差する
定点を求めて基準点とし、該基準点および前記先端点か
ら指示目標物体を決定し入力することを特徴とする情報
入力方法。
Claim 1: Processing a plurality of imaging signals obtained from a plurality of imaging devices arranged to have different fields of view with respect to a pointing motion object that points to a pointing target object such as a human hand or a pointing device. In an information input method in which the three-dimensional coordinates of a pointing motion object are obtained and inputted, and a pointing target object existing on a straight line connecting the pointing motion object and a reference point is determined and inputted, the coordinates of the pointing motion object are determined. Let be the coordinates of the tip point obtained by finding the three-dimensional coordinates of the position closest to the pointing target object in the object, and when inputting information, sequentially perform pointing motions on a plurality of known pointing target objects, and determine the pointing direction. An information input method characterized in that a fixed point at which a straight line representing intersects is determined and used as a reference point, and a designated target object is determined and input from the reference point and the tip point.
【請求項2】  人間の手もしくは指示器などの指示目
標物体を指示する指示動作物体に対して異なる視野を持
つように配置された複数の撮像装置から得られる複数の
撮像信号を処理して該指示動作物体の3次元座標を得て
入力するとともに、前記指示動作物体および基準点を結
ぶ直線上に存在する指示目標物体を決定し、これを入力
する情報入力方法において、現に指示動作が行われてい
る指示目標物体に対してカーソルを表示することを特徴
とする情報入力方法。
2. Processing a plurality of imaging signals obtained from a plurality of imaging devices arranged to have different fields of view with respect to a pointing motion object that points to a pointing target object such as a human hand or a pointing device. In an information input method in which the three-dimensional coordinates of a pointing motion object are obtained and inputted, and a pointing target object existing on a straight line connecting the pointing motion object and a reference point is determined and inputted, the pointing motion is actually performed. An information input method characterized by displaying a cursor on a pointing target object.
【請求項3】  人間の手もしくは指示器などの指示目
標物体を指示する指示動作物体に対して異なる視野を持
つように配置された複数の撮像装置から得られる複数の
撮像信号を処理して該指示動作物体の3次元座標を得て
入力するとともに、前記指示動作物体および基準点を結
ぶ直線上に存在する指示目標物体を決定し、これを入力
する情報入力方法において、前記指示動作物体の特定の
動作を識別し、前記指示目標物体に対する命令情報を入
力することを特徴とする情報入力方法。
3. Processing a plurality of imaging signals obtained from a plurality of imaging devices arranged to have different fields of view with respect to a pointing motion object that points to a pointing target object such as a human hand or a pointing device. In an information input method, the three-dimensional coordinates of a pointing object are obtained and inputted, and a pointing target object existing on a straight line connecting the pointing object and a reference point is determined and inputted. 1. An information input method characterized by identifying a motion of a target object and inputting command information for the designated target object.
JP03053565A 1991-02-27 1991-02-27 Information input method Expired - Fee Related JP3114813B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03053565A JP3114813B2 (en) 1991-02-27 1991-02-27 Information input method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03053565A JP3114813B2 (en) 1991-02-27 1991-02-27 Information input method

Publications (2)

Publication Number Publication Date
JPH04271423A true JPH04271423A (en) 1992-09-28
JP3114813B2 JP3114813B2 (en) 2000-12-04

Family

ID=12946348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03053565A Expired - Fee Related JP3114813B2 (en) 1991-02-27 1991-02-27 Information input method

Country Status (1)

Country Link
JP (1) JP3114813B2 (en)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757103A (en) * 1993-08-23 1995-03-03 Toshiba Corp Information processor
JPH07271818A (en) * 1994-03-31 1995-10-20 Toshiba Corp Hyper-medium system
JPH10326148A (en) * 1997-03-21 1998-12-08 Takenaka Komuten Co Ltd Hand pointing device
US6434255B1 (en) 1997-10-29 2002-08-13 Takenaka Corporation Hand pointing apparatus
JP2002244810A (en) * 1993-03-10 2002-08-30 Adc Technology Kk Virtual reality space data input device
JP2003533817A (en) * 2000-05-17 2003-11-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Apparatus and method for pointing a target by image processing without performing three-dimensional modeling
JP2007323660A (en) * 2007-06-25 2007-12-13 Sony Corp Drawing device and drawing method
JP2009075685A (en) * 2007-09-19 2009-04-09 Sony Corp Image processor, image processing method, and program
JP2009240370A (en) * 2008-03-28 2009-10-22 Advanced Telecommunication Research Institute International Motion detector
GB2462709A (en) * 2008-08-22 2010-02-24 Northrop Grumman Space & Msn A method for determining compound gesture input
US8139110B2 (en) 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
JP2012069095A (en) * 2010-08-25 2012-04-05 Canon Inc Information processing device and control method thereof
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8234578B2 (en) 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US8345920B2 (en) 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
US8432448B2 (en) 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
JP2013208450A (en) * 2007-09-07 2013-10-10 Konami Digital Entertainment Co Ltd Image processing device, game apparatus, and computer program
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
CN104199547A (en) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 Man-machine interactive type virtual touch device, system and method
CN104199549A (en) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 Man-machine interactive type virtual touch device, system and method
CN104199550A (en) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 Man-machine interactive type virtual touch device, system and method
CN104199548A (en) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 Man-machine interactive type virtual touch device, system and method
JP2015038777A (en) * 2014-11-12 2015-02-26 セイコーエプソン株式会社 Position detecting system, display system, and information processing system
WO2015045082A1 (en) * 2013-09-27 2015-04-02 日立マクセル株式会社 Terminal device and input method
US9081430B2 (en) 2011-04-22 2015-07-14 Panasonic Intellectual Property Corporation Of America Pointing control device, integrated circuit thereof and pointing control method
JP2016099917A (en) * 2014-11-26 2016-05-30 レノボ・シンガポール・プライベート・リミテッド Method for performing action corresponding to pointing gesture, conference support system, and computer program
US9377874B2 (en) 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
JP2017131433A (en) * 2016-01-28 2017-08-03 ゼネラル・エレクトリック・カンパニイ Medical image display apparatus, control program therefor, and medical image display system
JP2018528551A (en) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド Gesture detection method and apparatus on user reference space coordinate system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6070211B2 (en) 2013-01-22 2017-02-01 株式会社リコー Information processing apparatus, system, image projection apparatus, information processing method, and program

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002244810A (en) * 1993-03-10 2002-08-30 Adc Technology Kk Virtual reality space data input device
JPH0757103A (en) * 1993-08-23 1995-03-03 Toshiba Corp Information processor
JPH07271818A (en) * 1994-03-31 1995-10-20 Toshiba Corp Hyper-medium system
JPH10326148A (en) * 1997-03-21 1998-12-08 Takenaka Komuten Co Ltd Hand pointing device
US6385331B2 (en) 1997-03-21 2002-05-07 Takenaka Corporation Hand pointing device
US6434255B1 (en) 1997-10-29 2002-08-13 Takenaka Corporation Hand pointing apparatus
JP2003533817A (en) * 2000-05-17 2003-11-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Apparatus and method for pointing a target by image processing without performing three-dimensional modeling
JP4768196B2 (en) * 2000-05-17 2011-09-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Apparatus and method for pointing a target by image processing without performing three-dimensional modeling
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8180114B2 (en) 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US8234578B2 (en) 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US8432448B2 (en) 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
JP4513830B2 (en) * 2007-06-25 2010-07-28 ソニー株式会社 Drawing apparatus and drawing method
JP2007323660A (en) * 2007-06-25 2007-12-13 Sony Corp Drawing device and drawing method
JP2013208450A (en) * 2007-09-07 2013-10-10 Konami Digital Entertainment Co Ltd Image processing device, game apparatus, and computer program
US8643598B2 (en) 2007-09-19 2014-02-04 Sony Corporation Image processing apparatus and method, and program therefor
JP4569613B2 (en) * 2007-09-19 2010-10-27 ソニー株式会社 Image processing apparatus, image processing method, and program
JP2009075685A (en) * 2007-09-19 2009-04-09 Sony Corp Image processor, image processing method, and program
US8896535B2 (en) 2007-09-19 2014-11-25 Sony Corporation Image processing apparatus and method, and program therefor
US8139110B2 (en) 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
JP2009240370A (en) * 2008-03-28 2009-10-22 Advanced Telecommunication Research Institute International Motion detector
US8345920B2 (en) 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
GB2462709B (en) * 2008-08-22 2012-11-14 Northrop Grumman Systems Corp Compound gesture recognition
US8972902B2 (en) 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
GB2462709A (en) * 2008-08-22 2010-02-24 Northrop Grumman Space & Msn A method for determining compound gesture input
JP2012069095A (en) * 2010-08-25 2012-04-05 Canon Inc Information processing device and control method thereof
US9081430B2 (en) 2011-04-22 2015-07-14 Panasonic Intellectual Property Corporation Of America Pointing control device, integrated circuit thereof and pointing control method
WO2015045082A1 (en) * 2013-09-27 2015-04-02 日立マクセル株式会社 Terminal device and input method
CN104199547A (en) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 Man-machine interactive type virtual touch device, system and method
CN104199548A (en) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 Man-machine interactive type virtual touch device, system and method
CN104199550A (en) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 Man-machine interactive type virtual touch device, system and method
CN104199550B (en) * 2014-08-29 2017-05-17 福州瑞芯微电子股份有限公司 Virtual keyboard operation device, system and method
CN104199549A (en) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 Man-machine interactive type virtual touch device, system and method
JP2015038777A (en) * 2014-11-12 2015-02-26 セイコーエプソン株式会社 Position detecting system, display system, and information processing system
JP2016099917A (en) * 2014-11-26 2016-05-30 レノボ・シンガポール・プライベート・リミテッド Method for performing action corresponding to pointing gesture, conference support system, and computer program
JP2018528551A (en) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド Gesture detection method and apparatus on user reference space coordinate system
JP2017131433A (en) * 2016-01-28 2017-08-03 ゼネラル・エレクトリック・カンパニイ Medical image display apparatus, control program therefor, and medical image display system

Also Published As

Publication number Publication date
JP3114813B2 (en) 2000-12-04

Similar Documents

Publication Publication Date Title
JP3114813B2 (en) Information input method
US8274535B2 (en) Video-based image control system
Kim et al. Touch and hand gesture-based interactions for directly manipulating 3D virtual objects in mobile augmented reality
EP3629129A1 (en) Method and apparatus of interactive display based on gesture recognition
US6204852B1 (en) Video hand image three-dimensional computer interface
EP1292877B1 (en) Apparatus and method for indicating a target by image processing without three-dimensional modeling
Cabral et al. On the usability of gesture interfaces in virtual reality environments
US9483690B2 (en) Calibrating vision systems
O'Hagan et al. Visual gesture interfaces for virtual environments
US20120200494A1 (en) Computer vision gesture based control of a device
JPH0844490A (en) Interface device
JPH02132510A (en) Input device
JPH07141101A (en) Input system using picture
US20140053115A1 (en) Computer vision gesture based control of a device
US20070216642A1 (en) System For 3D Rendering Applications Using Hands
Xiao et al. A hand gesture-based interface for design review using leap motion controller
JPS61196317A (en) Information input system
GB2345538A (en) Optical tracker
Ueng et al. Vision based multi-user human computer interaction
JPH07160412A (en) Pointed position detecting method
Sato et al. Video-based tracking of user's motion for augmented desk interface
Dias et al. In your hand computing: tangible interfaces for mixed reality
JP3276010B2 (en) How to enter information
JPH04257014A (en) Input device
Maidi et al. Interactive media control using natural interaction-based Kinect

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees