JPH04271423A - Information input method - Google Patents
Information input methodInfo
- Publication number
- JPH04271423A JPH04271423A JP3053565A JP5356591A JPH04271423A JP H04271423 A JPH04271423 A JP H04271423A JP 3053565 A JP3053565 A JP 3053565A JP 5356591 A JP5356591 A JP 5356591A JP H04271423 A JPH04271423 A JP H04271423A
- Authority
- JP
- Japan
- Prior art keywords
- pointing
- target object
- motion
- reference point
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 40
- 230000033001 locomotion Effects 0.000 claims description 41
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 15
- 210000003813 thumb Anatomy 0.000 description 14
- 230000010365 information processing Effects 0.000 description 5
- 210000003811 finger Anatomy 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Landscapes
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】0001
【産業上の利用分野】本発明は、情報処理装置への情報
入力方法、特に人間の手足や指示器の如き指示動作物体
の動きを直接映像としてとらえ、画像処理によって該指
示動作物体の動きによって表現される人間の意図をコン
ピュータに伝えるための安価にして簡便な情報入力方法
に関するものである。[Industrial Field of Application] The present invention relates to a method of inputting information to an information processing device, in particular, by directly capturing the movement of a pointing object such as a human limb or a pointing device as an image, and using image processing to determine the movement of the pointing object. The present invention relates to an inexpensive and simple information input method for conveying expressed human intentions to a computer.
【0002】0002
【従来の技術】従来、計算機の入力装置としては、キー
ボードやマウスなどが一般的に用いられている。しかし
ながら、これらの装置を使用する場合、ある程度の熟練
が要求され、万人が即座に使用できるようなものではな
い。現在、「コンピュータはむずかしい」という人が多
いのは、このような熟練を必要とするインタフェースに
もその一因があると考えられる。本来ならば、人間同士
が会話をするのと同じような自然な方法を用いて、コン
ピュータとの会話が行なわれることが望まれる。この点
、「身振り手振り」を用いたインタフェースは、誰にで
も熟練を要することなく簡便に使用でき、「誰にでも使
えるコンピュータ」の実現に大きく寄与すると考えられ
る。2. Description of the Related Art Hitherto, keyboards, mice, and the like have been commonly used as input devices for computers. However, when using these devices, a certain degree of skill is required, and not everyone can use them immediately. The reason why many people today think that computers are difficult is thought to be partly due to the interfaces that require such skill. Originally, it would be desirable to have a conversation with a computer using a natural method similar to that used by humans to converse with each other. In this respect, an interface using ``gestures'' can be easily used by anyone without requiring any skill, and is thought to greatly contribute to the realization of ``computers that anyone can use.''
【0003】特願昭60−36580(特開昭61−1
96317間瀬、末永:「情報入力方式」は上記問題を
一部解決し、テレビカメラから入力された映像から指先
もしくは指示器の位置を検出し、指示器の位置と異なる
位置にある基準点と結ぶ直線上の特定点の座標位置を決
定するものである。[0003] Japanese Patent Application No. 60-36580 (Japanese Unexamined Patent Publication No. 61-1
96317 Mase, Suenaga: "Information input method" partially solves the above problem, detects the position of the fingertip or indicator from the image input from the TV camera, and connects it to a reference point at a different position from the indicator. This is to determine the coordinate position of a specific point on a straight line.
【0004】0004
【発明が解決しようとする課題】前述の特許出願発明に
おいては次のような問題がある。
(1)指先もしくは指示器の位置(以下先端点という)
の決定の方法が明確に述べられていない。また、指示目
標物体を決定するためには、先端点並びに基準点を定め
る必要があるが、基準点を「空間内の適当な固定点を定
めておく」としているだけで、基準点の求め方について
は言及していない。また、「顔の中心位置」を基準点と
して定めると良いとしているが、人間が「顔の中心」と
「指先」を用いて指示動作を行なう場合は、「ねらいを
つけて凝視する」ことにあたり、この動作を続けている
と疲労が激しい。
(2)複数個の指示目標物体から特定のものを選択する
場合、現在指示している物体が表示されていないので、
正確な目標物体の決定が困難である。
(3)「本来人間の手の動きは種々の意味に使用される
ものであり、本発明方式で入力された3次元点列に対す
る種々の識別法を開発することにより…」とあるが、識
別法に対しては言及されていない。また、指示目標物体
を固定したままで命令を与えるには、単一の3次元点列
の解析のみでは移動と命令の区別がつきにくい。さらに
、指示によって指示目標物体を決定できたとしても、こ
れに対して命令を与えるには、何らかの動作が必要とさ
れる。[Problems to be Solved by the Invention] The above-mentioned patent application invention has the following problems. (1) Position of fingertip or indicator (hereinafter referred to as tip point)
The method of determination is not clearly stated. In addition, in order to determine the designated target object, it is necessary to determine the tip point and the reference point, but the reference point is simply determined by "determining an appropriate fixed point in space", and the method for determining the reference point is There is no mention of. Additionally, it is said that it is good to set the ``center position of the face'' as a reference point, but when a human uses the ``center of the face'' and ``fingertips'' to make a command, it is considered to be ``staring with an aim.'' If you keep doing this motion, you will become extremely fatigued. (2) When selecting a specific target object from multiple pointing objects, the object currently being pointed to is not displayed.
It is difficult to determine the exact target object. (3) "Human hand movements are originally used for various meanings, and by developing various identification methods for the three-dimensional point sequence input using the method of the present invention..." There is no mention of the law. Furthermore, in order to give commands while keeping the designated target object fixed, it is difficult to distinguish between movement and commands by analyzing only a single three-dimensional point sequence. Furthermore, even if the designated target object can be determined by instructions, some kind of action is required to give a command to it.
【0005】本発明の目的は、手もしくは指示器などの
指示動作物体の複数の撮像信号を処理して得られる指示
動作物体の座標を入力するとともに、同座標および基準
点の座標から決定される直線上にある指示目標物体を決
定し入力する情報入力方法に関し、指示動作物体の座標
としての先端点および基準点の新しい決定方法、現に指
示されている指示目標物体にカーソルを表示して次の指
定動作を補助する方法、さらに、指示動作物体の特定の
動作により指示目標物体に命令を行う方法を提供するこ
とである。An object of the present invention is to input the coordinates of a pointing object such as a hand or a pointing device, which are obtained by processing a plurality of imaging signals of the pointing object, and to determine the coordinates of a pointing object such as a hand or a pointing device from the coordinates of the pointing object and the coordinates of a reference point. Regarding the information input method for determining and inputting a pointing target object on a straight line, there is a new method for determining the tip point and reference point as the coordinates of the pointing object, and a new method for displaying the cursor on the currently pointed pointing target object and moving to the next one. It is an object of the present invention to provide a method for assisting a designated motion, and a method for commanding a designated target object by a specific motion of the designated motion object.
【0006】[0006]
【課題を解決するための手段】本発明の情報入力方法は
、人間の手もしくは指示器などの指示目標物体を指示す
る指示動作物体に対して異なる視野を持つように配置さ
れた複数の撮像装置から得られる複数の撮像信号を処理
して該指示動作物体の3次元座標を得て入力するととも
に、前記指示動作物体および基準点を結ぶ直線上に存在
する指示目標物体を決定し、これを入力する情報入力方
法において、
(1)前記指示動作物体の座標を該物体における前記指
示目標物体に最も近接する位置の3次元座標を求めて得
た先端点の座標とし、情報入力を行うにあたって複数の
既知の指示目標物体に対し順次指示動作を行い、指示方
向を表わす直線が1点に交差する定点を求めて基準点と
し、該基準点および前記先端点から指示目標物体を決定
し入力する。
(2)現に指示動作が行われている指示目標物体に対し
てカーソルを表示する。
(3)前記指示動作物体の特定の動作を識別し、前記指
示目標物体に対する命令情報を入力する。[Means for Solving the Problems] The information input method of the present invention provides a plurality of imaging devices arranged to have different fields of view with respect to a pointing motion object that points to a pointing target object such as a human hand or a pointing device. Processing a plurality of imaging signals obtained from a plurality of imaging signals to obtain and input the three-dimensional coordinates of the pointing object, and determining and inputting a pointing target object existing on a straight line connecting the pointing object and the reference point. In an information input method, (1) the coordinates of the pointing object are the coordinates of a tip point obtained by finding the three-dimensional coordinates of the position closest to the pointing target object in the object, and a plurality of A pointing operation is sequentially performed on a known pointing target object, a fixed point where a straight line representing the pointing direction intersects is found and used as a reference point, and a pointing target object is determined and input from the reference point and the tip point. (2) Display a cursor on the pointing target object on which the pointing operation is currently being performed. (3) Identifying a specific motion of the indicated motion object and inputting command information for the indicated target object.
【0007】[0007]
【作用】(1)指示目標物体に最も近い位置にある指示
動作物体の部分の座標を指示動作物体の座標位置(先端
点)として定め、既知の複数の指示目標物体に対する指
示動作によって求められた3次元空間内の特定の1点(
基準点)と前記先端点から決定される直線上に指示目標
物体の決定を行ない、
(2)指示動作物体によって決定された前記指示目標物
体に対して、カーソルを表示し、指示動作物体に対して
指示目標物体を知らしめることにより、次に行う指示目
標物体の決定の補助を行ない、
(3)前記指示動作物体の特定の動作を識別し、該動作
を命令情報として利用することにより、指示目標物体に
対して命令動作を与えることを可能としている。[Effect] (1) The coordinates of the part of the pointing object that is closest to the pointing object are determined as the coordinate position (tip point) of the pointing object, and the coordinates are determined by the pointing motion for multiple known pointing objects. One specific point in three-dimensional space (
(2) display a cursor on the indicated target object determined by the indicated motion object; (3) identify a specific motion of the motion object and use the motion as command information; This makes it possible to give commands to target objects.
【0008】[0008]
【実施例】次に本発明の実施例について図面を参照して
説明する。Embodiments Next, embodiments of the present invention will be described with reference to the drawings.
【0009】図1は本発明の情報入力方法の一実施例の
説明図、図2は図1においてyz平面からX軸方向に向
って見た、先端点の決定方法を示す説明図、図3は先端
点の探索アルゴリズムの一例を示す説明図、図4は基準
点の決定方法の一例を示す図、図5は基準点の補正アル
ゴリズムの一例を示す説明図、図6は親指の開閉動作の
識別アルゴリズムの一例を示す説明図、図7は親指の開
閉状態を示す図である。FIG. 1 is an explanatory diagram of an embodiment of the information input method of the present invention, FIG. 2 is an explanatory diagram showing a method for determining the tip point as viewed from the yz plane in the X-axis direction in FIG. 1, and FIG. is an explanatory diagram showing an example of a tip point search algorithm, FIG. 4 is an explanatory diagram showing an example of a reference point determination method, FIG. 5 is an explanatory diagram showing an example of a reference point correction algorithm, and FIG. 6 is an explanatory diagram showing an example of a reference point correction algorithm. An explanatory diagram showing an example of the identification algorithm, FIG. 7 is a diagram showing the open and closed states of the thumb.
【0010】図1には本発明の情報入力方法の一実施例
が適用される情報入力システムが示されており、指示動
作物体の一部としての人間の手6、指示目標物体として
のスクリーン4に投影された仮想物体5、指示動作物体
の平面画像および立面画像を取込むテレビカメラ(#1
,#2)1および2、情報入力装置3および情報処理装
置0を含んでいる。図中5.1は現在の指示目標物体を
表示するカーソルであり、また、基準点8と先端点7を
結ぶ直線が指定目標物体5に達している。FIG. 1 shows an information input system to which an embodiment of the information input method of the present invention is applied, in which a human hand 6 is used as a part of the pointing object, and a screen 4 is used as the pointing target object. A television camera (#1
, #2) 1 and 2, an information input device 3 and an information processing device 0. In the figure, 5.1 is a cursor that displays the current designated target object, and a straight line connecting the reference point 8 and the tip point 7 has reached the designated target object 5.
【0011】なお、本実施例では指示動作物体5として
人間の手6を用いているが、これは口や足など身体の他
の部分や棒などの指示器を用いてもよい。また指示目標
物体5として、仮想現実空間を想定し、実在の物体では
なく壁面に設置されたスクリーン4中に表示された仮想
的な物体としている。撮像装置として用いる2台のテレ
ビカメラ1、2を天井と壁面に配置しているが、テレビ
カメラはステレオ画像を得ることができるような位置に
複数台配置されていれば本発明の目的を果たすことが可
能である。In this embodiment, a human hand 6 is used as the pointing object 5, but other parts of the body such as the mouth or feet, or a pointing device such as a stick may also be used. In addition, assuming a virtual reality space, the pointing target object 5 is a virtual object displayed on the screen 4 installed on the wall instead of a real object. Two television cameras 1 and 2 used as imaging devices are placed on the ceiling and a wall, but the purpose of the present invention can be achieved if a plurality of television cameras are placed at positions where stereo images can be obtained. Is possible.
【0012】次に上述のシステムにおける情報入力方法
について説明する。まず図1の配置により、上方と側方
に置かれた2台のテレビカメラ1,2から手6の映像を
入力し、該映像を情報入力装置3において処理すること
によって先端点7の3次元座標位置を検出する。次いで
先端点7と基準点8の座標から決定される直線上にある
指示目標物体5を決定する方法に関し、先端点7の決定
方法および基準点8の決定方法について述べる。Next, a method of inputting information in the above-mentioned system will be explained. First, with the arrangement shown in FIG. 1, images of the hand 6 are inputted from two television cameras 1 and 2 placed above and on the side, and the information input device 3 processes the images to create a three-dimensional image of the tip point 7. Detect coordinate position. Next, regarding the method of determining the designated target object 5 located on the straight line determined from the coordinates of the tip point 7 and the reference point 8, the method of determining the tip point 7 and the method of determining the reference point 8 will be described.
【0013】まず先端点の決定方法について説明する(
図2参照)。通常、人間が手または指示器を用いて指示
動作を行なう場合には、手または指示器の先端が、指示
目標物体に一番近い位置にあると考えることができる。
そこで、本発明では、先端点7の座標として、指示動作
物体9の一部である手6のうち、指示目標物体5に最も
近い位置の座標を、先端点7として定めている。アルゴ
リズムの一例を図3で説明する。
(1)指示動作物体を背景から切り出し、2値化処理等
を行なう(11を得る)。
(2)スクリーン4と反対方向から、スクリーン4の方
向に向かって連続した領域12の探索を行なう。これに
よって、ノイズ13などの影響を除外している。
(3)スクリーン4に一番近い連続領域12の先端を、
「先端点7」とする。この方法によって簡便に先端点7
の座標を決定することができる。First, the method for determining the tip point will be explained (
(see Figure 2). Normally, when a person performs a pointing operation using a hand or a pointing device, the tip of the hand or pointing device can be considered to be at the closest position to the pointing target object. Therefore, in the present invention, as the coordinates of the tip point 7, the coordinates of the position closest to the pointing target object 5 of the hand 6, which is a part of the pointing motion object 9, are determined as the tip point 7. An example of the algorithm will be explained with reference to FIG. (1) Cut out the designated motion object from the background and perform binarization processing, etc. (obtain 11). (2) A continuous area 12 is searched from the opposite direction to the screen 4 toward the screen 4. This eliminates the influence of noise 13 and the like. (3) The tip of the continuous area 12 closest to the screen 4,
Let it be "tip point 7". This method allows you to easily
The coordinates of can be determined.
【0014】次に基準点8の決定方法について述べる(
図4参照)。指示動作を行なう場合の基準点8は、人に
よってその場所が異なっている。さらに、指示動作を行
なう状況(立位か座位か、リラックスの程度など)によ
っても異なる。また、一度決定した基準点は、その後の
一連の指示動作中は有効であると考えられる。そこで指
示動作を行なう前に既値の指示目標物体に対する指示動
作によりキャリブレーションを行なうことによって、基
準点8を決定する。キャリブレーションの方法としては
、スクリーン4の特定の位置に表示された指示目標物体
5を人間に指示させ、これを複数の既知の指示目標物体
5に対し順次繰り返すことによって、基準点8の3次元
的な座標を求める方法が考えられる。キャリブレーショ
ンアルゴリズムの一例を図5で説明する。
(1)スクリーンの中央に指示目標物体14を表示し、
指示動作を行なわせる。
(2)先端点16を決定すると、指示目標物体14の位
置(既知)から3次元空間中の直線17が1本定まる。
(3)スクリーンの4隅に順番に指示目標物体15を表
示させ、同じようにして直線群18を決定する。
(4)得られた直線群(18及び17)の交差する3次
元空間上の点19を、基準点8とする。Next, the method for determining the reference point 8 will be described (
(See Figure 4). The location of the reference point 8 when performing an instruction action differs depending on the person. Furthermore, it also differs depending on the situation in which the instruction movement is performed (standing or sitting position, degree of relaxation, etc.). Furthermore, the reference point once determined is considered to be valid during a subsequent series of instruction operations. Therefore, before performing the instruction operation, the reference point 8 is determined by performing calibration using the instruction operation with respect to the specified target object. The calibration method involves having a person point out a pointing target object 5 displayed at a specific position on the screen 4, and repeating this sequentially for a plurality of known pointing objects 5 to calibrate the three-dimensional reference point 8. One possible method is to find the coordinates. An example of the calibration algorithm will be explained with reference to FIG. (1) Display the designated target object 14 in the center of the screen,
Make the person perform the instructed action. (2) Once the tip point 16 is determined, one straight line 17 in the three-dimensional space is determined from the (known) position of the designated target object 14. (3) Display the designated target objects 15 in order at the four corners of the screen, and determine the group of straight lines 18 in the same way. (4) Point 19 in the three-dimensional space where the obtained straight line groups (18 and 17) intersect is set as reference point 8.
【0015】なお、指示動作を行う場合、上体を変動さ
せずに腕を動かす程度であれば上述の直線群は容易に畧
一点に交差することがわかっている。[0015] It is known that when performing an instruction action, the above-mentioned straight line group easily intersects at a single point if the user only moves the arm without moving the upper body.
【0016】以上のようにして基準点が決定されると、
その後の一連の指示動作が行われるが、その場合現在指
示中の指示目標物体には前述のカーソルが表示される。
このカーソルの補助があるため複数個の指示目標物体か
ら特定のものを選択するような場合にも容易に正確に目
標物体を決定することができる。[0016] Once the reference point is determined as described above,
A series of subsequent pointing operations are performed, in which case the aforementioned cursor is displayed on the pointing target object currently being pointed. With the assistance of this cursor, even when a specific target object is selected from a plurality of designated target objects, the target object can be easily and accurately determined.
【0017】決定された基準点の座標は情報入力装置に
読み込まれ、指示動作により先端点の座標が読み込まれ
れば両者による直線が決定され、従って指示目標物体が
決定される。本実施例の場合は上の直線とスクリーン(
Z=0)の交点の座標が指示目標物体の座標となる。[0017] The coordinates of the determined reference point are read into the information input device, and when the coordinates of the tip point are read by the pointing operation, a straight line between the two is determined, and accordingly, the pointed target object is determined. In this example, the upper straight line and the screen (
The coordinates of the intersection point (Z=0) are the coordinates of the indicated target object.
【0018】なお、上述の基準点の座標を情報処理装置
に入力し、基準点の位置の微調整を行うことも可能であ
る。[0018] It is also possible to input the coordinates of the above-mentioned reference point into the information processing device and finely adjust the position of the reference point.
【0019】次に、指示動作物体の特定の動作を識別し
、該動作を命令情報として利用することについて述べる
。図6では、手の動作のうち、親指の開閉動作をスイッ
チ情報として用いている。親指の開閉動作は、図1のテ
レビカメラ1,2によって撮影され、情報入力装置3に
よって識別が行なわれる。識別アルゴリズムの一例を図
7で説明する。
(1)指示動作物体を背景から切り出し、2値化処理を
行なう(11を得る)。
(2)図3で述べた如き手法を用いて先端点7(人差し
指先端)を認識する。
(3)先端点7と手首の位置20から、親指の移動範囲
を推測し、該範囲内で親指先端19の探索を行なう。
(4)親指先端19が発見されれば、「親指=開」状態
とし、発見されなければ、親指が人差し指の影に折りた
たまれているとし、「親指=閉」状態とする。親指の動
作は、開いた時点をON、閉じた時点をOFFとして定
義しても良いし、その逆も可能である。また、1ビット
のスイッチではなく、バリオームのような無段階又は多
段階の情報を持たせることもできる。この方法の利点は
、先端点を固定したままで命令動作を行なうことができ
るため、対象物決定と命令の区別が明確になることにあ
る。Next, a description will be given of identifying a specific motion of an instruction motion object and using the motion as command information. In FIG. 6, among the hand movements, the opening/closing movement of the thumb is used as switch information. The opening and closing motions of the thumb are photographed by the television cameras 1 and 2 in FIG. 1, and identified by the information input device 3. An example of the identification algorithm will be explained with reference to FIG. (1) Cut out the pointing motion object from the background and perform binarization processing (obtain 11). (2) Recognize tip point 7 (tip of index finger) using the method described in FIG. (3) The movement range of the thumb is estimated from the tip point 7 and the wrist position 20, and the thumb tip 19 is searched within the range. (4) If the tip of the thumb 19 is found, the state is set as "thumb=open"; if not found, the thumb is assumed to be folded in the shadow of the index finger, and the state is set as "thumb=closed". The action of the thumb may be defined as ON when the thumb is opened and OFF when the thumb is closed, or vice versa. Further, instead of a 1-bit switch, stepless or multi-step information such as variome can be provided. The advantage of this method is that the command operation can be performed while the tip point is fixed, so the distinction between object determination and command becomes clear.
【0020】以上のようにして求められた指示目標物体
および指示目標物体に対する命令に関する情報は、情報
入力装置から出力され情報処理装置に入力される。The information regarding the designated target object and the command for the designated target object obtained as described above is outputted from the information input device and inputted to the information processing device.
【0021】[0021]
【発明の効果】以上説明したように本発明は、特殊な装
置を使用することなく、3次元空間内の指示目標物体の
決定および該物体に対する命令動作を効率的に行うこと
を可能にし、3次元ビデオタブレット、3次元空間内仮
想指示装置などの実現に資する効果がある。As explained above, the present invention makes it possible to efficiently determine a designated target object in a three-dimensional space and command operations for the object without using any special equipment. This has the effect of contributing to the realization of dimensional video tablets, virtual instruction devices in three-dimensional space, and the like.
【図1】本発明の一実施例の説明図である。FIG. 1 is an explanatory diagram of an embodiment of the present invention.
【図2】図1においてyz平面からX軸に向かって見た
、先端点の決定方法を示す説明図である。FIG. 2 is an explanatory diagram illustrating a method for determining a tip point, viewed from the yz plane toward the X axis in FIG. 1;
【図3】先端点の探索アルゴリズムの一例を示す説明図
である。FIG. 3 is an explanatory diagram showing an example of a tip point search algorithm.
【図4】基準点の決定方法の一例を示す図である。FIG. 4 is a diagram illustrating an example of a method for determining a reference point.
【図5】基準点のキャリブレーションアルゴリズの一例
を示す説明図である。FIG. 5 is an explanatory diagram showing an example of a reference point calibration algorithm.
【図6】親指の開閉動作の識別アルゴリズムの一例を示
す説明図である。FIG. 6 is an explanatory diagram illustrating an example of an algorithm for identifying the opening/closing motion of the thumb.
【図7】親指の開閉状態を示す図である。FIG. 7 is a diagram showing the open and closed states of the thumb.
1,2 テレビカメラ、
3 情報入力装置、
0 情報処理装置、
4 スクリーン、
5 指示目標物体、
5.1 カーソル、
6 指示動作物体の一部(人間の手)、
7 先端点、
8 基準点、
9 指示動作物体(人間)、11
二値化された指示動作物体(手)、12
連続領域、
13 非連続領域、
14 スクリーンの中央に表示された指示目
標物体、
15 スクリーンの四隅に順番に表示された
指示目標物体、
16 先端点、
17 得られた直線、
18 得られた直線群1, 2 television camera, 3 information input device, 0 information processing device, 4 screen, 5 pointing target object, 5.1 cursor, 6 part of pointing object (human hand),
7 Tip point, 8 Reference point, 9 Indication motion object (human), 11
Binarized instructional motion object (hand), 12
Continuous area, 13 Discontinuous area, 14 Indication target object displayed in the center of the screen, 15 Indication target object displayed in order at the four corners of the screen, 16 Tip point, 17 Obtained straight line, 18 Obtained straight line group
Claims (3)
標物体を指示する指示動作物体に対して異なる視野を持
つように配置された複数の撮像装置から得られる複数の
撮像信号を処理して該指示動作物体の3次元座標を得て
入力するとともに、前記指示動作物体および基準点を結
ぶ直線上に存在する指示目標物体を決定し、これを入力
する情報入力方法において、前記指示動作物体の座標を
該物体における前記指示目標物体に最も近接する位置の
3次元座標を求めて得た先端点の座標とし、情報入力を
行うにあたって複数の既知の指示目標物体に対し順次指
示動作を行い、指示方向を表わす直線が1点に交差する
定点を求めて基準点とし、該基準点および前記先端点か
ら指示目標物体を決定し入力することを特徴とする情報
入力方法。Claim 1: Processing a plurality of imaging signals obtained from a plurality of imaging devices arranged to have different fields of view with respect to a pointing motion object that points to a pointing target object such as a human hand or a pointing device. In an information input method in which the three-dimensional coordinates of a pointing motion object are obtained and inputted, and a pointing target object existing on a straight line connecting the pointing motion object and a reference point is determined and inputted, the coordinates of the pointing motion object are determined. Let be the coordinates of the tip point obtained by finding the three-dimensional coordinates of the position closest to the pointing target object in the object, and when inputting information, sequentially perform pointing motions on a plurality of known pointing target objects, and determine the pointing direction. An information input method characterized in that a fixed point at which a straight line representing intersects is determined and used as a reference point, and a designated target object is determined and input from the reference point and the tip point.
標物体を指示する指示動作物体に対して異なる視野を持
つように配置された複数の撮像装置から得られる複数の
撮像信号を処理して該指示動作物体の3次元座標を得て
入力するとともに、前記指示動作物体および基準点を結
ぶ直線上に存在する指示目標物体を決定し、これを入力
する情報入力方法において、現に指示動作が行われてい
る指示目標物体に対してカーソルを表示することを特徴
とする情報入力方法。2. Processing a plurality of imaging signals obtained from a plurality of imaging devices arranged to have different fields of view with respect to a pointing motion object that points to a pointing target object such as a human hand or a pointing device. In an information input method in which the three-dimensional coordinates of a pointing motion object are obtained and inputted, and a pointing target object existing on a straight line connecting the pointing motion object and a reference point is determined and inputted, the pointing motion is actually performed. An information input method characterized by displaying a cursor on a pointing target object.
標物体を指示する指示動作物体に対して異なる視野を持
つように配置された複数の撮像装置から得られる複数の
撮像信号を処理して該指示動作物体の3次元座標を得て
入力するとともに、前記指示動作物体および基準点を結
ぶ直線上に存在する指示目標物体を決定し、これを入力
する情報入力方法において、前記指示動作物体の特定の
動作を識別し、前記指示目標物体に対する命令情報を入
力することを特徴とする情報入力方法。3. Processing a plurality of imaging signals obtained from a plurality of imaging devices arranged to have different fields of view with respect to a pointing motion object that points to a pointing target object such as a human hand or a pointing device. In an information input method, the three-dimensional coordinates of a pointing object are obtained and inputted, and a pointing target object existing on a straight line connecting the pointing object and a reference point is determined and inputted. 1. An information input method characterized by identifying a motion of a target object and inputting command information for the designated target object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03053565A JP3114813B2 (en) | 1991-02-27 | 1991-02-27 | Information input method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03053565A JP3114813B2 (en) | 1991-02-27 | 1991-02-27 | Information input method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04271423A true JPH04271423A (en) | 1992-09-28 |
JP3114813B2 JP3114813B2 (en) | 2000-12-04 |
Family
ID=12946348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03053565A Expired - Fee Related JP3114813B2 (en) | 1991-02-27 | 1991-02-27 | Information input method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3114813B2 (en) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0757103A (en) * | 1993-08-23 | 1995-03-03 | Toshiba Corp | Information processor |
JPH07271818A (en) * | 1994-03-31 | 1995-10-20 | Toshiba Corp | Hyper-medium system |
JPH10326148A (en) * | 1997-03-21 | 1998-12-08 | Takenaka Komuten Co Ltd | Hand pointing device |
US6434255B1 (en) | 1997-10-29 | 2002-08-13 | Takenaka Corporation | Hand pointing apparatus |
JP2002244810A (en) * | 1993-03-10 | 2002-08-30 | Adc Technology Kk | Virtual reality space data input device |
JP2003533817A (en) * | 2000-05-17 | 2003-11-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Apparatus and method for pointing a target by image processing without performing three-dimensional modeling |
JP2007323660A (en) * | 2007-06-25 | 2007-12-13 | Sony Corp | Drawing device and drawing method |
JP2009075685A (en) * | 2007-09-19 | 2009-04-09 | Sony Corp | Image processor, image processing method, and program |
JP2009240370A (en) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | Motion detector |
GB2462709A (en) * | 2008-08-22 | 2010-02-24 | Northrop Grumman Space & Msn | A method for determining compound gesture input |
US8139110B2 (en) | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
JP2012069095A (en) * | 2010-08-25 | 2012-04-05 | Canon Inc | Information processing device and control method thereof |
US8180114B2 (en) | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
US8234578B2 (en) | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
US8345920B2 (en) | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
US8432448B2 (en) | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
JP2013208450A (en) * | 2007-09-07 | 2013-10-10 | Konami Digital Entertainment Co Ltd | Image processing device, game apparatus, and computer program |
US8589824B2 (en) | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
CN104199547A (en) * | 2014-08-29 | 2014-12-10 | 福州瑞芯微电子有限公司 | Man-machine interactive type virtual touch device, system and method |
CN104199549A (en) * | 2014-08-29 | 2014-12-10 | 福州瑞芯微电子有限公司 | Man-machine interactive type virtual touch device, system and method |
CN104199550A (en) * | 2014-08-29 | 2014-12-10 | 福州瑞芯微电子有限公司 | Man-machine interactive type virtual touch device, system and method |
CN104199548A (en) * | 2014-08-29 | 2014-12-10 | 福州瑞芯微电子有限公司 | Man-machine interactive type virtual touch device, system and method |
JP2015038777A (en) * | 2014-11-12 | 2015-02-26 | セイコーエプソン株式会社 | Position detecting system, display system, and information processing system |
WO2015045082A1 (en) * | 2013-09-27 | 2015-04-02 | 日立マクセル株式会社 | Terminal device and input method |
US9081430B2 (en) | 2011-04-22 | 2015-07-14 | Panasonic Intellectual Property Corporation Of America | Pointing control device, integrated circuit thereof and pointing control method |
JP2016099917A (en) * | 2014-11-26 | 2016-05-30 | レノボ・シンガポール・プライベート・リミテッド | Method for performing action corresponding to pointing gesture, conference support system, and computer program |
US9377874B2 (en) | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
US9696808B2 (en) | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
JP2017131433A (en) * | 2016-01-28 | 2017-08-03 | ゼネラル・エレクトリック・カンパニイ | Medical image display apparatus, control program therefor, and medical image display system |
JP2018528551A (en) * | 2015-06-10 | 2018-09-27 | ブイタッチ・コーポレーション・リミテッド | Gesture detection method and apparatus on user reference space coordinate system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6070211B2 (en) | 2013-01-22 | 2017-02-01 | 株式会社リコー | Information processing apparatus, system, image projection apparatus, information processing method, and program |
-
1991
- 1991-02-27 JP JP03053565A patent/JP3114813B2/en not_active Expired - Fee Related
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002244810A (en) * | 1993-03-10 | 2002-08-30 | Adc Technology Kk | Virtual reality space data input device |
JPH0757103A (en) * | 1993-08-23 | 1995-03-03 | Toshiba Corp | Information processor |
JPH07271818A (en) * | 1994-03-31 | 1995-10-20 | Toshiba Corp | Hyper-medium system |
JPH10326148A (en) * | 1997-03-21 | 1998-12-08 | Takenaka Komuten Co Ltd | Hand pointing device |
US6385331B2 (en) | 1997-03-21 | 2002-05-07 | Takenaka Corporation | Hand pointing device |
US6434255B1 (en) | 1997-10-29 | 2002-08-13 | Takenaka Corporation | Hand pointing apparatus |
JP2003533817A (en) * | 2000-05-17 | 2003-11-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Apparatus and method for pointing a target by image processing without performing three-dimensional modeling |
JP4768196B2 (en) * | 2000-05-17 | 2011-09-07 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Apparatus and method for pointing a target by image processing without performing three-dimensional modeling |
US9696808B2 (en) | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
US8180114B2 (en) | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
US8589824B2 (en) | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
US8234578B2 (en) | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
US8432448B2 (en) | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
JP4513830B2 (en) * | 2007-06-25 | 2010-07-28 | ソニー株式会社 | Drawing apparatus and drawing method |
JP2007323660A (en) * | 2007-06-25 | 2007-12-13 | Sony Corp | Drawing device and drawing method |
JP2013208450A (en) * | 2007-09-07 | 2013-10-10 | Konami Digital Entertainment Co Ltd | Image processing device, game apparatus, and computer program |
US8643598B2 (en) | 2007-09-19 | 2014-02-04 | Sony Corporation | Image processing apparatus and method, and program therefor |
JP4569613B2 (en) * | 2007-09-19 | 2010-10-27 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP2009075685A (en) * | 2007-09-19 | 2009-04-09 | Sony Corp | Image processor, image processing method, and program |
US8896535B2 (en) | 2007-09-19 | 2014-11-25 | Sony Corporation | Image processing apparatus and method, and program therefor |
US8139110B2 (en) | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
US9377874B2 (en) | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
JP2009240370A (en) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | Motion detector |
US8345920B2 (en) | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
GB2462709B (en) * | 2008-08-22 | 2012-11-14 | Northrop Grumman Systems Corp | Compound gesture recognition |
US8972902B2 (en) | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
GB2462709A (en) * | 2008-08-22 | 2010-02-24 | Northrop Grumman Space & Msn | A method for determining compound gesture input |
JP2012069095A (en) * | 2010-08-25 | 2012-04-05 | Canon Inc | Information processing device and control method thereof |
US9081430B2 (en) | 2011-04-22 | 2015-07-14 | Panasonic Intellectual Property Corporation Of America | Pointing control device, integrated circuit thereof and pointing control method |
WO2015045082A1 (en) * | 2013-09-27 | 2015-04-02 | 日立マクセル株式会社 | Terminal device and input method |
CN104199547A (en) * | 2014-08-29 | 2014-12-10 | 福州瑞芯微电子有限公司 | Man-machine interactive type virtual touch device, system and method |
CN104199548A (en) * | 2014-08-29 | 2014-12-10 | 福州瑞芯微电子有限公司 | Man-machine interactive type virtual touch device, system and method |
CN104199550A (en) * | 2014-08-29 | 2014-12-10 | 福州瑞芯微电子有限公司 | Man-machine interactive type virtual touch device, system and method |
CN104199550B (en) * | 2014-08-29 | 2017-05-17 | 福州瑞芯微电子股份有限公司 | Virtual keyboard operation device, system and method |
CN104199549A (en) * | 2014-08-29 | 2014-12-10 | 福州瑞芯微电子有限公司 | Man-machine interactive type virtual touch device, system and method |
JP2015038777A (en) * | 2014-11-12 | 2015-02-26 | セイコーエプソン株式会社 | Position detecting system, display system, and information processing system |
JP2016099917A (en) * | 2014-11-26 | 2016-05-30 | レノボ・シンガポール・プライベート・リミテッド | Method for performing action corresponding to pointing gesture, conference support system, and computer program |
JP2018528551A (en) * | 2015-06-10 | 2018-09-27 | ブイタッチ・コーポレーション・リミテッド | Gesture detection method and apparatus on user reference space coordinate system |
JP2017131433A (en) * | 2016-01-28 | 2017-08-03 | ゼネラル・エレクトリック・カンパニイ | Medical image display apparatus, control program therefor, and medical image display system |
Also Published As
Publication number | Publication date |
---|---|
JP3114813B2 (en) | 2000-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3114813B2 (en) | Information input method | |
US8274535B2 (en) | Video-based image control system | |
Kim et al. | Touch and hand gesture-based interactions for directly manipulating 3D virtual objects in mobile augmented reality | |
EP3629129A1 (en) | Method and apparatus of interactive display based on gesture recognition | |
US6204852B1 (en) | Video hand image three-dimensional computer interface | |
EP1292877B1 (en) | Apparatus and method for indicating a target by image processing without three-dimensional modeling | |
Cabral et al. | On the usability of gesture interfaces in virtual reality environments | |
US9483690B2 (en) | Calibrating vision systems | |
O'Hagan et al. | Visual gesture interfaces for virtual environments | |
US20120200494A1 (en) | Computer vision gesture based control of a device | |
JPH0844490A (en) | Interface device | |
JPH02132510A (en) | Input device | |
JPH07141101A (en) | Input system using picture | |
US20140053115A1 (en) | Computer vision gesture based control of a device | |
US20070216642A1 (en) | System For 3D Rendering Applications Using Hands | |
Xiao et al. | A hand gesture-based interface for design review using leap motion controller | |
JPS61196317A (en) | Information input system | |
GB2345538A (en) | Optical tracker | |
Ueng et al. | Vision based multi-user human computer interaction | |
JPH07160412A (en) | Pointed position detecting method | |
Sato et al. | Video-based tracking of user's motion for augmented desk interface | |
Dias et al. | In your hand computing: tangible interfaces for mixed reality | |
JP3276010B2 (en) | How to enter information | |
JPH04257014A (en) | Input device | |
Maidi et al. | Interactive media control using natural interaction-based Kinect |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |