JPH0519957A - Information inputting method - Google Patents
Information inputting methodInfo
- Publication number
- JPH0519957A JPH0519957A JP3174066A JP17406691A JPH0519957A JP H0519957 A JPH0519957 A JP H0519957A JP 3174066 A JP3174066 A JP 3174066A JP 17406691 A JP17406691 A JP 17406691A JP H0519957 A JPH0519957 A JP H0519957A
- Authority
- JP
- Japan
- Prior art keywords
- pointing
- information
- motion object
- target object
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、人間の手足や指示器の
ような指示動作物体の動きを直接映像としてとらえ、該
指示動作物体の動きによって表現される情報を画像処理
によって情報処理装置に指示目標物体等に対する情報と
して入力する情報入力方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention captures the motion of a pointing action object such as a human limb or an indicator directly as an image, and the information represented by the movement of the pointing action object is applied to an information processing apparatus by image processing. The present invention relates to an information input method for inputting information as information on a pointing target object or the like.
【０００２】[0002]
【従来の技術】現在、情報処理装置（コンピュータ）の
入力装置としては、キーボードやマウスなどが一般的に
用いられている。しかしながら、これらの装置を使用す
る場合、ある程度の熟練が要求され、万人が即座に使用
できるようなものではない。現在、「コンピュータはむ
ずかしい」という人が多いのは、このような劣悪なイン
タフェースにもその一因があると考えられる。本来なら
ば、人間同士が会話をするのと同じような自然な方法を
用いて、コンピュータとの会話が行なわれるべきであ
る。この点、「身振り手振り」を用いたインタフェース
は、誰にでも熟練を要することなく簡便に使用でき、
「誰にでも使えるコンピュータ」の実現に大きく寄与す
ると考えられる。特願平第３−０５３５６５号「情報入
力方法」は上記問題を一部解決し、テレビカメラから入
力された映像から指先もしくは指示器の位置を検出し、
指示目標物体の特定と命令動作の認識を行なうものであ
る。2. Description of the Related Art At present, a keyboard and a mouse are generally used as an input device of an information processing device (computer). However, use of these devices requires a certain degree of skill and is not something that can be immediately used by everyone. The reason why many people now say that "computers are difficult" is probably due to such a poor interface. Naturally, a conversation with a computer should be conducted in the same natural way as humans do. In this respect, the interface using "gesture gesture" can be easily used by anyone without skill.
It is believed that this will greatly contribute to the realization of a "computer that anyone can use." Japanese Patent Application No. 3-053565 "Information Input Method" partially solves the above problem and detects the position of a fingertip or an indicator from an image input from a television camera,
This is for identifying the pointing target object and recognizing the command action.
【０００３】[0003]
【発明が解決しようとする課題】上述した従来の技術に
は、以下のような欠点がある。The above-mentioned conventional techniques have the following drawbacks.
【０００４】（１）命令情報の入力方法について、「指
示動作物体の特定動作を識別し、指示目標物体に対する
命令情報を入力する」と書かれており、具体的には親指
の開閉動作を用いているが、指示動作物体の特定の動作
のみの識別では、与えられる命令情報が限られる。ま
た、指示対象物体を常に指示し続けていなければいけな
いわけではなく、指示動作を含まない命令動作も考えら
れる。(1) Regarding a method of inputting command information, it is written that "a specific motion of a pointing motion object is identified and command information for a pointing target object is input". Specifically, a thumb opening / closing motion is used. However, the command information provided is limited in the identification of only a specific motion of the pointing motion object. Further, it is not always necessary to continue pointing the pointing target object, and command operations that do not include pointing operations are also possible.
【０００５】（２）命令情報の入力方法につて、「指示
動作物体の特定の動作を識別し、指示目標物体に対する
命令情報を入力する」と書かれているが、人間は身振り
手振りだけを用いて指示を行なうわけではない。(2) Regarding the method of inputting command information, it is described that "a specific motion of a pointing motion object is identified and command information for a pointing target object is input", but humans use only gestures and gestures. Does not give instructions.
【０００６】（３）指示動作物体の背景からの切り出し
について、「指示動作物体を背景から切り出し、２値化
処理を行なう」としか書かれていない。一般に、照明条
件が変化すると２値化処理の際の閾値が変化する。ま
た、切り出し性能を一定に保つために特殊な照明を当て
ると、操作者に不快な思いをさせる。(3) Regarding clipping of the pointing action object from the background, only "cutting out the pointing action object from the background and performing binarization processing" is described. Generally, when the illumination condition changes, the threshold value in the binarization process changes. Further, if special lighting is applied to keep the cutting performance constant, the operator feels uncomfortable.
【０００７】本発明の第１の目的は、数多くの情報を情
報処理装置に入力することができる、情報の入力方法を
提供することである。A first object of the present invention is to provide an information input method capable of inputting a large amount of information into an information processing device.
【０００８】本発明の第２の目的は、より自然な形で情
報を情報処理装置に入力することができる、情報の入力
方法を提供することである。A second object of the present invention is to provide an information input method capable of inputting information to an information processing device in a more natural form.
【０００９】本発明の第３の目的は、操作者に気づかれ
ることなく、安定した画像処理が可能な、情報の入力方
法を提供することである。A third object of the present invention is to provide a method of inputting information that enables stable image processing without the operator's being aware.
【００１０】[0010]
【課題を解決するための手段】本発明の第１の、情報の
入力方法は、操作者の手足、指示器などの、指示目標物
体を指示する指示動作物体に対して異なる視野を持つよ
うに配置された複数台の撮像装置から得られる、前記指
示動作物体の複数の撮像信号を処理して前記指示動作物
体の三次元空間内の座標位置を決定し、これを情報処理
装置に入力し、前記指示動作物体と、予め定められた基
準点とを結ぶ直線上に存在する前記指示目標物体を決定
し、前記指示動作物体の特定の状態またはその状態系列
を識別し、該特定の状態または該状態系列に対応して予
め決められた情報を、前記指示目標物体等に対する情報
として情報処理装置に入力するものである。A first method of inputting information according to the present invention is to provide a different field of view with respect to a pointing action object that points a pointing target object, such as an operator's limb or indicator. Obtained from a plurality of arranged imaging devices, determine the coordinate position in the three-dimensional space of the pointing motion object by processing a plurality of imaging signals of the pointing motion object, and input this to the information processing device, The pointing target object existing on a straight line connecting the pointing motion object and a predetermined reference point is determined, a specific state of the pointing motion object or a state series thereof is identified, and the specific state or the Predetermined information corresponding to the state series is input to the information processing device as information on the pointing target object and the like.
【００１１】本発明の第２の情報の入力方法は、操作者
の手足、指示器などの、指示目標物体を指示する指示動
作物体に対して異なる視野を持つように配置された複数
台の撮像装置から得られる、前記指示動作物体の複数の
撮像信号を処理して前記指示動作物体の三次元空間内の
座標位置を決定し、これを情報処理装置に入力し、前記
指示動作物体と、予め定められた基準点とを結ぶ直線上
に存在する前記指示目標物体を決定し、前記指示動作物
体の特定の動作および状態と、音声認識装置による、前
記操作者の音声の前記音声認識結果の任意の組合わせに
対応して予め決められた情報を前記指示目標物体等に対
する命令情報として情報処理装置に入力するものであ
る。The second information inputting method of the present invention is a method in which a plurality of imaging devices arranged so as to have different visual fields with respect to a pointing motion object that points a pointing target object, such as an operator's limbs and pointing device. A plurality of image pickup signals of the pointing motion object obtained from the device are processed to determine the coordinate position of the pointing motion object in the three-dimensional space, and the coordinate position is input to the information processing device. Arbitrary of the voice recognition result of the operator's voice determined by the pointing target object existing on a straight line connecting the defined reference point, the specific action and state of the pointing motion object, and the voice recognition device. The predetermined information corresponding to the combination is input to the information processing device as command information for the pointing target object or the like.
【００１２】本発明の、第３の情報の入力方法は、指示
動作物体を撮像装置により撮像する際、１個または複数
個の非可視光照明装置を用いて指示動作物体を照明する
とともに、撮像装置に可視光カットフィルタを装着する
ものである。According to a third information input method of the present invention, when a pointing motion object is imaged by an imaging device, the pointing motion object is illuminated by using one or a plurality of invisible light illuminating devices, and the imaging is performed. The device is equipped with a visible light cut filter.
【００１３】[0013]
【作用】第１の情報の入力方法によれば、指示目標物体
等に対するより多くの情報を入力することができる。第
２の情報の入力方法によれば、操作者の音声を用いるの
で、より自然な形で情報を入力することができる。第３
の情報の入力方法によれば、操作者に気づかれることな
く安定した画像処理が可能となる。According to the first information input method, it is possible to input more information on the pointing target object and the like. According to the second information input method, since the voice of the operator is used, the information can be input in a more natural form. Third
According to this information input method, stable image processing can be performed without being noticed by the operator.
【００１４】[0014]
【実施例】次に、本発明の実施例について図面を参照し
て説明する。Embodiments of the present invention will now be described with reference to the drawings.
【００１５】図１は本発明の第１の実施例を示す構成
図、図２は指示動作物体である手６の特定の状態の検出
アルゴリズムの説明図、図３は指が接近している状態を
表わす説明図である。FIG. 1 is a block diagram showing a first embodiment of the present invention, FIG. 2 is an explanatory view of an algorithm for detecting a specific state of a hand 6 which is a pointing action object, and FIG. 3 is a state where a finger is approaching. FIG.
【００１６】本実施例は、操作者１０の手６（指示動作
物体）によって、スクリーン４上に投影された指示目標
物体５に対する命令を指示し、手６に対して異なる視野
を持つように壁面と天井にそれぞれ配置された２台のテ
レビカメラ１，２（撮像装置）によって得られた２つの
撮像信号を情報入力装置３で処理して前記命令を得、こ
れを情報処理装置９に入力するものである。なお、三次
元空間の座標系は、スクリーン４の右下隅を原点Ｏとし
て図１のようにとられている。In this embodiment, the hand 6 (pointing motion object) of the operator 10 gives a command to the pointing target object 5 projected on the screen 4 so that the hand 6 has a different visual field. And the two image pickup signals obtained by the two TV cameras 1 and 2 (image pickup devices) arranged on the ceiling are processed by the information input device 3 to obtain the command, which is input to the information processing device 9. It is a thing. The coordinate system of the three-dimensional space is set as shown in FIG. 1 with the lower right corner of the screen 4 as the origin O.
【００１７】次に、本実施例の動作を説明する。Next, the operation of this embodiment will be described.
【００１８】まず、２台のテレビカメラ１，２から手６
の映像を情報入力装置３に入力し、該装置３において処
理することによって手６の先端点７の三次元空間Ｏ−ｘ
ｙｚにおける座標位置を決定する。次に、先端点７と基
準点８から指示目標物体５を前記特願平３−０５３５６
５号明細書に記載の方法を用いて決定する。次に、手６
の特定の状態または状態系列を識別し、該状態または該
状態系列に対応して予め決められた情報を指示目標物体
５等に対する命令情報として情報処理装置９に入力す
る。これについて図２により詳細に説明する。First, the two TV cameras 1 and 2 to the hand 6
Of the three-dimensional space O-x of the tip point 7 of the hand 6 by inputting the image of
Determine the coordinate position in yz. Next, the pointing target object 5 is moved from the tip point 7 and the reference point 8 to the above-mentioned Japanese Patent Application No.
It is determined using the method described in No. 5. Then hand 6
The specific state or state series of is identified, and information determined in advance corresponding to the state or state series is input to the information processing device 9 as command information for the pointing target object 5 or the like. This will be described in detail with reference to FIG.
【００１９】本実施例では手６の状態のうち、開いた指
の本数を識別し、これを命令情報として用いている。指
の開閉状態はテレビカメラ１，２によって撮影され、情
報入力装置３によって識別が行なわれる。識別アルゴリ
ズムを図２により説明する。In this embodiment, the number of open fingers in the state of the hand 6 is identified and used as command information. The open / closed state of the finger is photographed by the television cameras 1 and 2, and the information input device 3 identifies it. The identification algorithm will be described with reference to FIG.
【００２０】（１）手６を背景から切り出し、２値化処
理を行なう。(1) The hand 6 is cut out from the background and binarized.
【００２１】（２）特願平３−０５３５６５号に記載さ
れた方法を用いて先端点７を認識する。(2) The tip point 7 is recognized by using the method described in Japanese Patent Application No. 3-053565.
【００２２】（３）先端点７と手首の位置１９から、探
索中心２０、探索半径２１を決定する。(3) A search center 20 and a search radius 21 are determined from the tip point 7 and the wrist position 19.
【００２３】（４）円弧状の探索経路２２にしたがって
探索を行ない、経路２２中に存在する手６の領域２４ａ
〜２４ｅ中の連続部分の個数をカウントし、かつ各連続
部分の長さを求める。(4) The search is performed according to the arc-shaped search path 22, and the area 24a of the hand 6 existing in the path 22.
The number of continuous portions in 24e is counted, and the length of each continuous portion is obtained.
【００２４】（５）指の特徴量である各指の太さ２３ａ
〜２３ｄと各連続部分の個数および長さから、開いてい
る指の本数のカウントを行なう。(5) Thickness 23a of each finger, which is the characteristic amount of the finger
.About.23d and the number and length of each continuous portion, the number of open fingers is counted.
【００２５】適切な探索中心および探索半径を選ぶこと
によって、探索経路を簡単な円弧状にすることが可能で
ある。また、指の太さの情報を用いることによって、図
３のような、各指が離れず、くっついた場合でも安定し
たカウントができる。なお、指の太さの情報を用いるこ
とによって、抽出された連続部分からノイズ等による影
響を取り除くことができる。By selecting an appropriate search center and search radius, it is possible to make the search path into a simple arc shape. Further, by using the information on the finger thickness, stable counting can be performed even when the fingers do not separate and stick to each other as shown in FIG. Note that the influence of noise or the like can be removed from the extracted continuous portion by using the finger thickness information.
【００２６】本実施例では、指示動作物体として人間の
手６を用いているが、これは足や口などの他の身体の部
分や、棒などの指示器を用いてもよい。さらに、本実施
例では２台のテレビカメラ１，２を壁面と天井に配置し
ているが、テレビカメラはステレオ画像をえることがで
きるような位置に複数台配置されていればよい。なお、
指の太さ等の情報は情報処理装置９から情報入力装置３
に入力される。また、情報処理装置９に入力される情報
は命令情報に限らない。指示目標物体５以外の命令情報
も同時に入力してよい。In this embodiment, the human hand 6 is used as the pointing action object, but other body parts such as feet and mouth, or an indicator such as a stick may be used. Furthermore, in the present embodiment, two TV cameras 1 and 2 are arranged on the wall surface and the ceiling, but a plurality of TV cameras may be arranged at a position where a stereo image can be obtained. In addition,
Information such as the thickness of a finger is input from the information processing device 9 to the information input device 3
Entered in. The information input to the information processing device 9 is not limited to command information. Command information other than the pointing target object 5 may be input at the same time.
【００２７】図４は本発明の第２の実施例を示す構成図
である。FIG. 4 is a block diagram showing the second embodiment of the present invention.
【００２８】本実施例は、手６の特定の動作、状態と操
作者１０の「あれ」、「これ」といった音声情報を併用
して指示目標物体５に対する命令情報を入力するもので
ある。In this embodiment, the command information for the pointing target object 5 is input by using the specific motion and state of the hand 6 and the voice information such as "that" and "this" of the operator 10.
【００２９】操作者１０の音声はマイク１１を通じて、
音声認識装置１２に取込まれ、解釈されて情報入力装置
３に導かれる。情報入力装置３は、操作者１０の指示動
作、親指の開閉などの特定の動作、指の本数などの特定
の状態と操作者１０の音声情報を任意に組み合わせて各
種操作を行なう。ここで、上記各種情報の組み合わせ方
には、例えば以下のようなものが考えられる。The voice of the operator 10 is transmitted through the microphone 11
It is taken in by the voice recognition device 12, interpreted and guided to the information input device 3. The information input device 3 performs various operations by arbitrarily combining an instruction operation of the operator 10, a specific operation such as opening and closing of a thumb, a specific state such as the number of fingers, and voice information of the operator 10. Here, the following may be considered as a method of combining the above various types of information.
【００３０】
・人差し指で指示し、親指で選択
・人差し指で指示し、「あれ」、「これ」といった音声
で選択
・音声をトリガとし、指の本数で選択
・「一番」、「開く」など音声のみで選択
なお、音声出力装置１３、スピーカー１４を組み合わせ
ることによって、合成音声や各種信号音によりガイダン
スを操作者１０に対して行なうことができ、より自然な
操作が可能である。・ Instruct with the forefinger, select with the thumb ・ Instruct with the forefinger, select with voice such as "that" or "this" ・ Select with the number of fingers triggered by voice ・ "First", "open", etc. Selection by voice only In addition, by combining the voice output device 13 and the speaker 14, it is possible to provide guidance to the operator 10 with synthetic voice and various signal sounds, and more natural operation is possible.
【００３１】図５は本発明の第３の実施例を示す構成図
である。FIG. 5 is a block diagram showing the third embodiment of the present invention.
【００３２】本実施例では、第１の実施例において、手
６を照明する赤外線照明装置１５が設けられ、赤外線照
明装置１５、テレビカメラ１，２には可視光カットフィ
ルタ１６，１７，１８がそれぞれ装着されている。In this embodiment, an infrared illuminating device 15 for illuminating the hand 6 is provided in the first embodiment, and the infrared illuminating device 15 and the television cameras 1 and 2 are provided with visible light cut filters 16, 17, and 18. Each is installed.
【００３３】通常、画像処理を行なう場合、安定した処
理のために、補助照明を用いることが多い。しかしなが
ら、補助照明は操作者にとって不自然な感じを与え、操
作の不快感に繋る。ここで、人間の可視領域の外側の波
長の光を用いて照明を行なえば、操作者に照明光を意識
させることなく、安定した画像処理が可能となる。本例
では、照明光として赤外線ＬＥＤアレイを用いている。
これは、目的の波長の赤外光を容易に得られ、しかも、
消費電力が少ないという利点を持っている。ＬＥＤの全
面に可視光カットフィルタ１６を用いて、赤外領域の光
のみを通している。したがって、操作者１０に照明光の
存在を知られることはない。また、テレビカメラ１，２
の先端にも同様のフィルタ１７，１８を装着することに
より、蛍光灯などの通常照明による影響をなくし、赤外
線照明のみによる安定した処理が可能となる。Usually, when performing image processing, auxiliary illumination is often used for stable processing. However, the auxiliary lighting gives an unnatural feeling to the operator, leading to discomfort in the operation. Here, if illumination is performed using light having a wavelength outside the human visible range, stable image processing can be performed without making the operator aware of the illumination light. In this example, an infrared LED array is used as the illumination light.
This makes it easy to obtain infrared light of the desired wavelength, and
It has the advantage of low power consumption. A visible light cut filter 16 is used on the entire surface of the LED to pass only light in the infrared region. Therefore, the operator 10 does not know the existence of the illumination light. Also, the TV cameras 1 and 2
By attaching the similar filters 17 and 18 to the tip of, it is possible to eliminate the influence of normal illumination such as a fluorescent lamp and to perform stable processing only by infrared illumination.
【００３４】なお、赤外線照明装置を設け、可視光カッ
トフィルタをテレビカメラに装着することは第２の実施
例および従来の情報の入力方法にも適用できる。It should be noted that providing an infrared illuminating device and mounting a visible light cut filter on the television camera can be applied to the second embodiment and the conventional information input method.
【００３５】[0035]
【発明の効果】以上説明したように本発明は、次のよう
な効果がある。As described above, the present invention has the following effects.
【００３６】（１）請求項１の発明は、指示動作物体の
特定の状態またはその状態系列を識別して、指示目標物
体に対する情報を入力することにより、より多くの情報
を入力することができる。(1) According to the first aspect of the present invention, more information can be input by identifying a specific state of the pointing motion object or a state series thereof and inputting information for the pointing target object. .
【００３７】（２）請求項２の発明は、指示動作物体の
特定の動作および状態と操作者の音声情報を組み合わせ
て情報を入力することにより、指示目標物体に対しての
動作をより自然な形で行なうことができる。(2) According to the invention of claim 2, by inputting information by combining the specific motion and state of the pointing motion object and the voice information of the operator, the motion with respect to the pointing target object becomes more natural. It can be done in shape.
【００３８】（３）請求項３，４の発明は、非可視光照
明装置を用いて指示動作物体を照明するとともに、撮像
装置に可視光カットフィルタを装着することにより、操
作者に気づかれることなく安定した画像処理が可能とな
る。(3) According to the third and fourth aspects of the invention, the invisible light illuminating device is used to illuminate the pointing action object, and the visible light cut filter is attached to the image pickup device so that the operator can be aware of it. Stable image processing is possible.
【図１】本発明の第１の実施例を示す構成図である。FIG. 1 is a configuration diagram showing a first embodiment of the present invention.
【図２】指示動作物体である手６の特定の状態の検出ア
ルゴリズムの説明図である。FIG. 2 is an explanatory diagram of an algorithm for detecting a specific state of a hand 6 that is a pointing motion object.
【図３】指が互いに接近している状態を表わす説明図で
ある。FIG. 3 is an explanatory diagram illustrating a state where fingers are approaching each other.
【図４】本発明の第２の実施例を示す構成図である。FIG. 4 is a configuration diagram showing a second embodiment of the present invention.
【図５】本発明の第３の実施例を示す構成図である。FIG. 5 is a configuration diagram showing a third embodiment of the present invention.
１，２ テレビカメラ ３ 情報入力装置 ４ スクリーン ５ 指示目標物体 ６ 手 ７ 先端点 ８ 基準点 ９ 情報処理装置 １０ 操作者 １１ マイク １２ 音声認識装置 １３ 音声出力装置 １４ スピーカー １５ 照明装置 １６ 可視光カットフィルタ（照明装置１５側） １７ 可視光カットフィルタ（テレビカメラ１側） １８ 可視光カットフィルタ（テレビカメラ２側） １９ 手首の位置 ２０ 探索中心 ２１ 探索半径 ２２ 探索経路 ２３ａ〜２３ｅ 各指の太さ ２４ａ〜２４ｅ 探索経路２２中の各指の領域 1, 2 TV cameras 3 Information input device 4 screen 5 Pointing target object 6 hands 7 Tip 8 reference points 9 Information processing equipment 10 Operator 11 microphone 12 Speech recognition device 13 Audio output device 14 speakers 15 Lighting equipment 16 Visible light cut filter (illumination device 15 side) 17 Visible light cut filter (TV camera 1 side) 18 Visible light cut filter (TV camera 2 side) 19 Wrist position 20 search center 21 Search radius 22 Search route 23a to 23e Thickness of each finger 24a to 24e Regions of each finger in the search path 22
Claims (4)
物体を指示する指示動作物体に対して異なる視野を持つ
ように配置された複数台の撮像装置から得られる、前記
指示動作物体の複数の撮像信号を処理して前記指示動作
物体の三次元空間内の座標位置を決定し、これを情報処
理装置に入力し、 前記指示動作物体と、予め定められた基準点とを結ぶ直
線上に存在する前記指示目標物体を決定し、 前記指示動作物体の特定の状態またはその状態系列を識
別し、該特定の状態または該状態系列に対応して予め決
められた情報を、前記指示目標物体等に対する情報とし
て情報処理装置に入力する、情報の入力方法。1. A pointing motion object obtained from a plurality of imaging devices arranged so as to have different fields of view with respect to a pointing motion object that points a pointing target object, such as an operator's limbs and pointing device. A plurality of image pickup signals are processed to determine the coordinate position of the pointing motion object in the three-dimensional space, and this is input to the information processing device, and on a straight line connecting the pointing motion object and a predetermined reference point. The pointing target object existing in the, the specific state of the pointing motion object or a state sequence thereof is identified, and predetermined information corresponding to the specific state or the state series is set to the pointing target object. A method for inputting information, which is input to the information processing device as information for the information.
物体を指示する指示動作物体に対して異なる視野を持つ
ように配置された複数台の撮像装置から得られる、前記
指示動作物体の複数の撮像信号を処理して前記指示動作
物体の三次元空間内の座標位置を決定し、これを情報処
理装置に入力し、 前記指示動作物体と、予め定められた基準点とを結ぶ直
線上に存在する前記指示目標物体を決定し、 前記指示動作物体の特定の動作および状態と、音声認識
装置による前記操作者の音声の音声認識結果の任意の組
合わせに対応して予め決められた情報を前記指示目標物
体等に対する情報として情報処理装置に入力する、情報
の入力方法。2. The pointing action object obtained from a plurality of image pickup devices arranged so as to have different fields of view with respect to the pointing action object pointing the pointing target object, such as an operator's limb and pointing device. A plurality of image pickup signals are processed to determine the coordinate position of the pointing motion object in the three-dimensional space, and this is input to the information processing device, and on a straight line connecting the pointing motion object and a predetermined reference point. The predetermined target object existing in the, the predetermined motion and state of the pointing motion object, and predetermined information corresponding to any combination of the voice recognition result of the voice of the operator by the voice recognition device. Is input to the information processing device as information on the pointing target object or the like.
物体を指示する指示動作物体に対して異なる視野を持つ
ように配置された複数台の撮像装置から得られる、前記
指示動作物体の複数の撮像信号を処理して前記指示動作
物体の三次元空間内の座標位置を決定し、これを情報処
理装置に入力し、 前記指示動作物体と、予め定められた基準点とを結ぶ直
線上に存在する前記指示目標物体を決定する、情報の入
力方法において、 前記指示動作物体を前記撮像装置により撮像する際、１
個または複数個の非可視光照明装置を用いて前記指示動
作物体を照明するとともに、前記撮像装置に可視光カッ
トフィルタを装着することを特徴とする、情報の入力方
法。3. The pointing motion object obtained from a plurality of imaging devices arranged so as to have different fields of view with respect to a pointing motion object that points a pointing target object, such as an operator's limbs and pointing device. A plurality of image pickup signals are processed to determine the coordinate position of the pointing motion object in the three-dimensional space, and this is input to the information processing device, and on a straight line connecting the pointing motion object and a predetermined reference point. In the method of inputting information for determining the pointing target object existing in, when the pointing operation object is imaged by the imaging device, 1
A method for inputting information, comprising illuminating the pointing action object using one or a plurality of non-visible light illuminating devices, and mounting a visible light cut filter on the imaging device.
撮像する際、１個または複数個の非可視光照明装置を用
いて前記指示動作物体を照明するとともに、前記撮像装
置に可視光カットフィルタを装着する請求項１または２
に記載の情報の入力方法。4. When the pointing motion object is imaged by the imaging device, the pointing motion object is illuminated by using one or a plurality of invisible light illuminating devices, and a visible light cut filter is provided in the imaging device. Attached to claim 1 or 2
How to enter the information described in.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3174066A JPH0519957A (en) | 1991-07-15 | 1991-07-15 | Information inputting method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3174066A JPH0519957A (en) | 1991-07-15 | 1991-07-15 | Information inputting method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0519957A true JPH0519957A (en) | 1993-01-29 |
Family
ID=15972034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3174066A Pending JPH0519957A (en) | 1991-07-15 | 1991-07-15 | Information inputting method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0519957A (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10326148A (en) * | 1997-03-21 | 1998-12-08 | Takenaka Komuten Co Ltd | Hand pointing device |
| JPH11134089A (en) * | 1997-10-29 | 1999-05-21 | Takenaka Komuten Co Ltd | Hand pointing device |
| JP2000056916A (en) * | 1998-08-06 | 2000-02-25 | Takenaka Komuten Co Ltd | Hand pointing device |
| JP2004246814A (en) * | 2003-02-17 | 2004-09-02 | Takenaka Komuten Co Ltd | Indication movement recognition device |
| JP2005301479A (en) * | 2004-04-08 | 2005-10-27 | Akinori Yoshino | Instruction input device based on projected action of presenter |
| JP2007323660A (en) * | 2007-06-25 | 2007-12-13 | Sony Corp | Drawing device and drawing method |
| US7367887B2 (en) | 2000-02-18 | 2008-05-06 | Namco Bandai Games Inc. | Game apparatus, storage medium, and computer program that adjust level of game difficulty |
| JP2009134677A (en) * | 2007-02-28 | 2009-06-18 | Fuji Xerox Co Ltd | Gesture interface system, wand for gesture input, application control method, camera calibration method, and control program |
| JP2009240370A (en) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | Motion detector |
| US7893920B2 (en) | 2004-05-06 | 2011-02-22 | Alpine Electronics, Inc. | Operation input device and method of operation input |
| JP2011507129A (en) * | 2007-12-17 | 2011-03-03 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Dynamic 3D object mapping for user-defined control devices |
| WO2012144145A1 (en) * | 2011-04-22 | 2012-10-26 | パナソニック株式会社 | Pointing control device, integrated circuit thereof, and pointing control method |
| US8451215B2 (en) | 2007-01-12 | 2013-05-28 | Capsom Co., Ltd. | Display control device, program for implementing the display control device, and recording medium containing the program |
| KR20140024421A (en) * | 2011-06-06 | 2014-02-28 | 마이크로소프트 코포레이션 | System for finger recognition and tracking |
| JP2014524071A (en) * | 2011-06-06 | 2014-09-18 | マイクロソフト コーポレーション | System that recognizes open or closed hands |
| JP2015038777A (en) * | 2014-11-12 | 2015-02-26 | セイコーエプソン株式会社 | Position detecting system, display system, and information processing system |
| JP2015230496A (en) * | 2014-06-03 | 2015-12-21 | シャープ株式会社 | Electronic equipment |
-
1991
- 1991-07-15 JP JP3174066A patent/JPH0519957A/en active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6385331B2 (en) | 1997-03-21 | 2002-05-07 | Takenaka Corporation | Hand pointing device |
| JPH10326148A (en) * | 1997-03-21 | 1998-12-08 | Takenaka Komuten Co Ltd | Hand pointing device |
| JPH11134089A (en) * | 1997-10-29 | 1999-05-21 | Takenaka Komuten Co Ltd | Hand pointing device |
| US6434255B1 (en) | 1997-10-29 | 2002-08-13 | Takenaka Corporation | Hand pointing apparatus |
| JP2000056916A (en) * | 1998-08-06 | 2000-02-25 | Takenaka Komuten Co Ltd | Hand pointing device |
| US7367887B2 (en) | 2000-02-18 | 2008-05-06 | Namco Bandai Games Inc. | Game apparatus, storage medium, and computer program that adjust level of game difficulty |
| JP2004246814A (en) * | 2003-02-17 | 2004-09-02 | Takenaka Komuten Co Ltd | Indication movement recognition device |
| JP2005301479A (en) * | 2004-04-08 | 2005-10-27 | Akinori Yoshino | Instruction input device based on projected action of presenter |
| US7893920B2 (en) | 2004-05-06 | 2011-02-22 | Alpine Electronics, Inc. | Operation input device and method of operation input |
| US8451215B2 (en) | 2007-01-12 | 2013-05-28 | Capsom Co., Ltd. | Display control device, program for implementing the display control device, and recording medium containing the program |
| JP5355097B2 (en) * | 2007-01-12 | 2013-11-27 | 株式会社カプコン | Display control apparatus, control method, program, and computer-readable recording medium recording the program |
| JP2009134677A (en) * | 2007-02-28 | 2009-06-18 | Fuji Xerox Co Ltd | Gesture interface system, wand for gesture input, application control method, camera calibration method, and control program |
| JP4513830B2 (en) * | 2007-06-25 | 2010-07-28 | ソニー株式会社 | Drawing apparatus and drawing method |
| JP2007323660A (en) * | 2007-06-25 | 2007-12-13 | Sony Corp | Drawing device and drawing method |
| JP2011507129A (en) * | 2007-12-17 | 2011-03-03 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Dynamic 3D object mapping for user-defined control devices |
| JP2009240370A (en) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | Motion detector |
| CN102959491A (en) * | 2011-04-22 | 2013-03-06 | 松下电器产业株式会社 | Pointing control device, integrated circuit thereof, and pointing control method |
| WO2012144145A1 (en) * | 2011-04-22 | 2012-10-26 | パナソニック株式会社 | Pointing control device, integrated circuit thereof, and pointing control method |
| US9081430B2 (en) | 2011-04-22 | 2015-07-14 | Panasonic Intellectual Property Corporation Of America | Pointing control device, integrated circuit thereof and pointing control method |
| JP5798183B2 (en) * | 2011-04-22 | 2015-10-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Pointing control device, integrated circuit thereof, and pointing control method |
| KR20140024421A (en) * | 2011-06-06 | 2014-02-28 | 마이크로소프트 코포레이션 | System for finger recognition and tracking |
| JP2014524071A (en) * | 2011-06-06 | 2014-09-18 | マイクロソフト コーポレーション | System that recognizes open or closed hands |
| JP2014524070A (en) * | 2011-06-06 | 2014-09-18 | マイクロソフト コーポレーション | Finger recognition and tracking system |
| JP2015230496A (en) * | 2014-06-03 | 2015-12-21 | シャープ株式会社 | Electronic equipment |
| JP2015038777A (en) * | 2014-11-12 | 2015-02-26 | セイコーエプソン株式会社 | Position detecting system, display system, and information processing system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0519957A (en) | Information inputting method | |
| US7028269B1 (en) | Multi-modal video target acquisition and re-direction system and method | |
| JP3114813B2 (en) | Information input method | |
| JP3688879B2 (en) | Image recognition apparatus, image recognition method, and recording medium therefor | |
| US6775014B2 (en) | System and method for determining the location of a target in a room or small area | |
| JP4627052B2 (en) | Audio output method and apparatus linked to image | |
| US20100079413A1 (en) | Control device | |
| JP4733600B2 (en) | Operation detection device and its program | |
| EP2384465A1 (en) | Method to control media with face detection and hot spot motion | |
| JPH0844490A (en) | Interface device | |
| JPH0981309A (en) | Input device | |
| JP3272906B2 (en) | Gaze direction detecting method and apparatus and man-machine interface apparatus including the same | |
| WO2018230160A1 (en) | Information processing system, information processing method, and program | |
| WO2010087796A1 (en) | Method for controlling and requesting information from displaying multimedia | |
| JP2002259046A (en) | System for entering character and symbol handwritten in air | |
| CN112818959B (en) | Surgical procedure identification method, device, system and computer readable storage medium | |
| KR20030037692A (en) | System and Method of Soft Remote Controller Using Hand Pointing Recognition | |
| JP4409545B2 (en) | Three-dimensional position specifying device and method, depth position specifying device | |
| JP2005182247A (en) | Pointing device and method by pupil position detection | |
| JP3792907B2 (en) | Hand pointing device | |
| Overholt et al. | A multimodal system for gesture recognition in interactive music performance | |
| JPH05232908A (en) | Instruction input device | |
| JPH05108302A (en) | Information input method using voice and pointing action | |
| CN112567455A (en) | Method and system for cleansing sound using depth information and computer readable medium | |
| JPH1039995A (en) | Line-of-sight/voice input device |