JP2013037454A - Posture determination method, program, device, and system - Google Patents
Posture determination method, program, device, and system Download PDFInfo
- Publication number
- JP2013037454A JP2013037454A JP2011171482A JP2011171482A JP2013037454A JP 2013037454 A JP2013037454 A JP 2013037454A JP 2011171482 A JP2011171482 A JP 2011171482A JP 2011171482 A JP2011171482 A JP 2011171482A JP 2013037454 A JP2013037454 A JP 2013037454A
- Authority
- JP
- Japan
- Prior art keywords
- skeleton model
- dimensional
- posture
- user
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、人体の姿勢を判定する技術に関し、より詳細には、当該技術を利用したＮＵＩ（Natural User Interface）に関する。 The present invention relates to a technique for determining the posture of a human body, and more particularly to a NUI (Natural User Interface) using the technique.
近年、手や指など身体を使ったジェスチャー（ユーザの姿勢や動作）によって、コンピュータや家電などの電子機器をハンズフリーで直観的に操作するための方法が種々検討されている。このような手法は、ＮＵＩ（Natural User Interface）と呼ばれ、従来のコマンドライン入力（ＣＵＩ）やグラフィカルユーザ入力（ＧＵＩ）に続く、次世代の機器操作方法として注目を集めている。 In recent years, various methods for intuitively operating hands-free electronic devices such as computers and home appliances by using gestures using the body such as hands and fingers (user postures and actions) have been studied. Such a method is called NUI (Natural User Interface), and has attracted attention as a next-generation device operation method following conventional command line input (CUI) and graphical user input (GUI).
この点につき、特開２０１０−１８４６００号公報（特許文献１）は、運転者の手の動き（ジェスチャー）をステレオカメラで撮影し、取得された画像と操作動作の標準パターン画像との間でパターンマッチングを行うことにより、操作の種類や操作量を判定する車載用ジェスチャースイッチ装置を開示する。しかし、このような２次元画像マッチング技術を用いた従来の手法は、計算負荷が膨大な上に、正確な空間認識が困難であるため、その精度およびリアルタイム性において実用レベルに達するものではなかった。 In this regard, Japanese Patent Application Laid-Open No. 2010-184600 (Patent Document 1) captures a movement (gesture) of a driver's hand with a stereo camera and creates a pattern between the acquired image and a standard pattern image of an operation operation. A vehicle-mounted gesture switch device that determines the type and amount of operation by performing matching is disclosed. However, the conventional method using such a two-dimensional image matching technique has a huge calculation load and difficult to accurately recognize a space, so that it has not reached a practical level in terms of accuracy and real-time performance. .
一方、最近になって、テレビゲーム用に開発されたマイクロソフト社製のKINECT（登録商標）が注目を集めている。KINECT（登録商標）は、赤外線のランダムパターンを対象に照射し、その画像を解析することによって対象の奥行き情報を得る、いわゆるLight Coding技術をベースに開発されたモーションセンサデバイスであり、現在、KINECT（登録商標）の応用ソフトウェアのオープン開発が急速に進んでいる。そのような応用ソフトウェアのひとつとして、「Skelton Tracking」と呼ばれるアプリケーションが既に市場に流通している。これは、KINECT（登録商標）が取得した赤外線画像に基づいて人体の骨格姿勢（ボーンキネマティクス）をリアルタイムで推定・追跡するためのアプリケーションであり、KINECT（登録商標）の登場により、これまで商用ベースでは不可能であった３次元骨格姿勢のリアルタイム追跡を、エンドユーザが手軽に利用できる環境が整ってきている。 Recently, Microsoft's KINECT (registered trademark), developed for video games, has attracted attention. KINECT (registered trademark) is a motion sensor device developed based on the so-called Light Coding technology that irradiates a random pattern of infrared rays to an object and obtains depth information of the object by analyzing the image. Open development of (registered trademark) application software is rapidly progressing. As one such application software, an application called “Skelton Tracking” is already on the market. This is an application for estimating and tracking the skeleton posture (bone kinematics) in real time based on infrared images acquired by KINECT (registered trademark). An environment has been established in which end users can easily use real-time tracking of 3D skeleton posture, which was impossible with the base.
このような状況を受けて、上述した人体の３次元骨格姿勢をリアルタイムに追跡する技術を、先に説明したＮＵＩ（Natural User Interface）へ応用展開することが検討されている。この点につき、図１８に基づいて説明する。図１８（ａ）は、ユーザの３次元骨格姿勢を利用した非接触型ポインティング・システム５００を示す。非接触型ポインティング・システム５００は、ユーザの手の３Ｄ画像情報（奥行き値を含む）を取得するための撮像装置５０２と、撮像装置５０２から転送される３Ｄ画像情報に基づいて所定の演算を実行する情報処理装置（図示せず）とを含んで構成されている。 In response to this situation, it has been studied to apply the above-described technology for tracking the three-dimensional skeleton posture of the human body in real time to the NUI (Natural User Interface) described above. This point will be described with reference to FIG. FIG. 18A shows a non-contact type pointing system 500 that uses a three-dimensional skeleton posture of a user. The non-contact type pointing system 500 executes a predetermined calculation based on the imaging device 502 for acquiring 3D image information (including a depth value) of the user's hand and the 3D image information transferred from the imaging device 502. And an information processing apparatus (not shown).
図１８（ａ）に示すように、ディスプレイ装置５０４の画面上にはテンキー（ＧＵＩ）が表示されている。ユーザは、テンキーの中から入力したい数を表示したキーを指さす。このとき、情報処理装置は、撮像装置５０２から転送される３Ｄ画像情報に基づいて、ユーザの手のボーンキネマティクスを取得し、ユーザがどのキーを指さしているのかを判定する。 As shown in FIG. 18A, a numeric keypad (GUI) is displayed on the screen of the display device 504. The user points to the key displaying the number to be input from the numeric keys. At this time, the information processing apparatus acquires bone kinematics of the user's hand based on the 3D image information transferred from the imaging apparatus 502, and determines which key the user is pointing to.
一見すると、このような機能を実現するためのプログラムを設計することは、さほど難しくないようにも思える。なぜなら、ユーザの人差し指がさしているディスプレイ画面上の座標は、ユーザの人差し指を構成する骨の３次元ベクトル（始点と方向）を外挿することによって簡単に判定することができるからである（図１８（ａ）に示す場合、ユーザの人差し指は、数字「４」に対応する座標範囲をさしている）。 At first glance, it seems that designing a program to realize these functions is not so difficult. This is because the coordinates on the display screen pointed to by the user's index finger can be easily determined by extrapolating the three-dimensional vector (start point and direction) of the bone constituting the user's index finger (FIG. 18). In the case of (a), the user's index finger points to the coordinate range corresponding to the number “4”).
しかし、残念ながらそう簡単に事は運ばない。なぜなら、ユーザの空間認識能力には、無視できない個体差があり、図１８（ｂ）に示すように、ユーザの人差し指が実際に指している位置（座標）と、ユーザが意図している位置（願望）が必ずしも一致しているとは限らないからである。この他にも、ユーザの身体条件（身長や座高等）、環境条件（ディスプレイに対するユーザの相対位置等）など、考慮しなければならない検討項目は多岐にわたる。 But unfortunately things don't go so easily. This is because there are individual differences in the spatial recognition ability of the user that cannot be ignored. As shown in FIG. 18B, the position (coordinates) that the user's index finger actually points to and the position that the user intends ( This is because (aspirations) do not always match. In addition to this, there are a wide variety of examination items that must be taken into consideration, such as the user's physical conditions (height, sitting height, etc.), environmental conditions (such as the relative position of the user with respect to the display).
したがって、これまでの手法では、ユーザの個体差（身体的・環境的）を吸収するためのアルゴリズムを設計するために、膨大な数のモデルを使ってデータを取得・解析する必要があり、デバイスに認識させたい内容（すなわち、ユーザのジェスチャーの種類）が増加するに従って、その開発コストは、膨大なものとなっていった。 Therefore, in the conventional methods, it is necessary to acquire and analyze data using a huge number of models in order to design an algorithm for absorbing individual differences (physical / environmental) of users. As the content that the user wants to recognize (ie, the types of user gestures) has increased, the development cost has become enormous.
かくして、多大なリソースを投入した末に、膨大な数のパラメータによって動く非常に複雑なプログラムが出来上がる。しかし、どのような設計思想をもってしても、汎用性の向上に主眼をおく限り、一部のユーザは必ず取り残される運命にある。これまでの手法は、このような不幸なユーザを救済する術を持たなかった。そして、当然のことながら、これまでの手法は、開発者が予め設定したシチュエーション（例えば、「ユーザはディスプレイ装置に対面している」といったシチュエーション）にしか対応することできず、その用途は限定的なものにならざるを得なかった。 Thus, after investing a lot of resources, a very complex program that runs with a huge number of parameters is created. However, with any design philosophy, as long as the focus is on improving versatility, some users are destined to be left behind. Previous methods have no way to rescue such unfortunate users. Of course, the conventional methods can only deal with situations preset by the developer (for example, a situation where “the user is facing the display device”), and its application is limited. I had to become something.
本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、ユーザおよび用途を限定しないＮＵＩ（Natural User Interface）を提供することを目的とする。 The present invention has been made in view of the above-described problems in the prior art, and an object of the present invention is to provide a NUI (Natural User Interface) that does not limit users and applications.
本発明者らは、ユーザおよび用途を限定しないＮＵＩ（Natural User Interface）の構成につき鋭意検討した結果、基準姿勢とユーザがとった姿勢の間の類似度を各姿勢の３次元骨格モデルを構成する３次元ベクトルの内積を用いた評価関数によって計算し、所定の閾値に基づいて姿勢の類似度を判定する方法の着想を得た。本発明者らは、この着想をＮＵＩに応用するべく、鋭意研究を行った結果、本発明に至ったのである。 As a result of intensive studies on the configuration of a NUI (Natural User Interface) that does not limit the user and application, the present inventors construct a three-dimensional skeleton model of each posture based on the similarity between the reference posture and the posture taken by the user. The idea of a method for determining the degree of similarity of posture based on a predetermined threshold was obtained by calculating with an evaluation function using an inner product of three-dimensional vectors. As a result of intensive studies to apply this idea to NUI, the present inventors have arrived at the present invention.
すなわち、本発明によれば、予め定義された基準姿勢の３次元骨格モデルを電子機器の制御コマンド名に紐付けて管理する基準３次元骨格モデル管理部と、モーションキャプチャデータから取得されるユーザの３次元骨格モデルと前記基準姿勢の３次元骨格モデルの間の類似度を判定する姿勢類似度判定部と、前記姿勢類似度判定部から前記制御コマンド名を通知されたことに応答して該制御コマンド名に対応する制御コマンドを生成する制御コマンド生成部とを含み、前記姿勢類似度判定部は、前記ユーザの３次元骨格モデルを構成する３次元ベクトルとこれに対応する前記基準姿勢の３次元骨格モデルを構成する３次元ベクトルのなす角度に基づいて前記類似度を計算し、該類似度が予め設定された閾値以上である場合に、該基準姿勢の３次元骨格モデルに紐付けられた前記制御コマンド名を前記制御コマンド生成部に通知する、電子機器制御装置が提供される。 That is, according to the present invention, a reference three-dimensional skeleton model management unit that manages a three-dimensional skeleton model having a predefined reference posture in association with a control command name of an electronic device, and a user acquired from motion capture data A posture similarity determination unit that determines a similarity between the three-dimensional skeleton model and the three-dimensional skeleton model of the reference posture; and the control in response to the notification of the control command name from the posture similarity determination unit A control command generation unit that generates a control command corresponding to the command name, wherein the posture similarity determination unit includes a three-dimensional vector constituting the three-dimensional skeleton model of the user and a three-dimensional of the reference posture corresponding thereto The similarity is calculated based on an angle formed by three-dimensional vectors constituting the skeleton model, and when the similarity is equal to or greater than a preset threshold, And notifies the control command name that is linked to the dimensional skeleton model to the control command generating unit, an electronic device control device is provided.
上述したように、本発明によれば、ユーザおよび用途を限定しない新規なＮＵＩ（Natural User Interface）が提供される。 As described above, according to the present invention, a new NUI (Natural User Interface) that does not limit users and uses is provided.
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。 Hereinafter, the present invention will be described with reference to embodiments shown in the drawings, but the present invention is not limited to the embodiments shown in the drawings. In the drawings referred to below, the same reference numerals are used for common elements, and the description thereof is omitted as appropriate.
本発明は、予め定義された基準姿勢とユーザが実際にとっている姿勢の間の類似度を判定するための新規な方法を提供する。ここでは、まず、本発明が採用する姿勢の類似度を判定するための新しい指標（評価関数）について説明する。 The present invention provides a novel method for determining the degree of similarity between a predefined reference posture and the posture that the user actually takes. Here, first, a new index (evaluation function) for determining the similarity of posture adopted by the present invention will be described.
（姿勢の類似度を判定するための評価関数について）
本発明における姿勢判定は、人体の３次元骨格モデル（ボーンキネマティクス）に基づいて行われる。ここで、人体の３次元骨格モデルは、モーションキャプチャデータから既知の推定手法を用いて取得することができる。現在、専用のマーカを用いるモーションキャプチャ（光学式・磁気式・機械式等）の他、画像を利用するビデオ式モーションキャプチャなど種々のモーションキャプチャ技術も用いて骨格モデルを推定する方法が既に確立されており、また、その他の手法についても引き続き検討がなされている。本発明の方法は、現在および将来において用いられるであろう適切な３次元骨格モデル取得手段を前提とするものであり、３次元骨格モデルを取得するための具体的な構成に限定されるものではないことを念のため申し添えておく。
(Evaluation function for determining posture similarity)
The posture determination in the present invention is performed based on a three-dimensional skeleton model (bone kinematics) of the human body. Here, the three-dimensional skeleton model of the human body can be acquired from the motion capture data using a known estimation method. Currently, methods for estimating skeletal models using various motion capture technologies such as motion capture using optical markers (optical, magnetic, mechanical, etc.) and video motion capture using images have already been established. In addition, other methods are still being considered. The method of the present invention is premised on appropriate three-dimensional skeleton model acquisition means that will be used now and in the future, and is not limited to a specific configuration for acquiring a three-dimensional skeleton model. Let me justify that there is nothing.
図１は、適切な３次元骨格モデル取得手段によって取得された３次元骨格モデルを示す。３次元骨格モデルは、人体の骨の軸線に相当する複数の直線リンクと、各直線リンクを接続する複数の関節からなる３次元リンク機構モデルとして参照されるものである。なお、図１には、１５個のリンクで構成される３次元骨格モデルを例示したが、モデルの詳細度は、用途に応じて適切なレベルを選択すればよく、より多くのリンクで構成される複雑なモデルを採用してもよいし（この場合、指などの小さな骨もリンクとして表現される）、より単純化されたモデルを採用してもよい（最低でも１つのリンクが定義できれば本発明は実現することができる）。 FIG. 1 shows a three-dimensional skeleton model acquired by an appropriate three-dimensional skeleton model acquisition means. The three-dimensional skeleton model is referred to as a three-dimensional link mechanism model including a plurality of straight links corresponding to the axis of the human bone and a plurality of joints connecting the straight links. FIG. 1 illustrates a three-dimensional skeleton model composed of 15 links. However, the level of detail of the model may be selected according to the application, and is composed of more links. (In this case, a small bone such as a finger is also expressed as a link), or a simpler model may be used (if at least one link can be defined, this book will be used). The invention can be realized).
図１（ａ）は、予め定義された基準姿勢について取得された３次元骨格モデル３００（以下、基準骨格モデル３００という）を示す。基準骨格モデル３００は、１５本のリンク（Ｔ１〜Ｔ１５）からなる。一方、図１（ｂ）は、ユーザが実際に取った姿勢について取得された３次元骨格モデル４００（以下、ユーザ骨格モデル４００という）を示す。ユーザ骨格モデル４００も同じく１５本のリンク（Ｖ１〜Ｖ１５）からなる。ここで、図１（ａ）と図１（ｂ）を比較すれば、２つの３次元骨格モデルが類似していることを感覚的に理解することはできるであろう。ここで、コンピュータによって姿勢判定を行うにあたり、２つの３次元骨格モデルの類似度を定量的に評価するアルゴリズムが必要になる。この点につき、本発明は、以下の方法を採用する。 FIG. 1A shows a three-dimensional skeleton model 300 (hereinafter referred to as a reference skeleton model 300) acquired for a predefined reference posture. The reference skeleton model 300 includes 15 links (T 1 to T 15 ). On the other hand, FIG. 1B shows a three-dimensional skeleton model 400 (hereinafter referred to as a user skeleton model 400) acquired for the posture actually taken by the user. Similarly, the user skeleton model 400 includes 15 links (V 1 to V 15 ). Here, if FIG. 1 (a) is compared with FIG. 1 (b), it can be understood sensuously that the two three-dimensional skeleton models are similar. Here, when performing posture determination by a computer, an algorithm that quantitatively evaluates the similarity between two three-dimensional skeleton models is required. In this regard, the present invention employs the following method.
３次元骨格モデルの直線リンクは、３次元座標上の２点を結ぶ線分として参照されるが、本発明において使用する３次元骨格モデルは、各線分に対して適切な規則に従って方向を定義した３次元ベクトル（有向線分）から構成される。本発明においては、使用する３次元骨格モデル取得手段が３次元ベクトルを定義する場合には、そのデータをそのまま使用すればよいし、仮にそうでない場合には、適切な方法によって、各直線リンクを３次元ベクトル（有向線分）に変換する。ここで、基準骨格モデル３００とユーザ骨格モデル４００が完全に一致する場合には、基準骨格モデル３００を構成する各ベクトルと、これに対応するユーザ骨格モデル４００のベクトルのなす角度θは、全て「０」になるはずである。 The straight link of the three-dimensional skeleton model is referred to as a line segment connecting two points on the three-dimensional coordinates, but the three-dimensional skeleton model used in the present invention defines the direction according to an appropriate rule for each line segment. It consists of a three-dimensional vector (directed line segment). In the present invention, when the three-dimensional skeleton model acquisition means to be used defines a three-dimensional vector, the data may be used as it is. If not, each straight link is connected by an appropriate method. Convert to a three-dimensional vector (directed line segment). Here, when the reference skeleton model 300 and the user skeleton model 400 completely coincide, the angles θ formed by the vectors constituting the reference skeleton model 300 and the corresponding vectors of the user skeleton model 400 are all “ It should be “0”.
そこで、図１に示した基準骨格モデル３００とユーザ骨格モデル４００とを図２に示すように重ね合わせてみると、ベクトルＴ１とベクトルＶ１、ベクトルＴ２とベクトルＶ２、ベクトルＴ５とベクトルＶ５、ベクトルＴ６とベクトルＶ６、ベクトルＴ１２とベクトルＶ１２、ベクトルＴ１３とベクトルＶ１３、ベクトルＴ１４とベクトルＶ１４、ベクトルＴ１５とベクトルＶ１５のそれぞれについて、角度θ１、角度θ２、角度θ５、角度θ６、角度θ１２、角度θ１３、角度θ１４、角度θ１５が得られる。図２を参照すれば、２つの３次元骨格モデルの類似度が小さくなるほど（類似度が大きくなるほど）、２つの３次元骨格モデルの対応するベクトルのなす角度θの合計の値が大きくなる（角度θの合計の値が小さくなる）こと、すなわち、２つの３次元骨格モデルの対応するベクトルのなす角度θの大きさと姿勢の類似度との間に負の相関関係があることは理解されるところであろう。本発明は、この点に着目し、２つの３次元骨格モデルによって定義される角度θの大きさを正規化するための新規な評価関数ｆを定義する。下記式（１）に評価関数ｆの一例を示す。 Therefore, when the reference skeleton model 300 and the user skeleton model 400 shown in FIG. 1 are superimposed as shown in FIG. 2, a vector T 1 and a vector V 1 , a vector T 2 and a vector V 2 , and a vector T 5 and For each of vector V 5 , vector T 6 and vector V 6 , vector T 12 and vector V 12 , vector T 13 and vector V 13 , vector T 14 and vector V 14 , vector T 15 and vector V 15 , angle θ 1 , Angle θ 2 , angle θ 5 , angle θ 6 , angle θ 12 , angle θ 13 , angle θ 14 , and angle θ 15 are obtained. Referring to FIG. 2, the smaller the degree of similarity between two three-dimensional skeleton models (the larger the degree of similarity), the larger the total value of the angles θ formed by the corresponding vectors of the two three-dimensional skeleton models (angle). It is understood that there is a negative correlation between the magnitude of the angle θ formed by the corresponding vectors of the two three-dimensional skeleton models and the similarity of the posture. I will. The present invention focuses on this point and defines a new evaluation function f for normalizing the magnitude of the angle θ defined by two three-dimensional skeleton models. An example of the evaluation function f is shown in the following formula (1).
上記式（１）において、（Ｔi・Ｖi ）は、対応するベクトルの内積（＝|Ｔi|・|Ｖi|cosθ）を示し、（‖Ｔi‖‖Ｖi‖）は、各ベクトルの大きさの積を示し、ｋは、３次元骨格モデルを構成するベクトルの要素数を示す。つまり、上記式（１）に示した評価関数ｆによれば、２つの３次元骨格モデルの対応するベクトルのなす角度θの余弦（＝cosθ）の平均値が得られることになる。ここで、２つの３次元骨格モデルの対応するベクトルが完全一致する場合（角度θ＝０）は、cosθ＝１になり、２つの３次元骨格モデルの対応するベクトルの方向が逆向きになる場合（角度θ＝１８０°）は、cosθ＝-１になるので、評価関数ｆの値の取り得る範囲は、-１≦ｆ≦+１となる。この場合、たとえば、評価関数ｆの値の範囲（-１≦ｆ≦+１）を百分率の値（０〜１００％）にリニアに割り当てれば、類似度を百分率で表現することができる。 In the above equation (1), (Ti · Vi) indicates the inner product (= | Ti | · | Vi | cosθ) of the corresponding vector, and (‖Ti‖‖Vi‖) is the product of the magnitudes of the respective vectors. K indicates the number of elements of a vector constituting the three-dimensional skeleton model. That is, according to the evaluation function f shown in the above equation (1), the average value of the cosines (= cos θ) of the angle θ formed by the corresponding vectors of the two three-dimensional skeleton models can be obtained. Here, when the corresponding vectors of the two three-dimensional skeleton models completely match (angle θ = 0), cos θ = 1 and the directions of the corresponding vectors of the two three-dimensional skeleton models are reversed. Since (angle θ = 180 °) is cos θ = −1, the possible range of the value of the evaluation function f is −1 ≦ f ≦ + 1. In this case, for example, if the range (−1 ≦ f ≦ + 1) of the value of the evaluation function f is linearly assigned to the percentage value (0 to 100%), the similarity can be expressed as a percentage.
ここで、予め定義された基準姿勢について取得する３次元骨格モデルは、必ずしも全身の骨格モデルである必要はなく、用途に応じて、身体の一部に対応する３次元骨格モデルのみを取得するようにしてもよい。例えば、上腕骨に対応する１つの３次元ベクトル（ｋ＝１）のみを３次元骨格モデルとして取得する場合も理論的には想定できるであろう。 Here, the three-dimensional skeleton model acquired for the predefined reference posture does not necessarily need to be a whole-body skeleton model, and only a three-dimensional skeleton model corresponding to a part of the body is acquired depending on the application. It may be. For example, it can be theoretically assumed that only one three-dimensional vector (k = 1) corresponding to the humerus is acquired as a three-dimensional skeleton model.
ここで、上記式（１）における内積の計算（行列演算）の負荷は、非常に小さいため、評価関数ｆを用いた本発明の手法によれば、姿勢の類似度を定量的な評価値として実時間で計算することが可能になる。本発明の姿勢判定方法においては、上述した手順で計算した類似度が予め定義された閾値以上である場合に、予め定義された基準姿勢がユーザによってとられたことを判定する。以上、本発明が採用する姿勢の類似度を判定するための新しい評価関数について説明してきたが、続いて、当該評価関数を用いた本発明の新規な姿勢判定方法の応用展開について説明する。 Here, since the load of the inner product calculation (matrix operation) in the above equation (1) is very small, according to the method of the present invention using the evaluation function f, the similarity of posture is used as a quantitative evaluation value. It becomes possible to calculate in real time. In the posture determination method of the present invention, it is determined that a predefined reference posture has been taken by the user when the similarity calculated in the above-described procedure is equal to or greater than a predefined threshold. As described above, the new evaluation function for determining the posture similarity adopted by the present invention has been described. Next, the application development of the novel posture determination method of the present invention using the evaluation function will be described.
本発明の姿勢判定方法は、電子機器をハンズフリーで制御する装置またはシステムに応用することができる。すなわち、電子機器の各種制御コマンドに対応する基準姿勢を予め登録しておき、ユーザが当該基準姿勢をとったことに応答して、対応する制御コマンドを電子機器に対して出力するといった構成である。この点につき、本発明の実施形態である電子機器制御システムに基づいて説明する。 The attitude determination method of the present invention can be applied to an apparatus or system for controlling an electronic device in a hands-free manner. In other words, a reference posture corresponding to various control commands of the electronic device is registered in advance, and the corresponding control command is output to the electronic device in response to the user taking the reference posture. . This point will be described based on an electronic device control system according to an embodiment of the present invention.
図３は、本実施形態の電子機器制御システム１００の機能ブロック図を示す。電子機器制御システム１００は、３次元骨格モデル取得手段１２と、パーソナル・コンピュータなどとして参照される情報処理装置１４と、赤外線発信器などとして参照される操作信号発信器８０とを含んで構成されている。 FIG. 3 shows a functional block diagram of the electronic device control system 100 of the present embodiment. The electronic device control system 100 includes a three-dimensional skeleton model acquisition unit 12, an information processing device 14 referred to as a personal computer, and an operation signal transmitter 80 referred to as an infrared transmitter. Yes.
情報処理装置１４は、適切なセンシングデバイス１０から転送されるモーションキャプチャデータを解析して人体の３次元骨格モデルを推定する３次元骨格モデル推定エンジン２０と、操作対象となる電子機器９０ごとに起動する姿勢類似度判定部３０と、基準骨格モデル登録部３５と、類似度の閾値を設定するための閾値設定部４０と、基準骨格モデルを格納・管理する基準骨格モデル管理部５０と、アナログ制御量取得部６０と、制御コマンド生成部７０と、制御コマンドデータベース７２とを含んで構成されている。 The information processing apparatus 14 is activated for each of the three-dimensional skeleton model estimation engine 20 that analyzes the motion capture data transferred from the appropriate sensing device 10 and estimates the three-dimensional skeleton model of the human body, and the electronic device 90 that is the operation target. Posture similarity determination unit 30, reference skeleton model registration unit 35, threshold setting unit 40 for setting a threshold of similarity, reference skeleton model management unit 50 for storing and managing the reference skeleton model, and analog control A quantity acquisition unit 60, a control command generation unit 70, and a control command database 72 are included.
図３に示す例においては、情報処理装置１４に接続されたセンシングデバイス１０と情報処理装置１４内の３次元骨格モデル推定エンジン２０の総体を３次元骨格モデル取得手段１２として参照することができる。なお、先に説明したように、本実施形態における３次元骨格モデル取得手段１２は、ユーザ骨格モデルをリアルタイムに推定・追跡することができる手段であればどのような構成であってもよく、電子機器制御システム１００は、３次元骨格モデル取得手段１２の具体的構成に限定されるものではない。また、上述した各機能部は、情報処理装置１４の筐体内に一体的に設ける構成の他、一部の機能部をネットワーク上に分散配置したネットワークシステムとして構成してもよく、いずれの態様も本発明の作用・効果を奏する限り、本発明の範囲に含まれる。以上、本実施形態の電子機器制御システム１００の構成要素について概説してきたが、次に、図３に示した各機能部の果たす機能を具体的な適用例に基づいて詳細に説明する。 In the example illustrated in FIG. 3, the total of the sensing device 10 connected to the information processing device 14 and the three-dimensional skeleton model estimation engine 20 in the information processing device 14 can be referred to as the three-dimensional skeleton model acquisition unit 12. As described above, the three-dimensional skeleton model acquisition unit 12 in this embodiment may have any configuration as long as it can estimate and track the user skeleton model in real time. The device control system 100 is not limited to the specific configuration of the three-dimensional skeleton model acquisition unit 12. Each functional unit described above may be configured as a network system in which some functional units are distributed and arranged on a network, in addition to a configuration in which the functional units are integrally provided in the housing of the information processing apparatus 14. As long as the operations and effects of the present invention are exhibited, the scope of the present invention is included. As described above, the components of the electronic device control system 100 of the present embodiment have been outlined. Next, functions performed by the functional units illustrated in FIG. 3 will be described in detail based on specific application examples.
図４は、電子機器制御システム１００を適用した部屋２００の様子を示す。なお、図４（ａ）は、部屋２００の上面図を示し、図４（ｂ）は、部屋２００の側面図を示す（以下、図８、１０、１１、１２において同様）。部屋２００の紙面右奥には、部屋全体をセンシングできる適切な位置にセンシングデバイス１０が設置されており、センシングデバイス１０から転送されるデータに基づいて制御コマンドを生成するためのパーソナル・コンピュータ１４（ＰＣ１４）が部屋２００の隅の机の上に置かれている。一方、部屋２００の紙面左奥の壁の上部には、制御対象となるエアコン９０が設置されている。なお、制御信号発信器８０の設置位置は特に示さないが、部屋２００の中の適切な位置に設置されているものとして参照されたい。 FIG. 4 shows a state of the room 200 to which the electronic device control system 100 is applied. 4A shows a top view of the room 200, and FIG. 4B shows a side view of the room 200 (the same applies to FIGS. 8, 10, 11, and 12). A sensing device 10 is installed in an appropriate position where the entire room can be sensed at the right back of the page of the room 200, and a personal computer 14 for generating a control command based on data transferred from the sensing device 10 ( PC 14) is placed on a desk in the corner of room 200. On the other hand, an air conditioner 90 to be controlled is installed on the upper part of the wall at the left rear of the room 200. Although the installation position of the control signal transmitter 80 is not particularly shown, it should be referred to as being installed at an appropriate position in the room 200.
ここで、ユーザがエアコン９０を指さしたことに応答して自動的に電源がＯＮするといったＮＵＩを構築することを検討してみよう。従来の設計思想は、汎用性の高いシステムを構築することに主眼をおいており、膨大な数のデータに基づいて「ユーザがエアコンを指さすときにとる姿勢」を一般化した上で、そのようなモデルに基づいてさまざまなパラメータを設定するといったアプローチをとっていた。これに対し、本発明によれば、ディベロッパーにパラメータをプリセットさせるのではなく、ユーザ自身が自分の身体条件や環境条件に合致したパラメータを適応的に設定することができる。この点につき、本実施形態の電子機器制御システム１００は、各種制御コマンドに対応付けるための基準骨格モデルをユーザが自ら登録するためのセットアップ・モードを有する。 Here, consider the construction of an NUI in which the power is automatically turned on in response to the user pointing at the air conditioner 90. The conventional design philosophy focuses on building a highly versatile system, and based on the vast amount of data, generalizes the "attitude that the user takes when pointing at the air conditioner" The approach was to set various parameters based on various models. On the other hand, according to the present invention, the parameter can be adaptively set by the user himself / herself in accordance with his / her physical condition and environmental condition, instead of allowing the developer to preset the parameter. In this regard, the electronic device control system 100 according to the present embodiment has a setup mode in which the user registers himself / herself a reference skeleton model to be associated with various control commands.
（セットアップ・モード）
セットアップ・モードにおいては、電子機器の制御コマンドに対応付けて基準骨格モデルを登録する。ここで、電子機器の制御コマンドとしては、（１）制御対象機器を指定するためのコマンド、（２）制御内容を指定するためのコマンド、（３）デジタル制御量を指定するためのコマンド、を想定することができるであろう。この点につき、基準骨格モデル管理部５０は、図５に示すデータ構造を有するデータベース１０００を備える。
(Setup mode)
In the setup mode, the reference skeleton model is registered in association with the control command of the electronic device. Here, as control commands for the electronic device, (1) a command for designating a control target device, (2) a command for designating control contents, and (3) a command for designating a digital control amount, Could be assumed. In this regard, the reference skeleton model management unit 50 includes a database 1000 having a data structure shown in FIG.
データベース１０００においては、１つの機器指定用コマンド名に対して少なくとも１つの制御内容指定用コマンド名が対応付けられ、１つの制御内容指定用コマンド名に対して、０または少なくとも１つの制御量指定用コマンド名が対応付けられており、各コマンド名に紐付けて少なくとも１つの３Ｄ骨格モデル（３次元ベクトル情報）を登録することができるように構成されている。図５（ａ）に示す例においては、機器指定用コマンド名「エアコン」に対して、制御内容指定用コマンド名（「電源ＯＮ」、「電源ＯＦＦ」、「風量調節」…）が対応付けられており、制御内容指定用コマンド名「風量調節」に対しては、デジタル制御量（「強・弱」）が対応付けられている。一方、機器指定用コマンド名「テレビ」に対しては、制御内容指定用コマンド名（「電源ＯＮ」、「電源ＯＦＦ」、「音量調節」…）が対応付けられており、制御内容指定用コマンド名「音量調節」に対応する制御量指定用コマンド名に対して「アナログ制御」を示すフラグが立っている（アナログ制御量については、後述する）。 In the database 1000, at least one control content designation command name is associated with one device designation command name, and 0 or at least one control amount designation is designated with respect to one control content designation command name. Command names are associated with each other, and at least one 3D skeleton model (three-dimensional vector information) can be registered in association with each command name. In the example shown in FIG. 5A, the control designation designation command names (“power ON”, “power OFF”, “air flow adjustment”,...) Are associated with the device designation command name “air conditioner”. The control content designation command name “air flow adjustment” is associated with a digital control amount (“strong / weak”). On the other hand, a command name for control content designation (“power ON”, “power OFF”, “volume control”...) Is associated with the device designation command name “TV”, and the control content designation command. A flag indicating “analog control” is set for the control amount designation command name corresponding to the name “volume control” (the analog control amount will be described later).
図６は、セットアップ・モード時に実行される処理のフローチャートを示す。セットアップ・モードにおいては、まず、ユーザが制御対象機器の選択画面を呼び出す。これを受けて、ＰＣ１４のＵＩ部４２は、制御対象機器の選択画面（ＧＵＩ）を表示する（ステップ１０１）。ユーザは、制御機器選択画面を介して基準姿勢（基準骨格モデル）を登録したい電子機器を選択する。図７は、ユーザによって「エアコン」が選択された制御機器選択画面２０２を例示する。 FIG. 6 shows a flowchart of processing executed in the setup mode. In the setup mode, first, the user calls up a screen for selecting a device to be controlled. In response to this, the UI unit 42 of the PC 14 displays a control target device selection screen (GUI) (step 101). The user selects an electronic device to register a reference posture (reference skeleton model) via the control device selection screen. FIG. 7 illustrates a control device selection screen 202 in which “air conditioner” is selected by the user.
制御対象機器の選択が完了すると（ステップ１０２、Ｙｅｓ）、ＵＩ部４２は、制御対象機器を指定する姿勢を要求する音声アナウンス（例：「セットアップするエアコンを指さしてください」）を出力する（ステップ１０３）。音声アナウンスが終了すると、ユーザは、図８に示すように、音声アナウンスに従って部屋２００の中の所望の位置でエアコン９０を指さす姿勢を取る。一方、基準骨格モデル登録部３５は、音声アナウンス終了後の適切な期間（フレーム）において３次元骨格モデル推定エンジン２０から３次元骨格モデルを取得する（ステップ１０４）。 When the selection of the control target device is completed (step 102, Yes), the UI unit 42 outputs a voice announcement requesting an attitude for designating the control target device (eg, “Please point to the air conditioner to be set up”) (step 103). When the voice announcement ends, the user takes an attitude of pointing the air conditioner 90 at a desired position in the room 200 according to the voice announcement as shown in FIG. On the other hand, the reference skeleton model registration unit 35 acquires a three-dimensional skeleton model from the three-dimensional skeleton model estimation engine 20 in an appropriate period (frame) after the end of the speech announcement (step 104).
なお、制御対象機器を指定する姿勢は、必ずしも、機器を指さす姿勢に限定する必要はなく、ユーザ自身が決めた好きな姿勢を登録してもなんら差し支えない（この点については、その他の姿勢についても同様）。基準骨格モデル登録部３５は、図５（ｂ）に示すように、取得した３次元骨格モデル（＃０００１）を機器指定用コマンド名に紐付けてデータベース１０００に登録する（ステップ１０５）。 Note that the posture for designating the control target device is not necessarily limited to the posture pointing at the device, and any desired posture determined by the user himself may be registered. The same). As shown in FIG. 5B, the reference skeleton model registration unit 35 registers the acquired three-dimensional skeleton model (# 0001) in the database 1000 in association with the device designation command name (step 105).
続いて、ＵＩ部４２は、エアコンに対して予め対応付けられている制御内容を指定する姿勢を要求する音声アナウンス（例：「風量調節の姿勢を取ってください」）を出力する（ステップ１０６）。この場合も、基準骨格モデル登録部３５は、ステップ１０５と同様の手順で、３次元骨格モデルを取得し（ステップ１０７）、図５（ｂ）に示すように、取得した３次元骨格モデル（＃０００２）を機器指定用コマンド名（「風量調節」）に紐付けてデータベース１０００に登録する（ステップ１０８）。 Subsequently, the UI unit 42 outputs a voice announcement requesting an attitude for designating control details associated with the air conditioner in advance (eg, “take an air volume adjustment attitude”) (step 106). . Also in this case, the reference skeleton model registration unit 35 acquires a three-dimensional skeleton model in the same procedure as in step 105 (step 107), and as shown in FIG. 5B, the acquired three-dimensional skeleton model (# 0002) is associated with the device designation command name ("air volume adjustment") and registered in the database 1000 (step 108).
さらに続いて、ＵＩ部４２は、制御内容（例：「風量調節」）に対して予め対応付けられているデジタル制御量を指定する姿勢を要求する内容の音声アナウンス（例：「強の姿勢を取ってください」）を出力する（ステップ１０９）。この場合も、基準骨格モデル登録部３５は、ステップ１０４、１０６と同様の手順で、３次元骨格モデルを取得し（ステップ１１０）、図５（ｂ）に示すように、取得した３次元骨格モデル（＃０００３）を制御量指定用コマンド名（「強」）に紐付けてデータベース１０００に登録する（ステップ１１１）。 Subsequently, the UI unit 42 makes a voice announcement (eg, “strong attitude”) requesting an attitude for designating a digital control amount associated in advance with the control contents (eg: “air volume adjustment”). Output ") (step 109). Also in this case, the reference skeleton model registration unit 35 acquires a three-dimensional skeleton model in the same procedure as steps 104 and 106 (step 110), and as shown in FIG. (# 0003) is associated with the control amount designation command name ("strong") and registered in the database 1000 (step 111).
ここで、制御内容指定用コマンド名（例：「風量調節」）に対応付けられた他の制御量指定用コマンド名（例：「弱」）がある場合は（ステップ１１２、Ｎｏ）、ステップ１０９に戻り、ステップ１０９〜１１１を繰り返して定義された全ての制御量指定用コマンド名について３次元骨格モデルを登録する（ステップ１１２、Ｙｅｓ）。１つの制御内容指定用コマンド名について全ての３次元骨格モデルの登録が完了した後（ステップ１１３、Ｙｅｓ）、機器指定用コマンド名（例：「エアコン」）以外に選択された機器指定用コマンド名（例：「テレビ」）がある場合には（ステップ１１４、Ｎｏ）、ステップ１０３に戻り、ステップ１０３〜１１３を繰り返す。 If there is another control amount designation command name (eg, “weak”) associated with the control content designation command name (eg, “air flow adjustment”) (step 112, No), step 109 is performed. Returning to step S3, the three-dimensional skeleton model is registered for all control amount designation command names defined by repeating steps 109 to 111 (step 112, Yes). After all three-dimensional skeleton models have been registered for one control content designation command name (step 113, Yes), a device designation command name selected other than the device designation command name (eg, “air conditioner”) is selected. If (example: “television”) is present (step 114, No), the process returns to step 103 and steps 103 to 113 are repeated.
その後、選択された全ての機器指定用コマンド名ならびにこれに対応付けられている制御内容指定用コマンド名および制御量指定用コマンド名のそれぞれについて３次元骨格モデルの登録が全て完了すると（ステップ１１４、Ｙｅｓ）、セットアップ・モードを終了する。上述したセットアップ・モードを経て、ユーザ自身が定義した姿勢（基準骨格モデル）と電子機器の各種制御コマンドが紐付けられる。ここには、ユーザの個体差が問題となる余地はない。なぜなら、ユーザの姿勢を判定するための基準となる基準骨格モデル（パラメータ）は、いわば、ユーザ自身だからである。 Thereafter, when all registration of the three-dimensional skeleton model is completed for each of the selected device designation command names, and the control content designation command names and control amount designation command names associated therewith (step 114, Yes), the setup mode is terminated. Through the above-described setup mode, the posture (reference skeleton model) defined by the user and various control commands of the electronic device are linked. Here, there is no room for individual differences between users. This is because the reference skeleton model (parameter) that serves as a reference for determining the posture of the user is the user himself.
（通常動作モード）
続いて、電子機器制御システムの通常動作モードについて、図９に基づいて説明する。図９は、通常動作モード時に実行される処理のシーケンス図を示す。通常動作モードにおいては、バックグラウンドで、３次元骨格モデル推定エンジン２０が時々刻々と変化するモーションキャプチャデータからユーザ骨格モデルを推定・追跡する処理を継続的に実行する。
(Normal operation mode)
Next, the normal operation mode of the electronic device control system will be described with reference to FIG. FIG. 9 shows a sequence diagram of processing executed in the normal operation mode. In the normal operation mode, in the background, the 3D skeleton model estimation engine 20 continuously executes a process of estimating and tracking the user skeleton model from motion capture data that changes every moment.
姿勢類似度判定部３０は、基準骨格モデル管理部５０から機器指定用コマンド名に紐付けられた３次元骨格モデル（以下、機器指定用ターゲットという）をロードする（S1）。ここで、基準骨格モデル管理部５０にｎ個の機器指定用ターゲットが登録されていた場合には、ｎ個の姿勢類似度判定部３０（１〜ｎ）が機器ごとに展開され、以下に示す一連の手順を並行処理で実行する。 The posture similarity determination unit 30 loads a three-dimensional skeleton model (hereinafter referred to as a device designation target) associated with the device designation command name from the reference skeleton model management unit 50 (S1). Here, when n device designation targets are registered in the reference skeleton model management unit 50, n posture similarity determination units 30 (1 to n) are expanded for each device, and are shown below. A series of procedures are executed in parallel.
姿勢類似度判定部３０は、３次元骨格モデル推定エンジン２０から時々刻々と変化するユーザ骨格モデルをリアルタイムで取得する（S2）、姿勢類似度判定部３０の類似度計算部３２は、３次元骨格モデル推定エンジン２０から取得したユーザ骨格モデル（３次元ベクトル情報）とロードした機器指定用ターゲット（３次元ベクトル情報）に基づいて行列演算を実行し、先に説明した評価関数ｆを用いて定義されるところの類似度を計算する（S3）。姿勢類似度判定部３０は、算出された類似度が予め設定された閾値以上になったか否を監視する。 The posture similarity determination unit 30 acquires a user skeleton model that changes every moment from the three-dimensional skeleton model estimation engine 20 in real time (S2), and the similarity calculation unit 32 of the posture similarity determination unit 30 calculates the three-dimensional skeleton. The matrix calculation is performed based on the user skeleton model (three-dimensional vector information) acquired from the model estimation engine 20 and the loaded device designation target (three-dimensional vector information), and is defined using the evaluation function f described above. The degree of similarity is calculated (S3). The posture similarity determination unit 30 monitors whether or not the calculated similarity is greater than or equal to a preset threshold value.
先のセットアップ・モードの説明において、ユーザの姿勢を判定するための基準となる基準骨格モデルがユーザ自身によって設定されるパラメータであることについて触れたが、閾値設定部４０によって姿勢類似度判定部３０にセットされるところの類似度の閾値は、ユーザ自身によって設定される２つ目の重要なパラメータである。以下、本発明における類似度の閾値の設定について説明する。 In the above description of the setup mode, it has been mentioned that the reference skeleton model serving as a reference for determining the user's posture is a parameter set by the user himself. The similarity threshold that is set to is a second important parameter set by the user himself. The setting of the similarity threshold in the present invention will be described below.
類似度の閾値は、これを高く設定するほど、操作感度は低くなり、これを低く設定するほど、操作感度は高くなる。一方で、操作感度の高さと誤動作のリスクはトレードオフの関係にある。ここでは、図１０において矢印で示す「登録姿勢」に基づいて機器指定用ターゲットがセットされたと仮定する。「登録姿勢」では、ユーザは、エアコン９０から比較的離れた位置に立ち、且つ、エアコン９０に対してほぼ正面に向き合った状態でエアコン９０を指さしている。しかし、実際の使用においては、ユーザは、より近い位置からエアコン９０を指さしたり、部屋２００の壁際からエアコン９０を指さしたりすることがあるので、その際のユーザの姿勢は、当然のことながら「登録姿勢」と一致しない。したがって、仮に、ユーザが、部屋２００のどの場所から指さしてもエアコン９０が反応するようにしたいのであれば、類似度の閾値をある程度低めに設定する必要がある。図１０に示す例の場合、部屋２００の中の制御対象機器がエアコン９０だけなので、類似度の閾値をかなり低く設定してもさほど問題は生じないであろう。 As the similarity threshold is set higher, the operation sensitivity becomes lower, and as the similarity threshold is set lower, the operation sensitivity becomes higher. On the other hand, the high operational sensitivity and the risk of malfunction are in a trade-off relationship. Here, it is assumed that the device designation target is set based on the “registered posture” indicated by the arrow in FIG. In the “registered posture”, the user stands at a position relatively away from the air conditioner 90 and points the air conditioner 90 in a state of facing the air conditioner 90 substantially in front. However, in actual use, the user may point to the air conditioner 90 from a closer position, or may point to the air conditioner 90 from the wall of the room 200. It does not match "Registered posture". Therefore, if the user wants the air conditioner 90 to respond regardless of where the user points in the room 200, the similarity threshold needs to be set to be somewhat low. In the case of the example shown in FIG. 10, since the control target device in the room 200 is only the air conditioner 90, even if the similarity threshold is set to be quite low, there will be no problem.
一方、図１１に示すように、部屋２００の中に制御対象機器としてエアコン９０ａとテレビ９０ｂが設置されているといった状況（制御対象機器が複数存在する状況）においては、類似度の閾値の設定を低くしすぎると、エアコン９０ａを操作するつもりでとった姿勢にテレビ９０ｂが反応してしまうといった誤動作が起こる可能性がある。したがって、このような環境においては、２つの機器の操作を同時最適化することのできる適切な閾値を探す必要が出てくるであろう。 On the other hand, as shown in FIG. 11, in a situation where an air conditioner 90 a and a television 90 b are installed as control target devices in a room 200 (a situation where there are a plurality of control target devices), the similarity threshold is set. If it is set too low, there is a possibility of malfunction such as the television 90b reacting to the posture intended to operate the air conditioner 90a. Therefore, in such an environment, it will be necessary to find an appropriate threshold that can simultaneously optimize the operation of the two devices.
とはいえ、部屋２００の直交する２つの壁に沿ってそれぞれに制御対象機器が設置されているような状況（すなわち、各制御対象機器の設置位置が空間的に大きく離れている状況）においては、多くの場合、機器を指定する姿勢（３次元骨格モデル）の可分性は担保されるので、閾値の設定はそれほど難しくはないであろう。 However, in a situation where control target devices are installed along two orthogonal walls of the room 200 (that is, the installation positions of the control target devices are far apart in space). In many cases, the separability of the posture (three-dimensional skeletal model) for designating the device is ensured, so setting the threshold value will not be so difficult.
一方、図１２に示すように、部屋の同じ壁側にエアコン９０ａとテレビ９０ｂが設置されているような状況（すなわち、各制御対象機器の設置位置が空間的に近い状況）においては、誤動作を防止するために、類似度の閾値を相当程度高く設定する必要が出てくるであろう。なお、このような場合は、近接する制御対象機器の登録姿勢を異ならしめるなどの工夫をする（例えば、エアコン９０ａは１本の手で指さし、テレビ９０ｂは２本の手で指さす等）ことによって、閾値が極端に高くなること（すなわち、感度が極端に悪くなること）を回避することができる。 On the other hand, as shown in FIG. 12, in the situation where the air conditioner 90a and the television 90b are installed on the same wall side of the room (that is, the installation positions of the devices to be controlled are spatially close), malfunctions occur. In order to prevent this, it will be necessary to set the threshold value of similarity to a considerably high level. In such a case, it is possible to make different registration postures of neighboring control target devices (for example, the air conditioner 90a is pointed with one hand, the TV 90b is pointed with two hands, etc.). , It can be avoided that the threshold value becomes extremely high (that is, the sensitivity becomes extremely low).
以上、類似度の閾値の設定について説明してきたが、本発明において、重要なことは、この閾値をユーザ自らが適応的に設定できる点にある。ユーザは、スライダーなどのＧＵＩを介して、類似度の閾値を設定した後、実際に電子機器を操作してみて、その際の使用感・操作性を確認し、その結果を受けて、さらに、閾値を設定し直すといったことを繰り返すことによって、自身の環境向けに最適化されたパラメータを直感的に設定することができる。図１３は、ＵＩ部４２によって提供されるスライダーを含む閾値設定画面２０４を例示する。閾値設定画面２０４を介して決定された閾値は、閾値設定部４０によって対応する姿勢類似度判定部３０の閾値保持部３４にセットされる。 Although the setting of the similarity threshold has been described above, what is important in the present invention is that the user can adaptively set the threshold. After setting the similarity threshold via a slider or other GUI, the user actually operates the electronic device, confirms the feeling of use and operability at that time, receives the result, By repeatedly setting the threshold value, it is possible to intuitively set the parameter optimized for its own environment. FIG. 13 illustrates a threshold setting screen 204 including a slider provided by the UI unit 42. The threshold determined via the threshold setting screen 204 is set by the threshold setting unit 40 in the threshold holding unit 34 of the corresponding posture similarity determination unit 30.
なお、閾値の設定方法は、上述した態様に限定されるのではなく、適切な関数を使用して閾値を理論的に導出してもよい。たとえば、先に説明したセットアップ・モードの基準姿勢取得ステップ（ステップ１０３→ステップ１０４・等）をｎ回繰り返し実行し（例：アナウンス「指定動作をしてください」→データ取得→アナウンス「もういちど指定動作をしてください」→データ取得…）、その結果得られたｎ個の３次元骨格モデルの間の差分を所定の関数にセットすることによって閾値が自動的に設定されるように構成してもよい。 Note that the threshold setting method is not limited to the above-described mode, and the threshold may be theoretically derived using an appropriate function. For example, the setup mode reference posture acquisition step (step 103 → step 104, etc.) described above is repeatedly executed n times (for example, announce “Please specify operation”) → Data acquisition → announce “Respecify again Please operate "→ Data acquisition ...), and configure the threshold value to be automatically set by setting the difference between the n three-dimensional skeleton models obtained as a result to a predetermined function Also good.
再び、図９に戻って説明を続ける。姿勢類似度判定部３０は、類似度計算部３２が算出した類似度が設定された閾値以上になるまで、上述した一連の処理をループする。なお、本実施形態においては、ユーザの意図しない自然動作に起因する誤動作を防止するために、類似度が閾値を超える状態が所定時間（例えば、１秒間）継続することをループの脱出条件とすることが好ましい。 Returning again to FIG. 9, the description will be continued. The posture similarity determination unit 30 loops the series of processes described above until the similarity calculated by the similarity calculation unit 32 becomes equal to or greater than a set threshold value. In this embodiment, in order to prevent a malfunction caused by a natural motion that is not intended by the user, a state in which the degree of similarity exceeds a threshold is continued for a predetermined time (for example, 1 second) as a loop escape condition. It is preferable.
類似度計算部３２が算出した類似度が設定された閾値以上になると、姿勢類似度判定部３０は、機器指定用コマンド名（例えば「テレビ」）をセットする(S4)。続いて、姿勢類似度判定部３０は、基準骨格モデル管理部５０から当該機器指定用コマンド名（「テレビ」）に関連付けられた制御内容指定用コマンド名に紐付けられる３次元骨格モデル（以下、制御内容指定用ターゲットという）をロードした後（S5）、３次元骨格モデル推定エンジン２０から時々刻々と変化するユーザ骨格モデルをリアルタイムに取得する（S6）。姿勢類似度判定部３０の類似度計算部３２は、３次元骨格モデル推定エンジン２０から取得したユーザ骨格モデルの３次元ベクトル情報とロードした制御内容指定用ターゲット（３次元ベクトル情報）に基づいて類似度を計算する（S7）。姿勢類似度判定部３０は、算出された類似度が予め設定された閾値以上になるまで上述した処理をループし、類似度が閾値以上になったことに応答して、制御内容指定用コマンド名（例えば「電源ＯＮ」）をセットする(S8)。 When the similarity calculated by the similarity calculation unit 32 is equal to or greater than the set threshold, the posture similarity determination unit 30 sets a device designation command name (for example, “TV”) (S4). Subsequently, the posture similarity determination unit 30 includes a three-dimensional skeleton model (hereinafter, referred to as a control content designation command name associated with the device designation command name (“TV”)) from the reference skeleton model management unit 50. After loading the control content designation target (S5), a user skeleton model that changes every moment is acquired in real time from the three-dimensional skeleton model estimation engine 20 (S6). The similarity calculation unit 32 of the posture similarity determination unit 30 is similar based on the three-dimensional vector information of the user skeleton model acquired from the three-dimensional skeleton model estimation engine 20 and the loaded control content designation target (three-dimensional vector information). The degree is calculated (S7). The posture similarity determination unit 30 loops the above-described processing until the calculated similarity is equal to or higher than a preset threshold, and in response to the similarity being equal to or higher than the threshold, the control content designation command name (For example, “Power ON”) is set (S8).
ここで、Ｓ４でセットされた制御内容指定用コマンド名に制御量、制御内容指定用コマンド名が対応付けられていない場合（例えば、「電源ＯＮ」という操作には制御量という概念はない）、姿勢類似度判定部３０は、Ｓ４でセットされた機器指定用コマンド名（「テレビ」）と、Ｓ８でセットされた制御内容指定用コマンド名（「電源ＯＮ」）を紐付けて、制御コマンド生成部７０に通知する(S16)。制御コマンド生成部７０は、通知された機器指定用コマンド名および制御内容機器指定用コマンド名をキーとして制御コマンドデータベース７２を検索し、対応する制御コマンド（「テレビの電源ＯＮ」に対応する制御コマンド）を生成した後、当該制御コマンドの送信を制御信号発信器８０に依頼する(S17)。 Here, when the control amount designation command name set in S4 is not associated with the control amount and the control content designation command name (for example, there is no concept of the control amount in the operation of “power ON”). The posture similarity determination unit 30 generates a control command by associating the device designation command name (“TV”) set in S4 with the control content designation command name (“Power ON”) set in S8. The unit 70 is notified (S16). The control command generation unit 70 searches the control command database 72 using the notified device designation command name and control content device designation command name as keys, and the corresponding control command (control command corresponding to “TV power ON”). ) Is generated, the control signal transmitter 80 is requested to transmit the control command (S17).
図１４（ａ）は、ユーザがテレビ９０ｂを指定する姿勢をとった後、引き続き、電源ＯＮを指定する姿勢をとった場合を示す。この２つの姿勢が判定されたことに応答して、電子機器制御システム１００は、制御対象機器がテレビ９０ｂであり、その制御内容が「電源ＯＮ」であると判断し、テレビ９０ｂの電源をＯＮする。また、図１４（ｂ）は、ユーザがテレビ９０ｂを指定する姿勢をとった後、引き続き、電源ＯＦＦを指定する姿勢をとった場合を示す。この２つの姿勢が判定されたことに応答して、電子機器制御システム１００は、制御対象機器がテレビ９０ｂであり、その制御内容が「電源ＯＦＦ」であると判断し、テレビ９０ｂの電源をＯＦＦする。 FIG. 14A shows a case where the user has taken the attitude of designating the power supply ON after taking the attitude of designating the television 90b. In response to the determination of these two postures, the electronic device control system 100 determines that the device to be controlled is the television 90b and the control content is “power ON”, and turns on the television 90b. To do. FIG. 14B shows a case where the user has taken the posture of designating the power supply OFF after taking the posture of designating the television 90b. In response to the determination of these two postures, the electronic device control system 100 determines that the device to be controlled is the television 90b and the control content is “power OFF”, and turns off the power of the television 90b. To do.
一方、Ｓ４でセットされた制御内容指定用コマンド名（「音量調整」）に制御量指定用コマンド名（「小」「中」「大」）が対応付けられている場合を考える。図１５（ａ）（ｂ）は、ユーザがテレビ９０ｂを指定する姿勢をとった後、引き続いて、音量調整を指定する姿勢をとった場合を示す。この場合、姿勢類似度判定部３０は、基準骨格モデル管理部５０から制御内容指定用コマンド名「音量調整」に関連付けられた制御量指定用コマンド名（「小」「中」「大」）に紐付けられる３つの３次元骨格モデル（以下、制御量指定用ターゲットという）をロードした後（S9）、３次元骨格モデル推定エンジン２０から時々刻々と変化するユーザ骨格モデルをリアルタイムに取得する（S10）。姿勢類似度判定部３０の類似度計算部３２は、３次元骨格モデル推定エンジン２０から取得したユーザ骨格モデルの３次元ベクトル情報とロードした制御量指定用ターゲット（３次元ベクトル情報）に基づいて類似度を計算する（S11）。姿勢類似度判定部３０は、算出された類似度が予め設定された閾値以上になるまで上述した処理をループし、類似度が閾値以上になったことに応答して、制御量指定用コマンド名（例えば「大」）をセットする(S12)。 On the other hand, let us consider a case where the control name designation command name (“small”, “medium”, “large”) is associated with the control content designation command name (“volume adjustment”) set in S4. FIGS. 15A and 15B show a case where the user has taken the posture for designating volume adjustment after taking the posture for designating the television 90b. In this case, the posture similarity determination unit 30 assigns the control name designation command name (“small”, “medium”, “large”) associated with the control content designation command name “volume adjustment” from the reference skeleton model management unit 50. After loading three linked three-dimensional skeleton models (hereinafter referred to as control amount designation targets) (S9), a user skeleton model that changes from moment to moment is acquired in real time from the three-dimensional skeleton model estimation engine 20 (S10). ). The similarity calculation unit 32 of the posture similarity determination unit 30 is similar based on the three-dimensional vector information of the user skeleton model acquired from the three-dimensional skeleton model estimation engine 20 and the loaded control amount designation target (three-dimensional vector information). The degree is calculated (S11). The posture similarity determination unit 30 loops the above-described processing until the calculated similarity is equal to or higher than a preset threshold value, and in response to the similarity being equal to or higher than the threshold value, a control amount designation command name (For example, “Large”) is set (S12).
姿勢類似度判定部３０は、Ｓ４でセットされた機器指定用コマンド名（「テレビ」）と、Ｓ８でセットされた制御内容指定用コマンド名（「音量調整」）と、Ｓ１２でセットされた制御量指定用コマンド名（例えば「大」）を紐付けて、制御コマンド生成部７０に通知する(S16)。制御コマンド生成部７０は、通知された機器指定用コマンド名、制御内容指定用コマンド名、制御量指定用コマンド名をキーとして制御コマンドデータベース７２を検索し、対応する制御コマンド（「テレビの音量を大にする」に対応する制御コマンド）を生成した後、当該制御コマンドの送信を制御信号発信器８０に依頼する(S17)。 The posture similarity determination unit 30 sets the device designation command name (“TV”) set in S4, the control content designation command name (“Volume adjustment”) set in S8, and the control set in S12. The command name for quantity designation (for example, “Large”) is linked and notified to the control command generation unit 70 (S16). The control command generation unit 70 searches the control command database 72 using the notified device designation command name, control content designation command name, and control amount designation command name as keys, and the corresponding control command (“TV volume”). Then, the control signal transmitter 80 is requested to transmit the control command (S17).
デジタル制御量を指定するための姿勢は種々想定することができるが、ここでは、図１６にその一例を３次元骨格モデルとともに示す。図１６（ａ）〜（ｃ）は、それぞれ、デジタル制御量「小」、「中」、「大」を指定するための姿勢を示す。 Various postures for designating the digital control amount can be assumed. Here, an example thereof is shown in FIG. 16 together with a three-dimensional skeleton model. FIGS. 16A to 16C show postures for designating digital control amounts “small”, “medium”, and “large”, respectively.
一方、Ｓ４でセットされた制御内容指定用コマンド名に対応付けられている制御量指定用コマンド名に「アナログ制御量」のフラグが設定されている場合、姿勢類似度判定部３０は、アナログ制御量取得部６０に対してアナログ制御量の取得を依頼する(S13)。アナログ制御量取得部６０は、これを受けて、３次元骨格モデル推定エンジン２０から時々刻々と変化するユーザ骨格モデルをリアルタイムに取得し、これに基づいてアナログ制御量を取得する(S14)。アナログ制御量を定義するためのアルゴリズムは種々想定することができるが、ここでは、図１７を参照してその一例を紹介する。 On the other hand, when the “analog control amount” flag is set in the control amount designation command name associated with the control content designation command name set in S4, the posture similarity determination unit 30 performs analog control. The amount acquisition unit 60 is requested to acquire an analog control amount (S13). In response to this, the analog control amount acquisition unit 60 acquires the user skeleton model that changes every moment from the three-dimensional skeleton model estimation engine 20 in real time, and acquires the analog control amount based on this (S14). Various algorithms for defining the analog control amount can be assumed. Here, an example will be introduced with reference to FIG.
図１７（ａ）〜（ｃ）は、アナログ制御量を指定するための一連の動作をその３次元骨格モデルとともに例示する。アナログ制御量取得部６０は、図１７（ａ）に示す姿勢を基準として、予め指定されたベクトル（ベクトルＶ１）を追跡し、基準ラインからの見た所定時間内の角変化量（および回転方向）を取得する。ベクトルＶ１と基準ラインのなす角度が図１７（ｂ）に示すような態様で変化した場合は、アナログ量をその角変化量に応じて増加させ、ベクトルＶ１と基準ラインのなす角度が図１７（ｃ）に示すような態様で変化した場合は、アナログ量をその角変化量に応じて減少させる。 17A to 17C illustrate a series of operations for designating an analog control amount together with the three-dimensional skeleton model. The analog control amount acquisition unit 60 tracks a vector (vector V 1 ) designated in advance with the posture shown in FIG. 17A as a reference, and changes the angle (and rotation) within a predetermined time as viewed from the reference line. Direction). If the angle of the vector V 1 and the reference line is changed in the manner shown in FIG. 17 (b), is increased in accordance with an analog amount to the angular variation, figure angle of the vector V 1 and the reference line When it changes in a mode as shown in 17 (c), the analog amount is decreased according to the angular change amount.
アナログ制御量取得部６０は、上述した手順で取得したアナログ制御量を姿勢類似度判定部３０に通知する。姿勢類似度判定部３０は、これを受けて当該アナログ制御量をセットする(S15)。なお、本実施形態におけるアナログ制御量としては、この他に、全自動掃除用ロボットの進行方向（操舵角度）や扇風機の風向き（首振り角度）などの角度量を挙げることができる。また、「制御内容を指示する姿勢」が維持される時間によってアナログ制御量を定義するアルゴリズムを採用することもできる。 The analog control amount acquisition unit 60 notifies the posture similarity determination unit 30 of the analog control amount acquired by the above-described procedure. In response to this, the posture similarity determination unit 30 sets the analog control amount (S15). In addition, examples of the analog control amount in the present embodiment include angle amounts such as the traveling direction (steering angle) of the fully automatic cleaning robot and the wind direction (swinging angle) of the electric fan. In addition, an algorithm that defines an analog control amount according to a time during which the “posture for instructing control content” is maintained can be employed.
姿勢類似度判定部３０は、Ｓ４でセットされた機器指定用コマンド名（「テレビ」）と、Ｓ８でセットされた制御内容指定用コマンド名（「音量調整」）と、Ｓ１２でセットされたデジタル制御量またはＳ１５でセットされたアナログ制御量を紐付けて、制御コマンド生成部７０に通知する(S16)。制御コマンド生成部７０は、通知された機器指定用コマンド名、制御内容指定用コマンド名、制御量指定用コマンド名／アナログ制御量をキーとして制御コマンドデータベース７２を検索し、対応する制御コマンド（例えば、「テレビの音量を大にする」、「テレビの音量を現在の値からｎ量増加させる」に対応する制御コマンド）を生成した後、当該制御コマンドの送信を制御信号発信器８０に依頼する(S17)。 The posture similarity determination unit 30 uses the device designation command name (“TV”) set in S4, the control content designation command name (“volume adjustment”) set in S8, and the digital set in S12. The control amount or the analog control amount set in S15 is linked and notified to the control command generation unit 70 (S16). The control command generation unit 70 searches the control command database 72 using the notified device designation command name, control content designation command name, control amount designation command name / analog control amount as keys, and a corresponding control command (for example, , “Control command corresponding to“ increase TV volume ”and“ increase TV volume by n amount from current value ”), request control signal transmitter 80 to transmit the control command. (S17).
以上、説明したように、本実施形態の電子機器制御システム１００を構築するにあたり、ディベロッパーは、従来のように複雑なプログラムを設計する必要がなく、ユーザの使用環境を想定する必要もない。一方、ユーザは、２つのパラメータ（基準骨格モデルおよび類似度の閾値）を自分の環境に合わせて自らカスタマイズすることができるので、全てのユーザが本システムの利益を享受することができる。 As described above, in constructing the electronic device control system 100 of the present embodiment, the developer does not need to design a complicated program as in the prior art, and does not need to assume the user's usage environment. On the other hand, since the user can customize the two parameters (reference skeleton model and similarity threshold) according to his / her environment, all users can enjoy the benefits of this system.
なお、上述した説明においては、部屋の中に設置された家電をリモコン操作する例をもって電子機器制御システム１００の機能を解説してきたが、本発明の電子機器制御システムは、当然にして、制御対象の種類を限定するものではなく、自動車の車外ミラーやワイパーの操作、工事現場におけるクレーン等の重機の遠隔操作、各種ヒューマノイド・ロボットの姿勢同期制御、ディスプレイ画面上のＧＵＩや商品注文パネルをポインティングしたり、あるいは、仮想２次元面上の所定位置をポインティングしたりして情報や命令を入力する各種情報入力装置の制御など、種々の適用範囲を想定することができる。また、上述した実施形態においては、複数の電子機器に対して、１台のセンシングデバイスを設置した例について説明したが、１台の電子機器に対して固有のセンシングデバイスを用意してもよい。また、上述した実施形態においては、１つの制御コマンドに対して１つの基準骨格モデルを紐付ける態様について説明したが、１つの制御コマンドに対して、複数の基準骨格モデルを登録し、複数条件（閾値）の論理和をもって姿勢を判定するように構成してもよい。 In the above description, the function of the electronic device control system 100 has been described with an example in which a home appliance installed in a room is operated by remote control. However, the electronic device control system of the present invention is naturally subject to control. There are no restrictions on the type of vehicle, operation of external mirrors and wipers of automobiles, remote control of heavy machinery such as cranes at construction sites, attitude synchronization control of various humanoid robots, and pointing on GUI and product order panels on the display screen Alternatively, various application ranges such as control of various information input devices that input information and commands by pointing a predetermined position on the virtual two-dimensional surface can be assumed. In the above-described embodiment, an example in which one sensing device is installed for a plurality of electronic devices has been described. However, a unique sensing device may be prepared for one electronic device. In the above-described embodiment, the mode in which one reference skeleton model is linked to one control command has been described. However, a plurality of reference skeleton models are registered for one control command, and a plurality of conditions ( The posture may be determined based on the logical sum of (threshold).
以上、本発明を電子機器制御システムの実施形態をもって説明してきたが、本発明の応用範囲は、当然のことながらこれに限定されるものではない。 Although the present invention has been described with the embodiment of the electronic device control system, the scope of application of the present invention is naturally not limited to this.
例えば、本発明の姿勢判定方法は、プレーヤーの没入感を高めることを特徴としたバーチャル・リアリティ（ＶＲ）体感型ゲームにおいて、プレーヤーの姿勢とゲームキャラクタの姿勢を同期させるゲーム・アプリケーションに適用することができる。本発明の姿勢判定処理は、計算負荷が非常に小さいので、「ユーザの動きにキャラクタがついてこない」といった従来のゲームの問題を解決することができる。また、ユーザに対して類似度の閾値を設定させることで、姿勢同期の難易度を自在に変更できるモードを用意して、ゲームの興趣性を向上させるなど、種々の応用が期待できる。 For example, the posture determination method of the present invention is applied to a game application that synchronizes the posture of a player and the posture of a game character in a virtual reality (VR) bodily sensation type game characterized by enhancing the player's immersive feeling. Can do. Since the posture determination process of the present invention has a very small calculation load, it is possible to solve the problem of the conventional game such as “the character does not follow the user's movement”. In addition, it is possible to expect various applications such as preparing a mode in which the degree of difficulty of posture synchronization can be freely changed by setting a threshold value of similarity for the user, and improving the fun of the game.
以上、説明したように、本発明の手法によれば、２つのパラメータ（基準骨格モデルおよび類似度の閾値）をユーザが自由に設定することによって、ユーザが所望するあらゆる姿勢を判定することが可能になり、且つ、その判定をユーザの用途に応じた最適な精度で行うことが可能になる。このような本発明の手法が用途展開において無限の可能性を秘めていることを当業者であれば容易に理解するであろう。 As described above, according to the method of the present invention, the user can freely set two parameters (the reference skeleton model and the similarity threshold) to determine any posture desired by the user. In addition, the determination can be performed with the optimum accuracy according to the user's application. Those skilled in the art will readily understand that such a method of the present invention has infinite possibilities in application development.
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、基準骨格モデルをディベロッパー側でプリセットしておき、ユーザが類似度の閾値を設定することによって使用感を微調整するように構成してもよいし、用途によっては、基準骨格モデルおよび類似度の閾値の両方をディベロッパー側でプリセットしてもよい。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 As described above, the present invention has been described with the embodiment. However, the present invention is not limited to the above-described embodiment. The reference skeleton model is preset on the developer side, and the user sets a similarity threshold. Depending on the application, both the reference skeleton model and the similarity threshold may be preset on the developer side. In addition, it is included in the scope of the present invention as long as the effects and effects of the present invention are exhibited within the scope of embodiments that can be considered by those skilled in the art.
なお、上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。 Each function of the above-described embodiment can be realized by a device-executable program described in an object-oriented programming language such as C, C ++, C #, Java (registered trademark), and the program of the present embodiment is It can be stored in a device-readable recording medium such as a hard disk device, CD-ROM, MO, DVD, flexible disk, EEPROM, EPROM, etc., and can be transmitted via a network in a format that other devices can use. it can.
１０…センシングデバイス
１２…３次元骨格モデル取得手段
１４…情報処理装置
２０…３次元骨格モデル推定エンジン
３０…姿勢類似度判定部
３２…類似度計算部
３４…閾値保持部
３５…基準骨格モデル登録部
４０…閾値設定部
４２…ＵＩ部
５０…基準骨格モデル管理部
６０…アナログ制御量取得部
７０…制御コマンド生成部
７２…制御コマンドデータベース
８０…制御信号発信器
９０…電子機器
１００…電子機器制御システム
２００…部屋
２０２…制御機器選択画面
２０４…閾値設定画面
３００…基準骨格モデル
４００…ユーザ骨格モデル
５００…非接触型ポインティング・システム
５０２…撮像装置
５０４…ディスプレイ装置
DESCRIPTION OF SYMBOLS 10 ... Sensing device 12 ... Three-dimensional skeleton model acquisition means 14 ... Information processing apparatus 20 ... Three-dimensional skeleton model estimation engine 30 ... Posture similarity determination part 32 ... Similarity calculation part 34 ... Threshold holding part 35 ... Reference | standard skeleton model registration part DESCRIPTION OF SYMBOLS 40 ... Threshold setting part 42 ... UI part 50 ... Reference | standard skeleton model management part 60 ... Analog control amount acquisition part 70 ... Control command generation part 72 ... Control command database 80 ... Control signal transmitter 90 ... Electronic device 100 ... Electronic device control system 200 ... room 202 ... control device selection screen 204 ... threshold setting screen 300 ... reference skeleton model 400 ... user skeleton model 500 ... non-contact type pointing system 502 ... imaging device 504 ... display device
Claims (12)
モーションキャプチャデータから取得されるユーザの３次元骨格モデルと前記基準姿勢の３次元骨格モデルの間の類似度を判定する姿勢類似度判定部と、
前記姿勢類似度判定部から前記制御コマンド名を通知されたことに応答して該制御コマンド名に対応する制御コマンドを生成する制御コマンド生成部と
を含み、
前記姿勢類似度判定部は、
前記ユーザの３次元骨格モデルを構成する３次元ベクトルとこれに対応する前記基準姿勢の３次元骨格モデルを構成する３次元ベクトルのなす角度に基づいて前記類似度を計算し、該類似度が予め設定された閾値以上である場合に、該基準姿勢の３次元骨格モデルに紐付けられた前記制御コマンド名を前記制御コマンド生成部に通知する、
電子機器制御装置。 A reference 3D skeleton model management unit that manages a 3D skeleton model of a predefined reference posture in association with a control command name of an electronic device;
A posture similarity determination unit that determines the similarity between the three-dimensional skeleton model of the user acquired from the motion capture data and the three-dimensional skeleton model of the reference posture;
A control command generation unit that generates a control command corresponding to the control command name in response to the notification of the control command name from the posture similarity determination unit;
The posture similarity determination unit
The similarity is calculated based on an angle formed by a three-dimensional vector constituting the user's three-dimensional skeleton model and a corresponding three-dimensional vector constituting the three-dimensional skeleton model of the reference posture. When the threshold is equal to or more than a set threshold, the control command name associated with the three-dimensional skeleton model of the reference posture is notified to the control command generation unit.
Electronic device control device.
前記コンピュータに対し、
予め定義された基準姿勢の３次元骨格モデルを管理する機能手段と、
モーションキャプチャデータから取得されるユーザの３次元骨格モデルを構成する３次元ベクトルとこれに対応する前記基準姿勢の３次元骨格モデルを構成する３次元ベクトルのなす角度に基づいて前記類似度を計算する機能手段と
を実現する方法。 A computer-executable method for causing a computer to determine the similarity of posture,
For the computer
Functional means for managing a three-dimensional skeleton model of a predefined reference posture;
The similarity is calculated based on an angle formed by a three-dimensional vector constituting the user's three-dimensional skeleton model acquired from the motion capture data and a corresponding three-dimensional vector constituting the three-dimensional skeleton model of the reference posture. A method for realizing functional means.
モーションキャプチャデータから取得されるユーザの３次元骨格モデルと前記基準姿勢の３次元骨格モデルの間の類似度を判定する姿勢類似度判定手段と、
前記姿勢類似度判定手段から前記制御コマンド名を通知されたことに応答して該制御コマンド名に対応する制御コマンドを生成する制御コマンド生成手段と
を含み、
前記姿勢類似度判定手段は、
前記ユーザの３次元骨格モデルを構成する３次元ベクトルとこれに対応する前記基準姿勢の３次元骨格モデルを構成する３次元ベクトルのなす角度に基づいて前記類似度を計算し、該類似度が予め設定された閾値以上である場合に、該基準姿勢の３次元骨格モデルに紐付けられた前記制御コマンド名を前記制御コマンド生成手段に通知する、
電子機器制御システム。 A reference three-dimensional skeleton model management means for managing a three-dimensional skeleton model having a predefined reference posture in association with a control command name of an electronic device;
Posture similarity determination means for determining a similarity between a user's three-dimensional skeleton model acquired from motion capture data and the three-dimensional skeleton model of the reference posture;
Control command generation means for generating a control command corresponding to the control command name in response to the notification of the control command name from the posture similarity determination means,
The posture similarity determination means includes:
The similarity is calculated based on an angle formed by a three-dimensional vector constituting the user's three-dimensional skeleton model and a corresponding three-dimensional vector constituting the three-dimensional skeleton model of the reference posture. If the control command name is greater than or equal to a set threshold, the control command name associated with the three-dimensional skeleton model of the reference posture is notified to the control command generation means;
Electronic equipment control system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011171482A JP2013037454A (en) | 2011-08-05 | 2011-08-05 | Posture determination method, program, device, and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011171482A JP2013037454A (en) | 2011-08-05 | 2011-08-05 | Posture determination method, program, device, and system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013037454A true JP2013037454A (en) | 2013-02-21 |
Family
ID=47887034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011171482A Pending JP2013037454A (en) | 2011-08-05 | 2011-08-05 | Posture determination method, program, device, and system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013037454A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101428014B1 (en) | 2013-10-31 | 2014-08-07 | 동국대학교 산학협력단 | Apparatus and method for simulating NUI and NUX in virtualized environment |
| KR20160098560A (en) * | 2015-02-09 | 2016-08-19 | 한국전자통신연구원 | Apparatus and methdo for analayzing motion |
| JP2016200910A (en) * | 2015-04-08 | 2016-12-01 | 日野自動車株式会社 | Driver state determination device |
| CN111639612A (en) * | 2020-06-04 | 2020-09-08 | 浙江商汤科技开发有限公司 | Posture correction method and device, electronic equipment and storage medium |
| JP2020149228A (en) * | 2019-03-12 | 2020-09-17 | 株式会社デンソーテン | Control device and control method |
| JP2021152738A (en) * | 2020-03-24 | 2021-09-30 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Authentication device, authentication method, authentication program |
| JP2022506637A (en) * | 2019-01-29 | 2022-01-17 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | Image processing methods and equipment, network training methods and equipment |
| WO2024067468A1 (en) * | 2022-09-27 | 2024-04-04 | 广州视琨电子科技有限公司 | Interaction control method and apparatus based on image recognition, and device |
| WO2024190741A1 (en) * | 2023-03-13 | 2024-09-19 | 日本電気株式会社 | Information processing device, information processing system, information processing method, and recording medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005178473A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Interface for in-vehicle equipment |
| JP2008140268A (en) * | 2006-12-04 | 2008-06-19 | Denso Corp | Operation estimation device and program |
| JP2009252105A (en) * | 2008-04-09 | 2009-10-29 | Denso Corp | Prompter-type operation device |
| WO2010088156A2 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Standard gestures |
| WO2010096279A2 (en) * | 2009-02-17 | 2010-08-26 | Omek Interactive , Ltd. | Method and system for gesture recognition |
| JP2011081541A (en) * | 2009-10-06 | 2011-04-21 | Canon Inc | Input device and control method thereof |
| JP2011085966A (en) * | 2009-10-13 | 2011-04-28 | Sony Corp | Information processing device, information processing method, and program |
-
2011
- 2011-08-05 JP JP2011171482A patent/JP2013037454A/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005178473A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Interface for in-vehicle equipment |
| JP2008140268A (en) * | 2006-12-04 | 2008-06-19 | Denso Corp | Operation estimation device and program |
| JP2009252105A (en) * | 2008-04-09 | 2009-10-29 | Denso Corp | Prompter-type operation device |
| WO2010088156A2 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Standard gestures |
| JP2012516507A (en) * | 2009-01-30 | 2012-07-19 | マイクロソフト コーポレーション | Standard gestures |
| WO2010096279A2 (en) * | 2009-02-17 | 2010-08-26 | Omek Interactive , Ltd. | Method and system for gesture recognition |
| JP2012518236A (en) * | 2009-02-17 | 2012-08-09 | オーメック インタラクティブ，リミテッド | Method and system for gesture recognition |
| JP2011081541A (en) * | 2009-10-06 | 2011-04-21 | Canon Inc | Input device and control method thereof |
| JP2011085966A (en) * | 2009-10-13 | 2011-04-28 | Sony Corp | Information processing device, information processing method, and program |
Non-Patent Citations (2)
| Title |
|---|
| FUJIMURA WATARU, ET AL.: "CartooNect: Sensory motor playing system using cartoon actions", PROCEEDINGS OF VIRTUAL REALITY INTERNATIONAL CONFERENCE (VRIC 2011), JPN6015023986, April 2011 (2011-04-01), ISSN: 0003096533 * |
| 松村麻記子ほか: "ベッド−車椅子移乗介助動作における熟達者と初心者の差異抽出", 電気学会研究会資料, JPN6015047774, 19 May 2011 (2011-05-19), JP, pages 97 - 102, ISSN: 0003204634 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101428014B1 (en) | 2013-10-31 | 2014-08-07 | 동국대학교 산학협력단 | Apparatus and method for simulating NUI and NUX in virtualized environment |
| KR20160098560A (en) * | 2015-02-09 | 2016-08-19 | 한국전자통신연구원 | Apparatus and methdo for analayzing motion |
| KR102097016B1 (en) * | 2015-02-09 | 2020-04-06 | 한국전자통신연구원 | Apparatus and methdo for analayzing motion |
| JP2016200910A (en) * | 2015-04-08 | 2016-12-01 | 日野自動車株式会社 | Driver state determination device |
| JP2022506637A (en) * | 2019-01-29 | 2022-01-17 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | Image processing methods and equipment, network training methods and equipment |
| JP2020149228A (en) * | 2019-03-12 | 2020-09-17 | 株式会社デンソーテン | Control device and control method |
| JP2021152738A (en) * | 2020-03-24 | 2021-09-30 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Authentication device, authentication method, authentication program |
| JP7335191B2 (en) | 2020-03-24 | 2023-08-29 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Authentication device, authentication method, authentication program |
| CN111639612A (en) * | 2020-06-04 | 2020-09-08 | 浙江商汤科技开发有限公司 | Posture correction method and device, electronic equipment and storage medium |
| WO2024067468A1 (en) * | 2022-09-27 | 2024-04-04 | 广州视琨电子科技有限公司 | Interaction control method and apparatus based on image recognition, and device |
| WO2024190741A1 (en) * | 2023-03-13 | 2024-09-19 | 日本電気株式会社 | Information processing device, information processing system, information processing method, and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2013037454A (en) | Posture determination method, program, device, and system | |
| US10890983B2 (en) | Artificial reality system having a sliding menu | |
| KR101546654B1 (en) | Method and apparatus for providing augmented reality service in wearable computing environment | |
| CN114080585A (en) | Virtual user interface using peripheral devices in an artificial reality environment | |
| Kasahara et al. | exTouch: spatially-aware embodied manipulation of actuated objects mediated by augmented reality | |
| WO2013118373A1 (en) | Image processing apparatus, image processing method, and program | |
| US10955929B2 (en) | Artificial reality system having a digit-mapped self-haptic input method | |
| US9245063B2 (en) | Creating ergonomic manikin postures and controlling computer-aided design environments using natural user interfaces | |
| KR102021851B1 (en) | Method for processing interaction between object and user of virtual reality environment | |
| TW202105129A (en) | Artificial reality systems with personal assistant element for gating user interface elements | |
| Stuerzlinger et al. | The value of constraints for 3D user interfaces | |
| EP3549127A1 (en) | A system for importing user interface devices into virtual/augmented reality | |
| JP2010257081A (en) | Image procession method and image processing system | |
| CN113546419B (en) | Game map display method, game map display device, terminal and storage medium | |
| WO2022166448A1 (en) | Devices, methods, systems, and media for selecting virtual objects for extended reality interaction | |
| Yu et al. | Blending on-body and mid-air interaction in virtual reality | |
| Park et al. | New design and comparative analysis of smartwatch metaphor-based hand gestures for 3D navigation in mobile virtual reality | |
| Park et al. | DesignAR: Portable projection-based AR system specialized in interior design | |
| Kim et al. | Oddeyecam: A sensing technique for body-centric peephole interaction using wfov rgb and nfov depth cameras | |
| JP2017092509A (en) | Method for generating control signal used for telepresence robot, telepresence system and computer program | |
| CN114115544B (en) | Man-machine interaction method, three-dimensional display device and storage medium | |
| Halim et al. | Designing ray-pointing using real hand and touch-based in handheld augmented reality for object selection | |
| Adjeisah et al. | Joint Filtering: Enhancing gesture and mouse movement in Microsoft Kinect application | |
| Arslan et al. | E-Pad: Large display pointing in a continuous interaction space around a mobile device | |
| Menezes et al. | Touching is believing-Adding real objects to Virtual Reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140730 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150616 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150811 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151201 |