JP2014102685A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】多様なモデルを対象として、実体モデルを構築するためのインストラクションをユーザが容易に作成することを可能とすること。
【解決手段】複数のエレメントから構築される実体モデルから個々のエレメントが除去される過程を映した一連の入力画像を取得する画像取得部と、前記画像取得部により取得される前記入力画像を用いて、前記実体モデルのエレメント構成を認識する認識部と、前記認識部により認識される前記エレメント構成に基づいて、前記実体モデルを構築するための構築手順を決定する決定部と、を備える情報処理装置を提供する。
【選択図】図４

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

例えば玩具、家具及び電化製品の組み立ての場面において、インストラクションに従って複数のエレメント（部品）から１つの実体モデルを構築する作業が行われる。特に、エンドユーザが構築作業を担う場合には、正確で分かり易いインストラクションを提供することが重要である。通常、インストラクションは、モデルの設計に基づいて、スペシャリストにより、ＣＡＤ（Computer Aided Design）などのツールを用いて作成される。このインストラクションの作成を自動的に行うことができれば、インストラクションを伴う製品の生産性の観点で有益である。

しかし、所与のモデルからそのモデルの構築手順を自動的に導き出すことは、必ずしも容易ではない。そこで、下記特許文献１は、ユーザとのインタラクションを伴う半自動的な解決策を提案している。下記特許文献１により提案された技術では、まず、モデルの完成型がコンピュータの画面に表示される。そして、モデルから除去すべきエレメントがユーザにより逐次的に選択され、除去ステップのシーケンスがコンピュータにより記憶される。インストラクションのための構築ステップのシーケンスは、記憶された除去ステップのシーケンスを逆転させることにより導かれる。

米国特許第７９７９２５１号明細書

上記特許文献１により提案された技術は、モデルの完全なデジタル表現が予め用意されており、コンピュータ上でユーザがモデルを扱うことを前提としている。しかしながら、コンピュータ上でモデルを扱うこと自体が、スペシャリストではないユーザにとっては、スキルの面でも経済的な面でも負担になり得る。また、エンドユーザが独自に構築した実体モデルについては、モデルのデジタル表現は通常存在しないため、上記特許文献１により提案された技術を利用してその実体モデルのためのインストラクションを作成することができない。通信環境の高度化に伴ってユーザ間の情報交換が活発化している今日、ユーザ独自のモデルを他のユーザと共有したいというニーズは増している。そのニーズを、既存の技術は十分に満足させていない。

従って、多様なモデルを対象として、実体モデルを構築するためのインストラクションをユーザが容易に作成することを可能とする、改善された仕組みが提供されることが望ましい。

本開示によれば、複数のエレメントから構築される実体モデルから個々のエレメントが除去される過程を映した一連の入力画像を取得する画像取得部と、前記画像取得部により取得される前記入力画像を用いて、前記実体モデルのエレメント構成を認識する認識部と、前記認識部により認識される前記エレメント構成に基づいて、前記実体モデルを構築するための構築手順を決定する決定部と、を備える情報処理装置が提供される。

また、本開示によれば、情報処理装置により実行される情報処理方法であって、複数のエレメントから構築される実体モデルから個々のエレメントが除去される過程を映した一連の入力画像を取得することと、取得される前記入力画像を用いて、前記実体モデルのエレメント構成を認識することと、認識された前記エレメント構成に基づいて、前記実体モデルを構築するための構築手順を決定することと、を含む情報処理方法が提供される。

また、本開示によれば、情報処理装置を制御するコンピュータを、複数のエレメントから構築される実体モデルから個々のエレメントが除去される過程を映した一連の入力画像を取得する画像取得部と、前記画像取得部により取得される前記入力画像を用いて、前記実体モデルのエレメント構成を認識する認識部と、前記認識部により認識される前記エレメント構成に基づいて、前記実体モデルを構築するための構築手順を決定する決定部と、として機能させるためのプログラムが提供される。

本開示に係る技術によれば、多様なモデルを対象として、実体モデルを構築するためのインストラクションをユーザが容易に作成することが可能となる。

一実施形態に係る情報処理装置の概要について説明するための説明図である。 モデルを構成するエレメントの一例について説明するための第１の説明図である。 モデルを構成するエレメントの一例について説明するための第２の説明図である。 一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 一実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。 特徴データの構成の一例について説明するための説明図である。 エレメント構成の一例について説明するための説明図である。 図６に示したエレメント構成に対応するモデルについて説明するための説明図である。 実体モデルからエレメントが除去される様子を示す説明図である。 エレメントを識別するための第１の手法について説明するための説明図である。 エレメントを識別するための第２の手法について説明するための説明図である。 エレメントを識別するための第３の手法について説明するための説明図である。 エレメントの配置を認識するための手法の一例について説明するための説明図である。 除去されたエレメントの順に記述される実体モデルのエレメント構成の一例について説明するための第１の説明図である。 除去されたエレメントの順に記述される実体モデルのエレメント構成の一例について説明するための第２の説明図である。 実体モデルの構築手順を決定するための手法の一例について説明するための説明図である。 一実施形態に係る情報処理装置により実行される処理の流れの一例を示すフローチャートである。 本開示に係る技術に従って作成され得るインストラクションの第１の例を示す説明図である。 本開示に係る技術に従って作成され得るインストラクションの第２の例を示す説明図である。 一変形例に係る情報処理装置の機能構成の一例を示すブロック図である。 一変形例において作成され得るインストラクションの一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．一実施形態の概要
２．情報処理装置の構成
２−１．ハードウェア構成例
２−２．機能構成例
２−３．処理の流れの例
２−４．インストラクションの例
３．変形例
４．まとめ

＜１．一実施形態の概要＞
図１は、一実施形態に係る情報処理装置の概要について説明するための説明図である。図１を参照すると、情報処理装置１００、実体モデルＭ１及びユーザの手Ｕｈが示されている。本明細書において、モデルとは、複数のエレメントを組み立てることにより構築されるオブジェクトをいう。エレメントは、モデルを構成する部品である。実空間において物理的に構築されたモデルを、実体モデル（real model）という。一方、概念的に設計された（物理的な実体を伴わない）モデルを、概念モデル（conceptual model）という。

上記特許文献１により提案された技術では、完成された概念モデルの画像がコンピュータの画面に表示され、ユーザは、概念モデルから除去すべきエレメントをユーザインタフェースを介して逐次的に選択する。一方、本開示に係る技術では、実体モデルからユーザが実際にエレメントを逐次的に除去していく過程を、情報処理装置１００が撮像する。そして、情報処理装置１００は、一連の撮像画像に基づいて、実体モデルのエレメント構成を認識する。図１の例から理解されるように、エレメントが除去される前の段階では、外部から見えないエレメントが存在する可能性がある。そのため、モデルの完全なエレメント構成は、最初から与えられるのではなく、ユーザによるエレメントの除去が終了した後に認識され得る。

本実施形態において、モデルを構成するエレメントの視覚的特徴（例えば、色、形状及びサイズのうちの１つ以上）は、予め規格化される。そして、エレメントは、その視覚的特徴に依存して有限個のタイプに分類される。

図１の例では、実体モデルＭ１を構成するエレメントは、玩具用のブロックである。図２Ａには、第１のタイプのブロックＢＬ１が示されている。ブロックＢＬ１は、その上面に４×２のマトリクス状に配列された８個の突起（knob）Ｋｎ１を有する。また、ブロックＢＬ１は、その底面に４×２のマトリクス状に配列された８個の窪みＴｕ１を有する。ユーザは、例えば、２つのブロックＢＬ１を上下に重ね合わせて上のブロックＢＬ１の窪みＴｕ１に下のブロックの突起Ｋｎ１を嵌め込むことにより、２つのブロックＢＬ１、ＢＬ２を互いに連結（interlock）することができる。図２Ｂには、第２のタイプのブロックＢＬ２が示されている。ブロックＢＬ２は、その上面に６×１のマトリクス状に配列された６個の突起Ｋｎ２を有する。また、ブロックＢＬ２は、その底面に６×１のマトリクス状に配列された６個の窪みＴｕ２を有する。ブロックＢＬ２の突起Ｋｎ２の形状は、ブロックＢＬ１の突起Ｋｎ１の形状と同等であってよく、ブロックＢＬ２の窪みＴｕ２の形状は、ブロックＢＬ１の窪みＴｕ１の形状と同等であってよい。隣接する突起の間の間隔（pitch）及び隣接する窪みの間の間隔もまた同等であってよい。それにより、ユーザは、ブロックＢＬ１とブロックＢＬ２とを自在に連結させることができる。なお、ここに示したブロックは単なる例に過ぎない。即ち、他のサイズ又は他の形状を有するブロックが、実体モデルを構成するためのエレメントとして使用されてもよい。

次節以降では、本開示に係る技術が玩具用のブロックから構築されるモデルに適用される例を主に説明する。しかしながら、本開示に係る技術の用途は、かかる例に限定されない。例えば、本開示に係る技術は、板材、角材、ボルト及びナットなどのエレメントから構築される家具、又は筐体、基板及びケーブルなどのエレメントから構築される電化製品にも適用可能である。

＜２．情報処理装置の構成＞
情報処理装置１００は、ＰＣ（Personal Computer）、スマートフォン、ＰＤＡ（Personal Digital Assistants）若しくはゲーム端末のような汎用的な装置であってもよく、又はインストラクションの作成のために実装される専用の装置であってもよい。本節では、情報処理装置１００の詳細な構成について説明する。

［２−１．ハードウェア構成例］
図３は、情報処理装置１００のハードウェア構成の一例について説明するための説明図である。図３を参照すると、情報処理装置１００は、カメラ１０２、ユーザインタフェース１０４、記憶部１０８、表示部１１０、通信インタフェース１１２、バス１１６及び制御部１１８を備える。

カメラ１０２は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有し、画像を撮像する。

ユーザインタフェース１０４は、例えばタッチセンサ、ポインティングデバイス、キーボード、ボタン又はスイッチなどの入力デバイスを含む。また、ユーザインタフェース１０４は、ユーザが発する音声コマンドを認識する音声認識モジュールを含んでもよい。ユーザインタフェース１０４は、ユーザが情報処理装置１００を操作するためのユーザインタフェースを提供し、ユーザ入力を検出する。

記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体を有し、制御部１１８により利用されるデータ及びプログラムを記憶する。なお、本明細書で説明するデータ及びプログラムの一部は、記憶部１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。

表示部１１０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成され、情報処理装置１００により生成される出力画像を表示する。

通信インタフェース１１２は、任意の無線通信プロトコル又は有線通信プロトコルに従って、情報処理装置１００と他の装置との間の通信接続を確立する。

バス１１６は、カメラ１０２、ユーザインタフェース１０４、記憶部１０８、表示部１１０、通信インタフェース１１２及び制御部１１８を相互に接続する。

制御部１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、情報処理装置１００の様々な機能を動作させる。

［２−２．機能構成例］
図４は、図３に示した情報処理装置１００の記憶部１０８及び制御部１１８により実現される論理的機能の構成の一例を示すブロック図である。図４を参照すると、情報処理装置１００は、画像取得部１２０、データ取得部１３０、特徴データベース（ＤＢ）１４０、構成認識部１５０、手順決定部１６０、手順記憶部１７０及びインストラクション生成部１８０を備える。

（１）画像取得部
画像取得部１２０は、実体モデルから個々のエレメントが除去される過程を映した一連の入力画像（即ち、入力映像）を、撮像部１０２から取得する。そして、画像取得部１２０は、取得した入力画像を、構成認識部１５０へ出力する。

（２）データ取得部
データ取得部１３０は、実体モデルを構成するエレメントの各々の既知の視覚的特徴を示す特徴データを取得する。本実施形態では、特徴データは、特徴ＤＢ１４０により予め記憶される。他の実施形態として、データ取得部１３０は、例えば、通信インタフェース１１２を介して外部のデータサーバ（例えば、エレメントのセットを製造し又は販売する企業のサーバなど）へリクエストを送信し、当該データサーバから受信される特徴データを取得してもよい。そして、データ取得部１３０は、取得した特徴データを、構成認識部１５０へ出力する。

（３）特徴ＤＢ
特徴ＤＢ１４０は、特徴データを記憶するデータベースである。図５は、一例としての特徴データ１４２の構成を示している。図５を参照すると、特徴データ１４２は、「エレメントタイプ」、「色」、「サイズ」及び「外観」という４つのデータ項目を有する。

「エレメントタイプ」は、各エレメントのタイプを識別する文字列である。異なる視覚的特徴を有するエレメントには、異なるタイプが付与される。図５の例では、２種類のエレメントタイプ“Ｔ４２１”及び“Ｔ６１１”が定義されている。

「色」は、エレメントタイプごとの色を表す。図５の例では、エレメントタイプＴ４２１の色は赤色（ＲＧＢ＝［２５５，０，０］）であり、エレメントタイプＴ６１１の色は黒色（ＲＧＢ＝［０，０，０］）である。

「サイズ」は、エレメントタイプごとのサイズを表す。図５の例では、エレメントタイプＴ４２１のサイズは４×２×１であり、エレメントタイプＴ６１１のサイズは６×１×１である。

「外観」は、エレメントタイプごとのサンプル画像、又はサンプル画像から抽出される特徴量のセットを含み得る。サンプル画像からの画像特徴量の抽出は、例えばＲａｎｄｏｍ Ｆｅｒｎｓ法又はＳＵＲＦ法などの任意の公知の手法に従って行われてよい。

（４）構成認識部
構成認識部１５０は、実体モデルのエレメント構成を認識する。本実施形態において、エレメント構成とは、実体モデルを構成する複数のエレメントの各々についてのエレメント識別情報と配置情報とを含む。

図６は、エレメント構成の一例について説明するための説明図である。図７は、図６に示したエレメント構成に対応するモデルについて説明するための説明図である。

図６を参照すると、一例としてのモデルＭ０のエレメント構成が示されている。エレメント構成は、モデルを識別する「モデルＩＤ」に加えて、「エレメントＩＤ」、「エレメントタイプ」、「向き」及び「位置」という４つのデータ項目によって定義される。「エレメントＩＤ」及び「エレメントタイプ」は、エレメント識別情報に相当する。「エレメントＩＤ」は、モデル内の個々のエレメントを一意に識別するための識別子である。「エレメントタイプ」は、各エレメントのタイプを表す。「向き」及び「位置」は、配置情報に相当する。「向き」は、当該モデルの座標系を基準とする各エレメントの向きを表す。「位置」は、当該モデルの座標系を基準とする各エレメントの位置を表す。

図６の例において、モデルＭ０は、３つのエレメントＥＬ０１、ＥＬ０２及びＥＬ０３から構成される。エレメントＥＬ０１は、エレメントタイプＴ６１１に属し、向き０°及び位置（０，０，０）で配置される。エレメントＥＬ０２は、エレメントタイプＴ４２１に属し、向き９０°及び位置（２，１，０）で配置される。エレメントＥＬ０３は、エレメントタイプＴ４２１に属し、向き０°及び位置（１，０，１）で配置される。

モデルの座標系は、モデル内のいずれか１つのエレメント（典型的には、構築手順において最初に登場するエレメント）上の点を原点として、エレメントの特性に適合するように設定される。図６のエレメントＥＬ０１のエントリは、モデルＭ０の座標系の原点がエレメントＥＬ０１上に存在することを示している。図７を参照すると、モデルＭ０の構成がその構築手順に沿って示されている。図７の左には、エレメントＥＬ０１のみが示されており、エレメントＥＬ０１の一端（図中の左端）の突起の位置Ｐ０１にＸ−Ｙ−Ｚ座標系の原点が設定されている。例えば、Ｘ−Ｙ平面は水平面であり、Ｘ軸はエレメントＥＬ０１の上面又は底面の長手方向、Ｙ軸はエレメントＥＬ０１の上面又は底面の短手方向、Ｚ軸は高さ方向にそれぞれ対応し得る。Ｘ軸及びＹ軸の座標値は、突起及び窪みのピッチを単位としてスケーリングされ得る。Ｚ軸の座標値は、最も薄いエレメントの高さを単位としてスケーリングされ得る。なお、かかる例に限定されず、各座標値の単位は、ミリメートル又はセンチメートルなどの絶対的な長さでスケーリングされてもよい。また、ここでは、説明の簡明さのために、各エレメントの向きが水平面内でのみ変化する例を示している。しかしながら、かかる例に限定されず、各エレメントの向きは、３次元的に変化してもよい。例えば、水平面に対する角度がゼロでない面に突起が配置されるエレメントが採用される場合、エレメントの向きは水平面から離れて回転し得る。また、向きを自在に回転可能なユニバーサルジョイント機構を有するエレメントが採用されてもよい。その場合、各エレメントの向きは、オイラー角又はクオータニオン（四元数）によって表現されてもよい。

図７の中央には、エレメントＥＬ０１に加えて、エレメントＥＬ０２が示されている。エレメントＥＬ０２の向きは、特徴データ１４２において定義されている向きから、Ｘ−Ｙ平面上で９０°回転されている。エレメントＥＬ０２の左手前の突起の位置Ｐ０２は、原点Ｐ０１からＸ方向に“２”、Ｙ方向に“１”、Ｚ方向に“０”だけ移動した座標（２，１，０）を有する。

図７の右には、エレメントＥＬ０１及びＥＬ０２に加えて、エレメントＥＬ０３が示されている。エレメントＥＬ０３の向きは、特徴データ１４２において定義されている向きから回転されていない。エレメントＥＬ０３の左手前の突起の位置Ｐ０３は、原点Ｐ０１からＸ方向に“１”、Ｙ方向に“０”、Ｚ方向に“１”だけ移動した座標（１，０，１）を有する。

予め用意された概念モデルを参照しながらユーザが実体モデルを構築したのではない場合、構築された実体モデルについて、図６及び図７を用いて説明したような完全なエレメント構成は与えられない。そこで、構成認識部１５０は、画像取得部１２０により取得される、実体モデルから個々のエレメントが除去される過程を映した一連の入力画像を用いて、実体モデルのエレメント構成を事後的に認識する。図８には、実体モデルＭ１からエレメントＥＬ１１がユーザにより除去される様子が示されている。

以下、実体モデルから除去されたエレメントを構成認識部１５０が識別するための手法の３つの例について、図９〜図１１を用いて説明する。

第１の手法において、構成認識部１５０は、入力画像に映るエレメントの特徴をデータ取得部１３０により取得される特徴データと照合することにより、実体モデルのエレメント構成を認識する。より具体的には、構成認識部１５０は、実体モデルからエレメントが除去される都度、エレメントの除去前の第１のモデル画像と除去後の第２のモデル画像との間の差分を計算する。そして、構成認識部１５０は、計算した差分に現れる視覚的特徴を特徴データと照合することにより、除去されたエレメントを識別する。図９の例では、実体モデルＭ１からエレメントＥＬ１１が除去される前のモデル画像Ｉｍ１１と、実体モデルＭ１からエレメントＥＬ１１が除去された後のモデル画像Ｉｍ１２との間の差分が計算され、差分領域の部分画像ＤＩが生成されている。そして、部分画像ＤＩが特徴データ１４２と照合されている。

例えば、全てのエレメントタイプが色のみによって一意に識別可能である場合には、構成認識部１５０は、部分画像ＤＩの色の特徴を、特徴データ１４２により示されるエレメントタイプごとの色と照合してもよい。また、構成認識部１５０は、例えばＳＦＳ（Shape from Shading）法又はＳＦＭ（Structure from Motion）法などの公知の形状認識アルゴリズムを用いて、部分画像ＤＩに映るエレメントの形状を認識し、認識した形状を特徴データ１４２により示されるエレメントタイプごとの形状と照合してもよい。また、構成認識部１５０は、部分画像ＤＩから抽出される特徴量セットを、特徴データ１４２に含まれるエレメントタイプごとの既知の特徴量セットと照合してもよい。図９の例では、これら手法の１つ以上を用いて、実体モデルＭ１から除去されたエレメントＥＬ１１がエレメントタイプＴ４２１に属するエレメントであることを識別することができる。

第２の手法においても、構成認識部１５０は、入力画像に映るエレメントの特徴をデータ取得部１３０により取得される特徴データと照合することにより、実体モデルのエレメント構成を認識する。但し、第２の手法では、ユーザは、実体モデルからエレメントを除去する都度、除去したエレメントを情報処理装置１００のカメラへ呈示するものとする。構成認識部１５０は、呈示されたエレメントのエレメント画像に現れる視覚的特徴をデータ取得部１３０から入力される特徴データと照合することにより、各エレメントを識別する。図１０の例では、実体モデルＭ１からユーザにより除去されたエレメントがエレメント画像ＥＩに映っており、エレメント画像ＥＩ内でエレメントが認識されている。構成認識部１５０は、例えば、認識したエレメントの色、形状及び特徴量セットのうちの１つ以上を、特徴データ１４２により示される既知の情報と照合し得る。それにより、構成認識部１５０は、実体モデルＭ１から除去されたエレメントのエレメントタイプを識別することができる。

第３の手法では、構成認識部１５０は、データ取得部１３０により取得される特徴データを使用しない。その代わりに、各エレメントは、当該エレメントを識別する識別情報をエレメント内又はエレメント表面に有するものとする。ここでの識別情報とは、例えば、エレメントに内蔵されるＲＦ（Radio Frequency）タグにより記憶される情報、又はエレメント表面に貼付される一次元若しくは二次元のバーコードにより示される情報などであってよい。構成認識部１５０は、除去された各エレメントからこうした識別情報を読み取ることにより、各エレメントを識別する。図１１の例では、エレメントＥＬ１１がＲＦタグＲＴを内蔵しており、情報処理装置１００が問合せ信号を送信すると、エレメントＥＬ１１の識別情報を含む応答信号がＲＦタグＲＴから返送される。構成認識部１５０は、このように読み取られる識別情報を用いて、エレメントＥＬ１１のエレメントタイプを識別することができる。

構成認識部１５０は、実体モデルから除去された各エレメントの実体モデルにおける配置を、例えば、上記第１のモデル画像と上記第２のモデル画像との間の差分に基づいて認識することができる。図１２は、エレメントの配置を認識するための手法の一例について説明するための説明図である。図１２を参照すると、図９に例示した第１のモデル画像Ｉｍ１１及び差分領域の部分画像ＤＩが再び示されている。部分画像Ｄ１にはエレメントＥＬ１１が映っており、エレメントＥＬ１１はエレメントタイプＴ４２１に属する。第１のモデル画像Ｉｍ１１には、モデルＭ１に残る複数のエレメントが映っている。構成認識部１５０は、例えば、モデルＭ１の上部左手前の突起の位置Ｐ１２を暫定的な座標系の原点に設定し、位置Ｐ１２を基準として、エレメントＥＬ１１の左手前の突起の位置Ｐ１１の座標を判定する。図１２の例では、位置Ｐ１１は座標（１，２，１）を有する。エレメントＥＬ１１は、Ｘ−Ｙ平面内で９０°回転している。構成認識部１５０は、実体モデルからエレメントが除去される都度、除去されたエレメントの相対的な配置をこのように判定し、エレメント識別情報及び配置情報を手順決定部１６０へ出力する。

（５）手順決定部
手順決定部１６０は、構成認識部１５０により認識されるエレメント構成に基づいて、実体モデルを構築するための構築手順を決定する。より具体的には、手順決定部１６０は、除去されたエレメントの順に構成認識部１５０から入力されるエレメント識別情報及び配置情報を、エレメント構成データ内に記述する。そして、ユーザによるエレメントの除去が終了すると、手順決定部１６０は、エレメント構成データ内のエレメント識別情報及び配置情報の順序を逆転させることにより、構築手順を決定する。

図１３及び図１４は、除去されたエレメントの順に記述される実体モデルのエレメント構成の一例について説明するための説明図である。

図１３の上段には、完成された実体モデルＭ１が示されている。第１の除去ステップＲＳ１１において、ユーザは、実体モデルＭ１の最上部に位置するエレメントＥＬ１１を除去する。その結果、除去されたエレメントＥＬ１１についてのエレメント構成エントリＥＥ１１が生成される。エレメント構成エントリＥＥ１１は、エレメントＥＬ１１がエレメントタイプＴ４２１に属し、９０°の向きと暫定的な原点Ｐ１２を基準とする座標（１，２，１）とを有することを示している。

第２の除去ステップＲＳ１２において、ユーザは、実体モデルＭ１の上部奥に位置するエレメントＥＬ１２を除去する。その結果、除去されたエレメントＥＬ１２についてのエレメント構成エントリＥＥ１２が生成される。エレメント構成エントリＥＥ１２は、エレメントＥＬ１２がエレメントタイプＴ４２１に属し、０°の向きと暫定的な原点Ｐ１２を基準とする座標（０，４，０）とを有することを示している。

図１４を参照すると、第３の除去ステップＲＳ１３において、ユーザは、実体モデルＭ１の上部左手前に位置するエレメントＥＬ１３を除去する。その結果、除去されたエレメントＥＬ１３についてのエレメント構成エントリＥＥ１３が生成される。エレメント構成エントリＥＥ１３は、エレメントＥＬ１３がエレメントタイプＴ４２１に属し、９０°の向きと暫定的な原点Ｐ１３を基準とする座標（１，０，１）とを有することを示している。

第４の除去ステップＲＳ１４において、ユーザは、実体モデルＭ１の上部右手前に位置するエレメントＥＬ１４を除去する。その結果、除去されたエレメントＥＬ１４についてのエレメント構成エントリＥＥ１４が生成される。エレメント構成エントリＥＥ１４は、エレメントＥＬ１４がエレメントタイプＴ４２１に属し、９０°の向きと暫定的な原点Ｐ１３を基準とする座標（３，０，１）とを有することを示している。

第４の除去ステップＲＳ１４の後、実体モデルＭ１には４つのエレメントＥＬ１５、ＥＬ１６、ＥＬ１７及びＥＬ１８が残されている。エレメントの除去はこれ以降も継続され得るが、説明の冗長さを避けるために、ここではその説明を省略する。

図１５は、実体モデルの構築手順を決定するための手法の一例について説明するための説明図である。図１５の上段には、図１３及び図１４を用いて説明したエレメント構成エントリＥＥ１１〜ＥＥ１４を含む、一例としてのモデルＭ１についてのエレメント構成データ１７２が示されている。エレメント構成データ１７２内で、エレメント構成エントリは、エレメントが除去された順に記述されている。手順決定部１６０は、各エレメント構成エントリに、除去ステップ番号を示すデータ項目「除去ステップ」を付与する。図１５の例では、８個のエレメント構成エントリに除去ステップ番号“ＲＳ１１”〜“ＲＳ１８”が付与されている。また、手順決定部１６０は、各エレメント構成エントリの位置座標を、暫定的な原点を基準とする座標から共通的な１つの原点を基準とする座標に修正する。図１５の例では、位置Ｐ１３が共通的な原点として選択されている（図１４も参照）。そして、例えば図１３の除去ステップＲＳ１１において原点Ｐ１２を基準として決定されたエレメントＥＬ１１の位置座標（１，２，１）は、原点Ｐ１３を基準とする位置座標（２，２，２）に修正されている。同様に、除去ステップＲＳ１２において原点Ｐ１２を基準として決定されたエレメントＥＬ１２の位置座標（０，４，０）は、原点Ｐ１３を基準とする位置座標（１，４，１）に修正されている。

手順決定部１６０は、エレメント構成データ１７２内のエレメント識別情報（例えば、エレメントＩＤ及びエレメントタイプ）並びに配置情報（例えば、向き及び位置）の順序を逆転させることにより、図１５の下段に示したような構築手順データ１７４を生成する。構築手順データ１７４は、「モデルＩＤ」、「構築ステップ」、「エレメントＩＤ」、「エレメントタイプ」、「向き」及び「位置」という６つのデータ項目を有する。「構築ステップ」以外の５つのデータ項目は、エレメント構成データ１７２と同様である。「構築ステップ」は、構築手順において各エレメントを組み立てる順序を示す番号である。第１の構築ステップＣＳ１１は、エレメント構成データ１７２における第８の（最後の）除去ステップＲＳ１８に対応する。第２の構築ステップＣＳ１２は、エレメント構成データ１７２における第７の除去ステップＲＳ１７に対応する。第３の構築ステップＣＳ１３は、エレメント構成データ１７２における第６の除去ステップＲＳ１６に対応する。第４の構築ステップＣＳ１４は、エレメント構成データ１７２における第５の除去ステップＲＳ１５に対応する。第５の構築ステップＣＳ１５は、エレメント構成データ１７２における第４の除去ステップＲＳ１４に対応する。第６の構築ステップＣＳ１６は、エレメント構成データ１７２における第３の除去ステップＲＳ１３に対応する。第７の構築ステップＣＳ１７は、エレメント構成データ１７２における第２の除去ステップＲＳ１２に対応する。第８の構築ステップＣＳ１８は、エレメント構成データ１７２における第１の（最初の）除去ステップＲＳ１１に対応する。

手順決定部１６０は、このように生成される構築手順データを、手順記憶部１７０に記憶させる。

（６）手順記憶部
手順記憶部１７０は、手順決定部１６０により決定される実体モデルの構築手順を示す構築手順データを記憶する。構築手順データは、次に説明するインストラクション生成部１８０によるインストラクションの生成のために使用される。

（７）インストラクション生成部
インストラクション生成部１８０は、手順決定部１６０により決定される実体モデルの構築手順をユーザに指示するインストラクションＩＳＴを生成する。本明細書において、インストラクションとは、ユーザの作業を支援するためのマニュアル、ヘルプ、ガイダンス又はナビゲーションなどを含み得る概念である。なお、インストラクションを利用するユーザは、実体モデルを構築したユーザと同じユーザであってもよく、又は異なるユーザであってもよい。

インストラクションＩＳＴは、例えば、構築手順データにより示される順序で各エレメントを実体モデルに取り付ける作業を段階的に示す文書データであってもよい。文書データは、紙の文書を印刷するために使用されてもよく、又は画面上でインストラクションを閲覧するために使用されてもよい。文書データは、テキストに加えて、イラスト又は写真などのイメージを含み得る。また、インストラクション生成部１８０は、少なくとも１つのエレメントが取り付けられる様子を表現する動画を文書データに埋め込んでもよい。埋め込まれる動画は、例えば、仮想的に生成されるアニメーションであってもよく、又は画像取得部１２０により取得される入力画像を用いて生成される映像であってもよい。

また、インストラクション生成部１８０は、実体モデルのエレメント構成に含まれるエレメントのリストを、インストラクションＩＳＴに挿入してもよい。エレメントのリストが提供されることにより、ユーザは、実体モデルの構築を開始する前に必要なエレメントを適切に準備することができる。また、ユーザは、自らが所有しているエレメントセットを用いて目的とする実体モデルを構築することができるかを、エレメントのリストを参照して判断することができる。

インストラクション生成部１８０により生成されるインストラクションのいくつかの例について、後にさらに説明する。

［２−３．処理の流れの例］
図１６は、情報処理装置１００により実行される処理の流れの一例を示すフローチャートである。

図１６を参照すると、処理の準備として、ユーザにより、情報処理装置１００のカメラ１０２が実体モデルに向けられる（ステップＳ１００）。そして、ユーザインタフェース１０４を介して検出される何らかのユーザ入力に応じて、その後の処理が開始される。

まず、完成した実体モデルのモデル画像が画像取得部１２０により入力画像として取得され、データが初期化される（例えば、新たなモデルＩＤが実体モデルに割り当てられ、実体モデルの完成イメージが記憶される）（ステップＳ１０５）。

次に、構成認識部１５０は、入力画像に映る実体モデルからエレメントが除去されたか否かを判定する（ステップＳ１１０）。ここでの判定は、入力画像をモニタリングすることにより行われてもよく、又はエレメントが除去されたことを通知するユーザ入力を受け付けることにより行われてもよい。

実体モデルからエレメントが除去されたと判定されると、構成認識部１５０は、エレメント除去後のモデル画像を取得する（ステップＳ１１５）。また、構成認識部１５０は、エレメント除去前のモデル画像と除去後のモデル画像との間の差分を計算する（ステップＳ１２０）。そして、構成認識部１５０は、上述した第１〜第３の手法のいずれかに従って、除去されたエレメントを識別し（ステップＳ１２５）、除去されたエレメントの配置（向き及び位置）を認識する（ステップＳ１３０）。

次に、手順決定部１６０は、構成認識部１５０から入力されるエレメント識別情報及び配置情報を含むエレメント構成エントリを、エレメント構成データに追加する（ステップＳ１３５）。

次に、構成認識部１５０は、除去されたエレメントが最後のエレメントであるか否かを判定する（ステップＳ１４０）。ここでの判定は、実体モデルに残るエレメントの数を認識することにより行われてもよく、又はエレメントの除去が終了したことを通知するユーザ入力を受け付けることにより行われてもよい。除去されたエレメントが最後のエレメントではない場合には、処理はステップＳ１１０へ戻り、除去される次のエレメントについてステップＳ１１０〜ステップＳ１４０の処理が繰り返される。除去されたエレメントが最後のエレメントである場合には、処理はステップＳ１４５へ進む。

ステップＳ１４５において、手順決定部１６０は、エレメント構成データ内のエントリの順序を逆転させることにより構築手順を決定し、決定した構築手順を示す構築手順データを生成する（ステップＳ１４５）。

その後、インストラクションの生成を引き続いて行うべきである場合には（ステップＳ１５０）、インストラクション生成部１８０は、手順決定部１６０により生成された構築手順データに基づいて、実体モデルの構築のためのインストラクションを生成する（ステップＳ１５５）。

［２−４．インストラクションの例］
（１）第１の例
図１７は、本開示に係る技術に従って作成され得るインストラクションの第１の例を示す説明図である。図１７を参照すると、紙に印刷された文書であるインストラクションＩＳＴ１が示されている。インストラクションＩＳＴ１の左のページには、実体モデルを構築するために必要な部品（エレメント）のリストが記載されている。また、インストラクションＩＳＴ１の右のページには、Ｘ番目の構築ステップにおいてエレメントＥＬ１４を実体モデルに取り付ける様子が、その取り付けの向き及び位置が分かる形で記載されている。このようなリスト及び構築ステップの記載は、図１５に例示したような構築手順データ１７４を用いて自動的に生成され得る。

（２）第２の例
図１８は、本開示に係る技術に従って作成され得るインストラクションの第２の例を示す説明図である。図１８を参照すると、ユーザ端末の画面に表示されるインストラクションＩＳＴ２が示されている。インストラクションＩＳＴ２のウィンドウでは、Ｘ番目の構築ステップにおいてエレメントを実体モデルに取り付ける様子が、アニメーションＡＮ１で表現されている。ユーザが指示されたエレメントの取り付けを終了すると、ウィンドウへのタッチ若しくはボタンの押下などのユーザ入力に応じて、又は自動的に、次の構築ステップのためのアニメーションがインストラクションＩＳＴ２のウィンドウに表示され得る。

＜３．変形例＞
図１９は、図１７及び図１８に示したインストラクションの２つの例とは異なる形態のインストラクションを提供する、一変形例に係る情報処理装置２００の論理的機能の構成の一例を示すブロック図である。図４を参照すると、情報処理装置２００は、画像取得部２２０、データ取得部２３０、特徴データベース１４０、構成認識部１５０、手順決定部１６０、手順記憶部１７０、画像認識部２８０及びインストラクション生成部２９０を備える。

（１）画像取得部
画像取得部２２０は、構築手順決定モードにおいて、上述した画像取得部１２０と同様に、実体モデルから個々のエレメントが除去される過程を映した一連の入力画像を取得する。そして、画像取得部２２０は、取得した入力画像を、構成認識部１５０へ出力する。また、画像取得部２２０は、インストラクション提供モードにおいて、ユーザにより構築される実体モデルの部品としてのエレメントを映した一連の入力画像を取得する。そして、画像取得部２２０は、取得した入力画像を、画像認識部２８０及びインストラクション生成部２９０へ出力する。これらモードを切り替えるためのユーザインタフェースが提供されてもよい。

（２）データ取得部
データ取得部２３０は、構築手順決定モードにおいて、上述したデータ取得部２３０と同様に、エレメントの各々の既知の視覚的特徴を示す特徴データを構成認識部１５０へ出力する。また、データ取得部２３０は、インストラクション提供モードにおいて、当該特徴データを画像認識部２８０へ出力する。

（３）画像認識部
画像認識部２８０は、データ取得部２３０から入力される特徴データを用いて、画像取得部２２０から入力される入力画像に映るエレメントを認識する。画像認識部２８０は、例えば、特徴データに含まれる既知の特徴量セットと入力画像から抽出される特徴量セットとを照合することにより、入力画像に映るエレメントのタイプ及び位置を認識してもよい。そして、画像認識部２８０は、エレメント認識結果をインストラクション生成部２９０へ出力する。

（４）インストラクション生成部
インストラクション生成部２９０は、インストラクション提供モードにおいて、新たな入力画像に未完成の実体モデル又はエレメントが映っている場合に、当該実体モデル又は当該エレメントに関連するインストラクションを生成する。ここで生成されるインストラクションは、いわゆるＡＲ（拡張現実：Augmented Reality）のアノテーションのような表示オブジェクトを含む。インストラクションの内容は、画像認識部２８０から入力されるエレメント認識結果に基づいて決定され得る。そして、インストラクション生成部２９０は、生成したインストラクションを入力画像に重畳して画面に表示させる。

図２０は、本変形例において作成され得るインストラクションの一例を示す説明図である。図２０を参照すると、情報処理装置２００の画面に、未完成の実体モデルＭ１及びエレメントＥＬ１４を映した入力画像が表示されている。当該入力画像には、３つの表示オブジェクトＡ１、Ａ２及びＡ３が重畳されている。表示オブジェクトＡ１は、次に実体モデルＭ１に取り付けるべきエレメントがエレメントＥＬ１４であることを指示するメッセージボックスである。表示オブジェクトＡ２は、エレメントＥＬ１４の取り付け位置を指示する矢印アイコンである。表示オブジェクトＡ３は、エレメントＥＬ１４が実体モデルＭ１に取り付けられた様子を仮想的に示すイメージである。ユーザは、このようなインストラクションを画面上で閲覧しながら、例えば他のユーザにより独自に構築されたモデルと同様の実体モデルを、直感的かつ容易に構築することができる。

＜４．まとめ＞
ここまで、図１〜図２０を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、複数のエレメントから構築される実体モデルから個々のエレメントがユーザにより除去される過程を映した一連の入力画像を用いて当該実体モデルのエレメント構成が認識され、認識されたエレメント構成に基づいて当該実体モデルを構築するための構築手順が決定される。従って、モデルの完全なデジタル表現が与えられておらず、実際に物理的に構築された実体モデルのみが存在する状況においても、その実体モデルに関するインストラクションのための適切な構築手順を得ることができる。また、ユーザは構築手順を得るためにコンピュータ上でモデルを扱わなくてよいため、スペシャリストではないユーザにとっても、上述した仕組みを容易に利用することができる。

上述した仕組みが実現される結果として、例えば、ユーザ間でユーザ独自のモデルを共有するために独自のインストラクションを交換するような新たなコミュニケーションの形態も可能となる。それにより、エレメントセットの商品としての魅力が強化され、商品の市場における競争力が向上するという効果も期待される。

また、上述した実施形態によれば、実体モデルからエレメントが除去される都度、当該実体モデルを構成するエレメントの各々についてのエレメント識別情報と配置情報とが、エレメント構成として認識される。従って、完成した実体モデルにおいて外部から見えないエレメントが存在する場合にも、最終的に全てのエレメントの配置を正確に認識してそれを構築手順に反映させることができる。

また、上述した実施形態によれば、各エレメントの既知の視覚的特徴に基づいて、実体モデルのエレメント構成が認識される。例えば玩具用のブロックのように、エレメントが規格化され、有限個のタイプのエレメントのみがユーザに提供されるような用途においては、それらエレメントの視覚的特徴を予めデータベース化することは難しくない。従って、エレメントの既知の視覚的特徴に基づく上述した手法は、そのような用途に非常に適している。また、エレメントが規格化されている限り、既に販売されたエレメントセットについて、事後的にその視覚的特徴を示す特徴データを配布することにより、本開示に係る技術を適用することも可能である。

また、上述した実施形態によれば、各エレメントの除去前の第１のモデル画像と当該除去後の第２のモデル画像との間の差分に現れる視覚的特徴に基づいて、各エレメントが識別され得る。この場合、ユーザは、エレメントの識別のための特別な動作を課されることなく、エレメントが除去される間実体モデルの撮影を継続するだけで、インストラクションのための構築手順を得ることができる。エレメントに内蔵され又はエレメント表面に貼付され得る識別情報を用いてエレメントが識別される場合には、識別情報を導入するためのコストを要するものの、エレメント構成の認識精度を高めることができる。

なお、本明細書において説明した各装置による一連の処理は、典型的には、ソフトウェアを用いて実現される。一連の処理を実現するソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、各装置の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図３に例示した通信インタフェース１１２を介して装置間で送信され又は受信され得る。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数のエレメントから構築される実体モデルから個々のエレメントが除去される過程を映した一連の入力画像を取得する画像取得部と、
前記画像取得部により取得される前記入力画像を用いて、前記実体モデルのエレメント構成を認識する認識部と、
前記認識部により認識される前記エレメント構成に基づいて、前記実体モデルを構築するための構築手順を決定する決定部と、
を備える情報処理装置。
（２）
前記認識部により認識される前記エレメント構成は、前記複数のエレメントの各々についてのエレメント識別情報と配置情報とを含む、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、前記複数のエレメントの各々の既知の視覚的特徴を示す特徴データを取得するデータ取得部、をさらに備え、
前記認識部は、前記入力画像に映るエレメントの特徴を前記データ取得部により取得される前記特徴データと照合することにより、前記エレメント構成を認識する、
前記（２）に記載の情報処理装置。
（４）
前記認識部は、各エレメントの除去前の第１のモデル画像と当該除去後の第２のモデル画像との間の差分に現れる視覚的特徴を前記特徴データと照合することにより、各エレメントを識別する、前記（３）に記載の情報処理装置。
（５）
前記認識部は、前記実体モデルから除去された各エレメントのエレメント画像に現れる視覚的特徴を前記特徴データと照合することにより、各エレメントを識別する、前記（３）に記載の情報処理装置。
（６）
前記認識部は、前記第１のモデル画像と前記第２のモデル画像との間の差分に基づいて、前記実体モデルにおける各エレメントの配置を認識する、前記（４）又は前記（５）に記載の情報処理装置。
（７）
前記複数のエレメントの各々は、当該エレメントを識別する識別情報をエレメント内又はエレメント表面に有し、
前記認識部は、前記識別情報を読み取ることにより、各エレメントを識別する、
前記（２）又は前記（３）に記載の情報処理装置。
（８）
前記決定部は、除去されたエレメントの順序で前記エレメント構成に記述される前記エレメント識別情報及び前記配置情報の前記順序を逆転させることにより、前記構築手順を決定する、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記情報処理装置は、前記決定部により決定される前記構築手順をユーザに指示するインストラクションを生成する生成部、をさらに備える、前記（２）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記生成部は、新たな入力画像に未完成の前記実体モデル又はエレメントが映っている場合に、当該実体モデル又は当該エレメントに関連する前記インストラクションを生成して、生成した前記インストラクションを前記新たな入力画像に重畳する、前記（９）に記載の情報処理装置。
（１１）
前記インストラクションは、除去されたエレメントの順序の逆の順序で、各エレメントを前記実体モデルに取り付ける作業を段階的に示す文書データである、前記（９）に記載の情報処理装置。
（１２）
前記生成部は、少なくとも１つのエレメントが取り付けられる様子を表現する動画を、前記文書データに埋め込む、前記（１１）に記載の情報処理装置。
（１３）
前記生成部は、前記エレメント構成に含まれるエレメントのリストを、前記インストラクションに挿入する、前記（９）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
情報処理装置により実行される情報処理方法であって、
複数のエレメントから構築される実体モデルから個々のエレメントが除去される過程を映した一連の入力画像を取得することと、
取得される前記入力画像を用いて、前記実体モデルのエレメント構成を認識することと、
認識された前記エレメント構成に基づいて、前記実体モデルを構築するための構築手順を決定することと、
を含む情報処理方法。
（１５）
情報処理装置を制御するコンピュータを、
複数のエレメントから構築される実体モデルから個々のエレメントが除去される過程を映した一連の入力画像を取得する画像取得部と、
前記画像取得部により取得される前記入力画像を用いて、前記実体モデルのエレメント構成を認識する認識部と、
前記認識部により認識される前記エレメント構成に基づいて、前記実体モデルを構築するための構築手順を決定する決定部と、
として機能させるためのプログラム。

１００，２００ 情報処理装置
１２０，２２０ 画像取得部
１３０，２３０ データ取得部
１５０ 構成認識部
１６０ 手順決定部
１８０，２９０ インストラクション生成部

Claims (15)

1. 複数のエレメントから構築される実体モデルから個々のエレメントが除去される過程を映した一連の入力画像を取得する画像取得部と、
   前記画像取得部により取得される前記入力画像を用いて、前記実体モデルのエレメント構成を認識する認識部と、
   前記認識部により認識される前記エレメント構成に基づいて、前記実体モデルを構築するための構築手順を決定する決定部と、
   を備える情報処理装置。
2. 前記認識部により認識される前記エレメント構成は、前記複数のエレメントの各々についてのエレメント識別情報と配置情報とを含む、請求項１に記載の情報処理装置。
3. 前記情報処理装置は、前記複数のエレメントの各々の既知の視覚的特徴を示す特徴データを取得するデータ取得部、をさらに備え、
   前記認識部は、前記入力画像に映るエレメントの特徴を前記データ取得部により取得される前記特徴データと照合することにより、前記エレメント構成を認識する、
   請求項２に記載の情報処理装置。
4. 前記認識部は、各エレメントの除去前の第１のモデル画像と当該除去後の第２のモデル画像との間の差分に現れる視覚的特徴を前記特徴データと照合することにより、各エレメントを識別する、請求項３に記載の情報処理装置。
5. 前記認識部は、前記実体モデルから除去された各エレメントのエレメント画像に現れる視覚的特徴を前記特徴データと照合することにより、各エレメントを識別する、請求項３に記載の情報処理装置。
6. 前記認識部は、前記第１のモデル画像と前記第２のモデル画像との間の差分に基づいて、前記実体モデルにおける各エレメントの配置を認識する、請求項４に記載の情報処理装置。
7. 前記複数のエレメントの各々は、当該エレメントを識別する識別情報をエレメント内又はエレメント表面に有し、
   前記認識部は、前記識別情報を読み取ることにより、各エレメントを識別する、
   請求項２に記載の情報処理装置。
8. 前記決定部は、除去されたエレメントの順序で前記エレメント構成に記述される前記エレメント識別情報及び前記配置情報の前記順序を逆転させることにより、前記構築手順を決定する、請求項２に記載の情報処理装置。
9. 前記情報処理装置は、前記決定部により決定される前記構築手順をユーザに指示するインストラクションを生成する生成部、をさらに備える、請求項２に記載の情報処理装置。
10. 前記生成部は、新たな入力画像に未完成の前記実体モデル又はエレメントが映っている場合に、当該実体モデル又は当該エレメントに関連する前記インストラクションを生成して、生成した前記インストラクションを前記新たな入力画像に重畳する、請求項９に記載の情報処理装置。
11. 前記インストラクションは、除去されたエレメントの順序の逆の順序で、各エレメントを前記実体モデルに取り付ける作業を段階的に示す文書データである、請求項９に記載の情報処理装置。
12. 前記生成部は、少なくとも１つのエレメントが取り付けられる様子を表現する動画を、前記文書データに埋め込む、請求項１１に記載の情報処理装置。
13. 前記生成部は、前記エレメント構成に含まれるエレメントのリストを、前記インストラクションに挿入する、請求項９に記載の情報処理装置。
14. 情報処理装置により実行される情報処理方法であって、
    複数のエレメントから構築される実体モデルから個々のエレメントが除去される過程を映した一連の入力画像を取得することと、
    取得される前記入力画像を用いて、前記実体モデルのエレメント構成を認識することと、
    認識された前記エレメント構成に基づいて、前記実体モデルを構築するための構築手順を決定することと、
    を含む情報処理方法。
15. 情報処理装置を制御するコンピュータを、
    複数のエレメントから構築される実体モデルから個々のエレメントが除去される過程を映した一連の入力画像を取得する画像取得部と、
    前記画像取得部により取得される前記入力画像を用いて、前記実体モデルのエレメント構成を認識する認識部と、
    前記認識部により認識される前記エレメント構成に基づいて、前記実体モデルを構築するための構築手順を決定する決定部と、
    として機能させるためのプログラム。
    

Images