JP2007026088A - Model creation apparatus - Google Patents
Model creation apparatus Download PDFInfo
- Publication number
- JP2007026088A JP2007026088A JP2005207292A JP2005207292A JP2007026088A JP 2007026088 A JP2007026088 A JP 2007026088A JP 2005207292 A JP2005207292 A JP 2005207292A JP 2005207292 A JP2005207292 A JP 2005207292A JP 2007026088 A JP2007026088 A JP 2007026088A
- Authority
- JP
- Japan
- Prior art keywords
- model
- data
- image
- face
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、モデル生成装置に関するものである。本発明は、とくに、人間や動物の動作や表情をコンピュータグラフィックスで表現するアバタモデルを生成する装置に関するものである。 The present invention relates to a model generation device. In particular, the present invention relates to an apparatus for generating an avatar model that expresses movements and expressions of humans and animals by computer graphics.
従来からポリゴンに画像を貼り付けたバーチャルヒューマンモデルであるアバタを用いてコミュニケーションする特許文献1の提案がある。この提案の方法では、最初に、たとえばカメラから入力される通話対象である自分または通話相手の画像データを取得する。この方法では次に取得した画像データから通話対象の動きを求め、求めた動きを基に表情情報を検出する。さらに次の段階では、検出した表情情報に応じてあらかじめ作成されたモデルを連動させてレンダリングして描画画像を作成する。この作成した描画画像を見ながら通話することでこの提案は、テレビ電話のように通信において通話対象の感情も汲み取りながら、通信対象のプライバシーをも考慮したコミュニケーションが実現する。 Conventionally, there is a proposal in Patent Document 1 in which communication is performed using an avatar which is a virtual human model in which an image is pasted on a polygon. In the proposed method, first, for example, image data of the user or the other party who is a call target input from a camera is acquired. In this method, the movement of the call target is obtained from the next acquired image data, and facial expression information is detected based on the obtained movement. In the next stage, a drawing image is created by rendering a model created in advance according to the detected facial expression information. By making a call while looking at the created drawing image, this proposal realizes communication taking into consideration the privacy of the communication target while capturing the emotion of the call target in communication like a video phone.
このような方法を用いたサービスを展開するためには、低コストで簡単にユーザに多種多様なモデルの提供が要求される。しかしながら、モデル作成には専門的な知識が要求される。このような要求によりモデル作成はコストがかかり、市場に十分な量を提供できないという問題がある。 In order to develop a service using such a method, it is required to provide a variety of models to the user easily at low cost. However, specialized knowledge is required for model creation. Due to such demands, model creation is costly and there is a problem that a sufficient amount cannot be provided to the market.
このような問題に対して、従来では特許文献2が提案されている。この提案は、ユーザが顔部品を選択することでモデルを作成する方法である。 Conventionally, Patent Document 2 has been proposed for such a problem. This proposal is a method in which a user creates a model by selecting a face part.
しかしながら、特許文献2の方法は、あらかじめ3次元モデルの作成知識が要される多くの部品を作成しておき、それをユーザが選択するものである。このため、部品を作成する段階において多大なコストおよび時間が要求される。 However, in the method of Patent Document 2, many parts that require knowledge of creating a three-dimensional model are created in advance, and the user selects them. For this reason, a great deal of cost and time are required in the stage of creating parts.
本発明はこのような従来技術の欠点を解消し、素人でも容易にモデルデータが作成でき、ユーザが所望する部品等を選択する単純操作だけで多種多様なモデルデータを得られるモデル生成装置を提供することを目的とする。 The present invention eliminates the drawbacks of the prior art, and provides a model generation apparatus that can easily create model data even for an amateur and obtain a wide variety of model data only by a simple operation of selecting a desired part or the like by a user. The purpose is to do.
本発明は上述の課題を解決するために、あらかじめ個々の顔の特徴付けに用いる顔画像、この顔画像に対して修飾するパーツデータおよびあらかじめ設定した顔の部位を表わす第1の特徴点が含まれる基本のモデルデータを入力し、入力される3つのデータが反映された新規の基本モデルデータを生成するモデル生成装置において、この装置は、顔画像における特徴点を第2の特徴点として抽出する特徴点抽出手段と、第1の特徴点と第2の特徴点とを対応させ、第1の特徴点を第2の特徴点に移動させる変形手段と、パーツデータから所望するパーツを選択するパーツ選択手段と、移動した第1の特徴点と選択したパーツデータとを基として画像を貼り付ける貼付け手段とを含むことを特徴とする。 In order to solve the above-mentioned problems, the present invention includes a face image used for characterizing each face in advance, part data for modifying the face image, and a first feature point representing a preset face part. In the model generation apparatus that inputs basic model data to be generated and generates new basic model data reflecting the three input data, the apparatus extracts a feature point in the face image as a second feature point A feature point extracting unit, a deforming unit that associates the first feature point with the second feature point, and moves the first feature point to the second feature point, and a part that selects a desired part from the part data The image processing apparatus includes: selection means; and pasting means for pasting an image based on the moved first feature point and the selected part data.
本発明のモデル生成装置は、特徴点抽出手段で第2の特徴点を抽出し、第2の特徴点を第1の表示手段に表示させて、特徴点と顔のずれ等を修正し、変形手段で第1の特徴点を第2の特徴点に変化させることでモデルデータを顔画像に似せて変形させ、この変形させたモデルデータとパーツ選択手段で選択した所望のパーツデータとを貼付け手段に供給し、両データを基に貼り付けたモデル画像を描画し、モデル知識の有無に関わらず、容易にモデルデータを作成することができる。 The model generation apparatus of the present invention extracts the second feature point by the feature point extraction unit, displays the second feature point on the first display unit, corrects the deviation between the feature point and the face, and the like. The first feature point is changed to the second feature point by means to change the model data to resemble a face image, and the deformed model data and desired part data selected by the part selection means are pasted. The model image pasted on the basis of both data is drawn, and model data can be easily created regardless of the presence or absence of model knowledge.
次に添付図面を参照して本発明によるモデル生成装置の一実施例を詳細に説明する。 Next, an embodiment of a model generation apparatus according to the present invention will be described in detail with reference to the accompanying drawings.
本実施例は、本発明のモデル生成装置をモデル生成システム10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
In this embodiment, the model generation apparatus of the present invention is applied to the
モデル生成システム10は、図1に示すように、データストレージ部12およびモデル生成装置14を含む。データストレージ部12は、各種のデータをそれぞれ記憶する機能を有する。データストレージ部12は、各種のデータとして顔画像データ、入力モデルデータ、パーツデータおよび出力モデルデータを記憶する顔画像記憶部16、入力モデル記憶部18、パーツデータ記憶部20および出力モデル記憶部22を含む。モデル生成システム10は、図示しない操作部からの操作指示を制御部に送る。制御部は、操作指示に応じて生成した制御信号をデータストレージ部12に出力する。データストレージ部12は、供給される制御信号に応じて顔画像記憶部16、入力モデル記憶部18およびパーツデータ記憶部20のそれぞれからのデータをモデル生成装置14に出力する。
As shown in FIG. 1, the
顔画像記憶部16には、カメラで撮影したような人間のリアルな顔画像データまたは似顔絵ツール等で作成した漫画画像データが格納される。本実施例では漫画画像データが記憶される場合を後段で示す。漫画画像データは透過情報との組合せで記憶される。顔画像データは、たとえば1画素あたり32ビットの情報を持ち、この情報のうち、24ビットでRGBデータを表わし、残りの8ビットで透過情報を表わす。顔画像データはモデル生成装置12を操作するユーザが作成する。ここでのユーザは、たとえばコンテンツプロバイダである。
The face
入力モデル記憶部18にはテンプレートモデルが格納される。テンプレートモデルは複数の平面状のメッシュを奥行き方向にややずらして配置する。メッシュには顔メッシュおよびパーツメッシュ等が用意される。顔メッシュには人間の標準的なポリゴンが配置される。また、パーツメッシュにはたとえば、体メッシュ、メガネメッシュ、ひげメッシュ等のあらかじめ想定されるモデルのバリエーションを増やすメッシュが用意されている。パーツメッシュはそれぞれ、あらかじめ正しい位置に配置される。たとえばメガネメッシは顔メッシュにおける目の位置に配される。また、ひげメッシュは顔メッシュの口の位置に配される。
The input
さらに、たとえば顔メッシュが左右に動けばメガネメッシュも追従して動くようにメッシュそれぞれに動作設定する。ここで、メッシュの表面に貼り付ける画像をテクスチャという。各メッシュのテクスチャは透過画像に設定する。目、口、鼻等のように顔の特徴的な部位にはあらかじめ特徴点が設定される。特徴点は、顔画像に応じて変化することから変化点とも呼ぶ。 Furthermore, for example, if the face mesh moves to the left and right, the operation is set for each mesh so that the eyeglass mesh follows and moves. Here, an image to be pasted on the surface of the mesh is called a texture. The texture of each mesh is set to a transparent image. Feature points are set in advance on characteristic parts of the face such as the eyes, mouth, and nose. Since the feature point changes according to the face image, it is also called a change point.
パーツデータ記憶部20は、テンプレートモデル内のパーツメッシュに合うようなパーツデータであり、透過情報も持つ。パーツデータはユーザが作成する。
The part
モデル生成装置14は、特徴点抽出部24、特徴点表示部26、顔変形部28、パーツ設定部30、画像貼付部32およびモデル表示部34を含む。特徴点抽出部24は、顔画像記憶部16から供給される顔画像データ36が含む特徴点を抽出する機能を有する。特徴点抽出部24は、抽出した顔画像における特徴点データ38を特徴点表示部26および顔変形部28に出力する。
The
特徴点表示部26は、供給される特徴点データ38を入力し、特徴点データ38を顔画像の特徴点として画面に表示し、表示した特徴点を編集する機能を有する。特徴点表示部26は、操作部からの指示に応じて編集した特徴点データ38を顔変形部28に出力する。
The feature
顔変形部28は、特徴点データ38に従って選んだ入力モデルの特徴点を変化点として移動させる機能を有する。顔変形部28には、入力モデル記憶部18からテンプレートモデルである入力モデルデータ40が供給される。入力モデルデータ40は操作部を介して入力モデル記憶部18に供給される指示信号に応じて選ばれる。顔変形部28は、選んだ入力モデルデータ40を入力し、この入力モデルデータ40の特徴点を特徴点データ38に応じて変化させる。顔変形部28は、入力モデルを供給される個々の顔に合わせて変化させることで入力モデルを多様化させることができる。顔変形部28は変形した顔モデルデータ42を画像貼付部32に出力する。
The
パーツ設定部30は、パーツ画像データの中から適当なパーツ画像データを選択して、設定する機能を有する。パーツ設定部30には、入力データ記憶部18からテンプレートモデルにおける平面状のメッシュデータ44が供給される。また、パーツ設定部30には、パーツデータ記憶部20からパーツデータ46が供給される。上述の機能を実現するためパーツ設定部30は、図2に示すように、パーツ表示部48、パーツ決定部50およびタイトル入力部52を含む。
The
パーツ表示部48は、供給されるパーツデータ46を表示する機能を有する。パーツ表示部48は、後述するようにパーツデータ46をパーツとして表示し、表示したパーツ画像に対応するパーツデータ54をパーツ決定部50に供給する。
The
パーツ決定部50は、供給される複数種類のパーツデータから選択し、決定する機能を有する。パーツ決定部50は選択したパーツデータ56をタイトル入力部52に出力する。タイトル入力部52は、決定したパーツ毎にタイトルを付ける機能を有する。タイトル入力部52には、入力データ記憶部18からデータ44が供給される。
The
なお、パーツ決定部50およびタイトル入力部52は、操作部における一部機能、すなわち決定キー機能やキー入力機能に対応する。
The
図1に戻って、画像貼付部32は、変形させた顔画像のモデルデータおよび選択したパーツデータを新たな基本モデルデータとして作成し、さらに作成したこの基本モデルデータに対して画像として貼り付ける機能を有する。画像貼付部32は、顔変形部28から顔メッシュを含む変形させた顔モデルデータ42を受け取り、顔メッシュのテクスチャとして顔画像を設定する。このとき、後述するように、たとえば顔画像の透過情報を設定することにより、顔メッシュのテクスチャは、顔領域だけ見える設定になる。
Returning to FIG. 1, the
画像貼付部32は、パーツ設定部30から各パーツのメッシュとパーツのデータ58を受け取り、パーツメッシュのテクスチャとして選択されたパーツ画像を設定する。このときパーツ画像の透過情報を設定すると、パーツメッシュのテクスチャは、たとえばメガネのフレーム部分だけ見える設定になる。
The
画像貼付部32は、顔メッシュおよびパーツメッシュをテンプレートモデルと同じように配置してレンダーする。レンダーした画像データ60がモデル表示部34に出力される。画像貼付部32は、ユーザによる表示されるモデルの良否確認において、良好と判断された場合全メッシュを示すテンプレートモデル、顔テクスチャおよび複数のパーツテクスチャを一体化して表わすことができる基準モデルデータ62を生成し、出力モデル記憶部22に出力する。
The
モデル表示部34は、モデルを表示する機能を有する。モデル表示部34には、モデル構築前のテンプレートデータである入力モデルデータ64と画像データ60が供給される。モデル表示部34は、両データ60および64を表示することによりモデルの出来栄えを確認できる。モデル表示部34は、特徴点表示部26と同一のモニタにしてもよい。同一モニタは、マルチ画面の内、表示内容に応じて該当するデータを表示すればよい。
The
コンテンツプロバイダはモデル生成装置14を用いて、テンプレートモデルである入力モデルデータ40およびメッシュデータ44から新規の基準モデルデータ62を作成し、一般のユーザがモデル生成装置14を利用して、基準モデルデータから個人モデルデータを作成する。
The content provider uses the
次にモデル生成システム10の動作について説明する。最初に、基準モデルデータを作成する手順を説明する。
Next, the operation of the
特徴点抽出部24は、顔画像データ36を取り込み、顔画像の顔部位を抽出する。本実施例では特許文献1に示す公知の技術を用いて自動的に検出する。このとき図3のテンプレートモデルに設定した黒三角形の頂点で表わされる変化点は少なくとも抽出する。ここで、特徴点は顔画像の左上を原点66とする2次元座標で抽出される。しかしながら、特徴点の抽出は失敗することもある。特徴点表示部26で顔画像と抽出した特徴点とを重ねて表示するとよい。コンテンツプロバイダが表示を見て特徴点がずれている場合、これにより抽出した特徴点を修正できる。未抽出の場合には特徴点を追加できる。
The feature
このようにして正しい特徴点が決定されると、顔変形部28では、全特徴点の情報および入力モデルデータ40、すなわちテンプレートモデルを受け取り、とくに、テンプレートモデルに設定されている変化点とこの変化点に対応する特徴点の座標とを参照する。この参照により該当する変化点を特徴点に移動させる。この処理により図4に示すように入力された顔画像にマッチした顔メッシュ67aを作成する。図4には、顔メッシュ67aだけでなく、めがねメッシュ67b、ひげメッシュ67cおよび体メッシュ67dも示す。
When the correct feature point is determined in this way, the
画像貼付部32は、図5(a)に示すように、顔変形部28から顔メッシュと顔画像を含む顔モデルデータ42を受け取り、顔メッシュのテクスチャとして顔画像を設定する。このとき、図5(b)に示すような顔画像の透過情報を設定する。画像貼付部32は、顔メッシュのテクスチャは、顔領域のみ見えるような設定になる。
As shown in FIG. 5 (a), the
パーツ設定部30では、複数のパーツデータ44を読み取ってパーツ画像として表示する。コンテンツプロバイダは、表示されたパーツ画像の中から顔画像に合うパーツを選択する。たとえば顔画像が図5(a)に示すように女性の場合、図6(a)に示すメガネメッシュ向けの女性用メガネのパーツ画像をたとえば数個設定する。また、体メッシュ向けに女性用の服装のパーツ画像を数個設定してもよい。しかしながら、ひげメッシュは女性に合わないので設定しない。
The
パーツ設定部30においてパーツ画像が1つ決定されるたびにタイトル入力部52では、当該パーツ画像のタイトルを入力する表示窓が表示され、たとえば「伊達メガネ」、「ちょびひげ」などそのパーツ画像を表わすのにふさわしいタイトル(テキストデータ)を入力する。そしてモデル内に当該パーツテクスチャにとともにタイトルを情報として格納する。これにより生成されるデータ(基準モデルデータ)58には、複数存在するパーツテクスチャのそれぞれにタイトルが付与される。
Each time one part image is determined in the
画像貼付部32では、パーツ設定部30から各パーツのメッシュとパーツデータを受け取り、パーツメッシュのテクスチャとして選択されたパーツ画像を設定する。このとき図6(b)に示すように、パーツ画像の透過情報を設定すると、パーツメッシュのテクスチャは、たとえばメガネのフレーム部分だけ見えるような設定になる。
The
画像貼付部32は、上述した設定に応じて供給される各種のデータをテンプレートモデルと同じように配置し、レンダーする。このレンダリングで得られた画像データ60をモニタ表示部34に供給すると、コンテンツプロバイダは生成したモデルを確認することができる。画像貼付部32は、全メッシュのテンプレートモデル、顔テクスチャおよび複数のパーツテクスチャを一体化した新規の基準モデルデータ62を生成する。
The
モデル生成システム10は、顔画像を漫画表現のモデル生成に限定されるものでなく、コンテンツプロバイダは個人ユーザが自分の顔写真でモデルを作成することもできる。この場合、あえて漫画画像を入れないことから、顔メッシュはいわゆる「のっぺら坊」の状態である。したがって、モデル生成装置14では特徴点抽出や顔変形は行なわない。
The
個人ユーザによる個人モデルの作成手順を説明する。顔メッシュには、漫画画像のテクスチャまたはのっぺら坊のような透過テクスチャを設定する。また、パーツメッシュはパーツ毎に複数のパーツテクスチャを有する。 A procedure for creating an individual model by an individual user will be described. For the face mesh, a cartoon image texture or a transparent texture like Nopperabo is set. The part mesh has a plurality of part textures for each part.
入力モデルデータに透過テクスチャを設定する場合、リアル顔画像を用いる。この設定の場合、透過情報は一般的に存在しない。これに対して、漫画画像を用いる場合、顔画像は使用しない。また、パーツ画像も使用しない。 When setting a transparent texture to the input model data, a real face image is used. In this setting, there is generally no transparency information. On the other hand, when a comic image is used, a face image is not used. Also, parts images are not used.
上述した条件のうち、リアル画像として顔画像が入力されると、特徴点抽出部24は特徴点を抽出し、抽出した特徴点から顔の領域を推測する。この顔の領域の推測から、顔領域を決定する。特徴点表示部26で、抽出された特徴点と顔領域に対して修正する。
Of the above-described conditions, when a face image is input as a real image, the feature
この場合、顔変形部28で特徴点データ38を基に顔メッシュを変形させる。変形した顔モデルデータ42を画像貼付部32に出力する。画像貼付部32では顔領域の判定部分を不透過にして、顔画像テクスチャとする。画像貼付部32は、この判定部分以外の領域を透過テクスチャとする。
In this case, the
顔画像が入力されないと、顔メッシュには漫画テクスチャが供給されている。特徴点抽出部24、特徴点表示部26、顔変形部28は何等処理せず、顔メッシュに関しては画像貼付部32も処理しない。
If no face image is input, a cartoon texture is supplied to the face mesh. The feature
パーツ設定部30では、モデルデータに含まれる各パーツデータからパーツテクスチャを生成し、各パーツを画像として表示する。個人ユーザは表示されるパーツの中からパーツ毎に1つ好みのものを選択する。選択したパーツテクスチャ58は画像貼付部32に供給される。画像貼付部32では該当パーツ領域に供給されるパーツテクスチャ58を貼り付ける画像貼付部32は、モデル表示部34に貼り付けたパーツテクスチャ58および顔メッシュをレンダーした画像データ60を供給する。モデル表示部34はこの画像データ60を表示する。
The
個人ユーザがこのモデルで良いと判断すると、全メッシュの顔画像モデル、顔テクスチャおよび選択したパーツテクスチャを一体化した個人モデルを個人基本モデルとして生成する。 If the individual user determines that this model is acceptable, a personal model in which all mesh face image models, face textures, and selected part textures are integrated is generated as a personal basic model.
このように動作させて、一度テンプレートモデルを作成すると、作成したテンプレートモデルから様々な顔やパーツを持つ基準モデルデータを容易に作成することができ、さらに作成した基準モデルデータから様々な個人基本モデルデータを作成できる。 Once the template model is created by operating in this way, reference model data with various faces and parts can be easily created from the created template model, and various personal basic models can be created from the created reference model data. Can create data.
また、基準モデルデータを作成する過程では、コンテンツプロバイダは似顔絵やパーツ等の画像デザインを行なうだけで良いことから、モデル生成における複雑な知識を必要としない。さらに、個人基本モデルデータを作成する過程ではカメラ撮影やパーツ選択といった端末操作だけで済むことから、一般ユーザでも十分容易に扱うことができる。 Further, in the process of creating the reference model data, the content provider need only design images such as caricatures and parts, so that complicated knowledge in model generation is not required. Furthermore, since the process of creating personal basic model data requires only terminal operations such as camera shooting and parts selection, it can be handled easily by ordinary users.
このようにモデル生成システム10は多種多様な基本モデルデータを市場に提供し、展開できるので、提供されるモデルデータを用いた通信コミュニケーション等におけるツールの拡販に貢献することが可能となる。
As described above, the
また、パーツ設定部30は、図2に示す構成に限定されるものでなく、図7に示すようにすでに入力された情報を基にパーツ設定してもよい。この場合、パーツ設定部30は、図2に示したパーツ表示部48およびパーツ決定部50を用い、タイトル読出し部68および検索部70を設ける。
Also, the
タイトル読出し部68は、入力モデル記憶部18内に存在する各パーツテクスチャのタイトルを読み出す機能を有する。タイトル読出し部68には、入力キー72に応じて読出し制御信号44を生成し、入力モデル記憶部18に出力する。入力モデル記憶部18は、読出し制御信号44に応じて読み出したパーツテクスチャのタイトル44をタイトル読出し部68に供給する。タイトル読出し部68は、供給されたタイトル44をタイトル74として検索部70に出力する。
The
検索部70は、供給されるタイトル74とユーザからの入力キー72とを照合し、一致するタイトルを検出する機能を有する。検索部70は、この検出機能により一致したタイトル76をパーツ表示部48に出力する。
The
パーツ表示部48は、供給されるタイトル44におけるパーツテクスチャの内、検索したタイトル76に対応するパーツテクスチャを表示する。表示されるパーツテクスチャは複数であってもよい。パーツ表示部48は表示したパーツテクスチャ54をパーツ決定部50に出力する。パーツ決定部50は、表示された複数のパーツテクスチャからいくつかを選択する。パーツ決定部50は、選択したパーツテクスチャのデータ58を画像貼付部32に出力する。
The
モデル生成システム10の動作は基本的に前述した通りである。とくに、この構成を用いて、コンテンツプロバイダが操作する場合、パーツ表示部48は供給されるパーツ画像44の内、一致したパーツ画像を表示する。次にパーツ決定部50は、表示されたパーツ画像の中から顔メッシュに合うパーツを選択して、決定する。
The operation of the
また、個人モデルデータを作成する場合、パーツ設定部30において、タイトル読出し部68は入力モデル記憶部18から読み出したパーツテクスチャのタイトル44を検索部70に渡す。次に検索部70は、個人ユーザから供給される入力キー72とタイトル74とを照合し、マッチしたタイトル76をパーツ表示部48に出力する。
Further, when creating personal model data, in the
パーツ表示部48は、検索部70からタイトル76を受け取り、このタイトルを持つパーツテクスチャ44だけを表示する。さらに、パーツ決定部50は、パーツ表示部48に表示されたパーツテクスチャの中から個人ユーザが好むものを入力データ72に応じて選択し、決定する。
The parts display
このように動作させると、パーツテクスチャの数が膨大になった場合において、個人ユーザは、入力キーで所望のパーツを検索できることから、好みのモデルの作成を容易に処理することができる。また、たとえば携帯電話機のように表示領域が限られている端末装置等における利用において有利である。 When operated in this way, when the number of part textures becomes enormous, an individual user can search for a desired part with the input key, and thus can easily create a favorite model. Further, it is advantageous for use in a terminal device having a limited display area such as a mobile phone.
さらに、モデル表示部34は、図2に示す構成に限定されるものでなく、図8に示すように顔画像に対して柔軟に対応するようにしてもよい。この場合、図8のモデル表示部34は、前述した構成における単に表示機能を有するだけでなく、顔解析部78およびモデルレンダー部80を含む。顔解析部78は、外部の画像入力装置、たとえばディジタルカメラ82から入力される顔画像データ84を解析し特徴点を表情情報86として検出する機能を有する。また、モデルレンダー部80は、供給される入力モデルデータ64を表情情報86に基づいてレンダーする機能を有する。
Further, the
モデル表示部34は、前段の処理で画像貼り付けが行なわれた基本モデルの画像データ60を受け取ると、カメラ82を起動させる。このとき被写体の顔画像をモデル表示部34の顔解析部78に連続的に取り込む。
When the
顔解析部78は、連続的に送られてくる顔画像を受け取り、この顔画像データが示す特徴的な部分または部位をたとえば特徴点として検出する。この特徴点の検出により時系列的に連続して供給される顔画像における特徴点の変化から、顔の動き、すなわち表情情報が作成される。モデルレンダー部80は顔解析部78から順次、供給される表情情報86を利用して、モデルを変形させながら表示する。この処理をフェイスシンクという。ここで表示されるモデルの一例を図9に示す。ここで、表情情報の作成およびフェイスシンクそれぞれの詳細は特許文献1に開示されている。本実施例は、この開示技術を利用する。
The
このようにモデル表示部34を構成し、動作させると、顔画像のテクスチャやパーツ画像のテクスチャを選択し、設定後にモデルの状態を確認する段階において、フェイスシンクさせると、作成したモデルが実際にどのような動きをするかを参照することができる。これにより個人ユーザの意図通りのモデルが作成されたのか否かを実際に適用する前に検証することができる点で有利である。
When the
次に本発明に係るモデル生成システムを適用したモデル提供システム90について説明する。モデル提供システム90は、少なくとも、モデル生成システム10の構成要素を通信により有機的につなげられた分散システムである。モデル提供システム90は、図10に示すように、構成要素として、サーバ装置92および94、ならびにユーザ端末装置96を含む。
Next, a
サーバ装置92は、入力モデルデータ、すなわちテンプレートモデルをデータベース化し、保持して、アクセスに応じてテンプレートモデルを出力する機能を有する。サーバ装置92には、図1のデータストレージ部12が備えられる。本実施例のサーバ装置92は、モデル作成の専門的な知識を有する生成者がすでに作成したテンプレートモデルを格納する場合である。テンプレートモデルは、人間用のテンプレートモデルだけでなく、たとえば犬用および猫用等、各種のデンプレートモデルが保管されている。したがって、サーバ装置92が有するストレージは、図1の入力モデル記憶部18に対応するものである。サーバ装置92は、ネットワーク98に接続される。
The
また、サーバ装置94は、テンプレートモデルから基準モデル62を作成する機能を有し、ネットワーク98に接続される。ネットワーク98は、IP(Internet Protocol)ネットワークでもよい。この機能を実現するためサーバ装置94はモデル生成装置14を含む。サーバ装置94は、サーバ装置92からテンプレートモデルを読み出し、ネットワーク98を介してダウンロードする。サーバ装置94は、コンテンツを配信する業者、たとえばコンテンツプロバイダが管理する。この管理はコンテシツプロバイダへの利用料金の支払い、すなわち課金処理も含む。サーバ装置94は、図示しないが図1の出力モデル記憶部22を備える。
The
ユーザ端末装置96は、個人ユーザが所有する装置である。ユーザ端末装置96もネットワーク98に接続される。ユーザ端末装置96は、入力操作部に相当し、作成した新規の基準モデルデータ62の良否を判定する。
The
モデル提供システム90の動作について簡単に説明する。ユーザ端末装置96は、所望する基準モデルデータ、とくに、パーツテクスチャ、顔画像など個人モデルを作成する上で要求される仕様情報を作成する。ユーザ端末装置96は、たとえばパーソナルコンピュータや携帯電話機からサーバ装置94にアクセスし、作成した仕様情報を注文情報としてサーバ装置94に送信する。
The operation of the
サーバ装置94は、ユーザ登録の有無に基づくユーザ管理および各ユーザに対する課金管理を経て仕様情報に対応する入力モデルデータをサーバ装置92から読み出す。サーバ装置94は、入力モデルデータをモデル生成装置14に供給し、前述した方法を適用して基準モデルデータや個人基準モデルデータを作成する。このとき顔画像毎に様々な基準モデルデータ62が作成されることは言うまでもない。人間用モデルデータとしては、若い女、年老いた男、子供、赤ちゃんなどバリエーションは限りなく存在する。また、サーバ装置94は、作成した基準モデルデータを一般ユーザ、すなわちこの基準モデルデータをコミュニケーションツールとして利用するユーザに紹介するウェブサイトでもある。ウェブサイトでは、上述したように個人ユーザの注文を受け付ける。このようにサーバ装置94は、ユーザ管理、個人ユーザ管理およびその課金管理によりウェブサイトを運営する。コンテンツプロバイダは、モデルデータのダウンロード時に料金を精算してもよいし、会員登録制でユーザから毎月定額料金を徴収するようにしてもよい。
The
ユーザ端末装置96は、ネットワーク98を介してサーバ装置94で作成した自身の注文情報に基づく個人基準モデルをダウンロードする。ユーザは、ユーザ端末装置96のコミュニケーションツールとして個人基準モデルを利用する。
The
モデル提供システム90によれば、コンテンツプロバイダは漫画画像やパーツ画像のような2次元の画像をデザインするだけでバリエーション豊富な基準モデルを容易に作成し、ユーザに提供できる。このことから、システム90におけるサイトがユーザに飽きられることがないように運営することが可能になる。
According to the
また、ユーザも豊富な基準モデルから所望のモデルデータを選択でき、さらに顔画像を写真画像にしたり、パーツを自由に選択したりできる点等のように個人用のユニークなモデルデータを取得することができる。 In addition, users can select desired model data from abundant reference models, and acquire unique model data for personal use, such as the ability to make face images into photographic images or select parts freely. Can do.
このようにして、システム90が実施されるとこれまで問題となっていたコンテンツ不足を解消できる。このため、コミュニケーションツールの拡販にも貢献することが可能となる。また、本実施例では、モデルデータをサーバ装置94で生成することから、ユーザ端末装置に負担を掛けることなく、携帯電話ユーザにも利用しやすいという利点がある。
In this way, when the
なお、ユーザ端末装置96は、図11に示すように、モデル生成装置14を含んでもよい。ユーザ端末装置96は、コンテンツプロバイダが管理するサーバ装置94からモデル生成装置が利用するアプリケーションソフトウェアをダウンロードする。次にユーザ端末装置96はサーバ装置94からコンテンツプロバイダが作成した基準モデルの内、所望する基準モデルデータをダウンロードする。ユーザ端末装置96は、内蔵するモデル生成装置14で、基準モデルデータから個人基準モデルデータを作成する。これにより、ユーザ端末装置14は生成した個人基準モデルをコミュニケーションツール等で利用する。
Note that the
このようにモデル提供システム90において、個人基準モデルデータの生成を各ユーザ端末装置96で処理することにより、サーバ装置94では多くのユーザを相手に細かい注文のやり取りが不要になり、ネットワーク負荷を抑制する効果を奏する。このため、コンテンツプロバイダは低コストでより多くの顧客に向けたサイト運営が可能になる。
In this way, in the
10 モデル生成システム
12 データストレージ部
14 モデル生成装置
16 顔画蔵記憶部
18 入力モデル記憶部
20 パーツデータ記憶部
22 出力モデル記憶部
24 特徴点抽出部
26 特徴点表示部
28 顔変形部
30 パーツ設定部
32 画像貼付部
34 モデル表示部
10 Model generation system
12 Data storage section
14 Model generator
16 Face picture storage
18 Input model storage
20 Parts data storage
22 Output model storage
24 Feature point extraction unit
26 Feature point display
28 Face transformation
30 Parts setting section
32 Image pasting part
34 Model display
Claims (7)
前記顔画像における特徴点を第2の特徴点として抽出する特徴点抽出手段と、
第1の特徴点と第2の特徴点とを対応させ、第1の特徴点を第2の特徴点に移動させる変形手段と、
前記パーツデータから所望するパーツを選択するパーツ選択手段と、
移動した第1の特徴点と選択したパーツデータとを基として画像を貼り付ける貼付け手段とを含むことを特徴とするモデル生成装置。 Basic model data including a face image used for characterizing each face in advance, part data for modifying the face image, and a first feature point representing a preset face part are input and input. In a model generation device that generates new basic model data reflecting three data, the device includes:
Feature point extracting means for extracting a feature point in the face image as a second feature point;
Deformation means for causing the first feature point to correspond to the second feature point and moving the first feature point to the second feature point;
Parts selection means for selecting a desired part from the parts data;
A model generating apparatus comprising: pasting means for pasting an image based on the moved first feature point and the selected part data.
貼り付けて得られたモデル画像を表示する第2の表示手段とを含むことを特徴とするモデル生成装置。 The apparatus according to claim 1, wherein the apparatus includes first display means for displaying a second feature point;
And a second display means for displaying a model image obtained by pasting.
表示されたパーツ画像から所望のパーツを選択する決定手段と、
選んだパーツに対応するパーツデータに対して付加情報を付ける情報入力手段とを含むことを特徴とするモデル生成装置。 3. The apparatus according to claim 1, wherein the part selection unit includes a third display unit that displays the part data as an image;
A determining means for selecting a desired part from the displayed part image;
An information input unit for adding additional information to part data corresponding to a selected part.
該読出し制御手段の制御により読み出した付加情報と入力されたキー情報とを照合し、該キー情報に一致する付加情報を検出する検索手段と、
検出した付加情報に該当するパーツデータを画像として表示する第3の表示手段と、
表示されたパーツデータの画像から所望のパーツを選択する決定手段とを含むことを特徴とするモデル生成装置。 The apparatus according to claim 1 or 2, wherein the part selection means reads out the additional information and the part data based on the additional information attached to the already created part data,
Search means for collating the additional information read out under the control of the reading control means with the input key information and detecting additional information matching the key information;
Third display means for displaying the part data corresponding to the detected additional information as an image;
A model generation apparatus comprising: a determination unit that selects a desired part from an image of displayed part data.
該表情情報を用いて、前記特徴点を変化させた画像の貼り付けによりモデル画像として描画する描画手段とを含むモデル生成装置。 5. The apparatus according to claim 2, 3 or 4, wherein the second display means is a facial motion obtained based on a face image continuously supplied in time series from an image input means for digitally inputting a face image. Facial expression analysis means for detecting facial expression information,
A model generation apparatus including a drawing unit that draws a model image by pasting an image in which the feature points are changed using the facial expression information.
前記モデルデータを格納する第1のサーバ装置と、
前記モデル生成装置が配された第2のサーバ装置と、
前記新規の基本モデルデータの作成に関わる注文情報を出力し、作成した基本モデルデータを取得する端末装置とを含み、
第1、第2のサーバ装置および前記端末装置は、通信ネットワークに接続され、
前記新規の基本モデルデータを個人用として取得することを特徴とするモデル生成システム。 The model generation system in which the model generation device according to any one of claims 1 to 4 is arranged, the system includes:
A first server device for storing the model data;
A second server device in which the model generation device is arranged;
Output order information related to the creation of the new basic model data, including a terminal device for acquiring the created basic model data,
The first and second server devices and the terminal device are connected to a communication network,
A model generation system characterized in that the new basic model data is acquired for personal use.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005207292A JP2007026088A (en) | 2005-07-15 | 2005-07-15 | Model creation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005207292A JP2007026088A (en) | 2005-07-15 | 2005-07-15 | Model creation apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007026088A true JP2007026088A (en) | 2007-02-01 |
Family
ID=37786753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005207292A Pending JP2007026088A (en) | 2005-07-15 | 2005-07-15 | Model creation apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007026088A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014071871A (en) * | 2012-10-02 | 2014-04-21 | Nippon Telegr & Teleph Corp <Ntt> | Video communication system and video communication method |
JP2014522528A (en) * | 2012-04-06 | 2014-09-04 | 騰訊科技(深▲セン▼)有限公司 | Method and apparatus for automatically reproducing facial expressions with virtual images |
CN114694221A (en) * | 2016-10-31 | 2022-07-01 | 谷歌有限责任公司 | Face reconstruction method based on learning |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06118349A (en) * | 1992-10-02 | 1994-04-28 | Seiko Epson Corp | Eyewear wearing simulation device |
JP2001109907A (en) * | 1999-10-04 | 2001-04-20 | Sharp Corp | Three-dimensional model generation device, three- dimensional model generation method, and recording medium recording three-dimensional model generation program |
JP2003016475A (en) * | 2001-07-04 | 2003-01-17 | Oki Electric Ind Co Ltd | Information terminal device with image communication function and image distribution system |
-
2005
- 2005-07-15 JP JP2005207292A patent/JP2007026088A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06118349A (en) * | 1992-10-02 | 1994-04-28 | Seiko Epson Corp | Eyewear wearing simulation device |
JP2001109907A (en) * | 1999-10-04 | 2001-04-20 | Sharp Corp | Three-dimensional model generation device, three- dimensional model generation method, and recording medium recording three-dimensional model generation program |
JP2003016475A (en) * | 2001-07-04 | 2003-01-17 | Oki Electric Ind Co Ltd | Information terminal device with image communication function and image distribution system |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014522528A (en) * | 2012-04-06 | 2014-09-04 | 騰訊科技(深▲セン▼)有限公司 | Method and apparatus for automatically reproducing facial expressions with virtual images |
JP2014071871A (en) * | 2012-10-02 | 2014-04-21 | Nippon Telegr & Teleph Corp <Ntt> | Video communication system and video communication method |
CN114694221A (en) * | 2016-10-31 | 2022-07-01 | 谷歌有限责任公司 | Face reconstruction method based on learning |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10347028B2 (en) | Method for sharing emotions through the creation of three-dimensional avatars and their interaction | |
JP6022732B2 (en) | Content creation tool | |
US10186084B2 (en) | Image processing to enhance variety of displayable augmented reality objects | |
CN111541950B (en) | Expression generating method and device, electronic equipment and storage medium | |
US20150277686A1 (en) | Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format | |
JP2011209887A (en) | Method and program for creating avatar, and network service system | |
TW202009682A (en) | Interactive method and device based on augmented reality | |
US20210166461A1 (en) | Avatar animation | |
CN119251338A (en) | System and method for providing personalized video for multiple persons | |
CN101981578A (en) | Method and apparatus for collaborative design of an avatar or other graphical structure | |
CN113705156A (en) | Character processing method and device | |
KR20200085029A (en) | Avatar virtual pitting system | |
CN116823390A (en) | Virtual experience system, method, computer equipment and storage medium | |
JP2009223419A (en) | Creation editing method for avatar in network chat service, chat service system and creation editing method for image data | |
JP2020013368A (en) | Makeup support system, makeup support program and makeup support method | |
CN119169412A (en) | Method for constructing training data set for training action recognition model | |
JP2011192008A (en) | Image processing system and image processing method | |
JP2004302939A (en) | Image output device, image output method, image output processing program, image distribution server, and image distribution processing program | |
JP2007026088A (en) | Model creation apparatus | |
CN111640190A (en) | AR effect presentation method and apparatus, electronic device and storage medium | |
KR101910931B1 (en) | Method for providing 3d ar contents service on food using 64bit-identifier | |
KR20100111930A (en) | Ucc service system based on pattern-animation | |
WO2002097732A1 (en) | Method for producing avatar using image data and agent system with the avatar | |
KR20190062005A (en) | Method for making emoticon during chatting | |
KR20000049906A (en) | Making method of avatar to come under substantial user in cyber space and system for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100420 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100810 |