[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2007026088A - Model creation apparatus - Google Patents

Model creation apparatus Download PDF

Info

Publication number
JP2007026088A
JP2007026088A JP2005207292A JP2005207292A JP2007026088A JP 2007026088 A JP2007026088 A JP 2007026088A JP 2005207292 A JP2005207292 A JP 2005207292A JP 2005207292 A JP2005207292 A JP 2005207292A JP 2007026088 A JP2007026088 A JP 2007026088A
Authority
JP
Japan
Prior art keywords
model
data
image
face
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005207292A
Other languages
Japanese (ja)
Inventor
Masaru Sugioka
賢 杉岡
Katsumi Ikegami
勝美 池上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2005207292A priority Critical patent/JP2007026088A/en
Publication of JP2007026088A publication Critical patent/JP2007026088A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a model creation apparatus allowing even an amateur to easily create model data, and allowing a user to obtain a wide variety of model data by simply selecting desired parts, etc. <P>SOLUTION: The model creation apparatus 14 extracts feature points of a face image using a feature point extracting part 24 and causes a feature point display part 26 to display the feature points. The differences between the feature points and the face, etc., are corrected and the feature points shown by input model data (template data) 40 are changed into the feature points of the face image by a face deforming part 28 to deform an input model. Model data 42 deformed after the face image supplied, and desired parts data 56 selected by means of a parts setting part 30 are supplied to an image sticking part 32. A model image stuck according to both data 42 and 56 is drawn. In this way, the user can easily create basic model data 62 regardless of his or her knowledge of the model. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、モデル生成装置に関するものである。本発明は、とくに、人間や動物の動作や表情をコンピュータグラフィックスで表現するアバタモデルを生成する装置に関するものである。   The present invention relates to a model generation device. In particular, the present invention relates to an apparatus for generating an avatar model that expresses movements and expressions of humans and animals by computer graphics.

従来からポリゴンに画像を貼り付けたバーチャルヒューマンモデルであるアバタを用いてコミュニケーションする特許文献1の提案がある。この提案の方法では、最初に、たとえばカメラから入力される通話対象である自分または通話相手の画像データを取得する。この方法では次に取得した画像データから通話対象の動きを求め、求めた動きを基に表情情報を検出する。さらに次の段階では、検出した表情情報に応じてあらかじめ作成されたモデルを連動させてレンダリングして描画画像を作成する。この作成した描画画像を見ながら通話することでこの提案は、テレビ電話のように通信において通話対象の感情も汲み取りながら、通信対象のプライバシーをも考慮したコミュニケーションが実現する。   Conventionally, there is a proposal in Patent Document 1 in which communication is performed using an avatar which is a virtual human model in which an image is pasted on a polygon. In the proposed method, first, for example, image data of the user or the other party who is a call target input from a camera is acquired. In this method, the movement of the call target is obtained from the next acquired image data, and facial expression information is detected based on the obtained movement. In the next stage, a drawing image is created by rendering a model created in advance according to the detected facial expression information. By making a call while looking at the created drawing image, this proposal realizes communication taking into consideration the privacy of the communication target while capturing the emotion of the call target in communication like a video phone.

このような方法を用いたサービスを展開するためには、低コストで簡単にユーザに多種多様なモデルの提供が要求される。しかしながら、モデル作成には専門的な知識が要求される。このような要求によりモデル作成はコストがかかり、市場に十分な量を提供できないという問題がある。   In order to develop a service using such a method, it is required to provide a variety of models to the user easily at low cost. However, specialized knowledge is required for model creation. Due to such demands, model creation is costly and there is a problem that a sufficient amount cannot be provided to the market.

このような問題に対して、従来では特許文献2が提案されている。この提案は、ユーザが顔部品を選択することでモデルを作成する方法である。   Conventionally, Patent Document 2 has been proposed for such a problem. This proposal is a method in which a user creates a model by selecting a face part.

日本国特許第3593067号Japanese Patent No. 3593067 日本国特許第2943703号Japanese Patent No. 2294703

しかしながら、特許文献2の方法は、あらかじめ3次元モデルの作成知識が要される多くの部品を作成しておき、それをユーザが選択するものである。このため、部品を作成する段階において多大なコストおよび時間が要求される。   However, in the method of Patent Document 2, many parts that require knowledge of creating a three-dimensional model are created in advance, and the user selects them. For this reason, a great deal of cost and time are required in the stage of creating parts.

本発明はこのような従来技術の欠点を解消し、素人でも容易にモデルデータが作成でき、ユーザが所望する部品等を選択する単純操作だけで多種多様なモデルデータを得られるモデル生成装置を提供することを目的とする。   The present invention eliminates the drawbacks of the prior art, and provides a model generation apparatus that can easily create model data even for an amateur and obtain a wide variety of model data only by a simple operation of selecting a desired part or the like by a user. The purpose is to do.

本発明は上述の課題を解決するために、あらかじめ個々の顔の特徴付けに用いる顔画像、この顔画像に対して修飾するパーツデータおよびあらかじめ設定した顔の部位を表わす第1の特徴点が含まれる基本のモデルデータを入力し、入力される3つのデータが反映された新規の基本モデルデータを生成するモデル生成装置において、この装置は、顔画像における特徴点を第2の特徴点として抽出する特徴点抽出手段と、第1の特徴点と第2の特徴点とを対応させ、第1の特徴点を第2の特徴点に移動させる変形手段と、パーツデータから所望するパーツを選択するパーツ選択手段と、移動した第1の特徴点と選択したパーツデータとを基として画像を貼り付ける貼付け手段とを含むことを特徴とする。   In order to solve the above-mentioned problems, the present invention includes a face image used for characterizing each face in advance, part data for modifying the face image, and a first feature point representing a preset face part. In the model generation apparatus that inputs basic model data to be generated and generates new basic model data reflecting the three input data, the apparatus extracts a feature point in the face image as a second feature point A feature point extracting unit, a deforming unit that associates the first feature point with the second feature point, and moves the first feature point to the second feature point, and a part that selects a desired part from the part data The image processing apparatus includes: selection means; and pasting means for pasting an image based on the moved first feature point and the selected part data.

本発明のモデル生成装置は、特徴点抽出手段で第2の特徴点を抽出し、第2の特徴点を第1の表示手段に表示させて、特徴点と顔のずれ等を修正し、変形手段で第1の特徴点を第2の特徴点に変化させることでモデルデータを顔画像に似せて変形させ、この変形させたモデルデータとパーツ選択手段で選択した所望のパーツデータとを貼付け手段に供給し、両データを基に貼り付けたモデル画像を描画し、モデル知識の有無に関わらず、容易にモデルデータを作成することができる。   The model generation apparatus of the present invention extracts the second feature point by the feature point extraction unit, displays the second feature point on the first display unit, corrects the deviation between the feature point and the face, and the like. The first feature point is changed to the second feature point by means to change the model data to resemble a face image, and the deformed model data and desired part data selected by the part selection means are pasted. The model image pasted on the basis of both data is drawn, and model data can be easily created regardless of the presence or absence of model knowledge.

次に添付図面を参照して本発明によるモデル生成装置の一実施例を詳細に説明する。   Next, an embodiment of a model generation apparatus according to the present invention will be described in detail with reference to the accompanying drawings.

本実施例は、本発明のモデル生成装置をモデル生成システム10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。   In this embodiment, the model generation apparatus of the present invention is applied to the model generation system 10. The illustration and description of parts not directly related to the present invention are omitted. In the following description, the signal is indicated by the reference number of the connecting line in which it appears.

モデル生成システム10は、図1に示すように、データストレージ部12およびモデル生成装置14を含む。データストレージ部12は、各種のデータをそれぞれ記憶する機能を有する。データストレージ部12は、各種のデータとして顔画像データ、入力モデルデータ、パーツデータおよび出力モデルデータを記憶する顔画像記憶部16、入力モデル記憶部18、パーツデータ記憶部20および出力モデル記憶部22を含む。モデル生成システム10は、図示しない操作部からの操作指示を制御部に送る。制御部は、操作指示に応じて生成した制御信号をデータストレージ部12に出力する。データストレージ部12は、供給される制御信号に応じて顔画像記憶部16、入力モデル記憶部18およびパーツデータ記憶部20のそれぞれからのデータをモデル生成装置14に出力する。   As shown in FIG. 1, the model generation system 10 includes a data storage unit 12 and a model generation device 14. The data storage unit 12 has a function of storing various data. The data storage unit 12 is a face image storage unit 16 that stores face image data, input model data, part data, and output model data as various data, an input model storage unit 18, a part data storage unit 20, and an output model storage unit 22. including. The model generation system 10 sends an operation instruction from an operation unit (not shown) to the control unit. The control unit outputs a control signal generated according to the operation instruction to the data storage unit 12. The data storage unit 12 outputs data from each of the face image storage unit 16, the input model storage unit 18, and the part data storage unit 20 to the model generation device 14 in accordance with the supplied control signal.

顔画像記憶部16には、カメラで撮影したような人間のリアルな顔画像データまたは似顔絵ツール等で作成した漫画画像データが格納される。本実施例では漫画画像データが記憶される場合を後段で示す。漫画画像データは透過情報との組合せで記憶される。顔画像データは、たとえば1画素あたり32ビットの情報を持ち、この情報のうち、24ビットでRGBデータを表わし、残りの8ビットで透過情報を表わす。顔画像データはモデル生成装置12を操作するユーザが作成する。ここでのユーザは、たとえばコンテンツプロバイダである。   The face image storage unit 16 stores realistic human face image data taken by a camera or comic image data created by a portrait tool or the like. In this embodiment, the case where comic image data is stored is shown in the latter part. The comic image data is stored in combination with the transmission information. The face image data has, for example, 32 bits of information per pixel. Of this information, 24 bits represent RGB data, and the remaining 8 bits represent transmission information. The face image data is created by a user who operates the model generation device 12. The user here is, for example, a content provider.

入力モデル記憶部18にはテンプレートモデルが格納される。テンプレートモデルは複数の平面状のメッシュを奥行き方向にややずらして配置する。メッシュには顔メッシュおよびパーツメッシュ等が用意される。顔メッシュには人間の標準的なポリゴンが配置される。また、パーツメッシュにはたとえば、体メッシュ、メガネメッシュ、ひげメッシュ等のあらかじめ想定されるモデルのバリエーションを増やすメッシュが用意されている。パーツメッシュはそれぞれ、あらかじめ正しい位置に配置される。たとえばメガネメッシは顔メッシュにおける目の位置に配される。また、ひげメッシュは顔メッシュの口の位置に配される。   The input model storage unit 18 stores a template model. In the template model, a plurality of planar meshes are arranged slightly shifted in the depth direction. For the mesh, a face mesh, a part mesh, etc. are prepared. A standard human polygon is placed on the face mesh. Further, for example, meshes that increase variations of models assumed in advance, such as body meshes, eyeglass meshes, and beard meshes, are prepared as part meshes. Each part mesh is placed in the correct position in advance. For example, the eyeglass mesh is placed at the position of the eyes in the face mesh. The beard mesh is arranged at the mouth position of the face mesh.

さらに、たとえば顔メッシュが左右に動けばメガネメッシュも追従して動くようにメッシュそれぞれに動作設定する。ここで、メッシュの表面に貼り付ける画像をテクスチャという。各メッシュのテクスチャは透過画像に設定する。目、口、鼻等のように顔の特徴的な部位にはあらかじめ特徴点が設定される。特徴点は、顔画像に応じて変化することから変化点とも呼ぶ。   Furthermore, for example, if the face mesh moves to the left and right, the operation is set for each mesh so that the eyeglass mesh follows and moves. Here, an image to be pasted on the surface of the mesh is called a texture. The texture of each mesh is set to a transparent image. Feature points are set in advance on characteristic parts of the face such as the eyes, mouth, and nose. Since the feature point changes according to the face image, it is also called a change point.

パーツデータ記憶部20は、テンプレートモデル内のパーツメッシュに合うようなパーツデータであり、透過情報も持つ。パーツデータはユーザが作成する。   The part data storage unit 20 is part data suitable for the part mesh in the template model, and also has transparency information. The user creates part data.

モデル生成装置14は、特徴点抽出部24、特徴点表示部26、顔変形部28、パーツ設定部30、画像貼付部32およびモデル表示部34を含む。特徴点抽出部24は、顔画像記憶部16から供給される顔画像データ36が含む特徴点を抽出する機能を有する。特徴点抽出部24は、抽出した顔画像における特徴点データ38を特徴点表示部26および顔変形部28に出力する。   The model generation device 14 includes a feature point extraction unit 24, a feature point display unit 26, a face deformation unit 28, a part setting unit 30, an image pasting unit 32, and a model display unit 34. The feature point extraction unit 24 has a function of extracting feature points included in the face image data 36 supplied from the face image storage unit 16. The feature point extraction unit 24 outputs the feature point data 38 in the extracted face image to the feature point display unit 26 and the face deformation unit 28.

特徴点表示部26は、供給される特徴点データ38を入力し、特徴点データ38を顔画像の特徴点として画面に表示し、表示した特徴点を編集する機能を有する。特徴点表示部26は、操作部からの指示に応じて編集した特徴点データ38を顔変形部28に出力する。   The feature point display unit 26 has a function of inputting the supplied feature point data 38, displaying the feature point data 38 on the screen as the feature points of the face image, and editing the displayed feature points. The feature point display unit 26 outputs the feature point data 38 edited according to the instruction from the operation unit to the face deforming unit 28.

顔変形部28は、特徴点データ38に従って選んだ入力モデルの特徴点を変化点として移動させる機能を有する。顔変形部28には、入力モデル記憶部18からテンプレートモデルである入力モデルデータ40が供給される。入力モデルデータ40は操作部を介して入力モデル記憶部18に供給される指示信号に応じて選ばれる。顔変形部28は、選んだ入力モデルデータ40を入力し、この入力モデルデータ40の特徴点を特徴点データ38に応じて変化させる。顔変形部28は、入力モデルを供給される個々の顔に合わせて変化させることで入力モデルを多様化させることができる。顔変形部28は変形した顔モデルデータ42を画像貼付部32に出力する。   The face deformation unit 28 has a function of moving the feature point of the input model selected according to the feature point data 38 as a change point. The face deformation unit 28 is supplied with input model data 40 that is a template model from the input model storage unit 18. The input model data 40 is selected according to an instruction signal supplied to the input model storage unit 18 via the operation unit. The face deforming unit 28 inputs the selected input model data 40 and changes the feature points of the input model data 40 according to the feature point data 38. The face deforming unit 28 can diversify the input model by changing the input model in accordance with each supplied face. The face deforming unit 28 outputs the deformed face model data 42 to the image pasting unit 32.

パーツ設定部30は、パーツ画像データの中から適当なパーツ画像データを選択して、設定する機能を有する。パーツ設定部30には、入力データ記憶部18からテンプレートモデルにおける平面状のメッシュデータ44が供給される。また、パーツ設定部30には、パーツデータ記憶部20からパーツデータ46が供給される。上述の機能を実現するためパーツ設定部30は、図2に示すように、パーツ表示部48、パーツ決定部50およびタイトル入力部52を含む。   The part setting unit 30 has a function of selecting and setting appropriate part image data from the part image data. The part setting unit 30 is supplied with planar mesh data 44 in the template model from the input data storage unit 18. The parts setting unit 30 is supplied with parts data 46 from the parts data storage unit 20. In order to realize the above-described function, the parts setting unit 30 includes a parts display unit 48, a parts determination unit 50, and a title input unit 52 as shown in FIG.

パーツ表示部48は、供給されるパーツデータ46を表示する機能を有する。パーツ表示部48は、後述するようにパーツデータ46をパーツとして表示し、表示したパーツ画像に対応するパーツデータ54をパーツ決定部50に供給する。   The part display unit 48 has a function of displaying the supplied part data 46. The part display unit 48 displays the part data 46 as a part as will be described later, and supplies the part data 54 corresponding to the displayed part image to the part determination unit 50.

パーツ決定部50は、供給される複数種類のパーツデータから選択し、決定する機能を有する。パーツ決定部50は選択したパーツデータ56をタイトル入力部52に出力する。タイトル入力部52は、決定したパーツ毎にタイトルを付ける機能を有する。タイトル入力部52には、入力データ記憶部18からデータ44が供給される。   The part determination unit 50 has a function of selecting and determining from a plurality of types of supplied part data. The parts determination unit 50 outputs the selected parts data 56 to the title input unit 52. The title input unit 52 has a function of assigning a title to each determined part. The title input unit 52 is supplied with data 44 from the input data storage unit 18.

なお、パーツ決定部50およびタイトル入力部52は、操作部における一部機能、すなわち決定キー機能やキー入力機能に対応する。   The parts determination unit 50 and the title input unit 52 correspond to a partial function in the operation unit, that is, a determination key function and a key input function.

図1に戻って、画像貼付部32は、変形させた顔画像のモデルデータおよび選択したパーツデータを新たな基本モデルデータとして作成し、さらに作成したこの基本モデルデータに対して画像として貼り付ける機能を有する。画像貼付部32は、顔変形部28から顔メッシュを含む変形させた顔モデルデータ42を受け取り、顔メッシュのテクスチャとして顔画像を設定する。このとき、後述するように、たとえば顔画像の透過情報を設定することにより、顔メッシュのテクスチャは、顔領域だけ見える設定になる。   Returning to FIG. 1, the image pasting unit 32 creates the model data of the deformed face image and the selected part data as new basic model data, and further pastes the created basic model data as an image. Have The image pasting unit 32 receives the deformed face model data 42 including the face mesh from the face deforming unit 28, and sets the face image as the texture of the face mesh. At this time, as will be described later, for example, by setting the transparency information of the face image, the texture of the face mesh is set so that only the face area can be seen.

画像貼付部32は、パーツ設定部30から各パーツのメッシュとパーツのデータ58を受け取り、パーツメッシュのテクスチャとして選択されたパーツ画像を設定する。このときパーツ画像の透過情報を設定すると、パーツメッシュのテクスチャは、たとえばメガネのフレーム部分だけ見える設定になる。   The image pasting unit 32 receives the mesh of each part and the part data 58 from the part setting unit 30, and sets the selected part image as the texture of the part mesh. If the transparency information of the part image is set at this time, the texture of the part mesh is set so that, for example, only the frame portion of the glasses can be seen.

画像貼付部32は、顔メッシュおよびパーツメッシュをテンプレートモデルと同じように配置してレンダーする。レンダーした画像データ60がモデル表示部34に出力される。画像貼付部32は、ユーザによる表示されるモデルの良否確認において、良好と判断された場合全メッシュを示すテンプレートモデル、顔テクスチャおよび複数のパーツテクスチャを一体化して表わすことができる基準モデルデータ62を生成し、出力モデル記憶部22に出力する。   The image pasting unit 32 arranges and renders the face mesh and the part mesh in the same manner as the template model. The rendered image data 60 is output to the model display unit 34. The image pasting unit 32 displays reference model data 62 that can integrally represent a template model indicating all meshes, a face texture, and a plurality of part textures when it is determined that the model displayed by the user is good or bad. Generate and output to the output model storage unit 22.

モデル表示部34は、モデルを表示する機能を有する。モデル表示部34には、モデル構築前のテンプレートデータである入力モデルデータ64と画像データ60が供給される。モデル表示部34は、両データ60および64を表示することによりモデルの出来栄えを確認できる。モデル表示部34は、特徴点表示部26と同一のモニタにしてもよい。同一モニタは、マルチ画面の内、表示内容に応じて該当するデータを表示すればよい。   The model display unit 34 has a function of displaying a model. The model display unit 34 is supplied with input model data 64 and image data 60 which are template data before model construction. The model display unit 34 can confirm the quality of the model by displaying both data 60 and 64. The model display unit 34 may be the same monitor as the feature point display unit 26. The same monitor may display corresponding data in accordance with display contents in the multi-screen.

コンテンツプロバイダはモデル生成装置14を用いて、テンプレートモデルである入力モデルデータ40およびメッシュデータ44から新規の基準モデルデータ62を作成し、一般のユーザがモデル生成装置14を利用して、基準モデルデータから個人モデルデータを作成する。   The content provider uses the model generation device 14 to create new reference model data 62 from the input model data 40 and mesh data 44, which are template models, and a general user uses the model generation device 14 to generate reference model data. Create personal model data from

次にモデル生成システム10の動作について説明する。最初に、基準モデルデータを作成する手順を説明する。   Next, the operation of the model generation system 10 will be described. First, a procedure for creating reference model data will be described.

特徴点抽出部24は、顔画像データ36を取り込み、顔画像の顔部位を抽出する。本実施例では特許文献1に示す公知の技術を用いて自動的に検出する。このとき図3のテンプレートモデルに設定した黒三角形の頂点で表わされる変化点は少なくとも抽出する。ここで、特徴点は顔画像の左上を原点66とする2次元座標で抽出される。しかしながら、特徴点の抽出は失敗することもある。特徴点表示部26で顔画像と抽出した特徴点とを重ねて表示するとよい。コンテンツプロバイダが表示を見て特徴点がずれている場合、これにより抽出した特徴点を修正できる。未抽出の場合には特徴点を追加できる。   The feature point extraction unit 24 takes in the face image data 36 and extracts a face part of the face image. In this embodiment, the detection is automatically performed using a known technique disclosed in Patent Document 1. At this time, at least the change points represented by the vertices of the black triangle set in the template model of FIG. 3 are extracted. Here, the feature points are extracted with two-dimensional coordinates with the origin 66 at the upper left of the face image. However, feature point extraction may fail. The feature point display unit 26 may display the face image and the extracted feature points in an overlapping manner. When the content provider sees the display and the feature points are shifted, the extracted feature points can be corrected. A feature point can be added when not extracted.

このようにして正しい特徴点が決定されると、顔変形部28では、全特徴点の情報および入力モデルデータ40、すなわちテンプレートモデルを受け取り、とくに、テンプレートモデルに設定されている変化点とこの変化点に対応する特徴点の座標とを参照する。この参照により該当する変化点を特徴点に移動させる。この処理により図4に示すように入力された顔画像にマッチした顔メッシュ67aを作成する。図4には、顔メッシュ67aだけでなく、めがねメッシュ67b、ひげメッシュ67cおよび体メッシュ67dも示す。   When the correct feature point is determined in this way, the face deforming unit 28 receives the information of all the feature points and the input model data 40, that is, the template model. In particular, the change point set in the template model and this change are received. Reference is made to the coordinates of the feature points corresponding to the points. With this reference, the corresponding change point is moved to the feature point. By this process, a face mesh 67a matching the input face image is created as shown in FIG. FIG. 4 shows not only the face mesh 67a but also a glasses mesh 67b, a beard mesh 67c, and a body mesh 67d.

画像貼付部32は、図5(a)に示すように、顔変形部28から顔メッシュと顔画像を含む顔モデルデータ42を受け取り、顔メッシュのテクスチャとして顔画像を設定する。このとき、図5(b)に示すような顔画像の透過情報を設定する。画像貼付部32は、顔メッシュのテクスチャは、顔領域のみ見えるような設定になる。   As shown in FIG. 5 (a), the image pasting unit 32 receives the face model data 42 including the face mesh and the face image from the face deforming unit 28, and sets the face image as the texture of the face mesh. At this time, the transmission information of the face image as shown in FIG. 5 (b) is set. The image pasting unit 32 is set so that only the face area can be seen as the texture of the face mesh.

パーツ設定部30では、複数のパーツデータ44を読み取ってパーツ画像として表示する。コンテンツプロバイダは、表示されたパーツ画像の中から顔画像に合うパーツを選択する。たとえば顔画像が図5(a)に示すように女性の場合、図6(a)に示すメガネメッシュ向けの女性用メガネのパーツ画像をたとえば数個設定する。また、体メッシュ向けに女性用の服装のパーツ画像を数個設定してもよい。しかしながら、ひげメッシュは女性に合わないので設定しない。   The part setting unit 30 reads a plurality of part data 44 and displays it as a part image. The content provider selects a part that matches the face image from the displayed part images. For example, when the face image is a woman as shown in FIG. 5 (a), for example, several part images of female glasses for glasses mesh shown in FIG. 6 (a) are set. Moreover, you may set several parts images of the clothes for women for a body mesh. However, the beard mesh is not set because it does not fit women.

パーツ設定部30においてパーツ画像が1つ決定されるたびにタイトル入力部52では、当該パーツ画像のタイトルを入力する表示窓が表示され、たとえば「伊達メガネ」、「ちょびひげ」などそのパーツ画像を表わすのにふさわしいタイトル(テキストデータ)を入力する。そしてモデル内に当該パーツテクスチャにとともにタイトルを情報として格納する。これにより生成されるデータ(基準モデルデータ)58には、複数存在するパーツテクスチャのそれぞれにタイトルが付与される。   Each time one part image is determined in the part setting unit 30, the title input unit 52 displays a display window for inputting the title of the part image. Enter the appropriate title (text data). Then, the title is stored as information along with the part texture in the model. In the data (reference model data) 58 generated in this way, a title is assigned to each of a plurality of part textures.

画像貼付部32では、パーツ設定部30から各パーツのメッシュとパーツデータを受け取り、パーツメッシュのテクスチャとして選択されたパーツ画像を設定する。このとき図6(b)に示すように、パーツ画像の透過情報を設定すると、パーツメッシュのテクスチャは、たとえばメガネのフレーム部分だけ見えるような設定になる。   The image pasting unit 32 receives the mesh and part data of each part from the part setting unit 30, and sets the selected part image as the texture of the part mesh. At this time, as shown in FIG. 6 (b), when the transparency information of the part image is set, the texture of the part mesh is set so that, for example, only the frame portion of the glasses can be seen.

画像貼付部32は、上述した設定に応じて供給される各種のデータをテンプレートモデルと同じように配置し、レンダーする。このレンダリングで得られた画像データ60をモニタ表示部34に供給すると、コンテンツプロバイダは生成したモデルを確認することができる。画像貼付部32は、全メッシュのテンプレートモデル、顔テクスチャおよび複数のパーツテクスチャを一体化した新規の基準モデルデータ62を生成する。   The image pasting unit 32 arranges and renders various data supplied according to the above-described settings in the same manner as the template model. When the image data 60 obtained by this rendering is supplied to the monitor display unit 34, the content provider can check the generated model. The image pasting unit 32 generates new reference model data 62 in which a template model of all meshes, a face texture, and a plurality of part textures are integrated.

モデル生成システム10は、顔画像を漫画表現のモデル生成に限定されるものでなく、コンテンツプロバイダは個人ユーザが自分の顔写真でモデルを作成することもできる。この場合、あえて漫画画像を入れないことから、顔メッシュはいわゆる「のっぺら坊」の状態である。したがって、モデル生成装置14では特徴点抽出や顔変形は行なわない。   The model generation system 10 is not limited to the generation of a cartoon image model of a face image, and a content provider can also create a model by an individual user with his / her face photograph. In this case, since the comic image is not included, the face mesh is in a so-called “Nopperabo” state. Therefore, the model generation device 14 does not perform feature point extraction or face deformation.

個人ユーザによる個人モデルの作成手順を説明する。顔メッシュには、漫画画像のテクスチャまたはのっぺら坊のような透過テクスチャを設定する。また、パーツメッシュはパーツ毎に複数のパーツテクスチャを有する。   A procedure for creating an individual model by an individual user will be described. For the face mesh, a cartoon image texture or a transparent texture like Nopperabo is set. The part mesh has a plurality of part textures for each part.

入力モデルデータに透過テクスチャを設定する場合、リアル顔画像を用いる。この設定の場合、透過情報は一般的に存在しない。これに対して、漫画画像を用いる場合、顔画像は使用しない。また、パーツ画像も使用しない。   When setting a transparent texture to the input model data, a real face image is used. In this setting, there is generally no transparency information. On the other hand, when a comic image is used, a face image is not used. Also, parts images are not used.

上述した条件のうち、リアル画像として顔画像が入力されると、特徴点抽出部24は特徴点を抽出し、抽出した特徴点から顔の領域を推測する。この顔の領域の推測から、顔領域を決定する。特徴点表示部26で、抽出された特徴点と顔領域に対して修正する。   Of the above-described conditions, when a face image is input as a real image, the feature point extraction unit 24 extracts a feature point and estimates a face region from the extracted feature point. From the estimation of the face area, the face area is determined. The feature point display unit 26 corrects the extracted feature points and face area.

この場合、顔変形部28で特徴点データ38を基に顔メッシュを変形させる。変形した顔モデルデータ42を画像貼付部32に出力する。画像貼付部32では顔領域の判定部分を不透過にして、顔画像テクスチャとする。画像貼付部32は、この判定部分以外の領域を透過テクスチャとする。   In this case, the face deformation unit 28 deforms the face mesh based on the feature point data 38. The deformed face model data 42 is output to the image pasting unit 32. In the image pasting unit 32, the determination part of the face area is made opaque and used as a face image texture. The image pasting unit 32 sets a region other than the determination portion as a transparent texture.

顔画像が入力されないと、顔メッシュには漫画テクスチャが供給されている。特徴点抽出部24、特徴点表示部26、顔変形部28は何等処理せず、顔メッシュに関しては画像貼付部32も処理しない。   If no face image is input, a cartoon texture is supplied to the face mesh. The feature point extraction unit 24, the feature point display unit 26, and the face deformation unit 28 do not perform any processing, and the image pasting unit 32 does not process the face mesh.

パーツ設定部30では、モデルデータに含まれる各パーツデータからパーツテクスチャを生成し、各パーツを画像として表示する。個人ユーザは表示されるパーツの中からパーツ毎に1つ好みのものを選択する。選択したパーツテクスチャ58は画像貼付部32に供給される。画像貼付部32では該当パーツ領域に供給されるパーツテクスチャ58を貼り付ける画像貼付部32は、モデル表示部34に貼り付けたパーツテクスチャ58および顔メッシュをレンダーした画像データ60を供給する。モデル表示部34はこの画像データ60を表示する。   The part setting unit 30 generates a part texture from each part data included in the model data, and displays each part as an image. The individual user selects one favorite part for each part from the displayed parts. The selected part texture 58 is supplied to the image pasting unit 32. In the image pasting unit 32, the image pasting unit 32 for pasting the part texture 58 supplied to the corresponding part region supplies the part texture 58 pasted on the model display unit 34 and the image data 60 obtained by rendering the face mesh. The model display unit 34 displays the image data 60.

個人ユーザがこのモデルで良いと判断すると、全メッシュの顔画像モデル、顔テクスチャおよび選択したパーツテクスチャを一体化した個人モデルを個人基本モデルとして生成する。   If the individual user determines that this model is acceptable, a personal model in which all mesh face image models, face textures, and selected part textures are integrated is generated as a personal basic model.

このように動作させて、一度テンプレートモデルを作成すると、作成したテンプレートモデルから様々な顔やパーツを持つ基準モデルデータを容易に作成することができ、さらに作成した基準モデルデータから様々な個人基本モデルデータを作成できる。   Once the template model is created by operating in this way, reference model data with various faces and parts can be easily created from the created template model, and various personal basic models can be created from the created reference model data. Can create data.

また、基準モデルデータを作成する過程では、コンテンツプロバイダは似顔絵やパーツ等の画像デザインを行なうだけで良いことから、モデル生成における複雑な知識を必要としない。さらに、個人基本モデルデータを作成する過程ではカメラ撮影やパーツ選択といった端末操作だけで済むことから、一般ユーザでも十分容易に扱うことができる。   Further, in the process of creating the reference model data, the content provider need only design images such as caricatures and parts, so that complicated knowledge in model generation is not required. Furthermore, since the process of creating personal basic model data requires only terminal operations such as camera shooting and parts selection, it can be handled easily by ordinary users.

このようにモデル生成システム10は多種多様な基本モデルデータを市場に提供し、展開できるので、提供されるモデルデータを用いた通信コミュニケーション等におけるツールの拡販に貢献することが可能となる。   As described above, the model generation system 10 can provide and develop a wide variety of basic model data to the market, thereby contributing to sales expansion of tools in communication communication using the provided model data.

また、パーツ設定部30は、図2に示す構成に限定されるものでなく、図7に示すようにすでに入力された情報を基にパーツ設定してもよい。この場合、パーツ設定部30は、図2に示したパーツ表示部48およびパーツ決定部50を用い、タイトル読出し部68および検索部70を設ける。   Also, the parts setting unit 30 is not limited to the configuration shown in FIG. 2, and may set parts based on information already input as shown in FIG. In this case, the parts setting unit 30 uses the parts display unit 48 and the parts determination unit 50 shown in FIG.

タイトル読出し部68は、入力モデル記憶部18内に存在する各パーツテクスチャのタイトルを読み出す機能を有する。タイトル読出し部68には、入力キー72に応じて読出し制御信号44を生成し、入力モデル記憶部18に出力する。入力モデル記憶部18は、読出し制御信号44に応じて読み出したパーツテクスチャのタイトル44をタイトル読出し部68に供給する。タイトル読出し部68は、供給されたタイトル44をタイトル74として検索部70に出力する。   The title reading unit 68 has a function of reading the title of each part texture existing in the input model storage unit 18. The title read unit 68 generates a read control signal 44 according to the input key 72 and outputs it to the input model storage unit 18. The input model storage unit 18 supplies the title 44 of the part texture read in response to the read control signal 44 to the title read unit 68. The title reading unit 68 outputs the supplied title 44 as the title 74 to the search unit 70.

検索部70は、供給されるタイトル74とユーザからの入力キー72とを照合し、一致するタイトルを検出する機能を有する。検索部70は、この検出機能により一致したタイトル76をパーツ表示部48に出力する。   The search unit 70 has a function of collating the supplied title 74 with the input key 72 from the user and detecting a matching title. The search unit 70 outputs the title 76 matched by the detection function to the parts display unit 48.

パーツ表示部48は、供給されるタイトル44におけるパーツテクスチャの内、検索したタイトル76に対応するパーツテクスチャを表示する。表示されるパーツテクスチャは複数であってもよい。パーツ表示部48は表示したパーツテクスチャ54をパーツ決定部50に出力する。パーツ決定部50は、表示された複数のパーツテクスチャからいくつかを選択する。パーツ決定部50は、選択したパーツテクスチャのデータ58を画像貼付部32に出力する。   The part display unit 48 displays a part texture corresponding to the searched title 76 among the part textures in the supplied title 44. A plurality of part textures may be displayed. The parts display unit 48 outputs the displayed part texture 54 to the parts determination unit 50. The part determination unit 50 selects some of the displayed part textures. The part determining unit 50 outputs the selected part texture data 58 to the image pasting unit 32.

モデル生成システム10の動作は基本的に前述した通りである。とくに、この構成を用いて、コンテンツプロバイダが操作する場合、パーツ表示部48は供給されるパーツ画像44の内、一致したパーツ画像を表示する。次にパーツ決定部50は、表示されたパーツ画像の中から顔メッシュに合うパーツを選択して、決定する。   The operation of the model generation system 10 is basically as described above. In particular, when the content provider operates using this configuration, the part display unit 48 displays a matched part image among the supplied part images 44. Next, the part determination unit 50 selects and determines a part that matches the face mesh from the displayed part images.

また、個人モデルデータを作成する場合、パーツ設定部30において、タイトル読出し部68は入力モデル記憶部18から読み出したパーツテクスチャのタイトル44を検索部70に渡す。次に検索部70は、個人ユーザから供給される入力キー72とタイトル74とを照合し、マッチしたタイトル76をパーツ表示部48に出力する。   Further, when creating personal model data, in the part setting unit 30, the title reading unit 68 passes the part texture title 44 read from the input model storage unit 18 to the search unit 70. Next, the search unit 70 collates the input key 72 supplied from the individual user with the title 74 and outputs the matched title 76 to the parts display unit 48.

パーツ表示部48は、検索部70からタイトル76を受け取り、このタイトルを持つパーツテクスチャ44だけを表示する。さらに、パーツ決定部50は、パーツ表示部48に表示されたパーツテクスチャの中から個人ユーザが好むものを入力データ72に応じて選択し、決定する。   The parts display unit 48 receives the title 76 from the search unit 70 and displays only the part texture 44 having this title. Further, the parts determination unit 50 selects and determines a part user's preference from among the part textures displayed on the part display unit 48 according to the input data 72.

このように動作させると、パーツテクスチャの数が膨大になった場合において、個人ユーザは、入力キーで所望のパーツを検索できることから、好みのモデルの作成を容易に処理することができる。また、たとえば携帯電話機のように表示領域が限られている端末装置等における利用において有利である。   When operated in this way, when the number of part textures becomes enormous, an individual user can search for a desired part with the input key, and thus can easily create a favorite model. Further, it is advantageous for use in a terminal device having a limited display area such as a mobile phone.

さらに、モデル表示部34は、図2に示す構成に限定されるものでなく、図8に示すように顔画像に対して柔軟に対応するようにしてもよい。この場合、図8のモデル表示部34は、前述した構成における単に表示機能を有するだけでなく、顔解析部78およびモデルレンダー部80を含む。顔解析部78は、外部の画像入力装置、たとえばディジタルカメラ82から入力される顔画像データ84を解析し特徴点を表情情報86として検出する機能を有する。また、モデルレンダー部80は、供給される入力モデルデータ64を表情情報86に基づいてレンダーする機能を有する。   Further, the model display unit 34 is not limited to the configuration shown in FIG. 2, and may flexibly correspond to the face image as shown in FIG. In this case, the model display unit 34 in FIG. 8 not only has a display function in the above-described configuration, but also includes a face analysis unit 78 and a model render unit 80. The face analysis unit 78 has a function of analyzing face image data 84 input from an external image input device, for example, a digital camera 82 and detecting feature points as facial expression information 86. The model renderer 80 has a function of rendering the supplied input model data 64 based on the facial expression information 86.

モデル表示部34は、前段の処理で画像貼り付けが行なわれた基本モデルの画像データ60を受け取ると、カメラ82を起動させる。このとき被写体の顔画像をモデル表示部34の顔解析部78に連続的に取り込む。   When the model display unit 34 receives the image data 60 of the basic model on which image pasting has been performed in the previous processing, the model display unit 34 activates the camera 82. At this time, the face image of the subject is continuously taken into the face analysis unit 78 of the model display unit 34.

顔解析部78は、連続的に送られてくる顔画像を受け取り、この顔画像データが示す特徴的な部分または部位をたとえば特徴点として検出する。この特徴点の検出により時系列的に連続して供給される顔画像における特徴点の変化から、顔の動き、すなわち表情情報が作成される。モデルレンダー部80は顔解析部78から順次、供給される表情情報86を利用して、モデルを変形させながら表示する。この処理をフェイスシンクという。ここで表示されるモデルの一例を図9に示す。ここで、表情情報の作成およびフェイスシンクそれぞれの詳細は特許文献1に開示されている。本実施例は、この開示技術を利用する。   The face analysis unit 78 receives continuously sent face images and detects a characteristic portion or part indicated by the face image data as, for example, a feature point. The movement of the face, that is, facial expression information, is created from the change of the feature point in the face image continuously supplied in time series by the detection of the feature point. The model renderer 80 uses the facial expression information 86 sequentially supplied from the face analyzer 78 to display the model while deforming it. This process is called face sync. An example of the model displayed here is shown in FIG. Here, the creation of facial expression information and details of each of the face syncs are disclosed in Patent Document 1. The present embodiment uses this disclosed technique.

このようにモデル表示部34を構成し、動作させると、顔画像のテクスチャやパーツ画像のテクスチャを選択し、設定後にモデルの状態を確認する段階において、フェイスシンクさせると、作成したモデルが実際にどのような動きをするかを参照することができる。これにより個人ユーザの意図通りのモデルが作成されたのか否かを実際に適用する前に検証することができる点で有利である。   When the model display unit 34 is configured and operated in this manner, the texture of the face image and the texture of the part image are selected, and when the model state is confirmed after setting, the created model is actually You can see how it moves. This is advantageous in that it can be verified before actually applying whether or not a model as intended by the individual user has been created.

次に本発明に係るモデル生成システムを適用したモデル提供システム90について説明する。モデル提供システム90は、少なくとも、モデル生成システム10の構成要素を通信により有機的につなげられた分散システムである。モデル提供システム90は、図10に示すように、構成要素として、サーバ装置92および94、ならびにユーザ端末装置96を含む。   Next, a model providing system 90 to which the model generation system according to the present invention is applied will be described. The model providing system 90 is a distributed system in which at least the components of the model generation system 10 are organically connected by communication. As shown in FIG. 10, the model providing system 90 includes server devices 92 and 94 and a user terminal device 96 as components.

サーバ装置92は、入力モデルデータ、すなわちテンプレートモデルをデータベース化し、保持して、アクセスに応じてテンプレートモデルを出力する機能を有する。サーバ装置92には、図1のデータストレージ部12が備えられる。本実施例のサーバ装置92は、モデル作成の専門的な知識を有する生成者がすでに作成したテンプレートモデルを格納する場合である。テンプレートモデルは、人間用のテンプレートモデルだけでなく、たとえば犬用および猫用等、各種のデンプレートモデルが保管されている。したがって、サーバ装置92が有するストレージは、図1の入力モデル記憶部18に対応するものである。サーバ装置92は、ネットワーク98に接続される。   The server device 92 has a function of creating and storing input model data, that is, a template model, and outputting the template model in response to access. The server device 92 includes the data storage unit 12 shown in FIG. The server device 92 of this embodiment is a case where a template model already created by a creator who has specialized knowledge of model creation is stored. The template model stores not only human template models but also various denplate models such as dogs and cats. Therefore, the storage included in the server device 92 corresponds to the input model storage unit 18 of FIG. Server device 92 is connected to network 98.

また、サーバ装置94は、テンプレートモデルから基準モデル62を作成する機能を有し、ネットワーク98に接続される。ネットワーク98は、IP(Internet Protocol)ネットワークでもよい。この機能を実現するためサーバ装置94はモデル生成装置14を含む。サーバ装置94は、サーバ装置92からテンプレートモデルを読み出し、ネットワーク98を介してダウンロードする。サーバ装置94は、コンテンツを配信する業者、たとえばコンテンツプロバイダが管理する。この管理はコンテシツプロバイダへの利用料金の支払い、すなわち課金処理も含む。サーバ装置94は、図示しないが図1の出力モデル記憶部22を備える。   The server device 94 has a function of creating the reference model 62 from the template model, and is connected to the network 98. The network 98 may be an IP (Internet Protocol) network. In order to realize this function, the server device 94 includes a model generation device 14. The server device 94 reads the template model from the server device 92 and downloads it via the network 98. The server device 94 is managed by a distributor who distributes content, for example, a content provider. This management includes payment of a usage fee to the content provider, that is, a billing process. The server device 94 includes the output model storage unit 22 of FIG.

ユーザ端末装置96は、個人ユーザが所有する装置である。ユーザ端末装置96もネットワーク98に接続される。ユーザ端末装置96は、入力操作部に相当し、作成した新規の基準モデルデータ62の良否を判定する。   The user terminal device 96 is a device owned by an individual user. User terminal device 96 is also connected to network 98. The user terminal device 96 corresponds to the input operation unit, and determines whether the created new reference model data 62 is acceptable.

モデル提供システム90の動作について簡単に説明する。ユーザ端末装置96は、所望する基準モデルデータ、とくに、パーツテクスチャ、顔画像など個人モデルを作成する上で要求される仕様情報を作成する。ユーザ端末装置96は、たとえばパーソナルコンピュータや携帯電話機からサーバ装置94にアクセスし、作成した仕様情報を注文情報としてサーバ装置94に送信する。   The operation of the model providing system 90 will be briefly described. The user terminal device 96 creates specification information required for creating a desired reference model data, particularly a personal model such as a part texture and a face image. The user terminal device 96 accesses the server device 94 from a personal computer or a mobile phone, for example, and transmits the created specification information to the server device 94 as order information.

サーバ装置94は、ユーザ登録の有無に基づくユーザ管理および各ユーザに対する課金管理を経て仕様情報に対応する入力モデルデータをサーバ装置92から読み出す。サーバ装置94は、入力モデルデータをモデル生成装置14に供給し、前述した方法を適用して基準モデルデータや個人基準モデルデータを作成する。このとき顔画像毎に様々な基準モデルデータ62が作成されることは言うまでもない。人間用モデルデータとしては、若い女、年老いた男、子供、赤ちゃんなどバリエーションは限りなく存在する。また、サーバ装置94は、作成した基準モデルデータを一般ユーザ、すなわちこの基準モデルデータをコミュニケーションツールとして利用するユーザに紹介するウェブサイトでもある。ウェブサイトでは、上述したように個人ユーザの注文を受け付ける。このようにサーバ装置94は、ユーザ管理、個人ユーザ管理およびその課金管理によりウェブサイトを運営する。コンテンツプロバイダは、モデルデータのダウンロード時に料金を精算してもよいし、会員登録制でユーザから毎月定額料金を徴収するようにしてもよい。   The server device 94 reads input model data corresponding to the specification information from the server device 92 through user management based on the presence / absence of user registration and billing management for each user. The server device 94 supplies the input model data to the model generation device 14, and creates reference model data and personal reference model data by applying the method described above. Needless to say, various reference model data 62 is created for each facial image. As human model data, there are endless variations such as young women, elderly men, children, and babies. The server device 94 is also a website that introduces the created reference model data to general users, that is, users who use the reference model data as a communication tool. The website accepts orders from individual users as described above. As described above, the server device 94 operates the website by user management, individual user management, and billing management. The content provider may settle the fee at the time of downloading the model data, or may collect a flat fee from the user every month by a membership registration system.

ユーザ端末装置96は、ネットワーク98を介してサーバ装置94で作成した自身の注文情報に基づく個人基準モデルをダウンロードする。ユーザは、ユーザ端末装置96のコミュニケーションツールとして個人基準モデルを利用する。   The user terminal device 96 downloads a personal reference model based on its own order information created by the server device 94 via the network 98. The user uses the personal reference model as a communication tool of the user terminal device 96.

モデル提供システム90によれば、コンテンツプロバイダは漫画画像やパーツ画像のような2次元の画像をデザインするだけでバリエーション豊富な基準モデルを容易に作成し、ユーザに提供できる。このことから、システム90におけるサイトがユーザに飽きられることがないように運営することが可能になる。   According to the model providing system 90, the content provider can easily create a variety of reference models simply by designing a two-dimensional image such as a cartoon image or a part image and provide it to the user. From this, it becomes possible to operate the site in the system 90 so that the user is not bored.

また、ユーザも豊富な基準モデルから所望のモデルデータを選択でき、さらに顔画像を写真画像にしたり、パーツを自由に選択したりできる点等のように個人用のユニークなモデルデータを取得することができる。   In addition, users can select desired model data from abundant reference models, and acquire unique model data for personal use, such as the ability to make face images into photographic images or select parts freely. Can do.

このようにして、システム90が実施されるとこれまで問題となっていたコンテンツ不足を解消できる。このため、コミュニケーションツールの拡販にも貢献することが可能となる。また、本実施例では、モデルデータをサーバ装置94で生成することから、ユーザ端末装置に負担を掛けることなく、携帯電話ユーザにも利用しやすいという利点がある。   In this way, when the system 90 is implemented, the content shortage that has been a problem can be solved. For this reason, it is possible to contribute to sales expansion of communication tools. Further, in this embodiment, since the model data is generated by the server device 94, there is an advantage that it is easy to use for a mobile phone user without imposing a burden on the user terminal device.

なお、ユーザ端末装置96は、図11に示すように、モデル生成装置14を含んでもよい。ユーザ端末装置96は、コンテンツプロバイダが管理するサーバ装置94からモデル生成装置が利用するアプリケーションソフトウェアをダウンロードする。次にユーザ端末装置96はサーバ装置94からコンテンツプロバイダが作成した基準モデルの内、所望する基準モデルデータをダウンロードする。ユーザ端末装置96は、内蔵するモデル生成装置14で、基準モデルデータから個人基準モデルデータを作成する。これにより、ユーザ端末装置14は生成した個人基準モデルをコミュニケーションツール等で利用する。   Note that the user terminal device 96 may include a model generation device 14 as shown in FIG. The user terminal device 96 downloads application software used by the model generation device from the server device 94 managed by the content provider. Next, the user terminal device 96 downloads desired reference model data from the reference model created by the content provider from the server device 94. The user terminal device 96 is a built-in model generation device 14, and creates personal reference model data from reference model data. Accordingly, the user terminal device 14 uses the generated personal reference model with a communication tool or the like.

このようにモデル提供システム90において、個人基準モデルデータの生成を各ユーザ端末装置96で処理することにより、サーバ装置94では多くのユーザを相手に細かい注文のやり取りが不要になり、ネットワーク負荷を抑制する効果を奏する。このため、コンテンツプロバイダは低コストでより多くの顧客に向けたサイト運営が可能になる。   In this way, in the model providing system 90, the generation of personal reference model data is processed by each user terminal device 96, whereby the server device 94 eliminates the need for detailed order exchanges with many users and suppresses the network load. The effect to do. This allows content providers to operate sites for more customers at lower cost.

本発明に係るモデル生成装置を適用したモデル生成システムの概略的な構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of a model generation system to which a model generation apparatus according to the present invention is applied. 図1に示したパーツ設定部の概略的な構成を示すブロック図である。It is a block diagram which shows the schematic structure of the parts setting part shown in FIG. 図1の入力モデル記憶部に格納する入力モデルデータ(テンプレートモデル)の一例である。It is an example of the input model data (template model) stored in the input model memory | storage part of FIG. 図1のモデル生成システムが扱うテンプレートモデルにおける各メッシュを説明する図である。It is a figure explaining each mesh in the template model which the model generation system of FIG. 1 handles. 図1のモデル生成システムが扱う顔画蔵とその透過情報を説明する図である。It is a figure explaining the face picture collection which the model generation system of FIG. 1 handles, and its transparency information. 図1のモデル生成システムが扱うパーツ画蔵とその透過情報を説明する図である。It is a figure explaining the parts picture collection which the model generation system of FIG. 1 handles, and its transparency information. 図2のパーツ設定部と異なる概略的な構成を示すブロック図である。It is a block diagram which shows the schematic structure different from the parts setting part of FIG. 図1のモデル表示部34において追加した構成要素の配置を示すブロック図である。It is a block diagram which shows arrangement | positioning of the component added in the model display part 34 of FIG. 図1のモデル生成システムで得られるフェイスシンクの表示例を示す図である。It is a figure which shows the example of a display of the face sync obtained with the model generation system of FIG. 本発明に係るモデル生成システムを適用したモデル提供システムの概略的な構成を示すブロック図である。It is a block diagram which shows the schematic structure of the model provision system to which the model generation system which concerns on this invention is applied. 図10のユーザ端末装置内に追加される構成要素を示すブロック図である。FIG. 11 is a block diagram showing components added in the user terminal device of FIG.

符号の説明Explanation of symbols

10 モデル生成システム
12 データストレージ部
14 モデル生成装置
16 顔画蔵記憶部
18 入力モデル記憶部
20 パーツデータ記憶部
22 出力モデル記憶部
24 特徴点抽出部
26 特徴点表示部
28 顔変形部
30 パーツ設定部
32 画像貼付部
34 モデル表示部
10 Model generation system
12 Data storage section
14 Model generator
16 Face picture storage
18 Input model storage
20 Parts data storage
22 Output model storage
24 Feature point extraction unit
26 Feature point display
28 Face transformation
30 Parts setting section
32 Image pasting part
34 Model display

Claims (7)

あらかじめ個々の顔の特徴付けに用いる顔画像、該顔画像に対して修飾するパーツデータおよびあらかじめ設定した顔の部位を表わす第1の特徴点が含まれる基本のモデルデータを入力し、入力される3つのデータが反映された新規の基本モデルデータを生成するモデル生成装置において、該装置は、
前記顔画像における特徴点を第2の特徴点として抽出する特徴点抽出手段と、
第1の特徴点と第2の特徴点とを対応させ、第1の特徴点を第2の特徴点に移動させる変形手段と、
前記パーツデータから所望するパーツを選択するパーツ選択手段と、
移動した第1の特徴点と選択したパーツデータとを基として画像を貼り付ける貼付け手段とを含むことを特徴とするモデル生成装置。
Basic model data including a face image used for characterizing each face in advance, part data for modifying the face image, and a first feature point representing a preset face part are input and input. In a model generation device that generates new basic model data reflecting three data, the device includes:
Feature point extracting means for extracting a feature point in the face image as a second feature point;
Deformation means for causing the first feature point to correspond to the second feature point and moving the first feature point to the second feature point;
Parts selection means for selecting a desired part from the parts data;
A model generating apparatus comprising: pasting means for pasting an image based on the moved first feature point and the selected part data.
請求項1に記載の装置において、該装置は、第2の特徴点を表示する第1の表示手段と、
貼り付けて得られたモデル画像を表示する第2の表示手段とを含むことを特徴とするモデル生成装置。
The apparatus according to claim 1, wherein the apparatus includes first display means for displaying a second feature point;
And a second display means for displaying a model image obtained by pasting.
請求項1または2に記載の装置において、前記パーツ選択手段は、前記パーツデータを画像として表示する第3の表示手段と、
表示されたパーツ画像から所望のパーツを選択する決定手段と、
選んだパーツに対応するパーツデータに対して付加情報を付ける情報入力手段とを含むことを特徴とするモデル生成装置。
3. The apparatus according to claim 1, wherein the part selection unit includes a third display unit that displays the part data as an image;
A determining means for selecting a desired part from the displayed part image;
An information input unit for adding additional information to part data corresponding to a selected part.
請求項1または2に記載の装置において、前記パーツ選択手段は、すでに作成されたパーツデータに対して付けられた付加情報を基に該付加情報とパーツデータとを読み出す読出し制御手段と、
該読出し制御手段の制御により読み出した付加情報と入力されたキー情報とを照合し、該キー情報に一致する付加情報を検出する検索手段と、
検出した付加情報に該当するパーツデータを画像として表示する第3の表示手段と、
表示されたパーツデータの画像から所望のパーツを選択する決定手段とを含むことを特徴とするモデル生成装置。
The apparatus according to claim 1 or 2, wherein the part selection means reads out the additional information and the part data based on the additional information attached to the already created part data,
Search means for collating the additional information read out under the control of the reading control means with the input key information and detecting additional information matching the key information;
Third display means for displaying the part data corresponding to the detected additional information as an image;
A model generation apparatus comprising: a determination unit that selects a desired part from an image of displayed part data.
請求項2、3または4に記載の装置において、第2の表示手段は、顔画像をディジタル入力する画像入力手段から時系列的に連続して供給される顔画像を基に得られる顔の動きを表情情報として検出する表情解析手段と、
該表情情報を用いて、前記特徴点を変化させた画像の貼り付けによりモデル画像として描画する描画手段とを含むモデル生成装置。
5. The apparatus according to claim 2, 3 or 4, wherein the second display means is a facial motion obtained based on a face image continuously supplied in time series from an image input means for digitally inputting a face image. Facial expression analysis means for detecting facial expression information,
A model generation apparatus including a drawing unit that draws a model image by pasting an image in which the feature points are changed using the facial expression information.
請求項1ないし4のいずれか一項に記載のモデル生成装置が配されるモデル生成システムにおいて、該システムは、
前記モデルデータを格納する第1のサーバ装置と、
前記モデル生成装置が配された第2のサーバ装置と、
前記新規の基本モデルデータの作成に関わる注文情報を出力し、作成した基本モデルデータを取得する端末装置とを含み、
第1、第2のサーバ装置および前記端末装置は、通信ネットワークに接続され、
前記新規の基本モデルデータを個人用として取得することを特徴とするモデル生成システム。
The model generation system in which the model generation device according to any one of claims 1 to 4 is arranged, the system includes:
A first server device for storing the model data;
A second server device in which the model generation device is arranged;
Output order information related to the creation of the new basic model data, including a terminal device for acquiring the created basic model data,
The first and second server devices and the terminal device are connected to a communication network,
A model generation system characterized in that the new basic model data is acquired for personal use.
請求項6に記載のシステムにおいて、前記端末装置は、前記モデル生成装置を含むことを特徴とするモデル生成システム。   The model generation system according to claim 6, wherein the terminal device includes the model generation device.
JP2005207292A 2005-07-15 2005-07-15 Model creation apparatus Pending JP2007026088A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005207292A JP2007026088A (en) 2005-07-15 2005-07-15 Model creation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005207292A JP2007026088A (en) 2005-07-15 2005-07-15 Model creation apparatus

Publications (1)

Publication Number Publication Date
JP2007026088A true JP2007026088A (en) 2007-02-01

Family

ID=37786753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005207292A Pending JP2007026088A (en) 2005-07-15 2005-07-15 Model creation apparatus

Country Status (1)

Country Link
JP (1) JP2007026088A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071871A (en) * 2012-10-02 2014-04-21 Nippon Telegr & Teleph Corp <Ntt> Video communication system and video communication method
JP2014522528A (en) * 2012-04-06 2014-09-04 騰訊科技(深▲セン▼)有限公司 Method and apparatus for automatically reproducing facial expressions with virtual images
CN114694221A (en) * 2016-10-31 2022-07-01 谷歌有限责任公司 Face reconstruction method based on learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06118349A (en) * 1992-10-02 1994-04-28 Seiko Epson Corp Eyewear wearing simulation device
JP2001109907A (en) * 1999-10-04 2001-04-20 Sharp Corp Three-dimensional model generation device, three- dimensional model generation method, and recording medium recording three-dimensional model generation program
JP2003016475A (en) * 2001-07-04 2003-01-17 Oki Electric Ind Co Ltd Information terminal device with image communication function and image distribution system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06118349A (en) * 1992-10-02 1994-04-28 Seiko Epson Corp Eyewear wearing simulation device
JP2001109907A (en) * 1999-10-04 2001-04-20 Sharp Corp Three-dimensional model generation device, three- dimensional model generation method, and recording medium recording three-dimensional model generation program
JP2003016475A (en) * 2001-07-04 2003-01-17 Oki Electric Ind Co Ltd Information terminal device with image communication function and image distribution system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014522528A (en) * 2012-04-06 2014-09-04 騰訊科技(深▲セン▼)有限公司 Method and apparatus for automatically reproducing facial expressions with virtual images
JP2014071871A (en) * 2012-10-02 2014-04-21 Nippon Telegr & Teleph Corp <Ntt> Video communication system and video communication method
CN114694221A (en) * 2016-10-31 2022-07-01 谷歌有限责任公司 Face reconstruction method based on learning

Similar Documents

Publication Publication Date Title
US10347028B2 (en) Method for sharing emotions through the creation of three-dimensional avatars and their interaction
JP6022732B2 (en) Content creation tool
US10186084B2 (en) Image processing to enhance variety of displayable augmented reality objects
CN111541950B (en) Expression generating method and device, electronic equipment and storage medium
US20150277686A1 (en) Systems and Methods for the Real-Time Modification of Videos and Images Within a Social Network Format
JP2011209887A (en) Method and program for creating avatar, and network service system
TW202009682A (en) Interactive method and device based on augmented reality
US20210166461A1 (en) Avatar animation
CN119251338A (en) System and method for providing personalized video for multiple persons
CN101981578A (en) Method and apparatus for collaborative design of an avatar or other graphical structure
CN113705156A (en) Character processing method and device
KR20200085029A (en) Avatar virtual pitting system
CN116823390A (en) Virtual experience system, method, computer equipment and storage medium
JP2009223419A (en) Creation editing method for avatar in network chat service, chat service system and creation editing method for image data
JP2020013368A (en) Makeup support system, makeup support program and makeup support method
CN119169412A (en) Method for constructing training data set for training action recognition model
JP2011192008A (en) Image processing system and image processing method
JP2004302939A (en) Image output device, image output method, image output processing program, image distribution server, and image distribution processing program
JP2007026088A (en) Model creation apparatus
CN111640190A (en) AR effect presentation method and apparatus, electronic device and storage medium
KR101910931B1 (en) Method for providing 3d ar contents service on food using 64bit-identifier
KR20100111930A (en) Ucc service system based on pattern-animation
WO2002097732A1 (en) Method for producing avatar using image data and agent system with the avatar
KR20190062005A (en) Method for making emoticon during chatting
KR20000049906A (en) Making method of avatar to come under substantial user in cyber space and system for the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100420

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100810