[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4266233B2 - テクスチャ処理装置 - Google Patents

テクスチャ処理装置 Download PDF

Info

Publication number
JP4266233B2
JP4266233B2 JP2007085706A JP2007085706A JP4266233B2 JP 4266233 B2 JP4266233 B2 JP 4266233B2 JP 2007085706 A JP2007085706 A JP 2007085706A JP 2007085706 A JP2007085706 A JP 2007085706A JP 4266233 B2 JP4266233 B2 JP 4266233B2
Authority
JP
Japan
Prior art keywords
data
texture
camera
light source
exaggeration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007085706A
Other languages
English (en)
Other versions
JP2008243046A (ja
Inventor
真弘 関根
康晋 山内
功雄 三原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007085706A priority Critical patent/JP4266233B2/ja
Priority to US12/050,568 priority patent/US8094148B2/en
Priority to CNA2008100872809A priority patent/CN101276478A/zh
Publication of JP2008243046A publication Critical patent/JP2008243046A/ja
Application granted granted Critical
Publication of JP4266233B2 publication Critical patent/JP4266233B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、コンピュータグラフィックス(以下、CGと略す)分野における高品位なテクスチャマッピング技術のテクスチャ処理装置に関する。
近年、CG技術が急速に発展しており、実写の映像と見間違える程のリアルなグラフィックス表現が可能となってきている。しかしながら、映画やテレビ向けに制作される高品位なCGは、コンテンツ制作者の長時間にわたる地道な手作業によって生み出されるものが多く、膨大なコストを要してしまう。今後も、さらに多様なCG表現が求められると考えられ、高品位なCGを、いかにコストをかけず簡単に作り出せるかが課題となっている。
CGモデル表面の質感をリアルに表現するための技術として、テクスチャマッピング技術が存在する。これは、実写画像もしくは制作者が描いた画像を、CGデータに割り当てられたテクスチャ座標に基づいてCGモデル表面に貼り付ける技術であり、CG制作において広く用いられている技術である。CGモデル表面の質感表現において特に難しいとされるのが、布地や皮膚、毛などの表現である。これらの柔らかい質感を持つ素材に対しては、その物体を眺める方向(視点方向)および光を照射する方向(光源方向)に依存した物体表面の色変化や物体自身が作り出す影(self shadow)変化の表現が大変重要となる。
そこで近年、実在する素材を撮影し、その素材の特性を再現することによってリアルなCGを作り出す手法が盛んに利用されるようになってきている。
視点方向および光源方向に応じた表面質感の表現に関しては、BRDF(Bi-directional Reference Distribution Function)やBTF(Bi-directional Texture Function)、PTM(Polynomial Texture Maps)と呼ばれるモデル化手法の研究が進められている。これらの手法は、取得データを解析することによって関数モデルを導出するというアプローチを採っている。また、撮影した画像をテクスチャデータとしてそのまま保持し、視点方向や光源方向のパラメータをもとに、適応的にテクスチャを選択してマッピングするアプローチも考えられている(例えば、特許文献1参照)。このような手法は、モデル化が困難な素材、すなわち、複雑な色変化・輝度変化を伴うような素材のリアルな質感表現を可能にした。
一方、このようなCGを提示する媒体の発展も急速に進んでいる。例えば、動画表示が可能な立体視画像表示装置、すなわち立体ディスプレイである。近年、種々の方式が提案されているが、特にフラットパネルタイプで、且つ、専用の眼鏡等を必要としない方式の要望が高くなっている。直視型或いは投影型の液晶表示装置やプラズマ表示装置などのような画素位置が固定されている表示パネル(表示装置)の直前に表示パネルからの光線を制御して観察者に向ける光線制御素子を設置する方式が比較的容易に実現できる方式として知られている。
光線制御素子は、一般的にはパララクスバリア或いは視差バリアとも称せられ、光線制御素子上の同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差(水平視差)のみを与える場合には、スリット或いはレンチキュラーシート(シリンドリカルレンズアレイ)が用いられ、上下視差(垂直視差)も含める場合には、ピンホールアレイ或いはレンズアレイが用いられる。視差バリアを用いる方式にも、さらに2眼式、多眼式、超多眼式(多眼式の超多眼条件)、インテグラルフォトグラフィー(以下、IPとも云う)に分類される。これらの基本的な原理は、100年程度前に発明され立体写真に用いられてきたものと実質上同一である。
IP方式でも多眼方式でも、通常は視距離が有限であるため、その視距離における透視投影画像が実際に見えるように表示画像を作成する。水平視差のみで垂直視差のないIP方式(1次元IP方式)では、視差バリアの水平方向ピッチが前記画素の水平方向ピッチの整数倍である場合は平行光線の組があるため、垂直方向がある一定視距離の透視投影であり水平方向が平行投影である画像を画素列ごとに分割し表示面に表示される画像形式である視差合成画像に合成することにより、正しい投影の立体像が得られる(例えば、特許文献2参照)。多眼方式では、単純な透視投影による画像を分割配置することにより、正しい投影の立体像が得られる。
なお、垂直方向と水平方向で投影方法あるいは投影中心距離を異ならせるような撮像装置は、特に平行投影の場合に被写体と同サイズのカメラあるいはレンズが必要となるため、実現が困難である。したがって、撮像により平行投影データを得るためには、透視投影の撮像データから変換する方法が現実的であり、EPI(エピポーラ面)を用いた補間による方法である光線空間法などが知られている。
以上示した内容が、CGにおける素材の質感を向上させるための背景技術、および立体ディスプレイにおける立体視を実現させるための背景技術である。しかしながら、撮影した素材そのもののテクスチャデータをマッピングしただけでは、ユーザが満足できる質感や立体感を得られない場合がある。なぜなら、CGを提示する媒体の色表現力や立体ディスプレイにおける奥行き表現力などにある程度の制約(仕様)が存在するからである。そのため、CGにテクスチャマッピング処理を行う際にテクスチャデータの誇張表現を行い、CGにおける素材の質感や立体ディスプレイにおける立体感をより向上させるための技術が必要とされている。
特開2006−146326公報 特開2005−086414公報
異なる視点条件もしくは光源条件などで取得した複数枚のテクスチャデータをそのままCGモデルにマッピングした場合、そのCGを提示する媒体によっては、ユーザの満足できる品質を実現できないことがある。なぜなら、CGを提示する媒体の色表現力や立体ディスプレイにおける奥行き表現力などにある程度の制約(仕様)が存在するからである。
単一のテクスチャデータを扱う場合には、そのテクスチャデータを画像処理し、コントラストを向上させたりすることによってCG表面の質感を誇張させることができるが、複数のテクスチャデータを扱う場合には、それらのテクスチャデータの中からマッピングすべきテクスチャデータを選択する方法や、選択されたテクスチャデータを処理する方法において、CG表面の質感を誇張させるための手段が確立されていない。
この発明は、上述した事情を考慮してなされたものであり、異なる条件で取得あるいは作成した複数のテクスチャから適切なテクスチャを選択し、このテクスチャの処理を誇張して素材の質感やCGの立体感を向上させるテクスチャ処理装置を提供することを目的とする。
上述の課題を解決するため、本発明のテクスチャ処理装置は、コンピュータグラフィックス(CG)の表現で必要となるCGモデルデータ、カメラデータ、光源データ、および、異なる条件で取得あるいは作成した1枚以上のテクスチャデータを含むCGデータを取得するCGデータ取得手段と、前記CGデータを利用し、テクスチャマッピング処理において利用するあらかじめ設定された誇張パラメータに応じてCGモデルにテクスチャマッピング処理を行う際の誇張されたテクスチャ処理条件を算出する算出手段と、前記テクスチャ処理条件に応じて、前記取得したテクスチャデータの中から特定のテクスチャデータを抽出する抽出手段と、前記特定のテクスチャデータに対して、前記誇張パラメータに応じて誇張処理を行う処理手段と、を具備し、前記算出手段は、カメラ位置もしくは光源位置がフレーム毎に移動しているCGデータに対して、あるフレームのカメラ位置もしくは光源位置と1フレーム前のカメラ位置もしくは光源位置とのベクトル変化量を誇張することによって、あるフレームのカメラ位置もしくは光源位置を変化させ、擬似的なカメラデータもしくは光源データを作成し、前記誇張パラメータの1種である、単視点でのカメラ変化誇張率もしくは単視点での光源変化誇張率にしたがって、前記擬似的なカメラデータもしくは擬似的な光源データを作成し、前記CGモデルデータ上の1点1点に対して、前記擬似的なカメラデータとの位置関係であるカメラ条件および前記擬似的な光源データとの位置関係である光源条件をテクスチャ処理条件として算出することを特徴とする。
また、本発明のテクスチャ処理装置は、コンピュータグラフィックス(CG)の表現で必要となるCGモデルデータ、カメラデータ、光源データ、および、異なる条件で取得あるいは作成した1枚以上のテクスチャデータを含むCGデータを取得するCGデータ取得手段と、前記CGデータを利用し、テクスチャマッピング処理において利用するあらかじめ設定された誇張パラメータに応じてCGモデルにテクスチャマッピング処理を行う際の誇張されたテクスチャ処理条件を算出する算出手段と、前記テクスチャ処理条件に応じて、前記取得したテクスチャデータの中から特定のテクスチャデータを抽出する抽出手段と、前記特定のテクスチャデータに対して、前記誇張パラメータに応じて誇張処理を行う処理手段と、を具備し、前記算出手段は、フレーム毎に変化するCGモデルデータに対して、ある頂点のあるフレームにおける位置座標と1フレーム前における位置座標とのベクトル変化量を誇張することによって、擬似的なCGモデルデータを作成し、あるフレームのCGモデルデータに対して、ある頂点の位置座標と隣り合う頂点の位置座標とのベクトル変化量を誇張することによって、擬似的なCGモデルデータを作成し、前記誇張パラメータの1種である単視点でのモデル変化誇張率にしたがって、前記擬似的なCGモデルデータを作成し、前記擬似的なCGモデルデータ上の1点1点に対して、カメラデータとの位置関係であるカメラ条件および光源データとの位置関係である光源条件をテクスチャ処理条件として算出することを特徴とする。
さらに、本発明のテクスチャ処理装置は、コンピュータグラフィックス(CG)の表現で必要となるCGモデルデータ、カメラデータ、光源データ、および、異なる条件で取得あるいは作成した1枚以上のテクスチャデータを含むCGデータを取得するCGデータ取得手段と、前記CGデータを利用し、テクスチャマッピング処理において利用するあらかじめ設定された誇張パラメータに応じてCGモデルにテクスチャマッピング処理を行う際の誇張されたテクスチャ処理条件を算出する算出手段と、前記テクスチャ処理条件に応じて、前記取得したテクスチャデータの中から特定のテクスチャデータを抽出する抽出手段と、前記特定のテクスチャデータに対して、前記誇張パラメータに応じて誇張処理を行う処理手段と、を具備し、前記算出手段は、複数のカメラデータが設定されているCGデータに対して、あるカメラデータのカメラ位置と隣り合うカメラデータのカメラ位置とのベクトル変化量を誇張することによって、あるカメラデータのカメラ位置を変化させ、擬似的なカメラデータを作成し、カメラデータの変化に合わせて、ある光源データの光源位置を変化させ、擬似的な光源データを作成し、前記誇張パラメータの1種である、多視点でのカメラ変化誇張率もしくは多視点での光源変化誇張率にしたがって、前記擬似的なカメラデータもしくは擬似的な光源データを作成し、前記CGモデルデータ上の1点1点に対して、前記擬似的な各カメラデータとの位置関係であるカメラ条件および前記擬似的な光源データとの位置関係である光源条件をテクスチャ処理条件として算出することを特徴とする。
またさらに、本発明のテクスチャ処理装置は、コンピュータグラフィックス(CG)の表現で必要となるCGモデルデータ、カメラデータ、光源データ、および、異なる条件で取得あるいは作成した1枚以上のテクスチャデータを含むCGデータを取得するCGデータ取得手段と、前記CGデータを利用し、テクスチャマッピング処理において利用するあらかじめ設定された誇張パラメータに応じてCGモデルにテクスチャマッピング処理を行う際の誇張されたテクスチャ処理条件を算出する算出手段と、前記テクスチャ処理条件に応じて、前記取得したテクスチャデータの中から特定のテクスチャデータを抽出する抽出手段と、前記特定のテクスチャデータに対して、前記誇張パラメータに応じて誇張処理を行う処理手段と、を具備し、前記算出手段は、複数のカメラデータが設定されているCGデータに対して、ある頂点のあるカメラデータにおける位置座標と隣り合うカメラデータにおける位置座標とのベクトル変化量を誇張することによって、擬似的なCGモデルデータを作成し、前記誇張パラメータの1種である多視点でのモデル変化誇張率にしたがって、前記擬似的なCGモデルデータを作成し、前記擬似的なCGモデルデータ上の1点1点に対して、各カメラデータとの位置関係であるカメラ条件および光源データとの位置関係である光源条件をテクスチャ処理条件として算出することを特徴とする。
本発明のテクスチャ処理装置によれば、異なる条件で取得あるいは作成した複数のテクスチャから適切なテクスチャを選択し、このテクスチャの処理を誇張して素材の質感やCGの立体感を向上させることができる。
以下、図面を参照しながら本発明の実施形態に係るテクスチャ処理装置について詳細に説明する。なお、以下の実施形態中では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
本実施形態のテクスチャ処理装置は、CG表面にマッピングされるテクスチャの変化を誇張することによって、素材の質感やCGの立体感を向上させるための技術である。
本実施形態によれば、異なる条件で取得あるいは作成した複数枚以上のテクスチャデータから、マッピングすべきテクスチャデータを選択する際に、カメラ変化、光源変化あるいはCGモデル形状の変化を誇張させることによって、その選択条件を算出する。また、選択したテクスチャデータの色変化を誇張させることによって、CGモデルにマッピングするためのテクスチャデータを生成する。このようにして、素材の質感やCGの立体感を向上させることができる。
本実施形態のテクスチャマッピング装置は、CGの表現で必要となるCGモデルデータ、カメラデータ、光源データ、および、視点条件や光源条件などのような様々な条件で取得した複数枚以上のテクスチャデータを取得する。そして、あらかじめ設定された、もしくは外部から取得した誇張パラメータに従って、テクスチャデータの処理条件を算出する。次に、算出された処理条件に従ってテクスチャデータを抽出し、抽出したテクスチャデータに対し、あらかじめ設定された、もしくは外部から取得した誇張パラメータに従って、テクスチャデータの誇張処理を行う。このようにして、誇張されたテクスチャデータをCGモデルにマッピングすることによって、素材の質感やCGの立体感を向上させることができる。
第1の実施形態では、提案するテクスチャマッピング装置およびテクスチャ生成装置(これらをまとめてテクスチャ処理装置と呼んでいる)の一連の処理例を示す。本実施形態においては、テクスチャマッピングの実例として、1つのカメラ(単視点)でCGをレンダリングする際の誇張手法について説明する。またここでは、テクスチャマッピング処理を行う際の様々な誇張手法を具体的に示す。
第2の実施形態では、複数のカメラ(多視点)でCGをレンダリングする際の誇張手法について説明する。多視点でのレンダリング処理を行う際には、単視点でのレンダリング処理と異なる誇張手法が考えられる。本実施形態においては、多視点でのレンダリングにおけるテクスチャマッピングの誇張手法とその効果について説明する。
第3の実施形態では、外部からの誇張パラメータ入力が可能なテクスチャマッピング装置について説明する。CGデータの特性やCGを提示する媒体の仕様などに応じて誇張パラメータを変化させたり、ユーザが任意に設定を変化させたりする方法について具体的に示す。
(第1の実施形態)
本実施形態のテクスチャマッピング装置について図1を参照して説明する。図1は、本実施形態のテクスチャマッピング装置の構成を説明する図である。
本実施形態のテクスチャマッピング装置は、CGデータ取得部101、処理条件算出部102、テクスチャデータ抽出部103、テクスチャデータ処理部104、マッピング部105、CG提示部106を含んでいる。この装置は、CGの表現で必要となるCGモデルデータ、カメラデータ、光源データ、および、視点条件や光源条件などのような様々な条件で取得した複数枚のテクスチャデータを入力し、あらかじめ設定された誇張パラメータに従って、本来よりも誇張されたテクスチャマッピング処理を実現するものである。
CGデータ取得部101は、CGの表現で必要となるCGモデルデータ、カメラデータ、光源データ、および、異なる条件で取得あるいは作成した複数枚以上のテクスチャデータ(これらを総称してCGデータと呼ぶ)を取得する。テクスチャデータに関しては、異なる条件で取得あるいは作成した複数枚以上のテクスチャデータを取得する。異なる条件とは、例えば、そのテクスチャを撮影する際の視点の位置条件や光源の位置条件などが挙げられる。ここでは、後に図5を参照して説明される手法と同様、θ,φ,θ,φによって表現された視点条件および光源条件で撮影されたテクスチャデータを取得するものとする。なお、本装置は、視点条件および光源条件だけではなく、時間・速度・加速度・圧力・温度・湿度など自然界での様々な条件に応じて変化する信号に対して適用することもできる。
処理条件算出部102は、CGデータ取得部101が取得したCGデータを利用し、あらかじめ設定された誇張パラメータに応じてテクスチャ生成を行う際の誇張されたテクスチャ処理条件を算出する。すなわち、処理条件算出部102は、撮影された複数枚以上のテクスチャデータからCGモデルにマッピングすべき、もしくはテクスチャ生成すべきテクスチャデータを選択するために、処理条件の算出を行う。従来ではCGモデル表面の一点一点に注目し、それぞれの点における視点条件および光源条件をθ,φ,θ,φといった角度表現で算出するといった処理を行う部分であるが、本装置においては、あらかじめ設定された誇張パラメータに従って、様々な処理条件の算出手法を決定する。誇張パラメータとして設定されている角度条件誇張率、カメラ変化誇張率(単視点)、光源変化誇張率(単視点)、モデル変化誇張率(単視点)などを利用して、角度条件、カメラ変化、光源変化、モデル変化などを誇張し、処理条件を算出することができる。それぞれの誇張手法と効果については後述する。
テクスチャデータ抽出部103は、処理条件算出部102が算出したテクスチャ処理条件に応じて、CGデータ取得部101が取得したテクスチャデータの中から特定のテクスチャデータを抽出する。例えば、算出された視点条件、光源条件に従って取得した複数枚のテクスチャデータの中から適したテクスチャデータを抽出する。条件にマッチするテクスチャデータが存在しない場合、もしくは次のテクスチャデータ処理手段において色データの誇張を行う場合には、近隣条件のテクスチャデータを抽出しておく必要がある。
テクスチャデータ処理部104は、テクスチャデータ抽出部103が抽出したテクスチャデータに対して、あらかじめ設定された誇張パラメータに応じて誇張処理を行う。従来では条件のマッチするテクスチャデータが存在しない場合にのみ、抽出された近隣条件のテクスチャデータを補間する処理を行う部分であるが、本装置においては、あらかじめ設定された誇張パラメータに従って、テクスチャデータを誇張するための処理を行う。誇張パラメータとして設定されている色変化誇張率(単視点)を利用して色変化の誇張を行う。色変化の誇張(単視点)については後に図11を参照して説明する。
マッピング部105は、CGデータ取得部101が取得したCGモデルデータに対して、誇張処理を行ったテクスチャデータをマッピングし、CGを作成する。CG提示部106は、マッピング部105が作成したCGを提示する。
次に、図1のテクスチャマッピング装置の動作の一例について図2を参照して説明する。図2は、図1に示すテクスチャマッピング装置により実現される一連の処理フローを示した図である。
CGデータ取得部101がCGデータを取得する(ステップS201)。処理条件算出部102がステップS201で取得した取得したCGデータを利用し、あらかじめ設定された誇張パラメータに応じてテクスチャ生成を行う際の誇張されたテクスチャ処理条件を算出する(ステップS202)。テクスチャデータ抽出部103がステップS202で算出したテクスチャ処理条件に応じて、ステップS201で取得したテクスチャデータの中から特定のテクスチャデータを抽出する(ステップS203)。テクスチャデータ処理部104がステップS203で抽出したテクスチャデータに対して、あらかじめ設定された誇張パラメータに応じて誇張処理を行う(ステップS204)。マッピング部105がステップS201で取得したCGモデルデータに対して、誇張処理を行ったテクスチャデータをマッピングし、CGを作成する(ステップS205)。CG提示部106がステップS205で作成したCGを提示する(ステップS206)。
次に、本実施形態がテクスチャ生成装置としても実現することについて図3、図4を参照して説明する。
本実施形態のテクスチャ生成装置は、図3に示すように、図1のテクスチャマッピング装置からマッピング部105、CG提示部106を除いた装置である。本実施形態のテクスチャ生成装置の動作の一例は、図4に示すように、図2のステップS205以下を除いた動作を行う。
図1に示したテクスチャマッピング装置および図3に示したテクスチャ生成装置の大きな特徴は、処理条件算出部102およびテクスチャデータ処理部104において、あらかじめ設定された誇張パラメータに従って、テクスチャデータの選択手法や処理手法を決定しているという点である。
次に、従来のテクスチャマッピング処理の例として、異なる視点条件もしくは光源条件などで取得した複数枚以上のテクスチャデータを入力し、CGモデルにおける視点条件や光源条件をもとに、適応的にテクスチャを選択してマッピングする手法について図5を参照して簡単に説明する。
まず、素材に対して、カメラ(視点)やライト(光源)を傾けたり回転させたりすることによって、様々な撮影条件で素材を撮影する。図5に示すような空間の中で、視点および光源の位置θ,φ,θ,φをそれぞれ一定間隔ずつ変化させながら撮影することによって、異なる条件で撮影された複数のテクスチャデータを得ることができる。このように撮影したテクスチャデータは、撮影条件とテクスチャデータとを一対一に対応させることによってデータベース化しておく。
次に、CGモデル表面の一点一点に注目し、それぞれの点における視点条件および光源条件を算出する。視点条件および光源条件は、撮影の時と同様、θ,φ,θ,φといった角度表現で算出する。そして次に、算出された視点条件および光源条件に従って適したテクスチャデータをデータベースの中から抽出する。また、条件のマッチするテクスチャデータが存在しない場合には、近隣条件のテクスチャデータを抽出し補間することによって、マッピングすべきテクスチャデータを作成する。そして最後に、抽出したテクスチャデータから指定されたテクスチャ座標に従ったピクセルデータ(色データ)をCGモデルの注目した一点にマッピングすることによってある程度質感の高いCGを制作することができる。
本実施形態では、提案するテクスチャマッピング装置もしくはテクスチャ生成装置を用いることによって、上記のような従来のテクスチャマッピング手法と比べて、誇張されたテクスチャマッピングもしくはテクスチャ生成が実現できることを示す。なお、本実施形態においてはCGを1つのカメラ(単視点)でレンダリングするケースについて示す。
次に、処理条件算出部102が算出する誇張されたテクスチャ処理条件の例として以下に、(1)角度条件の誇張、(2)カメラ変化の誇張(単視点)、(3)光源変化の誇張(単視点)、(4)モデル変化の誇張(単視点)について説明する。
(1)角度条件の誇張
角度条件の誇張においては、従来の手法で算出した視点条件および光源条件(θ,φ,θ,φ)を角度条件誇張率によって誇張する処理を行う。例えば、角度条件誇張率が1.5であった場合、もとの視点条件および光源条件が(θ,φ,θ,φ)=(20,10,30,15)であったとすると、誇張した結果としては、(θ,φ,θ,φ)=(30,15,45,22.5)となり、角度条件が誇張された形となる。このような処理によってモデル形状の変化が急峻でないものに対してもその変化を誇張して見せることができる。ただし、角度条件には値域が存在するため、誇張した結果、値域を外れる値になってしまう場合には丸め処理を行う必要がある。
(2)カメラ変化の誇張(単視点)
カメラ変化の誇張においては、カメラ位置がフレーム毎に移動している(カメラワークが存在する)CGデータに対して、カメラ変化誇張率によって擬似的なカメラデータを生成し、カメラ位置の変化を誇張する処理を行う。図6にカメラ変化の誇張手法を示す。C0からC4までフレーム毎にカメラ位置が変化するCGデータが存在する時、例えばC0からC1へのカメラ位置の変化ベクトルを調べ、そのベクトルに対して、カメラ変化誇張率を乗ずる。カメラ変化の誇張を行ったこのベクトルを用いることによって、C0から移動した擬似的なカメラC1’を作成する。同様に、C2’、C3’、C4’を求めることによって、誇張されたカメラワークを作り出すことができる。この擬似的なカメラを用いて視点条件を算出することによって、カメラの移動に対するテクスチャの変化を誇張して見せることができる。
(3)光源変化の誇張(単視点)
光源変化の誇張においては、光源位置がフレーム毎に移動しているCGデータに対して、光源変化誇張率によって擬似的な光源データを生成し、光源位置の変化を誇張する処理を行う。図7に光源変化の誇張手法を示す。L0からL4までフレーム毎に光源位置が変化するCGデータが存在するとき、例えばL0からL1への光源位置の変化ベクトルを調べ、そのベクトルに対して、光源変化誇張率を乗ずる。光源変化誇張を行ったこのベクトルを用いることによって、L0から移動した擬似的な光源L1’を作成する。同様に、L2’、L3’、L4’を求めることによって、誇張された光源移動を作り出すことができる。この擬似的な光源を用いて光源条件を算出することによって、光源の移動に対するテクスチャの変化を誇張して見せることができる。
また、図8に示すような光源変化の誇張を行うこともできる。これは光源位置がフレーム毎に移動していないCGデータに対しても誇張できる手法である。図8のように光源データとしてLが存在し、フレーム毎にカメラ位置がC0、C1、C2のように移動している場合、例えば、C0からC1へのカメラ位置の変化ベクトルを調べ、そのベクトルの逆方向に光源位置を移動させることによって、カメラ位置がC1にある時の擬似的な光源データL1を作成することができる。なお、光源の移動距離に関しては、光源変化誇張率によって決定することができる。同様にしてL2を求めることによって、カメラワークに対して相対的に変化量の大きい擬似的な光源移動を作り出すことができる。この擬似的な光源を用いて光源条件を算出することによって、カメラの移動に対するテクスチャの変化を誇張して見せることができる。
さらに光源変化の誇張に関しては、このような処理に加え、時間に応じて光量を変化させることによって見え方の変化を誇張させることができる。
(4)モデル変化の誇張(単視点)
モデル変化の誇張においては、CGモデルデータがフレーム毎に移動している(アニメーションが設定されている)CGデータに対して、モデル変化誇張率によって擬似的なCGモデルデータを生成し、モデル変化を誇張する処理を行う。図9にモデル変化の誇張手法を示す。フレームt−1においてP0からP3の頂点でCGモデルデータが構成されており、フレームtにおいてQ0からQ3の頂点でCGモデルデータが構成されているものとすると、例えば、P0とQ0のようなフレーム間の対応する点に関して、P0からQ0への頂点位置の変化ベクトルを調べ、そのベクトルに対して、モデル変化誇張率を乗ずる。モデル変化の誇張を行ったこのベクトルを用いることによって、フレームtにおける擬似的な頂点Q0’を作成する。同様にQ1’、Q2’、Q3’を求めることによって、フレームt−1からフレームtにおけるモデルの変化を誇張することができる。このような擬似的なCGモデルデータを用いて視点条件および光源条件を算出することによって、アニメーションに対するテクスチャの変化を誇張して見せることができる。ただし、フレーム間で頂点数が変化するようなCGデータに関しては、対応する頂点が存在しない場合があるので、その都度頂点分割処理を行い、対応点を作成する必要がある。
また、図10に示すようなモデル変化の誇張を行うこともできる。これはアニメーションが設定されていないCGデータに対しても誇張できる手法である。図10のようにP0からP4の頂点でCGモデルデータが構成されている時に、隣り合う頂点との変化量を誇張することによってモデル形状自体の変化を誇張することができる。例えば、P2に注目した場合、P1からP2への頂点位置の変化ベクトルとP3からP2への頂点位置の変化ベクトルを調べ、それぞれのベクトルに対して、モデル変化誇張率を乗ずる。そして、乗じたベクトルを足してP2’を計算する。このような頂点位置の変化を誇張したベクトルを用いることによって、擬似的な頂点P2’を作成する。同様にP1’、P3’を求めることによって、モデル形状自体の変化が誇張される。
ただし、変化ベクトルに乗ずるモデル変化誇張率は必ずしも一定でなくとも良い。例えば、図10に示すようにP0からP4までのモデル形状のみを誇張させたい場合には、P0やP4の頂点は誇張させず、P2に対してはモデル変化誇張率の値で誇張させ、P1,P3に対してはモデル変化誇張率の半分の値で誇張させるようなことができる。また、誇張させたいモデル形状の領域を上記のように頂点の範囲で直接的に指定するのではなく、カメラもしくは光源に最も近い頂点を、指定されたモデル変化誇張率で誇張させ、徐々にモデル変化誇張率を減衰させながら、周囲の頂点も誇張させるような手法を採ることもできる。この場合、カメラもしくは光源に最も近い頂点からの距離に応じてどれだけモデル変化誇張率を減衰させるかを決定するための減衰率を入力する必要がある。このような擬似的なCGモデルデータを用いて視点条件および光源条件を算出することによって、モデル形状変化に対するテクスチャの変化を誇張して見せることができる。
以上の(1)から(4)が、様々な誇張を用いた処理条件の算出手法の例である。これらの誇張は全ての種類を同時に用いることもできるが、部分的に用いることもできる。どのような誇張を行うかどうかは、誇張パラメータの設定によってコントロールすることができる。
次に、テクスチャデータ処理部104が誇張パラメータとして設定されている色変化誇張率(単視点)を利用して行う色変化の誇張(単視点)について図11を参照して説明する。
色変化の誇張においては、カメラ条件や光源条件の変化に依存するテクスチャデータの色変化を色変化誇張率によって誇張し、擬似的な色データを生成する処理を行う。図11を用いて色データの誇張手法を説明する。あるテクスチャのあるピクセルデータに注目した時、近隣の視点条件や光源条件のテクスチャに存在する同位置のピクセルデータも抽出することができる。図11では視点条件と光源条件をそれぞれ一次元の変化軸で表現しているが、実際、本実施形態においてはそれぞれ二次元の変化軸を有している(光源条件の変化(θ,φ)、視点条件の変化(θ,φ))。この時、注目しているピクセルデータと近隣条件のピクセルデータとの色データの変化ベクトルを調べ、それぞれのベクトルに対して色変化誇張率を乗ずる。色変化誇張を行ったこれらのベクトルを合成することによって、注目したピクセルデータの擬似的な色データを作成することができる。テクスチャ処理においてこのような擬似的な色データを作成することによって、視点条件や光源条件の変化に対するテクスチャの変化を誇張して見せることができる。
また、単一テクスチャの空間的な誇張を行うこともできる。これは図11に示すように、あるピクセルデータに注目した時、近隣位置のピクセルデータも抽出することができる。そして、注目しているピクセルデータと近隣位置のピクセルデータとの色データの変化ベクトルを調べ、それぞれのベクトルに対して色変化誇張率を乗ずる。色変化誇張を行ったこれらのベクトルを合成することによって、注目したピクセルデータの擬似的な色データを作成することができる。テクスチャ処理においてこのような擬似的な色データを作成することによって、空間的なテクスチャの変化を誇張して見せることができる。
さらに、テクスチャデータを関数モデル化したものに置き換えて考えた場合、その関数の振幅を増大させるような処理を施すことによって、上記のような色変化の誇張と同様の効果を生み出すこともできる。
以上のような手法でテクスチャデータ処理を施すことによって、誇張されたテクスチャデータを出力することができる。図3に示すテクスチャ生成装置では、このテクスチャデータが装置から出力される。図1に示すテクスチャマッピング装置では、マッピング部105がCGモデルデータへのマッピングを行い、CG提示部106が最後にレンダリングされたCGを提示する。
なお、図1に示すテクスチャマッピング装置では、図3に示すテクスチャ生成装置で生成されたテクスチャデータを入力して利用することもできる。
以上に示したように第1の実施形態によれば、異なる条件で取得あるいは作成した複数枚のテクスチャデータから、マッピングすべきテクスチャデータを選択する際に、カメラ変化、光源変化あるいはCGモデル形状の変化を誇張させることによって、その選択条件を算出する。また、選択したテクスチャデータの色変化を誇張させることによって、CGモデルにマッピングするためのテクスチャデータを生成する。このようにして、素材の質感やCGの立体感を向上させることができる。
また、あらかじめ誇張されたテクスチャデータを入力することによって、テクスチャマッピング処理時の計算負荷を軽減させることができる。
(第2の実施形態)
本実施形態では、図1に示すテクスチャマッピング装置および図3に示すテクスチャ生成装置において、複数のカメラ(多視点)でCGをレンダリングするケースを考え、多視点でのレンダリングにおける誇張表現にフォーカスしてその手法を具体的に説明する。全体的な処理フロー(図2、図4)については第1の実施形態で説明したので、本実施形態においては処理内容に違いのある部分についてのみ示す。
多視点でのレンダリングとは、図12に示すように、例えば5台のカメラデータ(C0、C1、C2、C3、C4)をCGデータとして定義し、それぞれのカメラにおいてCGをレンダリングするものである。これは、主に立体ディスプレイに表示するための画像(要素画像)を作成する際に用いられる。このようなレンダリングにおいては、第1の実施形態とは異なった誇張表現を行うことができる。
まず、処理条件算出部102が撮影した複数枚のテクスチャデータからCGモデルにマッピングすべき、もしくはテクスチャ生成すべきテクスチャデータを選択するために、処理条件の算出を行う(ステップS202)部分の特徴について説明する。
本実施形態においては、あらかじめ設定された誇張パラメータに従って、様々な処理条件の算出手法を決定する。誇張パラメータとして設定されている(5)カメラ変化誇張率(多視点)、(6)光源変化誇張率(多視点)、(7)モデル変化誇張率(多視点)などを利用して、カメラ変化、光源変化、モデル変化などを誇張し、処理条件を算出することができる。以下にそれぞれの誇張手法と効果について説明する。
(5)カメラ変化の誇張(多視点)
カメラ変化の誇張においては、多視点でのレンダリング用にCGデータに複数のカメラデータが定義されているため、これらのカメラデータをカメラ変化誇張率によって擬似的に変化させることができる。図13にカメラ変化の誇張手法を示す。C0からC4までの複数のカメラデータが定義されていて、C2のカメラデータを基準カメラとした時、例えばC2からC3へのカメラ位置の変化ベクトルを調べ、そのベクトルに対して、カメラ変化誇張率を乗ずる。カメラ変化の誇張を行ったこのベクトルを用いることによって、擬似的なカメラC3’を作成する。同様に、C0’、C1’、C4’を求めることによって、擬似的な複数カメラを定義することができる。これらの擬似的なカメラを用いて視点条件を算出することによって、カメラ(視点)変化に対するテクスチャ変化を誇張して見せることができる。
立体ディスプレイへの表示用に複数のカメラでのレンダリングを行う場合、その立体感を向上させるために、カメラ間隔を擬似的に狭めてレンダリングすることがある。その場合、立体感が向上する代償として、カメラ間の見え方の差(運動視差)が低下し、その分質感が低下してしまうという問題がある。そのような問題を解決するために上述したような方法を用いることができる。つまり、テクスチャサンプリングするためのカメラを、カメラ間隔が狭められた状態から本来のカメラ位置に戻すことによって、質感を補正することができる。
しかしながら、複数のカメラがある直線上に等間隔に存在している場合(この直線を以下、カメラ移動ラインと呼ぶ)、上述のようにCGモデルデータに依存せず一意に擬似的なカメラを定義する方法にはある程度の限界がある。CGモデルデータに関係なくカメラ間隔を拡げるということは、図20に示すように、被写体中心部に位置し、かつ法線Nがカメラ移動ラインに垂直な点Pに対してのみ最適な誇張を行っているにすぎないということになる。点Pにおいて最もカメラ変化に対するテクスチャ変化が大きく、かつ質感表現が向上するのは、カメラ間隔を拡げていって両端のカメラの極角の条件θ,θがテクスチャとして取得している条件の限度(θlimit)に達するまでということになる。したがって、このカメラの極角限界θlimitをカメラ間隔決定のための判断基準にすることもできる。ただし、テクスチャデータとして取得していたとしても、素材によっては極角が大きくなりすぎると質感が分かりづらくなる場合もある。しかしながら、CGモデルデータに関係なくカメラ間隔を拡げてしまうと以下のような問題が発生する。
・無意味な誇張が発生する
・左右反転の現象が発生する
これらの問題は、図20で示す点Pから頂点位置が変化したり、その法線Nが変化したりすることによって発生する。図21に頂点位置の変化における第1の問題点を示す。点Pを基準としてカメラの極角限界をもとにカメラ間隔を決定してしまった場合、頂点位置の変化した点Pでは上記2点の問題が発生していることが分かる。左端のカメラでは、極角限界よりも大きな領域で擬似的なカメラが定義されてしまい、無意味な誇張を行っている。また、右端の本来のカメラでは、点Pを左側から見ているにも関わらず、擬似的なカメラでは右側から見ているようなテクスチャをサンプリングしてしまうということになる。
次に、図22に法線の変化における第2の問題点を示す。点Pにおける法線Nを基準としてカメラの極角限界をもとにカメラ間隔を決定してしまった場合、法線の変化した点Pでは、図21と同様に上記2点の問題が生じていることが分かる。
そこで、このような問題点が浮き彫りになってしまう場合を考慮し、CGモデルデータに依存したカメラ変化の誇張方法について以下に示す。上述したとおり、様々な条件で取得したテクスチャデータを利用する場合、CGモデルデータ上の各点において素材の質感を表現できるカメラ条件の範囲は限定されている(光源条件も同様に考えることができるが、ここではカメラ条件の議論に限る)。図23は、質感表現が可能なカメラ条件の範囲を模式的に表したものである。複数のカメラ条件でテクスチャデータを取得した場合、例えば、方位角は0度以上360度未満の角度条件をサンプリングすることができ、極角は0度からある極角限界(例えば、50度や70度)に達するまでの角度条件をサンプリングすることができる。したがって図23の点Pにおける質感表現が可能なカメラ条件の範囲は、矢印で示すような部分であると考えることができる。ここで、「それぞれの点において、質感表現が可能なカメラ条件の範囲をできるだけ有効に使用することが質感の誇張につながる」と考え、CGモデルデータに依存した質感誇張のアルゴリズムを考案した。アルゴリズムを考案する際、主に以下のような条件を考慮した。
<1>擬似的なカメラは等間隔に設置する
<2>擬似的なカメラはカメラ移動ライン上に設置する
<3>無意味な誇張を避ける
<4>左右反転の現象を避ける
<5>空間的な連続性を保持する
<1>はカメラ間のレンダリング画像の連続性を保持するためであり、<2>はカメラ移動ライン上での移動によって生じる運動視差にブレが生じないようにするためである。<3>、<4>は上述したモデル非依存の誇張の問題点を解決するためである。また<5>に関しては、頂点の位置や法線に応じた異なるテクスチャサンプリングを行うために、その連続性は最低限保持させなければならないという意味で条件として加えた。
まず、このような条件を満たすようなアルゴリズムを考える上で必要となるカメラ移動ライン上の3点Cmin,Cmid,Cmaxについて説明する。図24にカメラ移動ライン上の3点を図示している。法線Nを持つ頂点Pとカメラ移動ラインを考えた場合、まず、カメラ移動ライン上でカメラ条件が極角限界θlimitと等しくなる点を算出し、その2点をCmin,Cmaxとする(2点が存在しない場合の処理については後述する)。また、頂点Pとカメラ移動ラインを通る面fを考え、法線Nを面fに射影してできたベクトルNを算出する。そして、点Pからこのベクトルの方向に移動した時のカメラ移動ラインとの交点をCmidとする。これらの3点は、点Pにおける質感表現が可能なカメラ条件の領域(Cmin,Cmax)と左右反転が生じるカメラ位置(Cmid)を示す重要な点である。
この3点と元々のカメラの配置との関係によって、上記の条件を満たした上で可能な限りカメラ間隔を拡げる方法を考える。すると擬似的なカメラは、図25の(A)、(B)、(C)のような方法で配置させることができる。全てのカメラが、質感表現が可能なカメラ条件の領域(Cmin,Cmax)内に配置されており、かつCmidを挟んで配置されている場合には、Cmidを中心として、左端もしくは右端の擬似的なカメラがCminもしくはCmaxに達するまでスケーリングを行うものとする。また、Cmidを挟まずに配置されている場合には、Cmidに近い方のカメラを基点して、逆側のカメラがCminもしくはCmaxに達するまでスケーリングを行うものとする。一方、いずれかのカメラが、質感表現が可能なカメラ条件の領域(Cmin,Cmax)外に配置されている場合には、カメラの移動は行わないものとする。
また、図26に示すような例外処理も必要となる。CminもしくはCmaxが十分に小さい値もしくは大きい値であったり、存在しなかったりした場合には、十分に小さい値CMINや十分に大きい値CMAXを設けておき、質感表現が可能なカメラ条件の領域を定める。CminとCmaxがどちらも存在しない場合や、Cmidも存在しないような場合には、カメラの移動は行わないものとする。
以上のようなアルゴリズムを例外処理も含めてフローチャートとしてまとめたものを図27に示す。まず、Cmin,Cmaxを算出する(ステップS2701)。そこで解が存在しない場合には、カメラの移動は行わない(ステップS2702、S2703)。解が1つしか存在しない場合には、その解(カメラ位置)の左右にカメラを設置した場合の角度条件を算出する(ステップS2702、S2704)ことによって、質感表現が可能なカメラ条件の領域がその解(カメラ位置)から左方向に存在するのか、あるいは、右方向に存在するのかを判断する(ステップS2706)。その後、解が2つ存在する場合(ステップS2702)も含めてCminとCmaxをそれぞれCMINとCMAXで丸める(ステップS2705)。次に、元々のカメラ配置と質感表現が可能なカメラ条件の領域(Cmin,Cmax)との包含関係を調べ(ステップS2707)、いずれかのカメラが包含されていなければカメラの移動は行わない(ステップS2703)。全てのカメラが包含されていれば、ここで初めてCmidを算出する(ステップS2708)。Cmidが存在しない場合は、CminもしくはCmaxのどちらか一方が必ずCMINやCMAXになっているので、CminがCMINになっていればCmidもCMINに、CmaxがCMAXになっていればCmidもCMAXにする(ステップS2709、S2711)。この後、Cmidが存在した場合(ステップS2709)も含めてカメラ移動の変更を行う(ステップS2710)。カメラ移動は、上述したようなスケーリング処理を行う。
以上のようなCGモデルデータに依存したカメラ変化の誇張を行うことによって、CGモデルデータに依存しないカメラ変化の誇張と比べ、あるカメラにおける空間的な色変化やカメラ間の色変化をより誇張して表現することができる。
(6)光源変化の誇張(多視点)
光源変化の誇張においては、複数定義された各カメラデータに対して、光源データを擬似的に移動させる。図14に光源変化の誇張手法を示す。C0からC4までの複数カメラ(C2が基準カメラ)およびLという単一の光源データが定義されていたとすると、例えば、C2からC3へのカメラ位置の変化ベクトルを調べ、そのベクトルの逆方向に光源位置を移動させることによって、カメラC3の時の擬似的な光源データL3を作成することができる。なお、光源の移動距離に関しては、光源変化誇張率によって決定することができる。同様にして、L0、L1、L4を求めることによって、カメラ(視点)の変化に対して相対的に変化量の大きい擬似的な光源データを作成することができる。この擬似的な光源データを用いて光源条件を算出することによって、カメラ(視点)変化に対するテクスチャの変化を誇張して見せることができる。
さらに光源変化の誇張に関しては、このような処理に加え、視点に応じて光量を変化させることによって見え方の変化を誇張させることができる。例えば基準カメラに対しては光量を強く(明るく)し、基準カメラから離れたカメラに対しては光量を弱く(暗く)することによって、カメラ(視点)毎の変化をさらに誇張させることができる。
(7)モデル変化の誇張(多視点)
モデル変化の誇張においては、複数定義された各カメラデータに対して、CGモデルデータを擬似的に変化させる。図15にモデル変化の誇張手法を示す。C0からC4までの複数カメラ(C2が基準カメラ)と頂点Pを含むCGモデルデータが定義されていたとすると、例えば、C2からC3へのカメラ位置の変化ベクトルを調べ、そのベクトルの逆方向にCGモデルデータ(例えば頂点P)を移動させることによって、カメラC3の時の擬似的なCGモデルデータ(例えば頂点P3)を作成することができる。同様にして、P0、P1、P4を求めることができる。なお、CGモデルデータの移動距離に関しては、モデル変化誇張率によってカメラの移動量に対してどれだけの割合で移動させるかを決定することができる。また、全ての頂点に対して必ずしも一定のモデル変化誇張率で移動させなくとも良い。例えば、図15のように基準カメラC2に最も近い頂点Pに対しては指定されたモデル変化誇張率で誇張させ、徐々にモデル変化誇張率を減衰させながら、周囲の頂点も誇張させるような手法を採ることもできる。この場合、頂点Pからの距離に応じてどれだけモデル変化誇張率を減衰させるかを決定するための減衰率を入力する必要がある。このような擬似的なCGモデルデータを用いて視点条件、光源条件を算出することによって、カメラ(視点)変化に対するテクスチャの変化を誇張して見せることができ、例えば、テクスチャを立体的に見せることができる。
以上が、多視点でのレンダリングにおける様々な誇張を用いた処理条件の算出手法である。これらの誇張は全ての種類を同時に用いることもできるが、部分的に用いることもできる。どのような誇張を行うかどうかは、誇張パラメータの設定によってコントロールすることができる。
次に、テクスチャデータ処理部104が抽出されたテクスチャデータに対して処理を行う(ステップS204)部分の特徴について説明する。本実施形態においては、あらかじめ設定された誇張パラメータに従って、テクスチャデータを誇張するための処理を行う。誇張パラメータとして設定されている色変化誇張率(多視点)を利用して色変化の誇張について説明する。
色変化の誇張においては、複数定義された各カメラデータに対してそれぞれ色データを抽出し、色データ間の色変化を色変化誇張率で誇張することによって、擬似的な色データを生成する。図12のようにC0からC4までの複数カメラ(C2が基準カメラ)が定義されていたとすると、それぞれのカメラデータに対して、対応するピクセルデータ(色データ)を抽出することができる。例えば、C2における色データとC3における色データとの変化ベクトルを調べ、そのベクトルに対して色変化誇張率を乗ずる。色変化誇張を行ったこのベクトルによって、C3における擬似的な色データを作成することができる。同様にしてC0、C1、C4における擬似的な色データも作成できる。テクスチャ処理においてこのような擬似的な色データを作成することによって、カメラ(視点)変化に対するテクスチャの変化を誇張して見せることができる。
以上に示したように第2の実施形態によれば、上述した処理で多視点でのレンダリングを行うことによって、各カメラでレンダリングしたCG間の変化を誇張させることができる。このような誇張表現は、特に、立体ディスプレイにおける立体感向上が可能となるだけではなく、擬似的に視点を広く移動させることができるような(視域を広く確保できるような)効果を生むことができる。
(第3の実施形態)
本実施形態では、誇張パラメータを、装置内部であらかじめ設定しておくのではなく外部から入力するテクスチャ処理装置(図16に示すテクスチャマッピング装置、図18に示すテクスチャ生成装置)について説明する。これらの装置は、図1に示すテクスチャマッピング装置および図3に示すテクスチャ生成装置に対して、誇張パラメータ取得部1601を追加した装置となっている。誇張パラメータ取得部1601が、誇張パラメータを外部から入力可能にする。なお、処理条件算出部1602は、誇張パラメータ取得部1601から誇張パラメータを入力することのみが第1および第2の実施形態とは異なる。
各装置における処理フローをそれぞれ図17、図19に示す。
誇張パラメータ取得部1601が誇張パラメータを取得する(ステップS1701)。処理条件算出部1602がステップS201で取得した取得したCGデータを利用し、ステップS1701で取得した誇張パラメータに応じてテクスチャ生成を行う際の誇張されたテクスチャ処理条件を算出する(ステップS1702)。この他は、第1および第2の実施形態と同様である。
誇張パラメータは、第1の実施形態および第2の実施形態でも説明したとおり、角度条件誇張率((1))、カメラ変化誇張率(単視点/多視点)((2)、(5))、光源変化誇張率(単視点/多視点)((3)、(6))、モデル変化誇張率(単視点/多視点)((4)、(7))、色変化誇張率(単視点/多視点)等のように様々な種類が存在している。どの誇張率をどれだけの誇張率に設定するかどうかは、最終的に提示するCGの要求クオリティに依存する。誇張パラメータの設定手法としては以下のようなものが挙げられる。
<CGデータに応じた誇張パラメータの設定>
1つめは、CGデータに応じた誇張パラメータの設定である。例えば、カメラワークによるCGのダイナミックな変化を表現したいにも関わらず、入力したCGデータがカメラワークの少ないものであった場合、カメラ変化誇張率を高くすることによって、カメラの変化に対するテクスチャの変化を誇張する。
また、全体的にテクスチャの変化をダイナミックに表現したいにも関わらず、入力したテクスチャデータが条件(視点条件・光源条件)による変化の少ないもの(異方性の少ないもの)、もしくは空間的に色変化の少ないもの(柄の少ないもの)であった場合、色変化誇張率を高くすることによって、全体的なテクスチャの変化を誇張することができる。
<CGを提示する媒体に応じた誇張パラメータの設定>
2つめは、CGを提示する媒体に応じた誇張パラメータの設定である。これは特に、ディスプレイや印刷物の色表現力や立体ディスプレイにおける奥行き表現力などに依存する。色表現力の低い媒体に対しては、コントラストが低下してしまう可能性があるため、誇張パラメータの各誇張率を比較的高めに設定した方が良い。色表現力の高い媒体に対しては、誇張をしなくても微細な変化を再現することができるため、誇張パラメータの各誇張率を比較的低めに設定し、より実物に近い表現を行った方が良い。
一方、立体ディスプレイにおける奥行き表現力によって誇張パラメータを適応的に設定することもできる。奥行き表現力の小さな立体ディスプレイに対しては、カメラ変化誇張率(多視点)等を大きく設定することによって、立体感を向上させることができる。
<インタラクティブな誇張パラメータの設定>
3つめは、インタラクティブな誇張パラメータの設定である。CGデータやCGを提示する媒体に応じた誇張パラメータの設定を行ったとしても、最終的には、レンダリングしたCGを観察しながら、誇張パラメータを調整したいという要求があると思われる。実施形態で説明した装置では、インタラクティブな誇張パラメータの設定が可能である。
以上の第3の実施形態によれば、誇張パラメータをユーザが自由に設定することによって、要求クオリティに合ったCGをレンダリングすることができる。
以上説明した実施形態によれば、異なる条件で取得あるいは作成した複数枚のテクスチャデータから、マッピングすべきテクスチャデータを選択する際に、カメラ変化、光源変化あるいはCGモデル形状の変化を誇張させるような選択条件を算出する。また、選択したテクスチャデータの色変化を誇張させることによって、CGモデルにマッピングするためのテクスチャデータを生成する。このようにして、素材の質感やCGの立体感を向上させることができる。
例えば、図1、図16で示したテクスチャマッピング装置および図3、図18で示したテクスチャ生成装置を利用することによって、様々な条件に伴うテクスチャ変化の誇張処理を行うことができ、テクスチャマッピング装置においては、その誇張したテクスチャデータをCGモデルにマッピングすることができる。
また、テクスチャデータを選択するための条件を算出する処理算出手段やテクスチャを実際に処理するテクスチャデータ処理手段において、様々なテクスチャの誇張手法が存在することを示した。ここで示した誇張表現に関しては、レンダリングの際のCGデータ(CGモデルデータ、カメラデータ、光源データ、テクスチャデータ)と、テクスチャ計算の際のCGデータとを別々に扱っている部分に特徴があり、テクスチャ計算の際にいかに効果的な疑似CGデータを用いるかがポイントとなる。
なお、実施形態では、例えば、テクスチャデータに関しては色データに限らず、あらゆるベクトルデータに対して利用することができる。そして、そのベクトルデータを、テクスチャマッピング処理に限らずCGにおけるシェーディング処理等での誇張表現、あるいはCG以外での誇張表現に応用することもできる。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態のテクスチャ処理装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD−ROM、DVD±R、DVD±RWなど)、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、上述した実施形態のテクスチャ処理装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明における記憶媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
また、記憶媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
なお、本願発明におけるコンピュータまたは組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
第1および第2の実施形態に係るテクスチャマッピング装置のブロック図。 図1のテクスチャマッピング装置の動作の一例を示すフローチャート。 第1および第2の実施形態に係るテクスチャ生成装置のブロック図。 図2のテクスチャ生成装置の動作の一例を示すフローチャート。 異なる視点・光源条件におけるテクスチャの取得手法を説明するための図。 単視点の場合でのカメラ変化の誇張手法を示す図。 単視点の場合での光源変化の誇張手法を示す図。 単視点の場合でカメラ位置が変化する場合での光源変化の誇張手法を示す図。 単視点の場合でのモデル変化(アニメーション)の誇張手法を示す図。 単視点の場合でのモデル変化(形状)の誇張手法を示す図。 単視点の場合での色変化の誇張手法を示す図。 多視点でのレンダリングを説明するための図。 多視点でのカメラ変化の誇張手法を示す図。 多視点の場合での光源変化の誇張手法を示す図。 多視点の場合でのモデル変化の誇張手法を示す図。 第3の実施形態に係るテクスチャマッピング装置のブロック図。 図16のテクスチャマッピング装置の動作の一例を示すフローチャート。 第3の実施形態に係るテクスチャ生成装置のブロック図。 図18のテクスチャ生成装置の動作の一例を示すフローチャート。 CGモデルデータに非依存な誇張を行った際の限界を説明するための図。 CGモデルデータに非依存な誇張を行った際の第1の問題点を説明するための図。 CGモデルデータに非依存な誇張を行った際の第2の問題点を説明するための図。 素材の質感を表現できるカメラ条件の範囲を模式的に示した図。 CGモデルデータに依存した誇張を行う際に必要な3点を説明するための図。 CGモデルデータに依存したカメラ間隔の変更方法を示した図。 CGモデルデータに依存したカメラ間隔の変更方法の例外処理を示した図。 CGモデルデータに依存したカメラ変化の誇張方法を示すフローチャート。
符号の説明
101・・・CGデータ取得部、102・・・処理条件算出部、103・・・テクスチャデータ抽出部、104・・・テクスチャデータ処理部、105・・・マッピング部、106・・・CG提示部、1601・・・誇張パラメータ取得部、1602・・・処理条件算出部。

Claims (4)

  1. コンピュータグラフィックス(CG)の表現で必要となるCGモデルデータ、カメラデータ、光源データ、および、異なる条件で取得あるいは作成した1枚以上のテクスチャデータを含むCGデータを取得するCGデータ取得手段と、
    前記CGデータを利用し、テクスチャマッピング処理において利用するあらかじめ設定された誇張パラメータに応じてCGモデルにテクスチャマッピング処理を行う際の誇張されたテクスチャ処理条件を算出する算出手段と、
    前記テクスチャ処理条件に応じて、前記取得したテクスチャデータの中から特定のテクスチャデータを抽出する抽出手段と、
    前記特定のテクスチャデータに対して、前記誇張パラメータに応じて誇張処理を行う処理手段と、を具備し、
    前記算出手段は、カメラ位置もしくは光源位置がフレーム毎に移動しているCGデータに対して、あるフレームのカメラ位置もしくは光源位置と1フレーム前のカメラ位置もしくは光源位置とのベクトル変化量を誇張することによって、あるフレームのカメラ位置もしくは光源位置を変化させ、擬似的なカメラデータもしくは光源データを作成し、前記誇張パラメータの1種である、単視点でのカメラ変化誇張率もしくは単視点での光源変化誇張率にしたがって、前記擬似的なカメラデータもしくは擬似的な光源データを作成し、前記CGモデルデータ上の1点1点に対して、前記擬似的なカメラデータとの位置関係であるカメラ条件および前記擬似的な光源データとの位置関係である光源条件をテクスチャ処理条件として算出することを特徴とするテクスチャ処理装置。
  2. コンピュータグラフィックス(CG)の表現で必要となるCGモデルデータ、カメラデータ、光源データ、および、異なる条件で取得あるいは作成した1枚以上のテクスチャデータを含むCGデータを取得するCGデータ取得手段と、
    前記CGデータを利用し、テクスチャマッピング処理において利用するあらかじめ設定された誇張パラメータに応じてCGモデルにテクスチャマッピング処理を行う際の誇張されたテクスチャ処理条件を算出する算出手段と、
    前記テクスチャ処理条件に応じて、前記取得したテクスチャデータの中から特定のテクスチャデータを抽出する抽出手段と、
    前記特定のテクスチャデータに対して、前記誇張パラメータに応じて誇張処理を行う処理手段と、を具備し、
    前記算出手段は、フレーム毎に変化するCGモデルデータに対して、ある頂点のあるフレームにおける位置座標と1フレーム前における位置座標とのベクトル変化量を誇張することによって、擬似的なCGモデルデータを作成し、あるフレームのCGモデルデータに対して、ある頂点の位置座標と隣り合う頂点の位置座標とのベクトル変化量を誇張することによって、擬似的なCGモデルデータを作成し、前記誇張パラメータの1種である単視点でのモデル変化誇張率にしたがって、前記擬似的なCGモデルデータを作成し、前記擬似的なCGモデルデータ上の1点1点に対して、カメラデータとの位置関係であるカメラ条件および光源データとの位置関係である光源条件をテクスチャ処理条件として算出することを特徴とするテクスチャ処理装置。
  3. コンピュータグラフィックス(CG)の表現で必要となるCGモデルデータ、カメラデータ、光源データ、および、異なる条件で取得あるいは作成した1枚以上のテクスチャデータを含むCGデータを取得するCGデータ取得手段と、
    前記CGデータを利用し、テクスチャマッピング処理において利用するあらかじめ設定された誇張パラメータに応じてCGモデルにテクスチャマッピング処理を行う際の誇張されたテクスチャ処理条件を算出する算出手段と、
    前記テクスチャ処理条件に応じて、前記取得したテクスチャデータの中から特定のテクスチャデータを抽出する抽出手段と、
    前記特定のテクスチャデータに対して、前記誇張パラメータに応じて誇張処理を行う処理手段と、を具備し、
    前記算出手段は、複数のカメラデータが設定されているCGデータに対して、あるカメラデータのカメラ位置と隣り合うカメラデータのカメラ位置とのベクトル変化量を誇張することによって、あるカメラデータのカメラ位置を変化させ、擬似的なカメラデータを作成し、カメラデータの変化に合わせて、ある光源データの光源位置を変化させ、擬似的な光源データを作成し、前記誇張パラメータの1種である、多視点でのカメラ変化誇張率もしくは多視点での光源変化誇張率にしたがって、前記擬似的なカメラデータもしくは擬似的な光源データを作成し、前記CGモデルデータ上の1点1点に対して、前記擬似的な各カメラデータとの位置関係であるカメラ条件および前記擬似的な光源データとの位置関係である光源条件をテクスチャ処理条件として算出することを特徴とするテクスチャ処理装置。
  4. コンピュータグラフィックス(CG)の表現で必要となるCGモデルデータ、カメラデータ、光源データ、および、異なる条件で取得あるいは作成した1枚以上のテクスチャデータを含むCGデータを取得するCGデータ取得手段と、
    前記CGデータを利用し、テクスチャマッピング処理において利用するあらかじめ設定された誇張パラメータに応じてCGモデルにテクスチャマッピング処理を行う際の誇張されたテクスチャ処理条件を算出する算出手段と、
    前記テクスチャ処理条件に応じて、前記取得したテクスチャデータの中から特定のテクスチャデータを抽出する抽出手段と、
    前記特定のテクスチャデータに対して、前記誇張パラメータに応じて誇張処理を行う処理手段と、を具備し、
    前記算出手段は、複数のカメラデータが設定されているCGデータに対して、ある頂点のあるカメラデータにおける位置座標と隣り合うカメラデータにおける位置座標とのベクトル変化量を誇張することによって、擬似的なCGモデルデータを作成し、前記誇張パラメータの1種である多視点でのモデル変化誇張率にしたがって、前記擬似的なCGモデルデータを作成し、前記擬似的なCGモデルデータ上の1点1点に対して、各カメラデータとの位置関係であるカメラ条件および光源データとの位置関係である光源条件をテクスチャ処理条件として算出することを特徴とするテクスチャ処理装置。
JP2007085706A 2007-03-28 2007-03-28 テクスチャ処理装置 Expired - Fee Related JP4266233B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007085706A JP4266233B2 (ja) 2007-03-28 2007-03-28 テクスチャ処理装置
US12/050,568 US8094148B2 (en) 2007-03-28 2008-03-18 Texture processing apparatus, method and program
CNA2008100872809A CN101276478A (zh) 2007-03-28 2008-03-26 纹理处理设备与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007085706A JP4266233B2 (ja) 2007-03-28 2007-03-28 テクスチャ処理装置

Publications (2)

Publication Number Publication Date
JP2008243046A JP2008243046A (ja) 2008-10-09
JP4266233B2 true JP4266233B2 (ja) 2009-05-20

Family

ID=39793477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007085706A Expired - Fee Related JP4266233B2 (ja) 2007-03-28 2007-03-28 テクスチャ処理装置

Country Status (3)

Country Link
US (1) US8094148B2 (ja)
JP (1) JP4266233B2 (ja)
CN (1) CN101276478A (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101117035B1 (ko) * 2009-03-24 2012-03-15 삼성메디슨 주식회사 볼륨 데이터에 표면 렌더링을 수행하는 초음파 시스템 및 방법
JP2011023902A (ja) * 2009-07-14 2011-02-03 Sony Corp 画像処理装置および画像処理方法
JP2011022727A (ja) * 2009-07-14 2011-02-03 Sony Corp 画像処理装置および画像処理方法
JP5966256B2 (ja) * 2011-05-23 2016-08-10 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
ES2400998B1 (es) * 2011-05-23 2014-03-11 Universidad Europea Miguel De Cervantes Sistema y procedimiento de captura y procesado de imágenes tridimensionales con movimiento
ES2400153B1 (es) * 2011-07-22 2014-08-11 David CLAVERIA GABARRE Sistema de tutoría para instrumentos musicales e instrumento realizado con dicho sistema.
KR20150090057A (ko) * 2012-10-08 2015-08-05 엘지전자 주식회사 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
GB2526838B (en) * 2014-06-04 2016-06-01 Imagination Tech Ltd Relightable texture for use in rendering an image
JP6918648B2 (ja) * 2017-08-31 2021-08-11 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN111656409A (zh) * 2018-01-25 2020-09-11 索尼公司 信息处理装置和信息处理方法
CN111696189A (zh) * 2020-06-17 2020-09-22 北京中科深智科技有限公司 一种毛发自阴影实时绘制方法及绘制系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6281904B1 (en) * 1998-06-09 2001-08-28 Adobe Systems Incorporated Multi-source texture reconstruction and fusion
JP3442344B2 (ja) 2000-05-17 2003-09-02 株式会社ナムコ ゲームシステム及び情報記憶媒体
US6750873B1 (en) * 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
US6906714B2 (en) * 2002-06-21 2005-06-14 Intel Corporation Accelerated visualization of surface light fields
JP3901644B2 (ja) * 2003-01-30 2007-04-04 株式会社東芝 テクスチャ画像圧縮装置及び方法、テクスチャ画像抽出装置及び方法、データ構造、記憶媒体
US7129954B2 (en) 2003-03-07 2006-10-31 Kabushiki Kaisha Toshiba Apparatus and method for synthesizing multi-dimensional texture
US7359562B2 (en) * 2003-03-19 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality videos of illuminated scenes
US7738725B2 (en) * 2003-03-19 2010-06-15 Mitsubishi Electric Research Laboratories, Inc. Stylized rendering using a multi-flash camera
JP4015090B2 (ja) 2003-09-08 2007-11-28 株式会社東芝 立体表示装置および画像表示方法
JP4199170B2 (ja) 2004-07-20 2008-12-17 株式会社東芝 高次元テクスチャマッピング装置、方法及びプログラム
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
JP4282587B2 (ja) 2004-11-16 2009-06-24 株式会社東芝 テクスチャ・マッピング装置
JP4444180B2 (ja) 2005-07-20 2010-03-31 株式会社東芝 テクスチャ符号化装置、テクスチャ復号化装置、方法、およびプログラム

Also Published As

Publication number Publication date
CN101276478A (zh) 2008-10-01
US20080238930A1 (en) 2008-10-02
US8094148B2 (en) 2012-01-10
JP2008243046A (ja) 2008-10-09

Similar Documents

Publication Publication Date Title
JP4266233B2 (ja) テクスチャ処理装置
US11663778B2 (en) Method and system for generating an image of a subject from a viewpoint of a virtual camera for a head-mountable display
US10096157B2 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
JP4125252B2 (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
JP6147275B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
TWI764959B (zh) 用於產生光強度影像之裝置與方法
TWI786157B (zh) 用於產生場景之舖磚式三維影像表示之設備及方法
CN103426163A (zh) 用于渲染受影响的像素的系统和方法
KR20190138896A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
TW201505420A (zh) 內容感知顯示適應方法
JP2019509526A (ja) 多数のカメラを用いた最適の球形映像獲得方法
JP2010079505A (ja) 画像生成装置及びプログラム
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
JP2010079506A (ja) 画像生成装置、方法、通信システム及びプログラム
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
JP6313569B2 (ja) 立体映像生成装置、そのプログラム及び立体映像表示装置
JP2015103960A (ja) 画像奥行き指定方法、プログラム、および装置
Chlubna et al. Lightweight all-focused light field rendering
Scandolo et al. Gradient‐Guided Local Disparity Editing
Marrinan et al. Image Synthesis from a Collection of Depth Enhanced Panoramas: Creating Interactive Extended Reality Experiences from Static Images
Kovács et al. Analysis and optimization of pixel usage of light-field conversion from multi-camera setups to 3D light-field displays

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees