JP2001111804A - 画像変換装置及び画像変換方法 - Google Patents

Abstract

(57)【要約】 【課題】１枚の元画像の注目物体に基づいて、マスク画
像と注目物体の背後の画像を類推した背景画像を作成す
る作業は手間がかかる。 【解決手段】２次元の元画像の視点及び注目点を変化さ
せた変換画像を生成する画像変換装置において、元画像
における注目物体を囲む領域を設定する領域設定手段
と、元画像における注目物体を囲む領域内の画素を白く
し注目物体を囲む領域外の画素を黒くしてマスク画像を
生成するマスク画像生成手段と、注目物体を囲む領域内
の元画像の画素の値に予め定められた１未満の係数ｋを
乗算して注目物体の背後の画素とし、注目物体を囲む領
域外の画素を前記元画像の画素とした背景画像を生成す
る背景画像生成手段と、マスク画像と背景画像とを用い
て視点及び注目点を変化させた変換画像を生成する変換
画像生成手段とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、２次元の元画像を
元に任意の視点から見た画像に変換する画像変換装置及
び画像変換方法及び画像変換プログラムが記録された記
録媒体に関する。

【０００２】

【従来の技術】従来、コンピュータグラフィックスの分
野において、２次元平面上に遠近感を有する図形を描く
方法として透視画法が用いられている。透視画法は、そ
の画像の中心位置となる消失点を設定し、この消失点に
基づいて図形を描くことにより、遠近感を表現しつつ３
次元形状を２次元平面上に描く画法である。

【０００３】透視画法により描かれた透視図の画像合成
方法としては、複数の面から構成される３次元形状の画
像データを計算機内に備え、それぞれの面に透視図の画
像を貼るテクスチャマッピング法があった。テクスチャ
マツピング法は、いくつかの３次元コンピュータグラフ
ィックスソフトウエアにより実現されており、デザイン
編コンピュータグラフィックス標準テキストブック（１
９９６年）等に開示されている。

【０００４】前述したテクスチャマッピング法による透
視図の画像変換方法において、面に貼るテクスチャ画像
は、正面から画像を撮影又は描画する必要があった。し
かし、一般には斜めからの視点で画像を撮影又は描画す
る場合が多い。また、計算機内のメモリの制限から、テ
クスチャ画像の解像度は低く、再合成される透視図の画
像の解像度を上げることは困難であった。

【０００５】そこで、正面からの画像を必要とせず、元
画像の解像度を維持したまま、計算機上で２次元画像を
別の視点（アングル）から見た画像に変換する画像変換
方法が特開平１０−４９７０４号公報に開示されてい
る。

【０００６】特開平１０−４９７０４号公報に開示され
ている画像変換方法は、元画像の消失点及び奥行きの行
き止まり領域を設定し、設定した消失点及び奥行きの行
き止まり領域に基づいて、画像を複数の要素からなる構
造体として表し、当該構造体の各要素に基づいて元画像
の３次元形状を推定し、元画像のアングルと異なるアン
グルを設定し、設定されたアングルに基づいて画像を変
換し、元画像と異なるアングルの変換画像を生成する。

【０００７】前述した画像変換方法は、元画像上の注目
物体に対応する領域内を白くし、それ以外を黒くしたマ
スク画像と、元画像上の注目物体を周囲の模様などで塗
りつぶした背景画像とを予め生成しておくことにより、
元画像内の注目物体を３次元空間内に配置することがで
きる。

【０００８】マスク画像は、元画像から注目物体の画像
を抜き出すために使用される。例えば、マスク画像の黒
い部分に対応する元画像上の画素は無視し、白い部分に
対応する元画像の画素を抜き出す。マスク画像によって
抜き出された画像は、３次元空間内に配置された板状の
注目物体上に貼り付けられる。

【０００９】背景画像は、３次元空間内を展望する視点
（アングル）を変化させたときに、注目物体の後ろから
現れる画像である。注目物体の後ろから現れる画像は、
元画像上に情報がないため、ユーザが物体の背後の画像
を推定し、予め元画像を加工し背景画像を作成しておか
なければならない。

【００１０】

【発明が解決しようとする課題】１枚の元画像から注目
物体を選択し、その注目物体に基づいてマスク画像と背
景画像とを作成する作業は、手間と時間がかかる。ま
た、一枚の画像から注目物体の背後の画像を推定し、背
景画像を作成する作業も手間と時間がかかる。

【００１１】本発明は、容易に画像変換を行うことがで
き、自動的にマスク画像と違和感のない背景画像を生成
することができる画像変換装置及び画像変換方法を提供
することを目的としている。

【００１２】

【課題を解決するための手段】本願の請求項１記載の発
明は、２次元の元画像を元に視点を変化させた変換画像
を生成する画像変換装置において、元画像における注目
物体を囲む領域を設定する領域設定手段と、元画像にお
ける注目物体を囲む領域内の画素を白くし、注目物体を
囲む領域外の画素を黒くしてマスク画像を生成するマス
ク画像生成手段と、注目物体を囲む領域内の元画像の画
素の輝度を示す値に予め定められた１未満の係数ｋを乗
算し、注目物体を囲む領域外の画素を元画像の画素とし
た背景画像を生成する背景画像生成手段と、マスク画像
と背景画像とを用いて視点を変化させた変換画像を生成
する変換画像生成手段とを備えたことを特徴としてい
る。

【００１３】本願の請求項２記載の発明は、２次元の元
画像を元に視点を変化させた変換画像を生成する画像変
換方法において、元画像における注目物体を囲む領域を
設定する領域設定ステップと、元画像における注目物体
を囲む領域内の画素を白くし、注目物体を囲む領域外の
画素を黒くしてマスク画像を生成するマスク画像生成ス
テップと、注目物体を囲む領域内の元画像の画素の輝度
を示す値に予め定められた１未満の係数ｋを乗算し、注
目物体を囲む領域外の画素を元画像の画素とした背景画
像を生成する背景画像生成ステップと、マスク画像と背
景画像とを用いて視点及び注目点を変化させた変換画像
を生成する変換画像生成ステップとを備えたことを特徴
としている。

【００１４】本願の請求項３記載の発明は、２次元の元
画像を元に視点を変化させた変換画像を生成する画像変
換プログラムが記録された記録媒体において、元画像に
おける注目物体を囲む領域を設定する領域設定ステップ
と、元画像における注目物体を囲む領域内の画素を白く
し、注目物体を囲む領域外の画素を黒くしてマスク画像
を生成するマスク画像生成ステップと、注目物体を囲む
領域内の元画像の画素の輝度を示す値に予め定められた
１未満の係数ｋを乗算し、注目物体を囲む領域外の画素
を元画像の画素とした背景画像を生成する背景画像生成
ステップと、マスク画像と前記背景画像とを用いて視点
及び注目点を変化させた変換画像を生成する変換画像生
成ステップとを備えた画像変換プログラムが記録された
ことを特徴としている。

【００１５】

【発明の実施の形態】図１は、本発明の画像変換装置の
一実施例の概略構成を示す模式図である。図１におい
て、画像変換装置は、中央処理装置１０１と記憶装置１
０２とを備えている。画像変換装置には、画像読込装置
１０３、画像表示装置１０４、入力指示装置１０５が接
続されている。

【００１６】中央処理装置１０１は、記憶装置１０２に
接続されており、記憶装置１０２に記憶されている処理
手順にしたがって、記憶装置１０２に記憶されたデータ
の処理が行われる。

【００１７】記憶装置１０２は、磁気ディスクドライブ
や光ディスクドライブなどであり、画像読込処理手順、
領域設定処理手順、マスク画像生成処理手順、背景画像
生成処理手順、変換画像生成処理手順を記憶している。
また、記憶装置１０２は、画像読込装置１０３により読
み込まれた画像データや領域情報なども記憶する。

【００１８】画像読込装置１０３は、光ディスクドライ
ブやスキャナなどであり、画像データが記録された記録
媒体を再生して画像データを読み込んだり、スキャナ等
を用いて２次元画像から画像データを読みとる。

【００１９】画像表示装置１０３は、例えばモニターな
どであり、読み込まれた画像情報を表示したり、各処理
工程や処理結果を表示する。

【００２０】入力指示装置１０５は、例えば、少なくと
も一つのボタンを備えたマウスやキーボードなどであ
り、入力指示装置１０５を操作することにより、画像表
示装置１０４上に表示される矢印が移動し、現在の位置
情報、ボタンの状態等を中央処理装置１０１に通知す
る。

【００２１】画像変換方法における処理動作について説
明する。図２は、本実施例の画像変換装置の画像変換処
理手順を示すフローチャートである。図２において、中
央処理装置１０１は、画像読込処理手順にしたがい元画
像を読み込み、画像表示装置１０４に読み込んだ元画像
を表示させる（ステップ２０１）。

【００２２】中央処理装置１０１は、ユーザが入力指示
装置１０５を操作することによって、領域設定処理手順
にしたがい、注目物体の領域を設定する（ステップ２０
２）。

【００２３】中央処理装置１０１は、マスク画像生成処
理手順にしたがい、注目物体を元画像から抜き出すため
に必要なマスク画像を生成する（ステップ２０３）。

【００２４】中央処理装置１０１は、背景画像生成処理
手順にしたがい、注目物体の背後の画像となる背景画像
を生成する（ステップ２０４）。

【００２５】中央処理装置１０１は、生成されたマスク
画像及び背景画像を用いて、視点及び注目点を変化させ
た変換画像を生成する（ステップ２０５）。

【００２６】本実施例の画像変換装置における各処理手
順について説明する。図３は、本実施例の画像変換装置
の画像読込処理手順を示すフローチャートである。図３
において、画像読込装置１０３から画像データが読み込
まれると（ステップ３０１）、中央処理装置１０１は、
画像データを記憶装置１０２に記憶させ（ステップ３０
２）、読み込んだ画像データを画像表示装置１０４に表
示させる（ステップ３０３）。

【００２７】図４は、本実施例の画像変換装置の領域設
定処理手順を示すフローチャートである。図５は、本実
施例の画像変換装置の領域設定処理手順を説明するため
の模式図である。図４において、ユーザが入力指示装置
１０５を操作し、図５に示すような画像表示装置１０４
に表示された元画像のうち、立体的に表示させたい注目
物体５０１の左上に矢印５０２を移動させ、その位置で
ボタンを押すことによって、図５（ａ）に示す領域の開
始点を設定する（ステップ４０１）。

【００２８】ボタンを押したまま矢印５０２を移動させ
ると（以下、「ドラッグする」という。）、図５（ｂ）
に示すように前記開始点から現在の位置までを終端とす
る矩形領域が設定され、画像表示装置に表示される（ス
テップ４０２）。

【００２９】ユーザは、入力指示装置１０５を操作し
て、図５（ｃ）に示すように、矩形領域が注目物体５０
１を完全に囲むようにする（ステップ４０３）。

【００３０】そして、注目物体５０１を矩形領域で囲ん
だ後、矢印５０２を移動し、図５（ｄ）に示すように、
頂点を結ぶ線上を選択してボタンを押して頂点の数を増
やし、図５（ｅ）に示すように、領域が注目物体５０１
の形状と同様の形状となるように設定する（ステップ４
０４）。領域の設定は、各頂点を結ぶ曲線を用いて注目
物体５０１を囲み設定するようにしてもよい。この領域
に関する情報、例えば頂点の位置情報等は、記憶装置１
０２に記憶される。

【００３１】ユーザにより設定された領域は、画像表示
装置１０４に元画像に重ねて表示される（ステップ４０
５）。

【００３２】図６は、本実施例の画像変換装置のマスク
画像生成処理手順を示すフローチャートである。図７
は、本実施例の画像変換装置のマスク画像を説明するた
めの模式図である。図６において、中央処理装置１０１
は、図７（ａ）に示す画像について、記憶装置１０２に
記憶された領域情報を参照して注目物体７０１を囲む領
域内の画素を白くする（ステップ６０１）。

【００３３】ここで、注目物体７０１を囲む領域内の画
素の白さ、又は、画素の色情報、又は、画素の輝度情報
は、ユーザが設定できるようにしてもよい。

【００３４】中央処理装置１０１は、注目物体７０１を
囲む領域外の画素を黒くすることによって、図７（ｂ）
に示すようなマスク画像を生成し、記憶装置１０２に記
憶する（ステップ６０２）。

【００３５】図８は、本実施例の画像変換装置における
背景画像生成処理手順を示すフローチャートである。図
８において、中央処理装置１０１は、記憶装置１０２に
記憶された領域情報を参照して、注目物体７０１を囲む
領域内の画素を予め設定された１未満の係数ｋを、注目
物体７０１を囲む領域内に対応する元画像上の画素の
値、すなわち注目物体７０１の画素の値に乗算し、注目
物体の背後の画素の画素値とする（ステップ８０１）。

【００３６】ここで、画素は、Ｒ、Ｇ、Ｂにより表さ
れ、Ｒ、Ｇ、Ｂの割合によりその画素の色が決まる。ま
た、Ｒ、Ｇ、Ｂの値を合計した値が、その画素の輝度と
なる。つまり、画素に対し係数ｋ＝１を乗算した場合
は、元の画素と同じ画素値となり、例えば係数ｋ＝０．
８の場合、Ｒ、Ｇ、Ｂの各画素の値に０．８を乗算する
ため、輝度が低い画素となる。

【００３７】したがって、注目物体７０１を囲む領域内
に１未満の係数ｋを乗算した場合、当該領域は、輝度が
低く暗い画素となり、図７（ｃ）に示すように、注目物
体の影のような画像となる。

【００３８】元画像の輝度が高い画像（明るい画像）の
場合、係数ｋの値を低くした方が注目物体の影らしく見
え、元画像の輝度が低い画像（暗い画像）の場合、係数
ｋの値を低くしなくても注目物体の影らしく見える。係
数ｋの値は、ユーザが１未満の範囲で任意に設定でき
る。また、注目物体を囲む領域内の画素の色情報又は輝
度情報に基づいて明暗をつけることにより、背景画像を
生成するようにしてもよい。

【００３９】注目物体７０１を囲む領域外の画素を元画
像と同じ値にすることによって背景画像を生成し、記憶
装置に記憶させる（ステップ８０２）。

【００４０】次に、変換画像生成処理手順により、作成
された図７（ｂ）に示すマスク画像と図７（ｃ）に示す
背景画像とを用いて、２次元の元画像のアングルを変え
た画像に変換することによって、図７（ｄ）に示すよう
な変換画像が得られる。

【００４１】図７（ｃ）において、アングルを徐々に変
化させると、注目物体の背後の画像が現れてくるが、注
目物体の背後の画像が注目物体の影のように見え、違和
感のない自然な画像を簡単に得ることができる。

【００４２】マスク画像生成処理手順及び背景画像生成
処理手順において、平滑フィルタを用いて、マスク画像
及び背景画像の境界が目立たないように処理してもよ
い。

【００４３】

【発明の効果】本発明によれば、一枚の元画像から、簡
単にマスク画像と背景画像を生成し、違和感の内自然な
背景画像を生成することができる。

【図面の簡単な説明】

【図１】本発明の画像変換装置の一実施例の概略構成を
示す模式図である。

【図２】本実施例の画像変換装置の画像変換処理手順を
示すフローチャートである。

【図３】本実施例の画像変換装置の画像読込処理手順を
示すフローチャートである。

【図４】本実施例の画像変換装置の領域設定処理手順を
示すフローチャートである。

【図５】本実施例の画像変換装置の領域設定処理手順を
説明するための模式図である。

【図６】本実施例の画像変換装置のマスク画像生成処理
手順を示すフローチャートである。

【図７】本実施例の画像変換装置のマスク画像を説明す
るための模式図である。

【図８】本実施例の画像変換装置における背景画像生成
処理手順を示すフローチャートである。

【符号の説明】

１０１・・・中央処理装置、１０２・・・記憶装置、１
０３・・・画像読込装置、１０４・・・画像表示装置、
１０５・・・ポインティング装置、５０１・・・注目物
体、５０２・・・矢印、７０１・・・注目物体。

フロントページの続き Ｆターム(参考） 5B050 AA09 BA06 BA09 BA12 BA15 CA07 EA03 EA13 EA15 EA19 EA23 EA30 FA02 FA16 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CD11 CE05 CE11 5C023 AA16 BA11 CA03 CA08 DA04 5C076 AA02 AA11 AA23 BA06 CA02 CA12 5L096 AA02 AA06 BA08 CA24 DA01 GA10 MA03

Claims (3)

【特許請求の範囲】
1. 【請求項１】２次元の元画像を元に任意の視点から見た
   変換画像を生成する画像変換装置において、前記元画像
   における注目物体を囲む領域を設定する領域設定手段
   と、前記元画像における前記注目物体を囲む領域内の画
   素を白くし前記注目物体を囲む領域外の画素を黒くして
   マスク画像を生成するマスク画像生成手段と、前記注目
   物体を囲む領域内の元画像の個々の画素の輝度を示す値
   に予め定められた１未満の係数ｋを乗算し、前記注目物
   体を囲む領域外の画素を前記元画像の画素とした背景画
   像を生成する背景画像生成手段と、前記マスク画像と前
   記背景画像とを用いて視点を変化させた変換画像を生成
   する変換画像生成手段とを備えたことを特徴とする画像
   変換装置。
2. 【請求項２】２次元の元画像を元に任意の視点から見た
   変換画像を生成する画像変換方法において、前記元画像
   における注目物体を囲む領域を設定する領域設定ステッ
   プと、前記元画像における注目物体を囲む領域内の画素
   を白くし前記注目物体を囲む領域外の画素を黒くしてマ
   スク画像を生成するマスク画像生成ステップと、前記注
   目物体を囲む領域内の元画像の個々の画素の輝度を示す
   値に予め定められた１未満の係数ｋを乗算し、前記注目
   物体を囲む領域外の画素を元画像の画素とした背景画像
   を生成する背景画像生成ステップと、前記マスク画像と
   前記背景画像とを用いて視点を変化させた変換画像を生
   成する変換画像生成ステップとを備えたことを特徴とす
   る画像変換方法。
3. 【請求項３】２次元の元画像を元に任意の視点から見た
   変換画像を生成する画像変換プログラムが記録された記
   録媒体において、前記元画像における注目物体を囲む領
   域を設定する領域設定ステップと、前記元画像における
   注目物体を囲む領域内の画素を白くし、前記注目物体を
   囲む領域外の画素を黒くしてマスク画像を生成するマス
   ク画像生成ステップと、前記注目物体を囲む領域内の元
   画像の個々の画素の輝度を示す値に予め定められた１未
   満の係数ｋを乗算し、前記注目物体を囲む領域外の画素
   を元画像の画素とした背景画像を生成する背景画像生成
   ステップと、前記マスク画像と前記背景画像とを用いて
   視点を変化させた変換画像を生成する変換画像生成ステ
   ップとを備えた画像変換プログラムが記録されたことを
   特徴とする記録媒体。