JP2010199898A - 画像処理装置、撮像装置、画像生成方法、および、プログラム - Google Patents

Abstract

【課題】撮像画像から３次元画像を生成する。
【解決手段】検出部４００は、撮像部１００の撮像動作時における撮像位置と撮像方向を検出する。制御部２１０は、記憶部２５０に格納されている数値地図データから、撮像位置に対応する数値地図データを取得し、検出された撮像方向に基づいて、撮像画像と同じアングルとなる３次元モデリングデータを生成する。制御部２１０は、生成された３次元モデリングデータに基づいて、撮像画像からオブジェクト画像を抽出し、３次元モデリングデータにマッピングすることで、撮像画像を用いた３次元画像を生成する。制御部２１０は、撮像時の光源方向などを特定して照光条件として記録し、生成した３次元画像で視点変更をおこなう際は、照光条件に基づいて照光状態を計算してレンダリングする。
【選択図】図１

Description

本発明は、画像処理装置、撮像装置、画像生成方法、および、プログラムに関し、特に、３次元画像の生成に好適な画像処理装置、撮像装置、画像生成方法、および、プログラムに関する。

ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などのイメージセンサを用いて撮像画像を生成するデジタルカメラが広く普及している。

デジタルカメラにおいては、撮像画像がデジタルデータとして得られるため、撮像時に種々の画像処理をおこなうことができる（例えば、特許文献１）。

特開平１１−３５５７０５号公報

しかしながら、従来のデジタルカメラにおいては、レンズを通して得られた被写体像を平面のイメージセンサに結像させることで撮像画像を生成しているため、被写体に対しての距離情報がない。このため、一般的な単眼のデジタルカメラで撮像した画像から立体画像（３次元画像）を生成することができなかった。

本発明は、上記実状に鑑みてなされたものであり、撮像画像から３次元画像を生成することのできる画像処理装置、撮像装置、画像生成方法、および、プログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点にかかる画像処理装置は、
撮像動作によって生成された撮像画像を取得する撮像画像取得手段と、
前記撮像動作時の位置と方向を示す位置情報と方向情報とを取得し、前記撮像画像取得手段が取得した前記撮像画像に対応づけて記録する撮像時情報取得手段と、
前記撮像画像に対応づけられている前記位置情報に基づいて、撮像場所の数値地図データを取得する地図情報取得手段と、
前記撮像画像に対応づけられている前記位置情報および前記方向情報と、前記地図情報取得手段が取得した前記数値地図データと、に基づいて、当該撮像画像に相当する３次元モデリングデータを生成するモデリング手段と、
前記モデリング手段が生成した３次元モデリングデータに前記撮像画像をマッピングして３次元画像を生成する３次元画像生成手段と、
を備えることを特徴とする。

上記画像処理装置において、
前記３次元画像生成手段は、
前記撮像画像を構成しているオブジェクトを検出するオブジェクト検出手段と、
前記オブジェクト検出手段が検出したオブジェクトを示すオブジェクト画像を当該撮像画像から抽出するオブジェクト画像抽出手段と、
をさらに備えていることが望ましく、この場合、
前記オブジェクト画像抽出手段が抽出したオブジェクト画像を前記３次元モデリングデータにマッピングすることで前記３次元画像を生成することが望ましい。

上記画像処理装置において、
前記３次元画像生成手段は、
前記撮像動作時の照光条件を特定する照光条件特定手段と、
前記照光条件特定手段が特定した照光条件に基づいて、前記３次元モデリングデータにマッピングさせる画像を加工する画像加工手段と、をさらに備えていることが望ましい。

上記目的を達成するため、本発明の第２の観点にかかる撮像装置は、
撮像時の位置を検出する位置検出手段と、
撮像時の方向を検出する方向検出手段と、
前記位置検出手段が検出した位置を示す位置情報と、前記方向検出手段が検出した方向を示す方向情報とを、当該撮像によって得られた撮像画像と対応づけて記憶する記憶手段と、
前記撮像画像に対応づけられた前記位置情報に基づいて、撮像場所の数値地図データを取得する地図情報取得手段と、
前記撮像画像に対応づけられた前記位置情報および前記方向情報と、前記地図情報取得手段が取得した数値地図データと、に基づいて、当該撮像画像に相当する３次元モデリングデータを生成し、該３次元モデリングデータに当該撮像画像をマッピングして３次元画像を生成する３次元画像生成手段と、
を備えることを特徴とする。

上記撮像装置は、
前記数値地図データを格納する地図情報格納手段をさらに備えていることが望ましく、この場合、
前記地図情報取得手段は、前記地図情報格納手段から数値地図データを取得することが望ましい。

上記撮像装置において、
前記３次元画像生成手段は、前記撮像画像を構成しているオブジェクトを検出して抽出し、該抽出したオブジェクト画像を前記３次元モデリングデータにマッピングして前記３次元画像を生成することが望ましい。

上記撮像装置において、
前記３次元画像生成手段は、撮像時の照光条件に基づいて、前記３次元モデリングデータにマッピングさせる画像を加工することが望ましい。

上記目的を達成するため、本発明の第３の観点にかかる画像生成方法は、
画像処理装置が３次元画像を生成するための画像生成方法であって、
前記画像処理装置が、
撮像動作によって生成された撮像画像を取得する撮像画像取得ステップと、
前記撮像動作時の位置を示す位置情報と方向を示す方向情報とを取得し、前記撮像画像取得ステップで取得された前記撮像画像に対応づけて記録する撮像時情報取得ステップと、
前記撮像画像に対応づけられている前記位置情報に基づいて、撮像場所の数値地図データを取得する地図情報取得ステップと、
前記撮像画像に対応づけられている前記位置情報および前記方向情報と、前記地図情報取得ステップで取得された前記数値地図データとに基づいて、当該撮像画像に相当する３次元モデリングデータを生成するモデリングステップと、
前記モデリングステップで生成された３次元モデリングデータに前記撮像画像をマッピングして３次元画像を生成する３次元画像生成ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明の第４の観点にかかるプログラムは、
撮像装置によって得られた撮像画像に画像処理をおこなう画像処理装置を制御するコンピュータに、
撮像動作によって生成された撮像画像を取得する機能と、
前記撮像動作時の位置を示す位置情報と方向を示す方向情報とを取得し、前記取得した撮像画像に対応づけて記録する機能と、
前記撮像画像に対応づけられている前記位置情報に基づいて、撮像場所の数値地図データを取得する機能と、
前記撮像画像に対応づけられている前記位置情報および前記方向情報と、該取得された前記数値地図データと、に基づいて、当該撮像画像に相当する３次元モデリングデータを生成する機能と、
該生成された３次元モデリングデータに前記撮像画像をマッピングして３次元画像を生成する機能と、
を実行させることを特徴とする。

上記目的を達成するため、本発明の第５の観点にかかるプログラムは、
撮像時の位置と方向を検出する検出手段を備えた撮像装置を制御するコンピュータに、
前記検出手段が検出した位置および方向を示す位置情報および方向情報を、当該撮像によって得られた撮像画像と対応づけて記憶装置に記憶させる機能と、
前記撮像画像に対応づけられた前記位置情報に基づいて、撮像場所の数値地図データを取得する機能と、
前記撮像画像に対応づけられた前記位置情報および前記方向情報と、前記取得された数値地図データと、に基づいて、当該撮像画像に相当する３次元モデリングデータを生成する機能と、
該生成された３次元モデリングデータに前記撮像画像をマッピングして３次元画像を生成する機能と、
を実現させることを特徴とする。

本発明によれば、撮像画像から３次元画像を生成することができる。

本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。 図１に示す制御部によって実現される機能を示す機能ブロック図である。 本発明の実施形態にかかる「撮像時３Ｄ画像生成処理」を説明するためのフローチャートである。 図３に示す「撮像時３Ｄ画像生成処理」で処理される画像の例を示す図であり、（ａ）は撮像画像の例を示し、（ｂ）は生成されたモデリングデータの例を示す。 図３に示す「撮像時３Ｄ画像生成処理」で抽出されるオブジェクト画像を説明するための図であり、（ａ）は撮像画像の例を示し、（ｂ）〜（ｄ）は撮像画像から抽出されたオブジェクト画像の例を示す。

本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルスチルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。

図１は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像部１００、データ処理部２００、インタフェース（Ｉ／Ｆ）部３００、検出部４００、などである。

撮像部１００は、デジタルカメラ１の撮像動作をおこなう部分であり、図１に示すように、光学装置１１０やイメージセンサ部１２０などから構成されている。

光学装置１１０は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置１１０の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピードなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。なお、光学装置１１０に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置１１０にシャッタ機構が含まれていなくてもよい。また、光学装置１１０は、後述する制御部２１０による制御によって動作する。

イメージセンサ部１２０は、光学装置１１０によって集光された入射光に応じた電気信号を生成する、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）などのイメージセンサから構成される。イメージセンサ部１２０は、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部２００に出力する。

データ処理部２００は、撮像部１００による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図１に示すように、データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０、などから構成される。

制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２５０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現される。

画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）などから構成され、イメージセンサ部１２０によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。

すなわち、イメージセンサ部１２０から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンがいわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。

画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリなどの記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データなどを一時的に格納する。

画像出力部２４０は、例えば、ＲＧＢ信号の生成回路などから構成され、画像メモリ２３０に展開された画像データをＲＧＢ信号などに変換して表示画面（後述する表示部３１０など）に出力する。

記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２５０に格納されているものとする。

外部記憶部２６０は、例えば、メモリカードなどといった、デジタルカメラ１に着脱可能な記憶装置から構成され、デジタルカメラ１で撮像した画像データなどを格納する。

インタフェース部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図１に示すように、表示部３１０、外部インタフェース（Ｉ／Ｆ）部３２０、操作部３３０、などから構成される。

表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像、などを表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。

外部インタフェース部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子などから構成され、外部のコンピュータ装置への画像データの出力や、外部のモニタ装置への撮像画像の表示出力などをおこなう。また、外部インタフェース部３２０は、例えば、通信ネットワークを介して外部のコンピュータ装置などと通信するためのインタフェースを備えていてもよい。この場合、例えば、無線ＬＡＮモジュールなどを外部インタフェース部３２０に含めることができ、無線ＬＡＮアクセスポイントとの無線通信によって、インターネットなどに接続できるようにしてもよい。

操作部３３０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３３０を構成するボタンとして、例えば、シャッタ動作を指示するためのシャッタボタンや、デジタルカメラ１のもつ動作モードを指定するためのモードボタン、各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。

検出部４００は、撮像時のデジタルカメラ１の位置および方向を検出するためのものであり、図１に示すように、位置検出部４１０と、方向検出部４２０と、から構成される。

位置検出部４１０は、撮像動作時のデジタルカメラ１の位置を検出するためのものであり、例えば、ＧＰＳ（Global Positioning System：全地球測位システム）モジュールなどから構成される。この場合、位置検出部４１０は、デジタルカメラ１の位置を示す座標情報をＧＰＳ機能によって取得する。

方向検出部４２０は、撮像動作時の撮像方向を検出するためのものであり、例えば、地磁気センサや角速度センサなどを含んだ３軸方位センサから構成され、デジタルカメラ１の撮像方向を検出する。この場合、例えば、地磁気センサなどによって撮像方向となっている方位（方位角）を検出し、角速度センサなどによって撮像方向の上下角度（仰角）を検出する。すなわち、方向検出部４２０によって、デジタルカメラ１の撮像方向が３次元方向で検出される。この場合、光学装置１１０を構成しているレンズの光軸方向が検出されるよう設定されているものとする。

このような構成のデジタルカメラ１においては、記憶部２５０に格納されている動作プログラムを制御部２１０が実行することで、後述する各処理が実現されるが、この場合に制御部２１０によって実現される機能を、図２を参照して説明する。

図２は、制御部２１０によって実現される機能を示した機能ブロック図である。ここでは、デジタルカメラ１の撮像動作で得られた撮像画像から３次元画像を生成する動作を実現するために必要な機能構成を示す。この場合、図示するように、制御部２１０は、動作モード処理部２１１、撮像制御部２１２、検出情報取得部２１３、地図情報取得部２１４、３次元画像生成部２１５、などとして機能する。

動作モード処理部２１１は、表示部３１０との協働により、デジタルカメラ１が有する各種動作モードをデジタルカメラ１のユーザに指定させるために必要な画面表示や指定された動作モード毎の設定画面表示などをおこなう他、操作部３３０との協働により、ユーザが指定した動作モードを認識し、当該動作モードの実行に必要なプログラムや演算式などを記憶部２５０から読み出して制御部２１０の主記憶装置（メモリ）にロードする。本実施形態では、デジタルカメラ１での撮像時に撮像画像から３次元画像（３Ｄ画像）を生成する動作モード（以下、「３Ｄモード」とする）が用意されているものとし、３Ｄモードの選択が動作モード処理部２１１によって認識された場合に、以下の各機能が制御部２１０によって実現される。

撮像制御部２１２は、シャッタボタンが操作されたことによる操作部３３０からの入力信号などに応じて撮像部１００を制御することで、デジタルカメラ１での撮像動作を実行する。ここで、撮像部１００の撮像動作による撮像画像は、画像処理部２２０による処理の後、画像メモリ２３０に展開されるが、撮像画像のファイル形式は、例えば、Exif（Exchangeable Image File Format）であるものとし、撮像画像の画像データとともに撮像動作時のパラメータが記録されるものとする。本実施形態では、少なくとも、撮像画像の画角を示すパラメータ（例えば、レンズ焦点距離）が記録されているものとする。

検出情報取得部２１３は、検出部４００を制御し、３Ｄモード下での撮像動作時に位置検出部４１０と方向検出部４２０を動作させ、それぞれの検出結果を示す検出情報を取得し、撮像画像の画像データと対応づけて記録する。この場合、例えば、Exifフォーマットで記録されるパラメータの一部として記録する。また、検出情報には、撮像時に位置検出部４１０が検出したデジタルカメラ１の位置（緯度・経度）を示す位置情報と、方向検出部４２０が検出した撮像方向を示す方向情報が含まれる。

地図情報取得部２１４は、撮像画像に対応づけられている位置情報に基づいて、特定された撮像位置に対応する数値地図データを取得する。本実施形態では、数値地図データが記憶部２５０に予め格納されているものとし、地図情報取得部２１４は、撮像位置に対応する数値地図データを記憶部２５０から取得する。なお、本実施形態で用いられる数値地図データには、地図画像を示す数値地図データ（例えば、「数値地図２５０００（地図画像）」（国土地理院）など）や、標高データを含んだメッシュデータ（例えば、「数値地図５ｍメッシュ（標高）」（国土地理院）など）が含まれているものとする。

３次元画像生成部２１５は、地図情報取得部２１４が取得した数値地図データと撮像画像を用いて３次元画像を生成する。この場合、３次元画像生成部２１５は、当該撮像画像の撮像時に検出された撮像位置と撮像方向、撮像パラメータが示すレンズ焦点距離などに基づいて、撮像画像と同じアングルとなるモデリングデータ（３次元モデリングデータ）を数値地図データから生成し、撮像画像をマッピングテクスチャとしてモデリングデータにマッピングすることで、撮像画像に対応した３次元画像の生成をおこなう。また、３次元画像生成部２１５は、生成した３次元画像における照光条件を設定し、設定した照光条件に応じたレンダリングなどをおこなう。

以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。この場合、図２に示した機能のうち、画像処理にかかる機能については、画像処理部２２０によって実現されてもよい。

以上説明したデジタルカメラ１の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。

このような構成のデジタルカメラ１による動作を以下に説明する。ここでは、３Ｄモードが選択されている場合に、撮像動作で得られた撮像画像から３次元画像を生成する「撮像時３Ｄ画像生成処理」を、図３に示すフローチャートを参照して説明する。この「撮像時３Ｄ画像生成処理」は、デジタルカメラ１のユーザが操作部３３０を操作することで、デジタルカメラ１の動作モードを３Ｄモードに設定したことを契機に開始される。なお、本実施形態にかかる３次元画像生成は、風景写真のような屋外での撮影によって得られる撮像画像に適用することが好適であるため、本実施形態では、このような撮影の際に３Ｄモードが設定されることを想定する。

処理が開始されると、動作モード処理部２１１により、３Ｄモードが設定された旨が検出情報取得部２１３に通知される。そして、デジタルカメラ１のユーザによるシャッタボタンの操作で生成された入力信号が制御部２１０に入力されると（ステップＳ１０１：Ｙｅｓ）、撮像制御部２１２は、撮像部１００を制御して撮像動作を実行させる。撮像部１００の撮像動作で生成された電気信号が画像処理部２２０での処理を経ることで撮像画像が生成され、画像メモリ２３０に展開される（ステップＳ１０２）。

ここで、シャッタ操作を検出したと同時に、撮像制御部２１２は、その旨を検出情報取得部２１３に通知する。撮像制御部２１２からの通知に応じて、検出情報取得部２１３は、検出部４００の位置検出部４１０と方向検出部４２０を制御し、シャッタ操作がなされた時点でのデジタルカメラ１の位置と方向を検出させ、検出結果を示す位置情報と方向情報とを取得する（ステップＳ１０３）。

検出情報取得部２１３は、検出部４００から位置情報と方向情報を検出すると、画像メモリ２３０に展開されている撮像画像にこれらを対応づける（ステップＳ１０４）。ここでは、例えば、撮像画像のExifデータとして位置情報と方向情報を付加する。

撮像時の位置と方向を示した位置情報と方向情報を取得すると、検出情報取得部２１３は、その旨を地図情報取得部２１４に通知する。ここでは、例えば、当該撮像画像を特定する情報（ファイル名など）を地図情報取得部２１４に通知する。

地図情報取得部２１４は、検出情報取得部２１３からの通知に応じて画像メモリ２３０に展開されている当該撮像画像にアクセスし、この撮像画像に対応づけられている位置情報を参照する。本実施形態では、ＧＰＳによって位置検出をおこなっているので、記録された位置情報は、撮像時におけるデジタルカメラ１の緯度・経度を示している。地図情報取得部２１４は、記憶部２５０に格納されている数値地図データにアクセスし、参照した位置情報（緯度・経度）に対応する数値地図データを取得し、例えば、制御部２１０のメモリに展開する（ステップＳ１０５）。

ここで、数値地図データには標高データが含まれているため、特定された緯度・経度が示す地点の標高も特定することができるので、地図情報取得部２１４は、このようにして特定した標高情報を、撮像画像に対応づけられている位置情報に追加する。すなわち、３次元空間座標を示す位置情報によって撮像位置（地点）が示されることになる。

撮像位置の数値地図データを取得すると、地図情報取得部２１４は、その旨を３次元画像生成部２１５に通知する。この場合、地図情報取得部２１４は、例えば、取得した数値地図データと特定するためのメモリ上のアドレスなどを３次元画像生成部２１５に通知する。

３次元画像生成部２１５は、地図情報取得部２１４から通知された数値地図データを使ったモデリングをおこなう。この場合、３次元画像生成部２１５は、３次元画像生成にかかる既知の手法によってモデリングをおこなうことで、例えば、ポリゴンモデリングなどによるモデリングデータ（３次元モデリングデータ）を生成する。

モデリングをおこなうにあたり、３次元画像生成部２１５は、撮像画像に対応づけられている方向情報、および、撮像パラメータとして記録されている画角を示す情報（レンズ焦点距離など）を、パラメータとして３次元モデリングデータを生成する（ステップＳ１０６）。

つまり、撮像位置（地点）を示す３次元座標を、数値地図データによって再現される疑似３次元空間内にあてはめ、そこから、方向情報が示す方向で撮像時の画角となるよう視点を設定することで、撮像画像と同じアングルとなるモデリングデータが生成される。例えば、図４（ａ）に示すような撮像画像である場合、この撮像時に得られた位置情報、方向情報、および、画角のパラメータから生成されるモデリングデータは、図４（ｂ）に示すような撮像画像と同じアングルのものとなる。

このように生成されたモデリングデータは、数値地図データから生成されているので、モデリングデータ内では各種のオブジェクト（例えば、山岳、河川、湖沼などのような地形を形成している自然物、建造物や道路などのような地図情報として含まれうる人工物など）が識別可能となっている。ここで、図４に示したように、撮像画像と同じアングルとなるモデリングデータを生成しているので、モデリングデータを２次元平面上に投影した画像と撮像画像との間で、画像サイズや解像度を同一にしたり、画像間で座標変換をおこなったりすることで、同じ座標系で処理することができる。このため、モデリングデータ上で認識されるオブジェクトに対応する部分を撮像画像上で特定することができる。

３次元画像生成部２１５は、このような方法によって撮像画像上でオブジェクト部分を特定すると、各オブジェクトを示す画像領域（オブジェクト画像）を抽出する（ステップＳ１０７）。抽出されるオブジェクト画像の例を図５に示す。図示するように、図５（ａ）に示す撮像画像から、図５（ｂ）〜図５（ｄ）に示すようなオブジェクト画像が抽出される。ここで、オブジェクト画像の抽出では、輝度情報などに基づいて範囲選択をおこなう既知の手法（例えば、フラッドフィルなど）を用い、モデリングデータから特定された各オブジェクトの座標位置での範囲選択をおこなう。

このようにして撮像画像からオブジェクト画像を抽出すると、３次元画像生成部２１５は、抽出したオブジェクト画像をマッピングテクスチャとするマッピングをおこなう。すなわち、ステップＳ１０６で生成したモデリングデータ（図４（ｂ））に、ステップＳ１０７で撮像画像から抽出したオブジェクト画像をマッピングする（ステップＳ１０８）。これにより、撮像画像を用いた３Ｄ画像（３次元画像）が生成される。

このように生成された３Ｄ画像は、撮像画像と同じアングルとなるモデリングデータに撮像画像をマッピングしたものであるから、マッピングされた画像は、撮像時の照光状態（光源方向や減衰など）が反映されたものである。

一方で、モデリングデータにマッピングテクスチャをマッピングするという一般的な３次元コンピュータグラフィクスの手法で生成されているので、各種のパラメータを変更することで、生成した３Ｄ画像の視点を変更することもできる。

視点を変更した場合、光源方向なども変化するため、基準となる照光条件を設定する。ここでは、３次元画像生成部２１５が、撮像時の照光条件を設定し、生成した３Ｄ画像と対応づけて記録する（ステップＳ１０９）。

本実施形態では、風景写真のような屋外での撮影によって得られた撮像画像を想定しているので、光源を太陽とする。よって、照光条件には、撮像時の太陽方向（方位角および仰角）を設定する。太陽の方向は、地球上の位置（緯度・経度）、年月日、時刻から求めることができるので、本処理で取得した位置情報（緯度・経度）と、Exifデータなどに通常記録される撮像日時情報に基づいて、撮像時の太陽方向を求めることができる。

本実施形態では、緯度・経度、年月日、時刻から太陽方向を算出するための演算式が記憶部２５０に予め格納されているものとし、３次元画像生成部２１５は、位置情報が示す緯度・経度と撮像日時をこの演算式にあてはめて演算することで、撮像時の太陽方向を特定し、照光条件として設定する。

ここで、ステップＳ１０８で生成した３Ｄ画像をデジタルカメラ１のユーザに視認させるため、３次元画像生成部２１５は、生成した３Ｄ画像を表示部３１０に表示させる。この場合、表示部３１０には、３Ｄ画像とともに、例えば、操作部３３０の十字キーなどで操作可能なスライダバーなどを表示する。このスライダバーは、表示された３Ｄ画像の視点変更を指示するためのもので、ユーザが視点変更を所望する場合には、操作部３３０を操作することでスライダバーを動かし、視点変更にかかる方向や移動量などを入力する。

このような操作にかかる入力信号が操作部３３０から制御部２１０に入力された場合、３次元画像生成部２１５は、視点変更操作がなされたと判別する（ステップＳ１１０：Ｙｅｓ）。この場合、３次元画像生成部２１５は、入力された視点変更の方向や移動量に応じて、モデリングデータのパラメータを変更し、指定された視点からのモデリングデータに変化させる。そして、変化させたモデリングデータに、ステップＳ１０７で抽出したオブジェクト画像をマッピングすることで３次元画像を生成するが、当初は撮像位置であった視点位置が変わったので、照光状態も変化している。

よって、３次元画像生成部２１５は、ステップＳ１０９で設定した照光条件に基づいて、視点変更後の３Ｄ画像における照光パラメータを変更してレンダリングをおこなう（ステップＳ１１１）。この場合、照光条件として、撮像時の太陽方向が記録されているので、３次元画像生成部２１５は、視点変更による撮像方向に基づいて、当該３Ｄ画像での太陽方向を算出する。

また、オブジェクト画像の抽出において、数値地図データから生成したモデリングデータからオブジェクトを認識していたので、モデリングデータの３次元座標空間における視点からオブジェクトまでの距離を算出することができる。よって、３次元画像生成部２１５は、変更した視点から各オブジェクトまでの距離をモデリングデータの３次元空間座標から算出する。

このようにして、視点変更後の３Ｄ画像における光源方向と、各オブジェクトまでの距離が算出されるので、３次元画像生成部２１５は、視点変更後のモデリングデータ上で、変更された光源方向と各オブジェクトまでの距離をパラメータとしたレンダリングをおこなうことで、マッピングする画像に対する照光状態を計算する。

３次元画像生成部２１５は、計算した照光状態に応じて、マッピングするオブジェクト画像を加工する。この場合、各オブジェクト画像の輝度を変えることなどにより、視点変更後の照光状態を反映したマッピングテクスチャとする。

３次元画像生成部２１５は、このように加工したオブジェクト画像をマッピングすることで、ユーザが指定した視点からの３Ｄ画像を生成する。この場合も、撮像画像から抽出したオブジェクト画像をマッピングテクスチャとしているので、撮像画像を用いつつ、撮像時とは異なるアングルからの３Ｄ画像が生成されることになる。

このように、任意の視点変更指示に応じてパラメータを変更することで、あらゆるアングルからの３Ｄ画像とすることができる。よって、ユーザは、３Ｄ画像とともに表示されるスライダバーなどを随時操作することで、視点変化を何度でもおこなうことができる。

ここで、生成した３Ｄ画像を保存する指示をユーザがおこなうまで、視点変更可能な状態とする（ステップＳ１１２：Ｎｏ）。そして、ユーザが操作部３３０を操作することなどによって、３Ｄ画像の保存を指示した場合（ステップＳ１１２：Ｙｅｓ）、３次元画像生成部２１５は、生成した３Ｄ画像を外部記憶部２６０などに保存する（ステップＳ１１３）。この場合、ステップＳ１０９で設定した照光条件を３Ｄ画像に対応づけて保存する。また、画像メモリ２３０に展開した撮像画像も、対応づけられている位置情報および方向情報とともに、３Ｄ画像と対応づけて外部記憶部２６０に保存する。

このようにして、撮像動作で得た撮像画像について、当該撮像画像を用いて生成した３Ｄ画像と当該撮像画像とが外部記憶部２６０に保存された後、所定の終了イベント（例えば、３Ｄモードの解除など）がなければ（ステップＳ１１４：Ｎｏ）、ステップＳ１０１以降の処理が繰り返しおこなわれ、次の撮像動作にかかる３Ｄ画像の生成がおこなわれる。

そして、終了イベントの発生により本処理を終了する（ステップＳ１１４：Ｙｅｓ）。

以上説明したように、本発明を上記実施形態の如く適用することにより、撮像画像を用いた３次元画像の生成が実現される。

この場合において、撮像画像とともに撮像位置や撮像方向を示す情報を取得することで、数値地図データを用いて撮像画像と同じアングルとなるモデリングをおこなうことができ、このモデリングデータに撮像画像をマッピングすることで、あたかも撮像画像を立体表示したような３次元画像を生成することができる

ここで、撮像画像をマッピングする際、撮像画像から抽出したオブジェクト画像をマッピングすることが望ましい。これにより、オブジェクト毎に撮影距離を算出することができるので、視点変更時にオブジェクト毎に照光状態を設定することができ、実際の撮像画像とは異なるアングルにした場合でも、適切なレンダリングをおこなうことができる。

また、太陽を光源としている場合、撮像画像について取得された位置情報や方向情報、撮像日時などに基づいて撮像画像における光源方向を特定することができるので、このような撮像時の照光条件を特定することで、生成した３次元画像の視点を変化させた場合などでも、照光が適切になされた３次元画像とすることができる。

そして、撮像時の撮像位置や撮像方向を検出するＧＰＳやセンサを搭載した撮像装置とすることで、撮像画像を用いた３次元画像を撮像したその場で生成することができる。

この場合、３次元画像の生成に用いる数値地図データを撮像装置内に予め格納しておくことで、より短時間に３次元画像を生成することができる。

上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。

例えば、上記実施形態では、記憶部２５０に予め格納してある数値地図データから、撮像位置に対応する数値地図データを取得するものとしたが、インターネットなどの通信ネットワークと接続することのできる撮像装置である場合、通信ネットワークを介した通信によって、外部装置から数値地図データを取得するようにしてもよい。

また、本発明を上記実施形態で例示したデジタルカメラ１のような撮像装置で実現する場合においては、本発明にかかる構成や機能を予め備えた撮像装置として提供できる他、制御部２１０の各機能と同様の機能を実現するプログラムを適用することにより、既存の撮像装置を本発明にかかる撮像装置をして機能させることもできる。この場合、撮像時の撮像位置および撮像方向を検出する機能を有する撮像装置であれば、本発明の適用により、撮像画像を用いた３次元画像生成をおこなうことができる。

また、上記実施形態では、撮像装置として本発明を実現した場合を例示したが、撮像機能のない装置（例えば、パーソナルコンピュータなど）として本発明の画像処理装置を実現してもよい。

すなわち、上記実施形態では、本発明を撮像装置として実現した場合を例示したが、撮像時の撮像位置と撮像方向を示す情報を撮像画像とともに取得することができるのであれば、撮像装置以外の装置に本発明を適用することができる。

この場合も、プログラムを適用することで、既存の装置を本発明にかかる画像処理装置として機能させることができる。

このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

１…デジタルカメラ、１００…撮像部、１１０…光学装置、１２０…イメージセンサ部、２００…データ処理部、２１０…制御部、２１１…動作モード処理部、２１２…撮像制御部、２１３…検出情報取得部、２１４…地図情報取得部、２１５…３次元画像生成部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…記憶部、２６０…外部記憶部、３００…インタフェース部、３１０…表示部、３２０…外部インタフェース部、３３０…操作部、４００…検出部、４１０…位置検出部、４２０…方向検出部

Claims (10)

1. 撮像動作によって生成された撮像画像を取得する撮像画像取得手段と、
   前記撮像動作時の位置と方向を示す位置情報と方向情報とを取得し、前記撮像画像取得手段が取得した前記撮像画像に対応づけて記録する撮像時情報取得手段と、
   前記撮像画像に対応づけられている前記位置情報に基づいて、撮像場所の数値地図データを取得する地図情報取得手段と、
   前記撮像画像に対応づけられている前記位置情報および前記方向情報と、前記地図情報取得手段が取得した前記数値地図データと、に基づいて、当該撮像画像に相当する３次元モデリングデータを生成するモデリング手段と、
   前記モデリング手段が生成した３次元モデリングデータに前記撮像画像をマッピングして３次元画像を生成する３次元画像生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記３次元画像生成手段は、
   前記撮像画像を構成しているオブジェクトを検出するオブジェクト検出手段と、
   前記オブジェクト検出手段が検出したオブジェクトを示すオブジェクト画像を当該撮像画像から抽出するオブジェクト画像抽出手段と、
   をさらに備え、
   前記オブジェクト画像抽出手段が抽出したオブジェクト画像を前記３次元モデリングデータにマッピングすることで前記３次元画像を生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記３次元画像生成手段は、
   前記撮像動作時の照光条件を特定する照光条件特定手段と、
   前記照光条件特定手段が特定した照光条件に基づいて、前記３次元モデリングデータにマッピングさせる画像を加工する画像加工手段と、をさらに備える、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 撮像時の位置を検出する位置検出手段と、
   撮像時の方向を検出する方向検出手段と、
   前記位置検出手段が検出した位置を示す位置情報と、前記方向検出手段が検出した方向を示す方向情報とを、当該撮像によって得られた撮像画像と対応づけて記憶する記憶手段と、
   前記撮像画像に対応づけられた前記位置情報に基づいて、撮像場所の数値地図データを取得する地図情報取得手段と、
   前記撮像画像に対応づけられた前記位置情報および前記方向情報と、前記地図情報取得手段が取得した数値地図データと、に基づいて、当該撮像画像に相当する３次元モデリングデータを生成し、該３次元モデリングデータに当該撮像画像をマッピングして３次元画像を生成する３次元画像生成手段と、
   を備えることを特徴とする撮像装置。
5. 前記数値地図データを格納する地図情報格納手段をさらに備え、
   前記地図情報取得手段は、前記地図情報格納手段から数値地図データを取得する、
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記３次元画像生成手段は、前記撮像画像を構成しているオブジェクトを検出して抽出し、該抽出したオブジェクト画像を前記３次元モデリングデータにマッピングして前記３次元画像を生成する、
   ことを特徴とする請求項４または５に記載の撮像装置。
7. 前記３次元画像生成手段は、撮像時の照光条件に基づいて、前記３次元モデリングデータにマッピングさせる画像を加工する、
   ことを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
8. 画像処理装置が３次元画像を生成するための画像生成方法であって、
   前記画像処理装置が、
   撮像動作によって生成された撮像画像を取得する撮像画像取得ステップと、
   前記撮像動作時の位置を示す位置情報と方向を示す方向情報とを取得し、前記撮像画像取得ステップで取得された前記撮像画像に対応づけて記録する撮像時情報取得ステップと、
   前記撮像画像に対応づけられている前記位置情報に基づいて、撮像場所の数値地図データを取得する地図情報取得ステップと、
   前記撮像画像に対応づけられている前記位置情報および前記方向情報と、前記地図情報取得ステップで取得された前記数値地図データとに基づいて、当該撮像画像に相当する３次元モデリングデータを生成するモデリングステップと、
   前記モデリングステップで生成された３次元モデリングデータに前記撮像画像をマッピングして３次元画像を生成する３次元画像生成ステップと、
   を含むことを特徴とする画像生成方法。
9. 撮像装置によって得られた撮像画像に画像処理をおこなう画像処理装置を制御するコンピュータに、
   撮像動作によって生成された撮像画像を取得する機能と、
   前記撮像動作時の位置を示す位置情報と方向を示す方向情報とを取得し、前記取得した撮像画像に対応づけて記録する機能と、
   前記撮像画像に対応づけられている前記位置情報に基づいて、撮像場所の数値地図データを取得する機能と、
   前記撮像画像に対応づけられている前記位置情報および前記方向情報と、該取得された前記数値地図データと、に基づいて、当該撮像画像に相当する３次元モデリングデータを生成する機能と、
   該生成された３次元モデリングデータに前記撮像画像をマッピングして３次元画像を生成する機能と、
   を実行させることを特徴とするプログラム。
10. 撮像時の位置と方向を検出する検出手段を備えた撮像装置を制御するコンピュータに、
    前記検出手段が検出した位置および方向を示す位置情報および方向情報を、当該撮像によって得られた撮像画像と対応づけて記憶装置に記憶させる機能と、
    前記撮像画像に対応づけられた前記位置情報に基づいて、撮像場所の数値地図データを取得する機能と、
    前記撮像画像に対応づけられた前記位置情報および前記方向情報と、前記取得された数値地図データと、に基づいて、当該撮像画像に相当する３次元モデリングデータを生成する機能と、
    該生成された３次元モデリングデータに前記撮像画像をマッピングして３次元画像を生成する機能と、
    を実現させることを特徴とするプログラム。

Images