JP5477349B2 - 画像合成装置、及び画像検索方法、プログラム - Google Patents

Description

本発明は、立体画像データに対して他の立体画像データを合成する画像合成装置、及び画像検索方法、プログラムに関する。

従来、デジタルカメラなどで撮影した画像に素材画像を合成する技術が知られている（特許文献１参照）。また、双方間に視差が存在する左右一対の画像、すなわち画像内における同一の物体の位置が左右にずれた左目用画像と右目用画像とを用意し、観察者に左目用画像を左目で観察させ、かつ右目用画像を右目で観察させることによって、画像を立体的に視認（立体視）させる技術が知られている（特許文献２参照）。

特開２００４−１３４９５０号公報 特開平１１−３４１５２２号公報

ところで、特許文献２に記載された技術により立体視される画像（以下、立体画像という。）であっても、それを構成する左目用画像と右目用画像とは、デジタルカメラなどで撮影した画像と同様の静止画像である。したがって、ある立体画像に対して、例えば他の立体画像から、人物等のような独立した物体として認識される部分（以下、オブジェクトという。）に相当する部分画像（以下、オブジェクト画像という。）を切り出し、切り出した部分画像を合成することができる。すなわち背景となる立体画像を構成する左目用画像にオブジェクト画像の左目用画像を上書き合成し、かつ背景となる立体画像を構成する右目用画像にオブジェクト画像の右目用画像を上書き合成すれば、新たな立体画像を得ることができる。

しかしながら、立体画像に、当該立体画像を立体視したときの距離感が互いに異なる複数のオブジェクトが存在するときには、相対的に手前に存在するように知覚されるオブジェクトの一部が、相対的に奥に存在するように知覚される他のオブジェクトによって隠れていると、立体画像が非常に違和感のあるものとなってしまう。そのため、予め用意されている複数のオブジェクト画像の何れかを、背景となる立体画像の任意の箇所に合成する場合には、合成後の立体画像における他のオブジェクトとの距離感の違い等を考慮して合成に適したオブジェクト画像を選択する必要がある。

係ることから、オブジェクト画像の選択に際しては、例えば、作業者が背景となる立体画像と個々のオブジェクト画像とを立体視することによって、オブジェクト画像毎に合成後の立体画像における違和感の有無を確認する必要がある。したがって、オブジェクト画像の選択に多大な労力を費やすこととなり、作業者の負担が大きくなるという問題があった。

そこで、本発明は、立体画像に他の立体画像である素材画像を合成する際、合成に適した素材画像を作業者が容易に選択することができる画像合成装置、及び画像検索方法、プログラムを提供すること目的とする。

上記の目的を達成するために、請求項１記載の発明に係る画像合成装置にあっては、第一立体画像である背景画像内に存在する１つのオブジェクトに対応する一の領域の視差と他のオブジェクトに対応する他の領域の視差とを導出する視差導出手段と、各々が特定のオブジェクトとして立体視される複数の第二立体画像のうちから、前記背景画像における前記一の領域の視差とは異なる視差を有する画像を素材画像の選択候補として検索する選択候補検索手段と、前記選択候補検索手段により検索された選択候補から前記素材画像を選択する画像選択手段と、前記画像選択手段により選択された前記素材画像を前記背景画像に合成する画像合成手段と、を備え、前記選択候補検索手段は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さい場合、前記複数の第二立体画像のうちから、前記背景画像における前記他の領域に重ならないように配置可能なサイズを有する画像を前記素材画像の選択候補として検索することを特徴とする。

また、請求項１３記載の発明に係る画像検索方法にあっては、第一立体画像である背景画像内に存在する１つのオブジェクトに対応する一の領域の視差と他のオブジェクトに対応する他の領域の視差とを導出する工程と、各々が特定のオブジェクトとして立体視される複数の第二立体画像のうちから、前記背景画像における前記一の領域の視差とは異なる視差を有する画像を素材画像の選択候補として検索する工程と、検索された選択候補から前記素材画像を選択する工程と、を含み、前記検索候補として検索する工程は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さい場合、前記複数の第二立体画像のうちから、前記背景画像における前記他の領域に重ならないように配置可能なサイズを有する画像を前記素材画像の選択候補として検索することを特徴とする。

また、請求項１４記載の発明に係るプログラムにあっては、コンピュータに、第一立体画像である背景画像内に存在する１つのオブジェクトに対応する一の領域の視差と他のオブジェクトに対応する他の領域の視差とを導出する処理と、各々が特定のオブジェクトとして立体視される複数の第二立体画像のうちから、前記背景画像における前記一の領域の視差とは異なる視差を有する画像を素材画像の選択候補として検索する処理と、検索された選択候補から前記素材画像を選択する処理と、を実行させ、前記検索候補として検索する処理は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さい場合、前記複数の第二立体画像のうちから、前記背景画像における前記他の領域に重ならないように配置可能なサイズを有する画像を前記素材画像の選択候補として検索することを特徴とする。

本発明によれば、立体画像に他の立体画像である素材画像を合成する際、合成に適した素材画像を作業者が容易に選択することが可能となる。

デジタルフォトフレームの外観図であり、（ａ）は正面図、（ｂ）は側面図。 デジタルフォトフレームのシステム構成図。 表示部に表示される画面の説明図であり、（ａ）は電源がオン状態にされたとき、（ｂ）は画像編集が選択されているときの説明図。 画像合成処理を説明するためのフローチャート。 表示部に表示される画面の説明図であり、（ａ）は背景画像選択画面、（ｂ）は画像合成領域選択画面、（ｃ）は前景画像選択画面、（ｄ）は画像配置調整画面をそれぞれ例示した図。 視差の導出処理を説明するためのフローチャート。 ラプラシアンフィルタの説明図であり、（ａ）は３×３マトリクスのフィルタ構成図、（ｂ）は５×５マトリクスのフィルタ構成図。 二値化処理によって得られたエッジ画像データの説明図。 オブジェクト画像作成処理を説明するためのフローチャート。 表示部に表示される画面の説明図であり、（ａ）は被抽出画像選択画面、（ｂ）はオブジェクト画像選択画面をそれぞれ例示した図。

＜第一実施形態＞
以下、本発明を実施するための形態について説明する。本実施形態は、本発明の画像合成装置としての機能を備えたデジタルフォトフレームに関するものである。ここで、デジタルフォトフレームは、例えばデジタルカメラにより撮影され画像データとして記録された画像を鑑賞用として表示することを主たる目的とした装置である。また、本実施形態のデジタルフォトフレームは、立体画像として表示する機能、及び立体画像を合成する機能も備えている。以下、本実施形態のデジタルフォトフレーム１を、図面を参照して説明する。

図１に示すように、本実施形態のデジタルフォトフレーム１は、本体部２０の前面に設けられた表示部２と、電源スイッチ３ａと、表示部２に対して重なるように配置されたタッチパネル３ｂと、種々の画像データが記憶されたカード型の記憶メディア４が装着されるメディア装着部５とを備えている。また、デジタルフォトフレーム１の本体部２０の背面には、本体部２０を後方にわずかに傾斜させて据え置くことが可能なように、本体部２０に対して開閉自在なスタンド２１が備え付けられている。

図２は、デジタルフォトフレーム１の電気的構成を示すシステム構成図である。図２に示すように、デジタルフォトフレーム１は、前述した表示部２と、電源スイッチ３ａと、タッチパネル３ｂと、メディア装着部５との他に、内蔵メモリ６と、制御部７とを備えている。

メディア装着部５は、具体的には、記憶メディア４と制御部７との間におけるデータの入出力を制御する入出力インターフェースであり、そのための回路から構成される。記憶メディア４には複数の画像データが記憶されている。

記憶メディア４に記憶されている画像データは、例えばデジタルカメラにより撮影により取得された画像データと、立体画像データとが含まれる。

デジタルカメラにより取得された画像データは、例えばＪＰＥＧ（Joint Photographic Expert Group）方式により圧縮された画像データ本体に、当該画像データ本体のサイズ（縦、及び横方向の画素数）等の基本情報と共に、撮影日時や、サムネイル画像（縮小画像）データ等の付加情報が付加され、画像ファイルとして記憶されているデータである。

また、立体画像データは、立体画像を表す画像データであり、例えばステレオカメラにより撮影された左右一対の写真（左目用画像と右目用画像）をそれぞれデジタルデータ化した左目用画像データと右目用画像データや、単一の画像データから画像処理技術を用いて生成された左目用画像データと右目用画像データである。

左目用画像データ、及び右目用画像データも、例えばＪＰＥＧ方式により圧縮された画像データ本体に付加情報が付加され、画像ファイルとして記憶されているデータである。但し、双方の画像データには、付加情報として、画像データ本体のサイズ等の基本情報と共に、それが立体画像データであることを示す識別情報や、左目用画像と右目用画像とのいずれのデータであるのかを示す識別情報等が付加されている。

表示部２は、例えば液晶表示モジュールや有機ＥＬ表示モジュールである。表示部２は、メディア装着部５を介して記憶メディア４から読み込まれた画像データに基づく通常の２次元画像や立体画像、及び１又は複数の操作用の画像（以下、ソフトキーという。）を含む各種の表示メニュー等を表示する。さらに表示部２は、制御部７により生成された立体画像データに基づく立体画像も表示する。

ここで、デジタルフォトフレーム１において用いられる立体画像の表示方式は、例えば所謂パララックスバリア方式や時分割表示方式である。

パララックスバリア方式は、左目用画像データに基づいて階調制御される第１の画素と、右目用画像データに基づいて階調制御される第２の画素とを左右方向に交互に配置して表示する一方、所定の観察位置にいるユーザに、視差バリアを介して第１の画素を左目のみで視認させ、且つ視差バリアを介して第２の画素を右目のみで視認させる方式である。したがって、パララックスバリア方式を採用したものでは、表示部２が、表示画面の手前に、視差バリアを表示（形成）する液晶パネル等のバリア表示素子を備えた構成となる。

また、時分割表示方式は、左目用画像データに基づいた左目用画像と右目用画像データに基づいた右目用画像とを交互に時分割的に表示する一方、左目用画像と右目用画像との表示タイミングに同期してユーザの左目の視界と右目の視界とを交互に遮断する方式である。したがって、時分割表示方式を採用したものでは、立体画像の観察時に、左目用画像と右目用画像との表示タイミングに同期して左右の視界を交互に遮断するメガネ等の視界制御手段を別途ユーザに着用させる必要がある。

タッチパネル３ｂは、表示部２に１又は複数のソフトキーが表示された状態において、表示部２の表示画面内におけるユーザのタッチ位置を入力情報として検出する入力装置である。タッチパネル３ｂには、例えば公知の抵抗膜方式のタッチパネルや静電容量方式のタッチパネルを適用することができる。

抵抗膜方式は、比較的透明度の高いＩＴＯ（Indium Tin Oxide）からなる透明電極の抵抗による分圧比を測定することによりタッチ位置を検出する方式である。静電容量方式は、ＩＴＯ膜によって形成された互いに交差して延在する複数本の透明な電極パターンをセンサとして、表面電荷の変化を捕らえることによりタッチ位置を検出する方式である。

内蔵メモリ６は、電源が切られても記憶内容が保持され、且つ記憶データが書き換え可能なフラッシュメモリであり、より具体的にはＥＥＰＲＯＭ（Electric Erasable Programmable Read Only Memory）である。内蔵メモリ６には、後述するようにデジタルフォトフレーム１において生成される立体画像データやオブジェクト画像データ等が記憶されている。

なお、詳細については後述するが、オブジェクト画像データは、人物等のような特定の物体として立体視される立体画像（素材画像）を表す立体画像データであり、左目用画像データと右目用画像データとからなる一組の画像データである。また、左目用画像データと右目用画像データとは、それぞれが表示座標毎に、色成分として赤色成分、緑色成分及び青色成分の階調値を有しているカラー画像データである。

制御部７は、ＣＰＵ（Central Processing Unit）８や、ＣＰＵ８で実行される制御プログラムが記憶されたＲＯＭ９（Read Only Memory）、さらには作業領域になるＲＡＭ１０（Random Access memory）等から構成される。

ＲＯＭ９は、ＣＰＵ８にシステム全体を制御させるための複数種のプログラムやデータが記憶されているメモリである。ＲＯＭ９に記憶されているプログラムには、本実施形態においてＣＰＵ８を視差導出手段と、検索手段と、合成手段として機能させる立体画像合成プログラムが含まれる。

ＲＡＭ１０は、ＣＰＵ８がデジタルフォトフレーム１の制御に際し、種々のデータを一時記憶する作業用のメモリであり、具体的にはＳＤＲＡＭ（Synchronous dynamic random-access memory）等である。

次に、以上の構成からなるデジタルフォトフレーム１における動作について説明する。デジタルフォトフレーム１においては、ユーザにより電源スイッチ３ａが操作されて電源がオン状態になると、ＣＰＵ８が、ＲＯＭ９に記憶されているプログラムに基づいた制御を開始し、直ちに機能選択メニューを表示部２に表示させる。

図３（ａ）は、表示部２に表示される機能選択メニューＧ１の一例を示したものである。機能選択メニューＧ１は、画像検索機能が割り当てられたソフトキー１１ａと、スライドショー機能が割り当てられたソフトキー１１ｂと、画像編集機能が割り当てられたソフトキー１１ｃとから構成される。

ここで、画像検索機能は、記憶メディア４に画像データとして記憶されている画像から、好みの画像をユーザに選択させ、選択された画像を表示部２に表示させる機能であり、スライドショー機能は、記憶メディア４に画像データとして記憶されている複数の画像を所定の順にスライドショー表示する機能である。また、画像編集機能は、画像データとして記憶されている画像を編集する機能ある。

機能選択メニューＧ１を表示している間は、ユーザにより何れかのソフトキー１１ａ，１１ｂ，１１ｃがタッチされると、つまりタッチパネル３ｂにおいて何れかのソフトキー１１ａ，１１ｂ，１１ｃに対応する領域内の位置がタッチ位置として検出されると、ＣＰＵ８が、タッチされたソフトキーに割り当てられた機能に応じた処理に移行する。

このとき、ユーザにより画像編集機能が割り当てられたソフトキー１１ｃがタッチされると、ＣＰＵ８が、図３（ｂ）に示すような編集内容選択メニューＧ２を表示部２に表示させる。編集内容選択メニューＧ２は、絵画調変換機能が割り当てられたソフトキー１１ｄや、画像合成機能が割り当てられたソフトキー１１ｅ、及び「戻る」が記載されたソフトキー１１ｆから構成される。

絵画調変換機能とは、記憶メディア４に画像データとして記憶されている画像から、好みの画像をユーザに選択させ、選択された画像（画像データ）に画像処理を施すことにより、元の画像を絵画調画像に変換する機能である。なお、絵画調画像は、日本画調、西洋画調、水彩画調、水墨画調、ペン画調等の特定の画調（絵画的な特徴）を備えた画像である。画像合成機能とは、記憶メディア４に立体画像データとして記憶されている異なる２つの立体画像を合成する機能である。なお、画像合成機能の詳細については後述する。

引き続き、デジタルフォトフレーム１においては、編集内容選択メニューＧ２においてユーザにより絵画調変換機能が割り当てられたソフトキー１１ｄがタッチされると、ＣＰＵ８が絵画調変換機能に応じた処理に移行する。また、「戻る」と記載されたソフトキー１１ｆがタッチされると、ＣＰＵ８が機能選択メニューＧ１を再び表示部２に表示させる。そして、編集内容選択メニューＧ２においてユーザにより画像合成機能が割り当てられたソフトキー１１ｅがタッチされると、ＣＰＵ８が画像合成機能に応じた以下に説明する画像合成処理を実行する。

本実施の形態における画像合成処理は、ユーザにより背景用として選択された立体画像に、他の立体画像から抽出したオブジェクト画像を前景画像として上書き合成する処理である。以下、ＣＰＵ８が実行する画像合成処理の具体的な処理手順を、図４に示したフローチャートに基づいて説明する。

画像合成処理においてＣＰＵ８は、まず図５（ａ）に示した背景画像選択画面Ｇ３を表示部２に表示させる（ステップＳＡ１）。背景画像選択画面Ｇ３は、例えば「背景画像を選択してください」等のメッセージ１２ａと、背景画像の選択候補を示す画像リスト１４ａと、「戻る」と記載されたソフトキー１１ｇと、「決定」と記載されたソフトキー１１ｈと、「オブジェクト作成」と記載されたソフトキー１１ｉとから構成される。

ここで、背景画像選択画面Ｇ３の表示に際してＣＰＵ８は、記憶メディア４に記憶されている立体画像データのみを選択対象として画像リスト１４ａにリスト表示する。なお、図５（ａ）には、便宜上、画像リスト１４ａとして、立体画像データを構成する左目用画像データ、又は右目用画像データのうち予め決められている一方の画像ファイル名をリスト表示するものを示した。しかし、実際には、立体画像データを構成する左目用画像データ、又は右目用画像データの予め決められている一方の画像データにより表される画像の縮小画像であるサムネイル画像をリスト表示することが好ましい。

なお、ＣＰＵ８は、背景画像選択画面Ｇ３を表示している間において、タッチパネル３ｂのタッチ操作によりユーザによって、画像リスト１４ａに表示中のいずれかの画像ファイル名が選択されると、選択された画像ファイル名を白抜き表示する。

そして、ＣＰＵ８は、ユーザによって「戻る」と記載されたソフトキー１１ｇがタッチ（操作）されたときには（ステップＳＡ３：ＹＥＳ）、直ちに画像合成処理を終了して編集内容選択メニューＧ２を再び表示部２に表示させる。

また、ＣＰＵ８は、ユーザによって「オブジェクト作成」と記載されたソフトキー１１ｉがタッチされたときには（ステップＳＡ４：ＹＥＳ）、オブジェクト画像作成処理を実行する（ステップＳＡ７）。

詳細については後述するが、オブジェクト画像作成処理は、記憶メディア４に記憶されている立体画像データからオブジェクト画像データを切り出し、切り出したオブジェクト画像データを、予め内蔵メモリ６に記憶させておくための処理である。

そして、ＣＰＵ８は、画像リスト１４ａに表示されている何れかの画像ファイル名（立体画像データ）が選択された状態で、「決定」と記載されたソフトキー１１ｈがタッチされると（ステップＳＡ２：ＹＥＳ）、図５（ｂ）に示した画像合成領域選択画面Ｇ４を表示部２に表示させる（ステップＳＡ５）。画像合成領域選択画面Ｇ４は、「合成領域を選択してください」等のメッセージ１２ｂと、選択された立体画像データに基づいた立体画像１３ａと、「戻る」と記載されたソフトキー１１ｊから構成される。

引き続き、ＣＰＵ８は、ユーザに選択された立体画像データから、立体画像データにより表される立体画像内に存在するオブジェクト毎に、立体画像データを構成する左目用画像データと右目用画像データとの間に存在する視差を取得するための視差導出処理を実行する（ステップＳＡ６）。ここで、ＣＰＵ８がオブジェクト毎に取得する視差は、立体画像を観察したときの立体画像内の個々のオブジェクトについて知覚される距離感を定量化した情報である。

以下、ＣＰＵ８が実行する視差導出処理の具体的な処理手順を、図６に示したフローチャートに基づいて詳述する。ここでは、主として立体画像データがカラー画像データである場合について説明する。

視差導出処理においてＣＰＵ８は、例えば下記の〔数１〕を用いて左目用画像データと右目用画像データとを個別にグレースケール変換する（ステップＳＢ１）。

〔数１〕

Ｙ（ｉ）＝0.298912×Ｒ（ｉ）＋0.586611×Ｇ（ｉ）＋0.114478×Ｂ（ｉ）

なお、〔数１〕において、Ｙ（ｉ）は整数に丸め処理され、また、ｉは階調制御される画素の座標位置を示している。

次に、ＣＰＵ８は、グレースケール変換した左目用画像データと右目用画像データに対して、個別にラプラシアンフィルタ処理を施し、画像のエッジが強調された左目用画像データと右目用画像データを生成する（ステップＳＢ２）。ラプラシアンフィルタとしては、例えば、図７（ａ）に示したような３×３マトリクスのデジタルフィルタや、図７（ｂ）に示したような５×５マトリクスのデジタルフィルタを用いることができる。

次に、ＣＰＵ８は、エッジが強調された左目用画像データと右目用画像データに対して、所定の階調閾値を境に個別に二値化処理することによって、画像のエッジが抽出されたエッジ画像データとしての左目用画像データと右目用画像データを生成する（ステップＳＢ３）。以下の説明においては、左目用画像データに基づいて生成されたエッジ画像データを左目側エッジ画像データと呼び、右目用画像データに基づいて生成されたエッジ画像データを右目側エッジ画像データと呼ぶことにより両者を区別する。

図８は、二値化処理によって得られる左目側エッジ画像データ１３Ｌと、右目側エッジ画像データ１３Ｒとの例を示した図である。ここで、左目側エッジ画像データ１３Ｌと、右目側エッジ画像データ１３Ｒとにおいては、互いに対応するオブジェクト（人物等の独立した物体として認識される部分領域）を表す輪郭として枠状のエッジをそれぞれ得ることができる。即ち、図８に示したように、立体画像内に２つのオブジェクトが存在していた場合には、左目側エッジ画像データ１３Ｌにおいては２つの枠状のエッジＬｆａ、Ｌｆｂが得られ、かつ右目側エッジ画像データ１３Ｒにおいては２つの枠状のエッジＲｆａ、Ｒｆｂが得られる。

ここで、左目側エッジ画像データ１３Ｌと右目側エッジ画像データ１３Ｒとの間においては、エッジＬｆａで表される領域Ｌｄａと、エッジＲｆａで表される領域Ｒｄａとが、立体画像に存在する同一のオブジェクトＡに対応し、また、エッジＬｆｂで表される領域Ｌｄｂと、エッジＲｆｂで表される領域Ｒｄｂとが立体画像に存在する同一のオブジェクトＢに対応することとなる。

そして、互いに対応するエッジＬｆａとエッジＲｆａとの間に存在する画像内における左右方向の位置ずれ量が一方のオブジェクトＡの視差であり、同様に互いに対応するエッジＬｆｂとエッジＲｆｂとの間に存在する画像内における左右方向の位置ずれ量が他方のオブジェクトＢの視差である。

係ることから、二値化処理を行った後、ＣＰＵ８は、例えば左目側エッジ画像データ１３Ｌに存在するエッジＬｆａ，Ｌｆｂの座標位置を個別に取得すると共に、ブロックマッチング等の手法を用いたパターンマッチング処理によって、右目側エッジ画像データ１３Ｒに存在する、エッジＬｆａ，Ｌｆｂに対応するエッジＲｆａ，Ｒｆｂの座標位置を個別に取得する（ステップＳＢ４）。

しかる後、ＣＰＵ８は、エッジＬｆａとエッジＲｆａとの座標位置から、エッジＬｆａとエッジＲｆａとの間における左右方向の位置ずれ量を演算し、演算結果を一方のオブジェクトＡの視差として導出し、かつエッジＬｆｂとエッジＲｆｂとの座標位置から、エッジＬｆｂとエッジＲｆｂとの間における左右方向の位置ずれ量を演算し、演算結果を他方のオブジェクトＡの視差として導出する（ステップＳＢ５）。

なお、二値化処理によって得られるエッジ画像データが、図８に示したような左目側エッジ画像データ１３Ｌと右目側エッジ画像データ１３Ｒとである場合、枠状のエッジで囲まれていない領域Ｌｎ、Ｒｎについては視差のない画像領域としてシフト量をゼロとする。

図４に戻り、視差導出処理が終了すると、引き続きＣＰＵ８は、図５（ｂ）に示した画像合成領域選択画面Ｇ４において、ユーザにより立体画像１３ａの任意の座標位置がタッチ（指定）されたか否か、及び「戻る」と記載されたソフトキー１１ｊがタッチされたいか否かを逐次確認する（ステップＳＡ８，ＳＡ９）。

そして、ＣＰＵ８は、ユーザにより立体画像１３ａの任意の座標位置がタッチされると（ステップＳＡ８：ＹＥＳ）、ユーザによりタッチされた座標位置に基づいて、内蔵メモリ６に予め記憶されている複数のオブジェクト画像データの中から、立体画像１３ａへの合成に適したオブジェクト画像データを検索する（ステップＳＡ１０）。

ここで、検索対象となるオブジェクト画像データは、後述するステップＳＡ７のオブジェクト画像作成処理でＣＰＵ８により作成されて内蔵メモリ６に記憶されているものであり、ユーザにより背景用として選択された立体画像に、前景画像として上書き合成するために使用される素材画像を表すデータである。より具体的には、例えば記憶メディア４に記憶されている立体画像データ（左目用画像データ、及び右目用画像データ）から切り出されたデータであり、立体画像データにより表される立体画像に存在する任意のオブジェクトに対応する領域の画像、つまりオブジェクト画像を表す画像データである。

また、オブジェクト画像データには、付加情報としてオブジェクト画像データのサイズと、形状と、視差とをそれぞれ示すデータが付加されている。サイズを示すデータは、オブジェクト画像データの画素数（面積）である。また、形状を示すデータは、オブジェクト画像データが切り出された立体画像データ（左目用画像データと右目用画像データの何れか一方）においてオブジェクトのエッジを表現していた画素群の画素毎の座標位置データである。また視差を示すデータは、先に説明したオブジェクト画像データが切り出された左目用画像データにより表される左目用画像と、右目用画像データにより表される右目用画像との間におけるオブジェクトの左右方向の位置ずれ量である。

そして、ステップＳＡ１０の処理に際してＣＰＵ８は、内蔵メモリ６に記憶されているオブジェクト画像データのうちから、各々に付加情報として付加されているデータによって示されるサイズと、形状と、視差とを確認することによって、次に述べる第１の条件と第２の条件とを共に満足する特定のオブジェクト画像データを検索する。

第１の条件は、ＣＰＵ８が前述したステップＳＡ６の視差導出処理で取得した個々のオブジェクトのうち、上述したステップＳＡ８においてユーザによりタッチされた座標位置を領域内に含むオブジェクトの視差よりも大きな視差を有し、且つ、上述したステップＳＡ８においてユーザによりタッチされた座標位置を領域内に含まない各オブジェクトのいずれの視差よりも大きな視差を有することである。また、第２の条件は、背景用として選択されている立体画像に存在する、より大きな視差を有する他のオブジェクトに重なることなく配置可能なオブジェクト画像を表すものであることである。

ここで、ステップＳＡ１０の処理においてＣＰＵ８により検索される特定のオブジェクト画像データを具体的には説明する。特定のオブジェクト画像データは、例えば図５（ｂ）に示した画像合成領域選択画面Ｇ４の立体画像１３ａにおいて、一方のオブジェクトＡの視差がＰ（ただし、Ｐ＞０）、他方のオブジェクトＢの視差がＱ（ただし、Ｑ＞Ｐ）、２つのオブジェクトＡ，Ｂを除いた背景部分Ｃの視差が”０”であり、かつユーザが一方のオブジェクトＡ上の座標位置を指定した場合には以下のものである。

即ち特定のオブジェクト画像データは、一方のオブジェクトＡと背景部分Ｃとからなる領域に収まるサイズを有するとともに、一方のオブジェクトＡの視差Ｐよりも大きく且つ他方のオブジェクトＢの視差Ｑよりも小さな視差を有するものである。また、特定のオブジェクト画像データは、一方のオブジェクトＡと背景部分Ｃとからなる領域に収まるサイズ及び形状を有するとともに、一方のオブジェクトＡの視差Ｐよりも大きく且つ他方のオブジェクトＢの視差Ｑよりも小さな視差を有するものである。

また、特定のオブジェクト画像データは、２つのオブジェクトＡ，Ｂ及び背景部分Ｃからなる領域に収まるサイズを有し、かつ他方のオブジェクトＢの視差Ｑよりも大きな視差を有するものである。また、特定のオブジェクト画像データは、２つのオブジェクトＡ，Ｂ及び背景部分Ｃからなる領域に収まるサイズ及び形状を有し、かつ他方のオブジェクトＢの視差Ｑよりも大きな視差を有するものである。

なお、特定のオブジェクト画像データには、背景部分Ｃに収まるサイズを有する全てのオブジェクト画像データと、背景部分Ｃに収まるサイズ及び形状を有する全てのオブジェクト画像データとが含まれる。

つまり、特定のオブジェクト画像データは、それを立体画像１３ａ内のユーザが指定した位置を含む領域に上書き合成したとき、合成後の立体画像においてユーザ（観察者）が他のオブジェクトＡ，Ｂとの関係において自然な距離感を知覚することができるオブジェクト画像を表す、合成に適したオブジェクト画像データである。

換言すると、特定のオブジェクト画像データは、視差がＰ以下の値を有するオブジェクト画像データと、視差がＰからＱの間で、かつ一方のオブジェクトＡと背景部分Ｃとからなる領域に収まらないサイズを有するオブジェクト画像データと、視差がＰからＱの間で、かつ一方のオブジェクトＡと背景部分Ｃとからなる領域に収まらないサイズ及び形状を有するオブジェクト画像データとを除いたものである。

つまり、特定のオブジェクト画像データは、それを立体画像１３ａにおいてユーザが指定した位置を含む領域に上書き合成したとき、合成後の立体画像においてユーザ（観察者）が他のオブジェクトＡ，Ｂとの関係において不自然な距離感を覚えるオブジェクト画像を表すオブジェクト画像データを除いたものである。

その後、ＣＰＵ８は、ステップＳＡ１０の処理における検索が完了すると、その段階で図５（ｃ）に示した前景画像選択画面Ｇ５を表示部２に表示させる。前景画像選択画面Ｇ５は、「オブジェクト画像を選択してください」等のメッセージ１２ｃと、ステップＳＡ１０の処理において検索した特定のオブジェクト画像を選択候補として示す画像リスト１４ｂと、「決定」と記載されたソフトキー１１ｋと、「戻る」と記載されたソフトキー１１ｍとから構成される。

なお、図５（ｃ）においても、便宜上、画像リスト１４ｂとして、オブジェクト画像データを構成する左目用画像データ、又は右目用画像データのうち予め決められている一方の画像ファイル名をリスト表示するものを示した。しかし、実際には、立体画像データを構成する左目用画像データ、又は右目用画像データの予め決められている一方の画像データにより表される画像の縮小画像であるサムネイル画像をリスト表示することが好ましい。

ここで、画像リスト１４ｂに画像ファイル名でリスト表示されるオブジェクト画像データは、先に説明した第１の条件と第２の条件とを共に満足する特定のオブジェクト画像データにより表されるものだけである。つまり背景画像として選択中の立体画像におけるユーザに指定された位置への合成に適した特定のオブジェクト画像データである。

従って、ユーザは、例えば背景となる立体画像と内蔵メモリ６に記憶されている個々のオブジェクト画像とを立体視することによって、オブジェクト画像毎に、合成後の立体画像における違和感の有無を確認するといった煩雑な作業を行う必要がない。そのため、この合成処理の際に必要な時間や手間を大幅に削減することができるようになる。

なお、ＣＰＵ８は、前景画像選択画面Ｇ５を表示している間、タッチパネル３ｂのタッチ操作によりユーザによって、画像リスト１４ｂに表示中のいずれかの画像ファイル名が選択されると、選択された画像ファイル名を白抜き表示する。

そして、ＣＰＵ８は、タッチパネル３ｂを介してユーザにより、前景画像として何れかの立体画像データが選択された状態で、「決定」と記載されたソフトキー１１ｋがタッチされると（ステップＳＡ１２：ＹＥＳ）、図５（ｄ）に示した画像配置調整画面Ｇ６を表示部２に表示させる（ステップＳＡ１４）。

画像配置調整画面Ｇ６には、例えば「画像配置を調整してください」等のメッセージ１２ｄと、前景画像選択画面Ｇ５でユーザにより選択されたオブジェクト画像データに基づくオブジェクト画像１３ｂを、背景画像選択画面Ｇ３でユーザにより選択された立体画像データに基づく背景となる立体画像１３ａ上に重なった画像が含まれる。また、画像配置調整画面Ｇ６には、「決定」と記載されたソフトキー１１ｎ、及び「戻る」と記載されたソフトキー１１ｐが含まれる。

なお、前景画像選択画面Ｇ５で「戻る」と記載されたソフトキー１１ｍが操作されたときには（ステップＳＡ１３：ＹＥＳ）、画像合成領域選択画面Ｇ４を表示部２に表示させる。

画像配置調整画面Ｇ６を表示している間、ＣＰＵ８は、オブジェクト画像１３ｂが表示されている位置に指を当てて該指をタッチパネル３上でスライドするように動かすことにより、その動作に応じるようにして、立体画像１３ａに対するオブジェクト画像１３ｂの配置位置を調整する。即ち、このとき、指の動作に応じるようにして、オブジェクト画像１３ｂの描画位置を逐次変更する。

そして、ＣＰＵ８は、「決定」と記載されたソフトキー１１ｎがタッチされると（ステップＳＡ１５：ＹＥＳ）、最終的にオブジェクト画像１３ｂが重ねられていた領域の立体画像１３ａにおける各画素の階調値を、元の階調値からオブジェクト画像の画素の階調値に置換処理することにより、立体画像１３ａにオブジェクト画像１３ｂが合成された新たな立体画像を表す立体画像データを生成し、生成した立体画像データに所定のファイル名を付与して内蔵メモリ６に記憶させる（ステップＳＡ１７）。

これにより、ＣＰＵ８は画像合成処理を終了し、デジタルフォトフレーム１においては、図３（ａ）に示した画面表示を表示した状態に戻る。なお、ＣＰＵ８は、画像配置調整画面Ｇ６で、「戻る」と記載されたソフトキー１１ｐが操作されたときには（ステップＳＡ１６：ＹＥＳ）、前景画像選択画面Ｇ５を表示部２に表示させる。

次に、背景画像選択画面Ｇ３において「オブジェクト作成」と記載されたソフトキー１１ｉが操作されときＣＰＵ８が実行するオブジェクト画像作成処理の処理手順を、図９に示したフローチャートに基づいて詳述する。

オブジェクト画像作成処理においてＣＰＵ８は、図１０（ａ）に示した被抽出画像選択画面Ｇ７を表示部２に直ちに表示させる（ステップＳＣ１）。被抽出画像選択画面Ｇ７は、例えば「オブジェクトを抽出する画像を選択してください」等のメッセージ１５ａと、記憶メディア４に記憶されている立体画像データを、被抽出画像の選択候補として示す画像リスト１６ａと、「決定」と記載されたソフトキー１７ａと、「戻る」と記載されたソフトキー１７ｂとから構成される。

なお、図１０（ａ）においても、便宜上、画像リスト１６ａとして、立体画像データを構成する左目用画像データ、又は右目用画像データのうち予め決められている一方の画像ファイル名をリスト表示するものを示した。しかし、実際には、立体画像データを構成する左目用画像データ、又は右目用画像データの予め決められている一方の画像データにより表される画像の縮小画像であるサムネイル画像をリスト表示することが好ましい。

また、被抽出画像選択画面Ｇ７で表示される画像リスト１６ａの内容は、上述の画像合成処理のときから記憶メディア４に記憶されている立体画像データに変化がないときには、図５（ａ）に示した背景画像選択画面Ｇ３で表示される画像リスト１４ａの内容と一致する。

また、ＣＰＵ８は、被抽出画像選択画面Ｇ７を表示している間において、タッチパネル３ｂのタッチ操作によりユーザによって、画像リスト１６ａに表示中のいずれかの画像ファイル名が被抽出画像として選択されると、選択された画像ファイル名を白抜き表示する。なお、被抽出画像選択画面Ｇ７で、「戻る」と記載されたソフトキー１７ｂがタッチされたときには（ステップＳＣ３：ＹＥＳ））、ＣＰＵ８は、オブジェクト画像作成処理を直ちに終了し、背景画像選択画面Ｇ３を表示部２に表示させる（ステップＳＡ１）。

そして、ＣＰＵ８は、画像リスト１４ａに表示されている何れかの画像ファイル名（立体画像データ）が被抽出画像として選択された状態で、「決定」と記載されたソフトキー１７ａがタッチされると（ステップＳＣ２：ＹＥＳ）、オブジェクト検出処理を実行する（ステップＳＣ４）。オブジェクト検出処理は、立体画像データにより表される被抽出画像（立体画像）に存在する、立体画像データを構成する左目用画像データと右目用画像データとの間に視差を有するオブジェクトを検出する処理である。

オブジェクト検出処理においてＣＰＵ８は、まず、被抽出画像として選択された立体画像データを対象として、ステップＳＡ６の処理と同様の視差導出処理（図６参照）を行うことにより、被抽出画像に存在する１又は複数のオブジェクトをいったん検出し、検出したオブジェクト毎に視差を導出する。しかる後、ＣＰＵ８は、視差が”０”でないオブジェクトのみを、最終的にオブジェクトとして抽出する。

次に、ＣＰＵ８は、図１０（ｂ）に示したオブジェクト画像選択画面Ｇ８を表示部２に表示させる（ステップＳＣ５）。オブジェクト画像選択画面Ｇ８は、「オブジェクトを選択してください」等のメッセージ１５ｂと、オブジェクト検出処理で抽出されたオブジェクト１８ａ，１８ｂが強調表示された状態の被抽出画像１８と、「戻る」と記載されたソフトキー１７ｃとから構成される。

なお、ＣＰＵ８は、被抽出画像１８におけるオブジェクトの強調表示を、例えば、オブジェクトのみに対してカラー表示を維持し、オブジェクト以外の画像領域をグレースケール表示することによって、オブジェクトをより他の画像領域と区別し易くする。

引き続き、オブジェクト画像選択画面Ｇ８で、タッチパネル３ｂを介してユーザにより、何れかのオブジェクトが指定されると（ステップＳＣ：ＹＥＳ）、ＣＰＵ８は、指定されたオブジェクトに対応する領域の画像データを維持するとともに、他の画像領域の画像データを削除したオブジェクト画像データを生成し、さらには、該オブジェクト画像データに所定のファイル名を付与して内蔵メモリ６に記憶させる（ステップＳＣ８）。

これにより、ＣＰＵ８はオブジェクト画像作成処理を終了し、背景画像選択画面Ｇ３を表示部２に表示させる（ステップＳＡ１）。

なお、ステップＳＣ８の処理においてオブジェクト画像データを内蔵メモリ６に記憶させる際、ＣＰＵ８は、オブジェクト画像データに、当該オブジェクト画像データのサイズと、形状と、視差とをそれぞれ示すデータを付加情報として付加する。

また、ＣＰＵ８は、オブジェクト画像選択画面Ｇ８で、「戻る」と記載されたソフトキー１７ｃが操作されたときには（ステップＳＣ７：ＹＥＳ）、被抽出画像選択画面Ｇ７を表示部２に表示させる。

ここで、以上説明した第一実施形態においては、画像合成処理において、背景画像として選択中の立体画像におけるユーザに指定された位置への合成に適したオブジェクト画像データを選択候補として検索する際、上述した第１の条件と第２の条件とを共に満足するオブジェクト画像データを検索したが、第１の条件のみを満足するオブジェクト画像データを選択候補として検索してもよい。つまり選択候補として、背景画像として選択中の立体画像におけるユーザに指定された位置の視差よりも大きな視差を有するオブジェクト画像データを選択候補として検索してもよい。さらには、第１の条件を、ＣＰＵ８が前述したステップＳＡ６の視差導出処理で取得した個々のオブジェクトのうち、上述したステップＳＡ８においてユーザによりタッチされた座標位置を領域内に含むオブジェクトの視差よりも大きな視差を有することにしてもよい。

上述したような第１の条件のみを満足するオブジェクト画像データを選択候補として検索する場合であっても、例えば複数のオブジェクト画像を立体視することによって、オブジェクト画像毎に、合成後の立体画像における違和感の有無を確認するような場合に比べれば、合成処理の際に必要な時間や手間を大幅に削減することができるようになる。

さらには、上述した第一実施形態において、画像配置調整画面Ｇ６を表示している間、逐次変更されるオブジェクト画像１３ｂの任意の座標位置が、オブジェクトＢの任意の座標位置に重ならないように、オブジェクト画像１３ｂの描画位置を規制するようにしてもよい。即ち、オブジェクト画像１３ｂの任意の座標位置が、指の動作に応じて、オブジェクトＢの任意の座標位置に重ならない領域から該オブジェクトＢの任意の座標位置に重なる領域に移動した際には、該オブジェクトＢの任意の座標位置に重なる領域に移動する直前の座標に、オブジェクト画像１３ｂを固定表示し、さらに指の動作に応じて、該オブジェクトＢの任意の座標位置に重なる領域から該オブジェクトＢの任意の座標位置に重ならない領域に移動した際には、該指の接触位置に応じた位置に、オブジェクト画像１３ｂを再表示するようにしてもよい。

＜第二実施形態＞
本実施形態は、大略、上述した第一実施形態と同様であるので、以下では、第一実施形態と異なる点についてのみ説明する。本実施形態においては、立体画像１３ａへの合成に適したオブジェクト画像データを検索する際に用いられる条件が、上述の第一実施形態と異なっている。本実施形態では、第１の条件は、ＣＰＵ８が前述したステップＳＡ６の視差導出処理で取得した個々のオブジェクトのうち、いずれのオブジェクトの視差よりも大きな視差を有することである。また、第２の条件は、背景用として選択されている立体画像における全領域、即ち、オブジェクトＡとオブジェクトＢと背景部分Ｃとからなる領域に収まるオブジェクト画像を表すものであることである。さらに、本実施形態において、画像配置調整画面Ｇ６を表示している間、逐次変更されるオブジェクト画像１３ｂの任意の座標位置が、背景用として選択されている立体画像における全領域からはみ出さないように、オブジェクト画像１３ｂの描画位置を規制するようにしてもよい。
＜第三実施形態＞

本実施形態は、大略、上述した第一実施形態と同様であるので、以下では、第一実施形態と異なる点についてのみ説明する。本実施形態においては、立体画像１３ａへの合成に適したオブジェクト画像データを検索する際に用いられる条件が、上述の第一実施形態と異なっている。本実施形態では、第１の条件は、ＣＰＵ８が前述したステップＳＡ６の視差導出処理で取得した個々のオブジェクトのうち、いずれのオブジェクトの視差よりも小さな視差を有することである。また、第２の条件は、背景用として選択されている立体画像に存在する、いずれのオブジェクトにも重なることなく配置可能な、即ち、オブジェクトＡとオブジェクトＢとからなる領域に重ならずに且つ背景部分Ｃからなる領域に収まるオブジェクト画像を表すものであることである。さらに、本実施形態において、画像配置調整画面Ｇ６を表示している間、逐次変更されるオブジェクト画像１３ｂの任意の座標位置が、オブジェクトＡの任意の座標位置とオブジェクトＢの任意の座標位置とに重ならないように、オブジェクト画像１３ｂの描画位置を規制するようにしてもよい。

なお、上述の各実施形態において、画像合成処理やオブジェクト画像作成処理の際に表示部２に表示する画像は、画像を立体的に視認可能なように左目用画像データと右目用画像データとを用いて表示してもよいし、画像を２次元平面的に視認可能なように左目用画像データと右眼用画像データとのうちの一方のみを用いて表示してもよい。またさらには、ユーザによって立体的に表示するか否かを選択可能に構成してもよい。

また、上述の各実施形態では、オブジェクト画像の視差を導出する際に、左眼用画像データと右眼用画像データのそれぞれに対してオブジェクトの輪郭を検出し、この輪郭の座標位置の違いに基づいてオブジェクト画像の視差を導出する場合について説明したが、他の方法を用いて導出してもよい。例えば、左眼用画像データと右眼用画像データの何れか一方から色情報等を考慮した特徴部分を直接的に抽出し、この抽出した特徴部分に対応する画像を他方の画像データから検出し、その後、互いの座標位置の位置ズレ量を視差として導出してもよい。いずれにしても、オブジェクト画像の視差は観察者において知覚される距離感を定量化した情報であり、オブジェクト画像データ間で比較可能な視差が導出できれば、視差は他の方法によって取得してもよい。

また、上述の各実施形態では、背景となる立体画像に前景となるオブジェクト画像を合成する際に、オブジェクト画像を等倍に維持したままで立体画像に合成する場合について説明したが、立体画像には、視差を維持しつつ画像サイズを拡大または縮小したオブジェクト画像を合成してもよい。

また、上述の各実施形態では、背景となる立体画像に合成する前景となるオブジェクト画像（素材画像）が、デジタルフォトフレーム１で作成されたものでる場合について説明したが、デジタルフォトフレーム１以外の任意の装置で作成されたものであってもよいし、さらには、例えば単一の画像から画像処理技術を用いて作成されたのであってもよい。

また上述の各実施形態では、本発明の画像合成装置をデジタルフォトフレームにおいて実施した場合について説明したが、本発明はデジタルカメラや携帯電話などの他の電子機器に適用してもよい。また、本発明は、汎用的なパーソナルコンピュータにおいても実施することができ、その場合には、所定のアプリケーションソフト（プログラム）に基づいてパーソナルコンピュータを動作させればよい。

１ デジタルフォトフレーム
２ 表示部
４ 記憶メディア
５ メディア装着部
６ 内蔵メモリ
７ 制御部
８ ＣＰＵ
１３Ｌ 左目側エッジ画像データ
１３Ｒ 右目側エッジ画像データ
１３ａ 立体画像
１３ｂ オブジェクト画像
１８ 被抽出画像
１８ａ，１８ｂ オブジェクト
Ｇ３ 背景画像選択画面
Ｇ４ 画像合成領域選択画面
Ｇ５ 前景画像選択画面
Ｇ６ 画像配置調整画面
Ｇ７ 被抽出画像選択画面
Ｇ８ オブジェクト画像選択画面

Claims (14)

1. 第一立体画像である背景画像内に存在する１つのオブジェクトに対応する一の領域の視差と他のオブジェクトに対応する他の領域の視差とを導出する視差導出手段と、
   各々が特定のオブジェクトとして立体視される複数の第二立体画像のうちから、前記背景画像における前記一の領域の視差とは異なる視差を有する画像を素材画像の選択候補として検索する選択候補検索手段と、
   前記選択候補検索手段により検索された選択候補から前記素材画像を選択する画像選択手段と、
   前記画像選択手段により選択された前記素材画像を前記背景画像に合成する画像合成手段と、を備え、
   前記選択候補検索手段は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さい場合、前記複数の第二立体画像のうちから、前記背景画像における前記他の領域に重ならないように配置可能なサイズを有する画像を前記素材画像の選択候補として検索することを特徴とする画像合成装置。
2. 前記選択候補検索手段は、前記複数の第二立体画像のうちから、前記背景画像における前記一の領域の視差よりも大きな視差を有する画像を前記素材画像の選択候補として検索することを特徴とする請求項１に記載の画像合成装置。
3. 前記画像合成手段は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さく、且つ、前記素材画像の視差が前記背景画像における前記他の領域の視差よりも小さい場合、前記素材画像を前記背景画像に合成する際に、前記背景画像における前記他の領域に重ならないように規制することを特徴とする請求項１又は２に記載の画像合成装置。
4. 前記選択候補検索手段は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さい場合、前記複数の第二立体画像のうちから、前記背景画像における前記他の領域に重ならないように配置可能なサイズおよび形状を有する画像を、前記素材画像の選択候補として検索することを特徴とする請求項１乃至３の何れか一項に記載の画像合成装置。
5. 前記選択候補検索手段は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さい場合、前記複数の第二立体画像のうちから、前記背景画像における前記他の領域の視差よりも大きな視差を有し、且つ、前記背景画像における全領域に収まるサイズを有する画像を、前記素材画像の選択候補として検索することを特徴とする請求項１に記載の画像合成装置。
6. 前記画像合成手段は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さく、且つ、前記素材画像の視差が前記背景画像における前記他の領域の視差よりも大きい場合、前記素材画像を前記背景画像に合成する際に、前記背景画像における全領域からはみ出さないように規制することを特徴とする請求項１に記載の画像合成装置。
7. 前記選択候補検索手段は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さい場合、前記複数の第二立体画像のうちから、前記背景画像における前記他の領域の視差よりも大きな視差を有し、且つ、前記背景画像における全領域に収まるサイズおよび形状を有する画像を、前記素材画像の選択候補として検索することを特徴とする請求項１に記載の画像合成装置。
8. 前記選択候補検索手段は、前記複数の第二立体画像のうちから、前記背景画像における前記一の領域の視差よりも小さな視差を有する画像を前記素材画像の選択候補として検索することを特徴とする請求項１に記載の画像合成装置。
9. 前記画像合成手段は、前記素材画像の視差が、前記背景画像における前記一の領域の視差よりも小さい場合、前記素材画像を前記背景画像に合成する際に、前記背景画像における前記一の領域に重ならないように規制することを特徴とする請求項１に記載の画像合成装置。
10. 前記選択候補検索手段は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さい場合、前記複数の第二立体画像のうちから、前記背景画像における前記一の領域および前記他の領域に重ならないように配置可能なサイズを有する画像を、前記素材画像の選択候補として検索することを特徴とする請求項１に記載の画像合成装置。
11. 前記画像合成手段は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さく、且つ、前記素材画像の視差が前記背景画像における前記一の領域の視差よりも小さい場合、前記素材画像を前記背景画像に合成する際に、前記背景画像における前記一の領域および前記他の領域に重ならないように規制することを特徴とする請求項１に記載の画像合成装置。
12. 前記選択候補検索手段は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さい場合、前記複数の第二立体画像のうちから、前記背景画像における前記一の領域および前記他の領域に重ならないように配置可能なサイズおよび形状を有する画像を、前記素材画像の選択候補として検索することを特徴とする請求項１に記載の画像合成装置。
13. 第一立体画像である背景画像内に存在する１つのオブジェクトに対応する一の領域の視差と他のオブジェクトに対応する他の領域の視差とを導出する工程と、
    各々が特定のオブジェクトとして立体視される複数の第二立体画像のうちから、前記背景画像における前記一の領域の視差とは異なる視差を有する画像を素材画像の選択候補として検索する工程と、
    検索された選択候補から前記素材画像を選択する工程と、を含み、
    前記検索候補として検索する工程は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さい場合、前記複数の第二立体画像のうちから、前記背景画像における前記他の領域に重ならないように配置可能なサイズを有する画像を前記素材画像の選択候補として検索することを特徴とする画像検索方法。
14. コンピュータに、
    第一立体画像である背景画像内に存在する１つのオブジェクトに対応する一の領域の視差と他のオブジェクトに対応する他の領域の視差とを導出する処理と、
    各々が特定のオブジェクトとして立体視される複数の第二立体画像のうちから、前記背景画像における前記一の領域の視差とは異なる視差を有する画像を素材画像の選択候補として検索する処理と、
    検索された選択候補から前記素材画像を選択する処理と、を実行させ、
    前記検索候補として検索する処理は、前記背景画像における前記一の領域の視差が前記他の領域の視差よりも小さい場合、前記複数の第二立体画像のうちから、前記背景画像における前記他の領域に重ならないように配置可能なサイズを有する画像を前記素材画像の選択候補として検索することを特徴とするプログラム。

Images