JP2004304261A - 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム - Google Patents
画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム Download PDFInfo
- Publication number
- JP2004304261A JP2004304261A JP2003091686A JP2003091686A JP2004304261A JP 2004304261 A JP2004304261 A JP 2004304261A JP 2003091686 A JP2003091686 A JP 2003091686A JP 2003091686 A JP2003091686 A JP 2003091686A JP 2004304261 A JP2004304261 A JP 2004304261A
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured
- combined form
- unit
- photographed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Circuits (AREA)
- Facsimiles In General (AREA)
- Editing Of Facsimile Originals (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
【解決手段】画像入力される撮影画像12gnについて、まねキャラクタの種類A〜Eおよびその合成形態▲1▼〜▲5▼を示すまねキャラフレームA▲1▼−n〜D▲5▼−nを選択設定し、当該撮影画像12gnに重ねて表示させると共に、設定フレーム内のまね対象部分(Tx/Ta)に任意の被写体画像Hnを合わせてシャッタ操作する。すると、そのまね対象部分(Tx/Ta)に対応して抽出された被写体画像Hnに対応するキャラクタ画像が、前記選択設定したキャラクタ種類のポーズ画像メモリ12d,12e,12f,12iから取得され、前記撮影画像12gnにおける被写体画像Hnとの置き換え又は追加によって合成され表示される。
【選択図】 図10
Description
【発明の属する技術分野】
本発明は、デジタルカメラやカメラ付携帯端末などにおける撮影画像に応じた画像を合成して出力するための画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラムに関する。
【0002】
【従来の技術】
従来、各種のスチルカメラやビデオカメラにおいて、撮影した画像に対し他の画像を合成して表示あるいは印刷して出力するものがある。
【0003】
例えば撮影フレームの固定した位置に予め用意された花や人気キャラクタなどのアニメ画像を合成して出力するものや、同予め用意されたアニメ画像を撮影フレーム内の希望の位置に合成して出力するものなどが実用されている。
【0004】
また、デジタルカメラにより撮影された画像をパーソナルコンピュータの表示画面上に表示させて他の画像と合成して編集することもできるが、この場合に他の画像は例えば他の画像ファイルから選択的に切り出したり、インターネット上の任意のホームページ画面からダウンロードしたりするなどして取得され、撮影画像上の希望位置に合成される。
【0005】
また、デジタルカメラにより撮影された画像の任意の領域(例えば顔の部分)を切り出し、この切り出し画像を予め用意されたアニメ画像(例えばアニメキャラクタの顔部分)に合成させて新たな別の画像を作成するものや、任意の画像の指定した領域に対して、これに関連付けたアニメ画像を合成するものも考えられている。(例えば、特許文献1参照。)
【0006】
【特許文献1】
特開2001−230972号公報
【0007】
【発明が解決しようとする課題】
しかしながら、このような従来の画像処理システムでは、撮影画像に対して、予め用意された画像をそのまま固定あるいは希望の位置に合成して出力したり、あるいは任意の切り出し画像に対して予め用意された画像を合成して出力したりするだけのものであるため、撮影画像以外の合成画像が常に固定的で変化が無く、またインターネットから多様な画像をダウンロードして利用するにしても、撮影画像とは関係のない単なる飾りでしかないため、面白味に欠け飽きが来やすい問題がある。
【0008】
本発明は、前記のような問題に鑑みてなされたもので、撮影画像に対して単に固定的な画像を合成するのではなく、当該撮影画像中の物体(例えば人物)像に対応した画像を合成して出力することが可能になる画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
すなわち、本発明の請求項1に係る画像出力装置では、撮影画像についての抽出対象部分と画像の合成形態とを対応付けてなる合成形態画像を複数記憶する合成形態画像記憶手段を有し、撮影画像取得手段により撮影画像を取得すると共に、合成形態画像選択手段により当該撮影画像についての合成形態画像を選択すると、この選択された合成形態画像により示される前記撮影画像についての抽出対象部分に応じた対応画像が対応画像取得手段により取得され、この取得された対応画像が前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態に応じて、前記撮影画像取得手段により取得された撮影画像に合成され、この対応画像の合成された撮影画像が画像出力手段により出力される。
【0010】
これによれば、撮影画像について選択した対象部分の画像に応じたまね画像などの対応画像が取得され、この対応画像を、選択した画像の合成形態に応じて前記撮影画像に合成して出力できることになる。
【0011】
また、本発明の請求項2に係る画像出力装置では、前記請求項1に係る画像出力装置にあって、対応画像には、異なる種類毎に複数の対応画像があり、合成形態画像記憶手段は、撮影画像についての抽出対象部分とその対応画像の種類および画像の合成形態とを対応付けてなる合成形態画像を複数記憶し、対応画像取得手段により取得される対応画像は、合成形態画像選択手段により選択された合成形態画像により示される種類の対応画像である。
【0012】
これによれば、選択された合成形態画像により示される動物などの種類の複数の対応画像の中から、撮影画像の抽出対象部分にある人物画像などに応じた対応画像を合成すべき画像として取得できることになる。
【0013】
また、本発明の請求項3に係る画像出力装置では、前記請求項1または請求項2に係る画像出力装置にあって、さらに、合成形態画像選択手段により選択された合成形態画像により示される抽出対象部分に従って撮影画像取得手段により取得された撮影画像の中から対象画像を抽出する対象画像抽出手段が備えられ、対応画像取得手段では、前記対象画像抽出手段により抽出された対象画像に応じて対応画像が取得される。
【0014】
これによれば、合成形態画像によって選択した撮影画像についての抽出対象部分から当該撮影画像の中の対象画像を抽出して、まね画像などの対応画像を合成すべき画像として取得できることになる。
【0015】
また、本発明の請求項4に係る画像出力装置では、前記請求項3に係る画像出力装置にあって、対象画像抽出手段は、撮影画像取得手段により取得された一連の複数の撮影画像の中から変化部分の画像ブロックを抽出する画像ブロック抽出手段を有し、この画像ブロック抽出手段により抽出された画像ブロックの中から合成形態画像選択手段により選択された合成形態画像により示される抽出対象部分に対応した画像ブロックを対象画像として抽出する。
【0016】
これによれば、一連の複数の撮影画像の中から被写体像などの変化部分の画像ブロックを抽出し、この画像ブロックの中から抽出対象部分に対応した画像ブロックを対象画像として抽出して、その対応画像を取得合成できることになる。
【0017】
また、本発明の請求項5に係る画像出力装置では、前記請求項1乃至請求項4の何れか1項に係る画像出力装置にあって、対応画像取得手段は、複数の対応画像を記憶する対応画像記憶手段と、合成形態画像選択手段により選択された合成形態画像により示される撮影画像についての抽出対象部分の対象画像と前記対応画像記憶手段により記憶された各対応画像との類似度を評価する類似度評価手段とを有し、この類似度評価手段により評価された対象画像と各対応画像との類似度に応じて当該対象画像に応じた対応画像が取得される。
【0018】
これによれば、撮影画像の抽出対象部分に対応する人物などの対象画像と類似度の高い(よく似た)画像を合成すべき対応画像として取得できることになる。
【0019】
また、本発明の請求項6に係る画像出力装置では、前記請求項1乃至請求項4の何れか1項に係る画像出力装置にあって、対応画像取得手段は、複数のモデル画像と複数の対応画像とを対応付けて記憶する対応画像記憶手段と、合成形態画像選択手段により選択された合成形態画像により示される撮影画像についての抽出対象部分の対象画像と前記対応画像記憶手段により記憶された各モデル画像との類似度を評価する類似度評価手段とを有し、この類似度評価手段により評価された対象画像と各モデル画像との類似度に応じて当該対象画像に応じたモデル画像に対応付けられて前記対応画像記憶手段により記憶された対応画像が取得される。
【0020】
これによれば、撮影画像の抽出対象部分に対応する人物などの対象画像と類似度の高い(よく似た)画像を、モデル画像を用いた類似度評価により、合成すべき対応画像として容易且つ確実に取得できることになる。
【0021】
また、本発明の請求項7に係る画像出力装置では、前記請求項1乃至請求項6の何れか1項に係る画像出力装置にあって、画像合成手段は、合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が置き換え合成形態である場合、撮影画像取得手段により取得された撮影画像の中の抽出対象部分の対象画像を、対応画像取得手段により取得された対応画像に置き換えて当該撮影画像に合成する。
【0022】
これによれば、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象部分の対象画像を、これに応じた対応画像に置き換えて当該撮影画像に合成できることになる。
【0023】
また、本発明の請求項8に係る画像出力装置では、前記請求項1乃至請求項6の何れか1項に係る画像出力装置にあって、画像合成手段は、合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が領域置き換え合成形態である場合、撮影画像取得手段により取得された撮影画像の中の抽出対象部分の複数の対象画像をそれぞれ対応画像取得手段により取得された複数の対応画像に置き換えて当該撮影画像に合成する。
【0024】
これによれば、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象部分に含まれる複数の被写体などの対象画像を、それぞれこれに応じた複数の対応画像に置き換えて当該撮影画像に合成できることになる。
【0025】
また、本発明の請求項9に係る画像出力装置では、前記請求項1乃至請求項6の何れか1項に係る画像出力装置にあって、画像合成手段は、合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が追加合成形態である場合、対応画像取得手段により取得された対応画像を撮影画像取得手段により取得された撮影画像に追加して合成する。
【0026】
これによれば、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象部分の対象画像に応じた対応画像を、当該撮影画像に追加して合成できることになる。
【0027】
また、本発明の請求項10に係る画像出力装置では、前記請求項1乃至請求項6の何れか1項に係る画像出力装置にあって、画像合成手段は、合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が反転追加合成形態である場合、対応画像取得手段により取得された対応画像を撮影画像取得手段により取得された撮影画像上で、抽出対象部分の対象画像と左右反転の位置に追加して合成する。
【0028】
これによれば、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象部分の対象画像に応じた対応画像を、撮影画像上で当該対象部分の対象画像と左右反転の位置に追加して合成できることになる。
【0029】
また、本発明の請求項11に係る画像出力装置では、前記請求項1乃至請求項6の何れか1項に係る画像出力装置にあって、対応画像取得手段は、撮影画像取得手段により取得された第1の撮影画像について合成形態画像選択手段により選択された合成形態画像により示される抽出対象部分に応じた対応画像を取得し、画像合成手段は、合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が次画像置き換え合成形態である場合、撮影画像取得手段により取得された第2の撮影画像に対して、前記対応画像取得手段により取得された対応画像を合成する。
【0030】
これによれば、合成形態画像により示される画像の合成形態の選択により、第1の撮影画像の抽出対象部分の対象画像に応じて取得された対応画像を、第2の撮影画像に対して合成できることになる。
【0031】
また、本発明の請求項12に係る画像出力装置では、前記請求項7または請求項9乃至請求項11の何れか1項に係る画像出力装置にあって、合成形態画像記憶手段により記憶される合成形態画像により示される撮影画像についての抽出対象部分は人の形の枠により示される。
【0032】
これによれば、撮影画像について合成すべき対応画像を取得するための人物などの対象画像を、人の形の枠により容易に抽出対象部分として選択できることになる。
【0033】
また、本発明の請求項13に係る画像出力装置では、前記請求項9または請求項10に係る画像出力装置にあって、合成形態画像記憶手段により記憶される合成形態画像により示される画像の合成形態が追加合成形態である場合、当該合成形態画像により示される撮影画像についての抽出対象部分は透明の枠により示される。
【0034】
これによれば、撮影画像上に追加合成すべき対応画像を取得するための対象画像を透明の枠により選択して、当該対象画像をそのままに対応画像が追加合成されるのを知ることができる。
【0035】
また、本発明の請求項14に係る画像出力装置では、前記請求項7または請求項8または請求項11に係る画像出力装置にあって、合成形態画像記憶手段により記憶される合成形態画像により示される画像の合成形態が置き換え合成形態である場合、当該合成形態画像により示される撮影画像についての抽出対象部分は半透明の枠により示される。
【0036】
これによれば、撮影画像上で置き換え合成すべき対応画像を取得するための対象画像を半透明の枠により選択して、当該対象画像に置き換えられて対応画像が合成されるのを知ることができる。
【0037】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【0038】
図1は本発明の実施形態に係る画像出力装置10の電子回路の構成を示すブロック図である。
【0039】
この画像出力装置10は、各種の記録媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、CPU(central processing unit)11が備えられる。
【0040】
CPU11は、メモリ12内に予め記憶された装置制御プログラム、あるいはCD−ROMなどの外部記録媒体13から記録媒体読取部14を介して前記メモリ12に読み込まれた装置制御プログラム、あるいはインターネットN上のWebサーバ21(この場合はプログラムサーバ)から電送制御部15を介して前記メモリ12に読み込まれた装置制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ12に記憶された装置制御プログラムは、キーやタッチパネルからなる入力部16からのユーザ操作に応じた入力信号、あるいは画像入力部17を介して入力される画像信号、あるいは電送制御部15を介して接続されるインターネットN上の各Webサーバ21…との通信信号に応じて起動される。
【0041】
前記CPU11には、前記メモリ12、記録媒体読取部14、電送制御部15、入力部16、画像入力部17が接続される他に、距離センサ18、LCDからなる表示部19、画像出力部20などが接続される。
【0042】
画像入力部17は、撮影画像データを入力するもので、この撮影画像データは、デジタルカメラ17A、デジタルビデオムービー17B、VTR(画像再生装置)17Cから選択的に取得される。
【0043】
距離センサ18は、前記画像入力部17において入力される撮影画像の被写体までの距離を検出する。
【0044】
画像出力部20は、前記画像入力部17から入力された撮影画像に基づき本装置により処理された画像データを出力するもので、この出力画像データは、メモリカード20A、VTR(録画装置)20B、画像印刷機20Cに選択的に出力され、当該画像の記憶,録画,印刷が行われる。
【0045】
メモリ12には、当該画像出力装置10の全体の動作を司るシステムプログラムや電送制御部15を介してインターネットN上の各Webサーバ21…とデータ通信するための通信プログラムが記憶される他に、画像入力部17や画像出力部20を介して本画像出力装置10で撮影画像内の対象画像に応じた対応画像の合成出力処理などを行うための画像処理プログラム12aなどが記憶される。
【0046】
また、このメモリ12には、モデルポーズ画像メモリ12b、まねキャラフレーム一覧メモリ12c、キャラ1「ウサギ」ポーズ画像メモリ12d、キャラ2「クマ」ポーズ画像メモリ12e、キャラ3「ネコ」ポーズ画像メモリ12f、キャラ4「コビト」ポーズ画像メモリ12iが用意され、さらにそのワークエリアには撮影画像メモリ12gや画像処理ワークエリア12hなどが用意される。
【0047】
図2は前記画像出力装置10のまねキャラフレーム一覧メモリ12cに記憶された各種まねキャラクタ毎のまね対象部分設定フレームの一覧(その1)を示す図である。
【0048】
図3は前記画像出力装置10のまねキャラフレーム一覧メモリ12cに記憶された各種まねキャラクタ毎のまね対象部分設定フレームの一覧(その2)を示す図である。
【0049】
このまねキャラフレーム一覧メモリ12cには、この画像出力装置10による撮影画像領域Fiにおいて、人まねキャラクタとして画像合成すべきキャラクタの種類(A:ネコ/B:ウサギ/C:クマ/D:コビト)と当該キャラクタによってまねすべき画像の対象部分(Tx/Ta)とを示すための複数種類のまねキャラフレーム(A▲1▼−1,−2〜A▲5▼−1,−2/B▲1▼−1,−2〜B▲5▼−1,−2/C▲1▼−1,−2〜C▲5▼−1,−2/D▲1▼−1,−2〜D▲5▼−1,−2/E▲1▼−1,−2〜E▲5▼−1,−2)が記憶される。
【0050】
各まねキャラフレーム(▲1▼−1,−2〜▲5▼−1,−2)において、まねキャラクタの種類(A〜D)は、該当まねキャラクタの基本画像によって示され、また、まねすべき画像の対象部分(Tx/Ta)は、各フレーム(▲1▼−1,−2〜▲5▼−1,−2)毎の撮影画像領域Fi内で予め設定された位置に示される。
【0051】
そして、前記各まねキャラクタフレーム(▲1▼−1,−2〜▲5▼−1,−2)において、半透明に表示されるまね対象部分Txは、当該まね対象部分Txに存在する被写体画像が前記基本画像によって示されるキャラクタのまね画像によって置き換え合成されることを示し、透明に表示されるまね対象部分Taは、当該まね対象部分Taに存在する被写体画像をそのままに、当該被写体画像について前記基本画像によって示されるキャラクタのまね画像が別の位置に追加合成されることを示す。
【0052】
すなわち、図2(1)(2)に示すように、まねキャラクタフレーム▲1▼−1(置き換え(左))または▲1▼−2(置き換え(右))が選択された場合には、撮影画像領域Fiの左寄りまたは右寄りの人形のまね対象部分Txに存在する被写体画像が、そのポーズを真似た選択種類のキャラクタ画像によって置き換え合成される。
【0053】
また、図2(3)(4)に示すように、まねキャラクタフレーム▲2▼−1(領域置き換え(左))または▲2▼−2(領域置き換え(右))が選択された場合には、撮影画像領域Fiの左寄りまたは右寄りの円形のまね対象部分Txの囲み領域に存在する全ての被写体画像が、そのポーズを真似た選択種類のキャラクタ画像によって置き換え合成される。
【0054】
また、図2(5),図3(6)に示すように、まねキャラクタフレーム▲3▼−1(追加(左))または▲3▼−2(追加(右))が選択された場合には、撮影画像領域Fi内の人形のまね対象部分Taに存在する被写体画像について、そのポーズを真似た選択種類のキャラクタ画像が左寄りまたは右寄りに追加合成される。
【0055】
また、図3(7)(8)に示すように、まねキャラクタフレーム▲4▼−1(反転(左→右))または▲4▼−2(反転(右→左))が選択された場合には、撮影画像領域Fiの左寄りまたは右寄りの人形のまね対象部分Taに存在する被写体画像について、そのポーズを真似て反転した選択種類のキャラクタ画像が該被写体画像と反対側の右寄りまたは左寄りに追加合成される。
【0056】
また、図3(9)(10)に示すように、まねキャラクタフレーム▲5▼−1(次追加(左))または▲5▼−2(次追加(右))が選択された場合には、第1撮影画像領域Fi内の人形のまね対象部分Txに存在する被写体画像のポーズを真似た選択種類のキャラクタ画像が、次の撮影画像である第2撮影画像領域Fiの左寄りまたは右寄りに追加合成される。
【0057】
図4は前記画像出力装置10のキャラ1「ウサギ」ポーズ画像メモリ12d:キャラ2「クマ」ポーズ画像メモリ12e:キャラ3「ネコ」ポーズ画像メモリ12fにそれぞれ記憶された各種のポーズに対応する各キャラクタ画像を示す図である。なお、図4において、キャラ4「コビト」ポーズ画像メモリ12iについては、他の各ポーズ画像メモリ12d〜12fと同様のため図示を省略する。
【0058】
このキャラ1「ウサギ」,2「クマ」,3「ネコ」,4「コビト」の各ポーズ画像メモリ12d,12e,12f,12iに記憶された各キャラクタそれぞれの各種のポーズ画像は、画像入力部17から入力された撮影画像上のまね対象部分(Tx/Ta)に存在する被写体画像(対象画像)のポーズを真似たキャラクタ画像として使用されるもので、異なるポーズ毎にそのポーズNo.が対応付けられて記憶される。
【0059】
図5は前記画像出力装置10のモデルポーズ画像メモリ12bに記憶されたモデルポーズに対応するモデル画像を示す図である。
【0060】
このモデルポーズ画像メモリ12bに記憶された各種ポーズのモデル画像は、画像入力部17から入力された撮影画像上のまね対象部分(Tx/Ta)に存在する被写体画像(対象画像)のポーズに応じた類似のモデル画像を取得するために使用されるもので、異なるポーズ毎にそのポーズNo.が対応付けられて記憶され、さらに各ポーズNo.毎に3種のバリエーションA,B,Cのモデル画像が記憶される。
【0061】
そして、前記キャラ1「ウサギ」ポーズ画像メモリ12d,キャラ2「クマ」ポーズ画像メモリ12e,キャラ3「ネコ」ポーズ画像メモリ12f,キャラ4「コビト」ポーズ画像メモリ12iにそれぞれ記憶された各キャラクタ画像には、前記モデルポーズ画像メモリ12bに記憶された全てのポーズNo.(No.1A,1B,1C、2A,2B,2C、〜、nA,nB,nC)に対応する同じポーズのキャラクタ画像が用意されて記憶される。
【0062】
撮影画像メモリ12gには、画像入力部17を介して入力された撮影画像データがその撮影画像単位で記憶される。
【0063】
画像処理ワークエリア12hには、前記画像処理プログラム12aに従い処理される画像データがその画像処理に応じて一時記憶される。
【0064】
このように構成された画像出力装置10について、その動作概要を説明する。
【0065】
図6は前記画像出力装置10によりまねキャラクタフレームB▲4▼−2(反転(右→左))が選択された場合のキャラクタ画像「ウサギ」による左右反転位置追加合成状態を示す図である。
【0066】
図6(A)に示すように、例えばパートナーとのダンスを予め意識した被写体画像(対象画像)Hの撮影画像12g1について、「ウサギ」のまねキャラフレームB▲4▼−2(反転(右→左))[図3(B−8)参照]を選択して重ね合わせ表示させた状態で、当該被写体画像(対象画像)HがフレームB▲4▼−2内のまね対象部分Taに合うように撮影方向および大きさを設定する。この際、透明のまね対象部分Taは、当該まね対象部分Ta内に存在する被写体画像(対象画像)Hはそのままに、当該被写体画像(対象画像)Hのポーズを真似たキャラクタ画像が他の領域に合成されることを意味する。すると、撮影画像12g1とまね対象部分Taに基づいて、図6(B)に示すように当該被写体画像(対象画像)Hが抽出される。
【0067】
まねキャラフレームB▲4▼−2の選択キャラクタは「ウサギ」なので、図6(C)に示すように前記抽出された被写体画像(対象画像)Hのポーズに類似のポーズNo.19「ダンス」の「ウサギ」のキャラクタ画像12d(19)がキャラ1「ウサギ」ポーズ画像メモリ12dから読み出される。すると、このキャラ1「ウサギ」ポーズ画像メモリ12dから読み出された被写体画像(対象画像)Hに類似のポーズNo.19「ダンス」の「ウサギ」のキャラクタ画像12d(19)が左右反転され、図6(D)に示すように撮影画像12g1上の中心を対称とした前記被写体(対象画像)Hと反転した位置に追加合成される。
【0068】
このように、「ウサギ」のまねキャラフレームB▲4▼−2(反転(右→左))[図3(B−8)参照]を選択することで、撮影画像12g1におけるダンスポーズの被写体(対象画像)Hの真似をした「ウサギ」のキャラクタ画像12d(19)が左右反転され、当該撮影画像12g1上でダンスポーズをする被写体(対象画像)Hと左右対称となる位置にダンスパートナーとして追加合成表示される。
【0069】
図7は前記画像出力装置10によりまねキャラフレームC▲5▼−2(次追加(右))が選択された場合のキャラクタ画像「クマ」による次画像置き換え合成状態を示す図である。
【0070】
例えば置き換え画像となる「クマ」のキャラクタと被写体となる自分が“さよなら”をしている合成画像を作成したい場合には、まず図7(A)に示すように、まねキャラクタ「クマ」にさせたい“さよなら”のポーズの被写体画像(対象画像)H1の第1の撮影画像12g2について、「クマ」のまねキャラフレームC▲5▼−2(次追加(右))[図3(C−10)参照]を選択し重ね合わせ表示させた状態で、当該被写体画像(対象画像)H1がフレームC▲5▼−2内のまね対象部分Txに合うように撮影方向および大きさを設定する。この際、半透明のまね対象部分Txは、当該まね対象部分Tx内に存在する被写体画像(対象画像)H1に置き換えて、そのポーズを真似たキャラクタ画像が合成されることを意味する。すると、第1の撮影画像12g2とまね対象部分Txに基づいて、図7(B)に示すように、当該被写体画像(対象画像)H1が抽出される。
【0071】
まねキャラフレームC▲5▼−2の選択キャラクタは「クマ」なので、図7(C)に示すように前記抽出された被写体画像(対象画像)H1のポーズに類似のポーズNo.11「さよなら」の「クマ」のキャラクタ画像12e(11)がキャラ2「クマ」ポーズ画像メモリ12eから読み出される。この場合、現在時刻「PM8」が検知されて夜であることが判定され、前記「さよなら」のポーズの「クマ」のキャラクタ画像は、例えば月に乗った夜用のキャラクタ画像12e(11)Nとして読み出される。
【0072】
つぎに図7(D)に示すように、前記第1撮影画像12g2における1回目の被写体画像(対象画像)H1に対応した相手方となるポーズの2回目の被写体画像H2を撮影すると、この第2撮影画像12g2′の右寄りに、図7(E)に示すように、前記キャラ2「クマ」ポーズ画像メモリ12eから読み出された1回目の被写体画像(対象画像)H1に類似のポーズNo.11「さよなら」の夜時間用の「クマ」のキャラクタ画像12e(11)Nが追加合成される。
【0073】
このように、「クマ」のまねキャラフレームC▲5▼−2(次追加(右))[図3(C−10)参照]を選択することで、1回目の撮影画像12g2において被写体(対象画像)H1の真似をした「クマ」のキャラクタ画像12e(11)が、2回目の撮影画像12g2′において撮影された被写体(対象画像)H2に合わせて追加合成表示される。
【0074】
図8は前記画像出力装置10によりまねキャラフレームB▲1▼−1(置き換え(左))が選択された場合のキャラクタ画像「ウサギ」による置き換え合成状態を示す図である。
【0075】
図8(A)に示すように、例えば3人の被写体H1〜H3を撮影した撮影画像12g3について、「ウサギ」のまねキャラフレームB▲1▼−1(置き換え(左))[図2(B−1)参照]を選択して重ね合わせ表示させた状態で、置き換え対象の被写体画像(対象画像)H1がフレームB▲1▼−1内のまね対象部分Txに合うように撮影方向および大きさを設定する。この際、半透明のまね対象部分Txは、当該まね対象部分Tx内に存在する被写体画像(対象画像)H1に置き換えて、そのポーズを真似たキャラクタ画像が合成されることを意味する。すると、図8(B)に示すように、置き換えの対象となる被写体画像(対象画像)H1が抽出される。
【0076】
まねキャラフレームB▲1▼−1の選択キャラクタは「ウサギ」なので、図8(C)に示すように被写体画像(対象画像)H1のポーズに類似のポーズNo.1「はいチーズ(アップ)」の「ウサギ」のキャラクタ画像12d(1)がキャラ1「ウサギ」ポーズ画像メモリ12dから読み出される。
【0077】
一方、図8(D)(E)(F)に示すように、撮影画像12g3から前記置き換え対象の被写体画像(対象画像)H1を含めた3つの被写体画像H2,H3を切り出した撮影背景画像12g3′が生成される。
【0078】
すると、図8(G)に示すように、前記キャラ1「ウサギ」ポーズ画像メモリ12dから読み出された被写体画像(対象画像)H1に類似のポーズNo.1「はいチーズ」の「ウサギ」のキャラクタ画像12d(1)と、前記撮影画像12g3から切り出された残り2つの被写体画像H2,H3が、前記撮影背景画像12g3′に対しその撮影距離が遠い順に各被写体位置に対応して合成される。
【0079】
このように、「ウサギ」のまねキャラフレームB▲1▼−1(置き換え(左))[図2(B−1)参照]を選択することで、撮影画像12g3における被写体(対象画像)H1のポーズの真似をした「ウサギ」のキャラクタ画像12d(1)が当該被写体(対象画像)H1と置き換えられて合成表示される。
【0080】
なお、この動作概要での図示による説明は省略するが、本画像出力装置10での撮影中に選択可能なまねキャラフレームモードの種類としては、前記置き換え合成フレームモード▲1▼、反転追加合成フレームモード▲4▼、次画像置き換え合成フレームモード▲5▼の他に、領域置き換え合成フレームモード▲2▼、追加合成フレームモード▲3▼がある。
【0081】
すなわち、撮影画像12gnについて、例えば「コビト」の領域置き換え合成フレーム▲2▼−nを選択して重ね合わせ表示させると共に、その半透明のまね対象部分Txの領域を、当該撮影画像12gnにおいて置き換え対象としたい例えば無関係の複数の被写体画像h1,h2,…が存在する位置に合わせて設定する。すると、まね対象部分Txの領域から抽出された複数の被写体画像h1,h2,…それぞれポーズに真似た「コビト」のキャラクタ画像12i(n)がキャラ4「コビト」ポーズ画像メモリ12iから取得され、当該複数の被写体画像h1,h2,…それぞれと置き換えられて合成表示される。
【0082】
これにより、撮影画像12gnに含まれる、例えば撮影対象として不要な複数の被写体画像h1,h2,…については、ユーザにより領域置き換え合成フレーム▲2▼−nとして選択設定した真似のキャラクタ画像に置き換えられる。
【0083】
また、撮影画像12gnについて、例えば「ネコ」の追加合成フレーム▲3▼−nを選択して重ね合わせ表示させると共に、その透明のまね対象部分Taを、当該撮影画像12gnにおいてまね対象としたい被写体画像hの位置に合わせて設定する。すると、まね対象部分Taから抽出された被写体画像hのポーズに真似た「ネコ」のキャラクタ画像12f(n)がキャラ3「ネコ」ポーズ画像メモリ12fから取得され、撮影画像12gnの背景エリアのランダムな位置に追加合成表示される。
【0084】
これにより、撮影画像12gnに含まれる任意の被写体画像hのポーズを真似たキャラクタ画像が当該撮影画像12gnの空きエリアに追加されて合成表示される。
【0085】
次に、前記構成による画像出力装置10による詳細な画像処理動作について説明する。
【0086】
ここでは、画像出力装置10をデジタルカメラとして実施した場合について説明する。
【0087】
図9は前記画像出力装置であるデジタルカメラ10の外観構成を示す図であり、同図(A)はその前面図、同図(B)はその背面図である。
【0088】
図10は前記画像出力装置(デジタルカメラ)10による合成画像出力処理での各種フレームモードの設定に伴う撮影表示状態(その1)を示す図であり、同図(A1)〜(A4)は「ネコ」の追加合成フレームA▲3▼−2を設定した場合の撮影表示状態を示す図、同図(B1)〜(B4)は「ウサギ」の置き換え合成フレームB▲1▼−1を設定した場合の撮影表示状態を示す図、同図(C1)〜(C4)は「ウサギ」の反転追加合成フレームB▲4▼−2を設定した場合の撮影表示状態を示す図である。
【0089】
図11は前記画像出力装置(デジタルカメラ)10による合成画像出力処理での各種フレームモードの設定に伴う撮影表示状態(その2)を示す図であり、同図(D1)〜(D4)は「クマ」の次画像置き換え合成フレームC▲5▼−2を設定した場合の撮影表示状態を示す図、同図(E1)〜(E4)は「コビト」の領域置き換え合成フレームD▲2▼−1を設定した場合の撮影表示状態を示す図である。
【0090】
図12は前記画像出力装置(デジタルカメラ)10による合成画像出力処理(その1)を示すフローチャートである。
【0091】
図13は前記画像出力装置(デジタルカメラ)10による合成画像出力処理(その2)を示すフローチャートである。
【0092】
まず、「PLAY/REC」キー16bを「REC」側にセットし、画像入力部17によって撮影画像12g内に所望の被写体画像Hnを捉え表示部19に表示させる(ステップA1)。
【0093】
ここで、入力部16の「MENU」キー16aの操作により、撮影画像12gnに対し被写体画像Hnを真似たキャラクタ画像の合成表示を行わせるための「まねフレーム機能」が選択されると(ステップA2)、まねキャラフレーム一覧メモリ12c(図2・図3参照)に記憶されている先頭のまねキャラフレームモード(「ネコ」の置き換え(左)合成フレーム▲1▼−1)が初期設定される(ステップA3,A4)。
【0094】
すると、初期設定により指定された「ネコ」の置き換え(左)合成フレーム▲1▼−1がまねキャラフレーム一覧メモリ12cから読み出され、例えば図10(B1)〜(B3)に示すように、撮影中の画像12gnに重ねて合成表示される(ステップA6)。
【0095】
ここで、入力部16のカーソルキー16dを左右方向に操作すると、設定中のまねキャラフレームモードが前記置き換え合成モード▲1▼−n〜次画面追加合成モード▲5▼−nの間で任意に変更設定されて撮影中の画像12gnに対してその都度合成表示され(ステップA7→A8,A5,A6)、また、同カーソルキー16dを上下方向に操作すると、設定中のまねキャラフレームモードのキャラクタの種類が前記「ネコ」A〜「コビト」Dの間で任意に変更設定されて撮影中の画像12gnに対してその都度合成表示される(ステップA9→A10,A5,A6)。
【0096】
そして、撮影中の画像12gnに対して当該選択設定された所望のキャラクタ画像と共に合成表示されるまねキャラフレームのまね対象部分(Tx/Ta)に対して、真似の対象とすべき被写体画像Hnが位置するようにその撮影方向および大きさを合わせた状態で、前記カーソルキー16dをプッシュ操作すると、現在の撮影画像12gnに合わせて合成表示中のまねキャラフレームが選択決定され、そのフレームモードとキャラクタが設定される(ステップA11→A12)。
【0097】
そして、入力部16の「シャッタ」キー16cを操作すると、図14における対象画像抽出処理へ移行される(ステップA12′→AC)。
【0098】
図14は前記画像出力装置(デジタルカメラ)10の合成画像出力処理に伴う対象画像抽出処理を示すフローチャートである。
【0099】
前記シャッタ操作の直前から操作時点において、画像入力部17を介して所定のタイミングで順次入力された一連の撮影画像12gn…がワークエリアの撮影画像メモリ12gに対し記憶される(ステップC1)。
【0100】
すると、この撮影画像メモリ12gに記憶された一連の撮影画像12gn…のそれぞれから被写体の動きに伴う画像の変化部分が当該各被写体のブロック毎に抽出され(ステップC2)、これにより抽出された各被写体画像Hnがそのブロック毎に画像処理ワークエリア12hに保存される(ステップC3)。
【0101】
こうして、撮影画像12gnから当該撮影画像12gnに含まれる各被写体画像Hnがそのブロック毎に抽出されて画像処理ワークエリア12hに保存されると(ステップAC)、このブロック化された各被写体画像Hnについて、前記まねキャラフレームのまね対象部分(Tx/Ta)と最も合致するブロック領域の被写体画像Hnが真似対象画像として抽出設定される(ステップA13)。
【0102】
そして、前記真似対象となる被写体画像Hnが抽出設定されると、図15における対応アニメ画像(まね画像)取得処理に移行される(ステップAD)。
【0103】
図15は前記画像出力装置(デジタルカメラ)10の合成画像出力処理に伴う対応アニメ画像取得処理を示すフローチャートである。
【0104】
この対応アニメ画像取得処理では、まず、前記撮影画像12gnからまね対象部分(Tx/Ta)に応じて抽出され真似対象画像として設定された被写体画像Hnとモデルポーズ画像メモリ12bに記憶されている各ポーズのモデル画像との類似度が評価され(ステップDE)、最も類似度の高いポーズのモデル画像のポーズNo.に対応する設定キャラクタの画像がセットされ(ステップD1)、現在表示中の撮影画像12gnとそのまねキャラフレームにおけるまねキャラクタ画像として設定される(ステップD2→D3)。
【0105】
一方、入力部16に対するユーザ操作(「カーソル」キー16dの左右操作)に応じて「次表示」が指示された場合には、当該「次表示」操作毎に次に類似度の高いモデル画像のポーズNo.に対応する設定キャラクタの画像が順番にセットされる(ステップD2→D4)。
【0106】
そして、所望の類似度のモデルポーズに対応するキャラクタ画像がセットされると、この選択されたポーズNo.の設定キャラクタ画像が真似対象画像に対応するまねキャラクタ画像として設定される(ステップD2→D3)。
【0107】
このように、対応アニメ画像取得処理では、撮影画像12gnからそのまね対象部分(Tx/Ta)に従い抽出設定された真似対象画像としての被写体画像Hnに対し、人物の基本モデルである各ポーズ毎のモデル画像との類似度が評価され、これに基づき被写体画像Hnを真似たポーズのキャラクタとして追加合成または置き換え合成される設定キャラクタ画像が決定される。
【0108】
この場合、真似対象画像としての被写体画像Hnに対し、設定されたキャラクタの各ポーズ毎のキャラクタ画像との類似度を直接評価して追加または置き換えのキャラクタ画像を決定するのに比較して、各ポーズ毎のモデル画像との類似度を評価し選択されたモデルポーズNo.から追加または置き換えのキャラクタ画像を決定するようにした当該対応アニメ画像取得処理の方が、類似度の評価対象に人物モデルを用いることから被写体画像Hnとの高い類似度が得られやすく、より類似性(真似度)の高いキャラクタ画像を取得できる利点がある。
【0109】
図16は前記画像出力装置10の合成画像出力処理に伴う対応アニメ画像取得処理での真似対象画像との類似度評価処理を示すフローチャートである。
【0110】
図17は前記画像出力装置10の対応アニメ画像取得処理での類似度評価処理に伴うモデル画像との類似度評価例を示す図である。
【0111】
例えば図17(A)に示すように、先頭のポーズNo.のモデル画像が読み出され(ステップE1)、同図(X)で示す真似対象画像H1との縦・横のサイズが合わされる(ステップE2)。
【0112】
すると、前記真似対象画像H1と縦横サイズの合わされたモデル画像との重ね合わせ評価が行われ、その評価値(%)が算出されて当該ポーズのモデル画像との類似度として記憶される(ステップE3)。
【0113】
ここで、今回の類似度評価対象のポーズNo.のモデル画像が左右非対称の画像であるか否か判断され(ステップE4)、例えば図17(A)で示すように、当該ポーズのモデル画像12b(1)Aが左右非対称の画像ではない(左右対称)と判断された場合には(ステップE4「No」)、次のポーズNo.のモデル画像が読み出され(ステップE8→E9)、前記同様に真似対象画像H1と次のポーズのモデル画像との類似度評価処理が繰り返される(ステップE2〜E4)。
【0114】
一方、例えば図17(B)で示すように、今回の類似度評価対象のポーズNo.19のモデル画像12b(19)が左右非対称のモデル画像であると判断された場合には、当該ポーズNo.19のモデル画像が左右反転され(ステップE4→E5)、図17(C)で示すように、この反転されたモデル画像12b(19)Rについて真似対象画像H1との縦・横のサイズが合わされる(ステップE6)。
【0115】
すると、前記真似対象画像H1と縦横サイズの合わされた反転モデル画像12b(19)Rとの重ね合わせ評価が行われ、その評価値(%)が算出されて当該ポーズの反転モデル画像12b(19)Rとの類似度として記憶される(ステップE7)。
【0116】
この後、次のポーズNo.のモデル画像がある場合には(ステップE8)、当該次のポーズNo.のモデル画像が順次読み出され(ステップE9)、前記同様に真似対象画像と各ポーズ毎のモデル画像との類似度評価処理が繰り返される(ステップE2〜E7)。
【0117】
これにより、例えば図17で示したように、被写体画像(対象画像)H1に対してモデル画像との類似度評価を行った場合には、ポーズNo.19に対応するモデル画像12b(19)が最も類似度の高いポーズのモデル画像として評価される。
【0118】
このように、前記図15〜図17を参照して説明した対応アニメ画像取得処理(ステップAD)によって、撮影画像12gnからそのまね対象部分(Tx/Ta)に従い抽出設定された真似対象画像としての被写体画像Hnを真似たポーズの設定キャラクタ画像が決定されると、現在設定中のまねキャラフレームモードが「置き換え合成モード▲1▼−n」「領域置き換え合成モード▲2▼−n」「追加合成モード▲3▼−n」「反転追加合成モード▲4▼−n」「次画像置き換え合成モード▲5▼−n」の何れのフレームモードであるか判断される(ステップA14)。
【0119】
ここで、例えば図10(B1)〜(B3)に示すように、撮影画像12g3に対して「ウサギ」のまねキャラフレームB▲1▼−1が選択設定されて合成表示され、その半透明のまね対象部分Txに被写体画像H1が合わされた状態で、「シャッタ」キー16cが操作され(ステップA1〜A12′)、前記対象画像抽出処理(ステップAC)から対応アニメ画像取得処理(ステップAD)を経て、現在設定中のまねキャラフレームモードが「置き換え合成モード▲1▼−n」と判断された場合には(ステップA14)、図10(B4)に示すように、前記対応アニメ画像取得処理(図15参照)により取得された、撮影画像12g3において前記まね対象部分Txに従い抽出された真似対象画像である被写体H1のポーズの真似をした「ウサギ」のキャラクタ画像12d(1)が当該まね対象部分Txの被写体(対象画像)H1と置き換えられて合成表示される(ステップA14→A15,A23)。
【0120】
この場合、図8で示したように、撮影画像12g3から前記まね対象部分Txに従い抽出された被写体画像(対象画像)H1を含めた3つの被写体画像H2,H3を切り出した撮影背景画像12g3′が生成される。そして、前記まね対象の被写体画像(対象画像)H1に類似の「ウサギ」のキャラクタ画像12d(1)と、前記撮影画像12g3から切り出された残り2つの被写体画像H2,H3とは、前記撮影背景画像12g3′に対しその撮影時に距離センサ18により検出された撮影距離が遠い順に各被写体位置に対応して合成される。
【0121】
なお、前記被写体画像H1,H2,H3を切り出した背景画像12g3′の生成をせずに、撮影画像12g3に対して、前記まね対象の被写体画像(対象画像)H1に類似の「ウサギ」のキャラクタ画像12d(1)と、残り2つの被写体画像H2,H3とを、その撮影時に距離センサ18により検出された撮影距離が遠い順に各被写体位置に重ねて合成してもよい。
【0122】
すると、この置き換え合成モード▲1▼−1に応じて作成され、図10(B4)で示したように、被写体画像H1のはいチーズのポーズを真似た「ウサギ」のキャラクタ画像が当該被写体画像H1と置き換えられて合成されてなる撮影画像12g3が、入力部16の「カーソル」キー16dにおけるプッシュ(OK)操作に応じてメモリ12内に登録される(ステップA24→A25)。
【0123】
なお、このOK操作に伴う画像合成後の撮影画像12g3の登録処理を行う以前に、「カーソル」キー16dの左右操作により現在合成表示中のキャラクタ画像の次表示が指示された場合には、前記対応アニメ画像取得処理(図15参照)によって、まね対象の被写体画像H1に対し次に類似度の高いモデル画像のポーズNo.に対応する「ウサギ」のキャラクタ画像がセットされ、前記同様の置き換え合成処理により再合成されて表示される(ステップA24→AC〜A14→A15,A23)。
【0124】
また、例えば図11(E1)〜(E3)に示すように、撮影画像12g5に対して「コビト」のまねキャラフレームD▲2▼−1が選択設定されて合成表示され、その半透明のまね対象部分Txの領域内に撮影不要な複数の被写体画像H3,H4が合わされた状態で、「シャッタ」キー16cが操作され(ステップA1〜A12′)、前記対象画像抽出処理(ステップAC)から対応アニメ画像取得処理(ステップAD)を経て、現在設定中のまねキャラフレームモードが「領域置き換え合成モード▲2▼−n」と判断された場合には、図11(E4)に示すように、前記対応アニメ画像取得処理(図15参照)により取得された、撮影画像12g5において前記まね対象部分Txに従い抽出された複数の真似対象画像である被写体H3,H4のポーズの真似をした「コビト」のキャラクタ画像12i(3),12i(3)′が当該まね対象部分Txの領域内の複数の被写体(対象画像)H3,H4と順次置き換えられて合成表示される(ステップA14→A16,A17,A23)。
【0125】
すると、この領域置き換え合成モード▲2▼−1に応じて作成され、図11(E4)で示したように、撮影画像に不要な複数の被写体画像H3,H4のポーズを真似た「コビト」のキャラクタ画像が当該各被写体画像H3,H4と置き換えられて合成されてなる撮影画像12g5が、入力部16の「カーソル」キー16dにおけるプッシュ(OK)操作に応じてメモリ12内に登録される(ステップA24→A25)。
【0126】
なお、このOK操作に伴う画像合成後の撮影画像12g5の登録処理を行う以前に、「カーソル」キー16dの左右操作により現在合成表示中のキャラクタ画像の次表示が指示された場合には、前記対応アニメ画像取得処理(図15参照)によって、まね対象の被写体画像H3,H4に対し次に類似度の高いモデル画像のポーズNo.に対応する「コビト」のキャラクタ画像がセットされ、前記同様の領域置き換え合成処理により再合成されて表示される(ステップA24→AC〜A14→A16,A17,A23)。
【0127】
また、例えば図10(A1)〜(A3)に示すように、撮影画像12g4に対して「ネコ」のまねキャラフレームA▲3▼−2が選択設定されて合成表示され、その透明のまね対象部分Taに被写体画像H1が合わされた状態で、「シャッタ」キー16cが操作され(ステップA1〜A12′)、前記対象画像抽出処理(ステップAC)から対応アニメ画像取得処理(ステップAD)を経て、現在設定中のまねキャラフレームモードが「追加合成モード▲3▼−n」と判断された場合には、図10(A4)[図8参照]に示すように、撮影画像12g4において抽出された被写体ブロックM以外の空きエリアのランダムな位置に、前記対応アニメ画像取得処理(図15参照)により取得された真似対象の被写体画像H1のポーズ「バンザイ」の真似をした「ネコ」のキャラクタ画像12fnが追加合成されて表示される(ステップA14→A18,A23)。
【0128】
すると、この追加合成モード▲3▼−2に応じて作成され、図10(A4)で示したように、被写体画像H1のバンザイのポーズを真似た「ネコ」のキャラクタ画像が空きエリアに追加され合成されてなる撮影画像12g4が、入力部16の「カーソル」キー16dにおけるプッシュ(OK)操作に応じてメモリ12内に登録される(ステップA24→A25)。
【0129】
なお、このOK操作に伴う画像合成後の撮影画像12g4の登録処理を行う以前に、「カーソル」キー16dの左右操作により現在合成表示中のキャラクタ画像の次表示が指示された場合には、前記対応アニメ画像取得処理(図15参照)によって、まね対象の被写体画像H1に対し次に類似度の高いモデル画像のポーズNo.に対応する「ネコ」のキャラクタ画像がセットされ、前記同様の追加合成処理により再合成されて表示される(ステップA24→AC〜A14→A18,A23)。
【0130】
また、例えば図10(C1)〜(C3)に示すように、撮影画像12g1に対して「ウサギ」のまねキャラフレームB▲4▼−2が選択設定されて合成表示され、その透明のまね対象部分Taに被写体画像Hが合わされた状態で、「シャッタ」キー16cが操作され(ステップA1〜A12′)、前記対象画像抽出処理(ステップAC)から対応アニメ画像取得処理(ステップAD)を経て、現在設定中のまねキャラフレームモードが「反転追加合成モード▲4▼−n」と判断された場合には、図10(C4)[図6参照]に示すように、前記対応アニメ画像取得処理(図15参照)により取得された真似対象の被写体画像Hのポーズ「ダンス」の真似をした「ウサギ」のキャラクタ画像12d(19)が、撮影画像12g1において当該被写体画像Hと左右対称となる位置に、反転した「ウサギ」のキャラクタ画像12d(19)Rとして追加合成されて表示される(ステップA14→A19,A23)。
【0131】
すると、この反転追加合成モード▲4▼−2に応じて作成され、図10(C4)で示したように、被写体画像Hのダンスのポーズを真似た「ウサギ」のキャラクタ画像が当該被写体画像Hの反転位置に追加され合成されてなる撮影画像12g1が、入力部16の「カーソル」キー16dにおけるプッシュ(OK)操作に応じてメモリ12内に登録される(ステップA24→A25)。
【0132】
なお、このOK操作に伴う画像合成後の撮影画像12g1の登録処理を行う以前に、「カーソル」キー16dの左右操作により現在合成表示中のキャラクタ画像の次表示が指示された場合には、前記対応アニメ画像取得処理(図15参照)によって、まね対象の被写体画像Hに対し次に類似度の高いモデル画像のポーズNo.に対応する「ウサギ」のキャラクタ画像がセットされ、前記同様の反転追加合成処理により再合成されて表示される(ステップA24→AC〜A14→A19,A23)。
【0133】
また、例えば図11(D1)〜(D3)に示すように、撮影画像12g2に対して「クマ」のまねキャラフレームC▲5▼−2が選択設定されて合成表示され、その半透明のまね対象部分Txに被写体画像H1が合わされた状態で、「シャッタ」キー16cが操作され(ステップA1〜A12′)、前記対象画像抽出処理(ステップAC)から対応アニメ画像取得処理(ステップAD)を経て、現在設定中のまねキャラフレームモードが「次画像置き換え合成モード▲5▼−n」と判断された場合には、1回目の撮影画像12g2においてまね対象として設定された被写体(対象画像)H1の位置が真似画像の置き換え位置として記憶される(ステップA14→A20)。
【0134】
そして、図11(D3′)に示すように、2回目の撮影画像12g2′が取得されると(ステップA21)、この2回目の撮影画像12g2′における前記記憶された1回目撮影時の被写体(対象画像)H1の位置に対して、図11(D4)に示すように、前記対応アニメ画像取得処理(図15参照)により取得された同被写体H1の真似をした第1類似度の「クマ」のキャラクタ画像12e(11)N(この場合は夜間用の特別キャラクタ)が、2回目の撮影画像12g2′において撮影された被写体H2と組み合わされて合成表示される(ステップA22)。
【0135】
すると、この次画像置き換え合成モード▲5▼−2に応じて作成され、図11(D4)で示したように、1回目の被写体画像H1のポーズを真似た「クマ」のキャラクタ画像が2回目の被写体画像H2と組み合わされて追加合成されてなる撮影画像12g2′が、入力部16の「カーソル」キー16dにおけるプッシュ(OK)操作に応じてメモリ12内に登録される(ステップA24→A25)。
【0136】
なお、このOK操作に伴う画像合成後の撮影画像12g2′の登録処理を行う以前に、「カーソル」キー16dの左右操作により現在合成表示中のキャラクタ画像の次表示が指示された場合には、前記対応アニメ画像取得処理(図15参照)によって、まね対象の1回目被写体画像H1に対し次に類似度の高いモデル画像のポーズNo.に対応する「クマ」のキャラクタ画像がセットされ、前記同様の次画像置き換え合成処理により2回目の撮影画像12g2′に再合成されて表示される(ステップA24→AC〜A14→A20〜A23)。
【0137】
なお、前記各種のまねキャラフレームモード▲1▼−n〜▲5▼−nにおいて、置き換え合成表示処理あるいは追加合成表示処理された撮影画像12gnは、OK操作に応じてメモリ12内に登録される一方で画像出力部20から出力され、メモリカード20Aによる記録、またはVTR(録画装置)20Bによる記録、または画像印刷機20Cによる印刷が適宜行われる。
【0138】
したがって、前記構成の画像出力装置10による合成画像出力機能によれば、画像入力部17を介して入力された撮影画像12gnについて、まねキャラクタの種類A〜Eおよびその合成形態▲1▼〜▲5▼を示すまねキャラフレームA▲1▼−n〜D▲5▼−nを選択設定し当該撮影画像12gnに重ねて表示させると共に、設定フレーム内のまね対象部分(Tx/Ta)に任意の被写体画像Hnを合わせてシャッタ操作すると、そのまね対象部分(Tx/Ta)に対応して抽出された被写体画像Hnに対応するポーズで前記選択設定された種類のキャラクタ画像が、キャラ1「ウサギ」ポーズ画像メモリ12d,キャラ2「クマ」ポーズ画像メモリ12e,キャラ3「ネコ」ポーズ画像メモリ12f,キャラ4「コビト」ポーズ画像メモリ12iから取得され、前記撮影画像12gnにおける被写体画像Hnとの置き換え又は追加によって合成され表示されるので、単に撮影フレーム内に固定的なアニメ画像を追加合成するのではなく、当該撮影フレーム内のまね対象部分(Tx/Ta)に合わせた被写体のポーズを真似たアニメ画像を置き換えあるいは追加合成することによって非常に楽しいアニメ付の撮影画像を容易に作成することができる。
【0139】
また、前記構成の画像出力装置10による合成画像出力機能によれば、撮影画像12gnに選択的に重ねて表示すべき各まねキャラフレームA▲1▼−n〜D▲5▼−n内でそれぞれ予め位置設定されるまね対象部分(Tx/Ta)は人形(ひとがた)として示されるので、当該人形のまね対象部分(Tx/Ta)に対して撮影画像12gn上で真似すべき被写体画像Hnを簡単明瞭に位置合わせして画像抽出することができる。
【0140】
また、領域置き換え合成モード用のまねキャラフレームA▲2▼−n〜D▲2▼−n内で予め位置設定されるまね対象部分Txは円形として示されるので、当該円形のまね対象部分Txに対して撮影画像12gn上で真似すべき例えば不要な複数の被写体画像Hn,…を簡単明瞭に位置合わせして画像抽出しそれぞれ対応するポーズの複数のキャラクタ画像を取得することができる。
【0141】
また、被写体画像Hnのまねキャラクタ画像を当該被写体画像Hnと置き換え合成させるための各まねキャラフレーム▲1▼−n,▲2▼−n,▲5▼−n内のまね対象部分Txについては、半透明な枠として撮影画像12gnに重ね合わせ表示させた場合にまねすべき被写体画像Hnを半透明にして置き換えの対象として容易に認識することができる。
【0142】
また、被写体画像Hnのまねキャラクタ画像を当該被写体画像Hnと組み合わせて追加合成させるための各まねキャラフレーム▲3▼−n,▲4▼−n内のまね対象部分Taについては、透明な枠として撮影画像12gnに重ね合わせ表示させた場合にまねすべき被写体画像Hnは合成画像に残る対象として容易に認識することができる。
【0143】
なお、前記実施形態では、撮影画像12gnからそのまね対象部分(Tx/Ta)に応じて抽出された被写体に対応するポーズのキャラクタ画像を選択的に取得して、この取得されたキャラクタのアニメ画像を追加又は置き換え合成して出力する構成としたが、実写による様々な表情の顔画像や人物画像を予め記憶させておき、この実写による顔画像や人物画像を撮影画像12gnからそのまね対象部分Tx/Taに応じて抽出された被写体に対応する真似画像として追加又は置き換え合成して出力する構成としてもよい。
【0144】
また、前記実施形態で説明したように、画像出力装置10はデジタルカメラに内蔵して好適に実施することができる。液晶表示付のデジタルカメラで実施した場合、画像を撮影してその場で合成画像を確認し記録することができる。
【0145】
また、前記実施形態では、撮影画像が静止画である場合について説明したが、画像入力部17を介して例えばデジタルビデオムービー17Bにより撮影入力される動画像とそのまね対象部分(Tx/Ta)から、当該動画像内の背景画像に対して時系列的に変化する被写体画像を順次抽出し、この順次抽出される被写体画像にそれぞれ対応するポーズのキャラクタ画像を選択的に取得して、前記撮影動画像内に追加または被写体と置き換え合成して動画出力する構成としてもよい。
【0146】
さらに、前記実施形態における合成画像出力機能を応用し、ゲームなどの動画像からまね対象部分(Tx/Ta)により任意指定されて抽出される登場キャラクタの画像を真似対象画像として、予め用意した所望のキャラクタ画像や実写による人物画像と置き換えて表示する構成としてもよい。
【0147】
なお、前記実施形態の画像出力装置10では、好ましくはデジタルカメラに内蔵される構成とし、当該出力装置10自身が有する画像入力部17を介して入力された撮影画像12gnについて、まねキャラクタの種類A〜Eおよびその合成形態▲1▼〜▲5▼を示すまねキャラフレームA▲1▼−n〜D▲5▼−nを選択設定し、これに基づき同出力装置10内において抽出されるまね対象の被写体画像Hnに対応したポーズのキャラクタ画像を取得して該被写体画像Hnに置き換えまたは追加合成表示する構成としたが、電送制御部15から通信ネットワーク(インターネット)Nを介して、外部の通信機能を有するデジタルカメラ端末と通信接続することで、前記実施形態同様の合成画像出力処理を行う構成とし、当該外部のデジタルカメラ端末から入力された撮影画像について、まねキャラ画像合成処理後の撮影画像を返信(配信)する画像配信サーバ(10)として機能させてもよい。
【0148】
すなわち、画像配信サーバ(10)として機能させる場合には、外部のデジタルカメラ端末からのアクセスに応じて、当該カメラ端末による撮影中の画像12gnについて、まねキャラクタの種類A〜Eおよびその合成形態▲1▼〜▲5▼を示すまねキャラフレームA▲1▼−n〜D▲5▼−nの選択設定処理とその重ね合わせ表示を行わせ(ステップA1〜A12′)、サーバ(10)は前記カメラ端末から撮影画像12gnとその選択設定されたまねキャラフレームとの重ね合わせ画像を受信することで、まねキャラフレーム内のまね対象部分(Tx/Ta)に従った被写体画像Hnの抽出処理(ステップAC)、対応するまねキャラクタ画像の取得処理(ステップA13,AD)、該被写体画像Hnとの置き換えあるいは追加合成処理(ステップA14〜A22)を行い、アクセス元のデジタルカメラ端末へ送信(配信)する構成とすればよい。
【0149】
なお、前記実施形態において記載した画像出力装置10による各処理の手法、すなわち、図12,図13のフローチャートに示す合成画像出力処理、図14のフローチャートに示す当該合成画像出力処理に伴う対象画像抽出処理、図15のフローチャートに示す当該合成画像出力処理に伴う対応アニメ画像取得処理、図16のフローチャートに示す当該対応アニメ画像取得処理に伴う真似対象画像との類似度評価処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記録媒体13に格納して配布することができる。そして、通信ネットワーク(インターネット)Nとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体13に記憶されたプログラムを記録媒体読取部14によってメモリ12に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した合成画像出力機能を実現し、前述した手法による同様の処理を実行することができる。
【0150】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク(インターネット)N上を伝送させることができ、この通信ネットワーク(インターネット)Nに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した合成画像出力機能を実現することもできる。
【0151】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【0152】
【発明の効果】
以上のように、本発明の請求項1に係る画像出力装置によれば、撮影画像についての抽出対象部分と画像の合成形態とを対応付けてなる合成形態画像を複数記憶する合成形態画像記憶手段を有し、撮影画像取得手段により撮影画像を取得すると共に、合成形態画像選択手段により当該撮影画像についての合成形態画像を選択すると、この選択された合成形態画像により示される前記撮影画像についての抽出対象部分に応じた対応画像が対応画像取得手段により取得され、この取得された対応画像が前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態に応じて、前記撮影画像取得手段により取得された撮影画像に合成され、この対応画像の合成された撮影画像が画像出力手段により出力されるので、撮影画像について選択した対象部分の画像に応じたまね画像などの対応画像が取得され、この対応画像を、選択した画像の合成形態に応じて前記撮影画像に合成して出力できるようになる。
【0153】
また、本発明の請求項2に係る画像出力装置によれば、前記請求項1に係る画像出力装置にあって、対応画像には、異なる種類毎に複数の対応画像があり、合成形態画像記憶手段は、撮影画像についての抽出対象部分とその対応画像の種類および画像の合成形態とを対応付けてなる合成形態画像を複数記憶し、対応画像取得手段により取得される対応画像は、合成形態画像選択手段により選択された合成形態画像により示される種類の対応画像であるので、選択された合成形態画像により示される動物などの種類の複数の対応画像の中から、撮影画像の抽出対象部分にある人物画像などに応じた対応画像を合成すべき画像として取得できるようになる。
【0154】
また、本発明の請求項3に係る画像出力装置によれば、前記請求項1または請求項2に係る画像出力装置にあって、さらに、合成形態画像選択手段により選択された合成形態画像により示される抽出対象部分に従って撮影画像取得手段により取得された撮影画像の中から対象画像を抽出する対象画像抽出手段が備えられ、対応画像取得手段では、前記対象画像抽出手段により抽出された対象画像に応じて対応画像が取得されるので、合成形態画像によって選択した撮影画像についての抽出対象部分から当該撮影画像の中の対象画像を抽出して、まね画像などの対応画像を合成すべき画像として取得できるようになる。
【0155】
また、本発明の請求項4に係る画像出力装置によれば、前記請求項3に係る画像出力装置にあって、対象画像抽出手段は、撮影画像取得手段により取得された一連の複数の撮影画像の中から変化部分の画像ブロックを抽出する画像ブロック抽出手段を有し、この画像ブロック抽出手段により抽出された画像ブロックの中から合成形態画像選択手段により選択された合成形態画像により示される抽出対象部分に対応した画像ブロックを対象画像として抽出するので、一連の複数の撮影画像の中から被写体像などの変化部分の画像ブロックを抽出し、この画像ブロックの中から抽出対象部分に対応した画像ブロックを対象画像として抽出して、その対応画像を取得合成できるようになる。
【0156】
また、本発明の請求項5に係る画像出力装置によれば、前記請求項1乃至請求項4の何れか1項に係る画像出力装置にあって、対応画像取得手段は、複数の対応画像を記憶する対応画像記憶手段と、合成形態画像選択手段により選択された合成形態画像により示される撮影画像についての抽出対象部分の対象画像と前記対応画像記憶手段により記憶された各対応画像との類似度を評価する類似度評価手段とを有し、この類似度評価手段により評価された対象画像と各対応画像との類似度に応じて当該対象画像に応じた対応画像が取得されるので、撮影画像の抽出対象部分に対応する人物などの対象画像と類似度の高い(よく似た)画像を合成すべき対応画像として取得できるようになる。
【0157】
また、本発明の請求項6に係る画像出力装置によれば、前記請求項1乃至請求項4の何れか1項に係る画像出力装置にあって、対応画像取得手段は、複数のモデル画像と複数の対応画像とを対応付けて記憶する対応画像記憶手段と、合成形態画像選択手段により選択された合成形態画像により示される撮影画像についての抽出対象部分の対象画像と前記対応画像記憶手段により記憶された各モデル画像との類似度を評価する類似度評価手段とを有し、この類似度評価手段により評価された対象画像と各モデル画像との類似度に応じて当該対象画像に応じたモデル画像に対応付けられて前記対応画像記憶手段により記憶された対応画像が取得されるので、撮影画像の抽出対象部分に対応する人物などの対象画像と類似度の高い(よく似た)画像を、モデル画像を用いた類似度評価により、合成すべき対応画像として容易且つ確実に取得できるようになる。
【0158】
また、本発明の請求項7に係る画像出力装置によれば、前記請求項1乃至請求項6の何れか1項に係る画像出力装置にあって、画像合成手段は、合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が置き換え合成形態である場合、撮影画像取得手段により取得された撮影画像の中の抽出対象部分の対象画像を、対応画像取得手段により取得された対応画像に置き換えて当該撮影画像に合成するので、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象部分の対象画像を、これに応じた対応画像に置き換えて当該撮影画像に合成できるようになる。
【0159】
また、本発明の請求項8に係る画像出力装置によれば、前記請求項1乃至請求項6の何れか1項に係る画像出力装置にあって、画像合成手段は、合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が領域置き換え合成形態である場合、撮影画像取得手段により取得された撮影画像の中の抽出対象部分の複数の対象画像をそれぞれ対応画像取得手段により取得された複数の対応画像に置き換えて当該撮影画像に合成するので、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象部分に含まれる複数の被写体などの対象画像を、それぞれこれに応じた複数の対応画像に置き換えて当該撮影画像に合成できるようになる。
【0160】
また、本発明の請求項9に係る画像出力装置によれば、前記請求項1乃至請求項6の何れか1項に係る画像出力装置にあって、画像合成手段は、合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が追加合成形態である場合、対応画像取得手段により取得された対応画像を撮影画像取得手段により取得された撮影画像に追加して合成するので、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象部分の対象画像に応じた対応画像を、当該撮影画像に追加して合成できるようになる。
【0161】
また、本発明の請求項10に係る画像出力装置によれば、前記請求項1乃至請求項6の何れか1項に係る画像出力装置にあって、画像合成手段は、合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が反転追加合成形態である場合、対応画像取得手段により取得された対応画像を撮影画像取得手段により取得された撮影画像上で、抽出対象部分の対象画像と左右反転の位置に追加して合成するので、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象部分の対象画像に応じた対応画像を、撮影画像上で当該対象部分の対象画像と左右反転の位置に追加して合成できるようになる。
【0162】
また、本発明の請求項11に係る画像出力装置によれば、前記請求項1乃至請求項6の何れか1項に係る画像出力装置にあって、対応画像取得手段は、撮影画像取得手段により取得された第1の撮影画像について合成形態画像選択手段により選択された合成形態画像により示される抽出対象部分に応じた対応画像を取得し、画像合成手段は、合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が次画像置き換え合成形態である場合、撮影画像取得手段により取得された第2の撮影画像に対して、前記対応画像取得手段により取得された対応画像を合成するので、合成形態画像により示される画像の合成形態の選択により、第1の撮影画像の抽出対象部分の対象画像に応じて取得された対応画像を、第2の撮影画像に対して合成できるようになる。
【0163】
また、本発明の請求項12に係る画像出力装置によれば、前記請求項7または請求項9乃至請求項11の何れか1項に係る画像出力装置にあって、合成形態画像記憶手段により記憶される合成形態画像により示される撮影画像についての抽出対象部分は人の形の枠により示されるので、撮影画像について合成すべき対応画像を取得するための人物などの対象画像を、人の形の枠により容易に抽出対象部分として選択できるようになる。
【0164】
また、本発明の請求項13に係る画像出力装置によれば、前記請求項9または請求項10に係る画像出力装置にあって、合成形態画像記憶手段により記憶される合成形態画像により示される画像の合成形態が追加合成形態である場合、当該合成形態画像により示される撮影画像についての抽出対象部分は透明の枠により示されるので、撮影画像上に追加合成すべき対応画像を取得するための対象画像を透明の枠により選択して、当該対象画像をそのままに対応画像が追加合成されるのを知ることができる。
【0165】
また、本発明の請求項14に係る画像出力装置によれば、前記請求項7または請求項8または請求項11に係る画像出力装置にあって、合成形態画像記憶手段により記憶される合成形態画像により示される画像の合成形態が置き換え合成形態である場合、当該合成形態画像により示される撮影画像についての抽出対象部分は半透明の枠により示されるので、撮影画像上で置き換え合成すべき対応画像を取得するための対象画像を半透明の枠により選択して、当該対象画像に置き換えられて対応画像が合成されるのを知ることができる。
【0166】
よって、本発明によれば、撮影画像に対して単に固定的な画像を合成するのではなく、当該撮影画像中の物体(例えば人物)像に対応した画像を合成して出力することが可能になる画像出力装置(画像出力方法、画像出力処理プログラム、画像配信装置、画像配信処理プログラム)を提供できる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る画像出力装置10の電子回路の構成を示すブロック図。
【図2】前記画像出力装置10のまねキャラフレーム一覧メモリ12cに記憶された各種まねキャラクタ毎のまね対象部分設定フレームの一覧(その1)を示す図。
【図3】前記画像出力装置10のまねキャラフレーム一覧メモリ12cに記憶された各種まねキャラクタ毎のまね対象部分設定フレームの一覧(その2)を示す図。
【図4】前記画像出力装置10のキャラ1「ウサギ」ポーズ画像メモリ12d:キャラ2「クマ」ポーズ画像メモリ12e:キャラ3「ネコ」ポーズ画像メモリ12fにそれぞれ記憶された各種のポーズに対応する各キャラクタ画像を示す図。
【図5】前記画像出力装置10のモデルポーズ画像メモリ12bに記憶されたモデルポーズに対応するモデル画像を示す図。
【図6】前記画像出力装置10によりまねキャラクタフレームB▲4▼−2(反転(右→左))が選択された場合のキャラクタ画像「ウサギ」による左右反転位置追加合成状態を示す図。
【図7】前記画像出力装置10によりまねキャラフレームC▲5▼−2(次追加(右))が選択された場合のキャラクタ画像「クマ」による次画像置き換え合成状態を示す図。
【図8】前記画像出力装置10によりまねキャラフレームB▲1▼−1(置き換え(左))が選択された場合のキャラクタ画像「ウサギ」による置き換え合成状態を示す図。
【図9】前記画像出力装置であるデジタルカメラ10の外観構成を示す図であり、同図(A)はその前面図、同図(B)はその背面図。
【図10】前記画像出力装置(デジタルカメラ)10による合成画像出力処理での各種フレームモードの設定に伴う撮影表示状態(その1)を示す図であり、同図(A1)〜(A4)は「ネコ」の追加合成フレームA▲3▼−2を設定した場合の撮影表示状態を示す図、同図(B1)〜(B4)は「ウサギ」の置き換え合成フレームB▲1▼−1を設定した場合の撮影表示状態を示す図、同図(C1)〜(C4)は「ウサギ」の反転追加合成フレームB▲4▼−2を設定した場合の撮影表示状態を示す図。
【図11】前記画像出力装置(デジタルカメラ)10による合成画像出力処理での各種フレームモードの設定に伴う撮影表示状態(その2)を示す図であり、同図(D1)〜(D4)は「クマ」の次画像置き換え合成フレームC▲5▼−2を設定した場合の撮影表示状態を示す図、同図(E1)〜(E4)は「コビト」の領域置き換え合成フレームD▲2▼−1を設定した場合の撮影表示状態を示す図。
【図12】前記画像出力装置(デジタルカメラ)10による合成画像出力処理(その1)を示すフローチャート。
【図13】前記画像出力装置(デジタルカメラ)10による合成画像出力処理(その2)を示すフローチャート。
【図14】前記画像出力装置(デジタルカメラ)10の合成画像出力処理に伴う対象画像抽出処理を示すフローチャート。
【図15】前記画像出力装置(デジタルカメラ)10の合成画像出力処理に伴う対応アニメ画像取得処理を示すフローチャート。
【図16】前記画像出力装置10の合成画像出力処理に伴う対応アニメ画像取得処理での真似対象画像との類似度評価処理を示すフローチャート。
【図17】前記画像出力装置10の対応アニメ画像取得処理での類似度評価処理に伴うモデル画像との類似度評価例を示す図。
【符号の説明】
10 …画像出力装置
11 …CPU
12 …メモリ
12a…画像処理プログラム
12b…モデルポーズ画像メモリ
12c…まねキャラ一覧フレームメモリ
12d…キャラ1「ウサギ」ポーズ画像メモリ
12e…キャラ2「クマ」ポーズ画像メモリ
12f…キャラ3「ネコ」ポーズ画像メモリ
12g…撮影画像メモリ
12h…画像処理ワークエリア
12i…キャラ4「コビト」ポーズ画像メモリ
13 …外部記録媒体
14 …記録媒体読取部
15 …電送制御部
16 …入力部
16a…「MENU」キー
16b…「PLAY/REC」キー
16c…「シャッタ」キー
16d…「カーソル」キー
17 …画像入力部
17A…デジタルカメラ
17B…デジタルビデオムービー
17C…VTR(画像再生装置)
18 …距離センサ
19 …表示部
20 …画像出力部
20A…メモリカード
20B…VTR(録画装置)
20C…画像印刷機
21 …Webサーバ
N …通信ネットワーク(インターネット)
▲1▼−n …置き換え合成フレーム
▲2▼−n …領域置き換え合成フレーム
▲3▼−n …追加合成フレーム
▲4▼−n …反転追加合成フレーム
▲5▼−n …次画像置き換え合成フレーム
Tx …置き換え用(半透明)まね対象部分
Ta …追加用(透明)まね対象部分
Claims (19)
- 撮影画像についての抽出対象部分と画像の合成形態とを対応付けてなる合成形態画像を複数記憶する合成形態画像記憶手段と、
撮影画像を取得する撮影画像取得手段と、
この撮影画像取得手段により取得された撮影画像について、前記合成形態画像記憶手段により記憶されている合成形態画像を選択する合成形態画像選択手段と、
この合成形態画像選択手段により選択された合成形態画像により示される前記撮影画像についての抽出対象部分に応じた対応画像を取得する対応画像取得手段と、
この対応画像取得手段により取得された対応画像を前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態に応じて、前記撮影画像取得手段により取得された撮影画像に合成する画像合成手段と、
この画像合成手段により対応画像の合成された撮影画像を出力する画像出力手段と、
を備えたことを特徴とする画像出力装置。 - 前記対応画像には、異なる種類毎に複数の対応画像があり、
合成形態画像記憶手段は、撮影画像についての抽出対象部分とその対応画像の種類および画像の合成形態とを対応付けてなる合成形態画像を複数記憶し、
前記対応画像取得手段により取得される対応画像は、前記合成形態画像選択手段により選択された合成形態画像により示される種類の対応画像であることを特徴とする請求項1に記載の画像出力装置。 - さらに、
前記合成形態画像選択手段により選択された合成形態画像により示される抽出対象部分に従って前記撮影画像取得手段により取得された撮影画像の中から対象画像を抽出する対象画像抽出手段を備え、
前記対応画像取得手段は、前記対象画像抽出手段により抽出された対象画像に応じた対応画像を取得する、
ことを特徴とする請求項1または請求項2に記載の画像出力装置。 - 前記対象画像抽出手段は、
前記撮影画像取得手段により取得された一連の複数の撮影画像の中から変化部分の画像ブロックを抽出する画像ブロック抽出手段を有し、
この画像ブロック抽出手段により抽出された画像ブロックの中から前記合成形態画像選択手段により選択された合成形態画像により示される抽出対象部分に対応した画像ブロックを対象画像として抽出する、
ことを特徴とする請求項3に記載の画像出力装置。 - 前記対応画像取得手段は、
複数の対応画像を記憶する対応画像記憶手段と、
前記合成形態画像選択手段により選択された合成形態画像により示される前記撮影画像についての抽出対象部分の対象画像と前記対応画像記憶手段により記憶された各対応画像との類似度を評価する類似度評価手段とを有し、
この類似度評価手段により評価された対象画像と各対応画像との類似度に応じて当該対象画像に応じた対応画像を取得する、
ことを特徴とする請求項1乃至請求項4の何れか1項に記載の画像出力装置。 - 前記対応画像取得手段は、
複数のモデル画像と複数の対応画像とを対応付けて記憶する対応画像記憶手段と、
前記合成形態画像選択手段により選択された合成形態画像により示される前記撮影画像についての抽出対象部分の対象画像と前記対応画像記憶手段により記憶された各モデル画像との類似度を評価する類似度評価手段とを有し、
この類似度評価手段により評価された対象画像と各モデル画像との類似度に応じて当該対象画像に応じたモデル画像に対応付けられて前記対応画像記憶手段により記憶された対応画像を取得する、
ことを特徴とする請求項1乃至請求項4の何れか1項に記載の画像出力装置。 - 前記画像の合成形態には、少なくとも置き換え合成形態が含まれ、
前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が置き換え合成形態である場合、前記撮影画像取得手段により取得された撮影画像の中の前記合成形態画像により示される抽出対象部分の対象画像を前記対応画像取得手段により取得された対応画像に置き換えて当該撮影画像に合成する、
ことを特徴とする請求項1乃至請求項6の何れか1項に記載の画像出力装置。 - 前記画像の合成形態には、少なくとも領域置き換え合成形態が含まれ、
前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が領域置き換え合成形態である場合、前記撮影画像取得手段により取得された撮影画像の中の前記合成形態画像により示される抽出対象部分の複数の対象画像をそれぞれ前記対応画像取得手段により取得された複数の対応画像に置き換えて当該撮影画像に合成する、
ことを特徴とする請求項1乃至請求項6の何れか1項に記載の画像出力装置。 - 前記画像の合成形態には、少なくとも追加合成形態が含まれ、
前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が追加合成形態である場合、前記対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像に追加して合成する、
ことを特徴とする請求項1乃至請求項6の何れか1項に記載の画像出力装置。 - 前記画像の合成形態には、少なくとも反転追加合成形態が含まれ、
前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が反転追加合成形態である場合、前記対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像上で前記合成形態画像により示される抽出対象部分の対象画像と左右反転の位置に追加して合成する、
ことを特徴とする請求項1乃至請求項6の何れか1項に記載の画像出力装置。 - 前記画像の合成方法には、少なくとも次画像置き換え合成形態が含まれ、
前記対応画像取得手段は、前記撮影画像取得手段により取得された第1の撮影画像について前記合成形態画像選択手段により選択された合成形態画像により示される抽出対象部分に応じた対応画像を取得し、
前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が次画像置き換え合成形態である場合、前記撮影画像取得手段により取得された第2の撮影画像に対して、前記対応画像取得手段により取得された対応画像を合成する、
ことを特徴とする請求項1乃至請求項6の何れか1項に記載の画像出力装置。 - 前記合成形態画像記憶手段により記憶される合成形態画像により示される撮影画像についての抽出対象部分は人の形の枠により示される、ことを特徴とする請求項7または請求項9乃至請求項11の何れか1項に記載の画像出力装置。
- 前記合成形態画像記憶手段により記憶される合成形態画像により示される画像の合成形態が追加合成形態である場合、当該合成形態画像により示される撮影画像についての抽出対象部分は透明の枠により示される、
ことを特徴とする請求項9または請求項10に記載の画像出力装置。 - 前記合成形態画像記憶手段により記憶される合成形態画像により示される画像の合成形態が置き換え合成形態である場合、当該合成形態画像により示される撮影画像についての抽出対象部分は半透明の枠により示される、
ことを特徴とする請求項7または請求項8または請求項11に記載の画像出力装置。 - 撮影画像についての抽出対象部分と画像の合成形態とを対応付けてなる合成形態画像を複数記憶する合成形態画像記憶ステップと、
撮影画像を取得する撮影画像取得ステップと、
この撮影画像取得ステップにて取得された撮影画像について、前記合成形態画像記憶ステップにて記憶された合成形態画像を選択する合成形態画像選択ステップと、
この合成形態画像選択ステップにて選択された合成形態画像により示される前記撮影画像についての抽出対象部分に応じた対応画像を取得する対応画像取得ステップと、
この対応画像取得ステップにて取得された対応画像を前記合成形態画像選択ステップにて選択された合成形態画像により示される画像の合成形態に応じて、前記撮影画像取得ステップにて取得された撮影画像に合成する画像合成ステップと、
この画像合成ステップにて対応画像の合成された撮影画像を出力する画像出力ステップと、
からなることを特徴とする画像出力方法。 - コンピュータを制御して画像の出力処理を行うための画像出力処理プログラムであって、
前記コンピュータを、
撮影画像についての抽出対象部分と画像の合成形態とを対応付けてなる合成形態画像を複数記憶する合成形態画像記憶手段、
撮影画像を取得する撮影画像取得手段、
この撮影画像取得手段により取得された撮影画像について、前記合成形態画像記憶手段により記憶されている合成形態画像を選択する合成形態画像選択手段、
この合成形態画像選択手段により選択された合成形態画像により示される前記撮影画像についての抽出対象部分に応じた対応画像を取得する対応画像取得手段、
この対応画像取得手段により取得された対応画像を前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態に応じて、前記撮影画像取得手段により取得された撮影画像に合成する画像合成手段、
この画像合成手段により対応画像の合成された撮影画像を出力する画像出力手段、
として機能させるようにしたコンピュータ読み込み可能な画像出力処理プログラム。 - 端末から撮影画像と、当該撮影画像についての抽出対象部分と画像の合成形態とを対応付けてなる合成形態画像を受信する撮影画像受信手段と、
この撮影画像受信手段により受信された撮影画像と合成形態画像に基づいて、当該撮影画像についての抽出対象部分に応じた対応画像を取得する対応画像取得手段と、
この対応画像取得手段により取得された対応画像を前記撮影画像受信手段により受信された合成形態画像により示される画像の合成形態に応じて撮影画像に合成する画像合成手段と、
この画像合成手段により対応画像の合成された撮影画像を前記端末に送信する画像送信手段と、
を備えたことを特徴とする画像配信サーバ。 - ネットワークに接続されたコンピュータを制御して画像を配信するための画像配信処理プログラムであって、
前記コンピュータを、
端末から撮影画像と、当該撮影画像についての抽出対象部分と画像の合成形態とを対応付けてなる合成形態画像を受信する撮影画像受信手段、
この撮影画像受信手段により受信された撮影画像と合成形態画像に基づいて、当該撮影画像についての抽出対象部分に応じた対応画像を取得する対応画像取得手段、
この対応画像取得手段により取得された対応画像を前記撮影画像受信手段により受信された合成形態画像により示される画像の合成形態に応じて撮影画像に合成する画像合成手段、
この画像合成手段により対応画像の合成された撮影画像を前記端末に送信する画像送信手段、
として機能させるようにしたコンピュータ読み込み可能な画像配信処理プログラム。 - 撮影画像についての抽出対象部分を複数記憶する抽出対象部分記憶手段と、
撮影画像を取得する撮影画像取得手段と、
この撮影画像取得手段により取得された撮影画像について、前記抽出対象部分記憶手段により記憶されている抽出対象部分を選択する抽出対象部分選択手段と、
この抽出対象部分選択手段により選択された前記撮影画像についての抽出対象部分に応じた対応画像を取得する対応画像取得手段と、
この対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像に合成する画像合成手段と、
この画像合成手段により対応画像の合成された撮影画像を出力する画像出力手段と、
を備えたことを特徴とする画像出力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003091686A JP4168803B2 (ja) | 2003-03-28 | 2003-03-28 | 画像出力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003091686A JP4168803B2 (ja) | 2003-03-28 | 2003-03-28 | 画像出力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004304261A true JP2004304261A (ja) | 2004-10-28 |
JP4168803B2 JP4168803B2 (ja) | 2008-10-22 |
Family
ID=33404999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003091686A Expired - Fee Related JP4168803B2 (ja) | 2003-03-28 | 2003-03-28 | 画像出力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4168803B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018180578A1 (ja) * | 2017-03-31 | 2018-10-04 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
JP2021170391A (ja) * | 2020-11-23 | 2021-10-28 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 商品案内方法、装置、デバイス、記憶媒体、及びプログラム |
KR20230063621A (ko) * | 2021-11-02 | 2023-05-09 | 배효만 | 동작 배우기 동영상 제작 시스템 |
-
2003
- 2003-03-28 JP JP2003091686A patent/JP4168803B2/ja not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018180578A1 (ja) * | 2017-03-31 | 2018-10-04 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
JPWO2018180578A1 (ja) * | 2017-03-31 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
US11170511B2 (en) | 2017-03-31 | 2021-11-09 | Sony Semiconductor Solutions Corporation | Image processing device, imaging device, and image processing method for replacing selected image area based on distance |
JP7098601B2 (ja) | 2017-03-31 | 2022-07-11 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
JP2021170391A (ja) * | 2020-11-23 | 2021-10-28 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 商品案内方法、装置、デバイス、記憶媒体、及びプログラム |
JP7168837B2 (ja) | 2020-11-23 | 2022-11-10 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 商品案内方法、装置、デバイス、記憶媒体、及びプログラム |
KR20230063621A (ko) * | 2021-11-02 | 2023-05-09 | 배효만 | 동작 배우기 동영상 제작 시스템 |
KR102652371B1 (ko) * | 2021-11-02 | 2024-03-29 | 배효만 | 동작 배우기 동영상 제작 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP4168803B2 (ja) | 2008-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103888676B (zh) | 照相机及图像文件的记录方法 | |
US8699857B2 (en) | Reproducer, digital camera, slide show reproduction method, program, image display apparatus, image display method, image reproduction method, and image display program | |
US10561943B2 (en) | Digital imaging method and apparatus | |
JP3918632B2 (ja) | 画像配信サーバ、画像配信プログラム、及び画像配信方法 | |
JPH11219446A (ja) | 映像音響再生システム | |
JP4423929B2 (ja) | 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム | |
CN111530088B (zh) | 一种生成游戏角色的实时表情图片的方法和装置 | |
JP5012373B2 (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
CN107529091A (zh) | 视频剪辑方法及装置 | |
JP4981370B2 (ja) | 動画生成システム、及び動画生成方法 | |
CN111530086B (zh) | 一种生成游戏角色的表情的方法和装置 | |
JP5169111B2 (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
JP2020074041A (ja) | 遊戯用撮影装置、画像処理装置、および画像処理方法 | |
JP2004355567A (ja) | 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム | |
JP4161769B2 (ja) | 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム | |
CN108027694A (zh) | 程序、记录介质、内容提供装置以及控制方法 | |
JP2012181748A (ja) | 図柄表示具、及び合成画像表示システム | |
JP4168803B2 (ja) | 画像出力装置 | |
JP4168800B2 (ja) | 画像配信装置 | |
JP3901015B2 (ja) | 画像出力装置、画像出力処理プログラム、および画像出力方法 | |
JP2009059015A (ja) | 合成画像出力装置および合成画像出力処理プログラム | |
JP4254391B2 (ja) | 画像出力装置、画像出力処理プログラム、および画像配信サーバ | |
JP4151543B2 (ja) | 画像出力装置、画像出力方法、および画像出力処理プログラム | |
JP2005107988A (ja) | 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム | |
JP4284447B2 (ja) | モーフィングカメラ及びモーフィング方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080728 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |