JPH0329472A - 映像合成装置及び映像合成方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、映像合成装置に関する。

〔発明の概要〕

この発明は、映像合成装置において、合威すべき主映像
を撮影するビデオカメラのカメラヮークやレンズ動作等
の情報と、主映像内の被写体の動きの情報とに基づいて
、合成すべき他の映像を変化させ、主映像と合成するこ
とによって、自由度が高く、より高度な合成映像を得る
ことができるようにしたものである。

〔従来の技術〕

別々の映像を合成する方法として、例えばクロマキー技
法がある。これは、２台のビデオカメラで異なる被写体
を撮影し合成する技法であり、ｌ台のカメラで例えば主
映像となる人物を撮影し、他の１台のカメラで背景を撮
影して、これらを合成するものである。

また、カメラからの主映像と、静止画ファイルやＶＴＲ
装置等からの他の映像とを合成するものや、ＶＴＲ装置
等に記録された映像どうしを合成する装置もある。

〔発明が解決しようとする課題〕

ところで、従来の映像合戒装置においては、合成すべき
主映像に、パン・チルト等のカメラワークやズーミング
、フォーカシング等のレンズ動作が行なわれていると、
合成すべき他の映像とのバランスが取れず、良好な合成
映像を得ることはできない。

したがって、従来の映像合成装置により合成された映像
は、カメラワークやレンズ動作を伴うことのないもので
あり、自由度が少ないものであっ〔課題を解決するため
の手段〕 そこで、この発明は、合成すべき主映像を撮影するビデ
オカメラのカメラワークやレンズ動作等の情報と、主映
像内の被写体の動きの情報とに基づいて、合成すべき他
の映像を変化させ、主映像と他の映像とを合成するよう
にしたものである。

〔作用〕

自由度が高く、より高度な合成映像を得ることができる
。

〔実施例〕

第１図は、この発明の一実施例のブロック図である。

同図において、（１）はビデオカメラであり、このビデ
オカメラ（１）からはビデオ信号Ｓｖ　の他に、カメラ
（１）のレンズの種類（広角、望遠等）を示すレンズデ
ータＤｆや、ガンマ特性（ＧＡＭＭＡ，　ＫＮＥＥ，Ｓ
ＬＯＰＩＥ等）を示す映像データＤｖを含む信号ＳがＣ
ＣＵ　＜カメラコントロールユニット〉（２）に供給さ
れる。そして、このＣ　Ｃ　Ｕ　（２）からビデオ信号
ＳＶ　が映像合成装置（５）に供給される。そして、Ｃ
Ｃ　Ｕ　（２）からの映像データＤｖ　　　レンズデー
タＤＮが映像合成装置（５）に供給されるとともに、ビ
デオカメラ（１）の撮１象１（１３）からのズーミング
、フォーカシング、絞り等の情報を示す撮像信号がこれ
らを検出する検出装置ク１２）に供給され、この検出装
置（１２）から撮像データＤｉ　　として、映像合成装
置（５）に供給される。

また、Ｃ　Ｃ　Ｕ　（２）からのビデオ信号Ｓｖ　は、
動き検出装置（７）に供給される。そして、この動き検
出装置（７）から、ビデオ信号Ｓｖ　の映像内の被写体
の動きを示す動きベクトルデータＤｍが映像合成装置（
５）に供給される。

そして、静止画ファイル（６）からのビデオ信号３ｖ，
が映像合成装置（５）に供給され、映像データ［）ｖの
ガンマ特性に従って、ガンマ補正されるとともに、レン
ズデータＤｌ１撮像デークＤ１、動きベクトルデータＤ
ｍ　に従って、後述するように、ビデオ信号ＳＶ，の映
像が変化されて、ビデオ信号ＳｖとＳＶ，とが合成され
る。そして、合成された映像信号Ｓｖ２が映像合成装置
（５）から映像記録装置（ｌ１）に供給され、記録され
る。

次に、上述した第１図例の装置によって、合成される映
像について説明する。

第２図は、ビデオ信号Ｓｖの映像内の被写体がズーミン
グされた場合の説明図である。

そして、同図Ａはビデオ信号Ｓｖ　の映像であり、主映
像である被写体〔８）が撮影されたものである。

また、同図Ｂはビデオ信号ＳＶ，の映像であり他の映像
である被写体（９）が撮影されたものである。そして、
映像データＤｖ１レンズデータＤｊ７に従って、映像合
成装置（５）によって映像ＡとＢとが合成されると、同
図Ｃに示すような合成映像が得られる。そして、映像Ａ
内の被写体（８）がズームアップされると、被写体（８
）が拡大される。ここで、映１象Ｂ内の被写体（９）に
何の処理もせずに、そのまま合成すると、同図Ｃに示す
ように、拡大された被写体（８）と拡大されない被写体
（９）との不自然な合成映像となってしまう。しかし、
第１図例の装置の場合は、撮像データＤ１　に従って、
映像合成装置（５）が、ビデオ信号ＳＶ，の映像の被写
体（９）を第２図Ｅに矢印で示すように放射方向に移動
させ、拡大し、自然な合ｔ？．映像を得ることができる
。

なお、第２図においては、被写体（８）がズームアップ
され拡大された例を示したが、被写体（８）が縮小され
る場合は、それに合わせて、被写体（９）が縮小される
ものである。

第３図は、撮像データＤｉ　のフォーカシング情報に従
って、合戒映像内の各被写体のフォーカシング処理を行
なう場合の説明図である。

そして、同図Ａはビデオ信号Ｓｖの映像であり主映像で
ある被写体（８）が撮影されたもので、同図Ｂ及びＣは
静止画ファイル〔６）からの他の映像であり、それぞれ
被写体は（１０）及び（９）となっている。

そして、主映像Ａならびに他の映像Ｂ，Ｃが映像データ
Ｄｉ　　　レンズデータＤｉに従って、映像合成装置（
５）によって合成されると、同図Ｄに示すような合成映
像が得られる。そしてこの合成映像Ｄにおいては、被写
体（８）がビデオカメラから最も近い位置であり、被写
体（９）が次に近い位置、被写体（１０）が最も遠い位
置にあるようにされるものである。この場合、フォーカ
シング情報が被写体〔８）の位置に焦点が合っているこ
とを示すとすると、この同図Ｄに太い実線で示すように
、被写体（８）にピントが合っているようにし、被写体
（９）に多少のボカシ処理を加え、被写体（１０）には
被写体（９）よりも多くボカシ処理を加えるものである
。

そして、フォーカシング情報が被写体（９）の位“置に
焦点が合っていることを示すと、同図Ｅに太い実線で示
すように、被写体（９）にピントが合っているようにし
、被写体（８）及び（１０）には多少のボカシ処理を加
えるものである。

また、フォーカシング情報が被写体（１０〉の位置に焦
点が合っていることを示すと、同図Ｆに太い実線で示す
ように、被写体（１０）にピントが合っているようにし
、被写体（９）には多少のボカシ処理を加え、被写体（
８）には被写体（９）よりも多くボカシ処理を加えるも
のである。

第４図は、ビデオカメラ（１）によりパン又はチルトが
行なわれた場合の説明図である。

そして、同図Ａはビデオ信号Ｓｖ　の主映像であり、同
図Ｂはビデオ信号Ｓｖ，の他の映像である。

そして、これらの映像Ａ及びＢが映像データＤｖレンズ
データＤｅに従って合威されると、同図Ｃに示すような
合成映像が得られる。そして、ビデオカメラ（１）がパ
ンされて被写体〔８）が映像中の左端に移動したとする
。ここで、被写体（９）に何の処理もせずに、そのまま
合成すると、同図Ｄに示すように、被写体（８）と（９
）との間隔が大きなものとなってしまい、不自然な合成
映像となってしまう。しかし第１図例の装置の場合は、
被写体（８）の動きを示す動きベクトルデータＤｍ　に
従って、映像合成装置（５）が、ビデオ信号Ｓｖ，の映
像の被写体（９）を第４図Ｅの矢印で示すように、移動
させ、自然な合成映像を得ることができる。

また、ビデオカメラ（１）がチルトされて被写体（８）
が映像内の上側に位置した状態となったとする。

ここで、被写体（９）に何の処理もせずに、そのまま合
成すると、同図Ｆに示すように、被写体（８）のみが上
側に位置した不自然な合成映像となってしまう。しかし
、第１図例の装置の場合は、動きベクトルデータＤｍ　
に従って、映像合成装置（５）が被写体（９）を第４図
Ｇの矢印で示すように移動させ、自然な合成映像を得る
ことができる。

また、ビデオカメラ（１）の絞りが変化して、合成映像
中の被写体（８）に変化が生じたとする。この場合、合
成映像中の被写体（９）に何の処理も行なわなかったと
すると不自然な合成映像となってしまう。

そこで、撮像データＤｉ　の絞り情報に従って、映像合
成装置（５）が被写体（９）を変化させ自然な合ＦＩｉ
．ＢｌＩＬ像を得るようにするものである。

なお、第ｌ図例の場合は、ズーミング情報、フォーカシ
ング情報、パン・チルト情報及び絞り情報全てに対応し
得るものとしたが、個々の情報のみに、例えばズーミン
グ情報のみに対応し得る装置とすることもできるもので
ある。

第５図は、この発明の他の実施例のブロック図であり、
第１図例と同様なものには同一の符号を付してある。

そして、この第５図例の場合は、ビデオカメラ（１）で
撮影した主映像を映像記録装置（３）に記録するととも
に、映像データＤｌ１映像データＤｖ、レンズデータＤ
ｆを撮影データ記録装置（４）に記録しておき、記録し
た撮像データＤｌ、映像データＤｖ　　　レンズデータ
ＤＩ．ならびに動きベクトルデータＤｍ　に基づいて静
止画ファイル（６）からの映像と映像記録装置（３）か
らの映像とを合戒するものである。

つまり、同図Ａにおいて、Ｃ　Ｃ　Ｕ　（２）からのビ
デオ信号ＳＶが映像記録装置（３）に供給され記録され
る。そして、この映像記録装置（３）からタイムコード
ＴＣが、例えばフロッピーディスク等を用いる撮影デー
タ記録装置（４）に供給される。また、ＣＣＵ（２）か
らの映像データＤｖ　，レンズデータＤＪが撮影データ
記録装置（４）に供給され記録されるとともに、ビデオ
カメラ（１）の撮像部（１３）からのズーミング、フォ
ーカシング、絞り等の情報を示す撮像信号がこれらを検
出する検出装置（１２）に供給され、この検出装置（１
２）から撮像データＤｉ　　として、撮影データ記録装
置（４）に供給され記録される。

そして、第５図Ｂは上述のようにして映像記録装置（３
）に供給された映像と、例えば静止画ファイル（６）に
記録された映像との合戒を行なう装置を示すものである
。

つまり、映像記録装置（３）から、ビデオ信号ＳＶが映
像合成装置（５）に供給されるとともに、タイムコード
ＴＣが撮影データ記録装置（４）に供給される。

すると、撮影データ記録装置（４）から、映像データＤ
Ｖ　，レンズデータＤＮ，撮像データＤ１　が映像合成
装置（５）に供給される。また、映像記録装置（３）か
らのビデオ信号Ｓｖ　は、動き検出装置（７）に供給さ
れる。そして、この動き検出装置（７）から、ビデオ信
号Ｓｖの映像内の被写体の動きを示す動きベクトルデー
タＤｍが映像合戒装置（５）に供給される。

そして、静止画ファイル（６）からのビデオ信号Ｓｖ，
が映像合成装置（５）に供給され、映像データＤｖのガ
ンマ特性に従って、ガンマ補正されるとともに、レンズ
データＤＦ，撮像データＤ１、動きベクトルデータＤｍ
　に従って、ビデオ信号ＳＶ，の映像が変化されて、ビ
デオ信号Ｓｖ　とＳｖ，とが合成される。そして、合成
された映像信号ＳＶ２が映像合成装置（５）から映像記
録装置（１ｌ〉に供給され、記録される。

なお、第５図例の装置の映像の合成方法については上述
した第１図例と同様なものであるので説明は省略する。

なお、上述した例においては、ビデオ信号ＳｖＩの発生
源を静止画ファイルとしたが、これに限らず例えばＶＴ
Ｒ装置であってもよい。

さらに、映像合成装置（５）は映像の合成を行なうとと
もに編集をも行ない得るものである。

また、上述した例においては、パン、チルトの検知を映
像内の被写体の動きから検知するようにしたが、ビデオ
カメラ（１）とこのビデオカメラ（１）の三脚等との相
対的な位置の変動から検知するようにしてもよい。

そして、さらに上述した例においては、撮像部（１３〉
からの信号を検出装置（１２）を介して、撮像データＤ
ｉ　を得るようにしたが、ビデオカメラ（１）からの信
号Ｓｌ　　に撮像データＤ１　を含むようにしてもよい
。

〔発明の効果〕

こうして、この発明によれば、映像合成装置において、
合威すべき主映像を撮影するビデオカメラのカメラワー
クやレンズ動作等の情報と、主映像内の被写体の動きを
示す情報とに基づいて、合成すべき他の映像を変化させ
、主映像と他の映像とを合成するようにしたので、自由
度が高く、より高度な合成映像を得ることができる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図〜第
４図は説明図、第５図はこの発明の他の実施例のブロッ
ク図である。 （１）はビデオカメラ、（２）はＣＣＵ，（３）は映像
記録装置、（４）は撮影データ記録装置、（５）は映像
合成装置、 （６）は静止画ファイルである。 代 理 人 松 隈 秀 盛 ヌ゛−４の言茫Ｉ３月図 第２図 Ｆ フ才一カスの富楚日月国 ？Ｍ■イア・１ ５図 ？、・ッチルト■説明口 ６ Ｂ

Claims (1)

1. 【特許請求の範囲】 １、主映像と、上記主映像を撮影するビデオカメラのカ
   メラワークやレンズ動作等の撮影情報とを発生する手段
   と、 上記主映像とは異なる他の映像を記録する映像記録手段
   と、 上記発生手段からの上記主映像及び上記撮影情報と、上
   記映像記録手段からの上記他の映像とを受け取り、上記
   撮影情報に基づいて、上記他の映像を変化させ、変化さ
   せた上記他の映像と上記主映像とを合成する映像合成手
   段と、を備えた映像合成装置。 ２、請求項１記載の映像合成装置であって、上記撮影情
   報を上記ビデオカメラのズーミング情報とした映像合成
   装置。 ３、請求項１記載の映像合成装置であって、上記撮影情
   報を上記ビデオカメラのフォーカシング情報とした映像
   合成装置。 ４、請求項１記載の映像合成装置であって、上記撮影情
   報を上記ビデオカメラのパン又はチルト情報とした映像
   合成装置。 ５、請求項１記載の映像合成装置であって、上記撮影情
   報を上記ビデオカメラの絞り情報とした映像合成装置。