JP4131113B2 - Image processing apparatus, image processing method, and image processing program - Google Patents

Description

【００２２】
ここで、差分平均値Ｄavは、画像の輝度レベルによって大きく変化する。例えば画像が明るい場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄavが大きくなってしまう。一方、画像が暗い場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄavは大きくならない。このため、シーンチェンジ検出部２１に正規化回路２１４を設けるものとして、画像の明るさに応じた差分平均値Ｄavの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。
【００２３】
輝度平均算出回路２１３は、入力画像信号ＳＤinに基づき、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙavとして正規化回路２１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で入力画像信号ＳＤinに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙavは式（２）に基づいて算出できる。
【００２４】
【数２】

【００２５】
正規化回路２１４は、画像の明るさに応じた差分平均値Ｄavの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙavに応じて差分平均値Ｄavを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。
Ｅ＝Ｄav／Ｙav ・・・（３）
この正規化回路２１４で生成された正規化値Ｅは、判定回路２１５に供給される。
【００２６】
判定回路２１５は、予め設定された閾値Ｌrを有しており、正規化値Ｅと閾値Ｌrを比較して、正規化値Ｅが閾値Ｌrよりも大きいときにはシーンチェンジと判定する。また、正規化値Ｅが閾値Ｌr以下であるときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１５は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して図４の動き検出部２２と画像位置移動部２３に供給する。
【００２７】
このように、正規化回路２１４は画像の明るさに応じた差分平均値Ｄavの正規化を行い、判定回路２１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。
【００２８】
図６は、フレーム位置と正規化値Ｅの関係を例示的に示したものである。ここで、閾値Ｌrが「０．４」に設定されている場合、正規化値Ｅが「０．４」を超えるフレーム位置をシーンチェンジ検出位置Ｐscとする。
【００２９】
ところで、上述のシーンチェンジ検出部２１では、１フレーム内の全画素の信号を用いて、シーンチェンジ検出を行うものとしたが、全画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出すると、演算処理に時間を要してしまう。また、演算処理に要する時間を短くするために演算処理を高速化すると、演算処理コストが膨大となってしまう。このため、画素の間引き例えば図７に示すように１フレームの画像を８×４画素の領域に区分して各領域から斜線で示すように１画素だけを選択することで画素の間引きを行い、選択された画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出する。このように、画素の間引きを行うものとすれば、演算量が少なくなるので演算処理を簡単に行うことができると共に、演算処理を高速に行う必要がなく演算処理コストが膨大となってしまうことも防止できる。
【００３０】
また、上述のシーンチェンジ検出部２１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。図８は、相関係数ｒを用いる場合のシーンチェンジ検出部の構成を示している。遅延回路２１１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして相関係数算出回路２１６に供給する。相関係数算出回路２１６は、入力画像信号ＳＤinと遅延画像信号ＳＤaに基づき、相関係数ｒの算出を行う。
【００３１】
ここで、１フレームの画像の画素数を「Ｎ」、最初のフレームの画像信号に基づく画素の輝度レベルを「ＹＦ」、次のフレームの画像信号に基づく画素の輝度レベルを「ＹＳ」、最初のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＦav」、次のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＳav」としたとき、相関係数ｒは式（４）を用いて算出できる。
【００３２】
【数３】

【００３３】
この相関係数算出回路２１６で算出された相関係数ｒは、判定回路２１７に供給される。
判定回路２１７は、予め設定された閾値Ｌrを有しており、相関係数ｒと閾値Ｌrを比較して、相関係数ｒが閾値Ｌr以下であるときにはシーンチェンジと判定する。また、相関係数ｒが閾値Ｌr以下でないときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１７は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、図４の動き検出部２２と画像位置移動部２３に供給する。なお、図９は、フレーム位置と相関係数ｒの関係を例示的に示したものである。ここで、閾値Ｌrが例えば「０．４」に設定されている場合、相関係数ｒが「０．４」以下となるフレーム位置をシーンチェンジ検出位置Ｐscとする。
【００３４】
動き検出部２２は、シーンチェンジ検出部２１からのシーンチェンジ検出信号ＳＣによって連続シーンであることが示されたフレームに関して動きベクトルの検出を行い、表示面積の広い部分の動きベクトル例えば背景部分の動きベクトルを検出する。図１０は、動き検出部２２の構成を示しており、例えばブロックマッチング方法を用いて動きベクトルの検出を行う場合である。
【００３５】
動き検出部２２の遅延回路２２１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤbとして画像位置切替回路２２２に供給する。画像位置切替回路２２２は、遅延画像信号ＳＤbに基づく画像の位置を、予め設定された動き探索範囲内で水平方向や垂直方向に順次変更して新たな画像信号ＳＤcを順次生成する。この生成された画像信号ＳＤCは、差分演算回路２２３に供給される。また、画像位置切替回路２２２は、画像の移動方向と移動量を示す動きベクトルＭＶを最小値判定回路２２４に供給する。
【００３６】
差分演算回路２２３は、画像信号ＳＤcと入力画像信号ＳＤinとの差分値ＤＭを順次算出して、最小値判定回路２２４に供給する。
【００３７】
最小値判定回路２２４は、差分値ＤＭと、この差分値ＤＭの算出に用いた画像信号ＳＤcを生成する際の動きベクトルＭＶとを関係付けて保持する。また、画像位置切替回路２２２で動き探索範囲内での画像の移動を完了したとき、最小値判定回路２２４は、保持している差分値ＤＭから最小値を判別して、この最小値となる差分値ＤＭと関係付けて保持されている動きベクトルＭＶを、動き検出情報ＭＶＤとして図４の画像位置移動部２３に供給する。
【００３８】
ところで、シーンチェンジ検出信号ＳＣによってシーンチェンジが検出されたことが示された後に再度連続シーンであることが示された場合、シーンチェンジ後の画像の移動方向は予測できない。このため、画像位置切替回路２２２は、シーンチェンジ検出後の最初の動きベクトルの検出時に、動き探索範囲を遅延画像信号ＳＤbに基づく画像の位置を中心として設定する。このように動き探索範囲を設定すれば、シーンの切り替えが生じた後でも正しく背景画像の動きベクトルを検出できる。
【００３９】
また、連続シーンでは画像の動きも連続していることが多い。このため、最小値判定回路２２４は、動き検出情報ＭＶＤを画像位置切替回路２２２にも供給するものとし、画像位置切替回路２２２は、次に画像の動きベクトルを判別する際の動き探索範囲の中心を、動き検出情報ＭＶＤに基づいて設定する。このように、画像の動きベクトルに応じて次に動き検出を行う際の動き探索範囲を設定すれば、動き探索範囲をシーンチェンジ検出後の最初の動きベクトルの検出時に比べて狭くしても、正しく画像の動きベクトルを検出することが可能となり、画像の動きベクトルの検出を効率よく速やかに行うことができる。
【００４０】
図４に示す画像位置移動部２３は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定する。さらに、決定した表示位置に基づき画像表示領域に応じた画像信号を生成する。例えば上述のように画像表示領域が３つの領域（スクリーン１０L，１０C，１０R）に区分されており、この３つの領域を使用して画像表示を行う場合、決定した表示位置に基づき画像信号ＳＤL，ＳＤC，ＳＤRを生成し、画像信号ＳＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェクタ１２C、画像信号ＳＤRをプロジェクタ１２Rに供給することで、スクリーン１０L，１０C，１０Rを使用して画像表示を行う。
【００４１】
図１１は、画像位置移動部２３の構成を示している。画像位置移動部２３の画像位置決定回路２３１は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定して、この表示位置を示す位置情報ＰＤを書込読出制御回路２３７に供給する。
【００４２】
図１２は、画像位置決定回路２３１の構成を示している。動き累積回路２３２は、シーンチェンジ検出信号ＳＣに基づいて連続シーンの期間を判別すると共に、この連続シーンの期間中における動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成して初期位置決定回路２３３と表示範囲判定回路２３４に供給する。
【００４３】
初期位置決定回路２３３では、動き累積値ＭＶＴに基づき第１の移動方向（例えば右方向や上方向）の最大値ＭＶＴ-1と、第１の方向とは逆方向である第２の移動方向（例えば左方向や下方向）の最大値ＭＶＴ-2を求め、最大値ＭＶＴ-1と最大値ＭＶＴ-2に基づき動き累積値ＭＶＴの振れ幅ＷＴや中央値ＭＶＴctを求めて、この中央値ＭＶＴctが画像表示範囲の所定位置例えば中央となるように、連続シーンの最初の表示画像の表示位置を決定して初期位置ＰＳとして表示範囲判定回路２３４と表示位置決定回路２３６に供給する。
【００４４】
表示範囲判定回路２３４は、初期位置ＰＳに連続シーンの最初の表示画像を表示してから連続シーンの最後の画像を表示するまでの期間中、動き検出情報ＭＶＤに基づいて画像の表示位置を移動させたときに、表示画像が画像表示領域に入りきるか否かを、初期位置ＰＳと動き累積値ＭＶＴに基づいて判別する。この表示範囲判定回路２３４での判別結果を示す判別結果信号ＣＨａは動き補正回路２３５に供給される。
【００４５】
動き補正回路２３５は、判別結果信号ＣＨaで表示画像が画像表示領域に入りきらないことが示されたとき、表示画像が画像表示領域に入りきるように動き検出情報ＭＶＤを補正して、動き検出情報ＭＶＥとして表示位置決定回路２３６に供給する。また、判別結果信号ＣＨaで表示画像が画像表示領域に入りきることが示されたとき、動き検出情報ＭＶＤの補正を行うことなく表示位置決定回路２３６に供給する。
【００４６】
表示位置決定回路２３６は、初期位置決定回路２３３から供給された初期位置ＰＳを連続シーンの最初の表示画像の表示位置とする。その後、動き検出情報ＭＶＥに基づき、動き検出情報ＭＶＥで示された動きベクトルの方向とは逆方向に画像を移動させた位置を表示位置として、この表示位置を示す位置情報ＰＤを順次出力して、図１１の書込読出制御回路２３７に供給する。
【００４７】
ここで、位置情報ＰＤに基づいて画像の表示位置を切り換える場合、例えば上述のように画像表示領域が３つの領域（スクリーン１０L，１０C，１０R）に区分されているときには、入力画像信号ＳＤinと位置情報ＰＤに基づき、各領域に対して画像表示を行うための画像信号ＳＤL，ＳＤC，ＳＤRを生成しなければならない。このため、例えば画像表示領域に対応した記憶領域を有する画像メモリ２３８を設けるものとし、書込読出制御回路２３７は、画像メモリ２３８に入力画像信号ＳＤinを書き込む際の書込位置を、位置情報ＰＤに基づいて表示位置に対応させる。このように入力画像信号ＳＤinを書き込むものとすれば、表示領域に対応した画像メモリ２３８の記憶領域の画像信号を用いることで、画像信号ＳＤL，ＳＤC，ＳＤRを容易に生成できる。
【００４８】
書込読出制御回路２３７は、画像メモリ２３８に画像信号を書き込むための書込制御信号ＷＣと、画像メモリ２３８に書き込まれている画像信号を読み出すための読出制御信号ＲＣを生成して、画像メモリ２３８に供給する。ここで、書込読出制御回路２３７は、上述したように画像位置決定回路２３１で決定された表示位置と対応する画像メモリ２３８の記憶領域の位置に画像信号を記憶させるため、位置情報ＰＤに基づいて書込制御信号ＷＣを生成する。
【００４９】
画像メモリ２３８は、書込制御信号ＷＣに基づき、画像位置決定回路２３１で決定された表示位置に対応する記憶領域に、この表示位置の決定が行われたフレームの入力画像信号ＳＤinを記憶する。なお、入力画像信号ＳＤinが記憶されていない領域には、例えば黒表示となる信号を記憶させる。また、画像メモリ２３８は、書込読出制御回路２３７からの読出制御信号ＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像信号ＳＤeとして画像分割回路２３９に供給する。
【００５０】
画像分割回路２３９は、画像信号ＳＤeから例えばスクリーン１０Lに対応する記憶領域の信号を用いて画像信号ＳＤLを生成する。同様に、スクリーン１０C，１０Rに対応する記憶領域の信号を用いて画像信号ＳＤC，ＳＤRを生成する。このようにして生成した画像信号ＳＤLをプロジェクタ１２Ｌ、画像信号ＳＤCをプロジェクタ１２Ｃ、画像信号ＳＤRをプロジェクタ１２Ｒにそれぞれ供給することにより、複数のスクリーンを利用して１つ画像を表示できると共に、表示画像が複数のスクリーンに跨るときには、表示画像がスクリーン毎に分割されて表示される。また、画像信号ＳＤdが記憶されていない領域に黒表示となる信号を記憶させたときには、入力画像信号ＳＤinに基づく画像の周囲が黒表示となる。
【００５１】
なお、画像位置移動部２３は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定して、この決定した表示位置に基づき画像表示領域に応じた画像信号を生成するものであれば良く、画像メモリ２３８に対する画像信号の書込位置を表示位置に応じて制御するものに限られるものではない。例えば、画像信号を所定の位置に記憶させると共に、記録されている信号の読出位置を表示位置に基づいて制御することでも、画像信号ＳＤL，ＳＤC，ＳＤRを生成できる。
【００５２】
次に、画像処理装置２０の動作について説明する。なお、説明を簡単とするため動き検出情報ＭＶＤで示される動きベクトル方向の左右方向成分についてのみ説明する。図１３Ａは、入力画像信号ＳＤinに基づく画像であり、フレームＦ（g-1）までがシーンＡの画像、フレームＦ(g)，Ｆ（g+1）〜フレームＦ(g+k)が連続フレームのシーンＢの画像、フレームＦ(g+k+1)からシーンＣの画像である場合を示している。
【００５３】
入力画像信号ＳＤinがフレームＦ(g-1)からフレームＦ(g)およびフレームＦ(g+ｋ)からフレームＦ(g+k+1)となると、シーンチェンジ検出部２１は、正規化値Ｅあるいは相関係数ｒに基づいて、このシーンチェンジ位置を検出すると共に、シーンチェンジ検出信号ＳＣは、シーンチェンジであることを示すものとなる。
【００５４】
画像位置決定回路２３１の動き累積回路２３２は、シーンチェンジ検出信号ＳＣに基づいて連続シーンの期間中における動きベクトルを累積して動き累積値ＭＶＴを生成する。例えばフレームＦ(g)からフレームＦ(g+k)までの連続シーンであるシーンＢの動きベクトルを累積して動き累積値ＭＶＴを生成する。
【００５５】
図１４はシーンＢの動き累積値ＭＶＴに基づく左右方向の動き量を示している。なお、図１４において、シーンＡ，シーンＣは動きがないため動き累積値ＭＶＴの左右方向の動き量は「０」である。ここで、図２Ｂに示すように、ビデオカメラ１００を左方向にパンニングさせて前進する被写体ＯＢbを撮影すると背景画像は右方向に移動する。このため動き累積値ＭＶＴの動き量は右方向に増加する。その後、ビデオカメラ１００のパンニングを停止したのち、右方向にパンニングさせて後退する被写体ＯＢbを撮影すると、動き累積値ＭＶＴの動き量は減少したのち左方向に増加する。再度、ビデオカメラ１００のパンニングを停止したのち左方向にパンニングさせて前進する被写体ＯＢbを撮影すると、動き累積値ＭＶＴの動き量は減少したのち右方向に増加する。
【００５６】
初期位置決定回路２３３は、動き累積値ＭＶＴの振れ幅ＷＴを求めることでシーンＢでの表示位置の移動範囲を判別し、この移動範囲が画像表示領域内の移動可能範囲ＬＷ（画像表示領域の右側端部に画像を表示したときと、画像を水平移動させて左側端部に表示したときの表示画像の中心間の距離）の中央となるように、フレームＦ(ｇ)の画像の表示位置である初期位置ＰＳを決定する。例えば、動き累積値ＭＶＴの振れ幅ＷＴを求め、振れ幅ＷＴの１／２を中央値ＭＷctとする。さらに、右方向に動き量の最大値ＭＶＴ-1から中央値ＭＷctを減算すると、画像の移動範囲を画像表示領域の中央に設定した場合におけるフレームＦ(ｇ)の画像に対する動き量ＭＵ-sを求めることができる。このため、画像表示領域の中央から動き量ＭＵ-sだけ動きベクトル方向とは逆方向に移動した位置を初期位置ＰＳとする。このように初期位置ＰＳを決定することで、動き検出情報ＭＶＤに基づいて画像の表示位置を移動させたとき、画像の移動範囲が画像表示領域の中央となる。このようにして初期位置決定回路２３３は初期位置ＰＳを決定して表示範囲判定回路２３４と表示位置決定回路２３６に供給する。
【００５７】
表示範囲判定回路２３４は、連続シーンの最初の表示画像を初期位置ＰＳに表示してから、動き検出情報ＭＶＤで示された動き量だけ表示位置を動きベクトル方向とは逆方向に移動させたとき、表示画像が画像表示領域に入りきるか否かを判別する。例えば、動き累積値ＭＶＴに基づき振れ幅ＷＴを算出して、この振れ幅ＷＴと画像表示領域内の移動可能範囲ＬＷを比較して、連続シーンの画像が図１４に示すように移動可能範囲からはみ出すことなく移動されるものであるか、あるいは図１５に示すように、シーンＧの振れ幅ＷＴが移動可能範囲ＬＷよりも大きくなって、表示画像が画像表示領域に入りきらなくなってしまうかを判別して、判別結果を示す判別結果信号ＣＨaを動き補正回路２３５に供給する。なお、振れ幅ＷＴは、初期位置決定回路２３３で算出した振れ幅ＷＴを用いるものとしても良い。
【００５８】
動き補正回路２３５は、判別結果信号ＣＨaで表示画像が画像表示領域に入りきらないことが示されたとき、動き検出情報ＭＶＤの動き量を少なくする補正を行い、動き検出情報ＭＶＥとして表示位置決定回路２３６に供給する。例えば、動き累積値ＭＶＴの振れ幅ＷＴが大きくなって、図１５で示すように画像表示領域の移動可能範囲ＬＷを超えてしまう場合、シーンＧの動き量に補正係数ＣＲ（＜１）を乗算することで、動き量を少なくする補正を行い、振れ幅ＷＴを小さくする。なお、振れ幅を小さくしたときに、表示位置が移動可能範囲ＬＷを超えてしまうときには、動き検出情報ＭＶＥに係らず表示位置を移動可能範囲ＬＷ内に制限する。
【００５９】
また、動き累積値ＭＶＴの振れ幅ＷＴを動き補正回路２３５に供給すると共に、画像表示領域内の移動可能範囲ＬＷを動き補正回路２３５に予め記憶させておくものとし、振れ幅ＷＴと移動可能範囲ＬＷを用いて補正係数ＣＲを「ＣＲ＝（ＬＷ／ＷＴ）」に設定することもできる。この場合には、表示位置を移動しても表示画像が画像表示領域内となるように動き量が補正されるので、表示位置が移動可能範囲ＬＷを超えて制限されてしまうことを防止できる。
【００６０】
ところで、動き量に固定の補正係数ＣＲを乗算すると、常に画像の動き量が小さくなってしまい、臨場感の少ない画像となってしまう。このため、補正係数ＣＲに重み付けを行うものとして、臨場感の高い画像表示を行うこともできる。
【００６１】
ここで、画像表示領域の中央から端部側方向に画像の表示位置を移動させるときには動き量に補正係数ＣＲを乗算して動き量を少なくする。また、端部側から画像表示領域の中央方向に表示位置を移動させる場合、補正係数ＣＲを「１」とする。この場合、画像表示領域の端部側方向に表示位置が移動される場合にのみ動き量が小さくされるので、画像が途切れてしまうことを防止できると共に、画像表示領域の中央方向への表示位置の移動は、画像の動きベクトルに応じて行われるので、臨場感を確保できる。
【００６２】
図１６は、動き量の補正を行った場合と行わなかった場合での画像表示位置の違いを例示的に示したものである。ここで、実線で示す動き量の補正を行った場合、破線で示す動き量の補正を行わなかった場合に比べて、画像の表示位置が中央部分に近くなり、画像が途切れてしまうことを防止できる。
【００６３】
また、動き量の補正では、画像表示領域の中央部分で表示位置の移動を行う場合に補正係数ＣＲを「１」あるいは「１」に近づけて動き量の縮小率を少なくする。また、表示位置が画像表示領域の中央から離れて端部側に移動するに伴い補正係数ＣＲを小さくして動き量の縮小率を大きくする。このように補正係数ＣＲを設定すると、視聴者が注目する画像表示領域の中央部で画像の動きベクトルに応じた表示位置の移動が行われて、視聴者の注目が少ない画像表示領域の端部で表示位置の移動が少なくなるので、動き量の補正による臨場感の減少を抑えることができる。
【００６４】
さらに、振れ幅ＷＴが大きい場合、補正係数ＣＲを「ＣＲ＝（ＬＷ／ＷＴ）」に設定すると動き量が少なくなりすぎてしまう。このため、補正係数ＣＲに制限を設けるものとし、表示位置を移動したときに表示画像が画像表示領域に入り切らない場合は、動き量に係らず表示画像を画像表示領域の端部側位置として、画像が途切れてしまうことを防止することもできる。
【００６５】
このようにして、画像位置決定回路２３１で各フレームの画像の表示位置を決定して位置情報ＰＤを生成すると、書込読出制御回路２３７は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３８に供給し、図１３Ｂに示すように、画像メモリ２３８の記憶領域における画像表示位置と対応する記憶領域ＡＲ1にシーンＡのフレームＦ(g-1)の画像信号を記憶させる。また、シーンＢの最初のフレームＦ(g)の画像信号を、位置情報ＰＤに基づき初期位置ＰＳに対応した記憶領域ＡＲ2に記憶させる。その後、フレームＦ(g+1)〜フレームＦ(g+k)の画像信号を位置情報ＰＤに基づいて移動させながら画像メモリ２３８に記憶される。また、シーンＣのフレームＦ(g+k+1)の画像信号を記憶領域ＡＲ1に記憶させる。
【００６６】
書込読出制御回路２３７は、読出制御信号ＲＣを生成して画像メモリ２３８に供給すると共に、画像メモリ２３８は記憶して画像信号を読出制御信号ＲＣに基づいて読み出して画像分割回路２３９に供給する。画像分割回路２３９は、画像メモリ２３８の記憶領域が画像表示領域に対応して設けられていることから、スクリーン１０Lと対応する記憶領域ＢＡLから読み出した信号に基づいて画像信号ＳＤLを生成する。またスクリーン１０Cと対応する記憶領域ＢＡCから読み出した信号に基づいて画像信号ＳＤCを生成すると共に、スクリーン１０Rと対応する記憶領域ＢＡRから読み出した信号に基づいて画像信号ＳＤRを生成する。なお、画像の無い部分の信号レベルは上述のように黒表示として、画像表示領域には、入力画像信号ＳＤinに基づく画像のみを表示させる。
【００６７】
このようにして、生成した画像信号ＳＤL，ＳＤC，ＳＤRをプロジェクタ１２L，１２C，１２Rに供給することで、被写体の動きに応じて表示位置を移動させることができる。このように、撮影時のカメラ動き、あるいはカメラの向きに忠実な表現が可能となり、実世界と同じ位置、同じ方向に映像が表示されるため、視聴者は現実と同じ空間、あるいは動きを視聴時に取得することができる。さらに、画面自体の動きによって、従来よりも大きな躍動感を映像から得ることが可能であり、また視聴者自らの顔向きの動きなどにより、完全受動的であった動き表現の視聴を、視線を動かすというアクティブな操作で感じることが可能である。また、画像表示領域に応じた移動が行われるので、画像の途切れを無くして正しく画像表示を行うことができる。また、振れ幅を用いることで、振れ幅と画像表示領域の移動可能範囲から表示位置をどの位補正しなければならないか簡単に判別できるので、画像表示領域に合わせた表示画像の移動を容易に行うことができる。
【００６８】
ところで、上述の画像位置決定回路２３１は、動き累積回路２３２で動き検出情報ＭＶＤの動きベクトルを累積して、この動き累積値ＭＶＴに基づいて表示画像の初期位置を決定すると共に、表示位置を動きベクトルに基づいて順次移動するものとしたが、基準表示位置を設定して動き検出情報ＭＶＤで示された動きベクトル分だけ表示位置を基準表示位置から移動させることもできる。
【００６９】
例えば右方向へのパンニングを行って撮影したときには、背景画像が左方向に移動することから、動き検出情報ＭＶＤに基づき、表示位置を基準表示位置から動きベクトル方向とは逆方向に動き量分だけ移動する。パンニングが終了したときには、動き検出情報ＭＶＤの動き量が「０」となるので、表示位置は基準表示位置とする。このように動きベクトルに応じて表示位置を決定した場合には、動きベクトルの変化が表示位置の移動として表現されることとなり、ダイナミックな画像表示を行うことができる。
【００７０】
図１７は、基準表示位置から動きベクトル分だけ表示位置を移動させる場合と、動きベクトルに基づいて順次表示位置を移動させる場合の表示位置を例示的に示したものである。なお図において実線は基準表示位置から動きベクトル分だけ表示位置を移動させる場合を示しており、破線は動きベクトルに基づいて順次表示位置を移動させる場合を示している。図に示すように、例えば右方向へのパンニングが終了したときには、動き検出情報ＭＶＤの動き量が「０」となるので、基準表示位置から動きベクトル分だけ表示位置を移動させる場合の表示位置は、基準表示位置となる。また、動きベクトルに基づいて順次表示位置を移動させる場合には、表示位置が初期位置から最も右側に離れた位置となる。
【００７１】
また、基準表示位置から動きベクトル分だけ表示位置を移動させる場合、動きベクトルの検出精度が高くないと、動きベクトルの検出の誤差によって表示位置が振動してしまい、安定感のない品位が低下した表示画像となってしまう。このため、動きベクトルに対してフィルタ処理を行い、動きベクトルから高域成分を除くことで表示位置の振動を防止する。このフィルタ処理は、例えば±２０フレーム分の動きベクトルから平均を算出することで、高域成分を除くものとする。
【００７２】
図１８は、フィルタ処理を行った場合と行わない場合とでの表示位置の違いを例示的に示した図である。なお図において太線はフィルタ処理を行い動きベクトルから高域成分を除いた場合の表示位置を示しており、細線はフィルタ処理を行わない場合の表示位置を示している。この図１８に示すように、フィルタ処理を行うことにより動きベクトルが平均化されるので、表示位置が振動してしまうことを防止して良好な画像表示を行うことができる。
【００７３】
また、動き検出情報ＭＶＤに基づいて表示位置を決定する場合、動きベクトルに基づく表示位置の振れ幅が画像表示領域内の移動可能範囲ＬＷに収まるように設定する。例えば、動き量が「０」であるときの表示位置を画像表示範囲の中央に基準表示位置として設定し、動きベクトルの動き量が最大となったときに表示位置が画像表示範囲の端部側となるように設定する。ここで、動き検出情報ＭＶＤで示された動きベクトルの動き量を「Ｍd」、動き量の最大値を「Ｖmax」としたとき、表示位置Ｘは式（５）に基づいて算出することができ、この算出された表示位置Ｘに画像表示を行うものとすれば、画像表示領域を有効に活用して画像表示を行うことができる。
Ｘ ＝ （ＬＷ／Ｖmax）Ｍd ・・・（５）
【００７４】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図１９に示す。コンピュータは、図１９に示すようにＣＰＵ(Central Processing Unit)３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ３０２，ＲＡＭ３０３，ハード・ディスク・ドライブ３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像信号入力部３１４，画像信号出力部３１５が接続されている。
【００７５】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。
【００７６】
ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４には、上述の画像処理装置と同様な処理をコンピュータで実行させるための画像処理プログラムを予め記憶させて、画像信号入力部３１４に入力された入力画像信号ＳＤinに基づき画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号出力部３１５から出力する。また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部３１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしても良い。
【００７７】
図２０は、画像処理プログラムの全体構成を示すフローチャートである。ステップＳＴ１では動き累積値ＭＶＴを初期化してステップＳＴ２に進み、ステップＳＴ２ではシーン判別を行う。図２１は、このシーン判別動作を示すフローチャートである。ステップＳＴ２１では、フレーム間の差分平均値Ｄavとフレーム内の輝度平均値Ｙavを算出してステップＳＴ２２に進む。
【００７８】
ステップＳＴ２２は、輝度平均値Ｙavを用いて差分平均値Ｄavの正規化を行い正規化値Ｅを算出する。
ステップＳＴ２３は、正規化値Ｅと閾値Ｌrを比較してシーンチェンジであるか否かを判別する。ここで、正規化値Ｅが閾値Ｌr以下であるときにはステップＳＴ２４に進み、連続シーンと判別してシーン判別を終了する、また、正規化値Ｅが閾値Ｌrよりも大きいときにはステップＳＴ２５に進み、シーンチェンジであると判別してシーン判別を終了する。
【００７９】
なお、シーン判別動作では、上述のように相関係数ｒを算出して、この相関係数ｒと閾値Ｌrを比較してシーンチェンジであるか否かを判別するものとしても良い。この場合、ステップＳＴ２１とステップＳＴ２２の処理に替えて、上述の式（４）で示した相関係数ｒの算出を行い、ステップＳＴ２３では相関係数ｒが閾値よりも小さくないときにはステップＳＴ２４に進み連続シーンと判別する。また相関係数ｒが閾値よりも小さいときにはステップＳＴ２５にシーンチェンジであると判別する。
【００８０】
図２０のステップＳＴ３は、ステップＳＴ２のシーン判別でのシーン判別結果がシーンチェンジであるか否かを判別する。ここで、シーンチェンジでないすなわち連続シーンと判別されたときにはステップＳＴ４に進み、シーンチェンジであると判別されたときにはステップＳＴ６に進む。
【００８１】
ステップＳＴ４は、動き検出を行う。この動き検出では、全画面動き検出を行い、表示面積の広い部分の動きベクトルを検出してステップＳＴ５に進む。ステップＳＴ５では動き累積値ＭＶＴにステップＳＴ４で検出された動きベクトルを加算して新たな動き累積値ＭＶＴとすると共に、新たな動き累積値ＭＶＴを順次記憶してステップＳＴ２に戻る。
【００８２】
ステップＳＴ３でシーンチェンジであると判別されてステップＳＴ６に進むと、ステップＳＴ６では、順次記憶した動き累積値ＭＶＴに基づき動き累積値ＭＶＴの振れ幅ＷＴを算出して、振れ幅ＷＴの中心が画像表示領域の中央となるように画像表示位置の初期位置ＰＳを決定する。
【００８３】
次に、ステップＳＴ７では、動き累積値ＭＶＴに応じて画像表示位置を移動させたとき、表示画像が画像表示領域に入りきるか否かを判別する。ここの、表示画像が画像表示領域に入りきらないときにはステップＳＴ８に進み、入りきる場合にはステップＳＴ９に進む。
ステップＳＴ８では、表示画像が画像表示領域に入りきるように動きベクトルを補正してステップＳＴ９に進む。
【００８４】
ステップＳＴ９では、ステップＳＴ６で決定された画像表示位置の初期位置ＰＳとステップＳＴ４で検出された動きベクトル、あるいは補正された動きベクトルに基づいて表示位置を決定してステップＳＴ１０に進む。
【００８５】
ステップＳＴ１０は、出力画像の分割処理を行う。ここで、図１に示すように３つのスクリーンを１つの画像表示領域として用いる場合、表示位置が移動されて表示画像が複数のスクリーンに跨って表示される場合でも、正しく画像を表示できるように、画像の分割を行い、各スクリーンに応じた画像信号ＳＤL，ＳＤC，ＳＤRを生成する。このように入力画像信号ＳＤinをコンピュータで処理して画像信号ＳＤL，ＳＤC，ＳＤRを生成するものとしても、同様の効果を得ることができる。
【００８６】
なお、上述の画像処理装置２０は、連続シーンを判別してから、この連続シーンにおける全画面の動きベクトルに基づいて表示位置を移動させるものであり、複数の連続シーンの画像信号ＳＤL，ＳＤC，ＳＤRをリアルタイムで生成することが困難である。このため、画像信号ＳＤL，ＳＤC，ＳＤRを記録媒体に記録して、その後記録媒体に記録されている画像信号ＳＤL，ＳＤC，ＳＤRを同期して再生することにより、上述の図３に示す画像表示が行われる。また、入力画像信号ＳＤinと画像位置移動部２３で設定された表示位置を関係付けて記録媒体に記録させるものとして、画像表示を行う際に、入力画像信号ＳＤinとこの入力画像信号ＳＤinに関係付けて記憶されている表示位置を記録媒体から読み出して画像信号ＳＤL，ＳＤC，ＳＤRも生成するものとしても良い。この場合には、画像信号ＳＤL，ＳＤC，ＳＤRを記録しておく必要がないので、記録する信号量を少なくできる。また、連続シーンにおける全画面の動きベクトルに基づいて表示位置を移動させるために記録媒体に蓄積されている入力画像信号ＳＤinを用いる場合には、画像表示領域を設定してから表示位置の決定や画像信号ＳＤL，ＳＤC，ＳＤRの生成を行うことができるので、スクリーンサイズやスクリーン数等が変更されても容易に対応することができる。
【００８７】
また、上述の実施の形態におけるスクリーンやプロジェクタは例示的なものであり、表示画像サイズよりも画像表示領域が大きければ、本願発明のように現実世界に忠実で臨場感の高い画像表示が可能であると共にシーンの切り替えを容易に識別できる。
【００８８】
さらに、新たに映像ソースや別のフォーマットを作らなくても、従来のテレビ用やビデオ映像などのコンテンツの画像信号を用いて本発明の処理を施すことで、従来の映像鑑賞以上の臨場感を得ることができる。
【００８９】
【発明の効果】
この発明によれば、表示画像の画像サイズよりも大きい画像表示領域が設定されると共に、シーンチェンジの検出結果に基づき連続シーンが判別されて、表示画像の表示位置が、画像表示領域おける表示画像の移動可能範囲内で、連続シーンの期間中に検出された動きベクトルに基づいて移動させる。このため、連続シーンの画像が画像の動きに応じて移動されて現実世界に忠実で臨場感の高い画像表示を可能とすると共に、画像の途切れを防止して正しく表示できる。
【００９０】
また、連続シーンの期間中に検出された動きベクトルから動きベクトルの時間推移情報を生成して、この時間推移情報に基づき連続シーンにおける表示画像の振れ幅が判別される。この判別された振れ幅に基づき表示画像の表示位置が画像表示領域おける表示画像の移動可能範囲内となるように表示位置が移動されるので、画像の途切れを生ずることなく画像表示領域に合わせた表示画像の移動を容易に行うことができる。
【００９１】
また、振れ幅と移動可能範囲に基づき、振れ幅の中央に対応する表示画像の表示位置が移動可能範囲の中央となるように、連続シーンの最初の表示画像の表示位置が設定されるので、画像表示領域を有効に活用して画像表示を行うことができる。
【００９２】
また、振れ幅が前記移動可能範囲よりも大きいときには、動きベクトルの動き量を縮小させる補正処理が行われて、補正処理後の動き量を用いて表示画像の表示位置が移動されるので、画像表示領域から表示画像が外れてしまうことを防止できる。また表示位置の移動方向が画像表示領域の外側方向であるときに補正処理が行われるので、補正処理を行っても臨場感を確保できる。また、補正処理では、表示位置が画像表示領域の中央から離れるに伴い動き量の縮小率が大きくされるので、臨場感の低下を少なくできる。
【００９３】
さらに、基準表示位置を設定して、検出された動きベクトルに応じて表示画像の表示位置が基準表示位置から移動されるので、ダイナミックな画像表示を行うことができる。また、検出された動きベクトルに対してフィルタ処理が行われて、このフィルタ処理が行われた動きベクトルに応じて表示画像の表示位置が基準表示位置から移動されるので、表示画像が振動して品位が低下してしまうことを防止できる。また、連続シーン内の動きベクトルに応じて表示画像の表示位置を基準表示位置から移動させたときに、表示画像が画像表示領域を超える場合、連続シーン内の動きベクトルの動き量を縮小させる補正処理が行われるので、画像表示領域から表示画像が外れてしまうことを防止できる。
【図面の簡単な説明】
【図１】画像表示システムの構成を示す図である。
【図２】入力画像信号の生成動作を示す図である。
【図３】画像表示状態を示す図である。
【図４】画像処理装置の構成を示す図である。
【図５】シーンチェンジ検出部の構成を示す図である。
【図６】フレーム位置と正規化値の関係を示す図である。
【図７】画素の間引きを示す図である。
【図８】シーンチェンジ検出部の他の構成を示す図である。
【図９】フレーム位置と相関係数の関係を示す図である。
【図１０】動き検出部の構成を示す図である。
【図１１】画像位置移動部の構成を示す図である。
【図１２】画像位置決定回路の構成を示す図である。
【図１３】画像処理装置の動作を説明するための図である。
【図１４】画像位置決定回路の動作を説明するための図である。
【図１５】画像位置決定回路の他の動作を説明するための図である。
【図１６】動き量の補正を行った場合の表示位置と動き量の補正を行わなかった場合の表示位置を示す図である。
【図１７】基準表示位置から動きベクトル分だけ表示位置を移動させる場合と、動きベクトルに基づいて順次表示位置を移動させる場合での表示位置を示す図である。
【図１８】フィルタ処理を行った場合の表示位置とフィルタ処理を行わなかった場合の表示位置を示す図である。
【図１９】コンピュータを用いたときの構成を示す図である。
【図２０】画像処理プログラムの全体構成を示すフローチャートである。
【図２１】シーン判別の動作を示すフローチャートである。
【符号の説明】
１０L，１０C，１０R・・・スクリーン、１２L，１２C，１２R・・・プロジェクタ、２０・・・画像処理装置、２１・・・シーンチェンジ検出部、２２・・・動き検出部、２３・・・画像位置移動部、２１１，２２１，２３３・・・遅延回路、２１２・・・差分平均算出回路、２１３・・・輝度平均算出回路、２１４・・・正規化回路、２１５，２１７・・・判定回路、２１６・・・相関係数算出回路、２２２・・・画像位置切替回路、２２３・・・差分演算回路、２２４・・・最小値判定回路、２３１・・・画像位置決定回路、２３２・・・動き累積回路、２３３・・・初期位置決定回路、２３４・・・表示範囲判定回路、２３５・・・動き補正回路、２３６・・・表示位置決定回路、２３７・・・書込読出制御回路、２３８・・・画像メモリ、２３９・・・画像分割回路、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０３・・・ＲＡＭ、３１４・・・画像信号入力部、３１５・・・画像信号出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image processing method, and an image processing program. Specifically, the motion vector of the display image based on the input image signal is detected, the scene change of the display image is detected, the image display area larger than the image size of the display image is set, and the detection result of the scene change is set. By identifying the continuous scene and moving the display position of the display image within the movable range of the display image in the image display area based on the motion vector detected during the continuous scene period, it is highly realistic The image display is possible and the image is correctly displayed without interruption.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in an image display system that displays an image such as a television broadcast program or a movie, an image is displayed using one fixed image frame, such as a display screen or a screen of a television device. Also, when producing image content such as a broadcast program or a movie, content production is performed on the assumption that image display is performed in such a fixed image frame.
[0003]
Furthermore, in recent years, a multi-screen display system, a curved display, a wide-angle display, a head-mounted display, and the like have been put into practical use in order to display an image with enhanced realism. However, even when such a multi-screen display system or the like is used, content production is performed on the premise that an image display area formed by this system is used as one fixed image frame and an image is displayed in accordance with the fixed image frame. Has been done.
[0004]
[Problems to be solved by the invention]
By the way, when the image content produced in accordance with the fixed image frame in this way includes an image including a camera movement at the time of shooting, the shot image is displayed in the fixed image frame and the background in the shot image is displayed. The movement of the camera is used to express the camera movement. In other words, the viewer recognizes that the subject in the image displayed in the fixed image frame moves, and the subject in the image moves in the direction opposite to the background motion, and the viewer feels as if he / she is Get the feeling of changing direction as the subject moves.
[0005]
This is a result of forcibly projecting the captured image of a wide space onto a two-dimensional plane in a fixed image frame, and the viewer feels that he / she moved sensuously by the movement of the background even if he / she did not actually move. There will be unnaturalness due to inconsistency with real space. For this reason, for example, Japanese Patent Laid-Open No. 10-301556 discloses that motion detection is performed on a photographed image and the display position is moved in accordance with the motion of the subject to prevent inconsistency with the real space. Yes.
[0006]
However, when the image display area is limited, if the display position of the image is moved in accordance with the movement of the subject, the image is out of the image display area, and the image cannot be displayed correctly.
[0007]
Therefore, the present invention provides an image processing apparatus, an image processing method, and an image processing program that enable an image display that is faithful to the real world and has a high sense of presence, and that can display an image correctly without interruption.
[0008]
[Means for Solving the Problems]
An image processing apparatus according to the present invention includes a motion detection unit that detects a motion vector of a display image based on an input image signal, a scene change detection unit that detects a scene change by determining a continuous scene of the display image, An image moving means for setting an image display area larger than the image size of the display image and moving the display position of the display image with respect to the image display area is provided, and the image moving means is provided by the scene change detecting means. Based on the temporal transition of the motion vector detected by the motion detection means during the continuous scene determined based on the detection result of the scene genge. Discriminating the amplitude of the display image in the continuous scene, based on the amplitude The display position is moved so that the display position of the display image is within a movable range of the display image in the image display area.
[0009]
Further, the image processing method detects a scene change by detecting a motion vector of a display image based on an input image signal, discriminates a continuous scene of the display image, and an image display area larger than an image size of the display image And based on the temporal transition of the motion vector detected by the motion detection means during the continuous scene determined based on the detection result of the scene genge Discriminating the amplitude of the display image in the continuous scene, based on the amplitude The display position is moved so that the display position of the display image is within a movable range of the display image in the image display area.
[0010]
Further, the image processing program causes the computer to detect a motion vector of the display image based on the input image signal, to detect a scene change by determining a continuous scene of the display image, and to display the image of the display image. Based on the time transition of the motion vector detected by the motion detection means during the continuous scene period determined based on the detection result of the scene genge while setting an image display area larger than the size Discriminating the amplitude of the display image in the continuous scene, based on the amplitude And a procedure for moving the display position so that the display position of the display image is within a movable range of the display image in the image display area.
[0011]
In the present invention, continuous scenes are discriminated based on the detection result of the scene change, and motion vectors detected during the period of the continuous scenes are accumulated to generate a motion accumulated value as time transition information of the motion vectors. Thus, the fluctuation width of the display image in the continuous scene is determined based on the accumulated motion value. Based on the movable range and the swing width of the display image in the image display area larger than the image size of the display image, the display position of the display image corresponding to the center of the swing width is set to the center of the movable range. The display position of the first display image is set. In addition, when the fluctuation width is larger than the movable range, correction processing for reducing the amount of motion vector movement when the moving direction of the display position is outside the image display area, or the display position from the center of the image display area. A correction process is performed to increase the reduction rate of the motion amount as the user leaves, and the display position of the display image is moved based on the motion amount.
[0012]
Further, a reference display position is set, and a filter process is performed on the detected motion vector, and the display position of the display image is moved from the reference display position in accordance with the motion vector subjected to the filter process. The Also, when the display position of the display image is moved from the reference display position according to the motion vector in the continuous scene, if the display image exceeds the image display area, the amount of motion vector motion in the continuous scene is reduced. Correction processing is performed.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the overall configuration of a display system using an image processing apparatus according to the present invention. In this display system, for example, three screens are arranged on the front and both sides of the user. In addition, projectors 12L, 12C, and 12R are provided corresponding to the screens 10L, 10C, and 10R, respectively. By projecting an image using each of the projectors 12L, 12C, and 12R, an image is displayed using a wide image frame for three screens. The projectors 12L, 12C, and 12R are connected to the image processing device 20.
[0014]
The image processing device 20 detects an image motion vector and a scene change based on the input image signal SDin, and outputs three image signals SDL, SDC, and SDR so that the image display position moves according to the detected motion vector. Then, the image signal SDL is supplied to the projector 12L, the image signal SDC is supplied to the projector 12C, and the image signal SDR is supplied to the projector 12R. When a scene change is detected, an image of a new scene is displayed at a display position that is not related to the continuous scene before the scene change.
[0015]
For example, as shown in FIG. 2A, the input image signal SDin supplied to the image processing device 20 is obtained by photographing a stationary subject OBa with the video camera 100 and then panning the video camera 100 as shown in FIG. 2B. It is assumed that the image signal is obtained by photographing the subject OBb moving in the order of forward, backward, and forward, and further photographing the stationary subject OBc as shown in FIG. 2C.
[0016]
The size of each screen is, for example, an aspect ratio of “4: 3”, a display size of “720 pixels × 480 pixels”, and an image based on the input image signal SDin is used in movies with an aspect ratio of “16: 9”. FIG. 3 shows a case where the display size is “720 pixels × 270 pixels” with the aspect ratio of the wide image being displayed.
[0017]
The image processing device 20 generates an image signal SDC based on the input image signal SDin and supplies the image signal SDC to the projector 12C. As shown in FIG. Display in the center. Thereafter, with respect to the image of the scene B obtained by shooting the moving subject OBb, the moving range of the display position is determined based on the motion vector of the image of the scene B, and this moving range becomes the center of the image display area. The display position of the first image of scene B is determined. Based on the determined display position, image signals SDL, SDC, SDR are generated from the input image signal SDin. For example, the image signals SDC, SDR are used by using the front screen 10C and the right screen 10R as shown in FIG. 3B. Display an image. Thereafter, as shown in FIGS. 3C and 3D, the image display position is moved from the right side to the left side in accordance with the movement of the subject OBb. Further, when the scene change is performed and the scene B is switched to the scene C, for example, an image of the scene C obtained by photographing the non-moving subject OBc is displayed at the center of the screen 10C as shown in FIG. 3E. As described above, the moving range of the display position is determined based on the amount of movement of the image, and the display position is set so that the moving range becomes the center of the image display area. When the moving range is larger than the image display area, the display position is adjusted so that the display image is not lost. As described above, the image display area is effectively used when the display position is moved in accordance with the motion vector of the image, thereby displaying an image with a high sense of presence.
[0018]
FIG. 4 shows a schematic configuration of the image processing apparatus 20. The image processing apparatus 20 supplies the input image signal SDin to the scene change detection unit 21, the motion detection unit 22, and the image position movement unit 23.
[0019]
The scene change detection unit 21 detects a scene change based on the input image signal SDin, that is, detects a discontinuous position of an image which is a joint portion between a continuous scene and a scene different from the continuous scene. FIG. 5 shows a schematic configuration of the scene change detection unit 21, which detects, for example, whether or not the scenes are continuous using image signals for two frames.
[0020]
The delay circuit 211 of the scene change detection unit 21 delays the input image signal SDin by one frame and supplies it to the difference average calculation circuit 212 as a delayed image signal SDa. The difference average calculation circuit 212 calculates a difference average value Dav between two frames based on the input image signal SDin and the delayed image signal SDa and supplies the difference average value Dav to the normalization circuit 214. The difference average value Dav is calculated by calculating a difference value of luminance levels between two frames in each pixel and supplying the obtained difference value average value to the normalization circuit 214 as the difference average value Dav. When the number of pixels of an image of one frame is “N”, the luminance level based on the input image signal SDin is “YC”, and the luminance level based on the delayed image signal SDa is “YP”, the difference average value Dav is an expression. It can be calculated based on (1).
[0021]
[Expression 1]

[0022]
Here, the difference average value Dav varies greatly depending on the luminance level of the image. For example, when the image is bright, even if the scene is not switched, the difference average value Dav increases only by changing a part of the image to a dark image. On the other hand, when the image is dark, the difference average value Dav does not increase because the change in the luminance level is small even when the scene is switched. For this reason, assuming that the scene change detection unit 21 is provided with a normalization circuit 214, normalization of the difference average value Dav corresponding to the brightness of the image is performed, and the influence of the brightness of the image is reduced to correctly detect the scene change. Make it possible.
[0023]
The luminance average calculation circuit 213 calculates an average value of luminance levels in one frame based on the luminance level of each pixel based on the input image signal SDin, and supplies the average value to the normalization circuit 214 as the luminance average value Yav. As described above, when the number of pixels of one frame image is “N” and the luminance level of the pixel based on the input image signal SDin is “YC”, the average luminance value Yav can be calculated based on the equation (2). .
[0024]
[Expression 2]

[0025]
The normalization circuit 214 normalizes the difference average value Dav according to the brightness of the image. That is, as shown in Equation (3), the difference average value Dav is corrected according to the luminance average value Yav indicating the brightness of the image to generate a difference average normalized value (hereinafter simply referred to as “normalized value”) E. To do.
E = Dav / Yav (3)
The normalized value E generated by the normalization circuit 214 is supplied to the determination circuit 215.
[0026]
The determination circuit 215 has a preset threshold value Lr, and compares the normalized value E with the threshold value Lr. When the normalized value E is larger than the threshold value Lr, the determination circuit 215 determines a scene change. Further, when the normalized value E is less than or equal to the threshold value Lr, it is determined that the scene is not a continuous scene. Further, the determination circuit 215 generates a scene change detection signal SC indicating the determination result and supplies the scene change detection signal SC to the motion detection unit 22 and the image position movement unit 23 of FIG.
[0027]
As described above, the normalization circuit 214 normalizes the difference average value Dav according to the brightness of the image, and the determination circuit 215 determines whether the scene change or the continuous scene by using the normalization value E. Therefore, the scene change can be detected correctly with less influence of the brightness of the image.
[0028]
FIG. 6 exemplarily shows the relationship between the frame position and the normalized value E. Here, when the threshold value Lr is set to “0.4”, the frame position where the normalized value E exceeds “0.4” is set as the scene change detection position Psc.
[0029]
By the way, in the scene change detection unit 21 described above, scene change detection is performed using signals of all pixels in one frame, but the difference average value Dav and luminance average value Yav are calculated using signals of all pixels. If it calculates, time will be required for arithmetic processing. Further, if the calculation process is speeded up in order to shorten the time required for the calculation process, the calculation process cost becomes enormous. Therefore, pixel decimation, for example, as shown in FIG. 7, an image of one frame is divided into 8 × 4 pixel areas, and only one pixel is selected from each area as indicated by diagonal lines. The difference average value Dav and the luminance average value Yav are calculated using the signal of the selected pixel. In this way, if pixel thinning is performed, the amount of calculation is reduced, so that the calculation process can be easily performed, and the calculation process cost is enormous because it is not necessary to perform the calculation process at high speed. Can also be prevented.
[0030]
In the scene change detection unit 21 described above, the scene change detection is performed using the normalized value E. However, the correlation coefficient r of the image between two frames is obtained, and the correlation coefficient r and the threshold value are set. By comparing, scene change detection can be performed with high accuracy. FIG. 8 shows the configuration of the scene change detection unit when the correlation coefficient r is used. The delay circuit 211 delays the input image signal SDin by one frame and supplies it to the correlation coefficient calculation circuit 216 as a delayed image signal SDa. The correlation coefficient calculation circuit 216 calculates the correlation coefficient r based on the input image signal SDin and the delayed image signal SDa.
[0031]
Here, the number of pixels of the image of one frame is “N”, the luminance level of the pixel based on the image signal of the first frame is “YF”, the luminance level of the pixel based on the image signal of the next frame is “YS”, When the average luminance level of the pixels based on the image signal of the next frame is “YFav” and the average luminance level of the pixels based on the image signal of the next frame is “YSav”, the correlation coefficient r is calculated using the equation (4). It can be calculated.
[0032]
[Equation 3]

[0033]
The correlation coefficient r calculated by the correlation coefficient calculation circuit 216 is supplied to the determination circuit 217.
The determination circuit 217 has a preset threshold value Lr, and compares the correlation coefficient r with the threshold value Lr. When the correlation coefficient r is equal to or less than the threshold value Lr, the determination circuit 217 determines a scene change. When the correlation coefficient r is not less than or equal to the threshold value Lr, it is determined that the scene is not a scene change. Further, the determination circuit 217 generates a scene change detection signal SC indicating the determination result, and supplies the scene change detection signal SC to the motion detection unit 22 and the image position movement unit 23 in FIG. FIG. 9 exemplarily shows the relationship between the frame position and the correlation coefficient r. Here, when the threshold Lr is set to “0.4”, for example, the frame position where the correlation coefficient r is “0.4” or less is set as the scene change detection position Psc.
[0034]
The motion detection unit 22 detects a motion vector with respect to a frame indicated by the scene change detection signal SC from the scene change detection unit 21 as a continuous scene, and a motion vector having a wide display area, for example, a motion of a background portion. Detect vectors. FIG. 10 shows a configuration of the motion detection unit 22, which is a case where a motion vector is detected using a block matching method, for example.
[0035]
The delay circuit 221 of the motion detector 22 delays the input image signal SDin by one frame and supplies it to the image position switching circuit 222 as a delayed image signal SDb. The image position switching circuit 222 sequentially changes the position of the image based on the delayed image signal SDb in the horizontal direction or the vertical direction within a preset motion search range, and sequentially generates new image signals SDc. The generated image signal SDC is supplied to the difference calculation circuit 223. Further, the image position switching circuit 222 supplies a motion vector MV indicating the moving direction and moving amount of the image to the minimum value determining circuit 224.
[0036]
The difference calculation circuit 223 sequentially calculates a difference value DM between the image signal SDc and the input image signal SDin and supplies the difference value DM to the minimum value determination circuit 224.
[0037]
The minimum value determination circuit 224 associates and holds the difference value DM and the motion vector MV when generating the image signal SDc used for calculating the difference value DM. When the image position switching circuit 222 completes the movement of the image within the motion search range, the minimum value determination circuit 224 determines the minimum value from the held difference value DM, and the difference that is the minimum value The motion vector MV held in association with the value DM is supplied to the image position moving unit 23 in FIG. 4 as motion detection information MVD.
[0038]
By the way, when the scene change detection signal SC indicates that a scene change has been detected and it is indicated that the scene is a continuous scene again, the moving direction of the image after the scene change cannot be predicted. Therefore, the image position switching circuit 222 sets the motion search range around the position of the image based on the delayed image signal SDb when detecting the first motion vector after the scene change is detected. By setting the motion search range in this way, it is possible to correctly detect the motion vector of the background image even after scene switching has occurred.
[0039]
Also, in a continuous scene, the movement of images is often continuous. For this reason, the minimum value determination circuit 224 also supplies the motion detection information MVD to the image position switching circuit 222, and the image position switching circuit 222 next determines the center of the motion search range when determining the motion vector of the image. Is set based on the motion detection information MVD. In this way, if the motion search range for the next motion detection is set according to the motion vector of the image, even if the motion search range is narrower than the detection of the first motion vector after the scene change detection, It becomes possible to correctly detect the motion vector of the image, and the motion vector of the image can be detected efficiently and promptly.
[0040]
4 determines the display position based on the scene change detection signal SC and the motion detection information MVD. Further, an image signal corresponding to the image display area is generated based on the determined display position. For example, as described above, the image display area is divided into three areas (screens 10L, 10C, and 10R), and when image display is performed using these three areas, the image signal SDL, SDC and SDR are generated, and the image signal SDL is supplied to the projector 12L, the image signal SDC is supplied to the projector 12C, and the image signal SDR is supplied to the projector 12R, thereby performing image display using the screens 10L, 10C, and 10R.
[0041]
FIG. 11 shows the configuration of the image position moving unit 23. The image position determining circuit 231 of the image position moving unit 23 determines a display position based on the scene change detection signal SC and the motion detection information MVD, and supplies position information PD indicating the display position to the writing / reading control circuit 237. .
[0042]
FIG. 12 shows the configuration of the image position determination circuit 231. The motion accumulation circuit 232 discriminates the period of the continuous scene based on the scene change detection signal SC, accumulates the motion vector indicated by the motion detection information MVD during the period of the continuous scene, and temporally changes the motion vector. The accumulated motion value MVT as information is generated and supplied to the initial position determination circuit 233 and the display range determination circuit 234.
[0043]
In the initial position determination circuit 233, the maximum value MVT-1 in the first movement direction (for example, the right direction or the upward direction) based on the accumulated motion value MVT and the second movement direction (the direction opposite to the first direction) ( For example, the maximum value MVT-2 in the left direction or the downward direction is obtained, and based on the maximum value MVT-1 and the maximum value MVT-2, the fluctuation width WT and the median value MVTct of the motion accumulated value MVT are obtained. The display position of the first display image of the continuous scene is determined so as to be a predetermined position of the image display range, for example, the center, and is supplied to the display range determination circuit 234 and the display position determination circuit 236 as the initial position PS.
[0044]
The display range determination circuit 234 moves the display position of the image based on the motion detection information MVD during a period from when the first display image of the continuous scene is displayed at the initial position PS to when the last image of the continuous scene is displayed. Whether or not the display image can completely enter the image display area is determined based on the initial position PS and the accumulated motion value MVT. A determination result signal CHa indicating the determination result in the display range determination circuit 234 is supplied to the motion correction circuit 235.
[0045]
The motion correction circuit 235 corrects the motion detection information MVD so that the display image can fit into the image display area when the discrimination result signal CHa indicates that the display image does not fit into the image display area, and motion detection is performed. The information MVE is supplied to the display position determination circuit 236. In addition, when the determination result signal CHa indicates that the display image is completely within the image display area, the motion detection information MVD is supplied to the display position determination circuit 236 without being corrected.
[0046]
The display position determination circuit 236 sets the initial position PS supplied from the initial position determination circuit 233 as the display position of the first display image of the continuous scene. Thereafter, based on the motion detection information MVE, the position where the image is moved in the direction opposite to the direction of the motion vector indicated by the motion detection information MVE is used as a display position, and position information PD indicating the display position is sequentially output. , Supplied to the write / read control circuit 237 of FIG.
[0047]
Here, when the image display position is switched based on the position information PD, for example, when the image display area is divided into three areas (screens 10L, 10C, and 10R) as described above, the input image signal SDin and the position are displayed. Based on the information PD, image signals SDL, SDC, and SDR for displaying an image on each area must be generated. For this reason, for example, an image memory 238 having a storage area corresponding to the image display area is provided, and the writing / reading control circuit 237 indicates the writing position when the input image signal SDin is written in the image memory 238 with the position information PD. To correspond to the display position. If the input image signal SDin is written in this way, the image signals SDL, SDC, SDR can be easily generated by using the image signal in the storage area of the image memory 238 corresponding to the display area.
[0048]
The write / read control circuit 237 generates a write control signal WC for writing an image signal in the image memory 238 and a read control signal RC for reading the image signal written in the image memory 238, 238. Here, the write / read control circuit 237 stores the image signal at the position of the storage area of the image memory 238 corresponding to the display position determined by the image position determination circuit 231 as described above. To generate a write control signal WC.
[0049]
Based on the write control signal WC, the image memory 238 stores the input image signal SDin of the frame in which the display position is determined in a storage area corresponding to the display position determined by the image position determination circuit 231. For example, a signal for displaying black is stored in an area where the input image signal SDin is not stored. Further, the image memory 238 reads the image signal stored in the storage area based on the read control signal RC from the write / read control circuit 237 and supplies it to the image dividing circuit 239 as the image signal SDe.
[0050]
The image dividing circuit 239 generates an image signal SDL from the image signal SDe using, for example, a signal in a storage area corresponding to the screen 10L. Similarly, image signals SDC and SDR are generated using the signals in the storage area corresponding to the screens 10C and 10R. By supplying the image signal SDL thus generated to the projector 12L, the image signal SDC to the projector 12C, and the image signal SDR to the projector 12R, it is possible to display one image using a plurality of screens and display images. When the image spans a plurality of screens, the display image is divided and displayed for each screen. In addition, when a black display signal is stored in an area where the image signal SDd is not stored, the periphery of the image based on the input image signal SDin is displayed in black.
[0051]
Note that the image position moving unit 23 determines a display position based on the scene change detection signal SC and the motion detection information MVD, and generates an image signal corresponding to the image display area based on the determined display position. The image signal writing position to the image memory 238 is not limited to controlling the display position according to the display position. For example, the image signals SDL, SDC, and SDR can be generated by storing the image signal at a predetermined position and controlling the read position of the recorded signal based on the display position.
[0052]
Next, the operation of the image processing apparatus 20 will be described. For the sake of simplicity, only the horizontal component in the motion vector direction indicated by the motion detection information MVD will be described. FIG. 13A shows an image based on the input image signal SDin. The image up to the frame F (g-1) is the image of the scene A, and the frames F (g), F (g + 1) to the frame F (g + k) are continuous. A case where the image is a scene C from a frame F, (g + k + 1) is shown.
[0053]
When the input image signal SDin changes from the frame F (g-1) to the frame F (g) and from the frame F (g + k) to the frame F (g + k + 1), the scene change detection unit 21 uses the normalized value E Alternatively, the scene change position is detected based on the correlation coefficient r, and the scene change detection signal SC indicates a scene change.
[0054]
The motion accumulation circuit 232 of the image position determination circuit 231 generates a motion accumulation value MVT by accumulating motion vectors during a continuous scene based on the scene change detection signal SC. For example, a motion accumulation value MVT is generated by accumulating motion vectors of scene B, which is a continuous scene from frame F (g) to frame F (g + k).
[0055]
FIG. 14 shows the amount of motion in the left-right direction based on the accumulated motion value MVT of the scene B. In FIG. 14, since the scenes A and C do not move, the motion amount in the left-right direction of the motion accumulated value MVT is “0”. Here, as shown in FIG. 2B, when the subject OBb moving forward by panning the video camera 100 to the left is photographed, the background image moves to the right. For this reason, the motion amount of the motion cumulative value MVT increases in the right direction. After that, when panning of the video camera 100 is stopped and the subject OBb panned rightward and then moved backward is photographed, the motion amount of the motion cumulative value MVT decreases and then increases to the left. When the subject OBb that is panned leftward and then moved forward is shot after the panning of the video camera 100 is stopped again, the motion amount of the motion cumulative value MVT decreases and then increases to the right.
[0056]
The initial position determination circuit 233 determines the movement range of the display position in the scene B by obtaining the fluctuation width WT of the accumulated motion value MVT, and this movement range is the movable range LW (the image display area of the image display area). The display position of the image of frame F (g) so that it is the center of the distance between the center of the display image when the image is displayed on the right edge and when the image is horizontally moved and displayed on the left edge. An initial position PS is determined. For example, the deflection width WT of the motion cumulative value MVT is obtained, and ½ of the deflection width WT is set as the median value MWct. Further, when the median value MWct is subtracted from the maximum motion amount MVT-1 in the right direction, the motion amount MU-s for the image of the frame F (g) when the image movement range is set at the center of the image display area is obtained. Can be sought. For this reason, the position moved from the center of the image display area by the motion amount MU-s in the direction opposite to the motion vector direction is set as the initial position PS. By determining the initial position PS in this way, when the image display position is moved based on the motion detection information MVD, the moving range of the image becomes the center of the image display area. In this way, the initial position determination circuit 233 determines the initial position PS and supplies it to the display range determination circuit 234 and the display position determination circuit 236.
[0057]
When the display range determination circuit 234 displays the first display image of the continuous scene at the initial position PS and then moves the display position by the amount of motion indicated by the motion detection information MVD in the direction opposite to the motion vector direction. Then, it is determined whether or not the display image can enter the image display area. For example, a shake width WT is calculated based on the accumulated motion value MVT, and the shake width WT is compared with the movable range LW in the image display area. As shown in FIG. 15, it is determined whether the swing width WT of the scene G is larger than the movable range LW and the display image does not completely enter the image display area. The discrimination result signal CHa indicating the discrimination result is supplied to the motion correction circuit 235. Note that the swing width WT calculated by the initial position determination circuit 233 may be used as the swing width WT.
[0058]
When the determination result signal CHa indicates that the display image does not fit into the image display area, the motion correction circuit 235 performs correction to reduce the motion amount of the motion detection information MVD, and determines the display position as the motion detection information MVE. Supply to circuit 236. For example, when the fluctuation width WT of the motion cumulative value MVT increases and exceeds the movable range LW of the image display area as shown in FIG. 15, the motion amount of the scene G is multiplied by the correction coefficient CR (<1). By doing so, correction for reducing the amount of motion is performed, and the deflection width WT is reduced. If the display position exceeds the movable range LW when the shake width is reduced, the display position is limited to the movable range LW regardless of the motion detection information MVE.
[0059]
Further, the shake width WT of the motion accumulated value MVT is supplied to the motion correction circuit 235, and the movable range LW in the image display area is stored in the motion correction circuit 235 in advance, so that the shake width WT and the movable range are stored. The correction coefficient CR can be set to “CR = (LW / WT)” using LW. In this case, since the amount of movement is corrected so that the display image is within the image display area even if the display position is moved, it is possible to prevent the display position from being restricted beyond the movable range LW.
[0060]
By the way, if the amount of motion is multiplied by a fixed correction coefficient CR, the amount of motion of the image is always reduced, resulting in an image with less presence. For this reason, it is also possible to display an image with a high sense of realism by weighting the correction coefficient CR.
[0061]
Here, when the display position of the image is moved from the center of the image display area to the end side, the amount of motion is reduced by multiplying the amount of motion by the correction coefficient CR. Further, when the display position is moved from the end side toward the center of the image display area, the correction coefficient CR is set to “1”. In this case, since the amount of movement is reduced only when the display position is moved in the direction toward the edge of the image display area, the image can be prevented from being interrupted, and the display position in the center direction of the image display area can be prevented. Since the movement is performed according to the motion vector of the image, a sense of reality can be ensured.
[0062]
FIG. 16 exemplarily shows the difference in image display position between when the motion amount is corrected and when it is not. Here, when the motion amount indicated by the solid line is corrected, the display position of the image is close to the center portion and the image is prevented from being interrupted, compared to the case where the motion amount indicated by the broken line is not corrected. it can.
[0063]
In the correction of the motion amount, when the display position is moved in the center portion of the image display area, the correction coefficient CR is set close to “1” or “1” to reduce the reduction rate of the motion amount. Further, as the display position moves away from the center of the image display area toward the end side, the correction coefficient CR is decreased to increase the reduction rate of the motion amount. When the correction coefficient CR is set in this way, the display position is moved in accordance with the motion vector of the image at the center of the image display area that is viewed by the viewer, and the end of the image display area that is less viewed by the viewer Since the movement of the display position is reduced, it is possible to suppress a reduction in the sense of reality due to the correction of the movement amount.
[0064]
Furthermore, when the deflection width WT is large, the amount of motion becomes too small if the correction coefficient CR is set to “CR = (LW / WT)”. For this reason, the correction coefficient CR is limited, and when the display image does not completely enter the image display area when the display position is moved, the display image is set as the end side position of the image display area regardless of the amount of movement. It is also possible to prevent the image from being interrupted.
[0065]
Thus, when the image position determination circuit 231 determines the display position of the image of each frame and generates the position information PD, the write / read control circuit 237 generates the write control signal WC based on the position information PD. The image signal of the frame F (g-1) of the scene A is stored in the storage area AR1 corresponding to the image display position in the storage area of the image memory 238 as shown in FIG. 13B. Further, the image signal of the first frame F (g) of the scene B is stored in the storage area AR2 corresponding to the initial position PS based on the position information PD. Thereafter, the image signals of the frames F (g + 1) to F (g + k) are stored in the image memory 238 while being moved based on the position information PD. Further, the image signal of the frame F (g + k + 1) of the scene C is stored in the storage area AR1.
[0066]
The write / read control circuit 237 generates a read control signal RC and supplies the read control signal RC to the image memory 238, and the image memory 238 stores and reads the image signal based on the read control signal RC and supplies the image signal to the image dividing circuit 239. . Since the storage area of the image memory 238 is provided corresponding to the image display area, the image dividing circuit 239 generates the image signal SDL based on the signal read from the storage area BAL corresponding to the screen 10L. Further, the image signal SDC is generated based on the signal read from the storage area BAC corresponding to the screen 10C, and the image signal SDR is generated based on the signal read from the storage area BAR corresponding to the screen 10R. It should be noted that the signal level of the portion without an image is displayed as black as described above, and only an image based on the input image signal SDin is displayed in the image display area.
[0067]
Thus, by supplying the generated image signals SDL, SDC, SDR to the projectors 12L, 12C, 12R, the display position can be moved according to the movement of the subject. In this way, it is possible to represent the camera movement or the camera orientation at the time of shooting, and the image is displayed in the same position and direction as the real world, so the viewer can view the same space or movement as the real world. Sometimes you can get it. In addition, it is possible to obtain a greater sense of movement from the image by the movement of the screen itself, and watching the movement expression that was completely passive due to the movement of the viewer's face, etc. It can be felt by an active operation of moving. Further, since the movement according to the image display area is performed, it is possible to display the image correctly without interruption of the image. In addition, by using the shake width, it is possible to easily determine how much the display position should be corrected from the shake width and the movable range of the image display area, so that the display image can be easily moved in accordance with the image display area. It can be carried out.
[0068]
By the way, the image position determination circuit 231 described above accumulates the motion vectors of the motion detection information MVD by the motion accumulation circuit 232, determines the initial position of the display image based on the motion accumulation value MVT, and moves the display position. Although it is assumed that the movement is performed sequentially based on the vector, it is also possible to set the reference display position and move the display position from the reference display position by the motion vector indicated by the motion detection information MVD.
[0069]
For example, when shooting is performed by panning in the right direction, the background image moves in the left direction. Therefore, based on the motion detection information MVD, the display position is changed from the reference display position by the amount of motion in the direction opposite to the motion vector direction. Moving. When panning ends, the amount of motion of the motion detection information MVD becomes “0”, so the display position is set as the reference display position. When the display position is determined according to the motion vector as described above, the change of the motion vector is expressed as the movement of the display position, and dynamic image display can be performed.
[0070]
FIG. 17 exemplarily shows display positions when the display position is moved from the reference display position by the motion vector and when the display position is sequentially moved based on the motion vector. In the figure, a solid line indicates a case where the display position is moved from the reference display position by the amount of the motion vector, and a broken line indicates a case where the display position is sequentially moved based on the motion vector. As shown in the figure, for example, when panning in the right direction is completed, the amount of motion of the motion detection information MVD is “0”, and therefore the display position when the display position is moved from the reference display position by the motion vector is The reference display position. Further, when the display position is sequentially moved based on the motion vector, the display position is a position farthest to the right from the initial position.
[0071]
Also, when moving the display position from the reference display position by the amount of the motion vector, if the detection accuracy of the motion vector is not high, the display position vibrates due to an error in detection of the motion vector, and the quality without stability is reduced. It becomes a display image. For this reason, filter processing is performed on the motion vector, and the vibration of the display position is prevented by removing the high frequency component from the motion vector. In this filter processing, for example, an average is calculated from motion vectors for ± 20 frames, thereby removing high frequency components.
[0072]
FIG. 18 is a diagram exemplarily showing a difference in display position between when the filtering process is performed and when the filtering process is not performed. In the figure, the thick line indicates the display position when the filtering process is performed and the high frequency component is removed from the motion vector, and the thin line indicates the display position when the filtering process is not performed. As shown in FIG. 18, since the motion vectors are averaged by performing the filter processing, it is possible to prevent the display position from vibrating and to display a good image.
[0073]
Further, when the display position is determined based on the motion detection information MVD, the display position based on the motion vector is set such that the fluctuation width of the display position is within the movable range LW in the image display area. For example, the display position when the movement amount is “0” is set as the reference display position in the center of the image display range, and the display position is set to the end side of the image display range when the movement amount of the motion vector becomes maximum. Set to be. Here, when the motion amount of the motion vector indicated by the motion detection information MVD is “Md” and the maximum value of the motion amount is “Vmax”, the display position X can be calculated based on Equation (5). If an image is displayed at the calculated display position X, the image display can be performed by effectively utilizing the image display area.
X = (LW / Vmax) Md (5)
[0074]
Furthermore, the above-described processing may be realized not only by hardware but also by software. The configuration in this case is shown in FIG. The computer includes a CPU (Central Processing Unit) 301 as shown in FIG. 19, and a ROM 302, a RAM 303, a hard disk drive 304, and an input / output interface 305 are connected to the CPU 301 via a bus 320. Yes. Further, an input unit 311, a recording medium drive 312, a communication unit 313, an image signal input unit 314, and an image signal output unit 315 are connected to the input / output interface 305.
[0075]
When a command is input from an external device, or when a command is input from an input unit 311 configured using an operation unit such as a keyboard or a mouse or a voice input unit such as a microphone, the command is input via the input / output interface 305. Are supplied to the CPU 301.
[0076]
The CPU 301 executes a program stored in the ROM 302, RAM 303, or hard disk drive 304, and performs processing according to the supplied command. Further, the ROM 302, the RAM 303, or the hard disk drive 304 stores in advance an image processing program for causing the computer to execute the same processing as that of the above-described image processing apparatus, and the input input to the image signal input unit 314. Based on the image signal SDin, image signals SDL, SDC, SDR are generated and output from the image signal output unit 315. Also, an image processing program is recorded on a recording medium, and the recording medium drive 312 records the image processing program on the recording medium or reads the image processing program recorded on the recording medium and executes it on a computer. It is also good. Furthermore, the communication unit 313 may transmit or receive an image processing program via a transmission path, and the received image processing program may be executed by a computer.
[0077]
FIG. 20 is a flowchart showing the overall configuration of the image processing program. In step ST1, the accumulated motion value MVT is initialized and the process proceeds to step ST2. In step ST2, scene discrimination is performed. FIG. 21 is a flowchart showing the scene discrimination operation. In step ST21, a difference average value Dav between frames and a luminance average value Yav in the frame are calculated, and the process proceeds to step ST22.
[0078]
In step ST22, the average difference value Dav is normalized using the luminance average value Yav to calculate a normalized value E.
In step ST23, the normalized value E and the threshold value Lr are compared to determine whether or not it is a scene change. Here, when the normalized value E is equal to or less than the threshold value Lr, the process proceeds to step ST24, where it is determined that the scene is a continuous scene and the scene determination is terminated. When the normalized value E is greater than the threshold value Lr, the process proceeds to step ST25. It is determined that it is a change, and the scene determination is terminated.
[0079]
In the scene determination operation, the correlation coefficient r may be calculated as described above, and the correlation coefficient r and the threshold value Lr may be compared to determine whether the scene change has occurred. In this case, instead of the processing in step ST21 and step ST22, the correlation coefficient r shown in the above equation (4) is calculated. In step ST23, if the correlation coefficient r is not smaller than the threshold value, the process proceeds to step ST24. Discriminated as a continuous scene. If the correlation coefficient r is smaller than the threshold value, it is determined in step ST25 that it is a scene change.
[0080]
Step ST3 in FIG. 20 determines whether or not the scene determination result in the scene determination in step ST2 is a scene change. If it is determined that the scene is not a scene change, that is, a continuous scene, the process proceeds to step ST4. If a scene change is determined, the process proceeds to step ST6.
[0081]
Step ST4 performs motion detection. In this motion detection, full-screen motion detection is performed to detect a motion vector of a portion with a large display area, and the process proceeds to step ST5. In step ST5, the motion vector detected in step ST4 is added to the motion cumulative value MVT to obtain a new motion cumulative value MVT, and the new motion cumulative value MVT is sequentially stored, and the process returns to step ST2.
[0082]
When it is determined in step ST3 that it is a scene change and the process proceeds to step ST6, in step ST6, a swing width WT of the motion cumulative value MVT is calculated based on the sequentially stored motion cumulative value MVT, and the center of the swing width WT is an image. The initial position PS of the image display position is determined so as to be in the center of the display area.
[0083]
Next, in step ST7, it is determined whether or not the display image can enter the image display area when the image display position is moved in accordance with the accumulated motion value MVT. If the display image does not fit into the image display area, the process proceeds to step ST8, and if it does, the process proceeds to step ST9.
In step ST8, the motion vector is corrected so that the display image can enter the image display area, and the process proceeds to step ST9.
[0084]
In step ST9, the display position is determined based on the initial position PS of the image display position determined in step ST6 and the motion vector detected in step ST4 or the corrected motion vector, and the process proceeds to step ST10.
[0085]
Step ST10 performs output image division processing. Here, when three screens are used as one image display area as shown in FIG. 1, even when the display position is moved and the display image is displayed across a plurality of screens, the image can be displayed correctly. Then, the image is divided and image signals SDL, SDC, SDR corresponding to each screen are generated. As described above, the same effect can be obtained even if the input image signal SDin is processed by the computer to generate the image signals SDL, SDC, SDR.
[0086]
The above-described image processing apparatus 20 determines a continuous scene and then moves the display position based on the motion vector of the entire screen in the continuous scene. The image signals SDL, SDC, It is difficult to generate SDR in real time. For this reason, the image signals SDL, SDC, SDR are recorded on the recording medium, and then the image signals SDL, SDC, SDR recorded on the recording medium are reproduced in synchronism, thereby displaying the image shown in FIG. Is done. In addition, the input image signal SDin and the display position set by the image position moving unit 23 are related to each other and recorded on the recording medium. When the image is displayed, the input image signal SDin and the input image signal SDin are related to each other. The stored display position may be read from the recording medium to generate the image signals SDL, SDC, and SDR. In this case, since it is not necessary to record the image signals SDL, SDC, SDR, the amount of signals to be recorded can be reduced. Further, when the input image signal SDin stored in the recording medium is used to move the display position based on the motion vector of the entire screen in the continuous scene, the display position is determined after setting the image display area. Since the image signals SDL, SDC, and SDR can be generated, it is possible to easily cope with changes in the screen size and the number of screens.
[0087]
The screens and projectors in the above-described embodiments are exemplary, and if the image display area is larger than the display image size, an image display that is faithful to the real world and has a high sense of reality can be displayed as in the present invention. In addition, scene switching can be easily identified.
[0088]
Furthermore, even without creating a new video source or another format, by applying the processing of the present invention using image signals of content such as conventional television and video images, a sense of realism more than conventional video viewing is provided. Obtainable.
[0089]
【The invention's effect】
According to the present invention, an image display area larger than the image size of the display image is set, a continuous scene is determined based on the detection result of the scene change, and the display position of the display image is the display image in the image display area. Are moved based on the motion vector detected during the continuous scene. For this reason, the images of the continuous scene are moved according to the movement of the images, and it is possible to display an image that is faithful to the real world and has a high sense of reality, and can be displayed correctly while preventing the image from being interrupted.
[0090]
Also, time transition information of the motion vector is generated from the motion vector detected during the continuous scene, and the fluctuation width of the display image in the continuous scene is determined based on the time transition information. Since the display position is moved so that the display position of the display image is within the movable range of the display image in the image display area based on the determined fluctuation width, the display position is adjusted to the image display area without causing any interruption of the image. The display image can be easily moved.
[0091]
In addition, since the display position of the first display image of the continuous scene is set so that the display position of the display image corresponding to the center of the swing width is the center of the movable range based on the swing width and the movable range, Image display can be performed by effectively utilizing the image display area.
[0092]
Further, when the shake width is larger than the movable range, a correction process for reducing the motion amount of the motion vector is performed, and the display position of the display image is moved using the motion amount after the correction process. It is possible to prevent the display image from being removed from the display area. Further, since the correction process is performed when the moving direction of the display position is the outside direction of the image display area, it is possible to ensure a sense of presence even if the correction process is performed. Further, in the correction process, the reduction rate of the motion amount is increased as the display position moves away from the center of the image display area, so that a reduction in the sense of reality can be reduced.
[0093]
Furthermore, since the reference display position is set and the display position of the display image is moved from the reference display position in accordance with the detected motion vector, dynamic image display can be performed. Further, the detected motion vector is filtered, and the display position of the display image is moved from the reference display position according to the filtered motion vector, so that the display image vibrates. It is possible to prevent the quality from deteriorating. In addition, when the display position of the display image is moved from the reference display position according to the motion vector in the continuous scene, if the display image exceeds the image display area, a correction that reduces the amount of motion of the motion vector in the continuous scene Since the process is performed, it is possible to prevent the display image from being detached from the image display area.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an image display system.
FIG. 2 is a diagram illustrating an operation of generating an input image signal.
FIG. 3 is a diagram illustrating an image display state.
FIG. 4 is a diagram illustrating a configuration of an image processing apparatus.
FIG. 5 is a diagram illustrating a configuration of a scene change detection unit.
FIG. 6 is a diagram illustrating a relationship between a frame position and a normalized value.
FIG. 7 is a diagram illustrating pixel thinning.
FIG. 8 is a diagram illustrating another configuration of a scene change detection unit.
FIG. 9 is a diagram illustrating a relationship between a frame position and a correlation coefficient.
FIG. 10 is a diagram illustrating a configuration of a motion detection unit.
FIG. 11 is a diagram illustrating a configuration of an image position moving unit.
FIG. 12 is a diagram illustrating a configuration of an image position determination circuit.
FIG. 13 is a diagram for explaining the operation of the image processing apparatus.
FIG. 14 is a diagram for explaining the operation of the image position determination circuit.
FIG. 15 is a diagram for explaining another operation of the image position determination circuit.
FIG. 16 is a diagram showing a display position when the motion amount is corrected and a display position when the motion amount is not corrected.
FIG. 17 is a diagram illustrating display positions when the display position is moved from the reference display position by a motion vector and when the display position is sequentially moved based on the motion vector.
FIG. 18 is a diagram illustrating a display position when filter processing is performed and a display position when filter processing is not performed.
FIG. 19 is a diagram illustrating a configuration when a computer is used.
FIG. 20 is a flowchart illustrating an overall configuration of an image processing program.
FIG. 21 is a flowchart showing an operation of scene discrimination.
[Explanation of symbols]
10L, 10C, 10R ... screen, 12L, 12C, 12R ... projector, 20 ... image processing device, 21 ... scene change detector, 22 ... motion detector, 23 ... image Position moving unit, 211, 211, 233 ... delay circuit, 212 ... difference average calculation circuit, 213 ... luminance average calculation circuit, 214 ... normalization circuit, 215, 217 ... determination circuit, 216: correlation coefficient calculation circuit, 222: image position switching circuit, 223: difference calculation circuit, 224 ... minimum value determination circuit, 231 ... image position determination circuit, 232 ... motion Accumulation circuit, 233 ... initial position determination circuit, 234 ... display range determination circuit, 235 ... motion correction circuit, 236 ... display position determination circuit, 237 ... write / read control circuit, 238 ..Image memo , 239 ... image dividing circuit, 301 ··· CPU, 302 ··· ROM, 303 ··· RAM, 314 ··· image signal input unit, 315 ... image signal output section

Claims (17)

Motion detection means for detecting a motion vector of a display image based on an input image signal;
Scene change detection means for detecting a scene change by determining a continuous scene of the display image;
Image moving means for setting an image display area larger than the image size of the display image and moving the display position of the display image relative to the image display area;
The image moving means, the continuous based on the time course of the scene the scene Zhen di detection result based discriminated detected motion vector in the motion detecting means during the period of the continuous scene of change detection means to determine the amplitude of the displayed image in the scene, the movable range in the images processing was Ru move the display position so that the picture display position of the display image based on the shake width in the image display area apparatus. The image moving means is the first display image of the continuous scene based on the shake width and the movable range so that the display position of the display image corresponding to the center of the shake width is the center of the movable range. the image processing apparatus of the display 請 Motomeko 1, wherein the position to set the. The image moving means performs a correction process for reducing the amount of motion of the motion vector when the fluctuation width is larger than the movable range, and uses the motion amount after the correction process to determine the display position of the display image. the image processing apparatus 請 Motomeko 1 wherein Ru was moved. The image moving means, the correction processing image processing apparatus of rows cormorants請 Motomeko 3 describes when a moving direction of the display position is outside direction of the image display area. The image moving means, the correction in processing, the display position is the image processing apparatus of the accompanying 請 Motomeko 1, wherein you increase the reduction ratio of the motion amount away from the center of the image display area. Said image moving unit sets the reference display position, the image processing apparatus of the motion 請 Motomeko 1 wherein Before moving the display position of the display image from the reference display position in accordance with the motion vector detected by the detection means . Low-pass filter means for performing filter processing on the motion vector detected by the motion detection means is provided, and the image moving means is configured to display the display image according to the motion vector that has been filtered by the low-pass filter means. the image processing apparatus of the display position 請 Motomeko 6 wherein Before moving from the reference display position. When the display image exceeds the image display area when the display position of the display image is moved from the reference display position according to a motion vector in the continuous scene, the image processing apparatus of the motion vector the motion amount to reduction correction processing line cormorants請 Motomeko 6, wherein the. Detect the motion vector of the display image based on the input image signal,
Detecting a scene change by determining a continuous scene of the display image,
An image display area larger than the image size of the display image is set, and based on the temporal transition of the motion vector detected by the motion detection means during the continuous scene determined based on the detection result of the scene genge the amplitude of the displayed image to determine the movement range in the images processing was Ru move the display position so that the picture display position of the display image based on the shake width in the image display area in the continuous scene Method. Based on the swing width and the movable range, the display position of the first display image of the continuous scene is set so that the display position of the display image corresponding to the center of the swing width is the center of the movable range. that請 Motomeko 9 image processing method according. Wherein when amplitude is greater than the movable range, performs correction processing to reduce the amount of motion of the motion vector, 請 Motomeko Before moving the display position of the display image using the motion amount after the correction 10. The image processing method according to 9 . Wherein the correction processing line cormorants the 請 Motomeko 11 image processing method according to when the moving direction of the display position is outside direction of the image display area. Wherein in the correction process, the image processing method of the display position 請 Motomeko 9 wherein you increase the reduction ratio of the motion amount with the distance from the center of the image display area. Set the reference display position, the detected motion vector 請 Motomeko 9 image processing according methods Before moving the display position of the display image from the reference display position according to. Performs filter processing on the detected motion vector, image processing method 請 Motomeko 14 wherein Before moving from the reference display position the display position of the display image according to the motion vector which the filter processing has been performed . If the display image exceeds the image display area when the display position of the display image is moved from the reference display position according to the motion vector in the continuous scene, the amount of motion of the motion vector in the continuous scene the image processing method of the correction processing line cormorants請 Motomeko 14, wherein to reduce the. On the computer,
A procedure for detecting a motion vector of a display image based on an input image signal;
A procedure for detecting a scene change by determining a continuous scene of the display image;
An image display area larger than the image size of the display image is set, and based on the temporal transition of the motion vector detected by the motion detection means during the continuous scene determined based on the detection result of the scene genge A step of determining a shake width of the display image in the continuous scene and moving the display position based on the shake width so that the display position of the display image is within a movable range of the display image in the image display area. images processing program that Ru is.

Images