JP3823818B2 - Image processing apparatus, image signal generation method, image processing program, and information recording medium - Google Patents

Description

【００４３】
また、１フレーム前の閾値が供給されているときには、この閾値を統計情報算出部２２１で求めた統計情報に基づいて補正することにより新たな閾値を算出する。例えば、１フレーム前の閾値を「Ｔｈd-1」，「Ｔｈd-2」としたとき、式（３）と式（４）を用いて閾値Ｔｈ-1，Ｔｈ-2を算出する。なお「α」と「β」は係数である。
【００４４】
【数２】

【００４５】
また、図１０Ｂに示すようなヒストグラムが統計情報として示されたときには、極小となる動き量を判別して、判別された極小となる動き量に基づいて閾値Ｔｈ-1，Ｔｈ-2を設定することもできる。さらに、ヒストグラムに基づいて既に設定されている閾値Ｔｈd-1，Ｔｈd-2を、上述の場合と同様にして統計情報算出部２２１で求めた統計情報に基づいて補正して新たな閾値Ｔｈ-1，Ｔｈ-2を求めるものとしても良い。このように、レイヤ分割閾値設定部２２２で設定された閾値は、レイヤ判定部２２３に供給される。
【００４６】
レイヤ判定部２２３は、各動き検出領域の動き量ＭＶとレイヤ分割閾値設定部で設定された閾値Ｔｈとを比較して、画像端部領域がいずれのレイヤに属しているかを決定する。また、この結果を示すレイヤ識別情報ＬＳを生成してレイヤ移動量算出部２２５と周辺画像信号生成ブロック２４に供給する。レイヤ移動量算出部２２５は、レイヤに含まれる動き検出領域の動き量に基づき平均値をレイヤ毎に算出して、レイヤ移動量ＬＶとして周辺画像信号生成ブロック２４に供給する。
【００４７】
ところで、動き検出領域が例えば青空の一部であるような場合、動き検出ブロック２０は、この動き検出領域を縮小して誤差和を算出しても拡大率に係らず誤差和が略一定となって動き量を精度良く判別できないおそれがある。このため、動き量ＭＶを判別できないとき、動き検出ブロック２０は、動き検出領域内の画像の色を示す情報をレイヤ化処理ブロック２２に供給する。また、レイヤ化処理ブロック２２は、色を示す情報を利用して、レイヤ分割を行う。例えば動き量を算出できない動き検出領域において、この領域内の画像の色が青空の色であるときには、この領域を遠景レイヤに割り当てることでレイヤ識別情報ＬＳを生成する。
【００４８】
次に、周辺画像信号生成ブロック２４は、レイヤ識別情報ＬＳとレイヤ移動量ＬＶに基づき、レイヤ分けされた画像端部領域から対応するレイヤ移動量分だけ画像を抽出する。また、周辺画像信号生成ブロック２４は、既に生成されている１フレーム前の側面動画像をレイヤ毎に移動させたのち、レイヤ移動量分だけ抽出された画像をレイヤ毎に重ね合わせることで画像合成を行い側面動画像を生成する。さらに、正面動画像の投影面と右側面動画像の投影面では向きが異なる。このため、周辺画像信号生成ブロック２４は、生成した側面動画像を投影面に応じた画像に変換処理することで、スクリーンに投影する側面動画像の画像信号を生成して出力する。
【００４９】
図１１は、周辺画像信号生成ブロック２４の構成を示している。この周辺画像信号生成ブロック２４は、レイヤ化処理ブロック２２で正面動画像の画像端部領域を遠景と中景と近景の３つのレイヤに分割した場合の構成である。
【００５０】
レイヤ化処理ブロック２２で生成されたレイヤ識別情報ＬＳ及びレイヤ移動量ＬＶは、信号抽出部２４１に供給される。この信号抽出部２４１は、正面動画像の画像信号ＳＤCに基づき、正面動画像の画像端部領域からレイヤ毎にレイヤ移動量分だけ画像信号を抽出する。例えば図１２Ａに示すように、動き検出領域の位置毎に、正面動画像の右側端から動き検出領域のレイヤに応じたレイヤ移動量分だけ画像ＵEを抽出する。ここで、動き検出領域が遠景レイヤと判別されているときには、この動き検出領域と対応する位置で正面動画像の右側端から遠景レイヤのレイヤ移動量に対応した画素数分の信号が抽出される。また、中景レイヤや近景レイヤと判別されたときには、中景レイヤや近景レイヤのレイヤ移動量に対応した画素数の信号が正面動画像の右側端から抽出される。この抽出した各レイヤの画像を重ね合わることで画像合成を行うものとすれば、図１２Ｂに示すように右側面動画像ＵRを生成できる。
【００５１】
このように、信号抽出部２４１によって抽出された遠景レイヤの画像信号ＳR-fは加算部２４２に供給される。また、抽出された中景レイヤの画像信号ＳR-mは加算部２４３に供給されると共に、抽出された近景レイヤの画像信号ＳR-nは加算部２４４に供給される。
【００５２】
画像シフト部２４５には、レイヤ化処理ブロック２２からレイヤ移動量が通知されると共に、遅延部２６から１フレーム前のレイヤ毎の画像信号ＳＥRd-f，ＳＥRd-m，ＳＥRd-nが供給される。この画像シフト部２４５は、画像信号ＳＥRd-fに基づく遠景レイヤの画像を遠景レイヤのレイヤ移動量分だけ移動させた画像信号ＳRd-fを生成して加算部２４２に供給する。同様に、画像シフト部２４５は、画像信号ＳＥRd-mに基づく中景レイヤの画像を中景レイヤのレイヤ移動量分だけ移動させた画像信号ＳRd-mを生成して加算部２４３に供給すると共に、画像信号ＳＥRd-nに基づく近景レイヤの画像を近景レイヤのレイヤ移動量分だけ移動させた画像信号ＳRd-nを生成して加算部２４４に供給する。
【００５３】
加算部２４２は、画像信号ＳR-fと画像信号ＳRd-fとの加算信号ＳRA-fを生成して補間部２４６に供給する。同様に、加算部２４３は、画像信号ＳR-mと画像信号ＳRd-mとの加算信号ＳRA-mを生成して補間部２４６に供給すると共に、加算部２４４は、画像信号ＳR-nと画像信号ＳRd-nとの加算信号ＳRA-nを生成して補間部２４６に供給する。
【００５４】
ここで、例えば画像信号ＳＥRd-f，ＳＥRd-m，ＳＥRd-nを重ね合わせることにより生成した右側面動画像ＵRが図１２Ｃに示すものであるときには、画像シフト部２４５によってレイヤ毎に、それぞれのレイヤ移動量ＭＲ1，ＭＲ2だけ画像が移動されるので、画像信号ＳRd-f，ＳRd-m，ＳRd-nを重ね合わせることにより生成した右側面動画像ＵRは図１２Ｄに示すものとなる。さらに、加算部２４２，２４３，２４４によって画像信号ＳRと画像信号ＳRdが加算されるので、加算信号ＳRA-f，ＳRA-m，ＳRA-nを重ね合わせることにより画像ＵEが合成されて、右側面動画像ＵRは図１２Ｅに示すものとなり、図１２Ｃに対して１フレーム期間経過後の右側面動画像を生成できる。またこのとき、画像シフト部２４５によってレイヤ毎に、それぞれのレイヤ移動量だけ画像が移動されると共に、正面動画像の右側端からは、レイヤ毎に、それぞれのレイヤ移動量分だけ画像が抽出されるので、移動された画像分だけ正面動画像から画像が重ね合わせられることとなり、各レイヤは画像が移動されても連続した画像となる。
【００５５】
補間部２４６は、加算部２４２，２４３，２４４から供給された加算信号に基づき、移動量の少ないレイヤの画像から順に重ね合わせることで画像合成を行うとき、レイヤの移動量の差によって画像の無い隙間部分が生じているか否かを判別して、隙間部分が生じているときには、この隙間領域の画像を補間によって生成する。例えば建物等の動きのない被写体を車載カメラで撮影したときには、遠景レイヤの移動量は小さく近景レイヤの移動量は大きくなる。このため、画像シフト部２４５によって右側面動画像の遠景画像と中景画像と近景画像を各レイヤ移動量分だけ移動した場合、例えば図１３Ａに示す右側面動画像おいて、中景レイヤの画像ＵR2と近景レイヤ画像ＵR2が隣接しており、近景レイヤのレイヤ移動量と中景レイヤの移動量が異なるときには、レイヤ毎に画像を移動させると図１３Ｂに示すように画像の無い隙間領域ＵＮが生じてしまう場合がある。なお隙間領域は、画像を重ね合わせた箇所にその旨を示すフラグを立てる等の方法を用いると判別できる。
【００５６】
このため、補間部２４６は、隙間領域の周辺画素を利用して補間を行い、この隙間領域の画像を創り出して重ね合わせる。例えば図１３Ｃに示すように隙間領域の後方側に位置する画像をレイヤの移動方向である隙間領域側に伸長させることにより隙間領域を補間する。このように、補間処理を行うことで、右側面動画像に隙間領域のない右側面動画像の画像信号を生成できる。また、後方側に位置する画像をレイヤの移動方向側に伸長させて補間を行うことにより、動き量の大きい画像が移動中に尾を引くように長くなってしまうことも防止できる。また、隙間領域側に周辺画像をシフトさせるものとしても良い。さらに、補間部２４６は、周辺の画像信号を用いて距離の重み付け平均、すなわち隙間領域に接する隣接領域内の画素の重み付け平均により、複数の画素を作成して隙間領域を埋めることで補間処理を行うものとしても良い。
【００５７】
この補間部２４６による補間処理後の加算信号ＳRA-fは、画像信号ＳＥR-fとして中景合成部２４７に供給されると共に遅延部２６に供給される。同様に、中景レイヤの加算信号ＳRA-mは、画像信号ＳＥR-mとして中景合成部２４７と遅延部２６に供給されると共に、近景レイヤの加算信号ＳRA-nは、画像信号ＳＥR-nとして近景合成部２４８と遅延部２６に供給される。
【００５８】
中景合成部２４７は、画像信号ＳＥR-fと画像信号ＳＥR-mを用いて、遠景レイヤの画像に中景レイヤの画像を重ね合わせた画像信号ＳＥR-fmを生成して近景合成部２４８に供給する。
【００５９】
近景合成部２４８は、画像信号ＳＥR-fmと画像信号ＳＥR-nを用いて、遠景画像に中景画像を重ね合わせた画像に対して更に近景画像を重ね合わせることで画像合成を行い右側面動画像の画像信号ＳＦRとして画像変換部２４９に供給する。
【００６０】
画像変換部２４９は、近景合成部２４８から供給された右側面動画像の画像信号ＳＥRを画像投影用の周辺画像信号ＳＤRに変換する。ここで、近景合成部２４８から供給された画像信号ＳＦRに基づく画像は、上述したように１フレーム前の画像をレイヤ移動量に応じて移動させると共に、正面動画像ＵCからレイヤ移動量分だけ抽出して、この移動された画像に抽出した画像を重ね合わせた画像である。このため、図１４Ａの実線で示す画像ＵR’となり、破線で示すような画像基準位置ＣＰから湧き出してくるような画像とならない。また、図１４Ｂに示すように、右側面動画像を投影するスクリーン１０Rと正面動画像を投影するスクリーン１０Cの投影面は同一の向きでない。このため、画像変換部２４９は、画像信号ＳＦRに基づく画像ＵR’を画像基準位置ＣＰから湧き出してくるような右側面動画像ＵRとする画像変換処理を行う。
【００６１】
すなわち、画像変換部２４９は、画像変換処理として、スクリーン１０Rに投影した右側面動画像に対応した画像基準位置ＣＰRからの距離に比例して画像信号ＳＦRに基づく画像を垂直方向に拡大する。また水平方向については、画像の動きが画像基準位置ＣＰRからの距離に比例するように拡大する。
【００６２】
ここで、図１４Ｃに示すように、右側面動画像の前端から画像基準位置ＣＰRまでの長さを「Ｌ」、右側面動画像の水平方向の長さを「Ａ」、更に正面動画像の投影面と右側面動画像の投影面とがなす角度θsに基づく比例定数γを設定すると、図１４Ｄに示すように、画像信号ＳＦRに基づく画像の位置（ｘ，ｙ）と、この位置に対応する画像変換後の位置（Ｘ，Ｙ）の関係は近似的に式（５）（６）で示すことができる。なお、長さ「Ｌ」「Ａ」及び比例定数γは、側面動画像を生成する前に予め設定する。
【００６３】
【数３】

【００６４】
このため、画像変換後の位置（Ｘ，Ｙ）の信号として、式（５）（６）に基づき算出した画像信号ＳＦRに基づく画像上の位置（ｘ，ｙ）の信号を抽出すれば、画像変換された周辺画像信号ＳＤRを容易に生成できる。また、左側面動画像の周辺画像信号ＳＤLも同様にして生成することができる。このため、プロジェクタ１２Rは、この周辺画像信号ＳＤRを用いて右側面動画像をスクリーン１０Rに投影することで、図１４Ｅに示すように、より臨場感の高い右側面動画像を投影できる。また、プロジェクタ１２Lは、この周辺画像信号ＳＤLを用いて左側面動画像をスクリーン１０Lに投影することで、より臨場感の高い左側面動画像を投影できる。さらに、プロジェクタ１２Cは、周辺画像信号ＳＤL、ＳＤRの生成に要する時間だけ、画像信号ＳＤCを遅延させた画像信号である画像信号ＳＤC’に基づいてスクリーン１０Cに正面動画像を投影すれば、正面動画像の画像信号ＳＤCを用いるだけで、リアルタイムに正面動画像と良好な左右の側面動画像を投影することができる。上述の説明では、側面動画像を生成するものとしたが、上面側や底面側の動画像も同様にしてリアルタイムで表示できる。なお、上述の第１の実施の形態や後述する第２および第３の実施の形態におけるレイヤ分け，閾値設定，動き検出領域の数やサイズ及び位置等は例示的なものであって限定的なものでない。例えば、動き検出領域の動きの求め方では、ブロックマッチング方法等を用いることもできる。但し、前進画像や後退画像のズーム率によっては本手法が望ましい。また、レイヤ分けにおける閾値算出は、動き情報（動き量・方向）に基づいて適宜レイヤを決定することができれば、どのような手法でも良い。
【００６５】
さらに、上述の各ブロックで行われる処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図１５に示す。
【００６６】
コンピュータ３０は、図１５に示すようにＣＰＵ(Central Processing Unit)３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ３０２，ＲＡＭ３０３，ハード・ディスク・ドライブ３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像入出力部３１４が接続されている。
【００６７】
外部装置から命令が入力されたり、キーボードやマウス等の操作入力手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から、命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。
【００６８】
ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４には、上述の画像処理装置と同様な処理をコンピュータ３０で実行させるための画像処理プログラムを予め記憶させて、周辺画像である側面動画像の生成を行う。
【００６９】
図１６は、第１の実施の形態における画像処理プログラムの全体構成を示すフローチャートである。図において、ステップＳＴ１では動き検出処理を行い、画像の動き量を検出する。次にステップＳＴ２ではレイヤ化処理で画像がいずれのレイヤに属するを示すレイヤ情報を生成すると共に、レイヤ毎の動き量を算出する。ステップＳＴ３では周辺画像生成処理を行い、レイヤ情報とレイヤ毎の動き量に基づき周辺画像を合成する。
【００７０】
図１７は、図１６のステップＳＴ１の動き量検出処理を示すフローチャートである。ステップＳＴ１１では、正面動画像に対して動き検出領域を設定してステップＳＴ１２に進む。ステップＳＴ１２では、動き検出領域の画像を縮小して誤差和を算出してステップＳＴ１３に進む。ステップＳＴ１３では既に算出されている誤差和を比較して誤差和が少なくなる動き量を検出してステップＳＴ１４に進む。ステップＳＴ１４では、予め設定された範囲内の画像サイズでステップＳＴ１２，ＳＴ１３の処理が完了したか否かを判別して、完了していないときにはステップＳＴ１１に戻り、完了したときにはステップＳＴ１５に進む。ステップＳＴ１５では、誤差和が最も少なくなる動き量を動き検出領域の動き量とする。
【００７１】
図１８は、図１６のステップＳＴ２のレイヤ化処理を示すフローチャートである。ステップＳＴ２１では、ステップＳＴ１の動き量検出処理で検出された動き量を用いて統計情報、例えば平均値を算出してステップＳＴ２２に進む。ステップＳＴ２２では、統計情報に基づき、画像を例えば遠景，中景，近景にレイヤ分けするための閾値を設定する。ステップＳＴ２３では設定された閾値と動き量を比較して、動き検出領域がいずれのレイヤに属するかを示すレイヤ情報を生成する。ステップＳＴ２４では、レイヤに含まれる動き検出領域の動き量に基づきレイヤ毎の動き量を算出する。
【００７２】
図１９は、図１６のステップＳＴ３の周辺画像生成処理を示すフローチャートである。ステップＳＴ３１では、レイヤ化処理で生成されたレイヤ毎の動き量とレイヤ情報に基づき、正面動画像からレイヤ毎に画像を抽出する。ステップＳＴ３２では、抽出した各レイヤの画像を所定の位置に合成を生成する。ステップＳＴ３３では、画像の合成を行ったときに画像の無い部分が生じて、この部分の画像を補う補間処理か必要か否かを判別する。ここで、画像の無い部分が生じるときにはステップＳＴ３４に進み、画像の無い部分が生じていないときにはステップＳＴ３５に進む。ステップＳＴ３４では補間処理を行いステップＳＴ３５に進む。例えば、画像の無い部分の周辺の画像を伸長して補間する。ステップＳＴ３５では、合成された画像を投影するスクリーンの向きに合わせて幾何変換処理を行い、この幾何変換が行われた画像の画像信号をステップＳＴ３６で周辺画像の画像信号として出力する。
【００７３】
このような画像処理プログラムは、磁気や光を利用したリムーバブル記録媒体や半導体素子等を用いて構成されたリムーバブルの情報記録伝送媒体、例えばフロッピー（Ｒ）ディスクやＣＤ−ＲＯＭ等の光ディスク、ＭＯディスク等の光磁気ディスク、テープカートリッジ、あるいは半導体メモリ等に記録するものとしても良い。この場合、これらのリムーバブル情報記録伝送媒体を記録媒体ドライブ３１２に装着して画像処理プログラムを読み出し、読み出したプログラムを入出力インタフェース３０５やバス３２０を介してＲＯＭ３０２やハード・ディスク・ドライブ３０４等に記憶させることによりインストールしても良い。
【００７４】
さらに、情報記録伝送媒体は、画像処理プログラムを伝送する有線や無線の伝送路、たとえばＬＡＮやインターネット等のネットワーク、あるいは衛星放送波や地上放送波等も含まれる。この場合、情報記録伝送媒体は通信部３１３と接続されて、情報記録伝送媒体を介して伝送された画像処理プログラムは、通信部３１３や入出力インタフェース３０５およびバス３２０を介してＲＯＭ３０２やハード・ディスク・ドライブ３０４等に記憶されて画像処理プログラムのインストールが行われる。
【００７５】
ここで、画像処理プログラムの実行中に正面動画像の画像信号が画像入出力部３１４に入力されると、上述の画像処理ブロックでの処理を行い、正面動画像の画像信号に基づき側面動画像の画像信号を生成する。この生成された側面動画像の画像信号を、画像入出力部３１４から出力してプロジェクタ１２L，１２Rに供給することにより、図２に示す画像表示を行うことができる。
【００７６】
このように、上述の実施の形態によれば、１つの車載カメラなどによる撮影によって得られた少なくとも１つの拘束条件を満たす動きの画像信号ＳＤCを入力するだけで、この画像信号ＳＤCに基づく動画像に存在しない周辺画像をリアルタイムで提示できるので、臨場感の高い多方向の画像提示が可能となる。
【００７７】
また、元々無い部分の画像を入力画像に基づいて創り出すため、無い部分の画像を得るために多数のカメラや特殊なカメラを用いる必要がなく、低コストであると共に表示範囲が広く奥行感のある画像を得ることができる。
【００７８】
さらに、実写画像を用いて画像を創り出すので、よりリアルな画像提示が可能となり、コンピュータグラフィクスで仮想空間を創るように３次元空間を再構築するものでないので、非常に簡単な処理で入力画像と異なる投影面の画像を得ることができる。
【００７９】
また、現存する莫大な画像ソースに対しても、それが少なくとも１つの拘束条件を満たす動きの画像であれば、上述の処理を行うことで、両側面や上下面の画像を入力された画像と同時に提示することができ、より臨場感が高く、広範囲な映像を表現することができる。
【００８０】
ところで、上述の画像処理装置１５Ａは、正面動画像の動き方向が一点から放射方向であるという拘束条件を加えることで、正面動画像と左側面動画像と右側面動画像を入力された画像信号ＳＤCに基づいてリアルタイムに表示するものとした。しかし、蓄積されて自由に読み出し可能な画像信号ＳＤCを用いるものとすれば、上述のような拘束条件を加えることなく、画像信号ＳＤCに基づいて正面動画像と左側面動画像と右側面動画像を表示させることができる。
【００８１】
このような処理を行う画像処理装置１５Ｂは、この蓄積されている例えば車載カメラ等で撮影した正面動画像の画像信号ＳＤCをプロジェクタ１２Cに供給して、画像信号ＳＤCに基づく正面動画像を図２に示す正面に位置するスクリーン１０Cに表示させる。また、画像処理装置１５Ｂは、蓄積されている正面動画像の画像信号ＳＤCに基づき、車載カメラの視野範囲に含まれていない画角の周辺画像を示す画像信号、例えば正面動画像と連続する左右の側面動画像を示す画像信号である周辺画像信号ＳＤL，ＳＤRを生成するための中間画像情報を生成して蓄積させる。スクリーン１０Cで正面動画像を表示する際には、蓄積させた中間画像情報を用いて正面動画像と連続する側面動画像の周辺画像信号ＳＤL，ＳＤRを生成して、周辺画像信号ＳＤLをプロジェクタ１２Lに供給すると共に周辺画像信号ＳＤRをプロジェクタ１２Rに供給する。このため、左側に位置するスクリーン１０Lに正面動画像と連続性を有する左側面動画像が表示されると共に、右側に位置するスクリーン１０Rに正面動画像と連続性を有する右側面動画像が表示されて、広画角の画像提示を行うことができる。なお、画像信号ＳＤCや中間画像情報の蓄積は画像処理装置１５Ｂで行っても良く、外部記憶手段に蓄積させるものとしても良い。
【００８２】
次に、この発明の第２の実施の形態として、画像処理装置１５Ｂで画像信号ＳＤCや中間画像情報を蓄積する場合について説明する。図２０は、画像処理装置１５Ｂの概略構成を示している。この画像処理装置１５Ｂは、蓄積された画像信号ＳＤCを用いて正面動画像と左側面動画像と右側面動画像を表示できるものである。画像信号ＳＤCは、蓄積部５０の正面動画像信号蓄積領域５１に蓄積されており、動き検出ブロック４０の遅延部４１と動き検出部４２およびレイヤ化処理ブロック４５の情報生成部４７に供給されるものである。
【００８３】
遅延部４１は、画像信号ＳＤCを１フレーム遅延させて画像信号ＳＤCaとして動き検出部４２に供給する。動き検出部４２は、正面動画像の側端側に、図２１の破線で示すように区切られた複数の動き検出領域を設定して、この動き検出領域の注目フレームの画像信号ＳＤCと１フレーム前の画像信号ＳＤCaとの比較を動き検出領域毎に行い、画像の動きを示す動きベクトルＭＶＥを動き検出領域毎に判別してレイヤ化処理ブロック４５のレイヤ分類部４６に供給する。
【００８４】
レイヤ分類部４６は、各動き検出領域の動きベクトルＭＶＥに基づいて正面動画像の動きパターンを判定して、中間画像情報を生成する際のレイヤ設定を行う。例えば、レイヤ分類部４６は、離れた被写体を撮影した遠景画像のレイヤ，近接した被写体を撮影した近景画像のレイヤ，遠景画像と近景画像との間に位置する中景画像のレイヤ、およびこれらのレイヤとは異なるレイヤをどのように設けるかを判別してレイヤ設定を行う。ここで、車載カメラで正面動画像を撮影したときの正面動画像は、一方向に直進する場合、正面動画像を順次ズームインした画像となる。また、車が後退しているときには、正面動画像を順次ズームアウトした画像となる。さらに、追越し車両が撮影されたときには、ズームイン画像に追い越し車両がズームアウト画像として表示されることとなる。また、右折や左折をしたときには、例えば正面動画像の上部側が水平方向に移動されると共に下部側はズームイン画像となる。このため、レイヤ分類部４６は、各動き検出領域の動きベクトルＭＶＥに基づいて正面動画像の動きパターンを判定して、判定した動きパターンに基づいてレイヤ設定を行うものとする。例えば、一方向に直進する動きパターンでと判別されたときには、遠景，中景，近景の各画像のレイヤを生成し、右折や左折の動きパターンであると判別されたときには、遠景，中景，近景の各画像のレイヤだけでなく水平方向に移動される画像が含まれるレイヤも作成する。また、追越し車両がある動きパターンのときには、遠景，中景，近景の各画像のレイヤだけでなくズームアウト画像が含まれるレイヤも作成するようにレイヤ設定を行う。
【００８５】
また、レイヤ分類部４６は、動き検出部４２から供給された動きベクトルＭＶＥに基づき、正面動画像の側端側に設定された各動き検出領域がいずれのレイヤに属するかレイヤ分類を行う。このレイヤ分類は、動きパターンに応じて設定されたレイヤを用いて行う。例えば、レイヤ分類部４６は、遠景，中景，近景の３つのレイヤ分けすると共に、水平方向に移動される画像が含まれるレイヤやズームアウト画像が含まれるレイヤが生成されているときには、これらのレイヤも含めてレイヤ分類を行う。このレイヤ分類によって、レイヤ分類部４６は、いずれの動き検出領域がいずれのレイヤに属するかを示すレイヤ分類情報ＬＢを生成すると共に、この生成したレイヤ分類情報ＬＢを情報生成部４７に供給する。
【００８６】
情報生成部４７は、レイヤ分類部４６からのレイヤ分類情報ＬＢに基づき正面動画像に設定された各動き検出領域をレイヤ分けして、この動き検出領域の画像信号をレイヤ毎にフレーム順に用いることでレイヤ毎の中間画像信号を生成する。さらに、レイヤ分けされた動き検出領域の動きベクトルＭＶＥの動き量に基づきレイヤ毎に動き量の平均値を算出する。この情報生成部４７で生成された中間画像信号ＧＹvおよび算出したレイヤ毎の動き量（平均値）ＭＹvは、中間画像情報として蓄積部５０の中間画像情報蓄積領域５２に蓄積される。
【００８７】
スクリーン１０C，１０R，１０Lで画像を表示する場合、プロジェクタ１２Cは、蓄積されている画像信号ＳＤCに基づく画像をスクリーン１０Cに表示する。また、画像処理装置１５Ｂは、蓄積部５０に接続された周辺画像信号生成ブロック６０からの読出制御信号ＲＣによって、中間画像情報蓄積領域５２に蓄積されている中間画像情報の読み出しを行い、レイヤ毎の動き量ＭＹvに応じた分だけ各レイヤの中間画像信号ＧＹvを順次使用して、遠景，中景，近景の順に各レイヤの画像を重ね合わせることで画像合成を行う。さらに遠景，中景，近景の３つのレイヤに属しないレイヤが設けられているときには、これらのレイヤの画像合成処理等も行い、周辺画像信号ＳＤL，ＳＤRを生成する。また、画像処理装置１５Ｂは、この周辺画像信号ＳＤLを正面動画像の画像信号ＳＤCに対応させたタイミングでプロジェクタ１２Lに供給すると共に、周辺画像信号ＳＤRを正面動画像の画像信号ＳＤCに対応させたタイミングでプロジェクタ１２Rに供給する。プロジェクタ１２Lは、正面動画像と連続した左側面動画像をスクリーン１０Lに表示する。またプロジェクタ１３Rは、正面動画像と連続した右側面動画像をスクリーン１０Rに表示する。
【００８８】
次に、動き検出ブロック４０を構成する各部について詳細に説明する。なお、説明を簡単とするため、以下の説明では右側面についてのみ説明するものとし、左側面についての説明は省略する。
【００８９】
動き検出ブロック４０は、上述したように動きベクトルＭＶＥを動き検出領域毎に判別する。ここで、正面動画像に画像の移動中心がある場合、すなわち車載カメラで前方を撮影して正面動画像としたとき、図５Ａに示す時刻Ｔの画像は、例えば１フレーム時間が経過した後の時刻Ｔ’で図５Ｂに示すものとなり、画像基準位置ＣＰを中心としたズームイン動作画像と略等しくなる。
【００９０】
ここで、図５Ｃに示すように、拡大率Ｚを設定して注目フレームの動き検出領域を（１／Ｚ）に縮小すると共に、この縮小された動き検出領域の位置を移動しながら１フレーム前の画像信号との誤差和を算出する。さらに拡大率Ｚを変化させて、同様に位置を移動しながら誤差和を算出する。このようにして誤差和が最小値となる位置を検出することで注目フレーム毎に各動き検出領域の動きベクトルＭＶＥを判別できる。また、誤差和が最小値となるときの拡大率Ｚを動き量とする。
【００９１】
ところで、縮小処理を行ったときには、領域内の画素の座標値が整数値とならない画素が生ずる。一方、縮小処理が行われていない１フレーム前の画像では、領域内の画素の座標値が整数値である。このため、縮小された画像に対しては線形補間を行って、座標値が整数値となる位置の信号レベルを算出する。例えば、上述の図６に示すようにＫa×Ｋa画素の画像に対して（１／Ｚ）に縮小処理を行ったことにより画像のサイズがＫb×Ｋb画素のサイズとなったときには、線形補間を行ってＫa×Ｋa画素の信号を用いて画素数を「Ｋb×Ｋb」とした画像の信号レベルを算出する。この算出された信号レベルと、縮小された画像と対応する位置の１フレーム前の信号レベルの誤差和を算出することにより、精度良く動き量を判別できる。
【００９２】
画像基準位置ＣＰが明らかでないとき、図２２に示すように動き検出領域ＡRaの中心が位置Ｐa1から位置Ｐa2とされたときに誤差和が最小値となり、動き検出領域ＡRbの中心が位置Ｐb1から位置Ｐb2とされたときに誤差和が最小値となる場合には、動き検出領域ＡRaの動きベクトルＭＶＥのベクトル方向と動き検出領域ＡRbの動きベクトルのベクトル方向が交差する点を検出することで画像基準位置ＣＰを検出できる。
【００９３】
また、右折時や左折時には、正面動画像の例えば上部側画像が水平移動することとなる。このため、画像基準位置ＣＰを中心としてズームイン動作を行っても誤差和の最小値が検出されない場合には、動き検出領域の画像を横方向に移動させて誤差和の最小値を判別する。またこのとき、誤差和が最小値となるまでの動き検出領域の移動量を動きベクトルＭＶＥの動き量として設定することができる。
【００９４】
次に、後退時にはあたかも画像が画像基準位置ＣＰに吸い込まれてしまうように見えることから、後退時の画像は画像基準位置ＣＰを中心としたズームアウト動作画像と略等しくなる。このため、拡大率Ｚを「１」以下とする。すなわち、後退時には画像の動きが前進時とは逆となることから、前フレームの側端側に複数の動き検出領域を設定して、各動き検出領域を（１／Ｚ）に縮小すると共に、この縮小された領域の位置を移動しながら注目フレームの画像との誤差和を算出する。あるいは、注目フレームの各動き検出領域を（１／Ｚ）に縮小すると共に、この縮小された領域の位置を移動しながら１フレーム後の画像との誤差和を算出する。さらに拡大率Ｚを変化させて、同様に位置を移動しながら誤差和を算出する。このようにして誤差和が最小値となる位置を検出することで後退時の動きベクトルＭＶＥも判別できる。
【００９５】
以上のようにして動きベクトルＭＶＥの判別を行うと、遠景の画像は動きが少ないため動きベクトルＭＶＥの動き量は小さくなり、近景の画像は動きが多いため動きベクトルＭＶＥの動き量は大きくなる。
【００９６】
図２３は、動き検出部４２の構成を示しており、画像信号ＳＤCはサイズ変換部４２１に供給されると共に、遅延部４１から供給された画像信号ＳＤCaは誤差和算出部４２２に供給される。サイズ変換部４２１は、正面動画像の側端部分を複数の動き検出領域、例えば１６×１６画素サイズの単位で複数の動き検出領域に分割して動き検出領域を設定する。さらに、サイズ変換部４２１は、後述する探索制御部４２５から供給された拡大率Ｚを用いて、動き検出領域の画像を（１／Ｚ）倍した画像信号ＦＥzを生成すると共に、画像基準位置ＣＰを基準として動き検出領域の画像を（１／Ｚ）倍したことにより変換された座標値Ｑzを設定して、この画像信号ＦＥzと座標値Ｑzを誤差和算出部４２２に供給する。なお、画像信号ＦＥzは、上述の図６に示すように補間処理によって座標値を整数値に変換したときの信号であり、座標値Ｑzは補間処理によって座標値を整数値に変換したときの座標値、すなわち図６における「Ｋb×Ｋb」の画素位置である。
【００９７】
誤差和算出部４２２は、サイズ変換部４２１からの座標値Ｑzで示された位置の信号を画像信号ＳＤCaから選択する共に、この選択された信号と画像信号ＦＥzとの誤差和を算出して比較部４２３に通知する。
【００９８】
比較部４２３は、誤差和最小値と誤差和算出部４２２で算出された誤差和とを比較する。ここで誤差和最小値が設定されていないとき、比較部４２３は、最初に算出された誤差和を誤差和最小値として設定する。算出された誤差和が誤差和最小値よりも小さいとき、比較部４２３は、この誤差和を新たな誤差和最小値として設定すると共に、誤差和最小値が更新されたことをデータ格納部４２４に通知する。また、比較部４２３は、誤差和最小値と誤差和算出部４２２で算出された誤差和との比較が完了したことを信号ＥＳによって探索制御部４２５に通知する。なお、誤差和最小値は算出される誤差和よりも大きい値に予め設定しておくものとしても良い。
【００９９】
データ格納部４２４は、比較部４２３から誤差和最小値が更新されたことが通知されたとき、探索制御部４２５から通知された拡大率Ｚを記憶する。また、既に拡大率を記憶されているとき、データ格納部４２４は、記憶されている拡大率を通知された拡大率Ｚで更新する。また、探索制御部４２５から拡大率の変更処理の完了が信号ＥＲによって通知されたとき、データ格納部４２４は、記憶している拡大率を動き量とすると共に画像基準位置方向をベクトル方向とした動きベクトルＭＶＥをレイヤ分類部４６に供給する。
【０１００】
探索制御部４２５は、拡大率の下限値が「１」に設定されていると共に、上限値も予め設定されており、最初に下限値を拡大率Ｚとしてサイズ変換部４２１とデータ格納部４２４に通知する。その後、比較部４２３から誤差和最小値と誤差和算出部４２２で算出された誤差和との比較が完了したことが通知される毎に、拡大率Ｚを順次増加してサイズ変換部４２１とデータ格納部４２４に通知する。その後、拡大率Ｚが上限値に達したとき、探索制御部４２５は、拡大率の変更処理の完了をデータ格納部４２４に通知する。
【０１０１】
また、比較部４２３で得られた誤差和最小値が小さくないとき、すなわち正面動画像の側端部分と等しい画像を検出できないとき、探索制御部４２５は、拡大率Ｚを「１」としてサイズ変換部４２１に通知して、動き検出領域の画像信号ＦＥzを誤差和算出部４２２に供給させる。また、制御信号ＲＰを誤差和算出部４２２に供給して、画像信号ＦＥzの動き検出領域を水平方向に所定量移動させた位置の信号を画像信号ＳＤCaから選択させる。その後、制御信号ＲＰによって画像信号ＳＤCaから選択する位置を水平方向に移動させて誤差和最小値を判別することにより、水平方向に移動させる画像の動きベクトルＭＶＥも求めることができる。さらに、図示せずも１フレーム後の信号を誤差和算出部４２２に供給したり、１フレーム前の画像に動き検出領域を設定して注目フレームの画像の信号を誤差和算出部４２２に供給することで、画像基準位置ＣＰに吸い込まれるような画像の動き量も判別できる。
【０１０２】
このように、探索方向を画像基準位置ＣＰの方向や水平方向に移動させて、動き検出領域の画像と誤差和が最小となる他のフレームの画像位置を検出することで、動き検出領域の画像が右折や左折したときの画像、前を横切る車や人等の画像、あるいは追越し車両等の画像であっても正しく動きベクトルＭＶＥを求めることができる。
【０１０３】
レイヤ分類部４６は、各動き検出領域の動きベクトルＭＶＥに基づき正面動画像がどのような動きパターンの画像であるかを判別すると共に、判別した動きパターンに基づいてレイヤを設定して、いずれの領域がいずれのレイヤに属するするかを示すレイヤ分類情報ＬＢを情報生成部４７に供給する。
【０１０４】
図２４は、レイヤ分類部４６の構成を示している。レイヤ分類部４６の動きパターン判定部４６１は、動き検出部４２から供給された各動き検出領域の動きベクトルＭＶＥをフレーム単位で蓄積すると共に、蓄積された動きベクトルＭＶＥに基づき動きパターンを判別する。
【０１０５】
ここで、動きパターン判定部４６１は、各動き検出領域の動きベクトルＭＶＥのベクトル方向が、画像基準位置ＣＰから放射方向とされて、全て画像が画像基準位置ＣＰから沸き出すズームイン動作方向であるか否かを判別して、全て画像が画像基準位置ＣＰから沸き出すズームイン動作方向であるときには直進動作と判別する。例えば、図２５Ａの矢印で示すように動きベクトルＭＶＥのベクトル方向が画像基準位置ＣＰから放射方向とされているときには直進動作と判別する。
【０１０６】
次に、動きパターン判定部４６１は、直進動作と判別しないとき、各動き検出領域の動きベクトルＭＶＥのベクトル方向が放射方向とは逆方向であり、全て画像が画像基準位置ＣＰに吸い込まれるズームアウト動作方向であるか否かを判別する。ここで、全て画像が画像基準位置ＣＰに吸い込まれるズームアウト動作方向であるときには後退動作と判別する。例えば、図２５Ｂの矢印で示すように画像基準位置ＣＰの方向とされて、全て画像が画像基準位置ＣＰに吸い込まれるズームアウト動作方向であることを検出したときには後退動作と判別する。
【０１０７】
また、動きパターン判定部４６１は、直進動作および後退動作と判別しないとき、一部のみがズームアウト動作方向であるか否かを判別して、一部のみがズームアウト動作方向であるときには、追越し車両があると判別する。例えば、図２５Ｃに示すように左右両側端部の動き検出領域の動きがズームイン動作方向であると共に、一部のみがズームアウト動作方向であることを検出したときには追越し車両があると判別する。さらに、直進動作，後退動作および追越し車両があるものと判別しないとき、正面動画像の上部側の動き検出領域で、図２５Ｄに示すように動きベクトルＭＶＥのベクトル方向が水平方向とされているときには、ベクトル方向に応じて右折あるいは左折動作と判別する。また動き検出領域の一部で、図２５Ｅに示すように動きベクトルＭＶＥのベクトル方向が水平方向であるときには、横切り動作であると判別する。このようにして判別した動きパターンＭＰをレイヤ確定部４６２に通知する。なお、動きパターンとしては、上述のパターンだけでなく、動きの停止や後退しながら右折や左折を行うパターン等も考えられる。
【０１０８】
レイヤ確定部４６２は、動きパターン判定部４６１で判別された動きパターンＭＰに基づき、判別された動きパターンが所定のフレーム数以上連続したか否かを判別する。ここで、レイヤ確定部４６２は、動きパターンが所定のフレーム数以上連続したとき、判別された動きパターンに応じたレイヤパターン情報ＬＰを生成して分類部４６３に通知する。
【０１０９】
ここで、レイヤ確定部４６２は、前進動作のように全画面が拡大する動きパターンであることを連続して所定のフレーム数以上判別したとき、例えば遠景，中景，近景のレイヤの作成を指示するレイヤパターン情報ＬＰを生成して分類部４６３に通知する。また、レイヤ確定部４６２は、右折あるいは左折動作のように上部が水平方向に移動する動きパターンであることを連続して所定のフレーム数以上判別したとき、遠景，中景，近景のレイヤだけでなく水平方向に移動する画像が含まれるレイヤの作成を指示するレイヤパターン情報ＬＰを生成して分類部４６３に通知する。また、追越し車両や後退時のように時間と共に縮小する画像が含まれている動きパターンであることを連続して所定のフレーム数以上連続して判別したとき、遠景，中景，近景のレイヤだけでなく縮小する画像が含まれる後退レイヤの作成を指示するレイヤパターン情報ＬＰを生成する。また、横切り物体のように、一部が水平方向に移動する動きパターンであることを連続して所定のフレーム数以上判別したとき、水平方向に移動する画像が含まれるレイヤの作成を指示するレイヤパターン情報ＬＰを生成する。このように、判別された動きパターンが所定のフレーム数以上連続したときに、判別された動きパターンＭＰに応じたレイヤパターン情報ＬＰが生成されるので、動きパターンが誤って判別されたフレームが生じても、正しい動きパターンに応じたレイヤパターン情報ＬＰを生成できる。
【０１１０】
閾値設定部４６４は、所定時間範囲（例えば注目フレームの前後３０フレーム分）の動きベクトルＭＶＥを用いて、ベクトル方向が画像基準位置ＣＰから放射方向とされている動きベクトルＭＶＥの動き量の平均値Ｖavgや最大値Ｖmax，最小値Ｖminを求めると共に、この平均値Ｖavgや最大値Ｖmax，最小値Ｖminに基づき、レイヤパターン情報ＬＰで示されたレイヤに分類するための閾値Ｔｈを設定して分類部４６３に供給する。
【０１１１】
例えばレイヤパターン情報ＬＰによって遠景，中景，近景のレイヤに分けることが示された場合、閾値設定部４６４は、遠景レイヤと中景レイヤとの区分位置を示す閾値Ｔｈ-1を上述の式（１）に基づいて算出する。また中景レイヤと近景レイヤの区分位置を示す閾値Ｔｈ-2を上述の式（２）に基づいて算出する。
【０１１２】
この閾値の設定は、上述の図１０に示す場合と同様に、動き量のヒストグラムを求めて、このヒストグラムの極小値を利用して閾値Ｔｈ-1，Ｔｈ-2を求めるものとしても良い。このように、閾値Ｔｈは、動き量の分布に応じて動的に変化されるので、画像が１つのレイヤだけに分類されてしまうことがなく、動き量の分布に応じて良好にレイヤ分類を行うことができる。
【０１１３】
分類部４６３は、閾値設定部４６４からの閾値Ｔｈと動きベクトルＭＶＥの動き量に基づいて、各フレームの各動き検出領域がレイヤパターン情報ＬＰで作成が指示されたレイヤのいずれに属するかを判別してレイヤ分類を行う。また、分類部４６３は、水平方向に移動する動き検出領域やズームアウト動作方向の動き検出領域を、それぞれ対応するレイヤに割当てる。この分類部４６３での注目フレームの各動き検出領域のレイヤ分類が完了したとき、分類部４６３はレイヤ分類の結果を示すレイヤ分類情報ＬＡを生成して分類補正部４６５に供給する。
【０１１４】
分類部４６３は、例えば遠景，中景，近景の３つのレイヤを作成する際には、動き検出部４２からの動きベクトルＭＶＥを用いて、動き検出領域毎に前ｍフレーム分と後ｎフレーム分の動き量の平均値を算出する。例えば、正面動画像の右側端部に設けた動き検出領域において、動きベクトルＭＶＥの動き量が時間の経過と共に図２６Ａに示すように変化したとき（図の数字は動き量を示すものとする）、分類部４６３は、Ｆpフレームでの動き検出領域ＡR1に対して、Ｆpフレームでの動き検出領域ＡR1の動き量と、Ｆp-１〜Ｆp-mフレームの動き検出領域ＡR1の動き量と、Ｆp+１〜Ｆp+nフレームの動き検出領域ＡR1の動き量を用いて、動き量の平均値を算出する。さらに、動き検出領域ＡR1の動き量として算出された平均値と、上述のようにして設定された閾値Ｔｈ-1，Ｔｈ-2を比較することで、このＦpフレームでの動き検出領域ＡR1が遠景，中景，近景のいずれのレイヤに属するかを判別する。このように、分類部４６３は、注目フレームの動き検出領域ＡR1について、前フレームや後フレームの動き量も用いて動き量の平均値を算出して、この平均値を用いて動き検出領域ＡR1のレイヤ分けを行うので、動き検出領域ＡR1の動き量に誤りが生じても、この動き検出領域ＡR1のレイヤ分類することができる。また、被写体の大きさの差や被写体までの距離の差によってフレーム毎の動き量の変動が生じても、これらの変動の影響を防止できる。さらに、分類部４６３は、他の領域や他のフレームに対しても同様に処理することで、図２６Ｂに示すように各動き検出領域を遠景，中景，近景のいずれかのレイヤに分類して、レイヤ分類情報ＬＡを分類補正部４６５に通知する。なお図２６Ｂにおいて、クロスハッチで示す動き検出領域は近景、斜線で示す動き検出領域は中景、他の動き検出領域は遠景として分類されたことを示している。
【０１１５】
分類補正部４６５は、各動き検出領域のレイヤ分類情報ＬＡを参照して、同じレイヤに属する領域の連結数が所定の数よりも少ない領域は周囲に合わせたレイヤに補正する。例えば図２６Ｂにおいて、Ｆp+4フレームの領域ＡR4-gやＦp-2フレームの領域ＡR6-hは、同じレイヤに属する領域が連結していない。このため、分類補正部４６５は、これらの領域を図２６Ｃに示すように周囲に合わせた領域に補正して、いずれの領域がいずれのレイヤとされているかを示すレイヤ分類情報ＬＢを、情報生成部４７に供給する。
【０１１６】
また、追越し車両があるときには、レイヤは、上述の遠景，中景，近景だけでなく、図２６Ｄに示すように追い越し車両の画像が含まれる後退レイヤも生成される。ここで、追越し車両は、遠景や中景および近景の画像とは動きベクトルＭＶＥのベクトル方向が逆であることから、後退レイヤの時間軸方向は、他のレイヤとは方向を逆として生成する。
【０１１７】
図２７は情報生成部４７の構成を示している。レイヤ分類部４６から供給されたレイヤ分類情報ＬＢは、動き量平均値算出部４７１と中間画像信号生成部４７２に供給される。
【０１１８】
動き量平均値算出部４７１は、各動き検出領域の動き量を用いて、レイヤ毎の動き量の平均値をフレーム毎に算出する。例えばＦeフレームにおいて、遠景レイヤとされた動き検出領域がｎy個であるとき、動き量平均値算出部４７１は、このｎy個の動き検出領域の動き量を用いて平均値を算出して中間画像信号生成部４７２に供給すると共に、この算出した動き量ＭＹvを中間画像情報として蓄積部５０の中間画像情報蓄積領域５２に記憶させる。
【０１１９】
中間画像信号生成部４７２は、レイヤ分類部４６から供給されたレイヤ分類情報ＬＢに基づき、側端部から動き量平均値算出部４７１で算出された動き量ＭＹvに応じてレイヤ毎に画像信号ＳＤCを抽出してレイヤ毎の中間画像信号ＧＦvを生成して、中間画像信号補間部４７３に供給する。
【０１２０】
中間画像信号補間部４７３は、各レイヤの動き量ＭＹvに応じた信号量分の画像信号ＳＤCを側端部から読み出して中間画像信号を生成する。例えば中間画像信号に基づく画像は、図２８に示すものとなる。なお、図２８Ａは遠景レイヤの中間画像信号に基づく画像、図２８Ｂは中景レイヤの中間画像信号に基づく画像、図２８Ｃは近景レイヤの中間画像信号に基づく画像を示しており、斜線で塗りつぶした部分は画像の無い領域である。
【０１２１】
この中間画像信号補間部４７３は、動き量ＭＹvの異なる各レイヤの画像を遠景，中景，近景の順に重ね合わせることで画像合成を行ったときに、画像の無い領域が生ずることがないように中間画像信号ＧＦvの補正を行い、補正された信号を中間画像信号ＧＹvとして中間画像情報蓄積領域５２に記憶させる。この中間画像信号の補正は、手前のレイヤに対して全てを補間すると、奥のレイヤが隠れてしまうこととなる。したがって、中間画像信号補間部４７３は、最も奥のレイヤに対しては隙間全部を補間するものとし、中間に位置するレイヤではこのレイヤよりも手前のレイヤに属する領域によって生成された隙間に対してのみ、水平方向に隣接する信号を用いた補間処理を行い、画像の無い隙間領域の画像信号を作り出して中間画像信号に重ね合わせる。例えば、中間に位置するレイヤが図２８Ｂの中景レイヤで、手前のレイヤが図２８Ｃの近景レイヤの場合、隙間とは、中景レイヤの中の木や車の領域である。このように補間処理を行うことで、中間画像信号ＧＦvに基づいた図２８Ａに示された画像は、画像の無い部分（斜線で塗りつぶした領域）が水平方向に隣接する信号を用いて補間されて、図２９Ａに示される画像となる。同様に、中間画像信号ＧＦvに基づいた図２８Ｂに示される画像は、図２９Ｂに示されるように補正された画像となる。なお、例えば図２８Ｃに示す近景レイヤが最も手前に位置するレイヤであるとき、最も手前に位置するレイヤでは、画像の無い領域が生じないので、最も手前に位置するレイヤに対する補間処理は不要となる。そのため、図２９Ｃに示す近景レイヤは図２８Ｃと等しいものである。
【０１２２】
蓄積部５０の中間画像情報蓄積領域５２は、レイヤ化処理ブロック４５で生成されたレイヤ毎の動き量ＭＹvとレイヤ毎の中間画像信号ＧＹvとをフレーム毎に関係付けて、中間画像情報として記憶する。ここで、中間画像情報蓄積領域５２に記憶された遠景レイヤの中間画像信号は、動き量が少ないため図２９Ａに示すように画像信号の信号量は少なくなる。また近景レイヤの中間画像信号では、動き量が大きいため図２９Ｃに示すように信号量も多くなる。また中景レイヤでは図２９Ｂに示すように遠景と中景の中間である信号量となる。なお、後退レイヤでは、動き方向が逆であることから後退レイヤの中間画像信号では、図２９Ａ〜図２９Ｃとはフレーム方向が逆となる。
【０１２３】
この中間画像情報蓄積領域５２は、レイヤパターン情報ＬＰに基づいて水平移動レイヤを作成するものと指示されたとき、動きベクトルの方向が水平方向とされている動き検出領域の画像信号を、この水平移動レイヤの中間画像信号に設定する。ここで、水平方向に移動する画像は、正面動画像から外に移動する画像と中に入り込む画像が生じる。例えば、右折時には、正面動画像の右側端部から画像が入り込み左側端部から画像が出ていく。このため、外に移動する画像の水平移動レイヤは遠景レイヤ等と時間軸方向を等しくする。また、中に入り込む画像の水平移動レイヤは後退レイヤと同様に、遠景レイヤ等とは時間軸方向を逆方向とする。
【０１２４】
このようにして、中間画像情報蓄積領域５２は、遠景，中景，近景の各レイヤの中間画像信号と後退レイヤや水平移動レイヤの中間画像信号を動き量に応じて生成して記憶する。また、各レイヤの動き量も上述のように合わせて記憶する。
【０１２５】
次に、蓄積部５０の中間画像情報蓄積領域５２に記憶された中間画像情報を用いて右側面の画像の周辺画像信号ＳＤRを生成する場合について説明する。
【０１２６】
周辺画像信号ＳＤRを生成する場合、周辺画像信号生成ブロック６０は、中間画像情報蓄積領域５２から中間画像情報として記憶されている動き量ＭＹvを読み出して、レイヤ毎の中間画像信号ＧＹvの信号読み出し量を動き量ＭＹvに基づいて決定する。さらに、この動き量ＭＹvに応じた信号量の中間画像信号をレイヤ毎に使用して、遠景レイヤ，中景レイヤ、近景レイヤの順に重ね合わせることで画像合成を行う。また、遠景，中景，近景のレイヤとは異なるレイヤが設けられているときには、このレイヤの画像合成処理も行い、周辺画像信号ＳＤRを生成できる。この生成した周辺画像信号ＳＤRを正面動画像の画像信号ＳＤCの出力タイミングに合わせてプロジェクタ１２Rに供給することで、正面動画像だけでなく右側面の画像も連続的に表示させることができる。
【０１２７】
図３０は、中間画像情報蓄積領域５２に記憶されている中間画像情報を読み出して周辺画像信号を生成する周辺画像信号生成ブロック６０の構成を示している。周辺画像信号生成ブロック６０の画像生成制御部６１は、中間画像情報蓄積領域５２に中間画像情報として記憶されているレイヤ毎の動き量ＭＹvをフレーム順に読み出して、この読み出した動き量ＭＹvに基づきレイヤ毎の中間画像信号の読み出し量を判別する。また、画像生成制御部６１は、判別した読み出し量に基づいて、中間画像情報蓄積領域５２から中間画像信号ＧＹvをレイヤ毎に読み出して、信号抽出部６２に設けられているレイヤ毎の合成部６２１-1〜６２１-5に供給する。
【０１２８】
ここで、右左折時に水平方向に移動する水平移動レイヤの中間画像信号は合成部６２１-1に供給する。また、遠景レイヤの中間画像信号は合成部６２１-2に供給すると共に、中景レイヤの中間画像信号および近景レイヤの中間画像信号は合成部６２１-3，６２１-4に供給する。さらに追越し車両の画像が含まれる後退レイヤの中間画像信号は合成部６２１-5に供給する。
【０１２９】
合成部６２１-1には、後述する画像シフト部６２３-1が接続されており、この合成部６２１-1は、画像シフト部６２３-1から供給された画像信号に、中間画像情報蓄積領域５２から読み出した対応するレイヤの画像信号を重ね合わせることで画像合成を行う。この合成部６２１-1によって画像合成が行われて得られた水平移動レイヤの画像信号は、遅延部６２２-1と画像信号生成部４４の遠景合成部６４１に供給される。
【０１３０】
遅延部６２２-1は、合成部６２１-1から供給された画像信号を１フレーム分だけ遅延させて画像シフト部６２３-1に供給する。画像シフト部６２３-1は、遅延部６２２-1から供給された画像信号に基づく画像を、画像生成制御部６１から供給された水平移動レイヤの動き量ＭＹvに基づいて水平方向に移動させる。さらにこの水平方向に移動させた画像の画像信号を合成部６２１-1に供給する。合成部６２１-1は、この水平方向に移動された画像に対して、中間画像情報蓄積領域５２から各レイヤの動き量ＭＹv分だけ読み出した中間画像信号ＧＹvに基づく画像を重ね合わせることで画像合成を行い、順次画像が移動する画像信号を生成する。
【０１３１】
同様に、遅延部６２２-2〜６２２-5は１フレーム分遅延された画像信号を生成すると共に、画像シフト部６２３-2〜６２３-5は、この１フレーム分遅延された画像信号を画像生成制御部６１から供給された各レイヤの動き量ＭＹvに基づいて水平方向に移動させる。さらに、合成部６２１-2〜６２１-5は、この水平方向に移動された画像に対して、中間画像情報蓄積領域５２から各レイヤの動き量分だけ読み出した中間画像信号ＧＹvに基づく画像を重ね合わせることで画像合成を行い、順次画像が移動する画像信号をレイヤ毎に生成する。
【０１３２】
また、中間画像信号は、正面動画像信号から読み出した信号であるので、この中間画像信号に基づく画像は、スクリーン１０Cと同じ面上の画像となる。しかし、周辺画像を表示するスクリーン１０Rは正面のスクリーン１０Cに対して傾きを持って設けられている。このため、遠景，中景，近景レイヤや後退レイヤのように、動きベクトルの方向が画像基準位置ＣＰの方向あるいは逆方向であるレイヤの画像信号を用いて、各レイヤの画像を重ね合わせることで画像合成を行い周辺画像信号ＳＤRを生成して画像表示を行うものとすると、スクリーン１０Rに表示される画像は、スクリーン１０Cに対するスクリーン１０Rの傾きによって正しい形状とならない。このため、動きベクトルの方向が画像基準位置ＣＰの方向あるいは逆方向であるレイヤの画像信号は、射影変換部６３の各変換部６３１〜６３４に供給して、この各レイヤの画像をスクリーン１０L，１０Rに表示したときに、動きベクトルＭＶＥのベクトル方向に画像が正しく移動するように射影変換を行う。また、水平移動レイヤの画像は、動きベクトルＭＶＥのベクトル方向が水平方向であるため、遠景，中景，近景レイヤ，後退レイヤのような射影変換は行わないものとする。
【０１３３】
射影変換部６３の変換部６３１〜６３４は、合成部６２１-2〜６２１-5から供給された画像信号に対して、画像がスクリーン１０Rの向きに対応した形状となるように射影変換を行う。ここで、正面動画像から画像を順次読み出すと、読み出した画像の表示面１０CRとスクリーン１０Rは、上述の図１４Ａおよび図１４Ｂに示すように同一面でないため、正面動画像から読み出した画像をスクリーン１０Rに表示したときには、表示面１０CRの画像をそのままスクリーン１０Rの面上に投射したものとなり、正しい形状とならない。
【０１３４】
このため、変換部６３１〜６３４は、画像の垂直方向に対してズームインあるいはズームアウトの中心Ｃzmから距離に比例した拡大率で拡大すると共に、画像の水平方向に対してその速度がズームインあるいはズームアウトの中心Ｃzmからの距離に比例するような拡大率で拡大する射影変換を行う。この処理は、上述したように、正面画面端からそのまま読み出した画像の位置（ｘ，ｙ）と右側面動画像上に正しく画像表示できるように変換処理した後の位置（Ｘ，Ｙ）が、垂直方向については上述の式（５）の関係となり、水平方向については上述の式（４）の関係となる。このため、図１４Ｄに示すように、スクリーン１０R上の（Ｘ，Ｙ）の画像信号は、式（５），式（６）を満たす位置（ｘ，ｙ）の信号を用いることで、図１４Ｅに示すようにスクリーン１０R上に正しく右側面動画像を表示できる。
【０１３５】
この変換部６３１で得られた射影変換後の遠景レイヤの画像信号は、画像信号合成部６４の遠景合成部６４１に供給される。また、変換部６３２で得られた射影変換後の中景レイヤの画像信号は中景合成部６４２に供給されると共に、変換部６３３で得られた射影変換後の近景レイヤの画像信号は近景合成部６４３に供給される。さらに、変換部６３４で得られた後退レイヤの画像信号は縮小画合成部６４４に供給される。
【０１３６】
遠景合成部６４１は、合成部６２１と変換部６３１から供給された画像信号に基づいて、水平移動レイヤの画像に遠景レイヤの画像を重ね合わることで画像合成を行い画像信号を生成して中景合成部６４２に供給する。
【０１３７】
中景合成部６４２は、変換部６３２と遠景合成部６４１から供給された画像信号に基づいて、遠景レイヤの画像が重ね合わされた画像に中景レイヤの画像を重ね合わせることで画像合成を行い画像信号を生成して近景合成部６４３に供給する。
【０１３８】
近景合成部６４３は、変換部６３３と中景合成部６４２から供給された画像信号に基づいて、中景レイヤの画像が重ね合わされた画像に近景レイヤの画像を重ね合わせることで画像合成を行い画像信号を生成して縮小画合成部６４４に供給する。
【０１３９】
縮小画合成部６４４は、変換部６３４と近景合成部６４３から供給された画像信号に基づいて、近景レイヤの画像が重ね合わされた画像に、時間と共に画像が縮小する後退レイヤの画像を重ね合わせることで画像合成を行い画像信号を生成する。この縮小画合成部６４４で生成された画像信号は、水平移動レイヤから縮小レイヤまでの各レイヤを重ね合わせる画像合成が行われた側面動画像の画像信号となる。
【０１４０】
このため、周辺画像信号生成ブロック６０は、縮小画合成部６４４で生成された画像信号を周辺画像信号ＳＤRとしてプロジェクタ１２Rに供給することで、プロジェクタ１２Rによって正面動画像と連続した右側面の画像をスクリーン１０Rに表示することができる。
【０１４１】
また、中間画像情報蓄積領域５２に記憶された中間画像信号に対して、画像の無い部分を補間する処理が行われていないとき、あるいは縮小画合成部６４４で生成された画像信号に画像の無い部分が生ずるとき、図示せずも画像信号合成部６４に補間部を設けて、補間部は画像の無い部分と隣接する領域でどのようなレイヤの画像が重ね合わされたかを判別して、奥行きの深いレイヤの画像を用いて補間処理を行うものとする。例えば、中景レイヤと近景レイヤの画像が重ね合わされている領域と水平方向に隣接する部分で画像の無い部分が生じてとき、補間部は、奥行きの深い中景レイヤの画像を用いて補間処理を行うことで、画像の欠落のない良好な周辺画像信号ＳＤRを生成できる。
【０１４２】
また、周辺画像信号生成ブロック６０は、周辺画像信号ＳＤRと同様にして周辺画像信号ＳＤLを生成してプロジェクタ１２Lに供給することで、プロジェクタ１２Lによって正面動画像と連続した左側面の画像をスクリーン１０Lに表示することができる。
【０１４３】
さらに、蓄積部５０は、中間画像情報を蓄積するものであり、この中間画像情報は動き量とレイヤ毎の中間画像信号である。このため、蓄積部５０に蓄積する情報量は、周辺画像の画像信号を蓄積する場合に比べて少なくなる。また、画像処理装置１５Ｂは、大容量の記録媒体等を用いることなく広画角での画像表示を行うことができる。
【０１４４】
さらに、上述の各ブロックで行われる処理はソフトウェアで実現するものとしても良い。この場合の構成は上述の図１５と同様であり説明は省略する。
【０１４５】
図３１は、第２の実施の形態における画像処理プログラムの全体構成を示すフローチャートである。図において、ステップＳＴ４１では動き検出処理を行い、画像の動きベクトルを検出する。次にステップＳＴ４２では中間画像情報生成処理で動きベクトルに基づきレイヤ毎、例えば遠景レイヤ，中景レイヤ，近景レイヤ毎の画像情報と各レイヤの動き量を示す中間画像情報を生成する。ステップＳＴ４３では、周辺画像生成処理を行い、中間画像情報に基づき周辺画像を合成する。
【０１４６】
図３２は、図３１のステップＳＴ４１の動き検出処理を示すフローチャートである。ステップＳＴ５１では、正面動画像に対して動き検出領域を設定してステップＳＴ５２に進む。ステップＳＴ５２では、動き検出領域の画像の縮小や位置の変更を行い誤差和を算出しステップＳＴ５３に進む。ステップＳＴ５３では既に算出されている誤差和を比較して誤差和が少なくなる画像位置を検出してステップＳＴ５４に進む。ステップＳＴ５４では、予め設定された画像サイズや位置の範囲内での検討が完了したか否かを判別して、完了していないときにはステップＳＴ５１に戻り、完了したときにはステップＳＴ５５に進む。ステップＳＴ５５では、誤差和が最も少なくなる画像位置に基づき動き検出領域の動きを示す動きベクトルを決定する。
【０１４７】
図３３は、図３１のステップＳＴ４２の中間画像情報生成処理を示すフローチャートである。ステップＳＴ６１では、ステップＳＴ４１の動き検出処理で検出された動きベクトルに基づき動きパターン、例えば直進動作であるか後退動作であるかあるいは右折や左折動作等のいずれの動きパターンであるかを判別して、どのようなレイヤを設けるかを示すレイヤパターン情報を生成する。ステップＳＴ６２では、判別された動きパターンは、画面全体が拡大動きであるか否かを判別する。ここで拡大動きであるときにはステップＳＴ６３に進み、拡大動きでないときにはステップＳＴ６５に進む。ステップＳＴ６３では、動きベクトルの動き量を用いて統計情報、例えば平均値を算出してステップＳＴ６４に進む。ステップＳＴ６４では、統計情報に基づき、画像を例えば遠景，中景，近景にレイヤ分けするための閾値を設定する。ステップＳＴ６５では設定された閾値と動き量を比較して、動き検出領域がいずれのレイヤに属するかを示すレイヤ情報を生成する。また、画面全体が拡大動きでないときには、動き検出領域を動きパターンに応じたレイヤとしてレイヤ情報を生成する。
【０１４８】
ステップＳＴ６６では、レイヤに含まれる動き検出領域の動き量に基づきレイヤ毎の動き量を算出する。ステップＳＴ６７ではレイヤ情報とレイヤ毎の動き量に基づき、正面動画像からレイヤ毎に画像を抽出して中間画像を生成する。ステップＳＴ６８では、中間画像で孤立領域があるか否かを判別して、孤立領域があるときにはステップＳＴ６９に進み孤立領域がないときにはステップＳＴ７０に進む。ステップＳＴ６９では、補間処理を行い孤立領域を除去してステップＳＴ７０に進む。ステップＳＴ７０では孤立領域の無いレイヤ毎の中間画像とレイヤ毎の動き量を中間画像情報を生成する。
【０１４９】
図３４は、図３１のステップＳＴ４３の周辺画像生成処理を示すフローチャートである。ステップＳＴ８１では、中間画像情報で示されたレイヤ毎の動き量に基づいて、各レイヤ毎の中間画像からレイヤ毎に画像を抽出する。ステップＳＴ８２では、抽出した各レイヤの画像を所定の位置に合成を生成する。ステップＳＴ８３では、画像の合成を行ったときに画像の無い部分が生じて、この部分の画像を補う補間処理か必要か否かを判別する。ここで、画像の無い部分が生じるときにはステップＳＴ８４に進み、画像の無い部分が生じていないときにはステップＳＴ８５に進む。ステップＳＴ８４では補間処理を行いステップＳＴ８５に進む。例えば、画像の無い部分の周辺の画像を伸長して補間する。ステップＳＴ８５では、合成された画像を投影するスクリーンの向きに合わせて幾何変換処理を行い、この幾何変換が行われた画像の画像信号をステップＳＴ８６で周辺画像の画像信号として出力する。
【０１５０】
このような画像処理プログラムは、上述したようにリムーバブルの情報記録伝送媒体に記録したり、情報記録伝送媒体を介して伝送するものとしても良い。
【０１５１】
また、上述の第２の実施の形態において、画像処理プログラムが実行されて中間画像情報の生成が行われたときには、この中間画像情報が例えばハード・ディスク・ドライブ３０４あるいは記録媒体ドライブ３１２に装着された記録媒体に記録される。さらに、周辺画像の画像信号の出力が要求されたときには、中間画像情報が読み出されて左右側面動画像の周辺画像信号ＳＤL，ＳＤRが生成されると共に、この周辺画像信号ＳＤL，ＳＤRが正面動画像の画像信号ＳＤCとタイミングを合わせて出力される。このため、正面と左右のスクリーンを用いて、広画角の連続した画像を表示することができる。
【０１５２】
ところで、上述の第２の実施の形態は、正面動画像の側端側に設けた動き検出領域の動きベクトルＭＶＥに基づいて、遠景，中景，近景等の画像のレイヤ分けや動き量の判別等を行い、中間画像情報を生成して中間画像情報蓄積領域５２に記憶させると共に、周辺画像を表示させる際には、中間画像情報蓄積領域５２に蓄積されている中間画像情報を用いて、各レイヤの動き量ＭＹvに応じて中間画像信号ＧＹvを読み出して画像の重ね合わせを行うことで周辺画像信号を生成するものとした。しかし、周辺画像信号は、動きベクトルＭＶＥを用いることなく生成することもできる。
【０１５３】
次にこの発明の第３の実施の形態の画像処理装置について説明する。この画像処理装置１５Ｃは、動きベクトルＭＶＥを用いることなく周辺画像信号を生成するものである。
【０１５４】
画像処理装置１５Ｃは、幾何変換によって正面動画像に基づき側面方向の射影画像を生成し、この射影画像を積分処理して積分画像を生成すると共に、この積分画像を用いて画像のレイヤ分けを行い、レイヤ毎の動き量ＭＹsやレイヤ毎の中間画像信号を生成して、中間画像情報として中間画像情報蓄積領域５２に記憶させる。
【０１５５】
図３５は、画像処理装置１５Ｃの構成を示している。正面動画像の画像信号ＳＤCは、幾何変換部７１に供給される。幾何変換部７１は、正面動画像の画像信号ＳＤCを用いて正面動画像を進行方向の面である射影面に表示した画像の射影画像信号ＳＤPを幾何変換処理によって生成する。この幾何変換部７１によって生成された射影画像信号ＳＤPは、動き検出ブロック７２の動き判別画像生成部７３と積分画像生成部７４およびレイヤ化処理ブロック８０の情報生成部８２に供給される。
【０１５６】
動き判別画像生成部７３は、幾何変換部７１より供給された射影画像信号ＳＤPを用いて、フレーム毎に正面動画像と接する端部側から所定範囲の射影画像信号ＳＤPを抽出して順次重ね合わせることで画像合成を行うことにより動き判別画像信号ＳＭＤを生成する。この動き判別画像信号ＳＭＤは、動き判別部７５に供給される。
【０１５７】
積分画像生成部７４は、水平方向に位置をずらしながらｍsフレーム分の射影画像信号ＳＤPを足し込んで平均化することにより１つの積分画像信号を生成する。また、ｎs個の異なる位置のずらし量でｎs個の積分画像信号を生成する。この積分画像生成部７４で生成したｎs個の積分画像信号ＳＡは動き判別部７５に供給される。
【０１５８】
動き判別部７５は、ｎs個の積分画像信号ＳＡと動き判別画像信号ＳＭＤとを比較し、そして、動き判別画像信号ＳＭＤに基づく画像とマッチングする積分画像信号ＳＡに基づく画像を検出する。さらに動き判別部７５は、その検出結果に基づき注目フレームの所定位置の動き量を判別する。ここで、積分画像は、位置のずらし量と画像の移動量が一致したときに、この被写体が画像として現れるものである。また、積分画像は、ずらし量を異なるものとしてｎs個だけ生成されているので、ｎs個の移動量の異なる画像を積分画像信号ＳＡによって示すものとなる。このため、動き判別部７５は、ｎs個の積分画像信号ＳＡと動き判別画像信号ＳＭＤとの相関を判別して、この判別結果に基づき、動き判別画像を構成する被写体の移動量すなわち注目フレームの所定位置の動き量を判別する。ここで、被写体の画像が遠景であるとき、移動量は小さい。また、被写体の画像が近景であるとき、移動量は大きい。すなわち、この移動量は被写体の画像の奥行きを示すものである。このようにして、動き判別部７５は、射影画像の各位置の動き量を判別すると共に、判別結果を示す動き量情報ＭＦを生成してレイヤ化処理ブロック８０のレイヤ分類部８１と情報生成部８２に供給する。
【０１５９】
レイヤ分類部８１は、供給された動き量情報ＭＦに基づき、注目フレームの所定位置が複数レイヤのいずれに属するかを示すレイヤ分類情報ＬＢを生成して情報生成部８２に供給する。
【０１６０】
情報生成部８２は、各レイヤにおいて、フレーム毎に前後のフレームの移動量を用いて平均値を求めて、各レイヤの該当フレームの動き量ＭＹsとして蓄積部５０の中間画像情報蓄積領域５２に供給する。また、情報生成部８２は、求めたレイヤ毎の動き量ＭＹsと、レイヤ分類部８１から供給されたレイヤ分類情報ＬＢに基づき、幾何変換部７１より供給された画像信号ＳＤPをレイヤ毎に分類して中間画像信号ＧＦsを生成する。すなわち、情報生成部８２は、動き量分だけ画像信号を水平方向に読み出して該当するレイヤ毎に順次重ね合わせることで画像合成を行うことにより、図２８と同様なレイヤ毎の中間画像信号ＧＦsを生成する。
【０１６１】
また、遠景レイヤや中景レイヤおよび近景レイヤの画像の動き方向を基準としたとき、後退レイヤの動き方向は逆方向となる。このため、情報生成部８２は、動き量の絶対値分だけ正面動画像と接する端部側から射影面画像信号を読み込み左右反転を行って重ね合わせることで画像合成を行うことで、後退レイヤの中間画像信号を生成する。
【０１６２】
さらに、情報生成部８２は、作成したレイヤ毎の中間画像信号ＧＦsに対して、画像の無い領域が生じないように補間処理を行って画像の無い部分の埋め込みを行う。この情報生成部８２で補間処理を行うことにより得られたレイヤ毎の中間画像信号ＧＹsは、各レイヤの動き量ＭＹsと関係付けられて中間画像情報として中間画像情報蓄積領域５２に記憶される。
【０１６３】
周辺画像信号生成ブロック６０は、中間画像情報を中間画像情報蓄積領域５２から読み出して、上述と同様に処理することで、右側面動画像の周辺画像信号を生成できる。
【０１６４】
次に各ブロック等について詳細に説明する。図３６は幾何変換部７１での幾何変換処理を説明するための図である。この図３６において、位置Ｏは正面動画像ＵCの撮影位置である。理想的には、撮影位置と視聴者の位置は同じとするのが良い。ここでは、撮影位置と視聴者の位置は同じと考える。幾何変換部７１は、正面動画像の位置ｐの画像を進行方向と平行な射影面ＦＩ上の位置ｑに射影して、正面動画像に基づいて射影画像ＵIを生成する。ここで、射影面上の進行方向の位置ｘbと正面動画像上の水平位置Ｘbの関係は、式（７）に示すものとなる。また、射影面上の高さ方向の位置ｙbと正面動画像上の垂直位置Ｙbの関係は、式（８）に示すものとなる。
【０１６５】
【数４】

【０１６６】
なお、式（７）（８）において、「θg」は正面動画像の水平画角を半分とした角度を示しており、正面動画像を撮影したカメラの水平画角が明らかであるときには、この水平画角の半分の角度を「θg」とする。また、カメラの水平画角が明らかでないときには、使用したレンズの焦点距離に応じて予め設定された値を用いるものとする。「ｄ」は正面動画像の水平方向の長さ（画枠の水平方向の長さ）を１／２にした値である。
【０１６７】
このように式（７）（８）を用いることで、幾何変換部７１は、正面動画像の各フレームの画像信号に基づいて左右の射影画像の画像信号をフレーム単位で生成できる。また、入力画像が車載前進系の正面動画像の場合、左右の射影画像は側方画像となっており、この射影画像の動き量は車速に比例する。また、この射影画像の動き量は奥行きに反比例するものである。そのため、射影画像が遠景の画像であって奥行きが大きいとき、動き量は小さくなる。また、射影画像が近景の画像であって奥行きが小さいとき、動き量は大きくなる。射影画像の大きさは、後の各処理に対して十分な大きさがあれば良い。例えば、提示する周辺画像と同じ大きさが良い。
【０１６８】
図３７は、動き判別画像生成部７３の動作を説明するための図である。動き判別画像生成部７３は、図３７Ａに示すように、フレーム毎に射影面画像の正面動画像側端部（右側射影面画像では右側端部）から水平方向に所定画素数ｗａ（例えば４画素）の幅で画像信号を切り出すと共に、この切り出した画像信号を図３７Ｂに示すようにフレーム順に所定フレーム分だけ重ね合わせることで画像合成を行い動き判別画像Ｕpの動き判別画像信号ＳＭＤを生成する。なお、動き判別画像Ｕpは、被写体の動き量が水平方向にｗａ画素／フレームで、画像信号の切り出し画素数ｗａと等しいとき（図３７では家）、被写体の画像は不連続点を有しない連続した画像となる。画像信号の切り出しよりも動きの遅い被写体（図３７では山）の画像は、繰り返し切り出される部分が生じるため切り出された画像信号の繋ぎ部分で画像の不連続を生じる。また、画像信号の切り出しよりも動きの速い被写体の画像（図３７では木）は、動きが速いために切り出されない部分が生じて繋ぎ部分で画像の不連続を生じる。
【０１６９】
積分画像生成部７４は、動き判別画像の各画素の動き量を判別するために用いる積分画像信号ＳＡを生成する。ここで図３８を用いて動き量の判別動作の原理について説明する。例えば右方向に移動する被写体Ｊaと被写体Ｊaの２倍の速度で右方向に移動する被写体Ｊbを撮影すると、撮影画像は図３８Ａに示すものとなる。ここで、最初のフレームＦ1に対して次のフレームＦ2の画像を被写体Ｊaの移動方向とは逆方向で被写体Ｊaの画素量ｄｘだけシフトさせる。また、次のフレームＦ3の画像も同様に、フレームＦ2に対して被写体Ｊaの移動方向とは逆方向で被写体Ｊaの画素量ｄｘだけシフトさせる。このように、各フレーム間で一定量ずつシフトした各フレームの画像を加算して平均化した平均値画像Ｕmを用いると、被写体Ｊaの位置が一定であると共に被写体Ｊbの位置は移動するので、被写体Ｊbの画像信号の信号レベルは被写体Ｊaに比べて小さいものとなり、図３８Ｃに示すように平均値画像Ｕmによって被写体Ｊaのみを抽出できる。
【０１７０】
また、図３８Ｄに示すように、各フレームの画像のずらし量を２倍（２ｄｘ）として平均値画像Ｕmを生成したとき、被写体Ｊbの位置は一定となると共に被写体Ｊaの位置は移動するので、図３８Ｅに示すように平均値画像Ｕmによって被写体Ｊbのみを抽出できる。
【０１７１】
このように、各フレームの画像を所定量だけ移動させて加算して平均化することにより得られた平均値画像を生成すると共に、この各フレームの画像のずらし量を変えて複数の平均値画像を生成する。そうすると、いずれの平均値画像で被写体が正しく表示されたかを判別することで、１つの画像に動き量の異なる被写体が含まれていても、平均値画像を用いて各被写体の動き量を判別できる。ここで、積分画像生成部７４は、動き判別画像生成部７３と同様に、複数の平均値画像に基づいてフレーム毎に水平方向に所定画素数の画像信号を切り出して積分画像を生成すると共に、この積分画像と動き判別画像を比較して、動き判別画像を構成する被写体と等しい画像がいずれの積分画像に現れたかを判別して、各フレームの所定位置の動き量を判別する。
【０１７２】
図３９は、積分画像生成部７４の構成を示す図である。幾何変換部７１から供給された射影画像信号ＳＤPは積分画像生成部７４の加算処理部７４１-1〜７４１-nsに供給される。
【０１７３】
加算処理部７４１-1は、予め設定された画素数ＳＨ-1だけ前フレームよりも水平方向に移動させた射影面画像信号を、ｍsフレーム分（例えば１０フレーム分）加算して加算信号を順次算出する。さらに、加算処理部７４１-1は、この加算信号を１／ｍ倍して平均値画像の画像信号を領域選択部７４２-1に供給する。
【０１７４】
領域選択部７４２-1は、供給された平均値画像の画像信号よりフレーム毎に正面動画像側端部（右側射影面画像では右側端部）より水平方向に所定画素数分ｗｂの画像信号を切り出して、この切り出した画像信号を順次重ね合わせることにより積分画像信号ＳＡ-1として動き判別部７５に出力する。この領域選択部７４２-1から出力された積分画像信号ＳＡ-1は、予め設定された画素数ＳＨ-1の動き量の被写体を示した画像信号となる。
【０１７５】
加算処理部７４１-2〜７４１-nsも加算処理部７４１-1と同様に、予め設定された画素数ＳＨ-2〜ＳＨ-nsだけ前フレームよりも水平方向に移動させた射影面画像信号を、ｍsフレーム分加算して加算信号を順次算出して、この加算信号を１／ｍ倍して平均化したのち領域選択部７４２-2〜７４２-nsに供給する。さらに、領域選択部７４２-2〜７４２-nsは、供給された画像信号より所定画素数分ｗｂの信号を切り出して順次重ね合わせて積分画像信号として動き判別部７５に出力する。この領域選択部７４２-2〜７４２-nsから出力された積分画像信号ＳＡ-2〜ＳＡ-nsは、それぞれ予め設定された画素数ＳＨ-2〜ＳＨ-3の動き量の被写体を示した画像信号となる。
【０１７６】
ここで、動き判別画像生成部７３と積分画像生成部７４の領域選択部７４２で切り出す画素数を等しいものとすると（ｗａ＝ｗｂ）、動き判別画像と積分画像における被写体の位置の整合性をとることができる。
【０１７７】
図４０は積分画像生成部７４の動作を示す図である。積分画像生成部７４は、画像ずらし量を画素数ＳＨ-rとしたとき、図４０Ａに示すようにフレーム毎に画像を画素数ＳＨ-r（＜ｗｂ）だけ移動して足し込む。このとき、足し込んだ画像は、図４０Ｂに示すように山の画像を示すものとなる。また、画像ずらし量を画素数ＳＨ-rよりも多い画素数ＳＨ-s（＝ｗｂ）としたとき、図４０Ｃに示すようにフレーム毎に画像を画素数ＳＨ-sだけ移動して足し込む。このとき、足し込んだ画像は、図４０Ｄに示すように山よりも動き量の大きい家の画像を示すものとなる。また、画像ずらし量を画素数ＳＨ-sよりも多い画素数ＳＨ-t（＞ｗｂ）としたとき、図４０Ｅに示すようにフレーム毎に画像を画素数ＳＨ-tだけ移動して足し込む。このとき、足し込んだ画像は、図４０Ｆに示すように山よりも動き量の大きい家の画像を示すものとなる。
【０１７８】
ここで、積分画像生成部７４は、動き判別画像生成部７３で動き判別画像を生成する際に最初に切り出しを行ったフレームＦaを基準として切り出しを開始すると共に、動き判別画像と等しい切り出し量（ｗａ＝ｗｂ）で同じフレーム数だけ画像の切り出しを行い積分画像を生成する。このとき、積分画像と動き判別画像は、水平方向の画像の長さが等しくなると共に被写体の位相が積分画像と動き判別画像とで一致する。
【０１７９】
また、動き判別画像は、切り出し量と動き量が等しくないとき被写体が不連続な形状となるが、積分画像も同様に、画素数ＳＨ-rが画素数ｗｂよりも少ないときには、画像の切り出しが重なりを持って行われる。このため、積分画像Ｕb-rは図４０Ｇに示すように、動き量に応じた不連続な画像となる。また、画素数ＳＨ-ｓが画素数ｗｂと等しいとき、積分画像Ｕb-sは図４０Ｈのように動き量に応じた連続した画像となる。さらに、画素数ＳＨ-tが画素数ｗｂよりも多いときには画像の切り出しで欠落部分が生じて、積分画像Ｕb-tは図４０Ｊのように動き量に応じた不連続な画像となる。このため、次に述べる動き判別部７５は、動き判別画像と積分画像のマッチングを行い、マッチングすると判別された積分画像の画像ずらし量である画素数ＳＨに基づいて、被写体の動き量を判別する。
【０１８０】
動き判別部７５は、動き判別画像の各画素と各画像ずらし量の積分画像との相関値を求めて、この相関値に基づき、動き判別画像の各画素がいずれの積分画像と等しいか判別して、判別結果に基づき動き判別画像の各画素の動き量を判別する。
【０１８１】
相関値の算出では、画像Ａの画素と画像Ｂとの相関値を算出する際に、画像Ａの注目画素（相関値を算出する画素）を中心とした所定範囲を設定して、この所定範囲の画像信号を用いて注目画素の相関値を求める。例えば注目画素を中心としてｘ方向に±ｍvc画素、ｙ方向に±ｎvc画素の矩形状範囲（注目画素を中心とした例えば水平３１画素，垂直５画素の矩形状範囲）を設定し、式（９）に基づいて相関値ＶＣを算出する。
【０１８２】
【数５】

【０１８３】
なお、式（９）において、画像Ａの矩形状範囲内における各画素の信号レベルをＤＡｉ（ｉ＝１〜(ｍvc×ｎvc)）、画像Ｂの矩形状範囲内における各画素の信号レベルをＤＢｉ（ｉ＝１〜(ｍvc×ｎvc)）とし、矩形状範囲内における各画素の信号レベルの平均値をＤＡav，ＤＢavとする。
【０１８４】
例えば、動き判別部７５は、式（９）に基づいて図４１Ａに示す動き判別画像における山の画像が図４１Ｂに示す積分画像とマッチングするものと判別したとき、この山の画像を構成する各画素の動き量が画素数ＳＨ-rに対応した動き量であると判別する。また、図４１Ａに示す動き判別画像におけるの家の画像が図４１Ｃに示す積分画像とマッチングするものと判別したとき、この家の画像を構成する各画素の動き量が画素数ＳＨ-sに対応した動き量であると判別する。さらに、図４１Ａに示す動き判別画像おける木の画像が図４１Ｄに示す積分画像とマッチングするものと判別したとき、この木の画像を構成する各画素の動き量が画素数ＳＨ-tに対応した動き量であると判別する。このように動き判別部７５は、各画素に対して動き量を判別すると共に、この判別結果を示す動き量情報ＭＦを生成してレイヤ分類部８１と情報生成部８２に供給する。
【０１８５】
なお、図示せずも、積分画像生成部７４は、画像のずらし方向を図４１Ｂ，図４１Ｃ，図４１Ｄとは逆方向も含むように設定（例えば画像のずらし量ＳＨを４８画素〜−２４画素に設定）することで、木や家や山の画像に対して逆方向に移動する追越し車両等の画像を抽出できる。また、動き方向が遠景レイヤ等とは逆方向の画像の動き量を判別するため、図４２Ａに示すように、各フレームの画像より画像の切り出しを行い、この画像を左右反転してから重ね合わせることにより図４２Ｂに示す動き判別画像Ｕpを生成する。この場合、図４２Ｂに示す動き判別画像Ｕpでは、追越し車両のように動き方向が逆方向の画像が、遠景や中景および近景レイヤと同様な向きで正しく表示される。なお図４２Ｃは画像の左右反転を行わないで重ね合わせた場合の動き判別画像Ｕpである。このように、画像のずらし方向を逆方向とした積分画像の画像信号と、切り出した画像を反転させて重ね合わせることにより生成された動き判別画像の画像信号ＳＭＤを、基準となるフレームから順次比較することで、逆方向に移動する被写体の動き量を判別できる。
【０１８６】
レイヤ分類部８１は、動き量情報ＭＦに基づいて動き判別画像の各画素を奥行き方向にレイヤ化する。例えば、奥行きを予め遠景，中景，近景の３層と逆方向の動きを持つ層の４層にレイヤ化するものとして、各画素がいずれのレイヤに属するかレイヤ分類を行う。
【０１８７】
このレイヤ分類部８１は、上述の閾値設定部４６４と同様にして閾値を設定すると共に、この閾値と各画素の動き量を比較して、各画素がいずれのレイヤに属するか判別して各画素に対応するレイヤ分類情報ＬＢを生成する。この生成されたレイヤ分類情報ＬＢは情報生成部８２に供給される。
【０１８８】
図４３は、情報生成部８２の構成を示している。情報生成部８２の動き量平均値算出部８２１は、動き判別部７５からの動き量情報ＭＦとレイヤ分類部８１から供給されたレイヤ分類情報ＬＢに基づき、それぞれのレイヤにおいて、注目フレーム毎に前後ｎzフレームの動き量の平均値を求め、そのレイヤの注目フレームの速度とする。この算出した各レイヤのフレーム毎の動き量ＭＹsは、中間画像信号生成部８２２に供給されると共に中間画像情報蓄積領域５２に記憶される。
【０１８９】
中間画像信号生成部８２２は、レイヤ分類情報ＬＢに基づき、射影画像の画像信号ＳＤPから動き量平均値算出部８２１で算出された動き量ＭＹsに応じてレイヤ毎に信号を抽出して、レイヤ毎の中間画像信号ＧＦsを生成する。この中間画像信号ＧＦsは、中間画像信号補間部８２３に供給される。このとき、遠景レイヤの動き量は小さく近景レイヤの動き量は大きいので上述の図２８と同様に、遠景レイヤの中間画像は水平方向の長さが短く、近景レイヤの中間画像では長くなる。また、後退レイヤでは動きが逆方向であるので、中間画像信号生成部８２２は、動き量の絶対値分だけ側面動画像から画像を読み込み左右反転して重ね合わせていくことで、後退レイヤの中間画像を作成する。
【０１９０】
中間画像信号補間部８２３は、中間画像信号補間部４７３と同様に、動き量ＭＹsの異なる各レイヤの画像を遠景，中景，近景の順に重ね合わせることで画像合成を行っても、動き量の違いにかかわらず画像のない領域が生ずることがないように中間画像信号ＧＦsの補正を行い、補正された信号を中間画像信号ＧＹsとして中間画像情報蓄積領域５２に記憶させる。
【０１９１】
また、中間画像信号補間部８２３は、追越し車両等の後退レイヤがあるとき、この後退レイヤが近景レイヤの手前のレイヤであるので補間処理を行わないものとする。また、右左折時に遠景に現れる建物等を示す水平移動レイヤが設けられているときには、遠景レイヤと同様に補間処理を行う。なお、後退レイヤや水平移動レイヤの被写体の判別は、右側射影画像と左側射影画像の動き判別画像の動き方向に基づいて図２５の場合と同様に動きパターンを判別して、判別された動きパターンに基づいて判別できる。例えば左側画像の画面上部と右側画像の画面上部での動きが異なる方向を示しているときには右折あるいは左折動作中であることを判別できる。また、左側画像と右側画像の画面上部の動きが同じ方向を示しており、これらとは逆方向の動きである被写体は、後退レイヤと判別できる。
【０１９２】
次に、各レイヤの中間画像情報を用いて周辺画像を生成する動作について説明する。この周辺画像の生成は、上述の周辺画像信号生成ブロック６０と同様にして、周辺画像信号を生成できる。すなわち、各レイヤの画像をその動き量分だけ読み出すと共に、遠景レイヤ、中景レイヤ、近景レイヤの順に重ね合わせることで画像合成を行う。また水平移動レイヤや後退レイヤが設定されているときにも周辺画像信号生成ブロック６０と同様にして、周辺画像信号を生成できる。
【０１９３】
また、画像の合成では、例えば周辺画像として右側面動画像を生成するときには、各レイヤの同一フレーム部分が、生成する右側面動画像の左端で重なるように重ね合わせることで画像合成を行う。また、最初に正面動画像を変換して得た射影画像の右端と、生成した側面動画像の左端が等しくなるようにする。その後、レイヤ毎に、レイヤ毎の動き量に基づいて画像を移動させて、この移動された画像に次の画像をレイヤ毎に重ね合わせることで画像合成を行い、図４４に示すように射影面画像ＵＩと連続する側面の画像ＵRIを生成することができる。
【０１９４】
ところで、中間画像情報を用いてレイヤ毎の中間画像を重ね合わせて生成された画像は、図４５に示すように射影面ＦＩと等しい面上の画像である。一方周辺画像が表示されるスクリーン１０Rは、射影面ＦＩとは傾きを持って設置されている。このため、各レイヤの画像を重ね合わせることで画像合成を行ってスクリーン１０Rに表示させたとき、画像が正しい形状で移動するように画像の変換処理を行う。
【０１９５】
ここで、図４５に示すように、正面動画像ＵCの水平方向の長さの１／２を距離ｄとし、正面動画像の撮影位置である位置Ｏが、スクリーン１０Rの中心からの法線上となるようにスクリーン１０Rを傾けて設置した場合を考える。この場合、スクリーン１０R上の位置（Ｘc，Ｙc）の画像信号は、式（１０）（１１）に基づいて算出された変換前の画像ＵRI上の位置（ｘc，ｙc）の画像信号を抽出すれば、射影変換後の右側面動画像の周辺画像信号ＳＤRを容易に生成できる。また、この周辺画像信号ＳＤRを用いてスクリーン１０Rに右側面動画像を表示させることで、臨場感の高い右側面動画像を表示できる。
【０１９６】
【数６】

【０１９７】
なお、周辺画像信号ＳＤLも周辺画像信号ＳＤRと同様にして生成できることは勿論である。
【０１９８】
さらに、上述の各ブロックで行われる処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合は、上述の図１５に示す構成とする。
【０１９９】
図４６は、第３の実施の形態における画像処理プログラムの全体構成を示すフローチャートである。図において、ステップＳＴ９１では動き検出処理を行い、射影面画像を生成して、射影面画像の画素毎の動き量を検出する。次にステップＳＴ９２では動き量に基づき画素のレイヤ分けを行い、各レイヤの動き量を示す中間画像情報を生成する。ステップＳＴ９３では、周辺画像生成処理を行い、中間画像情報に基づき周辺画像を合成する。
【０２００】
図４７は、図４６のステップＳＴ９１の動き検出処理を示すフローチャートである。ステップＳＴ１０１では、幾何変換よって正面動画像に基づいて側面の射影画像を作成する。ステップＳＴ１０２では、射影画像に基づいて動き量毎の積分画像を作成すると共に、射影画像からの画像の切り出しを行って切出画像を作成する。ステップＳＴ１０３では、動き量毎の積分画像と切出画像のマッチングを行う。ステップＳＴ１０４では、マッチングの結果に基づき最も相関値の高い積分画像を検出することで画素毎の動き量を決定する。
【０２０１】
図４８は、図４６のステップＳＴ９２の中間画像情報生成処理を示すフローチャートである。ステップＳＴ１１１では、ステップＳＴ１０１の動き検出処理で検出された画素の動き量に基づき、動き量の統計量を算出する。ステップＳＴ１１２では、統計量に基づきレイヤ分けを行うための閾値を設定する。ステップＳＴ１１３では、設定された閾値と動き量を比較して、射影画像の各画素がいずれのレイヤに属するかを示すレイヤ分類情報を生成する。ステップＳＴ１１４では、レイヤに含まれる画素の動き量に基づきレイヤ毎の動き量を算出する。ステップＳＴ１１５ではレイヤ分類情報とレイヤ毎の動き量に基づき、射影画像からレイヤ毎に画像を抽出して中間画像を生成する。ステップＳＴ１１６では、中間画像で孤立領域があるか否かを判別して、孤立領域があるときにはステップＳＴ１１７に進み孤立領域がないときにはステップＳＴ１１８に進む。ステップＳＴ１１７では、補間処理を行い孤立領域を除去してステップＳＴ１１８に進む。ステップＳＴ１１８では孤立領域の無いレイヤ毎の中間画像とレイヤ毎の動き量を中間画像情報を生成する。
【０２０２】
図４９は、図４６のステップＳＴ９３の周辺画像生成処理を示すフローチャートである。ステップＳＴ１２１では、中間画像情報で示されたレイヤ毎の動き量に基づいて、各レイヤ毎の中間画像を用いてレイヤ毎に画像を抽出する。ステップＳＴ１２２では、抽出した各レイヤの画像を所定の位置に合成を生成する。ステップＳＴ１２３では、画像の合成を行ったときに画像の無い部分が生じて、この部分の画像を補う補間処理か必要か否かを判別する。ここで、画像の無い部分が生じるときにはステップＳＴ１２４に進み、画像の無い部分が生じていないときにはステップＳＴ１２５に進む。ステップＳＴ１２４では補間処理を行いステップＳＴ１２５に進む。例えば、画像の無い部分の周辺の画像を伸長して補間する。ステップＳＴ１２５では、合成された画像が射影面と等しい面上の画像であるので画像を投影するスクリーンの向きに合わせて画像変換処理を行い、この画像変換が行われた画像信号をステップＳＴ１２６で周辺画像の画像信号として出力する。
【０２０３】
このような画像処理プログラムは、上述したようにリムーバブルの情報記録伝送媒体に記録したり、情報記録伝送媒体を介して伝送するものとしても良い。
【０２０４】
また、上述の第３の実施の形態において、画像処理プログラムが実行されて中間画像情報の生成が行われたときには、この中間画像情報が例えばハード・ディスク・ドライブ３０４あるいは記録媒体ドライブ３１２に装着された記録媒体に記録される。さらに、周辺画像の画像信号の出力が要求されたときには、中間画像情報が読み出されて左右側面動画像の周辺画像信号ＳＤL，ＳＤRが生成されると共に、この周辺画像信号ＳＤL，ＳＤRが正面動画像の画像信号ＳＤCとタイミングを合わせて出力される。このため、正面と左右のスクリーンを用いて、広画角の連続した画像を表示することができる。
【０２０５】
なお、上述の各実施の形態は、車載カメラで得られた画像信号を用いて周辺画像の画像信号を生成する場合について説明したが、画像信号は動く船の上から撮影した風景動画像や人が歩きながら撮影した動画像の画像信号を用いるものとしても、同様に処理することで周辺画像の画像信号を生成できる。
【０２０６】
このように、上述の第１〜第３の実施の形態によれば、正面動画像の動きを判別して、この判別された動きに基づいて異方向の周辺画像を生成できる。このため、ビデオカメラ等で撮影された正面動画像に基づき同時系列で異方向の動画像を生成できるので、臨場感が高く広画角である多画面の画像提示ができる。
【０２０７】
また、１つの入力画像に基づき異方向の画像を生成できるので、複数のビデオカメラや広角レンズを用いたカメラ等を用いる必要がなく、撮影を容易に行うことができる。
【０２０８】
さらに、実写画像を用いて異方向の画像を生成するものであるため、コンピュータグラフィックスによる３次元仮想空間の画像よりもリアルで臨場感の高い画像を表示させることができると共に、奥行きを２次元平面の階層として表現するため、３次元の演算処理が不要となり、信号処理も容易である。
【０２０９】
また、画像処理装置やコンピュータは、入力画像信号として蓄積されている信号を用いることで、時間の経過と共に正面動画像内に入り込む画像を、正面動画像で表示される前に周辺画像で表示することができる。このようにリアルタイムの画像信号を用いたときには表示することができない画像を周辺画像として表示することができるので、より現実的で臨場感の高い広画角の画像表示を行うことができる。また、既に存在している莫大な画像ソースをこの発明の画像処理装置や画像信号生成方法を実行するコンピュータに入力することで、これらの画像を臨場感が高く広画角で楽しむこともできる。
【０２１０】
なお、上述の実施の形態は、正面動画像の側端部に複数の動き検出領域を設けて動き検出領域毎に動きベクトルを求めたり、射影画像を用いて動き判別画像を生成して積分画像と比較することにより、注目フレームの所定位置の動きを判別して中間画像情報を生成し、この中間画像情報を利用して周辺画像信号を生成したが、動き検出は、注目フレームの所定位置の動きを判別できるものであれば良いことは勿論である。
【０２１１】
【発明の効果】
この発明によれば、複数フレームの入力画像信号を用いて、この入力画像信号に基づく画像内における所定領域の動きを検出し、この検出した動きと複数フレームの入力画像信号に基づいて、注目フレームと同一時間であると共に、注目フレームの画像と画角の異なる周辺動画像の画像信号が生成される。このため、多数のカメラや特殊なカメラを用いることなく、表示範囲が広く奥行感のある画像を低コストで得ることができる。
【０２１２】
また、画像端部領域に複数の動き検出領域が設定されて、動き検出領域毎に動きが検出されるので、入力画像信号に基づく基準動画像に遠景や近景等の被写体が含まれていても、それぞれの被写体の動きを検出できる。さらに、画像の動きが所定位置を中心とした放射方向であるとの拘束条件を満たすときには、所定位置を中心として画像をズームさせながら前画面の画像との誤差値を算出することで動きを容易に判別できる。
【０２１３】
また、動きの検出結果に基づき、画像端部領域がレイヤ分けされてレイヤ毎に画面順序に応じた信号処理が行われるので、基準動画像に遠景や近景等の被写体が含まれていても、それぞれの被写体に応じた信号処理が行われて奥行感のある正しい周辺動画像の画像信号を生成できる。
【０２１４】
さらに、レイヤ毎の画像を貼り付けたときに隙間領域が生じたときには、隙間部分の画像の画像信号が補間処理によって生成されるので、良好な側面動画像の画像信号を生成できる。また、周辺動画像の投影面の向きに応じた信号変換処理が行われることから、奥行感のある周辺動画像をリアルに表示できる。
【図面の簡単な説明】
【図１】表示システムの構成を示す図である。
【図２】画像投影状態を示す図である。
【図３】第１の実施の形態の画像処理装置の構成を示す図である。
【図４】動き検出領域の設定を説明するための図である。
【図５】動き量の算出方法を説明するための図である。
【図６】ズーム時の領域サイズの変化を示す図である。
【図７】動き量算出ブロックの構成を示す図である。
【図８】各動き検出領域の動き量を示す図である。
【図９】レイヤ化処理ブロックの構成を示す図である。
【図１０】閾値の設定を説明するための図である。
【図１１】周辺画像信号生成ブロックの構成を示す図である。
【図１２】右側面動画像の生成動作を説明するための図である。
【図１３】隙間領域の発生と補間処理を説明するための図である。
【図１４】画像変換処理を説明するための図である。
【図１５】コンピュータを用いた構成を示す図である。
【図１６】第１の実施の形態における画像処理プログラムの全体構成を示すフローチャートである。
【図１７】第１の実施の形態での動き検出を示すフローチャートである。
【図１８】第１の実施の形態でのレイヤ化処理を示すフローチャートである。
【図１９】第１の実施の形態での周辺画像信号生成を示すフローチャートである。
【図２０】第２の実施の形態の画像処理装置の構成を示す図である。
【図２１】各動き検出領域の動きベクトルを示す図である。
【図２２】画像基準位置の判別方法を示す図である。
【図２３】動き検出部の構成を示す図である。
【図２４】レイヤ分類部の構成を示す図である。
【図２５】ベクトル方向と動きパターンの関係を説明するための図である。
【図２６】レイヤ分類情報の生成動作を説明するための図である。
【図２７】情報生成部の構成を示す図である。
【図２８】レイヤ毎の中間画像を示す図である。
【図２９】補間処理後のレイヤ毎の中間画像を示す図である。
【図３０】周辺画像信号生成ブロックの構成を示す図である。
【図３１】第２の実施の形態における画像処理プログラムの全体構成を示すフローチャートである。
【図３２】第２の実施の形態での動き検出を示すフローチャートである。
【図３３】第２の実施の形態でのレイヤ化処理を示すフローチャートである。
【図３４】第２の実施の形態での周辺画像信号生成を示すフローチャートである。
【図３５】第３の実施の形態の画像処理装置の構成を示す図である。
【図３６】幾何変換処理を説明するための図である。
【図３７】動き判別画像生成部の動作を説明するための図である。
【図３８】動き量の判別動作の原理を説明するための図である。
【図３９】積分画像生成部の構成を示す図である。
【図４０】積分画像生成部の動作を説明するための図である。
【図４１】動き量判別部の動作を説明するための図である。
【図４２】後退レイヤの動き判別画像の生成動作を説明するための図である。
【図４３】情報生成部の構成を示す図である。
【図４４】射影面画像と生成した側面動画像を示す図である。
【図４５】画像変換処理を説明するための図である。
【図４６】第３の実施の形態における画像処理プログラムの全体構成を示すフローチャートである。
【図４７】第３の実施の形態での動き検出処理を示すフローチャートである。
【図４８】第３の実施の形態でのレイヤ化処理を示すフローチャートである。
【図４９】第３の実施の形態での周辺画像信号生成を示すフローチャートである。
【符号の説明】
１０L，１０C，１０R・・・スクリーン、１２L，１２C，１２R・・・プロジェクタ、１５Ａ，１５Ｂ，１５Ｃ・・・画像処理装置、１６，２６，４１，２２４、６２２-1〜６２２-5・・・遅延部、２０，４０・・・動き量算出ブロック、２２，４５，８０・・・レイヤ分割処理ブロック、２４，６０，７２・・・周辺画像信号生成ブロック、３０・・・コンピュータ、４２・・・動き検出部、４４・・・画像信号生成部、４６・・・レイヤ分類部、４７・・・情報生成部、５０・・・蓄積部、５１・・・正面動画像信号蓄積領域、５２・・・中間画像情報蓄積領域、６１・・・画像生成制御部、６２・・・信号抽出部、６３・・・射影変換部、６４・・・画像信号合成部、７１・・・幾何変換部、７３・・・判別画像生成部、７４・・・積分画像生成部、７５・・・動き判別部、８１・・・レイヤ分類部、８２・・・情報生成部、２０１・・・サイズ変更部、２０２，４２２・・・誤差和算出部、２０３，４２３・・・比較部、２０４，４２４・・・データ格納部、２０５・・・拡大率設定部、２２１・・・統計情報算出部、２２２・・・レイヤ分割閾値設定部、２２３・・・レイヤ判定部、２２５・・・レイヤ移動量算出部、２４１・・・信号抽出部、２４２，２４３，２４４・・・加算部、２４５・・・画像シフト部、２４６・・・補間部、２４７・・・中景貼り付け部、２４８・・・近景貼り付け部、２４９・・・画像変換部、４２１・・・サイズ変換部、４２５・・・探索制御部、４６１・・・パターン判定部、４６２・・・レイヤ確定部、４６３・・・分類部、４６４・・・閾値設定部、４６５・・・分類補正部、４７１，８２１・・・動き量平均値算出部、４７２，８２２・・・中間画像信号生成部、４７３，８２３・・・中間画像信号補間部、６２１-1〜６２１-5・・・合成部、６２３-1〜６２３-5・・・画像シフト部、６３１〜６３４・・・変換部、６４１・・・遠景合成部、６４２・・・中景合成部、６４３・・・近景合成部、６４４・・・縮小画合成部、７４１-1〜７４１-ns・・・加算処理部、７４２-1〜７４２-ns・・・領域選択部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image signal generation method, an image processing program, and an information recording medium. Specifically, using a plurality of frames of input image signals, for example, the movement of an image end region in the image based on the input image signals is detected, and based on the detected movement and the plurality of frames of input image signals, the frame of interest And an image signal of a peripheral moving image having the same time and a different angle of view from the image of the frame of interest.
[0002]
[Prior art]
In recent years, a multi-screen display system, a curved display, a wide-angle display, a head-mounted display, and the like have been put into practical use in order to display an image with enhanced realism.
[0003]
Here, in order to display an image with a higher sense of presence using the display as described above, for example, a three-dimensional virtual space is constructed by computer graphics. In addition, a large number of video cameras are used or a wide-angle lens is attached to the video camera to capture a wide range of space, and the captured image is converted into a flat or curved surface such as a multi-surface display or a head-mounted display and displayed. Yes.
[0004]
[Problems to be solved by the invention]
By the way, in the case of performing moving image display with enhanced realism using a multi-screen display, a wide-angle display, or the like, a high-speed computer device is used to construct a three-dimensional virtual space with computer graphics. Therefore, a large amount of cost and time are required, and the image is less realistic and realistic than a real image.
[0005]
In addition, when using live-action images, it is necessary to shoot the entire range without gaps in order to present a wide range of space, such as a large number of video cameras and video cameras with special lenses. A capture device is required, and a large amount of cost is required.
[0006]
Furthermore, when an image source shot with a general video camera already exists, a wide range of images cannot be presented unless the same scene is retaken with a plurality of video cameras.
[0007]
Therefore, according to the present invention, an image processing apparatus, an image signal generating method, and information that can generate a peripheral moving image corresponding to the moving image at the same time as the moving image by using an image signal of a moving image serving as a reference. A transmission recording medium is provided.
[0008]
[Means for Solving the Problems]
The image processing apparatus according to the present invention detects a movement of a predetermined area in an image formed on a specific plane. Using multi-frame input image signal Based on motion detection means to detect, layering processing means for classifying a predetermined area based on the motion detected by the motion detection means, and generating information indicating the classification result, classification information and a plurality of frames of input image signals In addition, the image processing apparatus includes peripheral image signal generation means that generates an image signal of a peripheral image that has the same time as the target frame in the input image signal and has a different angle of view from the image of the target frame.
[0009]
In addition, the image processing apparatus uses the image signal of the reference moving image that generates the movement satisfying at least one constraint condition, and uses the constraint condition to move the image end region in the screen for each screen of the reference moving image. A motion detection means for detecting the layer, a layering processing means for determining a layer of the predetermined area based on the motion detected by the motion detection means, and generating layer information, and layer information generated by the layering processing means And the image signal of the image edge area The The image processing apparatus includes a peripheral image generation unit that performs signal processing and generates an image signal of a peripheral moving image corresponding to the reference moving image while having the same time as the reference moving image.
[0010]
According to the image signal generation method of the present invention, the movement of a predetermined area in an image formed on a specific plane is detected. Multi-frame input image signal It is assumed that information is generated by classifying a predetermined region based on the detected movement and indicating a classification result, and based on the classification information and the input image signal of a plurality of frames, An image signal of a peripheral image having the same time as the frame of interest and a different angle of view from the image of the frame of interest is generated.
[0011]
In addition, the image signal generation method uses a reference moving image that generates a movement that satisfies at least one constraint condition, and detects the movement of the image edge region for each screen of the reference moving image by using the constraint condition. Based on the detected motion, use the image signal of the image edge area The Signal processing is performed to generate an image signal of a peripheral moving image corresponding to the reference moving image at the same time as the reference moving image.
[0012]
An image processing program according to the present invention allows a computer to detect movement of a predetermined area in an image formed on a specific plane. Using multi-frame input image signal A process of detecting, a process of classifying a predetermined region based on the detected motion and generating information indicating a classification result, and a frame of interest in the input image signal based on the classification information and the input image signal of a plurality of frames. And a process of generating an image signal of a peripheral image having a different angle of view from the image of the frame of interest at the same time.
[0013]
In addition, the image processing program uses the reference moving image that generates a movement satisfying at least one constraint condition to the computer, and detects the movement of the image end region for each screen of the reference moving image by using the constraint condition. Based on the first process and the detected motion, the image signal of the image end area is used. The Signal processing is performed to execute a process including a second process for generating an image signal of a peripheral moving image corresponding to the reference moving image at the same time as the reference moving image.
[0014]
The information recording medium according to the present invention allows a computer to detect movement of a predetermined area in an image formed on a specific plane. Using multi-frame input image signal A process of detecting, a process of classifying a predetermined region based on the detected motion and generating information indicating a classification result, and a frame of interest in the input image signal based on the classification information and the input image signal of a plurality of frames. And a program for executing a process of generating an image signal of a peripheral image having a different angle of view and an image of the frame of interest in a computer-readable manner.
[0015]
In addition, the information recording medium uses the reference moving image that causes the computer to move that satisfies at least one constraint condition, and detects the movement of the image end area for each screen of the reference moving image by using the constraint condition. Based on the first process and the detected motion, the image signal of the image end area is used. The A computer-readable recording of a program for performing a signal processing and executing a process including a second process for generating an image signal of a peripheral moving image corresponding to the reference moving image at the same time as the reference moving image It is.
[0016]
In the present invention, for example, with respect to a reference moving image that causes a movement that satisfies a constraint condition that the movement of the image is a radial direction centered on a predetermined position, a plurality of motion detection regions are provided in the image end region of the reference moving image. An error value with respect to the image on the previous screen is calculated while the image of the motion detection area is zoomed around a predetermined position, and the position where the calculated error value is minimized is detected. The movement of the detection area is determined.
[0017]
Based on this motion detection result, the image edge region is divided into layers, the movement amount is set for each layer, and the image of the layered image edge region is determined based on the movement amount of the corresponding layer. An image is extracted from the moving image and is pasted in order from a layer with a small amount of movement to a layer with a large amount of movement. In addition, the image of each layer that has already been pasted is moved according to the amount of movement set for each layer, and the extracted image is added to the moved image before pasting the image in units of layers. Is called.
[0018]
Here, when a gap portion is generated in the image by the pasting process in units of layers, an image signal of the image in the gap region is generated by extending the image located behind the gap portion in the moving direction of the layer. Further, signal conversion processing corresponding to the orientation of the projection plane of the peripheral moving image is performed on the image signal of the image pasted in units of layers.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the overall configuration of a display system using an image processing apparatus according to the present invention. In this display system, for example, three screens are arranged on the front and both sides of the user, and images are projected from projectors 12L, 12C, and 12R corresponding to the screens 10L, 10C, and 10R, thereby presenting a wide range of images. Is done. The projectors 12L, 12C, and 12R are connected to the image processing device 15A (15B and 15C).
[0020]
In this image processing device 15A (15B, 15C), a motion of a predetermined region in an image formed on a specific plane is detected using input image signals of a plurality of frames, and a predetermined motion is determined based on the detected motion. The area is classified and information indicating the classification result is generated. Further, based on the classification information and the input image signal of a plurality of frames, an image signal of a peripheral image having the same time as the frame of interest in the input image signal and having a different angle of view from the image of the frame of interest is generated.
[0021]
The image processing device 15A receives an image signal taken while moving, for example, an image signal SDC of a moving image taken forward by an in-vehicle camera. The image processing device 15A delays the input image signal SDC by a time required for generating side image peripheral image signals SDL and SDR of a side moving image, which will be described later, and then supplies it to the projector 12C as an image signal SDC '. The projector 12C projects the front moving image UC based on the image signal SDC ′ onto the screen 10C located in front as shown in FIG. Further, the image processing device 15A is adjacent to the side moving image corresponding to the front moving image UC, that is, the field-of-view range (viewing angle range) of the in-vehicle camera, based on the image signal SDC of the front moving image UC that is the reference moving image. Then, the peripheral image signals SDL and SDR of the left and right side image are generated. The projector 12L receives the peripheral image signal SDL of the generated left side moving image UL, and projects the left side moving image UL on the screen 10L located on the left side based on the peripheral image signal SDL. The projector 12L receives the peripheral image signal SDR of the generated right side moving image UR, and projects the right side moving image UR on the screen 10R located on the right side based on the peripheral image signal SDR.
[0022]
FIG. 3 shows the configuration of the image processing apparatus 15A according to the first embodiment. The image signal SDC is supplied to the delay unit 16, the motion detection block 20, and the peripheral image signal generation block 24 of the image processing device 15A. The motion detection block 20 sets a plurality of motion detection areas AR as shown in FIG. 4 on the image end area of the moving image, for example, on both side ends of the front moving image UC, and the image of each motion detection area AR is displayed. The motion amount MV is calculated and supplied to the layering processing block 22. This motion amount MV is calculated based on the image signal SDC of this motion detection area and the image signal SDd one frame before.
[0023]
The layering processing block 22 is a region of a distant view image (distant view layer) obtained by photographing a subject in which each motion detection region is separated, a region of a foreground image (close view layer) obtained by photographing a close subject, or It is determined based on the amount of movement MV whether the region is a middle-ground image region (middle-ground layer) located between the far-view image and the foreground image. Further, based on the determination result, layer identification information LS indicating whether each motion detection area belongs to a distant view, a middle view, or a foreground layer is generated and supplied to the peripheral image signal generation block 24. Further, the layer movement amount LV for each layer is calculated for each frame based on the statistical information calculated using the movement amount of the motion detection area included in the layer, and the layer movement amount LV is supplied to the peripheral image signal generation block 24. To do.
[0024]
The peripheral image signal generation block 24 extracts the front moving image by the layer movement amount LV of the corresponding layer in the motion detection region from each position set in the image end region corresponding to the motion detection region. The peripheral image signal generation block 24 performs image composition by sequentially superimposing the extracted images from a distant view layer with a small amount of movement to a near view layer with a large amount of movement, and then the projection plane of the side moving image. The peripheral image signals SDL and SDR of the side moving image having the same time as the front moving image are generated and output.
[0025]
Further, by supplying the image signals SEL and SER of the side moving image for each layer to the delay unit 26, the image signals are delayed by one frame and then supplied to the peripheral image signal generation block 24. Here, the peripheral image signal generation block 24 moves the image based on the image signals SELd and SERd of the side moving image delayed by one frame for each layer according to the movement amount set for each layer. The peripheral image signal generation block 24 adds the image extracted from the front moving image to the moved image, and then superimposes the images in layers, and combines the peripheral image signals SDL and SDR of the side moving image. Generate.
[0026]
Further, when creating an image in which images of a distant view, a middle view, and a foreground are superimposed in order, if a gap portion without an image is generated due to a difference in layer movement amount, the peripheral image signal generation block 24 Is supplemented by interpolation processing to generate peripheral image signals SDL and SDR of a side moving image without a gap portion.
[0027]
Next, the configuration and operation of each block will be described in detail with reference to the drawings. In the following description, only the right side moving image will be described, and the description of the generation of the left side moving image will be omitted.
[0028]
As described above, the motion detection block 20 determines the motion amount MV of the image for each motion detection area. Here, as described above, when the front image is taken out from one point (hereinafter referred to as “image reference position”) CP by photographing the front with the in-vehicle camera, the motion detection block 20 displays the front moving image. The amount of movement is determined by adding a constraint condition that the movement direction is from one point to the radial direction. In this case, the front moving image at time T shown in FIG. 5A is, for example, the front moving image at time T around the image reference position CP as shown in FIG. 5B at time T ′ after one frame time has elapsed. This is almost the same as the zoomed image. For this reason, it is considered that the distance from the image generation position to the center of the motion detection area is proportional to the enlargement ratio in the zoom operation. Therefore, as shown in FIG. 5C, the motion detection block 20 sets an enlargement ratio Z around the image reference position CP to reduce the motion detection region to (1 / Z), and the reduced region and The amount of motion for each motion region is calculated by calculating the sum of errors with the image signal at the corresponding position in the image one frame before and detecting the enlargement factor Z at which this error sum is the minimum value.
[0029]
Here, when the reduction process is performed, there are pixels in which the coordinate values of the pixels in the region are not integer values. On the other hand, in the image one frame before which the reduction process is not performed, the coordinate value of the pixel in the region is an integer value. Therefore, linear interpolation is performed on the reduced image, and the signal level at the position where the coordinate value becomes an integer value is calculated. For example, as shown in FIG. 6, when the motion detection area of Ka × Ka pixels is multiplied by (1 / Z), the area size becomes Kb × Kb pixels, and linear interpolation is performed to obtain Ka × Ka pixels. Is used to calculate a signal level where the number of pixels is “Kb × Kb”. By calculating the sum of errors using this calculated signal level, the amount of motion can be determined with high accuracy.
[0030]
FIG. 7 shows the configuration of the motion detection block 20. The image signal SDc is supplied to the size changing unit 201, and the image signal SDcd of the previous frame is supplied to the error sum calculating unit 202. The size changing unit 201 sets a plurality of motion detection areas by dividing the right end portion of the front moving image, for example, in units of 16 × 16 pixels. In the following description, the operation of each unit with respect to one motion detection area is shown.
[0031]
The size changing unit 201 uses the enlargement factor Z supplied from the enlargement factor setting unit 205 to generate an image signal SDz of the motion detection region that is multiplied by (1 / Z) with the image reference position CP as the center. This is supplied to the sum calculation unit 202. In addition, when the image signal SDz is supplied to the error sum calculation unit 202, the coordinate value Pz of the center of the motion detection area moved by (1 / Z) multiplication with the image reference position CP as the center is also calculated as the error sum. To the unit 202. Note that the image signal SDz is a signal converted into a signal level for each pixel position by interpolation processing as described with reference to FIG.
[0032]
The error sum calculation unit 202 selects an image signal of an area corresponding to the motion detection area multiplied by (1 / Z) from the image signal SDd one frame before, with the coordinate value Pz indicated by the size changing unit 201 as a reference. To do. Using this selected signal and the image signal SDz of the motion detection region multiplied by (1 / Z), an error for each pixel is calculated and added to calculate an error sum ET and notify the comparison unit 203 of the error.
[0033]
The comparison unit 203 compares the error sum minimum value ETL with the error sum ET calculated by the error sum calculation unit 202. Here, when the error sum minimum value ETL is not set, the error sum ET calculated first is set as the error sum minimum value ETL. The error sum minimum value ETL may be set in advance to a value larger than the calculated error sum. When the error sum ET is smaller than the error sum minimum value ETL as a result of the comparison between the error sum minimum value ETL and the error sum ET, the error sum ET is set as a new error sum minimum value ETL and the error sum minimum value An update signal CH indicating that the ETL has been updated is notified to the data storage unit 204. Further, the comparison unit 203 notifies the enlargement factor setting unit 205 of a signal CE indicating that the comparison between the error sum ET and the minimum error sum value ETL is completed.
[0034]
The data storage unit 204 is notified of the enlargement factor Z from the enlargement factor setting unit 205, and stores the notified enlargement factor Z when the update signal CH indicates that the error sum minimum value ETL has been updated. To do. When the enlargement ratio is already stored, the stored enlargement ratio is updated with the notified enlargement ratio Z. When the signal CHZ indicating completion of the enlargement ratio changing process is supplied from the enlargement ratio setting unit 205, the stored enlargement ratio Z is supplied to the layering processing block 22 as the motion amount MV.
[0035]
The enlargement ratio setting unit 205 presets a lower limit value and an upper limit value of the enlargement ratio (for example, lower limit value = 1.0, upper limit value = 1.1), and first sets the lower limit value as the enlargement ratio Z and the size changing unit 201. The data storage unit 204 is notified. Thereafter, each time the signal CE indicating that the comparison between the error sum ET and the minimum error sum ETL is completed is supplied from the comparison unit 203, the enlargement ratio Z is sequentially increased by a predetermined amount (for example, step 0.005). The size change unit 201 and the data storage unit 204 are notified. Thereafter, when the enlargement factor Z reaches the upper limit value, the enlargement factor setting unit 205 notifies the data storage unit 204 of a signal CHZ indicating completion of the enlargement factor change process.
[0036]
As described above, the enlargement factor setting unit 205 sequentially increases the enlargement factor to sequentially reduce the image of the motion detection region, and compares the image of the reduced region with the image of the previous frame, thereby reducing the error most. By storing the enlargement rate at the time of decreasing in the data storage unit 204, when the change processing of the enlargement rate in the size changing unit 201 is completed, the motion amount MV of this motion detection area is layered from the data storage unit 204. Processing block 22 can be supplied.
[0037]
The same processing is also performed for all the set motion detection areas using the enlargement factor Z set by the enlargement factor setting unit 205. When the enlargement ratio changing process in the enlargement ratio setting unit 205 is completed, as indicated by the length of the arrow in FIG. 8, the motion amount MV of each motion detection area AR is determined, and the motion of each motion detection area is determined. The amount MV can be notified from the data storage unit 204 to the layering processing block 22.
[0038]
The layering processing block 22 sets a threshold value and compares it with the amount of motion to determine which of the plurality of layers each motion detection region belongs to, and classifies the image end region into a plurality of layers. Here, the distant view image has a small amount of motion, and the near view image has a large amount of motion. For this reason, the layering processing block 22 can determine whether each motion detection region belongs to a layer, for example, a distant view, a middle view, or a foreground by setting a threshold value and comparing it with a motion amount.
[0039]
FIG. 9 shows the configuration of the layering processing block 22. The motion amount MV supplied from the motion detection block 20 is supplied to the statistical information calculation unit 221 and the layer movement amount calculation unit 225. The statistical information calculation unit 221 obtains statistical information MS based on the supplied motion amount for each region, for example, the average value and the maximum value and the minimum value of the motion amount, or the frequency distribution obtained by classifying the motion amount. This is supplied to the layer division threshold setting unit 222.
[0040]
The layer division threshold setting unit 222 sets the threshold Th based on the statistical information MS obtained by the statistical information calculation unit 221 and supplies the threshold Th to the layer determination unit 223 and the delay unit 224. The layer division threshold value setting unit 222 is supplied with a threshold value Thd of one frame before, which is a threshold value delayed by one frame by the delay unit 224, and one frame based on the statistical information MS obtained by the statistical information calculation unit 221. The new threshold Th is set by correcting the previous threshold Thd.
[0041]
Here, when the maximum value and the minimum value of the motion amount are indicated as the statistical information MS, when n threshold values are set, the range of the maximum value and the minimum value as the motion amount appearance range is expressed as (n−1). ) Divide equally to set the threshold. For example, as shown in FIG. 10A, the range from the maximum value MVmax to the minimum value MVmin is equally divided into three, and the boundary values are set to threshold values Th-1 and Th-2. Alternatively, the threshold values Th-1 and Th-2 are set based on the equations (1) and (2) using the average value MVavg.
[0042]
[Expression 1]

[0043]
When a threshold value one frame before is supplied, a new threshold value is calculated by correcting the threshold value based on the statistical information obtained by the statistical information calculation unit 221. For example, when the threshold values of the previous frame are “Thd−1” and “Thd-2”, the threshold values Th−1 and Th−2 are calculated using the equations (3) and (4). “Α” and “β” are coefficients.
[0044]
[Expression 2]

[0045]
When a histogram as shown in FIG. 10B is displayed as statistical information, the minimum amount of motion is determined, and thresholds Th-1 and Th-2 are set based on the determined minimum amount of motion. You can also Further, the threshold values Thd-1 and Thd-2 that have already been set based on the histogram are corrected based on the statistical information obtained by the statistical information calculation unit 221 in the same manner as described above, and new threshold values Th-1 are obtained. , Th-2 may be obtained. As described above, the threshold set by the layer division threshold setting unit 222 is supplied to the layer determination unit 223.
[0046]
The layer determination unit 223 compares the amount of motion MV of each motion detection region with the threshold Th set by the layer division threshold setting unit, and determines which layer the image end region belongs to. In addition, layer identification information LS indicating this result is generated and supplied to the layer movement amount calculation unit 225 and the peripheral image signal generation block 24. The layer movement amount calculation unit 225 calculates an average value for each layer based on the movement amount of the motion detection area included in the layer, and supplies the average value to the peripheral image signal generation block 24 as the layer movement amount LV.
[0047]
By the way, when the motion detection area is a part of the blue sky, for example, even if the motion detection block 20 calculates the error sum by reducing the motion detection area, the error sum becomes substantially constant regardless of the enlargement ratio. Therefore, there is a possibility that the amount of movement cannot be accurately determined. For this reason, when the motion amount MV cannot be determined, the motion detection block 20 supplies information indicating the color of the image in the motion detection area to the layering processing block 22. In addition, the layering processing block 22 performs layer division using information indicating color. For example, in a motion detection region where the motion amount cannot be calculated, when the color of the image in this region is a blue sky color, the layer identification information LS is generated by assigning this region to a distant view layer.
[0048]
Next, based on the layer identification information LS and the layer movement amount LV, the peripheral image signal generation block 24 extracts an image corresponding to the corresponding layer movement amount from the layered image edge region. In addition, the peripheral image signal generation block 24 moves the side-moving image that has been generated one frame before for each layer, and then superimposes the images extracted by the amount of layer movement for each layer. To generate a side moving image. Furthermore, the directions of the projection plane of the front moving image and the projection plane of the right side moving image are different. Therefore, the peripheral image signal generation block 24 converts the generated side moving image into an image corresponding to the projection plane, thereby generating and outputting an image signal of the side moving image to be projected on the screen.
[0049]
FIG. 11 shows the configuration of the peripheral image signal generation block 24. This peripheral image signal generation block 24 is configured when the image processing area of the front moving image is divided into three layers of a distant view, a middle view, and a foreground in the layering processing block 22.
[0050]
The layer identification information LS and the layer movement amount LV generated in the layering processing block 22 are supplied to the signal extraction unit 241. The signal extraction unit 241 extracts an image signal corresponding to the amount of layer movement for each layer from the image end area of the front moving image based on the image signal SDC of the front moving image. For example, as shown in FIG. 12A, for each position of the motion detection area, the image UE is extracted from the right end of the front moving image by the amount of layer movement corresponding to the layer of the motion detection area. Here, when the motion detection area is determined to be a distant view layer, signals corresponding to the number of pixels corresponding to the amount of layer movement of the distant view layer are extracted from the right end of the front moving image at a position corresponding to the motion detection area. . Further, when it is determined as the middle scene layer or the foreground layer, a signal having the number of pixels corresponding to the layer movement amount of the middle scene layer or the foreground layer is extracted from the right end of the front moving image. If image synthesis is performed by superimposing the extracted images of each layer, a right side moving image UR can be generated as shown in FIG. 12B.
[0051]
In this way, the image signal SR-f of the distant view layer extracted by the signal extracting unit 241 is supplied to the adding unit 242. The extracted middle-ground layer image signal SR-m is supplied to the adding unit 243, and the extracted near-ground layer image signal SR-n is supplied to the adding unit 244.
[0052]
The image shift unit 245 is notified of the amount of layer movement from the layering processing block 22 and is supplied from the delay unit 26 with image signals SERd-f, SERd-m, and SERd-n for each previous layer. . The image shift unit 245 generates an image signal SRd-f obtained by moving the image of the distant view layer based on the image signal SERd-f by the amount of layer movement of the distant view layer, and supplies the image signal SRd-f to the adder 242. Similarly, the image shift unit 245 generates an image signal SRd-m obtained by moving the image of the middle scene layer based on the image signal SERd-m by the layer movement amount of the middle scene layer, and supplies the image signal SRd-m to the adding unit 243. Then, the image signal SRd-n obtained by moving the image of the foreground layer based on the image signal SERd-n by the amount of the layer movement of the foreground layer is generated and supplied to the adding unit 244.
[0053]
The adder 242 generates an addition signal SRA-f of the image signal SR-f and the image signal SRd-f and supplies the generated signal SRA-f to the interpolation unit 246. Similarly, the addition unit 243 generates an addition signal SRA-m of the image signal SR-m and the image signal SRd-m and supplies the addition signal SRA-m to the interpolation unit 246, and the addition unit 244 adds the image signal SR-n and the image signal SR-m. An addition signal SRA-n with the signal SRd-n is generated and supplied to the interpolation unit 246.
[0054]
Here, for example, when the right side moving image UR generated by superimposing the image signals SERd-f, SERd-m, and SERd-n is as shown in FIG. Since the image is moved by the layer movement amounts MR1 and MR2, the right side moving image UR generated by superimposing the image signals SRd-f, SRd-m, and SRd-n is as shown in FIG. 12D. Further, since the image signals SR and SRd are added by the adders 242, 243, and 244, the image UE is synthesized by superimposing the addition signals SRA-f, SRA-m, and SRA-n, and the right side surface. The moving image UR is as shown in FIG. 12E, and a right-side moving image after one frame period has elapsed with respect to FIG. 12C can be generated. At this time, the image shift unit 245 moves the image for each layer by the amount of movement of each layer, and extracts the image for each layer movement amount for each layer from the right end of the front moving image. Therefore, the image is superimposed from the front moving image by the amount of the moved image, and each layer becomes a continuous image even if the image is moved.
[0055]
When the interpolation unit 246 performs image composition by sequentially superimposing images of layers with a small amount of movement based on the addition signals supplied from the addition units 242, 243, and 244, there is no image due to the difference in the amount of movement of the layers. It is determined whether or not a gap portion is generated. When a gap portion is generated, an image of the gap region is generated by interpolation. For example, when a subject such as a building is photographed with a vehicle-mounted camera, the moving amount of the distant view layer is small and the moving amount of the foreground layer is large. Therefore, when the image shift unit 245 moves the distant view image, the middle view image, and the foreground image of the right side moving image by the amount of movement of each layer, for example, in the right side moving image shown in FIG. When UR2 and the foreground layer image UR2 are adjacent to each other and the amount of movement of the foreground layer and the amount of movement of the middle scene layer are different, if the image is moved for each layer, a gap area UN without an image is obtained as shown in FIG. 13B. May occur. Note that the gap region can be determined by using a method such as setting a flag indicating that at a place where the images are superimposed.
[0056]
For this reason, the interpolation unit 246 performs interpolation using the peripheral pixels of the gap area, creates an image of the gap area, and superimposes the images. For example, as shown in FIG. 13C, the gap region is interpolated by extending an image located on the rear side of the gap region to the gap region side that is the moving direction of the layer. In this way, by performing the interpolation process, it is possible to generate an image signal of the right side moving image having no gap area in the right side moving image. Further, by performing interpolation by extending the image located on the rear side in the moving direction side of the layer, it is possible to prevent an image with a large amount of movement from becoming long and trailing while moving. Alternatively, the peripheral image may be shifted to the gap area side. Further, the interpolation unit 246 performs interpolation processing by creating a plurality of pixels and filling the gap area by using a weighted average of distances using peripheral image signals, that is, a weighted average of pixels in an adjacent area in contact with the gap area. It can be done.
[0057]
The added signal SRA-f after the interpolation processing by the interpolating unit 246 is supplied to the middle scene synthesizing unit 247 and the delay unit 26 as an image signal SER-f. Similarly, the mid-ground layer addition signal SRA-m is supplied as an image signal SER-m to the mid-ground composition unit 247 and the delay unit 26, and the foreground layer addition signal SRA-n is supplied to the image signal SER-n. To the foreground composition unit 248 and the delay unit 26.
[0058]
Using the image signal SER-f and the image signal SER-m, the middle scene composition unit 247 generates an image signal SER-fm in which the middle scene layer image is superimposed on the far view layer image, and sends it to the foreground composition unit 248. Supply.
[0059]
The foreground composition unit 248 uses the image signal SER-fm and the image signal SER-n to perform image composition by further superimposing the foreground image on the image obtained by superimposing the foreground image on the distant view image. An image signal SFR of the image is supplied to the image conversion unit 249.
[0060]
The image conversion unit 249 converts the image signal SER of the right side moving image supplied from the foreground composition unit 248 into a peripheral image signal SDR for image projection. Here, the image based on the image signal SFR supplied from the foreground composition unit 248 moves the image of the previous frame according to the amount of layer movement as described above, and extracts the amount corresponding to the amount of layer movement from the front moving image UC. The extracted image is superimposed on the moved image. For this reason, the image UR ′ indicated by the solid line in FIG. 14A is obtained, and the image does not appear from the image reference position CP as indicated by the broken line. Further, as shown in FIG. 14B, the projection surfaces of the screen 10R for projecting the right-side moving image and the screen 10C for projecting the front-side moving image are not in the same direction. For this reason, the image conversion unit 249 performs an image conversion process in which the image UR ′ based on the image signal SFR is converted into a right side moving image UR that protrudes from the image reference position CP.
[0061]
That is, as the image conversion process, the image conversion unit 249 enlarges the image based on the image signal SFR in the vertical direction in proportion to the distance from the image reference position CPR corresponding to the right side moving image projected on the screen 10R. In the horizontal direction, the image is enlarged so that the motion of the image is proportional to the distance from the image reference position CPR.
[0062]
Here, as shown in FIG. 14C, the length from the front end of the right side moving image to the image reference position CPR is “L”, the length of the right side moving image in the horizontal direction is “A”, and the front moving image When the proportionality constant γ based on the angle θs formed by the projection plane and the right side moving image projection plane is set, as shown in FIG. 14D, the position (x, y) of the image based on the image signal SFR corresponds to this position. The relationship between the position (X, Y) after image conversion to be performed can be approximately expressed by equations (5) and (6). Note that the lengths “L” and “A” and the proportionality constant γ are set in advance before the side moving image is generated.
[0063]
[Equation 3]

[0064]
Therefore, if the signal at the position (x, y) on the image based on the image signal SFR calculated based on the equations (5) and (6) is extracted as the signal at the position (X, Y) after the image conversion, the image The converted peripheral image signal SDR can be easily generated. Further, the peripheral image signal SDL of the left side moving image can be generated in the same manner. For this reason, the projector 12R can project a right-side moving image with higher presence as shown in FIG. 14E by projecting the right-side moving image onto the screen 10R using the peripheral image signal SDR. Further, the projector 12L can project a left-side moving image with higher presence by projecting the left-side moving image on the screen 10L using the peripheral image signal SDL. Further, if the projector 12C projects the front moving image on the screen 10C based on the image signal SDC ′ that is an image signal obtained by delaying the image signal SDC by the time required to generate the peripheral image signals SDL and SDR, the front moving image By using only the image signal SDC of the image, it is possible to project a front moving image and good left and right side moving images in real time. In the above description, the side moving image is generated. However, the moving image on the upper surface side or the bottom surface side can be displayed in real time in the same manner. It should be noted that the layering, threshold setting, the number, size, and position of the motion detection areas in the first embodiment described above and the second and third embodiments to be described later are illustrative and limited. Not a thing. For example, a block matching method or the like can be used for obtaining the motion of the motion detection area. However, this method is desirable depending on the zoom ratio of the forward image and the backward image. The threshold calculation in layer division may be any method as long as the layer can be appropriately determined based on the motion information (motion amount / direction).
[0065]
Furthermore, the processing performed in each block described above may be realized not only by hardware but also by software. The configuration in this case is shown in FIG.
[0066]
The computer 30 includes a CPU (Central Processing Unit) 301 as shown in FIG. 15, and a ROM 302, a RAM 303, a hard disk drive 304, and an input / output interface 305 are connected to the CPU 301 via a bus 320. ing. Further, an input unit 311, a recording medium drive 312, a communication unit 313, and an image input / output unit 314 are connected to the input / output interface 305.
[0067]
When a command is input from an external device or a command is input from an input unit 311 configured using an operation input unit such as a keyboard or a mouse or a voice input unit such as a microphone, the command is input to the input / output interface 305. To be supplied to the CPU 301.
[0068]
The CPU 301 executes a program stored in the ROM 302, RAM 303, or hard disk drive 304, and performs processing according to the supplied command. Further, the ROM 302, the RAM 303, or the hard disk drive 304 stores in advance an image processing program for causing the computer 30 to execute the same processing as that of the above-described image processing apparatus, and generates a side moving image that is a peripheral image. I do.
[0069]
FIG. 16 is a flowchart illustrating the overall configuration of the image processing program according to the first embodiment. In the figure, in step ST1, motion detection processing is performed to detect the amount of motion of the image. Next, in step ST2, layer information indicating which layer the image belongs to is generated by layering processing, and a motion amount for each layer is calculated. In step ST3, peripheral image generation processing is performed, and a peripheral image is synthesized based on the layer information and the amount of motion for each layer.
[0070]
FIG. 17 is a flowchart showing the motion amount detection process in step ST1 of FIG. In step ST11, a motion detection area is set for the front moving image, and the process proceeds to step ST12. In step ST12, the image in the motion detection area is reduced to calculate the error sum, and the process proceeds to step ST13. In step ST13, the already calculated error sums are compared to detect a motion amount that reduces the error sum, and the process proceeds to step ST14. In step ST14, it is determined whether or not the processes in steps ST12 and ST13 have been completed with an image size within a preset range. If not completed, the process returns to step ST11, and if completed, the process proceeds to step ST15. In step ST15, the motion amount with the smallest error sum is set as the motion amount in the motion detection region.
[0071]
FIG. 18 is a flowchart showing the layering process in step ST2 of FIG. In step ST21, statistical information, for example, an average value is calculated using the motion amount detected in the motion amount detection process in step ST1, and the process proceeds to step ST22. In step ST22, based on the statistical information, a threshold for dividing the image into, for example, a distant view, a middle view, and a close view is set. In step ST23, the set threshold value is compared with the motion amount, and layer information indicating which layer the motion detection region belongs to is generated. In step ST24, the motion amount for each layer is calculated based on the motion amount of the motion detection area included in the layer.
[0072]
FIG. 19 is a flowchart showing the peripheral image generation processing in step ST3 of FIG. In step ST31, an image is extracted for each layer from the front moving image based on the amount of motion and layer information for each layer generated in the layering process. In step ST32, composition of the extracted image of each layer is generated at a predetermined position. In step ST33, when image synthesis is performed, a portion without an image is generated, and it is determined whether or not interpolation processing for supplementing this portion of the image is necessary. Here, when a portion having no image is generated, the process proceeds to step ST34, and when a portion having no image is generated, the process proceeds to step ST35. In step ST34, interpolation processing is performed and the process proceeds to step ST35. For example, an image around a portion having no image is expanded and interpolated. In step ST35, geometric transformation processing is performed in accordance with the orientation of the screen on which the synthesized image is projected, and an image signal of the image subjected to this geometric transformation is output as an image signal of a peripheral image in step ST36.
[0073]
Such an image processing program includes a removable recording medium using magnetic or light, a removable information recording / transmission medium configured using a semiconductor element, for example, an optical disk such as a floppy (R) disk or a CD-ROM, or an MO disk. It may be recorded on a magneto-optical disk such as a tape cartridge or a semiconductor memory. In this case, the removable information recording / transmission medium is mounted on the recording medium drive 312 to read the image processing program, and the read program is stored in the ROM 302, the hard disk drive 304, or the like via the input / output interface 305 or the bus 320. You may install by doing.
[0074]
Further, the information recording and transmission medium includes a wired or wireless transmission path for transmitting the image processing program, for example, a network such as a LAN or the Internet, a satellite broadcast wave, a terrestrial broadcast wave, or the like. In this case, the information recording transmission medium is connected to the communication unit 313, and the image processing program transmitted via the information recording transmission medium is read from the ROM 302 or the hard disk via the communication unit 313, the input / output interface 305 and the bus 320. The image processing program is installed by being stored in the drive 304 or the like.
[0075]
Here, when the image signal of the front moving image is input to the image input / output unit 314 during the execution of the image processing program, the processing in the above-described image processing block is performed, and the side moving image is based on the image signal of the front moving image. The image signal is generated. The image signal shown in FIG. 2 can be displayed by outputting the generated image signal of the side moving image from the image input / output unit 314 and supplying it to the projectors 12L and 12R.
[0076]
As described above, according to the above-described embodiment, a moving image based on the image signal SDC can be obtained only by inputting the image signal SDC of a motion that satisfies at least one constraint condition obtained by photographing with one on-vehicle camera or the like. Since it is possible to present a peripheral image that does not exist in real time in real time, it is possible to present a multi-directional image with high presence.
[0077]
In addition, since the image of the originally absent part is created based on the input image, it is not necessary to use a large number of cameras or special cameras to obtain the image of the missing part, and it is low cost and has a wide display range and a sense of depth. An image can be obtained.
[0078]
Furthermore, since images are created using live-action images, more realistic image presentation is possible, and the 3D space is not reconstructed so as to create a virtual space with computer graphics. Images of different projection planes can be obtained.
[0079]
In addition, even for a huge image source that exists, if it is an image of a motion that satisfies at least one constraint condition, by performing the above-described processing, the image on both sides and the top and bottom sides are input. It can be presented at the same time, providing a greater sense of realism and representing a wide range of images.
[0080]
By the way, the above-described image processing device 15A adds the constraint condition that the moving direction of the front moving image is from one point to the radial direction, so that the image signal input with the front moving image, the left side moving image, and the right side moving image is input. The display was made in real time based on SDC. However, if the stored image signal SDC that can be freely read is used, the front moving image, the left side moving image, and the right side moving image are added based on the image signal SDC without adding the above-described constraint conditions. Can be displayed.
[0081]
The image processing device 15B that performs such processing supplies the stored image signal SDC of the front moving image taken by, for example, an in-vehicle camera to the projector 12C, and the front moving image based on the image signal SDC is shown in FIG. Are displayed on the screen 10C located in front of the screen. Further, the image processing device 15B, based on the stored image signal SDC of the front moving image, displays an image signal indicating a peripheral image of an angle of view not included in the field-of-view range of the in-vehicle camera, for example, left and right continuous with the front moving image. Intermediate image information for generating peripheral image signals SDL and SDR, which are image signals indicating the side moving images, is generated and stored. When the front moving image is displayed on the screen 10C, the peripheral image signals SDL and SDR of the side moving image continuous with the front moving image are generated using the accumulated intermediate image information, and the peripheral image signal SDL is generated by the projector 12L. And the peripheral image signal SDR is supplied to the projector 12R. Therefore, the left side moving image having continuity with the front moving image is displayed on the screen 10L located on the left side, and the right side moving image having continuity with the front moving image is displayed on the screen 10R located on the right side. Thus, an image with a wide angle of view can be presented. Note that the image signal SDC and the intermediate image information may be accumulated by the image processing device 15B or may be accumulated in an external storage means.
[0082]
Next, a case where the image signal SDC and intermediate image information are stored in the image processing device 15B will be described as a second embodiment of the present invention. FIG. 20 shows a schematic configuration of the image processing apparatus 15B. The image processing device 15B can display a front moving image, a left side moving image, and a right side moving image using the stored image signal SDC. The image signal SDC is accumulated in the front moving image signal accumulation area 51 of the accumulation unit 50, and is supplied to the delay unit 41 of the motion detection block 40, the motion detection unit 42, and the information generation unit 47 of the layering processing block 45. Is.
[0083]
The delay unit 41 delays the image signal SDC by one frame and supplies it to the motion detection unit 42 as the image signal SDCa. The motion detection unit 42 sets a plurality of motion detection areas partitioned as indicated by broken lines in FIG. 21 on the side edge side of the front moving image, and the image signal SDC of the target frame in this motion detection area and one frame Comparison with the previous image signal SDCa is performed for each motion detection region, and a motion vector MVE indicating the motion of the image is determined for each motion detection region and supplied to the layer classification unit 46 of the layering processing block 45.
[0084]
The layer classification unit 46 determines the motion pattern of the front moving image based on the motion vector MVE of each motion detection region, and performs layer setting when generating intermediate image information. For example, the layer classification unit 46 includes a distant view image layer obtained by photographing a distant subject, a near view image layer obtained by photographing a close subject, a middle view image layer positioned between the distant view image and the foreground image, and these layers. A layer setting is performed by determining how to provide a layer different from the layer. Here, the front moving image when the front moving image is captured by the in-vehicle camera is an image obtained by sequentially zooming in on the front moving image when going straight in one direction. When the car is moving backward, the front moving image is sequentially zoomed out. Furthermore, when the overtaking vehicle is photographed, the overtaking vehicle is displayed as a zoomed-out image in the zoom-in image. Further, when making a right turn or a left turn, for example, the upper side of the front moving image is moved in the horizontal direction and the lower side becomes a zoom-in image. For this reason, the layer classification | category part 46 shall determine the motion pattern of a front moving image based on the motion vector MVE of each motion detection area, and shall perform a layer setting based on the determined motion pattern. For example, when it is determined that the motion pattern goes straight in one direction, a layer of each image of the far view, middle view, and foreground is generated, and when it is determined that the motion pattern is a right turn or left turn, the distant view, middle view, A layer including an image moved in the horizontal direction is created as well as a layer of each image in the foreground. In addition, when the overtaking vehicle has a certain motion pattern, the layer setting is performed so as to create not only a layer of each image of a distant view, a middle view, and a close view but also a layer including a zoom-out image.
[0085]
Further, the layer classification unit 46 performs layer classification based on the motion vector MVE supplied from the motion detection unit 42 to which layer each motion detection region set on the side edge side of the front moving image belongs. This layer classification is performed using layers set according to the motion pattern. For example, the layer classifying unit 46 divides three layers, a distant view, a middle view, and a close view, and when a layer including an image moved in the horizontal direction and a layer including a zoom-out image are generated, these layers are generated. Layer classification including layers is performed. By this layer classification, the layer classification unit 46 generates layer classification information LB indicating which motion detection region belongs to which layer, and supplies the generated layer classification information LB to the information generation unit 47.
[0086]
The information generation unit 47 divides each motion detection region set in the front moving image based on the layer classification information LB from the layer classification unit 46 into layers, and uses the image signal of this motion detection region in the order of frames for each layer. To generate an intermediate image signal for each layer. Further, an average value of the motion amount is calculated for each layer based on the motion amount of the motion vector MVE of the motion detection area divided into layers. The intermediate image signal GYv generated by the information generation unit 47 and the calculated motion amount (average value) MYv for each layer are accumulated in the intermediate image information accumulation region 52 of the accumulation unit 50 as intermediate image information.
[0087]
When displaying images on the screens 10C, 10R, and 10L, the projector 12C displays an image based on the stored image signal SDC on the screen 10C. Further, the image processing device 15B reads out the intermediate image information stored in the intermediate image information storage region 52 by the read control signal RC from the peripheral image signal generation block 60 connected to the storage unit 50, and performs the layer-by-layer reading. The intermediate image signal GYv of each layer is sequentially used by an amount corresponding to the amount of movement MYv, and the images of each layer are superimposed in the order of distant, middle, and foreground. Further, when there are provided layers that do not belong to the three layers of the distant view, the middle view, and the foreground, the image composition processing of these layers is also performed, and the peripheral image signals SDL and SDR are generated. Further, the image processing device 15B supplies the peripheral image signal SDL to the projector 12L at a timing corresponding to the image signal SDC of the front moving image, and associates the peripheral image signal SDR with the image signal SDC of the front moving image. It is supplied to the projector 12R at the timing. The projector 12L displays a left side moving image continuous with the front moving image on the screen 10L. The projector 13R displays a right side moving image continuous with the front moving image on the screen 10R.
[0088]
Next, each part which comprises the motion detection block 40 is demonstrated in detail. In addition, in order to simplify description, in the following description, only the right side surface will be described, and description of the left side surface will be omitted.
[0089]
As described above, the motion detection block 40 determines the motion vector MVE for each motion detection area. Here, when the front moving image has the moving center of the image, that is, when the front image is captured by the on-vehicle camera, the image at time T shown in FIG. 5A is, for example, after one frame time has elapsed. It becomes what is shown in FIG. 5B at time T ′, and is substantially equal to the zoom-in operation image centered on the image reference position CP.
[0090]
Here, as shown in FIG. 5C, the enlargement ratio Z is set to reduce the motion detection area of the target frame to (1 / Z), and the position of the reduced motion detection area is moved one frame before. The error sum with the image signal is calculated. Further, the enlargement ratio Z is changed, and the error sum is calculated while moving the position in the same manner. Thus, by detecting the position where the error sum becomes the minimum value, the motion vector MVE of each motion detection region can be determined for each frame of interest. Further, the enlargement ratio Z when the error sum becomes the minimum value is set as the motion amount.
[0091]
By the way, when the reduction process is performed, a pixel in which the coordinate value of the pixel in the region is not an integer value is generated. On the other hand, in the image one frame before which the reduction process is not performed, the coordinate value of the pixel in the region is an integer value. Therefore, linear interpolation is performed on the reduced image, and the signal level at the position where the coordinate value becomes an integer value is calculated. For example, as shown in FIG. 6 described above, when the image size becomes Kb × Kb pixel size by performing the reduction process to (1 / Z) on the image of Ka × Ka pixel, linear interpolation is performed. Then, the signal level of the image with the number of pixels “Kb × Kb” is calculated using the signal of Ka × Ka pixels. By calculating the sum of errors between the calculated signal level and the signal level one frame before the position corresponding to the reduced image, the amount of motion can be accurately determined.
[0092]
When the image reference position CP is not clear, as shown in FIG. 22, when the center of the motion detection area ARa is changed from the position Pa1 to the position Pa2, the error sum becomes the minimum value, and the center of the motion detection area ARb is set from the position Pb1. When the sum of errors becomes the minimum value when Pb2, the image reference is detected by detecting a point where the vector direction of the motion vector MVE of the motion detection area ARa and the vector direction of the motion vector of the motion detection area ARb intersect. The position CP can be detected.
[0093]
In addition, when turning right or turning left, for example, the upper side image of the front moving image moves horizontally. For this reason, if the minimum value of the error sum is not detected even when the zoom-in operation is performed around the image reference position CP, the minimum value of the error sum is determined by moving the image in the motion detection region in the horizontal direction. At this time, the movement amount of the motion detection area until the error sum becomes the minimum value can be set as the motion amount of the motion vector MVE.
[0094]
Next, since the image appears to be sucked into the image reference position CP at the time of backward movement, the image at the time of backward movement is substantially equal to the zoom-out operation image centered on the image reference position CP. For this reason, the enlargement ratio Z is set to “1” or less. That is, when moving backward, the motion of the image is opposite to that when moving forward, so a plurality of motion detection areas are set on the side edge side of the previous frame, and each motion detection area is reduced to (1 / Z). The error sum with the image of the frame of interest is calculated while moving the position of the reduced area. Alternatively, each motion detection area of the target frame is reduced to (1 / Z), and the error sum with the image after one frame is calculated while moving the position of the reduced area. Further, the enlargement ratio Z is changed, and the error sum is calculated while moving the position in the same manner. Thus, by detecting the position where the error sum becomes the minimum value, the backward motion vector MVE can also be determined.
[0095]
When the motion vector MVE is determined as described above, the amount of motion of the motion vector MVE is small because the image of the distant view has little motion, and the amount of motion of the motion vector MVE is large since the image of the foreground has much motion.
[0096]
FIG. 23 shows the configuration of the motion detector 42, where the image signal SDC is supplied to the size converter 421, and the image signal SDCa supplied from the delay unit 41 is supplied to the error sum calculator 422. The size conversion unit 421 sets the motion detection area by dividing the side edge portion of the front moving image into a plurality of motion detection areas, for example, a plurality of motion detection areas in units of 16 × 16 pixels. Further, the size conversion unit 421 generates an image signal FEz obtained by multiplying the image of the motion detection region by (1 / Z) using the enlargement factor Z supplied from the search control unit 425 described later, and the image reference position CP. Is used as a reference to set the coordinate value Qz converted by multiplying the image of the motion detection region by (1 / Z), and the image signal FEz and the coordinate value Qz are supplied to the error sum calculation unit 422. The image signal FEz is a signal when the coordinate value is converted into an integer value by interpolation processing as shown in FIG. 6 described above, and the coordinate value Qz is the coordinate when the coordinate value is converted into an integer value by interpolation processing. The value, that is, the pixel position “Kb × Kb” in FIG.
[0097]
The error sum calculation unit 422 selects a signal at the position indicated by the coordinate value Qz from the size conversion unit 421 from the image signal SDCa, and calculates and compares the error sum between the selected signal and the image signal FEz. Notification to the unit 423.
[0098]
The comparison unit 423 compares the error sum minimum value with the error sum calculated by the error sum calculation unit 422. Here, when the error sum minimum value is not set, the comparison unit 423 sets the error sum calculated first as the error sum minimum value. When the calculated error sum is smaller than the error sum minimum value, the comparison unit 423 sets the error sum as a new error sum minimum value and notifies the data storage unit 424 that the error sum minimum value has been updated. Notice. Further, the comparison unit 423 notifies the search control unit 425 by a signal ES that the comparison between the minimum error sum value and the error sum calculated by the error sum calculation unit 422 is completed. The minimum error sum value may be set in advance to a value larger than the calculated error sum.
[0099]
The data storage unit 424 stores the enlargement ratio Z notified from the search control unit 425 when notified from the comparison unit 423 that the minimum error sum has been updated. When the enlargement ratio is already stored, the data storage unit 424 updates the stored enlargement ratio with the notified enlargement ratio Z. Further, when the completion of the enlargement rate changing process is notified by the signal ER from the search control unit 425, the data storage unit 424 uses the stored enlargement rate as the amount of motion and sets the image reference position direction as the vector direction. The motion vector MVE is supplied to the layer classification unit 46.
[0100]
In the search control unit 425, the lower limit value of the enlargement ratio is set to “1” and the upper limit value is also set in advance. First, the lower limit value is set as the enlargement ratio Z in the size conversion unit 421 and the data storage unit 424. Notice. Thereafter, each time the comparison unit 423 notifies that the comparison between the minimum error sum value and the error sum calculated by the error sum calculation unit 422 is completed, the enlargement ratio Z is sequentially increased to increase the size conversion unit 421 and the data. The storage unit 424 is notified. Thereafter, when the enlargement rate Z reaches the upper limit value, the search control unit 425 notifies the data storage unit 424 of completion of the enlargement rate change process.
[0101]
When the minimum error sum obtained by the comparison unit 423 is not small, that is, when an image equal to the side edge portion of the front moving image cannot be detected, the search control unit 425 converts the size by setting the enlargement factor Z to “1”. And notifies the error sum calculation unit 422 of the image signal FEz of the motion detection area. Further, the control signal RP is supplied to the error sum calculation unit 422, and a signal at a position obtained by moving the motion detection region of the image signal FEz by a predetermined amount in the horizontal direction is selected from the image signal SDCa. Thereafter, by moving the position selected from the image signal SDCa by the control signal RP in the horizontal direction and determining the minimum error sum, the motion vector MVE of the image moved in the horizontal direction can also be obtained. Further, although not shown, a signal after one frame is supplied to the error sum calculation unit 422, or a motion detection region is set for the image one frame before and a signal of the image of the frame of interest is supplied to the error sum calculation unit 422. Thus, it is also possible to determine the amount of movement of the image that is sucked into the image reference position CP.
[0102]
In this way, the search direction is moved in the direction of the image reference position CP or in the horizontal direction, and the image of the motion detection region is detected by detecting the image position of another frame that minimizes the error sum with the image of the motion detection region. The motion vector MVE can be correctly obtained even when the image is a right turn or left turn, an image of a car or a person crossing the front, or an image of an overtaking vehicle.
[0103]
The layer classification unit 46 determines what kind of motion pattern the front moving image is based on the motion vector MVE of each motion detection area, sets a layer based on the determined motion pattern, Layer classification information LB indicating to which layer the region belongs is supplied to the information generation unit 47.
[0104]
FIG. 24 shows the configuration of the layer classification unit 46. The motion pattern determination unit 461 of the layer classification unit 46 accumulates the motion vector MVE of each motion detection region supplied from the motion detection unit 42 in units of frames and determines a motion pattern based on the accumulated motion vector MVE.
[0105]
Here, the motion pattern determination unit 461 determines whether the vector direction of the motion vector MVE of each motion detection region is a radial direction from the image reference position CP, and is a zoom-in operation direction in which all images are exposed from the image reference position CP. It is determined whether or not it is a straight-ahead operation when all the images are in the zoom-in operation direction in which the image boils off from the image reference position CP. For example, when the vector direction of the motion vector MVE is the radial direction from the image reference position CP as indicated by the arrow in FIG.
[0106]
Next, when the motion pattern determination unit 461 does not determine that the motion is a straight-ahead motion, the vector direction of the motion vector MVE of each motion detection region is opposite to the radial direction, and all images are sucked into the image reference position CP. It is determined whether or not the direction of movement. Here, when all the images are in the zoom-out operation direction in which the images are sucked into the image reference position CP, it is determined that the operation is the backward operation. For example, when the direction of the image reference position CP is set as indicated by the arrow in FIG. 25B and it is detected that the zoom-out operation direction in which all the images are sucked into the image reference position CP is detected, it is determined that the operation is the backward operation.
[0107]
The movement pattern determination unit 461 determines whether or not only a part is in the zoom-out operation direction when it is not determined as the straight-ahead operation and the reverse operation, and when only a part is in the zoom-out operation direction. It is determined that there is a vehicle. For example, as shown in FIG. 25C, it is determined that there is an overtaking vehicle when it is detected that the movements of the motion detection areas at the left and right end portions are in the zoom-in operation direction and only a part is in the zoom-out operation direction. Further, when it is not determined that there is a straight traveling operation, a reversing operation, and an overtaking vehicle, and when the vector direction of the motion vector MVE is set to the horizontal direction as shown in FIG. 25D in the upper motion detection area of the front moving image. Depending on the vector direction, a right turn or left turn operation is determined. In addition, when the vector direction of the motion vector MVE is a horizontal direction as shown in FIG. 25E in a part of the motion detection area, it is determined that the operation is a crossing operation. The layer determination unit 462 is notified of the motion pattern MP determined in this way. Note that, as the movement pattern, not only the above-described pattern but also a pattern in which a right turn or a left turn is performed while the movement is stopped or retreated is conceivable.
[0108]
Based on the motion pattern MP determined by the motion pattern determination unit 461, the layer determination unit 462 determines whether or not the determined motion pattern continues for a predetermined number of frames or more. Here, the layer determination unit 462 generates layer pattern information LP corresponding to the determined motion pattern and notifies the classification unit 463 when the motion pattern continues for a predetermined number of frames or more.
[0109]
Here, when the layer determining unit 462 continuously determines that the motion pattern expands the entire screen, such as a forward motion, for a predetermined number of frames or more, for example, the layer determining unit 462 instructs creation of a far-view, middle-view, and foreground layer. The layer pattern information LP to be generated is generated and notified to the classification unit 463. Further, when the layer determination unit 462 determines that the movement pattern is such that the upper part moves in the horizontal direction, such as a right turn or left turn operation, when the predetermined number of frames or more are continuously determined, only the distant, middle, and foreground layers are used. In addition, layer pattern information LP for instructing creation of a layer including an image moving in the horizontal direction is generated and notified to the classification unit 463. In addition, when it is determined that the motion pattern includes images that shrink with time, such as overtaking vehicles or when moving backwards, only the far, middle, and foreground layers are determined. In addition, layer pattern information LP for instructing creation of a backward layer including an image to be reduced is generated. Also, a layer that instructs the creation of a layer that includes an image moving in the horizontal direction when it is determined that a part of the moving pattern moves in the horizontal direction continuously, such as a crossing object, for a predetermined number of frames or more. Pattern information LP is generated. As described above, when the determined motion pattern continues for a predetermined number of frames or more, the layer pattern information LP corresponding to the determined motion pattern MP is generated, so that a frame in which the motion pattern is erroneously determined is generated. However, the layer pattern information LP corresponding to the correct motion pattern can be generated.
[0110]
The threshold setting unit 464 uses the motion vector MVE in a predetermined time range (for example, 30 frames before and after the frame of interest), and uses the motion vector MVE whose vector direction is the radial direction from the image reference position CP. In addition to obtaining Vavg, maximum value Vmax, and minimum value Vmin, a threshold value Th for classifying the layer indicated by the layer pattern information LP is set based on the average value Vavg, maximum value Vmax, and minimum value Vmin, and a classification unit 463.
[0111]
For example, when the layer pattern information LP indicates that the background scene, the middle scene, and the foreground layer are divided, the threshold value setting unit 464 sets the threshold value Th-1 indicating the division position of the far scene layer and the middle scene layer to the above formula ( Calculate based on 1). In addition, a threshold value Th-2 indicating the division position of the middle scene layer and the foreground layer is calculated based on the above equation (2).
[0112]
As in the case shown in FIG. 10, the threshold value may be set by obtaining a motion amount histogram and obtaining threshold values Th-1 and Th-2 using the minimum value of the histogram. In this way, the threshold Th is dynamically changed according to the motion amount distribution, so that the image is not classified into only one layer, and the layer classification is favorably performed according to the motion amount distribution. It can be carried out.
[0113]
Based on the threshold Th from the threshold setting unit 464 and the amount of motion of the motion vector MVE, the classification unit 463 determines which of the layers for which each motion detection region of each frame is instructed to create by the layer pattern information LP. Layer classification. Further, the classification unit 463 assigns the motion detection area moving in the horizontal direction and the motion detection area in the zoom-out operation direction to the corresponding layers. When the layer classification of each motion detection area of the target frame in the classification unit 463 is completed, the classification unit 463 generates layer classification information LA indicating the result of the layer classification and supplies the layer classification information LA to the classification correction unit 465.
[0114]
For example, when creating the three layers of the distant view, the middle view, and the foreground, the classification unit 463 uses the motion vector MVE from the motion detection unit 42 for the previous m frames and the subsequent n frames for each motion detection area. The average value of the amount of movement is calculated. For example, when the amount of motion of the motion vector MVE changes as shown in FIG. 26A with time in the motion detection area provided at the right end of the front moving image (the numbers in the figure indicate the amount of motion). The classifying unit 463, for the motion detection area AR1 in the Fp frame, the motion amount in the motion detection area AR1 in the Fp frame, the motion amount in the motion detection area AR1 in the Fp-1 to Fp-m frames, and Fp The average value of the motion amount is calculated using the motion amount of the motion detection area AR1 of the +1 to Fp + n frames. Further, by comparing the average value calculated as the amount of motion in the motion detection area AR1 with the threshold values Th-1 and Th-2 set as described above, the motion detection area AR1 in the Fp frame is distant. , Medium background, or foreground layer. As described above, the classification unit 463 calculates the average value of the motion amount using the motion amount of the previous frame and the subsequent frame for the motion detection region AR1 of the target frame, and uses the average value of the motion detection region AR1. Since the layers are divided, even if an error occurs in the motion amount of the motion detection area AR1, the layer of the motion detection area AR1 can be classified. Further, even if the movement amount varies from frame to frame due to the difference in the size of the subject and the difference in the distance to the subject, the influence of these variations can be prevented. Further, the classification unit 463 performs the same processing for other regions and other frames, thereby classifying each motion detection region into one of a distant view, a middle view, and a foreground layer as shown in FIG. 26B. The layer correction information LA is notified to the layer correction information 465. In FIG. 26B, the motion detection area indicated by cross hatching is classified as a foreground, the motion detection area indicated by diagonal lines is classified as a middle scene, and the other motion detection areas are classified as distant views.
[0115]
The classification correction unit 465 refers to the layer classification information LA of each motion detection area, and corrects an area where the number of connected areas belonging to the same layer is smaller than a predetermined number to a layer that matches the surrounding area. For example, in FIG. 26B, the area AR4-g of the Fp + 4 frame and the area AR6-h of the Fp-2 frame are not connected to the same layer. For this reason, the classification correction unit 465 corrects these areas to areas that match the surroundings as shown in FIG. 26C, and generates layer classification information LB indicating which area is used as which layer. To the unit 47.
[0116]
Further, when there is an overtaking vehicle, the layer generates not only the above-mentioned distant view, middle view, and close-up view, but also a reverse layer including an image of the overtaking vehicle as shown in FIG. 26D. Here, since the overtaking vehicle has the vector direction of the motion vector MVE opposite to that of the distant, middle, and foreground images, the time axis direction of the backward layer is generated with the direction opposite to that of the other layers.
[0117]
FIG. 27 shows the configuration of the information generation unit 47. The layer classification information LB supplied from the layer classification unit 46 is supplied to the motion amount average value calculation unit 471 and the intermediate image signal generation unit 472.
[0118]
The motion amount average value calculation unit 471 uses the motion amount of each motion detection area to calculate the average value of the motion amount for each layer for each frame. For example, in the Fe frame, when there are ny motion detection regions set as a distant view layer, the motion amount average value calculation unit 471 calculates an average value using the motion amounts of the ny motion detection regions, and generates an intermediate image. The calculated motion amount MYv is stored in the intermediate image information storage area 52 of the storage unit 50 as intermediate image information while being supplied to the signal generation unit 472.
[0119]
Based on the layer classification information LB supplied from the layer classification unit 46, the intermediate image signal generation unit 472 generates the image signal SDC for each layer according to the motion amount MYv calculated by the motion amount average value calculation unit 471 from the side end. Is extracted to generate an intermediate image signal GFv for each layer and supplied to the intermediate image signal interpolation unit 473.
[0120]
The intermediate image signal interpolation unit 473 reads an image signal SDC corresponding to the amount of motion MYv of each layer from the side end portion, and generates an intermediate image signal. For example, an image based on the intermediate image signal is as shown in FIG. FIG. 28A shows an image based on the intermediate image signal of the distant view layer, FIG. 28B shows an image based on the intermediate image signal of the intermediate view layer, and FIG. 28C shows an image based on the intermediate image signal of the foreground layer, which is filled with diagonal lines. The part is an area without an image.
[0121]
The intermediate image signal interpolating unit 473 prevents an image-free region from being generated when image synthesis is performed by superimposing images of layers having different motion amounts MYv in the order of distant, middle, and foreground. The intermediate image signal GFv is corrected, and the corrected signal is stored in the intermediate image information storage area 52 as the intermediate image signal GYv. In the correction of the intermediate image signal, when all the interpolation is performed on the previous layer, the inner layer is hidden. Therefore, the intermediate image signal interpolation unit 473 interpolates all the gaps for the innermost layer, and for the gaps generated by the area belonging to the layer before this layer in the middle layer, Only, an interpolation process using signals adjacent in the horizontal direction is performed, and an image signal in a gap area without an image is created and superimposed on the intermediate image signal. For example, when the middle layer is the middle scene layer in FIG. 28B and the front layer is the foreground layer in FIG. 28C, the gap is a tree or car area in the middle scene layer. By performing the interpolation process in this way, the image shown in FIG. 28A based on the intermediate image signal GFv is interpolated using a signal in which a portion without an image (a region filled with diagonal lines) is adjacent in the horizontal direction. The image shown in FIG. 29A is obtained. Similarly, the image shown in FIG. 28B based on the intermediate image signal GFv is a corrected image as shown in FIG. 29B. For example, when the foreground layer shown in FIG. 28C is the foremost layer, an area without an image does not occur in the foremost layer, so that an interpolation process for the foremost layer is not necessary. . Therefore, the foreground layer shown in FIG. 29C is the same as FIG. 28C.
[0122]
The intermediate image information storage area 52 of the storage unit 50 associates the motion amount MYv for each layer generated by the layering processing block 45 and the intermediate image signal GYv for each layer for each frame and stores them as intermediate image information. . Here, the intermediate image signal of the distant view layer stored in the intermediate image information accumulation area 52 has a small amount of motion, so that the signal amount of the image signal is small as shown in FIG. 29A. In the intermediate image signal of the foreground layer, since the amount of motion is large, the amount of signal increases as shown in FIG. 29C. In the middle scene layer, as shown in FIG. 29B, the signal amount is intermediate between the far scene and the middle scene. In the backward layer, since the movement direction is reverse, in the intermediate image signal of the backward layer, the frame direction is opposite to that in FIGS. 29A to 29C.
[0123]
When the intermediate image information storage area 52 is instructed to create a horizontal moving layer based on the layer pattern information LP, the intermediate image information storage area 52 receives the image signal of the motion detection area in which the direction of the motion vector is the horizontal direction. Set to the intermediate image signal of the moving layer. Here, the image moving in the horizontal direction includes an image moving outward from the front moving image and an image entering inside. For example, when turning right, the image enters from the right end of the front moving image and the image exits from the left end. For this reason, the horizontal movement layer of the image moving to the outside has the same time axis direction as the distant view layer. Similarly to the backward layer, the horizontal movement layer of the image entering the inside has the time axis direction opposite to that of the distant view layer.
[0124]
In this way, the intermediate image information storage area 52 generates and stores intermediate image signals for each of the distant, middle, and foreground layers and intermediate image signals for the backward layer and the horizontal movement layer according to the amount of motion. Further, the amount of movement of each layer is also stored as described above.
[0125]
Next, a case where the peripheral image signal SDR of the right side image is generated using the intermediate image information stored in the intermediate image information storage area 52 of the storage unit 50 will be described.
[0126]
When generating the peripheral image signal SDR, the peripheral image signal generation block 60 reads out the motion amount MYv stored as the intermediate image information from the intermediate image information accumulation area 52, and reads out the signal amount of the intermediate image signal GYv for each layer. Is determined based on the amount of movement MYv. Further, an intermediate image signal having a signal amount corresponding to the motion amount MYv is used for each layer, and image composition is performed by superimposing the distant view layer, the middle view layer, and the foreground layer in this order. In addition, when a layer different from the distant, middle, and foreground layers is provided, the image compositing process of this layer can also be performed to generate the peripheral image signal SDR. By supplying the generated peripheral image signal SDR to the projector 12R in accordance with the output timing of the image signal SDC of the front moving image, it is possible to continuously display not only the front moving image but also the right side image.
[0127]
FIG. 30 shows a configuration of a peripheral image signal generation block 60 that reads the intermediate image information stored in the intermediate image information storage area 52 and generates a peripheral image signal. The image generation control unit 61 of the peripheral image signal generation block 60 reads out the motion amount MYv for each layer stored as intermediate image information in the intermediate image information accumulation area 52 in the order of frames, and based on the read motion amount MYv The readout amount of the intermediate image signal for each is determined. Further, the image generation control unit 61 reads out the intermediate image signal GYv from the intermediate image information accumulation area 52 for each layer based on the determined read amount, and combines the layer for each layer provided in the signal extraction unit 62. -1 to 621-5.
[0128]
Here, the intermediate image signal of the horizontal movement layer that moves in the horizontal direction when turning right or left is supplied to the synthesis unit 621-1. Further, the intermediate image signal of the far view layer is supplied to the synthesizing unit 621-2, and the intermediate image signal of the middle scene layer and the intermediate image signal of the foreground layer are supplied to the synthesizing units 621-3 and 621-4. Further, the intermediate image signal of the reverse layer including the image of the overtaking vehicle is supplied to the synthesis unit 621-5.
[0129]
An image shift unit 623-1, which will be described later, is connected to the combining unit 621-1. The combining unit 621-1 adds the intermediate image information storage region 52 to the image signal supplied from the image shift unit 623-1. The image is synthesized by superimposing the image signals of the corresponding layers read out from. The image signal of the horizontal movement layer obtained by performing image composition by the composition unit 621-1 is supplied to the delay unit 622-1 and the distant view composition unit 641 of the image signal generation unit 44.
[0130]
The delay unit 622-1 delays the image signal supplied from the combining unit 621-1 by one frame and supplies the delayed image signal to the image shift unit 623-1. The image shift unit 623-1 moves the image based on the image signal supplied from the delay unit 622-1 in the horizontal direction based on the amount of movement MYv of the horizontal movement layer supplied from the image generation control unit 61. Further, the image signal of the image moved in the horizontal direction is supplied to the synthesis unit 621-1. The composition unit 621-1 superimposes an image based on the intermediate image signal GYv read out from the intermediate image information storage area 52 by the amount of movement MYv of each layer on the image moved in the horizontal direction. To generate an image signal for sequentially moving the image.
[0131]
Similarly, the delay units 622-2 to 622-5 generate image signals delayed by one frame, and the image shift units 623-2 to 623-5 generate image signals delayed by one frame. Based on the amount of movement MYv of each layer supplied from the control unit 61, it is moved in the horizontal direction. Further, the combining units 621-2 to 621-5 superimpose an image based on the intermediate image signal GYv read out from the intermediate image information accumulation region 52 by the amount of movement of each layer on the image moved in the horizontal direction. Image synthesis is performed by combining them, and an image signal for sequentially moving the image is generated for each layer.
[0132]
Further, since the intermediate image signal is a signal read from the front moving image signal, the image based on the intermediate image signal is an image on the same plane as the screen 10C. However, the screen 10R for displaying the peripheral image is provided with an inclination with respect to the front screen 10C. For this reason, the image of each layer is superimposed using the image signal of the layer whose direction of the motion vector is the direction of the image reference position CP or the reverse direction, such as a distant view, a middle view, a foreground layer, and a backward layer. Assuming that image display is performed by combining the images and generating the peripheral image signal SDR, the image displayed on the screen 10R does not have a correct shape due to the inclination of the screen 10R with respect to the screen 10C. For this reason, the image signal of the layer in which the direction of the motion vector is the direction of the image reference position CP or the opposite direction is supplied to each of the conversion units 631 to 634 of the projection conversion unit 63, and the image of each layer is displayed on the screen 10L, When displayed on 10R, projective transformation is performed so that the image moves correctly in the vector direction of the motion vector MVE. Further, in the image of the horizontal movement layer, since the vector direction of the motion vector MVE is the horizontal direction, projective transformation such as a distant view, a middle view, a foreground layer, and a backward layer is not performed.
[0133]
The conversion units 631 to 634 of the projection conversion unit 63 perform projective conversion on the image signals supplied from the combining units 621-2 to 621-5 so that the image has a shape corresponding to the direction of the screen 10R. Here, when images are sequentially read out from the front moving image, the display surface 10CR of the read image and the screen 10R are not the same plane as shown in FIGS. 14A and 14B described above. When displayed on 10R, the image on the display surface 10CR is projected onto the surface of the screen 10R as it is, and the correct shape is not obtained.
[0134]
For this reason, the conversion units 631 to 634 zoom in or zoom out with respect to the vertical direction of the image at a magnification ratio proportional to the distance from the center Czm of zoom in or zoom out, and the speed of zoom in or zoom out with respect to the horizontal direction of the image. Projective transformation is performed to enlarge at an enlargement ratio proportional to the distance from the center Czm. In this process, as described above, the position (X, Y) of the image read as it is from the front screen edge and the position (X, Y) after the conversion process so that the image can be correctly displayed on the right side moving image are The relationship in the vertical direction is the above equation (5), and the horizontal direction is the relationship in the above equation (4). For this reason, as shown in FIG. 14D, the (X, Y) image signal on the screen 10R is obtained by using the signal at the position (x, y) that satisfies the expressions (5) and (6). As shown in FIG. 5, the right side moving image can be correctly displayed on the screen 10R.
[0135]
The image signal of the distant view layer after the projective conversion obtained by the converting unit 631 is supplied to the distant view combining unit 641 of the image signal combining unit 64. Further, the image signal of the foreground layer after the projective transformation obtained by the conversion unit 632 is supplied to the middle scene synthesis unit 642, and the image signal of the foreground layer after the projective transformation obtained by the transformation unit 633 is synthesized by the foreground synthesis. Supplied to the unit 643. Further, the backward layer image signal obtained by the conversion unit 634 is supplied to the reduced image synthesis unit 644.
[0136]
Based on the image signals supplied from the combining unit 621 and the converting unit 631, the distant view combining unit 641 superimposes the image of the distant view layer on the image of the horizontal moving layer, generates an image signal, and generates an intermediate signal. This is supplied to the synthesis unit 642.
[0137]
Based on the image signals supplied from the conversion unit 632 and the distant view combining unit 641, the middle scene combining unit 642 performs image combining by superimposing the intermediate view layer image on the image obtained by superimposing the distant view layer image. A signal is generated and supplied to the foreground composition unit 643.
[0138]
The foreground composition unit 643 performs image composition by superimposing the foreground layer image on the image obtained by superimposing the foreground layer image based on the image signals supplied from the conversion unit 633 and the foreground composition unit 642. A signal is generated and supplied to the reduced image composition unit 644.
[0139]
Based on the image signals supplied from the conversion unit 634 and the foreground composition unit 643, the reduced image composition unit 644 superimposes the image of the backward layer whose image is reduced with time on the image obtained by superimposing the foreground layer image. The image is synthesized to generate an image signal. The image signal generated by the reduced image combining unit 644 is an image signal of a side moving image that has been subjected to image combining in which the layers from the horizontal movement layer to the reduced layer are superimposed.
[0140]
Therefore, the peripheral image signal generation block 60 supplies the image signal generated by the reduced image combining unit 644 to the projector 12R as the peripheral image signal SDR, so that the right side image continuous with the front moving image is generated by the projector 12R. It can be displayed on the screen 10R.
[0141]
Further, when the intermediate image signal stored in the intermediate image information storage area 52 is not subjected to the process of interpolating a portion having no image, or the image signal generated by the reduced image combining unit 644 has no image. When a portion is generated, an interpolation unit is provided in the image signal synthesis unit 64 (not shown), and the interpolation unit determines what layer image is superimposed in a region adjacent to a portion where there is no image. It is assumed that interpolation processing is performed using a deep layer image. For example, when a portion without an image occurs in a portion adjacent to the region where the images of the foreground layer and the foreground layer are overlapped in the horizontal direction, the interpolation unit performs an interpolation process using the image of the deep foreground layer. By performing the above, it is possible to generate a good peripheral image signal SDR without image loss.
[0142]
The peripheral image signal generation block 60 generates the peripheral image signal SDL in the same manner as the peripheral image signal SDR and supplies it to the projector 12L, so that the left side image continuous with the front moving image by the projector 12L is displayed on the screen 10L. Can be displayed.
[0143]
Further, the storage unit 50 stores intermediate image information, and this intermediate image information is an amount of motion and an intermediate image signal for each layer. For this reason, the amount of information stored in the storage unit 50 is smaller than that in the case of storing image signals of peripheral images. The image processing device 15B can display an image with a wide angle of view without using a large-capacity recording medium or the like.
[0144]
Furthermore, the processing performed in each block described above may be realized by software. The configuration in this case is the same as that in FIG.
[0145]
FIG. 31 is a flowchart illustrating an overall configuration of an image processing program according to the second embodiment. In the figure, in step ST41, motion detection processing is performed to detect a motion vector of an image. Next, in step ST42, image information for each layer, for example, a distant view layer, a middle view layer, and a foreground layer, and intermediate image information indicating the amount of motion of each layer are generated based on the motion vector in the intermediate image information generation process. In step ST43, a peripheral image generation process is performed, and a peripheral image is synthesized based on the intermediate image information.
[0146]
FIG. 32 is a flowchart showing the motion detection process in step ST41 of FIG. In step ST51, a motion detection area is set for the front moving image, and the process proceeds to step ST52. In step ST52, the image of the motion detection area is reduced and the position is changed to calculate the error sum, and the process proceeds to step ST53. In step ST53, the already calculated error sum is compared to detect an image position where the error sum is reduced, and the process proceeds to step ST54. In step ST54, it is determined whether or not the examination within the preset image size and position range is completed. If not completed, the process returns to step ST51, and if completed, the process proceeds to step ST55. In step ST55, a motion vector indicating the motion of the motion detection area is determined based on the image position where the error sum is the smallest.
[0147]
FIG. 33 is a flowchart showing intermediate image information generation processing in step ST42 of FIG. In step ST61, based on the motion vector detected in the motion detection process in step ST41, it is determined whether the motion pattern is, for example, a straight motion or a backward motion, or a motion pattern such as a right turn or a left turn. Layer pattern information indicating what kind of layer is provided is generated. In step ST62, the determined motion pattern determines whether or not the entire screen is an enlarged motion. If it is an enlargement movement, the process proceeds to step ST63, and if it is not an enlargement movement, the process proceeds to step ST65. In step ST63, statistical information such as an average value is calculated using the motion amount of the motion vector, and the process proceeds to step ST64. In step ST64, based on the statistical information, a threshold for dividing the image into, for example, a distant view, a middle view, and a close view is set. In step ST65, the set threshold value is compared with the amount of motion to generate layer information indicating to which layer the motion detection region belongs. Further, when the entire screen is not an enlarged motion, layer information is generated with the motion detection area as a layer corresponding to the motion pattern.
[0148]
In step ST66, the motion amount for each layer is calculated based on the motion amount of the motion detection area included in the layer. In step ST67, based on the layer information and the motion amount for each layer, an image is extracted for each layer from the front moving image to generate an intermediate image. In step ST68, it is determined whether or not there is an isolated area in the intermediate image. If there is an isolated area, the process proceeds to step ST69, and if there is no isolated area, the process proceeds to step ST70. In step ST69, interpolation processing is performed to remove the isolated area, and the process proceeds to step ST70. In step ST70, intermediate image information is generated for an intermediate image for each layer having no isolated region and a motion amount for each layer.
[0149]
FIG. 34 is a flowchart showing the peripheral image generation processing in step ST43 of FIG. In step ST81, based on the amount of motion for each layer indicated by the intermediate image information, an image is extracted for each layer from the intermediate image for each layer. In step ST82, composition of the extracted image of each layer is generated at a predetermined position. In step ST83, when image synthesis is performed, a portion without an image is generated, and it is determined whether or not interpolation processing for supplementing the image of this portion is necessary. Here, when a portion without an image is generated, the process proceeds to step ST84, and when a portion without an image is generated, the process proceeds to step ST85. In step ST84, interpolation processing is performed and the process proceeds to step ST85. For example, an image around a portion having no image is expanded and interpolated. In step ST85, geometric transformation processing is performed in accordance with the orientation of the screen on which the synthesized image is projected, and an image signal of the image subjected to this geometric transformation is output as an image signal of a peripheral image in step ST86.
[0150]
Such an image processing program may be recorded on a removable information recording / transmission medium as described above or transmitted via the information recording / transmission medium.
[0151]
In the second embodiment described above, when the image processing program is executed and intermediate image information is generated, this intermediate image information is attached to, for example, the hard disk drive 304 or the recording medium drive 312. Recorded on a recording medium. Further, when the output of the image signal of the peripheral image is requested, the intermediate image information is read out to generate the peripheral image signals SDL and SDR of the left and right side moving images, and the peripheral image signals SDL and SDR are converted into the front moving image. The image signal SDC of the image is output in synchronism with the timing. For this reason, it is possible to display a continuous image with a wide angle of view using the front and left and right screens.
[0152]
By the way, in the second embodiment described above, layering of images such as a distant view, a middle view, and a foreground, and determination of the amount of movement are performed based on the motion vector MVE of the motion detection area provided on the side edge side of the front moving image. The intermediate image information is generated and stored in the intermediate image information storage area 52, and the peripheral image is displayed using the intermediate image information stored in the intermediate image information storage area 52 when displaying the peripheral image. The peripheral image signal is generated by reading out the intermediate image signal GYv in accordance with the layer movement amount MYv and superimposing the images. However, the peripheral image signal can also be generated without using the motion vector MVE.
[0153]
Next explained is an image processing apparatus according to the third embodiment of the invention. The image processing device 15C generates a peripheral image signal without using the motion vector MVE.
[0154]
The image processing device 15C generates a projected image in the lateral direction based on the front moving image by geometric transformation, integrates the projected image to generate an integrated image, and performs image layering using the integrated image. Then, the motion amount MYs for each layer and the intermediate image signal for each layer are generated and stored as intermediate image information in the intermediate image information storage area 52.
[0155]
FIG. 35 shows the configuration of the image processing apparatus 15C. The image signal SDC of the front moving image is supplied to the geometric conversion unit 71. The geometric conversion unit 71 generates a projected image signal SDP of an image in which a front moving image is displayed on a projection plane that is a surface in the traveling direction by using the image signal SDC of the front moving image. The projected image signal SDP generated by the geometric conversion unit 71 is supplied to the motion determination image generation unit 73 of the motion detection block 72, the integrated image generation unit 74, and the information generation unit 82 of the layering processing block 80.
[0156]
The motion discriminating image generation unit 73 uses the projection image signal SDP supplied from the geometric conversion unit 71 to extract the projection image signal SDP in a predetermined range from the end side in contact with the front moving image for each frame and sequentially superimpose them. Thus, the motion discrimination image signal SMD is generated by performing image synthesis. The motion determination image signal SMD is supplied to the motion determination unit 75.
[0157]
The integral image generation unit 74 generates one integral image signal by adding and averaging the projection image signals SDP for ms frames while shifting the position in the horizontal direction. In addition, ns integrated image signals are generated with shift amounts of ns different positions. The ns integrated image signals SA generated by the integrated image generation unit 74 are supplied to the motion determination unit 75.
[0158]
The motion discriminating unit 75 compares the ns integrated image signals SA and the motion discriminating image signal SMD, and detects an image based on the integrated image signal SA that matches an image based on the motion discriminating image signal SMD. Further, the motion discriminating unit 75 discriminates a motion amount at a predetermined position of the frame of interest based on the detection result. Here, the integrated image is an image in which the subject appears as an image when the shift amount of the position matches the shift amount of the image. Since only ns integral images are generated with different shift amounts, ns different images with different movement amounts are indicated by the integral image signal SA. Therefore, the motion discriminating unit 75 discriminates the correlation between the ns integrated image signals SA and the motion discriminating image signal SMD, and based on the discrimination result, the movement amount of the subject constituting the motion discriminating image, that is, the frame of interest. The amount of movement at a predetermined position is determined. Here, when the subject image is a distant view, the amount of movement is small. Further, when the subject image is a foreground, the amount of movement is large. That is, the amount of movement indicates the depth of the subject image. In this way, the motion discriminating unit 75 discriminates the amount of motion at each position of the projected image, and generates the motion amount information MF indicating the discrimination result, and the layer classification unit 81 and the information generation unit of the layering processing block 80 82.
[0159]
Based on the supplied motion amount information MF, the layer classification unit 81 generates layer classification information LB indicating which of a plurality of layers the predetermined position of the frame of interest belongs to and supplies the information to the information generation unit 82.
[0160]
In each layer, the information generation unit 82 obtains an average value using the movement amount of the preceding and following frames for each frame, and supplies the average value to the intermediate image information accumulation region 52 of the accumulation unit 50 as the movement amount MYs of the corresponding frame in each layer. To do. The information generation unit 82 classifies the image signal SDP supplied from the geometric conversion unit 71 for each layer based on the obtained motion amount MYs for each layer and the layer classification information LB supplied from the layer classification unit 81. To generate an intermediate image signal GFs. That is, the information generation unit 82 reads out the image signal in the horizontal direction by the amount of motion and performs image composition by sequentially superimposing each layer for each layer, thereby obtaining the intermediate image signal GFs for each layer similar to FIG. Generate.
[0161]
Further, when the movement direction of the images in the distant view layer, the middle view layer, and the foreground layer is used as a reference, the movement direction of the backward layer is opposite. For this reason, the information generation unit 82 reads the projection plane image signal from the end side in contact with the front moving image by the absolute value of the motion amount, performs left-right reversal, and superimposes and superimposes them, thereby combining the backward layer. An intermediate image signal is generated.
[0162]
Further, the information generation unit 82 performs an interpolation process on the created intermediate image signal GFs for each layer so as not to generate a region without an image, and embeds a portion without an image. The intermediate image signal GYs for each layer obtained by performing the interpolation processing in the information generation unit 82 is associated with the motion amount MYs of each layer and stored in the intermediate image information accumulation region 52 as intermediate image information.
[0163]
The peripheral image signal generation block 60 can generate the peripheral image signal of the right side moving image by reading the intermediate image information from the intermediate image information storage area 52 and processing it in the same manner as described above.
[0164]
Next, each block will be described in detail. FIG. 36 is a diagram for explaining the geometric transformation process in the geometric transformation unit 71. In FIG. 36, the position O is the shooting position of the front moving image UC. Ideally, the shooting position and the viewer position should be the same. Here, it is assumed that the shooting position and the viewer's position are the same. The geometric conversion unit 71 projects the image at the position p of the front moving image onto the position q on the projection plane FI parallel to the traveling direction, and generates a projected image UI based on the front moving image. Here, the relationship between the position xb in the advancing direction on the projection surface and the horizontal position Xb on the front moving image is as shown in Expression (7). Further, the relationship between the height position yb on the projection plane and the vertical position Yb on the front moving image is as shown in Expression (8).
[0165]
[Expression 4]

[0166]
In Equations (7) and (8), “θg” indicates an angle that halves the horizontal angle of view of the front moving image, and when the horizontal angle of view of the camera that captured the front moving image is clear, The angle half of the horizontal angle of view is “θg”. When the horizontal angle of view of the camera is not clear, a value set in advance according to the focal length of the used lens is used. “D” is a value obtained by halving the horizontal length of the front moving image (the horizontal length of the image frame).
[0167]
As described above, by using the equations (7) and (8), the geometric conversion unit 71 can generate the image signals of the left and right projected images in units of frames based on the image signals of each frame of the front moving image. When the input image is a front moving image of a vehicle-mounted forward system, the left and right projected images are side images, and the amount of movement of the projected image is proportional to the vehicle speed. Further, the amount of motion of the projected image is inversely proportional to the depth. Therefore, when the projected image is a distant view image and the depth is large, the amount of motion is small. Further, when the projected image is a foreground image and the depth is small, the amount of motion is large. The size of the projected image only needs to be large enough for each subsequent process. For example, the same size as the surrounding image to be presented is good.
[0168]
FIG. 37 is a diagram for explaining the operation of the motion discrimination image generation unit 73. As shown in FIG. 37A, the motion determination image generation unit 73 horizontally receives a predetermined number of pixels wa (for example, 4 pixels) from the front moving image side end of the projection plane image (right end in the right projection plane image) for each frame. The image signal is cut out with a width of), and the cut-out image signal is superimposed by a predetermined number of frames in the frame order as shown in FIG. 37B to perform image synthesis to generate a motion discrimination image signal SMD of the motion discrimination image Up. The motion determination image Up is a continuous image in which the amount of motion of the subject is wa pixels / frame in the horizontal direction and is equal to the number of cut-out pixels wa of the image signal (house in FIG. 37). The resulting image. In the image of a subject (moving in FIG. 37) that moves slower than the cutout of the image signal, a portion that is cut out repeatedly is generated, so that discontinuity of the image occurs at the connecting portion of the cut out image signal. In addition, the subject image (the tree in FIG. 37) that moves faster than the cutout of the image signal has a fast movement, so that a portion that is not cut out is generated, and a discontinuity of the image is generated at the connecting portion.
[0169]
The integrated image generation unit 74 generates an integrated image signal SA used for determining the amount of motion of each pixel of the motion determination image. Here, the principle of the motion amount determination operation will be described with reference to FIG. For example, when a subject Ja moving rightward and a subject Jb moving rightward at twice the speed of the subject Ja are photographed, the photographed image is as shown in FIG. 38A. Here, the image of the next frame F2 is shifted by the pixel amount dx of the subject Ja in the direction opposite to the moving direction of the subject Ja with respect to the first frame F1. Similarly, the image of the next frame F3 is also shifted by the pixel amount dx of the subject Ja in the direction opposite to the moving direction of the subject Ja with respect to the frame F2. In this way, using the average value image Um obtained by adding and averaging the images of each frame shifted by a certain amount between the frames, the position of the subject Ja is constant and the position of the subject Jb moves. The signal level of the image signal of the subject Jb is lower than that of the subject Ja, and only the subject Ja can be extracted from the average value image Um as shown in FIG. 38C.
[0170]
Further, as shown in FIG. 38D, when the average value image Um is generated by doubling the image shift amount of each frame (2dx), the position of the subject Jb becomes constant and the position of the subject Ja moves. As shown in FIG. 38E, only the subject Jb can be extracted from the average value image Um.
[0171]
In this way, an average value image obtained by moving the images of each frame by a predetermined amount, adding and averaging is generated, and a plurality of average value images are changed by changing the shift amount of the images of each frame. Is generated. Then, by determining which average value image the subject is correctly displayed, even if a subject with a different amount of motion is included in one image, the amount of motion of each subject can be determined using the average value image. . Here, similarly to the motion determination image generation unit 73, the integral image generation unit 74 generates an integral image by cutting out an image signal of a predetermined number of pixels in the horizontal direction for each frame based on a plurality of average value images. The integrated image and the motion discriminating image are compared to determine in which integrated image an image equal to the subject constituting the motion discriminating image appears, and the amount of motion at a predetermined position of each frame is discriminated.
[0172]
FIG. 39 is a diagram illustrating a configuration of the integral image generation unit 74. The projection image signal SDP supplied from the geometric conversion unit 71 is supplied to the addition processing units 741-1 to 741-ns of the integral image generation unit 74.
[0173]
The addition processing unit 741-1 adds the projection plane image signal moved in the horizontal direction from the previous frame by the preset number of pixels SH-1, and sequentially adds the addition signal by ms frames (for example, 10 frames). calculate. Further, the addition processing unit 741-1 multiplies this addition signal by 1 / m and supplies the image signal of the average value image to the region selection unit 742-1.
[0174]
The region selection unit 742-1 generates an image signal of a predetermined number of pixels in the horizontal direction from the front moving image side end portion (right end portion in the right projection plane image) for each frame from the supplied average value image signal. Cut out and sequentially superimpose the cut out image signals to output them to the motion discriminating unit 75 as an integrated image signal SA-1. The integrated image signal SA-1 output from the region selection unit 742-1 is an image signal indicating a subject with a motion amount of a preset number of pixels SH-1.
[0175]
Similarly to the addition processing unit 741-1, the addition processing units 741-2 to 741-ns also output projection plane image signals that are moved in the horizontal direction from the previous frame by a preset number of pixels SH-2 to SH-ns. , Add the ms frames, sequentially calculate the addition signal, multiply the addition signal by 1 / m, average it, and supply it to the region selection units 742-2 to 742-ns. Further, the region selection units 742-2 to 742-ns cut out a signal of a predetermined number of pixels wb from the supplied image signal, sequentially superimpose them, and output them as an integrated image signal to the motion determination unit 75. The integrated image signals SA-2 to SA-ns output from the region selection units 742-2 to 742-ns are images showing subjects having a predetermined amount of motion of the number of pixels SH-2 to SH-3, respectively. Signal.
[0176]
Here, assuming that the number of pixels cut out by the motion determination image generation unit 73 and the region selection unit 742 of the integral image generation unit 74 is equal (wa = wb), the consistency of the position of the subject in the motion determination image and the integral image is obtained. be able to.
[0177]
FIG. 40 is a diagram illustrating the operation of the integral image generation unit 74. When the image shift amount is the number of pixels SH-r, the integral image generation unit 74 moves and adds the image by the number of pixels SH-r (<wb) for each frame as shown in FIG. 40A. At this time, the added image shows a mountain image as shown in FIG. 40B. Further, when the image shift amount is set to a pixel number SH-s (= wb) larger than the pixel number SH-r, the image is moved by the pixel number SH-s for each frame as shown in FIG. 40C. At this time, the added image is an image of a house having a larger amount of movement than a mountain as shown in FIG. 40D. Further, when the image shift amount is the number of pixels SH-t (> wb) larger than the number of pixels SH-s, the image is moved by the number of pixels SH-t for each frame as shown in FIG. 40E. At this time, the added image is an image of a house having a larger amount of movement than a mountain as shown in FIG. 40F.
[0178]
Here, the integral image generation unit 74 starts the clipping based on the frame Fa that was first cut out when the motion determination image generation unit 73 generates the motion determination image, and also has a cutout amount equal to the motion determination image ( In (wa = wb), the same number of frames are cut out to generate an integrated image. At this time, the integral image and the motion determination image have the same horizontal image length, and the phase of the subject matches between the integral image and the motion determination image.
[0179]
The motion discrimination image has a discontinuous shape when the cutout amount and the motion amount are not equal. Similarly, the integral image also has a cutout image when the number of pixels SH-r is smaller than the number of pixels wb. It is done with overlap. For this reason, the integral image Ub-r is a discontinuous image corresponding to the amount of motion, as shown in FIG. 40G. When the number of pixels SH-s is equal to the number of pixels wb, the integrated image Ub-s becomes a continuous image corresponding to the amount of motion as shown in FIG. 40H. Further, when the number of pixels SH-t is larger than the number of pixels wb, a missing portion is generated by cutting out the image, and the integrated image Ub-t becomes a discontinuous image corresponding to the amount of motion as shown in FIG. 40J. Therefore, the motion determination unit 75 described below performs matching between the motion determination image and the integral image, and determines the amount of movement of the subject based on the number of pixels SH that is the image shift amount of the integral image determined to be matched. .
[0180]
The motion determination unit 75 obtains a correlation value between each pixel of the motion determination image and the integrated image of each image shift amount, and determines which integrated image each pixel of the motion determination image is equal to based on this correlation value. Thus, the motion amount of each pixel of the motion discrimination image is discriminated based on the discrimination result.
[0181]
In the calculation of the correlation value, when calculating the correlation value between the pixel of the image A and the image B, a predetermined range centering on the target pixel of the image A (pixel for calculating the correlation value) is set, and this predetermined range is set. The correlation value of the target pixel is obtained using the image signal. For example, a rectangular range of ± mvc pixels in the x direction and ± nvc pixels in the y direction centered on the target pixel (for example, a rectangular range of 31 horizontal pixels and 5 vertical pixels centered on the target pixel) is set, and the equation (9 ) To calculate a correlation value VC.
[0182]
[Equation 5]

[0183]
In Expression (9), the signal level of each pixel in the rectangular range of the image A is DAi (i = 1 to (mvc × nvc)), and the signal level of each pixel in the rectangular range of the image B is DBi. (I = 1 to (mvc × nvc)), and the average value of the signal level of each pixel in the rectangular range is DAav, DBav.
[0184]
For example, when the motion determination unit 75 determines that the mountain image in the motion determination image illustrated in FIG. 41A matches the integrated image illustrated in FIG. 41B based on the equation (9), the motion determination unit 75 configures each image constituting the mountain image. It is determined that the pixel motion amount is a motion amount corresponding to the pixel number SH-r. When it is determined that the house image in the motion determination image shown in FIG. 41A matches the integrated image shown in FIG. 41C, the motion amount of each pixel constituting the house image corresponds to the number of pixels SH-s. It is determined that the amount of movement is the same. Further, when it is determined that the tree image in the motion determination image shown in FIG. 41A matches the integrated image shown in FIG. 41D, the amount of movement of each pixel constituting the tree image corresponds to the number of pixels SH-t. It is determined that the amount of movement. In this way, the motion determination unit 75 determines the amount of motion for each pixel, generates motion amount information MF indicating the determination result, and supplies it to the layer classification unit 81 and the information generation unit 82.
[0185]
Although not shown, the integral image generation unit 74 sets the image shift direction so as to include the reverse direction of FIGS. 41B, 41C, and 41D (for example, the image shift amount SH is 48 pixels to −24 pixels). ), It is possible to extract an image of an overtaking vehicle or the like that moves in the opposite direction to the image of the tree, house, or mountain. In addition, in order to determine the amount of movement of the image in the direction opposite to the distant view layer or the like, as shown in FIG. 42A, the image is cut out from the image of each frame, and this image is reversed horizontally and then superimposed. Thus, the motion determination image Up shown in FIG. 42B is generated. In this case, in the motion determination image Up shown in FIG. 42B, an image with a reverse direction of movement, such as an overtaking vehicle, is correctly displayed in the same direction as the distant view, the middle view, and the foreground layer. FIG. 42C is a motion determination image Up when the images are superimposed without being reversed horizontally. In this way, the image signal of the integrated image with the image shift direction being the reverse direction and the image signal SMD of the motion discrimination image generated by inverting and superimposing the clipped image are sequentially compared from the reference frame. By doing so, the amount of movement of the subject moving in the opposite direction can be determined.
[0186]
The layer classification unit 81 layers each pixel of the motion determination image in the depth direction based on the motion amount information MF. For example, assuming that the depth is previously layered into four layers having a movement in the opposite direction to the three layers of the distant view, the middle view, and the foreground, layer classification is performed as to which layer each pixel belongs to.
[0187]
The layer classification unit 81 sets a threshold value in the same manner as the threshold setting unit 464 described above, compares the threshold value with the amount of motion of each pixel, determines which layer each pixel belongs to, and determines each pixel. Layer classification information LB corresponding to is generated. The generated layer classification information LB is supplied to the information generation unit 82.
[0188]
FIG. 43 shows the configuration of the information generation unit 82. Based on the motion amount information MF from the motion discriminating unit 75 and the layer classification information LB supplied from the layer classifying unit 81, the motion amount average value calculating unit 821 of the information generating unit 82 An average value of the motion amount of the nz frame is obtained and set as the speed of the target frame of the layer. The calculated amount of movement MYs of each layer of each layer is supplied to the intermediate image signal generation unit 822 and stored in the intermediate image information accumulation region 52.
[0189]
Based on the layer classification information LB, the intermediate image signal generation unit 822 extracts a signal for each layer in accordance with the motion amount MYs calculated by the motion amount average value calculation unit 821 from the image signal SDP of the projected image. Intermediate image signal GFs is generated. The intermediate image signal GFs is supplied to the intermediate image signal interpolation unit 823. At this time, since the amount of motion of the foreground layer is small and the amount of motion of the foreground layer is large, the intermediate image of the distant layer is short in the horizontal direction and is long in the intermediate image of the foreground layer, as in FIG. In addition, since the movement in the backward layer is in the reverse direction, the intermediate image signal generation unit 822 reads the image from the side moving image by the absolute value of the amount of movement, and inverts and superimposes the images so that the middle of the backward layer Create an image.
[0190]
Similar to the intermediate image signal interpolating unit 473, the intermediate image signal interpolating unit 823 does not change the motion amount even if image synthesis is performed by superimposing images of each layer having different motion amounts MYs in the order of distant, middle, and foreground. Regardless of the difference, the intermediate image signal GFs is corrected so that no image-free region is generated, and the corrected signal is stored in the intermediate image information storage region 52 as the intermediate image signal GYs.
[0191]
Further, when there is a backward layer such as an overtaking vehicle, the intermediate image signal interpolation unit 823 does not perform the interpolation process because the backward layer is a layer in front of the foreground layer. In addition, when a horizontal movement layer indicating a building or the like that appears in a distant view at the time of turning left or right is provided, interpolation processing is performed in the same manner as the distant view layer. Note that the subject of the backward layer or the horizontal movement layer is determined by determining the motion pattern based on the motion direction of the motion determination image of the right projection image and the left projection image in the same manner as in FIG. Can be determined based on For example, it can be determined that a right turn or a left turn is being performed when the movements of the left image and the right image indicate different directions. In addition, the movement of the upper part of the screen of the left image and the right image shows the same direction, and a subject that moves in the opposite direction can be determined as a backward layer.
[0192]
Next, an operation for generating a peripheral image using the intermediate image information of each layer will be described. The peripheral image can be generated in the same manner as the peripheral image signal generation block 60 described above. That is, the image of each layer is read by the amount of movement, and image composition is performed by superimposing the distant view layer, the middle view layer, and the foreground layer in this order. Even when the horizontal movement layer or the receding layer is set, the peripheral image signal can be generated in the same manner as the peripheral image signal generation block 60.
[0193]
Further, in image synthesis, for example, when generating a right-side moving image as a peripheral image, image composition is performed by superimposing the same frame portion of each layer so as to overlap at the left end of the generated right-side moving image. In addition, the right end of the projected image obtained by first converting the front moving image is set to be equal to the left end of the generated side moving image. Thereafter, for each layer, the image is moved based on the amount of motion for each layer, and the next image is superimposed on the moved image for each layer to perform image synthesis. As shown in FIG. An image URI of a side surface that is continuous with the image UI can be generated.
[0194]
Incidentally, the image generated by superimposing the intermediate images for each layer using the intermediate image information is an image on a plane equal to the projection plane FI as shown in FIG. On the other hand, the screen 10R on which the peripheral image is displayed is installed with an inclination with respect to the projection plane FI. For this reason, when the images of each layer are overlapped to perform image composition and display on the screen 10R, image conversion processing is performed so that the image moves in a correct shape.
[0195]
Here, as shown in FIG. 45, the distance d is ½ of the horizontal length of the front moving image UC, and the position O which is the shooting position of the front moving image is on the normal line from the center of the screen 10R. Consider the case where the screen 10R is installed so as to be inclined. In this case, the image signal at the position (Xc, Yc) on the screen 10R is extracted from the image signal at the position (xc, yc) on the pre-conversion image URI calculated based on the equations (10) and (11). For example, the peripheral image signal SDR of the right side moving image after the projective transformation can be easily generated. In addition, by using the peripheral image signal SDR to display the right side moving image on the screen 10R, it is possible to display the right side moving image with high presence.
[0196]
[Formula 6]

[0197]
Of course, the peripheral image signal SDL can be generated in the same manner as the peripheral image signal SDR.
[0198]
Furthermore, the processing performed in each block described above may be realized not only by hardware but also by software. In this case, the configuration shown in FIG.
[0199]
FIG. 46 is a flowchart showing the overall configuration of the image processing program according to the third embodiment. In the figure, in step ST91, a motion detection process is performed to generate a projection plane image, and a motion amount for each pixel of the projection plane image is detected. Next, in step ST92, pixel layers are divided based on the amount of motion, and intermediate image information indicating the amount of motion of each layer is generated. In step ST93, peripheral image generation processing is performed, and a peripheral image is synthesized based on the intermediate image information.
[0200]
FIG. 47 is a flowchart showing the motion detection process in step ST91 of FIG. In step ST101, a side projection image is created based on the front moving image by geometric transformation. In step ST102, an integrated image for each amount of motion is created based on the projected image, and a cut-out image is created by cutting out the image from the projected image. In step ST103, the integrated image and the cut-out image for each motion amount are matched. In step ST104, the motion amount for each pixel is determined by detecting an integrated image having the highest correlation value based on the matching result.
[0201]
FIG. 48 is a flowchart showing intermediate image information generation processing in step ST92 of FIG. In step ST111, based on the pixel motion amount detected by the motion detection process in step ST101, a motion amount statistic is calculated. In step ST112, a threshold for performing layer division is set based on the statistics. In step ST113, the set threshold value is compared with the amount of motion to generate layer classification information indicating which layer each pixel of the projected image belongs to. In step ST114, the motion amount for each layer is calculated based on the motion amount of the pixels included in the layer. In step ST115, based on the layer classification information and the amount of motion for each layer, an image is extracted for each layer from the projected image to generate an intermediate image. In step ST116, it is determined whether or not there is an isolated area in the intermediate image. If there is an isolated area, the process proceeds to step ST117. If there is no isolated area, the process proceeds to step ST118. In step ST117, interpolation processing is performed to remove the isolated region, and the process proceeds to step ST118. In step ST118, intermediate image information is generated for an intermediate image for each layer having no isolated region and a motion amount for each layer.
[0202]
FIG. 49 is a flowchart showing the peripheral image generation processing in step ST93 of FIG. In step ST121, based on the amount of motion for each layer indicated by the intermediate image information, an image is extracted for each layer using the intermediate image for each layer. In step ST122, composition of the extracted image of each layer is generated at a predetermined position. In step ST123, when an image is combined, a portion without an image is generated, and it is determined whether or not an interpolation process for supplementing the image of this portion is necessary. Here, when a portion without an image is generated, the process proceeds to step ST124, and when a portion without an image is generated, the process proceeds to step ST125. In step ST124, interpolation processing is performed and the process proceeds to step ST125. For example, an image around a portion having no image is expanded and interpolated. In step ST125, since the synthesized image is an image on the same plane as the projection plane, image conversion processing is performed according to the orientation of the screen on which the image is projected, and the image signal on which this image conversion has been performed is performed in step ST126. Output as an image signal.
[0203]
Such an image processing program may be recorded on a removable information recording / transmission medium as described above or transmitted via the information recording / transmission medium.
[0204]
In the third embodiment described above, when the image processing program is executed and intermediate image information is generated, this intermediate image information is attached to, for example, the hard disk drive 304 or the recording medium drive 312. Recorded on a recording medium. Further, when the output of the image signal of the peripheral image is requested, the intermediate image information is read out to generate the peripheral image signals SDL and SDR of the left and right side moving images, and the peripheral image signals SDL and SDR are converted into the front moving image. The image signal SDC of the image is output in synchronism with the timing. For this reason, it is possible to display a continuous image with a wide angle of view using the front and left and right screens.
[0205]
In each of the embodiments described above, the case where the image signal of the peripheral image is generated using the image signal obtained by the in-vehicle camera is described. However, the image signal may be a landscape moving image or a person photographed from above the moving ship. Even if an image signal of a moving image taken while walking is used, an image signal of a peripheral image can be generated by performing the same processing.
[0206]
As described above, according to the first to third embodiments described above, it is possible to determine the motion of the front moving image and generate a peripheral image in a different direction based on the determined motion. For this reason, since moving images in different directions can be generated simultaneously based on a front moving image taken by a video camera or the like, it is possible to present a multi-screen image with a high sense of realism and a wide angle of view.
[0207]
In addition, since images in different directions can be generated based on one input image, it is not necessary to use a plurality of video cameras, cameras using wide-angle lenses, and the like, and shooting can be performed easily.
[0208]
Furthermore, since an image in a different direction is generated using a live-action image, an image that is more realistic and realistic than a three-dimensional virtual space image by computer graphics can be displayed, and the depth can be two-dimensionally displayed. Since it is expressed as a plane hierarchy, three-dimensional arithmetic processing is not required and signal processing is easy.
[0209]
In addition, the image processing apparatus and the computer use the signal stored as the input image signal to display the image that enters the front moving image with the passage of time as a peripheral image before the front moving image is displayed. be able to. As described above, since an image that cannot be displayed when using a real-time image signal can be displayed as a peripheral image, a more realistic and highly realistic image display with a wide angle of view can be performed. Further, by inputting a huge image source that already exists into a computer that executes the image processing apparatus and the image signal generation method of the present invention, these images can be enjoyed with a high sense of reality and a wide angle of view.
[0210]
In the above-described embodiment, a plurality of motion detection regions are provided at the side edges of the front moving image, and a motion vector is obtained for each motion detection region, or a motion determination image is generated using a projected image and an integrated image is obtained. The intermediate image information is generated by discriminating the motion at the predetermined position of the frame of interest by comparing with the above, and the peripheral image signal is generated using this intermediate image information. Of course, any device capable of discriminating movement is acceptable.
[0211]
【The invention's effect】
According to the present invention, a motion of a predetermined region in an image based on the input image signal is detected using the input image signal of a plurality of frames, and a frame of interest is detected based on the detected motion and the input image signal of the plurality of frames. The image signal of the peripheral moving image having the same time and the angle of view different from the image of the frame of interest is generated. Therefore, an image having a wide display range and a sense of depth can be obtained at low cost without using a large number of cameras or special cameras.
[0212]
In addition, since a plurality of motion detection regions are set in the image end region and motion is detected for each motion detection region, even if a subject such as a distant view or a near view is included in the reference moving image based on the input image signal The movement of each subject can be detected. Furthermore, when the constraint condition that the movement of the image is a radial direction centered on a predetermined position is satisfied, the movement is facilitated by calculating an error value from the image on the previous screen while zooming the image about the predetermined position. Can be determined.
[0213]
In addition, since the image end region is divided into layers based on the motion detection result, and signal processing corresponding to the screen order is performed for each layer, even if a subject such as a distant view or a foreground is included in the reference moving image, Signal processing corresponding to each subject is performed, and a correct peripheral moving image signal with a sense of depth can be generated.
[0214]
Furthermore, when a gap region is generated when an image for each layer is pasted, an image signal of an image of the gap portion is generated by interpolation processing, so that an excellent image signal of a side moving image can be generated. In addition, since signal conversion processing is performed according to the direction of the projection plane of the peripheral moving image, the peripheral moving image having a sense of depth can be displayed realistically.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a display system.
FIG. 2 is a diagram illustrating an image projection state.
FIG. 3 is a diagram illustrating a configuration of an image processing apparatus according to the first embodiment.
FIG. 4 is a diagram for explaining setting of a motion detection region.
FIG. 5 is a diagram for explaining a motion amount calculation method;
FIG. 6 is a diagram illustrating a change in region size during zooming.
FIG. 7 is a diagram illustrating a configuration of a motion amount calculation block.
FIG. 8 is a diagram showing the amount of motion in each motion detection region.
FIG. 9 is a diagram illustrating a configuration of a layering processing block;
FIG. 10 is a diagram for explaining threshold setting.
FIG. 11 is a diagram illustrating a configuration of a peripheral image signal generation block.
FIG. 12 is a diagram for explaining a right side moving image generation operation;
FIG. 13 is a diagram for explaining generation of a gap region and interpolation processing.
FIG. 14 is a diagram for explaining image conversion processing;
FIG. 15 is a diagram illustrating a configuration using a computer.
FIG. 16 is a flowchart showing an overall configuration of an image processing program according to the first embodiment.
FIG. 17 is a flowchart showing motion detection in the first embodiment.
FIG. 18 is a flowchart showing layering processing in the first embodiment;
FIG. 19 is a flowchart showing peripheral image signal generation in the first embodiment.
FIG. 20 is a diagram illustrating a configuration of an image processing apparatus according to a second embodiment.
FIG. 21 is a diagram illustrating a motion vector of each motion detection region.
FIG. 22 is a diagram illustrating a method for determining an image reference position.
FIG. 23 is a diagram illustrating a configuration of a motion detection unit.
FIG. 24 is a diagram illustrating a configuration of a layer classification unit.
FIG. 25 is a diagram for explaining a relationship between a vector direction and a motion pattern.
FIG. 26 is a diagram for describing a generation operation of layer classification information.
FIG. 27 is a diagram illustrating a configuration of an information generation unit.
FIG. 28 is a diagram illustrating an intermediate image for each layer.
FIG. 29 is a diagram illustrating an intermediate image for each layer after interpolation processing;
FIG. 30 is a diagram illustrating a configuration of a peripheral image signal generation block.
FIG. 31 is a flowchart illustrating an overall configuration of an image processing program according to the second embodiment.
FIG. 32 is a flowchart showing motion detection in the second embodiment.
FIG. 33 is a flowchart illustrating layering processing according to the second embodiment;
FIG. 34 is a flowchart showing peripheral image signal generation in the second embodiment.
FIG. 35 is a diagram illustrating a configuration of an image processing apparatus according to a third embodiment;
FIG. 36 is a diagram for explaining geometric transformation processing;
FIG. 37 is a diagram for explaining the operation of the motion discrimination image generation unit;
FIG. 38 is a diagram for explaining the principle of the motion amount determination operation;
FIG. 39 is a diagram illustrating a configuration of an integral image generation unit.
FIG. 40 is a diagram for explaining the operation of the integral image generation unit.
FIG. 41 is a diagram for explaining the operation of a motion amount determination unit;
FIG. 42 is a diagram for describing a generation operation of a backward layer motion determination image;
FIG. 43 is a diagram illustrating a configuration of an information generation unit.
FIG. 44 is a diagram showing a projected plane image and a generated side moving image.
FIG. 45 is a diagram for describing image conversion processing;
FIG. 46 is a flowchart illustrating an overall configuration of an image processing program according to the third embodiment.
FIG. 47 is a flowchart showing motion detection processing in the third embodiment;
FIG. 48 is a flowchart illustrating layering processing according to the third embodiment;
FIG. 49 is a flowchart showing peripheral image signal generation in the third embodiment.
[Explanation of symbols]
10L, 10C, 10R ... screen, 12L, 12C, 12R ... projector, 15A, 15B, 15C ... image processing device, 16, 26, 41, 224, 622-1 to 622-5 ... Delay unit, 20, 40 ... motion amount calculation block, 22, 45,80 ... layer division processing block, 24,60,72 ... peripheral image signal generation block, 30 ... computer, 42 ... -Motion detection unit, 44 ... Image signal generation unit, 46 ... Layer classification unit, 47 ... Information generation unit, 50 ... Storage unit, 51 ... Front moving image signal storage region, 52 ..Intermediate image information storage area 61... Image generation control unit 62... Signal extraction unit 63... Projection conversion unit 64. 73: Discrimination image generation unit, 74 ... Integral image Generation unit, 75... Motion determination unit, 81... Layer classification unit, 82... Information generation unit, 201 .. size change unit, 202, 422 .. error sum calculation unit, 203, 423. ..Comparison unit, 204, 424 ... Data storage unit, 205 ... Magnification rate setting unit, 221 ... Statistical information calculation unit, 222 ... Layer division threshold setting unit, 223 ... Layer determination unit 225: Layer movement amount calculation unit, 241 ... Signal extraction unit, 242, 243, 244 ... Addition unit, 245 ... Image shift unit, 246 ... Interpolation unit, 247 ... Medium Scene pasting unit, 248 ... foreground pasting unit, 249 ... image converting unit, 421 ... size converting unit, 425 ... search control unit, 461 ... pattern determining unit, 462 ... Layer determination unit, 463... Classification unit, 464. Value setting unit, 465, classification correction unit, 471, 821 ... motion amount average value calculation unit, 472, 822 ... intermediate image signal generation unit, 473, 823 ... intermediate image signal interpolation unit, 621 -1 to 621-5 ... composition part, 623-1 to 623-5 ... image shift part, 631 to 634 ... conversion part, 641 ... distant view composition part, 642 ... medium scene composition , 643... Foreground composition unit, 644... Reduced image composition unit, 741-1 to 741-ns... Addition processing unit, 742-1 to 742-ns.

Claims (21)

A motion detection means for detecting a motion of a predetermined area in an image formed on a specific plane using a plurality of frames of input image signals ;
Layering processing means for classifying the predetermined area based on the motion detected by the motion detection means and generating information indicating a classification result;
Based on the classification information and the input image signals of the plurality of frames, a peripheral image that generates an image signal of a peripheral image that has the same time as the target frame in the input image signal and has a different angle of view from the image of the target frame An image processing apparatus comprising: a signal generation unit. The image processing apparatus according to claim 1, wherein the image based on the input image signal and the image formed on the specific plane are images on the same plane. Motion detection for detecting movement of an image end region in a screen for each screen of the reference moving image by using the constraint condition using an image signal of the reference moving image that generates a motion satisfying at least one constraint condition Means,
Layering processing means for determining a layer of the predetermined region based on the motion detected by the motion detecting means and generating layer information;
It performed have the signal processing use image signal of the layer information generated at Layer processing means and the image end regions, as well as a the reference moving picture and the same time, around moving image corresponding to the reference moving picture An image processing apparatus comprising peripheral image generation means for generating an image signal. The image processing apparatus according to claim 3, wherein the motion detection unit sets a plurality of motion detection regions in the image edge region and detects motion for each motion detection region. The image processing apparatus according to claim 4, wherein the one constraint condition is a radial direction in which the movement of the image is centered on a predetermined position. The motion detection means calculates an error value with respect to the image on the previous screen while zooming the image of the motion detection area around the predetermined position, and determines the motion based on the calculated error value. The image processing apparatus according to claim 5, wherein: In the peripheral image generation means, the signal processing is performed according to the screen order.
The image processing apparatus according to claim 3. In the peripheral image generation means, the image edge region is divided into layers based on the detection result of the motion detection means, and the image signal of the peripheral moving image is obtained by performing signal processing according to the screen order for each layer. The image processing apparatus according to claim 3, wherein the image processing apparatus is generated. In the surrounding image generation means, a movement amount is set for each layer based on the detection result of the motion detection means, and the image of the image edge region divided into layers is determined according to the movement amount of the corresponding layer. 9. The image processing apparatus according to claim 8, wherein signal processing is performed to extract and paste the extracted image in units of layers. The image processing apparatus according to claim 9, wherein the peripheral image generation unit performs the pasting process for each layer in order from a layer having a small movement amount to a layer having a large movement amount. The peripheral image generation means moves the image of each layer that has already been pasted according to the amount of movement set for each layer, adds the extracted image to the moved image, and then adds the layer The image processing apparatus according to claim 9, wherein the processing of pasting in units is performed in screen order. The image processing according to claim 9, wherein the peripheral image generation unit generates an image signal of an image of the gap portion by interpolation processing when a gap portion is generated in the image by the pasting process in units of layers. apparatus. Wherein in the peripheral image generating means, as the interpolation process, according to claim 12 by extending the image positioned at the rear side of the gap portion in the layer direction of movement and generates an image signal of the image of the gap region Image processing apparatus. The peripheral image generation means performs signal conversion processing according to the direction of the projection plane of the peripheral moving image on the signal obtained by performing signal processing for pasting the extracted image in units of layers. The image processing apparatus according to claim 9 . The movement of a predetermined area in an image formed on a specific plane is detected using an input image signal of a plurality of frames ,
Based on the detected movement, the predetermined area is classified to generate information indicating a classification result,
Based on the classification information and the input image signals of the plurality of frames, generating an image signal of a peripheral image having the same time as the target frame in the input image signal and having a different angle of view from the image of the target frame. A characteristic image signal generation method. Using a reference moving image that produces a movement that satisfies at least one constraint condition, and detecting the movement of the image edge region for each screen of the reference moving image by using the constraint condition;
Based on the detected motion, performs signal processing using the image signal of the image end region, together with the the reference moving picture and the same time, generates an image signal of the peripheral moving image corresponding to the reference moving picture An image signal generation method characterized by the above. The signal processing is performed according to the screen order.
The image signal generating method according to claim 16. On the computer,
A process of detecting a motion of a predetermined area in an image formed on a specific plane using input image signals of a plurality of frames ;
A process of classifying the predetermined region based on the detected movement and generating information indicating a classification result;
Based on the classification information and the input image signals of the plurality of frames, processing for generating an image signal of a peripheral image that has the same time as the target frame in the input image signal and has a different angle of view from the image of the target frame; An image processing program for executing On the computer,
Using a reference moving image that generates a movement that satisfies at least one constraint condition, and using the constraint condition to detect a movement of an image end region for each screen of the reference moving image;
Based on the detected motion, performs signal processing using the image signal of the image end region, together with the the reference moving picture and the same time, generates an image signal of the peripheral moving image corresponding to the reference moving picture An image processing program for executing a process including the second process. On the computer,
A process of detecting a motion of a predetermined area in an image formed on a specific plane using input image signals of a plurality of frames ;
A process of classifying the predetermined region based on the detected movement and generating information indicating a classification result;
Based on the classification information and the input image signals of the plurality of frames, processing for generating an image signal of a peripheral image that has the same time as the target frame in the input image signal and has a different angle of view from the image of the target frame; An information recording medium having recorded thereon a computer-readable program. On the computer,
Using a reference moving image that generates a movement that satisfies at least one constraint condition, and using the constraint condition to detect a movement of an image end region for each screen of the reference moving image;
Based on the detected motion, performs signal processing using the image signal of the image end region, together with the the reference moving picture and the same time, generates an image signal of the peripheral moving image corresponding to the reference moving picture An information recording medium having recorded thereon a computer-readable program for executing a process including the second process.

Images