JP3683358B2 - カムコーダの動きベクトル検出装置および動きベクトル検出方法 - Google Patents
カムコーダの動きベクトル検出装置および動きベクトル検出方法 Download PDFInfo
- Publication number
- JP3683358B2 JP3683358B2 JP22866496A JP22866496A JP3683358B2 JP 3683358 B2 JP3683358 B2 JP 3683358B2 JP 22866496 A JP22866496 A JP 22866496A JP 22866496 A JP22866496 A JP 22866496A JP 3683358 B2 JP3683358 B2 JP 3683358B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- horizontal
- vertical
- input
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はカムコーダ（携帯用ＶＣＲ一体形カメラ）の動きベクトル検出装置および動きベクトル検出方法に関し、より詳しくは、様々な原因による手振れのため発生するカムコーダの不安定な映像を安定化した映像に補正するためのカムコーダの動きベクトル検出装置および動きベクトル検出方法に関する。
【０００２】
【従来の技術】
動き映像の信号から動きベクトルを検出することは画像圧縮、画像認識および画像安定化などに必修不可欠な重要技術である。
現在多く使用される携帯用ＶＣＲ一体形カメラ( カムコーダ) を利用して撮影する時、特に歩きながら撮影する時、または、運送手段の中で撮影する時は、カメラの動きのため、安定されていない振れる映像が入力され易い。また、カムコーダの小型化、大衆化の勢いにより携帯用カメラが多く使われているが、高倍率の撮影時に手振れにより映像の不安定度が深刻化する。
一方、カムコーダの入力装置としては、固体撮像素子が多く使用されるが、固体撮像素子は電子ビームを使用しない半導体チップからなる撮像デバイスであり、受光部の伝送にＭＯＳトランジスタを使用するのをＭＯＳ形といい、電荷結合素子(charge coupled device；以下ＣＣＤという) を使用するのをＣＣＤ形という。
【０００３】
以下、添付された図面を参照して従来の映像補正システムについて説明する。図７は、従来の代表的な映像補正システムを示すブロック図である。この図７に示されているように、従来のカメラの映像安定化のための映像補正システムは、入力される映像を光学系を用いて固体素子に結像させて、その像を固体素子内で電子的に走査して電気信号に変換して出力する固体撮像素子１１と、この固体撮像素子１１から入力されたアナログ信号をデジタル信号に変換して出力するアナログ／デジタル変換器（以下Ａ／Ｄと言う）１２と、このＡ／Ｄ１２から入力された信号を色差信号と明るさ信号に変換して出力するカメラ信号処理装置１３と、前記Ａ／Ｄ１２から入力された信号から手振れにより発生する動きを検出して動きベクトルを出力する動きベクトル検出装置１４と、この動きベクトル検出装置１４から出力された動きベクトルを入力として受けて、補正する領域の位置を制御するメモリ制御部１５と、前記カメラ信号処理装置１３から入力されたフィールド（又はフレーム）単位の画像を貯蔵して、前記メモリ制御部１５の画像補正制御により安定した画像信号を出力するフィールドメモリ１６と、このフィールドメモリ１６から入力されたデジタル映像信号をアナログ信号に変換して出力するデジタル／アナログ変換器（Ｄ／Ａ）１７とで構成される。
【０００４】
このような映像補正システムを用いた方法は時間的に連続する画像から選択された映像情報らの相関度を計算してその最大相関点から動きベクトルを決定する。その際、一般的に、ブロックマッチング法(Block Matching Algorithm)が広範に使用されており、計算上の複雑性と実時間処理問題を解決するため、段階的探索(Pyramid Search)、大数的探索(Logarithmic Search)などの多様な技術等が提案されている。
【０００５】
従来は、画像のパターン投影で動き情報を全領域から１次元で抽出して補正する方法も使用されている。図８は従来の画像の動きベクトルを一次元で抽出する方法を示す概念図である。
これは、映像のパターン情報を水平(x) 、垂直(y) 方向に累積した後、以前のフィールド画像の累積結果と相互相関度を計算してその極点からフィールド間移動量を予測する。
ｘ、ｙはフィールド画像の水平、垂直座標を示し、Ｍは画像の水平画素数、Ｎは画像のライン数とする時、例えば、式（１）のように示すことができる。
【数１】
ここで、P'とＰは以前と現在の映像情報を累積させた動き検出用ラインメモリであり、ｕ｛ｕ｜−Ｓ＜ｕ＜Ｓ｝は探索領域±Ｓ内の整数であり、移動変位を示す。
前記式（１）のように、各定義領域において、以前フィールドの累積値と現在の累積値との差異の和で、一番小さい量を示す変数ｕを画像の最適移動量とし判断する。
このような１次元信号のマッチング方法は２次元方法と比べて、大きい動きの画面移動にも小さい演算量で動きベクトルを求めることができるという特徴がある。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記の２次元のブロックマッチング方法は、基本的にブロック内の対象画像数の増加により急激な演算量の増加を伴い、反対に対象画像数の減少により局部的安定化(Local Minimum) に落ちて違う結果を出力し易いという問題点がある。
【０００７】
また、前記の一次元信号のマッチング方法は、入力画像の走査が終点に至った時、現在画像の映像情報累積が完了するから、次のフィールド画像の走査が開始する前までに相関度計算をすべく時間的制約を有するという問題点があり、また、累積メモリを節約するため入力画素を低い量子化レベル（２進信号) に変換しないといけないし、２進化の臨界値決定、輪郭線抽出による方法などの処理において画像情報の損失が生じ、入力画像のライン数Ｎと水平画素数Ｍに各々相関する２対のラインメモリとこれに対する複雑な演算構造が必要になるという問題点も発生する。
【０００８】
【課題を解決するための手段】
本発明は上述の課題を解決するために、入力される光映像信号の一部を垂直方向に分離して集光し、電気的信号に変換して出力する垂直方向映像集光装置と、この垂直方向映像集光装置から入力されたアナログ信号をデジタル信号に変換して出力する垂直アナログ／デジタル変換器と、この垂直アナログ／デジタル変換器から入力される映像信号を一定時間の間遅延させた後、出力する垂直遅延レジスタと、この垂直遅延レジスタから入力として画像信号を受けて貯蔵する垂直ラインメモリと、前記垂直アナログ／デジタル変換器から入力された画像信号と前記垂直ラインメモリから入力された画像信号とを相関値演算して垂直動きベクトルを出力する垂直相関値演算部と、入力される光映像信号の一部を水平方向に分離して集光し、電気的信号に変換して出力する水平方向映像集光装置と、この水平方向映像集光装置から入力されたアナログ信号をデジタル信号に変換して出力する水平アナログ／デジタル変換器と、この水平アナログ／デジタル変換器から入力される映像信号を一定時間の間遅延させた後、出力する水平遅延レジスタと、この水平遅延レジスタから入力として画像信号を受けて貯蔵する水平ラインメモリと、前記水平アナログ／デジタル変換器から入力された画像信号と前記水平ラインメモリから入力された画像信号とを相関値演算して水平動きベクトルを出力する水平相関値演算部とで構成されるカムコーダの動きベクトル検出装置とする。
【０００９】
また、本発明は、相関値を初期化するステップと、映像集光装置のラインＣＣＤを通じて映像を集光するステップと、ラインＣＣＤに集光された映像信号の中で、ｘ番目の画素の値をアナログ／デジタル変換をするステップと、ラインメモリ内の探索領域の範囲を指定するステップと、ｘ番目の画素の値と探索領域の値を相関値演算して累積するステップと、探索領域までの演算が終了されたかを判断するステップと、探索領域までの演算がまだ終了されていないと、演算の継続を行うステップに戻すため、探索位置パラメータを増加するステップと、探索領域までの演算が終了されると、ラインメモリのデータを更新するステップと、ラインＣＣＤに集光された全ての画素に対する演算が終了されたかどうかを判断するステップと、ラインＣＣＤに集光された全ての画素に対する演算がまだ終了されていないと、次の画素の値をアナログ／デジタル変換をするステップに戻すため、画素位置パラメータを増加するステップと、ラインＣＣＤに集光された全ての画素に対する演算が終了された場合、累積された相関値の中で最小値を検出するステップと、前記ステップで検出された最小値を特定方向の動きベクトルとし出力するステップとで構成されるカムコーダの動きベクトル検出方法とする。
【００１０】
【発明の実施の形態】
次に添付図面を参照して本発明によるカムコーダの動きベクトル検出装置および動きベクトル検出方法の実施の形態を詳細に説明する。
図３は本発明の実施の形態に使用する映像集光装置の原理を示す図であり、図４は本発明の実施の形態に使用した水平・垂直映像集光装置とその周辺機器を示す図である。
図３に図示されているように、映像集光装置３０は、２つの斜辺が相互に接合面を形成して側面から見る時、四角形を成しており、入力された２次元光信号の一部を接合面で反射させる２つの三角プリズム３１，３２と、この２つの三角プリズム３１，３２の接合面に対し、その平らな面が向き合っており、接合面で反射された２次元光信号を入力として受けて、１次元光信号に集光されるように出力する棒凸レンズ３３と、この棒凸レンズ３３から出力されて集光された１次元光信号を１次元電気信号に変換するラインＣＣＤ３４とで構成される。
【００１１】
図４に図示されているように、本発明の実施の形態では、上記のような映像集光装置を２つ、即ち、水平の２次元映像信号を入力として受けて１次元水平情報として出力する水平方向映像集光装置５０６と、垂直方向の２次元映像信号を入力として受けて１次元垂直情報として出力する垂直方向映像集光装置５０１とを使用して水平・垂直方向映像集光装置４０を構成した。水平方向映像集光装置５０６と垂直方向映像集光装置５０１は９０℃の位相差を有し、各々は具体的には次のように構成される。
【００１２】
垂直方向映像集光装置５０１は、２つの斜辺が左右に接合面を形成して側面から見る時、四角形を成しており、カメラレンズ部から入力された２次元光信号の一部を接合面で反射させる２つの垂直方向三角プリズム４５，４６と、この２つの垂直方向三角プリズム４５，４６の接合面に対し、その平らな面が向き合っており、接合面で反射された２次元光信号を入力として受けて、垂直方向の１次元光信号に集光されるように出力する垂直方向棒凸レンズ４７と、この垂直方向棒凸レンズ４７から出力されて集光された垂直方向の１次元光信号を垂直方向の１次元電気信号に変換する垂直ラインＣＣＤ４８とで構成される。
水平方向映像集光装置５０６は、２つの斜辺が上下に接合面を形成して側面から見る時、四角形を成しており、カメラレンズ部から入力された２次元光信号の一部を接合面で反射させる２つの水平方向三角プリズム４１，４２と、この水平方向三角プリズム４１，４２の接合面に対し、その平らな面が向き合っており、接合面で反射された２次元光信号を入力として受けて、水平方向の１次元光信号に集光されるように出力する水平方向棒凸レンズ４３と、この水平方向棒凸レンズ４３から出力されて集光された水平方向の１次元光信号を水平方向の１次元電気信号に変換する水平ラインＣＣＤ４４とで構成される。
【００１３】
図１は本発明の実施の形態によるカムコーダの動きベクトル検出装置を含む映像補正システムの第１の例を示すブロック図である。この図に示す映像補正システムは、入力される映像を光学系を用いて固体素子に結像させて、その像を固体素子内で電子的に走査して電気信号に変換して出力する固体撮像素子５１と、この固体撮像素子５１から入力されたアナログ信号をデジタル信号に変換して出力するアナログ／デジタル変換器（以下Ａ／Ｄと言う）５２と、このＡ／Ｄ５２から入力された信号を色差信号と明るさ信号に変換して出力するカメラ信号処理装置５３と、前記固体撮像素子５１に入力される映像と同一の映像を前記固体撮像素子５１とは別途の映像集光装置を利用して入力として受けて、手振れにより発生する動きを検出して動きベクトルを出力する動きベクトル検出装置５０と、この動きベクトル検出装置５０から出力された動きベクトルを入力として受けて、補正する領域の位置を制御するメモリ制御部５４と、前記カメラ信号処理装置５３から入力されたフィールド( 又はフレーム) 単位の画像を貯蔵して、前記メモリ制御部５４の画像補正制御により安定した画像信号を出力するフィールドメモリ５５と、このフィールドメモリ５５から入力されたデジタル映像信号をアナログ信号に変換して出力するデジタル／アナログ変換器（以下Ｄ／Ａと言う）５６とからなっている。
【００１４】
図２は本発明の実施の形態によるカムコーダの動きベクトル検出装置を含む映像補正システムの第２の例を示すブロック図である。この第２の例の映像補正システムは、映像集光装置を用いて映像を入力として受けて、手振れにより発生する動きを検出して動きベクトルを出力する動きベクトル検出装置５０と、この動きベクトル検出装置５０から出力された動きベクトルを入力として受けて、補正対象の領域の位置のための制御信号を出力するＣＣＤ駆動制御部６４と、前記動きベクトル検出装置５０に入力される映像と同一の映像を前記動きベクトル検出装置５０とは別途の光学系を用いて入力として受けて電気信号に変換し、前記ＣＣＤ駆動制御部６４の制御信号により補正された映像信号を出力する固体撮像素子５１と、この固体撮像素子５１から入力されたアナログ信号をデジタル信号に変換して出力するＡ／Ｄ５２と、このＡ／Ｄ５２から入力された信号を色差信号と明るさ信号に変換して出力するカメラ信号処理装置５３と、このカメラ信号処理装置５３から入力されたデジタル映像信号をアナログ信号に変換して出力するＤ／Ａ５６とからなっている。
【００１５】
ここで、図１および図２に図示された前記動きベクトル検出装置５０は、入力される光映像信号の一部を垂直方向に分離して集光し、電気的信号に変換して出力する垂直方向映像集光装置５０１と、この垂直方向映像集光装置５０１から入力されたアナログ信号をデジタル信号に変換して出力する垂直アナログ／デジタル変換器（以下垂直Ａ／Ｄと言う）５０２と、この垂直Ａ／Ｄ５０２から入力される映像信号を、探索領域の半分に該当する画素が処理される時間の間遅延させた後、出力する垂直遅延レジスタ５０３と、この垂直遅延レジスタ５０３から入力として画像信号を受けて貯蔵する垂直ラインメモリ５０４と、前記垂直Ａ／Ｄ５０２から入力された画像信号と前記垂直ラインメモリ５０４から入力された画像信号とを相関値演算して垂直動きベクトルを出力する垂直相関値演算部５０５と、入力される光映像信号の一部を水平方向に分離して集光し、電気的信号に変換して出力する水平方向映像集光装置５０６と、この水平方向映像集光装置５０６から入力されたアナログ信号をデジタル信号に変換して出力する水平アナログ／デジタル変換器（以下水平Ａ／Ｄと言う）５０７と、この水平Ａ／Ｄ５０７から入力される映像信号を、探索領域の半分に該当する画素が処理される時間の間遅延させた後、出力する水平遅延レジスタ５０８と、この水平遅延レジスタ５０８から入力として画像信号を受けて貯蔵する水平ラインメモリ５０９と、前記水平Ａ／Ｄ５０７から入力された画像信号と前記水平ラインメモリ５０９から入力された画像信号とを相関値演算して水平動きベクトルを出力する水平相関値演算部５１０とで構成される。
なお、垂直方向映像集光装置５０１および水平方向映像集光装置５０６の詳細は図４を参照して説明した通りである。
【００１６】
以上のように構成された装置の作用について説明する。
図３に図示した映像集光装置３０の基本原理は、上下( 又は左右) のプリズム３１，３２を通じて入力された２次元映像を棒凸レンズ３３で集光してラインＣＣＤ３４で１次元信号に受光することである。
【００１７】
このような映像集光装置を２つ用いた図４の水平・垂直方向映像集光装置４０は、カメラ前段部のレンズ部を通じて入る光（２次元映像) の一部を各々２つの組合で構成された水平方向三角プリズム（上下プリズム）４１，４２および垂直方向三角プリズム（左右プリズム）４５，４６を通じて水平・垂直方向に分離し、その分離された光を各々の水平・垂直棒凸レンズ４３，４７を通じて集光した後、最終的に水平・垂直ラインＣＣＤ４４，４８で電気的信号に変換する。
【００１８】
ここで、水平・垂直ラインＣＣＤ４４，４８の水平・垂直方向の長さをＭ、Ｎだとすると、入力された映像は水平方向の水平ラインＣＣＤ４４の長さＭ、垂直方向の垂直ラインＣＣＤ４８の長さＮで集光される。この集光された映像信号を式にて示すと次のようである。
【数２】
ただし、(x,y) は映像の座標であり、I(x,y)は画素の明るさであり、Ｐ・Ｑは各々水平・垂直方向に集光された結果である。また、αはプリズムを通じて入射された光の量に対する反射係数である。
線形で集行された１次元映像は水平・垂直ラインＣＣＤ４４，４８で１次元の電気的信号に変換されて図１および図２の動きベクトル検出装置５０で処理される。
【００１９】
図１の映像補正システムにおいては、水平・垂直方向映像集光装置５０６，５０１から出力された１次元映像信号Ｐ、Ｑを水平・垂直Ａ／Ｄ５０７，５０２を通じてデジタル信号に変換する。
次に、式（１）のように、水平・垂直相関値演算部５１０，５０５で水平・垂直ラインメモリ５０９，５０４から入力された以前フィールドの１次元映像信号と水平・垂直Ａ／Ｄ５０７，５０２から入力されたデジタル映像信号に対して相関関数を演算する。この時、相関関数の相関値の中で最小値を持つ位置をその映像での最適動きとして推定する。
【００２０】
次に、メモリ制御部５４では、動きベクトル検出装置５０から出力された水平・垂直方向の動きベクトルを入力として受けて、このベクトルを基準にして固体撮像素子（メインＣＣＤ) ５１から入力された手振れ映像が貯蔵されているフィールドメモリ５５に映像を補正する信号を出力する。より詳しく説明すると、固体撮像素子（メインＣＣＤ）５１を通じてフィールドメモリ５５に映像を貯蔵し、フィールドメモリ５５内の補正すべき映像の初期位置をメモリ制御部５４により制御することにより、手振れの補正された映像を出力するようになる。そして、フィールドメモリ５５からの補正された映像はＤ／Ａ５６を経てアナログ信号に変換されてテープレコーダに貯蔵される、または、映像出力される。
なお、水平・垂直方向映像集光装置５０６，５０１は、固体撮像素子（メインＣＣＤ）５１に入力される映像と同一の映像が入力され、固体撮像素子５１と独立的に動作する。
【００２１】
図２の映像補正システムは、図１のメモリ制御部５４に代えてＣＣＤ駆動制御部６４を設けて、このＣＣＤ駆動制御部６４で固体撮像素子（メインＣＣＤ）５１を制御する点と、図１フィールドメモリ５５を省略した点だけが図１と異なる。
すなわち、動きベクトル検出装置５０は、前述したように、固体撮像素子（メインＣＣＤ）５１に入力されている映像と同一の映像を入力として受けて、補正に必要な動きベクトルを抽出する動作が独立的に可能であるので、ＣＣＤ駆動制御部６４は、動きベクトル検出装置５０から動きベクトルを入力として受けて固体撮像素子（メインＣＣＤ）５１で撮像された映像をその時点で直接制御して補正された映像を出力する。従って、図１のフィールドメモリ５５は必要ではなくなる。
【００２２】
図５は本発明の実施の形態によるカムコーダの動きベクトル検出方法を示す概念図であり、図６は本発明の実施の形態によるカムコーダの動きベクトル検出方法を示す流れ図である。
図５および図６に図示されているように、水平と垂直の動きベクトル検出方法は次のようである。
まず、相関値演算部５０５，５１０の差分の絶対値演算部７５１と相関値累積部７５２の相関値Ｃ(s) をコントローラ（図示せず) からの１フィールド・リセット信号により初期化し（ステップＳ１０）、映像集光装置５０１，５０６内のラインＣＣＤ４８，４４を通じて映像を１次元（線形）にて集光する（ステップＳ２０）。
次に、ラインＣＣＤ４８，４４に集光された映像信号の中でｘ番目の画素の値をＡ／Ｄ５０２，５０７でデジタル信号に変換して出力する（ステップＳ３０）。次に、ラインメモリ５０４，５０９内の探索領域（Ｓ）の範囲（−Ｓ〜Ｓ）を指定する（ステップＳ４０）。そして、相関値演算部５０５，５１０でｘ番目の画素の値Ｐ(x) と探索領域に該当する値P'(x-s) 〜P'(x+s) の相関値Ｃ(-s)〜Ｃ(s) を次の式(4) のように演算して累積する（ステップＳ５０）。
【数３】
C(s) ＝ C(s) ＋｜P(x)− P'(x+s)｜ ・・・・ (4)
【００２３】
次に、探索領域までの演算が終了されたかどうかを判断して（ステップＳ６０）、探索領域までの演算がまだ終了されていない場合、演算を続いて実行するステップ（ステップＳ５０）に戻すため、探索位置パラメータを増加(s=s+1) する（ステップＳ６５）。
一方、探索領域までの演算が終了された場合、ラインメモリ５０４，５０９のデータを遅延レジスタ５０３，５０８のデータにて更新して（ステップＳ７０）、次のフィールドの相関値を計算する時過去映像情報として使用する。
【００２４】
次に、ラインＣＣＤ４８，４４に集光された最初の画素から最後の画素まで順次にパイプライン処理されて演算が終了されたかどうかを判断し（ステップＳ８０）、ラインＣＣＤ４８，４４に集光された全ての画素に対する演算が終了されていない場合、次の画素の値をアナログからデジタルに変換するステップ（ステップＳ３０）に戻すため、画素位置パラメータを増加(x=x+1) する（ステップＳ８５）。
最後に、相関値演算部５０５，５１０ではラインＣＣＤ４８，４４に集光された全ての画素に対する演算が終了された場合、累積された相関値の中で最小値を検出し（ステップＳ９０）、検出した最小値を特定方向（水平または垂直) の動きベクトルとして出力する（ステップＳ１００）。
【００２５】
【発明の効果】
このように本発明のカムコーダの動きベクトル検出装置および動きベクトル検出方法によれば、メインＣＣＤとは別途の水平方向映像集光装置および垂直方向映像集光装置を用いて１次元映像信号を高速に検出するようにしたので、実時間処理が可能となり、また、映像信号の相関度計算とラインメモリへの情報記憶をパイプライン方式で連続的に素早く行うようにしたので信号処理を高速に行うことができ、ラインメモリを節約して回路を簡単にすることもできる。
【図面の簡単な説明】
【図１】本発明の実施の形態によるカムコーダの動きベクトル検出装置を含む映像補正システムの第１の例を示すブロック図。
【図２】本発明の実施の形態によるカムコーダの動きベクトル検出装置を含む映像補正システムの第２の例を示すブロック図。
【図３】本発明の実施の形態に使用する映像集光装置の原理を示す図。
【図４】本発明の実施の形態に使用した水平・垂直方向映像集光装置とその周辺機構を示す図。
【図５】本発明の実施の形態によるカムコーダの動きベクトル検出方法を示す概念図。
【図６】本発明の実施の形態によるカムコーダの動きベクトル検出方法を示す流れ図。
【図７】従来の代表的な映像補正システムを示すブロック図。
【図８】従来の画素の動きベクトルを１次元にて抽出する方法を示す概念図。
【符号の説明】
３０ 映像集光装置
３１，３２ 三角プリズム
３３ 棒凸レンズ
３４ ラインＣＣＤ
４０ 水平・垂直方向映像集光装置
４１，４２ 水平方向三角プリズム
４３，４７ 水平・垂直方向棒凸レンズ
４４，４８ 水平・垂直ラインＣＣＤ
４５，４６ 垂直方向三角プリズム
５０ 動きベクトル検出装置
５１ 固体撮像素子( メインＣＣＤ)
５２ アナログ／デジタル変換器
５３ カメラ信号処理装置
５４ メモリ制御部
５５ フィールドメモリ
５６ デジタル／アナログ変換器
５０６，５０１ 水平・垂直方向映像集光装置
５０７，５０２ 水平・垂直アナログ／デジタル変換器
５０８，５０３ 水平・垂直遅延レジスタ
５０９，５０４ 水平・垂直ラインメモリ
５１０，５０５ 水平・垂直相関値演算部
６４ ＣＣＤ駆動制御部
【発明の属する技術分野】
本発明はカムコーダ（携帯用ＶＣＲ一体形カメラ）の動きベクトル検出装置および動きベクトル検出方法に関し、より詳しくは、様々な原因による手振れのため発生するカムコーダの不安定な映像を安定化した映像に補正するためのカムコーダの動きベクトル検出装置および動きベクトル検出方法に関する。
【０００２】
【従来の技術】
動き映像の信号から動きベクトルを検出することは画像圧縮、画像認識および画像安定化などに必修不可欠な重要技術である。
現在多く使用される携帯用ＶＣＲ一体形カメラ( カムコーダ) を利用して撮影する時、特に歩きながら撮影する時、または、運送手段の中で撮影する時は、カメラの動きのため、安定されていない振れる映像が入力され易い。また、カムコーダの小型化、大衆化の勢いにより携帯用カメラが多く使われているが、高倍率の撮影時に手振れにより映像の不安定度が深刻化する。
一方、カムコーダの入力装置としては、固体撮像素子が多く使用されるが、固体撮像素子は電子ビームを使用しない半導体チップからなる撮像デバイスであり、受光部の伝送にＭＯＳトランジスタを使用するのをＭＯＳ形といい、電荷結合素子(charge coupled device；以下ＣＣＤという) を使用するのをＣＣＤ形という。
【０００３】
以下、添付された図面を参照して従来の映像補正システムについて説明する。図７は、従来の代表的な映像補正システムを示すブロック図である。この図７に示されているように、従来のカメラの映像安定化のための映像補正システムは、入力される映像を光学系を用いて固体素子に結像させて、その像を固体素子内で電子的に走査して電気信号に変換して出力する固体撮像素子１１と、この固体撮像素子１１から入力されたアナログ信号をデジタル信号に変換して出力するアナログ／デジタル変換器（以下Ａ／Ｄと言う）１２と、このＡ／Ｄ１２から入力された信号を色差信号と明るさ信号に変換して出力するカメラ信号処理装置１３と、前記Ａ／Ｄ１２から入力された信号から手振れにより発生する動きを検出して動きベクトルを出力する動きベクトル検出装置１４と、この動きベクトル検出装置１４から出力された動きベクトルを入力として受けて、補正する領域の位置を制御するメモリ制御部１５と、前記カメラ信号処理装置１３から入力されたフィールド（又はフレーム）単位の画像を貯蔵して、前記メモリ制御部１５の画像補正制御により安定した画像信号を出力するフィールドメモリ１６と、このフィールドメモリ１６から入力されたデジタル映像信号をアナログ信号に変換して出力するデジタル／アナログ変換器（Ｄ／Ａ）１７とで構成される。
【０００４】
このような映像補正システムを用いた方法は時間的に連続する画像から選択された映像情報らの相関度を計算してその最大相関点から動きベクトルを決定する。その際、一般的に、ブロックマッチング法(Block Matching Algorithm)が広範に使用されており、計算上の複雑性と実時間処理問題を解決するため、段階的探索(Pyramid Search)、大数的探索(Logarithmic Search)などの多様な技術等が提案されている。
【０００５】
従来は、画像のパターン投影で動き情報を全領域から１次元で抽出して補正する方法も使用されている。図８は従来の画像の動きベクトルを一次元で抽出する方法を示す概念図である。
これは、映像のパターン情報を水平(x) 、垂直(y) 方向に累積した後、以前のフィールド画像の累積結果と相互相関度を計算してその極点からフィールド間移動量を予測する。
ｘ、ｙはフィールド画像の水平、垂直座標を示し、Ｍは画像の水平画素数、Ｎは画像のライン数とする時、例えば、式（１）のように示すことができる。
【数１】
前記式（１）のように、各定義領域において、以前フィールドの累積値と現在の累積値との差異の和で、一番小さい量を示す変数ｕを画像の最適移動量とし判断する。
このような１次元信号のマッチング方法は２次元方法と比べて、大きい動きの画面移動にも小さい演算量で動きベクトルを求めることができるという特徴がある。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記の２次元のブロックマッチング方法は、基本的にブロック内の対象画像数の増加により急激な演算量の増加を伴い、反対に対象画像数の減少により局部的安定化(Local Minimum) に落ちて違う結果を出力し易いという問題点がある。
【０００７】
また、前記の一次元信号のマッチング方法は、入力画像の走査が終点に至った時、現在画像の映像情報累積が完了するから、次のフィールド画像の走査が開始する前までに相関度計算をすべく時間的制約を有するという問題点があり、また、累積メモリを節約するため入力画素を低い量子化レベル（２進信号) に変換しないといけないし、２進化の臨界値決定、輪郭線抽出による方法などの処理において画像情報の損失が生じ、入力画像のライン数Ｎと水平画素数Ｍに各々相関する２対のラインメモリとこれに対する複雑な演算構造が必要になるという問題点も発生する。
【０００８】
【課題を解決するための手段】
本発明は上述の課題を解決するために、入力される光映像信号の一部を垂直方向に分離して集光し、電気的信号に変換して出力する垂直方向映像集光装置と、この垂直方向映像集光装置から入力されたアナログ信号をデジタル信号に変換して出力する垂直アナログ／デジタル変換器と、この垂直アナログ／デジタル変換器から入力される映像信号を一定時間の間遅延させた後、出力する垂直遅延レジスタと、この垂直遅延レジスタから入力として画像信号を受けて貯蔵する垂直ラインメモリと、前記垂直アナログ／デジタル変換器から入力された画像信号と前記垂直ラインメモリから入力された画像信号とを相関値演算して垂直動きベクトルを出力する垂直相関値演算部と、入力される光映像信号の一部を水平方向に分離して集光し、電気的信号に変換して出力する水平方向映像集光装置と、この水平方向映像集光装置から入力されたアナログ信号をデジタル信号に変換して出力する水平アナログ／デジタル変換器と、この水平アナログ／デジタル変換器から入力される映像信号を一定時間の間遅延させた後、出力する水平遅延レジスタと、この水平遅延レジスタから入力として画像信号を受けて貯蔵する水平ラインメモリと、前記水平アナログ／デジタル変換器から入力された画像信号と前記水平ラインメモリから入力された画像信号とを相関値演算して水平動きベクトルを出力する水平相関値演算部とで構成されるカムコーダの動きベクトル検出装置とする。
【０００９】
また、本発明は、相関値を初期化するステップと、映像集光装置のラインＣＣＤを通じて映像を集光するステップと、ラインＣＣＤに集光された映像信号の中で、ｘ番目の画素の値をアナログ／デジタル変換をするステップと、ラインメモリ内の探索領域の範囲を指定するステップと、ｘ番目の画素の値と探索領域の値を相関値演算して累積するステップと、探索領域までの演算が終了されたかを判断するステップと、探索領域までの演算がまだ終了されていないと、演算の継続を行うステップに戻すため、探索位置パラメータを増加するステップと、探索領域までの演算が終了されると、ラインメモリのデータを更新するステップと、ラインＣＣＤに集光された全ての画素に対する演算が終了されたかどうかを判断するステップと、ラインＣＣＤに集光された全ての画素に対する演算がまだ終了されていないと、次の画素の値をアナログ／デジタル変換をするステップに戻すため、画素位置パラメータを増加するステップと、ラインＣＣＤに集光された全ての画素に対する演算が終了された場合、累積された相関値の中で最小値を検出するステップと、前記ステップで検出された最小値を特定方向の動きベクトルとし出力するステップとで構成されるカムコーダの動きベクトル検出方法とする。
【００１０】
【発明の実施の形態】
次に添付図面を参照して本発明によるカムコーダの動きベクトル検出装置および動きベクトル検出方法の実施の形態を詳細に説明する。
図３は本発明の実施の形態に使用する映像集光装置の原理を示す図であり、図４は本発明の実施の形態に使用した水平・垂直映像集光装置とその周辺機器を示す図である。
図３に図示されているように、映像集光装置３０は、２つの斜辺が相互に接合面を形成して側面から見る時、四角形を成しており、入力された２次元光信号の一部を接合面で反射させる２つの三角プリズム３１，３２と、この２つの三角プリズム３１，３２の接合面に対し、その平らな面が向き合っており、接合面で反射された２次元光信号を入力として受けて、１次元光信号に集光されるように出力する棒凸レンズ３３と、この棒凸レンズ３３から出力されて集光された１次元光信号を１次元電気信号に変換するラインＣＣＤ３４とで構成される。
【００１１】
図４に図示されているように、本発明の実施の形態では、上記のような映像集光装置を２つ、即ち、水平の２次元映像信号を入力として受けて１次元水平情報として出力する水平方向映像集光装置５０６と、垂直方向の２次元映像信号を入力として受けて１次元垂直情報として出力する垂直方向映像集光装置５０１とを使用して水平・垂直方向映像集光装置４０を構成した。水平方向映像集光装置５０６と垂直方向映像集光装置５０１は９０℃の位相差を有し、各々は具体的には次のように構成される。
【００１２】
垂直方向映像集光装置５０１は、２つの斜辺が左右に接合面を形成して側面から見る時、四角形を成しており、カメラレンズ部から入力された２次元光信号の一部を接合面で反射させる２つの垂直方向三角プリズム４５，４６と、この２つの垂直方向三角プリズム４５，４６の接合面に対し、その平らな面が向き合っており、接合面で反射された２次元光信号を入力として受けて、垂直方向の１次元光信号に集光されるように出力する垂直方向棒凸レンズ４７と、この垂直方向棒凸レンズ４７から出力されて集光された垂直方向の１次元光信号を垂直方向の１次元電気信号に変換する垂直ラインＣＣＤ４８とで構成される。
水平方向映像集光装置５０６は、２つの斜辺が上下に接合面を形成して側面から見る時、四角形を成しており、カメラレンズ部から入力された２次元光信号の一部を接合面で反射させる２つの水平方向三角プリズム４１，４２と、この水平方向三角プリズム４１，４２の接合面に対し、その平らな面が向き合っており、接合面で反射された２次元光信号を入力として受けて、水平方向の１次元光信号に集光されるように出力する水平方向棒凸レンズ４３と、この水平方向棒凸レンズ４３から出力されて集光された水平方向の１次元光信号を水平方向の１次元電気信号に変換する水平ラインＣＣＤ４４とで構成される。
【００１３】
図１は本発明の実施の形態によるカムコーダの動きベクトル検出装置を含む映像補正システムの第１の例を示すブロック図である。この図に示す映像補正システムは、入力される映像を光学系を用いて固体素子に結像させて、その像を固体素子内で電子的に走査して電気信号に変換して出力する固体撮像素子５１と、この固体撮像素子５１から入力されたアナログ信号をデジタル信号に変換して出力するアナログ／デジタル変換器（以下Ａ／Ｄと言う）５２と、このＡ／Ｄ５２から入力された信号を色差信号と明るさ信号に変換して出力するカメラ信号処理装置５３と、前記固体撮像素子５１に入力される映像と同一の映像を前記固体撮像素子５１とは別途の映像集光装置を利用して入力として受けて、手振れにより発生する動きを検出して動きベクトルを出力する動きベクトル検出装置５０と、この動きベクトル検出装置５０から出力された動きベクトルを入力として受けて、補正する領域の位置を制御するメモリ制御部５４と、前記カメラ信号処理装置５３から入力されたフィールド( 又はフレーム) 単位の画像を貯蔵して、前記メモリ制御部５４の画像補正制御により安定した画像信号を出力するフィールドメモリ５５と、このフィールドメモリ５５から入力されたデジタル映像信号をアナログ信号に変換して出力するデジタル／アナログ変換器（以下Ｄ／Ａと言う）５６とからなっている。
【００１４】
図２は本発明の実施の形態によるカムコーダの動きベクトル検出装置を含む映像補正システムの第２の例を示すブロック図である。この第２の例の映像補正システムは、映像集光装置を用いて映像を入力として受けて、手振れにより発生する動きを検出して動きベクトルを出力する動きベクトル検出装置５０と、この動きベクトル検出装置５０から出力された動きベクトルを入力として受けて、補正対象の領域の位置のための制御信号を出力するＣＣＤ駆動制御部６４と、前記動きベクトル検出装置５０に入力される映像と同一の映像を前記動きベクトル検出装置５０とは別途の光学系を用いて入力として受けて電気信号に変換し、前記ＣＣＤ駆動制御部６４の制御信号により補正された映像信号を出力する固体撮像素子５１と、この固体撮像素子５１から入力されたアナログ信号をデジタル信号に変換して出力するＡ／Ｄ５２と、このＡ／Ｄ５２から入力された信号を色差信号と明るさ信号に変換して出力するカメラ信号処理装置５３と、このカメラ信号処理装置５３から入力されたデジタル映像信号をアナログ信号に変換して出力するＤ／Ａ５６とからなっている。
【００１５】
ここで、図１および図２に図示された前記動きベクトル検出装置５０は、入力される光映像信号の一部を垂直方向に分離して集光し、電気的信号に変換して出力する垂直方向映像集光装置５０１と、この垂直方向映像集光装置５０１から入力されたアナログ信号をデジタル信号に変換して出力する垂直アナログ／デジタル変換器（以下垂直Ａ／Ｄと言う）５０２と、この垂直Ａ／Ｄ５０２から入力される映像信号を、探索領域の半分に該当する画素が処理される時間の間遅延させた後、出力する垂直遅延レジスタ５０３と、この垂直遅延レジスタ５０３から入力として画像信号を受けて貯蔵する垂直ラインメモリ５０４と、前記垂直Ａ／Ｄ５０２から入力された画像信号と前記垂直ラインメモリ５０４から入力された画像信号とを相関値演算して垂直動きベクトルを出力する垂直相関値演算部５０５と、入力される光映像信号の一部を水平方向に分離して集光し、電気的信号に変換して出力する水平方向映像集光装置５０６と、この水平方向映像集光装置５０６から入力されたアナログ信号をデジタル信号に変換して出力する水平アナログ／デジタル変換器（以下水平Ａ／Ｄと言う）５０７と、この水平Ａ／Ｄ５０７から入力される映像信号を、探索領域の半分に該当する画素が処理される時間の間遅延させた後、出力する水平遅延レジスタ５０８と、この水平遅延レジスタ５０８から入力として画像信号を受けて貯蔵する水平ラインメモリ５０９と、前記水平Ａ／Ｄ５０７から入力された画像信号と前記水平ラインメモリ５０９から入力された画像信号とを相関値演算して水平動きベクトルを出力する水平相関値演算部５１０とで構成される。
なお、垂直方向映像集光装置５０１および水平方向映像集光装置５０６の詳細は図４を参照して説明した通りである。
【００１６】
以上のように構成された装置の作用について説明する。
図３に図示した映像集光装置３０の基本原理は、上下( 又は左右) のプリズム３１，３２を通じて入力された２次元映像を棒凸レンズ３３で集光してラインＣＣＤ３４で１次元信号に受光することである。
【００１７】
このような映像集光装置を２つ用いた図４の水平・垂直方向映像集光装置４０は、カメラ前段部のレンズ部を通じて入る光（２次元映像) の一部を各々２つの組合で構成された水平方向三角プリズム（上下プリズム）４１，４２および垂直方向三角プリズム（左右プリズム）４５，４６を通じて水平・垂直方向に分離し、その分離された光を各々の水平・垂直棒凸レンズ４３，４７を通じて集光した後、最終的に水平・垂直ラインＣＣＤ４４，４８で電気的信号に変換する。
【００１８】
ここで、水平・垂直ラインＣＣＤ４４，４８の水平・垂直方向の長さをＭ、Ｎだとすると、入力された映像は水平方向の水平ラインＣＣＤ４４の長さＭ、垂直方向の垂直ラインＣＣＤ４８の長さＮで集光される。この集光された映像信号を式にて示すと次のようである。
【数２】
線形で集行された１次元映像は水平・垂直ラインＣＣＤ４４，４８で１次元の電気的信号に変換されて図１および図２の動きベクトル検出装置５０で処理される。
【００１９】
図１の映像補正システムにおいては、水平・垂直方向映像集光装置５０６，５０１から出力された１次元映像信号Ｐ、Ｑを水平・垂直Ａ／Ｄ５０７，５０２を通じてデジタル信号に変換する。
次に、式（１）のように、水平・垂直相関値演算部５１０，５０５で水平・垂直ラインメモリ５０９，５０４から入力された以前フィールドの１次元映像信号と水平・垂直Ａ／Ｄ５０７，５０２から入力されたデジタル映像信号に対して相関関数を演算する。この時、相関関数の相関値の中で最小値を持つ位置をその映像での最適動きとして推定する。
【００２０】
次に、メモリ制御部５４では、動きベクトル検出装置５０から出力された水平・垂直方向の動きベクトルを入力として受けて、このベクトルを基準にして固体撮像素子（メインＣＣＤ) ５１から入力された手振れ映像が貯蔵されているフィールドメモリ５５に映像を補正する信号を出力する。より詳しく説明すると、固体撮像素子（メインＣＣＤ）５１を通じてフィールドメモリ５５に映像を貯蔵し、フィールドメモリ５５内の補正すべき映像の初期位置をメモリ制御部５４により制御することにより、手振れの補正された映像を出力するようになる。そして、フィールドメモリ５５からの補正された映像はＤ／Ａ５６を経てアナログ信号に変換されてテープレコーダに貯蔵される、または、映像出力される。
なお、水平・垂直方向映像集光装置５０６，５０１は、固体撮像素子（メインＣＣＤ）５１に入力される映像と同一の映像が入力され、固体撮像素子５１と独立的に動作する。
【００２１】
図２の映像補正システムは、図１のメモリ制御部５４に代えてＣＣＤ駆動制御部６４を設けて、このＣＣＤ駆動制御部６４で固体撮像素子（メインＣＣＤ）５１を制御する点と、図１フィールドメモリ５５を省略した点だけが図１と異なる。
すなわち、動きベクトル検出装置５０は、前述したように、固体撮像素子（メインＣＣＤ）５１に入力されている映像と同一の映像を入力として受けて、補正に必要な動きベクトルを抽出する動作が独立的に可能であるので、ＣＣＤ駆動制御部６４は、動きベクトル検出装置５０から動きベクトルを入力として受けて固体撮像素子（メインＣＣＤ）５１で撮像された映像をその時点で直接制御して補正された映像を出力する。従って、図１のフィールドメモリ５５は必要ではなくなる。
【００２２】
図５は本発明の実施の形態によるカムコーダの動きベクトル検出方法を示す概念図であり、図６は本発明の実施の形態によるカムコーダの動きベクトル検出方法を示す流れ図である。
図５および図６に図示されているように、水平と垂直の動きベクトル検出方法は次のようである。
まず、相関値演算部５０５，５１０の差分の絶対値演算部７５１と相関値累積部７５２の相関値Ｃ(s) をコントローラ（図示せず) からの１フィールド・リセット信号により初期化し（ステップＳ１０）、映像集光装置５０１，５０６内のラインＣＣＤ４８，４４を通じて映像を１次元（線形）にて集光する（ステップＳ２０）。
次に、ラインＣＣＤ４８，４４に集光された映像信号の中でｘ番目の画素の値をＡ／Ｄ５０２，５０７でデジタル信号に変換して出力する（ステップＳ３０）。次に、ラインメモリ５０４，５０９内の探索領域（Ｓ）の範囲（−Ｓ〜Ｓ）を指定する（ステップＳ４０）。そして、相関値演算部５０５，５１０でｘ番目の画素の値Ｐ(x) と探索領域に該当する値P'(x-s) 〜P'(x+s) の相関値Ｃ(-s)〜Ｃ(s) を次の式(4) のように演算して累積する（ステップＳ５０）。
【数３】
C(s) ＝ C(s) ＋｜P(x)− P'(x+s)｜ ・・・・ (4)
【００２３】
次に、探索領域までの演算が終了されたかどうかを判断して（ステップＳ６０）、探索領域までの演算がまだ終了されていない場合、演算を続いて実行するステップ（ステップＳ５０）に戻すため、探索位置パラメータを増加(s=s+1) する（ステップＳ６５）。
一方、探索領域までの演算が終了された場合、ラインメモリ５０４，５０９のデータを遅延レジスタ５０３，５０８のデータにて更新して（ステップＳ７０）、次のフィールドの相関値を計算する時過去映像情報として使用する。
【００２４】
次に、ラインＣＣＤ４８，４４に集光された最初の画素から最後の画素まで順次にパイプライン処理されて演算が終了されたかどうかを判断し（ステップＳ８０）、ラインＣＣＤ４８，４４に集光された全ての画素に対する演算が終了されていない場合、次の画素の値をアナログからデジタルに変換するステップ（ステップＳ３０）に戻すため、画素位置パラメータを増加(x=x+1) する（ステップＳ８５）。
最後に、相関値演算部５０５，５１０ではラインＣＣＤ４８，４４に集光された全ての画素に対する演算が終了された場合、累積された相関値の中で最小値を検出し（ステップＳ９０）、検出した最小値を特定方向（水平または垂直) の動きベクトルとして出力する（ステップＳ１００）。
【００２５】
【発明の効果】
このように本発明のカムコーダの動きベクトル検出装置および動きベクトル検出方法によれば、メインＣＣＤとは別途の水平方向映像集光装置および垂直方向映像集光装置を用いて１次元映像信号を高速に検出するようにしたので、実時間処理が可能となり、また、映像信号の相関度計算とラインメモリへの情報記憶をパイプライン方式で連続的に素早く行うようにしたので信号処理を高速に行うことができ、ラインメモリを節約して回路を簡単にすることもできる。
【図面の簡単な説明】
【図１】本発明の実施の形態によるカムコーダの動きベクトル検出装置を含む映像補正システムの第１の例を示すブロック図。
【図２】本発明の実施の形態によるカムコーダの動きベクトル検出装置を含む映像補正システムの第２の例を示すブロック図。
【図３】本発明の実施の形態に使用する映像集光装置の原理を示す図。
【図４】本発明の実施の形態に使用した水平・垂直方向映像集光装置とその周辺機構を示す図。
【図５】本発明の実施の形態によるカムコーダの動きベクトル検出方法を示す概念図。
【図６】本発明の実施の形態によるカムコーダの動きベクトル検出方法を示す流れ図。
【図７】従来の代表的な映像補正システムを示すブロック図。
【図８】従来の画素の動きベクトルを１次元にて抽出する方法を示す概念図。
【符号の説明】
３０ 映像集光装置
３１，３２ 三角プリズム
３３ 棒凸レンズ
３４ ラインＣＣＤ
４０ 水平・垂直方向映像集光装置
４１，４２ 水平方向三角プリズム
４３，４７ 水平・垂直方向棒凸レンズ
４４，４８ 水平・垂直ラインＣＣＤ
４５，４６ 垂直方向三角プリズム
５０ 動きベクトル検出装置
５１ 固体撮像素子( メインＣＣＤ)
５２ アナログ／デジタル変換器
５３ カメラ信号処理装置
５４ メモリ制御部
５５ フィールドメモリ
５６ デジタル／アナログ変換器
５０６，５０１ 水平・垂直方向映像集光装置
５０７，５０２ 水平・垂直アナログ／デジタル変換器
５０８，５０３ 水平・垂直遅延レジスタ
５０９，５０４ 水平・垂直ラインメモリ
５１０，５０５ 水平・垂直相関値演算部
６４ ＣＣＤ駆動制御部
Claims (8)
- 入力される光映像信号の一部を垂直方向に分離して集光し、電気的信号に変換して出力する垂直方向映像集光装置と、
前記垂直方向映像集光装置から入力されたアナログ信号をデジタル信号に変換して出力する垂直アナログ／デジタル変換器と、
前記垂直アナログ／デジタル変換器から入力される映像信号を一定時間の間遅延させた後、出力する垂直遅延レジスタと、
前記垂直遅延レジスタから入力として画像信号を受けて貯蔵する垂直ラインメモリと、
前記垂直アナログ／デジタル変換器から入力された画像信号と前記垂直ラインメモリから入力された画像信号とを相関値演算して垂直動きベクトルを出力する垂直相関値演算部と、
入力される光映像信号の一部を水平方向に分離して集光し、電気的信号に変換して出力する水平方向映像集光装置と、
前記水平方向映像集光装置から入力されたアナログ信号をデジタル信号に変換して出力する水平アナログ／デジタル変換器と、
前記水平アナログ／デジタル変換器から入力される映像信号を一定時間の間遅延させた後、出力する水平遅延レジスタと、
前記水平遅延レジスタから入力として画像信号を受けて貯蔵する水平ラインメモリと、
前記水平アナログ／デジタル変換器から入力された画像信号と前記水平ラインメモリから入力された画像信号とを相関値演算して水平動きベクトルを出力する水平相関値演算部と、
前記入力される光映像信号を集光して電気的信号に変換して出力する固体撮像素子と、
前記固体撮像素子の出力を一時蓄えるフィールドメモリと、
前記垂直動きベクトルの出力と前記水平動きベクトルの出力とを合成して、前記固体撮像素子及び／又は前記フィールドメモリに電気的にフィードバックすることにより動き補正をするメモリ制御部とで構成されることを特徴とするカムコーダの動きベクトル検出装置。 - 請求項１記載のカムコーダの動きベクトル検出装置において、前記垂直方向映像集光装置は、
２つの斜辺が左右に接合面を形成して側面から見る時、四角形を成しており、カメラレンズ部から入力された２次元光信号の一部を接合面で反射させる２つの垂直方向三角プリズムと、
前記２つの垂直方向三角プリズムの接合面に対し、その平らな面が向き合っており、接合面で反射された２次元光信号を入力として受けて垂直方向の１次元光信号に集光されるように出力する垂直方向棒凸レンズと、
前記垂直方向棒凸レンズから出力されて集光された垂直方向の１次元光信号を垂直方向の１次元電気信号に変換する垂直ラインＣＣＤとで
構成されることを特徴とするカムコーダの動きベクトル検出装置。 - 請求項１記載のカムコーダの動きベクトル検出装置において、前記水平方向映像集光装置は、
２つの斜辺が上下に接合面を形成して側面から見る時、四角形を成しており、カメラレンズ部から入力された２次元光信号の一部を接合面で反射させる２つの水平方向三角プリズムと、
前記２つの水平方向三角プリズムの接合面に対し、その平らな面が向き合っており、接合面で反射された２次元光信号を入力として受けて水平方向の１次元光信号に集光されるように出力する水平方向棒凸レンズと、
前記水平方向棒凸レンズから出力されて集光された水平方向の１次元光信号を水平方向の１次元電気信号に変換する水平ラインＣＣＤとで構成されることを特徴とするカムコーダの動きベクトル検出装置。 - 入力される映像を光学系を用いて固体素子に結像させて、その像を固体素子内で電子的に走査して電気信号に変換して出力する固体撮像素子と、
前記固体撮像素子から入力されたアナログ信号をデジタル信号に変換して出力するアナログ／デジタル変換器と、
前記固体撮像素子の出力を一時蓄えるフィールドメモリと、
前記アナログ／デジタル変換器から入力された信号を色差信号と明るさ信号に変換して出力するカメラ信号処理装置と、
前記固体撮像素子に入力される映像と同一の映像を前記固体撮像素子とは別途の映像集光装置を利用して入力として受けて、手振れにより発生する動きを検出して動きベクトルを出力する動きベクトル検出装置と、
前記動きベクトル検出装置から出力された動きベクトルを入力として受けて、 前記固体撮像素子及び／又は前記フィールドメモリに電気的にフィードバックすることにより、補正する領域の位置を制御するメモリ制御部と、
前記カメラ信号処理装置から入力されたフィールド又はフレーム単位の画像を貯蔵して、前記メモリ制御部の画像補正制御により安定した画像信号を出力するメモリと、
前記メモリから入力されたデジタル映像信号をアナログ信号に変換して出力するデジタル／アナログ変換器とで
構成されることを特徴とするカムコーダの映像補正システム。 - 映像集光装置を利用して映像を入力として受けて、手振れにより発生する動きを検出して動きベクトルを出力する動きベクトル検出装置と、
前記動きベクトル検出装置から出力された動きベクトルを入力として受けて、補正する領域の位置を制御する信号を出力するＣＣＤ駆動制御部と、
前記動きベクトル検出装置に入力される映像と同一の映像を前記動きベクトル検出装置とは別途の光学系を利用して入力として受けて電気信号に変換し、前記ＣＣＤ駆動制御部の制御信号により補正された映像信号を出力する固体撮像素子と、
前記固体撮像素子から入力されたアナログ信号をデジタル信号に変換して出力するアナログ／デジタル変換器と、
前記固体撮像素子の出力を一時蓄えるフィールドメモリと、
前記アナログ／デジタル変換器から入力された信号を色差信号と明るさ信号に変換して出力するカメラ信号処理装置と、
前記動きベクトル検出装置の出力を用いて、前記固体撮像素子及び／又は固体撮像素子の出力を一時蓄えるフィールドメモリに電気的にフィードバックして動き補正をするメモリ制御部と
前記カメラ信号処理装置から入力されたデジタル信号をアナログ信号に変換して出力するデジタル／アナログ変換器とで構成されることを特徴とするカムコーダの映像補正システム。 - 請求項４または５記載のカムコーダの映像補正システムにおいて、前記動きベクトル検出装置は、
入力される光映像信号の一部を垂直方向に分離して集光し、電気的信号に変換して出力する垂直方向映像集光装置と、
前記垂直方向映像集光装置から入力されたアナログ信号をデジタル信号に変換して出力する垂直アナログ／デジタル変換器と、
前記垂直アナログ／デジタル変換器から入力される映像信号を、探索領域の半分に該当する画素が処理される時間の間遅延させた後、出力する垂直遅延レジスタと、
前記垂直遅延レジスタから入力として画像信号を受けて貯蔵する垂直ラインメモリと、
前記垂直アナログ／デジタル変換器から入力された画像信号と前記垂直ラインメモリから入力された画像信号とを相関値演算して垂直動きベクトルを出力する垂直相関値演算部と、
入力される光映像信号の一部を水平方向に分離して集光し、電気的信号に変換して出力する水平方向映像集光装置と、
前記水平方向映像集光装置から入力されたアナログ信号をデジタル信号に変換して出力する水平アナログ／デジタル変換器と、
前記水平アナログ／デジタル変換器から入力される映像信号を、探索領域の半分に該当する画素が処理される時間の間遅延させた後、出力する水平遅延レジスタと、
前記水平遅延レジスタから入力として画像信号を受けて貯蔵する水平ラインメモリと、
前記水平アナログ／デジタル変換器から入力された画像信号と前記水平ラインメモリから入力された画像信号とを相関値演算して水平動きベクトルを出力する水平相関値演算部とで
構成されることを特徴とするカムコーダの映像補正システム。 - 請求項６記載のカムコーダの映像補正システムにおいて、前記垂直方向映像集光装置は、
２つの斜辺が左右に接合面を形成して側面から見る時、四角形を成しており、カメラレンズ部から入力された２次元光信号の一部を接合面で反射させる２つの垂直方向三角プリズムと、
前記２つの垂直方向三角プリズムの接合面に対し、その平らな面が向き合っており、接合面で反射された２次元光信号を入力として受けて垂直方向の１次元光信号に集光されるように出力する垂直方向棒凸レンズと、
前記垂直方向棒凸レンズから出力されて集光された垂直方向の１次元光信号を垂直方向の１次元電気信号に変換する垂直ラインＣＣＤとで構成されることを特徴とするカムコーダの映像補正システム。 - 請求項６記載のカムコーダの映像補正システムにおいて、前記水平方向映像集光装置は、
２つの斜辺が上下に接合面を形成して側面から見る時、四角形を成しており、カメラレンズ部から入力された２次元光信号の一部を接合面で反射させる２つの水平方向三角プリズムと、
前記２つの水平方向三角プリズムの接合面に対し、その平らな面が向き合っており、接合面で反射された２次元光信号を入力として受けて水平方向の１次元光信号に集光されるように出力する水平方向棒凸レンズと、
前記水平方向棒凸レンズから出力されて集光された水平方向の１次元光信号を水平方向の１次元電気信号に変換する水平ラインＣＣＤとで
構成されることを特徴とするカムコーダの映像補正システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950027157A KR0175372B1 (ko) | 1995-08-29 | 1995-08-29 | 캠코더의 움직임 벡터 검출장치 및 그 검출방법 |
| KR1995P-27157 | 1995-08-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09121301A JPH09121301A (ja) | 1997-05-06 |
| JP3683358B2 true JP3683358B2 (ja) | 2005-08-17 |
Family
ID=19424902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22866496A Expired - Fee Related JP3683358B2 (ja) | 1995-08-29 | 1996-08-29 | カムコーダの動きベクトル検出装置および動きベクトル検出方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5903307A (ja) |
| JP (1) | JP3683358B2 (ja) |
| KR (1) | KR0175372B1 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09307857A (ja) * | 1996-05-17 | 1997-11-28 | Sony Corp | 画像信号処理装置及び画像信号処理方法 |
| KR100247278B1 (ko) * | 1996-09-23 | 2000-03-15 | 윤종용 | 움직임 벡터 검출을 위한 영상집광장치 |
| KR100252080B1 (ko) * | 1997-10-10 | 2000-04-15 | 윤종용 | 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법 |
| DE19814951C2 (de) * | 1998-04-03 | 2000-08-31 | Zeiss Optronik Gmbh | Vorrichtung und Verfahren zur digitalen Bildstabilisierung |
| US6630951B1 (en) * | 1998-06-11 | 2003-10-07 | Ricoh Company, Ltd. | Apparatus for detecting hand movement of an optical device |
| JP3886769B2 (ja) * | 2001-10-26 | 2007-02-28 | 富士通株式会社 | 補正画像生成装置および補正画像生成プログラム |
| US7280696B2 (en) * | 2002-05-20 | 2007-10-09 | Simmonds Precision Products, Inc. | Video detection/verification system |
| JP2003344259A (ja) * | 2002-05-28 | 2003-12-03 | Rion Co Ltd | 粒子検出器 |
| US7212230B2 (en) * | 2003-01-08 | 2007-05-01 | Hewlett-Packard Development Company, L.P. | Digital camera having a motion tracking subsystem responsive to input control for tracking motion of the digital camera |
| FR2882160B1 (fr) * | 2005-02-17 | 2007-06-15 | St Microelectronics Sa | Procede de capture d'images comprenant une mesure de mouvements locaux |
| US7656428B2 (en) * | 2005-05-05 | 2010-02-02 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Imaging device employing optical motion sensor as gyroscope |
| US20080204556A1 (en) * | 2007-02-23 | 2008-08-28 | De Miranda Federico Thoth Jorg | Vehicle camera security system |
| US20100235314A1 (en) * | 2009-02-12 | 2010-09-16 | Decisive Analytics Corporation | Method and apparatus for analyzing and interrelating video data |
| US8458105B2 (en) * | 2009-02-12 | 2013-06-04 | Decisive Analytics Corporation | Method and apparatus for analyzing and interrelating data |
| US8379933B2 (en) * | 2010-07-02 | 2013-02-19 | Ability Enterprise Co., Ltd. | Method of determining shift between two images |
| US20130169800A1 (en) * | 2010-11-16 | 2013-07-04 | Honda Motor Co., Ltd. | Displacement magnitude detection device for vehicle-mounted camera |
| US20120170618A1 (en) * | 2011-01-04 | 2012-07-05 | ABG Tag & Traq, LLC | Ultra wideband time-delayed correlator |
| IL233684B (en) | 2014-07-17 | 2018-01-31 | Shamir Hanan | Stabilizing and displaying remote images |
| KR20210107958A (ko) | 2020-02-24 | 2021-09-02 | 삼성전자주식회사 | 디지털 영상 안정화 장치, 그것의 동작 방법, 및 그것을 갖는 전자 장치 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3497283A (en) * | 1966-08-24 | 1970-02-24 | Bausch & Lomb | Color selection polarizing beam splitter |
| US3547521A (en) * | 1967-07-01 | 1970-12-15 | Cosmicar Kogaku Kk | Compact zoom lens and beam spliting system |
| US4882619A (en) * | 1986-04-07 | 1989-11-21 | Olympus Optical Co., Ltd. | High resolution image pickup system with color dispersion means |
| JPS6479712A (en) * | 1987-09-21 | 1989-03-24 | Fuji Photo Film Co Ltd | Automatic focusing adjuster |
| US4980771A (en) * | 1988-02-18 | 1990-12-25 | Victor Company Of Japan, Ltd. | Imaging device and imaging apparatus including the imaging device |
| US5457494A (en) * | 1988-11-21 | 1995-10-10 | Canon Kabushiki Kaisha | Image pickup signal processing apparatus |
| GB2239575B (en) * | 1989-10-17 | 1994-07-27 | Mitsubishi Electric Corp | Motion vector detecting apparatus and image blur correcting apparatus, and video camera including such apparatus |
| US5319456A (en) * | 1989-10-17 | 1994-06-07 | Mitsubishi Denki Kabushiki Kaisha | Moving vector detecting apparatus |
| US5635725A (en) * | 1994-02-15 | 1997-06-03 | Cooper; J. Carl | Apparatus and method for positionally stabilizing an image |
-
1995
- 1995-08-29 KR KR1019950027157A patent/KR0175372B1/ko not_active IP Right Cessation
-
1996
- 1996-08-29 US US08/706,398 patent/US5903307A/en not_active Expired - Fee Related
- 1996-08-29 JP JP22866496A patent/JP3683358B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR970014392A (ko) | 1997-03-29 |
| KR0175372B1 (ko) | 1999-03-20 |
| JPH09121301A (ja) | 1997-05-06 |
| US5903307A (en) | 1999-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3683358B2 (ja) | カムコーダの動きベクトル検出装置および動きベクトル検出方法 | |
| US8743268B2 (en) | Image capturing apparatus, control method therefor, and program for correcting shift based on shift amount in image plane | |
| US7787015B2 (en) | Apparatus and method for reducing image blur in a digital camera | |
| US8319842B2 (en) | Image capturing apparatus to prevent image blurring and control method therefor | |
| KR19990031401A (ko) | 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법 | |
| JP4719553B2 (ja) | 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体 | |
| US5832101A (en) | Device and method for detecting a motion vector of an image | |
| KR101393560B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
| JP4420906B2 (ja) | 撮像装置 | |
| KR20120131178A (ko) | 타겟 추적 기능을 포함하는 촬영 장치 | |
| JP2003307669A (ja) | カメラ | |
| JP2007074394A (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP2957800B2 (ja) | 自動焦点調節装置 | |
| JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JP4053116B2 (ja) | 動きベクトル検出のための映像集光装置 | |
| JP4871664B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP3116422B2 (ja) | カメラ制御装置 | |
| JP3200089B2 (ja) | 動きベクトル検出装置及び振れ補正装置 | |
| JP4760484B2 (ja) | 手振れ補正装置、手振れ補正方法およびプログラム | |
| JP2000175101A (ja) | 自動追尾装置 | |
| KR101486773B1 (ko) | 흔들림 보상을 위한 영상처리방법 및 흔들림 보상 기능을갖는 촬상장치 | |
| US11206350B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
| JP3280452B2 (ja) | カメラ | |
| JP2008103928A (ja) | 撮像装置 | |
| KR100228682B1 (ko) | 손떨림 보정시 전체적인 움직임 검출장치 및방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20041116 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20041130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050525 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090603 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100603 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110603 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |