JP5197064B2 - Video camera - Google Patents
Video camera Download PDFInfo
- Publication number
- JP5197064B2 JP5197064B2 JP2008042281A JP2008042281A JP5197064B2 JP 5197064 B2 JP5197064 B2 JP 5197064B2 JP 2008042281 A JP2008042281 A JP 2008042281A JP 2008042281 A JP2008042281 A JP 2008042281A JP 5197064 B2 JP5197064 B2 JP 5197064B2
- Authority
- JP
- Japan
- Prior art keywords
- changing
- imaging
- imaging surface
- function
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 89
- 238000001514 detection method Methods 0.000 claims description 73
- 239000013598 vector Substances 0.000 claims description 58
- 238000000605 extraction Methods 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 description 17
- 241000233855 Orchidaceae Species 0.000 description 14
- 238000012805 post-processing Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
この発明は、ビデオカメラに関し、特にフォーカルプレーン電子シャッタ方式を採用するイメージセンサから出力された画像データにフォーカルプレーン歪補正処理を施す、ビデオカメラに関する。 The present invention relates to a video camera, and more particularly to a video camera that performs focal plane distortion correction processing on image data output from an image sensor that employs a focal plane electronic shutter system.
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、CMOS型イメージセンサから出力された画像信号は、フォーカルプレーン歪補正回路に与えられる。フォーカルプレーン歪補正回路は、連続する3フレームに注目し、画素位置によって異なる2フレームに線形補間処理を施す。これによって、フォーカルプレーン歪が補正された1フレームの画像信号が生成される。
しかし、背景技術では、フォーカルプレーン歪を補正するために上述のような特別の回路が必要になる。 However, the background art requires a special circuit as described above to correct the focal plane distortion.
それゆえに、この発明の主たる目的は、簡単な回路構成で動画像の品質を改善することができる、ビデオカメラを提供することである。 Therefore, a main object of the present invention is to provide a video camera capable of improving the quality of moving images with a simple circuit configuration.
この発明に従うビデオカメラ(10:実施例で相当する参照符号。以下同じ)は、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された電子画像をラスタ走査態様で繰り返し出力する撮像手段(16)、撮像手段から出力された電子画像のうち指定エリアに属する部分画像を抽出する抽出手段(36)、抽出手段によって抽出された部分画像に基づく動画像を出力する出力手段(38)、光軸に直交する方向における撮像面の動きを検出する検出手段(22)、検出手段によって検出された動きが補償されるように指定エリアの位置を変更する位置変更手段(S11)、および検出手段によって検出された動きに基づいて水平方向におけるフォーカルプレーン歪を抑制する関数を作成して指定エリアの形状を変更する形状変更手段(S21~S29)を備える。
好ましくは、指定エリアは右辺および左辺を有する矩形のエリアであり、形状変更手段によって作成される関数は右辺および左辺の傾斜量を定義する関数に相当する。
The video camera according to the present invention (10: reference numeral corresponding to the embodiment; the same applies hereinafter) is an imaging unit (16) that repeatedly outputs an electronic image generated on an imaging surface by a focal plane electronic shutter type exposure operation in a raster scanning manner. ), An extraction means (36) for extracting a partial image belonging to the designated area from the electronic image output from the imaging means, an output means (38) for outputting a moving image based on the partial image extracted by the extraction means, an optical axis Detecting means (22) for detecting the movement of the imaging surface in a direction orthogonal to the position, position changing means (S11) for changing the position of the designated area so as to compensate for the motion detected by the detecting means, and detecting by the detecting means Shape change means (S21 to S29) for creating a function for suppressing the focal plane distortion in the horizontal direction based on the movement and changing the shape of the designated area is provided.
Preferably, the designated area is a rectangular area having a right side and a left side, and the function created by the shape changing unit corresponds to a function that defines the amount of inclination of the right side and the left side.
さらに好ましくは、検出手段は、撮像手段から出力された電子画像に垂直方向に並ぶ複数のブロックを割り当てる割り当て手段(50~56)、および割り当て手段によって割り当てられた複数のブロックに属する複数のブロック画像の動きベクトルを個別に検出する動きベクトル検出手段(58~74)を含み、形状変更手段は動きベクトル検出手段によって作成された複数の動きベクトルの水平成分に基づいて関数を作成する関数作成手段(S27)を含む。これによって、傾斜量に多様性を持たせることができる。 More preferably, the detection means assigns a plurality of blocks arranged in the vertical direction to the electronic image output from the imaging means (50 to 56), and a plurality of block images belonging to the plurality of blocks assigned by the assignment means includes a motion vector detecting means for detecting a motion vector separately (58-74), the shape changing means function creating means for creating a function number based on the horizontal component of the plurality of motion vectors created by the motion vector detecting means Includes (S27). As a result, the amount of inclination can be varied.
より好ましくは、割り当て手段によって割り当てられるブロックの数は、撮像手段の撮像周期と撮像面の振動周波数とに基づいて決定される。 More preferably, the number of blocks allocated by the allocation unit is determined based on the imaging cycle of the imaging unit and the vibration frequency of the imaging surface.
好ましくは、検出手段によって検出された動きの垂直成分に基づいて指定エリアの垂直サイズを変更する第1サイズ変更手段(S31~S33)、および抽出手段によって抽出された部分画像の垂直サイズを第1サイズ変更手段の変更処理に関連して変更する第2サイズ変更手段(S35, 92)がさらに備えられる。これによって、垂直方向のフォーカルプレーン歪が補正される。 Preferably, the first size change means for changing a vertical size of the specified area based on the vertical component of the motion detected by the detecting means (S31 ~ S33), and the vertical size of the extracted partial image by extracting means a Second size changing means (S35, 92) for changing in relation to the changing process of the one size changing means is further provided. Thereby, the focal plane distortion in the vertical direction is corrected.
さらに好ましくは、第2サイズ変更手段の変更倍率は第1サイズ変更手段の変更倍率の逆数に相当する。 More preferably, the change magnification of the second size changing means corresponds to the reciprocal of the change magnification of the first size changing means.
この発明に従う撮像制御プログラムは、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された電子画像をラスタ走査態様で繰り返し出力する撮像手段(16)、撮像手段から出力された電子画像のうち指定エリアに属する部分画像を抽出する抽出手段(36)、抽出手段によって抽出された部分画像に基づく動画像を出力する出力手段(38)、および光軸に直交する方向における撮像面の動きを検出する検出手段(22)を備えるビデオカメラ(10)のプロセッサ(28)に、検出手段によって検出された動きが補償されるように指定エリアの位置を変更する位置変更ステップ(S11)、および検出手段によって検出された動きに基づいて水平方向におけるフォーカルプレーン歪を抑制する関数を作成して指定エリアの形状を変更する形状変更ステップ(S7)を実行させるための、撮像制御プログラムであって、指定エリアは右辺および左辺を有する矩形のエリアであり、形状変更手段によって作成される関数は右辺および左辺の傾斜量を定義する関数に相当することを特徴とする。 An imaging control program according to the present invention includes: an imaging unit (16) that repeatedly outputs an electronic image generated on an imaging surface by an exposure operation of a focal plane electronic shutter method in a raster scanning manner; and a designation among electronic images output from the imaging unit Extraction means (36) for extracting a partial image belonging to the area, output means (38) for outputting a moving image based on the partial image extracted by the extraction means, and detection of movement of the imaging surface in a direction perpendicular to the optical axis The position change step (S11) for changing the position of the designated area so that the motion detected by the detection means is compensated for by the processor (28) of the video camera (10) including the detection means (22), and the detection means A shape change step that changes the shape of the specified area by creating a function that suppresses the focal plane distortion in the horizontal direction based on the detected motion (S The imaging control program for executing (7) is that the designated area is a rectangular area having a right side and a left side, and the function created by the shape changing means corresponds to a function that defines the amount of inclination of the right side and the left side It is characterized by doing.
この発明に従う撮像制御方法は、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された電子画像をラスタ走査態様で繰り返し出力する撮像手段(16)、撮像手段から出力された電子画像のうち指定エリアに属する部分画像を抽出する抽出手段(36)、抽出手段によって抽出された部分画像に基づく動画像を出力する出力手段(38)、および光軸に直交する方向における撮像面の動きを検出する検出手段(22)を備えるビデオカメラ(10)によって実行される撮像制御方法であって、検出手段によって検出された動きが補償されるように指定エリアの位置を変更する位置変更ステップ(S11)、および検出手段に
よって検出された動きに基づいて水平方向におけるフォーカルプレーン歪を抑制する関数を作成して指定エリアの形状を変更する形状変更ステップ(S7)を備える。指定エリアは右辺および左辺を有する矩形のエリアであり、形状変更手段によって作成される関数は右辺および左辺の傾斜量を定義する関数に相当することを特徴とする。
The imaging control method according to the present invention includes an imaging means (16) for repeatedly outputting an electronic image generated on an imaging surface by an exposure operation of a focal plane electronic shutter system in a raster scanning manner, and specifying a specified one of the electronic images output from the imaging means Extraction means (36) for extracting a partial image belonging to the area, output means (38) for outputting a moving image based on the partial image extracted by the extraction means, and detection of movement of the imaging surface in a direction perpendicular to the optical axis An imaging control method executed by a video camera (10) provided with detection means (22), a position change step (S11) for changing the position of the designated area so that the motion detected by the detection means is compensated, And a function to change the shape of the specified area by creating a function to suppress the focal plane distortion in the horizontal direction based on the motion detected by the detection means A state changing step (S7). The designated area is a rectangular area having a right side and a left side, and the function created by the shape changing means corresponds to a function that defines the amount of inclination of the right side and the left side.
この発明によれば、指定エリアの位置を光軸に直交する方向における撮像面の動きが補償されるように変更し、指定エリアの形状をフォーカルプレーン歪が抑制されるように変更することで、撮像面の振れおよびフォーカルプレーン歪が一体的に補正される。この結果、簡単な回路構成で動画像の品質を改善することができる。 According to this invention, by changing the position of the designated area so that the movement of the imaging surface in the direction orthogonal to the optical axis is compensated, and by changing the shape of the designated area so that focal plane distortion is suppressed, The shake of the imaging surface and the focal plane distortion are integrally corrected. As a result, the quality of moving images can be improved with a simple circuit configuration.
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図1を参照して、この実施例のディジタルビデオカメラ10は、光学レンズ12および絞りユニット14を含む。被写界の光学像は、これらの部材を通してCMOS型のイメージセンサ16の撮像面に照射される。撮像面は、原色ベイヤ配列の色フィルタ(図示せず)によって覆われる。したがって、各画素では、R(Red),G(Green)およびB(Blue)のいずれか1つの色情報を有する電荷が光電変換によって生成される。
Referring to FIG. 1, a
電源が投入されると、CPU28は、スルー画像処理を実行するべくドライバ18を起動する。ドライバ18は、1/60秒毎に発生する垂直同期信号Vsyncに応答して、撮像面をフォーカルプレーン電子シャッタ方式で露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ16からは、被写界を表す生画像データが60fpsのフレームレートで出力される。前処理回路20は、イメージセンサ16からの生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施し、これによって生成された生画像データをメモリ制御回路32を通してSDRAM34の生画像エリア34a(図2参照)に書き込む。
When the power is turned on, the
撮像面には、図3に示す要領で抽出エリアEXが割り当てられる。後処理回路36は、生画像エリア24aに格納された生画像データのうち抽出エリアEXに属する一部の生画像データをメモリ制御回路32を通して1/60秒毎に読み出し、読み出された生画像データに色分離,白バランス調整,YUV変換,垂直ズームなどの処理を施す。この結果、YUV形式に対応する表示画像データが1/60秒毎に作成される。作成された表示画像データは、メモリ制御回路32を通してSDRAM34のYUV画像エリア34b(図2参照)に書き込まれる。
An extraction area EX is allocated to the imaging surface in the manner shown in FIG. The
LCDドライバ38は、YUV画像エリア34bに格納された表示画像データを繰り返し読み出し、読み出されたYUV画像データに基づいてLCDモニタ40を駆動する。この結果、被写界を表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
The
前処理回路20は、上述の処理に加えて、簡易Y生成処理および簡易RGB生成処理を実行する。生画像データは、簡易Y変換処理によってYデータに変換され、簡易RGB変換処理によってRGBデータ(各画素がR,GおよびBの全ての色情報を有するデータ)に変換される。簡易Y変換処理によって生成されたYデータは動き検出回路22およびAF評価回路24に与えられ、簡易RGB変換処理によって生成されたRGBデータはAE/AWB評価回路26に与えられる。
The preprocessing
図3を参照して、撮像面には9つの動き検出エリアMD1〜MD9が割り当てられる。動き検出エリアMD1〜MD3は撮像面の上段に水平方向に並び、動き検出エリアMD4〜MD6は撮像面の中断に水平方向に並び、動き検出エリアMD7〜MD9は撮像面の下段に水平方向に並ぶ。垂直方向に割り当てるべき動き検出エリアの最小数は、数1に従って決定される。
[数1]
MN=TM×SF×α
MN:垂直方向に割り当てるべき動き検出エリアの最小数
TM:撮像周期(垂直同期信号Vsyncの発生周期)
SF:撮像面の振動周波数
α:定数(=18)
Referring to FIG. 3, nine motion detection areas MD1 to MD9 are assigned to the imaging surface. The motion detection areas MD1 to MD3 are arranged horizontally in the upper stage of the imaging surface, the motion detection areas MD4 to MD6 are arranged horizontally in the interruption of the imaging surface, and the motion detection areas MD7 to MD9 are arranged horizontally in the lower stage of the imaging surface. . The minimum number of motion detection areas to be allocated in the vertical direction is determined according to
[Equation 1]
MN = TM × SF × α
MN: Minimum number of motion detection areas to be allocated in the vertical direction TM: Imaging period (generation period of the vertical synchronization signal Vsync)
SF: imaging surface vibration frequency α: constant (= 18)
数1によれば、撮像周期と撮像面の振動周波数との掛算値に定数αを掛算することで、垂直方向に割り当てるべき動き検出エリアの最小数が得られる。ここで、撮像面の振動周波数は操作者の手振れ周波数(=約10Hz)に相当する。したがって、この実施例のように撮像周期が“1/60秒”であれば、垂直方向に割り当てるべき動き検出エリアの最小数は“3”となる。また、撮像周期が“1/30秒”であれば、垂直方向に割り当てるべき動き検出エリアの最小数は“6”となる。
According to
動き検出回路22は、動き検出エリアMD1〜MD9の各々における被写界の動きを表す部分動きベクトルを、前処理回路20から与えられたYデータに基づいて1/60秒毎に検出する。動き検出回路22はまた、動き検出エリアMD1〜MD3の部分動きベクトルを合成して合成動きベクトルUVCを1/60秒毎に生成し、動き検出エリアMD4〜MD6の部分動きベクトルを合成して合成動きベクトルMVCを1/60秒毎に生成し、そして動き検出エリアMD7〜MD9の部分動きベクトルを合成して合成動きベクトルLVCを1/60秒毎に生成する。
The
合成動きベクトルUVCは撮像面の上段における被写界の動きを表し、合成動きベクトルMVCは撮像面の中段における被写界の動きを表し、そして合成動きベクトルLVCは撮像面の下段における被写界の動きを表す。 The combined motion vector UVC represents the motion of the object scene in the upper part of the imaging surface, the composite motion vector MVC represents the motion of the object field in the middle part of the imaging surface, and the composite motion vector LVC represents the object field in the lower part of the image capturing surface. Represents the movement.
CPU28は、動き検出回路22から出力された合成動きベクトルUVC,MVCおよびLVCに基づいて全体動きベクトルを作成し、光軸に直交する方向における撮像面の動きが手振れおよびパン/チルト動作のいずれに起因するかを全体動きベクトルに基づいて判別し、そして撮像面の動きが手振れに起因するときに全体動きベクトルに沿って抽出エリアEXを移動させる。抽出エリアEXの位置は、手振れに起因する撮像面の動きが補償(相殺)されるように変更される。抽出エリアEXは、撮像面に手振れが生じたとき、図4に示す要領で撮像面上を移動する。
The
AF評価回路24は、前処理回路20から与えられたYデータに基づいてAF評価値を1/60秒毎に作成する。CPU28は、作成されたAF評価値に基づいていわゆる山登りAF処理を実行し、光学レンズ12を合焦点に配置する。
The
AE/AWB評価回路24は、前処理回路20から与えられたRGBデータに基づいてAE/AWB評価値を1/60秒毎に作成する。CPU28は、作成されたAE/AWB評価値に基づいて、適正露光量が得られるEV値と適正白バランスが得られる白バランス調整ゲインとを算出する。CPU28はさらに、算出されたEV値を定義する絞り量および露光時間を絞りユニットおよびドライバ18に設定し、算出された白バランス調整ゲインを後処理回路36に設定する。この結果、LCDモニタ40から出力される動画像の明るさおよび白バランスが適度に調整される。
The AE /
キー入力装置30によって記録開始操作が行われると、CPU28によってI/F42が起動される。I/F42は、YUV画像エリア34bに格納された画像データを1/60秒毎に読み出し、読み出された画像データを記録媒体44内の動画ファイルに圧縮状態で書き込む。I/F42は、キー入力装置30上で記録終了操作が行われたときにCPU28によって停止される。この結果、画像データの記録処理が終了される。
When the recording start operation is performed by the
動き検出回路22は、図5に示すように構成される。Yデータは、フレームメモリ48および分配器50に与えられる。フレームメモリ48は1フレームに相当する容量を各々が有する2つのバンクによって形成され、与えられたYデータはこの2つのバンクに交互に書き込まれる。
The
分配器50は、動き検出エリアMD1,MD4およびMD7に属するYデータを分配器52に与え、動き検出エリアMD2,MD5およびMD8に属するYデータを分配器54に与え、そして動き検出エリアMD3,MD6およびMD9に属するYデータを分配器56に与える。
分配器52は、動き検出エリアMD1に属するYデータを部分動きベクトル検出回路58に与え、動き検出エリアMD4に属するYデータを部分動きベクトル検出回路64に与え、そして動き検出エリアMD7に属するYデータを部分動きベクトル検出回路70に与える。分配器54は、動き検出エリアMD2に属するYデータを部分動きベクトル検出回路60に与え、動き検出エリアMD5に属するYデータを部分動きベクトル検出回路66に与え、そして動き検出エリアMD8に属するYデータを部分動きベクトル検出回路72に与える。分配器56は、動き検出エリアMD3に属するYデータを部分動きベクトル検出回路62に与え、動き検出エリアMD6に属するYデータを部分動きベクトル検出回路68に与え、そして動き検出エリアMD9に属するYデータを部分動きベクトル検出回路74に与える。
The
部分動きベクトル検出回路58〜74の各々は、分配器52,54または56から与えられたYデータをフレームメモリ48に格納された前フレームのYデータと比較して、注目する動き検出エリアにおける被写界の動きを表す部分動きベクトルを検出する。この結果、動き検出エリアMD1〜MD9にそれぞれ対応する9つの部分動きベクトルが得られる。
Each of the partial motion
合成動きベクトル生成回路76は、部分動きベクトル検出回路58,60および62でそれぞれ検出された3つの部分動きベクトルを合成し、撮像面の上段における被写界の動きを表す合成動きベクトルUVCを生成する。合成動きベクトル生成回路78は、部分動きベクトル検出回路64,66および68でそれぞれ検出された3つの部分動きベクトルを合成し、撮像面の中段における被写界の動きを表す合成動きベクトルMVCを生成する。合成動きベクトル生成回路80は、部分動きベクトル検出回路70,72および74でそれぞれ検出された3つの部分動きベクトルを合成し、撮像面の下段における被写界の動きを表す合成動きベクトルLVCを生成する。
The combined motion
後処理回路36は、図6に示すように構成される。コントローラ82は、抽出エリアEXに属するYデータをSDRAM34の生画像エリア34aから読み出すべく、読み出し要求をメモリ制御回路32に向けて繰り返し発行する。これに応答して読み出された生画像データは、SRAM84を経て色分離回路86に与えられる。色分離回路86は、与えられた生画像データに基づいて各画素がR,GおよびBの全ての色情報を有するRGBデータを生成する。
The
生成されたRGBデータは、白バランス調整回路88によって白バランス調整処理を施された後、YUV変換回路90によってYUV形式の画像データに変換される。変換された画像データは、ズーム回路92による垂直ズーム処理(詳細は後述)を経てSRAM96に書き込まれる。コントローラ94は、SRAM96に蓄積された画像データを書き込み要求とともにメモリ制御回路32に出力する。出力された画像データは、メモリ制御回路32によってSDRAM34のYUV画像エリア34bに書き込まれる。
The generated RGB data is subjected to white balance adjustment processing by the white
上述のように、イメージセンサ16はフォーカルプレーン電子シャッタ方式で撮像面を露光するため、露光タイミングは水平画素列によって異なる。すると、SDRAM34に格納された生画像データには、撮像面の水平移動に起因して水平方向のフォーカルプレーン歪が発生し(図7参照)、撮像面の垂直移動に起因して垂直方向のフォーカルプレーン歪が発生する(図10参照)。そこで、この実施例では、フォーカスプレーン歪が抑制されるように、動き検出回路22の出力に基づいて抽出エリアEXの形状を変更するようにしている。
As described above, since the
水平方向のフォーカルプレーン歪が発生したときは、抽出エリアEXを表す矩形の右辺および左辺の傾斜量が、図8(A)〜図8(D)に示す要領で変更される。つまり、撮像面が右方向に移動したとき、撮像面の露光タイミングは図8(A)の左蘭に示す要領で変化するため、抽出エリアEXの右辺および左辺は図8(A)の右蘭に示す要領で傾斜される。また、撮像面が左方向に移動したとき、撮像面の露光タイミングは図8(B)の左蘭に示す要領で変化するため、抽出エリアEXの右辺および左辺は図8(B)の右蘭に示す要領で傾斜される。 When the focal plane distortion in the horizontal direction occurs, the inclination amounts of the right side and the left side of the rectangle representing the extraction area EX are changed as shown in FIGS. 8 (A) to 8 (D). That is, when the imaging surface is moved in the right direction, the exposure timing of the imaging surface changes in the manner shown in the left orchid in FIG. 8A. Therefore, the right side and the left side of the extraction area EX are the right orchid in FIG. It is inclined as shown in When the imaging surface moves to the left, the exposure timing of the imaging surface changes as shown in the left orchid in FIG. 8B, so the right side and the left side of the extraction area EX are the right orchid in FIG. 8B. It is inclined as shown in
さらに、撮像面の移動方向が右から左に反転したとき、撮像面の露光タイミングは図8(C)の左蘭に示す要領で変化するため、抽出エリアEXの右辺および左辺は図8(C)の右蘭に示す要領で傾斜される。さらにまた、撮像面の移動方向が左から右に反転したとき、撮像面の露光タイミングは図8(D)の左蘭に示す要領で変化するため、抽出エリアEXの右辺および左辺は図8(D)の右蘭に示す要領で傾斜される。 Furthermore, when the moving direction of the imaging surface is reversed from right to left, the exposure timing of the imaging surface changes in the manner shown in the left orchid in FIG. 8C, and therefore the right side and the left side of the extraction area EX are shown in FIG. ) Inclined as shown in the right orchid. Furthermore, when the moving direction of the imaging surface is reversed from left to right, the exposure timing of the imaging surface changes in the manner shown in the left orchid in FIG. 8D, so the right side and the left side of the extraction area EX are shown in FIG. D) Inclined as shown in right orchid.
傾斜量は、動き検出回路22から出力された合成ベクトルUVC,MVCおよびLVCに基づいて、図9(A)または図9(B)に示す要領で決定される。まず、合成動きベクトルUVC,MVCおよびLVCの水平成分が“UVCx”,“MVCx”および“LVCx”として特定される。次に、動き検出エリアMD1〜MD3の垂直位置に対応して水平成分UVCxのY座標が決定され、動き検出エリアMD4〜MD6の垂直位置に対応して水平成分MVCxのY座標が決定され、そして動き検出エリアMD7〜MD9の垂直位置に対応して水平成分LVCxのY座標が決定される。
The amount of inclination is determined in the manner shown in FIG. 9A or 9B based on the combined vectors UVC, MVC, and LVC output from the
さらに、水平成分MVCxの末端のX座標が水平成分UVCxの先端のX座標と一致し、かつ水平成分LVCxの末端のX座標が水平成分MVCxの先端のX座標と一致するように、水平成分UVCx,MVCxおよびLVCxの先端のX座標が決定される。その後、決定された3つのXY座標を結ぶ直線または曲線を表す近似関数が算出される。 Further, the horizontal component UVCx is set so that the X coordinate of the end of the horizontal component MVCx matches the X coordinate of the tip of the horizontal component UVCx and the X coordinate of the end of the horizontal component LVCx matches the X coordinate of the tip of the horizontal component MVCx. , MVCx and LVCx tip X coordinates are determined. Thereafter, an approximate function representing a straight line or a curve connecting the determined three XY coordinates is calculated.
したがって、水平成分UVCx,MVCxおよびLVCxが図9(A)の左蘭に示す大きさを有する場合、図9(A)の中央蘭に示す要領で3つのXY座標が決定され、図9(A)の右蘭に示す傾斜を有する近似関数が算出される。また、水平成分UVCx,MVCxおよびLVCxが図9(B)の左蘭に示す大きさを有する場合、図9(B)の中央蘭に示す要領で3つのXY座標が決定され、図9(B)の右蘭に示す傾斜を有する近似関数が算出される。 Accordingly, when the horizontal components UVCx, MVCx, and LVCx have the size shown in the left orchid of FIG. 9A, three XY coordinates are determined in the manner shown in the central orchid of FIG. The approximate function having the inclination shown in the right orchid is calculated. If the horizontal components UVCx, MVCx, and LVCx have the size shown in the left orchid in FIG. 9B, three XY coordinates are determined in the manner shown in the central orchid in FIG. 9B, and FIG. The approximate function having the inclination shown in the right orchid is calculated.
垂直方向のフォーカルプレーン歪が発生したときは、抽出エリアEXの垂直サイズが図11(A)または図11(C)に示す要領で拡大/縮小され、抽出エリアEXに対応する画像データの垂直サイズが後処理回路36に設けられたズーム回路92によって図11(B)または図11(D)に示す要領で元に戻される。抽出エリアEXの垂直サイズの変更倍率は数2に従って算出され、ズーム回路92のズーム倍率は数3に従って算出される。
[数2]
ZM1=1+VM/VPX
ZM1:抽出エリアの垂直サイズの変更倍率
VM:全体動きベクトルの垂直成分に相当する画素数
VPX:撮像面の垂直画素数
[数3]
ZM2=1/ZM1
ZM2:ズーム倍率
When the focal plane distortion in the vertical direction occurs, the vertical size of the extraction area EX is enlarged / reduced as shown in FIG. 11A or 11C, and the vertical size of the image data corresponding to the extraction area EX. Is restored by the
[Equation 2]
ZM1 = 1 + VM / VPX
ZM1: change rate of vertical size of extraction area VM: number of pixels corresponding to vertical component of entire motion vector VPX: number of vertical pixels on imaging surface [Equation 3]
ZM2 = 1 / ZM1
ZM2: Zoom magnification
数2によれば、全体動きベクトルの垂直成分に相当する画素数が撮像面の垂直画素数に占める割合に“1”を加算した数値が、抽出エリアの垂直サイズの変更倍率に相当する。数3によれば、ズーム回路92のズーム倍率は、抽出エリアの垂直サイズの変更倍率の逆数に相当する。
According to Equation 2, a value obtained by adding “1” to the ratio of the number of pixels corresponding to the vertical component of the entire motion vector to the number of vertical pixels on the imaging surface corresponds to the change magnification of the vertical size of the extraction area. According to
CPU28は、図12〜図13に示す手振れ補正タスクを含む複数のタスクを並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ46に記憶される。
The
図12を参照して、ステップS1では垂直同期信号Vsyncが発生したか否かを判別し、YESであればステップS3で動き検出回路22から合成動きベクトルUVC,MVCおよびLVCを取り込む。ステップS5では、取り込まれた合成動きベクトルUVC,MVCおよびLVCに基づいて全体動きベクトルを作成する。ステップS7ではエリア形状変更処理を実行し、続くステップS9では現時点の撮像面の動きがパン/チルト動作に起因するものであるか否かを全体動きベクトルに基づいて判別する。ここでYESであればそのままステップS1に戻り、NOであればステップS11で抽出エリアEXを全体動きベクトルに沿って移動させてからステップS1に戻る。
Referring to FIG. 12, in step S1, it is determined whether or not the vertical synchronization signal Vsync is generated. If YES, the combined motion vectors UVC, MVC, and LVC are fetched from the
ステップS7のエリア形状変更処理は、図13に示すサブルーチンに従って実行される。まずステップS21で、合成動きベクトルUVC,MVCおよびLVCの水平成分を“UVCx”,“MVCx”および“LVCx”として特定する。ステップS23では、動き検出エリアMD1〜MD3の垂直位置に対応して水平成分UVCxのY座標を決定し、動き検出エリアMD4〜MD6の垂直位置に対応して水平成分MVCxのY座標を決定し、そして動き検出エリアMD7〜MD9の垂直位置に対応して水平成分LVCxのY座標を決定する。 The area shape changing process in step S7 is executed according to a subroutine shown in FIG. First, in step S21, the horizontal components of the combined motion vectors UVC, MVC, and LVC are specified as “UVCx”, “MVCx”, and “LVCx”. In step S23, the Y coordinate of the horizontal component UVCx is determined corresponding to the vertical position of the motion detection areas MD1 to MD3, the Y coordinate of the horizontal component MVCx is determined corresponding to the vertical position of the motion detection areas MD4 to MD6, Then, the Y coordinate of the horizontal component LVCx is determined corresponding to the vertical position of the motion detection areas MD7 to MD9.
ステップS25では、水平成分MVCxの末端のX座標が水平成分UVCxの先端のX座標と一致し、かつ水平成分LVCxの末端のX座標が水平成分MVCxの先端のX座標と一致するように、水平成分UVCx,MVCxおよびLVCxの先端のX座標を決定する。ステップS27では決定された3つのXY座標を結ぶ直線または曲線を表す近似関数を算出し、ステップS29では算出された近似関数に従って抽出エリアEXの右辺および左辺の傾斜量を決定する。 In step S25, the horizontal coordinate MVCx is adjusted so that the X coordinate of the end of the horizontal component UVCx matches the X coordinate of the tip of the horizontal component UVCx, and the X coordinate of the end of the horizontal component LVCx matches the X coordinate of the tip of the horizontal component MVCx. Determine the X-coordinates of the tips of the components UVCx, MVCx and LVCx. In step S27, an approximate function representing a straight line or a curve connecting the determined three XY coordinates is calculated. In step S29, the inclination amounts of the right side and the left side of the extraction area EX are determined in accordance with the calculated approximate function.
ステップS31では、全体動きベクトルの垂直成分を特定する。ステップS33では数2に従って抽出エリアEXの垂直サイズの変更倍率を算出し、ステップS35では数3に従ってズーム回路92のズーム倍率を算出する。ステップS35の処理が完了すると、上階層のルーチンに復帰する。
In step S31, the vertical component of the entire motion vector is specified. In step S33, the change magnification of the vertical size of the extraction area EX is calculated according to Equation 2, and in Step S35, the zoom magnification of the
以上の説明からわかるように、イメージセンサ16は、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された被写界像をラスタ走査態様で繰り返し出力する。後処理回路36は、イメージセンサ16から出力された被写界像のうち抽出エリアEXに属する部分被写界像を抽出する。抽出された部分被写界像に基づく動画像は、LCDドライバ38によってLCDモニタ40に表示される。動き検出回路22は、光軸に直交する方向における撮像面の動きを検出する。抽出エリアの位置は、動き検出回路22によって検出された動きが補償されるように、CPU28によって変更される(S11)。CPU28はまた、動き検出回路22によって検出された動きに基づいて、フォーカルプレーン歪が抑制されるように抽出エリアEXの形状を変更する(S7)。
As can be understood from the above description, the
抽出エリアEXの位置を光軸に直交する方向における撮像面の動きが補償されるように変更し、抽出エリアEXの形状をフォーカルプレーン歪が抑制されるように変更することで、撮像面の振れおよびフォーカルプレーン歪が一体的に補正される。この結果、簡単な回路構成で動画像の品質を改善することができる。 By changing the position of the extraction area EX so that the movement of the imaging surface in the direction orthogonal to the optical axis is compensated, and changing the shape of the extraction area EX so that focal plane distortion is suppressed, the fluctuation of the imaging surface And the focal plane distortion is corrected integrally. As a result, the quality of moving images can be improved with a simple circuit configuration.
なお、この実施例では、全体動きベクトルに沿って抽出エリアEXを移動させるようにしているが、これに加えて、AE/AWB評価回路26によって参照される評価エリアを抽出エリアEXに追従するように移動させるようにしてもよい。
In this embodiment, the extraction area EX is moved along the entire motion vector, but in addition, the evaluation area referred to by the AE /
10 …ディジタルビデオカメラ
16 …イメージセンサ
20 …前処理回路
22 …動き検出回路
28 …CPU
32 …メモリ制御回路
34 …SDRAM
36 …後処理回路
38 …LCDドライバ
DESCRIPTION OF
32 ...
36 ...
Claims (7)
前記撮像手段から出力された電子画像のうち指定エリアに属する部分画像を抽出する抽出手段、
前記抽出手段によって抽出された部分画像に基づく動画像を出力する出力手段、
光軸に直交する方向における前記撮像面の動きを検出する検出手段、
前記検出手段によって検出された動きが補償されるように前記指定エリアの位置を変更する位置変更手段、および
前記検出手段によって検出された動きに基づいて水平方向におけるフォーカルプレーン歪を抑制する関数を作成して前記指定エリアの形状を変更する形状変更手段を備え、
前記指定エリアは右辺および左辺を有する矩形のエリアであり、
前記形状変更手段によって作成される関数は前記右辺および前記左辺の傾斜量を定義する関数に相当することを特徴とする、ビデオカメラ。 Imaging means for repeatedly outputting an electronic image generated on an imaging surface by an exposure operation of a focal plane electronic shutter system in a raster scanning manner;
Extraction means for extracting a partial image belonging to the designated area from the electronic image output from the imaging means;
Output means for outputting a moving image based on the partial image extracted by the extracting means;
Detecting means for detecting movement of the imaging surface in a direction perpendicular to the optical axis;
A position changing means for changing the position of the designated area so that the motion detected by the detecting means is compensated, and a function for suppressing the focal plane distortion in the horizontal direction based on the motion detected by the detecting means And a shape changing means for changing the shape of the designated area,
The designated area is a rectangular area having a right side and a left side,
The video camera according to claim 1, wherein the function created by the shape changing means corresponds to a function that defines an inclination amount of the right side and the left side .
前記形状変更手段は前記動きベクトル検出手段によって作成された複数の動きベクトルの水平成分に基づいて前記関数を作成する関数作成手段を含む、請求項1記載のビデオカメラ。The video camera according to claim 1, wherein the shape changing unit includes a function creating unit that creates the function based on horizontal components of a plurality of motion vectors created by the motion vector detecting unit.
前記抽出手段によって抽出された部分画像の垂直サイズを前記第1サイズ変更手段の変更処理に関連して変更する第2サイズ変更手段をさらに備える、請求項1ないし3のいずれかに記載のビデオカメラ。4. The video camera according to claim 1, further comprising a second size changing unit that changes a vertical size of the partial image extracted by the extracting unit in association with a change process of the first size changing unit. 5. .
前記検出手段によって検出された動きが補償されるように前記指定エリアの位置を変更する位置変更ステップ、およびA position changing step for changing the position of the designated area so that the motion detected by the detecting means is compensated; and
前記検出手段によって検出された動きに基づいて水平方向におけるフォーカルプレーン歪を抑制する関数を作成して前記指定エリアの形状を変更する形状変更ステップを実行させるための撮像制御プログラムであって、An imaging control program for executing a shape change step for changing a shape of the designated area by creating a function for suppressing a focal plane distortion in a horizontal direction based on a motion detected by the detection means,
前記指定エリアは右辺および左辺を有する矩形のエリアであり、The designated area is a rectangular area having a right side and a left side,
前記形状変更手段によって作成される関数は前記右辺および前記左辺の傾斜量を定義する関数に相当することを特徴とする撮像制御プログラム。The imaging control program, wherein the function created by the shape changing means corresponds to a function that defines an inclination amount of the right side and the left side.
前記検出手段によって検出された動きが補償されるように前記指定エリアの位置を変更する位置変更ステップ、およびA position changing step for changing the position of the designated area so that the motion detected by the detecting means is compensated; and
前記検出手段によって検出された動きに基づいて水平方向におけるフォーカルプレーン歪を抑制する関数を作成して前記指定エリアの形状を変更する形状変更ステップを備え、A shape changing step for changing the shape of the designated area by creating a function for suppressing the focal plane distortion in the horizontal direction based on the motion detected by the detecting means,
前記指定エリアは右辺および左辺を有する矩形のエリアであり、The designated area is a rectangular area having a right side and a left side,
前記形状変更手段によって作成される関数は前記右辺および前記左辺の傾斜量を定義する関数に相当することを特徴とする撮像制御方法。The imaging control method, wherein the function created by the shape changing means corresponds to a function that defines an inclination amount of the right side and the left side.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008042281A JP5197064B2 (en) | 2008-02-23 | 2008-02-23 | Video camera |
US12/390,585 US8253812B2 (en) | 2008-02-23 | 2009-02-23 | Video camera which adopts a focal-plane electronic shutter system |
US13/555,373 US20120287314A1 (en) | 2008-02-23 | 2012-07-23 | Video camera which adopts a focal-plane electronic shutter system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008042281A JP5197064B2 (en) | 2008-02-23 | 2008-02-23 | Video camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009200981A JP2009200981A (en) | 2009-09-03 |
JP5197064B2 true JP5197064B2 (en) | 2013-05-15 |
Family
ID=41143971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008042281A Active JP5197064B2 (en) | 2008-02-23 | 2008-02-23 | Video camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5197064B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010166512A (en) | 2009-01-19 | 2010-07-29 | Sanyo Electric Co Ltd | Imaging apparatus |
JP5938842B2 (en) * | 2010-01-26 | 2016-06-22 | カシオ計算機株式会社 | Imaging apparatus, AF evaluation value calculation method, and program |
JP5731839B2 (en) * | 2011-01-31 | 2015-06-10 | 東芝アルパイン・オートモティブテクノロジー株式会社 | Imaging apparatus and motion vector detection method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4446193B2 (en) * | 2005-11-11 | 2010-04-07 | ソニー株式会社 | Image processing apparatus and method, and program |
JP2009135713A (en) * | 2007-11-29 | 2009-06-18 | Kyocera Corp | Method and device for correcting image distortion generated by blurring of imaging apparatus |
-
2008
- 2008-02-23 JP JP2008042281A patent/JP5197064B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009200981A (en) | 2009-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4720859B2 (en) | Image processing apparatus, image processing method, and program | |
JP5574423B2 (en) | Imaging apparatus, display control method, and program | |
JP5754312B2 (en) | Image processing apparatus, image processing method, and program | |
US8253812B2 (en) | Video camera which adopts a focal-plane electronic shutter system | |
JP5767485B2 (en) | Image processing apparatus and control method | |
TWI423165B (en) | Image processing apparatus, image processing method, and storage medium | |
KR101109532B1 (en) | Image capturing device, image capturing method, and a storage medium recording thereon a image capturing program | |
JP2013165483A (en) | Image processing apparatus, image capturing apparatus, and computer program | |
JP5212046B2 (en) | Digital camera, image processing apparatus, and image processing program | |
JP2010263520A (en) | Image capturing apparatus, data generating apparatus, and data structure | |
JP6541501B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD | |
JP5197064B2 (en) | Video camera | |
JP7142507B2 (en) | Image processing device, image processing method, and imaging device | |
JP2010153964A (en) | Electronic camera | |
JP2010171548A (en) | Image processing apparatus | |
JP2009218722A (en) | Electronic camera | |
US11206344B2 (en) | Image pickup apparatus and storage medium | |
US11394856B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP2019047145A (en) | Image processing system, imaging apparatus, control method and program of image processing system | |
JP5121505B2 (en) | Video camera | |
JP5127731B2 (en) | Video camera | |
JP2016208083A (en) | Image processing apparatus, image processing method, and program | |
JP2015041869A (en) | Imaging apparatus, information processing method, and program | |
JP2010245582A (en) | Electronic camera | |
US8270673B2 (en) | Motion detecting apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120321 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5197064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |