[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5197064B2 - Video camera - Google Patents

Video camera Download PDF

Info

Publication number
JP5197064B2
JP5197064B2 JP2008042281A JP2008042281A JP5197064B2 JP 5197064 B2 JP5197064 B2 JP 5197064B2 JP 2008042281 A JP2008042281 A JP 2008042281A JP 2008042281 A JP2008042281 A JP 2008042281A JP 5197064 B2 JP5197064 B2 JP 5197064B2
Authority
JP
Japan
Prior art keywords
changing
imaging
imaging surface
function
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008042281A
Other languages
Japanese (ja)
Other versions
JP2009200981A (en
Inventor
光章 黒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2008042281A priority Critical patent/JP5197064B2/en
Priority to US12/390,585 priority patent/US8253812B2/en
Publication of JP2009200981A publication Critical patent/JP2009200981A/en
Priority to US13/555,373 priority patent/US20120287314A1/en
Application granted granted Critical
Publication of JP5197064B2 publication Critical patent/JP5197064B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

この発明は、ビデオカメラに関し、特にフォーカルプレーン電子シャッタ方式を採用するイメージセンサから出力された画像データにフォーカルプレーン歪補正処理を施す、ビデオカメラに関する。   The present invention relates to a video camera, and more particularly to a video camera that performs focal plane distortion correction processing on image data output from an image sensor that employs a focal plane electronic shutter system.

この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、CMOS型イメージセンサから出力された画像信号は、フォーカルプレーン歪補正回路に与えられる。フォーカルプレーン歪補正回路は、連続する3フレームに注目し、画素位置によって異なる2フレームに線形補間処理を施す。これによって、フォーカルプレーン歪が補正された1フレームの画像信号が生成される。
特開2006−148496号公報
An example of this type of device is disclosed in Patent Document 1. According to this background art, an image signal output from a CMOS image sensor is given to a focal plane distortion correction circuit. The focal plane distortion correction circuit pays attention to three consecutive frames, and performs linear interpolation processing on two frames that differ depending on pixel positions. As a result, an image signal of one frame in which the focal plane distortion is corrected is generated.
Japanese Patent Laid-Open No. 2006-148496

しかし、背景技術では、フォーカルプレーン歪を補正するために上述のような特別の回路が必要になる。   However, the background art requires a special circuit as described above to correct the focal plane distortion.

それゆえに、この発明の主たる目的は、簡単な回路構成で動画像の品質を改善することができる、ビデオカメラを提供することである。   Therefore, a main object of the present invention is to provide a video camera capable of improving the quality of moving images with a simple circuit configuration.

この発明に従うビデオカメラ(10:実施例で相当する参照符号。以下同じ)は、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された電子画像をラスタ走査態様で繰り返し出力する撮像手段(16)、撮像手段から出力された電子画像のうち指定エリアに属する部分画像を抽出する抽出手段(36)、抽出手段によって抽出された部分画像に基づく動画像を出力する出力手段(38)、光軸に直交する方向における撮像面の動きを検出する検出手段(22)、検出手段によって検出された動きが補償されるように指定エリアの位置を変更する位置変更手段(S11)、および検出手段によって検出された動きに基づいて水平方向におけるフォーカルプレーン歪を抑制する関数を作成して指定エリアの形状を変更する形状変更手段(S21~S29)を備える。
好ましくは、指定エリアは右辺および左辺を有する矩形のエリアであり、形状変更手段によって作成される関数は右辺および左辺の傾斜量を定義する関数に相当する。
The video camera according to the present invention (10: reference numeral corresponding to the embodiment; the same applies hereinafter) is an imaging unit (16) that repeatedly outputs an electronic image generated on an imaging surface by a focal plane electronic shutter type exposure operation in a raster scanning manner. ), An extraction means (36) for extracting a partial image belonging to the designated area from the electronic image output from the imaging means, an output means (38) for outputting a moving image based on the partial image extracted by the extraction means, an optical axis Detecting means (22) for detecting the movement of the imaging surface in a direction orthogonal to the position, position changing means (S11) for changing the position of the designated area so as to compensate for the motion detected by the detecting means, and detecting by the detecting means Shape change means (S21 to S29) for creating a function for suppressing the focal plane distortion in the horizontal direction based on the movement and changing the shape of the designated area is provided.
Preferably, the designated area is a rectangular area having a right side and a left side, and the function created by the shape changing unit corresponds to a function that defines the amount of inclination of the right side and the left side.

さらに好ましくは、検出手段は、撮像手段から出力された電子画像に垂直方向に並ぶ複数のブロックを割り当てる割り当て手段(50~56)、および割り当て手段によって割り当てられた複数のブロックに属する複数のブロック画像の動きベクトルを個別に検出する動きベクトル検出手段(58~74)を含み、形状変更手段は動きベクトル検出手段によって作成された複数の動きベクトルの水平成分に基づいて関数を作成する関数作成手段(S27)を含む。これによって、傾斜量に多様性を持たせることができる。 More preferably, the detection means assigns a plurality of blocks arranged in the vertical direction to the electronic image output from the imaging means (50 to 56), and a plurality of block images belonging to the plurality of blocks assigned by the assignment means includes a motion vector detecting means for detecting a motion vector separately (58-74), the shape changing means function creating means for creating a function number based on the horizontal component of the plurality of motion vectors created by the motion vector detecting means Includes (S27). As a result, the amount of inclination can be varied.

より好ましくは、割り当て手段によって割り当てられるブロックの数は、撮像手段の撮像周期と撮像面の振動周波数とに基づいて決定される。   More preferably, the number of blocks allocated by the allocation unit is determined based on the imaging cycle of the imaging unit and the vibration frequency of the imaging surface.

好ましくは、検出手段によって検出された動きの垂直成分に基づいて指定エリアの垂直サイズを変更する第1サイズ変更手段(S31~S33)、および抽出手段によって抽出された部分画像の垂直サイズを第1サイズ変更手段の変更処理に関連して変更する第2サイズ変更手段(S35, 92)がさらに備えられる。これによって、垂直方向のフォーカルプレーン歪が補正される。 Preferably, the first size change means for changing a vertical size of the specified area based on the vertical component of the motion detected by the detecting means (S31 ~ S33), and the vertical size of the extracted partial image by extracting means a Second size changing means (S35, 92) for changing in relation to the changing process of the one size changing means is further provided. Thereby, the focal plane distortion in the vertical direction is corrected.

さらに好ましくは、第2サイズ変更手段の変更倍率は第1サイズ変更手段の変更倍率の逆数に相当する。   More preferably, the change magnification of the second size changing means corresponds to the reciprocal of the change magnification of the first size changing means.

この発明に従う撮像制御プログラムは、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された電子画像をラスタ走査態様で繰り返し出力する撮像手段(16)、撮像手段から出力された電子画像のうち指定エリアに属する部分画像を抽出する抽出手段(36)、抽出手段によって抽出された部分画像に基づく動画像を出力する出力手段(38)、および光軸に直交する方向における撮像面の動きを検出する検出手段(22)を備えるビデオカメラ(10)のプロセッサ(28)に、検出手段によって検出された動きが補償されるように指定エリアの位置を変更する位置変更ステップ(S11)、および検出手段によって検出された動きに基づいて水平方向におけるフォーカルプレーン歪を抑制する関数を作成して指定エリアの形状を変更する形状変更ステップ(S7)を実行させるための、撮像制御プログラムであって、指定エリアは右辺および左辺を有する矩形のエリアであり、形状変更手段によって作成される関数は右辺および左辺の傾斜量を定義する関数に相当することを特徴とする。 An imaging control program according to the present invention includes: an imaging unit (16) that repeatedly outputs an electronic image generated on an imaging surface by an exposure operation of a focal plane electronic shutter method in a raster scanning manner; and a designation among electronic images output from the imaging unit Extraction means (36) for extracting a partial image belonging to the area, output means (38) for outputting a moving image based on the partial image extracted by the extraction means, and detection of movement of the imaging surface in a direction perpendicular to the optical axis The position change step (S11) for changing the position of the designated area so that the motion detected by the detection means is compensated for by the processor (28) of the video camera (10) including the detection means (22), and the detection means A shape change step that changes the shape of the specified area by creating a function that suppresses the focal plane distortion in the horizontal direction based on the detected motion (S The imaging control program for executing (7) is that the designated area is a rectangular area having a right side and a left side, and the function created by the shape changing means corresponds to a function that defines the amount of inclination of the right side and the left side It is characterized by doing.

この発明に従う撮像制御方法は、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された電子画像をラスタ走査態様で繰り返し出力する撮像手段(16)、撮像手段から出力された電子画像のうち指定エリアに属する部分画像を抽出する抽出手段(36)、抽出手段によって抽出された部分画像に基づく動画像を出力する出力手段(38)、および光軸に直交する方向における撮像面の動きを検出する検出手段(22)を備えるビデオカメラ(10)によって実行される撮像制御方法であって、検出手段によって検出された動きが補償されるように指定エリアの位置を変更する位置変更ステップ(S11)、および検出手段に
よって検出された動きに基づいて水平方向におけるフォーカルプレーン歪を抑制する関数を作成して指定エリアの形状を変更する形状変更ステップ(S7)を備える。指定エリアは右辺および左辺を有する矩形のエリアであり、形状変更手段によって作成される関数は右辺および左辺の傾斜量を定義する関数に相当することを特徴とする。
The imaging control method according to the present invention includes an imaging means (16) for repeatedly outputting an electronic image generated on an imaging surface by an exposure operation of a focal plane electronic shutter system in a raster scanning manner, and specifying a specified one of the electronic images output from the imaging means Extraction means (36) for extracting a partial image belonging to the area, output means (38) for outputting a moving image based on the partial image extracted by the extraction means, and detection of movement of the imaging surface in a direction perpendicular to the optical axis An imaging control method executed by a video camera (10) provided with detection means (22), a position change step (S11) for changing the position of the designated area so that the motion detected by the detection means is compensated, And a function to change the shape of the specified area by creating a function to suppress the focal plane distortion in the horizontal direction based on the motion detected by the detection means A state changing step (S7). The designated area is a rectangular area having a right side and a left side, and the function created by the shape changing means corresponds to a function that defines the amount of inclination of the right side and the left side.

この発明によれば、指定エリアの位置を光軸に直交する方向における撮像面の動きが補償されるように変更し、指定エリアの形状をフォーカルプレーン歪が抑制されるように変更することで、撮像面の振れおよびフォーカルプレーン歪が一体的に補正される。この結果、簡単な回路構成で動画像の品質を改善することができる。   According to this invention, by changing the position of the designated area so that the movement of the imaging surface in the direction orthogonal to the optical axis is compensated, and by changing the shape of the designated area so that focal plane distortion is suppressed, The shake of the imaging surface and the focal plane distortion are integrally corrected. As a result, the quality of moving images can be improved with a simple circuit configuration.

この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。   The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

図1を参照して、この実施例のディジタルビデオカメラ10は、光学レンズ12および絞りユニット14を含む。被写界の光学像は、これらの部材を通してCMOS型のイメージセンサ16の撮像面に照射される。撮像面は、原色ベイヤ配列の色フィルタ(図示せず)によって覆われる。したがって、各画素では、R(Red),G(Green)およびB(Blue)のいずれか1つの色情報を有する電荷が光電変換によって生成される。   Referring to FIG. 1, a digital video camera 10 of this embodiment includes an optical lens 12 and an aperture unit 14. The optical image of the object scene is irradiated on the imaging surface of the CMOS image sensor 16 through these members. The imaging surface is covered by a primary color Bayer array color filter (not shown). Therefore, in each pixel, a charge having color information of any one of R (Red), G (Green), and B (Blue) is generated by photoelectric conversion.

電源が投入されると、CPU28は、スルー画像処理を実行するべくドライバ18を起動する。ドライバ18は、1/60秒毎に発生する垂直同期信号Vsyncに応答して、撮像面をフォーカルプレーン電子シャッタ方式で露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ16からは、被写界を表す生画像データが60fpsのフレームレートで出力される。前処理回路20は、イメージセンサ16からの生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施し、これによって生成された生画像データをメモリ制御回路32を通してSDRAM34の生画像エリア34a(図2参照)に書き込む。   When the power is turned on, the CPU 28 activates the driver 18 to execute through image processing. In response to the vertical synchronization signal Vsync generated every 1/60 seconds, the driver 18 exposes the imaging surface by the focal plane electronic shutter method, and reads out the charges generated on the imaging surface in a raster scanning manner. From the image sensor 16, raw image data representing the object scene is output at a frame rate of 60 fps. The preprocessing circuit 20 performs processing such as digital clamping, pixel defect correction, and gain control on the raw image data from the image sensor 16, and the raw image data generated thereby is passed through the memory control circuit 32 to the raw image area 34 a of the SDRAM 34. Write (see FIG. 2).

撮像面には、図3に示す要領で抽出エリアEXが割り当てられる。後処理回路36は、生画像エリア24aに格納された生画像データのうち抽出エリアEXに属する一部の生画像データをメモリ制御回路32を通して1/60秒毎に読み出し、読み出された生画像データに色分離,白バランス調整,YUV変換,垂直ズームなどの処理を施す。この結果、YUV形式に対応する表示画像データが1/60秒毎に作成される。作成された表示画像データは、メモリ制御回路32を通してSDRAM34のYUV画像エリア34b(図2参照)に書き込まれる。   An extraction area EX is allocated to the imaging surface in the manner shown in FIG. The post-processing circuit 36 reads a part of the raw image data belonging to the extraction area EX from the raw image data stored in the raw image area 24a through the memory control circuit 32 every 1/60 seconds, and the read raw image The data is subjected to processing such as color separation, white balance adjustment, YUV conversion, and vertical zoom. As a result, display image data corresponding to the YUV format is created every 1/60 seconds. The generated display image data is written into the YUV image area 34b (see FIG. 2) of the SDRAM 34 through the memory control circuit 32.

LCDドライバ38は、YUV画像エリア34bに格納された表示画像データを繰り返し読み出し、読み出されたYUV画像データに基づいてLCDモニタ40を駆動する。この結果、被写界を表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。   The LCD driver 38 repeatedly reads the display image data stored in the YUV image area 34b, and drives the LCD monitor 40 based on the read YUV image data. As a result, a real-time moving image (through image) representing the scene is displayed on the monitor screen.

前処理回路20は、上述の処理に加えて、簡易Y生成処理および簡易RGB生成処理を実行する。生画像データは、簡易Y変換処理によってYデータに変換され、簡易RGB変換処理によってRGBデータ(各画素がR,GおよびBの全ての色情報を有するデータ)に変換される。簡易Y変換処理によって生成されたYデータは動き検出回路22およびAF評価回路24に与えられ、簡易RGB変換処理によって生成されたRGBデータはAE/AWB評価回路26に与えられる。   The preprocessing circuit 20 executes a simple Y generation process and a simple RGB generation process in addition to the above-described processes. The raw image data is converted into Y data by a simple Y conversion process, and converted into RGB data (data in which each pixel has all color information of R, G, and B) by a simple RGB conversion process. The Y data generated by the simple Y conversion process is supplied to the motion detection circuit 22 and the AF evaluation circuit 24, and the RGB data generated by the simple RGB conversion process is supplied to the AE / AWB evaluation circuit 26.

図3を参照して、撮像面には9つの動き検出エリアMD1〜MD9が割り当てられる。動き検出エリアMD1〜MD3は撮像面の上段に水平方向に並び、動き検出エリアMD4〜MD6は撮像面の中断に水平方向に並び、動き検出エリアMD7〜MD9は撮像面の下段に水平方向に並ぶ。垂直方向に割り当てるべき動き検出エリアの最小数は、数1に従って決定される。
[数1]
MN=TM×SF×α
MN:垂直方向に割り当てるべき動き検出エリアの最小数
TM:撮像周期(垂直同期信号Vsyncの発生周期)
SF:撮像面の振動周波数
α:定数(=18)
Referring to FIG. 3, nine motion detection areas MD1 to MD9 are assigned to the imaging surface. The motion detection areas MD1 to MD3 are arranged horizontally in the upper stage of the imaging surface, the motion detection areas MD4 to MD6 are arranged horizontally in the interruption of the imaging surface, and the motion detection areas MD7 to MD9 are arranged horizontally in the lower stage of the imaging surface. . The minimum number of motion detection areas to be allocated in the vertical direction is determined according to Equation 1.
[Equation 1]
MN = TM × SF × α
MN: Minimum number of motion detection areas to be allocated in the vertical direction TM: Imaging period (generation period of the vertical synchronization signal Vsync)
SF: imaging surface vibration frequency α: constant (= 18)

数1によれば、撮像周期と撮像面の振動周波数との掛算値に定数αを掛算することで、垂直方向に割り当てるべき動き検出エリアの最小数が得られる。ここで、撮像面の振動周波数は操作者の手振れ周波数(=約10Hz)に相当する。したがって、この実施例のように撮像周期が“1/60秒”であれば、垂直方向に割り当てるべき動き検出エリアの最小数は“3”となる。また、撮像周期が“1/30秒”であれば、垂直方向に割り当てるべき動き検出エリアの最小数は“6”となる。   According to Equation 1, the minimum number of motion detection areas to be assigned in the vertical direction can be obtained by multiplying the multiplication value of the imaging period and the vibration frequency of the imaging surface by a constant α. Here, the vibration frequency of the imaging surface corresponds to the hand vibration frequency (= about 10 Hz) of the operator. Accordingly, when the imaging cycle is “1/60 seconds” as in this embodiment, the minimum number of motion detection areas to be allocated in the vertical direction is “3”. If the imaging cycle is “1/30 second”, the minimum number of motion detection areas to be allocated in the vertical direction is “6”.

動き検出回路22は、動き検出エリアMD1〜MD9の各々における被写界の動きを表す部分動きベクトルを、前処理回路20から与えられたYデータに基づいて1/60秒毎に検出する。動き検出回路22はまた、動き検出エリアMD1〜MD3の部分動きベクトルを合成して合成動きベクトルUVCを1/60秒毎に生成し、動き検出エリアMD4〜MD6の部分動きベクトルを合成して合成動きベクトルMVCを1/60秒毎に生成し、そして動き検出エリアMD7〜MD9の部分動きベクトルを合成して合成動きベクトルLVCを1/60秒毎に生成する。   The motion detection circuit 22 detects a partial motion vector representing the motion of the object scene in each of the motion detection areas MD1 to MD9 based on Y data given from the preprocessing circuit 20 every 1/60 seconds. The motion detection circuit 22 also combines the partial motion vectors in the motion detection areas MD1 to MD3 to generate a combined motion vector UVC every 1/60 seconds, and combines and combines the partial motion vectors in the motion detection areas MD4 to MD6. The motion vector MVC is generated every 1/60 seconds, and the combined motion vectors LVC are generated every 1/60 seconds by synthesizing the partial motion vectors of the motion detection areas MD7 to MD9.

合成動きベクトルUVCは撮像面の上段における被写界の動きを表し、合成動きベクトルMVCは撮像面の中段における被写界の動きを表し、そして合成動きベクトルLVCは撮像面の下段における被写界の動きを表す。   The combined motion vector UVC represents the motion of the object scene in the upper part of the imaging surface, the composite motion vector MVC represents the motion of the object field in the middle part of the imaging surface, and the composite motion vector LVC represents the object field in the lower part of the image capturing surface. Represents the movement.

CPU28は、動き検出回路22から出力された合成動きベクトルUVC,MVCおよびLVCに基づいて全体動きベクトルを作成し、光軸に直交する方向における撮像面の動きが手振れおよびパン/チルト動作のいずれに起因するかを全体動きベクトルに基づいて判別し、そして撮像面の動きが手振れに起因するときに全体動きベクトルに沿って抽出エリアEXを移動させる。抽出エリアEXの位置は、手振れに起因する撮像面の動きが補償(相殺)されるように変更される。抽出エリアEXは、撮像面に手振れが生じたとき、図4に示す要領で撮像面上を移動する。   The CPU 28 creates an overall motion vector based on the combined motion vectors UVC, MVC, and LVC output from the motion detection circuit 22, and the movement of the imaging surface in the direction orthogonal to the optical axis is either a camera shake or a pan / tilt operation. Whether it is caused or not is discriminated based on the entire motion vector, and the extraction area EX is moved along the entire motion vector when the motion of the imaging surface is caused by camera shake. The position of the extraction area EX is changed so that the movement of the imaging surface due to camera shake is compensated (cancelled). The extraction area EX moves on the imaging surface in the manner shown in FIG. 4 when camera shake occurs on the imaging surface.

AF評価回路24は、前処理回路20から与えられたYデータに基づいてAF評価値を1/60秒毎に作成する。CPU28は、作成されたAF評価値に基づいていわゆる山登りAF処理を実行し、光学レンズ12を合焦点に配置する。   The AF evaluation circuit 24 creates an AF evaluation value every 1/60 seconds based on the Y data given from the preprocessing circuit 20. The CPU 28 performs so-called hill-climbing AF processing based on the created AF evaluation value, and places the optical lens 12 at the focal point.

AE/AWB評価回路24は、前処理回路20から与えられたRGBデータに基づいてAE/AWB評価値を1/60秒毎に作成する。CPU28は、作成されたAE/AWB評価値に基づいて、適正露光量が得られるEV値と適正白バランスが得られる白バランス調整ゲインとを算出する。CPU28はさらに、算出されたEV値を定義する絞り量および露光時間を絞りユニットおよびドライバ18に設定し、算出された白バランス調整ゲインを後処理回路36に設定する。この結果、LCDモニタ40から出力される動画像の明るさおよび白バランスが適度に調整される。   The AE / AWB evaluation circuit 24 creates an AE / AWB evaluation value every 1/60 seconds based on the RGB data given from the preprocessing circuit 20. Based on the created AE / AWB evaluation value, the CPU 28 calculates an EV value for obtaining an appropriate exposure amount and a white balance adjustment gain for obtaining an appropriate white balance. Further, the CPU 28 sets the aperture amount and the exposure time that define the calculated EV value in the aperture unit and the driver 18, and sets the calculated white balance adjustment gain in the post-processing circuit 36. As a result, the brightness and white balance of the moving image output from the LCD monitor 40 are adjusted appropriately.

キー入力装置30によって記録開始操作が行われると、CPU28によってI/F42が起動される。I/F42は、YUV画像エリア34bに格納された画像データを1/60秒毎に読み出し、読み出された画像データを記録媒体44内の動画ファイルに圧縮状態で書き込む。I/F42は、キー入力装置30上で記録終了操作が行われたときにCPU28によって停止される。この結果、画像データの記録処理が終了される。   When the recording start operation is performed by the key input device 30, the CPU 28 activates the I / F 42. The I / F 42 reads the image data stored in the YUV image area 34b every 1/60 seconds, and writes the read image data to the moving image file in the recording medium 44 in a compressed state. The I / F 42 is stopped by the CPU 28 when a recording end operation is performed on the key input device 30. As a result, the image data recording process is completed.

動き検出回路22は、図5に示すように構成される。Yデータは、フレームメモリ48および分配器50に与えられる。フレームメモリ48は1フレームに相当する容量を各々が有する2つのバンクによって形成され、与えられたYデータはこの2つのバンクに交互に書き込まれる。   The motion detection circuit 22 is configured as shown in FIG. The Y data is given to the frame memory 48 and the distributor 50. The frame memory 48 is formed by two banks each having a capacity corresponding to one frame, and the supplied Y data is alternately written into the two banks.

分配器50は、動き検出エリアMD1,MD4およびMD7に属するYデータを分配器52に与え、動き検出エリアMD2,MD5およびMD8に属するYデータを分配器54に与え、そして動き検出エリアMD3,MD6およびMD9に属するYデータを分配器56に与える。   Distributor 50 provides Y data belonging to motion detection areas MD1, MD4 and MD7 to distributor 52, Y data belonging to motion detection areas MD2, MD5 and MD8 to distributor 54, and motion detection areas MD3, MD6. Y data belonging to MD9 is applied to the distributor 56.

分配器52は、動き検出エリアMD1に属するYデータを部分動きベクトル検出回路58に与え、動き検出エリアMD4に属するYデータを部分動きベクトル検出回路64に与え、そして動き検出エリアMD7に属するYデータを部分動きベクトル検出回路70に与える。分配器54は、動き検出エリアMD2に属するYデータを部分動きベクトル検出回路60に与え、動き検出エリアMD5に属するYデータを部分動きベクトル検出回路66に与え、そして動き検出エリアMD8に属するYデータを部分動きベクトル検出回路72に与える。分配器56は、動き検出エリアMD3に属するYデータを部分動きベクトル検出回路62に与え、動き検出エリアMD6に属するYデータを部分動きベクトル検出回路68に与え、そして動き検出エリアMD9に属するYデータを部分動きベクトル検出回路74に与える。   The distributor 52 gives Y data belonging to the motion detection area MD1 to the partial motion vector detection circuit 58, gives Y data belonging to the motion detection area MD4 to the partial motion vector detection circuit 64, and Y data belonging to the motion detection area MD7. Is supplied to the partial motion vector detection circuit 70. The distributor 54 provides Y data belonging to the motion detection area MD2 to the partial motion vector detection circuit 60, Y data belonging to the motion detection area MD5 to the partial motion vector detection circuit 66, and Y data belonging to the motion detection area MD8. Is given to the partial motion vector detection circuit 72. The distributor 56 provides the Y data belonging to the motion detection area MD3 to the partial motion vector detection circuit 62, the Y data belonging to the motion detection area MD6 to the partial motion vector detection circuit 68, and the Y data belonging to the motion detection area MD9. Is supplied to the partial motion vector detection circuit 74.

部分動きベクトル検出回路58〜74の各々は、分配器52,54または56から与えられたYデータをフレームメモリ48に格納された前フレームのYデータと比較して、注目する動き検出エリアにおける被写界の動きを表す部分動きベクトルを検出する。この結果、動き検出エリアMD1〜MD9にそれぞれ対応する9つの部分動きベクトルが得られる。   Each of the partial motion vector detection circuits 58 to 74 compares the Y data supplied from the distributor 52, 54 or 56 with the Y data of the previous frame stored in the frame memory 48, and compares the Y data supplied from the distributor 52, 54 or 56 with the target motion detection area. A partial motion vector representing the motion of the scene is detected. As a result, nine partial motion vectors respectively corresponding to the motion detection areas MD1 to MD9 are obtained.

合成動きベクトル生成回路76は、部分動きベクトル検出回路58,60および62でそれぞれ検出された3つの部分動きベクトルを合成し、撮像面の上段における被写界の動きを表す合成動きベクトルUVCを生成する。合成動きベクトル生成回路78は、部分動きベクトル検出回路64,66および68でそれぞれ検出された3つの部分動きベクトルを合成し、撮像面の中段における被写界の動きを表す合成動きベクトルMVCを生成する。合成動きベクトル生成回路80は、部分動きベクトル検出回路70,72および74でそれぞれ検出された3つの部分動きベクトルを合成し、撮像面の下段における被写界の動きを表す合成動きベクトルLVCを生成する。   The combined motion vector generation circuit 76 combines the three partial motion vectors detected by the partial motion vector detection circuits 58, 60 and 62, respectively, and generates a combined motion vector UVC representing the motion of the object scene on the upper stage of the imaging surface. To do. The combined motion vector generation circuit 78 combines the three partial motion vectors detected by the partial motion vector detection circuits 64, 66 and 68, respectively, and generates a combined motion vector MVC representing the motion of the object scene in the middle stage of the imaging surface. To do. The combined motion vector generation circuit 80 combines the three partial motion vectors detected by the partial motion vector detection circuits 70, 72, and 74, respectively, and generates a combined motion vector LVC representing the motion of the object scene on the lower stage of the imaging surface. To do.

後処理回路36は、図6に示すように構成される。コントローラ82は、抽出エリアEXに属するYデータをSDRAM34の生画像エリア34aから読み出すべく、読み出し要求をメモリ制御回路32に向けて繰り返し発行する。これに応答して読み出された生画像データは、SRAM84を経て色分離回路86に与えられる。色分離回路86は、与えられた生画像データに基づいて各画素がR,GおよびBの全ての色情報を有するRGBデータを生成する。   The post-processing circuit 36 is configured as shown in FIG. The controller 82 repeatedly issues a read request to the memory control circuit 32 in order to read Y data belonging to the extraction area EX from the raw image area 34 a of the SDRAM 34. The raw image data read in response to this is given to the color separation circuit 86 via the SRAM 84. The color separation circuit 86 generates RGB data in which each pixel has all the R, G, and B color information based on the given raw image data.

生成されたRGBデータは、白バランス調整回路88によって白バランス調整処理を施された後、YUV変換回路90によってYUV形式の画像データに変換される。変換された画像データは、ズーム回路92による垂直ズーム処理(詳細は後述)を経てSRAM96に書き込まれる。コントローラ94は、SRAM96に蓄積された画像データを書き込み要求とともにメモリ制御回路32に出力する。出力された画像データは、メモリ制御回路32によってSDRAM34のYUV画像エリア34bに書き込まれる。   The generated RGB data is subjected to white balance adjustment processing by the white balance adjustment circuit 88 and then converted to YUV format image data by the YUV conversion circuit 90. The converted image data is written in the SRAM 96 through a vertical zoom process (details will be described later) by the zoom circuit 92. The controller 94 outputs the image data stored in the SRAM 96 to the memory control circuit 32 together with a write request. The output image data is written into the YUV image area 34 b of the SDRAM 34 by the memory control circuit 32.

上述のように、イメージセンサ16はフォーカルプレーン電子シャッタ方式で撮像面を露光するため、露光タイミングは水平画素列によって異なる。すると、SDRAM34に格納された生画像データには、撮像面の水平移動に起因して水平方向のフォーカルプレーン歪が発生し(図7参照)、撮像面の垂直移動に起因して垂直方向のフォーカルプレーン歪が発生する(図10参照)。そこで、この実施例では、フォーカスプレーン歪が抑制されるように、動き検出回路22の出力に基づいて抽出エリアEXの形状を変更するようにしている。   As described above, since the image sensor 16 exposes the imaging surface by the focal plane electronic shutter method, the exposure timing varies depending on the horizontal pixel row. Then, horizontal focal plane distortion occurs in the raw image data stored in the SDRAM 34 due to the horizontal movement of the imaging surface (see FIG. 7), and the vertical focal occurs due to the vertical movement of the imaging surface. Plane distortion occurs (see FIG. 10). Therefore, in this embodiment, the shape of the extraction area EX is changed based on the output of the motion detection circuit 22 so that the focus plane distortion is suppressed.

水平方向のフォーカルプレーン歪が発生したときは、抽出エリアEXを表す矩形の右辺および左辺の傾斜量が、図8(A)〜図8(D)に示す要領で変更される。つまり、撮像面が右方向に移動したとき、撮像面の露光タイミングは図8(A)の左蘭に示す要領で変化するため、抽出エリアEXの右辺および左辺は図8(A)の右蘭に示す要領で傾斜される。また、撮像面が左方向に移動したとき、撮像面の露光タイミングは図8(B)の左蘭に示す要領で変化するため、抽出エリアEXの右辺および左辺は図8(B)の右蘭に示す要領で傾斜される。   When the focal plane distortion in the horizontal direction occurs, the inclination amounts of the right side and the left side of the rectangle representing the extraction area EX are changed as shown in FIGS. 8 (A) to 8 (D). That is, when the imaging surface is moved in the right direction, the exposure timing of the imaging surface changes in the manner shown in the left orchid in FIG. 8A. Therefore, the right side and the left side of the extraction area EX are the right orchid in FIG. It is inclined as shown in When the imaging surface moves to the left, the exposure timing of the imaging surface changes as shown in the left orchid in FIG. 8B, so the right side and the left side of the extraction area EX are the right orchid in FIG. 8B. It is inclined as shown in

さらに、撮像面の移動方向が右から左に反転したとき、撮像面の露光タイミングは図8(C)の左蘭に示す要領で変化するため、抽出エリアEXの右辺および左辺は図8(C)の右蘭に示す要領で傾斜される。さらにまた、撮像面の移動方向が左から右に反転したとき、撮像面の露光タイミングは図8(D)の左蘭に示す要領で変化するため、抽出エリアEXの右辺および左辺は図8(D)の右蘭に示す要領で傾斜される。   Furthermore, when the moving direction of the imaging surface is reversed from right to left, the exposure timing of the imaging surface changes in the manner shown in the left orchid in FIG. 8C, and therefore the right side and the left side of the extraction area EX are shown in FIG. ) Inclined as shown in the right orchid. Furthermore, when the moving direction of the imaging surface is reversed from left to right, the exposure timing of the imaging surface changes in the manner shown in the left orchid in FIG. 8D, so the right side and the left side of the extraction area EX are shown in FIG. D) Inclined as shown in right orchid.

傾斜量は、動き検出回路22から出力された合成ベクトルUVC,MVCおよびLVCに基づいて、図9(A)または図9(B)に示す要領で決定される。まず、合成動きベクトルUVC,MVCおよびLVCの水平成分が“UVCx”,“MVCx”および“LVCx”として特定される。次に、動き検出エリアMD1〜MD3の垂直位置に対応して水平成分UVCxのY座標が決定され、動き検出エリアMD4〜MD6の垂直位置に対応して水平成分MVCxのY座標が決定され、そして動き検出エリアMD7〜MD9の垂直位置に対応して水平成分LVCxのY座標が決定される。   The amount of inclination is determined in the manner shown in FIG. 9A or 9B based on the combined vectors UVC, MVC, and LVC output from the motion detection circuit 22. First, the horizontal components of the combined motion vectors UVC, MVC, and LVC are specified as “UVCx”, “MVCx”, and “LVCx”. Next, the Y coordinate of the horizontal component UVCx is determined corresponding to the vertical position of the motion detection areas MD1 to MD3, the Y coordinate of the horizontal component MVCx is determined corresponding to the vertical position of the motion detection areas MD4 to MD6, and The Y coordinate of the horizontal component LVCx is determined corresponding to the vertical position of the motion detection areas MD7 to MD9.

さらに、水平成分MVCxの末端のX座標が水平成分UVCxの先端のX座標と一致し、かつ水平成分LVCxの末端のX座標が水平成分MVCxの先端のX座標と一致するように、水平成分UVCx,MVCxおよびLVCxの先端のX座標が決定される。その後、決定された3つのXY座標を結ぶ直線または曲線を表す近似関数が算出される。   Further, the horizontal component UVCx is set so that the X coordinate of the end of the horizontal component MVCx matches the X coordinate of the tip of the horizontal component UVCx and the X coordinate of the end of the horizontal component LVCx matches the X coordinate of the tip of the horizontal component MVCx. , MVCx and LVCx tip X coordinates are determined. Thereafter, an approximate function representing a straight line or a curve connecting the determined three XY coordinates is calculated.

したがって、水平成分UVCx,MVCxおよびLVCxが図9(A)の左蘭に示す大きさを有する場合、図9(A)の中央蘭に示す要領で3つのXY座標が決定され、図9(A)の右蘭に示す傾斜を有する近似関数が算出される。また、水平成分UVCx,MVCxおよびLVCxが図9(B)の左蘭に示す大きさを有する場合、図9(B)の中央蘭に示す要領で3つのXY座標が決定され、図9(B)の右蘭に示す傾斜を有する近似関数が算出される。   Accordingly, when the horizontal components UVCx, MVCx, and LVCx have the size shown in the left orchid of FIG. 9A, three XY coordinates are determined in the manner shown in the central orchid of FIG. The approximate function having the inclination shown in the right orchid is calculated. If the horizontal components UVCx, MVCx, and LVCx have the size shown in the left orchid in FIG. 9B, three XY coordinates are determined in the manner shown in the central orchid in FIG. 9B, and FIG. The approximate function having the inclination shown in the right orchid is calculated.

垂直方向のフォーカルプレーン歪が発生したときは、抽出エリアEXの垂直サイズが図11(A)または図11(C)に示す要領で拡大/縮小され、抽出エリアEXに対応する画像データの垂直サイズが後処理回路36に設けられたズーム回路92によって図11(B)または図11(D)に示す要領で元に戻される。抽出エリアEXの垂直サイズの変更倍率は数2に従って算出され、ズーム回路92のズーム倍率は数3に従って算出される。
[数2]
ZM1=1+VM/VPX
ZM1:抽出エリアの垂直サイズの変更倍率
VM:全体動きベクトルの垂直成分に相当する画素数
VPX:撮像面の垂直画素数
[数3]
ZM2=1/ZM1
ZM2:ズーム倍率
When the focal plane distortion in the vertical direction occurs, the vertical size of the extraction area EX is enlarged / reduced as shown in FIG. 11A or 11C, and the vertical size of the image data corresponding to the extraction area EX. Is restored by the zoom circuit 92 provided in the post-processing circuit 36 in the manner shown in FIG. 11B or 11D. The change magnification of the vertical size of the extraction area EX is calculated according to Equation 2, and the zoom magnification of the zoom circuit 92 is calculated according to Equation 3.
[Equation 2]
ZM1 = 1 + VM / VPX
ZM1: change rate of vertical size of extraction area VM: number of pixels corresponding to vertical component of entire motion vector VPX: number of vertical pixels on imaging surface [Equation 3]
ZM2 = 1 / ZM1
ZM2: Zoom magnification

数2によれば、全体動きベクトルの垂直成分に相当する画素数が撮像面の垂直画素数に占める割合に“1”を加算した数値が、抽出エリアの垂直サイズの変更倍率に相当する。数3によれば、ズーム回路92のズーム倍率は、抽出エリアの垂直サイズの変更倍率の逆数に相当する。   According to Equation 2, a value obtained by adding “1” to the ratio of the number of pixels corresponding to the vertical component of the entire motion vector to the number of vertical pixels on the imaging surface corresponds to the change magnification of the vertical size of the extraction area. According to Equation 3, the zoom magnification of the zoom circuit 92 corresponds to the inverse of the change magnification of the vertical size of the extraction area.

CPU28は、図12〜図13に示す手振れ補正タスクを含む複数のタスクを並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ46に記憶される。   The CPU 28 processes a plurality of tasks including the camera shake correction task shown in FIGS. 12 to 13 in parallel. Note that control programs corresponding to these tasks are stored in the flash memory 46.

図12を参照して、ステップS1では垂直同期信号Vsyncが発生したか否かを判別し、YESであればステップS3で動き検出回路22から合成動きベクトルUVC,MVCおよびLVCを取り込む。ステップS5では、取り込まれた合成動きベクトルUVC,MVCおよびLVCに基づいて全体動きベクトルを作成する。ステップS7ではエリア形状変更処理を実行し、続くステップS9では現時点の撮像面の動きがパン/チルト動作に起因するものであるか否かを全体動きベクトルに基づいて判別する。ここでYESであればそのままステップS1に戻り、NOであればステップS11で抽出エリアEXを全体動きベクトルに沿って移動させてからステップS1に戻る。   Referring to FIG. 12, in step S1, it is determined whether or not the vertical synchronization signal Vsync is generated. If YES, the combined motion vectors UVC, MVC, and LVC are fetched from the motion detection circuit 22 in step S3. In step S5, an overall motion vector is created based on the fetched synthesized motion vectors UVC, MVC and LVC. In step S7, an area shape change process is executed, and in subsequent step S9, it is determined based on the entire motion vector whether or not the current movement of the imaging surface is caused by the pan / tilt operation. If “YES” here, the process directly returns to the step S1, and if “NO”, the extraction area EX is moved along the entire motion vector in a step S11, and then the process returns to the step S1.

ステップS7のエリア形状変更処理は、図13に示すサブルーチンに従って実行される。まずステップS21で、合成動きベクトルUVC,MVCおよびLVCの水平成分を“UVCx”,“MVCx”および“LVCx”として特定する。ステップS23では、動き検出エリアMD1〜MD3の垂直位置に対応して水平成分UVCxのY座標を決定し、動き検出エリアMD4〜MD6の垂直位置に対応して水平成分MVCxのY座標を決定し、そして動き検出エリアMD7〜MD9の垂直位置に対応して水平成分LVCxのY座標を決定する。   The area shape changing process in step S7 is executed according to a subroutine shown in FIG. First, in step S21, the horizontal components of the combined motion vectors UVC, MVC, and LVC are specified as “UVCx”, “MVCx”, and “LVCx”. In step S23, the Y coordinate of the horizontal component UVCx is determined corresponding to the vertical position of the motion detection areas MD1 to MD3, the Y coordinate of the horizontal component MVCx is determined corresponding to the vertical position of the motion detection areas MD4 to MD6, Then, the Y coordinate of the horizontal component LVCx is determined corresponding to the vertical position of the motion detection areas MD7 to MD9.

ステップS25では、水平成分MVCxの末端のX座標が水平成分UVCxの先端のX座標と一致し、かつ水平成分LVCxの末端のX座標が水平成分MVCxの先端のX座標と一致するように、水平成分UVCx,MVCxおよびLVCxの先端のX座標を決定する。ステップS27では決定された3つのXY座標を結ぶ直線または曲線を表す近似関数を算出し、ステップS29では算出された近似関数に従って抽出エリアEXの右辺および左辺の傾斜量を決定する。   In step S25, the horizontal coordinate MVCx is adjusted so that the X coordinate of the end of the horizontal component UVCx matches the X coordinate of the tip of the horizontal component UVCx, and the X coordinate of the end of the horizontal component LVCx matches the X coordinate of the tip of the horizontal component MVCx. Determine the X-coordinates of the tips of the components UVCx, MVCx and LVCx. In step S27, an approximate function representing a straight line or a curve connecting the determined three XY coordinates is calculated. In step S29, the inclination amounts of the right side and the left side of the extraction area EX are determined in accordance with the calculated approximate function.

ステップS31では、全体動きベクトルの垂直成分を特定する。ステップS33では数2に従って抽出エリアEXの垂直サイズの変更倍率を算出し、ステップS35では数3に従ってズーム回路92のズーム倍率を算出する。ステップS35の処理が完了すると、上階層のルーチンに復帰する。   In step S31, the vertical component of the entire motion vector is specified. In step S33, the change magnification of the vertical size of the extraction area EX is calculated according to Equation 2, and in Step S35, the zoom magnification of the zoom circuit 92 is calculated according to Equation 3. When the process of step S35 is completed, the process returns to the upper-level routine.

以上の説明からわかるように、イメージセンサ16は、フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された被写界像をラスタ走査態様で繰り返し出力する。後処理回路36は、イメージセンサ16から出力された被写界像のうち抽出エリアEXに属する部分被写界像を抽出する。抽出された部分被写界像に基づく動画像は、LCDドライバ38によってLCDモニタ40に表示される。動き検出回路22は、光軸に直交する方向における撮像面の動きを検出する。抽出エリアの位置は、動き検出回路22によって検出された動きが補償されるように、CPU28によって変更される(S11)。CPU28はまた、動き検出回路22によって検出された動きに基づいて、フォーカルプレーン歪が抑制されるように抽出エリアEXの形状を変更する(S7)。   As can be understood from the above description, the image sensor 16 repeatedly outputs the object scene image generated on the imaging surface by the focal plane electronic shutter type exposure operation in a raster scanning manner. The post-processing circuit 36 extracts a partial scene image belonging to the extraction area EX from the scene image output from the image sensor 16. A moving image based on the extracted partial scene image is displayed on the LCD monitor 40 by the LCD driver 38. The motion detection circuit 22 detects the motion of the imaging surface in a direction orthogonal to the optical axis. The position of the extraction area is changed by the CPU 28 so that the motion detected by the motion detection circuit 22 is compensated (S11). The CPU 28 also changes the shape of the extraction area EX based on the motion detected by the motion detection circuit 22 so that the focal plane distortion is suppressed (S7).

抽出エリアEXの位置を光軸に直交する方向における撮像面の動きが補償されるように変更し、抽出エリアEXの形状をフォーカルプレーン歪が抑制されるように変更することで、撮像面の振れおよびフォーカルプレーン歪が一体的に補正される。この結果、簡単な回路構成で動画像の品質を改善することができる。   By changing the position of the extraction area EX so that the movement of the imaging surface in the direction orthogonal to the optical axis is compensated, and changing the shape of the extraction area EX so that focal plane distortion is suppressed, the fluctuation of the imaging surface And the focal plane distortion is corrected integrally. As a result, the quality of moving images can be improved with a simple circuit configuration.

なお、この実施例では、全体動きベクトルに沿って抽出エリアEXを移動させるようにしているが、これに加えて、AE/AWB評価回路26によって参照される評価エリアを抽出エリアEXに追従するように移動させるようにしてもよい。   In this embodiment, the extraction area EX is moved along the entire motion vector, but in addition, the evaluation area referred to by the AE / AWB evaluation circuit 26 follows the extraction area EX. You may make it move to.

この発明の一実施例の構成を示すブロック図である。It is a block diagram which shows the structure of one Example of this invention. 図1実施例に適用されるSDRAMのマッピング状態の一例を示す図解図である。It is an illustration figure which shows an example of the mapping state of SDRAM applied to FIG. 1 Example. 撮像面における抽出エリアおよび動き検出エリアの割り当て状態の一例を示す図解図である。It is an illustration figure which shows an example of the allocation state of the extraction area and motion detection area in an imaging surface. 図1実施例における手振れ補正動作の一例を示す図解図である。FIG. 8 is an illustrative view showing one example of a camera shake correction operation in the embodiment in FIG. 1; 図1実施例に適用される動き検出回路の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the motion detection circuit applied to the FIG. 1 Example. 図1実施例に適用される後処理回路の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the post-processing circuit applied to FIG. 1 Example. 図1実施例における撮像動作の一例を示す図解図である。It is an illustration figure which shows an example of the imaging operation in FIG. 1 Example. (A)は抽出エリアの形状変更処理の一例を示す図解図であり、(B)は抽出エリアの形状変更処理の他の一例を示す図解図であり、(C)は抽出エリアの形状変更処理のその他の一例を示す図解図であり、(D)は抽出エリアの形状変更処理のさらにその他の一例を示す図解図である。(A) is an illustration figure which shows an example of the shape change process of an extraction area, (B) is an illustration figure which shows another example of the shape change process of an extraction area, (C) is a shape change process of an extraction area FIG. 8D is an illustrative view showing yet another example of the extraction area shape changing process. (A)は抽出エリアの左辺および右辺の傾斜量を決定する動作の一例を示す図解図であり、(B)は抽出エリアの左辺および右辺の傾斜量を決定する動作の他の一例を示す図解図である。(A) is an illustration figure which shows an example of the operation | movement which determines the inclination amount of the left side and right side of an extraction area, (B) is the illustration which shows another example of the operation | movement which determines the inclination amount of the left side and right side of an extraction area. FIG. 図1実施例における撮像動作の他の一例を示す図解図である。It is an illustration figure which shows another example of the imaging operation in FIG. 1 Example. (A)は後処理回路に入力される被写界像の一例を示す図解図であり、(B)は後処理回路から出力された被写界像の一例を示す図解図であり、(C)は後処理回路に入力される被写界像の他の一例を示す図解図であり、(D)は後処理回路から出力された被写界像の他の一例を示す図解図である。(A) is an illustrative view showing an example of an object scene image input to the post-processing circuit, (B) is an illustrative view showing an example of an object scene image output from the post-processing circuit, and (C ) Is an illustrative view showing another example of the object scene image inputted to the post-processing circuit, and (D) is an illustrative view showing another example of the object scene image outputted from the post-processing circuit. 図1実施例に適用されるCPUの動作の一部を示すフロー図である。It is a flowchart which shows a part of operation | movement of CPU applied to the FIG. 1 Example. 図1実施例に適用されるCPUの動作の他の一部を示すフロー図である。It is a flowchart which shows a part of other operation | movement of CPU applied to the FIG. 1 Example.

符号の説明Explanation of symbols

10 …ディジタルビデオカメラ
16 …イメージセンサ
20 …前処理回路
22 …動き検出回路
28 …CPU
32 …メモリ制御回路
34 …SDRAM
36 …後処理回路
38 …LCDドライバ
DESCRIPTION OF SYMBOLS 10 ... Digital video camera 16 ... Image sensor 20 ... Pre-processing circuit 22 ... Motion detection circuit 28 ... CPU
32 ... Memory control circuit 34 ... SDRAM
36 ... Post-processing circuit 38 ... LCD driver

Claims (7)

フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された電子画像をラスタ走査態様で繰り返し出力する撮像手段、
前記撮像手段から出力された電子画像のうち指定エリアに属する部分画像を抽出する抽出手段、
前記抽出手段によって抽出された部分画像に基づく動画像を出力する出力手段、
光軸に直交する方向における前記撮像面の動きを検出する検出手段、
前記検出手段によって検出された動きが補償されるように前記指定エリアの位置を変更する位置変更手段、および
前記検出手段によって検出された動きに基づいて水平方向におけるフォーカルプレーン歪を抑制する関数を作成して前記指定エリアの形状を変更する形状変更手段を備え、
前記指定エリアは右辺および左辺を有する矩形のエリアであり、
前記形状変更手段によって作成される関数は前記右辺および前記左辺の傾斜量を定義する関数に相当することを特徴とする、ビデオカメラ。
Imaging means for repeatedly outputting an electronic image generated on an imaging surface by an exposure operation of a focal plane electronic shutter system in a raster scanning manner;
Extraction means for extracting a partial image belonging to the designated area from the electronic image output from the imaging means;
Output means for outputting a moving image based on the partial image extracted by the extracting means;
Detecting means for detecting movement of the imaging surface in a direction perpendicular to the optical axis;
A position changing means for changing the position of the designated area so that the motion detected by the detecting means is compensated, and a function for suppressing the focal plane distortion in the horizontal direction based on the motion detected by the detecting means And a shape changing means for changing the shape of the designated area,
The designated area is a rectangular area having a right side and a left side,
The video camera according to claim 1, wherein the function created by the shape changing means corresponds to a function that defines an inclination amount of the right side and the left side .
前記検出手段は、前記撮像手段から出力された電子画像に垂直方向に並ぶ複数のブロックを割り当てる割り当て手段、および前記割り当て手段によって割り当てられた複数のブロックに属する複数のブロック画像の動きベクトルを個別に検出する動きベクトル検出手段を含み、The detecting means individually assigns a plurality of blocks arranged in the vertical direction to the electronic image output from the imaging means, and individually assigns motion vectors of a plurality of block images belonging to the plurality of blocks assigned by the assigning means. Motion vector detection means for detecting,
前記形状変更手段は前記動きベクトル検出手段によって作成された複数の動きベクトルの水平成分に基づいて前記関数を作成する関数作成手段を含む、請求項1記載のビデオカメラ。The video camera according to claim 1, wherein the shape changing unit includes a function creating unit that creates the function based on horizontal components of a plurality of motion vectors created by the motion vector detecting unit.
前記割り当て手段によって割り当てられるブロックの数を前記撮像手段の撮像周期と前記撮像面の振動周波数とに基づいて決定するようにした、請求項2記載のビデオカメラ。The video camera according to claim 2, wherein the number of blocks allocated by the allocation unit is determined based on an imaging cycle of the imaging unit and a vibration frequency of the imaging surface. 前記検出手段によって検出された動きの垂直成分に基づいて前記指定エリアの垂直サイズを変更する第1サイズ変更手段、およびFirst size changing means for changing a vertical size of the designated area based on a vertical component of movement detected by the detecting means; and
前記抽出手段によって抽出された部分画像の垂直サイズを前記第1サイズ変更手段の変更処理に関連して変更する第2サイズ変更手段をさらに備える、請求項1ないし3のいずれかに記載のビデオカメラ。4. The video camera according to claim 1, further comprising a second size changing unit that changes a vertical size of the partial image extracted by the extracting unit in association with a change process of the first size changing unit. 5. .
前記第2サイズ変更手段の変更倍率は前記第1サイズ変更手段の変更倍率の逆数に相当する、請求項4記載のビデオカメラ。5. The video camera according to claim 4, wherein the change magnification of the second size changing means corresponds to the reciprocal of the change magnification of the first size changing means. フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された電子画像をラスタ走査態様で繰り返し出力する撮像手段、前記撮像手段から出力された電子画像のうち指定エリアに属する部分画像を抽出する抽出手段、前記抽出手段によって抽出された部分画像に基づく動画像を出力する出力手段、および光軸に直交する方向における前記撮像面の動きを検出する検出手段を備えるビデオカメラのプロセッサに、Imaging means for repeatedly outputting an electronic image generated on an imaging surface by an exposure operation of a focal plane electronic shutter method in a raster scanning manner, and extracting means for extracting a partial image belonging to a specified area from the electronic image output from the imaging means A video camera processor comprising: output means for outputting a moving image based on the partial image extracted by the extraction means; and detection means for detecting movement of the imaging surface in a direction orthogonal to the optical axis.
前記検出手段によって検出された動きが補償されるように前記指定エリアの位置を変更する位置変更ステップ、およびA position changing step for changing the position of the designated area so that the motion detected by the detecting means is compensated; and
前記検出手段によって検出された動きに基づいて水平方向におけるフォーカルプレーン歪を抑制する関数を作成して前記指定エリアの形状を変更する形状変更ステップを実行させるための撮像制御プログラムであって、An imaging control program for executing a shape change step for changing a shape of the designated area by creating a function for suppressing a focal plane distortion in a horizontal direction based on a motion detected by the detection means,
前記指定エリアは右辺および左辺を有する矩形のエリアであり、The designated area is a rectangular area having a right side and a left side,
前記形状変更手段によって作成される関数は前記右辺および前記左辺の傾斜量を定義する関数に相当することを特徴とする撮像制御プログラム。The imaging control program, wherein the function created by the shape changing means corresponds to a function that defines an inclination amount of the right side and the left side.
フォーカルプレーン電子シャッタ方式の露光動作によって撮像面で生成された電子画像をラスタ走査態様で繰り返し出力する撮像手段、前記撮像手段から出力された電子画像のうち指定エリアに属する部分画像を抽出する抽出手段、前記抽出手段によって抽出された部分画像に基づく動画像を出力する出力手段、および光軸に直交する方向における前記撮像面の動きを検出する検出手段を備えるビデオカメラによって実行される撮像制御方法であって、Imaging means for repeatedly outputting an electronic image generated on an imaging surface by an exposure operation of a focal plane electronic shutter method in a raster scanning manner, and extracting means for extracting a partial image belonging to a specified area from the electronic image output from the imaging means An imaging control method executed by a video camera comprising: output means for outputting a moving image based on the partial image extracted by the extraction means; and detection means for detecting movement of the imaging surface in a direction orthogonal to the optical axis. There,
前記検出手段によって検出された動きが補償されるように前記指定エリアの位置を変更する位置変更ステップ、およびA position changing step for changing the position of the designated area so that the motion detected by the detecting means is compensated; and
前記検出手段によって検出された動きに基づいて水平方向におけるフォーカルプレーン歪を抑制する関数を作成して前記指定エリアの形状を変更する形状変更ステップを備え、A shape changing step for changing the shape of the designated area by creating a function for suppressing the focal plane distortion in the horizontal direction based on the motion detected by the detecting means,
前記指定エリアは右辺および左辺を有する矩形のエリアであり、The designated area is a rectangular area having a right side and a left side,
前記形状変更手段によって作成される関数は前記右辺および前記左辺の傾斜量を定義する関数に相当することを特徴とする撮像制御方法。The imaging control method, wherein the function created by the shape changing means corresponds to a function that defines an inclination amount of the right side and the left side.
JP2008042281A 2008-02-23 2008-02-23 Video camera Active JP5197064B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008042281A JP5197064B2 (en) 2008-02-23 2008-02-23 Video camera
US12/390,585 US8253812B2 (en) 2008-02-23 2009-02-23 Video camera which adopts a focal-plane electronic shutter system
US13/555,373 US20120287314A1 (en) 2008-02-23 2012-07-23 Video camera which adopts a focal-plane electronic shutter system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008042281A JP5197064B2 (en) 2008-02-23 2008-02-23 Video camera

Publications (2)

Publication Number Publication Date
JP2009200981A JP2009200981A (en) 2009-09-03
JP5197064B2 true JP5197064B2 (en) 2013-05-15

Family

ID=41143971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008042281A Active JP5197064B2 (en) 2008-02-23 2008-02-23 Video camera

Country Status (1)

Country Link
JP (1) JP5197064B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010166512A (en) 2009-01-19 2010-07-29 Sanyo Electric Co Ltd Imaging apparatus
JP5938842B2 (en) * 2010-01-26 2016-06-22 カシオ計算機株式会社 Imaging apparatus, AF evaluation value calculation method, and program
JP5731839B2 (en) * 2011-01-31 2015-06-10 東芝アルパイン・オートモティブテクノロジー株式会社 Imaging apparatus and motion vector detection method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4446193B2 (en) * 2005-11-11 2010-04-07 ソニー株式会社 Image processing apparatus and method, and program
JP2009135713A (en) * 2007-11-29 2009-06-18 Kyocera Corp Method and device for correcting image distortion generated by blurring of imaging apparatus

Also Published As

Publication number Publication date
JP2009200981A (en) 2009-09-03

Similar Documents

Publication Publication Date Title
JP4720859B2 (en) Image processing apparatus, image processing method, and program
JP5574423B2 (en) Imaging apparatus, display control method, and program
JP5754312B2 (en) Image processing apparatus, image processing method, and program
US8253812B2 (en) Video camera which adopts a focal-plane electronic shutter system
JP5767485B2 (en) Image processing apparatus and control method
TWI423165B (en) Image processing apparatus, image processing method, and storage medium
KR101109532B1 (en) Image capturing device, image capturing method, and a storage medium recording thereon a image capturing program
JP2013165483A (en) Image processing apparatus, image capturing apparatus, and computer program
JP5212046B2 (en) Digital camera, image processing apparatus, and image processing program
JP2010263520A (en) Image capturing apparatus, data generating apparatus, and data structure
JP6541501B2 (en) IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD
JP5197064B2 (en) Video camera
JP7142507B2 (en) Image processing device, image processing method, and imaging device
JP2010153964A (en) Electronic camera
JP2010171548A (en) Image processing apparatus
JP2009218722A (en) Electronic camera
US11206344B2 (en) Image pickup apparatus and storage medium
US11394856B2 (en) Image processing apparatus and method, and image capturing apparatus
JP2019047145A (en) Image processing system, imaging apparatus, control method and program of image processing system
JP5121505B2 (en) Video camera
JP5127731B2 (en) Video camera
JP2016208083A (en) Image processing apparatus, image processing method, and program
JP2015041869A (en) Imaging apparatus, information processing method, and program
JP2010245582A (en) Electronic camera
US8270673B2 (en) Motion detecting apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5197064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250