[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016218106A - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP2016218106A
JP2016218106A JP2015099356A JP2015099356A JP2016218106A JP 2016218106 A JP2016218106 A JP 2016218106A JP 2015099356 A JP2015099356 A JP 2015099356A JP 2015099356 A JP2015099356 A JP 2015099356A JP 2016218106 A JP2016218106 A JP 2016218106A
Authority
JP
Japan
Prior art keywords
frame
specific subject
captured image
subject
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015099356A
Other languages
Japanese (ja)
Inventor
西山 明雄
Akio Nishiyama
明雄 西山
匡利 中村
Masatoshi Nakamura
匡利 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015099356A priority Critical patent/JP2016218106A/en
Publication of JP2016218106A publication Critical patent/JP2016218106A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device that sets an AF area tracking a movement of a subject of a tracking target with high accuracy.SOLUTION: An imaging device comprises: an imaging unit that continuously shoots a subject in a frame unit to generate a shot image; a display unit that displays in real time the shot image generated by the imaging unit; and a control unit that displays an AF frame indicative of an area to be automatically focused with the AF frame overlapped on the shot image to be in real time displayed on the display unit. The control unit is configured to detect a motion m of the subject from the shot images N-2 and N-1 of the previous frame; predict a position Pn of a specific subject in the shot image N of a current frame on the basis of the detected motion frame; and display the AF frame in the shot image to be displayed on the display unit on the basis of the predicted position.SELECTED DRAWING: Figure 5

Description

本開示は、追尾対象の被写体の動きに追従してオートフォーカス領域を設定する撮像装置に関する。   The present disclosure relates to an imaging apparatus that sets an autofocus area following the movement of a subject to be tracked.

従来、所望の被写体を追尾し、時々刻々と変化する被写体の位置に応じた位置に合焦動作を行うオートフォーカス(AF)領域を設定する撮像装置がある(例えば、特許文献1)。   2. Description of the Related Art Conventionally, there is an imaging apparatus that tracks a desired subject and sets an autofocus (AF) region that performs a focusing operation at a position corresponding to the position of the subject that changes every moment (for example, Patent Document 1).

特許文献1のカメラは、撮影画面内の色情報と輝度情報との少なくとも1つを用いて撮影画面内の追尾対象を含む候補領域を検出し、候補領域の大きさに基づき、候補領域に含まれる複数のフォーカスエリア(AF領域)の中から1つのフォーカスエリアを選択し、焦点調節の対象とするとともに、選択した1つのフォーカスエリアに対してAF枠を撮影画面内に表示している。このようにAF枠を表示することにより、大きな被写体に対してAF枠の表示位置(すなわち、フォーカスエリアの位置)が頻繁に切り替わることを低減している。   The camera of Patent Literature 1 detects a candidate area including a tracking target in the shooting screen using at least one of color information and luminance information in the shooting screen, and includes the candidate area based on the size of the candidate area. One focus area is selected from a plurality of focus areas (AF areas) to be subjected to focus adjustment, and an AF frame is displayed on the photographing screen for the selected focus area. By displaying the AF frame in this way, it is possible to reduce frequent switching of the display position of the AF frame (that is, the position of the focus area) for a large subject.

特開2014−016630号公報JP 2014-016630 A

特許文献1のカメラでは、現在撮影画面内に表示されているAF枠は、1つ前のフレームの画像に基づいて決定された位置に表示される。このため、現在の被写体の実際の位置と、AF枠の表示位置(すなわちAF領域の位置)とがずれてしまう場合がある。   In the camera of Patent Document 1, the AF frame currently displayed in the shooting screen is displayed at a position determined based on the image of the previous frame. For this reason, the actual position of the current subject may deviate from the display position of the AF frame (that is, the position of the AF area).

本開示は、追尾対象の被写体の動きに精度よく追従してAF枠の表示位置を設定する撮像装置を提供する。   The present disclosure provides an imaging apparatus that sets the display position of an AF frame by accurately following the movement of a subject to be tracked.

本開示の態様において、特定の被写体の動きに追従して自動合焦動作が可能な撮像装置が提供される。撮像装置は、フレーム単位で連続して被写体を撮像して撮像画像を生成する撮像部と、撮像部により生成された撮像画像をリアルタイムに表示する表示部と、表示部にリアルタイムに表示される撮像画像に重畳して、自動合焦させる領域を示すAF枠を表示する制御部と、を備える。制御部は、以前のフレームの撮像画像から特定の被写体の動きを検出し、検出した動きに基づいて、現フレームの撮像画像における特定の被写体の位置を予測し、予測した位置に基づいて、表示部に表示される撮像画像においてAF枠を表示する。   In an aspect of the present disclosure, an imaging apparatus capable of performing an automatic focusing operation following a movement of a specific subject is provided. An imaging device includes an imaging unit that continuously captures a subject in units of frames to generate a captured image, a display unit that displays a captured image generated by the imaging unit in real time, and an imaging that is displayed in real time on the display unit And a control unit that displays an AF frame that is superimposed on the image and indicates a region to be automatically focused. The control unit detects the movement of the specific subject from the captured image of the previous frame, predicts the position of the specific subject in the captured image of the current frame based on the detected motion, and displays based on the predicted position. An AF frame is displayed in the captured image displayed on the screen.

本開示の撮像装置は、追尾対象の被写体の位置を予測してAF枠を表示する。このため、追尾対象の被写体の動きに精度よく追従してAF枠を表示することができる。   The imaging apparatus according to the present disclosure predicts the position of a subject to be tracked and displays an AF frame. For this reason, it is possible to display the AF frame by accurately following the movement of the subject to be tracked.

本開示に係るデジタルカメラの構成を示す図The figure which shows the structure of the digital camera which concerns on this indication デジタルカメラの背面図Rear view of digital camera デジタルカメラにおけるAF枠を説明した図Diagram explaining AF frame in digital camera 実施の形態1における追尾AFの動作を示すフローチャートFlowchart showing the operation of tracking AF in the first embodiment 追尾対象の予測位置に基づく追尾領域の設定を説明するための図The figure for demonstrating the setting of the tracking area | region based on the predicted position of a tracking object 実施の形態2における追尾AFの動作を示すフローチャートFlowchart showing the operation of tracking AF in the second embodiment

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。   Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art. The inventor (s) provides the accompanying drawings and the following description in order for those skilled in the art to fully understand the present disclosure, and is intended to limit the subject matter described in the claims. Not what you want.

以下、図面を用いて本開示に係る撮像装置の実施の形態を説明する。   Hereinafter, an embodiment of an imaging device according to the present disclosure will be described with reference to the drawings.

(実施の形態1)
1.デジタルカメラの構成
本実施の形態1に係るデジタルカメラの電気的構成例について図1を用いて説明する。図1は、デジタルカメラ100の構成を示すブロック図である。デジタルカメラ100は、1又は複数のレンズからなる光学系110により形成された被写体像をCCD140で撮像する撮像装置である。
(Embodiment 1)
1. Configuration of Digital Camera An example of the electrical configuration of the digital camera according to Embodiment 1 will be described with reference to FIG. FIG. 1 is a block diagram showing a configuration of the digital camera 100. The digital camera 100 is an imaging device that captures an object image formed by an optical system 110 including one or a plurality of lenses with a CCD 140.

CCD140で生成された画像データは、画像処理部160で各種処理が施され、メモリカード200に格納される。以下、デジタルカメラ100の構成を詳細に説明する。   The image data generated by the CCD 140 is subjected to various processes by the image processing unit 160 and stored in the memory card 200. Hereinafter, the configuration of the digital camera 100 will be described in detail.

光学系110は、ズームレンズやフォーカスレンズ115を含む。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、又は縮小をすることができる。また、フォーカスレンズ115を光軸に沿って移動させることにより、被写体像のピントを調整することができる。   The optical system 110 includes a zoom lens and a focus lens 115. The subject image can be enlarged or reduced by moving the zoom lens along the optical axis. The focus of the subject image can be adjusted by moving the focus lens 115 along the optical axis.

レンズ駆動部120は、光学系110に含まれる各種レンズを駆動させる。レンズ駆動部120は、例えばズームレンズを駆動するズームモータや、フォーカスレンズ115を駆動するフォーカスモータを含む。   The lens driving unit 120 drives various lenses included in the optical system 110. The lens driving unit 120 includes, for example, a zoom motor that drives the zoom lens and a focus motor that drives the focus lens 115.

絞り300は、ユーザの設定に応じて又は自動で、光の開口部の大きさを調整し、透過する光の量を調整する機構である。   The diaphragm 300 is a mechanism that adjusts the amount of transmitted light by adjusting the size of the light opening in accordance with a user setting or automatically.

シャッタ130は、CCD140に透過させる光を遮光するための手段である。シャッタ130は、光学系110及び絞り300とともに、被写体像を示す光学情報を制御する光学系部を構成する。   The shutter 130 is a means for shielding the light transmitted through the CCD 140. The shutter 130, together with the optical system 110 and the diaphragm 300, constitutes an optical system unit that controls optical information indicating a subject image.

CCD140は、光学系110で形成された被写体像を撮像して、所定のフレームレートで画像データを生成する。CCD140は、カラーフィルタと、受光素子と、AGC(Auto Gain Controller)を含む。受光素子は、光学系110によって集光された光学的信号を電気信号に変換し、画像情報を生成する。AGCは、受光素子から出力された電気信号を増幅する。CCD140はさらに、露光、転送、電子シャッタなどの各種動作を行うための駆動回路等を含む。詳細については、後述する。   The CCD 140 captures the subject image formed by the optical system 110 and generates image data at a predetermined frame rate. The CCD 140 includes a color filter, a light receiving element, and an AGC (Auto Gain Controller). The light receiving element converts the optical signal collected by the optical system 110 into an electrical signal, and generates image information. The AGC amplifies the electric signal output from the light receiving element. The CCD 140 further includes a drive circuit for performing various operations such as exposure, transfer, and electronic shutter. Details will be described later.

ADC(A/Dコンバータ)150は、CCD140で生成されたアナログ画像データをデジタル画像データに変換する。   An ADC (A / D converter) 150 converts analog image data generated by the CCD 140 into digital image data.

画像処理部160は、CCD140で生成され、ADC(A/Dコンバータ)150により変換されたデジタル画像データに対して各種処理を施す。画像処理部160は、コントローラ180の制御にしたがい動作する。画像処理部160は、表示モニタ220に表示するための画像データを生成したり、メモリカード200に格納するための画像データを生成したりする。例えば、画像処理部160は、CCD140で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部160は、CCD140で生成された画像データを、H.264規格やMPEG2規格に準拠した圧縮形式等により圧縮する。画像処理部160は、DSP(Digital Signal Processor)やマイコンなどで実現可能である。   The image processing unit 160 performs various processes on the digital image data generated by the CCD 140 and converted by the ADC (A / D converter) 150. The image processing unit 160 operates under the control of the controller 180. The image processing unit 160 generates image data to be displayed on the display monitor 220 or generates image data to be stored in the memory card 200. For example, the image processing unit 160 performs various processes such as gamma correction, white balance correction, and flaw correction on the image data generated by the CCD 140. Further, the image processing unit 160 converts the image data generated by the CCD 140 into H.264. It compresses by the compression format etc. based on H.264 standard or MPEG2 standard. The image processing unit 160 can be realized by a DSP (Digital Signal Processor), a microcomputer, or the like.

コントローラ180は、デジタルカメラ100の全体を制御する制御手段である。コントローラ180は、半導体素子などで実現可能である。コントローラ180は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ180は、マイコン、CPU、MPU、ASIC、FPGAなどで実現できる。   The controller 180 is a control unit that controls the entire digital camera 100. The controller 180 can be realized by a semiconductor element or the like. The controller 180 may be configured only by hardware, or may be realized by combining hardware and software. The controller 180 can be realized by a microcomputer, CPU, MPU, ASIC, FPGA, or the like.

バッファ170は、画像処理部160及びコントローラ180のワークメモリとして機能する。バッファ170は、例えば、DRAM(Dynamic Random Access Memory)、強誘電体メモリなどで実現できる。   The buffer 170 functions as a work memory for the image processing unit 160 and the controller 180. The buffer 170 can be realized by, for example, a DRAM (Dynamic Random Access Memory), a ferroelectric memory, or the like.

カードスロット190は、メモリカード200を着脱可能である。カードスロット190は、機械的及び電気的にメモリカード200と接続可能である。   The card slot 190 is detachable from the memory card 200. The card slot 190 can be mechanically and electrically connected to the memory card 200.

メモリカード200は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部160で生成された画像ファイル等のデータを格納可能である。   The memory card 200 includes a flash memory, a ferroelectric memory, and the like, and can store data such as an image file generated by the image processing unit 160.

内蔵メモリ240は、フラッシュメモリや強誘電体メモリなどで構成される。内蔵メモリ240は、デジタルカメラ100全体を制御するための制御プログラム等を記憶している。   The built-in memory 240 is composed of a flash memory or a ferroelectric memory. The built-in memory 240 stores a control program for controlling the entire digital camera 100 and the like.

操作部材210は、ユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材210は、例えば、ユーザからの操作を受け付ける選択ボタンや決定ボタン、レバー、ダイヤル、タッチパネル等を含む。   The operation member 210 is a generic name for a user interface that receives an operation from a user. The operation member 210 includes, for example, a selection button, a determination button, a lever, a dial, a touch panel and the like that receive an operation from the user.

表示モニタ220は、CCD140で生成した画像データが示す画像(ライブビュー画像)や、メモリカード200から読み出した画像データが示す画像(再生画像)を表示可能である。また、表示モニタ220は、デジタルカメラ100の各種設定を行うための各種メニュー画面等も表示可能である。表示モニタ220は、液晶表示デバイスや有機EL表示デバイスで構成される。   The display monitor 220 can display an image (live view image) indicated by image data generated by the CCD 140 and an image (reproduced image) indicated by image data read from the memory card 200. The display monitor 220 can also display various menu screens for performing various settings of the digital camera 100. The display monitor 220 is composed of a liquid crystal display device or an organic EL display device.

図2は、デジタルカメラ100の背面を示した図である。操作部材210は、図2に示すように、レリーズボタン211、選択ボタン213、決定ボタン214、動画記録ボタン217等を含む。操作部材210は、ユーザによる操作を受け付けると、コントローラ180に種々の指示信号を送信する。   FIG. 2 is a view showing the back surface of the digital camera 100. As shown in FIG. 2, the operation member 210 includes a release button 211, a selection button 213, a determination button 214, a moving image recording button 217, and the like. When the operation member 210 receives an operation by the user, the operation member 210 transmits various instruction signals to the controller 180.

レリーズボタン211は、二段押下式の押下ボタンである。レリーズボタン211がユーザにより半押し操作されると、コントローラ180はオートフォーカス制御(AF制御)やオート露出制御(AE制御)などを実行する。また、レリーズボタン211がユーザにより全押し操作されると、コントローラ180は、押下操作のタイミングに撮像された画像データを記録画像としてメモリカード200等に記録する。   The release button 211 is a two-stage push button. When the release button 211 is pressed halfway by the user, the controller 180 executes autofocus control (AF control), auto exposure control (AE control), and the like. When the release button 211 is fully pressed by the user, the controller 180 records image data captured at the timing of the pressing operation on the memory card 200 or the like as a recorded image.

選択ボタン213は、上下左右方向に設けられた押下式ボタンである。ユーザは、選択ボタン213のいずれかの方向を押下することにより、カーソルを移動したり、表示モニタ220に表示される各種条件項目を選択したりすることができる。   The selection button 213 is a push button provided in the up / down / left / right directions. The user can move the cursor or select various condition items displayed on the display monitor 220 by pressing any direction of the selection button 213.

決定ボタン214は、押下式ボタンである。デジタルカメラ100が撮影モードあるいは再生モードにあるときに、決定ボタン214がユーザにより押下されると、コントローラ180は表示モニタ220にメニュー画面を表示する。メニュー画面は、撮影/再生のための各種条件を設定するための画面である。決定ボタン214が各種条件の設定項目が選択されているときに押下されると、コントローラ180は、選択された項目の設定を確定する。   The decision button 214 is a push button. When the determination button 214 is pressed by the user while the digital camera 100 is in the shooting mode or the playback mode, the controller 180 displays a menu screen on the display monitor 220. The menu screen is a screen for setting various conditions for shooting / playback. When the determination button 214 is pressed when a setting item for various conditions is selected, the controller 180 finalizes the setting of the selected item.

2.デジタルカメラの動作
本実施形態のデジタルカメラ100は、自動で合焦動作を行うオートフォーカスモードとマニュアル操作による合焦動作を行うマニュアルモードを有する。さらに、デジタルカメラ100は、オートフォーカスモードとして、特定の被写体に追従してオートフォーカスを行う追尾AFモードを有する。
2. Operation of Digital Camera The digital camera 100 of the present embodiment has an autofocus mode in which a focusing operation is automatically performed and a manual mode in which a focusing operation is performed manually. Furthermore, the digital camera 100 has a tracking AF mode in which autofocus is performed following a specific subject as the autofocus mode.

図3は、表示モニタ220に表示される撮像画像(ライブビュー画像)の例を説明した図である。本実施形態のデジタルカメラ100は、追尾対象である特定の被写体10の動きに追従してAF領域を示すAF枠20を表示する。ここで、追尾対象となる特定の被写体は、例えば、表示モニタ220で表示された画像における特定の被写体に対して、ユーザがタッチやキー操作により指定することにより決定される。本実施形態のデジタルカメラ100は、追尾対象となる特定の被写体の動きベクトルから、撮像画像における特定の被写体の位置を予測し、その予測した位置に基づいてAF枠を決定する。これにより、AF枠の位置と追尾対象の実際の位置とのずれを低減できる。   FIG. 3 is a diagram illustrating an example of a captured image (live view image) displayed on the display monitor 220. The digital camera 100 according to the present embodiment displays an AF frame 20 indicating an AF area following the movement of a specific subject 10 as a tracking target. Here, the specific subject to be tracked is determined, for example, when the user designates the specific subject in the image displayed on the display monitor 220 by touch or key operation. The digital camera 100 according to the present embodiment predicts the position of a specific subject in the captured image from the motion vector of the specific subject to be tracked, and determines an AF frame based on the predicted position. As a result, the deviation between the position of the AF frame and the actual position of the tracking target can be reduced.

以下、図4及び図5を参照して、デジタルカメラ100における追尾AF動作について説明する。図4は、デジタルカメラ100における追尾AF動作を示すフローチャートである。図5は、追尾対象である特定の被写体の予測位置に基づく追尾領域(AF枠の位置)の設定を説明するための図である。以下に説明する処理は、主としてデジタルカメラ100のコントローラ180により実行される。なお、以下では、時刻t(現フレームn)に対する追尾AF動作を説明する。また、追尾対象である特定の被写体はユーザにより既に指定されているとする。   Hereinafter, the tracking AF operation in the digital camera 100 will be described with reference to FIGS. 4 and 5. FIG. 4 is a flowchart showing the tracking AF operation in the digital camera 100. FIG. 5 is a diagram for explaining the setting of the tracking area (the position of the AF frame) based on the predicted position of the specific subject that is the tracking target. Processing described below is mainly executed by the controller 180 of the digital camera 100. In the following, the tracking AF operation for time t (current frame n) will be described. Further, it is assumed that a specific subject to be tracked has already been designated by the user.

コントローラ180は、現フレーム(フレームn)の1つ前のフレーム(フレームn−1)の撮像画像N−1における特定の被写体の位置と、2つ前のフレーム(フレームn−2)の撮像画像N−2における特定の被写体の位置とから動きベクトル(移動量)を算出し、算出結果を内蔵メモリ240に格納する(S11)。   The controller 180 detects the position of the specific subject in the captured image N-1 of the previous frame (frame n-1) of the current frame (frame n) and the captured image of the second previous frame (frame n-2). A motion vector (movement amount) is calculated from the position of the specific subject at N-2, and the calculation result is stored in the built-in memory 240 (S11).

次に、コントローラ180は、1つ前のフレーム(フレームn−1)の撮像画像N−1と2つ前のフレーム(フレームn−2)の撮像画像N−2とから算出された動きベクトル(移動量)の情報を内蔵メモリ240から読み出す(S12)。   Next, the controller 180 calculates a motion vector (from the captured image N-1 of the previous frame (frame n-1) and the captured image N-2 of the previous frame (frame n-2) ( The amount of movement) information is read from the built-in memory 240 (S12).

コントローラ180は、取得した動きベクトル(移動量)に基づき、現フレームの撮像画像Nにおける特定の被写体の位置を予測する(S13)。   The controller 180 predicts the position of the specific subject in the captured image N of the current frame based on the acquired motion vector (movement amount) (S13).

具体的には、下記式(1)により現フレーム撮像画像Nにおける特定の被写体の予測位置Pnを求める。
Pn(xn, yn)=Pn-1(xn-1, yn-1)+m(Δx, Δy) (1)
Pn-1:1フレーム前の撮像画像における特定の被写体の位置
m:2フレーム前の撮像画像における特定の被写体の位置(Pn-2)から1フレーム前の撮像画像における特定の被写体の位置(Pn-1)への動きベクトル
Specifically, a predicted position Pn of a specific subject in the current frame captured image N is obtained by the following equation (1).
Pn (xn, yn) = Pn-1 (xn-1, yn-1) + m (Δx, Δy) (1)
Pn-1: position of a specific subject in a captured image of one frame before m: position of a specific subject in a captured image one frame before (Pn-2) from a position (Pn-2) of a specific subject in a captured image of two frames before -1) Motion vector to

コントローラ180は、表示モニタ220に表示する画像(ライブビュー画像)において、撮像画像における予測位置Pnに対応する位置にAF枠20を表示する(S14)。   In the image (live view image) displayed on the display monitor 220, the controller 180 displays the AF frame 20 at a position corresponding to the predicted position Pn in the captured image (S14).

このように表示モニタ220に表示する画像において、過去のフレームの撮像画像から予測した位置Pnに対応する位置にAF枠を表示することで、表示モニタ220に表示された特定の被写体の位置とAF枠の位置のずれを低減することができる。よって、ユーザは、違和感を感じることなくAF枠を視認することができる。   In this way, in the image displayed on the display monitor 220, the AF frame is displayed at a position corresponding to the position Pn predicted from the captured image of the past frame, so that the position of the specific subject displayed on the display monitor 220 and the AF are displayed. The shift of the frame position can be reduced. Therefore, the user can visually recognize the AF frame without feeling uncomfortable.

その後、コントローラ180は、予測した位置Pnを中心として色情報に基づく追尾処理を行う(S15)。   Thereafter, the controller 180 performs a tracking process based on the color information with the predicted position Pn as the center (S15).

具体的には、コントローラ180は、予測した位置Pnを中心とした所定の領域30において色情報に基づき特定の被写体10を検出する。このとき、コントローラ180は、表示モニタ220上の現フレームnの撮像画像において領域30に対応する位置にAF枠20を表示する。そして、コントローラ180は、領域20において色情報に基づき特定の被写体10を検出し、検出した特定の被写体10を含む所定の領域をAF領域に設定し、AF領域に含まれる画素の値に基づきコントラストAFを実施する。   Specifically, the controller 180 detects a specific subject 10 based on the color information in a predetermined region 30 centered on the predicted position Pn. At this time, the controller 180 displays the AF frame 20 at a position corresponding to the region 30 in the captured image of the current frame n on the display monitor 220. Then, the controller 180 detects the specific subject 10 based on the color information in the region 20, sets a predetermined region including the detected specific subject 10 as the AF region, and contrast based on the value of the pixel included in the AF region. Perform AF.

このように、予測した位置Pnを中心にして追尾処理(特定の被写体の検出)を実施することにより、追尾対象が移動していると予想される領域において追尾処理が実施され、追尾対象の実際の位置により近い位置で追尾対象を検出することができる。また、追尾対象を見失う可能性も低減できる。よって、追尾の精度を向上することができる。   In this way, by performing the tracking process (detection of a specific subject) around the predicted position Pn, the tracking process is performed in an area where the tracking target is expected to move, and the actual tracking target is detected. The tracking target can be detected at a position closer to the position. In addition, the possibility of losing sight of the tracking target can be reduced. Therefore, tracking accuracy can be improved.

3.効果、等
以上のように、本実施形態のデジタルカメラ100は、特定の被写体の動きに追従して自動合焦動作が可能である。デジタルカメラ100は、フレーム単位で連続して被写体を撮像して撮像画像を生成するCCD140と、CCD140により生成された撮像画像をリアルタイムに表示する表示モニタ220と、表示モニタ220にリアルタイムに表示される撮像画像に重畳して、自動合焦させる領域を示すAF枠20を表示するコントローラ180と、を備える。コントローラ180は、以前のフレームの撮像画像N−1、N−2から特定の被写体10の動きを検出し、検出した動きに基づいて、現フレームの撮像画像Nにおける特定の被写体10の位置Pnを予測し、予測した位置Pnに基づいて、表示モニタ220に表示される撮像画像においてAF枠20を表示する。
3. Effects As described above, the digital camera 100 according to the present embodiment can perform an automatic focusing operation following the movement of a specific subject. The digital camera 100 captures a subject continuously in units of frames and generates a captured image, a display monitor 220 that displays a captured image generated by the CCD 140 in real time, and a display monitor 220 that displays the captured image in real time. And a controller 180 that displays an AF frame 20 indicating a region to be automatically focused by being superimposed on the captured image. The controller 180 detects the motion of the specific subject 10 from the captured images N-1 and N-2 of the previous frame, and determines the position Pn of the specific subject 10 in the captured image N of the current frame based on the detected motion. Based on the predicted position Pn, the AF frame 20 is displayed in the captured image displayed on the display monitor 220.

以上のように、デジタルカメラ100は、過去のフレームの画像から算出した動きベクトルに基づき、現フレームの画像における特定の被写体の位置を予測し、予測した位置Pnに基づきAF枠20を表示する。これにより、表示モニタ220に表示された特定の被写体の位置とAF枠の位置のずれを低減することができる。   As described above, the digital camera 100 predicts the position of the specific subject in the current frame image based on the motion vector calculated from the past frame image, and displays the AF frame 20 based on the predicted position Pn. Thereby, it is possible to reduce the deviation between the position of the specific subject displayed on the display monitor 220 and the position of the AF frame.

また、コントローラ180は、予測した位置Pnに基づいた領域30において、追従動作のために特定の被写体10を検出してもよい。これにより、追尾対象が移動していると予想される領域において追尾動作が実施されるため、追尾対象の実際の位置により近い位置で追尾対象を検出することができる。また、追尾対象を見失う可能性も低減できる。よって、追尾の精度を向上することができる。   Further, the controller 180 may detect the specific subject 10 for the following operation in the region 30 based on the predicted position Pn. Thereby, since the tracking operation is performed in the region where the tracking target is expected to move, the tracking target can be detected at a position closer to the actual position of the tracking target. In addition, the possibility of losing sight of the tracking target can be reduced. Therefore, tracking accuracy can be improved.

(実施の形態2)
実施の形態1では、動きベクトルに基づき必ず特定の被写体の位置を予測した。しかし、特定の被写体の動きに規則性がない場合、実施の形態1の方法では、必ずしも精度のよい追従が実現されるとは限らない。本実施形態では、所定回数連続して同じ移動量が検出された場合にのみ、特定の被写体の位置を予測するようにする。
(Embodiment 2)
In the first embodiment, the position of a specific subject is always predicted based on the motion vector. However, when there is no regularity in the movement of a specific subject, the method according to the first embodiment does not always realize accurate tracking. In this embodiment, the position of a specific subject is predicted only when the same movement amount is detected a predetermined number of times in succession.

以下、図6のフローチャートを参照して本実施形態のデジタルカメラ100の動作を説明する。なお、デジタルカメラ100の構成については実施の形態1で説明したとおりである。   Hereinafter, the operation of the digital camera 100 of the present embodiment will be described with reference to the flowchart of FIG. The configuration of the digital camera 100 is as described in the first embodiment.

コントローラ180は、連続する2つのフレーム(たとえば、フレームn−1とフレームn−2、フレームn−2とフレームn−3、・・・フレームn−5とフレームn−6)の撮像画像における特定の被写体の位置から動きベクトル(移動量)を算出し、算出結果を内蔵メモリ240に格納する(S20)。   The controller 180 specifies the captured images of two consecutive frames (for example, the frame n-1 and the frame n-2, the frame n-2 and the frame n-3,..., The frame n-5 and the frame n-6). A motion vector (amount of movement) is calculated from the position of the subject, and the calculation result is stored in the built-in memory 240 (S20).

次に、コントローラ180は、内蔵メモリ240から、以前に求めた所定数(例えば、5)の動きベクトルの情報を取得する(S21)。ここでは、フレームn−1とフレームn−2、フレームn−2とフレームn−3、・・・フレームn−5とフレームn−6のそれぞれの組から算出した動きベクトルの情報を取得する。   Next, the controller 180 acquires information on a predetermined number (for example, 5) of motion vectors obtained previously from the built-in memory 240 (S21). Here, information on motion vectors calculated from the respective sets of frame n-1 and frame n-2, frame n-2 and frame n-3,..., Frame n-5 and frame n-6 is acquired.

コントローラは、取得した動きベクトルの情報に基づき、所定回数(例えば5回)連続して同じ移動量が検出されたか否かを判断する(S22)。ここで、各移動量が正確に一致する場合のみならず、移動量のばらつきが所定の範囲内になる場合も、移動量が同じであると判断してもよい。例えば、各移動量と移動量の平均値との差が所定値以内になる場合、移動量が同じであると判断してもよい。   Based on the acquired motion vector information, the controller determines whether or not the same amount of movement has been detected for a predetermined number of times (for example, five times) (S22). Here, the movement amount may be determined to be the same not only when the movement amounts are exactly the same, but also when the variation in the movement amount is within a predetermined range. For example, when the difference between each movement amount and the average value of the movement amounts is within a predetermined value, it may be determined that the movement amounts are the same.

所定回数連続して同じ移動量が検出されたことは、特定の被写体が一定の速度(移動量)で移動していると考えられる。よって、所定回数連続して同じ移動量が検出された場合(S22でYES)、コントローラ180は、前回のフレームにおいて求めた動きベクトル(移動量)に基づき、現フレームの撮像画像における特定の被写体の位置を予測する(S23)。予測位置は前述の式(1)により求められる。   The fact that the same movement amount has been detected for a predetermined number of times is considered to mean that the specific subject is moving at a constant speed (movement amount). Therefore, when the same movement amount is detected for a predetermined number of times (YES in S22), the controller 180 determines the specific subject in the captured image of the current frame based on the motion vector (movement amount) obtained in the previous frame. The position is predicted (S23). The predicted position is obtained by the above-described equation (1).

そして、コントローラ180は、表示モニタ220に表示する画像(ライブビュー画像)において予測位置Pnに対応する位置にAF枠20を表示し(S24)、かつ、予測した位置Pnを中心として色情報に基づく追尾処理を行う(S25)。   Then, the controller 180 displays the AF frame 20 at a position corresponding to the predicted position Pn in the image (live view image) displayed on the display monitor 220 (S24), and based on the color information centered on the predicted position Pn. A tracking process is performed (S25).

一方、同じ移動量が所定回数連続しては検出されなかったことは、特定の被写体が一定の速度(移動量)で移動していないと考えられ、動きベクトルの信頼性が低いと考えられる。よって、同じ移動量が所定回数連続しては検出されなかった場合(S22でNO)、動きベクトルに基づく位置予測は行わない。すなわち、コントローラ180は、表示モニタ220に表示する画像において、1フレーム前の色追尾により検出された特定の被写体の位置に対応する位置にAF枠を表示する(S26)。また、コントローラ180は、撮像画像全体から色情報に基づく特定の被写体の検出を行う(S27)。   On the other hand, the fact that the same movement amount has not been detected for a predetermined number of times is considered that the specific subject is not moving at a constant speed (movement amount), and it is considered that the reliability of the motion vector is low. Therefore, when the same movement amount is not continuously detected a predetermined number of times (NO in S22), position prediction based on the motion vector is not performed. That is, the controller 180 displays the AF frame at a position corresponding to the position of the specific subject detected by color tracking one frame before in the image displayed on the display monitor 220 (S26). Further, the controller 180 detects a specific subject based on the color information from the entire captured image (S27).

本実施形態によれば、特定の被写体が一定の速度(移動量)で移動していると考えられる可能性が高い場合にのみ、動きベクトルを用いて特定の被写体の位置を予測するため、予測の精度を高めることができ、より精度よい追尾動作が実現できる。   According to the present embodiment, the position of the specific subject is predicted using the motion vector only when it is highly likely that the specific subject is moving at a constant speed (movement amount). The tracking accuracy can be improved, and more accurate tracking operation can be realized.

(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
(Other embodiments)
As described above, the first embodiment has been described as an example of the technique disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed. Moreover, it is also possible to combine each component demonstrated in the said Embodiment 1, and it can also be set as a new embodiment. Therefore, other embodiments will be exemplified below.

(1)色情報に基づき特定の被写体を検出する場合、特定の被写体のサイズの変化も認識することができる。特定の被写体のサイズが小さくなっている場合、特定の被写体がデジタルカメラ100から遠ざかっていると考えられる。よって、上記の実施形態において、特定の被写体のサイズの変化に基づき、式(1)におけるmの値を補正してもよい。具体的には、特定の被写体のサイズが小さくなっている場合、mの値をより小さくなるように補正してもよい。   (1) When a specific subject is detected based on the color information, a change in the size of the specific subject can also be recognized. When the size of the specific subject is small, it is considered that the specific subject is moving away from the digital camera 100. Therefore, in the above embodiment, the value of m in Equation (1) may be corrected based on a change in the size of a specific subject. Specifically, when the size of a specific subject is small, the value of m may be corrected to be smaller.

(2)上記の実施形態においては、図4のフローチャートのステップS15、S25、S27において色情報に基づく被写体の追尾処理を行ったが、色情報に代えて、
または色情報に加えて、輝度情報に基づき被写体の追尾を行っても良い。もしくは、色情報に代えてまたは色情報に加えて、動きベクトルに基づき被写体の追尾を行っても良い。または、色情報、輝度情報、動きベクトルを適宜組み合わせて被写体の追尾を行っても良い。
(2) In the above embodiment, the subject tracking process based on the color information is performed in steps S15, S25, and S27 of the flowchart of FIG. 4, but instead of the color information,
Alternatively, the subject may be tracked based on the luminance information in addition to the color information. Alternatively, tracking of the subject may be performed based on the motion vector instead of or in addition to the color information. Alternatively, subject tracking may be performed by appropriately combining color information, luminance information, and motion vectors.

(3)上記の実施形態では、コントローラ180が動きベクトルの演算を行う例を説明したが、コントローラ180とは別に動きベクトルの演算を行う専用のプロセッサを設けても良い。これにより、コントローラ180の負荷を軽減でき、より高速な処理が期待できる。   (3) In the above embodiment, an example in which the controller 180 calculates the motion vector has been described. However, a dedicated processor that calculates the motion vector may be provided separately from the controller 180. Thereby, the load of the controller 180 can be reduced, and higher speed processing can be expected.

(4)上記の実施形態では、撮像装置の一例としてデジタルカメラを用いて説明したが、撮像装置はこれに限定されない。本開示の思想は、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。   (4) Although the above embodiment has been described using a digital camera as an example of an imaging apparatus, the imaging apparatus is not limited to this. The idea of the present disclosure can be applied to various imaging devices capable of shooting moving images, such as a digital video camera, a smartphone, and a wearable camera.

(5)上記の実施形態では、画像センサをCCDで構成したが、画像センサはこれに限定されない。画像センサはNMOSイメージセンサやCMOSイメージセンサで構成してもよい。   (5) In the above embodiment, the image sensor is constituted by a CCD, but the image sensor is not limited to this. The image sensor may be an NMOS image sensor or a CMOS image sensor.

(6)上記の実施形態の思想は、レンズ交換式カメラ及びレンズ一体型カメラの双方に対して適用できる。   (6) The idea of the above embodiment can be applied to both an interchangeable lens camera and a lens-integrated camera.

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。   As described above, the embodiments have been described as examples of the technology in the present disclosure. For this purpose, the accompanying drawings and detailed description are provided. Accordingly, among the components described in the accompanying drawings and the detailed description, not only the components essential for solving the problem, but also the components not essential for solving the problem in order to illustrate the above technique. May also be included. Therefore, it should not be immediately recognized that these non-essential components are essential as those non-essential components are described in the accompanying drawings and detailed description. Moreover, since the above-mentioned embodiment is for demonstrating the technique in this indication, a various change, replacement, addition, abbreviation, etc. can be performed in a claim or its equivalent range.

本開示は、動画を撮影できる撮像装置に対して適用可能である。具体的には、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。   The present disclosure is applicable to an imaging apparatus that can capture a moving image. Specifically, the present invention can be applied to various imaging devices that can shoot moving images, such as digital video cameras, smartphones, and wearable cameras.

10 被写体(追尾対象)
20 AF枠
100 デジタルカメラ
110 光学系
115 フォーカスレンズ
120 レンズ駆動部
130 シャッタ
140 CCD
150 A/Dコンバータ
160 画像処理部
170 バッファ
180 コントローラ
190 カードスロット
200 メモリカード
210 操作部材
220 表示モニタ
240 内蔵メモリ
300 絞り
10 Subject (tracking target)
20 AF frame 100 Digital camera 110 Optical system 115 Focus lens 120 Lens drive unit 130 Shutter 140 CCD
150 A / D converter 160 Image processor 170 Buffer 180 Controller 190 Card slot 200 Memory card 210 Operation member 220 Display monitor 240 Built-in memory 300 Aperture

Claims (5)

特定の被写体の動きに追従して自動合焦動作が可能な撮像装置であって、
フレーム単位で連続して被写体を撮像して撮像画像を生成する撮像部と、
前記撮像部により生成された撮像画像をリアルタイムに表示する表示部と、
前記表示部にリアルタイムに表示される撮像画像に重畳して、自動合焦させる領域を示すAF枠を表示する制御部と、を備え、
前記制御部は、以前のフレームの撮像画像から特定の被写体の動きを検出し、検出した動きに基づいて、現フレームの撮像画像における前記特定の被写体の位置を予測し、前記予測した位置に基づいて、前記表示部に表示される撮像画像において前記AF枠を表示する、
撮像装置。
An imaging device capable of automatic focusing operation following the movement of a specific subject,
An imaging unit that continuously captures a subject in units of frames and generates a captured image;
A display unit for displaying a captured image generated by the imaging unit in real time;
A control unit that displays an AF frame indicating an area to be automatically focused, superimposed on a captured image displayed in real time on the display unit,
The control unit detects a motion of a specific subject from the captured image of the previous frame, predicts a position of the specific subject in the captured image of the current frame based on the detected motion, and based on the predicted position And displaying the AF frame in the captured image displayed on the display unit,
Imaging device.
前記制御部は、前記特定の被写体の動きに追従した自動合焦動作のために、前記予測した位置に基づいた領域において前記特定の被写体の検出動作を行う、請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the control unit performs a detection operation of the specific subject in an area based on the predicted position for an automatic focusing operation that follows the movement of the specific subject. 前記制御部は、所定回数連続して算出した動きベクトルが示す移動量の差が所定範囲内に収まる場合にのみ、前記特定の被写体の位置を予測する、請求項1または2に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the control unit predicts a position of the specific subject only when a difference in movement amount indicated by a motion vector continuously calculated a predetermined number of times is within a predetermined range. . 前記制御部は、現フレームより1フレーム前の撮影画像と2フレーム前の撮影画像とから動きベクトルを検出し、前記動きベクトルに基づいて、現フレームの撮像画像における前記特定の被写体の位置を予測する、請求項1に記載の撮像装置。   The control unit detects a motion vector from a captured image one frame before the current frame and a captured image two frames before, and predicts the position of the specific subject in the captured image of the current frame based on the motion vector. The imaging apparatus according to claim 1. 前記制御部は、前記撮像画像の色情報及び/または動きベクトルに基づいて前記特定の被写体の検出を行うことにより、前記特定の被写体の動きに追従した自動合焦動作を行う、請求項1から4のいずれかに記載の撮像装置。   The control unit performs an automatic focusing operation following the movement of the specific subject by detecting the specific subject based on color information and / or a motion vector of the captured image. 5. The imaging device according to any one of 4.
JP2015099356A 2015-05-14 2015-05-14 Imaging device Pending JP2016218106A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015099356A JP2016218106A (en) 2015-05-14 2015-05-14 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015099356A JP2016218106A (en) 2015-05-14 2015-05-14 Imaging device

Publications (1)

Publication Number Publication Date
JP2016218106A true JP2016218106A (en) 2016-12-22

Family

ID=57578297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015099356A Pending JP2016218106A (en) 2015-05-14 2015-05-14 Imaging device

Country Status (1)

Country Link
JP (1) JP2016218106A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200266A1 (en) 2020-03-30 2021-10-07 ソニーグループ株式会社 Imaging device, method for controlling imaging device, and program
WO2023175772A1 (en) * 2022-03-16 2023-09-21 日本電気株式会社 Information processing device, information processing method, and recording medium
US12063438B2 (en) 2020-02-20 2024-08-13 Fujifilm Corporation Imaging apparatus, control device, operation method of imaging apparatus, and program
US12061377B2 (en) 2020-02-20 2024-08-13 Fujifilm Corporation Imaging apparatus, control device, operation method of imaging apparatus, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12063438B2 (en) 2020-02-20 2024-08-13 Fujifilm Corporation Imaging apparatus, control device, operation method of imaging apparatus, and program
US12061377B2 (en) 2020-02-20 2024-08-13 Fujifilm Corporation Imaging apparatus, control device, operation method of imaging apparatus, and program
WO2021200266A1 (en) 2020-03-30 2021-10-07 ソニーグループ株式会社 Imaging device, method for controlling imaging device, and program
WO2023175772A1 (en) * 2022-03-16 2023-09-21 日本電気株式会社 Information processing device, information processing method, and recording medium

Similar Documents

Publication Publication Date Title
JP5054583B2 (en) Imaging device
JP5895270B2 (en) Imaging device
US10234653B2 (en) Imaging device with focus lens stopped at each of focus positions during video capturing
US10623641B2 (en) Image blur correction apparatus, control method, imaging apparatus, and lens apparatus
US9912877B2 (en) Imaging apparatus for continuously shooting plural images to generate a still image
JP2010045625A (en) Imaging apparatus
JP2011030008A (en) Imaging apparatus
JP2013118450A (en) Information processing apparatus, method and program
JP2015148656A (en) Imaging apparatus
JP2016218106A (en) Imaging device
JP6357646B2 (en) Imaging device
JP6300076B2 (en) Imaging apparatus, imaging method, and program
JP2012090216A (en) Imaging device and control method for imaging device
JP6326631B2 (en) Imaging device
JP2015207809A (en) Imaging apparatus
JP6603892B2 (en) Imaging device
JP2007074629A (en) Imaging apparatus
JP6435527B2 (en) Imaging device
JP6347056B2 (en) Imaging apparatus and still image generation method
JP6089232B2 (en) Imaging device
JP2018098764A (en) Imaging apparatus and image synthesis method
JP2017125985A (en) Imaging apparatus
US20190045123A1 (en) Imaging apparatus and control method thereof
JP2014215550A (en) Imaging device and control method of the same, program, and recording medium
JP2011188172A (en) Imaging apparatus