[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5925275B2 - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP5925275B2
JP5925275B2 JP2014209540A JP2014209540A JP5925275B2 JP 5925275 B2 JP5925275 B2 JP 5925275B2 JP 2014209540 A JP2014209540 A JP 2014209540A JP 2014209540 A JP2014209540 A JP 2014209540A JP 5925275 B2 JP5925275 B2 JP 5925275B2
Authority
JP
Japan
Prior art keywords
subject
focus
area
unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014209540A
Other languages
Japanese (ja)
Other versions
JP2015046917A (en
Inventor
敏 宮崎
敏 宮崎
国重 恵二
恵二 国重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014209540A priority Critical patent/JP5925275B2/en
Publication of JP2015046917A publication Critical patent/JP2015046917A/en
Application granted granted Critical
Publication of JP5925275B2 publication Critical patent/JP5925275B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は、デジタルカメラ、ビデオカメラ、カメラ付き携帯電話等の撮影装置および撮影方法に関し、詳しくは、静止画と動画の撮影機能を有する撮影装置および撮影方法に関する。   The present invention relates to a photographing apparatus and a photographing method such as a digital camera, a video camera, and a camera-equipped mobile phone, and more particularly to a photographing apparatus and a photographing method having a still image and moving image photographing function.

撮影にあたっては、静止画は一瞬を切り取るような撮影手法であり、一般ユーザにとっても比較的に簡単に行うことができる。しかし、静止画は鑑賞する際に、被写体が動かないことから、物足りなさを感じることがある。そこで、動画撮影が考えられるが、動画撮影では、撮影開始と終了のタイミングが分からず、運動会や結婚式のように、形式化した行事しかムービーカメラで動画撮影することはなかった。このような場合の動画撮影は、同じような構図や露出で単調な画面となってしまい、面白みに欠ける動画となっていた。   In shooting, a still image is a shooting technique that cuts out a moment, and can be performed relatively easily for general users. However, when viewing still images, the subject does not move, so it may feel unsatisfactory. Therefore, video shooting is considered, but in video shooting, the timing of the start and end of shooting is unknown, and only a formal event, such as an athletic meet or wedding ceremony, was shot with a movie camera. In such a case, moving image shooting has a monotonous screen with the same composition and exposure, and the moving image lacks interest.

そこで、単調な動画とならないようにするために種々の提案がなされている。例えば、特許文献1には、ユーザから指定された複数の区間を順次つなぎ合わせ、つなぎ目にトランジシェンエフェクト付与処理等を行うことが可能な画像処理装置が開示されている。この画像処理装置によれば、動画編集にあたって専門的な知識を意識することなく、高度な所望する動画編集を容易に行うことができる。   Therefore, various proposals have been made in order to prevent a monotonous moving image. For example, Patent Document 1 discloses an image processing apparatus capable of sequentially joining a plurality of sections designated by a user and performing a transition effect applying process or the like at the joint. According to this image processing apparatus, it is possible to easily perform advanced desired moving image editing without being aware of specialized knowledge in moving image editing.

また、特許文献2、3には、動画の撮影中に静止画を撮影することが可能なムービーカメラが開示されている。すなわち、特許文献2には動画撮影中に静止画撮影を行う場合にストロボ発光時にはストロボズーム機構を使用せずに、距離情報に応じてAGC回路にて画像信号の増幅を行うことが開示されている。また、特許文献3には、動画撮影用スイッチと、静止画撮影用スイッチを設け、静止画撮影を優先するか動画撮影を優先するかを簡単に選択できるようにしたカメラが開示されている。   Patent Documents 2 and 3 disclose a movie camera capable of shooting a still image while shooting a moving image. That is, Patent Document 2 discloses that when taking a still image during moving image shooting, the AGC circuit amplifies the image signal according to the distance information without using the stroboscopic zoom mechanism when the stroboscope emits light. Yes. Patent Document 3 discloses a camera that includes a moving image shooting switch and a still image shooting switch so that priority can be given to still image shooting or moving image priority.

特開2003−110995号公報JP 2003-110995 A 特開平4−331583号公報Japanese Patent Laid-Open No. 4-331583 特許3673528号公報Japanese Patent No. 3673528

このように、静止画と動画の撮影や編集にあたって種々、提案されているが、特許文献1に開示の画像処理装置は、動画撮影後に行う画像編集であるため、その効果は限られており、また動画のみであることから、静止画の特徴を活かすことができない。また、特許文献2、3に開示のムービーカメラは、動画の撮影中に静止画の撮影を行うことができるだけであって、それぞれの長所を組み合わせて変化に富んだ画像をえるものではない。すなわち、前述の特許文献1ないし3に示される従来技術は、静止画と動画を融和させて、変化に富んだ画像を取得し、また再生するには十分ではない。   As described above, various proposals have been made for shooting and editing of still images and moving images. However, since the image processing device disclosed in Patent Document 1 is image editing performed after moving image shooting, its effects are limited. Moreover, since it is only a moving image, the feature of a still image cannot be utilized. In addition, the movie cameras disclosed in Patent Documents 2 and 3 can only shoot a still image during shooting of a moving image, and do not obtain a variety of images by combining respective advantages. That is, the conventional techniques disclosed in the above-mentioned Patent Documents 1 to 3 are not sufficient for acquiring and reproducing a variety of images by combining still images and moving images.

本発明は、このような事情を鑑みてなされたものであり、変化に富んだ画像を取得することが可能な撮影装置および撮影方法を提供することを目的とする。   The present invention has been made in view of such circumstances, and an object of the present invention is to provide a photographing apparatus and a photographing method capable of acquiring a variety of images.

上記目的を達成するため第1の発明に係わる撮影装置は、撮影レンズを介して結像した被写体像を撮像し、画像データを出力する撮像部と、上記被写体のピント位置と上記被写体領域の特徴の少なくとも一方に応じて決定された重み付けし、この重み付け結果に従って撮影画面内のどの領域からどの領域にピント合わせを行うか、ピント合わせの順序を決定するピント合わせ決定部と、上記ピント合わせ決定部によって決定されたピント合わせの順序に従って、撮影レンズを駆動するピント制御部と、上記画像データに基づいて、動画および静止画の画像データを記録する記録部と、を有し、上記ピント合わせ決定部は、上記重み付け結果に従って主被写体副被写体又は主領域副領域を決定し、該主被写体と該副被写体の一方を出発点、他方を終着点とし、又は該主領域と該副領域の一方を出発点、他方を終着点として上記ピント合わせの順序を決定し、上記記録部は、上記ピント制御部によって上記撮影レンズが駆動されている間は動画の画像データを記録し、上記ピント制御部によって上記撮影レンズの駆動停止後、静止画の画像データを記録する。 In order to achieve the above object, a photographing apparatus according to a first aspect of the present invention includes an image pickup unit that picks up a subject image formed through a photographing lens and outputs image data, a focus position of the subject, and features of the subject region A focus determination unit that determines the focus order from which region in the shooting screen to which focus is performed according to the weighted result, and the focus determination unit. A focus control unit that drives the photographic lens according to the focus order determined by the above and a recording unit that records moving image and still image data based on the image data, and the focus determination unit. is the weighted results according determined main subject sub-subject or the main area sub-areas, the starting point of one of the main subject and the sub-object scene body, while And end point, or one of the starting point of the main area and the sub area, the other as endpoint to determine the order of registration the focus, the recording unit is the taking lens is driven by the focus control unit While moving, the image data of the moving image is recorded, and after the driving of the photographing lens is stopped by the focus control unit, the image data of the still image is recorded.

第2の発明に係わる撮影装置は、上記第1の発明において、上記被写体の距離に応じて上記撮影画面を分割する画面分割部を更に有し、上記ピント合わせ決定部は、上記画面分割部によって画面分割された撮影画面内において、分割領域ごとに上記被写体のピント位置と上記被写体領域の特徴の少なくとも一方に応じて決定された重み付けし、この重み付け結果に従って上記撮影画面内のどの分割領域からどの分割領域にピント合わせを行うか、ピント合わせの順序を決定する。   According to a second aspect of the present invention, there is provided a photographing apparatus according to the first aspect, further comprising a screen dividing unit that divides the photographing screen according to the distance of the subject, wherein the focus determining unit is provided by the screen dividing unit. In the divided shooting screen, each divided area is weighted according to at least one of the focus position of the subject and the characteristics of the subject area, and from which divided area in the shooting screen according to the weighting result. Focus on the divided areas or determine the order of focusing.

第3の発明に係わる撮影装置は、上記第2の発明において、上記画面分割部は、上記撮影画面を網の目状に分割する。   According to a third aspect of the present invention, in the second aspect of the present invention, the screen dividing unit divides the photographing screen into a mesh.

第4の発明に係わる撮影装置は、上記第2の発明において、上記画面分割部は、上記撮影画面をほぼ同一の被写体距離となる領域に分割する。   According to a fourth aspect of the present invention, in the second aspect, the screen dividing unit divides the photographing screen into regions having substantially the same subject distance.

第5の発明に係わる撮影方法は、撮影レンズを介して結像した被写体像を撮像し、画像データを出力するステップと、被写体のピント位置と被写体領域の特徴の少なくとも一方に応じて決定された重み付けし、この重み付け結果に従って撮影画面内のどの領域からどの領域にピント合わせを行うか、ピント合わせの順序を決定するステップと、決定されたピント合わせの順序に従って、撮影レンズを駆動するステップと、上記画像データに基づいて、動画および静止画の画像データを記録するステップと、を有し、上記ピント合わせの順序を決定するステップは、上記重み付け結果に従って主被写体副被写体又は主領域副領域を決定し、該主被写体と該副被写体の一方を出発点、他方を終着点とし、又は該主領域と該副領域の一方を出発点、他方を終着点として上記ピント合わせの順序を決定し、上記画像データを記録するステップは、上記撮影レンズ駆動するステップにおいて上記撮影レンズが駆動されている間は動画の画像データを記録し、上記撮影レンズの駆動停止後、静止画の画像データを記録する。 The photographing method according to the fifth invention is determined in accordance with at least one of a step of capturing a subject image formed through a photographing lens and outputting image data, and a focus position of the subject and a feature of the subject region. Weighting and determining from which area in the shooting screen to which area in the shooting screen according to the weighting result, determining the focus order, driving the shooting lens according to the determined focus order, Recording moving image and still image data based on the image data, and determining the focusing order determines a main subject sub-subject or main area sub-region according to the weighting result and, starting from the one of the main subject and the sub-object scene body, and the other with end point, or one of the starting point of the main area and the sub area, Write to the end point was determined the order of registration the focus, the step of recording the image data, while the above-mentioned photographing lens is driven in the step of the photographing lens driving records image data of the moving, the After the photographing lens is stopped, the still image data is recorded.

本発明によれば、変化に富んだ画像を取得することが可能な撮影装置および撮影方法を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the imaging device and imaging | photography method which can acquire the image rich in change can be provided.

本発明の一実施形態に係わるカメラの電気的構成を示すブロック図である。It is a block diagram which shows the electric constitution of the camera concerning one Embodiment of this invention. 本発明の一実施形態に係わるカメラにおいて、アート動画モードで撮影する場合の画像を示す図であり、(a)は撮影開始時の画像、(b)は撮影終了時の静止画画像を示す。4A and 4B are diagrams illustrating an image when shooting is performed in an art moving image mode in a camera according to an embodiment of the present invention, where FIG. 5A illustrates an image at the start of shooting and FIG. 5B illustrates a still image at the end of shooting. 本発明の一実施形態に係わるカメラにおいて、カメラと被写体の位置関係を示す図である。FIG. 4 is a diagram illustrating a positional relationship between a camera and a subject in the camera according to the embodiment of the present invention. 本発明の一実施形態に係わるカメラにおいて、ピント合わせと領域分割を示す図であり、(a)は被写体距離とコントラストの関係を示すグラフであり、(b)は被写体の画像を示し、(c)は分割された画像領域を示す図である。FIG. 4 is a diagram illustrating focusing and area division in a camera according to an embodiment of the present invention, (a) is a graph illustrating the relationship between subject distance and contrast, (b) is an image of the subject, and (c) ) Is a diagram showing divided image regions. 本発明の一実施形態に係わるカメラにおいて、ピントシフトを行うためのZa領域およびZb領域を決定するための重み付けの関係を示す図である。It is a figure which shows the relationship of the weight for determining Za area | region for performing a focus shift, and Zb area | region in the camera concerning one Embodiment of this invention. 本発明の一実施形態に係わるカメラのアート動画モードの動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the art animation mode of the camera concerning one Embodiment of this invention.

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図1は、本発明の一実施形態に係わるカメラ10の電気回路を示すブロック図である。カメラ10は、デジタルカメラであり、制御部1、撮像部2、顔検出部2a、パラメータ設定部3、モーション判定部4、記録部6、パラメータ制御部7、表示部8、操作部9等から構成される。   Hereinafter, a preferred embodiment will be described using a camera to which the present invention is applied according to the drawings. FIG. 1 is a block diagram showing an electric circuit of a camera 10 according to an embodiment of the present invention. The camera 10 is a digital camera, and includes a control unit 1, an imaging unit 2, a face detection unit 2a, a parameter setting unit 3, a motion determination unit 4, a recording unit 6, a parameter control unit 7, a display unit 8, an operation unit 9, and the like. Composed.

撮像部2は、ズーム機能を有する撮影レンズ(ズームレンズ)や、シャッタ・絞り等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。また、撮像部2の撮影レンズはピント合わせレンズとその機構を含み、後述するピント制御部7bによって遷移動画を撮影する際に、ピントをずらしながら、撮影することも可能である。また、背景をぼかすための絞り調整機構を設けても良い。   The imaging unit 2 includes a photographing lens (zoom lens) having a zoom function, an exposure control unit such as a shutter / aperture, an imaging element, a driving and reading circuit for the imaging element, and the like, and captures an object image formed by the photographing lens. It is converted into image data by the element and output. In addition, the photographing lens of the imaging unit 2 includes a focusing lens and its mechanism, and it is also possible to photograph while shifting the focus when photographing a transitional moving image by the focusing control unit 7b described later. In addition, an aperture adjustment mechanism for blurring the background may be provided.

顔検出部2aは撮像部2から出力され、制御部1によって処理された画像データに基づいて、被写体像の中に人物の顔が含まれているか否か、また顔が含まれていた場合にはその位置や大きさ等を検出し、検出結果を制御部1に出力する。なお、顔の検出にあたっては、顔の中の目、鼻、口等のパーツの陰影を抽出し、パターンマッチング法等によって行う。   The face detection unit 2a is based on the image data output from the imaging unit 2 and processed by the control unit 1, whether or not a human face is included in the subject image, and if a face is included Detects the position, size, etc., and outputs the detection result to the control unit 1. In detecting a face, shadows of parts such as eyes, nose, and mouth in the face are extracted and performed by a pattern matching method or the like.

制御部1は、記憶されているプログラムに従ってカメラ10の全体のシーケンスを制御する。制御部1は、表情変化判定部1a、コントラスト変化抽出部1b、領域分割部1c、構図変化判定部1d、画像処理部5を有する。表情変化判定部1aは、撮像部2から出力される画像データ、顔検出部2aから出力される顔に関する検出結果、および後述する表情変化データベース(DB)6aに記憶されている顔の目、鼻、口等のパーツパターンと表情の変化に関するデータに基づいて、表情変化を判定する。この判定の際に、表情が変化する時の変化のスピードに基づいて、表情の変化を予測するようにしても良い。    The control unit 1 controls the entire sequence of the camera 10 according to a stored program. The control unit 1 includes a facial expression change determination unit 1a, a contrast change extraction unit 1b, an area division unit 1c, a composition change determination unit 1d, and an image processing unit 5. The facial expression change determination unit 1a includes image data output from the imaging unit 2, detection results regarding the face output from the face detection unit 2a, and facial eyes and nose stored in a facial expression change database (DB) 6a described later. The facial expression change is determined based on the part pattern such as the mouth and the data on the facial expression change. In this determination, the change of the facial expression may be predicted based on the speed of change when the facial expression changes.

コントラスト変化抽出部1bは、撮像部2から出力される画像データから高周波成分(コントラスト)を抽出し、コントラストの変化を抽出する。後述するように、撮影レンズを走査(スキャン)した際にコントラスト変化抽出部1bによってコントラスト変化のピーク値を検出することにより被写体距離に関する情報を得ることができる。    The contrast change extraction unit 1b extracts a high frequency component (contrast) from the image data output from the imaging unit 2, and extracts a change in contrast. As will be described later, information on the subject distance can be obtained by detecting the peak value of the contrast change by the contrast change extraction unit 1b when the photographing lens is scanned.

領域分割部1cは、上記コントラスト抽出部1bによって得た被写体距離情報に基づいて、画面の領域を分割する。すなわち、撮像部2から出力される画像データを網の目状に分け、それぞれのポイントで被写体距離情報を得、ほぼ同一の被写体距離となるポイントなる画面領域に分割することができる。この領域分割部1cにおける領域分割については図4を用いて後述する。   The area dividing unit 1c divides the area of the screen based on the subject distance information obtained by the contrast extracting unit 1b. That is, it is possible to divide the image data output from the imaging unit 2 into a mesh shape, obtain subject distance information at each point, and divide the screen data into points that are points having substantially the same subject distance. The area division in the area dividing unit 1c will be described later with reference to FIG.

構図変化判定部1dは、画面の構図やカメラ10の構え方が変化したか否かを判定する。画面の構図変化の判定にあっては、撮像部2から出力される画像データに基づいて動きベクトル等を利用する。また、カメラ10の構え方については、後述するモーション判定部4の判定出力に基づいて判定する。   The composition change determination unit 1d determines whether the composition of the screen and the way the camera 10 is held have changed. In determining the composition change of the screen, a motion vector or the like is used based on the image data output from the imaging unit 2. Further, how to hold the camera 10 is determined based on a determination output of a motion determination unit 4 described later.

制御部1内の画像処理部5は、動画処理部5aおよび静止画処理部5bを有し、撮像部2から出力される画像データを取り込み、間引き処理、切り出し処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、動画のライブビュー表示用、記録部6における静止画および動画の記録用、静止画および動画の再生表示用等の画像処理を行う。画像圧縮・伸張等にあたっては、静止画用圧縮・伸張回路、動画用圧縮・伸張回路等、それぞれの処理に応じて静止画用や動画用の回路を有する。また、画像処理部5は、画像データに基づいて、色情報や動きベクトルを求めることができる。   The image processing unit 5 in the control unit 1 includes a moving image processing unit 5a and a still image processing unit 5b, takes in image data output from the imaging unit 2, performs thinning processing, clipping processing, edge enhancement, color correction, and image Various image processing such as compression is performed, and image processing for live view display of moving images, recording of still images and moving images in the recording unit 6, and reproduction display of still images and moving images is performed. In image compression / expansion, a still image compression / expansion circuit, a moving image compression / expansion circuit, and the like are provided for still images and moving images in accordance with respective processes. Further, the image processing unit 5 can obtain color information and a motion vector based on the image data.

パラメータ設定部3は、撮影部2における焦点距離を変化させるためのズーム釦、絞り値を設定させるための絞り値設定操作部等によって、撮影パラメータを手動設定し、制御部1に出力する。なお、絞り値等の場合には、露出制御の結果に応じて自動的に設定されるようにしても良い。   The parameter setting unit 3 manually sets shooting parameters using a zoom button for changing the focal length in the shooting unit 2, an aperture value setting operation unit for setting an aperture value, and the like, and outputs them to the control unit 1. In the case of an aperture value or the like, it may be automatically set according to the result of exposure control.

パラメータ制御部7は、パラメータ設定部3において手動設定または自動設定された撮影パラメータに基づいて撮像部2の制御を行う。撮影パラメータを制御することにより、画角や背景のボケ(被写界深度)等を調整可能となる。これらを変化させることにより、様々な効果を施し、撮影を楽しむことができる。また、パラメータ制御部7は、絞り値や焦点距離等の現在設定されている値を検出し、制御部1に出力する。   The parameter control unit 7 controls the imaging unit 2 based on the imaging parameters that are set manually or automatically by the parameter setting unit 3. By controlling the shooting parameters, it is possible to adjust the angle of view, background blur (depth of field), and the like. By changing these, various effects can be applied and photography can be enjoyed. The parameter control unit 7 detects a currently set value such as an aperture value or a focal length and outputs the detected value to the control unit 1.

パラメータ制御部7は、ピント制御部7bを有している。ピント制御部7bは、コントラスト変化抽出部1bによって検出されたコントラスト情報がピーク位置となるように撮像部2の撮影レンズのピント位置を調整する。すなわち、いわゆるコントラスト法による自動焦点調節を行う。また、アート動画モードにおいては、後述するように、副被写体から主被写体にピントが移動するように、撮影レンズのピント調節を行う。   The parameter control unit 7 includes a focus control unit 7b. The focus control unit 7b adjusts the focus position of the photographing lens of the imaging unit 2 so that the contrast information detected by the contrast change extraction unit 1b is the peak position. That is, automatic focus adjustment is performed by a so-called contrast method. In the art moving image mode, as will be described later, the focus of the photographic lens is adjusted so that the focus moves from the sub subject to the main subject.

モーション判定部4は、3次元空間の加速度、すなわち3軸加速度と、3次元空間での回転速度、すなわち3軸角速度の計6軸の物理量を検出する6軸センサ等を有している。このモーション判定部4は、カメラ10の構え方が変わっていないか否かについて判定することができる。ズーミング等により画像が変化する場合であっても、撮影者のカメラ10を構える構え方が変わっていないことを、判定可能であり、誤動作なしで、同じ被写体に対して構え方を変えずに狙っているか否かが分かる。   The motion determination unit 4 includes a six-axis sensor or the like that detects a total of six axes of physical quantities including acceleration in a three-dimensional space, that is, three-axis acceleration, and rotation speed in the three-dimensional space, that is, a three-axis angular velocity. The motion determination unit 4 can determine whether or not the way the camera 10 is held. Even if the image changes due to zooming or the like, it can be determined that the photographer's way of holding the camera 10 has not changed, and the target can be aimed at the same subject without changing the way of holding without malfunction. You can see if it is.

操作部9は、レリーズ釦、パワースイッチ、再生モード設定釦、メニュー釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、制御部1に判定結果を送る。前述の制御部1は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。   The operation unit 9 includes various operation members such as a release button, a power switch, a reproduction mode setting button, a menu button, etc., determines the operation state of these operation members, and sends a determination result to the control unit 1. The above-described control unit 1 controls photographing and reproduction in a predetermined sequence according to the operation state of the operation member.

記録部6は、レリーズ釦によって撮影の指示がなされた際に、撮像部2によって取得され、画像処理部5によって圧縮処理された静止画や動画の画像データを記録する。記録部6内の表情変化DB6aは、目、鼻、口等の顔の部分(パーツ)の形状や位置等と、顔の表情の関係を示すデータベースである。この関係に基づいて、表情変化判定部1aは、笑顔度等、人物の顔の表情を数値で表すことができる。笑顔度は、目や口の形や、歯が見えたかどうか等に基づいて数値化する。   The recording unit 6 records image data of still images and moving images acquired by the imaging unit 2 and compressed by the image processing unit 5 when a shooting instruction is given by the release button. The expression change DB 6a in the recording unit 6 is a database showing the relationship between the facial expression (parts) such as eyes, nose and mouth, and the facial expression. Based on this relationship, the facial expression change determination unit 1a can express a facial expression of a person such as a smile level numerically. The degree of smile is quantified based on the shape of the eyes and mouth, whether or not teeth are visible.

表示部8は、カメラ10の背面等に配置された液晶パネルや有機ELパネル等の表示部を有し、撮影前のライブビュー表示や、記録済みの画像の通常再生表示や、カメラ情報の表示等を行う。撮影者はライブビュー表示を観察し、構図やタイミングを決定することができる。また、アート動画モード、すなわち、ピントを移動させながら動画を撮影し、最後に静止画の撮影を行うことによって得られた遷移画像の再生表示も行う。   The display unit 8 includes a display unit such as a liquid crystal panel or an organic EL panel disposed on the back surface of the camera 10, and displays a live view display before shooting, normal playback display of recorded images, and camera information display. Etc. The photographer can observe the live view display and determine the composition and timing. In addition, a moving image is shot while moving in the art moving image mode, that is, the focus is moved, and finally, a transition image obtained by shooting a still image is also reproduced and displayed.

次に、図2および図3を用いて本実施形態に係わるカメラ10によるアート動画モードでの撮影について説明する。アート動画モードは、撮影の際に、画面内の被写体距離等を測定し、異なる被写体距離が有る場合に、主被写体と副被写体を選択し、この選択された副被写体から主被写体にピントを移動させ、この移動中に動画で撮影し、最後に主被写体を静止画で撮影するモードである。   Next, shooting in the art moving image mode by the camera 10 according to the present embodiment will be described with reference to FIGS. 2 and 3. In the art video mode, the subject distance in the screen is measured during shooting, and when there are different subject distances, the main subject and sub-subject are selected, and the focus is moved from the selected sub-subject to the main subject. In this mode, a moving image is taken during the movement, and finally the main subject is taken as a still image.

図3に示すように、主被写体としての人物21aが画面の略中央に、花21cが近距離側に、副被写体としての木21cbが背景(遠距離側)にあるとする。このような配置でアート動画モードでの撮影を行うと、最初は、図2(a)に示すように、背景にある木21cにピントの合った画像25aから、次第に、ピント位置が人物21aに向けて移動し、この間、動画で画像データが記録される。そして、最後に、図2(b)に示すように、人物21aにピントが合った画像25bとなり、静止画で画像データが記録される。背景をぼかした綺麗な画像(図2(b)参照)でありながら、背景に何があったかを見せるのに有効な手法である。最終画像は主被写体(図2の例では人物21a)にピントを合わせるのが望ましく、この画像を静止画として記録する。   As shown in FIG. 3, it is assumed that a person 21a as a main subject is in the approximate center of the screen, a flower 21c is on the near side, and a tree 21cb as a sub subject is on the background (far side). When shooting in the art moving image mode with such an arrangement, first, as shown in FIG. 2A, the focus position gradually shifts from the image 25a focused on the tree 21c in the background to the person 21a. The image data is recorded as a moving image during this period. Finally, as shown in FIG. 2B, an image 25b in which the person 21a is focused is obtained, and image data is recorded as a still image. This is an effective technique for showing what happened to the background while it is a beautiful image with a blurred background (see FIG. 2B). The final image is preferably focused on the main subject (person 21a in the example of FIG. 2), and this image is recorded as a still image.

このように、本実施形態におけるアート動画モードでは、画像遷移を行っているが、図(a)→(b)への遷移にあたってはスムーズに変化させ、また、図2(a)における画像25aと、図2(b)における画像25bは、一目で相違が分かる程度に異なる画像を選択する。また、画像遷移にあたって、ピント位置が行ったり来たりを繰り返すと、見ていて不快になるので、例えば、花21cから人物21aにピントが合い、その後、木21bにピントが合って、その後、再び人物21aにピントが合うような動きは避ける。   As described above, in the art moving image mode in the present embodiment, image transition is performed. However, the transition from FIG. (A) to (b) is smoothly changed, and the image 25a in FIG. The images 25b in FIG. 2B are selected so that the differences can be recognized at a glance. Also, when the focus position is repeatedly moved back and forth during the image transition, it becomes uncomfortable to see. For example, the person 21a is focused from the flower 21c, and then the tree 21b is focused, and then again. Avoid movements that focus on the person 21a.

そこで、画像遷移の出発点と終着点となる副被写体と主被写体の選択を行う必要ある。主被写体と副被写体のいずれも出発点としても良いが、本実施形態においては、最後に完成された静止画となるようにすることから、副被写体から出発し、主被写体を終点としている。また、主被写体と副被写体の選択方法としては、種々考えられるが、本実施形態においては、ピント合う効果が顕著に分かる組み合わせを優先するようにした。   Therefore, it is necessary to select a sub-subject and a main subject that are the start and end points of image transition. Either the main subject or the sub-subject may be used as the starting point. However, in the present embodiment, since the final still image is obtained, the sub-subject starts and the main subject ends. There are various methods for selecting the main subject and the sub-subject, but in the present embodiment, priority is given to combinations in which the effect of focusing is noticeable.

次に、主被写体や副被写体の選択について、図4を用いて説明する。図4(a)は被写体距離とコントラストの関係を示すグラフであり、図4(b)は被写体の画像を示し、図4(c)は分割された画像領域を示す。前述したように、本実施形態においては、被写体距離情報を、撮影レンズをスキャンした際のコントラストのピーク位置から求めるようにしている。撮影レンズのスキャンは、至近端から無限端まで行っても良いが、全領域のスキャンには時間がかかることから、本実施形態においては、一部分のみ行い、他の領域については、他のタイミングで行ったり、また推測するようにしている。また、ライブビュー表示の際のコントラスト法によるピント合わせの距離情報等も利用しても良い。   Next, selection of the main subject and the sub-subject will be described with reference to FIG. FIG. 4A is a graph showing the relationship between subject distance and contrast, FIG. 4B shows an image of the subject, and FIG. 4C shows a divided image region. As described above, in the present embodiment, the subject distance information is obtained from the peak position of the contrast when the photographing lens is scanned. The scanning of the photographic lens may be performed from the closest end to the infinite end, but since it takes time to scan the entire region, in this embodiment, only a part is performed, and other regions have other timings. I try to go and guess again. In addition, distance information for focusing by a contrast method during live view display may be used.

図4に示す例では、撮影レンズのピント合わせのために、図4(b)に示すように画面内の複数のポイント22a、22b、22cで撮影レンズをスキャンしながらコントラストを測定している。このときの各ポイント22a、22b、22cにおけるコントラスの変化は、図4(a)に示すような曲線となる。なお、前述したように撮影レンズのスキャンは全領域では行わず、図4(a)に示す例では、ピント位置Z1、Z2、Z3の範囲内で行っている。   In the example shown in FIG. 4, the contrast is measured while scanning the photographic lens at a plurality of points 22a, 22b, and 22c in the screen as shown in FIG. 4B for focusing the photographic lens. At this time, the contrast changes at the points 22a, 22b, and 22c become curves as shown in FIG. Note that as described above, the scanning of the photographing lens is not performed in the entire region, and in the example illustrated in FIG. 4A, the scanning is performed within the range of the focus positions Z1, Z2, and Z3.

図4(a)から分かるように、人物21aに対応するポイント22aのコントラストはピント位置Z2にピークがあり、花21bに対応するポイント22bのコントラストはピント位置Z2よりも遠方にあり、木21cに対応するポイント22cのコントラストはピント位置Z2より近距離側にあることが分かる。図4(a)(b)に示した例では、説明の都合上、3点のみであるが、もっときめ細かに網目状に多数のポイントについてコントラストを求め、コントラスト変化や輪郭情報を得ることにより、図4(c)に示すように、画面を被写体に応じて各領域に分割することができる。図4(c)に示す例では、人物整21aのある領域23aと、その手前の花21cのある領域23cと、木21bが含まれる背景の領域23bの3つの領域に大別できる。   As can be seen from FIG. 4A, the contrast of the point 22a corresponding to the person 21a has a peak at the focus position Z2, and the contrast of the point 22b corresponding to the flower 21b is farther than the focus position Z2, and the tree 21c It can be seen that the contrast of the corresponding point 22c is closer to the focus position Z2. In the example shown in FIGS. 4 (a) and 4 (b), there are only three points for convenience of explanation, but by obtaining the contrast for a large number of points more finely in a mesh, and obtaining the contrast change and contour information, As shown in FIG. 4C, the screen can be divided into regions according to the subject. In the example shown in FIG. 4C, it can be roughly divided into three areas: an area 23a where the character 21a is located, an area 23c where the flower 21c is in front of it, and a background area 23b including the tree 21b.

画面を各領域に分割すると、それぞれの領域について、顔が含まれている、どの領域が広いか、そこの領域に含まれる色成分や、動きがあるか否か等、種々の情報を得ることができる。これらの情報を用いると、どの領域が重要領域かを判定することができ、前述の主被写体や副被写体が含まれる領域を決定することができる。また、ピント位置Z1〜Z3の間でコントラストを測定し各領域に分割した後に、撮影レンズのピント位置を移動させながらコントラストを測定した際に、ピント位置Z3〜Z4の間で、急にコントラストが変化しているような場合には、このときのコントラストの変化量hや、人物21aの顔にピント合わせを行ったピント位置Z2からの変化幅を参考して、領域を修正し、また重要領域かの判定に利用することができる。   When the screen is divided into each area, various information such as whether the face is included, which area is wide, the color component included in the area, and whether there is movement is obtained for each area. Can do. By using these pieces of information, it is possible to determine which area is an important area, and it is possible to determine an area including the main subject and the sub-subject described above. Further, after measuring the contrast between the focus positions Z1 to Z3 and dividing it into each area, when the contrast is measured while moving the focus position of the photographing lens, the contrast suddenly changes between the focus positions Z3 to Z4. If it has changed, the area is corrected with reference to the contrast change amount h at this time and the change width from the focus position Z2 where the face of the person 21a is focused. It can be used for the determination.

顔のピント位置(図4の例では、ピント位置Z2)と異なるところにコントラストが高い被写体(図4の例では、ピント位置Z4にある木21b)があると、ピントシフトの効果を動画で表す際に効果的であることから、本実施形態においては、ピントの変化する位置のコントラスト情報を重視するようにしている。ピントの変化が少ない場合には、ピントシフトの効果がなく、鑑賞者が気付かない恐れがあるからである。   If there is a subject with high contrast (the tree 21b at the focus position Z4 in the example of FIG. 4) that is different from the focus position of the face (the focus position Z2 in the example of FIG. 4), the effect of the focus shift is represented by a moving image. In this embodiment, the contrast information at the position where the focus changes is emphasized. This is because when there is little change in focus, there is no focus shift effect and the viewer may not notice.

主被写体と副被写体の選択は、図4で説明した分割領域に対して、それぞれ重み付けし、重み付けの数値に基づいて判定する。図5に重み付けの数値を示す。重み付けにあたっては、まず、主被写体の決定用のZaの重み付けを行う。Zaの重み付けにあたっては、領域23a〜23cのそれぞれについて、図5に示す条件があてはまるか否かを判定する。例えば、1番目の条件、「半身像相当の顔がある」について、領域23aが当てはまるか否かを判定する。図4(b)に示す例では、領域23a内の人物21aは半身像相当の顔があることから10ポイントの重み付けがなされる。一方、領域23b、23cでは半身像相当の顔がないことから0ポイントの重み付けである。なお、顔があるか否かは顔検出部2aによって判定し、半身像か否かは、画像処理部5によって判定する。また、顔の大きさのみならず、顔の表情によって優先度を変更するようにしてもよい。なお、不自然に大きい顔や横向きの顔等は優先度を低くするが、ここでは、説明を単純化するために省略している。   The selection of the main subject and the sub-subject is performed by weighting the divided areas described with reference to FIG. FIG. 5 shows weighting values. In weighting, first, Za for determining the main subject is weighted. In weighting Za, it is determined whether or not the conditions shown in FIG. 5 apply to each of the regions 23a to 23c. For example, it is determined whether or not the region 23a applies to the first condition, “There is a face equivalent to a half-body image”. In the example shown in FIG. 4B, the person 21a in the region 23a has a face equivalent to a half-body image, and thus is weighted by 10 points. On the other hand, since there is no face equivalent to a half-body image in the areas 23b and 23c, the weight is 0 points. Whether or not there is a face is determined by the face detection unit 2a, and whether or not it is a half-body image is determined by the image processing unit 5. Further, the priority may be changed not only by the size of the face but also by the facial expression. It should be noted that an unnaturally large face, a sideways face, etc. have a low priority, but are omitted here for the sake of simplicity.

図5の重み付けの条件の3番目の「動きがある」か否かは、画像処理部5によって動きベクトルを判定することによって行う。動きのある被写体は、鑑賞者の注意を引くことから、5ポイントを付与するようにしている。重み付けの条件の4番目は、「色の変化がある」か否かであり、これは画像処理部5によって、その領域に多数の色が含まれているか否かによって判定する。多数の色が含まれている場合には、鑑賞者の注意を引くからである。   Whether or not there is the third “motion” weighting condition in FIG. 5 is determined by determining a motion vector by the image processing unit 5. A moving subject is given 5 points to attract the viewer's attention. The fourth weighting condition is whether or not “there is a color change”, and this is determined by the image processing unit 5 based on whether or not a large number of colors are included in the area. This is because the viewer's attention is drawn when a large number of colors are included.

重み付けの条件の5番目と6番目は、領域面積の大きさに関し、これは画像処理部5によって判定する。面積が大きい場合には重要な被写体と考えられるからである。また、重み付けの条件の8番目は、「画面中央」にあるか否かであり、これは画像処理部5によって判定する。画面中央にある場合には、撮影者が意図的に配置した場合が多く、重要な被写体と考えられるからである。   The fifth and sixth weighting conditions relate to the size of the area, which is determined by the image processing unit 5. This is because if the area is large, it is considered an important subject. The eighth weighting condition is whether or not it is in “center of screen”, which is determined by the image processing unit 5. This is because when the photographer is in the center of the screen, the photographer intentionally arranges it in many cases and is considered an important subject.

このように、各領域23a〜23cについて、条件を判定し、判定結果に基づいて重み付けを行い、付与されたポイントの合計を求め、合計値が一番大きい領域を主被写体の存在する領域Zaとする。図4に示した例では、人物21aが含まれる領域23aが領域Zaとなる。なお、領域Zaの選択にあたって、図5に示した条件は例示であり、図5に示す条件の一部でも良く、また、他の条件を追加しても構わない。   Thus, conditions are determined for each of the regions 23a to 23c, weighting is performed based on the determination result, the total of the given points is obtained, and the region having the largest total value is defined as the region Za where the main subject exists. To do. In the example shown in FIG. 4, the region 23a including the person 21a is the region Za. In selecting the region Za, the conditions shown in FIG. 5 are examples, and some of the conditions shown in FIG. 5 may be used, or other conditions may be added.

主被写体の存在する領域Zaが決まると、次に、副被写体の存在する領域Zbを決める。副被写体の選択にあたっては、画像の中に顔が含まれているか否かよって、図5に示すように、いずれかの数値を使用する。したがって、画像の中に顔が含まれているか否かを、まず先に判定し、使用するテーブルを決める。続いて、主被写体が含まれていた領域以外の領域について、主被写体の場合と同様、各条件に当てはまるか否かを判定し、当てはまった場合には、図5に記載のポイントを付与し、合計値が一番、大きかった領域を、副被写体の存在する領域Zbと判定する。   Once the area Za where the main subject exists is determined, the area Zb where the sub-subject exists is determined. In selecting the sub-subject, any numerical value is used as shown in FIG. 5 depending on whether or not a face is included in the image. Accordingly, it is first determined whether or not a face is included in the image, and a table to be used is determined. Subsequently, for areas other than the area where the main subject was included, it is determined whether or not each condition is satisfied, as in the case of the main subject, and if so, the points shown in FIG. 5 are given, The region having the largest total value is determined as the region Zb where the sub-subject exists.

なお、副被写体の存在する領域Zbの判定の際に利用する条件として、主被写体の場合の条件に以下の条件が追加されている。すなわち、重み付けの条件の7番目として、「Za部より明るい」か否かを判定する。主被写体の領域Zaより明るい場合には、鑑賞者の注意を引き、重要度が高いと考えられるからである。また、重み付けの条件の9番目として、「コントラストが顔部以上」か否かを判定する。画像中の顔の部分のコントラストよりも高い場合には、重要度が高い可能性があるからである。   Note that the following conditions are added to the conditions for the main subject as conditions used when determining the region Zb where the sub-subject exists. That is, as the seventh weighting condition, it is determined whether or not “brighter than Za part”. This is because if the area is brighter than the main subject area Za, the viewer's attention is drawn, and the importance is considered high. Also, as the ninth weighting condition, it is determined whether or not “contrast is greater than or equal to the face”. This is because the degree of importance may be high when it is higher than the contrast of the face portion in the image.

さらに、重み付けの条件の10番目として、「ピント合わせ距離からピントが離れている」か否かを判定する。これは、主被写体からピント位置が所定値以上離れている場合であり、このような場合には、ピントシフトの効果が顕著に表れるからである。副被写体の選択にあたっては重要なことから、本実施形態においては、7ポイントと高めに設定してある。なお、領域Zbの選択にあたって、図5に示した条件は例示であり、図5に示す条件の一部でも良く、また、他の条件を追加しても構わない。   Further, as the tenth weighting condition, it is determined whether or not “the focus is far from the focusing distance”. This is because the focus position is separated from the main subject by a predetermined value or more, and in such a case, the effect of focus shift appears remarkably. Since it is important in selecting the sub-subject, in the present embodiment, it is set as high as 7 points. In selecting the region Zb, the conditions shown in FIG. 5 are examples, and some of the conditions shown in FIG. 5 may be used, or other conditions may be added.

次に、本実施形態におけるカメラ10の動作について、図6に示すアート動画モードのフローチャートを用いて説明する。カメラ10は、種々のモードで動作可能であるが、簡単にするため、このフローチャートでは、アート動画モードについて記載し、他のモードについては省略してある。なお、このアート動画モードの設定にあたっては、専用のアート動作モード設定用の操作釦を設けても良く、またメニュー画面で設定するようにしても良い。また、デフォルト値としてアート動作モードが設定されるようにしても良く、アート動作モード専用カメラであっても良い。   Next, the operation of the camera 10 in the present embodiment will be described with reference to the art moving image mode flowchart shown in FIG. Although the camera 10 can operate in various modes, for the sake of simplicity, the art moving image mode is described in this flowchart, and other modes are omitted. In setting the art moving image mode, a dedicated operation button for setting an art operation mode may be provided, or may be set on a menu screen. The art operation mode may be set as a default value, or a camera dedicated to the art operation mode may be used.

図6に示すフローチャートはカメラ10内に記憶されているプログラムに従って、制御部1によって実行される。アート動作モードのフローに入ると、まず、半押しか否かの判定を行う(S1)。ここでは、操作部9のレリーズ釦が半押し状態か否かを判定する。半押し状態でなければ、表示部8にライブビュー表示を行いながら、半押し状態になるのを待つ。   The flowchart shown in FIG. 6 is executed by the control unit 1 in accordance with a program stored in the camera 10. If the flow of the art operation mode is entered, it is first determined whether or not half-press is made (S1). Here, it is determined whether or not the release button of the operation unit 9 is half pressed. If it is not half-pressed, it waits until it is half-pressed while performing live view display on the display unit 8.

ステップS1における判定の結果、半押し状態になると、ピント位置シフトを行う(S2)。ここでは、例えば、図4のZ1〜Z3の間で撮影レンズを走査する。このカメラ10は、パワースイッチがオンとなると、ライブビュー表示を開始しており、その間、ピント合わせを行っており、リアルタイムで被写体像のコントラストをモニタして、それが変化した場合等には、再度ピント合わせを行っている。ステップS2におけるピント位置シフトの際に、ライブビュー表示の際に行われたピント合わせ情報を用いてZ1〜Z3の範囲を決定する。   If the result of determination in step S <b> 1 is half-pressed, focus position shift is performed (S <b> 2). Here, for example, the photographing lens is scanned between Z1 to Z3 in FIG. When the power switch is turned on, the camera 10 starts live view display, and during that time, performs focusing, monitors the contrast of the subject image in real time, and if it changes, Focusing is performed again. At the time of focus position shift in step S2, the range of Z1 to Z3 is determined using the focus adjustment information performed at the time of live view display.

続いて、撮像を行う(S3)。ステップS2において撮影レンズの走査を開始しており、走査しながら、撮像部2からの画像データを用いて、コントラスト変化抽出部1bではコントラストを求め、各ポイントにおける被写体距離情報を求めていく。次に、複数ピントの測定が終了したか否かの判定を行う(S4)。ここでは、図4を用いて説明したように、画面の全ポイントについて、コントラストを求め、被写体距離情報の収集が終了したかを判定する。この判定の結果、終了していなかった場合には、ステップS2に戻る。   Subsequently, imaging is performed (S3). In step S2, scanning of the photographing lens is started. While scanning, the contrast change extraction unit 1b uses the image data from the imaging unit 2 to obtain the contrast, and obtains subject distance information at each point. Next, it is determined whether or not the measurement of a plurality of focus is completed (S4). Here, as described with reference to FIG. 4, the contrast is obtained for all points on the screen, and it is determined whether the collection of the subject distance information is completed. If the result of this determination is that it has not ended, processing returns to step S2.

ステップS4における判定の結果、複数ピントの測定が終了すると、次に、領域分けを行う(S5)。ここでは、図4(c)において説明したように、被写体距離情報等に基づいて、被写体に応じて全画面の領域を分割する。   As a result of the determination in step S4, when the measurement of a plurality of focus points is completed, the area is then divided (S5). Here, as described in FIG. 4C, based on the subject distance information and the like, the region of the entire screen is divided according to the subject.

領域分けを行うと、次に、領域重み付けZaを行う(S6)。ここでは、図5において説明したように、主被写体を選択するために、ステップS5で分けた領域ごとに、領域重み付けの判定を行い、合計値が一番大きい領域を選択し、Za領域とする。領域重み付けZaを行うと、次に、領域重み付けZbを行う(S7)。ここでは、図5において説明したように、副被写体を選択するために、ステップS5で分けた領域ごとに、領域重み付けの判定を行い、合計値が一番大きい領域を選択し、Zb領域とする。   Once the area is divided, area weighting Za is performed (S6). Here, as described with reference to FIG. 5, in order to select the main subject, the area weighting is determined for each area divided in step S5, and the area having the largest total value is selected as the Za area. . Once the area weighting Za has been performed, the area weighting Zb is then performed (S7). Here, as described in FIG. 5, in order to select the sub-subject, the area weighting is determined for each area divided in step S5, and the area having the largest total value is selected as the Zb area. .

領域重み付けZbを行うと、次に、Za領域とZb領域の露出差dEの判定を行う(S8)。ここでは、ステップS6において求めたZa領域と、ステップS7において求めたZb領域について、各領域の画像データを用いて領域の輝度を求め、この輝度を用いて適正露出量の差dEを演算する。   Once the area weighting Zb is performed, the exposure difference dE between the Za area and the Zb area is then determined (S8). Here, for the Za region obtained in step S6 and the Zb region obtained in step S7, the luminance of the region is obtained using the image data of each region, and the difference dE of the appropriate exposure amount is calculated using this luminance.

露出差dEを求めると、次に、全押しか否かの判定を行う(S9)。ここでは、操作部9のレリーズ釦が全押し状態か否かを判定する。全押し状態になるのを待ち、全押し状態になると、次に、Zb領域にピントと露出を合わせ、撮影を行う(S11)。Zb領域は、副被写体の領域であり、まず、この領域にピントと露出を合わせる。このステップS11における状態は、図2(a)に例示した画像25aの状態であり、この場合には背景の木21bにピントと露出が合った状態となる。   Once the exposure difference dE is obtained, it is next determined whether or not it is fully pressed (S9). Here, it is determined whether or not the release button of the operation unit 9 is fully pressed. Waiting for the fully-pressed state, and when the fully-pressed state is reached, next, focus and exposure are adjusted in the Zb area, and photographing is performed (S11). The Zb region is a sub-subject region. First, focus and exposure are adjusted to this region. The state in step S11 is the state of the image 25a illustrated in FIG. 2A. In this case, the background tree 21b is in focus and exposure.

続いて、Za領域とZb領域のピント差dZの判定を行う(S12)。ここでは、主被写体の被写体距離情報と、副被写体の被写体距離情報の差にあたる、ピント差dZを求める。このピント差dZは、ステップS16において使用する。   Subsequently, the focus difference dZ between the Za region and the Zb region is determined (S12). Here, the focus difference dZ corresponding to the difference between the subject distance information of the main subject and the subject distance information of the sub-subject is obtained. This focus difference dZ is used in step S16.

ピント差dZの判定を行うと、次に、Zb領域に動きがあるか否かの判定を行う(S13)。ここでは、副被写体の存在する領域に動くものがあるかを、画像データの動きベクトルに基づいて判定する。この判定の結果、動きがなかった場合には、1秒経過するのを待つ(S14)。一方、判定の結果、動きがあった場合には、3秒経過するのを待つ。動きがある場合には、鑑賞者は動いている被写体が何であるかの確認を望む場合が多く、そのために、待機時間を長くしている。なお、1秒と3秒は、例示であり、撮影者や鑑賞者の好みを考慮して、適宜、変えても良い。   Once the focus difference dZ is determined, it is next determined whether or not there is movement in the Zb region (S13). Here, it is determined based on the motion vector of the image data whether there is a moving object in the area where the sub-subject exists. If the result of this determination is that there is no movement, it waits for one second to elapse (S14). On the other hand, if there is a movement as a result of the determination, it waits for 3 seconds to elapse. When there is a movement, the viewer often wants to confirm what the moving subject is, so that the waiting time is lengthened. 1 second and 3 seconds are examples, and may be appropriately changed in consideration of the preference of the photographer and the viewer.

ステップS14またはS15において、所定時間、待機すると、次に、Za領域に向けてピントシフトを開始し、その場合ピント差dZに応じたスピードを決定する(S16)。前述したように、副被写体にピントを合わせた後に、主被写体に向けてピントを移動させていくが、その際の移動速度をピント差dZに応じた値としている。ここでは、ピント差dZに係わらず、一定の時間で副被写体から主被写体にピントが移動するようにする。この一定時間としては、例えば、3秒程度とするが、撮影者や鑑賞者の好みを考慮して、適宜、変更しても良い。   In step S14 or S15, after waiting for a predetermined time, a focus shift is started toward the Za region, and in this case, a speed corresponding to the focus difference dZ is determined (S16). As described above, after focusing on the sub-subject, the focus is moved toward the main subject, and the moving speed at that time is set to a value corresponding to the focus difference dZ. Here, the focus is moved from the sub-subject to the main subject in a certain time regardless of the focus difference dZ. The fixed time is, for example, about 3 seconds, but may be appropriately changed in consideration of the preference of the photographer and the viewer.

続いて、露出差dEを解消しつつ撮像および記録を行う(S17)。ステップS8において露出差dEを求めており、ピントシフトの際に、この露出差dEを考慮し、適正露出が保たれるように露出制御を行う。この露出制御としては、絞り値、シャッタ速度、ISO感度等を制御する。また、このとき撮像部2からの画像データを画像処理部5において動画用に画像処理しながら、動画で画像データを記録部6に記録する。   Subsequently, imaging and recording are performed while eliminating the exposure difference dE (S17). In step S8, an exposure difference dE is obtained, and exposure control is performed so that an appropriate exposure is maintained in consideration of the exposure difference dE during focus shift. As the exposure control, the aperture value, shutter speed, ISO sensitivity, and the like are controlled. At this time, the image data from the imaging unit 2 is recorded in the recording unit 6 as a moving image while the image processing unit 5 performs image processing for the moving image.

次に、Za領域に達したか否かの判定を行う(S18)。Za領域は主被写体の存在する領域であり、この領域に撮影レンズのピント位置が達したかを判定する。この判定の結果、Za領域に達していなかった場合には、ステップS17に戻り、露出差dEを解消しながら撮像および記録を行う。   Next, it is determined whether or not the Za area has been reached (S18). The Za area is an area where the main subject exists, and it is determined whether the focus position of the photographing lens has reached this area. As a result of this determination, if the area has not reached the Za area, the process returns to step S17, and imaging and recording are performed while eliminating the exposure difference dE.

一方、ステップS17における判定の結果、Za領域に達すると、次に、静止画の撮像を行い、記録する(S19)。Za領域は、主被写体の領域であり、この領域に達すると撮像部2からの画像データを画像処理部5によって静止画用に画像処理し、静止画の画像データを記録する。ステップS18における状態は、図2(b)に例示した画像25bに対応し、この場合には人物21aにピントが合った状態となる。また、露出差dEを解消するように、露出制御を変更していることから、静止画に対しても適正露出となる。なお、静止画の撮影にあたっては、Za領域に停止してから撮影するようにしても良い。静止画の画像データを記録すると、このアート動画モードを終了する。なお、図6に示すフローチャートにおいては、ステップS9における判定の結果、全押しであった場合には、Zb領域にピントをシフトさせてから撮影を開始している。しかし、Za領域にピントが合った状態からZb領域にピント合わせを行うために、焦点調節に要する時間分、タイムラグが生ずる。従って、シャッタチャンスを逃すおそれもあるので、全押し時の押し込みの衝撃等に基づいて、緊急性を判断する。緊急性がある場合には、先にZa領域で静止画撮影を行い、その後Zb領域に向けてピントシフトを行いながら、動画撮影をするようにしても良い。   On the other hand, if the result of determination in step S17 is that the region Za has been reached, then a still image is imaged and recorded (S19). The Za area is an area of the main subject. When this area is reached, the image data from the imaging unit 2 is processed for a still image by the image processing unit 5 and the image data of the still image is recorded. The state in step S18 corresponds to the image 25b illustrated in FIG. 2B, and in this case, the person 21a is in focus. Further, since the exposure control is changed so as to eliminate the exposure difference dE, a proper exposure can be obtained for still images. Note that when taking a still image, the image may be taken after stopping in the Za area. When the image data of the still image is recorded, this art moving image mode is ended. In the flowchart shown in FIG. 6, if the result of determination in step S <b> 9 is full press, shooting is started after the focus is shifted to the Zb region. However, in order to focus on the Zb region from the state where the Za region is in focus, there is a time lag corresponding to the time required for focus adjustment. Therefore, since there is a possibility of missing a photo opportunity, the urgency is determined based on the impact of the push-in when fully pressed. If there is urgency, still image shooting may be performed first in the Za region, and then moving image shooting may be performed while performing a focus shift toward the Zb region.

以上説明したように、本発明の一実施形態においては、被写体に応じて画面を複数の領域に分割し、複数の領域からピント移動を行う領域を決定して、ピント制御部によってピント移動を行うようにしている。このため、撮影者が意図的に手動操作を行わなくても、変化に富んだ画像を取得することが可能である。また、ピント制御部によってピントの移動を行う際に動画の画像データを記録するようにしているので、簡単に動画の撮影を行うことができる。   As described above, in one embodiment of the present invention, the screen is divided into a plurality of areas according to the subject, an area to be focused is determined from the plurality of areas, and the focus control unit performs the focus movement. I am doing so. For this reason, it is possible to obtain a variety of images without intentional manual operation by the photographer. Further, since moving image data is recorded when the focus control unit moves the focus, it is possible to easily shoot a moving image.

また、本発明の一実施形態においては、ピント制御部によってピントの移動を行っている間動画の撮影を行い、目標とするピント位置に到達すると、静止画の撮影を行っている。このため、動画と静止画を融合した、変化に富んだ画像を簡単に取得することができる。なお、このような撮影によって得られた動画は、静止画を抜きにしても極めて効果に富み、動画部分のみをつなぎ合わせて編集する際にも、有効な素材となる。   In one embodiment of the present invention, a moving image is shot while the focus control unit moves the focus, and a still image is shot when the target focus position is reached. For this reason, it is possible to easily acquire an image rich in change in which a moving image and a still image are fused. Note that a moving image obtained by such shooting is extremely effective even if a still image is omitted, and becomes an effective material even when editing only a moving image portion.

さらに、本発明の一実施形態においては、被写体像の中から主要被写体と、主要被写体以外の第1および第2の画像部分がある場合には、主要被写体と第1の画像部分のピント差、および主要被写体と第2の画像部分のピント差を用いて、ピントの移動方向を決定するようにしている。具体的には、副被写体の決定にあたって、図5において(10)ピント合わせ距離からピントが離れていることを考慮している。このため、ピントシフトの効果が顕著に表れ、変化に富んだ画像となる。   Furthermore, in one embodiment of the present invention, when there are a main subject and first and second image portions other than the main subject in the subject image, a focus difference between the main subject and the first image portion, The focus moving direction is determined using the focus difference between the main subject and the second image portion. Specifically, in determining the sub-sub-object, it is considered that the focus is away from (10) the focusing distance in FIG. For this reason, the effect of the focus shift appears remarkably and the image is rich in change.

なお、本発明の一実施形態においては、被写体の距離に関する情報を求めるにあたって、画像データの高周波成分を抽出して行うコントラスト法を用いていたが、これに限らず、他の測距方法を用いても良い。例えば、位相差AFを採用しても良く、この場合には、撮影レンズをスキャンすることが不要となる。   In the embodiment of the present invention, the contrast method is performed by extracting the high-frequency component of the image data when obtaining the information related to the distance of the subject. However, the present invention is not limited to this, and other distance measurement methods are used. May be. For example, phase difference AF may be employed, and in this case, it is not necessary to scan the photographing lens.

また、本発明の一実施形態においては、画面を分割するにあたって、被写体の距離に関する情報を用いて行っていたが、これに限らず、他の方法を用いても良い。例えば、画像解析を行い、輪郭線を抽出し、その輪郭線から画面を分割するようにしても良い。   Further, in the embodiment of the present invention, when the screen is divided, the information regarding the distance of the subject is used. However, the present invention is not limited to this, and other methods may be used. For example, image analysis may be performed to extract a contour line, and the screen may be divided from the contour line.

さらに、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラでも構わない。   Furthermore, in the embodiment of the present invention, the digital camera is used as the photographing device. However, the camera may be a digital single lens reflex camera or a compact digital camera, such as a video camera or a movie camera. It may be a camera for moving images, or may be a camera built in a mobile phone, a personal digital assistant (PDA), a game device, or the like.

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

1・・・制御部、1a・・・表情変化判定部、1b・・・コントラスト変化抽出部、1c・・・領域分割部、1d・・・構図変化判定部、2・・・撮像部、2a・・・顔検出部、3・・・パラメータ設定部、4・・・モーション判定部、5・・・画像処理部、5a・・・動画処理部、5b・・・静止画処理部、6・・・記録部、6a・・・表情変化DB、7・・・パラメータ制御部、7b・・・ピント制御部、8・・・表示部、9・・・操作部、10・・・カメラ、21a・・・人物、21b・・・木、21c・・・花、22a〜22c・・・ポイント、23a〜23c・・・領域、25a・・・画像、25b・・・画像 DESCRIPTION OF SYMBOLS 1 ... Control part, 1a ... Expression change determination part, 1b ... Contrast change extraction part, 1c ... Area division part, 1d ... Composition change determination part, 2 ... Imaging part, 2a ...... Face detection unit, 3 ... parameter setting unit, 4 ... motion determination unit, 5 ... image processing unit, 5a ... moving image processing unit, 5b ... still image processing unit, ..Recording unit, 6a ... expression change DB, 7 ... parameter control unit, 7b ... focus control unit, 8 ... display unit, 9 ... operation unit, 10 ... camera, 21a ... person, 21b ... tree, 21c ... flower, 22a-22c ... point, 23a-23c ... area, 25a ... image, 25b ... image

Claims (5)

撮影レンズを介して結像した被写体像を撮像し、画像データを出力する撮像部と、
上記被写体のピント位置と上記被写体領域の特徴の少なくとも一方に応じて決定された重み付けし、この重み付け結果に従って撮影画面内のどの領域からどの領域にピント合わせを行うか、ピント合わせの順序を決定するピント合わせ決定部と、
上記ピント合わせ決定部によって決定されたピント合わせの順序に従って、撮影レンズを駆動するピント制御部と、
上記画像データに基づいて、動画および静止画の画像データを記録する記録部と、
を有し、
上記ピント合わせ決定部は、上記重み付け結果に従って主被写体副被写体又は主領域副領域を決定し、該主被写体と該副被写体の一方を出発点、他方を終着点とし、又は該主領域と該副領域の一方を出発点、他方を終着点として上記ピント合わせの順序を決定し、
上記記録部は、上記ピント制御部によって上記撮影レンズが駆動されている間は動画の画像データを記録し、上記ピント制御部によって上記撮影レンズの駆動停止後、静止画の画像データを記録する、
ことを特徴とする撮影装置。
An imaging unit that captures an image of a subject formed through a photographing lens and outputs image data;
The weighting determined according to at least one of the focus position of the subject and the characteristics of the subject region is determined, and the focus order is determined from which region in the shooting screen to which region in accordance with this weighting result. A focus determining unit;
In accordance with the focus order determined by the focus determination unit, a focus control unit that drives the photographing lens;
Based on the image data, a recording unit for recording moving image and still image data,
Have
The focusing determination unit, the weighting results according determined main subject sub-subject or the main area sub-areas, the starting point of one of the main subject and the sub-object scene body, and the other with end point, or the main area while the starting point of the sub region, and the other as endpoint to determine the order of registration the focus,
The recording unit records moving image data while the photographing lens is driven by the focus control unit, and records still image data after the photographing lens stops driving by the focus control unit.
An imaging apparatus characterized by that.
上記被写体の距離に応じて上記撮影画面を分割する画面分割部を更に有し、
上記ピント合わせ決定部は、上記画面分割部によって画面分割された撮影画面内において、分割領域ごとに上記被写体のピント位置と上記被写体領域の特徴の少なくとも一方に応じて決定された重み付けし、この重み付け結果に従って上記撮影画面内のどの分割領域からどの分割領域にピント合わせを行うか、ピント合わせの順序を決定する、
ことを特徴とする請求項1に記載の撮影装置。
A screen dividing unit for dividing the shooting screen according to the distance of the subject;
The focus determining unit weights the determined area according to at least one of the focus position of the subject and the feature of the subject area for each divided area in the shooting screen divided by the screen dividing unit. In accordance with the result, determine from which divided area in the shooting screen to which divided area to focus, the order of focusing,
The imaging apparatus according to claim 1, wherein:
上記画面分割部は、上記撮影画面を網の目状に分割する、
ことを特徴とする請求項2に記載の撮影装置。
The screen dividing unit divides the shooting screen into a mesh.
The imaging apparatus according to claim 2, wherein:
上記画面分割部は、上記撮影画面をほぼ同一の被写体距離となる領域に分割する、
ことを特徴とする請求項2に記載の撮影装置。
The screen dividing unit divides the shooting screen into regions having substantially the same subject distance.
The imaging apparatus according to claim 2, wherein:
撮影レンズを介して結像した被写体像を撮像し、画像データを出力するステップと、
被写体のピント位置と被写体領域の特徴の少なくとも一方に応じて決定された重み付けし、この重み付け結果に従って撮影画面内のどの領域からどの領域にピント合わせを行うか、ピント合わせの順序を決定するステップと、
決定されたピント合わせの順序に従って、撮影レンズを駆動するステップと、
上記画像データに基づいて、動画および静止画の画像データを記録するステップと、
を有し、
上記ピント合わせの順序を決定するステップは、上記重み付け結果に従って主被写体副被写体又は主領域副領域を決定し、該主被写体と該副被写体の一方を出発点、他方を終着点とし、又は該主領域と該副領域の一方を出発点、他方を終着点として上記ピント合わせの順序を決定し、
上記画像データを記録するステップは、上記撮影レンズ駆動するステップにおいて上記撮影レンズが駆動されている間は動画の画像データを記録し、上記撮影レンズの駆動停止後、静止画の画像データを記録する、
ことを特徴とする撮影方法。
Capturing a subject image formed through the taking lens and outputting image data;
Weighting determined in accordance with at least one of the focus position of the subject and the characteristics of the subject region, and determining from which region in the shooting screen to which region in the shooting screen according to the weighting result, and determining the focus order; ,
Driving the taking lens according to the determined order of focusing;
Recording image data of moving images and still images based on the image data;
Have
Determining the order of the focusing, said weighted results according determined main subject sub-subject or the main area sub-areas, the starting point of one of the main subject and the sub-object scene body, and the other with end point, or while the starting point of the main area and the sub area, the other as endpoint to determine the order of registration the focus,
The step of recording the image data records moving image data while the photographing lens is driven in the step of driving the photographing lens, and records still image data after stopping the photographing lens. ,
An imaging method characterized by the above.
JP2014209540A 2014-10-11 2014-10-11 Imaging apparatus and imaging method Active JP5925275B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014209540A JP5925275B2 (en) 2014-10-11 2014-10-11 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014209540A JP5925275B2 (en) 2014-10-11 2014-10-11 Imaging apparatus and imaging method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013220394A Division JP5637645B2 (en) 2013-10-23 2013-10-23 Imaging apparatus and imaging method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016082740A Division JP6242428B2 (en) 2016-04-18 2016-04-18 Imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
JP2015046917A JP2015046917A (en) 2015-03-12
JP5925275B2 true JP5925275B2 (en) 2016-05-25

Family

ID=52672025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014209540A Active JP5925275B2 (en) 2014-10-11 2014-10-11 Imaging apparatus and imaging method

Country Status (1)

Country Link
JP (1) JP5925275B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138313A (en) * 1997-07-18 1999-02-12 Canon Inc Optical device and camera
JP4261317B2 (en) * 2002-11-25 2009-04-30 パナソニック株式会社 Short film generating and reproducing apparatus and method thereof
JP4519531B2 (en) * 2003-07-11 2010-08-04 パナソニック株式会社 Image display device, image display method, and program

Also Published As

Publication number Publication date
JP2015046917A (en) 2015-03-12

Similar Documents

Publication Publication Date Title
JP5350928B2 (en) Camera and camera control method
US8106995B2 (en) Image-taking method and apparatus
US8446479B2 (en) Photographing apparatus
JP5400486B2 (en) Imaging apparatus and imaging method
JP2017220892A (en) Image processing device and image processing method
JP2009218893A (en) Photographing device and method
JP2013150210A (en) Photographing device
JP2013090095A (en) Imaging device, imaging method, and program
JP2010021795A (en) Image capturing apparatus, correction controller, correction control method, and program
JP6242428B2 (en) Imaging apparatus and imaging method
JP2014068081A (en) Imaging apparatus and control method of the same, program and storage medium
JP5451197B2 (en) Imaging device
JP2013141155A (en) Imaging device
JP5925275B2 (en) Imaging apparatus and imaging method
JP6013574B2 (en) Imaging apparatus and imaging method
JP5816732B2 (en) Imaging apparatus and imaging method
JP5816733B2 (en) Imaging apparatus and imaging method
JP5637645B2 (en) Imaging apparatus and imaging method
JP2006165600A (en) Photographing apparatus
JP2012109866A (en) Photographing apparatus and method of controlling the same
JP5948960B2 (en) Camera, image processing apparatus and program
JP2015118274A (en) Imaging device, imaging device control method, and program
JP5329311B2 (en) Imaging apparatus, imaging method, playback apparatus, and playback method
JP2012142978A (en) Image processor
JP5695728B2 (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160419

R150 Certificate of patent or registration of utility model

Ref document number: 5925275

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250