[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5396231B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5396231B2
JP5396231B2 JP2009242705A JP2009242705A JP5396231B2 JP 5396231 B2 JP5396231 B2 JP 5396231B2 JP 2009242705 A JP2009242705 A JP 2009242705A JP 2009242705 A JP2009242705 A JP 2009242705A JP 5396231 B2 JP5396231 B2 JP 5396231B2
Authority
JP
Japan
Prior art keywords
blur
image
distance
subject
characteristic data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009242705A
Other languages
Japanese (ja)
Other versions
JP2011091570A (en
JP2011091570A5 (en
Inventor
正吾 嶋村
学 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2009242705A priority Critical patent/JP5396231B2/en
Publication of JP2011091570A publication Critical patent/JP2011091570A/en
Publication of JP2011091570A5 publication Critical patent/JP2011091570A5/ja
Application granted granted Critical
Publication of JP5396231B2 publication Critical patent/JP5396231B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、レンズの被写界深度に依存せずにぼけを有する画像を得る撮像装置に関する。   The present invention relates to an imaging apparatus that obtains an image having blur without depending on the depth of field of a lens.

一般に、撮像装置による撮影において、撮影時の絞り値が小さい程、即ちレンズ径が大きく絞りが開いている程、被写界深度が浅くなり合焦範囲は狭くなる。この現象を利用し、注目被写体を強調する画像を取得することがある。例えば花やポートレートを撮影する場合、注目被写体である花や人物にピントを合せる一方で、注目被写体以外の背景等の被写体を効果的にぼかした画像を取得することである。所謂美しいぼけを実現するには、開放絞り値が小さい大口径レンズを用いるのが良い。しかし大口径レンズは、その設計に拘束条件が多く、高価になりがちである。   In general, in photographing by an imaging device, the smaller the aperture value at the time of photographing, that is, the larger the lens diameter and the wider the aperture, the shallower the depth of field and the narrower the focusing range. An image that emphasizes the subject of interest may be obtained using this phenomenon. For example, when shooting a flower or a portrait, it is to obtain an image in which a subject such as a background other than the subject of interest is effectively blurred while focusing on the flower or person as the subject of interest. In order to realize so-called beautiful blurring, it is preferable to use a large aperture lens with a small open aperture value. However, large-aperture lenses tend to be expensive due to many constraints on their design.

そこで、比較的安価な開放絞り値が大きいレンズを用いて撮影を行い、この撮影により得られたぼけの弱い画像に対して、画像処理技術を用いて注目被写体以外の部分のぼけを強くし、前記の様なぼけの効果を生かした画像を作成する技術がある。例えば特許文献1は、画像中に設定した注目被写体を含む領域と、それ以外の領域とのぼけ具合を、画像処理技術を用いて異にさせ、注目被写体を強調した画像を作成する技術を開示している。   Therefore, shooting is performed using a relatively inexpensive lens with a large open aperture value, and the blur of the image obtained by this shooting is weakened by using image processing technology to increase the blur of the part other than the subject of interest. There is a technique for creating an image that takes advantage of the blur effect as described above. For example, Patent Document 1 discloses a technique for creating an image in which an attention subject is emphasized by making the blur condition between a region including the attention subject set in the image different from other regions using an image processing technique. doing.

特開2005−303983号公報JP 2005-303983 A

特許文献1に開示されている技術は、侵入者の監視用であって、注目被写体を含む領域とそれ以外の領域との2領域に分割し、それぞれの領域のぼけ具合を、予め決められたぼけの度合いで調節するものである。従ってその目的は、単に侵入者等の注目被写体を強調することである。即ち、ぼけの効果を演出に利用し、美観を起こさせる好みの画像を作成するというものではない。   The technique disclosed in Patent Document 1 is for monitoring intruders, and is divided into two areas, an area including the subject of interest and other areas, and the degree of blur of each area is determined in advance. It is adjusted by the degree of blur. Therefore, the purpose is simply to emphasize the subject of interest such as an intruder. In other words, the effect of blurring is not used for production, but a favorite image that causes aesthetics is not created.

そこで本発明は、レンズの被写界深度に依存せず、ぼけの強度を変えるぼけ処理を施すことで効果的なぼけを有する画像を取得する撮像装置を提供することを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to provide an imaging apparatus that acquires an image having effective blur by performing blur processing that changes the intensity of blur without depending on the depth of field of a lens.

前記目的を果たすため、本発明の撮像装置の一態様は、被写体を撮像して撮像データを取得する撮像手段と、前記撮像データに基づく画像平面上における合焦対象とする注目被写体の被写体位置の情報を取得する位置情報取得手段と、前記被写体位置を基準として、前記画像平面上の距離に応じて、前記撮像された画像をぼかす処理を行う場合のぼけの強度を表すぼけ特性データを記憶するぼけデータ記憶手段と、前記位置情報取得手段により得られた前記被写体位置と、前記ぼけデータ記憶手段に記憶されている前記ぼけ特性データとに従って、前記被写体位置からの前記画像平面上の距離に応じたぼけ処理を前記撮像データに基づく画像に対して行うぼけ処理手段と、を具備し、前記ぼけデータ記憶手段は、実空間において前記注目被写体よりも近い側のための前記ぼけ特性データと遠い側のための前記ぼけ特性データとを記憶することを特徴とする。
In order to achieve the above object, an aspect of the imaging apparatus according to the present invention includes an imaging unit that captures an image of a subject and acquires imaging data, and a subject position of a target subject to be focused on an image plane based on the imaging data. Position information acquisition means for acquiring information, and blur characteristic data representing the intensity of blur when performing processing to blur the captured image according to the distance on the image plane with the subject position as a reference According to the distance on the image plane from the subject position according to the blur data storage means, the subject position obtained by the position information acquisition means, and the blur characteristic data stored in the blur data storage means and the blur processing anda blurring processing means for performing the image based on the imaging data, the blur data storage means, the target object scene in the real space And to store the said blur characteristic data for the blur characteristic data and the far side for the side closer than.

本発明によれば、レンズの被写界深度に依存せず、ぼけの強度を変えるぼけ処理を施し、美観を起こさせる効果的なぼけを有する画像を取得する撮像装置を提供できる。   ADVANTAGE OF THE INVENTION According to this invention, the imaging device which acquires the image which has an effective blur which raise | generates the aesthetics by performing the blurring process which changes the intensity | strength of blur without depending on the depth of field of a lens can be provided.

本発明の一実施形態に係る撮像装置の構成例を示すブロック図。1 is a block diagram illustrating a configuration example of an imaging apparatus according to an embodiment of the present invention. 基準点からの距離とぼけの強度との関係の一例を示す図。The figure which shows an example of the relationship between the distance from a reference point, and the intensity | strength of blur. 本発明の一実施形態に係る撮像装置の動作例を示すフローチャート。6 is a flowchart illustrating an operation example of the imaging apparatus according to the embodiment of the present invention. ぼけが付加された画像の例の概略を説明する図。The figure explaining the outline of the example of the image to which blur was added. 基準点からの距離と付加するぼけの重みとの関係の一例を示す図。The figure which shows an example of the relationship between the distance from a reference point, and the weight of the blur added.

以下、本発明の一実施形態について図面を参照して説明する。本発明の一実施形態に係る撮像装置の構成例を図1に示す。本撮像装置は、カメラ本体100と交換式レンズ200とからなる。交換式レンズ200は、レンズ202と、レンズマイクロコンピュータ204と、レンズドライバ206と、絞り208と、レンズフラッシュ(Flash)メモリ210と、被写体距離演算部212とを有する。レンズ202は1つ以上のレンズからなる。レンズマイクロコンピュータ204は、インターフェース(I/F)150を介して、カメラ本体100のマイクロコンピュータ115と接続しており、互いに情報を送受する。レンズ202は、図示しない被写体の光学像を撮像素子102に集光させる。レンズ202は、レンズマイクロコンピュータ204により制御されるレンズドライバ206により駆動される。また、絞り208もレンズマイクロコンピュータ204により制御される図示しないドライバにより駆動される。レンズFlashメモリ210はレンズ202を構成する各レンズの位置と合焦する被写体との距離の関係等レンズに関する情報を記憶している。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration example of an imaging apparatus according to an embodiment of the present invention. The imaging apparatus includes a camera body 100 and an interchangeable lens 200. The interchangeable lens 200 includes a lens 202, a lens microcomputer 204, a lens driver 206, a diaphragm 208, a lens flash (Flash) memory 210, and a subject distance calculation unit 212. The lens 202 includes one or more lenses. The lens microcomputer 204 is connected to the microcomputer 115 of the camera body 100 via an interface (I / F) 150, and sends and receives information to and from each other. The lens 202 collects an optical image of a subject (not shown) on the image sensor 102. The lens 202 is driven by a lens driver 206 controlled by the lens microcomputer 204. The diaphragm 208 is also driven by a driver (not shown) controlled by the lens microcomputer 204. The lens flash memory 210 stores information about the lens such as the relationship between the position of each lens constituting the lens 202 and the distance from the subject to be focused.

被写体距離演算部212は、レンズFlashメモリ210に記憶されている情報を参照し、当該撮像装置と合焦している注目被写体との距離である被写体距離を算出する。   The subject distance calculation unit 212 refers to the information stored in the lens flash memory 210 and calculates a subject distance that is a distance between the imaging device and the target subject in focus.

撮像素子102は、2次元平面上に配列された複数のフォトダイオードを有し、これらフォトダイオードの前面に、赤色(R)、緑色(G)、青色(B)の3色のカラーフィルタが、例えば所謂ベイヤー配列に配設されている構成を有する。このような撮像素子102において、各画素における各フォトダイオードは、レンズ202により集光された光を受光し光電変換を行う。この光電変換によって光の量を電気信号(アナログ画像信号)に変換し、それをアナログ処理部103へ出力する。尚、撮像素子102はCMOS方式でもCCD方式でも良く方式は問わない。撮像素子102は、露光時間を電子的に制御できる電子シャッター機能を備えていることが望ましい。また、撮像素子102には、メカシャッター101が備えられ、このメカシャッター101を駆動することでも撮像素子102に光が入射する露光時間を制御できる。   The image sensor 102 has a plurality of photodiodes arranged on a two-dimensional plane, and color filters of three colors of red (R), green (G), and blue (B) are provided on the front surface of the photodiodes. For example, it has a configuration arranged in a so-called Bayer array. In such an image sensor 102, each photodiode in each pixel receives light collected by the lens 202 and performs photoelectric conversion. This photoelectric conversion converts the amount of light into an electrical signal (analog image signal), and outputs it to the analog processing unit 103. The image sensor 102 may be a CMOS system or a CCD system, and the system is not limited. The image sensor 102 preferably has an electronic shutter function capable of electronically controlling the exposure time. Further, the image sensor 102 is provided with a mechanical shutter 101, and the exposure time during which light enters the image sensor 102 can be controlled by driving the mechanical shutter 101.

アナログ処理部103は、撮像素子102から入力されたアナログ画像信号に対し、リセットノイズ等を低減した上で波形整形を行う。更に、アナログ処理部103は、画像の明るさが目的の明るさとなるようゲインアップ処理を行う。アナログ処理部103は、処理後のアナログ画像信号を、A/D変換部104に出力する。   The analog processing unit 103 performs waveform shaping on the analog image signal input from the image sensor 102 while reducing reset noise and the like. Further, the analog processing unit 103 performs gain-up processing so that the brightness of the image becomes the target brightness. The analog processing unit 103 outputs the processed analog image signal to the A / D conversion unit 104.

A/D変換部104は、アナログ処理部103から入力された処理後のアナログ画像信号をデジタル画像信号(以降、画像データと称する)に変換する。A/D変換部104でデジタル信号に変換された画像データは、バス105を介して一旦SDRAM106に記憶される。   The A / D conversion unit 104 converts the processed analog image signal input from the analog processing unit 103 into a digital image signal (hereinafter referred to as image data). The image data converted into a digital signal by the A / D conversion unit 104 is temporarily stored in the SDRAM 106 via the bus 105.

バス105は、カメラ内部で扱う各種データをカメラ内の各部に転送するための転送路である。バス105には、A/D変換部104と、SDRAM106と、画像処理部107と、AE処理部108と、AF処理部109と、画像圧縮展開部110と、メモリI/F111と、LCDドライバ113と、マイクロコンピュータ115と、ぼけ特性決定部122と、ぼけ付加演算部124とが接続している。SDRAM106は、A/D変換部104において得られた画像データや、画像処理部107、画像圧縮展開部110において処理された画像データ等、各種データを一時的に記憶する記憶部である。   The bus 105 is a transfer path for transferring various data handled in the camera to each unit in the camera. The bus 105 includes an A / D conversion unit 104, an SDRAM 106, an image processing unit 107, an AE processing unit 108, an AF processing unit 109, an image compression / decompression unit 110, a memory I / F 111, and an LCD driver 113. The microcomputer 115, the blur characteristic determination unit 122, and the blur addition calculation unit 124 are connected. The SDRAM 106 is a storage unit that temporarily stores various data such as image data obtained by the A / D conversion unit 104 and image data processed by the image processing unit 107 and the image compression / decompression unit 110.

画像処理部107は、画像データのホワイトバランス(WB)補正処理を行うWB補正部1071と、ベイヤー配列による画像データから画素ごとにRGB情報を有する画像データヘ同時化処理を行う同時化処理部1072と、例えばガンマ補正など色に関する各種調整を行う色再現処理部1073と、コアリング処理等を行うことでノイズを低減させるノイズ低減(NR)処理部1074とを含む。画像処理部107は、SDRAM106に記憶されている画像データを読み出し、各種の画像処理を行う。処理後の画像データは再びSDRAM106に記憶される。   The image processing unit 107 includes a WB correction unit 1071 that performs white balance (WB) correction processing of image data, and a synchronization processing unit 1072 that performs synchronization processing from image data based on the Bayer array to image data having RGB information for each pixel. For example, a color reproduction processing unit 1073 that performs various color-related adjustments such as gamma correction, and a noise reduction (NR) processing unit 1074 that reduces noise by performing coring processing or the like are included. The image processing unit 107 reads image data stored in the SDRAM 106 and performs various image processing. The processed image data is stored in the SDRAM 106 again.

AE処理部108は、画像データを用いて被写体輝度を算出する。更にAE処理部108は、算出した被写体輝度に基づいて、撮影時ISO感度、絞り、シャッター速度等を決定する。被写体輝度を算出するためのデータは、専用の測光センサの出力であってもよい。AF処理部109は、画像データから高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してAF用の合焦評価値を取得する。また、この際AF処理部109は、画像における合焦点の位置情報を取得する。   The AE processing unit 108 calculates subject luminance using the image data. Further, the AE processing unit 108 determines the ISO sensitivity during shooting, the aperture, the shutter speed, and the like based on the calculated subject luminance. The data for calculating the subject brightness may be an output of a dedicated photometric sensor. The AF processing unit 109 extracts high-frequency component signals from the image data, integrates the extracted high-frequency component signals, and acquires a focus evaluation value for AF. At this time, the AF processing unit 109 acquires position information of the focal point in the image.

画像圧縮展開部110は、画像データの記録時に、SDRAM106からRGB情報を有する画像データを読み出し、例えばJPEG圧縮方式等、所定の方式に従ってデータの圧縮を行う。圧縮された画像データはSDRAM106に一旦記憶された後、メモリI/F111を介して記録媒体112に記録される。ここで、記録媒体112は、例えばカメラ本体に着脱可能なメモリカードからなる記録媒体であり、特に限定されるものではない。また、画像圧縮展開部110は、画像データの再生時に、記録媒体112に記録されている圧縮された画像データを伸長する。液晶ディスプレイ(LCD)114は、LCDドライバ113の制御の下、例えば前記伸張された画像データを表示する。   The image compression / decompression unit 110 reads image data having RGB information from the SDRAM 106 when image data is recorded, and compresses the data according to a predetermined method such as a JPEG compression method. The compressed image data is temporarily stored in the SDRAM 106 and then recorded on the recording medium 112 via the memory I / F 111. Here, the recording medium 112 is, for example, a recording medium including a memory card that can be attached to and detached from the camera body, and is not particularly limited. The image compression / decompression unit 110 decompresses the compressed image data recorded on the recording medium 112 when the image data is reproduced. A liquid crystal display (LCD) 114 displays the decompressed image data, for example, under the control of the LCD driver 113.

マイクロコンピュータ115は、カメラ本体の各種シーケンスを統括的に制御する。マイクロコンピュータ115には、操作部116、Flashメモリ117が接続されている。操作部116は、例えば電源ボタン、レリーズボタン、各種キー入力等の操作部材等である。ユーザにより操作部116が操作されると、マイクロコンピュータ115は、操作部116からの信号を受けて各種シーケンスを実行する。   The microcomputer 115 comprehensively controls various sequences of the camera body. An operation unit 116 and a flash memory 117 are connected to the microcomputer 115. The operation unit 116 is, for example, an operation member such as a power button, a release button, and various key inputs. When the operation unit 116 is operated by the user, the microcomputer 115 receives signals from the operation unit 116 and executes various sequences.

Flashメモリ117には、例えば、プリセットWB補正用のホワイトバランス補正係数、ローパスフィルタ係数等の各種パラメータ、マイクロコンピュータ115にて実行する各種プログラム等が記憶されている。また、Flashメモリ117には、ぼけ特性データ記憶エリア117aが形成されている。このぼけ特性データ記憶エリア117aには、ぼけ特性データDが記憶されている。このぼけ特性データDは、基準点からの距離と、撮像した画像に付加するぼけの強度(画像をぼかす程度)との関係に関するデータからなる。ここで、ぼけ特性データDの一例を図2に示す。画像に付加するぼけの強度(画像をぼかす程度)は、合焦している注目被写体を基準点とし、得られた画像の平面における基準点から距離に応じて変化させる。また、画像に付加するぼけの強度(画像をぼかす程度)は、当該撮像装置から注目被写体までの実空間における距離に応じて変化させる。図2における曲線A、B及びCは、画像平面における基準点からの距離に対するぼけの強度の関係(以下「ぼけ特性」と称する)を表す。Flashメモリ117には、曲線A、B及びCに示した関係であるであるぼけ特性データDが離散データとして保存されている。ぼけ特性データDは、基準点である注目被写体では画像にぼけを付加せず(画像をぼかす処理を行わず)、得られた画像中における基準点からの距離が大きくなるに従って、付加するぼけの強度は強くなる(画像をぼかす程度を大きくする)特性を有する。ここで、曲線A、B及びCは、それぞれ撮像装置から注目被写体までの実空間における距離が異なる場合のぼけ特性を示す。例えば、曲線Aは注目被写体が無限遠の場合のぼけ特性であり、曲線Bは注目被写体との距離が基準距離(例えば2m等)に対するぼけ特性であり、曲線Cは注目被写体との距離が至近(例えば50cm等)に対するぼけ特性である。この図に示す様に、画像に付加するぼけの強度(画像をぼかす程度)は、得られた画像中における基準点からの距離が等しい場合、撮像装置から注目被写体までの実空間における距離が近い程、強くなる関係にある。 The flash memory 117 stores various parameters such as a white balance correction coefficient for preset WB correction and a low-pass filter coefficient, various programs executed by the microcomputer 115, and the like. The flash memory 117 has a blur characteristic data storage area 117a. The blur characteristic data storage area 117a, blur characteristic data D f are stored. The blur characteristic data D f is the distance from the reference point, and a data on the relationship between the intensity of blur to be added to the image captured (the degree of blurring the image). Here, an example of a blur characteristic data D f in FIG. The intensity of the blur added to the image (the degree to which the image is blurred) is changed according to the distance from the reference point on the plane of the obtained image, with the focused subject in focus as the reference point. In addition, the intensity of blur added to the image (the degree to which the image is blurred) is changed according to the distance in real space from the imaging device to the subject of interest. Curves A, B, and C in FIG. 2 represent the relationship of the blur intensity to the distance from the reference point on the image plane (hereinafter referred to as “blur characteristic”). Flash in the memory 117, the curve A, it is a relation shown in B and C blur characteristic data D f are stored as discrete data. The blur characteristic data D f, with the target subject is the reference point without adding the blurred image (without processing to blur the image), the distance from the reference point in the obtained image increases, adding blur Has a characteristic of increasing the intensity (increasing the degree of blurring of the image). Here, the curves A, B, and C indicate the blur characteristics when the distances in the real space from the imaging device to the subject of interest are different. For example, the curve A is a blur characteristic when the subject of interest is at infinity, the curve B is a blur characteristic with respect to a reference distance (for example, 2 m, etc.), and the curve C is close to the subject of interest. This is a blur characteristic with respect to (for example, 50 cm). As shown in this figure, when the distance from the reference point in the obtained image is the same as the intensity of the blur added to the image (the degree of blurring the image), the distance in the real space from the imaging device to the subject of interest is close. The stronger the relationship.

マイクロコンピュータ115は、Flashメモリ117に記憶されているプログラムに従って各種シーケンスを制御し、またFlashメモリ117から各種シーケンスに必要なパラメータを読み込み、図1の各ブロックに対して指令を出す。   The microcomputer 115 controls various sequences according to a program stored in the flash memory 117, reads parameters necessary for the various sequences from the flash memory 117, and issues commands to the blocks in FIG.

ぼけ処理部120は、ぼけ特性決定部122と、ぼけ付加演算部124とを有する。ぼけ特性決定部122は、撮影時の条件、例えば被写体距離演算部212が算出した被写体距離等に応じて、Flashメモリ117に記憶されている、基準点からの距離とぼけ強度の関係に基づいて、画像中の位置と付加するぼけの強度の関係を決定する。   The blur processing unit 120 includes a blur characteristic determination unit 122 and a blur addition calculation unit 124. The blur characteristic determining unit 122 is based on the relationship between the distance from the reference point and the blur intensity stored in the flash memory 117 according to the shooting condition, for example, the subject distance calculated by the subject distance calculating unit 212. The relationship between the position in the image and the intensity of the blur to be added is determined.

ぼけ付加演算部124は、ぼけ特性決定部122が決定した画像中の位置と付加するぼけの強度の関係に基づいて、例えばローパスフィルタリング処理等を行い、画像にぼけを付加する。   The blur addition calculation unit 124 performs, for example, a low-pass filtering process based on the relationship between the position in the image determined by the blur characteristic determination unit 122 and the intensity of the blur to be added, and adds blur to the image.

以上の様に、例えば撮像素子102、アナログ処理部103、A/D変換部104等は全体で撮像手段として機能し、例えば被写体距離演算部212は距離取得手段として機能し、例えばAF処理部109は位置情報取得手段及び合焦対象被写体追従手段として機能し、例えばFlashメモリ117はぼけデータ記憶手段として機能し、例えばぼけ付加演算部124はボケ処理手段として機能する。   As described above, for example, the imaging device 102, the analog processing unit 103, the A / D conversion unit 104, and the like function as an imaging unit as a whole, and the subject distance calculation unit 212 functions as a distance acquisition unit, for example, an AF processing unit 109. Functions as a position information acquisition unit and a focus target subject tracking unit, for example, the flash memory 117 functions as a blur data storage unit, and for example, the blur addition calculation unit 124 functions as a blur processing unit.

次に、本実施形態に係る撮像装置の動作、特にぼけ処理に係る動作について図面を参照して説明する。ぼけ処理に係る動作以外は従来の撮像装置と同様である。まず、本実施形態に係る撮像装置の撮像動作の例を示すフローチャートを図3に示す。   Next, the operation of the imaging apparatus according to the present embodiment, particularly the operation related to the blur processing will be described with reference to the drawings. Except for the operation related to the blur processing, the operation is the same as that of the conventional imaging apparatus. First, FIG. 3 shows a flowchart showing an example of the imaging operation of the imaging apparatus according to the present embodiment.

ステップS110において、撮像素子102、アナログ処理部103及びA/D変換部104の動作により画像データが取得される。また、AE処理部108は、測光センサ等から得た情報に基づいて、カメラ本体100のFlasメモリ117に予め記録されている露出条件決定テーブルを用いて、撮影時ISO感度、絞り、シャッター速度等を決定する。レンズドライバ206は、マイクロコンピュータ115及びレンズマイクロコンピュータ204の制御の下、レンズ202を駆動し、フォーカス位置を変更する。それと同時にAF処理部109は、画像データから高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してAF用の合焦評価値を算出し、最も合焦評価値が高い位置を決定する。レンズドライバ206は、AF処理部109が決定した合焦評価値に基づいて、合焦評価値が高い位置にレンズのフォーカス位置を設定する。   In step S <b> 110, image data is acquired by the operations of the image sensor 102, the analog processing unit 103, and the A / D conversion unit 104. Further, the AE processing unit 108 uses the exposure condition determination table pre-recorded in the flash memory 117 of the camera body 100 based on information obtained from the photometric sensor or the like, and at the time of shooting, the ISO sensitivity, aperture, shutter speed, etc. To decide. The lens driver 206 drives the lens 202 under the control of the microcomputer 115 and the lens microcomputer 204 to change the focus position. At the same time, the AF processing unit 109 extracts high-frequency component signals from the image data, integrates the extracted high-frequency component signals, calculates a focus evaluation value for AF, and determines a position with the highest focus evaluation value. . The lens driver 206 sets the focus position of the lens at a position where the focus evaluation value is high based on the focus evaluation value determined by the AF processing unit 109.

この際AF処理部109は、合焦している注目被写体の画像平面における位置情報を取得する。   At this time, the AF processing unit 109 acquires position information on the image plane of the focused subject in focus.

更に、被写体距離演算部212は、レンズFlashメモリ210に予め記憶されているレンズ202を構成する各レンズの位置と合焦する被写体との距離の関係を参照し、レンズドライバ206が設定するレンズ202の位置に基づいて当該撮像装置と注目被写体との距離である被写体距離を算出する。ただし、合焦に失敗した場合には、予め設定した基準距離を被写体距離とする。決定した撮影時ISO感度、絞り、シャッター速度等に基づいて、マイクロコンピュータ115の制御の下、当該撮像装置は撮影を実施する。その際、静止画撮影の場合はメカシャッター101を駆動させ、それ以外の場合、即ち動画撮影及びライブビュー実行の場合は撮像素子102の電子シャッターを使用する。   Further, the subject distance calculation unit 212 refers to the relationship between the position of each lens constituting the lens 202 stored in advance in the lens flash memory 210 and the distance to the subject to be focused, and the lens 202 set by the lens driver 206. The subject distance, which is the distance between the imaging device and the subject of interest, is calculated based on the position of the subject. However, if focusing fails, a preset reference distance is set as the subject distance. Based on the determined ISO sensitivity during shooting, aperture, shutter speed, and the like, the imaging apparatus performs shooting under the control of the microcomputer 115. At that time, in the case of still image shooting, the mechanical shutter 101 is driven, and in other cases, that is, in the case of moving image shooting and live view execution, the electronic shutter of the image sensor 102 is used.

ステップS120において画像処理部107は、撮影により得られたRAWデータを、例えばYCbCrデータに変換する等、前記の各種画像処理を実施する。ここではYCbCrデータとしたがRGBデータに変換しても良い。ステップS130においてマイクロコンピュータ115は、カメラの設定がぼけ付加モードか否かを判定する。この判定の結果、ぼけ付加モードでなければステップS160に移る。   In step S <b> 120, the image processing unit 107 performs the above-described various image processing such as converting RAW data obtained by photographing into YCbCr data, for example. Although YCbCr data is used here, it may be converted into RGB data. In step S130, the microcomputer 115 determines whether the camera setting is in the blur addition mode. If the result of this determination is that there is no blur addition mode, the process moves to step S160.

一方、ぼけ付加モードであれば、ステップS140においてぼけ特性決定部122は、Flashメモリ117に記憶されている、図2に示す様な基準点からの距離とぼけの強度の関係であるぼけ特性データDと、ステップS110で算出した被写体距離とに基づいて、画像中の位置と付加するぼけの強度の関係を決定する。 On the other hand, in the blur addition mode, in step S140, the blur characteristic determination unit 122 stores the blur characteristic data D that is stored in the flash memory 117 and is the relationship between the distance from the reference point and the blur intensity as illustrated in FIG. Based on f and the subject distance calculated in step S110, the relationship between the position in the image and the intensity of the blur to be added is determined.

このぼけ特性決定部122では、Flashメモリ117に保存されているぼけ特性データDのうち、被写体距離が一致するぼけ特性がある場合にはそのぼけ特性を読み出す。被写体距離が一致するぼけ特性が保存されていない場合、ぼけ特性決定部122は、保存されているぼけ特性のうち最も近い2つのぼけ特性データを読み込み、それらを用いて線形補間でぼけ特性を算出し、次に、ぼけ特性データDの離散データを、例えばスプライン補完で補完し、滑らかな特性を得る。 The blur characteristic determining unit 122 reads out the blur characteristic of the blur characteristic data D f stored in the flash memory 117 when there is a blur characteristic that matches the subject distance. When the blur characteristic with the same subject distance is not stored, the blur characteristic determination unit 122 reads the two closest blur characteristic data among the stored blur characteristics, and uses them to calculate the blur characteristic by linear interpolation. and, then, the discrete data of blur characteristic data D f, for example, complemented with splines complementing, obtain a smooth characteristic.

このぼけ特性の算出は、ライブビュー時や動画撮影時において、被写体距離が所定の値以上に変化しない場合、ぼけ特性を更新せず維持するように制御しても良い。この際、例えばFlashメモリ117に保存されているぼけ特性のうち、被写体との距離に最も近いぼけ特性を利用するように制御しても良い。或いは、当該撮像装置の合焦可能範囲を互いに重複しない距離別の複数の合焦距離範囲に分割し、ぼけ特性と合焦距離範囲とを関連付けてFlashメモリ117に保存しておき、被写体との距離に基づき該当するぼけ特性を用いて制御しても良い。この様な制御により、演算量を削減することができ、処理の高速化を実現できる。また、距離算出誤差によって発生するぼけ特性の微小変化を防ぐことができる。   The calculation of the blur characteristic may be controlled so that the blur characteristic is maintained without being updated when the subject distance does not change to a predetermined value or more during live view or moving image shooting. At this time, for example, among the blur characteristics stored in the flash memory 117, the blur characteristics closest to the distance to the subject may be used. Alternatively, the in-focus range of the imaging apparatus is divided into a plurality of in-focus distance ranges that do not overlap each other, and the blur characteristics and the in-focus distance range are associated with each other and stored in the flash memory 117, and Control may be performed using a corresponding blur characteristic based on the distance. By such control, the amount of calculation can be reduced and the processing speed can be increased. Further, it is possible to prevent a minute change in the blur characteristic caused by the distance calculation error.

次に、ステップS150においてぼけ付加演算部124は、該画像内の各画素に対して、ローパスフィルタリング処理を行い、該画像にぼけを付加する(該画像をぼかす処理を実施する)。このとき、ぼけの強度は、ステップS140で決定したぼけ特性に基づき、基準点は、ステップS110においてAF処理部109が取得した画像平面における合焦点とする。ローパスフィルタ係数は予め複数用意してあり、ローパスフィルタ係数を変えてローパスフィルタリング処理を行うことで、様々なぼけ量を作成する。ここで、画像へのぼけの付加(画像をぼかす処理)を、同時化処理部1072による同時化処理の実施前に行うと、同時化処理において偽色が生じることがある。従ってぼけの付加は同時化処理後に行い、この偽色を防止する。   Next, in step S150, the blur addition calculation unit 124 performs a low-pass filtering process on each pixel in the image, and adds blur to the image (performs the process of blurring the image). At this time, the blur intensity is based on the blur characteristic determined in step S140, and the reference point is a focal point on the image plane acquired by the AF processing unit 109 in step S110. A plurality of low-pass filter coefficients are prepared in advance, and various blur amounts are created by performing low-pass filtering processing by changing the low-pass filter coefficients. Here, if the blur is added to the image (processing for blurring the image) before the synchronization processing by the synchronization processing unit 1072 is performed, a false color may be generated in the synchronization processing. Therefore, blur is added after the synchronization processing to prevent this false color.

この様にして作成されるぼけ付加が施された画像の例の概略を図4に示す。図4(a)及び(b)において、共に注目被写体は人物であり、人物の位置に合焦されている。従って、図4(a)及び(b)において基準点は人物の位置である。当該撮像装置と人物との距離は、図4(a)の場合は相対的に遠く、図4(b)の場合には相対的に近い。従って、図4(a)の場合には、例えば図2における曲線Aの特性が用いられ、図4(b)の場合には、例えば図2における曲線Cの特性が用いられる。その結果、図4(a)の場合には図示する様に、注目被写体である人物に合焦し、その周囲のぼけは比較的弱い。そして、画像データ上、人物からある程度はなれても、ぼけは比較的弱い。これに対して、図4(b)の場合には図示する様に、注目被写体である人物に合焦し、その周囲のぼけは比較的強い。そして、画像データ上、人物から離れると急激にぼけが強くなる。   FIG. 4 shows an outline of an example of an image to which blur addition is made in this way. In FIGS. 4A and 4B, the subject of interest is a person and is focused on the position of the person. Therefore, in FIGS. 4A and 4B, the reference point is the position of the person. The distance between the imaging device and the person is relatively long in the case of FIG. 4A and relatively close in the case of FIG. Therefore, in the case of FIG. 4A, for example, the characteristic of the curve A in FIG. 2 is used, and in the case of FIG. 4B, for example, the characteristic of the curve C in FIG. As a result, in the case of FIG. 4 (a), as shown in the figure, the person who is the subject of interest is focused, and the blur around it is relatively weak. The blur is relatively weak even if it is somewhat distant from the person in the image data. On the other hand, in the case of FIG. 4B, as shown in the figure, the person who is the subject of interest is focused, and the blur around it is relatively strong. Then, in the image data, the blur suddenly becomes stronger when the user is away from the person.

次に、ステップS160においてマイクロコンピュータ115は、生成した画像を、LCDドライバ113を介してLCD114に表示させる。ステップS170においてマイクロコンピュータ115は、当該撮像装置は動画記録中であるか、又は静止画を撮影したか否かを判定する。この判定において、動画記録中であるか否かは、動画記録モードにおいて動画記録ボタンが押されてから再度押されるまでは動画記録中であり、それ以外では動画記録中ではないと判定する。また、静止画を撮影したか否かは、静止画撮影モードにおいてレリーズボタンが押された場合には静止画を撮影したと判定し、それ以外の場合には撮影していないと判定する。この判定の結果、動画記録中ではない若しくは静止画を撮影していないと判定されたら、処理を終了する。   In step S <b> 160, the microcomputer 115 displays the generated image on the LCD 114 via the LCD driver 113. In step S170, the microcomputer 115 determines whether the imaging apparatus is recording a moving image or has taken a still image. In this determination, whether or not moving images are being recorded is determined as moving images are being recorded from when the moving image recording button is pressed to when it is pressed again in the moving image recording mode, and otherwise moving images are not being recorded. Whether or not a still image has been photographed is determined to have been photographed when the release button is pressed in the still image photographing mode, and not photographed otherwise. As a result of this determination, if it is determined that the moving image is not being recorded or a still image is not being photographed, the processing is terminated.

ステップS170の判定の結果、動画記録中である若しくは静止画を撮影していると判定されたら、ステップS180においてマイクロコンピュータ115は、画像圧縮展開部110に、生成した画像を例えばJPEG形式で圧縮させる。例えば静止画の場合にはJPEGファイルを作成し、動画の場合にはMotionJPEGファイルを作成する。そして、マイクロコンピュータ115は、作成したファイルをメモリI/F111を介して記録媒体112に記録させる。尚、記録形式はJPEG形式に限らず、TIFF形式やH.264形式等を用いても良い。   As a result of the determination in step S170, if it is determined that a moving image is being recorded or a still image is being shot, in step S180, the microcomputer 115 causes the image compression / decompression unit 110 to compress the generated image in, for example, JPEG format. . For example, a JPEG file is created for a still image, and a Motion JPEG file is created for a moving image. The microcomputer 115 records the created file on the recording medium 112 via the memory I / F 111. Note that the recording format is not limited to the JPEG format, but the TIFF format or H.264 format. H.264 format or the like may be used.

本実施形態の撮像装置によれば、レンズに依存せずに適切なぼけ具合、例えば合焦している注目被写体を基準とし、画像データ上の平面における基準点からの距離に応じてぼけの強度を変化させる様なぼけ具合を効果的に付加した美観を起こさせるような画像を取得することができる。撮影後に例えばパーソナルコンピュータを用いて画像処理をするのと異なり、撮影時にぼけ具合をLCD114で確認しつつ撮影を行うことができる。その際、付加するぼけの強度は、画像上における合焦点からの距離に応じ、また、被写体距離までの実空間における距離にも応じるので、レンズに依らずに大口径のレンズを用いて撮影したような自然な美しいぼけを画像上に実現することができる。また本実施形態によれば、オートフォーカスによる合焦と連動して処理を行うため、動画に対しても同様な効果を得ることができ、更に合焦点にまでぼけが付加される恐れがない。   According to the imaging apparatus of the present embodiment, an appropriate degree of blur without depending on the lens, for example, the focused subject as a reference, and the blur intensity according to the distance from the reference point on the plane on the image data. It is possible to acquire an image that causes an aesthetic appearance that effectively adds a blur condition that changes the image quality. Unlike image processing using, for example, a personal computer after shooting, shooting can be performed while checking the degree of blur on the LCD 114 during shooting. At that time, the intensity of the blur to be added depends on the distance from the focal point on the image and also on the distance in the real space up to the subject distance, so the image was taken using a large-diameter lens without depending on the lens. Such natural beautiful blur can be realized on the image. In addition, according to the present embodiment, since processing is performed in conjunction with focusing by autofocus, a similar effect can be obtained for moving images, and there is no possibility of adding blur to the focal point.

以下、本実施形態に係る撮像装置の変形例を説明する。ここでは、第1の実施形態との相違点について説明する。   Hereinafter, modifications of the imaging device according to the present embodiment will be described. Here, differences from the first embodiment will be described.

第1の変形例は、ぼけの付加方法が第1の実施形態と異なる。第1の実施形態では、ステップS150において、ステップS140で求めたぼけ特性に応じたローパス処理を各画素に対して行っている。これに対して本変形例では、以下の手順でぼけを付加した画像を作成する。即ち、ステップS120で得られた画像(「元画像」と称する)に、画像全体に均一なローパスフィルタリング処理を施した画像(「ぼけ画像」と称する)を作成する。ここで合焦点を基準点とし、図5に示す様に基準点から距離が離れるほど0に近づく所定の値αを用意しておく。そしてこの値αを用いて、各画素に関して(α×[元画像データ]+(1−α)×[ぼけ画像データ])を演算し、画像中の位置に応じてぼけ量の重みが異なる画素値を算出する。本処理により、合焦点は常にαが0となるためぼけが付加されず、合焦点から距離が離れるほどぼけが強くなる画像を取得することができる。本変形例によれば、演算量を削減することができ、ぼけ付加処理を高速化できる。   The first modification is different from the first embodiment in the method of adding blur. In the first embodiment, in step S150, low-pass processing corresponding to the blur characteristic obtained in step S140 is performed on each pixel. On the other hand, in the present modification, an image with blur is created by the following procedure. That is, an image (referred to as a “blurred image”) obtained by performing uniform low-pass filtering on the entire image (referred to as “original image”) obtained in step S120 is created. Here, using the focal point as a reference point, a predetermined value α that approaches 0 as the distance from the reference point increases as shown in FIG. 5 is prepared. Then, using this value α, (α × [original image data] + (1−α) × [blurred image data]) is calculated for each pixel, and the weight of the blur amount varies depending on the position in the image. Calculate the value. With this processing, since α is always 0 at the in-focus point, blur is not added, and an image that becomes more blurred as the distance from the in-focus point increases can be acquired. According to the present modification, the amount of calculation can be reduced, and the blur addition process can be speeded up.

次に第2の変形例を説明する。一般に、合焦点より撮像装置に近い部分のぼけは大きく、遠い部分のぼけは小さい。そこで第2の変形例では、合焦点を基準点とし、基準点より撮像装置に近い側(例えば画像における下側)と基準点より撮像装置から遠い側(例えば画像における上側)に関して、それぞれ対応するボケ特性を用意し、それをFlashメモリ117に保存しておく。そしてそれらぼけ特性を使い分けてぼけ付加を行う。これにより、所謂「前ぼけ」と「後ぼけ」に違いがある、自然なぼけを実現できる。   Next, a second modification will be described. In general, the blur closer to the imaging device than the focal point is large, and the blur far away is small. Therefore, in the second modification, the focal point is used as a reference point, and the side closer to the imaging device than the reference point (for example, the lower side in the image) and the side farther from the imaging device than the reference point (for example, the upper side in the image) correspond respectively. A blur characteristic is prepared and stored in the flash memory 117. Then, blur is added by properly using these blur characteristics. Thereby, a natural blur having a difference between so-called “front blur” and “back blur” can be realized.

次に第3の変形例を説明する。第1の実施形態では合焦点を基準点とし、画像平面上における基準点からの距離に応じて強度が異なるぼけを画像に付加している。これに対して、本変形例では、画像平面上における基準点を通る水平な基準線を形成し、基準線からの距離に応じて強度が異なるぼけを画像に付加する。即ち、基準線から、画像平面上垂直方向に離れるに従い、ぼけの強度が異なる画像を作成する。これは一般的な撮影条件において、取得した画像における垂直方向の各被写体から撮像装置までの実空間の距離の差は、取得した画像における水平方向の各被写体から撮像装置までの実空間の距離の差よりも大きいことが多いためである。この様に処理することで演算量を削減することができ、処理の高速化を実現できる。この際、縦位置又は横位置などの撮像装置の姿勢を検知する機能を当該撮像装置に付加して、この検知結果を用いて前記垂直方向を決定するようにしても良い。   Next, a third modification will be described. In the first embodiment, a focal point is used as a reference point, and blurs having different intensities according to the distance from the reference point on the image plane are added to the image. On the other hand, in the present modification, a horizontal reference line passing through the reference point on the image plane is formed, and blurs having different intensities according to the distance from the reference line are added to the image. That is, as the distance from the reference line increases in the vertical direction on the image plane, images with different blur intensities are created. This is because, under general shooting conditions, the difference in the real space distance from each subject in the vertical direction to the imaging device in the acquired image is the difference in the real space distance from each subject in the horizontal direction in the acquired image to the imaging device. This is because it is often larger than the difference. By processing in this way, the amount of calculation can be reduced, and the processing speed can be increased. At this time, a function of detecting the orientation of the imaging apparatus such as the vertical position or the horizontal position may be added to the imaging apparatus, and the vertical direction may be determined using the detection result.

次に第4の変形例を説明する。本変形例ではレンズの種類(例えば魚眼、標準、望遠等)ごとに対応するぼけ特性セットを用意してレンズFlashメモリ210に保存しておき、それを読み出してぼけの付加を実施する。また、レンズの焦点距離に応じたぼけ特性セットをFlashメモリ117に用意しておき、レンズFlashメモリ210には当該レンズの焦点距離を記憶しておいても良い。また、ズームレンズにおいては、撮影時のレンズの焦点距離を取得し、レンズの焦点距離毎に用意したぼけ特性セットを用いてぼけの付加を実施しても良い。更に、撮影時の絞り値を取得し、絞り値毎に用意したぼけ特性セットを用いてぼけの付加を実施しても良い。   Next, a fourth modification will be described. In this modification, a blur characteristic set corresponding to each lens type (for example, fisheye, standard, telephoto, etc.) is prepared and stored in the lens flash memory 210, and is read out to add blur. Also, a blur characteristic set corresponding to the focal length of the lens may be prepared in the flash memory 117, and the focal length of the lens may be stored in the lens flash memory 210. In the zoom lens, the focal length of the lens at the time of shooting may be acquired, and blur may be added using a blur characteristic set prepared for each focal length of the lens. Further, the aperture value at the time of photographing may be acquired, and blurring may be performed using a blur characteristic set prepared for each aperture value.

次に第5の変形例を説明する。第1の実施形態では図2に示す様に、ぼけ特性は、曲線Aは無限遠に対するぼけ特性、曲線Bは基準距離(例えば2m等)に対するぼけ特性、曲線Cは至近(例えば50cm等)に対するぼけ特性とした。即ち、合焦点が遠い程、付加するぼけの強度を弱く、合焦点が近い程、付加するぼけの強度を強くした。これに対して、本変形例では、曲線Aを至近に対するぼけ特性、曲線Bを基準距離に対するぼけ特性、曲線Cを無限遠に対するぼけ特性とする。すると、光学的に発生するぼけと本処理により付加されるぼけとを合せたぼけの強度が常に比較的強くなるため、距離に応じず望遠レンズやマクロレンズで撮影した様な被写界深度が浅いレンズ効果を得ることができる。その結果ティルトレンズを用いて撮影した様な、ミニチュア写真風の画像を取得できる。   Next, a fifth modification will be described. In the first embodiment, as shown in FIG. 2, the blur characteristics are as follows: curve A is a blur characteristic with respect to infinity, curve B is a blur characteristic with respect to a reference distance (for example, 2 m), and curve C is with respect to a close distance (for example, 50 cm). The blur characteristics were used. That is, the farther the focal point is, the weaker the blur intensity is added, and the closer the focal point is, the stronger the blur intensity is added. On the other hand, in this modification, the curve A is a blur characteristic with respect to the closest distance, the curve B is a blur characteristic with respect to the reference distance, and the curve C is a blur characteristic with respect to infinity. As a result, the intensity of the blur that combines the optically generated blur and the blur added by this processing is always relatively strong, so that the depth of field as captured with a telephoto lens or a macro lens can be obtained regardless of the distance. A shallow lens effect can be obtained. As a result, it is possible to obtain a miniature photographic-like image that was taken using a tilt lens.

以上、5つの変形例はそれぞれ独立に用いられるに限られるわけではなく、当然それぞれの変形例を適宜組み合わせても良い。尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。   As described above, the five modified examples are not limited to being used independently, and naturally, the modified examples may be appropriately combined. Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiment, the problem described in the column of problems to be solved by the invention can be solved and the effect of the invention can be obtained. The configuration in which this component is deleted can also be extracted as an invention.

100…カメラ本体、101…メカシャッター、102…撮像素子、103…アナログ処理部、104…A/D変換部、105…バス、106…SDRAM、107…画像処理部、1071…WB補正部、1072…同時化処理部、1073…色再現処理部、1074…ノイズ低減(NR)処理部、108…AE処理部、109…AF処理部、110…画像圧縮展開部、111…メモリI/F、112…記録媒体、113…液晶ディスプレイ(LCD)ドライバ、114…LCD、115…マイクロコンピュータ、116…操作部、117…Flashメモリ、117a…ぼけ特性データ記憶エリア、120…ぼけ処理部、122…ぼけ特性決定部、124…ぼけ付加演算部、150…I/F、200…交換式レンズ、202…レンズ、204…レンズドライバ、206…レンズマイクロコンピュータ、208…レンズFlashメモリ、210…被写体距離演算部、212…絞り、D…ぼけ特性データ。 DESCRIPTION OF SYMBOLS 100 ... Camera body, 101 ... Mechanical shutter, 102 ... Image sensor, 103 ... Analog processing part, 104 ... A / D conversion part, 105 ... Bus, 106 ... SDRAM, 107 ... Image processing part, 1071 ... WB correction part, 1072 ... Synchronization processing unit, 1073 ... Color reproduction processing unit, 1074 ... Noise reduction (NR) processing unit, 108 ... AE processing unit, 109 ... AF processing unit, 110 ... Image compression / decompression unit, 111 ... Memory I / F, 112 DESCRIPTION OF SYMBOLS ... Recording medium, 113 ... Liquid crystal display (LCD) driver, 114 ... LCD, 115 ... Microcomputer, 116 ... Operation part, 117 ... Flash memory, 117a ... Blur characteristic data storage area, 120 ... Blur processing part, 122 ... Blur characteristic Determination unit 124... Blur addition calculation unit 150 .. I / F 200. Interchangeable lens 202. ... lens driver 206 ... lens microcomputer, 208 ... lens Flash memory, 210 ... object distance calculation unit, 212 ... aperture, D f ... blur characteristic data.

Claims (8)

被写体を撮像して撮像データを取得する撮像手段と、
前記撮像データに基づく画像平面上における合焦対象とする注目被写体の被写体位置の情報を取得する位置情報取得手段と、
前記被写体位置を基準として、前記画像平面上の距離に応じて、前記撮像された画像をぼかす処理を行う場合のぼけの強度を表すぼけ特性データを記憶するぼけデータ記憶手段と、
前記位置情報取得手段により得られた前記被写体位置と、前記ぼけデータ記憶手段に記憶されている前記ぼけ特性データとに従って、前記被写体位置からの前記画像平面上の距離に応じたぼけ処理を前記撮像データに基づく画像に対して行うぼけ処理手段と、
を具備し、
前記ぼけデータ記憶手段は、実空間において前記注目被写体よりも近い側のための前記ぼけ特性データと遠い側のための前記ぼけ特性データとを記憶する、
ことを特徴とする撮像装置。
Imaging means for imaging a subject and acquiring imaging data;
Position information acquisition means for acquiring information of a subject position of a subject of interest as a focusing target on an image plane based on the imaging data;
Blur data storage means for storing blur characteristic data representing the intensity of blur when performing the process of blurring the captured image according to the distance on the image plane with respect to the subject position;
In accordance with the subject position obtained by the position information acquisition unit and the blur characteristic data stored in the blur data storage unit, a blur process according to a distance on the image plane from the subject position is captured. Blur processing means for the image based on the data;
Equipped with,
The blur data storage means stores the blur characteristic data for a side closer to the subject of interest in real space and the blur characteristic data for a far side.
An imaging apparatus characterized by that.
前記ぼけ処理手段は、前記画像平面上における前記被写体位置を通る水平な基準線からの距離に応じて前記画像における前記基準線の上下を前記ぼけデータ記憶手段から読み出された前記ぼけの強度に応じて前記ぼけ処理をすることを特徴とする請求項1に記載の撮像装置。 The blur processing means has the blur intensity read from the blur data storage means up and down the reference line in the image according to a distance from a horizontal reference line passing through the subject position on the image plane. depending on the imaging apparatus according to claim 1, characterized in that the blur processing. 当該撮像装置から前記注目被写体までの実空間距離を取得する距離取得手段を更に具備し、
前記ぼけデータ記憶手段は、前記実空間距離の差異に応じた複数の前記ぼけ特性データを記憶する、
ことを特徴とする請求項1または2に記載の撮像装置。
Further comprising distance acquisition means for acquiring a real space distance from the imaging device to the subject of interest;
The blur data storage means stores a plurality of the blur characteristic data according to the difference in the real space distance.
The imaging apparatus according to claim 1 or 2, wherein
前記撮像データを取得するときに移動する前記合焦対象とする前記注目被写体を追従して前記注目被写体に合焦させる合焦対象被写体追従手段を更に具備し、
前記注目被写体の移動に伴う合焦の変化に応じて前記距離取得手段は、当該撮像装置から前記注目被写体までの実空間距離の情報を更新し、
前記注目被写体の移動に伴う合焦の変化に応じて前記位置情報取得手段は、前記画像平面上における前記注目被写体の位置の情報を更新する、
ことを特徴とする請求項3に記載の撮像装置。
A focusing target subject tracking unit that tracks the target subject that is the focus target that moves when acquiring the imaging data and focuses the target subject;
The distance acquisition unit updates information on a real space distance from the imaging device to the target subject according to a change in focus accompanying the movement of the target subject,
The position information acquisition unit updates information on the position of the target subject on the image plane in accordance with a change in focus accompanying the movement of the target subject.
The imaging apparatus according to claim 3.
当該撮像装置の合焦可能範囲は互いに重複しない距離別の複数の合焦距離範囲に分割されており、
前記ぼけデータ記憶手段は、前記各合焦距離範囲に関連付けられた前記ぼけ特性データを記憶し、
前記ぼけ処理手段は、
前記当該撮像装置から前記注目被写体までの実空間距離が含まれる前記合焦距離範囲を選択し、
前記合焦距離範囲と関連付けられている前記ぼけ特性データに従って前記画像に対して前記ぼけ処理をする、
ことを特徴とする請求項3または4に記載の撮像装置。
The focusable range of the imaging device is divided into a plurality of focus distance ranges according to distances that do not overlap each other,
The blur data storage means stores the blur characteristic data associated with each focus distance range,
The blur processing means is
Selecting the in-focus distance range including a real space distance from the imaging device to the subject of interest;
Performing the blur processing on the image according to the blur characteristic data associated with the focus distance range;
The imaging apparatus according to claim 3 or 4, wherein
前記ぼけデータ記憶手段は、前記実空間距離が無限遠の場合の前記ぼけ特性データと、前記実空間距離が至近の場合の前記ぼけ特性データと、前記実空間距離が前記無限遠及び前記至近の間に位置する距離の場合の前記ぼけ特性データとを記憶することを特徴とする請求項3に記載の撮像装置。   The blur data storage means includes the blur characteristic data when the real space distance is infinity, the blur characteristic data when the real space distance is close, and the real space distance is the infinity and the close distance. The image pickup apparatus according to claim 3, wherein the blur characteristic data in the case of a distance between them is stored. 前記ぼけ処理手段は、前記ぼけデータ記憶手段に記憶された複数の前記ぼけ特性データのうち、前記実空間距離が一致する前記ぼけ特性データ、または、前記実空間距離が近い2つの前記ぼけ特性データから補間して得られたぼけ特性データを用いて、前記画像に対して前記ぼけ処理をすることを特徴とする請求項3に記載の撮像装置。   The blur processing means includes the blur characteristic data having the same real space distance among the plurality of blur characteristic data stored in the blur data storage means, or the two blur characteristic data having the close real space distances. The imaging apparatus according to claim 3, wherein the blur processing is performed on the image using blur characteristic data obtained by interpolation from the image. 前記ぼけデータ記憶手段は、撮影レンズの複数の種類と、焦点距離を可変できる撮影レンズの複数の焦点距離と、撮影レンズの複数の絞り値とのうち、少なくとも何れかに応じた複数の前記ぼけ特性データを記憶することを特徴とする請求項1乃至のうち何れか1項に記載の撮像装置。 The blur data storage means includes a plurality of blurs corresponding to at least one of a plurality of types of photographing lenses, a plurality of focal lengths of a photographing lens capable of changing a focal length, and a plurality of aperture values of the photographing lens. the imaging apparatus according to any one of claims 1 to 7, wherein storing the characteristic data.
JP2009242705A 2009-10-21 2009-10-21 Imaging device Expired - Fee Related JP5396231B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009242705A JP5396231B2 (en) 2009-10-21 2009-10-21 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009242705A JP5396231B2 (en) 2009-10-21 2009-10-21 Imaging device

Publications (3)

Publication Number Publication Date
JP2011091570A JP2011091570A (en) 2011-05-06
JP2011091570A5 JP2011091570A5 (en) 2012-09-13
JP5396231B2 true JP5396231B2 (en) 2014-01-22

Family

ID=44109418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009242705A Expired - Fee Related JP5396231B2 (en) 2009-10-21 2009-10-21 Imaging device

Country Status (1)

Country Link
JP (1) JP5396231B2 (en)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5911292B2 (en) 2011-12-19 2016-04-27 キヤノン株式会社 Image processing apparatus, imaging apparatus, image processing method, and image processing program
JP6271990B2 (en) 2013-01-31 2018-01-31 キヤノン株式会社 Image processing apparatus and image processing method
JP6472183B2 (en) * 2014-07-28 2019-02-20 キヤノン株式会社 Image processing apparatus, control method thereof, and program
WO2016172619A1 (en) 2015-04-23 2016-10-27 Apple Inc. Digital viewfinder user interface for multiple cameras
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107959778B (en) * 2017-11-30 2019-08-20 Oppo广东移动通信有限公司 Imaging method and device based on dual camera
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. User interfaces for simulated depth effects
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4935302B2 (en) * 2006-11-02 2012-05-23 株式会社ニコン Electronic camera and program
JP2008294785A (en) * 2007-05-25 2008-12-04 Sanyo Electric Co Ltd Image processor, imaging apparatus, image file, and image processing method
JP2009110137A (en) * 2007-10-29 2009-05-21 Ricoh Co Ltd Image processor, image processing method, and image processing program

Also Published As

Publication number Publication date
JP2011091570A (en) 2011-05-06

Similar Documents

Publication Publication Date Title
JP5396231B2 (en) Imaging device
KR101342477B1 (en) Imaging apparatus and imaging method for taking moving image
JP5187241B2 (en) Imaging apparatus and imaging method
EP3429189B1 (en) Dual image capture processing
JP5460173B2 (en) Image processing method, image processing apparatus, image processing program, and imaging apparatus
US8325268B2 (en) Image processing apparatus and photographing apparatus
JP5321163B2 (en) Imaging apparatus and imaging method
JP4787180B2 (en) Imaging apparatus and imaging method
JP5437781B2 (en) Image processing apparatus, method, and program
JP2010147786A (en) Imaging device and image processing method
JP5458937B2 (en) IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING PROGRAM FOR EXECUTING THE IMAGING METHOD
JP4606486B2 (en) Image processing apparatus and photographing apparatus
JP5256947B2 (en) IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM RECORDING PROGRAM FOR EXECUTING THE METHOD
JP5146015B2 (en) Imaging apparatus and imaging method
US9282257B2 (en) Image apparatus and imaging method
JP2009141538A (en) Imaging apparatus, image playback device, and program for them
JP2011239267A (en) Imaging apparatus and image processing apparatus
JP5153350B2 (en) Imaging device
JP5903478B2 (en) Imaging apparatus and imaging method
JP2008017198A (en) Device and method for calculating light source color, and photographing device
JP6280780B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP2004328606A (en) Imaging device
JP6706167B2 (en) Imaging device, image synthesizing method, and program
CN105191284A (en) Image capture device and control method thereof
JP6471843B2 (en) Imaging apparatus, control method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120731

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131021

R151 Written notification of patent or utility model registration

Ref document number: 5396231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees