JP5396231B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5396231B2 JP5396231B2 JP2009242705A JP2009242705A JP5396231B2 JP 5396231 B2 JP5396231 B2 JP 5396231B2 JP 2009242705 A JP2009242705 A JP 2009242705A JP 2009242705 A JP2009242705 A JP 2009242705A JP 5396231 B2 JP5396231 B2 JP 5396231B2
- Authority
- JP
- Japan
- Prior art keywords
- blur
- image
- distance
- subject
- characteristic data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 54
- 238000012545 processing Methods 0.000 claims description 74
- 238000013500 data storage Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 16
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000006837 decompression Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Description
本発明は、レンズの被写界深度に依存せずにぼけを有する画像を得る撮像装置に関する。 The present invention relates to an imaging apparatus that obtains an image having blur without depending on the depth of field of a lens.
一般に、撮像装置による撮影において、撮影時の絞り値が小さい程、即ちレンズ径が大きく絞りが開いている程、被写界深度が浅くなり合焦範囲は狭くなる。この現象を利用し、注目被写体を強調する画像を取得することがある。例えば花やポートレートを撮影する場合、注目被写体である花や人物にピントを合せる一方で、注目被写体以外の背景等の被写体を効果的にぼかした画像を取得することである。所謂美しいぼけを実現するには、開放絞り値が小さい大口径レンズを用いるのが良い。しかし大口径レンズは、その設計に拘束条件が多く、高価になりがちである。 In general, in photographing by an imaging device, the smaller the aperture value at the time of photographing, that is, the larger the lens diameter and the wider the aperture, the shallower the depth of field and the narrower the focusing range. An image that emphasizes the subject of interest may be obtained using this phenomenon. For example, when shooting a flower or a portrait, it is to obtain an image in which a subject such as a background other than the subject of interest is effectively blurred while focusing on the flower or person as the subject of interest. In order to realize so-called beautiful blurring, it is preferable to use a large aperture lens with a small open aperture value. However, large-aperture lenses tend to be expensive due to many constraints on their design.
そこで、比較的安価な開放絞り値が大きいレンズを用いて撮影を行い、この撮影により得られたぼけの弱い画像に対して、画像処理技術を用いて注目被写体以外の部分のぼけを強くし、前記の様なぼけの効果を生かした画像を作成する技術がある。例えば特許文献1は、画像中に設定した注目被写体を含む領域と、それ以外の領域とのぼけ具合を、画像処理技術を用いて異にさせ、注目被写体を強調した画像を作成する技術を開示している。 Therefore, shooting is performed using a relatively inexpensive lens with a large open aperture value, and the blur of the image obtained by this shooting is weakened by using image processing technology to increase the blur of the part other than the subject of interest. There is a technique for creating an image that takes advantage of the blur effect as described above. For example, Patent Document 1 discloses a technique for creating an image in which an attention subject is emphasized by making the blur condition between a region including the attention subject set in the image different from other regions using an image processing technique. doing.
特許文献1に開示されている技術は、侵入者の監視用であって、注目被写体を含む領域とそれ以外の領域との2領域に分割し、それぞれの領域のぼけ具合を、予め決められたぼけの度合いで調節するものである。従ってその目的は、単に侵入者等の注目被写体を強調することである。即ち、ぼけの効果を演出に利用し、美観を起こさせる好みの画像を作成するというものではない。 The technique disclosed in Patent Document 1 is for monitoring intruders, and is divided into two areas, an area including the subject of interest and other areas, and the degree of blur of each area is determined in advance. It is adjusted by the degree of blur. Therefore, the purpose is simply to emphasize the subject of interest such as an intruder. In other words, the effect of blurring is not used for production, but a favorite image that causes aesthetics is not created.
そこで本発明は、レンズの被写界深度に依存せず、ぼけの強度を変えるぼけ処理を施すことで効果的なぼけを有する画像を取得する撮像装置を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an imaging apparatus that acquires an image having effective blur by performing blur processing that changes the intensity of blur without depending on the depth of field of a lens.
前記目的を果たすため、本発明の撮像装置の一態様は、被写体を撮像して撮像データを取得する撮像手段と、前記撮像データに基づく画像平面上における合焦対象とする注目被写体の被写体位置の情報を取得する位置情報取得手段と、前記被写体位置を基準として、前記画像平面上の距離に応じて、前記撮像された画像をぼかす処理を行う場合のぼけの強度を表すぼけ特性データを記憶するぼけデータ記憶手段と、前記位置情報取得手段により得られた前記被写体位置と、前記ぼけデータ記憶手段に記憶されている前記ぼけ特性データとに従って、前記被写体位置からの前記画像平面上の距離に応じたぼけ処理を前記撮像データに基づく画像に対して行うぼけ処理手段と、を具備し、前記ぼけデータ記憶手段は、実空間において前記注目被写体よりも近い側のための前記ぼけ特性データと遠い側のための前記ぼけ特性データとを記憶することを特徴とする。
In order to achieve the above object, an aspect of the imaging apparatus according to the present invention includes an imaging unit that captures an image of a subject and acquires imaging data, and a subject position of a target subject to be focused on an image plane based on the imaging data. Position information acquisition means for acquiring information, and blur characteristic data representing the intensity of blur when performing processing to blur the captured image according to the distance on the image plane with the subject position as a reference According to the distance on the image plane from the subject position according to the blur data storage means, the subject position obtained by the position information acquisition means, and the blur characteristic data stored in the blur data storage means and the blur processing anda blurring processing means for performing the image based on the imaging data, the blur data storage means, the target object scene in the real space And to store the said blur characteristic data for the blur characteristic data and the far side for the side closer than.
本発明によれば、レンズの被写界深度に依存せず、ぼけの強度を変えるぼけ処理を施し、美観を起こさせる効果的なぼけを有する画像を取得する撮像装置を提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device which acquires the image which has an effective blur which raise | generates the aesthetics by performing the blurring process which changes the intensity | strength of blur without depending on the depth of field of a lens can be provided.
以下、本発明の一実施形態について図面を参照して説明する。本発明の一実施形態に係る撮像装置の構成例を図1に示す。本撮像装置は、カメラ本体100と交換式レンズ200とからなる。交換式レンズ200は、レンズ202と、レンズマイクロコンピュータ204と、レンズドライバ206と、絞り208と、レンズフラッシュ(Flash)メモリ210と、被写体距離演算部212とを有する。レンズ202は1つ以上のレンズからなる。レンズマイクロコンピュータ204は、インターフェース(I/F)150を介して、カメラ本体100のマイクロコンピュータ115と接続しており、互いに情報を送受する。レンズ202は、図示しない被写体の光学像を撮像素子102に集光させる。レンズ202は、レンズマイクロコンピュータ204により制御されるレンズドライバ206により駆動される。また、絞り208もレンズマイクロコンピュータ204により制御される図示しないドライバにより駆動される。レンズFlashメモリ210はレンズ202を構成する各レンズの位置と合焦する被写体との距離の関係等レンズに関する情報を記憶している。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration example of an imaging apparatus according to an embodiment of the present invention. The imaging apparatus includes a
被写体距離演算部212は、レンズFlashメモリ210に記憶されている情報を参照し、当該撮像装置と合焦している注目被写体との距離である被写体距離を算出する。
The subject
撮像素子102は、2次元平面上に配列された複数のフォトダイオードを有し、これらフォトダイオードの前面に、赤色(R)、緑色(G)、青色(B)の3色のカラーフィルタが、例えば所謂ベイヤー配列に配設されている構成を有する。このような撮像素子102において、各画素における各フォトダイオードは、レンズ202により集光された光を受光し光電変換を行う。この光電変換によって光の量を電気信号(アナログ画像信号)に変換し、それをアナログ処理部103へ出力する。尚、撮像素子102はCMOS方式でもCCD方式でも良く方式は問わない。撮像素子102は、露光時間を電子的に制御できる電子シャッター機能を備えていることが望ましい。また、撮像素子102には、メカシャッター101が備えられ、このメカシャッター101を駆動することでも撮像素子102に光が入射する露光時間を制御できる。
The
アナログ処理部103は、撮像素子102から入力されたアナログ画像信号に対し、リセットノイズ等を低減した上で波形整形を行う。更に、アナログ処理部103は、画像の明るさが目的の明るさとなるようゲインアップ処理を行う。アナログ処理部103は、処理後のアナログ画像信号を、A/D変換部104に出力する。
The
A/D変換部104は、アナログ処理部103から入力された処理後のアナログ画像信号をデジタル画像信号(以降、画像データと称する)に変換する。A/D変換部104でデジタル信号に変換された画像データは、バス105を介して一旦SDRAM106に記憶される。
The A /
バス105は、カメラ内部で扱う各種データをカメラ内の各部に転送するための転送路である。バス105には、A/D変換部104と、SDRAM106と、画像処理部107と、AE処理部108と、AF処理部109と、画像圧縮展開部110と、メモリI/F111と、LCDドライバ113と、マイクロコンピュータ115と、ぼけ特性決定部122と、ぼけ付加演算部124とが接続している。SDRAM106は、A/D変換部104において得られた画像データや、画像処理部107、画像圧縮展開部110において処理された画像データ等、各種データを一時的に記憶する記憶部である。
The bus 105 is a transfer path for transferring various data handled in the camera to each unit in the camera. The bus 105 includes an A /
画像処理部107は、画像データのホワイトバランス(WB)補正処理を行うWB補正部1071と、ベイヤー配列による画像データから画素ごとにRGB情報を有する画像データヘ同時化処理を行う同時化処理部1072と、例えばガンマ補正など色に関する各種調整を行う色再現処理部1073と、コアリング処理等を行うことでノイズを低減させるノイズ低減(NR)処理部1074とを含む。画像処理部107は、SDRAM106に記憶されている画像データを読み出し、各種の画像処理を行う。処理後の画像データは再びSDRAM106に記憶される。
The
AE処理部108は、画像データを用いて被写体輝度を算出する。更にAE処理部108は、算出した被写体輝度に基づいて、撮影時ISO感度、絞り、シャッター速度等を決定する。被写体輝度を算出するためのデータは、専用の測光センサの出力であってもよい。AF処理部109は、画像データから高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してAF用の合焦評価値を取得する。また、この際AF処理部109は、画像における合焦点の位置情報を取得する。
The
画像圧縮展開部110は、画像データの記録時に、SDRAM106からRGB情報を有する画像データを読み出し、例えばJPEG圧縮方式等、所定の方式に従ってデータの圧縮を行う。圧縮された画像データはSDRAM106に一旦記憶された後、メモリI/F111を介して記録媒体112に記録される。ここで、記録媒体112は、例えばカメラ本体に着脱可能なメモリカードからなる記録媒体であり、特に限定されるものではない。また、画像圧縮展開部110は、画像データの再生時に、記録媒体112に記録されている圧縮された画像データを伸長する。液晶ディスプレイ(LCD)114は、LCDドライバ113の制御の下、例えば前記伸張された画像データを表示する。
The image compression /
マイクロコンピュータ115は、カメラ本体の各種シーケンスを統括的に制御する。マイクロコンピュータ115には、操作部116、Flashメモリ117が接続されている。操作部116は、例えば電源ボタン、レリーズボタン、各種キー入力等の操作部材等である。ユーザにより操作部116が操作されると、マイクロコンピュータ115は、操作部116からの信号を受けて各種シーケンスを実行する。
The
Flashメモリ117には、例えば、プリセットWB補正用のホワイトバランス補正係数、ローパスフィルタ係数等の各種パラメータ、マイクロコンピュータ115にて実行する各種プログラム等が記憶されている。また、Flashメモリ117には、ぼけ特性データ記憶エリア117aが形成されている。このぼけ特性データ記憶エリア117aには、ぼけ特性データDfが記憶されている。このぼけ特性データDfは、基準点からの距離と、撮像した画像に付加するぼけの強度(画像をぼかす程度)との関係に関するデータからなる。ここで、ぼけ特性データDfの一例を図2に示す。画像に付加するぼけの強度(画像をぼかす程度)は、合焦している注目被写体を基準点とし、得られた画像の平面における基準点から距離に応じて変化させる。また、画像に付加するぼけの強度(画像をぼかす程度)は、当該撮像装置から注目被写体までの実空間における距離に応じて変化させる。図2における曲線A、B及びCは、画像平面における基準点からの距離に対するぼけの強度の関係(以下「ぼけ特性」と称する)を表す。Flashメモリ117には、曲線A、B及びCに示した関係であるであるぼけ特性データDfが離散データとして保存されている。ぼけ特性データDfは、基準点である注目被写体では画像にぼけを付加せず(画像をぼかす処理を行わず)、得られた画像中における基準点からの距離が大きくなるに従って、付加するぼけの強度は強くなる(画像をぼかす程度を大きくする)特性を有する。ここで、曲線A、B及びCは、それぞれ撮像装置から注目被写体までの実空間における距離が異なる場合のぼけ特性を示す。例えば、曲線Aは注目被写体が無限遠の場合のぼけ特性であり、曲線Bは注目被写体との距離が基準距離(例えば2m等)に対するぼけ特性であり、曲線Cは注目被写体との距離が至近(例えば50cm等)に対するぼけ特性である。この図に示す様に、画像に付加するぼけの強度(画像をぼかす程度)は、得られた画像中における基準点からの距離が等しい場合、撮像装置から注目被写体までの実空間における距離が近い程、強くなる関係にある。
The
マイクロコンピュータ115は、Flashメモリ117に記憶されているプログラムに従って各種シーケンスを制御し、またFlashメモリ117から各種シーケンスに必要なパラメータを読み込み、図1の各ブロックに対して指令を出す。
The
ぼけ処理部120は、ぼけ特性決定部122と、ぼけ付加演算部124とを有する。ぼけ特性決定部122は、撮影時の条件、例えば被写体距離演算部212が算出した被写体距離等に応じて、Flashメモリ117に記憶されている、基準点からの距離とぼけ強度の関係に基づいて、画像中の位置と付加するぼけの強度の関係を決定する。
The
ぼけ付加演算部124は、ぼけ特性決定部122が決定した画像中の位置と付加するぼけの強度の関係に基づいて、例えばローパスフィルタリング処理等を行い、画像にぼけを付加する。
The blur
以上の様に、例えば撮像素子102、アナログ処理部103、A/D変換部104等は全体で撮像手段として機能し、例えば被写体距離演算部212は距離取得手段として機能し、例えばAF処理部109は位置情報取得手段及び合焦対象被写体追従手段として機能し、例えばFlashメモリ117はぼけデータ記憶手段として機能し、例えばぼけ付加演算部124はボケ処理手段として機能する。
As described above, for example, the
次に、本実施形態に係る撮像装置の動作、特にぼけ処理に係る動作について図面を参照して説明する。ぼけ処理に係る動作以外は従来の撮像装置と同様である。まず、本実施形態に係る撮像装置の撮像動作の例を示すフローチャートを図3に示す。 Next, the operation of the imaging apparatus according to the present embodiment, particularly the operation related to the blur processing will be described with reference to the drawings. Except for the operation related to the blur processing, the operation is the same as that of the conventional imaging apparatus. First, FIG. 3 shows a flowchart showing an example of the imaging operation of the imaging apparatus according to the present embodiment.
ステップS110において、撮像素子102、アナログ処理部103及びA/D変換部104の動作により画像データが取得される。また、AE処理部108は、測光センサ等から得た情報に基づいて、カメラ本体100のFlasメモリ117に予め記録されている露出条件決定テーブルを用いて、撮影時ISO感度、絞り、シャッター速度等を決定する。レンズドライバ206は、マイクロコンピュータ115及びレンズマイクロコンピュータ204の制御の下、レンズ202を駆動し、フォーカス位置を変更する。それと同時にAF処理部109は、画像データから高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してAF用の合焦評価値を算出し、最も合焦評価値が高い位置を決定する。レンズドライバ206は、AF処理部109が決定した合焦評価値に基づいて、合焦評価値が高い位置にレンズのフォーカス位置を設定する。
In step S <b> 110, image data is acquired by the operations of the
この際AF処理部109は、合焦している注目被写体の画像平面における位置情報を取得する。
At this time, the
更に、被写体距離演算部212は、レンズFlashメモリ210に予め記憶されているレンズ202を構成する各レンズの位置と合焦する被写体との距離の関係を参照し、レンズドライバ206が設定するレンズ202の位置に基づいて当該撮像装置と注目被写体との距離である被写体距離を算出する。ただし、合焦に失敗した場合には、予め設定した基準距離を被写体距離とする。決定した撮影時ISO感度、絞り、シャッター速度等に基づいて、マイクロコンピュータ115の制御の下、当該撮像装置は撮影を実施する。その際、静止画撮影の場合はメカシャッター101を駆動させ、それ以外の場合、即ち動画撮影及びライブビュー実行の場合は撮像素子102の電子シャッターを使用する。
Further, the subject
ステップS120において画像処理部107は、撮影により得られたRAWデータを、例えばYCbCrデータに変換する等、前記の各種画像処理を実施する。ここではYCbCrデータとしたがRGBデータに変換しても良い。ステップS130においてマイクロコンピュータ115は、カメラの設定がぼけ付加モードか否かを判定する。この判定の結果、ぼけ付加モードでなければステップS160に移る。
In step S <b> 120, the
一方、ぼけ付加モードであれば、ステップS140においてぼけ特性決定部122は、Flashメモリ117に記憶されている、図2に示す様な基準点からの距離とぼけの強度の関係であるぼけ特性データDfと、ステップS110で算出した被写体距離とに基づいて、画像中の位置と付加するぼけの強度の関係を決定する。
On the other hand, in the blur addition mode, in step S140, the blur
このぼけ特性決定部122では、Flashメモリ117に保存されているぼけ特性データDfのうち、被写体距離が一致するぼけ特性がある場合にはそのぼけ特性を読み出す。被写体距離が一致するぼけ特性が保存されていない場合、ぼけ特性決定部122は、保存されているぼけ特性のうち最も近い2つのぼけ特性データを読み込み、それらを用いて線形補間でぼけ特性を算出し、次に、ぼけ特性データDfの離散データを、例えばスプライン補完で補完し、滑らかな特性を得る。
The blur
このぼけ特性の算出は、ライブビュー時や動画撮影時において、被写体距離が所定の値以上に変化しない場合、ぼけ特性を更新せず維持するように制御しても良い。この際、例えばFlashメモリ117に保存されているぼけ特性のうち、被写体との距離に最も近いぼけ特性を利用するように制御しても良い。或いは、当該撮像装置の合焦可能範囲を互いに重複しない距離別の複数の合焦距離範囲に分割し、ぼけ特性と合焦距離範囲とを関連付けてFlashメモリ117に保存しておき、被写体との距離に基づき該当するぼけ特性を用いて制御しても良い。この様な制御により、演算量を削減することができ、処理の高速化を実現できる。また、距離算出誤差によって発生するぼけ特性の微小変化を防ぐことができる。
The calculation of the blur characteristic may be controlled so that the blur characteristic is maintained without being updated when the subject distance does not change to a predetermined value or more during live view or moving image shooting. At this time, for example, among the blur characteristics stored in the
次に、ステップS150においてぼけ付加演算部124は、該画像内の各画素に対して、ローパスフィルタリング処理を行い、該画像にぼけを付加する(該画像をぼかす処理を実施する)。このとき、ぼけの強度は、ステップS140で決定したぼけ特性に基づき、基準点は、ステップS110においてAF処理部109が取得した画像平面における合焦点とする。ローパスフィルタ係数は予め複数用意してあり、ローパスフィルタ係数を変えてローパスフィルタリング処理を行うことで、様々なぼけ量を作成する。ここで、画像へのぼけの付加(画像をぼかす処理)を、同時化処理部1072による同時化処理の実施前に行うと、同時化処理において偽色が生じることがある。従ってぼけの付加は同時化処理後に行い、この偽色を防止する。
Next, in step S150, the blur
この様にして作成されるぼけ付加が施された画像の例の概略を図4に示す。図4(a)及び(b)において、共に注目被写体は人物であり、人物の位置に合焦されている。従って、図4(a)及び(b)において基準点は人物の位置である。当該撮像装置と人物との距離は、図4(a)の場合は相対的に遠く、図4(b)の場合には相対的に近い。従って、図4(a)の場合には、例えば図2における曲線Aの特性が用いられ、図4(b)の場合には、例えば図2における曲線Cの特性が用いられる。その結果、図4(a)の場合には図示する様に、注目被写体である人物に合焦し、その周囲のぼけは比較的弱い。そして、画像データ上、人物からある程度はなれても、ぼけは比較的弱い。これに対して、図4(b)の場合には図示する様に、注目被写体である人物に合焦し、その周囲のぼけは比較的強い。そして、画像データ上、人物から離れると急激にぼけが強くなる。 FIG. 4 shows an outline of an example of an image to which blur addition is made in this way. In FIGS. 4A and 4B, the subject of interest is a person and is focused on the position of the person. Therefore, in FIGS. 4A and 4B, the reference point is the position of the person. The distance between the imaging device and the person is relatively long in the case of FIG. 4A and relatively close in the case of FIG. Therefore, in the case of FIG. 4A, for example, the characteristic of the curve A in FIG. 2 is used, and in the case of FIG. 4B, for example, the characteristic of the curve C in FIG. As a result, in the case of FIG. 4 (a), as shown in the figure, the person who is the subject of interest is focused, and the blur around it is relatively weak. The blur is relatively weak even if it is somewhat distant from the person in the image data. On the other hand, in the case of FIG. 4B, as shown in the figure, the person who is the subject of interest is focused, and the blur around it is relatively strong. Then, in the image data, the blur suddenly becomes stronger when the user is away from the person.
次に、ステップS160においてマイクロコンピュータ115は、生成した画像を、LCDドライバ113を介してLCD114に表示させる。ステップS170においてマイクロコンピュータ115は、当該撮像装置は動画記録中であるか、又は静止画を撮影したか否かを判定する。この判定において、動画記録中であるか否かは、動画記録モードにおいて動画記録ボタンが押されてから再度押されるまでは動画記録中であり、それ以外では動画記録中ではないと判定する。また、静止画を撮影したか否かは、静止画撮影モードにおいてレリーズボタンが押された場合には静止画を撮影したと判定し、それ以外の場合には撮影していないと判定する。この判定の結果、動画記録中ではない若しくは静止画を撮影していないと判定されたら、処理を終了する。
In step S <b> 160, the
ステップS170の判定の結果、動画記録中である若しくは静止画を撮影していると判定されたら、ステップS180においてマイクロコンピュータ115は、画像圧縮展開部110に、生成した画像を例えばJPEG形式で圧縮させる。例えば静止画の場合にはJPEGファイルを作成し、動画の場合にはMotionJPEGファイルを作成する。そして、マイクロコンピュータ115は、作成したファイルをメモリI/F111を介して記録媒体112に記録させる。尚、記録形式はJPEG形式に限らず、TIFF形式やH.264形式等を用いても良い。
As a result of the determination in step S170, if it is determined that a moving image is being recorded or a still image is being shot, in step S180, the
本実施形態の撮像装置によれば、レンズに依存せずに適切なぼけ具合、例えば合焦している注目被写体を基準とし、画像データ上の平面における基準点からの距離に応じてぼけの強度を変化させる様なぼけ具合を効果的に付加した美観を起こさせるような画像を取得することができる。撮影後に例えばパーソナルコンピュータを用いて画像処理をするのと異なり、撮影時にぼけ具合をLCD114で確認しつつ撮影を行うことができる。その際、付加するぼけの強度は、画像上における合焦点からの距離に応じ、また、被写体距離までの実空間における距離にも応じるので、レンズに依らずに大口径のレンズを用いて撮影したような自然な美しいぼけを画像上に実現することができる。また本実施形態によれば、オートフォーカスによる合焦と連動して処理を行うため、動画に対しても同様な効果を得ることができ、更に合焦点にまでぼけが付加される恐れがない。 According to the imaging apparatus of the present embodiment, an appropriate degree of blur without depending on the lens, for example, the focused subject as a reference, and the blur intensity according to the distance from the reference point on the plane on the image data. It is possible to acquire an image that causes an aesthetic appearance that effectively adds a blur condition that changes the image quality. Unlike image processing using, for example, a personal computer after shooting, shooting can be performed while checking the degree of blur on the LCD 114 during shooting. At that time, the intensity of the blur to be added depends on the distance from the focal point on the image and also on the distance in the real space up to the subject distance, so the image was taken using a large-diameter lens without depending on the lens. Such natural beautiful blur can be realized on the image. In addition, according to the present embodiment, since processing is performed in conjunction with focusing by autofocus, a similar effect can be obtained for moving images, and there is no possibility of adding blur to the focal point.
以下、本実施形態に係る撮像装置の変形例を説明する。ここでは、第1の実施形態との相違点について説明する。 Hereinafter, modifications of the imaging device according to the present embodiment will be described. Here, differences from the first embodiment will be described.
第1の変形例は、ぼけの付加方法が第1の実施形態と異なる。第1の実施形態では、ステップS150において、ステップS140で求めたぼけ特性に応じたローパス処理を各画素に対して行っている。これに対して本変形例では、以下の手順でぼけを付加した画像を作成する。即ち、ステップS120で得られた画像(「元画像」と称する)に、画像全体に均一なローパスフィルタリング処理を施した画像(「ぼけ画像」と称する)を作成する。ここで合焦点を基準点とし、図5に示す様に基準点から距離が離れるほど0に近づく所定の値αを用意しておく。そしてこの値αを用いて、各画素に関して(α×[元画像データ]+(1−α)×[ぼけ画像データ])を演算し、画像中の位置に応じてぼけ量の重みが異なる画素値を算出する。本処理により、合焦点は常にαが0となるためぼけが付加されず、合焦点から距離が離れるほどぼけが強くなる画像を取得することができる。本変形例によれば、演算量を削減することができ、ぼけ付加処理を高速化できる。 The first modification is different from the first embodiment in the method of adding blur. In the first embodiment, in step S150, low-pass processing corresponding to the blur characteristic obtained in step S140 is performed on each pixel. On the other hand, in the present modification, an image with blur is created by the following procedure. That is, an image (referred to as a “blurred image”) obtained by performing uniform low-pass filtering on the entire image (referred to as “original image”) obtained in step S120 is created. Here, using the focal point as a reference point, a predetermined value α that approaches 0 as the distance from the reference point increases as shown in FIG. 5 is prepared. Then, using this value α, (α × [original image data] + (1−α) × [blurred image data]) is calculated for each pixel, and the weight of the blur amount varies depending on the position in the image. Calculate the value. With this processing, since α is always 0 at the in-focus point, blur is not added, and an image that becomes more blurred as the distance from the in-focus point increases can be acquired. According to the present modification, the amount of calculation can be reduced, and the blur addition process can be speeded up.
次に第2の変形例を説明する。一般に、合焦点より撮像装置に近い部分のぼけは大きく、遠い部分のぼけは小さい。そこで第2の変形例では、合焦点を基準点とし、基準点より撮像装置に近い側(例えば画像における下側)と基準点より撮像装置から遠い側(例えば画像における上側)に関して、それぞれ対応するボケ特性を用意し、それをFlashメモリ117に保存しておく。そしてそれらぼけ特性を使い分けてぼけ付加を行う。これにより、所謂「前ぼけ」と「後ぼけ」に違いがある、自然なぼけを実現できる。
Next, a second modification will be described. In general, the blur closer to the imaging device than the focal point is large, and the blur far away is small. Therefore, in the second modification, the focal point is used as a reference point, and the side closer to the imaging device than the reference point (for example, the lower side in the image) and the side farther from the imaging device than the reference point (for example, the upper side in the image) correspond respectively. A blur characteristic is prepared and stored in the
次に第3の変形例を説明する。第1の実施形態では合焦点を基準点とし、画像平面上における基準点からの距離に応じて強度が異なるぼけを画像に付加している。これに対して、本変形例では、画像平面上における基準点を通る水平な基準線を形成し、基準線からの距離に応じて強度が異なるぼけを画像に付加する。即ち、基準線から、画像平面上垂直方向に離れるに従い、ぼけの強度が異なる画像を作成する。これは一般的な撮影条件において、取得した画像における垂直方向の各被写体から撮像装置までの実空間の距離の差は、取得した画像における水平方向の各被写体から撮像装置までの実空間の距離の差よりも大きいことが多いためである。この様に処理することで演算量を削減することができ、処理の高速化を実現できる。この際、縦位置又は横位置などの撮像装置の姿勢を検知する機能を当該撮像装置に付加して、この検知結果を用いて前記垂直方向を決定するようにしても良い。 Next, a third modification will be described. In the first embodiment, a focal point is used as a reference point, and blurs having different intensities according to the distance from the reference point on the image plane are added to the image. On the other hand, in the present modification, a horizontal reference line passing through the reference point on the image plane is formed, and blurs having different intensities according to the distance from the reference line are added to the image. That is, as the distance from the reference line increases in the vertical direction on the image plane, images with different blur intensities are created. This is because, under general shooting conditions, the difference in the real space distance from each subject in the vertical direction to the imaging device in the acquired image is the difference in the real space distance from each subject in the horizontal direction in the acquired image to the imaging device. This is because it is often larger than the difference. By processing in this way, the amount of calculation can be reduced, and the processing speed can be increased. At this time, a function of detecting the orientation of the imaging apparatus such as the vertical position or the horizontal position may be added to the imaging apparatus, and the vertical direction may be determined using the detection result.
次に第4の変形例を説明する。本変形例ではレンズの種類(例えば魚眼、標準、望遠等)ごとに対応するぼけ特性セットを用意してレンズFlashメモリ210に保存しておき、それを読み出してぼけの付加を実施する。また、レンズの焦点距離に応じたぼけ特性セットをFlashメモリ117に用意しておき、レンズFlashメモリ210には当該レンズの焦点距離を記憶しておいても良い。また、ズームレンズにおいては、撮影時のレンズの焦点距離を取得し、レンズの焦点距離毎に用意したぼけ特性セットを用いてぼけの付加を実施しても良い。更に、撮影時の絞り値を取得し、絞り値毎に用意したぼけ特性セットを用いてぼけの付加を実施しても良い。
Next, a fourth modification will be described. In this modification, a blur characteristic set corresponding to each lens type (for example, fisheye, standard, telephoto, etc.) is prepared and stored in the
次に第5の変形例を説明する。第1の実施形態では図2に示す様に、ぼけ特性は、曲線Aは無限遠に対するぼけ特性、曲線Bは基準距離(例えば2m等)に対するぼけ特性、曲線Cは至近(例えば50cm等)に対するぼけ特性とした。即ち、合焦点が遠い程、付加するぼけの強度を弱く、合焦点が近い程、付加するぼけの強度を強くした。これに対して、本変形例では、曲線Aを至近に対するぼけ特性、曲線Bを基準距離に対するぼけ特性、曲線Cを無限遠に対するぼけ特性とする。すると、光学的に発生するぼけと本処理により付加されるぼけとを合せたぼけの強度が常に比較的強くなるため、距離に応じず望遠レンズやマクロレンズで撮影した様な被写界深度が浅いレンズ効果を得ることができる。その結果ティルトレンズを用いて撮影した様な、ミニチュア写真風の画像を取得できる。 Next, a fifth modification will be described. In the first embodiment, as shown in FIG. 2, the blur characteristics are as follows: curve A is a blur characteristic with respect to infinity, curve B is a blur characteristic with respect to a reference distance (for example, 2 m), and curve C is with respect to a close distance (for example, 50 cm). The blur characteristics were used. That is, the farther the focal point is, the weaker the blur intensity is added, and the closer the focal point is, the stronger the blur intensity is added. On the other hand, in this modification, the curve A is a blur characteristic with respect to the closest distance, the curve B is a blur characteristic with respect to the reference distance, and the curve C is a blur characteristic with respect to infinity. As a result, the intensity of the blur that combines the optically generated blur and the blur added by this processing is always relatively strong, so that the depth of field as captured with a telephoto lens or a macro lens can be obtained regardless of the distance. A shallow lens effect can be obtained. As a result, it is possible to obtain a miniature photographic-like image that was taken using a tilt lens.
以上、5つの変形例はそれぞれ独立に用いられるに限られるわけではなく、当然それぞれの変形例を適宜組み合わせても良い。尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。 As described above, the five modified examples are not limited to being used independently, and naturally, the modified examples may be appropriately combined. Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiment, the problem described in the column of problems to be solved by the invention can be solved and the effect of the invention can be obtained. The configuration in which this component is deleted can also be extracted as an invention.
100…カメラ本体、101…メカシャッター、102…撮像素子、103…アナログ処理部、104…A/D変換部、105…バス、106…SDRAM、107…画像処理部、1071…WB補正部、1072…同時化処理部、1073…色再現処理部、1074…ノイズ低減(NR)処理部、108…AE処理部、109…AF処理部、110…画像圧縮展開部、111…メモリI/F、112…記録媒体、113…液晶ディスプレイ(LCD)ドライバ、114…LCD、115…マイクロコンピュータ、116…操作部、117…Flashメモリ、117a…ぼけ特性データ記憶エリア、120…ぼけ処理部、122…ぼけ特性決定部、124…ぼけ付加演算部、150…I/F、200…交換式レンズ、202…レンズ、204…レンズドライバ、206…レンズマイクロコンピュータ、208…レンズFlashメモリ、210…被写体距離演算部、212…絞り、Df…ぼけ特性データ。
DESCRIPTION OF
Claims (8)
前記撮像データに基づく画像平面上における合焦対象とする注目被写体の被写体位置の情報を取得する位置情報取得手段と、
前記被写体位置を基準として、前記画像平面上の距離に応じて、前記撮像された画像をぼかす処理を行う場合のぼけの強度を表すぼけ特性データを記憶するぼけデータ記憶手段と、
前記位置情報取得手段により得られた前記被写体位置と、前記ぼけデータ記憶手段に記憶されている前記ぼけ特性データとに従って、前記被写体位置からの前記画像平面上の距離に応じたぼけ処理を前記撮像データに基づく画像に対して行うぼけ処理手段と、
を具備し、
前記ぼけデータ記憶手段は、実空間において前記注目被写体よりも近い側のための前記ぼけ特性データと遠い側のための前記ぼけ特性データとを記憶する、
ことを特徴とする撮像装置。 Imaging means for imaging a subject and acquiring imaging data;
Position information acquisition means for acquiring information of a subject position of a subject of interest as a focusing target on an image plane based on the imaging data;
Blur data storage means for storing blur characteristic data representing the intensity of blur when performing the process of blurring the captured image according to the distance on the image plane with respect to the subject position;
In accordance with the subject position obtained by the position information acquisition unit and the blur characteristic data stored in the blur data storage unit, a blur process according to a distance on the image plane from the subject position is captured. Blur processing means for the image based on the data;
Equipped with,
The blur data storage means stores the blur characteristic data for a side closer to the subject of interest in real space and the blur characteristic data for a far side.
An imaging apparatus characterized by that.
前記ぼけデータ記憶手段は、前記実空間距離の差異に応じた複数の前記ぼけ特性データを記憶する、
ことを特徴とする請求項1または2に記載の撮像装置。 Further comprising distance acquisition means for acquiring a real space distance from the imaging device to the subject of interest;
The blur data storage means stores a plurality of the blur characteristic data according to the difference in the real space distance.
The imaging apparatus according to claim 1 or 2, wherein
前記注目被写体の移動に伴う合焦の変化に応じて前記距離取得手段は、当該撮像装置から前記注目被写体までの実空間距離の情報を更新し、
前記注目被写体の移動に伴う合焦の変化に応じて前記位置情報取得手段は、前記画像平面上における前記注目被写体の位置の情報を更新する、
ことを特徴とする請求項3に記載の撮像装置。 A focusing target subject tracking unit that tracks the target subject that is the focus target that moves when acquiring the imaging data and focuses the target subject;
The distance acquisition unit updates information on a real space distance from the imaging device to the target subject according to a change in focus accompanying the movement of the target subject,
The position information acquisition unit updates information on the position of the target subject on the image plane in accordance with a change in focus accompanying the movement of the target subject.
The imaging apparatus according to claim 3.
前記ぼけデータ記憶手段は、前記各合焦距離範囲に関連付けられた前記ぼけ特性データを記憶し、
前記ぼけ処理手段は、
前記当該撮像装置から前記注目被写体までの実空間距離が含まれる前記合焦距離範囲を選択し、
前記合焦距離範囲と関連付けられている前記ぼけ特性データに従って前記画像に対して前記ぼけ処理をする、
ことを特徴とする請求項3または4に記載の撮像装置。 The focusable range of the imaging device is divided into a plurality of focus distance ranges according to distances that do not overlap each other,
The blur data storage means stores the blur characteristic data associated with each focus distance range,
The blur processing means is
Selecting the in-focus distance range including a real space distance from the imaging device to the subject of interest;
Performing the blur processing on the image according to the blur characteristic data associated with the focus distance range;
The imaging apparatus according to claim 3 or 4, wherein
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009242705A JP5396231B2 (en) | 2009-10-21 | 2009-10-21 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009242705A JP5396231B2 (en) | 2009-10-21 | 2009-10-21 | Imaging device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011091570A JP2011091570A (en) | 2011-05-06 |
JP2011091570A5 JP2011091570A5 (en) | 2012-09-13 |
JP5396231B2 true JP5396231B2 (en) | 2014-01-22 |
Family
ID=44109418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009242705A Expired - Fee Related JP5396231B2 (en) | 2009-10-21 | 2009-10-21 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5396231B2 (en) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5911292B2 (en) | 2011-12-19 | 2016-04-27 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
JP6271990B2 (en) | 2013-01-31 | 2018-01-31 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP6472183B2 (en) * | 2014-07-28 | 2019-02-20 | キヤノン株式会社 | Image processing apparatus, control method thereof, and program |
WO2016172619A1 (en) | 2015-04-23 | 2016-10-27 | Apple Inc. | Digital viewfinder user interface for multiple cameras |
US9912860B2 (en) | 2016-06-12 | 2018-03-06 | Apple Inc. | User interface for camera effects |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
CN107959778B (en) * | 2017-11-30 | 2019-08-20 | Oppo广东移动通信有限公司 | Imaging method and device based on dual camera |
US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | User interfaces for simulated depth effects |
US10674072B1 (en) | 2019-05-06 | 2020-06-02 | Apple Inc. | User interfaces for capturing and managing visual media |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
US12112024B2 (en) | 2021-06-01 | 2024-10-08 | Apple Inc. | User interfaces for managing media styles |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4935302B2 (en) * | 2006-11-02 | 2012-05-23 | 株式会社ニコン | Electronic camera and program |
JP2008294785A (en) * | 2007-05-25 | 2008-12-04 | Sanyo Electric Co Ltd | Image processor, imaging apparatus, image file, and image processing method |
JP2009110137A (en) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | Image processor, image processing method, and image processing program |
-
2009
- 2009-10-21 JP JP2009242705A patent/JP5396231B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011091570A (en) | 2011-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5396231B2 (en) | Imaging device | |
KR101342477B1 (en) | Imaging apparatus and imaging method for taking moving image | |
JP5187241B2 (en) | Imaging apparatus and imaging method | |
EP3429189B1 (en) | Dual image capture processing | |
JP5460173B2 (en) | Image processing method, image processing apparatus, image processing program, and imaging apparatus | |
US8325268B2 (en) | Image processing apparatus and photographing apparatus | |
JP5321163B2 (en) | Imaging apparatus and imaging method | |
JP4787180B2 (en) | Imaging apparatus and imaging method | |
JP5437781B2 (en) | Image processing apparatus, method, and program | |
JP2010147786A (en) | Imaging device and image processing method | |
JP5458937B2 (en) | IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING PROGRAM FOR EXECUTING THE IMAGING METHOD | |
JP4606486B2 (en) | Image processing apparatus and photographing apparatus | |
JP5256947B2 (en) | IMAGING DEVICE, IMAGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM RECORDING PROGRAM FOR EXECUTING THE METHOD | |
JP5146015B2 (en) | Imaging apparatus and imaging method | |
US9282257B2 (en) | Image apparatus and imaging method | |
JP2009141538A (en) | Imaging apparatus, image playback device, and program for them | |
JP2011239267A (en) | Imaging apparatus and image processing apparatus | |
JP5153350B2 (en) | Imaging device | |
JP5903478B2 (en) | Imaging apparatus and imaging method | |
JP2008017198A (en) | Device and method for calculating light source color, and photographing device | |
JP6280780B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
JP2004328606A (en) | Imaging device | |
JP6706167B2 (en) | Imaging device, image synthesizing method, and program | |
CN105191284A (en) | Image capture device and control method thereof | |
JP6471843B2 (en) | Imaging apparatus, control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120731 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120731 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131021 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5396231 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |