JP2005136480A - Photographing apparatus - Google Patents
Photographing apparatus Download PDFInfo
- Publication number
- JP2005136480A JP2005136480A JP2003367335A JP2003367335A JP2005136480A JP 2005136480 A JP2005136480 A JP 2005136480A JP 2003367335 A JP2003367335 A JP 2003367335A JP 2003367335 A JP2003367335 A JP 2003367335A JP 2005136480 A JP2005136480 A JP 2005136480A
- Authority
- JP
- Japan
- Prior art keywords
- photographing
- subject
- image
- shooting
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Focusing (AREA)
- Stroboscope Apparatuses (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮影装置に関するものである。 The present invention relates to a photographing apparatus.
ポートレート撮影のように主要被写体にピントを合わせ、主要被写体以外の被写体のピントをぼかす撮影手法が知られている。ピントのボケ量は、撮影レンズの焦点距離,撮影レンズの絞り径,ピントが合致している位置からの距離等に応じて変化し、撮影レンズの焦点距離が長いほど、撮影レンズの絞り径が大きいほど、ピントが合致している位置からの距離が大きいほどボケ量が大きくなる。このため、上記撮影手法では、比較的に長い焦点距離の撮影レンズを用いるとともに、絞り大きく開き、できるだけ焦点深度(被写界深度)を浅くしている。 As in portrait photography, a photographing technique is known in which a main subject is focused and a subject other than the main subject is blurred. The amount of defocus varies depending on the focal length of the photographic lens, the aperture diameter of the photographic lens, the distance from the position where the focus is matched, and the longer the focal length of the photographic lens, the smaller the aperture diameter of the photographic lens. The larger the distance, the greater the distance from the in-focus position, the greater the blur amount. For this reason, in the imaging method described above, an imaging lens having a relatively long focal length is used, and the aperture is opened wide to make the focal depth (depth of field) as shallow as possible.
一方、CCDイメージセンサ等のイメージセンサを用いた撮影装置、例えばデジタルカメラが普及している。一般的なデジタルカメラに用いられているイメージセンサは、露光面は135タイプの写真フイルムを用いるカメラ(以下銀塩カメラという)の露光面のサイズに比べて著しく小さい。このため、銀塩カメラと同じ画角を得ようとすると、銀塩カメラの撮影レンズの焦点距離に比べてデジタルカメラの撮影レンズの焦点距離は短くなるので、多くのデジタルカメラの撮影レンズは比較的に焦点距離が短い。また、絞り径の大きな撮影レンズは大型,高価となるため、一般のデジタルカメラでは絞り径の小さな撮影レンズが用いられていることが多い。 On the other hand, a photographing apparatus using an image sensor such as a CCD image sensor, for example, a digital camera has become widespread. In an image sensor used in a general digital camera, the exposure surface is significantly smaller than the exposure surface size of a camera using a 135 type photographic film (hereinafter referred to as a silver salt camera). For this reason, when trying to obtain the same angle of view as a silver salt camera, the focal length of the digital camera's shooting lens is shorter than the focal length of the shooting lens of the silver salt camera. The focal length is short. In addition, since a photographic lens with a large aperture diameter is large and expensive, a general digital camera often uses a photographic lens with a small aperture diameter.
上記のように、多くのデジタルカメラは、焦点距離が短くまた絞り径が小さい撮影レンズが用いられているため、焦点深度が深くピントのボケ量がさほど大きくならない。したがって、ポートレート撮影のようなピントの効果を用いた撮影には向いていなかった。 As described above, since many digital cameras use a photographing lens having a short focal length and a small aperture diameter, the depth of focus is deep and the amount of out-of-focus is not so large. Therefore, it is not suitable for shooting using a focus effect such as portrait shooting.
上記のような問題を改善するデジタルカメラとして特許文献1に記載されたものが知られている。このデジタルカメラでは、撮影面を複数の領域に分割して、各領域のそれぞれについて被写体までの距離を光学的な三角測量方式によって測定する。そして、測定した距離に基づいて、主要被写体の含まれる範囲を検出するとともに、主要被写体が含まれない他の領域の画像をぼかすように画像処理を施している。 A digital camera described in Patent Document 1 is known as a digital camera that improves the above problems. In this digital camera, the photographing surface is divided into a plurality of regions, and the distance to the subject is measured for each region by an optical triangulation method. Then, based on the measured distance, a range in which the main subject is included is detected, and image processing is performed so as to blur an image of another area not including the main subject.
ところで、上記のように複数の領域の被写体距離を測定するデジタルカメラでは、各領域のそれぞれの被写体距離を測定するための測定装置が必要であり、製造コストの上昇を招くという問題があった。また、撮影面を分割する際に、その分割数が少ないとボケ方が不自然となってしまうが、分割数を多くするとそれに応じて、その多数の領域のそれぞれについて被写体距離を測定する測定装置が必要になり、さらなる製造コストの上昇を招く。 By the way, in the digital camera that measures the subject distances of a plurality of regions as described above, a measuring device for measuring the subject distances of the respective regions is necessary, and there is a problem in that the manufacturing cost increases. In addition, when dividing the imaging surface, if the number of divisions is small, the blurring becomes unnatural, but if the number of divisions is increased, a measuring device that measures the subject distance for each of the large number of areas accordingly Is required, which further increases the manufacturing cost.
本発明は、上記課題を解消するためになされたもので、簡単な構成でポートレート撮影のようなピント効果を得ることができる撮影装置を提供することを目的としている。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an imaging apparatus capable of obtaining a focus effect such as portrait photography with a simple configuration.
上記目的を達成するために、請求項1記載の発明では、第1撮影画像を得る第1撮影と第2撮影画像を得る第2撮影をイメージセンサで行うとともに、第1撮影時に主要被写体に撮影レンズのピントを合致させ、第2撮影時に前記ストロボ装置を所定の発光量で発光させる撮影制御手段と、主要被写体までの被写体距離を取得するための距離取得手段と、第2撮影画像の画素の明るさに基づいて対応する第1撮影画像の画素上の被写体までの被写体距離を求め、この被写体距離と前記距離取得手段で取得した主要被写体までの被写体距離との差を各画素について求めて、第1の撮影画像の各画素を対応する被写体距離の差に応じたボケ量でそれぞれぼかす画像処理手段とを備えたものである。 In order to achieve the above object, according to the first aspect of the present invention, the first shooting for obtaining the first shot image and the second shooting for obtaining the second shot image are performed by the image sensor, and the main subject is shot during the first shooting. A shooting control unit that matches the focus of the lens and causes the strobe device to emit light at a predetermined light emission amount during the second shooting, a distance acquisition unit that acquires a subject distance to the main subject, and a pixel of the second captured image The subject distance to the subject on the pixel of the corresponding first captured image is obtained based on the brightness, and the difference between the subject distance and the subject distance to the main subject obtained by the distance obtaining unit is obtained for each pixel. And image processing means for blurring each pixel of the first photographed image with a blur amount corresponding to the difference in the corresponding subject distance.
請求項2に記載の発明では、シャッタ装置を備え、第2撮影時には、ストロボ装置のストロボ発光と同期可能な最も高速なシャッタ速度でシャッタ装置を駆動して撮影を行うものである。 According to the second aspect of the present invention, the shutter device is provided, and at the time of the second photographing, photographing is performed by driving the shutter device at the highest shutter speed that can be synchronized with the strobe light emission of the strobe device.
請求項3記載の発明では、撮影レンズ用のオートフォーカス手段を備え、距離取得手段は、前記オートフォーカス手段から主要被写体までの被写体距離を取得するものである。 According to a third aspect of the present invention, an autofocus unit for the taking lens is provided, and the distance acquisition unit acquires a subject distance from the autofocus unit to the main subject.
請求項4記載の発明では、第1撮影画像を得る第1撮影と第2撮影画像を得る第2撮影をイメージセンサで行うとともに、第1撮影時に主要被写体に撮影レンズのピントを合致させ、第2撮影時に撮影レンズを無限遠にピントを合致させる撮影制御手段と、第1及び第2撮影画像をそれぞれ複数の領域に分割し、第1及び第2撮影画像の対応する領域同士の空間周波数の高周波成分の大きさの差を第1撮影画像の各領域について求め、第1の撮影画像の各領域内の各画素をその領域に対応する高周波成分の大きさの差に基づいたぼけ量でぼかす画像処理手段とを備えたものである。 In the fourth aspect of the invention, the first photographing for obtaining the first photographed image and the second photographing for obtaining the second photographed image are performed by the image sensor, and the focus of the photographing lens is matched with the main subject during the first photographing. The photographing control means for focusing the photographing lens to infinity at the time of two photographing, and the first and second photographed images are each divided into a plurality of regions, and the spatial frequency of the corresponding regions of the first and second photographed images is divided. A difference in the magnitude of the high-frequency component is obtained for each region of the first photographed image, and each pixel in each region of the first photographed image is blurred with a blur amount based on the difference in the magnitude of the high-frequency component corresponding to that region. And image processing means.
請求項5記載の発明では、主要被写体までの被写体距離を取得するための距離取得手段と、撮影シーンの明るさを取得する明るさ取得手段と、第1撮影画像を得る第1撮影と第2撮影画像を得る第2撮影をイメージセンサで行うとともに、明るさ取得手段から得られる撮影シーンの明るさが所定レベルよりも低いときには、第1撮影時に主要被写体に撮影レンズのピントを合致させ、第2撮影時に前記ストロボ装置を所定の発光量で発光させ、また撮影シーンの明るさが所定レベル以上のときには、第1撮影時に主要被写体に撮影レンズのピントを合致させ、第2撮影時に撮影レンズを無限遠にピントを合致させる撮影制御手段と、撮影シーンの明るさが所定レベルよりも低いときには、第2撮影画像の画素の明るさに基づいて対応する第1撮影画像の画素上の被写体までの被写体距離を求め、この被写体距離と前記距離取得手段で取得した主要被写体までの被写体距離との差を各画素について求めて、第1の撮影画像の各画素を対応する被写体距離の差に応じたボケ量でそれぞれぼかし、また撮影シーンの明るさが所定レベル以上のときには、第1及び第2撮影画像をそれぞれ複数の領域に分割し、第1及び第2撮影画像の対応する領域同士の空間周波数の高周波成分の大きさの差を第1撮影画像の各領域について求め、第1の撮影画像の各領域内の各画素をその領域に対応する高周波成分の大きさの差に基づいたぼけ量でぼかす画像処理手段とを備えたものである。 According to the fifth aspect of the present invention, distance acquisition means for acquiring the subject distance to the main subject, brightness acquisition means for acquiring the brightness of the shooting scene, and the first shooting and the second shooting for obtaining the first shot image. When the second photographing for obtaining the photographed image is performed by the image sensor and the brightness of the photographing scene obtained from the brightness acquisition means is lower than a predetermined level, the focus of the photographing lens is matched with the main subject at the first photographing, The flash device emits light with a predetermined light emission amount during two shootings, and when the brightness of the shooting scene is a predetermined level or more, the main lens is focused on the main subject during the first shooting, and the shooting lens is set during the second shooting. When the brightness of the shooting scene is lower than a predetermined level, the shooting control means for focusing at infinity and the corresponding first brightness based on the brightness of the pixel of the second shot image The subject distance to the subject on the pixel of the shadow image is obtained, the difference between the subject distance and the subject distance to the main subject obtained by the distance obtaining unit is obtained for each pixel, and each pixel of the first captured image is obtained. Each of the first and second captured images is divided into a plurality of areas when the brightness of the shooting scene is equal to or higher than a predetermined level, and the first and second captured images are divided into a plurality of regions, respectively. A difference in the size of the high-frequency component of the spatial frequency between the corresponding regions of the image is obtained for each region of the first captured image, and each pixel in each region of the first captured image has a size of the high-frequency component corresponding to that region. Image processing means for blurring with a blur amount based on the difference in height.
本発明によれば、ストロボ装置を所定の発光量で発光させて撮影した第2撮影画像の画素の明るさから得られる画素上の被写体距離と主要被写体までの被写体距離と差に基づいたボケ量で、主要被写体に撮影レンズのピントを合致させて撮影した第1の撮影画像の各画素をぼかすようにしたので、特別な装置なしにポートレート撮影のようなピント効果のある撮影画像を得ることができる。 According to the present invention, the amount of blur based on the difference between the subject distance on the pixel and the subject distance to the main subject obtained from the brightness of the pixel of the second photographed image captured by the strobe device emitting light with a predetermined light emission amount. Since each pixel of the first photographed image photographed by matching the focus of the photographing lens to the main subject is blurred, it is possible to obtain a photographed image having a focus effect such as portrait photography without a special device. Can do.
また、主要被写体に撮影レンズのピントを合致させて撮影した第1撮影画像と撮影レンズのピントを無限遠に合致させて撮影した第2撮影画像をそれぞれ複数の領域に分割し、各撮影画像の対応する領域同士の空間周波数の高周波成分の大きさの差に基づいたぼけ量で第1の撮影画像の各領域内の各画素をぼかすようにしたから、特別な装置なしにポートレート撮影のようなピント効果のある撮影画像を得ることができる。 In addition, the first photographed image obtained by matching the main lens with the focus of the photographing lens and the second photographed image obtained by matching the focus of the photographing lens at infinity are divided into a plurality of areas, respectively. Since each pixel in each area of the first photographed image is blurred with a blur amount based on the difference in the magnitude of the high frequency component of the spatial frequency between the corresponding areas, it is possible to perform portrait photography without a special device. It is possible to obtain a photographed image with a great focus effect.
図1に本発明を実施したデジタルカメラの構成を示す。システムコントロ−ラ10は、レリーズボタン11及び操作部12の操作に応じた操作信号が入力され、これらの操作信号に基づいてデジタルカメラの各部を制御する。
FIG. 1 shows the configuration of a digital camera embodying the present invention. The
レリーズボタン11は、半押し位置と、この半押し位置からさらに押し込んだ全押し位置とに操作可能になっている。半押し位置とすると、その時点で撮影画面の中央にある被写体に対してピントが合致されるとともに、その被写体に適した露出に設定された状態に維持される、いわゆるAFロック,AEロックの状態とされる。半押し位置から引き続きレリーズボタン11を押し込んで全押し位置とすると、半押し位置とされた時点でのピント位置及び半押し位置とされた時点での露出設定で静止画の撮影が行われる。詳細を後述するポートレートモード下では、全押し位置とすると、撮影制御手段としてのシステムコントローラ10の制御の下で、ストロボ発光をともなう第2撮影であるプリ撮影が行われた後に第1撮影である本撮影が行われる。なお、第1撮影,第2撮影は、どちらの撮影を先に行ってもよい。また、人物撮影では、被写体がストロボ発光によって撮影が完了した判断して動いてしまうこともあるから、ストロボ発光を必ずともなう第2撮影を第1撮影の後に行うことものも好ましい。
The
操作部12は、デジタルカメラの電源のオン・オフを行う電源ボタンや、撮影や再生に関する操作を行う各種のボタンやキーから構成されている。操作部12を操作することにより、撮影モードと再生モードの切り換え、撮影モード下での通常モードとポートレートモードの選択、ポートレートモードにおけるボカシレベルの選択を行うことができる。
The
撮影レンズ13の背後には、被写体画像を撮影するためのCCDイメージセンサ14が配されている。撮影レンズ13には、CCDイメージセンサ14に入射する光の強さを制限する絞り15が組み込まれている。この絞り15は、絞り径が固定された固定絞りであるが、絞り径を調節できるものであってもよい。フォーカス機構16は、撮影レンズ13に組み込まれたフォーカスレンズを光軸方向に沿って移動するモータやドライバ回路から構成されており、フォーカスレンズを移動することにより撮影レンズ13のピント合せを行う。
Behind the taking
また、フォーカス機構16は、撮影レンズ13内のフォーカスレンズの移動位置を検出するためのエンコーダを備えており、フォーカスレンズの移動位置に応じたレンズ位置信号をシステムコントローラ10に送る。ポートレートモード下では、システムコントローラ10は、レンズ位置信号に基づいて、撮影レンズ13のピントが合致している主要被写体までの被写体距離(以下、主要被写体距離という)を取得する。
The
撮影レンズ13を通った光は、CCDイメージセンサ14に入射する。CCDイメージセンサ14は、入射する被写体光を入射光量に応じた電荷に変換して蓄積することにより、被写体画像を光電変換する。また、CCDイメージ14は、電荷蓄積時間を制御するいわゆる電子シャッタ機能を備えている。このCCDイメージ14は、ドライバ17によって駆動され、光電変換した被写体画像をアナログの撮影信号として出力する。なお、イメージセンサとしては、CCDイメージセンサの代わりのMOSイメージセンサ等を用いてもよい。
The light passing through the photographing
シャッタ装置18は、そのシャッタ羽根が撮影レンズ13とCCDイメージセンサ14との間の光路上に配されている。このシャッタ装置18は、シャッタ羽根の他、シャッタ羽根を駆動するアクチュエータやドライバ回路等からなる。通常は、シャッタ装置18のシャッタ羽根が開かれており、CCDイメージ14の電子シャッタ機能により露光量が制御される。レリーズボタン11の操作に応答した静止画の撮影時では、一旦シャッタ羽根が閉じられてから被写体輝度に応じたシャッタ速度でシャッタ羽根が開閉される。
In the
ポートレートモード下のプリ撮影時では、シャッタ装置18は、アベイラブル光による影響を可能な限り排除して、ストロボ光で照明されたときの被写体の明るさを精度よく検出するために、ストロボ発光と同調可能な最も高速シャッター速度で開閉される。シャッタ装置18は、シャッタ羽根の開閉に同期してストロボ発光させるためにシンクロ信号をシステムコントローラ10に送る。
During pre-photographing in the portrait mode, the
なお、このような機械式のシャッタ装置18を用いる場合には、同調可能なシャッター速度が速いレンズシャッタを用いるのが好ましい。また、機械式のシャッタ装置を設けない場合には、CCDイメージセンサ14の電子シャッタ機能のシャッタ速度(露光時間)をストロボ発光と同調可能な最も速いものにする。さらに、プリ撮影に同期させてシャッタ羽根を開き、CCDイメージセンサ14の電子シャッタ機能で露光量が制御されるプリ撮影を行い、この後にシャッタ羽根を開いたまま本撮影を行って、この本撮影に同期させてシャッタ羽根を閉じてもよい。
When such a
CCDイメージセンサ14からの撮影信号は、アナログ信号処理部19に入力される。アナログ信号処理部19は、入力される撮影信号に対して、相関二重サンプリング(CDS)によるノイズの除去,信号増幅を行う。
A photographing signal from the
アナログ信号処理部19からの撮影信号は、A/D変換器21に送られる。このA/D変換器21は、撮影信号をデジタル変換し、得られる画像データをAE/AF検出部22,画像処理部23に送る。画像データは、例えば輝度信号に対応する輝度データと、各色差信号に対応する各色差データとからなる。
The photographing signal from the analog
AE/AF検出部22は、フォーカス機構16とともにオートフォーカス手段を構成しており、画像データに基づいて撮影中の被写体画像のコントラストの検出を行い、その結果をAF評価値として出力する。また、AE/AF検出部22は、画像データに基づいて撮影中の被写体画像の被写体輝度の検出を行い、その結果をAE評価値として出力する。AF,AE評価値は、システムコントローラ10に送られる。
The AE /
システムコントローラ10は、AE評価値に基づいて、CCDイメージセンサ14の電荷蓄積時間,シャッタ装置18のシャッタ速度を制御する。また、システムコントローラ10は、AF評価値に基づいて、撮影中の被写体画像のコントラストが最大となるようにフォーカス機構16を介して撮影レンズ13のピント合せを行う。
The
画像処理部23は、画像データに対してホワイトバランスの補正処理やガンマ補正等からなる通常処理を行う。LCD24に撮影中の画像を動画で表示するとき、すなわちLCD24を電子ビューファインダとして機能させるときには、連続的なCCDイメージセンサ14の撮影で得られる画像データが画像処理部23で通常処理が施された後にLCDドライバ25に順次に送られる。LCDドライバ25は、順次に入力される画像データに基づきLCD24を駆動する。これにより、LCD24には撮影中の画像が動画で表示される。
The
レリーズボタン11の押圧操作に応答した静止画の撮影時では、、レリーズボタン11の押圧操作に応答して得られる画像データは、画像処理部23で通常処理と、圧縮処理とが施され、例えばJPEG形式の圧縮画像データに変換される。圧縮画像データは、メモリカード26に送られて書き込まれる。
At the time of shooting a still image in response to the pressing operation of the
また、ポートレートモードでの撮影時には、画像処理部23は、プリ撮影で得られる画像データ(以下、プリ撮影画像データという)及び本撮影で得られる画像データ(以下、本撮影画像データという)をそれぞれワークメモリ27にいったん書き込んでから、本撮影画像データに対に対してボカシ処理,通常処理,圧縮処理を順次施し、得られる圧縮画像データをメモリカード26に書き込む。
At the time of shooting in the portrait mode, the
ボカシ処理は、距離指標を求める指標算出処理と、距離指標に基づいたボケ量で主要被写体以外の被写体を擬似的にピントが合致していないようにぼかす平均化処理とからなる。指標算出処理では、プリ撮影で得られる各画素のプリ撮影画像データから、各画素上の被写体の被写体距離を求め、この被写体距離と主要被写体距離との差(=被写体距離ー主要被写体距離)が画素の距離指標とされる。なお、明るさから被写体距離を求める際には、デ−タテーブルを用いて明るさを被写体距離に変換したり、演算を行って明るさを被写体距離に求める等の種々の手法を採用することができる。主要被写体距離は、上記のように、フォーカス機構16からシステムコントローラ10によって取得され、画像処理部23に与えられる。
The blur process includes an index calculation process for obtaining a distance index, and an averaging process for blurring a subject other than the main subject in a pseudo amount so as not to be in focus with a blur amount based on the distance index. In the index calculation process, the subject distance of the subject on each pixel is obtained from the pre-photographed image data of each pixel obtained by pre-photographing, and the difference between this subject distance and the main subject distance (= subject distance-main subject distance) is This is a pixel distance index. When obtaining the subject distance from the brightness, various methods such as converting the brightness to the subject distance using a data table or calculating the brightness to the subject distance by performing a calculation are employed. Can do. As described above, the main subject distance is acquired from the
ストロボ撮影で得られる被写体(画素)の明るさは、被写体距離,被写体の反射率,ストロボ光量,絞り径等をパラメータとして決まるストロボ光成分と、アベイラブル光の強さ、シャッタ速度,絞り径等をパラメータとして決まるアベイラブル光成分とからなる。各光成分のうちのアベイラブル光成分は、ストロボ発光と同調可能な最も高速シャッター速度でストロボ撮影を行うことで小さくすることができる。また、被写体の反射率を一定な値、例えば標準反射板と同じ反射率(18%)と仮定すれば、一定のストロボ発光量の下では、被写体の明るさは、その被写体距離の二乗に反比例する。さらに、ストロボ光量,絞り径などの他のパラメータは既知である。したがって、プリ撮影画像データによって示される画素の明るさから、その画素に対応する被写体の被写体距離を求めることができる。 The brightness of the subject (pixel) obtained by flash photography is determined by the strobe light component determined by the subject distance, the reflectance of the subject, the amount of strobe light, the aperture diameter, the available light intensity, the shutter speed, the aperture diameter, etc. It consists of an available light component determined as a parameter. The available light component of each light component can be reduced by performing flash photography at the highest shutter speed that can be synchronized with the flash emission. If the reflectance of the subject is assumed to be a constant value, for example, the same reflectance (18%) as that of the standard reflector, the brightness of the subject is inversely proportional to the square of the subject distance under a certain amount of strobe light emission. To do. Furthermore, other parameters such as the amount of strobe light and the aperture diameter are known. Therefore, the subject distance of the subject corresponding to the pixel can be obtained from the brightness of the pixel indicated by the pre-captured image data.
なお、反射率が標準反射板と大きく異なる被写体の場合には、上記のように求められる被写体距離と実際の被写体距離とに大きな差が生じるが、このような被写体のディテールが失われても鑑賞者に大きな違和感を与えないので影響がない。 In the case of a subject whose reflectivity is significantly different from that of the standard reflector, there is a large difference between the subject distance required as described above and the actual subject distance. There is no influence because it does not give the person a great sense of incongruity.
上記のボカシ処理では、操作部12で選択されているボカシレベルと距離指標とに基づいたボケ量となるように各画素に対して画像処理を施す。ボケレベルは、選択部12の操作によって「強」,「中」,「弱」を選択できる。このボケレベルは、「弱」,「中」,「強」の順番にボケの程度が強くなる。
In the blur processing described above, image processing is performed on each pixel so that the blur amount is based on the blur level selected by the
図2に示すように、同じボカシレベル下では距離指標が大きいほど、すなわち主要被写体からの距離が遠いほどボケ量が大きくなるようにされ、また、距離指標の変化に対するボケ量の変化の割合は、ボケレベルが強いほど大きくなり、同じ距離指標でもボケレベルが強いほどボケ量が大きい。 As shown in FIG. 2, under the same blur level, the greater the distance index, that is, the greater the distance from the main subject, the greater the blur amount, and the ratio of the change in the blur amount to the change in the distance index is The higher the blur level, the larger the blur level, and the greater the blur level, the greater the blur amount even with the same distance index.
このボカシ処理では、ぼかすべき画素とその周囲の各画素の本撮影画像データの平均値をぼかすべき画素の本撮影画像データに置換えることで行う。この処理の際には、図3に示すように、距離指標が大きいほど、またボカシレベルが強いほど多くの画素を用いて平均値を算出することで行う。なお、平均値を算出する際に本撮影画像データに適当な重みを付けてもよい。 This blur processing is performed by replacing the average value of the actual captured image data of the pixel to be blurred and the surrounding pixels with the actual captured image data of the pixel to be blurred. In this process, as shown in FIG. 3, the average value is calculated using more pixels as the distance index is larger and the blur level is stronger. Note that, when calculating the average value, an appropriate weight may be given to the actual captured image data.
図1において、ストロボ装置28は、プリ撮影時にシャッタ羽根の開閉に同期して、一定光量でストロボ発光を行う。このストロボ装置28は、通常のストロボ撮影用に設けられたものであり、通常の撮影時にもストロボ発光させることができる。なお、ストロボ装置28は、プリ撮影時に一定なストロボ光量で発光可能なものであればよく、例えば自動調光式のものであってもプリ撮影時に一定なストロボ光量で発光させることができればよい。また、ストロボ光量がわかれば、プリ撮影時にストロボ光量が変化してもかまわない。さらに、ポートレートモード下の本撮影においてストロボ発光を行ってもよい。
In FIG. 1, a
次に上記構成の作用について図4を参照しながら説明する。ポートレート撮影のようなピントの効果を用いた撮影を行う場合には、操作部12を操作して、撮影モードを選択し、この撮影モード下でポートレートモードを選択する。さらに、操作部12を操作してボケレベルを選択する。
Next, the operation of the above configuration will be described with reference to FIG. When shooting using a focus effect such as portrait shooting, the
撮影モードとなると、これまでのデジタルカメラと同様に、動画の撮影がCCDイメージセンサ14で行われ、この撮影で得られる撮影信号がアナログ処理回路19,A/D変換器21を介して画像データに変換される。
When the photographing mode is set, the moving image is photographed by the
A/D変換器21からの画像データは、AE/AF検出部22と画像処理部23とにそれぞれ送られる。そして、AE/F検出回路22からのAE評価値に基づいてCCDイメージセンサ42の電荷蓄積時間が調節されるとともに、AF評価値に基づいてフォーカス機構16が駆動されて撮影レンズ13のピント位置が調節される。そして、これらの調節は、継続的に行われる。また、画像処理部23で通常処理が施された画像データが順次にLCDドライバ25に送られることによって、LCD24に撮影中の被写体画像が動画で表示される。
Image data from the A /
上記のようにLCD24上に表示されている被写体画像を観察して、主要被写体が撮影画面の中央となるようにフレーミングしてから、レリーズボタン11を押圧操作する。ポートレートモード下でレリーズボタン11を半押し位置とすると、AE評価値に基づいて撮影画面の中央の被写体にピントが合っているか否かの確認が行われ、ピントが合致していないときには再度ピント合せが行われてから、被写体(主要被写体)にピントが合致した状態で撮影レンズ13のピント位置が固定される。また、AF評価値に基づいてシャッタ装置18のシャッタ速度が決定される。なお、ピント位置が固定されてから、主要被写体までの距離が変わらないようにして、レリーズボタン11を半押し位置としたままフレーミングを変更してもかまわない。
As described above, the subject image displayed on the
また、上記のようにレリーズボタン11の半押しに応答して撮影レンズ13のピント位置が固定されると、システムコントローラ10によってフォーカス機構部16から出力されているレンズ位置信号が調べられ、主要被写体までの被写体距離である主要被写体距離が取得される。そして、この主要被写体距離が画像処理部23に対して与えられる。
When the focus position of the
引き続きレリーズボタン11を押圧操作して、これを全押し位置とすると、まずプリ撮影が行われる。プリ撮影では、被写体の明るさに関わらず、ストロボ発光と同調可能な最も高速なシャッター速度でシャッタ装置18のシャッタ羽根の開閉動作が行われ、この動作に同期したシンクロ信号がシステムコントローラ10を介してストロボ装置28に与えられる。これにより、シャッタ羽根が開いている間にストロボ装置28がストロボ発光し、一定光量のストロボ光が被写体に向けて照射される。
If the
上記のようにストロボ光が照射された被写体からの被写体光は、CCDイメージセンサ14に入射して光電変換されて電荷として蓄積される。そして、シャッタ羽根が閉じると、CCDイメージセンサ14に蓄積された電荷の読み出しが行われて撮影信号として出力される。撮影信号は、アナログ処理回路19,A/D変換器21,画像処理部23を介してプリ撮影画像データとしてワークメモリ27に書き込まれる。
The subject light from the subject irradiated with the strobe light as described above enters the
ワークメモリ27へのプリ撮影画像データの書き込みが完了すると、本撮影が行われる。本撮影では、先のAE評価値に基づいて決定されたシャッタ速度でシャッタ装置18のシャッタ羽根の開閉が行われ、シャッタ羽根が開いている間にCCDイメージセンサ14での露光が行われる。この本撮影は、従来のデジタルカメラの撮影と同様である。
When the writing of the pre-photographed image data to the
シャッタ羽根が閉じた後に、本撮影の撮影信号がCCDイメージセンサ14から出力される。そして、この撮影信号は、アナログ信号処理部19,A/D変換器21,画像処理部23を介して本撮影画像データとしてワークメモリ27に書き込まれる。
After the shutter blades are closed, a photographing signal for actual photographing is output from the
本撮影画像データがワークメモリ27に書き込まれた後に、画像処理部23によって指標算出処理が行われる。まず、ワークメモリ27に書き込まれているプリ撮影画像データが順次に画像処理部23によって読み出され、各プリ撮影画像データは、それぞれそれが示す明るさに応じた被写体距離に変換される。この後に算出された被写体距離と、先にシステムコントローラ10から与えられた主要被写体距離との差が求められて距離指標とされる。
After the captured image data is written in the
なお、画像データが、例えば赤色,緑色,青色の階調を示すデータであれば、これらから明るさを示すデータを作成し、そのデータから被写体距離を算出すればよい。また、画像データが、輝度信号に対応する輝度データと色差信号に対応する色差データからなる場合には、輝度データを用いて被写体距離を算出すればよい。 If the image data is data indicating, for example, red, green, and blue gradations, data indicating brightness is created from these, and the subject distance may be calculated from the data. When the image data is composed of luminance data corresponding to the luminance signal and color difference data corresponding to the color difference signal, the subject distance may be calculated using the luminance data.
続いて本撮影画像データに対して平均化処理が実行される。この平均化処理では、処理の対象となる画素の本撮影画像データと、その画素の周囲の画素の本撮影画像データが読み出される。この周囲の画素の読み出しの際には、処理の対象となる画素と同じ位置のプリ撮影画像の画素から得られた距離指標と、操作部12で選択されているボケレベルによって決まる画素数分の本撮影画像データが読み出される。そして、処理の対象となる画素及び周囲の各画素の本撮影画像データの平均値が求められ、これが処理の対象の画素の新たな本撮影画像データとされる。
Subsequently, an averaging process is performed on the actual captured image data. In this averaging process, the actual captured image data of the pixel to be processed and the actual captured image data of the pixels around the pixel are read out. When reading out the surrounding pixels, the number of pixels determined by the distance index obtained from the pre-photographed image pixel at the same position as the pixel to be processed and the blur level selected by the
上記のようにして、全ての本撮影画像データに対して平均化処理が完了すると、平均化処理で得られた本撮影画像データに通常処理,圧縮処理が施されて、その圧縮画像データがメモリカード26に記録される。
As described above, when the averaging process is completed for all the actual captured image data, the normal captured image data obtained by the averaging process is subjected to normal processing and compression processing, and the compressed image data is stored in the memory. Recorded on the
以上のようにして、主要被写体の部分にピントが合い、主要被写体よりも近い被写体及び遠い被写体がその距離に応じてピントをぼかした画像が得られる。 As described above, an image is obtained in which the main subject is in focus and the subject closer and farther than the main subject is blurred according to the distance.
図5に示す例は、空間周波数の高周波成分を利用した例を示すものである。なお、以下に説明する他は、上記実施形態と同じであり、実質的に同じ構成部材には同じ符号を付して説明する。 The example shown in FIG. 5 shows an example using a high frequency component of the spatial frequency. In addition, except being demonstrated below, it is the same as the said embodiment, The same code | symbol is attached | subjected and demonstrated to the substantially same structural member.
この例においては、上記実施形態と同様にプリ撮影と本撮影とを行うが、プリ撮影では、ストロボ撮影を行う代わりに、撮影レンズ13を無限遠の被写体にピントが合致させて撮影を行う。また、本撮影では、主要被写体にピント合せを行って撮影する。レリーズボタン11が半押しされた時点での撮影レンズ13のレンズ位置、すなわち主要被写体にピントが合致するレンズ位置がシステムコントローラ10内のメモリに記憶され、プリ撮影後に、この記憶されているピント位置に撮影レンズ13が駆動されてから本撮影が行われる。
In this example, pre-photographing and main-photographing are performed in the same manner as in the above-described embodiment. In pre-photographing, instead of performing strobe photographing, photographing is performed with the photographing
画像処理部23は、プリ撮影で得られるプリ撮影画像と、本撮影で得られる本撮影画像をそれぞれ適当なサイズの複数の領域に分割する。そして、プリ撮影画像,本撮影画像の対応する領域同士の空間周波数の高周波成分の大きさの差(=プリ撮影画像の領域の高周波成分−プリ撮影画像の領域の高周波成分)を距離指標として、距離指標が大きいほど大きなボケ量となるように平均化処理を行う。
The
空間周波数の高周波成分の大きさをプリ撮影画像と本撮影画像の対応する領域同士で比較すると、主要被写体と同等の距離にある被写体からなる領域では、「本画像>プリ画像」の関係になる。また、主要被写体よりも遠方にある被写体からなる領域では、「本画像<プリ画像」の関係になり、主要被写体から離れるほどプリ画像の空間周波数の高周波成分が大きくなる。したがって、上記のように求めた距離指標に基づいて平均化処理を行うことで、主要被写体にピントが合致し、それよりも遠方の被写体をぼかした画像を得ることができる。 When the magnitudes of the high-frequency components of the spatial frequency are compared between corresponding regions of the pre-photographed image and the main-photographed image, the relationship of “main image> pre-image” is obtained in a region composed of subjects at the same distance as the main subject. . Further, in a region composed of a subject farther from the main subject, a relationship of “main image <pre-image” is established, and as the distance from the main subject increases, the high-frequency component of the spatial frequency of the pre-image increases. Therefore, by performing the averaging process based on the distance index obtained as described above, it is possible to obtain an image in which the main subject is in focus and a subject farther than that is blurred.
図6は、撮影シーンの明るさに応じて、距離指標を算出する方式を自動的に選択する例を示すものである。システムコントローラ10は、撮影シーンの明るさが予め決められた基準レベルよりも低い場合には、最初の実施形態で説明する手順(以下、第1の方式という)で、距離指標を作成し、この距離指標に基づいて本撮影で得られる本撮影画像データに対して平均化処理を行う。一方、撮影シーンが予め決められた基準レベル以上の場合には、図5に示される実施形態と同じ手順(以下、第2の方式という)により、距離指標を作成し、平均化処理化を行う。なお、撮影シーンの明るさは、AE/AF検出部22からのAE評価値に基づいて得られる被写体輝度として得ることができる。
FIG. 6 shows an example in which a method for calculating a distance index is automatically selected according to the brightness of the shooting scene. When the brightness of the photographic scene is lower than a predetermined reference level, the
ストロボ発光と同期した撮影は、同期可能なシンクロ速度を超えることができないため、シンクロ速度の速い例えばレンズシャッタであっても、ある明るさ以上の撮影シーンでは、プリ撮影でアベイラブル光の明るさ成分が大きくなり、第1方式ではその影響を無視できなくなる。一方、第2の方式の場合、プリ撮影後に撮影レンズ13のピント合せを行ってから本撮影を行うので、プリ撮影と本撮影との間隔が開きやすい。しかし、この例によれば、明るい撮影シーンでは、第2方式で距離指標を作成し、アベイラブル光の影響を無視できるような明るさの撮影シーンでは第1方式が用いられるため、種々の明るさの撮影シーンで好まし方式で撮影を行うことができる。
Shooting synchronized with strobe lighting cannot exceed the sync speed that can be synchronized, so even in the case of a lens shutter with a high sync speed, for example, a lens shutter, the brightness component of the available light is available in pre-shooting. And the influence cannot be ignored in the first method. On the other hand, in the case of the second method, since the main photographing is performed after the photographing
上記実施形態では、撮影装置としてデジタルカメラを例にして説明したが、本発明はCイメージセンサを用いて撮影を行う各種装置に利用することができ、例えばカメラ付き携帯電話等の撮影機能付き携帯機器の撮影装置にも利用できる。 In the above embodiment, a digital camera has been described as an example of a photographing apparatus. However, the present invention can be used for various apparatuses that perform photographing using a C image sensor. For example, a mobile phone with a photographing function such as a mobile phone with a camera. It can also be used for equipment photography equipment.
10 システムコントローラ
13 撮影レンズ
18 シャッタ装置
16 フォーカス機構
22 AE/AF検出部
23 画像処理部
DESCRIPTION OF
Claims (5)
第1撮影画像を得る第1撮影と第2撮影画像を得る第2撮影をイメージセンサで行うとともに、第1撮影時に主要被写体に撮影レンズのピントを合致させ、第2撮影時に前記ストロボ装置を所定の発光量で発光させる撮影制御手段と、主要被写体までの被写体距離を取得するための距離取得手段と、第2撮影画像の画素の明るさに基づいて対応する第1撮影画像の画素上の被写体までの被写体距離を求め、この被写体距離と前記距離取得手段で取得した主要被写体までの被写体距離との差を各画素について求めて、第1の撮影画像の各画素を対応する被写体距離の差に応じたボケ量でそれぞれぼかす画像処理手段とを備えたことを特徴とする撮影装置。 In a photographing apparatus comprising a photographing lens, an image sensor for photographing a subject to obtain a photographed image, and a strobe device that emits strobe light toward the subject,
The first photographing for obtaining the first photographed image and the second photographing for obtaining the second photographed image are performed by the image sensor, the focus of the photographing lens is matched with the main subject at the first photographing, and the strobe device is set at the second photographing. Shooting control means that emits light with the light emission amount, distance acquisition means for acquiring the subject distance to the main subject, and the subject on the pixel of the first photographed image corresponding to the brightness of the pixel of the second photographed image And the difference between the subject distance and the subject distance to the main subject acquired by the distance acquisition unit is obtained for each pixel, and each pixel of the first photographed image is set to the corresponding subject distance difference. An imaging apparatus comprising image processing means for blurring each image with a corresponding blur amount.
第1撮影画像を得る第1撮影と第2撮影画像を得る第2撮影をイメージセンサで行うとともに、第1撮影時に主要被写体に撮影レンズのピントを合致させ、第2撮影時に撮影レンズを無限遠にピントを合致させる撮影制御手段と、第1及び第2撮影画像をそれぞれ複数の領域に分割し、第1及び第2撮影画像の対応する領域同士の空間周波数の高周波成分の大きさの差を第1撮影画像の各領域について求め、第1の撮影画像の各領域内の各画素をその領域に対応する高周波成分の大きさの差に基づいたぼけ量でぼかす画像処理手段とを備えたことを特徴とする撮影装置。 In a photographing apparatus including a photographing lens and an image sensor for photographing a subject to obtain a photographed image,
The first photographing for obtaining the first photographed image and the second photographing for obtaining the second photographed image are performed by the image sensor, and the focus of the photographing lens is matched with the main subject at the first photographing, and the photographing lens is moved to infinity at the second photographing. The first and second photographed images are each divided into a plurality of areas, and the difference in magnitude of the spatial frequency high-frequency component between the corresponding areas of the first and second photographed images is obtained. Image processing means for obtaining each region of the first photographed image and blurring each pixel in each region of the first photographed image with a blur amount based on a difference in magnitude of a high-frequency component corresponding to the region; An imaging device characterized by
主要被写体までの被写体距離を取得するための距離取得手段と、撮影シーンの明るさを取得する明るさ取得手段と、第1撮影画像を得る第1撮影と第2撮影画像を得る第2撮影をイメージセンサで行うとともに、明るさ取得手段から得られる撮影シーンの明るさが所定レベルよりも低いときには、第1撮影時に主要被写体に撮影レンズのピントを合致させ、第2撮影時に前記ストロボ装置を所定の発光量で発光させ、また撮影シーンの明るさが所定レベル以上のときには、第1撮影時に主要被写体に撮影レンズのピントを合致させ、第2撮影時に撮影レンズを無限遠にピントを合致させる撮影制御手段と、撮影シーンの明るさが所定レベルよりも低いときには、第2撮影画像の画素の明るさに基づいて対応する第1撮影画像の画素上の被写体までの被写体距離を求め、この被写体距離と前記距離取得手段で取得した主要被写体までの被写体距離との差を各画素について求めて、第1の撮影画像の各画素を対応する被写体距離の差に応じたボケ量でそれぞれぼかし、また撮影シーンの明るさが所定レベル以上のときには、第1及び第2撮影画像をそれぞれ複数の領域に分割し、第1及び第2撮影画像の対応する領域同士の空間周波数の高周波成分の大きさの差を第1撮影画像の各領域について求め、第1の撮影画像の各領域内の各画素をその領域に対応する高周波成分の大きさの差に基づいたぼけ量でぼかす画像処理手段とを備えたことを特徴とする撮影装置。 In a photographing apparatus comprising a photographing lens, an image sensor for photographing a subject to obtain a photographed image, and a strobe device that emits strobe light toward the subject,
Distance acquisition means for acquiring the subject distance to the main subject, brightness acquisition means for acquiring the brightness of the shooting scene, first shooting for obtaining the first shot image, and second shooting for obtaining the second shot image. When the brightness of the photographic scene obtained from the brightness acquisition means is lower than a predetermined level, the photographic lens is focused on the main subject during the first shooting, and the strobe device is set during the second shooting. When the brightness of the shooting scene is above a predetermined level, the shooting lens is focused on the main subject during the first shooting, and the shooting lens is focused at infinity during the second shooting. When the brightness of the photographic scene is lower than a predetermined level with the control means, the subject on the pixel of the first photographed image corresponding to the brightness of the pixel of the second photographed image And the difference between the subject distance and the subject distance to the main subject obtained by the distance obtaining means is obtained for each pixel, and each pixel of the first photographed image is set to the corresponding subject distance difference. When the image is blurred with a corresponding blur amount and the brightness of the shooting scene is equal to or higher than a predetermined level, the first and second shot images are divided into a plurality of areas, respectively. A difference in the size of the high frequency component of the spatial frequency is obtained for each region of the first captured image, and each pixel in each region of the first captured image is blurred based on the difference in the size of the high frequency component corresponding to that region. An image pickup apparatus comprising: an image processing unit that blurs in amount.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003367335A JP4170194B2 (en) | 2003-10-28 | 2003-10-28 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003367335A JP4170194B2 (en) | 2003-10-28 | 2003-10-28 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005136480A true JP2005136480A (en) | 2005-05-26 |
JP4170194B2 JP4170194B2 (en) | 2008-10-22 |
Family
ID=34645371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003367335A Expired - Fee Related JP4170194B2 (en) | 2003-10-28 | 2003-10-28 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4170194B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008118348A (en) * | 2006-11-02 | 2008-05-22 | Nikon Corp | Electronic camera and program |
JP2008187260A (en) * | 2007-01-26 | 2008-08-14 | Nikon Corp | Imaging device |
JP2011124712A (en) * | 2009-12-09 | 2011-06-23 | Fujifilm Corp | Image processing device, method, and program |
US8184171B2 (en) | 2007-04-20 | 2012-05-22 | Fujifilm Corporation | Image pickup apparatus, image processing apparatus, image pickup method, and image processing method |
WO2012132277A1 (en) * | 2011-03-28 | 2012-10-04 | パナソニック株式会社 | Imaging device and live view image display method |
JP2013132018A (en) * | 2011-12-22 | 2013-07-04 | Sharp Corp | Image processing device, imaging device, display device, image processing method, and image processing program |
US8787655B2 (en) | 2010-11-12 | 2014-07-22 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
US9646383B2 (en) | 2011-12-19 | 2017-05-09 | Sharp Kabushiki Kaisha | Image processing apparatus, image capturing apparatus, and display apparatus |
-
2003
- 2003-10-28 JP JP2003367335A patent/JP4170194B2/en not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008118348A (en) * | 2006-11-02 | 2008-05-22 | Nikon Corp | Electronic camera and program |
JP2008187260A (en) * | 2007-01-26 | 2008-08-14 | Nikon Corp | Imaging device |
US8184171B2 (en) | 2007-04-20 | 2012-05-22 | Fujifilm Corporation | Image pickup apparatus, image processing apparatus, image pickup method, and image processing method |
JP2011124712A (en) * | 2009-12-09 | 2011-06-23 | Fujifilm Corp | Image processing device, method, and program |
US8787655B2 (en) | 2010-11-12 | 2014-07-22 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
WO2012132277A1 (en) * | 2011-03-28 | 2012-10-04 | パナソニック株式会社 | Imaging device and live view image display method |
JP2012203352A (en) * | 2011-03-28 | 2012-10-22 | Panasonic Corp | Photographic apparatus and live view image display method |
US9646383B2 (en) | 2011-12-19 | 2017-05-09 | Sharp Kabushiki Kaisha | Image processing apparatus, image capturing apparatus, and display apparatus |
JP2013132018A (en) * | 2011-12-22 | 2013-07-04 | Sharp Corp | Image processing device, imaging device, display device, image processing method, and image processing program |
Also Published As
Publication number | Publication date |
---|---|
JP4170194B2 (en) | 2008-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3541820B2 (en) | Imaging device and imaging method | |
US8106995B2 (en) | Image-taking method and apparatus | |
TWI423664B (en) | Imaging apparatus and exposure control method | |
WO2013088917A1 (en) | Image processing device, image processing method, and recording medium | |
JP2007264196A (en) | Strobe control unit and method | |
JP2007232793A (en) | Imaging apparatus | |
JP2007263926A (en) | Range finder and method for the same | |
US7864239B2 (en) | Lens barrel and imaging apparatus | |
JP2007233113A (en) | Distance measuring device and method | |
JP4170194B2 (en) | Imaging device | |
JP4767904B2 (en) | Imaging apparatus and imaging method | |
JP4949717B2 (en) | In-focus position determining apparatus and method | |
JP2007225897A (en) | Focusing position determination device and method | |
JP2009033386A (en) | Photographing device and method | |
JP2010026039A (en) | Photographing apparatus, and control method and program of photographing apparatus | |
JP2008005248A (en) | Imaging apparatus | |
JP2005283637A (en) | Photographing device and program therefor | |
JP2007057974A (en) | Photographing device | |
JP2005122016A (en) | Automatic focusing camera | |
JP2003319246A (en) | Digital camera | |
JP2003222787A (en) | Digital camera | |
JP4496051B2 (en) | Imaging device | |
JP2008219367A (en) | Imaging apparatus and imaging method | |
JP4756005B2 (en) | Imaging apparatus and imaging method | |
JP4823964B2 (en) | Imaging apparatus and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060510 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080723 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080806 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4170194 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |