JP5056168B2 - Focus adjustment device and imaging device - Google Patents
Focus adjustment device and imaging device Download PDFInfo
- Publication number
- JP5056168B2 JP5056168B2 JP2007143097A JP2007143097A JP5056168B2 JP 5056168 B2 JP5056168 B2 JP 5056168B2 JP 2007143097 A JP2007143097 A JP 2007143097A JP 2007143097 A JP2007143097 A JP 2007143097A JP 5056168 B2 JP5056168 B2 JP 5056168B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- focus detection
- focus
- focus adjustment
- detection area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
本発明は焦点調節装置および撮像装置に関する。 The present invention relates to a focus adjustment device and an imaging device.
従来より、撮像素子による撮像画像の中から人間の顔の位置を認識するなどして、撮影する主要被写体が撮影画面内のどの位置にあるかを認識し、その主要被写体位置において撮影光学系の焦点調節を行うカメラが知られている(例えば、特許文献1参照)。 Conventionally, by recognizing the position of the human face from the image captured by the image sensor, the position of the main subject to be photographed is recognized in the photographing screen, and the photographing optical system is located at the main subject position. A camera that performs focus adjustment is known (see, for example, Patent Document 1).
この出願の発明に関連する先行技術文献としては次のものがある。
しかしながら、上述した従来のカメラでは、主要被写体の位置を誤認識した場合などに、最適な焦点検出エリア位置を決定できないという問題があった。
本発明は、焦点調節のための焦点検出エリアを適切に決定することができる焦点調節装置および撮像装置を提供することを目的とする。
However, the above-described conventional camera has a problem that the optimum focus detection area position cannot be determined when the position of the main subject is erroneously recognized.
An object of the present invention is to provide a focus adjustment device and an imaging device that can appropriately determine a focus detection area for focus adjustment.
請求項1の発明は、結像光学系の画面内に設定された複数の焦点検出エリア毎に前記結像光学系の焦点調節状態を検出してそれぞれ焦点検出信号としてデフォーカス量を出力する焦点検出手段と、前記焦点検出手段によって出力される前記焦点検出エリア毎のデフォーカス量のうち、所定値以内であるデフォーカス量の中で最小のものに対応する焦点検出エリアを、第1の焦点検出エリアとして決定する第1のエリア決定手段と、前記結像光学系による被写体像を撮像する撮像手段の撮像画像に基づいて、前記画面内のどの位置に主要被写体があるかを認識する被写体認識手段と、択一的に選択される第1エリア決定モードと第2エリア決定モードとを有し、前記第1エリア決定モードが選択された場合には、前記第1のエリア決定手段によって決定された前記第1の焦点検出エリアを前記結像光学系の焦点調節を行う第2の焦点検出エリアとして決定し、前記第2エリア決定モードが選択された場合には、前記第1の焦点検出エリアが前記被写体認識手段により認識された主要被写体位置内またはその近傍に位置するときに、前記第1の焦点検出エリアを前記第2の焦点検出エリアとして決定すると共に、前記第1の焦点検出エリアが前記被写体認識手段により認識された主要被写体位置内またはその近傍に位置していないときには、前記被写体認識手段により認識された主要被写体位置内に位置する複数の焦点検出エリアに関するデフォーカス量のうち、前記所定値以内であるものの中で最小のものに対応する焦点検出エリアを、前記第2の焦点検出エリアとして決定する第2のエリア決定手段と、前記第2のエリア決定手段により決定された前記第2の焦点検出エリアにおける前記焦点検出手段の焦点検出信号に基づいて前記結像光学系の焦点調節を行う焦点調節手段と、を備えることを特徴とする。
The invention according to
本発明によれば、焦点調節を行う焦点検出エリアを適切に決定することができる。 According to the present invention, it is possible to appropriately determine a focus detection area for performing focus adjustment.
本発明の焦点調節装置を備えた撮像装置を一眼レフデジタルカメラに適用した一実施の形態を説明する。なお、本願発明は一眼レフデジタルカメラに限定されず、被写体認識装置と位相差検出方式の焦点調節装置(以下、位相差AFと呼ぶ)を備えたあらゆる種類のカメラに適用することができる。 An embodiment in which an imaging apparatus equipped with a focus adjustment apparatus of the present invention is applied to a single-lens reflex digital camera will be described. The present invention is not limited to a single-lens reflex digital camera, but can be applied to any type of camera including a subject recognition device and a phase difference detection type focus adjustment device (hereinafter referred to as phase difference AF).
一実施の形態のカメラは、人間の顔のテンプレート画像を用いてテンプレートマッチングを行い、撮像素子による撮像画像の中から顔を認識するなど、撮影光学系による結像画像を撮像する撮像素子の撮像画像に基づいて、撮影する主要被写体が結像光学系の撮影画面内のどの位置にあるかを認識する被写体認識機能と、撮影光学系の異なる瞳領域を透過した対の被写体像の位相差を検出することによって撮影画面内の複数の焦点検出エリアで撮影光学系の焦点調節状態を検出し、複数の焦点検出エリアの焦点調節状態に基づいて撮影光学系の焦点調節に適した焦点検出エリアを決定する位相差検出方式の焦点調節(位相差AF)機能とを備えている。 The camera of one embodiment performs image matching using a template image of a human face, and picks up an imaged image by an imaging optical system such as recognizing a face from images captured by the imaging device. Based on the image, the subject recognition function recognizes where the main subject to be photographed is in the imaging screen of the imaging optical system, and the phase difference between the pair of subject images that have passed through different pupil regions of the imaging optical system. By detecting, the focus adjustment state of the photographing optical system is detected in a plurality of focus detection areas in the photographing screen, and the focus detection area suitable for the focus adjustment of the photographing optical system is determined based on the focus adjustment state of the plurality of focus detection areas. And a focus adjustment (phase difference AF) function of the phase difference detection method to be determined.
図1は一実施の形態のカメラの構成を示す断面図である。撮影光学系1は被写体像を撮影画面上に結像させるための光学系であり、対物レンズ1a、ズーミングレンズ1b、絞り1c、フォーカシングレンズ1dなどから構成される。クイックリターンミラー2は、露光前には図示するように撮影光学系1の撮影光路中に置かれ(ミラーダウン)、撮影光学系1を透過した被写体からの光束の一部を反射してファインダ光学系3〜5へ導く。一方、露光時にはクイックリターンミラー2が撮影光路中から退避され(ミラーアップ)、撮影光学系1を透過した被写体からの光束は撮像素子6へ導かれる。クイックリターンミラー2の中央部はハーフミラーになっており、撮影光学系1を透過した被写体からの光束の一部がハーフミラー部を透過してサブミラー7に反射され、位相差AF検出素子8へ導かれる。
FIG. 1 is a cross-sectional view showing a configuration of a camera according to an embodiment. The photographing
撮像素子6は、撮影光学系1により結像された被写体像を電気信号に変換して画像信号を出力する。図示を省略するが、撮像素子6の撮像面の前面には赤外光をカットするための赤外カットフィルタや画像の折り返しノイズを防止する光学的ローパスフィルタが配置されている。
The
位相差AF検出素子8は、撮影光学系1からクイックリターンミラー2およびサブミラー7を介して導かれた被写体光をマスク(不図示)により複数対の光束に分けた後、再結像レンズ(不図示)により複数の光電変換素子列(CCD;不図示)上に再結像し、各光電変換素子列から対の被写体像に応じた信号を出力する。AF−CCD制御部9は、位相差AF検出素子8の複数の光電変換素子列の電荷蓄積制御、ゲイン調整、画像データの読み出し制御、画像データの補正などを行う。デフォーカス演算部10は、位相差AF検出素子8から出力される各対の被写体像信号のずれ量を検出し、各焦点検出エリアのずれ量に変換係数を乗じてデフォーカス量に変換する。
The phase difference
レンズ駆動量演算部11は、各焦点検出エリアのデフォーカス量をレンズ駆動量に変換し、レンズ駆動制御部12へ出力する。レンズ駆動制御部12は、レンズ駆動用モータ13を駆動制御してフォーカシングレンズ1dの焦点調節を行う。
The lens driving
ファインダ光学系はファインダスクリーン3、ペンタダハプリズム4、接眼レンズ5などから構成される。露光前にクイックリターンミラー2からファインダスクリーン3へ導かれた被写体光はファインダスクリーン3上で結像され、この被写体像はペンタダハプリズム4および接眼レンズ5を介して撮影者に観察される。また、ファインダスクリーン3に結像された被写体像はペンタダハプリズム4および測光用レンズ14を介して測光センサ15へ導かれ、被写界を複数の測光領域に分割して各測光領域ごとの被写体の明るさを測定する。
The finder optical system includes a finder screen 3, a
測光センサ15は上述した被写体認識機能の撮像素子を兼ねており、撮影光学系1によりファインダスクリーン3上に結像された被写体像を電気信号に変換して画像信号を出力する。なお、測光センサ15を被写体認識機能の撮像素子として用いる代わりに、撮像用の撮像素子6を被写体認識機能の撮像素子として兼用してもよい。あるいは、被写体認識機能に用いる専用の撮像素子を設けてもよい。
The
一実施の形態のカメラのボディおよびレンズ鏡筒には種々の操作部材16が設けられている。この操作部材16には、シャッターレリーズボタン、焦点検出エリアを選択するための十字キースイッチ、焦点調節モード(以下、AFモードと呼ぶ)を選択するためのAFモードスイッチ、各種撮影条件を設定するためのコマンドダイヤルスイッチなどが含まれる。制御装置17はマイクロコンピュータ、メモリ、A/Dコンバータなどを備え、操作部材16から各種情報を入力し、上述した撮像素子6、AF−CCD制御部9、デフォーカス演算部10、レンズ駆動量演算部11、レンズ駆動制御部12などを制御し、カメラのシーケンス制御、位相差AF制御、被写体認識制御などを行う。
図2は、撮影光学系1の撮影画面20内に設定された焦点検出エリア(以下、AFエリアと呼ぶ)を示す図である。この一実施の形態では、撮影画面20内に31点のAFエリアを設定した例を示し、各AFエリアに1〜31の番号を付して区別する。なお、焦点検出エリアの個数と配置はこの一実施の形態のものに限定されない。
FIG. 2 is a diagram showing a focus detection area (hereinafter referred to as an AF area) set in the photographing
この一実施の形態では、操作部材16のAFモードスイッチを操作することによって、“シングルエリアAFモード”、“AF情報優先モード”および“被写体情報優先モード”のいずれかのモードを選択することができる。なお、不図示のモニタに図3に示すAFモードを選択するためのメニュー画面を表示し、操作部材16の十字キースイッチを操作していずれかのAFモードにカーソルを合わせて設定するようにしてもよい。
In this embodiment, by operating the AF mode switch of the
シングルエリアAFモードは、撮影者が操作部材16の十字キースイッチを操作して選択したAFエリアにおいて、位相差AF機能により撮影光学系1のデフォーカス量を検出し、焦点調節を行うAFモードである。また、AF情報優先モードは、被写体認識機能による主要被写体の位置情報を考慮しながら、位相差AF機能による複数のAFエリアの焦点検出情報を優先的に用いて焦点調節を行うAFエリアを決定するAFモードである。さらに、被写体情報優先モードは、位相差AF機能による複数のAFエリアの焦点検出情報を考慮しながら、被写体認識機能による主要被写体の位置情報を優先的に用いて焦点調節を行うAFエリアを決定するAFモードである。
The single area AF mode is an AF mode in which the defocus amount of the photographing
図4および図5は、被写体認識機能による主要被写体位置の検出例と、位相差AF機能による撮影光学系1の焦点調節に適したAFエリアの決定例を示す。これらの図において、撮影画面20内の焦点検出エリアの配置は図2に示すものと同様であり、太い黒枠21で示すAFエリアは撮影者が選択したAFエリア、斜線のハッチング領域22は位相差AF機能により決定された撮影光学系1の焦点調節を行うのに適したAFエリア、細い黒枠23で示す領域は被写体認識機能による主要被写体の検出位置である。ここで、被写体認識機能により検出される主要被写体位置は、1または複数の焦点検出エリアを含む領域として検出される。
4 and 5 show an example of detecting the main subject position by the subject recognition function and an example of determining an AF area suitable for focus adjustment of the photographing
図4では、位相差AF機能により決定されたAFエリアはAFエリア10(図2参照)であり、一方、被写体認識機能により検出された主要被写体位置はAFエリア18,19,24,25(図2参照)を含む領域であるから、被写体認識機能の主要被写体位置と位相差AF機能のAFエリアとが一致していない。図5では、位相差AF機能により決定されたAFエリアはAFエリア10(図2参照)であり、一方、被写体認識機能により検出された主要被写体位置はAFエリア2,4,10(図2参照)を含む領域であるから、被写体認識機能の主要被写体位置と位相差AF機能のAFエリアとが一致している。つまり、位相差AF機能の焦点調節に適したAFエリアは被写体認識機能の主要被写体領域内にある。
In FIG. 4, the AF area determined by the phase difference AF function is the AF area 10 (see FIG. 2), while the main subject positions detected by the subject recognition function are the
図6は一実施の形態の焦点調節処理を示すフローチャートである。このフローチャートにより一実施の形態の焦点調節動作を説明する。ステップ101において、操作部材16により撮影者が選択したAFモードを入力し、設定する。続くステップ102では、AF−CCD制御部9により位相差AF検出素子8のゲイン調整と蓄積時間を制御して電荷蓄積を行う。ステップ103では、ステップ101で設定されたAFモードに応じたAFエリアの電荷蓄積データを読み出し、続くステップ104でAFエリアごとに電荷蓄積データに基づいてデフォーカス量を演算する。
FIG. 6 is a flowchart illustrating the focus adjustment process according to the embodiment. The focus adjustment operation of the embodiment will be described with reference to this flowchart. In
ステップ105においてシングルエリアAFモードが設定されているか否かを判別する。シングルエリアAFモードが設定されている場合はステップ110へ進み、撮影者が選択したAFエリアのデフォーカス量に基づいて現在のレンズ位置から目標とするレンズ位置までのレンズ駆動量を演算する。続くステップ111でレンズ駆動制御部12を制御し、フォーカシングレンズ1dを目標とするレンズ位置まで駆動する。ステップ112では、シングルエリアAFモードが選択されているので、撮影者が選択したAFエリアを次の焦点調節時の基準となるAFエリアとして記憶する。つまり、基準となるAFエリア位置の更新を行わない。
In
一方、ステップ105においてシングルエリアAFモードが設定されていない場合はステップ106へ進む。AF情報優先モードまたは被写体情報優先モードが設定されている場合には、複数のAFエリアの焦点検出結果に基づいて焦点調節を行うAFエリアを決定する必要があり、複数のAFエリアの焦点検出演算が終了するまでステップ103〜104の処理を繰り返す。この一実施の形態では、ステップ106ですべてのAFエリアの焦点検出演算が終了するまで繰り返すものとする。ステップ107においてAF情報優先モードが設定されているか否かを判別する。AF情報優先モードが設定されている場合はステップ108へ進んで“エリア決定処理1”を実行し、AF情報優先モードが設定されていない場合、つまり被写体情報優先モードが設定されている場合はステップ109へ進んで“エリア決定処理2”を実行する。
On the other hand, if the single area AF mode is not set in
ここで、一実施の形態の位相差AF機能による撮影光学系1の焦点調節に適したAFエリアの決定方法を説明する。まず、AFエリアごとのデフォーカス量Dfvが次式を満たすか否かを判定する。
Dfth_min≦Dfv≦Dfth_max ・・・(1)
(1)式において、Dfth_minとDfth_maxは合焦位置の目標位置に対する下限値と上限値である。次に、デフォーカス量Dfvが(1)式を満たすAFエリアの内の、最小のデフォーカス量示すAFエリアを焦点調節を行う最適なAFエリアに決定する。
Here, a method for determining an AF area suitable for focus adjustment of the photographing
Dfth_min ≦ Dfv ≦ Dfth_max (1)
In the equation (1), Dfth_min and Dfth_max are a lower limit value and an upper limit value with respect to the target position of the focus position. Next, among the AF areas where the defocus amount Dfv satisfies the expression (1), the AF area indicating the minimum defocus amount is determined as the optimum AF area for focus adjustment.
AF情報優先モードが設定されている場合のエリア決定処理1(ステップ108)では、被写体認識機能による主要被写体の位置情報を考慮しながら、位相差AF機能による複数のAFエリアの焦点検出情報を優先的に用いて焦点調節を行うAFエリアを決定する。以下に、図4と図5を参照してAFエリア決定処理1(ステップ108)の具体例を説明する。 In the area determination process 1 (step 108) when the AF information priority mode is set, priority is given to the focus detection information of a plurality of AF areas by the phase difference AF function while considering the position information of the main subject by the subject recognition function. The AF area to be used for focus adjustment is determined. A specific example of AF area determination processing 1 (step 108) will be described below with reference to FIGS.
図4に示すように、被写体認識機能により検出された主要被写体位置(細い黒枠23で囲む領域)と、位相差AF機能により決定されたAFエリア(斜線のハッチング領域22)とが一致しない場合には、位相差AF機能により決定されたAFエリア10(斜線のハッチング領域22)を優先的に採用し、焦点調節を行うAFエリアとする。一方、図5に示すように、被写体認識機能により検出された主要被写体位置(細い黒枠23で囲む領域)と、位相差AF機能により決定されたAFエリア(斜線のハッチング領域22)とが一致する場合には、両機能に共通の検出結果であるAFエリア10(斜線のハッチング領域22)を焦点調節を行うAFエリアとする。 As shown in FIG. 4, when the main subject position detected by the subject recognition function (the area surrounded by the thin black frame 23) and the AF area determined by the phase difference AF function (hatched hatched area 22) do not match. The AF area 10 (hatched hatched area 22) determined by the phase difference AF function is preferentially adopted as an AF area for focus adjustment. On the other hand, as shown in FIG. 5, the main subject position (area surrounded by the thin black frame 23) detected by the object recognition function matches the AF area (hatched hatched area 22) determined by the phase difference AF function. In this case, the AF area 10 (hatched hatched area 22), which is a detection result common to both functions, is used as an AF area for focus adjustment.
次に、被写体情報優先モードが設定されている場合のエリア決定処理2(ステップ109)では、位相差AF機能による複数のAFエリアの焦点検出情報を考慮しながら、被写体認識機能による主要被写体の位置情報を優先的に用いて焦点調節を行うAFエリアを決定する。以下に、図4と図5を参照してAFエリア決定処理2(ステップ109)の具体例を説明する。 Next, in the area determination process 2 (step 109) in the case where the subject information priority mode is set, the position of the main subject by the subject recognition function is taken into account while considering the focus detection information of a plurality of AF areas by the phase difference AF function. An AF area for focus adjustment is determined using information preferentially. Hereinafter, a specific example of the AF area determination process 2 (step 109) will be described with reference to FIGS.
図4に示すように、被写体認識機能により検出された主要被写体位置(細い黒枠23で囲む領域)と、位相差AF機能により決定されたAFエリア(斜線のハッチング領域22)とが一致しない場合には、被写体認識機能により検出された主要被写体位置(細い黒枠23で囲む領域)と一致するAFエリア18,19,24,25(エリア番号は図2参照)を検索し、それらのAFエリアのデフォーカス量が上記(1)式を満たすか否かを判定する。(1)式を満たすAFエリアの中でデフォーカス量Dfvが最小のAFエリアを焦点調節を行うAFエリアに決定する。なお、主要被写体位置のAFエリア18,19,24,25のデフォーカス量が、上記(1)式を満たさない場合には、残りのAFエリアの中で上記(1)式を満たし、かつ最小のデフォーカス量を示すAFエリアを焦点調節を行うAFエリアに決定する。
As shown in FIG. 4, when the main subject position (area surrounded by the thin black frame 23) detected by the object recognition function and the AF area (hatched hatched area 22) determined by the phase difference AF function do not match. Searches for
また、図5に示すように、被写体認識機能により検出された主要被写体位置(細い黒枠23で囲む領域)と、位相差AF機能により決定されたAFエリア(斜線のハッチング領域22)とが一致する場合には、被写体認識機能により検出された主要被写体位置(細い黒枠23で囲む領域)と一致するAFエリア2,4,10(エリア番号は図2参照)を検索し、それらのAFエリアのデフォーカス量が上記(1)式を満たすか否かを判定する。(1)式を満たすAFエリアの中でデフォーカス量Dfvが最小のAFエリアを焦点調節を行うAFエリアに決定する。なお、主要被写体位置のAFエリア2,4,10のデフォーカス量が、上記(1)式を満たさない場合には、残りのAFエリアの中で上記(1)式を満たし、かつ最小のデフォーカス量を示すAFエリアを焦点調節を行うAFエリアに決定する。この図5に示す例では、主要被写体位置のAFエリア2,4,10の内のAFエリア10(斜線のハッチング領域)は、位相差AF機能により焦点調節に最適なAFエリアとして決定されたAFエリアであり、(1)式を満たし、かつデフォーカス量が最小のAFエリアであるから、AFエリア10を焦点調節を行うAFエリアに決定する。
Further, as shown in FIG. 5, the main subject position (area surrounded by the thin black frame 23) detected by the object recognition function matches the AF area (hatched hatched area 22) determined by the phase difference AF function. In this case, the
ここで、被写体認識機能により検出された主要被写体位置と、位相差AF機能により決定されたAFエリアとが一致するか否かの判定において、位相差AF機能により決定されたAFエリアが、被写体認識機能により検出された主要被写体位置の領域に完全に包含されていなくても、一部が包含されていれば両機能の検出結果が一致すると判定する。また、位相差AF機能により決定されたAFエリアが、被写体認識機能により検出された主要被写体位置の領域外にあっても、両者の間隔が所定距離以下の近傍にある場合には、両機能の検出結果が一致すると判定してもよい。 Here, in determining whether or not the main subject position detected by the subject recognition function matches the AF area determined by the phase difference AF function, the AF area determined by the phase difference AF function is subject recognition. Even if it is not completely included in the area of the main subject position detected by the function, it is determined that the detection results of both functions match if part of the area is included. In addition, even if the AF area determined by the phase difference AF function is outside the region of the main subject position detected by the subject recognition function, if the distance between the two is near a predetermined distance or less, both functions It may be determined that the detection results match.
ステップ108または109で焦点調節を行うAFエリアを決定した後、ステップ110へ進み、焦点調節を行うAFエリアで検出されたデフォーカス量に基づいて、現在のレンズ位置から目標とするレンズ位置までのレンズ駆動量を演算する。続くステップ111でレンズ駆動制御部12を制御し、フォーカシングレンズ1dを目標とするレンズ位置まで駆動する。ステップ112では、焦点調節を行うAFエリアに決定され、実際に焦点調節を行ったAFエリアを次の焦点調節時の基準となるAFエリアとし、その位置情報を制御装置17のメモリに記憶する。
After determining the AF area for focus adjustment in
このように、一実施の形態によれば、撮影光学系1の画面内に設定された複数の焦点検出エリアで撮影光学系1のデフォーカス量を検出し、撮影光学系1の焦点調節に適した焦点検出エリアを決定するAF機能と、撮影光学系1による結像画像を撮像する測光センサ(撮像素子)15の撮像画像に基づいて、画面内のどの位置に主要被写体があるかを認識する被写体認識機能とを備え、位相差AF機能により決定された焦点検出エリアと被写体認識機能により認識された主要被写体位置とに基づいて、複数の焦点検出エリアの中から撮影光学系1の焦点調節を行う焦点検出エリアを決定し、決定された焦点検出エリアのデフォーカス量に基づいて撮影光学系1の焦点調節を行うようにしたので、被写体認識機能による主要被写体の認識位置と、AF機能により決定した焦点調節に最適な焦点検出エリアとが一致しない場合でも、焦点調節を行う焦点検出エリアを適切に決定することができる。
Thus, according to one embodiment, the defocus amount of the photographic
また、一実施の形態によれば、撮影光学系1の焦点調節を行う焦点検出エリアを決定する際に、AF機能により決定された焦点検出エリアを優先的に用いて焦点検出エリアを決定するエリア決定処理1と、被写体認識機能により認識された主要被写体位置を優先的に用いて焦点検出エリアを決定するエリア決定処理2とを有し、エリア決定処理1およびエリア決定処理2を任意に選択可能としたので、撮影者が撮影シーンや撮影条件に応じて使い分けることができる。
According to one embodiment, when determining a focus detection area for performing focus adjustment of the photographing
《一実施の形態の変形例》
上述した一実施の形態では、AF情報優先モードと被写体情報優先モードにおいて次回の焦点調節時に基準となるAFエリア位置を更新する例を示した。AF情報優先モードでは、選択したAFエリアから主要被写体を外したときに、周辺のAFエリアによる補完目的で周辺のAFエリアを使用することはあっても、常に選択エリアで焦点調節を行いたい場合がある。このような場合には、図7に示すように、ステップ111におけるレンズ駆動後に次の焦点調節時の基準となるAFエリア位置の更新処理を行わず、ステップ109の被写体情報優先モードのエリア決定処理2の後のステップ112で上述した次の焦点調節時の基準となるAFエリア位置の更新処理を行う。これにより、AF優先モードでは、当初撮影者が選択したAFエリアが焦点調節時の基準となるAFエリアとされ、一時的に当初のAFエリアから主要被写体を外しても焦点調節時の基準エリアは変更されず、構図を優先しつつ、被写体情報を補間的目的で使用することが可能である。
<< Modification of Embodiment >>
In the embodiment described above, an example in which the AF area position serving as a reference at the time of the next focus adjustment in the AF information priority mode and the subject information priority mode is updated. In AF information priority mode, when the main subject is removed from the selected AF area, the surrounding AF area may be used for the purpose of complementing the surrounding AF area, but you want to always perform focus adjustment in the selected area. There is. In such a case, as shown in FIG. 7, after the lens is driven in
《一実施の形態の他の変形例》
上述した一実施の形態では、図6のステップ106においてすべてのAFエリアで焦点検出演算を行った後、ステップ108または109で焦点調節を行うAFエリアを決定する例を示したが、高速連続撮影モードで撮影を行うときなど、焦点検出演算時間を短縮するために、すべてのAFエリアで焦点検出演算を行わずに予め設定したAFエリアのみで焦点検出演算を行うようにしてもよい。さらに、予め設定したAFエリアにおいて、予め設定した順序で焦点調節演算を実行してもよい。これにより、焦点調節を行う焦点検出エリアを適切に、効率よく、短時間で決定することができる。
<< Other Variations of One Embodiment >>
In the above-described embodiment, the example in which the focus detection calculation is performed in all the AF areas in
AF情報優先モードでは、例えば図8に示すように、31個のAFエリアの内の予め設定した21個のAFエリアにおいて、AFエリア枠内の数字で示す予め設定した順序で焦点検出演算を実行する。この例では、まず、撮影者が選択した撮影画面20の中央の太い黒枠21で示すAFエリアとその近傍のAFエリア、または次の焦点調節時の基準となるAFエリアとして記憶したエリアとその近傍のAFエリアから焦点検出演算を開始する。次に、細い黒枠23で示す主要被写体領域内のAFエリアで焦点検出演算を行い、最後に、画面中央のAFエリアの周辺のAFエリアで焦点検出演算を行う。
In the AF information priority mode, for example, as shown in FIG. 8, in 21 preset AF areas of 31 AF areas, focus detection calculation is executed in a preset order indicated by numbers in the AF area frame. To do. In this example, first, an AF area indicated by a thick
また、被写体情報優先モードでは、例えば図9に示すように、31個のAFエリアの内の予め設定した21個のAFエリアにおいて、AFエリア枠内の数字で示す予め設定した順序で焦点検出演算を実行する。この例では、まず、細い黒枠23で示す主要被写体領域内のAFエリアで焦点検出演算を開始し、次に、主要被写体領域の近傍のAFエリアで焦点検出演算を行う。そして最後に、撮影者が選択した太い黒枠21で示す画面中央のAFエリアとその近傍のAFエリア、または次の焦点調節時の基準となるAFエリアとして記憶したエリアとその近傍のAFエリアで焦点検出演算を行う。
In the subject information priority mode, for example, as shown in FIG. 9, in 21 preset AF areas out of 31 AF areas, focus detection calculation is performed in a preset order indicated by numerals in the AF area frame. Execute. In this example, first, focus detection calculation is started in the AF area in the main subject area indicated by the thin
この場合、上記(1)式を満たすAFエリアが見つかった時点で焦点検出演算を終了し、当該AFエリアを焦点調節を行うAFエリアに決定してもよい。また、図8および図9に示す1番目から21番目までのすべてのAFエリアで焦点検出演算を行い、(1)式を満たし、かつデフォーカス量が最小のAFエリアを焦点調節を行うAFエリアに決定してもよい。あるいは、図8および図9に示す1番目から21番目のAFエリアを複数のグループ、例えば選択エリア近傍のグループ、選択エリア周辺のグループ、主要被写体領域内のグループ、主要被写体領域近傍のグループなどに区分し、AF情報優先モードまたは被写体情報優先モードに応じた順序でグループごとにグループに属するすべてのAFエリアで焦点検出演算を行い、(1)式を満たしかつ最小のデフォーカス量が見つかった時点で焦点検出演算を終了してもよい。このようにすることで、焦点検出を行う焦点検出エリアを適切に、効率よく、短時間で決定することができる。 In this case, the focus detection calculation may be terminated when an AF area satisfying the above expression (1) is found, and the AF area may be determined as an AF area for focus adjustment. In addition, the focus detection calculation is performed in all the first to 21st AF areas shown in FIGS. 8 and 9, and the AF area that satisfies the formula (1) and has the smallest defocus amount is used for focus adjustment. You may decide to. Alternatively, the 1st to 21st AF areas shown in FIGS. 8 and 9 are divided into a plurality of groups, for example, a group in the vicinity of the selected area, a group in the vicinity of the selected area, a group in the main subject area, a group in the vicinity of the main subject area, etc. When the focus detection calculation is performed in all the AF areas belonging to the group for each group in the order according to the AF information priority mode or the subject information priority mode, and the minimum defocus amount satisfying the expression (1) is found Then, the focus detection calculation may be terminated. By doing in this way, the focus detection area for performing focus detection can be determined appropriately, efficiently and in a short time.
《一実施の形態の他の変形例》
上述した一実施の形態では、AF情報優先モードが設定されている場合には、被写体認識機能による主要被写体の位置情報を考慮しながら、位相差AF機能による複数のAFエリアの焦点検出情報を優先的に用いて焦点調節を行うAFエリアを決定したが、被写体認識機能により認識された主要被写体位置の信頼性が低い場合には、被写体認識機能による主要被写体の位置情報を考慮しないようにしてもよい。被写体認識機能による認識結果の主要被写体位置の信頼性は、例えば次のようにして判定する。例えば基準画像(テンプレート画像)と撮像画像とのテンプレートマッチングにより被写体認識を行う場合には、基準画像と撮像画像との画素ごとの色相B/G、R/Gの差あるいは色の差を演算し、これらの差分演算結果の総和値が予め設定した信頼性判定しきい値を超える場合には被写体認識結果の信頼性が低いとする。
<< Other Variations of One Embodiment >>
In the embodiment described above, when the AF information priority mode is set, priority is given to the focus detection information of a plurality of AF areas by the phase difference AF function while considering the position information of the main subject by the subject recognition function. However, if the main subject position recognized by the subject recognition function is low in reliability, the main subject position information by the subject recognition function may not be considered. Good. The reliability of the main subject position of the recognition result by the subject recognition function is determined as follows, for example. For example, when subject recognition is performed by template matching between a reference image (template image) and a captured image, a difference in hue B / G or R / G or a color difference for each pixel between the reference image and the captured image is calculated. When the sum of these difference calculation results exceeds a preset reliability determination threshold, the reliability of the subject recognition result is assumed to be low.
また、例えば、位相差AF機能による焦点検出情報の検出時点と、被写体認識機能による主要被写体情報の検出時点との時間差が、予め設定した信頼性判定しきい値よりも長い場合には、主要被写体情報は焦点検出情報の検出時点から長時間前または長時間後に認識されたものであり、焦点検出情報に対応するものではないから信頼性が低いとする。 For example, when the time difference between the detection time of the focus detection information by the phase difference AF function and the detection time of the main subject information by the subject recognition function is longer than a predetermined reliability determination threshold value, the main subject It is assumed that the information is recognized long before or after the detection time of the focus detection information and does not correspond to the focus detection information, so that the reliability is low.
上述した一実施の形態とその変形例では、AF機能として瞳分割型位相差検出方式の焦点検出装置を説明したが、コントラスト検出方式の焦点検出装置を用いてもよい。また、被写体認識機能としてテンプレートマッチング方式を説明したが、異なる時点で取得したフレーム画像の差分(差画像)に基づいて撮影画面内の主要被写体の移動を検出するフレーム間差分抽出方式を用いてもよい。 In the above-described embodiment and its modification, the pupil division type phase difference detection type focus detection apparatus has been described as the AF function. However, a contrast detection type focus detection apparatus may be used. Although the template matching method has been described as the subject recognition function, an inter-frame difference extraction method that detects the movement of the main subject in the shooting screen based on the difference (difference image) between the frame images acquired at different time points may be used. Good.
さらに、上述した一実施の形態とその変形例では、再結像方式の瞳分割位相差検出型の焦点検出装置を例に上げて説明したが、複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、複数の撮像用画素を二次元状に配列した撮像素子であって、一部の撮像用画素列を瞳分割型位相差検出方式の焦点検出用画素列に置き換えた撮像素子とを備え、撮影光学系を透過した被写体からの光束を上記マイクロレンズアレイを介して上記撮像素子へ導き、焦点検出用画素列の出力信号に基づいて撮影光学系の焦点検出を行うマイクロレンズ方式の瞳分割位相差検出型の焦点検出装置を用いてもよい。 Furthermore, in the above-described embodiment and its modification, the refocusing-type pupil division phase difference detection type focus detection device has been described as an example. However, a micro-array in which a plurality of microlenses are arranged in a two-dimensional manner is described. A lens array and an image pickup device in which a plurality of image pickup pixels are arranged in a two-dimensional form, wherein a part of the image pickup pixel rows is replaced with a focus detection pixel row of a pupil division type phase difference detection method. A microlens pupil that guides a light beam from a subject that has passed through the photographic optical system to the image sensor via the microlens array, and detects the focus of the photographic optical system based on the output signal of the focus detection pixel array A divided phase difference detection type focus detection apparatus may be used.
1 撮影光学系
8 位相差AF検出素子
9 AF−CCD制御部
10 デフォーカス演算部
11 レンズ駆動量演算部
12 レンズ駆動制御部
15 測光センサ(撮像素子)
17 制御装置
DESCRIPTION OF
17 Control device
Claims (12)
前記焦点検出手段によって出力される前記焦点検出エリア毎のデフォーカス量のうち、所定値以内であるデフォーカス量の中で最小のものに対応する焦点検出エリアを、第1の焦点検出エリアとして決定する第1のエリア決定手段と、
前記結像光学系による被写体像を撮像する撮像手段の撮像画像に基づいて、前記画面内のどの位置に主要被写体があるかを認識する被写体認識手段と、
択一的に選択される第1エリア決定モードと第2エリア決定モードとを有し、前記第1エリア決定モードが選択された場合には、前記第1のエリア決定手段によって決定された前記第1の焦点検出エリアを前記結像光学系の焦点調節を行う第2の焦点検出エリアとして決定し、前記第2エリア決定モードが選択された場合には、前記第1の焦点検出エリアが前記被写体認識手段により認識された主要被写体位置内またはその近傍に位置するときに、前記第1の焦点検出エリアを前記第2の焦点検出エリアとして決定すると共に、前記第1の焦点検出エリアが前記被写体認識手段により認識された主要被写体位置内またはその近傍に位置していないときには、前記被写体認識手段により認識された主要被写体位置内に位置する複数の焦点検出エリアに関するデフォーカス量のうち、前記所定値以内であるものの中で最小のものに対応する焦点検出エリアを、前記第2の焦点検出エリアとして決定する第2のエリア決定手段と、
前記第2のエリア決定手段により決定された前記第2の焦点検出エリアにおける前記焦点検出手段の焦点検出信号に基づいて前記結像光学系の焦点調節を行う焦点調節手段と、を備えることを特徴とする焦点調節装置。 Focus detection means for outputting a defocus amount as each focus detection signal by detecting the focusing state of the imaging optical system a plurality of focus the image forming optical system for each detection area set in the screen of,
Of the defocus amounts for each focus detection area output by the focus detection means, the focus detection area corresponding to the smallest defocus amount within a predetermined value is determined as the first focus detection area. First area determining means for
Subject recognition means for recognizing at which position in the screen the main subject is based on a captured image of an imaging means for capturing a subject image by the imaging optical system;
Alternatively a first area determination mode is selected and the second area determination mode, when said first area determination mode is selected, the first determined by the first area determination means When one focus detection area is determined as a second focus detection area for performing focus adjustment of the imaging optical system and the second area determination mode is selected, the first focus detection area is the subject. The first focus detection area is determined as the second focus detection area when located in or near the main subject position recognized by the recognition means, and the first focus detection area is the subject recognition. When not located in or near the main subject position recognized by the means, a plurality of focus detection elements located within the main subject position recognized by the subject recognition means. Of defocus amount about A, the focus detection area corresponding to the minimum one in what the is within a predetermined value, and a second area determination means for determining as the second focus detection area,
Focus adjustment means for adjusting the focus of the imaging optical system based on a focus detection signal of the focus detection means in the second focus detection area determined by the second area determination means. Focus adjustment device.
前記第2のエリア決定手段は、前記第2エリア決定モードが選択された場合において、前記第1の焦点検出エリアが前記被写体認識手段により認識された主要被写体位置内またはその近傍に位置しておらず、且つ、前記被写体認識手段により認識された主要被写体位置内に位置する複数の焦点検出エリアに関するデフォーカス量のうち、前記所定値以内であるものが存在しない場合には、前記主要被写体位置外に位置する複数の焦点検出エリアに関するデフォーカス量のうち、前記所定値以内であるものの中で最小のものに対応する焦点検出エリアを、前記第2の焦点検出エリアとして決定することを特徴とする焦点調節装置。 The focus adjustment apparatus according to claim 1 ,
It said second area determination means, In no event where the second area determination mode is selected, the first focus detection area is located in the main subject position within or near recognized by the object recognition unit And when there is no defocus amount within the predetermined value among a plurality of focus detection areas located within the main subject position recognized by the subject recognition means, the main subject A focus detection area corresponding to a minimum one of defocus amounts within the predetermined value among a plurality of focus detection areas located outside the position is determined as the second focus detection area. Focus adjustment device.
前記第2のエリア決定手段により決定された前記第2の焦点検出エリアを次回の焦点調節時の基準位置として記憶する位置記憶手段を備えることを特徴とする焦点調節装置。 The focus adjustment apparatus according to claim 1 or 2 ,
A focus adjustment apparatus comprising position storage means for storing the second focus detection area determined by the second area determination means as a reference position for the next focus adjustment.
前記位置記憶手段は、前記第1エリア決定モードが選択された場合には、前記基準位置の更新を行わないことを特徴とする焦点調節装置。 The focus adjustment apparatus according to claim 3 .
The position storage means does not update the reference position when the first area determination mode is selected.
前記第2のエリア決定手段は、連続撮影モードが設定されている場合には、前記複数の焦点検出エリアの内の予め決められた焦点検出エリアの中から前記第2の焦点検出エリアを決定することを特徴とする焦点調節装置。 In the focus adjustment apparatus of any one of Claims 1-4 ,
The second area determining means determines the second focus detection area from a predetermined focus detection area of the plurality of focus detection areas when the continuous shooting mode is set. A focusing device characterized by that.
前記第2のエリア決定手段は、連続撮影モードが設定されている場合には、前記複数の焦点検出エリアに対して予め決められた順序で前記第2の焦点検出エリアとするか否かの判定を行うことを特徴とする焦点調節装置。 In the focus adjustment apparatus according to any one of claims 1 to 5 ,
When the continuous shooting mode is set, the second area determination unit determines whether or not to set the second focus detection area in a predetermined order with respect to the plurality of focus detection areas. A focus adjusting device characterized in that:
前記第2のエリア決定手段は、前記第1エリア決定モードが選択されている場合には、前回の焦点調節時に焦点調節を行った第2の焦点検出エリアとその近傍の焦点検出エリアから判定を開始し、前記第2エリア決定モードが選択されている場合には、前記主要被写体位置またはその近傍の焦点検出エリアから判定を開始することを特徴とする焦点調節装置。 The focusing apparatus according to claim 6 , wherein
When the first area determination mode is selected, the second area determination means makes a determination from the second focus detection area in which focus adjustment was performed during the previous focus adjustment and a focus detection area in the vicinity thereof. The focus adjustment apparatus is started, and when the second area determination mode is selected, the determination is started from a focus detection area at or near the main subject position.
前記第2のエリア決定手段は、第2の焦点検出エリアが見つかった時点でエリア決定処理を終了することを特徴とする焦点調節装置。 The focus adjustment device according to claim 6 or 7 ,
The focus adjustment apparatus, wherein the second area determination means ends the area determination process when a second focus detection area is found.
前記第2のエリア決定手段は、前記被写体認識手段による認識結果の信頼性を示す情報により、前記被写体認識手段により認識された主要被写体位置に基づいた焦点検出エリアの決定を行うか否かを判断することを特徴とする焦点調節装置。 The focus adjustment apparatus according to claim 1,
The second area determining unit determines whether to determine a focus detection area based on the main subject position recognized by the subject recognizing unit, based on information indicating reliability of the recognition result by the subject recognizing unit. A focus adjustment device characterized by:
前記信頼性を示す情報は、基準画像と撮像画像との色情報の差に基づいた値であることを特徴とする焦点調節装置。 The focus adjustment device according to claim 9 .
The focus adjustment device, wherein the information indicating the reliability is a value based on a difference in color information between a reference image and a captured image.
前記信頼性を示す情報は、前記焦点検出手段による検出時点と、前記被写体認識手段による認識時点との時間差に基づく値であることを特徴とする焦点調節装置。 The focus adjustment device according to claim 9 .
The focus adjustment device, wherein the information indicating the reliability is a value based on a time difference between a detection time point by the focus detection unit and a recognition time point by the subject recognition unit.
Imaging apparatus characterized by comprising a focusing device according to any one of claims 1 to 11.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007143097A JP5056168B2 (en) | 2007-05-30 | 2007-05-30 | Focus adjustment device and imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007143097A JP5056168B2 (en) | 2007-05-30 | 2007-05-30 | Focus adjustment device and imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008298943A JP2008298943A (en) | 2008-12-11 |
JP5056168B2 true JP5056168B2 (en) | 2012-10-24 |
Family
ID=40172537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007143097A Expired - Fee Related JP5056168B2 (en) | 2007-05-30 | 2007-05-30 | Focus adjustment device and imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5056168B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5400396B2 (en) * | 2009-01-07 | 2014-01-29 | キヤノン株式会社 | Imaging device |
US20110304765A1 (en) * | 2009-02-18 | 2011-12-15 | Yogo Takanori | Imaging apparatus |
JP5195660B2 (en) * | 2009-06-15 | 2013-05-08 | カシオ計算機株式会社 | Imaging apparatus, focusing method, and program |
JP5421691B2 (en) * | 2009-08-18 | 2014-02-19 | キヤノン株式会社 | Focus adjustment device and focus adjustment method |
JP5609232B2 (en) * | 2010-04-23 | 2014-10-22 | 株式会社ニコン | Imaging device |
JP2015187662A (en) * | 2014-03-27 | 2015-10-29 | 株式会社ニコン | Focus adjustment device and imaging apparatus |
WO2017057072A1 (en) | 2015-09-30 | 2017-04-06 | 富士フイルム株式会社 | Focus control device, focus control method, focus control program, lens device, imaging device |
CN108027496B (en) | 2015-09-30 | 2020-06-05 | 富士胶片株式会社 | Focus control device, focus control method, recording medium, lens device, and imaging device |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03220513A (en) * | 1990-01-25 | 1991-09-27 | Canon Inc | Automatic focus controller |
JP3170721B2 (en) * | 1991-08-26 | 2001-05-28 | 株式会社ニコン | Automatic focusing device |
JP3163668B2 (en) * | 1991-08-27 | 2001-05-08 | 株式会社ニコン | Subject recognition device and camera |
JPH06230453A (en) * | 1993-02-02 | 1994-08-19 | Nikon Corp | Camera provided with object tracking function |
JPH0996855A (en) * | 1995-10-02 | 1997-04-08 | Nikon Corp | Automatic focusing device |
JP4011738B2 (en) * | 1998-05-26 | 2007-11-21 | キヤノン株式会社 | Optical device |
JP3760846B2 (en) * | 2001-11-22 | 2006-03-29 | コニカミノルタフォトイメージング株式会社 | Subject extraction device and photographing device |
JP2005223660A (en) * | 2004-02-06 | 2005-08-18 | Nikon Gijutsu Kobo:Kk | Digital camera |
-
2007
- 2007-05-30 JP JP2007143097A patent/JP5056168B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008298943A (en) | 2008-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3992992B2 (en) | Subject image acquisition device | |
KR100755288B1 (en) | Camera, control method therefor and storage medium | |
JP4874669B2 (en) | Autofocus unit and digital camera | |
JP5157256B2 (en) | Image tracking device and imaging device | |
JP4872834B2 (en) | Image recognition device, focus adjustment device, and imaging device | |
JP5056168B2 (en) | Focus adjustment device and imaging device | |
JP4894661B2 (en) | Imaging device | |
JP6116277B2 (en) | Imaging apparatus and control method thereof | |
JP2006235616A (en) | Camera, control method therefor, program and storage medium | |
JP2017211487A (en) | Imaging apparatus and automatic focus adjustment method | |
JP5402298B2 (en) | Focus detection device and camera | |
JP5115302B2 (en) | Focus detection apparatus and focus detection method | |
JP5056136B2 (en) | Image tracking device | |
JP5403111B2 (en) | Image tracking device | |
JP2012226206A (en) | Image tracking device and imaging apparatus | |
JP2009010672A (en) | Focus detector and image pickup device | |
JP5256847B2 (en) | Imaging device | |
JP5359150B2 (en) | Imaging device | |
JP4967826B2 (en) | Focus detection apparatus and imaging apparatus | |
JP5446303B2 (en) | Focus adjustment device and imaging device | |
JP5447549B2 (en) | Focus adjustment device and imaging device | |
JP5776155B2 (en) | Focus detection apparatus and photographing apparatus | |
CN107566715A (en) | Focus-regulating device and focus adjusting method | |
JP2017032874A (en) | Focus detection device and method, and imaging apparatus | |
JP5789937B2 (en) | Image tracking device and imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111104 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120703 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120716 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5056168 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |