JP4862312B2 - Imaging device and focus control device - Google Patents
Imaging device and focus control device Download PDFInfo
- Publication number
- JP4862312B2 JP4862312B2 JP2005218326A JP2005218326A JP4862312B2 JP 4862312 B2 JP4862312 B2 JP 4862312B2 JP 2005218326 A JP2005218326 A JP 2005218326A JP 2005218326 A JP2005218326 A JP 2005218326A JP 4862312 B2 JP4862312 B2 JP 4862312B2
- Authority
- JP
- Japan
- Prior art keywords
- focus lens
- detection
- focus
- center
- exposure period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
本発明は、固体撮像素子を用いて画像を撮像する撮像装置、およびその撮像装置におけるフォーカス制御装置に関し、特に、XYアドレス走査型の撮像素子を用いた場合に適した撮像装置およびフォーカス制御装置に関する。 The present invention relates to an image pickup apparatus that picks up an image using a solid-state image pickup element, and a focus control apparatus in the image pickup apparatus, and more particularly to an image pickup apparatus and a focus control apparatus suitable when an XY address scanning type image pickup element is used. .
近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置の多くに、被写体に対してフォーカスを自動的に合わせるオートフォーカス機能が搭載されている。一般に、オートフォーカス機能は、撮像画像信号の高周波成分に基づいて撮像画像のコントラストを検出し、コントラストが高いときにフォーカスが合っていると判定することで実現される。例えば、所定の設定領域内に存在する撮像画像信号の高周波成分を積分したフォーカス評価値と呼ばれるデータを生成し、このフォーカス評価値が最大となるようにフォーカスレンズを移動する。 In recent years, many image pickup apparatuses such as digital still cameras and digital video cameras are equipped with an autofocus function for automatically focusing on a subject. In general, the autofocus function is realized by detecting the contrast of a captured image based on a high-frequency component of the captured image signal, and determining that the image is in focus when the contrast is high. For example, data called a focus evaluation value obtained by integrating high-frequency components of a captured image signal existing in a predetermined setting area is generated, and the focus lens is moved so that the focus evaluation value becomes maximum.
また、このような手法を用いてジャストフォーカス位置(フォーカスが合うときのフォーカスレンズ位置)を求める際に、フィルタ係数などの異なる複数のフォーカス評価値をフォーカスレンズの位置ごとに求めて記憶しておき、それらの記憶データを用いることでフォーカス制御の精度を高めた装置があった(例えば、特許文献1参照)。 Further, when the just focus position (the focus lens position when the focus is achieved) is obtained using such a method, a plurality of focus evaluation values having different filter coefficients or the like are obtained and stored for each position of the focus lens. There has been an apparatus that improves the accuracy of focus control by using such stored data (see, for example, Patent Document 1).
ところで、このような撮像装置に用いる撮像素子としては、CCD(Charge Coupled Device)型イメージセンサが最も一般的であったが、近年では、固体撮像素子の一層の多画素化が進むのに従って、CMOS(Complementary Metal Oxide Semiconductor)型イメージセンサが注目されている。CMOS型イメージセンサは、画素信号のランダムアクセスが可能である点や、CCD型イメージセンサと比較して読み出しが高速で、高感度、低消費電力といった特徴がある。 By the way, a CCD (Charge Coupled Device) type image sensor is the most common as an image sensor used in such an image pickup apparatus, but in recent years, as the number of pixels of a solid-state image sensor increases, CMOS (Complementary Metal Oxide Semiconductor) type image sensors are attracting attention. The CMOS type image sensor has features such that random access of pixel signals is possible, reading is faster than a CCD type image sensor, high sensitivity, and low power consumption.
しかし、CMOS型イメージセンサなどのXYアドレス走査型撮像素子の備える電子シャッタ機能は、CCD型イメージセンサで実現されるいわゆるグローバルシャッタと異なり、2次元配列された多数の画素を画素行ごとに順次走査して信号を行う、いわゆるローリングシャッタ(あるいはフォーカルプレインシャッタとも呼ばれる)として実現される。このため、行ごとに露光期間がずれることが、撮影上問題になる場合があった。 However, unlike the so-called global shutter realized by a CCD image sensor, the electronic shutter function of an XY address scanning image pickup device such as a CMOS image sensor sequentially scans a number of pixels arranged two-dimensionally for each pixel row. Thus, it is realized as a so-called rolling shutter (also called a focal plane shutter) that performs signals. For this reason, shifting the exposure period for each row may cause a problem in photographing.
図7は、グローバルシャッタを用いた場合の露光タイミングとフォーカスレンズ位置との関係を示す図である。
図7は、図中上側で撮像素子における露光タイミングを、下側でそのときのフォーカスレンズの位置の変化をそれぞれ示している。この図の場合、タイミングT51〜T53の間に、フォーカスレンズがP53からP51に移動している。また、露光位置L51〜L53は、撮像素子上の垂直方向の空間位置をそれぞれ示している。
FIG. 7 is a diagram showing the relationship between the exposure timing and the focus lens position when the global shutter is used.
FIG. 7 shows the exposure timing of the image sensor on the upper side and the change in the position of the focus lens at that time on the lower side. In the case of this figure, the focus lens is moved from P53 to P51 between timings T51 to T53. In addition, exposure positions L51 to L53 indicate vertical spatial positions on the image sensor.
グローバルシャッタを用いて撮像した場合、例えばタイミングT51〜T52の間では、撮像素子上の全画素において同じ露光期間C50に露光が行われる。このため、露光位置L51〜L53のいずれの露光期間でも、フォーカスレンズはP53からP52に移動しており、露光時間に対するフォーカスレンズ位置の重心G50は、いずれの期間でもP52とP53との中点となる。従って、露光位置L51〜L53でそれぞれ検波したフォーカス評価値を用いて、ジャストフォーカス位置を高精度に求めることができる。 When an image is captured using the global shutter, for example, during timing T51 to T52, exposure is performed in the same exposure period C50 in all pixels on the image sensor. Therefore, the focus lens moves from P53 to P52 in any exposure period of the exposure positions L51 to L53, and the center of gravity G50 of the focus lens position with respect to the exposure time is the midpoint between P52 and P53 in any period. Become. Therefore, the just focus position can be obtained with high accuracy by using the focus evaluation values detected at the exposure positions L51 to L53.
図8は、ローリングシャッタを用いた場合の露光タイミングとフォーカスレンズ位置との関係を示す図である。
図8の例では、タイミングT61〜T63の間に、フォーカスレンズがP62からP61に移動している。ローリングシャッタを用いた場合、各画素における電荷の蓄積開始および転送のタイミングが垂直方向に進むのに従って順次遅延する。このため、例えばタイミングT61を起点として所定時間の露光を行った場合には、露光位置L61〜L63における各露光期間C61〜C63は順次遅延して現れる。従って、露光期間C61〜C63のそれぞれにおけるフォーカスレンズ位置の重心G61〜G63はすべて異なる位置となる。
In the example of FIG. 8, the focus lens moves from P62 to P61 between timings T61 to T63. When a rolling shutter is used, the charge accumulation start and transfer timing in each pixel is sequentially delayed as it proceeds in the vertical direction. For this reason, for example, when exposure is performed for a predetermined time starting from the timing T61, the exposure periods C61 to C63 at the exposure positions L61 to L63 appear sequentially delayed. Accordingly, the centers of gravity G61 to G63 of the focus lens positions in the exposure periods C61 to C63 are all different positions.
上記の図8の場合のように、ローリングシャッタを用いて撮像した場合、露光中にフォーカスレンズが移動すると、フォーカス評価値に対応するフォーカスレンズ位置の重心が、AF(Auto Focus)検波枠の上側と下側とで異なってしまう。このため、各露光位置でのフォーカス評価値が不正確なものとなり、ジャストフォーカス位置を高精度に求めることができないという問題があった。特に、フォーカスレンズの移動速度を速めてフォーカス制御を高速化しようとすると、上記問題によるフォーカス制御の精度の粗さがより顕著に現れてしまう。 As in the case of FIG. 8 described above, when imaging is performed using a rolling shutter, when the focus lens moves during exposure, the center of gravity of the focus lens position corresponding to the focus evaluation value is the upper side of the AF (Auto Focus) detection frame. And the lower side will be different. For this reason, the focus evaluation value at each exposure position becomes inaccurate, and there is a problem that the just focus position cannot be obtained with high accuracy. In particular, when trying to increase the focus control speed by increasing the moving speed of the focus lens, the coarseness of the accuracy of the focus control due to the above problem appears more remarkably.
また、このような問題を回避する方法として、露光中にはフォーカスレンズを移動させないように制御することが考えられる。しかしこの場合には、シャッタ操作から実際の撮像までに要する時間(シャッタラグ)が長くなり、ユーザの操作性が低下し、ユーザの撮影機会を失わせてしまう結果になるという問題があった。 As a method for avoiding such a problem, it is conceivable to perform control so that the focus lens is not moved during exposure. However, in this case, there is a problem that the time (shutter lag) required from the shutter operation to actual imaging becomes longer, the user operability is lowered, and the user's photographing opportunity is lost.
本発明はこのような点に鑑みてなされたものであり、CMOS型イメージセンサなどのXYアドレス走査型の撮像素子を用いて撮像した場合のオートフォーカス精度が向上された撮像装置を提供することを目的とする。 The present invention has been made in view of these points, and provides an imaging apparatus with improved autofocus accuracy when an image is captured using an XY address scanning imaging element such as a CMOS image sensor. Objective.
また、本発明の他の目的は、CMOS型イメージセンサなどのXYアドレス走査型の撮像素子を用いて撮像した場合のオートフォーカス精度が向上されたフォーカス制御装置を提供することである。 Another object of the present invention is to provide a focus control device with improved autofocus accuracy when an image is captured using an XY address scanning image sensor such as a CMOS image sensor.
本発明では上記課題を解決するために、ローリングシャッタ方式で露光するXYアドレス走査型の固体撮像素子を用いて画像を撮像する撮像装置において、前記固体撮像素子の撮像面上に少なくとも垂直方向に対する位置の異なる複数の検波領域を設定し、撮像により得られた画像信号から前記検波領域ごとに高周波成分を抽出する抽出手段と、前記複数の検波領域のそれぞれに対する露光期間の開始時刻および終了時刻を求め、前記検波領域ごとに、それぞれの検波領域に対する前記露光期間の開始時刻から終了時刻までにおけるフォーカスレンズの位置に基づいて、当該露光期間での前記フォーカスレンズの位置の重心を個別に演算する重心演算手段と、前記抽出手段による前記検波領域ごとの抽出結果と、前記抽出結果にそれぞれ対応する前記重心演算手段からの重心とを基に、フォーカスが合うときの前記フォーカスレンズの位置を算出するレンズ位置演算手段とを有することを特徴とする撮像装置が提供される。
In the present invention, in order to solve the above-described problem, in an imaging apparatus that captures an image using an XY address scanning type solid-state imaging device that is exposed by a rolling shutter system, the solid-state imaging device is positioned at least in the vertical direction on the imaging surface A plurality of detection areas having different detection areas, and extracting means for extracting a high frequency component for each detection area from an image signal obtained by imaging, and obtaining a start time and an end time of an exposure period for each of the plurality of detection areas Centroid calculation for individually calculating the centroid of the position of the focus lens in the exposure period based on the position of the focus lens from the start time to the end time of the exposure period for each detection area for each detection area Corresponding to the extraction results for each detection region by the extraction means and the extraction results That on the basis of the center of gravity from the center of gravity calculating means, the image pickup device, wherein there is provided to have a lens position calculating means for calculating the position of the focus lens when in focus.
このような撮像装置では、重心演算手段により、検波領域ごとに露光期間に対するフォーカスレンズの位置の重心が個別に演算され、レンズ位置演算手段により、検波領域ごとの高周波成分の抽出結果と、それらの抽出結果にそれぞれ対応する重心とを基に、フォーカスが合うときのフォーカスレンズの位置が算出される。このため、検波領域ごとに露光期間がずれた場合にも、各検波領域に対するフォーカスレンズの位置が正しく対応付けられて、フォーカスレンズの位置制御が実行されるようになる。 In such an imaging apparatus, the center of gravity of the position of the focus lens with respect to the exposure period is individually calculated for each detection region by the center of gravity calculation unit, and the extraction result of the high frequency components for each detection region is calculated by the lens position calculation unit. Based on the centroid corresponding to each extraction result, the position of the focus lens when the focus is achieved is calculated. For this reason, even when the exposure period is shifted for each detection region, the position of the focus lens with respect to each detection region is correctly associated and the position control of the focus lens is executed.
本発明の撮像装置によれば、検波領域ごとに露光期間がずれた場合にも、各検波領域に対するフォーカスレンズの位置を正しく対応付けて、フォーカスレンズの位置制御を実行できるようになる。従って、XYアドレス走査型の撮像素子を用いて撮像した場合のオートフォーカス精度を向上させることができる。 According to the imaging apparatus of the present invention, even when the exposure period is shifted for each detection region, the position of the focus lens with respect to each detection region can be correctly associated and the focus lens position can be controlled. Accordingly, it is possible to improve the autofocus accuracy when an image is captured using an XY address scanning type image sensor.
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図1は、本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図1に示す撮像装置は、光学ブロック1、CMOS型イメージセンサ(以下、CMOSセンサと略称する)2、アンプ3、A/Dコンバータ4、カメラ処理回路5、マイクロコントローラユニット(MCU)6を具備する。また、この撮像装置には、光学ブロック1内のフォーカスレンズ11を駆動するためのモータ12、その制御のためのモータ制御回路13、CMOSセンサ2を駆動するためのタイミングジェネレータ(TG)14が設けられている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a main configuration of an imaging apparatus according to an embodiment of the present invention.
1 includes an optical block 1, a CMOS image sensor (hereinafter abbreviated as a CMOS sensor) 2, an
光学ブロック1は、被写体からの光をCMOSセンサ2に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。また、光学ブロック1には、フォーカスレンズ11の位置を検出するための位置検出部15が設けられている。
The optical block 1 includes a lens for condensing light from a subject on the
CMOSセンサ2は、CMOS基板上に、フォトダイオード(フォトゲート)、転送ゲート(シャッタトランジスタ)、スイッチングトランジスタ(アドレストランジスタ)、増幅トランジスタ、リセットトランジスタ(リセットゲート)などからなる複数の画素が2次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路、画像信号の出力回路などが形成されたものである。このCMOSセンサ2は、TG14から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。さらに、このCMOSセンサ2の基板上には、画素信号のサンプルホールドを行うCDS(Correlated Double Sampling)回路なども一体に形成されている。TG14は、MCU6の制御の下でタイミング信号を出力する。
In the
アンプ3は、MCU6からの制御の下で、CMOSセンサ2から出力されたアナログ画像信号に対してゲインをかけ、いわゆるAGC(Auto Gain Control)処理を施す。A/Dコンバータ4は、アンプ3から出力されたアナログ画像信号をデジタル画像信号に変換する。
The
カメラ処理回路5は、A/Dコンバータ4からの画像信号に対するAF、AE(Auto Exposure)、ホワイトバランス調整などの各種カメラ信号処理、またはその処理の一部を実行する。本実施の形態では特に、MCU6によるAF制御のための検波処理を行うAF検波処理回路20を備えている。
The camera processing circuit 5 executes various camera signal processes such as AF, AE (Auto Exposure), and white balance adjustment for the image signal from the A / D converter 4, or a part of the process. In the present embodiment, in particular, an AF
MCU6は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成され、ROMなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。
The
モータ制御回路13は、MCU6の制御の下で、モータ12に対して駆動制御信号を送出し、フォーカスレンズ11の位置を制御する。また、位置検出部15から出力された検出信号をMCU6に供給する。
The
この撮像装置では、CMOSセンサ2によって受光されて光電変換された信号が、アンプ3でゲイン調整された後、A/Dコンバータ4によりデジタル変換されて、カメラ処理回路5に順次供給される。カメラ処理回路5は、供給されたデジタル画像信号を画質補正処理し、最終的に輝度信号(Y)と色差信号(R−Y,B−Y)に変換して出力する。
In this image pickup apparatus, a signal received by the
カメラ処理回路5から出力された画像データは、図示しないグラフィックI/Fに供給されて表示用の画像信号に変換され、これにより図示しないモニタにカメラスルー画像が表示される。また、図示しない入力部からのユーザの入力操作などによりMCU6に対して画像の記録が指示されると、カメラ処理回路5からの画像データは図示しないエンコーダに供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、カメラ処理回路5からは1フレーム分の画像データがエンコーダに供給され、動画像の記録の際には、処理された画像データがエンコーダに連続的に供給される。
The image data output from the camera processing circuit 5 is supplied to a graphic I / F (not shown) and converted into a display image signal, whereby a camera-through image is displayed on a monitor (not shown). When the
次に、この撮像装置におけるオートフォーカス制御について説明する。
この撮像装置のオートフォーカス機能は、基本的には、カメラ処理回路5のAF検波処理回路20により、画像上の所定領域の高周波成分を積分することでコントラストを示すフォーカス評価値が求められ、MCU6の処理によりフォーカス評価値が最大となるようにフォーカスレンズ11を移動させることで実現される。また、撮像素子の受光領域に複数のAF検波枠を設定し、1フレーム内(または1フィールド内)のAF検波枠ごとに求めたフォーカス評価値を用いてジャストフォーカス位置を求めることで、処理の効率化とフォーカス制御の精度向上とを両立させている。
Next, autofocus control in this imaging apparatus will be described.
The autofocus function of this imaging apparatus is basically such that a focus evaluation value indicating contrast is obtained by integrating a high frequency component of a predetermined area on an image by the AF
しかし、CMOSセンサ2のように、ローリングシャッタ方式で露光を行うXY走査型の撮像素子を用いた場合、行ごとに露光期間がずれることから、露光中にフォーカスレンズ11が移動した場合には、複数のAF検波枠からのフォーカス評価値と、それぞれに対応するフォーカスレンズ位置との間にもずれが生じる。このため、各AF検波枠によるフォーカス評価値を同じフォーカスレンズ位置に対応付けてしまうと、フォーカス制御の精度が低下する。そこで、本実施の形態では、画面の垂直方向に存在するAF検波枠ごとに、その露光時間に対するフォーカスレンズ位置の重心を個別に求めることでフォーカス精度を向上させる。
However, when an XY scanning type image sensor that performs exposure using the rolling shutter method, such as the
図2は、AF検波枠の第1の設定例を示す図である。
この図2では、図中左上方向から右下方向に対して画像信号の走査が行われるものとする(後出の図5,図6も同様)。このとき、画面の垂直方向にAF検波枠W1〜W3が設定されている。各AF検波枠W1〜W3では、例えば、それらの垂直方向の中心ラインL1〜L3における画像信号を検波することで、フォーカス評価値が検出される。なお、AF検波枠W4は、AF検波枠W1〜W3をすべて包含する領域に設定されている。例えば、通常の撮像モードではAF検波枠W1〜W3からのフォーカス評価値に基づいてオートフォーカス制御が行われ、フォーカスを合わせたい被写体が画面の中心部にある場合に、AF検波枠W4からのフォーカス評価値を用いるといった使い分けが行われる。
FIG. 2 is a diagram illustrating a first setting example of the AF detection frame.
In FIG. 2, it is assumed that the image signal is scanned from the upper left direction to the lower right direction in the figure (the same applies to FIGS. 5 and 6 described later). At this time, AF detection frames W1 to W3 are set in the vertical direction of the screen. In each of the AF detection frames W1 to W3, for example, focus evaluation values are detected by detecting image signals in the vertical center lines L1 to L3. The AF detection frame W4 is set in a region that includes all the AF detection frames W1 to W3. For example, in the normal imaging mode, autofocus control is performed based on the focus evaluation values from the AF detection frames W1 to W3, and the focus from the AF detection frame W4 is when the subject to be focused is at the center of the screen. Different uses such as using evaluation values are performed.
図3は、ローリングシャッタによる露光中におけるフォーカスレンズ位置の例を示す図である。
この図3では、タイミングT0〜T4の間に、フォーカスレンズ11がP1からP5の位置まで移動し、それ以後、フォーカスレンズ11がP5の位置に静止した場合の例を示している。なお、ここでは、フォーカスレンズ位置(P1〜P5)を、基準位置P0を基準とした相対的な位置情報として表している。
FIG. 3 is a diagram illustrating an example of the focus lens position during exposure by the rolling shutter.
FIG. 3 shows an example in which the
また、このようにフォーカスレンズ位置が遷移したときに、ローリングシャッタによる露光を行われると、ラインごとの露光期間にずれが生じる。図3の例では、AF検波枠W1の中心ラインL1での露光期間C1がタイミングT1〜T5となり、AF検波枠W2の中心ラインL2での露光期間C2がタイミングT2〜T6となり、AF検波枠W3の中心ラインL3での露光期間C3がタイミングT3〜T7となっている。 In addition, when exposure with a rolling shutter is performed when the focus lens position changes in this way, a shift occurs in the exposure period for each line. In the example of FIG. 3, the exposure period C1 in the center line L1 of the AF detection frame W1 is timings T1 to T5, the exposure period C2 in the center line L2 of the AF detection frame W2 is timings T2 to T6, and the AF detection frame W3. The exposure period C3 in the center line L3 is timings T3 to T7.
MCU6は、1フレーム(または1フィールド)分の画像信号からの上記各AF検波枠W1〜W3におけるフォーカス評価値をAF検波処理回路20から取り込むとともに、この露光期間C1〜C3を含む期間におけるフォーカスレンズ位置の遷移を、時間情報とともに記憶する。そして、次の図4に示す処理により、露光期間C1〜C3のそれぞれに対応するフォーカスレンズ位置の重心を算出する。なお、MCU6は、後述するように、MCU6によるフォーカスレンズ11に対する駆動制御情報と、位置検出部15からモータ制御回路13を通じて供給される位置情報とから、フォーカスレンズ位置を検出することができる。
The
図4は、フォーカスレンズ位置の重心を算出する処理の流れを示すフローチャートである。
〔ステップST1〕MCU6は、各AF検波枠での露光期間の開始時間および終了時間を求める。図3の例では、AF検波枠W1〜W3での露光期間C1〜C3について、開始時間および終了時間をそれぞれ求める。例えば、露光期間C1の開始時間および終了時間はそれぞれT1,T5と求められる。また、求められた時間情報は、例えばMCU6内のRAMなどに一時的に記憶される。
FIG. 4 is a flowchart showing a flow of processing for calculating the center of gravity of the focus lens position.
[Step ST1] The
〔ステップST2〕MCU6は、各露光期間におけるフォーカスレンズ位置を求める。例えば、MCU6が一定時間ごとにフォーカスレンズ位置を検出できる場合には、露光期間C1〜C3のそれぞれにおける一定時間ごとのフォーカスレンズ位置を求め、RAMなどに一時的に記憶しておく。あるいは、MCU6は、各露光期間C1〜C3におけるフォーカスレンズ11の移動履歴(例えば、移動開始時・終了時の時間およびフォーカスレンズ位置など)を記憶しておいてもよい。いずれの場合でも、MCU6は、各露光期間C1〜C3におけるフォーカスレンズ位置を、複数のタイミングで判別できる必要がある。
[Step ST2] The
〔ステップST3〕MCU6は、各露光期間におけるフォーカスレンズ位置の積分値を求める。露光期間の開始時間、終了時間をそれぞれTs,Teとし、時間に対するフォーカスレンズ位置を関数f(t)で表すと、積分値Sは次の式(1)により求めることができる。
[Step ST3] The
図3の例では、例えば、ステップST2でMCU6が一定時間ごとにフォーカスレンズ位置を取得する場合には、各露光期間C1〜C3について、開始から終了までのフォーカスレンズ位置の値を積算していけばよい。また、ステップST2でMCU6がフォーカスレンズ11の移動履歴を記憶する場合には、各露光期間C1〜C3に対応する積分値S1〜S3を以下の式により算出することもできる。
S1=(P5+P2)×(T4−T1)/2+P5×(T5−T4)
S2=(P5+P3)×(T4−T2)/2+P5×(T6−T4)
S3=(P5+P4)×(T4−T3)/2+P5×(T7−T4)
〔ステップST4〕MCU6は、算出された積分値Sを露光時間で除算し、重心Gを求める。図3の例では、各露光期間C1〜C3に対応する重心G1〜G3は、以下の式により算出される。
G1=S1/(T5−T1)
G2=S2/(T6−T2)
G3=S3/(T7−T3)
なお、以上の説明では、MCU6が、露光期間C1〜C3のすべての終了後に重心G1〜G3を算出するようにしたが、露光期間C1〜C3ごとに必要な情報を順次取り込み、それぞれの重心G1〜G3の演算を並行して実行するようにしてもよい。
In the example of FIG. 3, for example, when the
S1 = (P5 + P2) * (T4-T1) / 2 + P5 * (T5-T4)
S2 = (P5 + P3) × (T4-T2) / 2 + P5 × (T6-T4)
S3 = (P5 + P4) × (T4−T3) / 2 + P5 × (T7−T4)
[Step ST4] The
G1 = S1 / (T5-T1)
G2 = S2 / (T6-T2)
G3 = S3 / (T7-T3)
In the above description, the
以上の手順により重心Gが求められると、MCU6は、各露光期間におけるフォーカス評価値に対応するフォーカスレンズ位置を、求められた重心の位置として認識し(例えば、露光期間C1でのフォーカス評価値に対応するフォーカスレンズ位置を重心G1の位置とする)、ジャストフォーカス位置を求めるための演算に利用する。これにより、露光中にフォーカスレンズ11を移動させても、フォーカス評価値に対応するフォーカスレンズ位置のずれが重心により補正され、各フォーカス評価値に対して正確なフォーカスレンズ位置(すなわち重心)を対応付けることができるので、オートフォーカス制御の精度を向上させることができる。また、露光中にフォーカスレンズ11を停止させる必要がなくなるので、シャッタラグを短くし、オートフォーカス制御を高速化できる。
When the center of gravity G is obtained by the above procedure, the
また、図2に示したように、画面の垂直方向に複数のAF検波枠を設定した場合にも、各AF検波枠でのフォーカス評価値に対して正確なフォーカスレンズ位置を対応付けることができるので、オートフォーカス制御の精度を一層向上させることができる。 Further, as shown in FIG. 2, even when a plurality of AF detection frames are set in the vertical direction of the screen, an accurate focus lens position can be associated with the focus evaluation value in each AF detection frame. The accuracy of autofocus control can be further improved.
ここで、図5は、AF検波枠の第2の設定例を示す図である。
図5では、撮像素子上の垂直方向に対して、図2の場合より多い4つのAF検波枠W11〜W14を設定している。このように、より多くのAF検波枠を設定してフォーカス評価値を取得し、AF検波枠ごとに算出した重心の位置を各フォーカス評価値に対応付けてオートフォーカス制御に利用することで、その精度を向上させることができる。
Here, FIG. 5 is a diagram illustrating a second setting example of the AF detection frame.
In FIG. 5, four AF detection frames W11 to W14 are set in the vertical direction on the image sensor, which is larger than in the case of FIG. In this way, by setting more AF detection frames and acquiring focus evaluation values, the position of the center of gravity calculated for each AF detection frame is associated with each focus evaluation value and used for autofocus control. Accuracy can be improved.
図6は、AF検波枠の第3の設定例を示す図である。
図6では、撮像素子上に5つのAF検波枠W21〜W25が設定され、これらのうち、AF検波枠W22〜W24は、垂直方向に対して同じ位置に設定されている。このような場合、MCU6は、垂直方向の位置が異なるAF検波枠W21,W23,W25についてはそれぞれ個別に重心を求め、各AF検波枠でのフォーカス評価値に対するフォーカスレンズ位置として重心の位置を対応付ける。また、AF検波枠W22およびW24については、重心の演算を行わず、それぞれでのフォーカス評価値に対するフォーカスレンズ位置として、AF検波枠W23での重心の位置を対応付ける。
FIG. 6 is a diagram illustrating a third setting example of the AF detection frame.
In FIG. 6, five AF detection frames W21 to W25 are set on the image sensor, and among these, the AF detection frames W22 to W24 are set at the same position in the vertical direction. In such a case, the
このように、垂直方向の位置が同じAF検波枠については、そのうちの1つのみ(例えば、垂直方向の位置が異なる他のAF検波枠の水平位置に近いもの)から重心演算を行うようにすることで、オートフォーカス制御の精度向上効果が得られながらも、MCU6の処理負荷を軽減することができる。
As described above, the center of gravity calculation is performed from only one of the AF detection frames having the same vertical position (for example, one close to the horizontal position of another AF detection frame having a different vertical position). As a result, it is possible to reduce the processing load of the
最後に、MCU6におけるフォーカスレンズ位置の検出手法について補足説明する。
MCU6は、重心の演算に用いるフォーカスレンズ位置の情報を、MCU6自身によるフォーカスレンズ11に対する駆動制御情報と、位置検出部15からモータ制御回路13を通じて供給される位置情報とから検出することができる。例えば、フォーカスレンズ11のアクチュエータとしてステッピングモータを用いた場合には、MCU6は、フォーカスレンズ11の制御の初期時に位置検出部15からのフォーカスレンズ位置情報をモータ制御回路13を介して受け取り、それ以後は、自身によるフォーカスレンズ11の駆動制御情報に基づいて、フォーカスレンズ位置を検出する。また、脱調などにより位置ずれが生じる場合があるので、MCU6は、位置検出部15からの情報を適宜受け取って、フォーカスレンズ位置を補正し、補正後の位置情報をフォーカスレンズ11の駆動制御および重心演算に利用してもよい。
Lastly, a supplemental description will be given of the focus lens position detection method in the
The
なお、この場合の位置検出部15としては、例えば、フォーカスレンズ11のエッジ位置を検出してパルスを出力するフォトインタラプラタを用いることができる。この場合には、エッジの切り替わりをフォーカスレンズ11の絶対位置として検出できる方式や、フォーカスレンズ11を一旦固定位置(基準位置)に送った後、エッジの切り替わりに応じた位置を検出する方式などがある。さらにこの他に、位置検出部15としてエンコーダを用い、フォーカスレンズ11の絶対位置を数ビットの情報として検出する方式なども適用できる。
As the
一方、フォーカスレンズ11のアクチュエータとして、リニアモータなど、移動の開始から停止までの間で非線形に動作するものを用いた場合には、モータ制御回路13は、MCU6からフォーカスレンズ11の指示を受けると、位置検出部15からの位置検出情報を基に、フォーカスレンズ11が指示された目標位置に移動するようにサーボ制御(クローズドループ制御)を行うとともに、そのときの位置情報をMCU6に通知する。位置検出部15としては例えばMRセンサあるいはホール素子などが用いられる。また、位置検出部15からは一定時間間隔で位置検出情報が出力され、その出力間隔を短くすることで位置精度を向上させることができる。そして、MCU6は、モータ制御回路13から通知された位置情報を重心演算に利用する際に、位置検出情報の出力間隔に応じてフォーカスレンズ位置(上記の関数f(t))を近似して求めるようにしてもよい。
On the other hand, when the actuator for the
なお、上記の実施の形態では、撮像素子としてCMOS型イメージセンサを用いた場合について説明したが、CMOSイメージセンサ以外のMOS型イメージセンサなど、他のXYアドレス走査型の撮像素子を用いた場合にも本発明を適用可能である。また、本発明は、XYアドレス走査型の撮像素子を用いた様々な撮像装置、およびこのような撮像機能を具備する携帯電話機やPDA(Personal Digital Assistants)などの機器に対して適用することもできる。さらに、例えばPC(パーソナルコンピュータ)などに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像時の制御処理などに対しても、本発明を適用することができる。 In the above embodiment, a case where a CMOS image sensor is used as the image sensor has been described. However, when another XY address scanning image sensor such as a MOS image sensor other than a CMOS image sensor is used. The present invention is also applicable. The present invention can also be applied to various imaging devices using XY address scanning type imaging devices, and devices such as mobile phones and PDAs (Personal Digital Assistants) having such an imaging function. . Furthermore, the present invention can also be applied to control processing at the time of imaging with a small camera such as a videophone or game software connected to a PC (personal computer) or the like.
また、上記の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能(上記のMCU6による重心演算機能など)の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。 Further, the above processing functions can be realized by a computer. In that case, a program describing the processing contents of the functions that the apparatus should have (such as the gravity center calculation function by the MCU 6) is provided. And the said processing function is implement | achieved on a computer by running the program with a computer. The program describing the processing contents can be recorded on a computer-readable recording medium. Examples of the computer-readable recording medium include a magnetic recording device, an optical disk, a magneto-optical disk, and a semiconductor memory.
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 In order to distribute the program, for example, portable recording media such as an optical disk and a semiconductor memory on which the program is recorded are sold. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。 The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.
1……光学ブロック、2……CMOS型イメージセンサ(CMOSセンサ)、3……アンプ、4……A/Dコンバータ、5……カメラ処理回路、6……マイクロコントローラユニット(MCU)、11……フォーカスレンズ、12……モータ、13……モータ制御回路、14……タイミングジェネレータ(TG)、15……位置検出部、20……AF検波処理回路
DESCRIPTION OF SYMBOLS 1 ... Optical block, 2 ... CMOS type image sensor (CMOS sensor), 3 ... Amplifier, 4 ... A / D converter, 5 ... Camera processing circuit, 6 ... Microcontroller unit (MCU), 11 ... ... Focus lens, 12 ... Motor, 13 ... Motor control circuit, 14 ... Timing generator (TG), 15 ... Position detector, 20 ... AF detection processing circuit
Claims (9)
前記固体撮像素子の撮像面上に少なくとも垂直方向に対する位置の異なる複数の検波領域を設定し、撮像により得られた画像信号から前記検波領域ごとに高周波成分を抽出する抽出手段と、
前記複数の検波領域のそれぞれに対する露光期間の開始時刻および終了時刻を求め、前記検波領域ごとに、それぞれの検波領域に対する前記露光期間の開始時刻から終了時刻までにおけるフォーカスレンズの位置に基づいて、当該露光期間での前記フォーカスレンズの位置の重心を個別に演算する重心演算手段と、
前記抽出手段による前記検波領域ごとの抽出結果と、前記抽出結果にそれぞれ対応する前記重心演算手段からの重心とを基に、フォーカスが合うときの前記フォーカスレンズの位置を算出するレンズ位置演算手段と、
を有することを特徴とする撮像装置。 In an imaging apparatus that captures an image using an XY address scanning solid-state imaging device that is exposed by a rolling shutter system ,
An extraction means for setting a plurality of detection areas at different positions in the vertical direction on the imaging surface of the solid-state imaging device, and extracting a high-frequency component for each detection area from an image signal obtained by imaging;
Obtaining the start time and end time of the exposure period for each of the plurality of detection areas, and for each detection area, based on the position of the focus lens from the start time to the end time of the exposure period for each detection area, Centroid calculating means for individually calculating the centroid of the position of the focus lens in the exposure period ;
Lens position calculation means for calculating the position of the focus lens when the focus is achieved based on the extraction result for each detection region by the extraction means and the centroid from the centroid calculation means corresponding to each of the extraction results; ,
An imaging device comprising:
前記重心演算手段は、前記各検波領域の略中心での露光期間に対する前記フォーカスレンズの位置の重心を演算する、
ことを特徴とする請求項1記載の撮像装置。 The extraction means extracts a high frequency component from a horizontal image signal passing through the approximate center of each detection region,
The center-of-gravity calculating means calculates a center of gravity of the position of the focus lens with respect to an exposure period at an approximate center of each detection region;
The imaging apparatus according to claim 1.
前記固体撮像素子の撮像面上に少なくとも垂直方向に対する位置の異なる複数の検波領域が設定され、撮像により得られた画像信号から前記検波領域ごとに抽出された高周波成分の値を取得する取得手段と、
前記複数の検波領域のそれぞれに対する露光期間の開始時刻および終了時刻を求め、前記検波領域ごとに、それぞれの検波領域に対する前記露光期間の開始時刻から終了時刻までにおけるフォーカスレンズの位置に基づいて、当該露光期間での前記フォーカスレンズの位置の重心を個別に演算する重心演算手段と、
前記取得手段によって取得された前記検波領域ごとの高周波成分の抽出結果と、前記抽出結果にそれぞれ対応する前記重心演算手段からの重心とを基に、フォーカスが合うときの前記フォーカスレンズの位置を算出するレンズ位置演算手段と、
を有することを特徴とするフォーカス制御装置。 In a focus control apparatus that automatically controls the position of a focus lens so as to be focused based on a detection value of an image signal captured by an XY address scanning type solid-state imaging device that is exposed by a rolling shutter system ,
A plurality of detection regions having different positions at least in the vertical direction on the imaging surface of the solid-state image sensor, and acquiring means for acquiring a value of a high-frequency component extracted for each detection region from an image signal obtained by imaging; ,
Obtaining the start time and end time of the exposure period for each of the plurality of detection areas, and for each detection area, based on the position of the focus lens from the start time to the end time of the exposure period for each detection area, Centroid calculating means for individually calculating the centroid of the position of the focus lens in the exposure period ;
Based on the extraction result of the high frequency component for each detection region acquired by the acquisition unit and the center of gravity from the center of gravity calculation unit corresponding to the extraction result, the position of the focus lens when the focus is achieved is calculated. Lens position calculating means for
A focus control device comprising:
取得手段が、前記固体撮像素子の撮像面上に少なくとも垂直方向に対する位置の異なる複数の検波領域が設定されたときに、撮像により得られた画像信号から前記検波領域ごとに抽出された高周波成分の値を取得するステップと、
重心演算手段が、前記複数の検波領域のそれぞれに対する露光期間の開始時刻および終了時刻を求め、前記検波領域ごとに、それぞれの検波領域に対する前記露光期間の開始時刻から終了時刻までにおけるフォーカスレンズの位置に基づいて、当該露光期間での前記フォーカスレンズの位置の重心を個別に演算するステップと、
レンズ位置演算手段が、前記取得手段によって取得された前記検波領域ごとの高周波成分の抽出結果と、前記抽出結果にそれぞれ対応する前記重心演算手段からの重心とを基に、フォーカスが合うときの前記フォーカスレンズの位置を算出するステップと、
を含むことを特徴とするフォーカス制御方法。 In a focus control method for automatically controlling the position of a focus lens so as to be in focus based on a detection value of an image signal captured by an XY address scanning type solid-state image sensor that is exposed by a rolling shutter system ,
When the acquisition unit sets a plurality of detection regions having different positions at least in the vertical direction on the imaging surface of the solid-state imaging device, the high-frequency component extracted for each detection region from the image signal obtained by imaging Obtaining a value;
The center-of-gravity calculation means obtains the start time and end time of the exposure period for each of the plurality of detection areas, and the position of the focus lens from the start time to the end time of the exposure period for each detection area for each detection area And separately calculating the center of gravity of the position of the focus lens in the exposure period ,
The lens position calculation means is based on the extraction result of the high-frequency component for each detection region acquired by the acquisition means and the centroid from the centroid calculation means corresponding to the extraction result, and when the focus is achieved Calculating the position of the focus lens;
A focus control method comprising:
前記固体撮像素子の撮像面上に少なくとも垂直方向に対する位置の異なる複数の検波領域が設定され、撮像により得られた画像信号から前記検波領域ごとに抽出された高周波成分の値を取得する取得手段、
前記複数の検波領域のそれぞれに対する露光期間の開始時刻および終了時刻を求め、前記検波領域ごとに、それぞれの検波領域に対する前記露光期間の開始時刻から終了時刻までにおけるフォーカスレンズの位置に基づいて、当該露光期間での前記フォーカスレンズの位置の重心を個別に演算する重心演算手段、
前記取得手段によって取得された前記検波領域ごとの高周波成分の抽出結果と、前記抽出結果にそれぞれ対応する前記重心演算手段からの重心とを基に、フォーカスが合うときの前記フォーカスレンズの位置を算出するレンズ位置演算手段、
として前記コンピュータを機能させることを特徴とするフォーカス制御プログラム。 In a focus control program for causing a computer to execute a process of automatically controlling the position of a focus lens so as to be focused based on a detection value of an image signal captured by an XY address scanning type solid-state imaging device that is exposed by a rolling shutter system .
A plurality of detection regions having different positions at least in the vertical direction are set on the imaging surface of the solid-state imaging device, and acquiring means for acquiring a value of a high-frequency component extracted for each of the detection regions from an image signal obtained by imaging,
Obtaining the start time and end time of the exposure period for each of the plurality of detection areas, and for each detection area, based on the position of the focus lens from the start time to the end time of the exposure period for each detection area, Centroid calculating means for individually calculating the centroid of the position of the focus lens in the exposure period ;
Based on the extraction result of the high frequency component for each detection region acquired by the acquisition unit and the center of gravity from the center of gravity calculation unit corresponding to the extraction result, the position of the focus lens when the focus is achieved is calculated. Lens position calculating means
A focus control program for causing the computer to function as:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005218326A JP4862312B2 (en) | 2005-07-28 | 2005-07-28 | Imaging device and focus control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005218326A JP4862312B2 (en) | 2005-07-28 | 2005-07-28 | Imaging device and focus control device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007036775A JP2007036775A (en) | 2007-02-08 |
JP4862312B2 true JP4862312B2 (en) | 2012-01-25 |
Family
ID=37795462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005218326A Expired - Fee Related JP4862312B2 (en) | 2005-07-28 | 2005-07-28 | Imaging device and focus control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4862312B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9467616B2 (en) | 2013-04-15 | 2016-10-11 | Panasonic Intellectual Property Management Co., Ltd. | Distance measurement apparatus and distance measurement method |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8095000B2 (en) * | 2007-02-15 | 2012-01-10 | Panasonic Corporation | Camera system |
JP4863955B2 (en) | 2007-09-10 | 2012-01-25 | 三洋電機株式会社 | Automatic focus adjustment device |
JP5171433B2 (en) * | 2008-01-22 | 2013-03-27 | キヤノン株式会社 | Imaging device and lens device |
JP5329913B2 (en) * | 2008-10-21 | 2013-10-30 | キヤノン株式会社 | Automatic focusing apparatus and method |
JP5379448B2 (en) * | 2008-10-30 | 2013-12-25 | オリンパスイメージング株式会社 | Imaging device |
JP2011166959A (en) * | 2010-02-10 | 2011-08-25 | Fuji Electric Co Ltd | Digital control switching power supply device |
JP5631084B2 (en) * | 2010-07-09 | 2014-11-26 | キヤノン株式会社 | Image recording device |
JP5668227B2 (en) | 2011-02-17 | 2015-02-12 | 株式会社ミツトヨ | Image measuring device |
JP5697650B2 (en) * | 2012-12-13 | 2015-04-08 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP6438190B2 (en) * | 2013-10-21 | 2018-12-12 | キヤノン株式会社 | Imaging apparatus, imaging method, and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03157608A (en) * | 1989-11-16 | 1991-07-05 | Olympus Optical Co Ltd | Focal point detector |
JP4149528B2 (en) * | 1996-01-17 | 2008-09-10 | オリンパス株式会社 | Automatic focus detection device |
JP2007010908A (en) * | 2005-06-29 | 2007-01-18 | Canon Inc | Focus adjusting method and device |
-
2005
- 2005-07-28 JP JP2005218326A patent/JP4862312B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9467616B2 (en) | 2013-04-15 | 2016-10-11 | Panasonic Intellectual Property Management Co., Ltd. | Distance measurement apparatus and distance measurement method |
Also Published As
Publication number | Publication date |
---|---|
JP2007036775A (en) | 2007-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7791668B2 (en) | Digital camera | |
KR101278241B1 (en) | Photographing apparatus and photographing method | |
CN101489037B (en) | Imaging apparatus and its control method | |
JP4742242B2 (en) | Imaging apparatus and program thereof | |
USRE45900E1 (en) | Imaging apparatus and control method | |
US7586518B2 (en) | Imaging technique performing focusing on plurality of images | |
JP4543602B2 (en) | camera | |
JP2007010908A (en) | Focus adjusting method and device | |
JP5657184B2 (en) | Imaging apparatus and signal processing method | |
JP4862312B2 (en) | Imaging device and focus control device | |
KR20130057762A (en) | Auto focuse adjusting apparatus and controlling method thereof | |
JP4678061B2 (en) | Image processing apparatus, digital camera equipped with the same, and image processing program | |
KR100601312B1 (en) | Automatic exposure compensation device and method of digital still camera | |
JP2008111995A (en) | Autofocus control method and device | |
JP2007267278A (en) | Imaging apparatus and imaging method | |
JP2009017427A (en) | Imaging device | |
EP1667438A2 (en) | Imaging apparatus, imaging method and imaging processing program | |
JP4871664B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2010136301A (en) | Imaging apparatus and solid-state imaging element therefor | |
JP2002044495A (en) | Electronic camera | |
JP4143395B2 (en) | Imaging apparatus, autofocus method, program, and storage medium | |
JP2006243745A (en) | Automatic focus detector | |
JP5644180B2 (en) | Imaging apparatus, imaging method, and program | |
JP2009194469A (en) | Imaging apparatus | |
JP2003315665A (en) | Camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111011 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111024 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |