JP4591120B2 - Imaging apparatus, autofocus control method, and autofocus control program - Google Patents
Imaging apparatus, autofocus control method, and autofocus control program Download PDFInfo
- Publication number
- JP4591120B2 JP4591120B2 JP2005062526A JP2005062526A JP4591120B2 JP 4591120 B2 JP4591120 B2 JP 4591120B2 JP 2005062526 A JP2005062526 A JP 2005062526A JP 2005062526 A JP2005062526 A JP 2005062526A JP 4591120 B2 JP4591120 B2 JP 4591120B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- focus lens
- contrast
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
本発明は、オートフォーカス機能が設けられた撮像装置、同装置のオートフォーカス制御方法、及びオートフォーカス制御プログラムに関する。 The present invention relates to an imaging apparatus provided with an autofocus function, an autofocus control method for the same, and an autofocus control program.
従来、オートフォーカス機能が設けられた電子カメラなどの撮像装置では、ユーザが望む被写体位置にフォーカスエリアを合わせる方法とて、フォーカスエリアを狭くするピンポイントAFや、フォーカスエリアを中央のみとせず複数のフォーカスエリアのうち適当と思われる位置に設定するマルチポイントAFなどが用いられている。 Conventionally, in an imaging apparatus such as an electronic camera provided with an autofocus function, a method of adjusting a focus area to a subject position desired by a user can be achieved by pinpoint AF for narrowing the focus area or a plurality of focus areas, not only in the center. A multi-point AF or the like that is set at a suitable position in the focus area is used.
例えば、特許文献1には、撮影画面の中央部に位置しない被写体に対しても、中抜けを防止すると共にスポット光はずれによる誤側距を防止することができる側距装置が記載されている。
このような、ユーザが望む被写体位置にフォーカスエリアを合わせる方法により、被写体の特定の部分にフォーカスを合わせたり、被写体の内中央にフォーカスが合ってしまういわゆる中抜け画像になることを防ぐことができる。 By adjusting the focus area to the subject position desired by the user, it is possible to prevent a so-called hollow image that focuses on a specific part of the subject or focuses on the inner center of the subject. .
しかしながら、例えば動物園などで檻の中の動物を撮像したり、野球場などでネット越しに被写体(選手)を撮像するような場合には、檻やネットにフォーカスが合ってしまい、良好に被写体の画像を撮像することができなかった。 However, for example, when taking an image of an animal in a cage at a zoo or taking an image of a subject (player) over the net at a baseball stadium or the like, the bag or the net will be in focus and the subject An image could not be taken.
本発明の課題は、被写体との間に檻やネットなどの撮像対象としない対象物が存在していたとしても良好に被写体にフォーカスを合わせて画像を撮像することが可能な撮像装置、オートフォーカス制御方法、及びオートフォーカス制御プログラムを提供することにある。SUMMARY OF THE INVENTION An object of the present invention is to provide an imaging apparatus and an autofocus capable of capturing an image with a good focus on the subject even if there is an object that is not an imaging target, such as a bag or a net, between the subject and the subject. A control method and an autofocus control program are provided.
請求項1記載の発明は、フォーカスレンズを介して入射される被写体の画像を撮像する撮像手段と、前記フォーカスレンズを至近側から無限遠側へ向けて走査して第1の被写体に合焦させる位置に移動させるコントラスト方式の第1のオートフォーカス手段と、前記第1のオートフォーカス手段により前記フォーカスレンズが前記第1の被写体に合焦させた時の画像中からエッヂを検出すると共にこのエッヂとして検出された画像部分をマスクするマスク手段と、前記マスク手段によりマスクが施された画像を対象として、前記フォーカスレンズを第2の被写体に合焦させる位置に移動させるコントラスト方式の第2のオートフォーカス手段とを具備したことを特徴とする。 According to the first aspect of the present invention, an imaging unit that captures an image of a subject incident through the focus lens, and the focus lens is scanned from the closest side to the infinity side to focus on the first subject. A contrast-type first auto-focusing means for moving to a position, and an edge is detected from the image when the focus lens is focused on the first object by the first auto-focusing means, and this edge Mask means for masking the detected image portion, and a second autofocus of a contrast method for moving the focus lens to a position for focusing the second object on the image masked by the mask means. Means.
請求項2記載の発明は、フォーカスレンズを介して入射される被写体の画像を撮像する撮像ステップと、前記フォーカスレンズを至近側から無限遠側へ向けて走査して第1の被写体に合焦させる位置に移動させるコントラスト方式の第1のオートフォーカスステップと、前記第1のオートフォーカスステップにより前記フォーカスレンズが前記第1の被写体に合焦させた時の画像中からエッヂを検出すると共にこのエッヂとして検出された画像部分をマスクするマスクステップと、前記マスクステップによりマスクが施された画像を対象として、前記フォーカスレンズを第2の被写体に合焦させる位置に移動させるコントラスト方式の第2のオートフォーカスステップとを含むことを特徴とする。 According to a second aspect of the present invention, an imaging step for capturing an image of a subject incident through a focus lens, and the focus lens is scanned from the closest side to the infinity side to focus on the first subject. A contrast-type first autofocus step for moving to a position, and an edge is detected from the image when the focus lens is focused on the first subject by the first autofocus step, and as the edge A mask step for masking the detected image portion, and a second autofocus of a contrast method for moving the focus lens to a position for focusing the second object on the image masked by the mask step And a step.
請求項3記載の発明は、撮像装置に搭載されるコンピュータを、フォーカスレンズを介して入射される被写体の画像を撮像する撮像手段と、前記フォーカスレンズを至近側から無限遠側へ向けて走査して第1の被写体に合焦させる位置に移動させるコントラスト方式の第1のオートフォーカス手段と、前記第1のオートフォーカス手段により前記フォーカスレンズが前記第1の被写体に合焦させた時の画像中からエッヂを検出すると共にこのエッヂとして検出された画像部分をマスクするマスク手段と、前記マスク手段によりマスクが施された画像を対象として、前記フォーカスレンズを第2の被写体に合焦させる位置に移動させるコントラスト方式の第2のオートフォーカス手段として機能させることを特徴とする。 According to a third aspect of the present invention, a computer mounted on an imaging apparatus scans an imaging unit that captures an image of a subject incident through a focus lens and the focus lens from the closest side to the infinity side. a first auto focusing means of the contrast method of moving to a position where focusing to a first object Te, images in when the focus lens by said first auto focusing means was focused on the first object A mask means for detecting an edge from the mask and masking an image portion detected as the edge, and moving the focus lens to a position for focusing the second object on the image masked by the mask means. It is made to function as a contrast type second autofocus means.
請求項1,2,3記載の発明によれば、例えば動物園などで檻の中の動物を撮像したり、野球場などでネット越しに被写体(選手)を撮像するような場合に、檻やネットを第1の被写体として合焦させた後、この第1の被写体の部分をマスクして、再度、被写体に合焦させることで、檻の中の動物やネット越しの選手などに良好にフォーカスを合わせて画像を撮影することができる。According to the first, second, and third aspects of the invention, for example, when taking an image of an animal in a cage at a zoo or taking a subject (player) over the internet at a baseball field or the like, After focusing as a first subject, mask this first subject part and focus on the subject again, so that the animals in the cage and players over the net can focus well. You can also take images.
以下、図面を参照して本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明の実施の形態におけるカメラ装置1(撮像装置)の詳細な構成を示すブロック図である。 FIG. 1 is a block diagram showing a detailed configuration of a camera device 1 (imaging device) according to an embodiment of the present invention.
図1に示すカメラ装置1において、基本モードである撮影モードにおいては、レンズ光学系に含まれるフォーカスレンズ8、ズームレンズ9、及び絞り10が、制御部25の制御のもとでモータ駆動部11により駆動されるモータにより、絞り位置や撮影に応じたレンズ位置に移動される。
In the camera apparatus 1 shown in FIG. 1, in the photographing mode that is the basic mode, the
レンズ光学系の撮影光軸後方に配置された撮像素子であるCCD(Charge Coupled Device)12は、タイミング発生器(TG)13、垂直ドライバ14によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を1画面分出力する。
A CCD (Charge Coupled Device) 12, which is an image sensor disposed behind the photographing optical axis of the lens optical system, is scanned and driven by a timing generator (TG) 13 and a
この光電変換出力は、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド(S/H)回路15でサンプルホールドされ、A/D変換器16でデジタルデータに変換され、さらにカラープロセス回路17で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Y及び色差信号Cb,Crが生成され、DMA(Direct Memory Access)コントローラ18に出力される。
The photoelectric conversion output is appropriately gain-adjusted for each primary color component of RGB in the state of an analog value signal, sampled and held by a sample hold (S / H)
DMAコントローラ18は、カラープロセス回路17の出力する輝度信号Y及び色差信号Cb,Crを、同じくカラープロセス回路17からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度DMAコントローラ18内部のバッファに書込み、DRAMインタフェース(I/F)20を介してバッファメモリとして使用されるDRAM21にDMA転送を行なう。
The
制御部25は、CPUと、該CPUで実行される各種動作プログラムやデータ等を固定的に記録したROM、及びワークメモリとして使用されるRAM等により構成され、このカメラ装置1全体の制御動作を司る。動作プログラムには、オートフォーカス(AF)を制御するオートフォーカス制御プログラム、自動露出制御(AE)を制御する自動露出制御プログラムなどが含まれる。
The
制御部25は、輝度及び色差信号のDRAM21へのDMA転送終了後に、この輝度及び色差信号をDRAMインタフェース20を介してDRAM21より読出し、VRAMコントローラ26を介してVRAM27に書込む。
After completing the DMA transfer of the luminance and color difference signals to the
デジタルビデオエンコーダ28は、輝度及び色差信号をVRAMコントローラ26を介してVRAM27より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部29に出力する。
The
表示部29は、撮影モード時にはモニタ表示部(電子ファインダ)として機能し、デジタルビデオエンコーダ28からのビデオ信号に基づいた表示を行なうことで、その時点でVRAMコントローラ26から取込んでいる画像情報に基づく画像(スルー画像)をリアルタイムに表示することになる。
The
表示部29にスルー画像がリアルタイムに表示されている表示状態で、静止画像を撮影するタイミングでキー入力部37のシャッタキーが操作されると、トリガ信号を発生する。
When a through image is displayed in real time on the
制御部25は、このトリガ信号に応じてその時点でCCD12の駆動を停止した後、自動露出処理を実行して適正な露出値を得て、レンズ光学系の絞りとCCD12の露光時間を制御してあらためて撮像を実行させる。
In response to this trigger signal, the
こうして新たに得られた1フレーム分の画像データがDRAM21にDMA転送されて書込まれた後、制御部25がDRAM21に書込まれている1フレーム分の画像データを読出して画像処理部30に書込む。画像処理部30は、画像データに対して、JPEG(Joint Photographic Experts Group)により画像データを符号化する。
After the newly obtained image data for one frame is DMA-transferred and written in the
符号化された画像データは、カメラ装置1の記録媒体として着脱自在に装着されている不揮発性のメモリカード32、あるいはメモリカード32が装着されていない場合は固定的に内蔵されている不揮発性の内蔵メモリ33に書き込まれる。
The encoded image data is a
そして、1フレーム分のメモリカード32または内蔵メモリ33への画像データの書込み終了に伴なって、制御部25は、CCD12からDRAM21を経由したスルー画像を表示部29においてモニタ表示させる駆動を再開する。
Then, with the completion of the writing of the image data to the
また、制御部25には、キー入力部37、音声処理部40、ストロボ駆動部41が接続される。
In addition, a key input unit 37, an
キー入力部37は、電源キー、シャッタキー、モード切り換えキー、メニューキー、選択キー、及び十字キー(カーソルキー)等から構成され、それらのキー操作に伴なう信号は直接制御部25へ送出される。
The key input unit 37 includes a power key, a shutter key, a mode switching key, a menu key, a selection key, a cross key (cursor key), and the like, and signals associated with these key operations are directly sent to the
音声処理部40は、PCM音源等の音源回路を備え、音声の録音時にはマイクロホン部(MIC)42より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばMP3(MPEG-1 Audio Layer-3)規格に従ってデータ圧縮して音声データファイルを作成してメモリカード32または内蔵メモリ33へ送出する一方、音声の再生時にはメモリカード32または内蔵メモリ33から送られてきた音声データファイルの圧縮を解いてアナログ化し、スピーカ部(SP)43を駆動して、拡声放音させる。
The
さらに音声処理部40は、制御部25からの制御に基づいて、各種動作音、例えばシャッタキーの操作に伴う擬似的なシャッタ音、他のキーの操作に伴うビープ音等も発生してスピーカ部43より拡声放音させる。
Furthermore, the
ストロボ駆動部41は、静止画像撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部25からの制御に基づいてストロボ発光部45を閃光駆動する。
The
(第1実施形態)
次に、第1実施形態における動作について説明する。
図2は、第1実施形態において、ユーザが撮影モード切り換えキーを操作することによりケージ撮影モードを設定したときの制御部25による画像撮影処理手順を示すフローチャートである。ケージ撮影モードは、例えば動物園などで檻の中の動物を撮像したり、野球場などでネット越しに被写体(選手)を撮像するような場合に、檻やネットにフォーカスが合わないようにし、檻やネットより遠くに位置している動物や選手にフォーカスを合わすことができる撮影モードである。
(First embodiment)
Next, the operation in the first embodiment will be described.
FIG. 2 is a flowchart showing an image shooting processing procedure by the
第1実施形態では、例えばコントラストオートフォーカス(AF)によってAF動作を実行するものとする。 In the first embodiment, it is assumed that the AF operation is executed by, for example, contrast autofocus (AF).
まず、ユーザがキー入力部37の撮影モード切り換えキーを操作することによりケージ撮影モードに設定されると、CCD12による周期的な撮影を開始して、被写体のスルー画像を表示部29において表示させる(ステップA1)。これにより、ユーザは撮影しようとする被写体をスルー画像を視認することにより特定することが可能となる。
First, when the user operates the shooting mode switching key of the key input unit 37 to set the cage shooting mode, periodic shooting by the
制御部25は、シャッターボタンが半押しされたか否かを判別し、半押しされた場合は(ステップA2、Yes)、AFシーケンスに従う第1のコントラストAF処理を開始する(ステップA3)。第1のコントラストAF処理は、カメラ装置1の近くに位置している被写体、すなわち檻やネット(第1の被写体)にフォーカスを合わせるための処理である。
The
まず、制御部25は、フォーカスレンズ8の現在位置を取得し(ステップA4)、この現在位置から所定方向への移動を開始する(ステップA5)。コントラストAF処理では、フォーカスレンズ8を移動させながら、被写体画像の一部に設けられる所定のフォーカスエリアのコントラスト値(AF評価値)を算出する(ステップA6)。例えば、フォーカスレンズ8の移動は、現在のレンズ位置から近い方のレンズ端までフォーカスレンズ8を移動させ、その後、反対側のレンズ端に向けてフォーカスレンズ8を1区分ずつ移動させていき、区分毎のコントラスト値を算出していく。
First, the
所定のフォーカスエリアとしては、例えば画面中央部に設けられたエリア、ユーザにより選択された画面中の一部のエリア、または自動選択された画面上の一部のエリア等がフォーカスエリアとして設定されるものとする。なお、CCD12から出力された画面全体を用いてコントラスト値を算出するようにしてもよい。
As the predetermined focus area, for example, an area provided at the center of the screen, a part of the screen selected by the user, or a part of the area automatically selected on the screen is set as the focus area. Shall. The contrast value may be calculated using the entire screen output from the
制御部25は、フォーカスレンズ8の位置がレンズ端に到達するまでの間で(ステップA8)、フォーカスレンズ8を移動させながら算出されるコントラスト値がピークとなっているかを判別する(ステップA7)。例えば、制御部25は、フォーカスレンズ8の移動に伴い順次算出されるコントラスト値が上昇する変化を表して所定値以上のコントラスト値が検出された後に、連続して減少したことが検出された場合にピーク位置が検出されたと判別する。
The
こうして、フォーカスエリアのコントラスト値のピークが検出されると(ステップA7、Yes)、制御部25は、このピーク時のレンズ位置にフォーカスレンズ8を移動させると共に、レンズ位置を記憶しておく(ステップA9)。
Thus, when the peak of the contrast value in the focus area is detected (step A7, Yes), the
ここで、制御部25は、コントラスト値がピックとなったフォーカスエリア内の画像に対してエッヂを検出すると共に(ステップA10)、このエッヂとして検出されたフォーカスエリア内の画像部分をマスクする(ステップA11)。
Here, the
図3(a)には、第1のコントラストAF処理時のフォーカスが合わされた画像に対してマスクをかけた状態の一例を示している。図3(a)は、檻の中に「トラ」がいる風景を撮影しようとした例を示している。この場合、本来、撮影しようとしている被写体の「トラ」よりカメラ装置1の近くに位置している檻(第1の被写体)にフォーカスが合っている。ここで、画像中のエッジ部分を検出することで、檻に該当する画像部分がマスクされることになる。 FIG. 3A shows an example of a state in which a mask is applied to the focused image in the first contrast AF process. FIG. 3A shows an example in which a landscape with a “tiger” in a cage is photographed. In this case, the focus is on the eyelid (first subject) positioned closer to the camera device 1 than the “tiger” of the subject to be photographed. Here, by detecting the edge portion in the image, the image portion corresponding to the eyelid is masked.
次に、制御部25は、マスクした画像部分を除外して、前述した第1のコントラストAF処理と同様について第2のコントラストAF処理を開始する(ステップA12)。
Next, the
すなわち、制御部25は、フォーカスレンズ8の現在位置を取得し(ステップA13)、この現在位置から所定方向への移動を開始する(ステップA14)。コントラストAF処理では、第1のコントラストAF処理と同様にして、フォーカスレンズ8を移動させながら、被写体画像の一部に設けられる所定のフォーカスエリアのコントラスト値(AF評価値)を算出する(ステップA15)。例えば、フォーカスレンズ8の移動は、現在のレンズ位置から近い方のレンズ端までフォーカスレンズ8を移動させ、その後、反対側のレンズ端に向けてフォーカスレンズ8を1区分ずつ移動させていき、区分毎のコントラスト値を算出していく。
That is, the
図3(b)には、第2のコントラストAF処理時の画像の一例を示している。図3(b)に示すように、第1のコントラストAF処理によって檻の部分がマスクされているため檻より遠い位置に存在する「トラ」にフォーカスが合う位置にフォーカスレンズ8を移動させることでコントラスト値がピークとなる。
FIG. 3B shows an example of an image during the second contrast AF process. As shown in FIG. 3B, since the heel portion is masked by the first contrast AF process, the
制御部25は、フォーカスレンズ8の位置がレンズ端に到達するまでの間で(ステップA17)、フォーカスレンズ8を移動させながら算出されるコントラスト値がピークとなっているかを判別する(ステップA16)。
The
フォーカスエリアのコントラスト値のピークが検出されると(ステップA16、Yes)、制御部25は、このピーク時のレンズ位置と第1のコントラストAF処理により検出されたレンズ位置とを比較し、第2のコントラストAF処理により検出されたレンズ位置に対応する被写体までの距離が、第1のコントラストAF処理により検出されたレンズ位置に対応する被写体よりも遠方にあるかを判別する(ステップA18)。
When the peak of the contrast value in the focus area is detected (step A16, Yes), the
ここで、第2のコントラストAF処理により検出されたレンズ位置に対応する被写体の位置が、第1のコントラストAF処理により検出されたレンズ位置に対応する被写体の位置とほぼ同じ、あるいはより近くにあると判別された場合には、例えば第1のコントラストAF処理によって検出されたレンズ位置にフォーカスレンズ8を移動させてオートフォーカス処理を完了する(ステップA19,A20)。
Here, the position of the subject corresponding to the lens position detected by the second contrast AF process is substantially the same as or closer to the position of the subject corresponding to the lens position detected by the first contrast AF process. Is determined, for example, the
一方、第2のコントラストAF処理により検出されたレンズ位置に対応する被写体の位置が、第1のコントラストAF処理により検出されたレンズ位置に対応する被写体の位置よりも遠い場合には、第2のコントラストAF処理によって検出されたレンズ位置にフォーカスレンズ8を移動させてオートフォーカス処理を完了する(ステップA19,A20)。すなわち、檻より遠くに位置している「トラ」(第2の被写体)にフォーカスを合わせることができる。
On the other hand, when the position of the subject corresponding to the lens position detected by the second contrast AF process is farther than the position of the subject corresponding to the lens position detected by the first contrast AF process, the second The
ここで、制御部25は、シャッターボタンの半押しが継続されているか否かを判別し、半押しが継続している場合には、シャッターボタンが全押しされるまで待機する(ステップA22、Yes)。
Here, the
また、シャッターボタンが全押しされた場合は(ステップA21、Yes)、制御部25は、画撮撮影処理を実行する(ステップA23)。すなわち、CCD12から出力される1画面分の画素信号をA/D変換器16でデジタルデータに変換し、さらにカラープロセス回路17で各画像処理を施してDRAM21に取り込み、取り込んだ画像データを画像処理部30において圧縮する処理を開始する。そして、圧縮処理が完了すると、制御部25は、圧縮した画像データに基づく静止画ファイル(JPEG形式等のファイル)を生成し、例えばメモリカード32に記録する。
When the shutter button is fully pressed (step A21, Yes), the
このようにして、第1実施形態のカメラ装置1では、例えば動物園などで檻の中の動物を撮像したり、野球場などでネット越しに被写体(選手)を撮像するような場合に、第1のコントラストAF処理によって檻やネットを第1の被写体として合焦させた後、この第1の被写体の部分をマスクして、第2のコントラストAf処理によって、再度、被写体に合焦させることで、檻の中の動物やネット越しの選手などに良好にフォーカスを合わせて画像を撮影することができる。 As described above, the camera device 1 according to the first embodiment uses the first method when, for example, an animal in a cage is imaged at a zoo or a subject (player) is imaged over the net at a baseball field or the like. After focusing the eyelids and net as the first subject by the contrast AF process, the first subject portion is masked, and the subject is again focused by the second contrast Af process. You can take images with good focus on animals in the cage or players over the net.
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態では、初めのオートフォーカス処理によって被写体にフォーカスを合わせた後、この被写体よりも遠距離側の位置にフォーカスが合うようにフォーカスレンズを所定量移動させることで、例えば檻の中の動物やネット越しの選手などにフォーカスを合わせて画像を撮影できるようにする。
(Second Embodiment)
Next, a second embodiment will be described. In the second embodiment, after focusing on the subject by the initial autofocus process, the focus lens is moved by a predetermined amount so that the focus is on a position farther than the subject, for example, in a cage Focus on animals and players over the net so that they can take images.
図4は、第2実施形態において、ユーザが撮影モード切り換えキーを操作することによりケージ撮影モードを設定したときの制御部25による画像撮影処理手順を示すフローチャートである。
FIG. 4 is a flowchart showing an image shooting processing procedure by the
第2実施形態においても、例えばコントラストオートフォーカス(AF)によってAF動作を実行するものとする。 Also in the second embodiment, it is assumed that the AF operation is executed by, for example, contrast autofocus (AF).
まず、ユーザがキー入力部37の撮影モード切り換えキーを操作することによりケージ撮影モードに設定されると、CCD12による周期的な撮影を開始して、被写体のスルー画像を表示部29において表示させる(ステップB1)。これにより、ユーザは撮影しようとする被写体をスルー画像を視認することにより特定することが可能となる。
First, when the user operates the shooting mode switching key of the key input unit 37 to set the cage shooting mode, periodic shooting by the
制御部25は、シャッターボタンが半押しされたか否かを判別し、半押しされた場合は(ステップB2、Yes)、AFシーケンスに従うコントラストAF処理を開始する(ステップB3)。コントラストAF処理は、カメラ装置1の近くに位置している被写体、すなわち檻やネットにフォーカスを合わせるための処理である。
The
まず、制御部25は、第1実施形態と同様にして、フォーカスレンズ8の現在位置を取得し(ステップB4)、この現在位置から所定方向への移動を開始する(ステップB5)。コントラストAF処理では、フォーカスレンズ8を移動させながら、被写体画像の一部に設けられる所定のフォーカスエリアのコントラスト値(AF評価値)を算出する(ステップB6)。
First, similarly to the first embodiment, the
制御部25は、第1実施形態と同様にして、フォーカスレンズ8の位置がレンズ端に到達するまでの間で(ステップB8)、フォーカスレンズ8を移動させながら算出されるコントラスト値がピークとなっているかを判別する(ステップB7)。
In the same manner as in the first embodiment, the
こうして、フォーカスエリアのコントラスト値のピークが検出されると(ステップB7、Yes)、制御部25は、コントラスト値がピークとなるレンズ位置よりも遠距離側にフォーカスが合うように、フォーカスレンズ8を所定量移動させるためのレンズ位置移動処理を実行する(ステップB9)。
Thus, when the peak of the contrast value in the focus area is detected (step B7, Yes), the
すなわち、コントラストAF処理を実行することで檻やネットにフォーカスを合わすことができ、このフォーカスが合ったレンズ位置よりも遠距離側、すなわち檻よりも遠くに位置している被写体にフォーカスが合うようにフォーカスレンズ8が移動されることになる。なお、レンズ位置移動処理の詳細については後述する。
In other words, by performing contrast AF processing, it is possible to focus on the eyelids and the net, and focus on a subject located farther than the focused lens position, that is, farther than eyelids. Thus, the
こうして、コントラストAF処理によって検出されたレンズ位置よりも遠距離側にフォーカスが合うようにフォーカスレンズ8を所定量移動させることで、オートフォーカス処理を完了する(ステップB10)。
In this way, the autofocus process is completed by moving the
ここで、制御部25は、シャッターボタンの半押しが継続されているか否かを判別し、半押しが継続している場合には、シャッターボタンが全押しされるまで待機する(ステップB12、Yes)。
Here, the
また、シャッターボタンが全押しされた場合は(ステップB11、Yes)、制御部25は、画撮撮影処理を実行し(ステップB13)、撮影画像の静止画ファイルを生成し、例えばメモリカード32に記録する。
If the shutter button is fully pressed (step B11, Yes), the
次に、ステップB9におけるレンズ位置移動処理について説明する。第2実施形態では、図5(a)(b)のフローチャートに示す第1または第2のレンズ位置移動処理を用いることができる。 Next, the lens position movement process in step B9 will be described. In the second embodiment, the first or second lens position movement process shown in the flowcharts of FIGS. 5A and 5B can be used.
まず、図5(a)のフローチャートに示す第1のレンズ位置移動処理について説明する。この場合、コントラストAF処理により被写体(檻やネット)にフォーカスが合うようにフォーカスレンズ8の位置が求められると、この時の被写体までの距離をレンズ位置をもとに算出する(ステップC1)。
First, the first lens position movement process shown in the flowchart of FIG. In this case, when the position of the
そして、被写体の位置が被写界深度外となるレンズ移動量を算出し(ステップC2)、この算出したレンズ移動量に応じてフォーカスレンズ8を移動させる(ステップC3)。
Then, a lens movement amount at which the position of the subject is outside the depth of field is calculated (step C2), and the
図6(a)(b)には、被写体の位置が被写界深度外となるようにレンズ位置を移動させる様子を示している。図6(a)では、コントラストAF処理によって被写体として檻にフォーカスが合った状態を示している。ここで、フォーカスが合っている檻の位置が被写界深度外となるように、檻よりも遠距離側にフォーカスが合うようにフォーカスレンズ8のレンズ位置を移動させる。この結果、図6(b)に示すように、檻よりも遠くに位置している被写体(「トラ」)に対してフォーカスを合わせることができる。
FIGS. 6A and 6B show how the lens position is moved so that the position of the subject is outside the depth of field. FIG. 6A shows a state in which the eyelid is focused as a subject by contrast AF processing. Here, the lens position of the
なお、前述した説明では、初めのオートフォーカス処理によりフォーカスが合った被写体の位置を被写界深度外とするために、フォーカスレンズ8の位置を移動させるとしているが、モータ駆動部11による絞り10に対する制御と組み合わせて被写界深度外となるように制御することもできる。
In the above description, the position of the
次に、図5(b)のフローチャートに示す第2のレンズ位置移動処理について説明する。この場合、コントラストAF処理により被写体(檻やネット)にフォーカスが合うようにフォーカスレンズ8の位置が求められると、この時の被写体までの距離をレンズ位置をもとに算出する(ステップD1)。
Next, the second lens position movement process shown in the flowchart of FIG. In this case, when the position of the
そして、被写体までの距離の所定倍数、例えば1.5倍の距離に位置する被写体にフォーカスを合わせるためのレンズ移動量を算出し(ステップD2)、この算出したレンズ移動量に応じてフォーカスレンズ8を移動させる(ステップD3)。
Then, a lens movement amount for focusing on a subject located at a predetermined multiple of the distance to the subject, for example, 1.5 times the distance is calculated (step D2), and the
第2のレンズ位置移動処理では、カメラ装置1から被写体(檻など)までの距離に応じて、予め決められた所定倍数の距離にフォーカスが合うように固定的にフォーカスレンズ8を移動させることで、初めオートフォーカス処理によってフォーカスが合った被写体(檻など)より遠距離側に位置している、本来、撮影しようとしている被写体(檻内の動物など)にフォーカスを合わせることができる。
In the second lens position movement process, the
なお、前述した第2のレンズ位置移動処理では、被写体の距離に対して1.5倍の距離にフォーカスを合わせるものとしているが、この被写体までの距離に対する倍数を、モード設定などにおいて予めユーザが任意に指定できるようにしても良い。例えば、予め用意された倍数として、1.5倍、2倍、3倍…を用意しておき、この中からユーザによるキー入力部37(カーソルキー)の操作によって選択させる。これにより、檻やネットの位置と、撮影しようとしている被写体(檻内の動物やネット越しにいる選手など)との位置関係に応じて、最適な倍率を設定することで、より良好にフォーカスを合わせることができる。 In the second lens position movement process described above, the focus is adjusted to a distance that is 1.5 times the distance of the subject. It may be arbitrarily specified. For example, 1.5 times, 2 times, 3 times, etc. are prepared as multiples prepared in advance, and are selected by operating the key input unit 37 (cursor key) by the user. This makes it possible to focus more favorably by setting the optimal magnification according to the positional relationship between the position of the kite or net and the subject to be photographed (such as an animal in the kite or a player over the net). Can be matched.
このようにして、第2実施形態のカメラ装置1では、例えば動物園などで檻の中の動物を撮像したり、野球場などでネット越しに被写体(選手)を撮像するような場合に、檻やネットを被写体として合焦させた後、フォーカスレンズが合焦された被写体よりも遠距離側の位置、すなわち檻の中の動物やネット越しの選手がいる位置にフォーカスが合うようにフォーカスレンズを所定量移動させることで、檻内の動物やネット越しの選手などに良好にフォーカスを合わせて画像を撮影することができる。 In this way, in the camera device 1 of the second embodiment, for example, when taking an image of an animal in a cage at a zoo or when imaging a subject (player) over the net at a baseball field or the like, After focusing on the net as the subject, place the focus lens so that the focus lens is in a position farther away than the subject on which the focus lens is focused, i.e., where there are animals in the cage or players over the net. By moving the fixed amount, it is possible to take an image with a good focus on animals in the cage or players over the net.
なお、前述した第2実施形態では、コントラストAF方式を用いているが、移相差AF方式、アクティブ側距AF方式など、その他のAF方式を用いることができる。この場合、AF処理で求められる被写体までの距離を用いてレンズ位置移動処理を実行することができる。 In the second embodiment described above, the contrast AF method is used, but other AF methods such as a phase shift AF method and an active side distance AF method can be used. In this case, the lens position moving process can be executed using the distance to the subject obtained by the AF process.
(第3実施形態)
次に、第3実施形態について説明する。第3実施形態では、第1実施形態と第2実施形態とを組み合わせたもので、第1実施形態における第2のコントラストAF処理によって被写体(檻やネットよりも遠くに位置している被写体)にフォーカスを合わせられない場合に、第2実施形態によるオートフォーカスの方法を用いる。
(Third embodiment)
Next, a third embodiment will be described. In the third embodiment, the first embodiment and the second embodiment are combined, and a subject (a subject located farther than the eyelids or the net) is subjected to the second contrast AF process in the first embodiment. When focus cannot be achieved, the autofocus method according to the second embodiment is used.
図7は、第3実施形態において、ユーザが撮影モード切り換えキーを操作することによりケージ撮影モードを設定したときの制御部25による画像撮影処理手順を示すフローチャートである。なお、図7において、ステップE1〜ステップE17は、第1実施形態におけるステップA1〜A17と同様の処理を実行するものとして説明を省略する。
FIG. 7 is a flowchart showing an image shooting processing procedure by the
ステップE17において、フォーカスレンズ8をレンズ端まで移動させる間に所定値以上のコントラスト値のピークが検出されなかった場合、制御部25は、第1のコントラストAF処理によって検出されたコントラスト値がピークとなるレンズ位置よりも遠距離側にフォーカスが合うように、フォーカスレンズ8を所定量移動させるためのレンズ位置移動処理を実行することで、オートフォーカス処理を完了する(ステップE18,E20)。レンズ位置移動処理については、前述した第2実施形態と同様にして実行する。
In step E17, when the peak of the contrast value equal to or greater than the predetermined value is not detected while moving the
一方、第2のコントラストAF処理によってコントラスト値がピークとなるレンズ位置が検出されると(ステップE16、Yes)、制御部25は、第2のコントラストAF処理によって検出されたレンズ位置にフォーカスレンズ8を移動させてオートフォーカス処理を完了する(ステップE19,E20)。
On the other hand, when the lens position where the contrast value reaches a peak is detected by the second contrast AF process (step E16, Yes), the
ここで、制御部25は、シャッターボタンの半押しが継続されているか否かを判別し、半押しが継続している場合には、シャッターボタンが全押しされるまで待機する(ステップE22、Yes)。
Here, the
また、シャッターボタンが全押しされた場合は(ステップE21、Yes)、制御部25は、画撮撮影処理を実行し(ステップE23)、撮影画像の静止画ファイルを生成し、例えばメモリカード32に記録する。
If the shutter button is fully pressed (step E21, Yes), the
このようにして、第3実施形態のカメラ装置1では、例えば動物園などで檻の中の動物を撮像したり、野球場などでネット越しに被写体(選手)を撮像するような場合に、檻やネットを第1の被写体として合焦させた後、この第1の被写体の部分をマスクして、再度、被写体に合焦させようとした際に、フォーカス位置が特定できない場合であっても、フォーカスレンズが合焦された被写体よりも遠距離側の位置、すなわち檻の中の動物やネット越しの選手がいる位置の方向にフォーカスが合うようにフォーカスレンズを所定量移動させることで、檻の中の動物やネット越しの選手などに良好にフォーカスを合わせて画像を撮影することができる。 In this way, with the camera device 1 of the third embodiment, for example, when taking an image of an animal in a cage at a zoo or when imaging a subject (player) over the net at a baseball field or the like, Even if the focus position cannot be specified when trying to focus on the subject again after masking the portion of the first subject after focusing the net as the first subject, the focus By moving the focus lens by a predetermined amount so that the focus is in the direction of the far side of the subject where the lens is focused, i.e., the position of the animal in the cage or the player over the net, You can take images with good focus on animals and players over the net.
なお、本発明の撮像装置は、前述した各実施形態において説明したカメラ装置1に限定されるものではなく、撮影機能を有した携帯電話機、時計、PDA(personal digital assistant)、静止画撮像機能付きビデオカメラ、カメラ付きパーソナルコンピュータ等、AF機能付きの撮像装置を搭載した装置に適用することができる。 Note that the imaging apparatus of the present invention is not limited to the camera apparatus 1 described in each of the above-described embodiments, but includes a mobile phone having a photographing function, a watch, a PDA (personal digital assistant), and a still image imaging function. The present invention can be applied to a device equipped with an imaging device with an AF function, such as a video camera or a personal computer with a camera.
1…カメラ装置、8…フォーカスレンズ、9…ズームレンズ、10…絞り、11…モータ駆動部、12…CCD、13…タイミング発生器(TG)、14…垂直ドライバ、15…サンプルホールド回路(S/H)、16…A/D変換器、17…カラープロセス回路、18…DMAコントローラ、20…DRAMインタフェース(I/F)、21…DRAM、25…制御部、26…VRAMコントローラ、27…VRAM、28…デジタルビデオエンコーダ、29…表示部、30…画像処理部、32…メモリカード、33…内蔵メモリ、37…キー入力部、40…音声処理部、41…ストロボ駆動部、42…マイクロホン部(MIC)、43…スピーカ部(SP)、45…ストロボ発光部。
DESCRIPTION OF SYMBOLS 1 ... Camera device, 8 ... Focus lens, 9 ... Zoom lens, 10 ... Diaphragm, 11 ... Motor drive part, 12 ... CCD, 13 ... Timing generator (TG), 14 ... Vertical driver, 15 ... Sample hold circuit (S / H), 16 ... A / D converter, 17 ... color process circuit, 18 ... DMA controller, 20 ... DRAM interface (I / F), 21 ... DRAM, 25 ... control unit, 26 ... VRAM controller, 27 ...
Claims (3)
前記フォーカスレンズを至近側から無限遠側へ向けて走査して第1の被写体に合焦させる位置に移動させるコントラスト方式の第1のオートフォーカス手段と、
前記第1のオートフォーカス手段により前記フォーカスレンズが前記第1の被写体に合焦させた時の画像中からエッヂを検出すると共にこのエッヂとして検出された画像部分をマスクするマスク手段と、
前記マスク手段によりマスクが施された画像を対象として、前記フォーカスレンズを第2の被写体に合焦させる位置に移動させるコントラスト方式の第2のオートフォーカス手段と
を具備したことを特徴とする撮像装置。 An image pickup means for picking up an image of a subject incident through the focus lens;
A first autofocus means of a contrast system that moves the focus lens from a closest side to an infinitely far side and moves the focus lens to a position for focusing on the first subject;
Mask means for detecting an edge from an image when the focus lens is focused on the first object by the first autofocus means and masking an image portion detected as the edge;
An image pickup apparatus comprising: a contrast-type second autofocus unit that moves an image masked by the mask unit to a position where the focus lens is focused on a second subject. .
前記フォーカスレンズを至近側から無限遠側へ向けて走査して第1の被写体に合焦させる位置に移動させるコントラスト方式の第1のオートフォーカスステップと、
前記第1のオートフォーカスステップにより前記フォーカスレンズが前記第1の被写体に合焦させた時の画像中からエッヂを検出すると共にこのエッヂとして検出された画像部分をマスクするマスクステップと、
前記マスクステップによりマスクが施された画像を対象として、前記フォーカスレンズを第2の被写体に合焦させる位置に移動させるコントラスト方式の第2のオートフォーカスステップと
を含むことを特徴とするオートフォーカス制御方法。 An imaging step of capturing an image of a subject incident through the focus lens;
A first autofocus step of a contrast method for moving the focus lens from the closest side to the infinity side and moving the focus lens to a position for focusing on the first subject;
A mask step of detecting an edge from an image when the focus lens is focused on the first object by the first autofocus step and masking an image portion detected as the edge;
And a contrast-type second autofocus step for moving the focus lens to a position for focusing the second subject on the image masked by the mask step. Method.
フォーカスレンズを介して入射される被写体の画像を撮像する撮像手段と、
前記フォーカスレンズを至近側から無限遠側へ向けて走査して第1の被写体に合焦させる位置に移動させるコントラスト方式の第1のオートフォーカス手段と、
前記第1のオートフォーカス手段により前記フォーカスレンズが前記第1の被写体に合焦させた時の画像中からエッヂを検出すると共にこのエッヂとして検出された画像部分をマスクするマスク手段と、
前記マスク手段によりマスクが施された画像を対象として、前記フォーカスレンズを第2の被写体に合焦させる位置に移動させるコントラスト方式の第2のオートフォーカス手段として機能させることを特徴とするオートフォーカス制御プログラム。 The computer installed in the imaging device
An image pickup means for picking up an image of a subject incident through the focus lens;
A first autofocus means of a contrast system that moves the focus lens from a closest side to an infinitely far side and moves the focus lens to a position for focusing on the first subject;
Mask means for detecting an edge from an image when the focus lens is focused on the first object by the first autofocus means and masking an image portion detected as the edge;
An autofocus control functioning as a second autofocus means of a contrast type for moving the focus lens to a position for focusing on a second subject for an image masked by the mask means. program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005062526A JP4591120B2 (en) | 2005-03-07 | 2005-03-07 | Imaging apparatus, autofocus control method, and autofocus control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005062526A JP4591120B2 (en) | 2005-03-07 | 2005-03-07 | Imaging apparatus, autofocus control method, and autofocus control program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010064296A Division JP2010152395A (en) | 2010-03-19 | 2010-03-19 | Imaging apparatus, autofocus control method, and autofocus control program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006243636A JP2006243636A (en) | 2006-09-14 |
JP2006243636A5 JP2006243636A5 (en) | 2008-04-17 |
JP4591120B2 true JP4591120B2 (en) | 2010-12-01 |
Family
ID=37050070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005062526A Expired - Fee Related JP4591120B2 (en) | 2005-03-07 | 2005-03-07 | Imaging apparatus, autofocus control method, and autofocus control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4591120B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10212394B2 (en) | 2012-06-14 | 2019-02-19 | Canon Kabushiki Kaisha | Signal processing apparatus for focus detection, signal processing method, and image pickup apparatus |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5564961B2 (en) * | 2010-01-27 | 2014-08-06 | 株式会社ニコン | Imaging device |
JP5471521B2 (en) * | 2010-01-29 | 2014-04-16 | カシオ計算機株式会社 | Image processing apparatus and method, and program |
JP5853369B2 (en) * | 2011-01-24 | 2016-02-09 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
JP6592881B2 (en) * | 2014-07-01 | 2019-10-23 | 株式会社ソシオネクスト | Surface detection method, surface detection device, and imaging device |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59204811A (en) * | 1983-05-09 | 1984-11-20 | Mitsubishi Electric Corp | Automatic focus control device |
JPS6359275A (en) * | 1986-08-29 | 1988-03-15 | Victor Co Of Japan Ltd | Automatic focusing device |
JPH02243070A (en) * | 1989-03-15 | 1990-09-27 | Sanyo Electric Co Ltd | Automatic focus camera |
JPH04329078A (en) * | 1991-04-30 | 1992-11-17 | Matsushita Electric Ind Co Ltd | Automatic focusing device |
JPH06311415A (en) * | 1993-04-23 | 1994-11-04 | Nippon Philips Kk | Automatic focusing device |
JPH0738796A (en) * | 1993-07-21 | 1995-02-07 | Mitsubishi Electric Corp | Automatic focusing device |
JPH0954244A (en) * | 1995-06-08 | 1997-02-25 | Sony Corp | Automatic focusing device |
JP2001208963A (en) * | 2000-01-27 | 2001-08-03 | Hitachi Ltd | Image pickup device provided with automatic focusing function |
JP2002196226A (en) * | 2000-12-26 | 2002-07-12 | Casio Comput Co Ltd | Imaging device, imaging method and recording medium |
JP2004093776A (en) * | 2002-08-30 | 2004-03-25 | Nikon Corp | Camera |
JP2004317555A (en) * | 2003-04-11 | 2004-11-11 | Nitto Kogaku Kk | Method for controlling optical system and control device |
-
2005
- 2005-03-07 JP JP2005062526A patent/JP4591120B2/en not_active Expired - Fee Related
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59204811A (en) * | 1983-05-09 | 1984-11-20 | Mitsubishi Electric Corp | Automatic focus control device |
JPS6359275A (en) * | 1986-08-29 | 1988-03-15 | Victor Co Of Japan Ltd | Automatic focusing device |
JPH02243070A (en) * | 1989-03-15 | 1990-09-27 | Sanyo Electric Co Ltd | Automatic focus camera |
JPH04329078A (en) * | 1991-04-30 | 1992-11-17 | Matsushita Electric Ind Co Ltd | Automatic focusing device |
JPH06311415A (en) * | 1993-04-23 | 1994-11-04 | Nippon Philips Kk | Automatic focusing device |
JPH0738796A (en) * | 1993-07-21 | 1995-02-07 | Mitsubishi Electric Corp | Automatic focusing device |
JPH0954244A (en) * | 1995-06-08 | 1997-02-25 | Sony Corp | Automatic focusing device |
JP2001208963A (en) * | 2000-01-27 | 2001-08-03 | Hitachi Ltd | Image pickup device provided with automatic focusing function |
JP2002196226A (en) * | 2000-12-26 | 2002-07-12 | Casio Comput Co Ltd | Imaging device, imaging method and recording medium |
JP2004093776A (en) * | 2002-08-30 | 2004-03-25 | Nikon Corp | Camera |
JP2004317555A (en) * | 2003-04-11 | 2004-11-11 | Nitto Kogaku Kk | Method for controlling optical system and control device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10212394B2 (en) | 2012-06-14 | 2019-02-19 | Canon Kabushiki Kaisha | Signal processing apparatus for focus detection, signal processing method, and image pickup apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2006243636A (en) | 2006-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100821801B1 (en) | Image capture apparatus and auto focus control method | |
JP4761146B2 (en) | Imaging apparatus and program thereof | |
JP4548156B2 (en) | Camera device and automatic focus control method of camera device | |
JP2007215091A (en) | Imaging apparatus and program therefor | |
JP2006025238A (en) | Imaging device | |
JP5758138B2 (en) | Imaging apparatus, data processing method, and program | |
KR20120115127A (en) | Image processing device capable of generating wide-range image | |
JP2008147966A (en) | Imaging apparatus and its program | |
JP5094070B2 (en) | Imaging apparatus, imaging method, program, and storage medium | |
KR101630287B1 (en) | Digital photographing apparatus and method for controlling the same | |
JP4591120B2 (en) | Imaging apparatus, autofocus control method, and autofocus control program | |
US7515816B2 (en) | Imaging apparatus having a focus function | |
JP3938155B2 (en) | Imaging apparatus and lens unit control method | |
JP2010152395A (en) | Imaging apparatus, autofocus control method, and autofocus control program | |
JP5035433B2 (en) | Imaging apparatus, interval imaging method, and program | |
JP5448391B2 (en) | Imaging apparatus and red-eye correction method | |
JP4803375B2 (en) | Imaging apparatus and program thereof | |
JP4534250B2 (en) | Movie imaging apparatus and program thereof | |
JP5093376B2 (en) | Imaging apparatus and program thereof | |
JP4771524B2 (en) | Imaging apparatus and program thereof | |
KR101946574B1 (en) | Apparatus and method for reproducing image and computer-readable storage medium | |
JP2007028486A (en) | Digital camera | |
JP2006276262A (en) | Photographing apparatus, interval photographing method, interval photographing program | |
JP6090485B2 (en) | Imaging apparatus, imaging control method, and program | |
JP5413621B2 (en) | Imaging apparatus and program thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080229 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080229 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100817 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100830 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4591120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |