JP3563508B2 - Automatic focusing device - Google Patents
Automatic focusing device Download PDFInfo
- Publication number
- JP3563508B2 JP3563508B2 JP27091295A JP27091295A JP3563508B2 JP 3563508 B2 JP3563508 B2 JP 3563508B2 JP 27091295 A JP27091295 A JP 27091295A JP 27091295 A JP27091295 A JP 27091295A JP 3563508 B2 JP3563508 B2 JP 3563508B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- smear
- circuit
- area
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Facsimile Scanning Arrangements (AREA)
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は自動焦点調節装置に係り、たとえばビデオカメラやスチルカメラ等のカメラおよびフィルムスキャナ等のスキャナに用いて好適な自動焦点調節装置に関する。
【0002】
【従来の技術】
近年、撮像レンズを介して入射した被写体像をCCD(電荷結合素子)などの固体撮像素子により撮像して得られた映像信号を磁気テープやICメモリカードに記録するビデオカメラやスチルカメラが知られている。この種の機器には、撮像レンズの焦点位置を調節することにより被写体像を固体撮像素子の撮像面に自動的に合焦させる自動焦点調節装置いわゆるオートフォーカス(A/F) 装置が搭載されている。
【0003】
この種のオートフォーカス装置としては、被写体像の鮮鋭さを検出してこの鮮鋭さを表すコントラストが最大となるように合焦させるコントラスト検出方式が知られている。このコントラスト検出方式では、撮像画面のほぼ中央に設けられたフォーカスエリア(A/Fウインドウ)における輝度信号のコントラストを表す高周波成分からコントラスト評価値が算出され、このコントラスト評価値が最大となるように撮像レンズが移動される。
【0004】
【発明が解決しようとする課題】
しかしながら、固体撮像素子に強い光(高輝度)が入った場合にはスミアが現れる。このように固体撮像素子を用いた従来のコントラスト検出方式では、たとえば撮像画面のフォーカスエリア内、あるいはこのフォーカスエリア上に高輝度が存在する場合に、この高輝度によるスミア成分がコントラスト評価値の算出に影響を与え、その結果、焦点調整の精度が低下するという問題があった。
【0005】
本発明はこのような従来技術の欠点を解消し、スミアの影響を受けることのない自動焦点調節装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明は上述の課題を解決するために、撮像素子に撮像レンズおよび絞りを介して入射する被写体像の合焦動作を行なう自動焦点調節装置においては、この装置は、撮像素子にて得られる映像信号が表わす画面は有効画素からなる複数の領域とオプティカルブラック画素からなる複数の領域から構成され、撮像素子から出力される映像信号から画素毎の緑色の信号を表わすG信号または輝度信号を得て出力するか、あるいはこの得られた信号から高域周波数成分の信号を得て出力する信号処理手段と、有効画素およびオプティカルブラック画素からなる各々複数の領域の信号処理手段から送られてくるG信号または輝度信号またはG信号、輝度信号の高域周波数成分の信号に基づいて積算値を算出する積算手段と、オプティカルブラック画素からなる複数の領域の積算値に基づいて有効画素からなる複数の領域のスミアの有無領域を決定するスミア検出手段と、スミア検出手段により決定された有効画素からなる複数の領域の中のスミアのないいずれかの領域の積算手段から送られてくる積算値に基づいて合焦状態を判定して撮像レンズの移動方向を決定し、この決定に従って撮像レンズを駆動して移動させる制御手段とを備えることを特徴とする。
【0007】
この自動焦点調節装置の制御手段はさらに、スミア検出手段においてスミアがあると決定された場合に、絞りの露光量を減じる方向に駆動して移動させる露光制御手段を含み、制御手段は、露光制御手段の制御によりスミア検出手段においてスミアがないと決定された場合に、有効画素からなる複数の領域の中のいずれかの領域の積算手段から送られてくる積算値に基づいて合焦状態を判定して撮像レンズの移動方向を決定し、この決定に従って撮像レンズを駆動して移動させることを特徴とする。
【0008】
【発明の実施の形態】
次に添付図面を参照して本発明による自動焦点調節装置の実施例を詳細に説明する。
【0009】
図1には、本発明の自動焦点調節装置がディジタル電子スチルカメラに適用された場合の一実施例が示されている。同図を参照すると、このディジタル電子スチルカメラは、撮像部10、 信号処理回路30、 バンドパスフィルタ(BPF)32、絶対値検波回路34、 アナログ・ディジタル(A/D) 変換器36、 積算回路40、 同期信号発生回路50、 モード選択ボタン回路52および制御回路60から構成されている。このうちのBPF32、絶対値検波回路34、 A/D 変換器36、 積算回路40、 同期信号発生回路50、 モード選択ボタン回路52および制御回路60は、自動焦点調節装置22を構成している。
【0010】
このディジタル電子スチルカメラは、撮像部10内の撮像レンズ12を介して撮像デバイス18の撮像面に結像した被写体像を表わすRGB 信号を信号処理回路30によりG信号あるいは輝度信号Yを含む映像信号に変換し、G信号あるいは輝度信号またはY変換したG信号あるいは輝度信号Yの高域周波数成分の信号のディジタル化したデータによるオプティカルブラック画素エリア内の積算値を利用してスミア検出を行ない、検出された値からスミア位置を特定するとともに、スミアのない有効画素からなるフォーカスエリアを特定し、この特定したエリア内のコントラスト値からフォーカス用の制御信号を生成して撮像レンズ12の合焦位置の調節を行ない、調節された撮像レンズ12を介して入射した被写体像を撮像デバイス18によりRGB 信号に変換し、このRGB 信号を信号処理回路30によりG信号あるいは輝度信号Yを含む映像信号に変換し、変調あるいはディジタル化などの所定の処理を施し、磁気テープあるいはメモリカードなどの記憶媒体(図示せず)に記憶する装置である。
【0011】
また、このカメラは、上記のようにスミア位置を特定するとともに、このスミアが検出されないように、露光用の制御信号を生成して撮像部10内の絞り14の露光調節を行なった後、有効画素からなる所定のフォーカスエリア内のコントラスト値からフォーカス用の制御信号を生成して撮像レンズ12の合焦位置の調節を行ない、上記のように、G信号あるいは輝度信号Yを含む映像信号を記憶媒体に記憶される装置である。以下の説明において、本発明に直接関係のない部分は、図示およびその説明を省略する。
【0012】
また、この実施例では、図3(a) に示すように、このカメラによって撮影された1画面(1フレーム)300 は、1ブロック(エリアまたはウィンドウ)が垂直方向に4画素、水平方向に4画素の合計16画素、このブロックが垂直方向に4ブロック、水平方向に4ブロックの合計16ブロックから構成され、また、この1画面300 の上3段のブロックの領域は有効画素の領域であり撮影による有効なデータが得られ、最下段のブロックの領域は黒基準画素の領域、つまりオプティカルブラックの画素の領域であり撮影による基準黒のデータが得られるように構成され、この16ブロックにより画焦動作が行なわれるものとする。以下に説明する積算回路40および制御回路60などは、この16ブロックに対応する機能が備えられている。
【0013】
図1に戻って、撮像部10は図示のように撮像レンズ12、絞り14、シャッタ16、撮像デバイス18および撮像レンズ12を駆動するAFモータ22、絞り14を駆動するオートアイリス(AI)モータ24などの静止画像の撮影に必要な要素を有し、撮像レンズ12の合焦制御、絞り14の露光制御、シャッタ16の開閉制御などは、制御回路60から制御線128 を介して行なわれる。撮像デバイス18は、たとえばCCD もしくはMOS などの固体撮像デバイスが有利に適用される。この固体撮像デバイスの撮像セルアレイには色フィルタ20が装着され、同期信号発生回路50から駆動線116 を通して受けるクロックに応動して本実施例では色変調されたR、G、B の色信号をその出力100 に点(画素)順次にて出力する。なお、色フィルタ20の色セグメント配列は適宜のものを使用してよい。撮像デバイス18の色信号出力100 は、信号処理回路30の入力に接続されている。
【0014】
なお、実際にはこの撮像デバイス18は、図4に示すように、たとえばNTSC方式の525 本(1フレーム)の走査線に対応するものであり、このデバイスの1画面400 内の白領域410 には垂直(V) 方向に488 の有効画素が、水平(H) 方向に376 の有効画素が配置され、この有効画素の周囲の斜線領域420 には図示のように黒基準画素、つまりオプティカルブラックの画素が配置されたものであるが、この実施例では、説明を容易にするために、上述した図3(a) に示した配置によるものとする。
【0015】
信号処理回路30は、その入力100 から点順次にR、G、B の色信号を入力し、サンプルホールドして色分離し、色成分信号R、G、B とする色成分信号作成機能を有する。この信号処理回路30はまた、たとえば白バランスの調整および階調 (γ) 補正などの必要な映像信号処理を施す機能を有する。上記色分離された色成分信号R、G、B は、それぞれ白バランスの調整およびγ補正などが施されてそれぞれの出力102、104、106 から出力される。このような処理を行なうための水平および垂直同期信号などを含む制御信号は、同期信号発生回路50から制御線118 を介して供給される。なお、この信号処理回路30はさらに、色成分信号R、G、B を輝度信号Yおよび色差信号R−Y、B−Y にするマトリックス機能を有してよく、出力104 から輝度信号Yを、出力102 および出力106 から色差信号R−Y およびB−Y を出力させてよい。
【0016】
それら出力102、104、106 から出力されるR、G、B 信号、あるいはR−Y、Y、B−Y 信号は、変調あるいはディジタル化などの所定の処理が施された後、磁気テープあるいはメモリカードなどの記憶媒体(図示せず)に記憶される。またGあるいはY信号を出力する出力104 は、合焦制御の目的でBPF32 に接続されている。
【0017】
BPF32 は、入力104 から入力するGあるいはY信号から高周波成分の帯域映像信号を取り出して、その出力108 に出力する回路である。出力108 は絶対値検波回路34の入力と接続されている。絶対値検波回路34は、BPF32 により取り出された高周波成分を正方向の極性にして絶対化された絶対化信号を生成し、その出力110 に出力する。出力110 はA/D 変換器36の入力と接続されている。
【0018】
A/D 変換器36は、同期信号発生回路50から制御線120 を介して供給されるサンプリング信号に応動して、絶対値検波回路34からの入力信号をサンプリングし、それをたとえば8ビットの対応するディジタルデータに変換し、その出力112 から出力する信号変換回路である。出力112 は積算回路40のビット加算回路41の入力に接続されている。
【0019】
なお、信号処理回路30とBPF32 の間と、絶対値検波回路34とA/D 変換器36の間にそれぞれ制御回路60で制御されるスイッチ回路(図示せず)を設け、これらの回路により、有効画素の領域のデータの場合はBPF32 および絶対値検波回路34を介してA/D 変換器36に送り、また、オプティカルブラック画素の領域のデータの場合はBPF32 および絶対値検波回路34を介さずにA/D 変換器36に送るようにしてもよい。したがって、A/D 変換器36でAD変換されるオプティカルブラック画素の領域のデータには、GあるいはY信号と、GあるいはY信号の高周波成分の帯域映像信号の4種類の信号があることになる。
【0020】
積算回路40は同期信号発生回路50および制御回路60から制御線122 および130 を通して入力する同期信号および制御信号などに基づいて、その入力112 から入力する図3(a) に示す各々エリア内の信号を積算してラッチし、積算した結果の信号をその出力114 から出力する回路である。この積算回路40は、詳細には、図2に示すように、ビット加算回路41、43、水平方向積算レジスタ42、 垂直方向積算レジスタ44a、44b、44c、44d、転送用レジスタ45a、45b、45c、45d、データセレクタ46およびタイミング発生回路47から構成されている。
【0021】
ビット加算回路41は、その入力222 から入力するタイミング発生回路47からの制御信号に基づいて、その入力112 から順次入力する各々エリア内の水平方向の4つの画素の1つの画素の信号と、その入力202 から入力する水平方向積算レジスタ42からのその1つの画素の直前の1つの画素信号の加算された信号とを加算し、その加算した結果の信号をその出力200 から水平方向積算レジスタ42に出力する回路である。
【0022】
水平方向積算レジスタ42は、その入力224 から入力するタイミング発生回路47からの制御信号に基づいて、その入力200 から入力する信号を一時蓄積するとともに、一時蓄積した信号をその出力202 からビット加算回路41および43に出力する記憶回路である。詳細には、このレジスタ42に加算回路41から各々エリア内の水平方向の4つの画素のうち左側から3番目までの画素信号が順次加算され転送されて蓄積されている場合には、その都度順次蓄積された信号を加算回路41に送り、また加算回路41から4番目のまでの画素信号が加算されて蓄積されている場合には、その蓄積された信号を加算回路43に送る。なお、この加算回路41において、各々エリア内の水平方向の1番左側の画素信号の加算を行なう場合に、その画素の直前に加算する画素が存在しないために、このレジスタ42からは、たとえば0値の信号が加算回路41に送られる。したがって、このレジスタ42は、各々エリアの水平方向の全部の画素、つまり4画素の信号の加算の行なわれた信号の記憶容量でよい。
【0023】
ビット加算回路43は、その入力226 から入力するタイミング発生回路47からの制御信号に基づいて、その入力202 から入力する各々エリアの水平方向の4つの画素信号の加算の行なわれた信号と、その入力212 から入力する垂直方向積算レジスタ44d からのその各々エリアの水平方向の直上の水平方向の4つの画素信号の加算の行なわれた信号の加算の行なわれた信号とを加算し、その加算した結果の信号をその出力204 から垂直方向積算レジスタ44a および転送用レジスタ45a に出力する回路である。詳細には、この加算回路43において各々エリアの上から3段目までの水平方向の4つの画素信号の加算の行なわれた信号に対して順次加算を行なった場合に、その都度加算の行なわれた信号をレジスタ44a に送り、また4段目までの水平方向の4つの画素信号の加算の行なわれた信号に対して加算を行なった場合に、その加算した信号をレジスタ45a に送る。したがって、後述する垂直方向積算レジスタ44a、44b、44c および44d は、各々エリア内の上から3段目までの水平方向の全部の画素、つまり12画素の信号の加算の行なわれた信号の記憶容量でよく、また後述する転送用レジスタ45a、45b、45c および45d は、各々エリア内の全部の画素、つまり16画素の信号の加算の行なわれた信号の記憶容量でよい。
【0024】
垂直方向積算レジスタ44a、44b、44c および44d は、その入力228 から入力するタイミング発生回路47からの制御信号に基づいて、それぞれの入力204、206、208 および210 から入力する信号を一時蓄積するとともに、この一時蓄積した信号をそれぞれの出力206、208、210 および212 から出力する記憶回路である。出力206 はレジスタ44b の入力に、出力208 はレジスタ44c の入力に、出力210 はレジスタ44d の入力に、出力212 は加算回路43の対応する入力にそれぞれ接続されている。
【0025】
詳細には、まず初めに加算回路43から図3(a) に示すエリア1の1段目の加算信号が送られてきてレジスタ44a に蓄積され、続いてエリア2の1段目の加算信号が送られてきてレジスタ44a に蓄積されるとともに、エリア1の加算信号がレジスタ44b に転送されて蓄積される、このように順次行なわれて、レジスタ44d にエリア1の1段目の加算信号が、レジスタ44c にエリア2の1段目の加算信号が、レジスタ44b にエリア3の1段目の加算信号が、レジスタ44a にエリア4の1段目の加算信号が転送されて蓄積される。なお、エリア1、2、3、4 の1段目の上に別のエリアが存在するかまたはエリアが存在しないときは、レジスタ44a、44b、44c および44d に、それぞれ0値の信号を記憶させておき、加算回路43に加算信号212 としてそれぞれ0値の信号を送る。したがって、エリア4の1段目の加算が終了した時点では、レジスタ44d にエリア1の1段目の4つの画素の加算信号が、レジスタ44c にエリア2の1段目の4つの画素の加算信号が、レジスタ44b にエリア3の1段目の4つの画素の加算信号が、レジスタ44a にエリア4の1段目の4つの画素の加算信号が蓄積される。続いて、加算回路43からレジスタ44d からのエリア1の1段目の加算信号とレジスタ42からの同じエリア番号の2段目の加算信号の加算の行なわれた信号が送られてきてレジスタ44a に蓄積され、同様に次に、レジスタ44d からのエリア2の1段目の加算信号とレジスタ42からの同じエリア番号の2段目の加算信号の加算の行なわれた信号が送られてきてレジスタ44a に蓄積される。このように、エリア番号の順に、また3段目まで段順に次々に加算の行われた信号がレジスタ44a、44b、44c、44d の順に蓄積されて読み出される構成になっている。
【0026】
転送用レジスタ45a、45b、45c および45d は、その入力230 から入力するタイミング発生回路47からの制御信号に基づいて、それぞれの入力204、214、216 および218 から入力する信号を一時蓄積するとともに、一時蓄積した信号をそれぞれの出力214、216、218 および220 から出力する記憶回路である。出力214 はレジスタ45b の入力に、出力216 はレジスタ45c の入力に、出力218 はレジスタ44d の入力に、出力220 はデータセレクタ46の入力にそれぞれ接続されている。この実施例では、エリア番号の順、つまり1から16の順に、そのエリアの積算された信号が転送用レジスタ45a、45b、45c、45d の順に蓄積されて読み出される構成になっている。
【0027】
データセレクタ46は、その入力232 から入力するタイミング発生回路47からの選択信号に応動して、その入力220 をラッチしてその出力114 に出力する回路である。詳細には、この積算回路40において積算されたデータは8ビット以上になるので、このデータセレクタ46は8ビット単位に出力する回路である。また、このセレクタ46からは、各々エリアの積算された信号がエリア番号の順に出力される。出力114 は制御回路60の対応する入力に接続されている。
【0028】
タイミング発生回路47は、その入力122 から入力する同期信号発生回路50からの水平および垂直同期信号などを受けるとともに、その入力130 から入力する制御回路60からの制御信号に応動して、ビット加算回路41および43でのそれぞれの加算に必要な各種信号を形成してその出力222 および226 から出力し、水平方向積算レジスタ42、垂直方向積算レジスタ44a、44b、44c、44d および転送用レジスタ45a、45b、45c、45d でのそれぞれの書込み読出しに必要な各種信号を形成してその出力224、228 および出力230 から出力し、データセレクタ46に必要な選択信号などを形成して出力232 から出力する回路である。
【0029】
図1に戻って、同期信号発生回路50は、安定な周波数で自走する基準発振器およびラインカウンタ(いずれも図示せず)などを有し、制御回路60からの制御信号126 に応動して、信号処理回路30の処理に必要な水平および垂直同期信号などをその出力118 から出力し、A/D 変換器36に必要なサンプリング信号をその出力120 から出力し、積算回路40での積算などに必要な水平同期信号、垂直同期信号およびクロック信号などをその出力122 から出力し、制御回路60で必要な各種信号をその出力124 から出力する回路である。
【0030】
このカメラの自動焦点調節装置22は、モード選択ボタン回路52を有する。このモード選択ボタン回路52は、モード選択ボタンを有し、このボタンが押圧されていない第1モードのときは、自動焦点調節動作において露光制御を行なわないことを示す信号を制御線132 を介して制御回路60に送り、また、このボタンが押圧された第2モードのときは、自動焦点調節動作において露光制御を行なうことを示す信号を制御線132 を介して制御回路60に送る回路である。
【0031】
制御回路60は、本装置の各機能部を制御する制御装置であり、マイクロプロセッサなどの処理システムによって有利に構成される。制御回路60は、撮影開始信号に応動して、モード選択ボタン回路52からのモード信号を検査し、このモード信号が第1あるいは第2モードを示している場合には第1あるいは第2モードで本装置の撮影動作を制御する制御機能を含む。撮影開始信号を受けた場合に制御回路60は、撮影に必要な様々な制御信号を、その制御出力126、128、130 に出力する。この場合の各種制御信号は、同期信号発生回路50から信号線124 を介して送られてくる信号から作られる。
【0032】
制御回路60は、図1に示すように、スミア検出回路62を有する。このスミア検出回路62は、たとえばオプティカルブラック画素から構成されるこの例ではエリア番号13〜16のそれぞれ画素の積算された信号値114 がスミアのないときの所定値以上になったときにスミア有りと判定する回路である。この場合、BPF32 および絶対値検波回路34を通った場合のGあるいはY信号の高周波成分の帯域映像信号と、BPF32 および絶対値検波回路34を通らなかった場合のGあるいはY信号とでは信号の性質が異なるので、信号に応じて所定の値を変えてよい。これらの所定値を表わすデータは、スミア検出回路62内の記憶回路(図示せず)に蓄積してよい。
【0033】
スミア検出回路62について詳述すると、たとえば画面300 のエリア番号2の領域に高輝度302 が発生した場合に、高輝度302 の下側に斜線で示す領域304 にスミアが発生する、したがって、最下段、つまり4段目のエリア14内の4本のそれぞれの走査線による撮像信号には、図3(b) に示すような、オプティカルブラックレベル306 より高いスミアレベル308 が発生する。このような場合には、スミア検出回路62は、エリア番号14の画素の積算された信号値114 が所定値以上になったと判断するので、エリア14上のエリアにはスミアがあると判定する。また、それ以外のエリア13、15、16の積算値114 は所定値以下であると判断するので、これらのエリア13、15、16上のエリアにはスミアがないと判定する。
【0034】
また、この実施例では、エリア13〜16は4X4 画素からなる領域としたが、たとえば1つの走査線の水平方向に連続する4画素あるいはそれ以外の画素数からなる領域、または2X4 画素からなる領域、または6X6 画素からなる領域など、実施例の領域よりも小さくても大きくてもよい。有効画素のエリア1〜12の領域もまた、オプティカルブラックのエリア13〜16の領域と同じように、どのような大きさの領域にしてもよい。なお、さらに、本実施例においては、エリア1〜16は正方形に設定されているが、正方形でなく長方形などの他の形状に設定することもでき、また直線状に設定してもよい。
【0035】
スミアがあると判定した場合には、スミア検出回路62は、コントラスト情報を得ることのできるエリア番号の特定、たとえばエリア7を特定して制御回路60に送る。スミア検出回路62からエリア7を特定する信号を受け、また、モード選択ボタン回路52から露光制御を行なわないことを示す第1モードの信号を受けている場合には、制御回路60はこのエリア7のコントラスト情報、つまりAF評価データ(積算値)114 を取り出し、制御回路60の内部に蓄積した前のAF評価データとの比較演算を行なう。制御回路60はこの演算の結果により、AF評価データが大きくなるようなAFモータ22の回転方向を決定し、それによりAFモータ制御信号128 をAFモータ22に出力する。AFモータ22の回転動作が終了すると、制御回路60は積算回路40からエリア7の次のAF評価データ114 を取り込んで上述した動作を行ない、AF評価データが最大値になるまでこの動作を繰り返す。
【0036】
なお、モード選択ボタン回路52から第1モードの信号を受けている場合であって、エリア13〜16にスミアがあるときは、制御回路60はスミア検出回路62からコントラスト情報を得ることのできるエリア番号の情報を受けることができないので、このような場合には、後述するように、第2モードの信号を受けたのと同じ合焦動作を行なうのでよい。
【0037】
またスミア検出回路62からエリア7を特定する信号を受け、モード選択ボタン回路52から露光制御を行なうことを示す第2モードの信号を受けている場合、制御回路60は、スミア検出回路62からのエリア7のコントラスト値と所定値との差の値または積算回路40からのエリア7のコントラスト値に基づいて、スミアがあるこの例ではエリア2、6、10からスミアがなくなるような露光量、つまりAIモータ24の回転方向および量を決定し、それによりAIモータ制御信号128 をAIモータ24に出力する。これによりAIモータ24は、AIモータ制御信号128 に応じた方向および量だけ回転する。AIモータ24の回転動作が終了すると、スミア検出回路62は、この例では、積算回路40からエリア14の次の積算された信号114 を取り込んで上述した比較を行ない、スミアがなくなるまでこの動作を繰り返す。スミアがなくなったら、制御回路60は次に、この例では積算回路40から所定のエリア6のコントラスト情報、つまりAF評価データ114 を取り出し、後述するような合焦動作を行なう。なお、この例では所定のエリアを6としたが有効画素の領域内のエリアであればどこでもよい。
【0038】
図2、3を参照して、図1に示す自動焦点調節装置の合焦動作を説明する。
【0039】
撮影者により撮影開始の指示が撮影入力スイッチなどの入力手段(図示せず)から入力され、撮影の動作が開始すると、まず撮像部10から出力される第1番目のフレームの信号処理が行なわれる。撮像レンズ12を通って入射した被写体からの入射光は撮像デバイス18において点順次のRGB の映像信号100 に変換され、信号処理回路30に送られる。点順次に出力されるRGB の映像信号は信号処理回路30においてR信号102 とG信号104 とB信号106 に分離され、G信号104 はBPF32 に送られる。G信号104 はBPF32 において必要な帯域だけを取り出し、取り出した信号108 は絶対値検波回路34において正方向の極性化、絶対化等の各処理が行なわれ、A/D 変換器36に出力される。A/D 変換器36では入力した信号110 を、たとえば8ビットのディジタル信号112 に変換し、積算回路40に出力する。
【0040】
積算回路40は、エリア1〜16の各々エリア内の12画素の映像信号データを積分し、ラッチする。スミア検出回路62は積算回路40にラッチされたエリア13〜16の積分後のスミア評価データ114 を取り出して比較を行ない、スミアのある位置を特定する。この例では、図3(a) に示すようにスミアがエリア2、6、10、14 に発生しているので、所定値のデータとエリア14のスミア評価データ114 との比較においては、所定値のデータより大きいデータ値になるから、エリア14上にあるエリア2、6、10のいずれかにスミアがあると判定される。また所定値のデータとエリア13、15、16のスミア評価データ114 との比較においては、所定値のデータと同じデータ値か、あるいは小さいデータ値となるからエリア13、15、16上にあるエリアにはスミアがないと判定される。このようにしてスミアのない位置が特定される。この場合、コントラスト情報を得るエリアとして、エリア7が特定される。
【0041】
スミア検出回路62からエリア7を特定する信号を受け、またモード選択ボタン回路52から露光制御を行なわないことを示す第1モードの信号を受けている場合には、制御回路60は、積算回路40にラッチされたエリア7の積分後のAF評価データ114 を取り出して演算を行ない、AFモータ22を回転させて撮像レンズを制御する。この制御は、いわゆる山登り制御と呼ばれる制御方式であり、前述した演算動作によりAF評価データが最大値になるようにAFモータ22を制御する。なお、エリア13〜16にスミアがある場合、制御回路60が、スミア検出回路62からエリア番号を受けることができず、また、モード選択ボタン回路52から第1モードの信号を受けている場合には、第2モードの信号を受けたのと同じ合焦動作を行なうのでよい。
【0042】
また、スミア検出回路62からエリア7を特定する信号を受け、モード選択ボタン回路52から露光制御を行なうことを示す第2モードの信号を受けている場合には制御回路60はスミア検出回路62からのエリア14における積算された信号値114 とオプティカルブラックの所定値との比較による差または積算回路40からのエリア14の積算された信号値114 に基づいて、エリア2、6、10からスミアがなくなるようなAIモータ24の回転方向および量を決定し、AIモータ24を制御する。AIモータ24の制御動作が終了すると、スミア検出回路62は積算回路40からエリア14の次の積算された信号114 を取り込んで上述した比較を行なうとともに、制御回路60はその比較の差、つまりスミアがなるまでこの動作を繰り返させる。スミアがなったら制御回路60は、次に積算回路40からエリア6からAF評価データ114 を取り出し、上述したような合焦動作を行なう。なお、この場合エリア6からAF評価データを得ることにしたが、有効画素の領域内のエリアであればどこでもよい。
【0043】
本発明によれば、スミアを検出するエリアが画面300 の下のオプティカルブラック部内に設定されているために、スミア発生位置の検出精度を向上させることができる。これにより、スミアの発生していないエリアを画面300 の有効画素部内から特定し、この特定されたエリアのコントラスト情報を用いて合焦動作を行なうため、合焦精度を向上させることができる。またスミアが発生した場合、露光制御を行なって画面300 内からスミアをなくした後、有効画素部内の所定のエリアのコントラスト情報を用いて合焦動作を行なうため、合焦精度を向上させることができる。
【0044】
なお、本実施例においては、本発明による自動焦点調節装置は固体撮像素子を使用したディジタル電子スチルカメラに適用したが、スチルカメラだけでなく固体センサを使用した、たとえばビデオカメラなどの撮影装置に応用することができる。
【0045】
【発明の効果】
本発明の自動焦点調節装置よれば、撮像素子にて得られる映像信号が表わす画面は有効画素からなる複数の領域とオプティカルブラック画素からなる複数の領域から構成され、撮像素子から出力される映像信号から画素毎の緑色の信号を表わすG信号または輝度信号を得て出力するか、あるいはこの得られた信号から高域周波数成分の信号を得て出力する信号処理手段と、有効画素およびオプティカルブラック画素からなる各々複数の領域の信号処理手段から送られてくるG信号または輝度信号またはG信号、輝度信号の高域周波数成分の信号に基づいて積算値を算出する積算手段と、オプティカルブラック画素からなる複数の領域の積算値に基づいて有効画素からなる複数の領域のスミアの有無領域を決定するスミア検出手段と、スミア検出手段により決定された有効画素からなる複数の領域の中のスミアのないいずれかの領域の積算手段から送られてくる積算値に基づいて合焦状態を判定して撮像レンズの移動方向を決定し、この決定に従って撮像レンズを駆動して移動させる制御手段とを備えている。このように、オプティカルブラック画素からなる複数の領域を用いてスミア発生位置を求め、これにより、有効画素からなる複数の領域の中からスミアのない領域を求め、その領域でのコントラスト値(積算値)を用いて合焦動作を行なっているので、合焦精度を向上させることができる。
【0046】
また、本発明によれば、制御手段はさらに、スミア検出手段においてスミアがあると決定された場合に、絞りの露光量を減じる方向に駆動して移動させる露光制御手段を含み、制御手段は、露光制御手段の制御によりスミア検出手段においてスミアがないと決定された場合に、有効画素からなる複数の領域の中のいずれかの領域の積算手段から送られてくる積算値に基づいて合焦状態を判定して撮像レンズの移動方向を決定し、この決定に従って撮像レンズを駆動して移動させることができる。このように、露光制御によりスミアをなくした後に、有効画素からなるある領域でのコントラスト値を用いて合焦動作を行なっているので合焦精度を一層向上させることができる。
【図面の簡単な説明】
【図1】本発明の一実施例に係る自動焦点調節装置を有するディジタル電子スチルカメラの機能ブロック図である。
【図2】図1に示した自動焦点調節装置に含まれる積算回路のブロック図である。
【図3】図1に示した自動焦点調節装置がスミアおよびコントラストを評価する際の評価の対象とするエリアの配置図と、スミアが発生した場合のスミア評価エリアのある走査線から得られる映像信号の説明図である。
【図4】図1に示したカメラに含まれる撮像デバイスから得られる一例の画素の配置を示す図である。
【符号の説明】
10 撮像部
22 自動焦点調節装置
30 信号処理回路
32 バンドパスフィルタ(BPF)
34 絶対値検波回路
36 アナログ・ディジタル(A/D) 変換器
40 積算回路
50 同期信号発生回路
52 モード選択ボタン回路
60 制御回路
62 スミア検出回路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an automatic focusing device, and more particularly to an automatic focusing device suitable for use in cameras such as video cameras and still cameras and scanners such as film scanners.
[0002]
[Prior art]
2. Description of the Related Art In recent years, video cameras and still cameras that record a video signal obtained by imaging a subject image incident through an imaging lens with a solid-state imaging device such as a CCD (charge coupled device) on a magnetic tape or an IC memory card are known. ing. This type of equipment is equipped with an automatic focus adjustment device that adjusts the focus position of an imaging lens to automatically focus a subject image on an imaging surface of a solid-state imaging device, a so-called autofocus (A / F) device. I have.
[0003]
As this type of autofocus device, there is known a contrast detection method for detecting sharpness of a subject image and performing focusing so that the contrast representing the sharpness is maximized. In this contrast detection method, a contrast evaluation value is calculated from a high-frequency component representing a contrast of a luminance signal in a focus area (A / F window) provided substantially at the center of an imaging screen, and the contrast evaluation value is maximized. The imaging lens is moved.
[0004]
[Problems to be solved by the invention]
However, when strong light (high luminance) enters the solid-state imaging device, smear appears. In the conventional contrast detection method using the solid-state imaging device, for example, when high brightness exists in the focus area of the imaging screen or on the focus area, the smear component due to the high brightness calculates the contrast evaluation value. , And as a result, there is a problem that the accuracy of the focus adjustment is reduced.
[0005]
SUMMARY OF THE INVENTION It is an object of the present invention to eliminate the disadvantages of the prior art and to provide an automatic focusing apparatus which is not affected by smear.
[0006]
[Means for Solving the Problems]
SUMMARY OF THE INVENTION In order to solve the above-described problems, the present invention provides an automatic focusing device that performs a focusing operation on a subject image incident on an imaging device via an imaging lens and a diaphragm. The screen represented by the signal is composed of a plurality of regions composed of effective pixels and a plurality of regions composed of optical black pixels, and obtains a G signal or a luminance signal representing a green signal for each pixel from a video signal output from the image sensor. A signal processing means for outputting or obtaining a signal of a high frequency component from the obtained signal, and a G signal sent from a signal processing means for each of a plurality of regions consisting of effective pixels and optical black pixels An integrating means for calculating an integrated value based on a luminance signal or a G signal and a signal of a high frequency component of the luminance signal; and an optical black pixel Smear detection means for determining the presence / absence area of smear in a plurality of areas composed of effective pixels based on the integrated value of the plurality of areas composed of a plurality of areas, and smear in the plurality of areas composed of effective pixels determined by the smear detection means. Control means for determining the direction of movement of the imaging lens by determining the in-focus state based on the integrated value sent from the integration means in any one of the regions, and driving and moving the imaging lens according to the determination. It is characterized by the following.
[0007]
The control means of the automatic focusing apparatus further includes an exposure control means for driving and moving the aperture in a direction of decreasing the exposure amount when the smear detection means determines that there is smear, the control means comprising: When the smear detection means determines that there is no smear under the control of the means, the in-focus state is determined based on the integrated value sent from the integration means in any one of a plurality of areas composed of effective pixels. Then, the moving direction of the imaging lens is determined, and the imaging lens is driven and moved in accordance with the determination.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, an embodiment of an automatic focusing apparatus according to the present invention will be described in detail with reference to the accompanying drawings.
[0009]
FIG. 1 shows an embodiment in which the automatic focusing apparatus of the present invention is applied to a digital electronic still camera. Referring to FIG. 1, the digital electronic still camera includes an
[0010]
This digital electronic still camera uses a
[0011]
Further, this camera specifies the smear position as described above, and generates an exposure control signal to adjust the exposure of the
[0012]
In this embodiment, as shown in FIG. 3A, one screen (one frame) 300 photographed by this camera has one block (area or window) composed of four pixels in the vertical direction and four pixels in the horizontal direction. The pixel is composed of a total of 16 pixels, this block is composed of a total of 16 blocks of 4 blocks in the vertical direction and 4 blocks in the horizontal direction, and the area of the upper three blocks of this one
[0013]
Returning to FIG. 1, the
[0014]
Actually, as shown in FIG. 4, this
[0015]
The
[0016]
The R, G, B signals or the RY, Y, BY signals output from the
[0017]
The
[0018]
The A /
[0019]
A switch circuit (not shown) controlled by the
[0020]
The integrating
[0021]
The
[0022]
The horizontal integration register 42 temporarily stores the signal input from the
[0023]
The
[0024]
The
[0025]
More specifically, first, the addition signal of the first stage of the area 1 shown in FIG. 3A is sent from the
[0026]
The transfer registers 45a, 45b, 45c and 45d temporarily store the signals input from the
[0027]
The
[0028]
The
[0029]
Returning to FIG. 1, the synchronization
[0030]
The automatic focusing
[0031]
The
[0032]
The
[0033]
The
[0034]
Further, in this embodiment, the
[0035]
If it is determined that there is smear, the
[0036]
In the case where the signal of the first mode is received from the mode
[0037]
When a signal specifying area 7 is received from
[0038]
The focusing operation of the automatic focusing device shown in FIG. 1 will be described with reference to FIGS.
[0039]
When a photographer inputs a photographing start instruction from input means (not shown) such as a photographing input switch and starts a photographing operation, first, signal processing of the first frame output from the photographing
[0040]
The integrating
[0041]
If a signal for specifying the area 7 is received from the
[0042]
When a signal specifying area 7 is received from
[0043]
According to the present invention, since the area for detecting smear is set in the optical black portion below the
[0044]
In the present embodiment, the automatic focusing apparatus according to the present invention is applied to a digital electronic still camera using a solid-state imaging device. However, not only a still camera but also a solid-state sensor is used, for example, an imaging device such as a video camera. Can be applied.
[0045]
【The invention's effect】
According to the automatic focusing apparatus of the present invention, the screen represented by the video signal obtained by the image sensor is composed of a plurality of regions composed of effective pixels and a plurality of regions composed of optical black pixels, and the video signal output from the image sensor A signal processing means for obtaining and outputting a G signal or a luminance signal representing a green signal for each pixel from the pixel, or obtaining and outputting a signal of a high frequency component from the obtained signal; and an effective pixel and an optical black pixel. And an optical black pixel which calculates an integrated value based on a G signal or a luminance signal or a G signal and a signal of a high frequency component of the luminance signal transmitted from the signal processing means in each of a plurality of regions. A smear detection means for determining a smear presence / absence area of a plurality of areas composed of effective pixels based on an integrated value of the plurality of areas; The focus state is determined based on the integrated value sent from the integrating means of any of the areas having no smear in the plurality of areas composed of the effective pixels determined by the means, and the moving direction of the imaging lens is determined. Control means for driving and moving the imaging lens in accordance with the determination. As described above, the smear occurrence position is obtained by using a plurality of regions consisting of optical black pixels, and thereby, a region free of smear is found from the plurality of regions consisting of effective pixels, and the contrast value (integrated value) in that region is obtained. ), The focusing operation can be performed, so that the focusing accuracy can be improved.
[0046]
Further, according to the present invention, the control means further includes an exposure control means for driving and moving in a direction to reduce the exposure amount of the aperture when it is determined that smear is present in the smear detection means, and the control means includes: When the smear detecting means determines that there is no smear under the control of the exposure control means, the focusing state is determined based on the integrated value sent from the integrating means in any one of a plurality of areas composed of effective pixels. Is determined to determine the moving direction of the imaging lens, and the imaging lens can be driven and moved in accordance with the determination. As described above, after the smear is eliminated by the exposure control, the focusing operation is performed by using the contrast value in a certain area composed of the effective pixels, so that the focusing accuracy can be further improved.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of a digital electronic still camera having an automatic focusing apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram of an integrating circuit included in the automatic focusing apparatus shown in FIG.
FIG. 3 is a layout diagram of an area to be evaluated when the automatic focusing apparatus shown in FIG. 1 evaluates smear and contrast, and an image obtained from a scanning line having a smear evaluation area when smear occurs. FIG. 4 is an explanatory diagram of a signal.
FIG. 4 is a diagram showing an example of an arrangement of pixels obtained from an imaging device included in the camera shown in FIG. 1;
[Explanation of symbols]
10 Imaging unit
22 Automatic focus adjustment device
30 signal processing circuit
32 band pass filter (BPF)
34 Absolute value detection circuit
36 Analog-to-digital (A / D) converter
40 integrating circuit
50 Synchronous signal generation circuit
52 Mode selection button circuit
60 control circuit
62 Smear detection circuit
Claims (4)
前記撮像素子にて得られる映像信号が表わす画面は有効画素からなる複数の領域とオプティカルブラック画素からなる複数の領域から構成され、
該撮像素子から出力される映像信号から画素毎の緑色の信号を表わすG信号または輝度信号を得て出力するか、あるいは該得られた信号から高域周波数成分の信号を得て出力する信号処理手段と、
前記有効画素およびオプティカルブラック画素からなる各々複数の領域の該信号処理手段から送られてくるG信号または輝度信号またはG信号、輝度信号の高域周波数成分の信号に基づいて積算値を算出する積算手段と、
前記オプティカルブラック画素からなる複数の領域の積算値に基づいて前記有効画素からなる複数の領域のスミアの有無領域を決定するスミア検出手段と、
該スミア検出手段により決定された前記有効画素からなる複数の領域の中のスミアのないいずれかの領域の前記積算手段から送られてくる積算値に基づいて合焦状態を判定して前記撮像レンズの移動方向を決定し、該決定に従って該撮像レンズを駆動して移動させる制御手段とを備えることを特徴とする自動焦点調節装置。In an automatic focusing device that performs a focusing operation of a subject image incident on an imaging device via an imaging lens and an aperture, the device includes:
The screen represented by the video signal obtained by the image sensor is composed of a plurality of regions composed of effective pixels and a plurality of regions composed of optical black pixels,
A signal processing for obtaining and outputting a G signal or a luminance signal representing a green signal for each pixel from a video signal output from the image sensor, or obtaining and outputting a high frequency component signal from the obtained signal Means,
Integration for calculating an integrated value based on a G signal or a luminance signal or a G signal or a signal of a high-frequency component of the luminance signal transmitted from the signal processing unit in each of a plurality of regions including the effective pixel and the optical black pixel. Means,
Smear detection means for determining the presence or absence of smear in the plurality of regions composed of the effective pixels based on the integrated value of the plurality of regions composed of the optical black pixels,
The imaging lens is determined by determining a focus state based on an integrated value sent from the integrating means in any of the areas having no smear among the plurality of areas including the effective pixels determined by the smear detecting means. Control means for determining a moving direction of the image pickup lens, and driving and moving the imaging lens according to the determination.
前記制御手段はさらに、前記スミア検出手段においてスミアがあると決定された場合に、前記絞りの露光量を減じる方向に駆動して移動させる露光制御手段を含み、
前記制御手段は、該露光制御手段の制御により前記スミア検出手段においてスミアがないと決定された場合に、前記有効画素からなる複数の領域の中のいずれかの領域の前記積算手段から送られてくる積算値に基づいて合焦状態を判定して前記撮像レンズの移動方向を決定し、該決定に従って該撮像レンズを駆動して移動させることを特徴とする自動焦点調節装置。The automatic focusing device according to claim 1,
The control means further includes an exposure control means for driving and moving in a direction to reduce the exposure amount of the aperture when it is determined that there is smear in the smear detection means,
The control means, when it is determined by the control of the exposure control means that there is no smear in the smear detection means, sent from the accumulation means of any one of a plurality of areas composed of the effective pixels An automatic focus adjustment device characterized in that a focusing state is determined based on an integrated value to determine a moving direction of the imaging lens, and the imaging lens is driven and moved in accordance with the determination.
前記積算手段は、前記有効画素およびオプティカルブラック画素からなる各々複数の領域の各々水平方向の1ライン毎の画素の前記信号処理手段からのG信号または輝度信号またはG信号、輝度信号の高域周波数成分の信号を積算して積算値を得る水平積算手段と、
該水平積算手段からの各々複数の領域の水平方向の1ライン毎の積算値を積算して該各々複数の領域の積算値を得る垂直積算手段とを備えることを特徴とする自動焦点調節装置。In the automatic focusing device according to claim 1 or 2,
The integrating means includes a G signal or a luminance signal or a G signal or a high frequency of a G signal or a luminance signal from the signal processing means of a pixel for each horizontal line in each of a plurality of regions each including the effective pixel and the optical black pixel Horizontal integrating means for integrating the component signals to obtain an integrated value;
Vertical focus means for integrating the integrated value of each of the plurality of areas from the horizontal integrating means for each horizontal line to obtain the integrated value of each of the plurality of areas.
前記スミア検出手段は、前記オプティカルブラック画素の所定値を表わす信号を記憶する記憶手段と、
該記憶手段からの所定値を表わす信号と前記積算手段から送られてくるオプティカルブラック画素からなる複数の領域のいずれかの積算値を表す信号とを比較する比較手段とを備えることを特徴とする自動焦点調節装置。The automatic focusing apparatus according to any one of claims 1 to 3,
The smear detection means, storage means for storing a signal representing a predetermined value of the optical black pixel,
A comparing means for comparing a signal representing the predetermined value from the storage means with a signal representing an integrated value of any of a plurality of regions composed of optical black pixels sent from the integrating means. Automatic focusing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27091295A JP3563508B2 (en) | 1995-10-19 | 1995-10-19 | Automatic focusing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27091295A JP3563508B2 (en) | 1995-10-19 | 1995-10-19 | Automatic focusing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09116805A JPH09116805A (en) | 1997-05-02 |
JP3563508B2 true JP3563508B2 (en) | 2004-09-08 |
Family
ID=17492726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27091295A Expired - Fee Related JP3563508B2 (en) | 1995-10-19 | 1995-10-19 | Automatic focusing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3563508B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007220009A (en) * | 2006-02-20 | 2007-08-30 | Seiko Epson Corp | Image determination device and image determination method |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6373481B1 (en) * | 1999-08-25 | 2002-04-16 | Intel Corporation | Method and apparatus for automatic focusing in an image capture system using symmetric FIR filters |
JP4672933B2 (en) * | 2001-09-18 | 2011-04-20 | キヤノン株式会社 | Imaging device |
JP3532896B2 (en) * | 2001-12-05 | 2004-05-31 | 三菱電機株式会社 | Smear detection method and image processing apparatus using the smear detection method |
JP2010092027A (en) * | 2008-09-09 | 2010-04-22 | Panasonic Corp | Imaging apparatus |
-
1995
- 1995-10-19 JP JP27091295A patent/JP3563508B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007220009A (en) * | 2006-02-20 | 2007-08-30 | Seiko Epson Corp | Image determination device and image determination method |
JP4513764B2 (en) * | 2006-02-20 | 2010-07-28 | セイコーエプソン株式会社 | Image determination apparatus and image determination method |
Also Published As
Publication number | Publication date |
---|---|
JPH09116805A (en) | 1997-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3980782B2 (en) | Imaging control apparatus and imaging control method | |
JP4008778B2 (en) | Imaging device | |
US6661451B1 (en) | Image pickup apparatus capable of performing both a still image process and a dynamic image process | |
US8314864B2 (en) | Digital camera comprising smear removal function | |
EP0399232B1 (en) | Camera apparatus capable of freely setting objective area within viewed subject | |
US20080211902A1 (en) | Imaging device | |
JP2002354498A (en) | Electronic camera | |
US7626619B2 (en) | Digital camera | |
JP2000032303A (en) | Image pickup device | |
JP4487342B2 (en) | Digital camera | |
US6657668B1 (en) | Method, system, and computer readable medium for controlling automatic focusing of a digital camera | |
JPH11215426A (en) | Automatic focusing system | |
JPH11239291A (en) | Image pickup controller and image pickup control method | |
EP0393710B1 (en) | Camera apparatus including automatic exposure control | |
US7256832B2 (en) | CCD camera forming a still image by adding offset values to the odd and even fields and method for controlling the same | |
JP2000155257A (en) | Method and device for autofocusing | |
JP3563508B2 (en) | Automatic focusing device | |
JP2004007133A (en) | Image pickup device | |
JP4046276B2 (en) | Digital camera | |
JP4871664B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP3943610B2 (en) | Camera and lens unit | |
JPH07123421A (en) | Image pickup device | |
JP2632110B2 (en) | Video camera | |
JP3397384B2 (en) | Imaging device | |
JP2006253970A (en) | Imaging apparatus, shading correction data generating method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040603 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080611 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080611 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |