[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4173457B2 - 撮影装置及びその制御方法 - Google Patents

撮影装置及びその制御方法 Download PDF

Info

Publication number
JP4173457B2
JP4173457B2 JP2004071516A JP2004071516A JP4173457B2 JP 4173457 B2 JP4173457 B2 JP 4173457B2 JP 2004071516 A JP2004071516 A JP 2004071516A JP 2004071516 A JP2004071516 A JP 2004071516A JP 4173457 B2 JP4173457 B2 JP 4173457B2
Authority
JP
Japan
Prior art keywords
image
shooting
electronic shutter
aperture
release button
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004071516A
Other languages
English (en)
Other versions
JP2005260733A (ja
Inventor
晃治 古林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2004071516A priority Critical patent/JP4173457B2/ja
Priority to US11/075,937 priority patent/US7733414B2/en
Publication of JP2005260733A publication Critical patent/JP2005260733A/ja
Application granted granted Critical
Publication of JP4173457B2 publication Critical patent/JP4173457B2/ja
Priority to US12/333,021 priority patent/US7903169B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、撮影装置及びその制御方法に関するものである。
CCDイメージセンサ等のイメージセンサで被写体を撮影するデジタルカメラが広く普及している。デジタルカメラは、イメージセンサで動画撮影を行い、その動画をビューファインダとしてのLCD(液晶ディスプレイ)にスルー画として表示し、レリーズボタンの押圧に応答して静止画の撮影を行い、得られる画像データをメモリカード等の記録媒体に記録する。また、デジタルカメラには、動画の画像データを記録するようにしたものもある。
このようなデジタルカメラでは、一般に動画の記録・再生に合わせて、1秒間に30フレーム、すなわちフレームレート(撮影周期)を30Hzとしてイメージセンサでの露光・読出しを行っている。また、日本国内には商用電源の周波数が60Hzと50Hzとがある。この商用電源を用いて蛍光灯を点灯した場合、60Hzの商用電源では1秒間に120回、50Hzの商用電源では1秒間に100回の点滅をする。このような周期的に点滅する蛍光灯下でデジタルカメラで撮影を行った場合、商用電源が50Hzの場合には、イメージセンサのフレームレートと蛍光灯の点滅周期とが公倍数の関係にならないため、撮影毎の明るさが変化し、撮影された明るさが変化するいわゆるフリッカが発生する。
上記のようなフリッカの発生を防止するために、デジタルカメラでは、光源が蛍光灯となるような低輝度の被写体を動画撮影する場合では、絞りを調節することで適正露出が得られるようにして、イメージセンサの電荷蓄積時間、すなわち電子シャッタのシャッタ速度(以下、電子シャッタ速度という)を1/50秒または1/100秒を可能な限り用い、50Hzの商用電源で点灯されている蛍光灯下でもフリッカが発生しないようにしている。
また、デジタルカメラは、レリーズボタンが押圧操作されていないときには、前述のようにイメージセンサで動画撮影を行い、撮影中の被写体画像をLCDにスルー画として表示する。撮影者は、そのスルー画を観察してフレーミングを決定してから、レリーズボタンを押圧して撮影を行う。この操作でレリーズボタンが半押しとなると、静止画を撮影するための撮影絞りや電子シャッタ速度を決めるためのAE処理や、その時点の被写体画像に撮影レンズのピント位置合わせを行うためのAF処理を行う。AE処理,AF処理が完了すると、再びイメージセンサで動画撮影を行い、LCDにスルー画を表示する。
レリーズボタンが全押しとされると、その時点で撮影されていた1フレーム分の被写体画像を静止画として表示するフリーズ設定を行ってから、先にAE処理で決定された絞りへの絞り切り替え動作を行い、続いてイメージセンサを静止画撮影用のタイミング及び電子シャッタ速度で駆動するための設定やメカニカルシャッタ装置の作動タイミングの設定をタイミングジェネレータに行う準備動作が行われる。そして、この準備動作の完了後に静止画撮影のための露光がイメージセンサで行われる。
また、デジタルカメラでは、レリーズボタンが全押しとされた際に、イメージセンサを駆動する各種駆動信号を出力するタイミングジェネレータに動作タイミングの基準となる垂直同期信号の周波数を高くする設定を行うものもある。タイミングジェネレータは、それに設定されたイメージセンサなどの駆動タイミングを決めるパラメータが設定(ロード)されると、その設定完了後の垂直同期信号の発生時点でパラメータ内容有効にし、設定完了後のフレーム期間からパラメータに基づいてイメージセンサ等を駆動する。このため、上記のように垂直同期信号の周波数を高くすることで、設定完了後の遅延を小さくして静止画の露光をイメージセンサで行うようにしている。
上記のようにレリーズボタンの全押しに応答して、各種の処理が行われるため、デジタルカメラでは、レリーズタイムラグが大きいという問題があった。レリーズタイムラグを小さくする技術として、1フレームの静止画を撮影を行う際に露光開始の始めに電子シャッタパルスを与え、その後に電荷の蓄積を行うところを、外部からのトリガ信号に同期して電荷の蓄積を開始させるようにタイミングジェンレータでイメージセンサの駆動を制御するものが特許文献1によって知られている。
特開平2−185173号公報
レリーズタイムラグを大きくする要因としてレリーズボタンが全押しとなった時点で絞り切り替えの動作がある。このためレリーズボタンを全押しとなる前に、静止画撮影用の絞りを用いて動画撮影を行うと、被写体輝度の変化に応じてシャッタ速度を変化させなくてはならず、フリッカの発生を防止できる前述のような電子シャッタ速度を維持することができなくなってしまうという問題が発生する。
また、レリーズタイムラグを改善する点で特許文献1に記載された手法は有効であるが、特別なタイミングジェネレータが必要であり、一般的なタイミングジェネレータでは実現困難であった。
さらに、これまでのデジタルカメラでは、タイミングジェネレータへの設定内容の有効化が垂直同期信号に同期するため、この同期に起因して実際の静止画の露光となるまでに遅延が発生する。上記のように垂直同期信号の周波数を高める設定を行うことで、レリーズタイムラグの要因の1つであるその遅延を低減することもできるが、設定可能な垂直同期信号の周波数にも限界があり、十分な効果が得られなかった。
本発明は、上記問題点を考慮してなされたもので、特別なタイミングジェネレータを用いずに、効果的にタイムラグを低減することができる撮影装置及びその制御方法を提供するものである。
上記目的を達成するために、請求項1記載の撮影装置では、レリーズボタンの押圧解除状態では、フリッカの発生を防止する電子シャッタ速度が低輝度域で用いられる第1のプログラム線図に基づいて、被写体輝度に対して決まる電子シャッタ速度,絞り及び撮影感度を設定し、レリーズボタンの半押し維持状態では、前記レリーズボタンの半押し操作に応答して決定される静止画撮影用の絞りに設定し、絞り優先式の第2のプログラム線図に前記静止画撮影用の絞りを適用し、被写体輝度に対して決まる電子シャッタ速度及び撮影感度を設定する露出制御手段と、イメージセンサの撮影フレームレートとして、前記押圧解除状態では、第1のフレームレートを設定し、前記半押し維持状態では、フリッカの発生を防止する第2のフレームレートを設定するフレームレート設定手段とを備えたものである。
請求項2記載の撮影装置では、第2のプログラム線図が対応する被写体輝度の低輝度限界を第1のプログラム線図の低輝度限界と一致させたものである。
請求項3記載の撮影装置では、設定される内容に基づいてイメージセンサを駆動するとともに、イメージセンサの駆動に同期した垂直同期信号を発生するタイミングジェネレータと、垂直同期信号に対するレリーズボタンの全押しのタイミングに基づいて、前記タイミングジェネレータに対する静止画撮影用の設定タイミングをレリーズボタンの全押し直後とレリーズボタンの全押しの次の垂直同期信号の発生時点とのいずれかとするタイミング制御手段を備えたものである。
請求項記載の撮影装置の制御方法では、レリーズボタンの押圧解除状態では、フリッカの発生を防止する電子シャッタ速度が低輝度域で用いられる第1のプログラム線図に基づいて、被写体輝度に対して決まるイメージセンサの電子シャッタ速度,絞り及び撮影感度を設定して動画撮影を行い、レリーズボタンの半押し維持状態では、レリーズボタンの半押し操作に応答して決定される静止画撮影用の絞りと、この静止画撮影用の絞りを絞り優先式の第2のプログラム線図に適用し、被写体輝度に対して決まる電子シャッタ速度及び撮影感度と、フリッカの発生を防止するフレームレートとを用いて動画撮影を行うものである。
本発明によれば、レリーズボタンの半押し維持状態では、静止画撮影用の絞りと、絞り優先式の第2のプログラム線図に静止画撮影用の絞りを適用して決定される被写体輝度に対する電子シャッタ速度及び撮影感度と、フリッカの発生を防止する第2のフレームレートとを用いて動画撮影を行うから、レリーズボタンの全押しに応答して絞りを切り替えない分だけレリーズタイムラグが低減されるとともに、レリーズボタンの半押し維持状態においてシャッタ速度を変化させてもフリッカが発生することはなく、露出の調節が比較的に自由に行うことができる。
本発明を実施したデジタルカメラの正面を図1に、背面を図2にそれぞれ示す。デジタルカメラのカメラ本体2の前面には、ズームタイプの撮影レンズ3,レリーズボタン4,ストロボ発光部5が、また背面には、各種操作ボタン7a,カーソルキー7bからなる操作部7と、LCD9とが設けられている。
レリーズボタン4は、半押しと、この半押しからさらに押し込んだ全押しとに押圧操作可能となっている。撮影モード下でレリーズボタン4を押圧操作していないときには、撮影レンズ3の奧に配されたCCDイメージセンサ10(図3参照)によって、被写体画像の動画撮影が行われ、その撮影された被写体画像がいわゆるスルー画としてLCD9に表示される。
レリーズボタン4が半押しとなると、静止画撮影用のシャッタ速度,撮影絞り,撮影感度を決定するAE処理,被写体に撮影レンズ3のピントを合致させるAF処理、撮影絞りへの絞り切替処理、CCDイメージセンサ10の露光モードを変更する処理等からなる第1準備処理が行われる。レリーズボタン4の半押しを維持している間では、レリーズボタン4を押圧操作していないときと同様に、動画撮影が行われ、スルー画がLCD9に表示される。
レリーズボタン4が全押しされると、先に半押しに応答して決定された静止画撮影用のシャッタ速度,撮影感度を設定するための設定処理,CCDイメージセンサ10の動作を静止画撮影用の露光モードに変更する処理等からなる第2準備処理を行った後に、CCDイメージセンサによる静止画露光が行われる。この静止画露光で得られる静止画は、画像データに変換されて着脱自在にされたメモリカード11(図3参照)に記録される。
ストロボ発光部5は、主要被写体の被写体輝度が所定レベル以下のときに、静止画撮影の際にストロボ光を被写体に向けて照射する。操作部7を操作することにより、電源のオン・オフ,撮影モードと再生モードの選択,撮影モード下での静止画を記録する静止画撮影モードと動画を記録する動画撮影モードの選択,撮影レンズ3のズーミング,再生画像の選択等を行うことができる。LCD9は、前述のようにスルー画の表示を行う電子ビューファインダとして機能するとともに、画像の再生等に使用される。
図3に上記デジタルカメラの構成を示す。操作部7は、それを構成する操作ボタン7a,カーソルキー7bの操作に応じた操作信号をCPU15に送る。スイッチ部16は、レリーズボタン4の押圧に連動してオン・オフするレリーズスイッチS1,レリーズスイッチS2からなる。レリーズスイッチS1は、レリーズボタン4が半押しとされるとオンとなり、レリーズスイッチS2はレリーズボタン4が全押しとされるとオンとなる。レリーズスイッチS1,S2のオン・オフはCPU15に送られる。このレリーズスイッチS2のオンが静止画を撮影するためのレリーズ信号となる。
CPU15は、操作部7,スイッチ部16からの各種信号に基づいて各部を制御する。CPU15には、ROM15a,RAM15bが接続されている。ROM15aには、各種シーケンスを実行するためのプログラムやシャッタ速度,絞り、撮影感度(ゲイン)の組み合せを決定するための各種プログラム線図に相当するプログラム等が書き込まれており、このプログラムにしたがってCPU15は各部を制御する。RAM15bは、撮影シーケンスなどを実行する際に必要なデータを一時的に記憶するワークメモリとして利用される。
撮影レンズ3には、ズーム機構21,フォーカス機構22,絞り装置23,メカニカルシャッタ装置24が組み込まれている。ズーム機構21は、操作部7のズーム操作に応答して、撮影レンズ3を構成するレンズを移動することでズーミングを行う。フォーカス機構22は、フォーカスレンズ22aを移動することでピント合せを行う。このフォーカス機構22によるピント合せは、撮影モード下でレリーズボタン4の押圧を解除しているときには被写体距離の変化に追従するように常に行われ、レリーズボタン4が半押しされると、その半押し時点の被写体にピントが合致した位置で固定される。
絞り装置23は、絞り(絞り開口径)を調節することで、CCDイメージセンサ10に入射する被写体光の光強度を調節する。この絞り装置23は、レリーズボタン4の押圧を解除しているときの動画撮影時では、被写体輝度の変化に応じて絞りが調節される。また、レリーズボタン4を半押しとした時点で、その半押しに応答して行われるAE処理で決定された静止画撮影用の撮影絞りに設定され、この撮影絞りがレリーズボタン4の半押しが維持されている間の動画撮影に用いられる。
上記ズーム機構21,フォーカス機構22,絞り装置23は、対応するドライバ25〜27を介してCPU15によって駆動が制御される。
メカニカルシャッタ装置24は、通常はシャッタ羽根を開いた開き状態とされており、CCDイメージセンサ10の静止画露光の完了時にシャッタ羽根を閉じた閉じ状態とされてCCDイメージセンサ10への被写体光の入射を阻止し、スメアの発生を防止する。このメカニカルシャッタ装置24は、ドライバ28を介してタイミングジェネレータ30に接続されており、このタイミングジェネレータ30からのメカシャッタ駆動信号により作動される。
なお、この例においては、メカニカルシャッタ装置24とCCDイメージセンサ10の電子シャッタ機能を併用して、静止画露光時の実質的なシャッタ速度(露光時間)を制御しているが、メカニカルシャッタ装置24を省略した構成とすることもできる。
撮影レンズ3の背後には、CCDイメージセンサ10が配されており、撮影レンズ3を透過した被写体光がCCDイメージセンサ10の受光面に入射する。CCDイメージセンサ10は、タイミングジェネレータ30からの各種駆動信号により駆動され、撮影した被写体像をアナログの撮影信号として出力する。
このCCDイメージセンサ10は、タイミングジェネレータ30からの電子シャッタパルスが入力されることにより、それまでに蓄積した電荷を掃き出して消去することで、実質的な電荷蓄積時間を調節する電子シャッタ機能を有しており、電子シャッタパルスの入力期間を調節することで電子シャッタのシャッタ速度(以下、電子シャッタ速度という)が調節される。なお、この例では、1フレームを撮影するためのフレーム期間の最初から電子シャッタパルスが入力され、フレーム期間の残りが所望とする電子シャッタ速度の時間となったときに電子シャッタパルスの入力が停止される。
CCDイメージセンサ10は、レリーズボタン4を押圧していないときには第1動画露光モードで駆動され、レリーズボタン4が半押しに維持されているときには第2動画露光モードで駆動される。また、静止画撮影時には、静止画露光モードで駆動される。
第1動画露光モードは、フレーム期間毎に1フレーム分の被写体画像の露光を行うとともに、その露光中に前回のフレーム期間に蓄積された電荷を読み出して撮影信号として出力する。この第1動画露光モードは、一般的な動画の再生及び動画を記録する際のフレームレートに対応させて、CCDイメージセンサ10の撮影フレームレートを30Hz(30フレーム/秒)として動画撮影を行う。第1動画露光モードは、動画撮影モード下での動画撮影にも用いられる。
第2動画露光モードは、第1動画露光モードと同様に、フレーム期間毎に1フレーム分の被写体画像の露光を行うとともに、その露光中に前回のフレーム期間での露光の撮影信号を出力する。この第2動画露光モードは、レリーズボタン4の半押しが維持されている間の動画撮影に用いられる。第2動画露光モードの撮影フレームレートは20Hz(20フレーム/秒)とされており、この撮影フレームレートによって商業電源で駆動される蛍光灯の点滅に起因するフリッカの発生を防止し、電子シャッタ速度が制限されないようにするとともに、電子シャッタ速度の最低速度を1/20秒まで低速化できるようにして、レリーズボタン4の半押しが維持されている間の撮影絞りの使用を可能にしている。
静止画露光モードは、レリーズボタン4の全押しに応答して静止画の露光・記録を行うためのモードである。この静止画露光モードでは、1フレーム分の静止画露光を行ってから露光動作を停止させ、その後に静止画露光で蓄積された電荷を読み出して撮影信号として出力する動作を行うモードである。
なお、第1,第2動画露光モードでは、CCDイメージセンサ10から電荷を読み出す際に、CCDイメージセンサ10内で複数の画素、例えば4画素分の電荷を合算する画素混合を行って640×480画素に変換し、高速な読出しを行っている。
CPU15は、タイミングジェネレータ30との間でシリアル通信を行い、各種のパラメータを設定(ロード)する。例えばCCDイメージセンサ10の撮影フレームレートのパラメータ,電子シャッタ速度のパラメータ,動画撮影または静止画撮影のいずれかで作動させるかを指定するパラメータ,メカニカルシャッタ装置24の動作に関わるパラメータ等がある。
CCDイメージセンサ10を第1動画露光モードで駆動する場合には、動画撮影を指定するパラメータ,撮影フレームレートとして30Hzを指定するパラメータ,メカニカルシャッタ装置24を開き状態としておくためのパラメータ,及び電子シャッタ速度のパラメータがそれぞれ設定される。第2動画露光モードで駆動する場合には、第1動画露光モードと同様であるが、撮影フレームレートとして20Hzを指定するパラメータが設定される。これらの各動画露光モードにおける電子シャッタ速度のパラメータは、被写体輝度の変化にしたがって変更される。
静止画露光モードで駆動する場合には、静止画撮影を指定するパラメータ,静止画露光を行う撮影フレームレートを指定するパラメータ,メカニカルシャッタ装置24をフレーム期間中の所定のタイミングで閉じ状態にするためのパラメータ,電子シャッタ速度のパラメータがそれぞれ設定される。静止画撮影を指定することにより、撮影フレームレートで設定されている1周期(1/20秒)のフレーム期間に静止画露光のための駆動信号を出力して静止画露光を行うようにされるとともに、そのフレーム期間の後に電荷を読み出して撮影信号を出力するように設定される。
タイミングジェネレータ30は、撮影フレームレートと同じ周期で動作タイミングの基準となるパルス状に信号レベルが下がる撮影垂直同期信号VIを発生する。この撮影垂直同期信号VIの立ち下がりから次の立ち下がりまでが1フレーム期間となる。この撮影垂直同期信号VIはCPU15に送られる。また、タイミングジェネレータ30は、各種パラメータがCPU15から設定されると、その設定が完了後の撮影垂直同期信号VIの立ち下がり、すなわち次のフレーム期間の開始時点で、設定されたパラメータを有効化して、そのパラメータに応じた信号を出力するものが用いられている。なお、内部的な撮影垂直同期信号VIに相当するタイミングで設定されたパラメータを有効化するので、設定されたパラメータを有効化するために撮影垂直同期信号VIが外部に出力されている必要はない。
CPU15は、レリーズスイッチS2がオンとなった際には、撮影垂直同期信号VIに対するレリーズスイッチS2のオンのタイミングに基づいて、静止画撮影のためのパラメータをタイミングジェネレータ30に設定するタイミングを、レリーズスイッチS2がオンとなった直後とするか、レリーズスイッチS2がオンとなった次のフレーム期間の開始時に行うかを判断する。このようにすることで、レリーズスイッチS2のオンに応答して、レリーズスイッチS2のオンの次のフレーム期間中に静止画露光が行われるようにしてレリーズタイムラグを小さくするが、パラメータの設定が不完全なまま次のフレーム期間となって静止画露光が適正に行われなくなることを防止している。
この例では、撮影垂直同期信号VIの立ち上がりからの時間Taによっていずれのタイミングでパラメータを設定するかを決定しており、時間Taを35m秒としている。なお、時間Taは、撮影垂直同期信号VIの立ち下がりからの時間でもよく、その時間Taを適宜に変更することもできる。また、このようなパラメータの設定をレリーズスイッチS2のオンのタイミングに応じて変化させる手法は、この手法だけでも利用することができ、レリーズタイムラグを低減する効果がある。
CCDイメージセンサ10からの撮影信号は、アナログ信号処理部31に送られる。アナログ信号処理部31は、CDS回路31a,AMP回路31b,A/D変換器31cから構成されており、タイミングジェネレータ30からの同期パルスが入力されることで、CCDイメージセンサ10の電荷読み出し動作と同期して作動する。
CDS回路31aは、相関二重サンプリングを行うことによって撮影信号からノイズの除去を行なう。AMP回路31bはCPU15によって設定される撮影感度に応じたゲインで撮影信号を増幅する。A/D変換器31cは、AMP回路31bからの撮影信号をデジタル変換して画像データとして出力する。
A/D変換器31cからの画像データは、画像入力コントローラ32に送られる。画像入力コントローラ32は、バス33への画像データの入力を制御する。バス33には、CPU15,画像処理部34,圧縮処理部35,AF検出部36,AE/AWB検出部37,メディアコントローラ38,内部メモリ39,LCDドライバ40,タイマ41が接続されており、これら各部はバス33を介してCPU15に制御されるとともに、相互間でデータの授受が可能になっている。
画像処理部34は、画像データに対して、γ補正,ホワイトバランス補正等の画像処理を行う。圧縮処理部35は、画像データをメモリカード11に記録するためのデータ圧縮を行う。また、この圧縮処理部35は、再生モード下でメモリカード11から読み出した圧縮された画像データの伸長を行う。
AF検出部36は、撮影レンズ3のピント合せのために、画像入力コントローラ32から出力される画像データを用いて撮影中の画像のコントラストを検出し、そのコントラスト情報をCPU15に送る。CPU15は、コントラスト情報を参照し、撮影中の画像のコントラストが最大となるように、ドライバ26を介してフォーカス機構22を駆動する。
AE/AWB検出部37は、画像入力コントローラ32からの画像データに基づいて、撮影中の被写体画像の被写体輝度の検出と、光源の種類の検出を行い、それらの被写体輝度情報,光源情報をCPU15に送る。CPU15は、光源情報に基づいて、画像処理部34のホワイトバランスのパラメータを設定する。
また、CPU15は、被写体輝度情報に基づいて適正となる絞り,シャッタ速度,撮影感度を決定する。これら絞り,シャッタ速度,撮影感度の決定のためのプログラム(線図)としては、第1動画露光モード用の第1動画用プログラムと、第2動画露光モード用の第2動画用プログラムと、静止画露光モード用の静止画用プログラムとが予め用意されている。
第1動画露光モードでCCDイメージセンサ10を駆動する場合には、CPU15は、第1動画用プログラムに従い、被写体輝度情報に基づいて適正露出となる電子シャッタ速度と、絞りと、撮影感度とを決定し、対応する各部に設定する。この場合には、CPU15は、被写体輝度が変化する毎に、電子シャッタ速度,絞り,撮影感度を決定して再設定する。
レリーズボタン4の半押しに応答して行われる第1準備処理のAE処理では、静止画用プログラムに従い、被写体輝度情報に基づいて適正露出となる電子シャッタ速度,撮影絞り,撮影感度が決定される。これら決定された電子シャッタ速度,撮影絞り,撮影感度のうちの撮影絞りは、前述のように第1準備処理において絞り装置23に設定される。また、電子シャッタ速度,撮影感度は、レリーズボタン4が半押しとされている間はCPU15に保持されており、レリーズボタン4の全押しに応答して行われる第2準備処理で設定される。
なお、静止画露光の際には、フレーム期間の開始から一定の時間が経過した時点で閉じ状態とされるメカニカルシャッタ装置24が併用されるため、メカニカルシャッタ装置24のシャッタ効率を考慮した電子シャッタ速度が決定される。
第2動画露光モードでCCDイメージセンサ10を駆動する場合には、上記のようにAE処理で決定された静止画露光用の撮影絞りを、絞り優先式のプログラム線図である第2動画用プログラムに適用して、撮影絞りの下で、被写体輝度に対して適正露出となる電子シャッタ速度及び撮影感度が設定される。
メディアコントローラ38は、メモリカード11のデータの書き込み及び読み出しを制御する。画像データは、画像処理部34,圧縮処理部35での処理が施されてから、メディアコントローラ38に送られて、メモリカード11に書き込まれる。また、再生時には、メディアコントローラ38によってメモリカード11に記録されている画像データが読み出され、圧縮処理部35に送られ画像データの伸長が行われた後に、内部メモリ39に送られる。
内部メモリ39は、例えば高速な読み出しと書き込みが可能なSDRAMが用いられており、LCD9に表示すべき画像データ、静止画撮影で記録すべき画像データ,動画撮影モード下で得られる記録すべき画像データが書き込まれる。第1,第2動画露光モード時では、それぞれの撮影フレームレートで画像データが順次に入力される。
LCDドライバ40は、内部メモリ39から画像データを読み出し、その画像データに基づいてLCD9を駆動する。これにより、LCD9には、CCDイメージセンサ10で撮影中の被写体画像やメモリカード11から読み出された画像が表示される。このLCDドライバ40は、60Hzの再生フレームレートでLCD9を駆動する。
上記のように第1,第2動画露光モード時に、内部メモリ39に画像データが入力される撮影フレームレートと、LCDドライバ40による再生フレームレートとは異なっている。これらのフレームレートの差を吸収するために、第1,第2動画露光モード時では、図4に一例を示すように、それぞれ1フレーム分(640×480画素)の画像データを記憶可能なメモリエリアA〜Cが内部メモリ39に仮想的に設けられ、画像データの書き込みでは、メモリエリアA〜Cが1フレーム毎に切り替えられる。
他方、LCDドライバ40の画像データの読み出しでは、画像データが書き込みが完了しているメモリエリアを複数回続けて読み出した後に、読み出すメモリエリアが切り替えられる。第1動画露光モード時では、同じメモリエリアから画像データを2回ずつ読出し、第2動画露光モード時では、同じメモリエリアから画像データを3回ずつ読出す。
このように内部メモリ39に対する画像データの書き込みと再生用の読み出しを非同期で行うことによって、再生フレームレートと異なる撮影フレームレートの第1,第2動画露光モードのいずれでも適切にスルー画をLCD9に表示する。
タイマ41は、撮影垂直同期信号VIの立ち上がりからの経過時間を測定する。CPU15は、このタイマ41に計時される経過時間に基づいて、静止画撮影のための各パラメータをタイミングジェネレータ30に設定するタイミングを決める。
第1動画用プログラムのプログラム線図を図5に示す。図5(a)は、被写体輝度EVと電子シャッタ速度TVとの関係を示している。図5(b)は、被写体輝度EVと予め決められた基準撮影感度に対する感度増加量ΔSVとの関係を示しており、図5(c)は、被写体輝度EVと絞りAVとの関係を示している。
第1動画用プログラムでは、被写体輝度が高輝度域(EV12.6以上)の場合には、感度増加量ΔSVを「0」として基準撮影感度を用い、また絞りを最小絞りのAV6(F8)に維持したまま、被写体輝度に応じて電子シャッタ速度を増減する。
被写体輝度がEV12.6以下となる場合には、電子シャッタ速度としては、30Hzの撮影フレームレート下でフリッカを防止するために、TV6.6(1/100秒)またはTV5.6( 1/50秒)を用い、被写体輝度に応じて絞り及び撮影感度の増減を行い、EV7.6の被写体輝度(低輝度限界)にまで適正露出が得られるように制御される。
撮影感度は、基準撮影感度から1段高い(ΔSV=1)の範囲で連続的に、また絞りは、AV6(F8)からAV3(F2.8)の範囲で1段ずつ4段階に調節される。また、被写体輝度がEV12.6以下の場合では、被写体輝度の変化に対して、絞りの変更よりも電子シャッタ速度の変更が優先的行われ、電子シャッタ速度の変更よりも撮影感度の変更が優先的に行われるようにすることで、被写体輝度の変化に応じて絞りが頻繁に切り替わる、いわゆるハンチングが発生しないようにされている。
具体的には、電子シャッタ速度がTV6.6(1/00秒)のときに被写体輝度が低く適正露出が得られない場合では、絞りと電子シャッタ速度とを変化させずに撮影感度を増大させて対応し、感度増加量ΔSVが「1」よりも大きくなる場合には、絞りを変えずに電子シャッタ速度をTV5.6(1/50秒)として感度増加量ΔSVを調節することで対応する。電子シャッタ速度をTV5.6(1/50秒)としても感度増加量ΔSVが「1」よりも大きくなる場合には、絞りを1段下げて適正露出が得られるように感度増加量ΔSVを調節することで対応する。さらに、絞りを下げても感度増加量ΔSVが「1」よりも大きくなる場合には、感度増加量ΔSVが0〜1の範囲となるまで絞りを下げる。
逆に、電子シャッタ速度がTV5.6(1/50秒)のときに被写体輝度が高く適正露出が得られない場合では、絞りと電子シャッタ速度とを変化させずに撮影感度を減少させて対応し、感度増加量ΔSVが「0」よりも小さくなる場合には、絞りを変えずに電子シャッタ速度をTV6.6(1/100秒)として感度増加量ΔSVを調節することで対応する。電子シャッタ速度をTV6.6(1/100秒)としても感度増加量ΔSVが「0」よりも小さくなる場合には、絞りを1段上げて適正露出が得られるように感度増加量ΔSVを調節することで対応する。さらに、絞りを上げても感度増加量ΔSVが「0」よりも小さくなる場合には、感度増加量ΔSVが0〜1の範囲となるまで絞りを上げる。
図6は、第2動画用プログラムの被写体輝度に対する電子シャッタ速度と撮影感度とを決定する手順を示している。なお、図11中のEVmin は、前述の低輝度限界、EVは撮影中の被写体輝度、AVs は撮影絞り,TVは電子シャッタ速度,TVmin は第2露光モードで設定可能な最低速度の電子シャッタ速度(以下、低速限界電子シャッタ速度という)である。第2露光モードで設定可能な最低速度の電子シャッタ速度は、撮影フレームレートが20HzであるのでTV4.4(1/20秒)である。
前述のように第2動画露光モード時は、絞りとして静止画撮影で用いられる撮影絞りが使用され、その撮影絞りはレリーズボタン4の半押しに応答して静止画用プログラム(図示省略)に基づいて決定される。なお、静止画用プログラムでは、撮影絞り値は例えば1/3ステップで10段階で調節される。
被写体輝度が低輝度限界以上の場合で、基準撮影感度(ΔSV=0)と撮影絞りとの下で、被写体輝度に対して適正となる電子シャッタ速度を低速限界電子シャッタ速度と同じまたは高速にすることができるとき(EV≧EVmin ,EV−AVs ≧TVmin )には、撮影感度を基準撮影感度とするとともに、この基準撮影感度と撮影絞りの下で被写体輝度に対して適正露出となるように、電子シャッタ速度を決定する(ΔSV=0,TV=EV−AVs )。しかし、この場合で、電子シャッタ速度が低速限界電子シャッタ速度より低速となるとき(EV≧EVmin ,EV−AVs <TVmin )には、電子シャッタ速度を低速限界電子シャッタ速度とし、この低速限界電子シャッタ速度と撮影絞りとの下で適正露出が得られるように感度増加量ΔSVを決定する((TV=TVmin ,ΔSV=TVmin +AVs −EV)。
他方、被写体輝度が低輝度限界よりも低くい場合で、基準撮影感度と撮影絞りを用いて低輝度限界の被写体輝度に対して適正露出とすることができる電子シャッタ速度が低速限界電子シャッタ速度以上とすることができるとき(EV<EVmin ,EVmin −AVs ≧TVmin )には、基準撮影感度とするとともに、この基準撮影感度と撮影絞りの下で最低被写体輝度に対して適正露出となるように電子シャッタ速度を決定する(ΔSV=0,TV=EVmin −AVs )。しかし、この場合で、低速限界電子シャッタ速度よりも低速となるとき(EV<EVmin ,EVmin −AVs <TVmin )には、電子シャッタ速度を低速限界電子シャッタ速度とし、この低速限界電子シャッタ速度と撮影絞りとの下で低輝度限界の被写体輝度に対して適正露出が得られるように感度増加量ΔSVを決定する(TV=TVmin ,ΔSV=TVmin +AVs −EVmin )。
上記の手順に基づき、第2露光モード時に用いられる電子シャッタ速度と撮影感度が決定され、図7に示す第2動画用プログラム線図に従う撮影絞りと電子シャッタ速度と撮影感度とで第2動画露光モード時の動画撮影が行われる。なお、図7(a)は被写体輝度EVに対する電子シャッタ速度TVを、図7(b)は被写体輝度EVに対する基準撮影感度からの感度増加量ΔSVの関係を示している。
また、上記のように第2動画露光モード時の電子シャッタ速度と撮影感度が決定されることにより、第1,第2動画露光モード時の両モードにおける低輝度限界の被写体輝度を一致させ、露出不足として表示される被写体輝度に差をなくすことができ、撮影者にとって違和感を与えないようにすることができる。
図8(a)に第1動画露光モード時のタイミングチャートを示す。第1動画露光モード時では、撮影フレームレートが30Hzであるので、撮影垂直同期信号VIの立ち下がりから次の立ち下がりまでのフレーム期間の時間T1は1/30秒となる。電子シャッタパルスは、フレーム期間の開始時から発生され、この電子シャッタパルスの発生が停止した時点から次の撮影垂直同期信号VIの立ち下がりまでが有効な電荷蓄積時間、すなわち電子シャッタ速度となる。
1つのフレーム期間の露光で得られる1フレーム分の画像データは、次のフレーム期間でメモリエリアA〜Cのいずれかに記録される。例えば、フレーム期間F1の露光で得られる画像データは、フレーム期間F2にメモリエリアAに記録される。また、フレーム期間F2の露光で得られる画像データは、フレーム期間F3にメモリエリアBに記録され、フレーム期間F3の露光で得られる画像データは、フレーム期間F4にメモリエリアCに記録される。そして、フレーム期間F4の露光で得られる画像データは、フレーム期間F5に再びメモリエリアAに記録される。このようにして、記録されるメモリエリアが順次に切り替えられる。
一方、LCDドライバ40は、再生垂直同期信号VDに同期して、前述のように60Hzの再生フレームレートで画像データの読み出しを行う。このLCDドライバ40は、例えば、フレーム期間F2では、メモリエリアCの画像データを再生垂直同期信号VDに同期して2回読み出し、同様にフレーム期間F3では、メモリエリアAの画像データを2回読み出す。そして、フレーム期間F4でメモリエリアBから画像データを2回読み出し後には、フレーム期間F5で再びメモリエリアCから画像データを2回読み出す。このようにして、同じメモリエリアから2回ずつ読み出しながら、読み出すメモリエリアが順次に切り替えられる。
図8(b)に示すように、第2動画露光モード時では、撮影フレームレートが20Hzであるので、撮影垂直同期信号VIの立ち下がりから次の立ち下がりまでのフレーム期間の時間T2は1/20秒となる。この第2動画露光モードでも、電子シャッタパルスはフレーム期間の開始時から発生され、この電子シャッタパルスの発生が停止した時点から次の撮影垂直同期信号VIの立ち下がりまでが電子シャッタ速度となる。したがって、低速限界電子シャッタ速度は、フレーム期間と同じ長さの1/20秒となる。また、同じメモリエリアから3回ずつ読み出す点で第1動画露光モード時とは異なるが、同様にメモリエリアが順次に切り替えられて画像データの書き込みと読み出しが行われる。
図9は、レリーズスイッチS2がオンとなったときのタイミングチャートを示すものである。図9(a)に示すように、撮影垂直同期信号VIの立ち上がりから時間Ta内でレリーズスイッチS2がオンとなった場合には、そのレリーズスイッチS2がオンとなった直後に第2準備処理、すなわち静止画撮影のために、静止画露光モード,電子シャッタ速度,メカニカルシャッタ装置24の駆動タイミング等の各パラメータの設定がタイミングジェネレータ30に行われる。各パラメータが設定されたフレーム期間の次のフレーム期間で静止画撮影のためのパラメータが有効になってCCDイメージセンサ10による静止画露光が行われる。静止画露光が終了する際にメカニカルシャッタ装置24が閉じられ、この静止画露光の次のフレーム期間中にCCDイメージセンサ10の電荷の転送が行われて撮影信号が出力される。
図9(b)に示すように、撮影垂直同期信号VIの立ち上がりから時間Taが経過した後にレリーズスイッチS2がオンとなった場合には、レリーズスイッチS2がオンとなった次のフレーム期間の撮影垂直同期信号VIの立ち上がりに同期して第2準備処理が行われ、さらに次のフレーム期間に静止画露光が行われる。
次に上記構成の作用について図10及び図11を参照しながら説明する。静止画の撮影を行う場合には、デジタルカメラの電源をオンとして撮影モードを選択し、さらに静止画撮影モードを選択する。静止画撮影モードが選択されると、CPU15によって第1動画露光モードでCCDイメージセンサ10を駆動するためのパラメータがタイミングジェネレータ30に設定される。これにより、CCDイメージセンサ10は、30Hzの撮影フレームレートで駆動されるようになり、30フレーム/秒で動画の撮影が開始される。
上記のようにしてCCDイメージセンサ10が動作を開始すると、露光された被写体画像が撮影信号として出力され、CDS回路31a,AMP回路31b,A/D変換器31cを介して画像データに変換されてから、画像入力コントローラ32,バス33を介して画像処理部34,AF検出部36,AE/AWB検出部37,内部メモリ39にそれぞれ送られる。
そして、AF検出部36からは画像データに基づいたコントラスト情報がCPU15に送られ、このCPU15でフォーカス機構22が駆動されて、現在撮影中の被写体にピントが合致するように調節される。このピントの調節は、随時行われるから被写体までの撮影距離が変化しても、それに追随してピントが合わせられる。
また、AE/AWB検出部37からは被写体輝度に応じた被写体輝度情報と、光源情報とがCPU15に送られる。そして、この被写体輝度情報に示される被写体輝度が図5に示される第1動画用プログラムに適用されることで、現在撮影中の被写体に対して適正露出となる電子シャッタ速度,撮影感度,絞りがそれぞれ決定され、その電子シャッタ速度がタイミングジェネレータ30に、撮影感度がAMP回路31bに設定される。また、決定された絞りとなるようにドライバ27を介して絞り装置23がCPU15によって制御される。
このようにして、電子シャッタ速度,絞り,撮影感度が被写体輝度に応じて調節される。そして、被写体輝度が変化すれば、これに応じて電子シャッタ速度,絞り,撮影感度が第1動画用プログラムを用いて再び決定されて、各部に設定されることにより、撮影中の被写体が常に適正露出となるように調節される。
一方、光源情報に基づき光源の種類がCPU15で特定され、その光源に応じたホワイトバランス用のパラメータが画像処理部34にセットされて、画像処理部34ではそれに入力される画像データに対してホワイトバランス補正,γ補正等の画像処理が行わる。
上記のように電子シャッタ速度,絞り,撮影感度が被写体輝度に応じて調節されると、その電子シャッタ速度,絞りの下でCCDイメージセンサ10による露光が行われ、出力される撮影信号が撮影感度に応じたゲインで増幅され、得られる画像データが画像処理部34で画像処理されてから内部メモリ39にで送られる。
図8(a)に示されるように、内部メモリ39ではメモリエリアが1フレーム毎、すなわち撮影フレームレートで切り替えられて、順次に画像データが書き込まれ、一方でLCDドライバ40により、撮影フレームレートでメモリエリアを切り替えながら、再生フレームレートで同じメモリエリアから2回ずつ画像データを読み出してLCD9を駆動する。これにより、CCDイメージセンサ10で撮影中の被写体画像がスルー画で表示される。
第1動画露光モードでの駆動中に、被写体輝度がEV12. 6以下となると、第1動画用プログラムに基づいて、CPU15により1/100秒または1/50秒の電子シャッタ速度の下で適正露出が得られる撮影感度と絞りとが決定される。そして、タイミングジェネレータ30に対して電子シャッタ速度を1/100秒または1/50秒とするパラメータが設定されてCCDイメージセンサ10が1/100秒または1/50秒の電子シャッタ速度で駆動される。また、その決定された撮影感度がAMP回路31bに設定されるとともに、決定された絞りとなるように絞り装置23が制御される。このように、被写体輝度がEV12. 6以下では、電子シャッタ速度は1/100秒または1/50秒とされ、撮影感度及び絞りが調節されて、EV7.6以上の被写体輝度に対して適正露出となるようにされる。
したがって、CCDイメージセンサ10は、30Hzの撮影フレームレートで駆動されるが、その電子シャッタ速度が1/100秒または1/50秒となるので、商用電源の駆動される蛍光灯で照明された室内等で撮影しても、フリッカが発生することはなく、好ましい状態でスルー画の表示が行われる。
レリーズボタン4を半押しとすると、レリーズスイッチS1がオンとなる。このレリーズスイッチS1のオンに応答して、CPU15によって第1準備処理が行われ、まず静止画撮影のためのAE処理が行われ、被写体輝度情報から得られる被写体輝度が静止画用プログラムに適用され、静止画撮影に用いられる電子シャッタ速度,撮影絞り,撮影感度の決定が行われる。
続いて、CPU15によってAF処理が行われ、コントラス情報に基づいてフォーカスレンズ22aが駆動され撮影レンズ3のピントの再調節が行われる。この再調節されたフォーカスレンズ22aの位置は、レリーズボタン4の押圧が解除されるまで固定され、フォーカスロックの状態となる。
AE処理,AF処理が完了すると、CPU15により、撮影絞りとなるように絞り装置23が制御される。そして、この撮影絞りにレリーズボタン4の押圧が解除されるまで固定される。このように撮影絞りを設定した後に、タイミングジェネレータ30には、CCDイメージセンサ10を第2動画露光モードで駆動するためのパラメータがCPU15によって設定される。これにより、パラメータをした設定した次のフレーム期間からCCDイメージセンサ10が第2動画露光モードで駆動されて、20Hzの撮影フレームレートでの動画撮影が開始される。
また、CPU15は、第2動画露光モードのパラメータを設定した後には、撮影中の被写体に対して、その被写体輝度と撮影絞りとを用い、図6に示される手順により、すなわち図7に示される第2動画用プログラムに基づいて電子シャッタ速度と撮影感度とを設定するようになる。そして、レリーズボタン4が半押しされている状態では、このように調節される電子シャッタ速度と撮影感度と、固定された撮影絞りとの下で、CCDイメージセンサ10による動画撮影が行われ、得られる画像データが内部メモリ39に送られる。
図8(b)に示されるように、内部メモリ39には20フレーム/秒で画像データが送られ、メモリエリアが1フレーム毎に切り替えられて、順次に画像データが書き込まれる。一方でLCDドライバ40は、CPU15により同じメモリエリアを3回ずつ読み出すように設定が切り替えられることにより、同じメモリエリアから3回ずつ画像データを読み出してLCD9を駆動する。これにより、レリーズボタン4を半押しとしている間にもCCDイメージセンサ10で撮影中の被写体画像がスルー画で表示される。
このようにレリーズボタン4が半押しとされている間では、固定された撮影絞りとの下で、レリーズボタン4を押圧していないときと同じ低輝度限界の被写体まで適正露出が得られるので、撮影者に違和感を与えることがない。また、電子シャッタ速度が調節されるが、CCDイメージセンサ10の撮影フレームレートが20Hzとされているので、商用電源で駆動される蛍光灯で照明された室内等で撮影しても、フリッカが発生することはなく、好ましい状態でスルー画の表示が行われる。
レリーズボタン4を半押しからさらに押し込んで全押しとすると、レリーズスイッチS2がオンとなる。このレリーズスイッチS2がオンとなると、CPU15によって、図11に示される第2準備処理が行われる。CPU15は、レリーズスイッチS2がオンとなった瞬間にタイマ41に計時されているタイマ値を取得するとともに、LCDドライバ40にブラックアウト処理の指示を出す。取得されたタイマ値は、レリーズスイッチS2がオンとなった直前の撮影垂直同期信号VIの立ち上がりからレリーズスイッチS2がオンとなった時点までの時間になっている。
上記のブラックアウト処理は、一眼レフカメラのように撮影光の光路を切り替えるミラーが跳ね上がった時にファインダ内の画像が見えなくなる場合と同様な感覚を撮影者に与えるとともに、レリーズボタン4を全押ししたときに表示されていたスルー画と、実際に撮影された静止画とがずれることによる違和感を与えないようにするものである。ブラックアウト処理の指示を受けるとLCDドライバ40は、LCD9に強制的に黒画像を一時的に表示する。
また、CPU15によってタイマ41から取得したタイマ値と、予め設定されている時間T1(35m秒)とが比較され、タイマ値が時間T1よりも小さい場合には、図9(a)に示されるように、レリーズスイッチS2がオンとなった直後から静止画露光モードで駆動するためのパラメータと、レリーズボタン4の半押しに応答して決定された静止画露光用の電子シャッタ速度,メカニカルシャッタ装置24の駆動タイミングのためのパラメータがタイミングジェネレータ30に設定される。
他方、取得したタイマ値が時間T1以上の場合には、パラメータの設定が不完全なうちに次のフレーム期間となることを避けるために、図9(b)に示されるように、CPU15は撮影垂直同期信号VIの立ち下がりを待つ。そして、レリーズスイッチS2のオン後の撮影垂直同期信号VI立ち下りの時点で静止画露光モードで駆動するためのパラメータ,電子シャッタ速度,メカニカルシャッタ装置24の駆動タイミング等のパラメータがタイミングジェネレータ30に設定される。
いずれの場合にも各パラメータが設定された次のフレーム期間に、そのパラメータが有効になってCCDイメージセンサ10による静止画露光が行われる。そして、この静止画露光のときには、設定された電子シャッタ速度で電荷蓄積が行われ、その露光の終了の際にメカニカルシャッタ装置24が閉じ状態とされる。
上記のように静止画露光が行われた後に、CCDイメージセンサ10の電荷転送が行われて撮影信号が出力される。出力された撮影信号は、CDS回路31a,AMP回路31b,A/D変換器31cを介して画像データに変換される。このときにAMP回路31bには、レリーズボタン4の半押しに応答して決定された静止画露光用の撮影感度がレリーズボタン4の全押しに応答して設定されており、撮影信号はその撮影感度に応じたゲインで増幅されてから画像データに変換される。
以上のように静止画撮影で得られる画像データは、いったん内部メモリ39に書き込まれ、画像処理部34でホワイトバランス補正,γ補正等の画像処理が行われてから、圧縮処理部35に送られて圧縮処理される。そして、圧縮された画像データがメディアコントローラ38によってメモリカード11に記録される。
上記のように、このデジタルカメラでは、レリーズボタン4を全押ししたときには、すでに静止画撮影用の撮影絞りとされているから、レリーズボタン4の全押しに応答して素早く静止画の露光を行うことができる。
図12及び図13は、静止画撮影のためのパラメータの設定直後に、タイミングジェネレータの同期動作を再スタートさせることにより、パラメータの設定直後に静止画露光が行われるようにした例を示すものである。なお、以下に詳細を説明する他は、上記実施形態と同じであり、実質的に同じ構成部材には同じ符号を付して説明を省略する。
タイミングジェネレータ30は、前述のように、各種パラメータが設定されると、その設定の完了した次のフレーム期間(撮影垂直同期信号VIの発生時点)から設定されたパラメータを有効にして、それに応じた駆動信号を出力してCCDイメージセンサ10を駆動する。
図12に示されるように、第2準備処理では、CPU15は、ブラックアウト処理の指示をLCDドライバ40に指示した後に、タイミングジェネレータ30に対して、撮影垂直同期信号VI及びそれを基準として生成されるCCDイメージセンサ10,メカニカルシャッタ装置24等を駆動するための各種駆動信号を発生させる同期動作を停止させる。
同期動作を停止させた後に、CPU15により、CCDイメージセンサ10を静止画露光モードで駆動するためのパラメータと、レリーズボタン4の半押しに応答して決定された静止画露光用の電子シャッタ速度,メカニカルシャッタ装置24の駆動タイミングの各パラメータがタイミングジェネレータ30に設定される。また、同期動作を初期化するパラメータがタイミングジェネレータ30に設定される。さらに、レリーズボタン4の半押しに応答して決定された静止画露光用の撮影感度がAMP回路31bに設定される。
各パラメータ,撮影感度の設定が完了した後に、CPU15は、同期動作を再スタートする指示をタイミングジェネレータ30に与える。この再スタートの指示を受けてタイミングジェネレータ30が同期動作を再開するが、同期動作を初期化するためのパラメータが設定されているため、そのパラメータに基づいてタイミングジェネレータ30は、撮影垂直同期信号VIを発生させるタイミングから動作を行う。
これにより、図13に示されるように、同期動作が再スタートされた直後に撮影垂直同期信号VIが立ち下がり、そのタイミングで同期動作停止中に設定された静止画撮影用のパラメータが有効となって、静止画露光が行われる。
結果として、レリーズボタン4を撮影垂直同期信号VIに対するいずれのタイミングで全押しとしても、遅延なく静止画撮影のためのパラメータの設定が行われるとともに、その設定の完了直後に静止画露光の動作が行われるので、レリーズタイムラグを小さくできる。
図14及び図15は、期間の長さが異なる複数のフレーム期間のうちから被写体輝度に応じて決定される露光時間での電荷蓄積が可能、かつ最も期間が短いフレーム期間を選択することで、有効な電荷蓄積な開始タイミングを早めてレリーズタイムラグを小さくする例を示すものである。
この例では、静止画露光時のフレーム期間として、期間長が時間T3の長フレーム期間と、期間長が時間T3よりも短い時間T4の短フレーム期間とから選択して用いられ、各フレーム期間に対応した静止画露光用の撮影フレームレートが予め用意されている。例えば時間T3は50m秒とされ、時間T4は30m秒とされている。
メカニカルシャッタ装置24は、例えば、いずれのフレーム期間が選択された場合にも、開き位置から閉じ位置への動作時間ΔTs(この例では15m秒)を考慮して、フレーム期間の終了と同時にメカニカルシャッタ装置24が閉じ位置となるようにパラメータが予め決められており、長フレーム期間に対しては、そのフレーム期間の開始時から「T3−ΔTs」後にメカニカルシャッタ装置24に閉じ状態への動作が指示され、短フレーム期間に対しては、そのフレーム期間の開始時から「T4−ΔTs」後にメカニカルシャッタ装置24に閉じ状態への動作が指示されるように駆動タイミングのパラメータが決められている。
図14に示されるように、第2準備処理では、ブラックアウト処理をLCDドライバ40の指示と,同期動作の停止を行った後に、CPU15は、静止画撮影時の静止画露光の動作に最低必要な全露光時間と時間T4とを比較する。全露光時間は、電子シャッタパルスの入力を停止してからメカニカルシャッタ装置24が閉じ位置となるまでの時間であって、レリーズボタン4が半押しとされたときに被写体輝度に基づいて求められる電子シャッタ速度に対応して求めることができる。
全露光時間と時間T4との比較で、前者が後者以上の場合には、長フレーム期間が選択され、前者が後者未満の場合には、短フレーム期間が選択される。このようにして、被写体輝度に応じて決定される露光時間での電荷蓄積が可能、かつ最も期間が短いフレーム期間が選択される。
さらに、静止画露光のフレーム期間における電子シャッタパルスの入力を停止するタイミングがCPU15によって決定される。この決定では、上記のように選択したフレーム期間の時間(T3またはT4)と、被写体輝度に応じて決定された電子シャッタ速度に応じた露光時間との差が求められ、この差に示される時間が静止画露光のフレーム期間の開始時点から経過したときに電子シャッタパルスを停止するように電子シャッタ速度のパラメータが決定される。
上記のように選択されるフレーム期間に対応する撮影フレームレートのパラメータ、選択されたフレーム期間に対応するメカニカルシャッタ装置24の駆動タイミングのパラメータ、電子シャッタ速度のパラメータがタイミングジェネレータ30に設定される。また、同期動作を初期化するパラメータがタイミングジェネレータ30に設定されるとともに、撮影感度がAMP回路31bに設定される。そして、この後にCPU15により同期動作を再スタートする指示がタイミングジェネレータ30に与えられる。
これのように第2準備処理を行うことにより、レリーズボタン4を半押ししたときに決定されるシャッタ速度に応じた全露光時間が時間T4以上の場合には、図15(a)に示すように、時間T3の長フレーム期間で静止画露光が行われる。
一方、シャッタ速度に応じた全露光時間が時間T4未満となる場合には、図15(b)に示されるように、時間T4の短フレーム期間で静止画露光が行われ、長フレーム期間を用いて静止画露光を行った場合よりも早いタイミングでメカニカルシャッタ装置24が閉じ状態となる。そして、フレーム期間が短くなって閉じ状態となるタイミングが早くなる分だけ、電子シャッタパルスの入力停止タイミングが早められるので、結果としてレリーズタイムラグが小さくなる。
この例では、フレーム期間を長短の2種類から選択しているが、3種類以上のフレーム期間を用意しておき、これらから選択するようにしてもよい。図16は、4種類のフレーム期間から選択する場合の一例を示すものである。この場合には、全露光時間が17ms秒未満の場合には17m秒のフレーム期間が、17ms秒以上25m秒未満の場合には25m秒のフレーム期間が、25ms秒以上33m秒未満の場合には33m秒のフレーム期間が、33ms秒以上50m秒未満の場合には50m秒のフレーム期間が選択される。
図17は、静止画露光のフレーム期間中に入力される電子シャッタパルスをフレーム期間の開始時の1個とするとともに、メカニカルシャッタ装置の動作タイミングを露光時間に応じて変化させる例を示すものである。なお、電子シャッタパルスの入力がフレーム期間の開始時の1個である点と、レリーズボタンの半押しのときに、被写体輝度に応じてメカニカルシャッタ装置で露光時間を調節する点,これにともないメカニカルシャッタ装置の動作タイミングが露光時間に応じて変化される点の他は、上記図14に示される例と同じである。
この例では、CPU15によって静止画露光のためのフレーム期間の開始と同時に電子シャッタパルスを発生し、その後に電子シャッタパルスが発生しないように電子シャッタ速度のパラメータがタイミングジェネレータ30に設定される。また、静止画露光のためのフレーム期間の開始時点から被写体輝度によって決定されたシャッタ速度に応じたタイミングでメカニカルシャッタ装置24が閉じ状態となるようにメカニカルシャッタ装置24の駆動タイミングのパラメータが設定される。
これによれば、静止画露光のためのフレーム期間として、図18(a),図18(b)に示すように、長短いずれのフレーム期間が選択されている場合でも、静止画露光のためのフレーム期間の開始と同時に有効な露光が行われるため、レリーズタイムラグが小さくなる。なお、この例では、フレーム期間が長さが選択されるが、一定の長さであってもよい。
上記図14乃至図18に示される各実施形態では、タイミングジェネレータの同期動作を初期化するパラメータ設定し再スタートさせる手法を併用しているが、これを省略してもよい。
上記では、デジタルカメラを例にして説明したが、本発明は各種撮影装置に利用でき、例えばカメラ付き携帯電話にも適用できる。
本発明を実施したデジタルカメラの正面側を示す説明図である。 デジタルスチルカメラの背面側を示す説明図である。 デジタルスチルカメラの構成を示すブロック図である。 動画露光モード時の内部メモリの仮想的に分割された状態を示す説明図である。 第1動画露光モード時に用いられる第1動画用プログラム線図を示すものである。 第2動画露光モードにおける電子シャッタ速度と撮影感度を決定する手順を示すフローチャートである。 第2動画露光モード時に用いられる第2動画用プログラム線図を示すものである。 第1動画露光モード及び第2動画露光モードにおけるタイミングチャートを示すものである。 レリーズボタンの全押し後のタイミングチャートを示すものである。 静止画撮影時の処理手順を示すフローチャートである。 レリーズボタンの全押しに応答して行われる第2準備処理の手順を示すフローチャートである。 静止画撮影用のパラメータの設定直後に静止画露光の動作を行う例を示すものである。 図12の例におけるレリーズボタンの全押し後のタイミングチャートを示すものである。 静止画露光時のフレーム期間を変化させる例を示すものである。 図14の例におけるレリーズボタンの全押し後のタイミングチャートを示すものである。 静止画露光時のフレーム期間を4種類とした例を示すものである。 静止画露光時のメカニカルシャッタ装置の動作タイミングを変化させる例を示すものである。 図18の例におけるレリーズボタンの全押し後のタイミングチャートを示すものである。
符号の説明
4 レリーズボタン
10 CCDイメージセンサ
15 CPU
23 絞り装置
24 メカニカルシャッタ装置
30 タイミングジェネレータ
31b AMP回路

Claims (4)

  1. 半押しと全押しとに操作可能なレリーズボタンと、電子シャッタ機能を有し、被写体像を撮影し撮影信号を出力するイメージセンサと、前記イメージセンサで撮影された画像を表示する表示装置とを備え、前記レリーズボタンが操作されていない押圧解除状態、及び半押しに維持されている半押し維持状態のときに、前記イメージセンサで動画撮影を行い、撮影中の被写体画像を表示装置に表示し、前記レリーズボタンの全押しに応答して、前記イメージセンサで静止画の撮影を行う撮影装置において、
    前記押圧解除状態では、フリッカの発生を防止する電子シャッタ速度が低輝度域で用いられる第1のプログラム線図に基づいて、被写体輝度に対して決まる電子シャッタ速度,絞り及び撮影感度を設定し、前記半押し維持状態では、前記レリーズボタンの半押し操作に応答して決定される静止画撮影用の絞りに設定し、絞り優先式の第2のプログラム線図に前記静止画撮影用の絞りを適用して、被写体輝度に対して決まる電子シャッタ速度及び撮影感度を設定する露出制御手段と、前記イメージセンサの撮影フレームレートとして、前記押圧解除状態では、第1のフレームレートを設定し、前記半押し維持状態では、フリッカの発生を防止する第2のフレームレートを設定するフレームレート設定手段とを備えたことを特徴とする撮影装置。
  2. 前記第2のプログラム線図が対応する被写体輝度の低輝度限界が前記第1のプログラム線図の低輝度限界と一致していることを特徴とする請求項1記載の撮影装置。
  3. 設定される内容に基づいて前記イメージセンサを駆動するとともに、イメージセンサの駆動に同期した垂直同期信号を発生するタイミングジェネレータと、前記垂直同期信号に対するレリーズボタンの全押しのタイミングに基づいて、前記タイミングジェネレータに対する静止画撮影用の設定タイミングをレリーズボタンの全押し直後とレリーズボタンの全押しの次の垂直同期信号の発生時点とのいずれかとするタイミング制御手段とを備えたことを特徴とする請求項1または2記載の撮影装置。
  4. レリーズボタンが操作されていない押圧解除状態、及び半押しに維持されている半押し維持状態のときに、イメージセンサで動画撮影を行って撮影中の被写体画像を表示し、前記レリーズボタンの全押しに応答して、イメージセンサで静止画の撮影を行う撮影装置の制御方法において、
    前記押圧解除状態では、フリッカの発生を防止する電子シャッタ速度が低輝度域で用いられる第1のプログラム線図に基づいて、被写体輝度に対して決まるイメージセンサの電子シャッタ速度,絞り及び撮影感度を設定して動画撮影を行い、前記半押し維持状態では、レリーズボタンの半押し操作に応答して決定される静止画撮影用の絞りと、この静止画撮影用の絞りを絞り優先式の第2のプログラム線図に適用し、被写体輝度に対して決まる電子シャッタ速度及び撮影感度と、フリッカの発生を防止するフレームレートとを用いて動画撮影を行うことを特徴とする撮影装置の制御方法。
JP2004071516A 2004-03-12 2004-03-12 撮影装置及びその制御方法 Expired - Fee Related JP4173457B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004071516A JP4173457B2 (ja) 2004-03-12 2004-03-12 撮影装置及びその制御方法
US11/075,937 US7733414B2 (en) 2004-03-12 2005-03-10 Photographic device and control method therefor
US12/333,021 US7903169B2 (en) 2004-03-12 2008-12-11 Photographic device and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004071516A JP4173457B2 (ja) 2004-03-12 2004-03-12 撮影装置及びその制御方法

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2008170837A Division JP4310755B2 (ja) 2008-06-30 2008-06-30 撮影装置及びその制御方法
JP2008170838A Division JP4221051B2 (ja) 2008-06-30 2008-06-30 撮影装置及びその制御方法
JP2008170839A Division JP4310756B2 (ja) 2008-06-30 2008-06-30 撮影装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2005260733A JP2005260733A (ja) 2005-09-22
JP4173457B2 true JP4173457B2 (ja) 2008-10-29

Family

ID=34918588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004071516A Expired - Fee Related JP4173457B2 (ja) 2004-03-12 2004-03-12 撮影装置及びその制御方法

Country Status (2)

Country Link
US (2) US7733414B2 (ja)
JP (1) JP4173457B2 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744471B1 (en) * 1997-12-05 2004-06-01 Olympus Optical Co., Ltd Electronic camera that synthesizes two images taken under different exposures
US8115843B2 (en) * 2004-08-26 2012-02-14 Panasonic Corporation Photographing apparatus with random trigger operation
JP2007049320A (ja) * 2005-08-09 2007-02-22 Sanyo Electric Co Ltd 電子カメラ
JP2007274669A (ja) * 2006-03-10 2007-10-18 Ricoh Co Ltd 撮像装置
JPWO2007145032A1 (ja) * 2006-06-15 2009-10-29 日本電気株式会社 画像処理回路、携帯端末およびセンサ制御方法
JP2008035474A (ja) 2006-06-26 2008-02-14 Olympus Imaging Corp デジタルカメラ
JP2008028811A (ja) * 2006-07-24 2008-02-07 Matsushita Electric Ind Co Ltd アナログフロントエンド装置および撮像装置
US7893969B2 (en) * 2006-07-25 2011-02-22 Fujifilm Corporation System for and method of controlling a parameter used for detecting an objective body in an image and computer program
JP2008054292A (ja) * 2006-07-28 2008-03-06 Matsushita Electric Ind Co Ltd 位相調整装置および位相調整方法
JP5086731B2 (ja) * 2006-08-10 2012-11-28 ペンタックスリコーイメージング株式会社 カメラ
JP4948090B2 (ja) * 2006-08-25 2012-06-06 キヤノン株式会社 撮像装置及び駆動制御方法
KR20090087915A (ko) * 2006-11-14 2009-08-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 슬로우 모션을 검출하기 위한 방법 및 장치
JP2008135824A (ja) * 2006-11-27 2008-06-12 Matsushita Electric Ind Co Ltd 位相調整装置、デジタルカメラおよび位相調整方法
JP2008228282A (ja) * 2007-02-13 2008-09-25 Matsushita Electric Ind Co Ltd 画像処理装置
JP4715865B2 (ja) * 2007-06-12 2011-07-06 カシオ計算機株式会社 撮像装置、プログラム
JP5161879B2 (ja) * 2007-07-26 2013-03-13 パナソニック株式会社 撮影装置
JP5276308B2 (ja) * 2007-11-21 2013-08-28 キヤノン株式会社 撮像装置およびその制御方法
JP4556995B2 (ja) 2007-12-10 2010-10-06 カシオ計算機株式会社 撮像装置及びその露出制御方法、露出制御プログラム
JP4614143B2 (ja) * 2008-01-18 2011-01-19 カシオ計算機株式会社 撮像装置及びそのプログラム
US8264585B2 (en) * 2008-01-31 2012-09-11 Panasonic Corporation Imaging apparatus capable of readily specifying undesirable photographing parameters form auto photographing parameters
JP4692586B2 (ja) * 2008-07-15 2011-06-01 ソニー株式会社 撮像装置及び撮像方法
JP4766105B2 (ja) * 2008-11-27 2011-09-07 ソニー株式会社 信号処理装置、カメラモジュール、携帯端末装置、及び撮像方法
JP5225065B2 (ja) * 2008-12-27 2013-07-03 キヤノン株式会社 撮像装置及び撮像方法
KR20100091845A (ko) * 2009-02-11 2010-08-19 삼성전자주식회사 플리커 발생을 방지하는 디지털 촬영 장치, 이의 제어 방법및 상기 제어 방법을 기록한 기록 매체
US20100231735A1 (en) * 2009-03-13 2010-09-16 Nokia Corporation Methods, Apparatuses, and Computer Program Products for Facilitating Concurrent Video Recording and Still Image Capture
US8189070B1 (en) * 2009-06-05 2012-05-29 Apple Inc. Image capturing devices using Sunny f/16 rule to override metered exposure settings
JP5453968B2 (ja) * 2009-07-09 2014-03-26 ソニー株式会社 固体撮像装置とその製造方法、及び電子機器
US8345150B2 (en) * 2009-07-27 2013-01-01 Panasonic Corporation Imaging apparatus
JP5460180B2 (ja) * 2009-08-25 2014-04-02 キヤノン株式会社 撮像装置及びその制御方法
CN102630381A (zh) * 2009-11-26 2012-08-08 株式会社尼康 电子相机
US9591230B2 (en) * 2009-12-23 2017-03-07 Honeywell International Inc. Systems and methods for reduced image flicker
JP5240213B2 (ja) * 2010-02-09 2013-07-17 株式会社リコー 撮像装置および撮像装置の制御方法
US20110317063A1 (en) * 2010-06-28 2011-12-29 Elmo Company Limited Exposure control apparatus and exposure control method
JP5618765B2 (ja) * 2010-10-27 2014-11-05 キヤノン株式会社 撮像装置及びその制御方法
JP2012134663A (ja) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置および撮像方法
JP5820120B2 (ja) * 2011-01-28 2015-11-24 キヤノン株式会社 撮像装置およびその制御方法
US9374533B2 (en) * 2011-02-15 2016-06-21 Canon Kabushiki Kaisha Imaging apparatus and control method for tracking a subject based on an image signal
JP5967865B2 (ja) 2011-04-01 2016-08-10 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
CN102201168A (zh) * 2011-05-05 2011-09-28 重庆创远光电科技有限公司 一种基于工频同步器的交通信号智能感知服务系统
KR101899851B1 (ko) * 2012-05-03 2018-09-18 삼성전자 주식회사 이미지 처리 장치 및 방법
KR101900097B1 (ko) 2012-07-30 2018-09-20 삼성전자주식회사 이미지 캡처 방법 및 이미지 캡처 장치
TWI477123B (zh) * 2013-01-15 2015-03-11 Univ Nat Chiao Tung 多功能控制照明裝置
JP5550758B2 (ja) * 2013-03-12 2014-07-16 キヤノン株式会社 撮像装置及び撮像方法
JP5866674B1 (ja) 2014-07-29 2016-02-17 パナソニックIpマネジメント株式会社 撮像装置
CN104811609A (zh) * 2015-03-03 2015-07-29 小米科技有限责任公司 拍摄参数调整方法和装置
US10771713B2 (en) 2016-06-15 2020-09-08 Sony Corporation Imaging control device, imaging control method, and program
WO2018098638A1 (zh) * 2016-11-29 2018-06-07 华为技术有限公司 一种电子设备拍摄方法和装置
JPWO2018135313A1 (ja) * 2017-01-20 2019-11-07 ソニー株式会社 撮像装置、撮像方法、並びにプログラム
CN112087569B (zh) * 2019-06-12 2022-03-04 杭州萤石软件有限公司 一种摄像机及摄像机启动方法、装置
WO2021039044A1 (ja) * 2019-08-27 2021-03-04 富士フイルム株式会社 撮像装置、撮像方法、及び撮像プログラム
JP7463114B2 (ja) * 2020-01-23 2024-04-08 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラムおよび記憶媒体
CN116996762B (zh) * 2023-03-29 2024-04-16 荣耀终端有限公司 一种自动曝光方法、电子设备及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4837628A (en) * 1986-07-14 1989-06-06 Kabushiki Kaisha Toshiba Electronic still camera for recording still picture on memory card with mode selecting shutter release
JP2920924B2 (ja) 1989-01-12 1999-07-19 ソニー株式会社 Ccdカメラ
JP3986134B2 (ja) * 1997-09-09 2007-10-03 オリンパス株式会社 電子的撮像装置
JP3860367B2 (ja) * 1999-09-14 2006-12-20 富士フイルムホールディングス株式会社 撮像装置
JP3504550B2 (ja) * 1999-11-17 2004-03-08 オリンパス株式会社 撮像装置
US7023479B2 (en) * 2000-05-16 2006-04-04 Canon Kabushiki Kaisha Image input apparatus having addition and subtraction processing
US20040212723A1 (en) * 2003-04-22 2004-10-28 Malcolm Lin Image pickup apparatus and operating method

Also Published As

Publication number Publication date
US20090096902A1 (en) 2009-04-16
US7903169B2 (en) 2011-03-08
US7733414B2 (en) 2010-06-08
US20050200744A1 (en) 2005-09-15
JP2005260733A (ja) 2005-09-22

Similar Documents

Publication Publication Date Title
JP4173457B2 (ja) 撮影装置及びその制御方法
JP4510768B2 (ja) 撮影装置および方法並びにプログラム
JP2007256907A (ja) デジタルカメラ
US10237480B2 (en) Apparatus and method for storing moving image portions
JP2007243615A (ja) 撮影装置
US8593544B2 (en) Imaging apparatus, imaging method, and computer-readable recording medium
JP5240213B2 (ja) 撮像装置および撮像装置の制御方法
JP2009081808A (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP2008092071A (ja) 撮影装置
JP4182864B2 (ja) 電子カメラ
JP4221051B2 (ja) 撮影装置及びその制御方法
JP4310756B2 (ja) 撮影装置及びその制御方法
JP4331087B2 (ja) 撮影装置及びその制御方法
JP4310755B2 (ja) 撮影装置及びその制御方法
JP2005260879A (ja) デジタルカメラ
JP5220054B2 (ja) デジタルカメラ
JP4869801B2 (ja) 撮影装置
JP2008199443A (ja) 撮像装置およびその制御方法
JP2006217505A (ja) 撮影装置
JP2000231055A (ja) 自動焦点調節カメラ
JP2010136239A (ja) 撮影装置および撮影装置の制御方法並びにプログラム
JP2018057024A (ja) 撮像装置
JP2005020341A (ja) 露出制御方法および装置
JP2014236246A (ja) 撮像装置
JP2008219131A (ja) 撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060517

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080730

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080813

R150 Certificate of patent or registration of utility model

Ref document number: 4173457

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130822

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees