JP2010028596A

JP2010028596A - 撮像装置

Info

Publication number: JP2010028596A
Application number: JP2008189278A
Authority: JP
Inventors: Shinichiro Hirooka; 慎一郎廣岡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-07-23
Filing date: 2008-07-23
Publication date: 2010-02-04
Also published as: US8432458B2; CN101635797A; CN101635797B; US20100020194A1

Abstract

【課題】感度の異なる複数の撮像映像を合成する機能を備える撮像装置において、画像認識による被写体検出結果を用いることで、ダイナミックレンジの拡大とユーザの注目する被写体の視認性向上を同時に実現する。
【解決手段】撮像手段と、撮像手段の露光を制御して同一の被写体に対する感度の異なる複数の撮像を実現する露光制御手段と、撮像手段の出力する信号を処理する手段と、信号処理手段の生成した複数の映像信号を合成して出力する映像合成手段と、信号処理手段の生成した映像信号を画像処理し被写体情報を検出する被写体認識手段と、を有する撮像装置によって構成される。被写体認識手段は感度の異なる複数の映像信号のそれぞれについて被写体情報を検出し、露光制御手段が露光を、信号処理手段が映像信号に対するガンマ特性を、映像合成手段が感度の異なる複数の映像信号を合成する際の比率を、それぞれ検出した被写体情報を基に制御する。
【選択図】図１

Description

本発明は、ダイナミックレンジの大きいシーンの撮影を可能とするワイドダイナミックレンジ機能を備える撮像装置に関する。

本技術分野の背景技術として、例えば、特開２００７−２８８８７５号公報（特許文献１）がある。該公報には、「高輝度被写体用撮像と低輝度被写体用撮像とで最適なＡＥ（自動露光制御）を行う」ことを目的とし、解決手段として、「高輝度被写体用撮像と低輝度被写体用撮像の２回の撮像を行い、２つの映像を合成して出力する。そして、ＤＳＰ６の露光処理部６Ｂには、長時間露光時と短時間露光時とで信号経路を切り換えるスイッチ７Ｃと、長時間露光時の信号処理を行う長時間露光信号処理部７Ａと、短時間露光時の信号処理を行う短時間露光信号処理部７Ｂと、各露光処理部７Ａ、７Ｂの信号を合成する合成部（ＭＩＸ）７Ｄが設けられている。そして、各露光信号処理部７Ａ、７Ｂにそれぞれ設けられたＯＰＤ（光学検波回路）１８Ａ、１８Ｂにより、長時間露光時と短時間露光時で、それぞれ独立して輝度分布を求め、最適な露光量制御を行う」という技術が開示されている。

特開２００７−２８８８７５号公報

デジタルビデオカメラやスチルカメラで撮影を行う際に、対象となるシーン内の明暗差が非常に大きいと、シーンの一部でセンサの受光量が十分でなく黒潰れが起きたり、センサの受光量が飽和して白飛びする場合がある。これを解決する手段の一つとして、露光条件を切り替えて、低照度にある被写体を対象とした高感度の撮像画像と、高照度にある被写体を対象とした低感度の撮像画像をそれぞれ撮像し、特定の比率で合成することでダイナミックレンジの広い画像を生成するといった手法が挙げられる。例えば、上記特許文献１では、高感度撮像のための露光制御と、低感度撮像のための露光制御を、それぞれの撮像信号から光学検波回路が取得した輝度分布情報を基に行うことで、適切なワイドダイナミックレンジ撮影を実現している。

しかし、上記特許文献１に記載された方法では、被写体が何であるかが考慮されていない。そのため、例えば監視用途においては撮像画像に映っている人物の顔や服装に重点的に注目したい場合があるが、顔や服装が背景よりも輝度分布が小さいと、背景に必要以上に階調が割かれ、顔や服装に十分な階調が確保できずディテールが失われる恐れがある。

そこで、本発明では、感度の異なる複数の撮像画像を合成することで実現するワイドダイナミックレンジ機能において、輝度分布情報に加え、人物の顔のような特定の被写体を検出し、その検出結果も利用して露光制御を行うことで、ユーザが注目したい被写体の階調を優先して拡大する。さらに、各々の撮像画像における検出結果を統合し、各画像に対する信号処理や合成時の合成比率を制御する。これにより、ダイナミックレンジの拡大を実現すると共に、ユーザが注目したい被写体の視認性を向上することを目的とする。

上記目的は一例として、特許請求の範囲に記載の発明により達成される。

本発明によれば、デジタルビデオカメラやスチルカメラにおいて、ダイナミックレンジの拡大を実現すると共に、ユーザが注目したい被写体の視認性を向上することが可能となる。

以下、図面を用いて本発明の実施例を説明する。

図１は、本発明の第1実施例に係る撮像装置を示す第一の模式図である。図1において０１０１は撮像部、０１０２は露光制御部、０１０３はカメラ信号処理部、０１０４は映像合成部、０１０５は被写体認識部である。

図１に示した撮像装置において、撮像部０１０１はズームレンズ及びフォーカスレンズを含むレンズ群や、アイリスや、シャッタや、CCDまたはCMOSなどの撮像素子や、CDSやAGCや、ADコンバータ等から構成され、撮像素子に受講した光学像を光電変換し、信号として出力する。露光制御部０１０２は、撮像部０１０１の出力した信号から輝度分布の情報を取得し、その輝度分布の情報や、後述の被写体認識部０１０５の出力した被写体情報を基に目標露光量を決定して、その目標露光量に実際の露光量が近づくようにアイリスの絞りやシャッタタイミングやAGCのゲイン量を制御する。このとき、所定の時間ごとに目標露光量を切り替えることで、所定の時間ごとに異なる感度での撮像が可能である。そこで、例えば、ある露光期間ではシャッタを通常より早いタイミングで切り、次の露光期間ではシャッタを通常より遅いタイミングで切る、といったような露光制御を交互に行えば、低照度にある被写体像を優先的に撮像可能な高感度撮像と、高照度にある被写体像を優先的に撮像可能な低感度撮像を交互に行うことが実現できる。説明を容易にするために、ここでは感度の異なる複数の撮像を行うと言った場合に、このように低照度にある被写体を対象とした高感度撮像と、高照度にある被写体を対象とした低感度撮像を交互に行うことを指すものとする。ただし、これはあくまで一例であり、必ずしも通常より早いシャッタタイミングと通常より遅いシャッタタイミングの組合せでなくても良く、また3つ以上の異なる感度で露光制御を露光期間ごとに切り替えて行う制御ももちろん可能である。また、露光制御の変更を撮像期間毎に交互に行うのでなく、特定のタイミングにおいてのみ異なる露光制御を行っても良い。カメラ信号処理部０１０３は、撮像部０１０１の出力した信号に対し、輝度信号と色信号への分離処理や、明るさ補正処理や、ガンマ処理や色差変換処理やホワイトバランス補正処理やデジタルズームなどの種々のデジタル信号処理を行い、映像信号を生成して、合成処理部０１０４や被写体認識部０１０５に映像信号を出力する。各信号処理を行うときに用いる係数、例えば明るさ補正量やガンマ特性などは、予め設定してEEPROMなどに格納しておいた値を用いても良いし、映像の輝度分布などの各種の情報や、後述の被写体認識部０１０５の出力する被写体情報を基に制御値を変えても良い。また、感度の異なる複数の露光映像に対して、それぞれことなる係数を用いることで、各露光映像に対し適切な信号処理を行うことも可能である。映像合成部０１０４は、カメラ信号処理部０１０３の出力する映像信号について、異なる露光期間の映像信号を所定の比率で合成して、合成映像として、不図示の映像表示部や記録部や動画圧縮部やPCなどに出力する。これを実現するには、一例として、ある露光期間の映像信号をSDRAMなどのメモリに蓄積しておき、別の露光期間の映像信号と、メモリより読み出した先の露光期間の映像信号を重み付けした上で加算すれば良い。この加算処理を繰り返すことにより、任意の数の感度が異なる映像信号を合成することが可能であり、低照度にある被写体から高照度にある被写体まで映像上で階調が潰れずに撮像することを可能としたワイドダイナミックレンジ機能が実現できる。このとき、映像信号の合成比率は、映像信号の感度の差や、各映像信号における被写体の輝度分布の情報や、後述の被写体認識部０１０５の出力する被写体情報などを基に決定すれば良い。また、合成処理を行わず、映像信号をそのまま出力してもよい。被写体認識部０１０５は、カメラ信号処理部０１０３の出力する映像に対して画像認識を行い、特定の被写体を検出して、被写体の個数や、各々の被写体の映像中の位置や、輝度分布の情報や、色情報や、被写体の信頼度などを被写体情報として出力する。被写体としては、例えば顔や人物や動体など、既知の手法を用いて画像認識で検出できるものであれば良い。この被写体情報を用いて、露光制御部０１０２は撮像部の目標露光量を、カメラ信号処理部０１０３はガンマ特性などを、映像合成部０１０４は映像の合成比率を、それぞれ制御して変更することが可能であり、これにより特定の被写体に最適化したワイドダイナミックレンジ映像の生成が実現できる。上述の例では、感度の異なる複数の撮像に対し、それぞれカメラ信号処理を行ってから合成処理を行っているが、この順番を逆にし、合成処理を行った後でガンマ制御などのカメラ信号処理を行う形態をとっても良い。なお、露光制御部０１０２の露光制御処理や、カメラ信号処理部０１０３のカメラ信号処理や、映像合成部０１０４の映像合成処理や、被写体認識部０１０５の被写体認識処理は、通常はカメラ内のマイコンやカメラ信号処理DSPや専用のLSIなどによって行われる。

図２は、本発明の第一実施例に係る露光制御の一例を示す図である。図2で示す露光制御は露光制御部０１０２で実行される。図２において、横軸はセンサに入射した受光量、縦軸はセンサの出力する信号レベルであり、０２０１は高感度露光を行った場合の出力信号特性、０２０２は低感度露光を行った場合の出力信号特性である。この例において、撮影シーン中の低照度の領域と高照度の領域にそれぞれ人物がいるものとする。被写体認識部０１０５は注目する被写体として人物の顔を検出し、顔領域の輝度分布を求める。そして、露光制御部０１０２は、高感度露光用の露光制御においては低照度領域にいる人物の顔領域の輝度分布をもとに、顔領域の露光量が適正露光範囲に近づくようにし、低感度露光向けの露光制御においては高照度領域にいる人物の顔領域の輝度分布をもとに、顔領域の露光量が適正露光範囲に近づくようにする。この処理を毎露光期間ごとに繰り返すことで、最終的に高感度露光と低感度露光をそれぞれ適正な露光範囲の近辺に収束させることが可能である。低照度領域と高照度領域の一方ないし双方で複数の顔が検出可能な場合は、複数の顔の輝度の重心をもとめ、その重心の露光量が適正露光範囲に近づくようにすれば良い。このとき、輝度の重心を求める際に、検出した顔の映像上の位置情報も同時に取得して、映像の中心付近の顔の重みを大きくし、周辺の顔の重みを小さくして、映像の中心付近に写っている被写体の露光を優先的に適正露光に合わせるようにしても良い、これにより、低照度にいる人物の顔と高照度にいる人物の顔の双方の露光を適正に制御し、その視認性を向上したワイドダイナミックレンジ機能を実現することができる。なお、撮影シーン中の明暗の差が非常に大きい場合は、低照度ないし高照度のいずれかにいる人物の顔が映像上で潰れてしまい、画像認識では上手く検出できない可能性がある。そこで、初期処理として、まずはシーン全体の輝度分布を取得し、その情報を基に、映像中で黒潰れがなくなるように高感度露光を、白飛びがなくなるように低感度露光をそれぞれ制御し、その後、被写体認識を行うようにしても良い。また、撮影シーン中の低照度の領域および高照度の領域の一方ないし、双方に人物がいない場合には、同様にシーン全体の輝度分布の情報を利用して露光制御を行えば良い。また、顔領域の輝度分布のみで露光制御量を決定した場合、顔領域以外が黒潰れしたり白飛びしたりする可能性がある。そのため、顔領域の輝度分布を基に決定した露光制御量と、シーン全体の輝度分布の情報を利用して決定した露光制御量とを重み付けしながら組み合わせて、全体の露光制御量を決定し、黒潰れや白飛びが起きないようにしても良い。

図３は、本発明の第一実施例に係るガンマ特性制御の一例を示す図である。図３で示すガンマ特性制御はカメラ信号処理部０１０３で実行される。図３において、横軸はセンサの出力する信号レベルであり、縦軸は輝度補正を行った後の映像信号レベルであり、０３０１は高感度露光を行った場合の映像信号特性である。この例において、撮影シーン中の低照度の領域に2人の人物がいるものとする。このとき、ガンマ特性制御は通常のガンマカーブを想定したガンマ処理をセンサ出力信号に対し行うのではなく、図３のように人物の顔が映像信号において広い階調を持てるように、非線形の信号の特性変換処理を行う。これにより、映像上の人物の顔の階調を強調することで、その視認性を向上したワイドダイナミックレンジを実現することができる。なお、ここでは高感度露光におけるガンマ特性制御を示したが、低感度露光においても同様の処理を行っても良い。

図４は、本発明の第一実施例に係る映像合成制御の一例を示す図である。図４で示す映像合成制御は映像合成部０１０４で実行される。図４において、（ａ）は撮影シーン中の低照度の領域と高照度の領域の双方に人物がいる場合の合成制御の例、（ｂ）は撮影シーン中の高照度の領域のみに人物がいる場合の合成制御の例である。映像合成部０１０４は、高感度露光で得た映像信号と、低感度露光で得た映像信号を所定の比率で合成し、出力する。このとき、映像合成制御は、被写体検出部０１０５より撮影シーン中の低照度の領域と高照度の領域で検出した顔の個数を取得し、その個数に応じて合成時の比率を制御する。合成時の比率は、顔の個数のみから決定しても良いし、その他の情報、例えば高感度露光において適正に露光されている被写体と低感度露光において適正に露光されている被写体との面積比などの情報とを重み付けして組み合わせた上で決定しても良い。例えば、高感度映像と低感度映像の双方に顔が映っている場合には、図４（ａ）のように適正に露光されている被写体の面積比から合成比率を決定し、一方の映像のみにしか顔が映っていない場合には、図４（ｂ）のようにその映像の合成時の加算比率をそれより大きめに取るようにする。これにより、人物の顔が存在する映像のみを強調し、その視認性を向上したワイドダイナミックレンジを実現することができる。このとき、検出した顔の信頼度などの情報からさらに重み付けを行い、加算比率を変えても良い。また、各映像における顔の有無だけでなく、検出した顔の個数の比率をもとに比率を変える、すなわち、低照度の領域に顔が１つあり、高照度の領域に顔が2つある場合には、低感度画像の加算比率を大きくする、といったようにしても良い。

以上の図２から図4で示した各制御の例では、被写体認識部０１０５が検出する被写体として人物の顔を用いて説明を行ったが、検出する被写体としては、人物の全身像や動体、車両など、画像認識で検出が可能な被写体なら何でも同様の制御を行うことが可能であり、検出する被写体はアプリケーションのターゲットに合わせて決定すれば良い。また、複数の被写体を同時に認識するようにしても構わない。

また、図２から図４で示した各制御において、異なる被写体認識結果を用いても良い。例えば、露光制御部０１０２が露光制御を行う際に、動体を注目被写体として検出し、歩いている人物が適正な露光になるように制御を行い、一方で、カメラ信号処理部０１０３が、人物の顔の認識結果を用いて、歩いている人の顔と静止している人の顔の双方の階調が確保できるようにガンマ特性制御を行っても良い。

図５は、本発明の第一実施例に係るワイドダイナミックレンジ処理の効果の一例を示す図である。図5において、（ａ）は撮影シーン中の低照度領域に露光を合わせたときの映像、（ｂ）は撮影シーン中の高照度領域に露光を合わせたときの映像、（ｃ）は映像（ａ）と映像（ｂ）を既存のワイドダイナミックレンジ処理にて所定の比率で加算した合成映像、（ｄ）は図２から図４で示した各制御を行い、顔の階調を確保した合成映像である。図５（ｃ）に示すように、既存のワイドダイナミックレンジ機能を用いることで黒潰れや白飛びのない映像を生成することができるが、顔の輝度分布を考慮していないため顔の視認性はよくない。一方で図５（ｄ）では、顔の輝度分布を考慮し、顔の階調を優先して確保するため、白飛びしがちな明るいところの映像を残しつつ、顔の視認性を向上することができている。

かように本実施例によれば、感度の異なる複数の撮像画像を合成することで実現するワイドダイナミックレンジ機能において、ダイナミックレンジを拡大して明暗の差が激しいシーンの撮影でも黒潰れや白飛びの発生を抑えると共に、ユーザの注目したい特定の被写体の階調を優先的に確保することで、視認性を向上することが可能となる。

図６は本発明の第２実施例に係る撮像装置を示す模式図である。図６において０１０１は撮像部、０１０２は露光制御部、０１０３はカメラ信号処理部、０１０４は映像合成部、０１０５は被写体認識部、０６０６は被写体選択部である。

図６に示した撮像装置において、撮像部０１０１、露光制御部０１０２、カメラ信号処理部０１０３、映像合成部０１０４、被写体認識部０１０５は実施例１と同様の作用を行う。被写体選択部０６０６は、ジョグダイヤルやカーソルキーやタッチパネルなどのユーザ入力装置を備え、ユーザが被写体認識部０１０５で認識する注目被写体の種類を決定する。

図７に本発明の第２実施例に係る被写体選択方法の一例を示す図である。図７において、（ａ）は被写体として顔を選んだ場合の撮影画像、（ｂ）は被写体選択部０６０６により検出する被写体をユーザが選択するためのメニューをＬＣＤ上などに開いている画面、（ｃ）は被写体として全身像を選んだ場合の撮影画像である。図７（ａ）および（ｃ）において、点線で示した枠は被写体の検出結果を便宜的に表示したものである。

かように本実施例によれば、ユーザは被写体選択部０６０６を用いて簡単に被写体認識部０１０５で認識する注目被写体を変更することができる。そのため、あるときは、室内を撮影するため人物の顔の視認性を向上し、また別のあるときでは、屋外の道路を撮影するため自動車の視認性を向上するといったような、ユーザの見たい被写体に対応したワイドダイナミックレンジの切り替えを容易に実現することができる。

図８は本発明の第３実施例に係る撮像装置を示す模式図である。図８において０１０１は撮像部、０１０２は露光制御部、０１０３はカメラ信号処理部、０１０４は映像合成部、０１０５は被写体認識部、０8０７は被写体情報付加選択部である。

図８に示した撮像装置において、撮像部０１０１、露光制御部０１０２、カメラ信号処理部０１０３、映像合成部０１０４、被写体認識部０１０５は実施例１と同様の作用を行う。被写体情報付加選択部０８０７は、ジョグダイヤルやカーソルキーやタッチパネルなどのユーザ入力装置を備え、ユーザが映像合成部０１０４で生成した合成映像に被写体認識結果の情報を付加するかどうかを決定する。ユーザが被写体認識結果の情報付加を選択した場合は、映像合成部０１０４は生成した合成映像に、被写体認識結果の情報として、検出した被写体の位置や個数や信頼度などを、絵または文字として合成付加する。

図９は本発明の第３実施例に係る被写体認識結果の合成映像への付加制御の一例を示す図である。図９において、（ａ）は被写体情報付加なしの場合の出力映像、（ｂ）は被写体情報付加ありの場合の出力映像である。ここでは、注目被写体として被写体認識部０１０５が人物の顔を検出した場合に、検出した顔の位置を四角の点線で、検出したときの信頼度を文字でそれぞれ表示した例を示している。

かように本実施例によれば、ワイドダイナミックレンジ機能により生成した合成映像に、被写体認識結果の情報を付加することで、ユーザがどのていど被写体認識が行えているかを確認することができ、操作時の参考や、機能が上手く働いていないときのメーカへのフィードバック情報として用いることができる。

以上、図面を用いて本発明の好適な実施例を説明した。本発明によれば、デジタルビデオカメラやスチルカメラにおいて、ダイナミックレンジを拡大して明暗の差が激しいシーンの撮影でも黒潰れや白飛びの発生を抑えると共に、ユーザの注目したい特定の被写体の階調を優先して拡大することで、視認性を向上することが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

本発明は民生や監視や車載や業務用のデジタルビデオカメラおよびスチルカメラに利用可能である。

本発明の第1実施例に係る撮像装置を示す第一の模式図である。本発明の第1実施例に係る露光制御の一例を示す図である。本発明の第１実施例に係るガンマ特性制御の一例を示す図である。本発明の第1実施例に係る映像合成制御の一例を示す図である。本発明の第１実施例に係るワイドダイナミックレンジ処理の効果の一例を示す図である。本発明の第２実施例に係る撮像装置を示す模式図である。本発明の第２実施例に係る被写体選択方法の一例を示す図である。本発明の第３実施例に係る撮像装置を示す模式図である。本発明の第３実施例に係る被写体認識結果の合成映像への付加制御の一例を示す図である。

符号の説明

０１０１撮像部
０１０２露光制御部
０１０３カメラ信号処理部
０１０４映像合成部
０１０５被写体認識部
０２０１高感度露光を行った場合の出力信号特性
０２０２低感度露光を行った場合の出力信号特性
０３０１高感度露光を行った場合の映像信号特性
０６０６被写体選択部
０８０７被写体情報付加選択部

Claims

撮像手段と、
該撮像手段の露光を制御して同一の被写体に対する感度の異なる複数の撮像を実現する露光制御手段と、
該撮像手段の出力する信号をカメラ信号処理して映像信号を生成するカメラ信号処理手段と、
該カメラ信号処理手段の生成した感度の異なる複数の映像信号を合成して出力する映像合成手段と、
該カメラ信号処理手段の生成した映像信号を画像処理し被写体情報を検出する被写体認識手段と、
を備え、
該被写体認識手段が該カメラ信号処理手段の生成した感度の異なる複数の映像信号のそれぞれについて被写体情報を検出し、該露光制御手段が該被写体情報を露光制御に用いること、
を特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記被写体認識手段が該カメラ信号処理手段の生成した感度の異なる複数の映像信号のそれぞれについて被写体情報を検出し、前記カメラ信号処理手段が該被写体情報を基に映像信号に対するガンマ特性を変えること、
を特徴とする撮像装置。
請求項１または２いずれか一項に記載の撮像装置において、
前記被写体認識手段が該カメラ信号処理手段の生成した感度の異なる複数の映像信号のそれぞれについて被写体情報を検出し、前記映像合成手段が該被写体情報を基に該感度の異なる複数の映像信号を合成する際の比率を変えること、
を特徴とする撮像装置。
請求項１または３いずれか一項に記載の撮像装置において、
前記被写体認識手段が該カメラ信号処理手段の生成した感度の異なる複数の映像信号のそれぞれについて被写体情報を検出する際に複数の種類の被写体を検出し、該被写体情報を基に該露光制御手段が露光制御量を、前記カメラ信号処理手段が映像信号に対するガンマ特性を、前記映像合成手段が該感度の異なる複数の映像信号を合成する際の比率をそれぞれ変える場合に、それぞれ異なる被写体の認識結果を用いること、
を特徴とする撮像装置。
請求項１または４いずれか一項に記載の撮像装置において、さらに、
前記被写体認識手段が検出する被写体の種類をユーザが選択するための被写体選択手段を備えること、
を特徴とする撮像装置。
請求項１または５いずれか一項に記載の撮像装置において、
前記映像合成手段が、生成した合成映像に前記被写体認識手段の検出した前記被写体情報を付加して出力すること、
を特徴とする撮像装置。
請求項６に記載の撮像装置において、さらに、
前記映像合成手段が生成した合成映像に対する前記被写体情報の付加の有無をユーザが選択するための被写体情報付加選択手段を備えること、
を特徴とする撮像装置。