JP2023110325A - カメラシステム、移動体、カメラシステムの制御方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】撮像モードに応じて最適な階調圧縮処理を行う事が可能なカメラシステムを提供する。【解決手段】カメラシステムは、被写体を撮像し画像信号を生成し、２つ以上の入出力変換パラメータに基づいて画像信号に階調圧縮処理を行い、入出力変換パラメータを設定する撮像システム制御手段を有する撮像システムと、２つ以上の撮像モードで撮像システムから画像を取得する画像処理システムとから構成される。撮像システムの制御手段は、画像処理システムにおける撮像モードに基づいて、階調圧縮手段に入出力変換パラメータを設定する。【選択図】図５

Description

本発明は、カメラシステム、移動体、カメラシステムの制御方法、及びコンピュータプログラム等に関するものである。

近年の車載カメラシステムにおいては、異なる露出条件で取得した複数の画像を合成することでダイナミックレンジの拡大（ＨＤＲ）を行うものが多い。ダイナミックレンジ拡大の代表的な例として、異なる露光時間で取得した複数の画像を合成して１枚のダイナミックレンジ拡大画像を生成する技術がある。具体的には、長い露光時間で取得した画像の低輝度側の画素と、短い露光時間で取得した画像の高輝度側の画素を合成して１枚の合成画像を生成する。このような処理を行う事で、暗部の階調を保持しつつ、かつ明るい被写体も白飛びせずに表現出来る、高ダイナミックレンジの画像を取得する事が可能となる。

しかし、このダイナミックレンジ拡大技術を用いて複数の画像を合成すると、輝度値のｂｉｔ深度が大きくなり伝送レートが膨大となってしまう。カメラ出力の伝送帯域には限りがあるため、ダイナミックレンジ拡大技術を用いて生成した合成画像を出力するためには、合成画像のデータ量を削減する事が必要不可欠となる。又、このようなデータ量の増大は、ダイナミックレンジ拡大だけでなく、カメラの高解像度化によっても問題化している。

特許文献１では、車両の走行状態に基づいて撮像領域内に部分領域を設定し、その部分領域よりも外側の解像度を低くすることで、画像データを圧縮する技術が提案されている。又、特許文献２では、カメラで撮像されたオリジナル画像を段階的に圧縮した複数の縮小画像を生成し、圧縮レベルの高い縮小画像から順に移動物体の検出を行う事で、移動物体を早期に検出し、かつ検出処理の負荷も軽減させる技術が提案されている。

特開２０１８－５６８３８号公報 特開２０１４－１４６１３５号公報

上記特許文献１や特許文献２の技術を用いて解像度を減らす事で、出力画像のデータ量を削減する事が可能となるが、解像度の低下によりビューイング向けの画質性能やセンシング向けの物体認識性能等が低下する。従って、本来の目的（画像の視認、物体認識など）に対して性能面で悪影響を与える可能性がある。

これに対して、人間の視覚特性に合わせて例えば低輝度画素に対して多めに階調を割り当て、高輝度画素に対して少なめに階調を割り当てる事で階調を圧縮することができる。
しかし、例えば自動運転車が車載カメラを用いてセンシングを行う際に、ビューイング時の入出力変換パラメータと同じように低輝度画素に階調を多く割り当てると、中間輝度から高輝度領域に割り当てられる階調が少なくなってしまう。そのため、中間輝度から高輝度領域の被写体に対するセンシング性能が低下する場合がある。特に自動運転による走行中に、信号機や道路交通標識などの中間輝度から高輝度領域の被写体の認識を誤ると、自動運転車が自己位置推定を誤ったり、事故につながる恐れがある。

そこで本発明は、撮像モードに応じて最適な階調圧縮処理を行う事が可能なカメラシステムを提供することを目的とする。

上記目的を達成する為、本出願に係るカメラシステムは、
被写体を撮像し画像信号を生成する撮像手段と、
２つ以上の入出力変換パラメータに基づいて前記画像信号に階調圧縮処理を行うための階調圧縮手段と、
前記階調圧縮手段における前記入出力変換パラメータを設定する撮像システム制御手段とを有する撮像システムと、
２つ以上の撮像モードで前記撮像システムから画像を取得する画像処理システムとから構成され、
前記撮像システム制御手段は、前記画像処理システムにおける前記撮像モードに基づいて、前記階調圧縮手段における前記入出力変換パラメータを設定することを特徴とする。

本発明によれば、撮像モードに応じて最適な階調圧縮処理を行う事が可能なカメラシステムが出来る。

実施例１の車載カメラシステム１００の機能ブロック図である。 実施例１の露光制御方法を説明するための概念図である。 （Ａ）は、実施例１のＨＤＲ合成部１０５の構成の概要を示す機能ブロック図、（Ｂ）は、輝度補正部３０３での処理を説明するための図、（Ｃ）は、実施例１において、画像合成部３０４により合成画像を生成する方法を説明するための図である。 （Ａ）は、実施例１の階調圧縮部１０６の構成の概要を示す機能ブロック図、（Ｂ）はビューイング用パラメータ記憶部４０１に記憶された入出力変換パラメータのパラメータ特性の例を示す図である。（Ｃ）はセンシング用パラメータ記憶部４０２に記憶された入出力変換パラメータのパラメータ特性の例を示す図である。 実施例１の画像処理システム制御フローを説明するためのフローチャートである。 実施例１の階調圧縮部１０６で用いる入出力変換パラメータの切り替え時に遷移用パラメータを用いる場合の概念図である。 実施例２における車載カメラシステム７００の機能ブロック図である。 実施例２の画像処理システム制御フローを説明するためのフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

＜第１の実施形態＞
図１は、実施例１における車載カメラシステム１００の機能ブロック図である。車載カメラシステム１００は、撮像システム１０１と、画像処理システム１０２の２つのシステムから構成されている。尚、本実施例では、車載カメラシステム１００は、移動体としての自動車に搭載されているものとするが、移動体は自動車には限定されない。

尚、図１に示される機能ブロックの一部は、車載カメラシステム１００に含まれる不図示のコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

尚、撮像システム１０１内の機能ブロックは、夫々同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。同様に、画像処理システム１０２内の機能ブロックも、夫々同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

先ず、撮像システム１０１について説明する。撮像システム１０１は、撮像システム制御部１０３、撮像部１０４、ＨＤＲ合成部１０５、階調圧縮部１０６等から構成されている。
撮像システム制御部１０３は、撮像システム１０１全体の制御を行う。主に、撮像部１０４、ＨＤＲ合成部１０５、階調圧縮部１０６の制御や、画像処理システム１０２との情報のやり取りを行う。又、撮像システム制御部１０３には、コンピュータとしてのＣＰＵが内蔵されており、記憶媒体としてのメモリに記憶されたコンピュータプログラムに基づき撮像システムの各部の動作を制御する制御部として機能する。詳細については、後述する。

撮像部１０４は、図示しない光学系を含み、光学系により形成された被写体の光学像を、撮像する例えばＣＭＯＳイメージセンサ等の撮像素子を含む。撮像素子は複数の画素を含み、各画素は入射光を光電変換する光電変換素子（フォトダイオード）を含む。撮像部１０４は、光電変換素子から出力されるアナログ電気信号をデジタル信号に変換するＡＤ変換機能を持つ。又、撮像部１０４は被写体を撮像し画像信号を生成すると共に撮像システム制御部１０３から入力される露光制御信号に従って露光時間の制御を行う機能を有する。尚、撮像素子のゲインを切り替えられるように構成しても良い。
又、本実施例では、撮像部１０４は移動体としての自動車の例えば前後、左右に夫々配置され、自動車の周囲の被写体を撮像するための複数のカメラから構成されている。

図２は、実施例１の露光制御方法を説明するための概念図であり、本実施例における露光制御方法について、図２を用いて説明する。
図２において、ＶＤは各フレームの開始タイミングを示す信号である。撮像システム制御部１０３から撮像部１０４にＶＤの制御信号が送信され、ＶＤ信号が立上がった際に１フレーム分の画像を取得するためのリセットや読み出しなどの制御などが開始される。

Ｒｅｓｅｔ信号は、光電変換素子をリセット電源に接続して光電変換素子の電位をリセット（基準）電位にするための制御信号であり、Ｒｅｓｅｔ信号がＨｉｇｈの期間にリセット制御が実行される。
Ｒｅａｄ信号は、光電変換素子で発生した電荷を読み出すための制御信号であり、Ｒｅａｄ信号が立上がったタイミングで電荷読み出し制御が開始される。

露光期間は、Ｒｅｓｅｔの立下りタイミングからＲｅａｄの立上りまでの期間であり、光電変換素子に光が照射されている状態で電荷を蓄積させる期間を示す。露光時間の長さに応じて光電変換素子内で発生する電荷量が変化する。つまり、露光時間の長さによって入射光に対する出力輝度のレベルが変化する。本実施例では、１フレーム目では短い露光時間による撮影を行い、続く２フレーム目では長い露光時間による撮影を行う。

３フレーム目以降は、１フレーム毎に短秒露光、長秒露光を交互に繰り返す露光制御を行う。本実施例では長秒露光と短秒露光の２種類の露光条件を用いて説明するが、３種類以上の露光条件を組み合わせても良い。露光条件を増やすことで、ダイナミックレンジ拡大処理の機能を向上させることができる。

図２のグラフのセンサ出力に示した期間は、撮像部１０４がＲｅａｄ制御に従って光電変換素子から読み出した電気信号をデジタル輝度信号に変換し、更にＨＤＲ合成部１０５に出力する期間を示している。

ＨＤＲ合成部１０５は、撮像部１０４から２種類の異なる露光条件で取得した２つの画像信号を用いて、ＨＤＲ合成処理を行うためのものである。本実施例におけるＨＤＲ合成方法について、図３を用いて説明する。

図３（Ａ）は、実施例１のＨＤＲ合成部１０５の構成の概要を示す機能ブロック図である。ＨＤＲ合成部１０５は、長秒露光画像メモリ３０１、短秒露光画像メモリ３０２、輝度補正部３０３、画像合成部３０４などから構成される。

撮像部１０４から出力された画像信号のうち、長秒露光で取得された画像は長秒露光画像メモリ３０１に記憶される。又、短秒露光で取得された画像は短秒露光画像メモリ３０２に記憶される。輝度補正部３０３は、短秒露光で取得された画像の輝度レベルを長秒露光で取得された画像相当の輝度レベルに合わせるための補正を行う。この補正によって長秒露光で取得された画像と短秒露光で取得された画像を違和感なく、つなぎ合わせて合成する事が出来る。

図３（Ｂ）は、輝度補正部３０３での処理を説明するための図である。図３（Ｂ）において、横軸は被写体の光量、縦軸は撮像部１０４の出力輝度を示す。
３Ａは長秒露光時における被写体の光量に対する出力輝度を示すグラフ、３Ｂは短秒露光時における被写体の光量に対する出力輝度を示すグラフ、３Ｂ’は３Ｂの出力輝度に対して輝度補正部３０３により輝度補正処理が行われた後のグラフを示す。又、縦軸に記載しているＳａｔは、光電変換素子の飽和レベルを示している。

３Ａは露光時間が長いため、被写体の光量が大きくなるとすぐにＳａｔレベルに到達する。３Ｂは露光時間が短いため、３Ａよりも被写体の光量が大きくなってからＳａｔレベルに到達する。輝度補正部３０３は、３Ｂの輝度出力に対し、所定のゲインを乗算することにより３Ａと３Ｂの輝度出力を合わせる。具体的には、長秒露光時の露光時間を短秒露光時の露光時間で除算したものをゲインとして、そのゲインを短秒露光画像の輝度出力に乗算することで、長秒露光で取得した画像の輝度出力と、短秒露光で取得した画像の輝度出力を同等の輝度値にする。

画像合成部３０４は、３Ａの輝度出力と３Ｂ’の輝度出力を合成することで、長秒露光画像と短秒露光画像を合成させた１枚のダイナミックレンジ拡大画像を生成する。
図３（Ｃ）は、実施例１において、画像合成部３０４により合成画像を生成する方法を説明するための図である。図３（Ｃ）において、横軸は入力輝度を表し、縦軸は長秒露光画像と短秒露光画像の合成比率を示す。又、横軸のα～βの輝度は、長秒露光画像と短秒露光画像の切り替え付近の輝度であり、理想的にはβの輝度を図３（Ｂ）のＳａｔ近傍の輝度に設定する事が好ましい。

入力輝度値がα以下では長秒露光画像の輝度値３Ａを１００％用いる。輝度値がα～βの範囲では、長秒露光画像の輝度値３Ａと、短秒露光画像の輝度値３Ｂ’夫々に対して図３（Ｃ）のグラフに示すような合成比率を乗算し、それらの結果を足し合わせる。輝度値がβ以上では、短秒露光画像の輝度値３Ｂ’を１００％用いる。このような処理を行うことで、長秒露光により取得した画像と短秒露光により取得した画像を合成し、ダイナミックレンジを拡大させた１枚の合成画像を生成する事が出来る。

ＨＤＲ合成部１０５により生成されたダイナミックレンジ拡大画像は階調圧縮部１０６に出力される。
階調圧縮部１０６は、ＨＤＲ合成部１０５により出力されたダイナミックレンジ拡大画像に対して、階調を圧縮するための入出力変換パラメータに基づいて階調圧縮処理を行う。

尚、図２，図３では、被写体を異なる露光時間で夫々撮像して得られた画像を合成した画像信号を出力することによってダイナミックレンジ拡大画像を生成している。しかし、被写体を異なる感度（ゲイン）で夫々撮像して得られた画像を合成した画像信号を出力することによってダイナミックレンジ拡大画像を生成しても良い。

本実施例における階調圧縮処理方法について、図４を用いて説明する。
図４（Ａ）は、実施例１の階調圧縮部１０６の構成の概要を示す機能ブロック図である。階調圧縮部１０６は、ビューイング用パラメータ記憶部４０１、センシング用パラメータ記憶部４０２、階調圧縮処理部４０３等から構成される。

ビューイング用パラメータ記憶部４０１は、ビューイングを行う際に階調圧縮部１０６で使用する画像を視認するのに適した入出力変換パラメータを記憶している。
図４（Ｂ）はビューイング用パラメータ記憶部４０１に記憶された入出力変換パラメータのパラメータ特性の例を示す図である。図４（Ｂ）の横軸は入力輝度で、縦軸は出力輝度を示している。本実施例では、２４ｂｉｔの入力輝度を１２ｂｉｔの出力輝度に変換するグラフを記載しているが、ｂｉｔ数はこの例に限定されない。

図４（Ｂ）のパラメータ特性では、人間の目が明部よりも暗部に対する敏感度が高いという視覚特性に基づいて、所定の輝度値以下に対してセンシング用パラメータより多くの階調を割り当てている。即ち、ビューイング用パラメータは、所定の輝度値以下に対する出力輝度の傾きが例えば図４（Ｃ）に示されるセンシング用パラメータより大きくなるように設定されている。一方、前記所定の輝度値より大きい中間輝度に対する出力輝度の傾きは、センシング用パラメータより小さくなるように設定されている。
このようなパラメータ特性にする事で、暗部の階調の表現力を向上させ、ビューイングに適した画質の表示が出来る。

センシング用パラメータ記憶部４０２は、センシングを行う際に階調圧縮部１０６で使用する画像認識を行うのに適した入出力変換パラメータを記憶している。
図４（Ｃ）はセンシング用パラメータ記憶部４０２に記憶された入出力変換パラメータのパラメータ特性の例を示す図である。図４（Ｃ）の横軸は入力輝度で、縦軸は出力輝度を示している。尚、図４（Ｃ）でも２４ｂｉｔの入力輝度を１２ｂｉｔの出力輝度に変換するグラフを記載しているが、ｂｉｔ数はこの例に限定されない。

図４（Ｃ）のグラフに示されるように、物体認識を行う場合は輝度値に依らず機械的に物体の輝度差を用いて特徴量を検出する事が多いため、本実施例においては全ての輝度に対して略均等に階調を割り当てている

即ち、センシング用パラメータは、所定の入力輝度値以下に対する出力輝度の傾きがビューイング用パラメータより小さくなるように設定されており、所定の輝度値以下に対してビューイング用パラメータより階調の割り当てが少ない。一方、前記所定値より大きい中間輝度に対する出力輝度の傾きは、ビューイング用パラメータより大きくなるように設定されている。これは画像認識において中間輝度の階調が十分に必要であるからである。本実施例では略均等に階調を割り当てているので、リニアな特性（カーブ）になっているが、物体認識の方法、特性、アルゴリズム仕様などに応じて、入出力変換パラメータの特性は適宜変更して良い。

ここで、上記２つのパラメータ記憶部に入出力変換パラメータを設定する方法について説明する。本実施例では、撮像システム１０１を起動させる際に、撮像システム制御部１０３が画像処理システム１０２からビューイング用とセンシング用の両方の入出力変換パラメータを取得する。取得された入出力変換パラメータのうち、図４（Ｂ）に示すようなビューイング用の入出力変換パラメータをビューイング用パラメータ記憶部４０１に記憶させる。又、図４（Ｃ）に示すようなセンシング用の入出力変換パラメータをセンシング用パラメータ記憶部４０２に記憶させる。

尚、本実施例では起動時にビューイング用とセンシング用の両方の入出力変換パラメータを取得しているが、他のタイミングでも良く、システム制御仕様に合わせて適切なタイミングで設定すれば良い。

又、本実施例では、画像処理システム１０２から入出力変換パラメータの情報を取得する前提で説明しているが、図４（Ａ）に示すように、撮像システム１０１内に、別途、撮像制御用ＲＯＭ４０４を設けて自動的に読み出しても良い。そうする事で、他のシステムとの情報の通信無しに、撮像システム１０１内だけで入出力変換パラメータの設定を完結させる事が出来る。

尚、入出力変換パラメータの情報を画像処理システム１０２から取得するか、撮像制御用ＲＯＭ４０４から取得するかを図４（Ａ）に示すように、スイッチにより選択できるようにしても良い。又、画像処理システム１０２は、例えばネットワークを介して外部のサーバ等から入出力変換パラメータを取得できるようにしても良い。それにより入出力変換パラメータのバージョンアップを容易に行うことができる。

又、本実施例では、パラメータ記憶部をビューイング用とセンシング用の２つ設けているが、１つだけでも良いし、３つ以上設けても良い。１つだけ設ける場合は、階調圧縮部１０６の回路規模は小さくなる。しかし、階調圧縮処理の設定を切り替える際には、撮像システム制御部１０３から入出力変換パラメータをその都度取得し、設定し直す必要がある為、切り替えに時間を要する。３つ以上設ける場合は、設定を切り替えるのは早いが、階調圧縮部１０６の回路規模が増大する。パラメータ記憶部の数は、許容されるシステム規模や要求される切り替え速度などに合わせて決定すれば良い。

本実施例の階調圧縮処理部４０３は、２つ以上の入出力変換パラメータに基づいて階調圧縮処理を行うように構成されており、撮像システム制御部１０３からの情報に基づいて、入出力変換パラメータを選択する。即ち、階調圧縮処理部４０３は、ビューイング用パラメータ記憶部４０１に設定されたビューイング用の入出力変換パラメータと、センシング用パラメータ記憶部４０２に設定されたセンシング用の入出力変換パラメータのどちらかを選択する。選択された入出力変換パラメータに基づいて、ＨＤＲ合成部１０５から出力された合成画像の輝度値に対応する出力輝度値を出力する事で階調圧縮処理を行う。階調圧縮部１０６により階調圧縮処理が行われた後、画像処理システム１０２に出力される。

画像処理システム１０２は、受信部１０７、伸長部１０８、画像処理部１０９、画像処理システム制御部１１０、運転モード検出部１１１、物体検出部１１２、表示部１１３等から構成される。

本実施例における画像処理システム１０２は撮像モードに対応した２つの運転モードを持ち、この２つの運転モードにおいて夫々異なる撮像モードで撮像システム１０１から画像を取得する。即ち、画像処理システム１０２は２つ以上の撮像モードで前記撮像システムから画像を取得する画像処理ステップを有する。

本実施例では、運転モードの１つ目は運転者が電子ミラーを見ながら主に手動で運転を行う手動運転モード、２つ目は画像処理システム１０２が車の周囲にある物体を画像認識しながら自動で運転を行う自動運転モードである。手動運転モードの場合は、ビューイング用のシステム制御を行い、自動運転モードの場合は、センシング用のシステム制御を行う。尚、自動運転モードとは、移動体としての自動車の運転（操舵やブレーキや発進停止等）を全て自動で行うものに限定されず、手動運転を支援するために物体認識等を用いて自動的にブレーキをかけたり警告するものを含む。

受信部１０７は、階調圧縮部１０６から出力された画像信号を受信するためのものである。受信された画像信号は、伸長部１０８に出力され、伸長処理が行われる。具体的には、階調圧縮部１０６により圧縮された輝度値を、例えば階調圧縮処理前と略同等の輝度値になるように伸長する。伸長部１０８は、階調圧縮部１０６と同様、ビューイング用とセンシング用の２種類の伸長パラメータを持ち、運転モードに応じて適切な伸長パラメータを設定する。

ビューイング用とセンシング用の伸長パラメータは、夫々図４（Ｂ）、（Ｃ）に示したビューイング用とセンシング用の圧縮特性の縦軸と横軸を夫々逆にした特性を有する。尚、本実施例では、センシング用の圧縮特性は図４（Ｃ）に示すようにリニアなので、センシング用の伸長パラメータもリニアとする。
伸長部１０８により伸長処理が行われた後、画像処理部１０９に出力される。

画像処理部１０９は、現像処理やホワイトバランス処理、その他にも運転モード等に応じて必要な画像処理を行う。例えば運転モードが手動運転モードの場合、運転者がビューイングを行うのに適した画質となるような画像処理を行う。各種画像処理を行った後は、運転者が画像を視認するための表示部１１３に、画像を表示させるための処理も行いビューイング用画像を生成する。尚、自動運転モードにおいても画像処理部１０９から出力されたビューイング用画像を表示部１１３に表示させるようにしても良い。

一方、運転モードが自動運転モードの場合、画像処理システム１０２がセンシングを行うのに適した画像処理を行う。即ち、物体検出部１１２が物体を検出する前に、例えば輪郭強調処理や色強調処理等の画像強調処理を事前に行う。尚、センシングを行うのに適したこれらの画像強調処理を施した画像は、人間が画像を観察するためのビューイングにおいて最適とならないので、前述のように表示部１１３に画像処理部１０９から出力されたビューイング用画像を表示させても良い。

その場合には、画像処理部１０９はセンシングを行うのに適した画像強調処理と、ビューイング用画像のための処理を同時に行うことになり負荷が増大する。従って、画像処理部をセンシングを行うのに適した画像強調処理を行うセンシング用の画像処理部と、ビューイング用画像のための処理を行うビューイング用画像処理部の２つを別々に設けても良い。

画像処理システム制御部１１０は、運転モードの検出や運転制御、前述した受信部１０７、伸長部１０８、画像処理部１０９の制御、撮像システム１０１への運転モードに関する情報の送信など、画像処理システム１０２全体の制御を行う。又、画像処理システム制御部１１０には、コンピュータとしてのＣＰＵが内蔵されており、記憶媒体としてのメモリに記憶されたコンピュータプログラムに基づき画像処理システム１０２の各部の動作を制御する制御部として機能する。

運転モード検出部１１１は、運転モードを検出するためのものであり、移動体に設けた移動体駆動制御装置から運転モード情報を取得する。尚、移動体駆動制御装置は移動体の移動を行うための駆動源としてのモータやエンジンの駆動制御を行うためのコンピュータを内蔵した装置であり、複数の運転モードを有する。

運転モード検出部１１１は、具体的には、現在の運転モードが、手動運転モードと自動運転モードのうちどちらの状態であるかを検出する。その検出結果から、画像処理システム制御部１１０は、ビューイング用の制御を行うか、センシング用の制御を行うかを判断する。そして画像処理システム制御部１１０は、撮像システム制御部１０３に、センシングとビューイングのうちどちらの状態であるかという情報を送信する。これを受信した撮像システム制御部１０３は、階調圧縮部１０６の入出力変換パラメータを、図４（Ｂ）と図４（Ｃ）のうち適切な方のパラメータに設定する。

物体検出部１１２は、運転モードが自動運転モードの場合に物体検出を行う。具体的には、画像処理部１０９からの出力画像に対して、物体の色や輪郭、特徴量などの情報から画像認識を行いた物体検出処理を行う。画像認識を行いた物体検出処理としては、例えばテンプレートマッチングなどの手法を用いても良い。画像処理システム制御部１１０は、物体検出結果を不図示の移動体駆動制御装置に送信し、移動体駆動制御装置は物体検出結果に基づき操舵、アクセル、ブレーキ等の、自動運転制御を行う。

表示部１１３は、撮像システムから取得された画像を表示するためのものであり、運転モードが手動運転モードの場合などに、運転者が車の周囲の状況を視認（ビューイング）するために用いる。具体的には、画像処理部１０９から出力されたビューイング用画像を表示させる。尚、前述のように、自動運転モードにおいても画像処理部１０９においてビューイング用画像を生成して表示部１１３で表示させるようにしても良い。本実施例では表示部１１３は例えば電子ミラーの形態を有するが、運転者が画像を視認できるものであればこの限りではない。又、運転者がリアルタイムで視認するための表示部１１３とは別に、ドライブレコーダーなどの記録部に画像を記録しても良い。

更に、画像処理システム１０２は、通信部を設けて移動体の外部とネットワークを通して双方向通信をし、例えば画像を送信して外部サーバ等の記録部に画像を記録しても良い。尚、これらの記録部に記録する画像はビューイング用画像に限らず、センシング用画像であっても良いし、或いは伸長部１０８で伸長する前の階調が圧縮された画像であっても良い。

図５は、実施例１の画像処理システム制御フローを説明するためのフローチャートであり、実施例１における画像処理システムの制御フローについて、図５を用いて説明する。尚、車載カメラシステム１００の内部のコンピュータが、メモリに記憶されたコンピュータプログラムを実行することによって図５のフローチャートの各ステップの動作が行われる。

ステップＳ５０１では、車載カメラシステム１００のコンピュータが階調圧縮部１０６に対して入出力変換パラメータの初期設定を行う。具体的には、階調圧縮部１０６に予め記憶させた２つの入出力変換パラメータのうち、センシング用の入出力変換パラメータ（図４（Ｃ））を初期設定値として選択する。尚、本実施例では、自動運転モードに適した環境であるものとしてセンシングを優先し初期値として設定した。しかし、もし認識する被写体が少ないなど自動運転に不向きな環境であれば、ビューイング用の入出力変換パラメータ（図４（Ｂ））を初期値として設定しても良い。

ステップＳ５０２では、画像処理システム制御部１１０が、運転モード検出部１１１を用いて、現在の運転モードが自動運転モードと手動運転モードのうちどちらの状態であるかを検出する。

ステップＳ５０３では、ステップＳ５０２で検出された運転モードが自動運転モードであるかどうかを画像処理システム制御部１１０が判定する。判定結果が自動運転モードである場合はセンシング用のシステム制御を行うためにステップＳ５０４に進む。判定結果が自動運転モードでなかった場合はビューイング用のシステム制御を行うためにステップＳ５０５に進む。

ステップＳ５０４では、階調圧縮部１０６にセンシング用の入出力変換パラメータを設定する。具体的には、画像処理システム制御部１１０から撮像システム制御部１０３に、現在センシングを行っている状態であるという情報を送信する。そしてその情報を受信した撮像システム制御部１０３は、階調圧縮部１０６が図４（Ｃ）の入出力変換パラメータを使用するように設定する。入出力変換パラメータを設定して階調圧縮を行わせた後、再びステップＳ５０２の処理に戻る。

ステップＳ５０５では、ビューイング用の入出力変換パラメータを設定する。具体的には、画像処理システム制御部１１０から撮像システム制御部１０３に、自動運転モードでないという情報を送信する。そしてその情報を受信した撮像システム制御部１０３は、階調圧縮部１０６が図４（Ｂ）のビューイング用の入出力変換パラメータを使用するように設定する。入出力変換パラメータを設定して階調圧縮を行わせた後、再びステップＳ５０２の処理に戻る。このように、本実施例では、２つ以上の入出力変換パラメータに基づいて画像信号に階調圧縮処理を行う階調圧縮ステップを有する。

又、以上説明したように、撮像システム制御部１０３は、画像処理システム１０２における運転モード（撮像モード）に基づいて階調圧縮部１０６における入出力変換パラメータを設定する撮像システム制御ステップを実行する。それによって、撮像画像の使用目的や用途に応じた最適な階調圧縮処理を行う事が可能となり、階調圧縮処理に伴うビューイング向けの画質の劣化や、センシング向けの物体認識性能の低下を抑える事が出来る。

尚、本実施例では、階調圧縮部１０６に記憶させるパラメータとして、センシング用とビューイング用の２つの入出力変換パラメータを用いて説明したが、これらに加え、更に他のパラメータも用いても良い。例えば、撮像モード（運転モード）として暗視モードを設け、暗視モードにおいて、暗視モード用の入出力変換パラメータに切替えるようにしても良い。即ち、例えば運転モードとして更に夜間用の暗視ビューイングモードを設け、通常のビューイングモードに対して暗部への階調を更に多めに割り当てた暗視ビューイング用の入出力変換パラメータを新たに持たせても良い。

又、運転モードとして更に夜間用の暗視センシングモードを設け、通常のセンシングモードに対して暗部への階調を多めに割り当てた新たな暗視センシング用の入出力変換パラメータを持たせても良い。入出力変換パラメータの種類が多ければ多いほど、目的や用途に応じてより適切な階調圧縮処理を行う事が出来る。

又、３つ以上の入出力変換パラメータを切り替える場合には、優先度の高いパラメータから順に階調圧縮部１０６に設定し、優先度が変わった場合に階調圧縮部１０６に設定する入出力変換パラメータを上書きしながら更新していっても良い。例えば、日中は階調圧縮部１０６に通常のセンシング用とビューイング用の入出力変換パラメータの２種類を記憶させておき、夜間には暗視センシング用と暗視ビューイング用の入出力変換パラメータを階調圧縮部１０６に上書きし直しても良い。このような制御を行うことで、階調圧縮部１０６の回路規模を抑えつつ、多種類の入出力変換パラメータの切り替えを即時に行う事が可能となる。

又、本実施例では、図４（Ｂ）と図４（Ｃ）の入出力変換パラメータを直接切り替える前提で説明したが、図４（Ｂ）と図４（Ｃ）の間に遷移用パラメータをいくつか持たせて、その遷移用パラメータを介して徐々に切り替えても良い。

図６は、実施例１の階調圧縮部１０６で用いる入出力変換パラメータの切り替え時に遷移用パラメータを用いる場合の概念図である。
例えば、図６に示すように、図４（Ｂ）と図４（Ｃ）の入出力変換パラメータの間に遷移用パラメータを３種類（６ａ、６ｂ、６ｃ）設ける。センシング用のパラメータからビューイング用のパラメータに切り替える際には、時間経過とともにセンシング用パラメータから、６ａ、６ｂ、６ｃの遷移用パラメータを経由後、ビューイング用のパラメータとなるように徐々に変更しても良い。このような制御を行うことで、階調性能が急激に変化した事により異常な運転（急発進、急ブレーキ、急旋回など）が発生する可能性を低減出来る。

更に、入出力変換パラメータを徐々に変化させる際に、運転者の心理状態や、移動体の操作状況、移動体の速度、被写体の輝度分布（ヒストグラム）などに応じて、入出力変換パラメータの切り替え方を変更しても良い。例えば、運転モードを手動運転モードから自動運転モードに切替える際に、運転者が心理的に不安でまだ自動運転モードに切替えたくないと考えている場合がある。そのような運転者の心理状態は運転者の顔画像などに基づきＡＩにより判別可能である。

又、頻度は少なくても操舵が定期的に行われているなどの操作履歴情報から運転者の心理状況を判別することも可能である。そのような運転者の心理状態や、操作履歴がある場合や、車速が速く自動運転モードに切替えるとリスクが大きい場合には、切り替えを所定時間以上遅延させるようにしても良い。

更に、輝度分布に基づき、輝度のヒストグラムの度数が高い部分の階調が低い部分の階調よりも高くなるように入出力変換パラメータのカーブを変更しても良い。又、度数の偏りが所定レベル以上の場合には、度数が所定値より高い部分のみの階調を検出するようなセンシング用の入出力変換パラメータのカーブに切り替えても良い。このように、移動体の運転者の心理状態、移動体の操作状況、移動体の速度、被写体の輝度分布の少なくとも１つに応じて入出力変換パラメータの切り替え方を変更することで、より最適な階調特性を得ることができる。

又、例えば通常のセンシングモードから暗視センシングモードに切り替える際に、被写体の明るさの変化が日没のように遅い場合は切り替えを通常よりも遅めに遷移させ、トンネルの入出口などのように急激に変化した場合は遷移を早める方法などもある。そうすることで、入出力変換パラメータの切り替えの遅延時間を、運転状況や環境条件に応じて適切に制御することが出来る。

更に、センシング用のパラメータからビューイング用のパラメータに切り替える際の切り替え応答時間と、ビューイング用のパラメータからセンシング用のパラメータに切り替える際の切り替え応答時間を異ならせても良い。

以上述べたように、運転モード等の撮像モードに応じて階調圧縮部１０６に適切な入出力変換パラメータを設定することで、階調圧縮処理に伴うビューイング向けの画質性能や、センシング向けの物体認識性能が低下するのを最小限に抑える事が出来る。

＜第２の実施形態＞
以下、本発明の実施例２について説明する。実施例１では、階調圧縮部から画像処理部までの画像伝送パスを１つしか設けていなかったのに対し、実施例２では２つ設けている。目的としては、ビューイングとセンシングを同時に行いたい場合に、ビューイング用の画像とセンシング用の画像夫々に最適な階調圧縮処理を行い、かつそれらを両方同時に出力するためである。

本実施例では、その２つのパスをパスＡとパスＢとしており、２画像同時出力を行わない場合はパスＡを優先して使用し、２画像同時出力を行う際にパスＡに加え、パスＢも用いる仕様とする。但し、上記に限定せず１画像出力と２画像出力を切り替えられれば他の方法でも構わない。

図７は、実施例２における車載カメラシステム７００の機能ブロック図である。本実施例における図７の７００～７１３の構成は、図１の１００～１１３の構成と対応しており、かつ同等の機能を持つ。（但し、階調圧縮部Ａ７０６、受信部Ａ７０７、伸長部Ａ７０８、画像処理部Ａ７０９については、パスＡとパスＢを区別するため、各部の名称の後にパスＡであることを示すＡを付記している）

以下、図１と重複する内容は省略し、本実施例における差分のみに限定して説明する。
尚、図７に示される機能ブロックの一部は、車載カメラシステム７００に含まれる不図示のコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

尚、撮像システム７０１内の機能ブロックは、夫々同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。同様に、画像処理システム７０２内の機能ブロックも、夫々同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

実施例２では、実施例１の構成に加えて、更に階調圧縮部Ｂ７１４、受信部Ｂ７１５、伸長部Ｂ７１６、画像処理部Ｂ７１７を設ける。又、それらの機能は、階調圧縮部Ａ７０６（１０６）、受信部Ａ７０７（１０７）、伸長部Ａ７０８（１０８）、画像処理部Ａ７０９（１０９）と同等である。

本実施例では、センシング用の画像を優先的に使用し、必要に応じてビューイング用の画像も用いるように構成している。即ち、階調圧縮部Ａ７０６（第１の階調圧縮手段）にはセンシング用の入出力変換パラメータ（図４（Ｃ））を、階調圧縮部Ｂ７１４（第２の階調圧縮手段）にはビューイング用の入出力変換パラメータ（図４（Ｂ））を予め記憶させている。ビューイング用の画像を優先的に使用したい場合は、ビューイングとセンシングのパラメータを逆にしても良いし、パラメータは変更せず、パスＡとパスＢの優先度を入れ替えても良い。

受信部Ｂ７１５は、受信部Ａ７０７と同様に、階調圧縮部Ｂ７１４から出力された画像信号を受信する処理を行う。
伸長部Ａ７０８には、センシング用の伸長パラメータを設定し、伸長部Ｂ７１６にはビューイング用の伸長パラメータを設定する。

画像処理部Ａ７０９は、画像処理システム１０２がセンシングを行うのに適した画像処理を行う。又、物体検出部７１２が物体を検出する前に、事前に画像強調処理なども行う。
画像処理部Ｂ７１７は、運転者がビューイングを行うのに適した画質となるような画像処理を行う。各種画像処理を行った後は、運転者が画像を視認するための表示部７１３に画像を表示させるための処理も行う。

図８は、実施例２の画像処理システム制御フローを説明するためのフローチャートであり、実施例２における画像処理システム制御フローについて、図８を用いて説明する。尚、車載カメラシステム７００の内部のコンピュータが、メモリに記憶されたコンピュータプログラムを実行することによって図８のフローチャートの各ステップの動作が行われる。

ステップＳ８０１では、車載カメラシステム７００の内部のコンピュータが階調圧縮部Ａ７０６と階調圧縮部Ｂ７１４（第２の階調圧縮手段）に対して入出力変換パラメータの初期設定を行う。具体的には、階調圧縮部Ａ７０６に予め記憶させたセンシング用の入出力変換パラメータ（図４（Ｃ））を初期値として設定する。又、階調圧縮部Ｂ７１４には、階調圧縮部Ｂ７１４に予め記憶させたビューイング用の入出力変換パラメータ（図４（Ｂ））を初期値として設定する。

ステップＳ８０２は実施例１のステップＳ５０２と同様であるため、説明を省略する。
ステップＳ８０３では、画像処理システム制御部７１０は、運転モードの判定結果に基づいて、センシングとビューイングの両方の機能が必要かどうかを判定する。両方の機能が必要な運転モードであると判定された場合、画像処理システム制御部７１０から撮像システム制御部７０３にその情報を送信する。
その場合ステップＳ８０４において、その情報を受信した撮像システム制御部７０３は、パスＡとパスＢの両方を有効化し、ＨＤＲ処理部７０５から階調圧縮部Ａ７０６と階調圧縮部Ｂ７１４の両方に合成画像を出力させる。

ステップＳ８０３において、画像処理システム制御部７１０により、センシングとビューイングの両方の機能を必要としない運転モードであると判定された場合、ステップＳ８０５において、パスＡのみを有効化する。そして、撮像システム制御部７０３は、ＨＤＲ処理部７０５から階調圧縮部Ａ７０６のみに合成画像を出力させる。
ステップＳ８０４、ステップＳ８０５を実行後、再びステップＳ８０２に戻る。

以上のように、センシング用とビューイング用の両方の画像を要する運転モードの場合、異なる２つの階調圧縮部を用いて、センシングに適した階調圧縮処理を行った画像と、ビューイングに適した階調圧縮処理を行った画像を同時に生成する。それにより、階調圧縮処理に伴う性能低下を最小限に抑えた、ビューイング用とセンシング用の両方の画像を同時に出力する事が出来る。

なお、上述の実施形態においては自動車などの移動体にカメラシステムを搭載した例について説明した。しかし、本実施形態の移動体は、自動車などの車両に限らず、列車、船舶、飛行機、ロボット、ドローンなどの移動をする移動装置であればどのようなものであってもよい。
また、移動体をリモートでコントロールする場合にも本実施形態を適用することができる。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
尚、本実施例における制御の一部又は全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介してカメラシステム等に供給するようにしてもよい。そしてそのカメラシステム等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００：車載カメラシステム
１０１：撮像システム
１０２：画像処理システム
１０３：撮像システム制御部
１０４：撮像部
１０５：ＨＤＲ合成部
１０６：階調圧縮部
１０７：受信部
１０８：伸長部
１０９：画像処理部
１１０：画像処理システム制御部
１１１：運転モード検出部
１１２：物体検出部
１１３：表示部
３０１：長秒露光画像メモリ
３０２：短秒露光画像メモリ
３０３：輝度補正部
３０４：画像合成部
４０１：ビューイング用パラメータ記憶部
４０２：センシング用パラメータ記憶部
４０３：階調圧縮処理部
４０４：撮像制御用ＲＯＭ
７００：車載カメラシステム
７０１：撮像システム
７０２：画像処理システム
７０３：撮像システム制御部
７０４：撮像部
７０５：ＨＤＲ合成部
７０６：階調圧縮部Ａ
７０７：受信部Ａ
７０８：伸長部Ａ
７０９：画像処理部Ａ
７１０：画像処理システム制御部
７１１：運転モード検出部
７１２：物体検出部
７１３：表示部
７１４：階調圧縮部Ｂ
７１５：受信部Ｂ
７１６：伸長部Ｂ
７１７：画像処理部Ｂ

Claims (12)

1. 被写体を撮像し画像信号を生成する撮像手段と、
   ２つ以上の入出力変換パラメータに基づいて前記画像信号に階調圧縮処理を行うための階調圧縮手段と、
   前記階調圧縮手段における前記入出力変換パラメータを設定する撮像システム制御手段とを有する撮像システムと、
   ２つ以上の撮像モードで前記撮像システムから画像を取得する画像処理システムとから構成され、
   前記撮像システム制御手段は、前記画像処理システムにおける前記撮像モードに基づいて、前記階調圧縮手段における前記入出力変換パラメータを設定することを特徴とするカメラシステム。
2. 前記２つ以上の前記入出力変換パラメータは、画像を視認するのに適したビューイング用パラメータと、画像認識を行うのに適したセンシング用パラメータを少なくとも含むことを特徴とする請求項１に記載のカメラシステム。
3. 前記ビューイング用パラメータは、所定の入力輝度値以下の階調が前記センシング用パラメータよりも多いことを特徴とする請求項２に記載のカメラシステム。
4. 前記画像処理システムは、前記撮像モードに対応した自動運転モードと手動運転モードの２つの運転モードを有し、
   前記撮像システム制御手段は、前記自動運転モードの場合は前記センシング用パラメータ、前記手動運転モードの場合は前記ビューイング用パラメータとなるように、前記入出力変換パラメータを設定することを特徴とする請求項２又は３に記載のカメラシステム。
5. 前記撮像システム制御手段は、前記階調圧縮手段に設定する前記入出力変換パラメータを切り替える際に、遷移用のパラメータを介して前記入出力変換パラメータを切り替えることを特徴とする請求項１～４のいずれか１項に記載のカメラシステム。
6. 前記撮像システム制御手段は、移動体の運転者の心理状態、移動体の操作状況、移動体の速度、被写体の輝度分布の少なくとも１つに応じて、前記入出力変換パラメータの切り替え方を変更することを特徴とする請求項１～５のいずれか１項に記載のカメラシステム。
7. 前記画像処理システムは更に暗視モードを有し、前記暗視モードにおいて、暗視モード用の入出力変換パラメータに切替えることを特徴とする請求項１～６のいずれか1項に記載のカメラシステム。
8. 前記階調圧縮手段は前記センシング用パラメータで階調圧縮処理を行う第１の階調圧縮手段と、前記ビューイング用パラメータで階調圧縮処理を行う第２の階調圧縮手段とを有することを特徴とする請求項２に記載のカメラシステム。
9. 前記撮像手段は、被写体を異なる露光時間又は感度で夫々撮像して得られた画像を合成した前記画像信号を出力することを特徴とする請求項１～８のいずれか1項に記載のカメラシステム。
10. 請求項１～９のいずれか１項に記載のカメラシステムと、
    前記撮像システムから取得された画像を表示する表示手段を有することを特徴とする移動体。
11. 被写体を撮像し画像信号を生成する撮像ステップと、
    ２つ以上の入出力変換パラメータに基づいて前記画像信号に階調圧縮処理を行う階調圧縮ステップと、
    前記階調圧縮ステップにおける前記入出力変換パラメータを設定する撮像システム制御ステップと、
    ２つ以上の撮像モードで前記撮像システム制御ステップより画像を取得する画像処理ステップと、を有し、
    前記撮像システム制御ステップにおいて、前記画像処理ステップにおける前記撮像モードに基づいて、前記階調圧縮ステップにおける前記入出力変換パラメータを設定することを特徴とするカメラシステムの制御方法。
12. 請求項１～９のいずれか１項に記載のカメラシステム又は請求項１０に記載の移動体の各手段をコンピュータにより制御するためのコンピュータプログラム。