JP2007189369A - カメラのレンズ汚れ検出装置及び画像表示システム - Google Patents

Abstract

【課題】しきい値を設定してレンズ汚れの有無を判断する手法とは全く別の手法により、光学機器側に追加的な部品や機能等を設けることなくレンズの汚れを検出することができる「カメラのレンズ汚れ検出装置及び画像表示システム」を提供すること。
【解決手段】レンズを通して入射された光を複数の受光素子を備えたイメージセンサを通して画像信号に変換し、該変換された画像信号を適宜ゲイン制御及び信号処理して出力する機能を備えたカメラに接続され得るように適応されたレンズ汚れ検出装置において、制御部により、カメラの出力画像データから輝度の変化量が他のピクセル領域と比べて小さいピクセル領域を検出したときに（Ｓ２１〜Ｓ２３、Ｓ２５）、当該ピクセル領域に対応するレンズ部分に汚れが付着していると判断する（Ｓ２４）。さらに表示装置とを備え、レンズ汚れ検出に係るメッセージを画面に表示させるようにしてもよい。
【選択図】図５

Description

本発明は、デジタルカメラ等におけるレンズの汚れを検出する技術に関し、特に、車載用に適応されたカメラのレンズ汚れ検出装置、及びこの装置を備えた画像表示システムに関する。

従来、光学機器に使用されているレンズの汚れ（ゴミや指紋などの付着）を検出する手法として、例えば、特許文献１に記載されているような光ヘッドにおける反射鏡を使用した例がある。この特許文献１に開示されている技術では、光ディスク装置において、ディスクの最外周のやや外側で光ヘッドの移動路の延長上に、反射鏡とシャッターからなる汚れ検出部を設け、ディスク等によって反射されるレーザ光を反射鏡に当て、反射してくるレーザ光を受光素子で検出し、その検出値がしきい値を超えるかどうかを判断することにより、レンズの汚れを書込み以前に検出できるようにしている。
特開平５−５４４１７号公報

上述したように特許文献１に記載されたレンズ汚れ検出に係る技術では、汚れ検出の対象は「光ディスク装置の光ヘッドにおけるレンズ」であり、かかる光ヘッドに設けられる受光素子は１個で済む。このため、この単一の受光素子に対して任意のしきい値を設定しておけば、たとえ光源の種類やその配置等が変更されたとしても、この受光素子に対して常に一定量の光源入力を与えることができる。このように受光素子が１個で済むような光ディスク装置等の光学機器をレンズ汚れ検出の対象としている場合には、特に不都合は生じない。

しかしながら、デジタルカメラ等のように複数の受光素子（ＣＣＤなど）を内蔵した光学機器をレンズ汚れ検出の対象とした場合には、外界の環境により光源は個々別々であるので、各受光素子の一つ一つに対して一定量の光源入力を与えることは困難である。このため、受光素子が１個で済むような光ディスク装置等の光学機器の場合とは違い、任意のしきい値を設定してレンズ汚れの有無を判断する手法は適用できないといった課題があった。

また、特許文献１に記載された技術では、レンズ汚れ検出を行うために反射鏡とシャッターからなる汚れ検出部を設ける必要があり、その分、光ヘッド（光学機器）側の部品点数が増えるといった不利もあった。

本発明は、かかる従来技術における課題に鑑み創作されたもので、しきい値を設定してレンズ汚れの有無を判断する手法とは全く別の手法により、光学機器側に追加的な部品や機能等を設けることなくレンズの汚れを検出することができるカメラのレンズ汚れ検出装置及び画像表示システムを提供することを目的とする。

上述した従来技術の課題を解決するため、本発明の一形態によれば、レンズを通して入射された光を複数の受光素子を備えたイメージセンサを通して画像信号に変換し、該変換された画像信号を適宜ゲイン制御及び信号処理して出力する機能を備えたカメラに接続され得るように適応されたレンズ汚れ検出装置であって、前記カメラの出力画像データから輝度の変化量が他のピクセル領域と比べて小さいピクセル領域を検出したときに、当該ピクセル領域に対応するレンズ部分に汚れが付着していると判断する制御部を備えたことを特徴とするカメラのレンズ汚れ検出装置が提供される。

この形態に係るカメラのレンズ汚れ検出装置によれば、カメラから出力された画像データに基づき、輝度の変化量が他のピクセル領域と比べて小さくなっている部分のピクセル領域が有るかどうかを判別し、「有る」と判別したときにその対応するレンズ部分に「汚れ」が付着していると判断している。つまり、従来のようにしきい値を設定してレンズの汚れを検出する手法とは違い、輝度の変化量の大小を判別することでレンズの汚れを検出することができるので、従来のように光学機器側に追加的な部品や機能等を設ける必要がない。

本発明の他の形態によれば、上記の形態に係るカメラのレンズ汚れ検出装置と、画面を通して情報を提供する表示装置とを備え、前記制御部は、前記レンズの汚れを検出したときに、該レンズ汚れ検出に係るメッセージを前記表示装置の画面に表示させることを特徴とする画像表示システムが提供される。

本発明に係るカメラのレンズ汚れ検出装置及び画像表示システムの他の構成上の特徴及びそれに基づく具体的な動作態様、処理態様等については、後述する発明の実施の形態を参照しながら詳細に説明する。

以下、本発明の実施の形態について、添付の図面を参照しながら説明する。

図１は本発明の一実施形態に係るカメラのレンズ汚れ検出装置の概略構成を模式的に示したものである。本実施形態では、本発明に係るカメラのレンズ汚れ検出装置をトップビュー表示機能を備えた車載用画像表示システム５０の一部として組み込んだ場合の構成例を示している。ここに、「トップビュー表示」とは、ディスプレイの画面上で自車両を真上から見た表示であり、典型的なトップビュー表示機能によれば、予め自車画像をメモリ等に記憶させておき、その一方で複数の車載カメラにより車両周囲の各方向の画像を取得し、取得した各画像を自車両の上方からの視点に変換した後の車両周囲の画像と、上記の自車画像とを必要なときに合成して、ディスプレイの画面に表示する。

本実施形態に係るカメラのレンズ汚れ検出装置をその一部として組み込んだ車載用画像表示システム５０は、図１に示すように４台の車載カメラ（前方カメラ１０ａ、後方カメラ１０ｂ、左方カメラ１０ｃ及び右方カメラ１０ｄ）と、各車載カメラ１０ａ〜１０ｄで取得された画像のデータを適宜画像処理する電子制御ユニット（ＥＣＵ）２０と、この画像処理されたデータ（情報）を画面に表示するディスプレイ装置３０とを備えている。ＥＣＵ２０は、後述するようにカメラのレンズ汚れ検出に係る処理を制御する機能を有しており、本実施形態に係る「カメラのレンズ汚れ検出装置」を構成する。この機能については後で説明する。

各車載カメラ１０ａ，１０ｂ，１０ｃ及び１０ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を取得するためのものであり、車両の適当な箇所に設置されている。特に図示はしないが、前方カメラ１０ａは車両の前部（例えば、車室内のルームミラーの近傍）に、後方カメラ１０ｂは車両の後部（リヤ側の後ろ側の天井部分の近傍）に、左方カメラ１０ｃ及び右方カメラ１０ｄはそれぞれ車両の左側部及び右側部（例えば、ドアミラーの下部）に設置されている。また、本実施形態では、各車載カメラ１０ａ〜１０ｄは、各々のレンズ（魚眼レンズ）が若干下方を向くように位置決めされ、広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１０ａ〜１０ｄが協働して自車両の全周囲を撮影できるように配置されている。

電子制御ユニット（ＥＣＵ）２０は、車室内のセンターコンソールの内側（いわゆるダッシュボードの内部）に設置されている。このＥＣＵ２０の内部構成については後で説明する。また、ディスプレイ装置３０はＬＣＤモニタ等からなり、センターコンソールのほぼ中間位置において内側に収納され、必要に応じて表示画面がセンターコンソール上に現れるように設置されている。このディスプレイ装置３０の画面には、ＥＣＵ２０からの制御に基づいて、各車載カメラ１０ａ〜１０ｄから出力された画像データを適宜画像処理して得られた車両周囲画像（トップビュー画像）が表示され、さらに、後述するように必要に応じて、レンズ汚れ検出に係るメッセージ情報が表示される。

次に、レンズ汚れの検出対象である各車載カメラ１０ａ〜１０ｄの内部構成について、図２を参照しながら説明する。

図示のように車載カメラ１０（ａ〜ｄ）は、被写体で反射された光を透過させる光学レンズ１１と、このレンズ１１を通して入射された光を当該被写体に応じた画像信号に変換するＣＣＤイメージセンサ１２と、このＣＣＤイメージセンサ１２を駆動するＣＣＤドライバ１３と、ＣＣＤイメージセンサ１２から出力されるアナログの画像信号に対して各種処理を行うアナログフロントエンド（Ｆ／Ｅ）１４と、このアナログＦ／Ｅ１４を通して適宜信号処理された画像データに対して各種デジタル信号処理を行うデジタル信号プロセッサ（ＤＳＰ）１５と、このＤＳＰ１５からの制御に基づきアナログＦ／Ｅ１４を通して適宜信号処理された画像データ（デジタル）を格納しておくためのフラッシュメモリ等のメモリ１６と、ビデオエンコーダ１７とを備えている。さらに、電源部（図示せず）も備えており、必要に応じて各機能ブロックにそれぞれ所要の電源電圧が供給されるようになっている。なお、図示の構成例では、ＣＣＤイメージセンサ１２を使用しているが、これに代えてＣＭＯＳイメージセンサを使用してもよい。

アナログＦ／Ｅ１４は、特に図示はしないが、ＣＣＤイメージセンサ１２で取得されたアナログの画像信号からノイズ成分を除去するためのフィルタ、そのアナログの画像信号を増幅するアンプ、その増幅されたアナログ信号をデジタル画像信号に変換するＡ／Ｄ変換器などの機能ブロックを有している。このアナログＦ／Ｅ１４は、基本的には、ＣＣＤイメージセンサ１２の出力をＡ／Ｄ変換する際の入力ゲインを制御したり、ＣＣＤドライバ１３に対してＣＣＤイメージセンサ１２を駆動するのに必要な制御信号を供給するものであり、特に本発明に関連する処理として、後述するようにＥＣＵ２０から供給されるゲイン制御信号ＧＣに基づいてＡ／Ｄ変換の際の入力ゲインを制御する。

ＤＳＰ１５は、基本的には、アナログＦ／Ｅ１４を通してノイズ除去、Ａ／Ｄ変換、及びゲイン制御されたデジタルの画像データに対して、一般的なデジタルカメラにおいて行われているのと同様のデジタル信号処理、ガンマ（γ）補正等の信号加工や補正、ＹＵＶ信号への変換処理等を行う。デジタル信号処理には、例えば、自動焦点、自動露光、自動ホワイトバランス調整などの画像処理の他に、イメージセンサ１２の画素数が大きい場合（高解像度の場合）にその取得画像をＶＧＡ（６４０×４８０ドットの解像度）やＱＶＧＡ（３２０×２４０ドットの解像度）など所要の解像度に合わせた出力画像サイズに「リサイジング」する処理なども含まれる。また、ＹＵＶは、周知のようにコンポジット映像信号で基準として使用されている表色系であり、Ｙは輝度信号、Ｕは輝度信号と青色成分の差で定義される色差信号、Ｖは輝度信号と赤色成分の差で定義される色差信号を表している。例えば、ＹＵＶ４２２は各成分を４：２：２にサンプリングする形式であり、水平方向の１つのＹに対して１つのＵ及びＶが対応する。ＹＵＶ４２０は、垂直／水平方向の２×２のＹに対して１つのＵ及びＶが対応するようにサンプリングする形式である。このようにＤＳＰ１５を通してデジタル信号処理がなされた画像データは、γ補正等の信号加工や補正、ＹＵＶ信号への変換処理等を経て、ビデオエンコーダ１７に出力される。

ビデオエンコーダ１７では、そのデジタル画像信号（ＹＵＶ信号）をアナログの画像信号（ＮＴＳＣ信号）に変換して、ＥＣＵ２０への伝送ライン上に出力する。

次に、レンズ汚れ検出に係る処理を制御する電子制御ユニット（ＥＣＵ）２０の内部構成について、図３を参照しながら説明する。

図示のようにＥＣＵ２０は、各車載カメラ１０ａ〜１０ｄから転送されてきたアナログの画像データをデジタルデータに変換する画像入力部（Ａ／Ｄ）２１と、データ格納用のメモリ２２と、制御部としてのＣＰＵ２３と、画像処理部２４と、ＣＰＵ２３で行う各種処理（トップビュー表示に係る処理、カメラのレンズ汚れ検出に係る処理など）を規定したプログラムを格納したメモリ２５と、車両情報検出部２６とを備えている。

メモリ２２は、例えば、フラッシュメモリ等の半導体メモリからなる。このメモリ２２には、ＣＰＵ２３からの制御に基づき、画像入力部２１を通してＡ／Ｄ変換された画像データ（各車載カメラ１０ａ〜１０ｄで取得された車両周辺の画像データ）や、画像処理部２４で画像処理されたデジタル画像データ（車両周辺の画像データの視点変換後の俯瞰画像データ）が格納されると共に、予め準備された自車両の画像（自車画像）のデータが格納されている。さらにメモリ２２には、本発明に関連する情報として、後述するようにカメラのレンズ汚れ検出に係る処理の過程で発生した情報（各ピクセルの値や、輝度／色差の差分値など）が格納されると共に、予め準備されたレンズ汚れ検出に係るメッセージ情報も格納されている。

画像処理部２４は、ＣＰＵ２３からの制御に基づき、メモリ２２に格納されている画像データを参照して、各車載カメラ１０ａ〜１０ｄで取得された各方向（自車両の前方、後方、左方及び右方）の画像の視点をそれぞれ自車両の上方からの視点に変換した画像（俯瞰画像）を生成し、生成された各方向の俯瞰画像を合成して車両周囲の画像を生成し、さらに、生成された車両周囲の画像（俯瞰画像）に自車画像を合成してトップビュー画像を生成する。さらに画像処理部２４は、ＣＰＵ２３からの制御に基づき、予めメモリ２２に記憶させておいたレンズ汚れ検出に係るメッセージ情報をディスプレイ装置３０に転送する機能も有している。

車両情報検出部２６は、車両に装備された各種センサ等（図示せず）の出力信号から自車両の状態を指示する情報を検出するためのブロックである。例えば、ＧＰＳ受信機の出力から車両位置を検出し、距離センサやジャイロ等の角度センサの出力、ステアリング回転角信号などから車速や車両方位等を検出し、シフト位置検出センサの出力から車両の進行方向を検出し、イグニション・キーのオン／オフ出力からエンジン起動／停止の状態を検出する。

ＣＰＵ２３は、基本的には、各車載カメラ１０ａ〜１０ｄから出力された画像データに基づいて画像処理部２４に対しトップビュー表示に係る各種画像処理を制御するものである。車両情報検出部２６で検出された車両状態指示情報の一部は、このトップビュー表示機能を「オン」させるためのトリガとして用いられる。例えば、車速や車両方位、車両の進行方向を指示する情報を検出し、適宜演算処理して、「車両が後ろ向き（バック）に駐車しようとしている状態」にあることを検出した時に、トップビュー表示機能を「オン」させるようにする。さらにＣＰＵ２３は、本発明に関連する処理として、後述するようにカメラのレンズ汚れ検出のための各種演算処理を行い、特定的な一実施態様では、カメラ感度（ゲイン）を多段的にアップ（ゲイン０→１→２）させるためのゲイン制御信号ＧＣを生成し、出力する。

以下、本実施形態に係るカメラのレンズ汚れ検出装置（ＥＣＵ２０）が行うカメラのレンズ汚れ検出に係る第１の処理について、その処理フローの一例を示す図４及び図５を参照しながら説明する。併せて、図６に示す補足説明図も参照する。

なお、図４は全体として、取得した画像データの各フレームにおける各ライン毎に隣接するピクセル（画素）間の輝度情報を比較する処理を示しており、図５は全体として、その比較処理に基づいてレンズ汚れを判定する処理を示している。

先ず図４を参照すると、最初のステップＳ１では、ＣＰＵ２３において、カメラ感度を最小値（０）に設定する旨を指示するゲイン制御信号ＧＣを生成し、車載カメラ側のアナログＦ／Ｅ１４に供給する。つまり、アナログＦ／Ｅ１４において画像信号をＡ／Ｄ変換する際の入力ゲインを「ゲイン０」に設定する。

次のステップＳ２では、ＣＰＵ２３からの制御に基づき画像入力部２１を介してメモリ２２に、その設定されたカメラ感度（この場合、ゲイン０）で車載カメラから出力された１フレーム分の画像データを取り込む（フレームキャプチャ）。

次のステップＳ３では、ＣＰＵ２３において、比較対象とすべきピクセルを含むラインを指定する。この場合、当該フレームの最初のラインから順次比較を行うため、ライン番号（ＬＮ）として「１」を指定する。

次のステップＳ４では、ＣＰＵ２３により、メモリ２２から当該ライン（この場合、ＬＮ＝１）のデータを読込む。

次のステップＳ５では、ＣＰＵ２３において、その読込んだ当該ラインのデータのうち比較対象とすべきデータ、すなわち、隣接するピクセルＡ，Ｂを指定する。この場合、当該ラインの最初のピクセルから順次比較を行うため、ピクセルＡとして「１」を、その隣接するピクセルＢとして「２」を、それぞれ指定する。

次のステップＳ６では、ＣＰＵ２３において、その隣接するピクセル間の輝度情報（ＡとＢの輝度／色差）を比較する。

次のステップＳ７では、ＣＰＵ２３において、その比較結果に基づき隣接するピクセルＡとＢの輝度／色差に差がある（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ８に進み、判定結果がＮＯの場合にはステップＳ９に進む。

ステップＳ８では（輝度情報に変化があった場合）、ＣＰＵ２３からの制御に基づきメモリ２２に、ピクセルＡとＢの値（ピクセル番号）及び輝度／色差の差分値を、当該カメラ感度（この場合、「０」）に対応させて記録する。

次のステップＳ９では、ＣＰＵ２３において、当該ラインに含まれる全てのピクセルについて輝度情報の比較処理を終了した（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ１０に進み、判定結果がＮＯの場合にはステップＳ１１に進む。

ステップＳ１１では、ＣＰＵ２３において、次に比較対象とすべきピクセルＡ，Ｂを指定する（Ａ←Ａ＋１、Ｂ←Ｂ＋１）。すなわち、ピクセルＡとして「２」を、その隣接するピクセルＢとして「３」を、それぞれ指定する。そして、ステップＳ６に戻って上記の処理を繰り返す。

一方、ステップＳ１０では（当該ラインについての比較処理を終了した場合）、ＣＰＵ２３において、当該フレームに含まれる全てのピクセルについて輝度情報の比較処理を終了した（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ１２に進み、判定結果がＮＯの場合にはステップＳ１３に進む。

ステップＳ１３では、ＣＰＵ２３において、比較対象とすべきピクセルを含む次のラインを指定する（ＬＮ←ＬＮ＋１）。すなわち、次のライン番号（ＬＮ）として「２」を指定する。そして、ステップＳ４に戻って上記の処理を繰り返す。

一方、ステップＳ１２では（当該フレームについての比較処理を終了した場合）、ＣＰＵ２３において、ゲイン制御信号ＧＣにより指示されたカメラ感度が最大値（本実施形態では「２」）に設定されている（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合には「レンズ汚れの判定処理（図５）」に進み、判定結果がＮＯの場合にはステップＳ１４に進む。

ステップＳ１４では、ＣＰＵ２３において、カメラ感度を「＋１」アップする旨を指示するゲイン制御信号ＧＣを生成し、車載カメラ側のアナログＦ／Ｅ１４に供給する。この場合、アナログＦ／Ｅ１４では「ゲイン１」を設定する。そして、ステップＳ２に戻って上記の処理を繰り返す。

次に図５を参照すると、最初のステップＳ２１では、ＣＰＵ２３において、メモリ２２に記録されている情報（各ピクセルの値、輝度／色差の差分値、カメラ感度等）を参照して、カメラ感度が０の時の輝度／色差の差分値が記録されている（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ２２に進み、判定結果がＮＯの場合にはステップＳ２３に進む。

ステップＳ２２では、ＣＰＵ２３において、当該差分値が検出されたピクセル領域のデータは、カメラ感度が１の時の対応するピクセル領域のデータと近似している（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ２４に進み、判定結果がＮＯの場合にはステップＳ２５に進む。

ステップＳ２４では（感度＃と感度＃＋１の対応するピクセル領域のデータが近似している場合）、ＣＰＵ２３において、当該領域に対応するレンズ部分に汚れが付着しているものと判断する（レンズの汚れ検出）。さらに、ＣＰＵ２３からの制御に基づき画像処理部２４からディスプレイ装置３０に対し、予めメモリ２２に記憶させておいたレンズ汚れ検出に係るメッセージ情報を出力し、そのメッセージを画面に表示させる。例えば、「カメラのレンズが汚れています。掃除して下さい。」といったようなレンズの掃除を促すメッセージを表示させる。この表示画面を介してのメッセージ出力の形態に代えて、スピーカ（図示せず）から当該メッセージを音声出力させるようにしてもよい。あるいは、両者の出力形態を併用してもよい。そして、本処理フローは「終了」となる。

図６は、本ステップＳ２４で行うレンズ汚れ検出の処理態様を模式的に示したものである。図中、４１は車載カメラのレンズから見た画像範囲、４２はＣＣＤイメージセンサによる画像取得範囲（１フレーム）を示しており、この画像取得範囲４２において格子状に点線で区分けされた各部分はピクセルを表し、ＳＴはレンズに付着している「汚れ」を表している。また、右側には、ゲイン制御信号ＧＣによりカメラ感度（ゲイン）を多段的にアップさせたときの各ゲイン０、１、２毎のカメラ出力画像の対応する１ライン分の輝度情報（横軸はピクセル番号、縦軸は出力レベル）を示している。図中、ＳＴ１は当該ラインの輝度情報における「汚れ」に対応するピクセル領域を表しており、図示の例では、ゲイン１とゲイン２の対応するピクセル領域ＳＴ１のデータが近似しており、また、この領域ＳＴ１において、ゲイン「アップ」に伴うカメラ出力画像の輝度「アップ」量が他のピクセル領域と比べて小さくなっている。従って、この輝度の変化量が他のピクセル領域と比べて小さくなっている部分のピクセル領域ＳＴ１を検出することで、当該ピクセル領域に対応するレンズ部分に「汚れＳＴ」が付着していると判断することができる。

再び図５を参照すると、ステップＳ２３では、ステップＳ２１で行った処理と同様にして、ＣＰＵ２３がメモリ２２に記録されている情報（各ピクセルの値、輝度／色差の差分値、カメラ感度等）を参照して、カメラ感度が１の時の輝度／色差の差分値が記録されている（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ２５に進み、判定結果がＮＯの場合には本処理フローは「終了」となる。

ステップＳ２５では、ステップＳ２２で行った処理と同様にして、ＣＰＵ２３により、当該差分値が検出されたピクセル領域のデータは、カメラ感度が２の時の対応するピクセル領域のデータと近似している（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ２４に進み、判定結果がＮＯの場合には本処理フローは「終了」となる。

以上説明したように、本実施形態に係るカメラのレンズ汚れ検出装置（ＥＣＵ２０）が行うレンズ汚れ検出に係る第１の処理例（図４〜図６）によれば、各車載カメラ１０ａ〜１０ｄに対するゲイン制御信号ＧＣによりカメラ感度（ゲイン）を多段的にアップさせ、それに伴う各ゲイン毎のカメラ出力画像の対応する１ラインの輝度情報から、当該ラインにおける隣接するピクセル間の輝度の変化量を判断し、輝度の「アップ」量が他のピクセル領域と比べて小さくなっている部分（図６においてＳＴ１で示す部分）のピクセル領域を検出することで、当該ピクセル領域に対応するレンズ部分に「汚れ」が付着していると判断することができる（レンズの汚れ検出）。

つまり、従来のようにしきい値を設定してレンズの汚れを検出する手法とは違い、カメラ出力画像から輝度の変化量が他のピクセル領域と比べて小さくなっている部分のピクセル領域が有るかどうかを判別することで、レンズの汚れを検出するようにしているので、従来のように光学機器側に追加的な部品や機能等を設ける必要がない。

また、本実施形態に特有の効果として、各車載カメラ１０ａ〜１０ｄの故障診断を行うことができる。本実施形態では、各車載カメラ１０ａ〜１０ｄで取得された画像データをＮＴＳＣ信号に変換してＥＣＵ２０側に出力しており、仮にＣＣＤイメージセンサ１２が故障していても当該カメラからは何らかの映像出力が出ている可能性があるため、ＥＣＵ２０側においてその映像出力をモニタしながらその輝度変化を判断することで、当該カメラが故障しているかどうかを診断することができる。

すなわち、ＣＣＤイメージセンサ１２が正常に機能していれば、当該センサで取得された画像（カメラ出力画像）は時間的に変化しているのでそれに応じて各フレーム毎もしくは各ライン毎の輝度も変化しているのが普通であり、この輝度変化を検出することで「当該カメラは正常に機能している」と判断することができる。これに対し、もしＣＣＤイメージセンサ１２が故障していれば、当該カメラから出力される画像は時間的に変化しないか、あるいは、変化があっても各フレーム毎もしくは各ライン毎の輝度の平均値で見れば実質上輝度の変化はないため、輝度変化が「無い」ことを検出することで「当該カメラは故障している」と判断することができる。

上述した第１の処理例（図４〜図６）では、ゲイン制御信号ＧＣによりカメラ感度（ゲイン）を多段的にアップさせ、それに伴う各ゲイン毎のカメラ出力画像の対応する１ライン分の輝度情報から、隣接するピクセル間の輝度の変化量を判断することでレンズの汚れ検出を行うようにしたが、レンズの汚れ検出を行う方法（処理内容）はこれに限定されないことはもちろんである。本発明の要旨からも明らかなように、要は、ＥＣＵ２０側においてカメラ出力画像から輝度の変化量が他のピクセル領域と比べて小さくなっている部分のピクセル領域が有るかどうかを判別できれば十分である。

例えば、ゲイン制御信号ＧＣによりカメラ感度（ゲイン）は一定に設定した状態で、自車両が日向、日陰間を走行中に各車載カメラ１０ａ〜１０ｄから出力された各フレーム毎の画像データの対応する１ライン分の輝度情報から、各フレーム間の輝度情報の時間的な変化を判断することで、レンズの汚れ検出を行うことも可能である。その場合の実施形態（第２の処理例）について、図７に示す処理フロー及び図８に示す補足説明図を参照しながら説明する。

図７を参照すると、最初のステップＳ３１では、ＣＰＵ２３において、各フレーム間で比較対象とすべきピクセルを含む任意の１ラインを指定する。

次のステップＳ３２では、ＣＰＵ２３からの制御に基づき画像入力部２１を介してメモリ２２に、一定値に設定されたカメラ感度で車載カメラから出力された各フレーム毎の画像データを取り込む（フレームキャプチャ）。本実施形態では、少なくとも３フレーム分の画像データを「キャプチャ」している。

次のステップＳ３３では、ＣＰＵ２３により、メモリ２２から各フレーム毎に対応する１ライン（ステップＳ３１で指定された当該ライン）の輝度データを読込み、それぞれ輝度の平均値を算出する。各フレーム毎に算出された当該ラインの輝度平均値のデータは、メモリ２２にいったん格納される。

次のステップＳ３４では、ＣＰＵ２３において、各フレーム毎に読込んだ当該ラインのデータのうち輝度平均値と比較すべきピクセルＡを指定する。この場合、当該ラインの最初のピクセルから順次比較を行うため、ピクセルＡとして「１」を指定する。

次のステップＳ３５では、ＣＰＵ２３において、その指定したピクセルＡの輝度と当該ラインの輝度平均値を比較し、前者が後者よりも大きい（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ３６に進み、判定結果がＮＯの場合にはステップＳ３７に進む。

ステップＳ３６では（ピクセルＡの輝度が平均値を超えている場合）、ＣＰＵ２３からの制御に基づきメモリ２２に、ピクセルＡのデータ（ピクセル番号と輝度／色差情報）を記録する。

次のステップＳ３７では、ＣＰＵ２３において、各フレーム毎に当該ラインに含まれる全てのピクセルについて輝度情報の比較処理を終了した（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ３８に進み、判定結果がＮＯの場合にはステップＳ３９に進む。

ステップＳ３９では、ＣＰＵ２３において、次に輝度平均値と比較すべきピクセルＡを指定する（Ａ←Ａ＋１）。この場合、ピクセルＡとして「２」を指定する。そして、ステップＳ３５に戻って上記の処理を繰り返す。

一方、ステップＳ３８では（各フレーム毎に当該ラインに含まれる全てのピクセルについての比較処理を終了した場合）、ＣＰＵ２３において、メモリ２２に記録されている情報を参照して、現フレームの当該ラインの輝度情報と前フレームの対応するラインの輝度情報とが近似しているか否か、つまり、前フレームと現フレームの記録されているピクセル領域のデータが近似している（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ４０に進み、判定結果がＮＯの場合には本処理フローは「終了」となる。

次のステップＳ４０では、ステップＳ３８で行った処理と同様にして、ＣＰＵ２３がメモリ２２に記録されている情報を参照して、現フレームで前フレームの対応するラインのピクセルデータと近似している当該ピクセルデータは、前々フレームの対応するラインのピクセルデータとも近似している（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ４１に進み、判定結果がＮＯの場合には本処理フローは「終了」となる。

次のステップＳ４１では（現フレーム、前フレーム、前々フレームの各フレーム間の対応するラインの輝度情報が近似している場合）、ステップＳ２４（図５）で行った処理と同様にして、ＣＰＵ２３において、その近似しているピクセル領域に対応するレンズ部分に汚れが付着しているものと判断する（レンズの汚れ検出）。さらに、ＣＰＵ２３からの制御に基づき画像処理部２４からディスプレイ装置３０に対し、レンズ汚れ検出に係るメッセージ情報を出力し、そのメッセージを画面に表示させる。この場合も同様に、表示画面を介してのメッセージ出力の形態に代えて、スピーカ（図示せず）から当該メッセージを音声出力させるようにしてもよいし、あるいは両者の出力形態を併用してもよい。そして、本処理フローは「終了」となる。

図８は、本ステップＳ４１で行うレンズ汚れ検出の処理態様を模式的に示したものである。図６の例示と同様に、４１は車載カメラのレンズから見た画像範囲、４２はＣＣＤイメージセンサによる画像取得範囲（１フレーム）、ＳＴはレンズに付着している「汚れ」を表している。また、右側には、カメラ感度（ゲイン）を一定に設定した状態の下での各フレーム毎のカメラ出力画像の対応する１ライン分の輝度情報（横軸はピクセル番号、縦軸は出力レベル）を示している。図中、ＳＴ２は各フレーム間の当該ラインの輝度情報における「汚れ」に対応するピクセル領域を表しており、図示の例では、各フレームの対応するピクセル領域ＳＴ２のデータが近似しており、また、この領域ＳＴ２における輝度の変化量は他のピクセル領域と比べて小さくなっている。従って、図６の処理態様の場合と同様に、この輝度の変化量が他のピクセル領域と比べて小さくなっている部分のピクセル領域ＳＴ２を検出することで、当該ピクセル領域に対応するレンズ部分に「汚れＳＴ」が付着していると判断することができる。

以上説明したように、レンズ汚れ検出に係る第２の処理例（図７及び図８）によれば、走行中はその走行速度に応じて各車載カメラ１０ａ〜１０ｄからの出力画像データの変化も速く（又は遅く）なるが、汚れが付着している部分のピクセル領域（データ）は他のピクセル領域と比べて輝度の変化量が小さいため、各フレーム間の対応する１ライン分の輝度情報の時間的な変化を判断し、その輝度の変化量が他のピクセル領域と比べて小さくなっている部分（図８においてＳＴ２で示す部分）のピクセル領域を検出することで、当該領域に対応するレンズ部分に「汚れ」が付着していると判断することができる。

この第２の処理例の場合も同様に、従来の「しきい値を設定してレンズの汚れを検出する手法」とは違い、カメラ出力画像から輝度の変化量が他のピクセル領域と比べて小さくなっている部分のピクセル領域が有るかどうかを判別することで、レンズの汚れを検出するようにしているので、光学機器側に追加的な部品や機能等を設ける必要がない。

上述した実施形態では、カメラのレンズ汚れを検出したときにその時点でレンズ汚れ検出に係るメッセージの出力を行うようにしたが（図５のステップＳ２４、図７のステップＳ４１）、メッセージを出力させるタイミングがこれに限定されないことはもちろんである。例えば、本システム５０を搭載した車両にナビゲーションシステム（図示せず）も搭載されている場合には、ＥＣＵ２０（ＣＰＵ２３）がナビゲーションシステム側のＣＰＵ等と協働して、そのナビゲーション機能に基づき指示されたタイミングで（例えば、ガソリンスタンド等に立ち寄った際に）、上記のレンズ汚れ検出に係るメッセージを出力させるようにしてもよい。

また、上述した実施形態では、カメラのレンズ汚れ検出装置（ＥＣＵ２０）をトップビュー表示機能を備えた車載用画像表示システム５０の一部として組み込んだ場合を例にとって説明したが、本発明に係るカメラのレンズ汚れ検出装置は、その要旨からも明らかなように、必ずしもトップビュー表示機能を備えた画像表示システムを搭載した車両に搭載される必要がないことはもちろんである。要は、上述したようにＥＣＵ２０側においてカメラ出力画像から輝度の変化量が他のピクセル領域と比べて小さくなっている部分のピクセル領域が有るかどうかを判別できる機能を備えていれば十分であり、本発明は、かかる機能を備えた制御装置であれば、トップビュー表示機能の具備／不備にかかわらず、また車載用に限らず、同様に適用することが可能である。

本発明の一実施形態に係るカメラのレンズ汚れ検出装置をその一部として組み込んだ車載用画像表示システムの概略構成を示す図である。 図１のシステムにおける各車載カメラの内部構成を概略的に示すブロック図である。 図１のシステムにおけるＥＣＵ（カメラのレンズ汚れ検出装置）の内部構成を概略的に示すブロック図である。 図１のシステムにおいてＥＣＵが行うカメラのレンズ汚れ検出に係る第１の処理例（その１）を示すフロー図である。 図１のシステムにおいてＥＣＵが行うカメラのレンズ汚れ検出に係る第１の処理例（その２）を示すフロー図である。 図５の処理フローにおけるレンズ汚れ検出の処理を補足説明するための図である。 図１のシステムにおいてＥＣＵが行うカメラのレンズ汚れ検出に係る第２の処理例を示すフロー図である。 図７の処理フローにおけるレンズ汚れ検出の処理を補足説明するための図である。

符号の説明

１０ａ，１０ｂ，１０ｃ，１０ｄ…車載カメラ、
１１…レンズ、
１２…ＣＣＤイメージセンサ、
１４…アナログフロントエンド（Ｆ／Ｅ）、
１５…デジタル信号プロセッサ（ＤＳＰ）、
２０…電子制御ユニット（ＥＣＵ／カメラのレンズ汚れ検出装置）、
２３…ＣＰＵ、
３０…ディスプレイ装置（表示装置）、
４１…カメラレンズから見た画像範囲、
４２…イメージセンサによる画像取得範囲、
５０…車載用画像表示システム、
ＧＣ…ゲイン制御信号、
ＳＴ…汚れ（レンズ付着部分）、
ＳＴ１，ＳＴ２…１ライン分の輝度情報における「汚れ」に対応するピクセル領域。

Claims (6)

1. レンズを通して入射された光を複数の受光素子を備えたイメージセンサを通して画像信号に変換し、該変換された画像信号を適宜ゲイン制御及び信号処理して出力する機能を備えたカメラに接続され得るように適応されたレンズ汚れ検出装置であって、
   前記カメラの出力画像データから輝度の変化量が他のピクセル領域と比べて小さいピクセル領域を検出したときに、当該ピクセル領域に対応するレンズ部分に汚れが付着していると判断する制御部を備えたことを特徴とするカメラのレンズ汚れ検出装置。
2. 前記制御部は、前記カメラ内の該当機能ブロックにゲインを多段的にアップさせるためのゲイン制御信号を供給し、該ゲイン制御信号により設定した各ゲインでそれぞれ前記カメラから出力された画像データの対応する１ライン分の輝度情報から、隣接するピクセル間の輝度の変化量を判断して前記レンズの汚れの有無を検出することを特徴とする請求項１に記載のカメラのレンズ汚れ検出装置。
3. 前記制御部は、前記カメラから出力された各フレーム毎の画像データの対応する１ライン分の輝度情報から、各フレーム間の輝度情報の時間的な変化を判断して前記レンズの汚れの有無を検出することを特徴とする請求項１に記載のカメラのレンズ汚れ検出装置。
4. 請求項１に記載のカメラのレンズ汚れ検出装置と、
   画面を通して情報を提供する表示装置とを備え、
   前記制御部は、前記レンズの汚れを検出したときに、該レンズ汚れ検出に係るメッセージを前記表示装置の画面に表示させることを特徴とする画像表示システム。
5. ナビゲーションシステムを搭載した車両に搭載され、
   前記制御部は、前記ナビゲーションシステムと協働してナビゲーション機能に基づき指示されたタイミングで、前記レンズ汚れ検出に係るメッセージを前記表示装置の画面に表示させることを特徴とする請求項４に記載の画像表示システム。
6. さらにスピーカを備え、
   前記制御部は、前記レンズ汚れ検出に係るメッセージを、前記表示装置の画面を介しての出力形態に代えて、前記スピーカから音声出力させることを特徴とする請求項４又は５に記載の画像表示システム。

Images