JP3901573B2

JP3901573B2 - 画像認識システムにおける異常の診断装置

Info

Publication number: JP3901573B2
Application number: JP2002124615A
Authority: JP
Inventors: 伸和島
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2002-04-25
Filing date: 2002-04-25
Publication date: 2007-04-04
Anticipated expiration: 2022-04-25
Also published as: US7174041B2; JP2003319120A; US20030202694A1

Description

【０００１】
【発明の属する技術分野】
本発明は画像認識システムにおける異常の診断装置に関する。
【０００２】
【従来の技術】
画像認識システムは、車両に搭載されて車両の安全走行を支援したり、あるいはロボットに搭載されてロボットの自動制御に重要な役割を果たしたり等々、多種の分野において使用されている。以下、上記の車両に搭載される画像認識システムを例にとって説明する。
【０００３】
車両搭載の画像認識システムは、車両前方の走行環境を認識したり、また、車両前方にある障害物までの測距や方位測定等を行うために利用される。この場合、画像入力部（カメラ）と画像認識部（画像認識センサ）は、その画像認識システムにとって必須の構成要件である。
【０００４】
なお上記画像認識センサは、ミリ波等のレーダと組合せた複合センサとしても利用され、車両走行支援のために応用されている。またその画像認識センサは、他の制御機器例えば車両の自動走行装置の一部としても利用され、同様に車両走行支援のために応用されている。
【０００５】
【発明が解決しようとする課題】
上記の画像入力部（カメラ）および画像認識部のうち、特に、画像入力部およびこれと画像認識部とを接続するためのケーブル（通常、８ビットのコード）は、上記の車両に搭載される場合、きわめて苛酷な使用環境下に置かれる。したがって、これらの画像入力部とケーブルには障害の発生確率が高くなる。そうすると、当該画像認識システムが上記の車両走行支援のために利用されるような場合、その障害等の異常によって車両走行の安全性が損なわれるおそれがある、という問題が生ずる。
【０００６】
例えば、上記８ビットのコードのうち少なくとも１本が断線するといった異常が生じたような場合や、上記画像入力部（カメラ）をなすイメージセンサに焼付きを起こすといった異常が生じたような場合、等に上記の問題が発生する可能性がある。
【０００７】
したがって本発明は、上述の問題点に鑑み、上記の異常を迅速かつ正確に捉えることのできる、画像認識システムにおける異常の診断装置を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
図１は本発明に係る画像認識システムにおける異常の診断装置の基本構成を示す図である。なお本発明では、上記コードの断線異常に対処する第１の態様と、上記イメージセンサの焼付きに対処する第２の態様と、を個別に提案するが、この図１ではこれら２つの態様を合わせた構成で示している。ただし本発明は、該第１の態様だけを実施することもできるし、該第２の態様だけを実施することもできる。もちろん両態様を併せて実施すれば、より良い異常診断結果を得ることができる。
【０００９】
図１において、参照番号１は画像認識システムを示しており、これは、画像入力部（カメラ）２と、この画像入力部２からの画像信号ＩＭ（ｉｍａｇｅ）を入力として当該画像に対する画像認識を行う画像認識部３と、を含んでなり、さらにこの画像認識システム１における異常の診断を行う診断装置４を有する。
【００１０】
この診断装置４は、図の左側に示すとおり、画像認識部３に取り込まれる画像信号ＩＭに対して所定の計算を行い、濃度ヒストグラムを生成するヒストグラム計算手段１１と、このヒストグラム計算手段１１により生成された濃度ヒストグラムを解析して、異常の有無を判定する異常判定手段１２と、を備えている。
【００１１】
上記の構成は既述の第１の態様をなすものであって、その異常は、例えば８ビットのコードＣ１，Ｃ２，Ｃ３…Ｃ８のいずれかに生ずる断線である。
【００１２】
また診断装置４は、図１の右側に示すとおり、画像認識部３に取り込まれる画像信号ＩＭの情報を入力としてこれを記憶するメモリ手段２１と、上記の画像を構成する複数の画素のうちの１画素に着目し、時間的に異なる複数の画像（フレーム）の各々について、当該着目画素に係る各画像での画像信号ＩＭの情報をメモリ手段２１から読み出して相互に比較し、かつ、相互の異同を判定する比較／判定手段２２と、を備えていて、当該情報相互間が同一であるとき、異常ありと判定するものである。
【００１３】
上記の構成は既述の第２の態様をなすものであって、その異常は、画像入力部（カメラ）２をなす既述のイメージセンサ内で生ずる焼付きである。
【００１４】
なお診断装置４の第１の態様も第２の態様も、理解しやすいように、図１の中央に引き出して独立のものとして示したが、実際には、画像認識部３の中の一部としてこれと一体に構成することができる。
【００１５】
これら第１の態様および第２の態様の各作用については、それぞれ、後述する実施例１〜７および実施例Ａ〜Ｈにおいて詳しく説明する。
【００１６】
図１について若干説明を補足すると、診断装置４による診断の結果、既述の異常が検出されると、その異常の発生は警報ＡＬとして直ちに車両の運転者に伝えられると共に、図示する制御対象５にもその警報信号が瞬時に印加される。
【００１７】
制御対象５は既述した制御機器であって、この制御機器が例えば前方の車両に対する追従制御装置であったとすると、該装置は上記の警報信号を受信して直ちにブレーキ操作その他の安全操作を始動させることになる。
【００１８】
【発明の実施の形態】
図２は実施例１を説明するための濃度ヒストグラムを示す図（その１）であり、
図３は同図（その２）であり、
図４は同図（その３）であり、
図５は同図（その４）である。また、
図６は図２〜図５に示すヒストグラムを得るための一例として用いた入力画像を示す図であり、
図７は入力画像を出力するイメージセンサ上の画素群を示す図である。
【００１９】
当該車両に搭載された画像入力部（カメラ）２のイメージセンサ（図７）が、前方を走行する車両のリア側を捕らえた一例が、上記の図６に入力画像として示される。
【００２０】
この図６に示す入力画像は、図１に示す画像入力部２の受光部分をなすイメージセンサの各画素（ホトダイオード）の出力によって生成されるものであり、これらの画素は、図７に示すＰのごとく、例えば、６４０画素×４８０画素のマトリクス状に配列される。そしてこれらの画素Ｐの各々の出力は、８ビットの信号として表される。これら８ビットの信号を並列に転送するのが、８ビットのコードＣ１，Ｃ２，Ｃ３…Ｃ８（図１）である。
【００２１】
これらのコートＣ１〜Ｃ８のいずれにも断線がないとき、つまりコードが正常なときは、濃度ヒストグラムは、図２に示すようにきれいな山形の曲線を呈する。なお濃度ヒストグラムは、周知のように、横軸に濃度値をとり、縦軸に、１つの画像内での、各濃度値を示す画素Ｐの出現数をとって表したものである。１画素が８ビットで表される場合には、上記濃度値は０〜２５５の２５６種に分けられ、通常その各々を「階調」と呼んでいる。本発明では、この諧調の語を主として用いる。
【００２２】
コードＣ１，Ｃ２，Ｃ３…Ｃ８のいずれにも断線がないとき（正常時）、濃度ヒストグラムは上記のようにきれいな山形の曲線（図２）を呈するが、これらコードＣ１，Ｃ２，Ｃ３…Ｃ８のいずれかに断線が生ずると（異常時）、その山形の曲線は失なわれる。そのいくつかの例を示したのが図３〜図５である。
【００２３】
図３は、８ビットのコードのうちコードＣ１が断線した場合の濃度ヒストグラムを示す。ここにコードＣ１はＬＳＢである。この場合は、１本ずつ歯抜け状の分布となる。
【００２４】
図４は、８ビットのコードのうちコードＣ２が断線した場合である。ここにコードＣ２は第２ビットである。この場合は、２本ずつ歯抜け状の分布となる。
【００２５】
図５は、８ビットのコードのうちコードＣ８が断線した場合である。ここにコードＣ８はＭＳＢである。この場合は、図２の山形曲線の半分が切り取られたような分布となる。
【００２６】
かくして実施例１においては、図１の異常判定手段１２は、各階調（０〜２５５）毎の、画像を構成する画素の出現数により規定される濃度ヒストグラムを解析し、「全ての階調について、対応する画素Ｐが出現していること」（図２相当）を検出しないとき（図３〜図５相当）、異常があるものと判定するようにする。
【００２７】
実施例２においては、「全ての階調（０〜２５５）について、対応する画素Ｐが出現していること」の検出が、複数回連続してなされないことを確認したとき、異常があるものと判定するようにする。
【００２８】
たまたま階調の値が現れない画素があることをもって異常と即断するのは正確性に欠けるので、図３や図４のような結果が得られることを、あるいは図２のような結果が得られないことを複数回連続して確認してから、異常と判断するようにする。これにより、異常判断の精度を向上させることができる。
【００２９】
図８は実施例２の動作例を示すフローチャートである。ステップＳ１１〜Ｓ１７からなる。
【００３０】
Ｓ１１：ヒストグラム計算手段１１（図１）による計算を開始する。
【００３１】
Ｓ１２：出力されない階調があるかないか判定する。
【００３２】
Ｓ１３：出力されない階調がなければ（Ｓ１２の「なし」）、カウンタを初期化する。このカウンタは図示しないが、図１の異常判定手段１２内にソフトあるいはハードとして設けることができる。
【００３３】
Ｓ１４：この場合は、正常であると判断される。
【００３４】
Ｓ１５：Ｓ１２において、出力されない階調があると判定されたとき（Ｓ１２の「あり」）、上記カウンタをカウントアップして、当該判定が規定の連続回数Ｔだけ行われたか判断する。
【００３５】
Ｓ１６：Ｔ回以上の連続であれば、このときは、断線異常ありと判断する。
【００３６】
Ｓ１７：Ｔ回以下であれば、このときは、上記カウンタをカウントアップして、上記Ｓ１２を続行する。
【００３７】
実施例３においては、「全ての階調（０〜２５５）について、対応する画素Ｐが出現していること」の検出を、所定のサンプリング間隔で離散的に実行するようにする。
【００３８】
上記の検出をほぼ連続的に行うと、繊細な検出が行えるがその反面、診断装置４の主要部をなすＣＰＵの処理負荷が増大してしまう。そこで実施例３では、その検出をサンプリングにより離散的に間引いて実行するようにする。
【００３９】
図９は実施例３の動作例を示すフローチャートである。ステップＳ２１〜Ｓ２６からなる。
【００４０】
Ｓ２１：図１の画像入力部（カメラ）２から画像認識部３に入力画像を取り込む。
【００４１】
Ｓ２２：現在の時間ｔがＴ₁ に達したか否か判定する。ここにＴ₁ は離散的サンプリングの時間間隔である。
【００４２】
Ｓ２３：Ｓ２２においてｔがＴ₁ を超えないときは（Ｙｅｓ）、現在時間を計測し続ける。
【００４３】
Ｓ２４：ｔがＴ₁ を超えたならば（Ｎｏ）、断線判断処理（例えば図８）を実行する。
【００４４】
Ｓ２５：上記断線判断処理が実行される毎に、上記の時間ｔを０に戻す。
【００４５】
Ｓ２６：ここで本来の画像認識処理に入る。
【００４６】
これにより、ＣＰＵの負荷処理を軽減する離散的な異常診断が行える。
【００４７】
実施例４においては、「全ての階調（０〜２５５）について、対応する画素Ｐが出現していること」の検出を、電源投入以降に適宜実行することに加えて、それ以前の電源投入時にも、画像入力部２および画像認識部３に対する既存のイニシャルチェックと兼ねて実行するようにする。
【００４８】
断線異常は通常、車両の走行中に発生することが多いが、車両の電源投入時に既に発生していること（または発生すること）もある。この事実に着目したのが本実施例４である。
【００４９】
図１０は実施例４の動作例を示すフローチャートである。特にステップＳ３１〜Ｓ３３が本実施例の特徴ステップであり、ステップＳ３４〜Ｓ３８は、前述の図９と実質的に同じである。
【００５０】
Ｓ３１：車両の電源をオンにする。
【００５１】
Ｓ３２：断線判断処理（例えば図８）を実行する。
【００５２】
Ｓ３３：断線異常「あり」（Ｙｅｓ）のときは終了し、「なし」（Ｎｏ）のときはＳ３４へ進む。このＳ３４以降は、上記のとおり、図９と同じである。
【００５３】
したがって本実施例４では、断線判断処理は２回（Ｓ３２とＳ３５）行われることになる。これは一見ＣＰＵの処理負荷の増大を招くように見えるが、通常車両の始動時には、画像認識システム特に図１の画像入力部２と画像認識部３に対してイニシャルチェックを自動的に実行するルーチンがあるので、このルーチンに便乗して当該断線判断処理Ｓ３２を実行すれば、ＣＰＵの処理負荷をそれ程大きくすることはない。
【００５４】
ここで先行断線判断処理Ｓ３２と、通常断線判断処理Ｓ３５とについてみると、車両の置かれる環境が両者全く相違する。すなわち後者（Ｓ３５）では車両が走行中であるのに対し、前者（Ｓ３２）では車両が通常車庫に入っている、ということである。
【００５５】
そうすると車庫に入っている状態では十分な濃度ヒストグラムを得ることができず、有効な断線判断処理（Ｓ３２）は行えないように思われる。確かに、処理（Ｓ３５）に対し処理（Ｓ３２）の処理効果は小さい。しかし通常、入力画像は常に微細な変動をしているものであり、断線異常の有無判断は可能である。
【００５６】
実施例５においては、「全ての階調（０〜２５５）について、対応する画素Ｐが出現していること」の検出を、周囲の状況に応じて濃度ヒストグラムの変動が大きいと判断されるときにのみ、選択的に実行するようにする。
【００５７】
夜間などのように暗い階調しか画像の出力が得られないような周囲の状況に車両が置かれているときは、全ての階調が出力されない可能性がある。
【００５８】
そこで、（ｉ）入力画像の信号から、あるいは（ii）暗い周囲環境のもとでは自動的に車両のヘッドライトをオンにするセンサいわゆるコンライトなどの信号から、それぞれ昼夜の判断を行い、濃度ヒストグラムの変動が大きい昼の場合にのみ選択的に、断線検出を行うようにすることもできる。あるいは車速センサの信号をもとに、濃度ヒストグラムの変動が大きい車両の走行中にのみ選択的に断線検出を行うようにしてもよい。
【００５９】
実施例６においては、周囲の状況により濃度ヒストグラムの変動が小さいと判断されるときには、「全ての階調（０〜２５５）について、対応する画素Ｐが出現していること」の検出を、画像入力部２に対して、シャッター速度か、ＡＧＣか、アイリスか、のいずれかが操作されるときを捉えて実行するようにする。
【００６０】
上述したように、車両の周囲状況が暗かったり、車両が停車中であったりすると、どうしても濃度ヒストグラムの変動は小さくならざるを得ない。したがってこのようなときは有効な断線判断処理を実現し難い。
【００６１】
そこで本実施例６では、入力画像の濃度が必然的に大きくなるようなときを捉えて、そのときに断線判断処理を実行する。
【００６２】
図１１は実施例６を実施するのに効果的な場合を例示する図である。
【００６３】
本図は図１の画像入力部（カメラ）２のイメージセンサ部分、特にその前段および後段部分の構造を示す。図において、参照番号３１はレンズであり、その後段にイメージセンサ３３への入射光量を調整するアイリス３２と、その入射光量の総量を調整するシャッターと、イメージセンサ３３からの入力画像信号に対しＡＧＣを加えるＡＧＣ回路３４とがある。なお上記シャッターは、典型的な機械式シャッターでもよいが、本図では露光時間を制御する電子式シャッター３５を例示している。
【００６４】
これらの構成要素３２，３４および３５のいずれが操作されても、そのときに濃度ヒストグラムの大きな変動が得られるから、そのときだけを捉えて断線判断処理を実行するようにすればよい。
【００６５】
この実施例６も既述の実施例３と同様に、ＣＰＵの処理負荷を低減可能という利点がある。
【００６６】
実施例７は、「全ての階調（０〜２５５）について、対応する画素Ｐが出現していること」を検出したとき、その検出時における濃度ヒストグラムの示す濃度分布パターンが、予め想定した複数の異常パターンのいずれかに近い傾向を有するか否か判断し、その傾向を有するときに、当該異常パターンから一意に想定される異常の発生箇所を特定する異常箇所特定手段をさらに備えるものである。
【００６７】
図１２は実施例７に係る異常の診断装置を示す図である。
【００６８】
実施例７の構成は、図１の構成に上記の異常箇所特定手段４１を付加したものに相当する。この異常箇所特定手段をもう少し具体的に説明すると、次の（ｉ）または（ii）のとおりである。
【００６９】
（ｉ）異常箇所特定手段４１は、いずれかの階調（０〜２５５）において対応する画素Ｐが出現しないことを異常判定手段１２が検出したとしても、その検出時における濃度ヒストグラムの示す濃度分布パターンが、前述した複数の異常パターンのいずれにも近い傾向を有しないと判断したときは、異常の発生はなく正常と認定するようにする。また、
（ii）異常判定手段４１は、階調（０〜２５５）が、初段の階調０から最終段の階調２５５までの複数段の各々に対応して設定されているとき、例えば、その初段の階調０と最終段の階調２５５にのみ着目してそれぞれ対応する画素Ｐの出現の有無を判定し、このとき該異常箇所特定手段４１は、当該画素Ｐの出現がないと判断したとき、この場合に固有の異常の発生箇所を特定するようにする。
【００７０】
前述した８ビットのコード（Ｃ１〜Ｃ８）の場合、出力は２５６階調（０〜２５５）を有する。断線が発生した場合は、あるビットの信号の階調だけが出力されなくなる。８ビットのうちのＭＳＢのコードＣ８の断線であれば、入力画像上の階調は０〜１２８までとなる。同様にＬＳＢのコードＣ１の断線であれば、出力される階調は１つ飛びの０，２，４…２５４の１２８階調となる。このように断線の場合は、何らかの傾向が現れるから、この傾向を元に断線を判断することができる。
【００７１】
これと反対に、出力されない階調が存在しても、画素出力の階調に傾向がない場合には、正常と判断することができる。
【００７２】
さらに階調０と階調２５５を見れば、全てのコードのＨＩＧＨ／ＬＯＷが逆転する。このことから、検索する階調を減らしても、同様に断線の有無を判断することは可能である。これによれば、少ない階調の出力結果から、正常／異常の判断をすることが可能となる。
【００７３】
以上第１の態様について詳述したので、次に第２の態様について詳述する。既に述べたとおり、この第２の態様が対象とする異常は、画像入力部（カメラ）２をなすイメージセンサ３３内で生ずる焼付きである。そしてこの焼付き異常の検出のために、前述した図１の右側に示すとおり、
画像認識部３に取り込まれる画像信号ＩＭの情報を入力としてこれを記憶するメモリ手段２１と、上記の画像を構成する複数の画素のうちの１画素に着目し、時間的に異なる複数の画像（フレーム）の各々について、当該着目画素に係る各画像での画像信号ＩＭの情報をメモリ手段２１から読み出して相互に比較し、かつ、相互の異同を判定する比較／判定手段２２と、を備える。もしこれら情報相互間が同一であるならば、異常ありと判定するものである。
【００７４】
ここで理解を早めるために、「焼付き」による異常の形態を図で表す。
【００７５】
図１３の（ａ）および（ｂ）は焼付きを起こしたときの入力画像の一例を示す図である。
【００７６】
この例は図６と同様に車両のリア側を捕えた入力画像で示す。図１３において注目すべきところは、円Ｒで囲んだ部分であり、３つの黒点が現れている。そしてこれらの黒点は、時間ｔにおいても、それから時間経過した後の時間ｔ＋１においても、同一画素の部分に現れている。これが焼き付きである。
【００７７】
実施例Ａにおいては、比較／判定手段２２（図１）は、同一画素について、予め定めた一定時間（例えば１秒）内での今回の画像信号の情報とそれ以前の前回の画像信号の情報との間の変化を検出し、当該変化がないときに異常ありと判定するものである。
【００７８】
実施例Ｂにおいては、比較／判定手段２２は、画像を予め複数の小画像領域に分割しておいて、各小画像領域毎に時間をずらして、比較および判定をそれぞれ実行することを特徴とするものである。
【００７９】
図１４は画像の分割例を示す図である。なお対象とする入力画像は、図６および図１３に示すものと同じである。
【００８０】
図１４の例では、画像を、小画像領域５１，５２，５３および５４に４分割したことを表している。ここに上記の比較および判定は、４つの小画像領域５１〜５４の各々に対して時分割で行われる。このため、メモリ手段２１（図１）のメモリ容量は１／４で済む。以下に動作を説明する。
【００８１】
図１５は実施例Ｂの動作例を示すフローチャートである。ステップＳ４１〜Ｓ４７からなる。
【００８２】
Ｓ４１：図１４に示す４つの検索領域（５１〜５４）のうちの１つを設定する。最初は領域５１を設定する。
【００８３】
Ｓ４２：その領域５１について焼付き異常の判断処理を行う。
【００８４】
Ｓ４３：既述した「時間のずらし」を行うために時間カウント（比較／判定手段２２内にソフトまたはハードとして形成されるカウンタ）を進める。
【００８５】
Ｓ４４：その時間が上記の一定時間（例えば１秒）Ｔｃを超えたか否か判定する。
【００８６】
Ｓ４５：超えていなければ（Ｓ４４のＹｅｓ）、焼き付き判断処理を継続する。
【００８７】
Ｓ４６：超えていれば（Ｓ４４のＮｏ）、焼き付き判断処理の結果（焼付きあり／焼付きなし）が確定する。
【００８８】
Ｓ４７：上記時間ｔを再び０にリセットすると共に、Ｓ４２での検索領域を領域５１から領域５２に切り換え、上記と同様にＳ４３→Ｓ４４→Ｓ４５→Ｓ４６→Ｓ４７を繰り返し、このＳ４７にて、次は領域５２から領域５３に切り換える。
【００８９】
実施例Ｃにおいては、比較／判定手段２２により異常ありと一旦判定された複数の異常画素候補のみを保存する異常画素候補メモリ手段をさらに備え、比較／判定手段２２は、その異常画素候補メモリ手段内の各異常画素候補に対してのみ、引き続き比較および判定を繰り返して実行し、当該情報相互が異なると判定する都度、当該異常画素候補をその異常画素候補メモリ手段から消去していくことを特徴とするものである。
【００９０】
図１６は実施例Ｃに係る異常の診断装置を示す図である。
【００９１】
実施例Ｃの構成は、図１の構成（第２の態様）に上記の異常画素候補メモリ手段６１を付加したものに相当する。
【００９２】
比較／判定手段２２による焼付き判断処理（例えば図１５のＳ４５，Ｓ４６）をある一定周期で繰り返し、階調変化がない画素の候補を最初にメモリ手段６１に記録すると共に、その周期を繰り返す毎に、それらの候補の中で階調変化のあった画素は順次消去していく。そして最後に残った候補画素が求める真正な焼付き画素となる。この動作を図１７に示す。
【００９３】
図１７（ａ）および（ｂ）は実施例Ｃの動作例を示すフローチャートである。ステップＳ５１〜Ｓ５３からなる。
【００９４】
Ｓ５１：比較／判定手段２２により、階調変化のある座標の位置を抽出する。
【００９５】
Ｓ５２：メモリ手段２１を参照して、前回のデータとの比較を行う。
【００９６】
Ｓ５３：その比較結果により、階調変化のない画素について、図１７（ｂ）のようなデータ形式で、異常画素候補のデータをメモリ手段６１に格納する。
【００９７】
実施例Ｄにおいては、比較／判定手段２２により情報相互間に変化なしと一旦判定されたことを示す変化なしフラグを各画素対応に記録する変化なしフラグ記録手段をさらに備え、比較／判定手段２２は、その変化なしフラグ記録手段内の各変化なしフラグにそれぞれ対応する各画素に対してのみ、引き続き比較および判定を繰り返して実行し、当該情報相互が異なると判定する都度、当該画素に対応する変化なしフラグを変化なしフラグ記録手段から消去していくことを特徴とするものである。
【００９８】
図１８は実施例Ｄに係る異常の診断装置を示す図である。
【００９９】
実施例Ｄの構成は、図１の構成（第２の態様）に上記の変化なしフラグ記録手段７１を付加したものに相当する。
【０１００】
この実施例Ｄは、上述の実施例Ｃが図１７（ｂ）に示すデータを記録するのに対し、各画素対応に変化があったかなかったかを示すフラグを記録手段７１に記録するようにしたものである。このフラグは変化のあり／なしを示すものであるから単なる１ビットでよい。したがって実施例Ｄは、メモリ量の大幅な削減が可能である。
【０１０１】
図１９（ａ），（ｂ），（ｃ）および（ｄ）は、実施例Ｄの動作を簡略に示す図である。
【０１０２】
図１９の（ｂ）は、今回の焼付き判断処理により得られた変化なしフラグ（ハッチングで示す）の記録である。
【０１０３】
この変化なしフラグの記録（ｂ）を、前回の変化なしフラグの記録（同図（ａ））と比較し、（ａ）と（ｂ）の双方に存在する変化なしフラグの記録（同図（ｃ））を得る。
【０１０４】
この変化なしフラグの記録（ｃ）は、次回の焼付き判断処理に利用される。このとき着目すべき画素は、本図（ｃ）の例では２つに減少している。したがって処理負荷は軽くなる。
【０１０５】
図１９（ｄ）は、「前回の焼付き判断処理」による結果の他の例である。要するに、今回の処理を全画素に対して実施しなくても、前回変化のなかった３画素のみ比較処理することで効率的に処理することができる。
【０１０６】
実施例Ｅにおいては、上述の比較および判定を、電源投入以降に適宜実行することに加えて、それ以前の電源投入時にも、画像入力部２および画像認識部３に対する既存のイニシャルチェックと兼ねて実行するようにする。
【０１０７】
なお本実施例Ｅは、既述の実施例４の内容および効果と全く同じである。
【０１０８】
実施例Ｆにおいては、前述の比較および判定を、周囲の状況に応じて前記画像信号の情報が有効に得られると判断されるときにのみ、選択的に実行するようにする。
【０１０９】
なお本実施例Ｆは、既述の実施例５の内容および効果と全く同じである。
【０１１０】
実施例Ｇにおいては、前述の比較および判定を、画像入力部２に対して、シャッター速度か、ＡＧＣか、アイリスか、のいずれかが操作されるときを捉えて実行するようにする。
【０１１１】
なお本実施例Ｇは、既述の実施例６の内容および効果と全く同じである。
【０１１２】
最後に実施例Ｈを説明する。この実施例Ｈにおいては、異常ありと判定された画素Ｐから得るべきであった画素信号の情報を、画素Ｐの周辺画素から得られた該画像信号の情報から補間により再生する画素情報再生手段をさらに備えるようにする。
【０１１３】
図２０は実施例Ｈに係る異常の診断装置を示す図である。
【０１１４】
実施例Ｈの構成は、図１の構成（第２の態様）に上記の画素情報再生手段８１を付加したものに相当する。なお、警報（ＡＬ）信号線の記載は省略した。
【０１１５】
図２１（ａ），（ｂ）および（ｃ）は実施例Ｈにおける補間について説明するための図である。
【０１１６】
本図において、（ａ）は座標（ｘ＋１，ｙ）にある画素が焼き付いた画素Ｐ′になったことを示す。
【０１１７】
この焼付き画素Ｐ′の階調を、その周辺画素すなわちＰ（ｘ，ｙ）およびＰ（ｘ＋２，ｙ）の階調から補間した様子を示すのが同図（ｂ）である。
【０１１８】
このとき用いた補間式の一例が同図（ｃ）に示される。この式によれば、再生された階調は８１（＝（１３６＋２５）／２）である。
【０１１９】
なお、この実施例Ｈは、画像認識に余り影響を及ぼさない画像の部分に適用することが望ましい。例えば図１３の（ａ），（ｂ）のＲで示すような画像の中心から外れた部分である。
【０１２０】
【発明の効果】
以上説明したように本発明によれば、画像認識システムにおいて、イメージセンサからの出力コードに生じた断線や該イメージセンサ内での焼付きといった異常を、迅速かつ正確に検出可能な診断装置を実現することができる。
【図面の簡単な説明】
【図１】本発明に係る画像認識システムにおける異常の診断装置の基本構成を示す図である。
【図２】実施例１を説明するための濃度ヒストグラムを示す図（その１）である。
【図３】実施例１を説明するための濃度ヒストグラムを示す図（その２）である。
【図４】実施例１を説明するための濃度ヒストグラムを示す図（その３）である。
【図５】実施例１を説明するための濃度ヒストグラムを示す図（その４）である。
【図６】図２〜図５に示すヒストグラムを得るための一例として用いた入力画像を示す図である。
【図７】入力画像を出力するイメージセンサ上の画素群を示す図である。
【図８】実施例２の動作例を示すフローチャートである。
【図９】実施例３の動作例を示すフローチャートである。
【図１０】実施例４の動作例を示すフローチャートである。
【図１１】実施例６を実施するのに効果的な場合を例示する図である。
【図１２】実施例７に係る異常の診断装置を示す図である。
【図１３】（ａ）および（ｂ）は焼付きを起こしたときの入力画像の一例を示す図である。
【図１４】画像の分割例を示す図である。
【図１５】実施例Ｂの動作例を示すフローチャートである。
【図１６】実施例Ｃに係る異常の診断装置を示す図である。
【図１７】（ａ）および（ｂ）は実施例Ｃの動作例を示すフローチャートである。
【図１８】実施例Ｄに係る異常の診断装置を示す図である。
【図１９】（ａ），（ｂ），（ｃ）および（ｄ）は、実施例Ｄの動作を簡略に示す図である。
【図２０】実施例Ｈに係る異常の診断装置を示す図である。
【図２１】（ａ），（ｂ）および（ｃ）は、実施例Ｈにおける補間について説明するための図である。
【符号の説明】
１…画像認識システム
２…画像入力部
３…画像認識部
４…異常の診断装置
５…制御対象
１１…ヒストグラム計算手段
１２…異常判定手段
２１…メモリ手段
２２…比較／判定手段
３１…レンズ
３２…アイリス
３３…イメージセンサ
３４…ＡＧＣ回路
３５…シャッター
４１…異常箇所特定手段
５１〜５４…小画像領域
６１…異常画素候補メモリ手段
７１…変化なしフラグ記録手段
８１…画素情報再生手段

Claims

画像入力部と、該画像入力部からの画像信号を入力として当該画像に対する画像認識を行う画像認識部と、を含んでなる画像認識システムにおける異常の診断を行う診断装置であって、
前記画像認識部に取り込まれる前記画像信号に対して所定の計算を行い、濃度ヒストグラムを生成するヒストグラム計算手段と、
前記ヒストグラム計算手段により生成された前記濃度ヒストグラムを解析して、前記異常の有無を判定する異常判定手段と、
を備えることを特徴とする、画像認識システムにおける異常の診断装置。
前記異常判定手段は、各階調毎の、前記画像を構成する画素の出現数により規定される前記濃度ヒストグラムを解析し、「全ての該階調について、対応する前記画素が出現していること」を検出しないとき、前記異常があるものと判定することを特徴とする請求項１に記載の診断装置。
前記の「全ての該階調について、対応する前記画素が出現していること」の検出が、複数回連続してなされないことを確認したとき、前記異常があるものと判定することを特徴とする請求項２に記載の診断装置。
前記の「全ての該階調について、対応する前記画素が出現していること」の検出を、所定のサンプリング間隔で離散的に実行することを特徴とする請求項２に記載の診断装置。
前記の「全ての該階調について、対応する前記画素が出現していること」の検出を、電源投入以降に適宜実行することに加えて、それ以前の電源投入時にも、前記画像入力部および前記画像認識部に対する既存のイニシャルチェックと兼ねて実行することを特徴とする請求項２に記載の診断装置。
前記の「全ての該階調について、対応する前記画素が出現していること」の検出を、周囲の状況に応じて前記濃度ヒストグラムの変動が大きいと判断されるときにのみ、選択的に実行することを特徴とする請求項２に記載の診断装置。
周囲の状況により前記濃度ヒストグラムの変動が小さいと判断されるときには、前記の「全ての該階調について、対応する前記画素が出現していること」の検出を、前記画像入力部に対して、シャッター速度か、ＡＧＣか、アイリスか、のいずれかが操作されるときを捉えて実行することを特徴とする請求項２に記載の診断装置。
前記の「全ての該階調について、対応する前記画素が出現していること」を検出したとき、その検出時における前記濃度ヒストグラムの示す濃度分布パターンが、予め想定した複数の異常パターンのいずれかに近い傾向を有するか否か判断し、該傾向を有するときに、当該異常パターンから一意に想定される異常の発生箇所を特定する異常箇所特定手段をさらに備えることを特徴とする請求項２に記載の診断装置。
前記異常箇所特定手段は、いずれかの前記階調において対応する前記画素が出現しないことを前記異常判定手段が検出したとしても、その検出時における前記濃度ヒストグラムの示す濃度分布パターンが、前記複数の異常パターンのいずれにも近い傾向を有しないと判断したときは、前記異常の発生はなく正常と認定することを特徴とする請求項８に記載の診断装置。
前記異常判定手段は、前記階調が、初段の階調から最終段の階調までの複数段の各々に対応して設定されているとき、前記初段の階調と前記最終段の階調にのみ着目してそれぞれ対応する前記画素の出現の有無を判定し、前記異常箇所特定手段は、当該画素の出現がないと判断したとき、この場合に固有の異常の発生箇所を特定することを特徴とする請求項８に記載の診断装置。
画像入力部と、該画像入力部からの画像信号を入力として当該画像に対する画像認識を行う画像認識部と、を含んでなる画像認識システムにおける異常の診断を行う診断装置であって、
前記画像認識部に取り込まれる前記画像信号の情報を入力としてこれを記憶するメモリ手段と、
前記画像を構成する複数の画素のうちの１画素に着目し、時間的に異なる複数の前記画像の各々について、当該着目画素に係る各該画像での前記画像信号の情報を前記メモリ手段から読み出して相互に比較し、かつ、相互の異同を判定する比較／判定手段と、
を備え、当該情報相互間が同一であるとき、異常ありと判定すると共に、
前記比較／判定手段は、前記画像を予め複数の小画像領域に分割しておいて、各該小画像領域毎に時間をずらして、前記の比較および判定をそれぞれ実行することを特徴とする、画像認識システムにおける異常の診断を行う診断装置。
前記比較／判定手段は、予め定めた一定時間内での今回の前記画像信号の情報とそれ以前の前回の前記画像信号の情報との間の変化を検出し、当該変化がないときに前記の異常ありと判定することを特徴とする請求項１１に記載の診断装置。
前記比較／判定手段により前記の異常ありと一旦判定された複数の異常画素候補のみを保存する異常画素候補メモリ手段をさらに備え、
該比較／判定手段は、前記異常画素候補メモリ手段内の各前記異常画素候補に対してのみ、引き続き前記の比較および判定を繰り返して実行し、当該情報相互が異なると判定する都度、当該異常画素候補を前記異常画素候補メモリ手段から消去していくことを特徴とする請求項１１に記載の診断装置。
前記比較／判定手段により前記情報相互間に変化なしと一旦判定されたことを示す変化なしフラグを各前記画素対応に記録する変化なしフラグ記録手段をさらに備え、
該比較／判定手段は、前記変化なしフラグ記録手段内の各変化なしフラグにそれぞれ対応する各前記画素に対してのみ、引き続き前記の比較および判定を繰り返して実行し、当該情報相互が異なると判定する都度、当該画素に対応する前記変化なしフラグを前記変化なしフラグ記録手段から消去していくことを特徴とする請求項１１に記載の診断装置。
前記の比較および判定を、電源投入以降に適宜実行することに加えて、それ以前の電源投入時にも、前記画像入力部および前記画像認識部に対する既存のイニシャルチェックと兼ねて実行することを特徴とする請求項１１に記載の診断装置。
前記の比較および判定を、周囲の状況に応じて前記画像信号の情報が有効に得られると判断されるときにのみ、選択的に実行することを特徴とする請求項１１に記載の診断装置。
前記の比較および判定を、前記画像入力部に対して、シャッター速度か、ＡＧＣか、アイリスか、のいずれかが操作されるときを捉えて実行することを特徴とする請求項１１に記載の診断装置。
前記の異常ありと判定された画素から得るべきであった前記画素信号の情報を、該画素の周辺画素から得られた該画像信号の情報から補間により再生する画素情報再生手段をさらに備えることを特徴とする請求項１１に記載の診断装置。