JP6655504B2 - 画像処理装置、画像処理システム、移動体、及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像処理システム、移動体、及び画像処理方法に関する。

従来、複数のカメラによって撮像された画像を合成して１つの連続した合成画像を作成する画像処理装置が知られている。例えば、特許文献１に記載の画像処理装置は、４つのカメラによって車両の前方、後方、右方、及び左方をそれぞれ撮像した画像を合成することによって、車両及び車両周囲の路面を見降ろした様子を表す合成画像を生成する。

一方、夕方や夜間等の、カメラの撮像範囲の照度が低い場合に、近赤外光を被写体に照射させることによって、被写体である人物に眩しさや不快感を与えずに撮像する撮像装置が知られている。例えば、特許文献２に記載の撮像装置は、各色の画素の相対感度がほぼ等しくなる800ｎｍ以上の近赤外光を透過させて、この波長範囲の近赤外光を除く赤外光を遮光するフィルタを有し、近赤外光が照射された被写体を撮像する。

特開２００９−１７０２０号公報 特開平１０−１０８２０６号公報

しかしながら、上述の従来技術のような、所定の波長範囲の近赤外光を透過させて、所定の波長範囲の近赤外光を除く赤外光を遮光するフィルタを有した撮像装置によって、近赤外光が照射された被写体を撮像すると、近赤外光においては各色の画素の相対感度がほぼ等しいため、近赤外光が照射されていない被写体を撮像した画像に比べて彩度が低下する。

そのため、複数の画像を合成して合成画像を生成する画像処理装置において、近赤外光を透過させて、近赤外光を除く赤外光を遮光するフィルタを有する撮像装置によって撮像された画像を用いた場合、近赤外光が照射された被写体に係る画像と近赤外光が照射されていない被写体に係る画像とでは彩度が異なる。したがって、これらの画像を合成した合成画像は領域ごとに彩度が異なり、全体として見たときに不自然な画像となることがある。

したがって、これらの点に着目してなされた本発明の目的は、被写体の一部が近赤外光に照射されている場合であっても、彩度に均整がとれた、参照する者にとって違和感の少ない合成画像を生成するための画像を得ることができる画像処理装置、画像処理システム、移動体、及び画像処理方法を提供することにある。

上記課題を解決する画像処理装置は、可視光を透過させ、且つ、所定の波長範囲の赤外光を選択的に透過させるフィルタを備える複数のカメラによってそれぞれ撮像された複数の画像を取得する取得部と、前記取得部によって取得された前記複数の画像それぞれの彩度情報を算出し、前記それぞれの彩度情報に基づいて、前記複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させることによって、前記複数の画像の前記彩度情報の差を所定の値を有する第１の閾値以下とするプロセッサと、を備える。前記プロセッサは、前記彩度を低下させた画像と、前記複数の画像のうち前記少なくとも１つの画像とは異なる画像とを合成して合成画像を生成する。

上記課題を解決する画像処理システムは、可視光を透過させ、且つ、所定の波長範囲の赤外光を選択的に透過させるフィルタを含む複数のカメラと、前記複数のカメラによってそれぞれ撮像された複数の画像を取得する取得部と、前記取得部によって取得された前記複数の画像それぞれの彩度情報を算出し、前記それぞれの彩度情報に基づいて、前記複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させることによって、前記複数の画像の前記彩度情報の差を所定の値を有する第１の閾値以下とし、前記彩度を低下させた画像と、前記複数の画像のうち前記少なくとも１つの画像とは異なる画像とを合成して合成画像を生成するプロセッサと、を含む画像処理装置と、を備える。

上記課題を解決する移動体は、可視光を透過させ、且つ、所定の波長範囲の赤外光を選択的に透過させるフィルタを有する複数のカメラと、前記複数のカメラによってそれぞれ撮像された複数の画像を取得する取得部と、前記取得部によって取得された前記複数の画像それぞれの彩度情報を算出し、前記それぞれの彩度情報に基づいて、前記複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させることによって、前記複数の画像の前記彩度情報の差を所定の値を有する第１の閾値以下とし、前記彩度を低下させた画像と、前記複数の画像のうち前記少なくとも１つの画像とは異なる画像とを合成して合成画像を生成するプロセッサと、を有する画像処理装置と、を含む画像処理システムを備える。

上記課題を解決する画像処理方法は、画像処理装置が実行する画像処理方法であって、前記画像処理装置が、可視光を透過させ、且つ、所定の波長範囲の赤外光を選択的に透過させるフィルタを備える複数のカメラによってそれぞれ撮像された複数の画像を取得し、前記画像処理装置が、前記取得された前記複数の画像それぞれの彩度情報を算出し、前記それぞれの彩度情報に基づいて、前記複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させることによって、前記複数の画像の前記彩度情報の差を所定の値を有する第１の閾値以下とし、前記彩度を低下させた画像と、前記複数の画像のうち前記少なくとも１つの画像とは異なる画像とを合成して合成画像を生成する。

本発明の一実施形態によれば、被写体の一部が近赤外光に照射されている場合であっても、彩度に均整がとれた、参照する者にとって違和感の少ない合成画像を生成するための画像を得ることを可能とする。

図１は、第１の実施形態の画像処理システムの機能ブロック図である。 図２は、図１に示す撮像装置、画像処理装置、及び表示装置を搭載した移動体の上面図である。 図３は、第１の実施形態における画像処理システムの処理フローを示すフロー図である。 図４は、第２の実施形態における画像処理システムの機能ブロック図である。 図５は、第２の実施形態における画像処理システムの処理フローを示すフロー図である。

以下、本発明の第１の実施形態について、図面を参照して説明する。

図１に示すように、第１の実施形態に係る画像処理システム１は、撮像装置（カメラ）１０ａ、１０ｂ、１０ｃ、１０ｄ、画像処理装置２０、表示装置３０等を含んで構成される。画像処理装置２０は、通信ネットワークを介してカメラ１０ａ、１０ｂ、１０ｃ、１０ｄ、表示装置３０とそれぞれ接続されて情報を送受信する。また、画像処理装置２０は、通信ネットワークを介して、運転支援装置等と接続されて運転支援情報を受信してもよい。運転支援情報とは、運転者の操作を支援するための、例えば、目標駐車位置、予想進路線、後退開始位置等を示す情報である。画像処理装置２０は、表示装置３０と同一の筺体内に設けられてもよい。その場合、通信インタフェース２４、３１は無くてもよく、プロセッサ２２と表示用プロセッサ３２とがそれぞれ実行する機能を同一のプロセッサで実行してよい。表示装置３０は、運転支援装置等の表示部を兼用してよい。

また、図２に示すように、カメラ１０ａ、１０ｂ、１０ｃ、１０ｄ、画像処理装置２０、表示装置３０は、移動体４に搭載される。ここで、「移動体」は、例えば、乗用車、トラック、バスといった道路上を走行する車両等を意味する。また、以降においては、カメラ１０ａ、１０ｂ、１０ｃ、１０ｄのうち任意の撮像装置を「撮像装置（カメラ）１０」という。

カメラ１０は、移動体４の周辺を撮像するように設置される。図２に示した例を用いて説明すると、カメラ１０ａ、１０ｂ、１０ｃ、１０ｄは、移動体４のそれぞれ前方、右方、後方、左方を撮像するように設置される。また、各カメラは、該カメラの撮像範囲の一部が、他のカメラの撮像範囲の一部と共通であるように設置される。

カメラ１０ａの撮像範囲は図２に示すＡ１，Ａ２，及びＡ３であり、カメラ１０ｂの撮像範囲はＡ３，Ａ５，及びＡ８である。すなわち、カメラ１０ａの撮像範囲の一部であるＡ３は、カメラ１０ｂの撮像範囲の一部である。

同様にして、カメラ１０ｃの撮像範囲はＡ６，Ａ７，Ａ８である。すなわち、カメラ１０ｂの撮像範囲の一部であるＡ８はカメラ１０ｃの撮像範囲の一部である。

また、カメラ１０ｄの撮像範囲はＡ１，Ａ４，及びＡ６である。すなわち、カメラ１０ｄの撮像範囲の一部であるＡ１はカメラ１０ａの撮像範囲の一部である。

カメラ１０は、撮像レンズ１１、フィルタ１２、撮像素子１３、信号処理部１４等を含んで構成される。具体的には、図１に示したように、カメラ１０ａは、撮像レンズ１１ａ、フィルタ１２ａ、撮像素子１３ａ、信号処理部１４ａ等を含んで構成される。同様にして、カメラ１０ｂは、撮像レンズ１１ｂ、フィルタ１２ｂ、撮像素子１３ｂ、信号処理部１４ｂ等を含んで構成される。また、カメラ１０ｃは撮像レンズ１１ｃ、フィルタ１２ｃ、撮像素子１３ｃ、信号処理部１４ｃ等を含んで構成され、カメラ１０ｄは撮像レンズ１１ｄ、フィルタ１２ｄ、撮像素子１３ｄ、信号処理部１４ｄ等を含んで構成される。

撮像レンズ１１は、入射した光が撮像素子１３の受光面で結像するように集光するレンズである。撮像レンズ１１は、例えば、魚眼レンズ、超広角レンズで構成されてもよい。撮像レンズ１１は、単レンズで構成されてもよいし、複数枚のレンズで構成されてもよい。

フィルタ１２は、撮像レンズ１１の像側に、該フィルタ１２の面が該撮像レンズ１１の光軸に略垂直になるよう配置することができる。フィルタ１２は、可視光を透過させ、所定の波長範囲の近赤外光を選択的に透過させる。所定の波長範囲とは、各色の撮像素子１３の相対感度が等しい、近赤外光の波長の範囲であり、例えば８６０ｎｍを含む範囲である。

このようなフィルタ１２を通った光が撮像素子１３に結像することによって生成される、画像を構成する画素は、可視光線によってカラーで表される。そして、上述のように、可視光線とともに所定の波長範囲の近赤外光が撮像素子１３に到達する。近赤外光による各色の画素ごとの信号強度は略等しいため、該カラーで表されている画素の彩度は、近赤外光が到達しない場合に比べて低下している。

例えば、各カメラ１０ａ、１０ｂ、１０ｃ、１０ｄが撮像する範囲の一部のみに近赤外光が照射された場合、赤外光が照射された範囲を撮像するカメラ１０においてのみ、上記の波長範囲の赤外光がフィルタ１２を透過して撮像素子１３に到達する。そのため、カメラ１０ａ、１０ｂ、１０ｃ、１０ｄのうち近赤外光が照射された範囲を撮像した第１の画像と、カメラ１０ａ、１０ｂ、１０ｃ、１０ｄのうち近赤外光が照射されない範囲を撮像した第２の画像とでは彩度が、人の目から見て違和感をもつ程に異なる場合がある。特に、プロセッサ２２が、第１の画像と第２の画像とを合成することにより、１つの合成画像を生成した場合、１つの合成画像内で、第１の画像に係る領域と第２の画像に係る領域とでは彩度が異なるため、合成画像を視認したユーザは違和感をもつことになる。

撮像素子１３は、撮像レンズ１１によって結像された画像を撮像する撮像素子である。撮像素子１３は、ＣＣＤ（Charge-Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。撮像素子１３は、カラー画像を撮像するためのカラーフィルタを備える。カラーフィルタは、受光素子ごとに、レッド、グリーン、ブルー、または、シアン、マゼンダ、イエロー等の複数の色のフィルタが配列される。カラーフィルタはベイヤ配列で配列してよい。

信号処理部１４は、画像を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。

信号処理部１４は、該撮像素子１３で結像された画像を表す画像信号を生成する。また、信号処理部１４は、画像に対して歪み補正、ガンマ補正等の任意の処理を行ってもよい。

通信インタフェース１５は、信号処理部１４によって処理された、画像を表す画像信号を画像処理装置２０に送信する。

画像処理装置２０は、取得部２１、プロセッサ２２、メモリ２３、通信インタフェース２４等を含んで構成される。

取得部２１は、信号処理部１４によって生成された画像信号の入力を受けることによって画像信号が表す画像を取得する、カメラ１０とのインタフェースである。

プロセッサ２２は、取得部２１によって取得した画像を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行する汎用のＣＰＵ（中央処理装置：Central Processing Unit）である。

プロセッサ２２は、複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄによってそれぞれ撮像され、取得部２１によって取得された複数の画像の明るさ情報の差が所定の閾値（第３の閾値）以下となるように調整する。明るさ情報とは、画像全体の明るさに関する特性を示す値である。明るさ情報は、画像を構成する各画素の明るさ（明度）から算出され、例えば、各画素の明るさの平均値、中央値、最頻値、合計等の統計値である。複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄは、近赤外光に対する感度を有するので、明るさ情報には可視光とともに近赤外光が寄与する。

具体的には、プロセッサ２２は、複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄによってそれぞれ撮像され、取得部２１によって取得された複数の画像の明るさ情報の差が第３の閾値より大きいか否かを判定する。そして、明るさ情報の差が第３の閾値より大きい場合、全ての画像の明るさ情報の差が第３の閾値以下となるように、１つ以上の画像を構成する画素の明るさを変更する。明るさ情報の差が第３の閾値未満である場合、プロセッサ２２は、いずれの画素の明るさも変更しない。

ここで、第３の閾値とは、明るさ情報の差がこの値以下である場合に、複数の画像の明るさが人間の目で見て同程度であるとみなせる値であり、実験等により予め決定される。

プロセッサ２２が各画像の明るさ情報を変更する方法は任意であり、例えば、プロセッサ２２は、複数の画像のうち最も明るさ情報が高い画像に他の画像の明るさ情報を合わせるように、他の画像を構成する画素の明るさを高くしてもよいし、他の画像に、明るさ情報を合わせるように最も明るさ情報が高い画像を構成する画素の明るさを低下させてもよいし、また、プロセッサ２２は、複数の画像の明るさ情報の平均値を算出し、複数の画像の明るさ情報が平均値となるように各画像を構成する画素の明るさを変更してもよい。

プロセッサ２２は、複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄによってそれぞれ撮像され、上述のように明るさ情報が調整された複数の画像の彩度情報を算出する。彩度情報とは、画像全体の鮮やかさに関する特性を示す値である。彩度情報は、画像を構成する各画素の彩度から算出され、例えば、各画素の彩度の平均値、中央値、最頻値、合計等の統計値である。各画素の彩度は、各画素のＲＧＢ値から計算される。

また、プロセッサ２２は、複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄによってそれぞれ撮像された複数の画像についての彩度情報に基づいて、複数の画像の彩度情報の差が所定の範囲内となるように、少なくとも１つの画像を構成する画素の彩度を低下させる。ここで、プロセッサ２２が複数の彩度情報に基づいて画素の彩度を低下させる処理について詳細に説明する。

プロセッサ２２は、複数の画像の彩度情報の差を算出して、複数の画像のうちの第１の画像と第１の画像とは異なる第２の画像との彩度情報の差に基づいて画像を構成する画素の彩度を低下させるか否かを判定する。

例えば、プロセッサ２２は、取得部２１によって取得された画像のうち最も明るさ情報の高い画像を第１の画像とし、第１の画像とは異なる第２の画像との差に基づいて彩度情報の差を算出する。図２において二点破線の楕円で囲まれる、移動体４の左側の領域がハロゲンライトで構成される街灯によって照射されている場合、複数のカメラ１０ａ，１０ｂ，１０ｃ，１０ｄのうち、カメラ１０ｄによって撮像された画像Ｉｄの明るさ情報が最も高い。また、ハロゲンライトによって照射される光には近赤外領域の波長の光が多く含まれるため、カメラ１０ｄによって撮像された画像Ｉｄの彩度情報が、ハロゲンライトによって照射されない場合に比べて低くなっている。

そこで、プロセッサ２２は、明るさ情報の最も高い第１の画像Ｉｄの彩度情報ＳＰｄと第１の画像Ｉｄとは異なる画像Ｉａ，Ｉｂ，Ｉｃ（本例では、これらの画像がそれぞれ第２の画像に相当する）それぞれの彩度情報ＳＰａ，ＳＰｂ，ＳＰｃとの差を算出する。具体的には、プロセッサ２２は、第１の画像Ｉｄの彩度情報ＳＰｄと、カメラ１０ａによって撮像された画像Ｉａの彩度情報ＳＰａとの差｜ＳＰｄ―ＳＰａ｜を算出する。また、プロセッサ２２は、画像Ｉｄの彩度情報ＳＰｄとカメラ１０ｂによって撮像された画像Ｉｂの彩度情報ＳＰｂとの差｜ＳＰｄ―ＳＰｂ｜、及び画像Ｉｄの彩度情報ＳＰｄと、カメラ１０ｃによって撮像された画像Ｉｃの彩度情報ＳＰｃとの差｜ＳＰｄ―ＳＰｃ｜を算出する。そして、プロセッサ２２は、算出した彩度情報の差のうちのいずれかが所定の閾値（第１の閾値）より大きいか否かを判定する。そして、プロセッサ２２は、彩度情報の差のいずれかが第１の閾値以上である場合に複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させると判定する。ここで、第１の閾値とは、彩度情報の差がこの値以下である場合に、複数の画像の鮮やかさが人間の目で見て同程度であるとみなせる値であり、実験等により予め決定される。

複数の画像の彩度情報の差を算出する方法はこれに限られず、次のように算出してもよい。例えば、プロセッサ２２は、複数のカメラ１０ａ，１０ｂ，１０ｃ，１０ｄによってそれぞれ撮像された任意の第１の画像と第１の画像とは異なる第２の画像との組合せ全てにおける彩度情報の差を算出し、いずれかの差が第１の閾値以上である場合に複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させると判定する。

具体的には、プロセッサ２２は、カメラ１０ａによって撮像された画像Ｉａの彩度情報ＳＰａとカメラ１０ｂによって撮像された画像の彩度情報ＳＰｂとの差｜ＳＰａ−ＳＰｂ｜を算出する。同様にして、プロセッサ２２は、カメラ１０ｃによって撮像された画像の彩度情報ＳＰｃ、カメラ１０ｄによって撮像された画像の彩度情報ＳＰｄを用いて、｜ＳＰａ−ＳＰｃ｜、｜ＳＰａ−ＳＰｄ｜、｜ＳＰｂ−ＳＰｃ｜、｜ＳＰｂ−ＳＰｄ｜、及び｜ＳＰｃ―ＳＰｄ｜をそれぞれ算出する。そして、プロセッサ２２は、これらの差のうちいずれかの差が第１の閾値より大きい場合に複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させると判定する。

ここで、プロセッサ２２が、画像を構成する画素の彩度を低下させる処理について、詳細に説明する。

プロセッサ２２は、画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄのうち最も彩度情報が低い第１の画像に、第１の画像とは異なる第２の画像の彩度情報を合わせるように彩度を低下させる。画像Ｉａ，Ｉｂ，Ｉｃ，Ｉｄののうち画像Ｉｄの彩度情報Ｓｐｄが最も低い場合、画像Ｉａ，Ｉｂ，Ｉｃそれぞれの彩度情報Ｓｐａ，Ｓｐｂ，Ｓｐｃと画像Ｉｄの彩度情報Ｓｐｄとの差が第１の閾値以下となるように画像Ｉａ、Ｉｂ、Ｉｃを構成する画素の彩度を低下させる。このとき、各画素の彩度の低下率が同じとなるように彩度を低下させてもよいし、他の任意のアルゴリズムに基づいて彩度を低下させてもよい。

また、プロセッサ２２は、複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させることによって、複数の画像の彩度情報の差を第１の閾値以下にすると、複数の画像を合成することによって合成画像を生成する。

また、プロセッサ２２は、複数の画像を合成することによって生成した合成画像を通信インタフェース２４に出力する。また、プロセッサ２２は、運転支援装置から受信した、例えば、目標駐車位置、予想進路線、後退開始位置等を示す運転支援情報を合成画像に重畳した画像を通信インタフェース２４に出力してもよい。

通信インタフェース２４は、複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄによって撮像された画像を表す画像情報を、それぞれのカメラ１０ａ、１０ｂ、１０ｃ、１０ｄから受信する。また、通信インタフェース２４は、運転支援装置から運転支援情報を受信する。また、通信インタフェース２４は、プロセッサ２２によって出力された合成画像、又は合成画像に運転支援情報を重畳した画像を表す画像情報を表示装置に送信する。通信インタフェース２４は、物理コネクタ、無線通信機等とすることができる。物理コネクタには、電気コネクタ、光コネクタ、及び電磁コネクタが含まれる。また、無線通信機には、Bluetooth（登録商標）及びIEEE802.11を含む各規格に準拠する無線通信機、並びにアンテナが含まれる。

表示装置３０は、通信インタフェース３１、表示用プロセッサ３２、表示パネル３３等を含んで構成される。

通信インタフェース３１は、画像処理装置２０から通信インタフェース２４を介して合成画像、又は合成画像に運転支援情報を重畳した画像を表す画像情報を受信する。通信インタフェース３１は、通信インタフェース２４と同様に、物理コネクタ、無線通信機等とすることができる。

表示用プロセッサ３２は、通信インタフェース３１によって受信した画像情報を表示パネル３３に表示させる。

続いて、第１の実施形態の画像処理システム１の画像処理方法について、図３を参照して説明する。

まず、カメラ１０ａ、１０ｂ、１０ｃ、１０ｄは、移動体４の周辺の被写体をそれぞれ撮像して画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄを生成する（ステップＳ１１）。

ステップＳ１１で、画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄが生成されると、画像処理装置２０の取得部２１が画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄをそれぞれ表す画像情報をそれぞれのカメラ１０ａ、１０ｂ、１０ｃ、１０ｄから取得する（ステップＳ１２）。

ステップＳ１２で画像情報を取得すると、プロセッサ２２は、画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄを構成する画素の明るさに基づいて、各画像の明るさ情報を算出する（ステップＳ１３）。

ステップＳ１３で明るさ情報が算出されると、プロセッサ２２は、各画像の明るさ情報差が第３の閾値以下となるように少なくとも１つの画像を構成する画素の明るさを変更することによって画像の明るさ情報を調整する（ステップＳ１４）。

ステップＳ１４で明るさ情報が調整されると、プロセッサ２２は、明るさ情報が調整された複数の画像についてそれぞれ彩度情報を算出する（ステップＳ１５）。

ステップＳ１５で彩度情報が算出されると、複数の画像の彩度情報の差が第１の閾値以下であるか否かを判定する（ステップＳ１６）。

ステップＳ１６で複数の画像についての彩度情報の差が第１の閾値より大きいと判定されると、複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させる（ステップＳ１７）。具体的には、画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄのうち最も低い彩度情報を有する第１の画像との差が第１の閾値以下となるよう、第１の画像とは異なる第２の画像それぞれを構成する画素の彩度を低下させる。

ステップＳ１７で画素の彩度を低下させることによって、複数の画像についての彩度情報の差が第１の閾値以下とされると、プロセッサ２２は、複数の画像を合成して合成画像を生成する（ステップＳ１８）。このとき、プロセッサ２２は合成画像に運転支援装置から受信した、駐車する際の目標駐車位置、予想進路線、後退開始位置等を含む運転支援情報を重畳させた画像を生成してもよい。

ステップＳ１８で合成画像又は合成画像に運転支援情報を重畳した画像が生成されると、プロセッサ２２は、生成された画像を表す画像情報を出力し、通信インタフェース２４を介して表示装置３０に送信する（ステップＳ１９）。

ステップＳ１９で、画像情報が表示装置３０に出力されると、表示装置３０は画像を表示する（ステップＳ２０）。

第１の実施形態においては、カメラ１０ａ、１０ｂ、１０ｃ、１０ｄによって撮像された複数の画像のうちのいずれかが近赤外光によって彩度が低下していても、複数の画像それぞれの彩度情報に基づいて、少なくとも１つの画像を構成する画素の彩度を低下させるため、全ての画像の彩度情報を同程度とすることができる。そのため、これらの画像を合成することによって合成画像を生成した場合、参照者は領域ごとに彩りについての差異を感じることなく画像を参照することができる。

また、第１の実施形態においては、明るさ情報の差が第３の閾値以下となるよう調整された複数の画像について、いずれか１つの画像の彩度を低下させる。そのため、例えば、近赤外光を多く含む光を発光する街灯によって、一部の画像のみが明るくなっている場合に、全ての画像の明るさが参照する者の目からみて同程度となるように調整され、さらに彩度情報を同程度とすることができる。夜間や夕方において、近赤外光を多く含むハロゲンライト等の街灯等により複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄによる撮像範囲の一部のみが照射されていた場合、その撮像範囲にある被写体が撮像された画像は、他の画像より明るく、また彩度が低下している。そのため、複数の画像について、上述のように明るさ情報が調整されて、さらに彩度情報が同程度とされると、これらの画像を合成することによって合成画像が生成された場合、合成画像を参照する者は、明るさについても鮮やかさについても領域ごとに差異を感じることなく、画像を参照することができる。

以下、本発明の第２の実施形態について、図面を参照して説明する。

第２の実施形態に係る画像処理システム２は、図４に示すように、第１の実施形態に係る画像処理システム１と同様に、カメラ１０ａ、１０ｂ、１０ｃ、１０ｄ、画像処理装置２０、表示装置３０等を含んで構成される。また、画像処理システム２は、第１の実施形態に係る画像処理システム２と同様に移動体４に搭載される。また、画像処理システム２は、カメラ１０ａ、１０ｂ、１０ｃ、１０ｄの撮像範囲を近赤外光によりそれぞれ照射する照明装置４０ａ、４０ｂ、４０ｃ、４０ｄをさらに備える点で第１の実施形態に係る画像処理システム２と異なる。以降の説明では、照明装置４０ａ、４０ｂ、４０ｃ、４０ｄのうち任意の照明装置を「照明装置４０」という。

なお、図４においては、カメラ１０ｂ、１０ｃ、１０ｄが備える構成を省略するが、カメラ１０ｂは第１の実施形態と同様に撮像レンズ１１ｂ、フィルタ１２ｂ、撮像素子１３ｂ、信号処理部１４ｂ等を含んで構成される。また、カメラ１０ｃは撮像レンズ１１ｃ、フィルタ１２ｃ、撮像素子１３ｃ、信号処理部１４ｃ等を含んで構成され、カメラ１０ｄは撮像レンズ１１ｄ、フィルタ１２ｄ、撮像素子１３ｄ、信号処理部１４ｄ等を含んで構成される。

照明装置４０は、カメラ１０が撮像する範囲の少なくとも一部を、近赤外光により照射する。照明装置４０は、通信インタフェース４１、照射制御部４２、発光部４３等を含んで構成される。具体的には、照明装置４０ａは、通信インタフェース４１ａ、照射制御部４２ａ、発光部４３ａ等を含んで構成される。また、図４においては省略されているが、照明装置４０ｂも同様に、通信インタフェース４１ｂ、照射制御部４２ｂ、発光部４３ｂ等を含んで構成され、照明装置４０ｃは、通信インタフェース４１ｃ、照射制御部４２ｃ、発光部４３ｃ等を含んで構成され、照明装置４０ｄは、通信インタフェース４１ｄ、照射制御部４２ｄ、発光部４３ｄ等を含んで構成される。

通信インタフェース４１は、画像処理装置２０から通信インタフェース２４を介して送信された、照明の強度を示す強度情報を受信する。通信インタフェース４１は、通信インタフェース２４と同様に、物理コネクタ、無線通信機等とすることができる。

照射制御部４２は、通信インタフェース４１によって受信した強度情報に基づいて、発光部４３による照射の強度を制御する。

発光部４３は、照射制御部４２によって制御された発光強度で、カメラ１０が撮像する範囲を照射する。発光部４３は、近赤外光の光源を含む。近赤外光の光源は、例えば、近赤外ＬＥＤ（light emitting diode）とすることができる。

第２の実施形態において、画像処理装置２０のプロセッサ２２は、複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄによってそれぞれ撮像され、取得部２１によって取得された複数の画像の明るさ情報の差に基づいて、照明装置４０ａ、４０ｂ、４０ｃ、４０ｄの強度を制御する。

具体的には、プロセッサ２２は、複数の画像の明るさ情報の差が第３の閾値以下となるように、照明装置４０ａ、４０ｂ、４０ｃ、４０ｄの強度を決定する。そして、プロセッサ２２は、各照明装置４０ａ、４０ｂ、４０ｃ、４０ｄについて決定した強度をそれぞれ表す強度情報を、通信インタフェース２４を介してそれぞれの照明装置４０ａ、４０ｂ、４０ｃ、４０ｄに送信する。

第２の実施形態におけるその他の構成、作用は第１の実施形態と同様なので、同一または対応する構成要素には、同一参照符号を付して説明を省略する。

続いて、第２の実施形態の画像処理システム２の画像処理方法について、図５を参照して説明する。

まず、カメラ１０ａ、１０ｂ、１０ｃ、１０ｄは、移動体４の周辺の被写体をそれぞれ撮像して画像Ｉａ１、Ｉｂ１、Ｉｃ１、Ｉｄ１を生成する（ステップＳ３１）。

ステップＳ１１で、画像Ｉａ１、Ｉｂ１、Ｉｃ１、Ｉｄ１が生成されると、画像処理装置２０の取得部２１が画像Ｉａ１、Ｉｂ１、Ｉｃ１、Ｉｄ１をそれぞれ表す画像情報をそれぞれのカメラ１０ａ、１０ｂ、１０ｃ、１０ｄから取得する（ステップＳ３２）。

ステップＳ１２で画像情報を取得すると、プロセッサ２２は、画像Ｉａ１、Ｉｂ１、Ｉｃ１、Ｉｄ１を構成する画素の明るさに基づいて、各画像の明るさ情報を算出する（ステップＳ３３）。

ステップＳ３３で明るさ情報が算出されると、プロセッサ２２は、各画像の明るさ情報の差が第３の閾値以下となるように、各照明装置４０ａ、４０ｂ、４０ｃ、４０ｄの強度を決定する（ステップＳ３４）。

ステップＳ３４で強度が決定されると、プロセッサ２２は、強度を表す強度情報を照明装置４０ａ、４０ｂ、４０ｃ、４０ｄに送信する（ステップＳ３５）。

ステップＳ３５で強度情報が送信されると、照明装置４０ａ、４０ｂ、４０ｃ、４０ｄは、強度情報に基づいて、それぞれカメラ１０ａ、１０ｂ、１０ｃ、１０ｄの撮像範囲の少なくとも一部を近赤外光により照射する（ステップＳ３６）。

ステップＳ３６でカメラ１０ａ、１０ｂ、１０ｃ、１０ｄの撮像範囲の少なくとも一部が近赤外光により照射されている状態で、カメラ１０ａ、１０ｂ、１０ｃ、１０ｄは、ふたたび移動体４の周辺の被写体をそれぞれ撮像して画像Ｉａ２、Ｉｂ２、Ｉｃ２、Ｉｄ２を生成する（ステップＳ３７）。上述のステップＳ３３〜Ｓ３６の処理により、ここで生成された画像Ｉａ２、Ｉｂ２、Ｉｃ２、Ｉｄ２の明るさ情報の差は第３の閾値以下となっている。

ステップＳ３７で画像Ｉａ２、Ｉｂ２、Ｉｃ２、Ｉｄ２が生成されると、取得部２１は生成された画像Ｉａ２、Ｉｂ２、Ｉｃ２、Ｉｄ２を取得する（ステップＳ３８）。

画像Ｉａ２、Ｉｂ２、Ｉｃ２、Ｉｄ２が取得されると、プロセッサ２２はステップＳ３９〜Ｓ４４において、第１の実施形態のステップＳ１５〜Ｓ２０と同様の処理を行う。

以上、説明したように、第２の実施形態においては、複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄによって撮像された複数の画像のうちのいずれかが近赤外光によって彩度が低下していても、複数の画像それぞれの彩度情報に基づいて、少なくとも１つの画像を構成する画素の彩度を低下させるため、全ての画像の彩度情報を同程度とすることができる。そのため、これらの画像を合成することによって合成画像を生成した場合、参照者は領域ごとに彩りについての差異を感じることなく画像を参照することができるという第１の実施形態と同様の効果を奏する。

また、第２の実施形態においては、複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄによってそれぞれ撮像された複数の画像の明るさ情報に基づいて、複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄの撮像範囲の明るさが同程度となるように照明装置４０ａ、４０ｂ、４０ｃ、４０ｄを制御する。そのため、夜間や夕方において、照明装置４０ａ、４０ｂ、４０ｃ、４０ｄは、街灯等により複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄによる撮像範囲の一部のみが照射されていた場合、照明装置４０ａ、４０ｂ、４０ｃ、４０ｄが制御されている状態で複数のカメラ１０ａ、１０ｂ、１０ｃ、１０ｄによってそれぞれ撮像された複数の画像は明るさ情報が同程度となっている。このような複数の画像において、彩度情報が同程度とされると、これらの画像を合成することによって合成画像を生成した場合、合成画像を参照する者は、明るさについても鮮やかさについても領域ごとに差異を感じることなく、画像を参照することができる。

続いて、本発明の第３の実施形態について説明する。

第３の実施形態に係る画像処理システム３は、第１の実施形態に係る画像処理システム１と同様に移動体４に搭載され、撮像装置（カメラ）１０ａ、１０ｂ、１０ｃ、１０ｄ、画像処理装置２０、表示装置３０等を含んで構成される。

第１の実施形態におけるプロセッサ２２は、画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄのうち最も彩度情報が低い第１の画像に第１の画像とは異なる第２の画像の彩度情報を合わせるように彩度を低下させる。第３の実施形態におけるプロセッサ２２は、複数の画像それぞれの彩度情報Ｓｐａ，Ｓｐｂ，Ｓｐｃ，Ｓｐｄのうちいずれか１つ以上が、所定の閾値（第２の閾値）以下である場合、画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄがそれぞれモノクロ画像となるように各画像を構成する画素の彩度を低下させる。この点で、第３の実施形態におけるプロセッサ２２は、第１の実施形態におけるプロセッサ２２と異なっている。

第３の実施形態におけるその他の構成、作用は第１の実施形態と同様なので、同一または対応する構成要素には、同一参照符号を付して説明を省略する。

以上、説明したように、第３の実施形態においては、カメラ１０ａ，１０ｂ，１０ｃ，１０ｄによってそれぞれ撮像された複数の画像のうちのいずれかが近赤外光によって彩度が低下していても、複数の画像それぞれの彩度情報Ｓｐａ，Ｓｐｂ，Ｓｐｃ，Ｓｐｄに基づいて、少なくとも１つの画像を構成する画素の彩度を低下させる。そのため、全ての画像の彩度情報を同程度とすることができる。したがって、これらの画像を合成することによって合成画像が生成された場合、合成画像を参照する者は違和感を少なくして、画像を参照することができるという第１の実施形態と同様の効果を奏する。

また、第３の実施形態においては、複数の画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄそれぞれの彩度情報Ｓｐａ，Ｓｐｂ，Ｓｐｃ，Ｓｐｄのうちいずれか１つ以上が、所定の閾値（第２の閾値）以下である場合、カメラ１０ａ，１０ｂ，１０ｃ，１０ｄによってそれぞれ撮像された複数の画像の全てをモノクロ画像とする。そのため、複数の画像の彩度情報の差をより一層少なくすることができる。したがって、これらの画像を合成することによって合成画像が生成された場合、合成画像を参照する者は、彩度の違いによる、参照する者の違和感をより一層少なくすることができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態及び実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態及び実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。

上述の実施形態においては、画像処理システム１は４つのカメラ１０ａ、１０ｂ、１０ｃ、１０ｄを備えるとしたが、カメラ１０の数は４つに限られず、２つ、３つ、又は５つ以上であればよい。すなわち、画像処理システム１は複数のカメラを備えることができる。

１ 画像処理システム
４ 移動体
１０,１０ａ,１０ｂ,１０ｃ,１０ｄ カメラ
１１,１１ａ,１１ｂ,１１ｃ,１１ｄ 撮像レンズ
１２,１２ａ,１２ｂ,１２ｃ,１２ｄ フィルタ
１３,１３ａ,１３ｂ,１３ｃ,１３ｄ 撮像素子
１４,１４ａ,１４ｂ,１４ｃ,１４ｄ 信号処理部
１５,１５ａ,１５ｂ,１５ｃ,１５ｄ 通信インタフェース
２０ 画像処理装置
２１ 取得部
２２ プロセッサ
２３ メモリ
２４ 通信インタフェース
３０ 表示装置
３１ 通信インタフェース
３２ 表示用プロセッサ
３３ 表示パネル
４０,４０ａ,４０ｂ,４０ｃ,４０ｄ 照明装置
４１,４１ａ,４１ｂ,４１ｃ,４１ｄ 通信インタフェース
４２,４２ａ,４２ｂ,４２ｃ,４２ｄ 照射制御部
４３,４３ａ,４３ｂ,４３ｃ,４３ｄ 発光部

Claims (13)

1. 可視光を透過させ、且つ、所定の波長範囲の赤外光を選択的に透過させるフィルタを備える複数のカメラによってそれぞれ撮像された複数の画像を取得する取得部と、
   前記取得部によって取得された前記複数の画像それぞれの彩度情報を算出し、前記それぞれの彩度情報に基づいて、前記複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させることによって、前記複数の画像の前記彩度情報の差を所定の値を有する第１の閾値以下とするプロセッサと、
   を備え、
   前記プロセッサは、前記彩度を低下させた画像と、前記複数の画像のうち前記少なくとも１つの画像とは異なる画像とを合成して合成画像を生成する、
   る画像処理装置。
2. 前記プロセッサは、前記複数の画像のうち第１の画像の彩度情報と、前記複数の画像のうち前記第１の画像と異なる第２の画像の彩度情報との差に基づいて、前記１の画像および前記第２の画像のうち前記彩度情報が高い方の画像を構成する前記画素の彩度を低下させる請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記第１の画像の彩度情報と、前記第２の画像の彩度情報との差が前記第１の閾値より大きい場合に、前記１の画像および前記第２の画像のうち前記彩度情報が高い方の前記画素の彩度を低下させる請求項２に記載の画像処理装置。
4. 前記プロセッサは、前記複数の画像のうち前記彩度情報が高い画像を構成する画素の彩度を低下させた画像と、前記複数の画像のうち彩度情報が低い画像とにおいて、それぞれの彩度情報の差が前記第１の閾値以下となるように、前記彩度情報が高い画像を構成する画素の彩度を低下させる請求項３に記載の画像処理装置。
5. 前記プロセッサは、前記複数の画像それぞれの彩度情報のうちいずれか１つ以上が、所定の値を有する第２の閾値以下である場合、前記複数の画像の全てがモノクロ画像となるように、前記複数の画像それぞれを構成する画素の彩度を低下させる請求項１に記載の画像処理装置。
6. 前記プロセッサは、前記取得部によって取得された複数の画像の明るさ情報の差が所定の値を有する第３の閾値以下となるよう調整し、前記明るさ情報が調整された複数の画像の彩度情報を算出する請求項１から５のいずれか一項に記載の画像処理装置。
7. 可視光を透過させ、且つ、所定の波長範囲の赤外光を選択的に透過させるフィルタを含む複数のカメラと、
   前記複数のカメラによってそれぞれ撮像された複数の画像を取得する取得部と、前記取得部によって取得された前記複数の画像それぞれの彩度情報を算出し、前記それぞれの彩度情報に基づいて、前記複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させることによって、前記複数の画像の前記彩度情報の差を所定の値を有する第１の閾値以下とし、前記彩度を低下させた画像と、前記複数の画像のうち前記少なくとも１つの画像とは異なる画像とを合成して合成画像を生成するプロセッサと、を含む画像処理装置と、
   を備える画像処理システム。
8. 前記複数のカメラの撮像範囲をそれぞれ照射する複数の照明装置をさらに備え、
   前記プロセッサは、前記取得部によって取得された複数の画像それぞれの明るさ情報を算出し、前記明るさ情報に基づいて、前記複数の照明装置を制御する請求項７に記載の画像処理システム。
9. 前記プロセッサは、前記複数の画像それぞれの明るさ情報の差が前記第１の閾値以下であるかを判定し、前記差が前記第１の閾値より大きい場合、前記差が前記第１の閾値以下となるように前記複数の照明装置の少なくとも１つの照明装置が前記撮像範囲を照射するよう制御し、前記差が前記第１の閾値以下である場合、前記複数の照明装置のいずれもが前記撮像範囲を照射しないよう制御する請求項８に記載の画像処理システム。
10. 前記照明装置は、所定の波長範囲の赤外光を含む光を発光する請求項８又は９に記載の画像処理システム。
11. 前記プロセッサは、前記画素の彩度を低下させた場合、前記彩度を低下させた画像と、前記複数の画像のうち前記少なくとも１つの画像とは異なる画像とを合成して合成画像を生成する請求項７から１０のいずれか一項に記載の画像処理システム。
12. 可視光を透過させ、且つ、所定の波長範囲の赤外光を選択的に透過させるフィルタを有する複数のカメラと、
    前記複数のカメラによってそれぞれ撮像された複数の画像を取得する取得部と、前記取得部によって取得された前記複数の画像それぞれの彩度情報を算出し、前記それぞれの彩度情報に基づいて、前記複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させることによって、前記複数の画像の前記彩度情報の差を所定の値を有する第１の閾値以下とし、前記彩度を低下させた画像と、前記複数の画像のうち前記少なくとも１つの画像とは異なる画像とを合成して合成画像を生成するプロセッサと、を有する画像処理装置と、を含む画像処理システムを備える移動体。
13. 画像処理装置が実行する画像処理方法であって、
    前記画像処理装置が、可視光を透過させ、且つ、所定の波長範囲の赤外光を選択的に透過させるフィルタを備える複数のカメラによってそれぞれ撮像された複数の画像を取得し、
    前記画像処理装置が、前記取得された前記複数の画像それぞれの彩度情報を算出し、前記それぞれの彩度情報に基づいて、前記複数の画像のうち少なくとも１つの画像を構成する画素の彩度を低下させることによって、前記複数の画像の前記彩度情報の差を所定の値を有する第１の閾値以下とし、
    前記彩度を低下させた画像と、前記複数の画像のうち前記少なくとも１つの画像とは異なる画像とを合成して合成画像を生成する、
    画像処理方法。

Images