JP2013160895A - カメラ露出設定装置 - Google Patents
カメラ露出設定装置 Download PDFInfo
- Publication number
- JP2013160895A JP2013160895A JP2012022060A JP2012022060A JP2013160895A JP 2013160895 A JP2013160895 A JP 2013160895A JP 2012022060 A JP2012022060 A JP 2012022060A JP 2012022060 A JP2012022060 A JP 2012022060A JP 2013160895 A JP2013160895 A JP 2013160895A
- Authority
- JP
- Japan
- Prior art keywords
- image
- change
- acquisition means
- vehicle
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 36
- 230000003287 optical effect Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims 1
- 230000007812 deficiency Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 28
- 230000001133 acceleration Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
【課題】移動体に搭載されたカメラの移動時の露出を最適化できる露出設定装置を提供する。
【解決手段】露出設定可能な車載カメラ10の位置の変化をGPS車載器22で取得し、光軸方向の変化を傾斜センサ24で取得する。そして、画像処理部30において、車載カメラ10で取得した取得した画像に、画像取得タイミング毎に位置が可変な1領域あるいは複数の画像領域を設定し、その画像領域を構成する各画素の輝度を取得し、取得した輝度に基づいて、複数の画像領域が露光の過不足を原因として画像処理ができないと推定される不適合領域であるか否かをそれぞれ判定するための評価値を算出する。複数の画像領域のいずれかが不適合であると判定された場合、車載カメラ10の位置の変化又は車載カメラ10の光軸方向の変化のうち少なくとも1つに基づいて、設定した複数の画像領域の位置座標を、所定の領域の位置座標へ変更する。
【選択図】図1
【解決手段】露出設定可能な車載カメラ10の位置の変化をGPS車載器22で取得し、光軸方向の変化を傾斜センサ24で取得する。そして、画像処理部30において、車載カメラ10で取得した取得した画像に、画像取得タイミング毎に位置が可変な1領域あるいは複数の画像領域を設定し、その画像領域を構成する各画素の輝度を取得し、取得した輝度に基づいて、複数の画像領域が露光の過不足を原因として画像処理ができないと推定される不適合領域であるか否かをそれぞれ判定するための評価値を算出する。複数の画像領域のいずれかが不適合であると判定された場合、車載カメラ10の位置の変化又は車載カメラ10の光軸方向の変化のうち少なくとも1つに基づいて、設定した複数の画像領域の位置座標を、所定の領域の位置座標へ変更する。
【選択図】図1
Description
本発明は、車両などの移動体に搭載するカメラのような移動体の移動や設置された建造物自体の振動などにより設置位置や撮影している方向が変化する場合におけるカメラの露出制御を最適とする露出設定装置に関する。
従来、移動体に搭載されるカメラの露出を調整する方法として、カメラで取得した画像から予め設定された複数の画像領域を抽出し、抽出した領域において算出した複数の輝度値を使って、次に画像を取得する際のカメラの露出制御パラメータを最適値に決定する技術がある(例えば、特許文献1参照)。
ところが、車載カメラで取得した画像において抽出された複数の画像領域はのうち車載カメラの露出を設定するための輝度検出対象領域が固定位置となっている。
したがって、車載カメラなどカメラ自身が動き、カメラの光軸方向(x’, y’, z’)が時系列で変化する場合には、例えば、車載カメラが路面の起伏により上(空側)を向くと、道路白線検出システム用の画像の場合には、画像下部領域に白線が映り、画像上部の領域には空が映るようになる。
したがって、車載カメラなどカメラ自身が動き、カメラの光軸方向(x’, y’, z’)が時系列で変化する場合には、例えば、車載カメラが路面の起伏により上(空側)を向くと、道路白線検出システム用の画像の場合には、画像下部領域に白線が映り、画像上部の領域には空が映るようになる。
すると、空の領域の輝度が非常に大きいため、その空の領域の画像を画像処理できるように、車載カメラの露出を抑制すると、白線のある画面下部領域の輝度が過小となるなど、白線を検出するのに最適な露出制御ではなくなるという問題がある。
本発明は、こうした問題に鑑みなされたもので、移動体に搭載されたカメラの移動時の露出を最適化できる露出設定装置を提供することを目的とする。
この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。
上記「発明が解決しようとする課題」において述べた問題を解決するためになされた発明は、画像取得手段(10)、画像変化検出手段(20,30)、領域設定手段(30)、輝度取得手段(30)、評価値算出手段(30)、不適合領域判定手段(30)及び領域変更手段(30)を備えている。
画像取得手段(10)は、移動体(5)に搭載され、移動体(5)周囲の画像を取得する、露出制御パラメータを設定可能なものであり、画像変化検出手段(20,30)と、画像取得手段(10)の位置の変化又は画像取得手段(10)の光軸方向の変化のうち少なくとも1つを検出する。
領域設定手段(30)は、画像取得手段(10)で取得した画像に、画像取得タイミング毎に位置が可変な複数の画像領域を設定する。
輝度取得手段(30)は、領域設定手段(30)で設定した複数の画像領域を構成する各画素の輝度を取得し、評価値算出手段(30)は、輝度取得手段(30)により取得された輝度に基づいて、複数の画像領域が露光の過不足を原因として画像処理ができないと推定される不適合領域であるか否かをそれぞれ判定するための評価値を算出する。
輝度取得手段(30)は、領域設定手段(30)で設定した複数の画像領域を構成する各画素の輝度を取得し、評価値算出手段(30)は、輝度取得手段(30)により取得された輝度に基づいて、複数の画像領域が露光の過不足を原因として画像処理ができないと推定される不適合領域であるか否かをそれぞれ判定するための評価値を算出する。
不適合領域判定手段(30)は、評価値算出手段(30)で算出した評価値に基づいて、複数の画像領域が不適合領域であるか否かを判定する。
領域変更手段(30)は、不適合領域判定手段(30)により、複数の画像領域のいずれかが不適合であると判定された場合、画像変化検出手段(20,30)で検出した画像取得手段(10)の位置の変化又は画像取得手段(10)の光軸方向の変化のうち少なくとも1つに基づいて、領域設定手段(30)で設定した複数の画像領域の位置座標を、所定の領域の位置座標へ変更する。
領域変更手段(30)は、不適合領域判定手段(30)により、複数の画像領域のいずれかが不適合であると判定された場合、画像変化検出手段(20,30)で検出した画像取得手段(10)の位置の変化又は画像取得手段(10)の光軸方向の変化のうち少なくとも1つに基づいて、領域設定手段(30)で設定した複数の画像領域の位置座標を、所定の領域の位置座標へ変更する。
ここで、「露出制御パラメータ」とは、シャッタ開放時間やゲイン値などのような、画像取得手段(10)の露出を制御するためのパラメータを意味している。
このような露出設定装置(1)によれば、移動体(5)に搭載されたカメラの移動時の露出を最適化できる露出設定装置(1)とすることができる。以下その理由を説明する。
このような露出設定装置(1)によれば、移動体(5)に搭載されたカメラの移動時の露出を最適化できる露出設定装置(1)とすることができる。以下その理由を説明する。
車両のような移動体(5)では、前後方向に移動するととともに、移動の際にピッチ方向に傾く、したがって、移動体(5)に搭載した画像取得手段(10)で取得した画像の輝度が変化する。
例えば、移動体(5)が傾斜地に差し掛かり、移動体(5)の前部が上方に傾き、画像取得手段(10)で取得した画像中に空が映った場合、画面全体の輝度が非常に大きくなる。したがって、その輝度を基準として画像取得手段(10)の露出を設定すると、取得する画像の露出が過大となり、画像処理ができないようになってしまう。
そこで、領域設定手段(30)によって、画像取得タイミング毎に位置が可変な複数の画像領域を設定する。
そして、その領域の評価値に基づいて、その領域が画像処理ができない不適合領域か否かを判定し、不適合であると判定された場合、画像変化検出手段(20,30)で検出した画像取得手段(10)の位置の変化又は画像取得手段(10)の光軸方向の変化のうち少なくとも1つに基づいて、領域設定手段(30)で設定した複数の画像領域の座標位置を、所定の領域の位置座標へ変更する。
そして、その領域の評価値に基づいて、その領域が画像処理ができない不適合領域か否かを判定し、不適合であると判定された場合、画像変化検出手段(20,30)で検出した画像取得手段(10)の位置の変化又は画像取得手段(10)の光軸方向の変化のうち少なくとも1つに基づいて、領域設定手段(30)で設定した複数の画像領域の座標位置を、所定の領域の位置座標へ変更する。
こうすることで、画像取得手段(10)の位置や光軸方向が移動体(5)の移動に伴って変化しても、それを検出して、画像取得タイミング毎に画像領域が変更され、画像の輝度が常に画像処理可能な値に設定される。
つまり、移動体(5)が移動したり、傾斜したりして画像取得手段(10)で取得した画像中に、例えば空のような輝度の大きな部分が入ってくるような状態になっても、移動体(5)に搭載されたカメラの露出を最適化できる露出設定装置(1)とすることができるのである。
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[第1実施形態]
車載カメラ露出設定装置1は、図1に示すように、車載カメラ10、センサ部20、画像処理部30及び制御部40を備えている。
[第1実施形態]
車載カメラ露出設定装置1は、図1に示すように、車載カメラ10、センサ部20、画像処理部30及び制御部40を備えている。
車載カメラ10は、車両5(図6参照)周囲の画像を取得するカメラであり、車両5の進行方向前方の画像を取得できるように、車両5の車体前部やルーフの上に搭載されている。
車載カメラ10は、CCDカメラや赤外線カメラなどのカメラであり、制御部40からの指令により、カメラ露出制御のパラメータ(シャッタ開放時間やゲイン値)の変更ができるようになっている。
センサ部20は、GPS車載器22及び傾斜センサ24を備えている。
GPS車載器22は、図示しないGPS衛星からの測位情報を受信し、GPS車載器22の現在位置(換言すれば、車両5及び車両5に搭載されている車載カメラ10の現在位置)を出力する(以下、車載カメラ10の位置を車両5の位置とも呼ぶ)。
GPS車載器22は、図示しないGPS衛星からの測位情報を受信し、GPS車載器22の現在位置(換言すれば、車両5及び車両5に搭載されている車載カメラ10の現在位置)を出力する(以下、車載カメラ10の位置を車両5の位置とも呼ぶ)。
傾斜センサ24は、車載カメラ10の光軸方向を検出するためのセンサである。具体的には、例えば加速度センサであり、車両5の加速度を検出できるように取り付けられている。そして、車両5がピッチ方向に傾いたときに検出される加速度と、重力加速度の比(又は差分)から車両5の傾斜角を検出する。
車両5の傾斜角が検出できれば、車両5に搭載されている車載カメラ10の光軸の傾きを検出することができる。
画像処理部30は、CPU、ROM、RAM、I/O及び画像処理用のPGAを備えており、ROM及びPGAに格納されているプログラムにより、以下の(ア)〜(ク)に示す露出設定処理を実行する。
(ア)GPS車載器22から車両5の現在位置を取得し、車両5の位置の時間変化を算出する。
(イ)加速度センサ24から加速度を取得し、重力加速度と比較することによって、車両5のピッチ方向の傾斜角の時間変化を算出する。
(ウ)車両5の位置及び傾斜角の変化に基づいて、車載カメラ10で取得した画像に、複数の画像領域を設定する。
(エ)設定した各画像領域を構成する各画素の輝度を取得する。
(オ)取得した輝度に基づいて、複数の画像領域が露光の過不足を原因として画像処理ができないと推定される不適合領域であるか否かをそれぞれ判定するための評価値を算出する。
(カ)算出した評価値に基づいて、複数の画像領域が不適合領域であるか否かを判定する。
(キ)複数の画像領域のいずれかが不適合であると判定された場合、車両5の位置の変化又は車両5のピッチ方向又はヨー方向の変化のうち少なくとも1つに基づいて、設定した複数の画像領域の位置座標を、所定の領域の位置座標へ変更する。
(ク)複数の画像領域が不適合領域であると判定された場合、評価値が所定の評価値に近づくように次回時刻(次回の処理フロー時)の露出制御パラメータを変更し、制御部40へ出力する。
画像処理部30は、CPU、ROM、RAM、I/O及び画像処理用のPGAを備えており、ROM及びPGAに格納されているプログラムにより、以下の(ア)〜(ク)に示す露出設定処理を実行する。
(ア)GPS車載器22から車両5の現在位置を取得し、車両5の位置の時間変化を算出する。
(イ)加速度センサ24から加速度を取得し、重力加速度と比較することによって、車両5のピッチ方向の傾斜角の時間変化を算出する。
(ウ)車両5の位置及び傾斜角の変化に基づいて、車載カメラ10で取得した画像に、複数の画像領域を設定する。
(エ)設定した各画像領域を構成する各画素の輝度を取得する。
(オ)取得した輝度に基づいて、複数の画像領域が露光の過不足を原因として画像処理ができないと推定される不適合領域であるか否かをそれぞれ判定するための評価値を算出する。
(カ)算出した評価値に基づいて、複数の画像領域が不適合領域であるか否かを判定する。
(キ)複数の画像領域のいずれかが不適合であると判定された場合、車両5の位置の変化又は車両5のピッチ方向又はヨー方向の変化のうち少なくとも1つに基づいて、設定した複数の画像領域の位置座標を、所定の領域の位置座標へ変更する。
(ク)複数の画像領域が不適合領域であると判定された場合、評価値が所定の評価値に近づくように次回時刻(次回の処理フロー時)の露出制御パラメータを変更し、制御部40へ出力する。
制御部40は、画像処理部30から出力される露出制御パラメータを入力し、車載カメラ10のシャッタの開放時間やゲイン値を制御するものである。
(露出設定処理)
次に、露出設定処理の詳細について、図2に基づいて説明する。露出設定処理は、CPUが実行し、ΔTの処理周期で実行され、処理が開始されると、図2に示すように、まずS100において、CPUが車載カメラ10から画像を取得する。
(露出設定処理)
次に、露出設定処理の詳細について、図2に基づいて説明する。露出設定処理は、CPUが実行し、ΔTの処理周期で実行され、処理が開始されると、図2に示すように、まずS100において、CPUが車載カメラ10から画像を取得する。
続くS105では、GPS車載器22から、車両5の現在位置を取得し、続くS110では、車両5の現在位置の変化を算出する。つまり、S105において取得した車両5の現在位置と前回の処理ループにおけるS105において取得した車両5の現在位置との差を処理周期ΔTで除して車両5の現在位置の変化を算出する。
続くS115では、加速度センサ24から加速度を取得し、続くS120では、車両5のピッチ方向の傾斜角の変化を算出する。
つまり、重力加速度G(9.8m/s2)に対して、加速度センサ24から取得した加速度の値をx、車両5のピッチ方向の傾斜角をθとすると、下記式1のようになる。
つまり、重力加速度G(9.8m/s2)に対して、加速度センサ24から取得した加速度の値をx、車両5のピッチ方向の傾斜角をθとすると、下記式1のようになる。
θ=cos-1(x/G)・・・ 式1
この傾斜角θが車載カメラ10の光軸の傾斜角となるので、S115において取得した加速度から算出した傾斜角と前回の処理ループのS115において取得した加速度から算出した傾斜角の差を処理周期ΔTで除して、車載カメラ10の光軸の角度変化を算出する。
この傾斜角θが車載カメラ10の光軸の傾斜角となるので、S115において取得した加速度から算出した傾斜角と前回の処理ループのS115において取得した加速度から算出した傾斜角の差を処理周期ΔTで除して、車載カメラ10の光軸の角度変化を算出する。
続く、S125では、S100において車載カメラ10から取得した画像に複数の画像領域を設定する。複数の画像領域の設定は、例えば、図3(a)に示すように、空など路面以外の領域(図a(a)中「A」で示す)と路面の領域(図3(a)中「B」で示す)を設定する。
続くS130では、設定した複数の領域を構成する各画素の輝度を取得し、続くS135において評価値を算出する。
ここで、評価値とは、S130において取得した輝度から、複数の画像領域が露光の過不足を原因として、S160において実行する画像処理ができないと推定される不適合領域であるか否かをそれぞれ判定するための評価値を意味している。
ここで、評価値とは、S130において取得した輝度から、複数の画像領域が露光の過不足を原因として、S160において実行する画像処理ができないと推定される不適合領域であるか否かをそれぞれ判定するための評価値を意味している。
本実施形態においては、複数の画像領域における各画素の輝度の平均値を各画像領域の評価値とする。
続くS140では、不適合領域があるか否かを判定する。つまり、S135で算出した各画像領域の評価値が所定の値の範囲内にあるか否かを判定する。
続くS140では、不適合領域があるか否かを判定する。つまり、S135で算出した各画像領域の評価値が所定の値の範囲内にあるか否かを判定する。
これは、画像中の輝度が大きすぎると、その画像中から、S160で処理する画像処理ができなくなってしまうことがある。したがって、画面の輝度はある範囲内に収まっていることが必要であるからである。
そこで、S135において算出した各画像領域の評価値(平均輝度値)が、画像処理が不可能であると判定する。例として、256階調(0〜255)の輝度値で画像処理を行う場合には、例えばその中間値である128やあるいは別の所定の輝度値などから算出される評価値を中心値として所定の値に収まっているか否かを判定する。
そして、所定の値に収まっていないと判定した場合(S140:No)には、その画像領域を不適合領域と判定し、処理をS145へ移行させ、所定の値に収まっていると判定した場合(S140:Yes)、処理をS160へ移行させる。
S145では、S110において算出した車両5の現在位置の変化及びS120において算出した車載カメラ10の光軸の角度変化のうち少なくとも1つに基づいて、S125において設定した設定した複数の画像領域の位置座標を、所定の領域の位置座標へ変更する。
具体的には、車載カメラ10の光軸が、車載カメラ10の車両5へのピッチ方向への取付角度、車載カメラ10の視野角及び光軸の角度で決まる所定の角度以上になると、取得する画像中に非常に輝度の高い空が入ってくる。
すると、空が入った画像領域の輝度を画像処理可能な所定輝度に抑制しようとすると、他の画像領域の輝度が低くなり、全体画像の画像処理ができなくなってしまうことになる。
そこで、図3(b)に示すように、光軸が上に変化する場合には、不適合領域である空の領域(図3(b)中「A」で示す)が路面の画像領域(図3中「B」で示す)の中に入ってこないように、車載カメラ10の光軸の角度の上方向への変化割合以上の速さ(画像中では上下方向の大きさ)で、路面の画像領域の座標を所定の大きさ分下方向に変化させる(図3(b)中「C」で示す)。
また、車両5が走行すると位置の変化により不適合領域である空の領域が複数の画像領域に入ってくるため、空の領域が複数の画像領域に入らないように、車両5の位置の変化以上の速さ(画像中では上下の大きさ)で、路面の画像領域の座標を所定の大きさ分下に変更する。
続くS150では、S135で算出した評価値が所定の評価値に近づくように次回時刻の露出制御パラメータを変更する。
露出制御パラメータの変更は、例えば、S135で算出した評価値である平均輝度が小さい場合には、シャッタ開放時間を長くしたり、ゲイン値を大きく設定したりする。逆に平均輝度が大きい場合には、シャッタ開放時間を短くしたり、ゲイン値を小さく設定したりする。
露出制御パラメータの変更は、例えば、S135で算出した評価値である平均輝度が小さい場合には、シャッタ開放時間を長くしたり、ゲイン値を大きく設定したりする。逆に平均輝度が大きい場合には、シャッタ開放時間を短くしたり、ゲイン値を小さく設定したりする。
続くS155では、S150において変更した露出制御パラメータを制御部40へ出力した後、処理をS100へ戻し、処理をS160へ移行する。
S160では、画像処理を行う。この画像処理は、特にその処理内容が決められているものではなく、例えば、白線認識処理のように、車載カメラ10で取得した画像からエッジ成分を抽出するなとの処理により、路面に描かれている白線を認識する処理や駐車支援用の後方カメラ画像表示処理のように、車両5のハンドル舵角情報から、画像中に車両5の予想針路をインポーズして、カーナビゲーション装置の画面に表示したりする処理など、画像の輝度が画像処理内容に影響を与える画像処理であればよい。
S160では、画像処理を行う。この画像処理は、特にその処理内容が決められているものではなく、例えば、白線認識処理のように、車載カメラ10で取得した画像からエッジ成分を抽出するなとの処理により、路面に描かれている白線を認識する処理や駐車支援用の後方カメラ画像表示処理のように、車両5のハンドル舵角情報から、画像中に車両5の予想針路をインポーズして、カーナビゲーション装置の画面に表示したりする処理など、画像の輝度が画像処理内容に影響を与える画像処理であればよい。
あるいは、例えばその画像処理は、監視カメラのように、前述のカメラの露出制御のみ実施され、ディスプレイで画像として提示したり記録媒体に記録し処理を終了するなど、ソフトウェア上での画像処理は実施されなくともよい。
なお、画像処理の具体的処理方法については、周知の方法であるため、その説明は省略する。
そして、画像処理を行った後、処理をS100へ戻し、露出設定処理を繰り返す。
(車載カメラ露出設定装置1の特徴)
以上のような車載カメラ露出設定装置1では、画像中に設定した複数の領域のうち、画像処理ができない不適合領域か否かを判定し、不適合であると判定された場合、車載カメラ10の位置の変化又は車載カメラ10の光軸方向の変化のうち少なくとも1つに基づいて、設定した複数の画像領域を、不適合領域が複数の画像領域中に入らないように変更する。
そして、画像処理を行った後、処理をS100へ戻し、露出設定処理を繰り返す。
(車載カメラ露出設定装置1の特徴)
以上のような車載カメラ露出設定装置1では、画像中に設定した複数の領域のうち、画像処理ができない不適合領域か否かを判定し、不適合であると判定された場合、車載カメラ10の位置の変化又は車載カメラ10の光軸方向の変化のうち少なくとも1つに基づいて、設定した複数の画像領域を、不適合領域が複数の画像領域中に入らないように変更する。
したがって、車載カメラ10の位置や光軸方向が車両5の移動に伴って変化しても、それを検出して、画像取得タイミング毎に画像領域が変更され、画像の輝度が常に画像処理可能な値に設定される。
つまり、車両5が移動したり、傾斜したりして車載カメラ10で取得した画像中に、例えば空のような輝度の大きな部分が入ってくるような状態になっても、車両5に搭載されたカメラの露出を最適化できる。
また、GPS車載器22で車載カメラ10の位置を検出し、傾斜センサ24(加速度センサ24)で車載カメラ10の光軸の傾斜角を検出しているので、正確に位置の変化や光軸の方向の変化を検出できる。
さらに、複数の画像領域を構成する各画素の輝度の平均値を評価値としているので、評価値の算出処理が容易で処理速度を向上させることができる。
また、露出パラメータが所定の評価値に近づくように変更しているので、車載カメラ10で取得する画像の評価値(輝度)を、S160で実行する画像処理を行うのに適したものとすることができる。
[第2実施形態]
次に、第1実施形態のセンサ部20のGPS車載器22の代わりに、レーダ26を用いて位置の変化を取得するようにした第2実施形態の車載カメラ露出設定装置2について説明する。
また、露出パラメータが所定の評価値に近づくように変更しているので、車載カメラ10で取得する画像の評価値(輝度)を、S160で実行する画像処理を行うのに適したものとすることができる。
[第2実施形態]
次に、第1実施形態のセンサ部20のGPS車載器22の代わりに、レーダ26を用いて位置の変化を取得するようにした第2実施形態の車載カメラ露出設定装置2について説明する。
第2実施形態では、図4に示すように、レーダ26を備えている。このレーダ26は、ミリ波レーダ若しくはレーザレーダのように、車両5の前方にある他車両、標識あるいは建物などまでの距離とその方位を取得するものである。
そして、画像処理部30において、レーダ26で取得した物体までの距離を一定の時間間隔で取得することにより、車両5(つまり車載カメラ10)の位置の変化を検出することができる。
(露出設定処理)
第2実施形態の露出設定処理では、図2に示す第1実施形態の露出設定処理のS105においてGPS車載器22から車両5の現在位置を取得する代わりに、レーダ26から車両5前方の物体までの距離を取得する。
(露出設定処理)
第2実施形態の露出設定処理では、図2に示す第1実施形態の露出設定処理のS105においてGPS車載器22から車両5の現在位置を取得する代わりに、レーダ26から車両5前方の物体までの距離を取得する。
そして、S110において、S105において取得した距離をΔTで除して、距離の変化を算出する。このとき、露出処理を開始した最初のループの際の位置を基準点(つまり0)とすれば、その基準点からの車両5の位置の変化を求めることができる。
このようにすると、レーダ26で得られた正確な距離によって、容易かつ正確に車載カメラ10の位置の変化を得ることができる。
[第3実施形態]
次に、第1実施形態のセンサ部20のGPS車載器22の代わりに、画像処理により位置の変化を取得するようにした第3実施形態の車載カメラ露出設定装置3について説明する。
[第3実施形態]
次に、第1実施形態のセンサ部20のGPS車載器22の代わりに、画像処理により位置の変化を取得するようにした第3実施形態の車載カメラ露出設定装置3について説明する。
第3実施形態では、図1(第1実施形態)に示すGPS車載器22や傾斜センサ24あるいは、図4(第2実施形態)に示すような、レーダ26の代わりに、図5に示すように記憶装置50を備えている。
記憶装置50は、ハードディスク装置やDVD−ROMあるいはUSBメモリのような半導体記憶装置であり、車両5の走行中に前方に存在する物体、例えば、種々の車両、信号、標識など予めその大きさなどの形状情報が格納されている。
そして、車載カメラ10で取得した画像を記憶装置50に格納された物体の形状とマッチングさせることにより、画像中から物体を特定する。マッチングの方法は一般的な周知の方法によればよいため、その説明は省略する。
そして、例えば図6に示すように、車載カメラ10から他車両7までの距離は、下記式2によって、マッチングにより特定した物体(ここで、他車両7とする)と画像中の消失点(図6(a)中「V」で示す)との画像中での間隔(図6(a)中「y」で示す)、車載カメラ10の車両5における設置高さ(図6(b)中「H」で示す)及び車載カメラ10の焦点距離fにより求めることができる。
(露出設定処理)
第3実施形態の露出設定処理では、図2に示す第1実施形態の露出設定処理のS105において、GPS車載器22から演じ位置を取得する代わりに、S100において取得した画像において、画像中の車両5を特定し、画像中の消失点との間隔、車載カメラ10の設置位置及び車載かめら10の焦点距離fに基づいて、前述の式2により、物体までの距離を求める。
第3実施形態の露出設定処理では、図2に示す第1実施形態の露出設定処理のS105において、GPS車載器22から演じ位置を取得する代わりに、S100において取得した画像において、画像中の車両5を特定し、画像中の消失点との間隔、車載カメラ10の設置位置及び車載かめら10の焦点距離fに基づいて、前述の式2により、物体までの距離を求める。
そして、S110において、S105において取得した距離をΔTで除して、距離の変化を算出する。このとき、露出処理を開始した最初のループの際の位置を基準点(つまり0)とすれば、その基準点からの車両5の位置の変化を求めることができる。
このように、車載カメラ10の位置の変化を画像処理にて取得しているので、位置の変化の取得のための何らかの装置が不要となり、車載カメラ露出設定装置1を小型かつ安価な構成とすることができる。
[第4実施形態]
次に、図7に基づき、第3実施形態の車載カメラ露出設定装置3における露出設定処理の距離の算出方法を変更した第4実施形態ついて説明する。
[第4実施形態]
次に、図7に基づき、第3実施形態の車載カメラ露出設定装置3における露出設定処理の距離の算出方法を変更した第4実施形態ついて説明する。
第4実施形態では、図7に示すように、記憶装置50に格納されている他車両7の車幅や他構造物の寸法データWと画像中の他車両7のピクセル長さw及び車載カメラ10の焦点距離から下記の式3に従って、車載カメラ10と他車両7間の距離Zを算出する。
このようにして、車載カメラ10と他車両7の間の距離を算出しても、第3実施形態の車載カメラ露出設定装置3と同様の効果を得ることができる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
第1実施形態〜第3実施形態では、複数の画像領域における各画素の輝度の平均値を各画像領域の評価値としたが、それ以外のものを評価値としてもよい。たとえば、最大輝度値や最大輝度値と最小輝度値の差分などであってもよい。
1,2,3… 車載カメラ露出設定装置 5… 車両 7… 他車両 10… 車載カメラ 20… センサ部 22… GPS車載器 24… 傾斜センサ(加速度センサ) 26… レーダ 30… 画像処理部 40… 制御部 50… 記憶装置。
Claims (7)
- 移動体(5)に搭載され、前記移動体周囲の画像を取得する、露出制御パラメータを設定可能な画像取得手段(10)と、
前記画像取得手段の位置の変化又は前記画像取得手段の光軸方向の変化のうち少なくとも1つを検出する画像変化検出手段(20,30)と、
前記画像取得手段で取得した画像に、画像取得タイミング毎に位置が可変な複数の画像領域を設定する領域設定手段(30)と、
前記領域設定手段で設定した前記複数の画像領域を構成する各画素の輝度を取得する輝度取得手段(30)と、
前記輝度取得手段により取得された輝度に基づいて、前記複数の画像領域が露光の過不足を原因として画像処理ができないと推定される不適合領域であるか否かをそれぞれ判定するための評価値を算出する評価値算出手段(30)と、
前記評価値算出手段で算出した評価値に基づいて、前記複数の画像領域が不適合領域であるか否かを判定する不適合領域判定手段(30)と、
前記不適合領域判定手段により、前記複数の画像領域のいずれかが不適合であると判定された場合、前記画像変化検出手段で検出した前記画像取得手段の位置の変化又は前記画像取得手段の光軸方向の変化のうち少なくとも1つに基づいて、前記領域設定手段で設定した複数の画像領域の位置座標を、所定の領域の位置座標へ変更する領域変更手段(30)と、
を備えたことを特徴とするカメラ露出設定装置(1)。 - 請求項1に記載のカメラ露出制御装置において、
前記不適合領域判定手段において、前記複数の画像領域のいずれかが不適合領域であると判定された場合、前記評価値算出手段で算出した評価値が所定の評価値に近づくように次回時刻の露出制御パラメータを変更することを特徴とするカメラ露出設定装置。 - 請求項1又は請求項2に記載のカメラ露出設定装置において、
前記画像変化検出手段は、
前記画像取得手段から前記移動体の移動方向に存在する物体までの距離を取得する距離取得手段(26)を備え、
前記画像取得手段の位置の変化を、所定の基準位置から前記距離取得手段で取得した前記物体までの距離の変化によって検出することを特徴とするカメラ露出設定装置。 - 請求項3に記載のカメラ露出設定装置において、
前記距離取得手段は、
前記移動体の進行方向に存在する物体の形状情報を格納した格納手段(28)と、
前記格納手段に格納された物体の形状とマッチングさせることにより前記画像取得手段で取得した画像中から物体を特定する特定手段(30)と、
を備え、
前記画像において、前記特定手段で特定した前記画像中の物体と前記画像中の消失点との間隔、前記画像取得手段の設置位置及び前記画像取得手段の焦点距離に基づいて、前記画像取得手段から前記物体までの距離を取得することを特徴とするカメラ露出設定装置。 - 請求項3に記載のカメラ露出設定装置において、
前記距離取得手段は、
前記移動体の進行方向に存在する物体までの距離と方位を測定する測距手段(26)により、前記画像取得手段から前記物体までの距離を取得することを特徴とするカメラ露出設定装置。 - 請求項1〜請求項5のいずれか1項に記載のカメラ露出設定装置において、
前記画像変化検出手段は、
前記画像取得手段の光軸方向を取得する光軸方向取得手段(24)を備え、
前記画像取得手段の光軸方向の変化を前記光軸方向取得手段で取得した光軸方向の時間変化により検出することを特徴とするカメラ露出設定装置。 - 請求項1〜請求項6のいずれか1項に記載のカメラ露出設定装置において、
前記評価値算出手段は、
前記複数の画像領域を構成する各画素の輝度の平均値から算出される評価値とすることを特徴とするカメラ露出設定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012022060A JP2013160895A (ja) | 2012-02-03 | 2012-02-03 | カメラ露出設定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012022060A JP2013160895A (ja) | 2012-02-03 | 2012-02-03 | カメラ露出設定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013160895A true JP2013160895A (ja) | 2013-08-19 |
Family
ID=49173191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012022060A Pending JP2013160895A (ja) | 2012-02-03 | 2012-02-03 | カメラ露出設定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013160895A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101908021B1 (ko) | 2018-05-23 | 2018-10-12 | 엘아이지넥스원 주식회사 | 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법 및 기록매체에 저장된 컴퓨터 프로그램 |
KR101907657B1 (ko) | 2018-05-23 | 2018-10-12 | 엘아이지넥스원 주식회사 | 이미지 센서의 노출시간 확보 장치 |
US10462378B2 (en) | 2017-01-17 | 2019-10-29 | Toyota Jidosha Kabushiki Kaisha | Imaging apparatus |
US11418722B2 (en) | 2020-07-15 | 2022-08-16 | Denso Corporation | Exposure control device, exposure control method, and storage medium |
EP4184912A4 (en) * | 2020-07-15 | 2023-12-20 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008011174A (ja) * | 2006-06-29 | 2008-01-17 | Hitachi Ltd | 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム |
JP2008157636A (ja) * | 2006-12-20 | 2008-07-10 | Aisin Aw Co Ltd | 自車位置特定方法及び自車位置特定装置 |
JP2008230561A (ja) * | 2007-03-23 | 2008-10-02 | Alpine Electronics Inc | 撮像制御装置および測光領域調整方法 |
JP2008277921A (ja) * | 2007-04-25 | 2008-11-13 | Sharp Corp | 撮像装置およびこれを備えた移動体 |
JP2009223797A (ja) * | 2008-03-18 | 2009-10-01 | Denso Corp | 障害物検出装置 |
JP2010018167A (ja) * | 2008-07-10 | 2010-01-28 | Toyota Motor Corp | 駐車支援装置 |
JP2010041668A (ja) * | 2008-08-08 | 2010-02-18 | Denso Corp | 露出設定装置、露出設定プログラム、および画像処理装置 |
-
2012
- 2012-02-03 JP JP2012022060A patent/JP2013160895A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008011174A (ja) * | 2006-06-29 | 2008-01-17 | Hitachi Ltd | 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム |
JP2008157636A (ja) * | 2006-12-20 | 2008-07-10 | Aisin Aw Co Ltd | 自車位置特定方法及び自車位置特定装置 |
JP2008230561A (ja) * | 2007-03-23 | 2008-10-02 | Alpine Electronics Inc | 撮像制御装置および測光領域調整方法 |
JP2008277921A (ja) * | 2007-04-25 | 2008-11-13 | Sharp Corp | 撮像装置およびこれを備えた移動体 |
JP2009223797A (ja) * | 2008-03-18 | 2009-10-01 | Denso Corp | 障害物検出装置 |
JP2010018167A (ja) * | 2008-07-10 | 2010-01-28 | Toyota Motor Corp | 駐車支援装置 |
JP2010041668A (ja) * | 2008-08-08 | 2010-02-18 | Denso Corp | 露出設定装置、露出設定プログラム、および画像処理装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10462378B2 (en) | 2017-01-17 | 2019-10-29 | Toyota Jidosha Kabushiki Kaisha | Imaging apparatus |
KR101908021B1 (ko) | 2018-05-23 | 2018-10-12 | 엘아이지넥스원 주식회사 | 자세정보 센서를 이용한 비행체에 탑재된 이미지 센서의 노출시간 획득 방법 및 기록매체에 저장된 컴퓨터 프로그램 |
KR101907657B1 (ko) | 2018-05-23 | 2018-10-12 | 엘아이지넥스원 주식회사 | 이미지 센서의 노출시간 확보 장치 |
US11418722B2 (en) | 2020-07-15 | 2022-08-16 | Denso Corporation | Exposure control device, exposure control method, and storage medium |
EP4184912A4 (en) * | 2020-07-15 | 2023-12-20 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2933790B1 (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
JP6266565B2 (ja) | サスペンション制御装置 | |
JP4676373B2 (ja) | 周辺認識装置、周辺認識方法、プログラム | |
JP6657925B2 (ja) | 車載カメラ・システム並びに画像処理装置 | |
JP6988200B2 (ja) | 車両制御装置 | |
JP6201148B2 (ja) | キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム | |
JP6787157B2 (ja) | 車両制御装置 | |
JP6094337B2 (ja) | 運転制御装置 | |
US20190143993A1 (en) | Distracted driving determination apparatus, distracted driving determination method, and program | |
JP2007024590A (ja) | 物体検出装置 | |
US20150363653A1 (en) | Road environment recognition system | |
JP2020071122A (ja) | 自車位置推定装置 | |
WO2016194296A1 (en) | In-vehicle camera system and image processing apparatus | |
JP2013160895A (ja) | カメラ露出設定装置 | |
JP2015199423A (ja) | 走路推定装置及び走路推定プログラム | |
JP2018048949A (ja) | 物体識別装置 | |
JP2015151046A (ja) | 軸方向制御装置、および軸方向制御プログラム | |
JP5910180B2 (ja) | 移動物体位置姿勢推定装置及び方法 | |
JP2011175572A (ja) | 車線認識装置 | |
JP3633469B2 (ja) | 車間距離設定装置 | |
JP2020066246A (ja) | 路面状態推定装置 | |
JP4039402B2 (ja) | 物体検出装置 | |
JP6604052B2 (ja) | 走路境界推定装置及び走路境界推定方法 | |
JP7556922B2 (ja) | 外界認識装置 | |
JP2014135612A (ja) | カメラ露出設定装置及びカメラ露出設定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150317 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150714 |