[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3997945B2 - Peripheral image display device - Google Patents

Peripheral image display device Download PDF

Info

Publication number
JP3997945B2
JP3997945B2 JP2003118610A JP2003118610A JP3997945B2 JP 3997945 B2 JP3997945 B2 JP 3997945B2 JP 2003118610 A JP2003118610 A JP 2003118610A JP 2003118610 A JP2003118610 A JP 2003118610A JP 3997945 B2 JP3997945 B2 JP 3997945B2
Authority
JP
Japan
Prior art keywords
slit light
image
display device
dimensional object
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003118610A
Other languages
Japanese (ja)
Other versions
JP2004328240A (en
Inventor
道長 名倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2003118610A priority Critical patent/JP3997945B2/en
Publication of JP2004328240A publication Critical patent/JP2004328240A/en
Application granted granted Critical
Publication of JP3997945B2 publication Critical patent/JP3997945B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車両など移動体に搭載され、その周辺を撮影して表示手段に表示するようにした周辺画像表示装置に関する。
【0002】
【従来の技術】
例えば、自動車の後方をカメラで撮影して運転席部に設けたモニタにより後方を確認することができるようにした装置がある。これは後方が確認しにくい車両や、慣れない運転者にとってモニタに後方の画像が映し出されるのを見て確認することができるので、使い勝手に優れるものである。
【0003】
このようなものとして、例えば、図9の左側の画像で示すように、カメラにより撮影した画像をそのまま表示することに加えて、同図右側の画像で示すように、真上から見た画像つまり鳥瞰図に変換して表示させることで、自車の位置を把握しやすくしたものが提供されつつある(例えば、特許文献1〜4参照)。
【0004】
【特許文献1】
特開2002−087160号公報
【0005】
【特許文献2】
特開2002−262280号公報
【0006】
【特許文献3】
特開2002−262281号公報
【0007】
【特許文献4】
特開2002−283913号公報
【0008】
【発明が解決しようとする課題】
上記した従来技術のものでは、車両後部に取り付けたカメラにより撮影された画像を基にして真上から見た画像に変換して鳥瞰図として示すようにしたのであるが、このときカメラにより撮影された後方の画面には他の車両や障害物などの立体物が存在する。これらの立体物は、鳥瞰図に示す場合に平面上のパターンとして貼り付けられるので、図9に示したように、鳥瞰図としての画像の歪みが大きくなると共に、立体物を認識するのに自車との位置関係を見誤ってしまうこともあった。
【0009】
本発明は上記事情に鑑みてなされたものであり、その目的は、撮像手段により撮影した画像中に立体物が存在している場合に、これを立体物として推定することで、画像から使用者が立体物の把握をし易い表示を行うことができるようにした周辺画像表示装置を提供することにある。
【0010】
【課題を解決するための手段】
請求項1の発明によれば、撮像手段は、投光手段により撮影エリアにスリット光を照射したときのスリット光照射画像と未照射のときのスリット光未照射画像とを撮影し、制御手段は、両者の画像の画素成分の差分を演算して差分画像データを作成する。上記した差分のデータは、スリット光の照射の有無の違いに相当するので、スリット光のみのデータを得ることができる。
【0011】
このスリット光の画像パターンが、撮影エリア内に立体物が存在しない状態のパターンと比較して異なるパターンとなっているときに、その部分に立体物が存在することを推定することができる。制御手段は、このようにして立体物の存在を推定した結果を、表示手段に表示させる。これにより、撮像手段により撮影した撮影エリア内の画像について、立体物の存在を同時に表示させることができるので、撮影対象となる領域の画像に歪みが生ずるような場合でも、その画像内の立体物を確実に認識することができるようになる。
そして、制御手段を、撮影エリア内に立体物が存在しないときの投光手段が照射するスリット光の投影領域をマスクエリアとして設定し、差分画像データについてマスクエリアに沿ってスリット光の存在の有無を判定して立体物の存在の推定を行うようにしたので、マスクエリア近傍の画素データについて簡単な画像処理を行うことで迅速に立体物の存在の推定処理を行うことができるようになる。
【0012】
請求項2の発明によれば、上記発明において、制御手段により、撮像手段により撮影された撮影エリアの画像を鳥瞰図に変換して推定した立体物と共に表示手段に表示させるようにしたので、特に遠方に位置する立体物の撮影画像が小さく且つ歪んだ状態の画像として得られている場合でも、鳥瞰図に変換したときに歪みに起因して見誤ることなく確実に立体物を認識することができるようになる。
【0013】
請求項3の発明によれば、上記各発明において、投光手段を、スリット光として赤外線のスリット光を照射する構成としているので、スリット光を照射して撮影する際に、使用者が違和感をを感ずることなく立体物の推定処理を行うことができるようになる。
【0014】
請求項4の発明によれば、上記各発明において、制御手段を、撮影エリア内に立体物が存在しないときの投光手段が照射するスリット光の投影領域をマスクエリアとして設定し、差分画像データについてマスクエリアに沿ってスリット光の存在の有無を判定して立体物の存在の推定を行うようにしたので、マスクエリア近傍の画素データについて簡単な画像処理を行うことで迅速に立体物の存在の推定処理を行うことができるようになる。
【0015】
請求項の発明によれば、上記発明において、移動体の移動に伴ってスリット光照射画像とスリット光未照射画像とが異なる位置での画像となったとき、制御手段により、差分画像データのうちのマスクエリアの差分値が小さいところに立体物が存在することを推定するようにしたので、マスクエリア内での差分値のデータ判断を簡単且つ迅速に行うことができるようになる。
【0016】
請求項の発明によれば、側方撮像手段および側方投光手段を設けて側方の撮影エリア内に存在する立体物を推定することができるので、車両などの移動体においては、走行時に側方に存在する障害物などを表示手段を視認することで確実に認識することができるようになる。これにより、側方についても不用意に移動して衝突するなどの事故を未然に防止することができるようになる。
【0017】
【発明の実施の形態】
(第1の実施形態)
以下、本発明を自動車のバックビューモニタに適用した場合の第1の実施形態について図1ないし図7を参照して説明する。
図1は、本装置を自動車1に搭載した状態を概略的に示すもので、制御装置2、モニタ3、カメラ4、赤外線投光器5a,5bから構成されている。表示手段としてのモニタ3は、液晶などの表示装置を用いたもので、自動車1のダッシュボード上などに設けられ、運転者が見ることができるように設置されている。
【0018】
撮像手段としてのカメラ4は、可視光から赤外線領域までの光を撮影可能なもので、自動車1の後部に配設され、後方の撮影エリアAを撮影する。赤外線投光器5a,5bは、例えば、自動車1のテールランプ部分に設けられ、後述するようにして撮影エリアA内にスリット光Lを放射状に投光する。
【0019】
制御手段としての制御装置2は、後述するように撮影した画像を処理してモニタ2に表示させるためのもので、自動車1の座席下などに配設されている。この制御装置2は、図2に概略的なブロック構成を示すように、制御回路6、投光制御回路7、同期回路8、メモリ9などから構成されている。
【0020】
制御回路6は、CPUおよびROM、RAMなどを主体として構成されるもので、表示制御プログラムにより後述する表示動作を行うように構成されている。投光制御回路7は、赤外線投光器5a,5bに対して投光動作の制御を行うもので、スリット光Lを撮影エリアAに対して投光させる。これにより、図1に示したように、各赤外線投光器5a,5bから放射状にスリット光Lが投光されるようになる。
【0021】
同期回路8は、投光制御回路7とカメラ4とを同期させて動作させるためのもので、後述するように赤外線投光器5a,5bによりスリット光Lを投光した状態でカメラ4により撮影するスリット光照射画像と、スリット光Lを投光しない状態でカメラ4により撮影するスリット光未照射画像とを得るために両者のタイミングを制御するものである。
【0022】
次に、本実施形態の作用について図3ないし図7も参照して説明する。
図3は、この装置により立体物を推定するための原理を示したもので、カメラ4の位置から撮影したことを仮定して示した図である。赤外線投光器5a,5bからは、同図(b)に示すようにスリット光Lが撮影エリアA内に照射されることで、エリア内に立体物が存在しない場合にはスリット光Lにより地面にはラインSのように直線が投影される。
【0023】
一方、スリット光Lを横切るように立体物Pが存在する場合には、スリット光Lにより形成される投影像はラインSpのように立体物Pに沿った形状に曲げられたものとなる。これをカメラ4で撮影すると、図示のように折れ線ラインSpが撮影されるようになる。
【0024】
したがって、立体物Pが存在しない場合に得られるべきラインSの画像に対して、実際に撮影して得られた画像のラインSpとを比較することで、重ならない部分に立体物Pが存在していることを推定することができるようになる。
【0025】
さて、この実施形態においては、スリット光Lは赤外線として投光するようにしており、カメラ4は赤外線領域の波長も撮影可能なものとして設けられている。これは、可視光のスリット光を投光する場合の違和感をなくすためにしたもので、赤外線を用いる必然的理由はない。
【0026】
そして、赤外線投光器5a,5bにより照射された投影画像を得るのに、スリット光Lを照射したときのスリット光照射画像と、スリット光Lを照射しないときのスリット光未照射画像との差を演算して差分画像データとして得るようにしている。
【0027】
次に、実際に撮影エリアA内の立体物Pを推定する処理動作について図4,5,6を参照して説明する。いま、例えば、自動車1を駐車場の駐車スペースPAに入庫して駐車を行う場合を想定して説明する。この駐車スペースPAには、輪止めのブロックP1,P2が配置してあり、これが立体物Pとして推定するべきものとなる。駐車スペースPAには、自動車1を整列した状態で1台ずつ駐車するために、その目安となる区画をコンクリートの床面に対して認識しやすいように白いラインWLで表示している。
【0028】
図4は、自動車1を運転者がバックで駐車スペースPAに入庫させる場合の画像を示しており、この例では自動車1はこの位置で停止した状態で撮影をした場合で示している。制御装置2は、同期回路8、投光制御回路7を制御することにより、赤外線投光器5a,5bに投光動作を行わせると共にカメラ4による撮影を行わせる。
【0029】
同図(a)はスリット光照射画像を示しており、同図(b)はスリット光未照射画像を示している。なお、ここでは、簡単のために、赤外線投光器5aのスリット光Lのみを照射した画像として示しているが、実際には赤外線投光器5bのスリット光Lも照射することで撮影エリアAの領域をカバーする物である。また、制御装置2は、このようなスリット光照射画像とスリット光未照射画像とを交互に得るように同期回路8を制御している。
【0030】
同図(a)に示すように、輪止めP1、P2の部分でスリット光Lは屈曲しており、床面に投影されたスリット光LのラインSは折れ線Spとして画面に撮影されることになる。輪止めP1,P2が存在しない場合には、破線で示すように直線で放射状をなすラインSとして撮影されるものである。
【0031】
制御装置2は、得られた2つの画像についてこれらの差分を演算して同図(c)に示すような差分画像データを得るようになる。この差分画像データでは、駐車スペースPAの画像は相殺されて赤外線投光器5aから照射されたスリット光LのラインS、Spのみが残ることになる。
【0032】
制御装置2は、得られた差分画像データから、折れ線となっているラインSpを認識するとその部分に立体物Pが存在することを推定するようになる。この場合、制御装置2は、図5(b)に示すように、立体物Pが存在しない場合に得られるスリット光Lの投影画像であるラインSの領域を、同図(a)に示すようにマスクエリアMAとして設定し、このマスクエリアMAに沿って差分値が大きいか否かをチェックする。そして、差分値が小さいところつまりラインSが屈曲していてラインSpとなる部分では、マスクエリアMA内にラインSの画像が存在しないことから、この部分に立体物Pが存在していることを推定することができる。
【0033】
次に制御装置2は、カメラ4で撮影した画像を上方から見た画像すなわち鳥瞰図に変換し、これに上記推定した立体物Pの推定領域PEを合成して図6に示すような画像として表示させるようになる。これにより、使用者(運転者)は、モニタ3に表示された駐車スペースPAと自車1の位置とを鳥瞰図として見ながら、所定の位置に入庫するようにバックさせることができるようになる。このとき、画像には立体物Pとして推定領域PEが表示されるので、注意しながらハンドル操作をすることができるようになる。
【0034】
次に、自動車1が移動している状態で上記した推定の動作を行う場合について簡単に説明する。この場合には、カメラ4が移動しながらスリット光照射画像とスリット光未照射画像を撮影することから、両者の差分を演算する際に若干のずれが生ずる。
【0035】
ここで、例えば自動車1をバックで車庫入れする場合を想定すると、移動速度は時速10km程度と仮定することができる。また、画像の撮影速度は、1画像を1/30秒毎程度で撮影するのが一般的である。この結果、移動中の画像間の変位距離は10cm程度となる。そして、この程度の移動では、画像上で大きな変化はなく、スリット光の位置は移動に関係なく一定である。
【0036】
図7は、前述した図5のスリット光照射画像、スリット光未照射画像、差分画像データのそれぞれに対応する画像を示したものである。ここで、同図(a)のスリット光照射画像に対して、同図(b)のスリット光未照射画像はカメラ4の位置が上述したように少し移動しており、差分画像データにはスリット光LのラインS、Spに加えて白いラインWLなどの境界線付近において差分の大きな領域Swが発生する。
【0037】
しかし、この程度のずれは、停止している場合の算出過程と同様にして、差分を演算すると、スリット光Lおよび白いラインWLの境界付近の差分が大きく発生するが、立体物Pが存在する部分では、停止時と同様にスリット光に対応するマスクエリア内の差分が小さくなるので検出することができる。マスクエリア内の差分のみに着目することにより、移動に伴う差分の影響を受けにくくすることができる。また、移動しながらの判定では、物体の境界付近で多少の誤差を生ずるが、同じテクスチャを持つ領域を立体物Pとして抽出することでほぼ確実に立体物Pを推定することができるようになる。
【0038】
このような第1の実施形態によれば、赤外線投光器5a,5bからのスリット光Lの照射の有無に対応した画像をカメラ4で撮影し、それらの差分画像データを作成して立体物Pの存在を推定するようにしたので、カメラ4で撮影した画像のみでは認識しにくい立体物の存在を合成してモニタ3に表示することができるようになる。これにより、例えば鳥瞰図に変換して表示する場合には見誤るのを極力防止して確実に認識することができるようになる。
【0039】
(第2の実施形態)
図8は本発明の第2の実施形態を示すもので、第1の実施形態の構成に加えて、側方の立体物も推定することができるようにしたものである。
前述したように、鳥瞰図に変換する際には隣に駐車されている自動車1aも床面の模様として処理されるので、実際の距離よりも遠くに存在しているように見えてしまう。これにより、使用者は距離感を失って、錯覚を起こして接触事故などを起こしたりすることも有り得るのである。
【0040】
この実施形態においては、このような場合にも対応できるように、後方について設けられたカメラ4、赤外線投光器5a,5bに相当する構成を両側部にも設ける構成としている。ここでは、側方の撮像手段としてのカメラ10,11をそれぞれ設けると共に、側方投光手段としての赤外線投光器12a,12bおよび13a,13bを設けた構成としている。これらは、制御装置2に接続され、その処理結果である推定される立体物Pの存在領域がモニタ3に表示されるようになっている。
【0041】
これにより、例えば、自動車1を駐車スペースPAに駐車するときには存在していなかった自動車1aが出発時には駐車されているような場合でも、カメラ10,11により左右の撮影エリアAL,ARを撮影して、立体物の存在の推定処理をすることで、出発前に認識して立体物としてモニタ3に表示することができるようになる。
【0042】
なお、この実施形態においては、左右の撮影エリアAL,ARについて認識する構成としたが、運転席と反対側の側の見難い側のみを検出するように設ける構成とすることもできる。
【0043】
(他の実施形態)
本発明は上記しかつ図面に示した実施形態に限定されるものではなく、次のように変形することが出来る。
上記実施形態では、カメラ4に対して左右にそれぞれ赤外線投光器5a,5bを設ける構成としたが、1個だけ設ける構成とすることもできるし、検出する領域に対応して3個以上設ける構成とすることもできる。
撮影エリアAの立体物を推定するのに複数台のカメラを設ける構成とすることもできる。
【0044】
投光手段として、赤外線投光器5a,5bを用いたが、可視光や紫外線などをを照射する投光器を用いることもできる。投光手段として、例えばハロゲンランプ、通常のランプあるいはLED,レーザーなどを用いることもできる。この場合、ランプを使用する場合には、カメラと同期してスリット光を照射するために、メカニカルシャッターを使用したり、ストロボを用いることになる。また、レーザ光を使用する場合には、スキャン機構などを用いることで、放射線状のスリット光を実現することができる。
【0045】
投光手段は、自動車1のテールランプ内に設ける以外に他の部分に専用に設ける構成とすることもできる。
【図面の簡単な説明】
【図1】 本発明の第1の実施形態を示す概略的な構成図
【図2】 電気的なブロック構成図
【図3】 立体物の推定原理を示す作用説明図
【図4】 停止時の撮影画像の表示例を示す図
【図5】 マスクエリアを説明する図
【図6】 鳥瞰図の表示例を示す図
【図7】 移動時に対応した図4相当図
【図8】 本発明の第2の実施形態を示す図1相当図
【図9】 従来技術の表示画面の例を示す図
【符号の説明】
1は自動車(車両)、2は制御装置(制御手段)、3はモニタ(表示手段)、4はカメラ(撮像手段)、5a,5bは赤外線投光器(投光手段)、6は制御回路、7は投光制御回路、8は同期回路、9はメモリ、10,11はカメラ(側方撮像手段)、12a,12b,13a,13bは赤外線投光器(側方投光手段)、Lはスリット光、Aは撮影エリア、AL,ARは側方の撮影エリア、Pは立体物、WLは白いライン、PAは駐車スペース、P1,P2は輪止め(立体物)である。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a peripheral image display device that is mounted on a moving body such as a vehicle, and the periphery thereof is photographed and displayed on a display means.
[0002]
[Prior art]
For example, there is an apparatus in which the rear of an automobile is photographed with a camera and the rear can be confirmed by a monitor provided in a driver's seat. This is easy to use because it can be confirmed by looking at the rear image displayed on the monitor for vehicles that are difficult to confirm the rear and drivers who are not accustomed.
[0003]
As such, for example, as shown in the left image of FIG. 9, in addition to displaying the image taken by the camera as it is, as shown in the right image of FIG. By making it convert into a bird's-eye view and displaying it, what made it easy to grasp | ascertain the position of the own vehicle is being provided (for example, refer patent documents 1-4).
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 2002-087160
[Patent Document 2]
Japanese Patent Laid-Open No. 2002-262280 [0006]
[Patent Document 3]
Japanese Patent Laid-Open No. 2002-262281
[Patent Document 4]
JP-A-2002-283913 [0008]
[Problems to be solved by the invention]
In the above-described prior art, it was converted into an image viewed from directly above based on an image taken by a camera attached to the rear part of the vehicle, and was shown as a bird's eye view. There are three-dimensional objects such as other vehicles and obstacles on the rear screen. Since these three-dimensional objects are pasted as a pattern on a plane in the case of a bird's-eye view, as shown in FIG. 9, the distortion of the image as the bird's-eye view becomes large, and the vehicle can recognize the three-dimensional object. Sometimes, the positional relationship of was mistaken.
[0009]
The present invention has been made in view of the above circumstances, and an object of the present invention is to estimate a three-dimensional object as a three-dimensional object when the three-dimensional object is present in an image photographed by an imaging unit. It is an object of the present invention to provide a peripheral image display device capable of performing display that makes it easy to grasp a three-dimensional object.
[0010]
[Means for Solving the Problems]
According to the first aspect of the present invention, the imaging means captures the slit light irradiation image when the projection area is irradiated with the slit light and the slit light non-irradiation image when the light is not irradiated, and the control means The difference image data is created by calculating the difference between the pixel components of the two images. Since the difference data described above corresponds to the difference in the presence or absence of slit light irradiation, only the slit light data can be obtained.
[0011]
When the image pattern of the slit light is different from a pattern in a state where no three-dimensional object exists in the shooting area, it can be estimated that a three-dimensional object exists in that portion. The control means causes the display means to display the result of estimating the presence of the three-dimensional object in this way. As a result, the presence of a three-dimensional object can be displayed at the same time for the image in the photographing area photographed by the imaging means, so even if the image of the area to be photographed is distorted, the three-dimensional object in the image is displayed. Can be reliably recognized.
Then, the control means sets the projection area of the slit light irradiated by the light projecting means when there is no three-dimensional object in the imaging area as a mask area, and the presence or absence of the slit light along the mask area for the difference image data Therefore, the existence of a three-dimensional object can be estimated by performing simple image processing on pixel data in the vicinity of the mask area.
[0012]
According to the invention of claim 2, in the above invention, the control means converts the image of the photographing area photographed by the imaging means into a bird's eye view and displays the estimated three-dimensional object on the display means. Even when a captured image of a three-dimensional object located at a position is obtained as a small and distorted image, the three-dimensional object can be reliably recognized without being mistaken due to distortion when converted to a bird's eye view become.
[0013]
According to the invention of claim 3, in each of the above inventions, since the light projecting means is configured to irradiate infrared slit light as slit light, the user feels uncomfortable when photographing by irradiating the slit light. It becomes possible to perform the estimation process of the three-dimensional object without feeling.
[0014]
According to the invention of claim 4, in each of the above inventions, the control means sets the projection area of the slit light irradiated by the light projecting means when there is no solid object in the imaging area as the mask area, and the difference image data Since the existence of the slit light is judged along the mask area and the existence of the three-dimensional object is estimated, the existence of the three-dimensional object can be quickly performed by performing simple image processing on the pixel data in the vicinity of the mask area. The estimation process can be performed.
[0015]
According to the invention of claim 4 , in each of the above inventions, when the moving image of the moving body, the slit light irradiated image and the slit light non-irradiated image become images at different positions, the control means controls the difference image data. since three-dimensional object at the difference value between Sukueria small among was made to estimate the presence, it is possible to perform data determination of the difference values in the mask areas easily and quickly.
[0016]
According to the fifth aspect of the present invention, since the three-dimensional object existing in the side photographing area can be estimated by providing the side imaging means and the side light projecting means, the traveling object such as a vehicle is traveling. Obstacles or the like that sometimes exist on the side can be reliably recognized by viewing the display means. As a result, accidents such as inadvertent movement and collision can be prevented.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
Hereinafter, a first embodiment when the present invention is applied to a back view monitor of an automobile will be described with reference to FIGS.
FIG. 1 schematically shows a state in which the present apparatus is mounted on an automobile 1, and includes a control device 2, a monitor 3, a camera 4, and infrared projectors 5a and 5b. The monitor 3 as a display means uses a display device such as a liquid crystal and is provided on the dashboard of the automobile 1 so that the driver can see it.
[0018]
The camera 4 as an imaging means is capable of photographing light from the visible light to the infrared region, and is disposed at the rear part of the automobile 1 and photographs the rear photographing area A. The infrared projectors 5a and 5b are provided, for example, in the tail lamp portion of the automobile 1, and project the slit light L radially into the photographing area A as described later.
[0019]
The control device 2 as the control means is for processing a captured image and displaying it on the monitor 2 as will be described later, and is disposed under the seat of the automobile 1. As shown in a schematic block configuration in FIG. 2, the control device 2 includes a control circuit 6, a light projection control circuit 7, a synchronization circuit 8, a memory 9, and the like.
[0020]
The control circuit 6 is composed mainly of a CPU, a ROM, a RAM, and the like, and is configured to perform a display operation described later by a display control program. The light projecting control circuit 7 controls the light projecting operation for the infrared projectors 5a and 5b, and projects the slit light L onto the photographing area A. Thereby, as shown in FIG. 1, the slit light L is projected radially from each of the infrared projectors 5a and 5b.
[0021]
The synchronization circuit 8 is for operating the projection control circuit 7 and the camera 4 in synchronization. As will be described later, the slit for photographing with the camera 4 while the slit light L is projected by the infrared projectors 5a and 5b. In order to obtain a light irradiation image and a slit light non-irradiation image photographed by the camera 4 in a state where the slit light L is not projected, both timings are controlled.
[0022]
Next, the operation of this embodiment will be described with reference to FIGS.
FIG. 3 shows the principle for estimating a three-dimensional object using this apparatus, and is a diagram showing that the image is taken from the position of the camera 4. From the infrared projectors 5a and 5b, the slit light L is irradiated into the photographing area A as shown in FIG. 5B, and when there is no solid object in the area, the slit light L causes the light to enter the ground. A straight line is projected like the line S.
[0023]
On the other hand, when the three-dimensional object P exists so as to cross the slit light L, the projection image formed by the slit light L is bent into a shape along the three-dimensional object P like a line Sp. When this is photographed by the camera 4, a polygonal line Sp is photographed as shown.
[0024]
Therefore, by comparing the image of the line S to be obtained when the three-dimensional object P does not exist with the line Sp of the image actually obtained by photographing, the three-dimensional object P exists in a non-overlapping portion. You will be able to estimate that.
[0025]
In this embodiment, the slit light L is projected as infrared rays, and the camera 4 is provided so as to be capable of photographing wavelengths in the infrared region. This is to eliminate the uncomfortable feeling when projecting visible slit light, and there is no inevitable reason to use infrared rays.
[0026]
And in order to obtain the projection image irradiated by the infrared projectors 5a and 5b, the difference between the slit light irradiated image when the slit light L is irradiated and the slit light non-irradiated image when the slit light L is not irradiated is calculated. Thus, it is obtained as difference image data.
[0027]
Next, processing operations for actually estimating the three-dimensional object P in the shooting area A will be described with reference to FIGS. Now, for example, the case where the automobile 1 is parked after entering the parking space PA of the parking lot will be described. In this parking space PA, wheel stopper blocks P1 and P2 are arranged, and this should be estimated as a three-dimensional object P. In the parking space PA, since the automobiles 1 are parked one by one in a state of being aligned, the reference section is displayed with a white line WL so that it can be easily recognized with respect to the concrete floor surface.
[0028]
FIG. 4 shows an image in the case where the driver enters the parking space PA in the back by the driver. In this example, the automobile 1 is shown in the case of taking a picture while stopped at this position. The control device 2 controls the synchronization circuit 8 and the light projection control circuit 7 to cause the infrared light projectors 5 a and 5 b to perform a light projection operation and to perform photographing with the camera 4.
[0029]
The figure (a) has shown the slit light irradiation image, and the figure (b) has shown the slit light non-irradiation image. Here, for the sake of simplicity, the image is shown as an image irradiated with only the slit light L of the infrared projector 5a, but actually, the area of the photographing area A is covered by the irradiation of the slit light L of the infrared projector 5b. It is a thing to do. Further, the control device 2 controls the synchronization circuit 8 so as to alternately obtain the slit light irradiation image and the slit light non-irradiation image.
[0030]
As shown in FIG. 6A, the slit light L is bent at the portions of the ring stops P1 and P2, and the line S of the slit light L projected on the floor surface is photographed on the screen as a broken line Sp. Become. When the ring stops P1 and P2 do not exist, the image is taken as a straight line S as shown by a broken line.
[0031]
The control device 2 calculates the difference between the two obtained images and obtains difference image data as shown in FIG. In the difference image data, the image of the parking space PA is canceled out, and only the lines S and Sp of the slit light L irradiated from the infrared projector 5a remain.
[0032]
When the control device 2 recognizes a line Sp that is a polygonal line from the obtained difference image data, the control device 2 estimates that a three-dimensional object P exists in that portion. In this case, as shown in FIG. 5B, the control device 2 shows the area of the line S, which is a projection image of the slit light L obtained when the three-dimensional object P does not exist, as shown in FIG. Is set as the mask area MA, and it is checked whether or not the difference value is large along the mask area MA. Then, in the portion where the difference value is small, that is, in the portion where the line S is bent and becomes the line Sp, since the image of the line S does not exist in the mask area MA, the solid object P exists in this portion. Can be estimated.
[0033]
Next, the control device 2 converts the image captured by the camera 4 into an image viewed from above, that is, a bird's eye view, and synthesizes the estimated area PE of the estimated three-dimensional object P with this to display an image as shown in FIG. Will come to let you. As a result, the user (driver) can return to the predetermined position while viewing the parking space PA displayed on the monitor 3 and the position of the host vehicle 1 as a bird's-eye view. At this time, since the estimated area PE is displayed as a three-dimensional object P in the image, the steering wheel can be operated with care.
[0034]
Next, the case where the above-described estimation operation is performed while the automobile 1 is moving will be briefly described. In this case, since the slit light irradiation image and the slit light non-irradiation image are captured while the camera 4 moves, a slight deviation occurs when calculating the difference between the two.
[0035]
Here, for example, assuming that the car 1 is put in the garage in the back, the moving speed can be assumed to be about 10 km / h. In general, an image is shot at a rate of about 1/30 seconds per image. As a result, the displacement distance between moving images is about 10 cm. With this level of movement, there is no significant change on the image, and the position of the slit light is constant regardless of the movement.
[0036]
FIG. 7 shows images corresponding to the slit light irradiation image, slit light non-irradiation image, and difference image data of FIG. 5 described above. Here, the slit light non-irradiated image of FIG. 10B is slightly moved as described above with respect to the slit light irradiated image of FIG. In addition to the lines S and Sp of the light L, a region Sw having a large difference is generated in the vicinity of the boundary line such as the white line WL.
[0037]
However, when the difference is calculated in the same manner as the calculation process in the case of stopping, this difference is large, but a difference near the boundary between the slit light L and the white line WL is generated, but there is a three-dimensional object P. In the portion, the difference in the mask area corresponding to the slit light becomes small as in the case of the stop, so that it can be detected. By paying attention only to the difference in the mask area, it is possible to make it less susceptible to the difference due to movement. Further, in the determination while moving, a slight error occurs near the boundary of the object, but by extracting a region having the same texture as the solid object P, the solid object P can be estimated almost certainly. .
[0038]
According to such a 1st embodiment, the image corresponding to the presence or absence of the irradiation of the slit light L from the infrared projectors 5a and 5b is taken with the camera 4, and the difference image data thereof is created to create the three-dimensional object P. Since the existence is estimated, the existence of a three-dimensional object that is difficult to recognize only by an image taken by the camera 4 can be synthesized and displayed on the monitor 3. As a result, for example, when converted to a bird's-eye view and displayed, it is possible to prevent misunderstanding as much as possible and reliably recognize it.
[0039]
(Second Embodiment)
FIG. 8 shows a second embodiment of the present invention. In addition to the configuration of the first embodiment, a three-dimensional object on the side can be estimated.
As described above, since the car 1a parked next to the bird's-eye view is also processed as a floor pattern when converted into a bird's-eye view, it appears to exist farther than the actual distance. As a result, the user may lose a sense of distance and cause an illusion to cause a contact accident or the like.
[0040]
In this embodiment, in order to cope with such a case, a configuration corresponding to the camera 4 and the infrared projectors 5a and 5b provided on the rear side is provided on both sides. Here, the cameras 10 and 11 are provided as side image pickup means, and infrared projectors 12a and 12b and 13a and 13b are provided as side light projecting means. These are connected to the control device 2, and an estimated region of the three-dimensional object P, which is the processing result, is displayed on the monitor 3.
[0041]
Thereby, for example, even when the car 1a that did not exist when the car 1 is parked in the parking space PA is parked at the time of departure, the left and right photographing areas AL and AR are photographed by the cameras 10 and 11. By performing the process of estimating the presence of a three-dimensional object, it can be recognized before departure and displayed on the monitor 3 as a three-dimensional object.
[0042]
In this embodiment, the left and right imaging areas AL and AR are recognized. However, it may be configured to detect only the hard-to-see side opposite to the driver's seat.
[0043]
(Other embodiments)
The present invention is not limited to the embodiment described above and shown in the drawings, and can be modified as follows.
In the above-described embodiment, the infrared projectors 5a and 5b are provided on the left and right sides of the camera 4, respectively, but it is also possible to provide only one, or to provide three or more corresponding to the area to be detected. You can also
In order to estimate a three-dimensional object in the shooting area A, a configuration in which a plurality of cameras are provided may be employed.
[0044]
Although the infrared projectors 5a and 5b are used as the light projecting means, it is also possible to use a projector that emits visible light or ultraviolet light. As the light projecting means, for example, a halogen lamp, a normal lamp, LED, laser or the like can be used. In this case, when a lamp is used, a mechanical shutter or a strobe is used to irradiate slit light in synchronization with the camera. When laser light is used, radial slit light can be realized by using a scanning mechanism or the like.
[0045]
In addition to providing the light projecting means in the tail lamp of the automobile 1, the light projecting means may be provided exclusively in other parts.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram illustrating a first embodiment of the present invention. FIG. 2 is an electrical block configuration diagram. FIG. 3 is an operation explanatory diagram illustrating a principle of estimating a three-dimensional object. FIG. 5 is a diagram illustrating a display example of a captured image. FIG. 5 is a diagram illustrating a mask area. FIG. 6 is a diagram illustrating a display example of a bird's eye view. FIG. 7 is a diagram corresponding to FIG. FIG. 9 is a diagram corresponding to FIG. 1 illustrating an embodiment of the present invention.
1 is an automobile (vehicle), 2 is a control device (control means), 3 is a monitor (display means), 4 is a camera (imaging means), 5a and 5b are infrared projectors (projection means), 6 is a control circuit, 7 Is a light projection control circuit, 8 is a synchronization circuit, 9 is a memory, 10 and 11 are cameras (side imaging means), 12a, 12b, 13a and 13b are infrared projectors (side projection means), L is slit light, A is a shooting area, AL and AR are side shooting areas, P is a three-dimensional object, WL is a white line, PA is a parking space, and P1 and P2 are wheel stops (three-dimensional objects).

Claims (5)

移動体に搭載され、その周辺を撮像手段により撮影して表示手段に表示するようにした周辺画像表示装置において、
撮影エリアにスリット光を照射する投光手段と、
前記投光手段に前記スリット光を照射させたときのスリット光照射画像と前記スリット光を未照射のときのスリット光未照射画像とを取り込んでそれらの画素成分の差分を演算した差分画像データを作成すると共に、前記撮影エリア内に立体物が存在しないときの前記投光手段が照射するスリット光の投影部分をマスクエリアとして設定し、前記差分画像データについて前記マスクエリアに沿って前記スリット光の存在の有無を判定して立体物の推定を行い前記表示手段に表示させる制御手段とを備えたことを特徴とする周辺画像表示装置。
In a peripheral image display device that is mounted on a moving body, the periphery of which is captured by an imaging unit and displayed on a display unit,
A light projecting means for irradiating the photographing area with slit light;
A differential image data obtained by taking a slit light irradiation image when the slit light is irradiated to the light projecting means and a slit light non-irradiation image when the slit light is not irradiated and calculating a difference between the pixel components. Creating a projection portion of the slit light irradiated by the light projecting means when there is no three-dimensional object in the imaging area as a mask area, and for the difference image data along the mask area of the slit light A peripheral image display device comprising: a control unit that determines presence or absence and estimates a three-dimensional object to display on a display unit.
請求項1に記載の周辺画像表示装置において、
前記制御手段は、前記撮像手段により撮影された撮影エリアの画像を鳥瞰図に変換して前記推定した立体物と共に前記表示手段に表示させることを特徴とする周辺画像表示装置。
The peripheral image display device according to claim 1,
The peripheral image display device characterized in that the control means converts an image of a photographing area photographed by the imaging means into a bird's eye view and displays the image together with the estimated three-dimensional object on the display means.
請求項1または2に記載の周辺画像表示装置において、
前記投光手段は、前記スリット光として赤外線のスリット光を照射するように構成されていることを特徴とする周辺画像表示装置。
The peripheral image display device according to claim 1 or 2,
The peripheral image display device, wherein the light projecting means is configured to irradiate infrared slit light as the slit light.
請求項1ないし3のいずれかに記載の周辺画像表示装置において、
前記移動体の移動に伴って前記スリット光照射画像とスリット光未照射画像とが異なる位置での画像となったとき、
前記制御手段は、前記差分画像データのうちの前記マスクエリアの差分値が小さいところに立体物が存在することを推定することを特徴とする周辺画像表示装置。
The peripheral image display device according to any one of claims 1 to 3,
When the slit light irradiation image and the slit light non-irradiation image become an image at a different position as the moving body moves,
The peripheral image display device , wherein the control means estimates that a three-dimensional object exists where the difference value of the mask area is small in the difference image data .
請求項1ないしのいずれかに記載の周辺画像表示装置において、
前記移動体の移動方向に対して側方を撮影エリアとして設定された側方撮像手段を備えると共に、
その側方の撮影エリア内にスリット光を照射する側方投光手段を備え、
前記制御手段は、側方の撮影エリアについても立体物の存在の推定を行うように構成されていることを特徴とする周辺画像表示装置。
The peripheral image display device according to any one of claims 1 to 4,
Provided with a side imaging unit that is set as an imaging area of the laterally against the moving direction of the movable body,
Side projection means for irradiating slit light in the lateral shooting area,
The peripheral image display device characterized in that the control means is configured to estimate the presence of a three-dimensional object also in a lateral shooting area .
JP2003118610A 2003-04-23 2003-04-23 Peripheral image display device Expired - Fee Related JP3997945B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003118610A JP3997945B2 (en) 2003-04-23 2003-04-23 Peripheral image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003118610A JP3997945B2 (en) 2003-04-23 2003-04-23 Peripheral image display device

Publications (2)

Publication Number Publication Date
JP2004328240A JP2004328240A (en) 2004-11-18
JP3997945B2 true JP3997945B2 (en) 2007-10-24

Family

ID=33498107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003118610A Expired - Fee Related JP3997945B2 (en) 2003-04-23 2003-04-23 Peripheral image display device

Country Status (1)

Country Link
JP (1) JP3997945B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006303858A (en) * 2005-04-20 2006-11-02 Auto Network Gijutsu Kenkyusho:Kk In-vehicle ambient monitoring system
JP2008217267A (en) * 2007-03-01 2008-09-18 Denso Corp Road shape recognition apparatus
JP5300309B2 (en) * 2008-04-24 2013-09-25 ダイハツ工業株式会社 Obstacle recognition device
JP5113711B2 (en) * 2008-10-14 2013-01-09 株式会社東芝 Automatic analyzer and method for reading identification information attached to container in automatic analyzer
JP5120227B2 (en) * 2008-11-21 2013-01-16 スズキ株式会社 Ring stop detection device and rear image display device
JP5668919B2 (en) * 2010-11-24 2015-02-12 スズキ株式会社 Ring stop detection device
WO2012144053A1 (en) * 2011-04-21 2012-10-26 トヨタ自動車株式会社 Vehicle periphery obstacle display device and vehicle periphery obstacle display method
JP6274936B2 (en) * 2014-03-25 2018-02-07 ダイハツ工業株式会社 Driving assistance device
US10789850B2 (en) * 2016-05-10 2020-09-29 Mitsubishi Electric Corporation Obstacle detection device, driving assistance system, and obstacle detection method
KR20180062820A (en) * 2016-12-01 2018-06-11 주식회사 와이즈오토모티브 Apparatus and method for supporting driving of vehicle
CN109828315A (en) 2019-03-14 2019-05-31 华域视觉科技(上海)有限公司 Road surface monitoring system and method based on infrared ray, automobile

Also Published As

Publication number Publication date
JP2004328240A (en) 2004-11-18

Similar Documents

Publication Publication Date Title
JP6361986B2 (en) Vehicle display device
JP4280648B2 (en) Vehicle visibility assist device
WO2006118076A1 (en) System for monitoring periphery of vehicle
JP3997945B2 (en) Peripheral image display device
US11601621B2 (en) Vehicular display system
JP5516988B2 (en) Parking assistance device
JP2017216509A (en) Display device for vehicle
JP2003002138A (en) Method and device for on-vehicle rear monitoring
JP2017159687A (en) Parking region display system and automatic parking system using the same
JP2019103044A (en) Image display device and parking support system
JP2004182121A (en) Drive assist system
JP2010221808A (en) Safety device and surrounding ground level detection device operated by detecting surrounding ground level of vehicle
KR101190789B1 (en) Apparatus and method for measurementing distance of vehicle
JP2006131213A (en) Rear view recognition device for motorcycle
JP2017213935A (en) Vehicular display device
KR20120012183A (en) Parking assistance system
JP5020606B2 (en) Perimeter monitoring device
JP6439233B2 (en) Image display apparatus for vehicle and image processing method
JP2017149397A (en) Parking support device and parking support method
JP2010064646A (en) Device and method for monitoring vehicle periphery
JP4730589B2 (en) Vehicle perimeter monitoring system
US11425364B2 (en) Head-up display system for vehicle
JP7347330B2 (en) Vehicle surrounding monitoring device
JP2018171964A (en) Image display device for vehicle and setting method
JP6586972B2 (en) Image display apparatus for vehicle and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070730

R150 Certificate of patent or registration of utility model

Ref document number: 3997945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130817

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees