JP2010266383A - Traffic sign recognition traveling guidance system - Google Patents
Traffic sign recognition traveling guidance system Download PDFInfo
- Publication number
- JP2010266383A JP2010266383A JP2009119350A JP2009119350A JP2010266383A JP 2010266383 A JP2010266383 A JP 2010266383A JP 2009119350 A JP2009119350 A JP 2009119350A JP 2009119350 A JP2009119350 A JP 2009119350A JP 2010266383 A JP2010266383 A JP 2010266383A
- Authority
- JP
- Japan
- Prior art keywords
- display
- intersection
- vehicle
- road sign
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は車両の前方を撮影するカメラの映像から道路標識を認識し、表示された地点までの距離等を逐時減算して案内することができるようにした道路標識認識走行案内システムに関する。 The present invention relates to a road sign recognition travel guidance system that recognizes a road sign from a video of a camera that captures the front of a vehicle, and that can guide by subtracting the distance to a displayed point and the like.
近年の車両には多くの車両がナビゲーション装置を搭載し、目的地まで確実且つ安全に走行できるようになっている。しかしながら未だそのようなナビゲーション装置を備えているのは我が国でも半数に満たないのが実情であり、特に海外での普及は未だ低い。 Many vehicles are equipped with a navigation device in recent years, and can travel to a destination reliably and safely. However, the fact is that less than half of Japan has such a navigation device, and its spread overseas is still low.
一方、近年の車両には車両走行の安全のために車外を撮影するカメラを搭載してその撮影画像をモニタに表示し、例えば車両の後方を撮影するカメラによって、車庫入れ等の車両のバック走行時に危険物と接触することなく、また歩行者との事故を防止するシステムが普及している。 On the other hand, recent vehicles are equipped with a camera that captures the outside of the vehicle for the safety of vehicle travel, and the captured image is displayed on a monitor. Systems that prevent accidents with pedestrians and sometimes do not come into contact with dangerous goods are widespread.
そのような車外を撮影するカメラは近年安価となり、前記のような後方を撮影するカメラのほか、前方や側方を撮影するカメラを搭載し、適宜カメラを切り替えてモニタに各カメラの撮影画像を表示することができるようにしたものも存在する。更に、これらのカメラの撮影画像を画像処理し、あたかも車両の上方に設置した1台のカメラで車両周囲を撮影しているかのように、モニタに車両周囲をわかりやすく表示する、トップビューシステムとも呼ばれるシステムも存在する。 In recent years, cameras that shoot outside the vehicle have become cheaper. In addition to the camera that shoots from the rear as described above, a camera that shoots the front and sides is installed, and the images taken by each camera are displayed on the monitor by switching the cameras appropriately. There are some that can be displayed. Furthermore, with the top view system, the captured images of these cameras are image-processed, and the surroundings of the vehicle are displayed on the monitor in an easy-to-understand manner as if the surroundings of the vehicle were photographed with a single camera installed above the vehicle. There is also a system called.
更に車両の前方を撮影するカメラについては、車両が見通しの悪い交差点に入ろうとする時の安全のために、車両前方の左右を撮影するカメラを用いるほか、車両前方の走行車両を認識しながら車間距離を維持する等の用途にも使用されようとしており、これらのシステムが更に普及することが想像されている。 Furthermore, for the camera that captures the front of the vehicle, for safety when the vehicle is about to enter an intersection with poor visibility, a camera that captures the left and right of the front of the vehicle is used. It is also being used for applications such as maintaining distance, and it is envisioned that these systems will become more popular.
上記のような車外撮影カメラの利用は、車両を目的地まで案内するナビゲーション装置の機能とは大きく異なり、車両の周囲を監視して、安全に走行するために用いるものであり、それぞれ使用者の目的が異なるため、ナビゲーション装置は必要と思わない人でも、車外撮影カメラを備えた監視システムは重要である、と考える人も多い。 The use of a camera outside the vehicle as described above is very different from the function of the navigation device that guides the vehicle to the destination, and is used for safe driving by monitoring the surroundings of the vehicle. Many people think that a surveillance system with a camera outside the vehicle is important, even for those who do not think that a navigation device is necessary because the purpose is different.
そのため、車外撮影カメラを利用した監視システムを備えた車両でも、ナビゲーション装置を搭載しない車両も多く、現在ナビゲーション装置を搭載しておらず、車外撮影カメラによる監視システムも備えていない利用者は、その後ナビゲーション装置を搭載するよりも、車外撮影カメラを備えた監視システムを搭載するケースも多くなる。特に近年は携帯電話でもナビゲーション機能を備えるものが存在する等、簡単なナビゲーション装置を所持している場合も多いため、ナビゲーション装置よりも車外撮影カメラを備えた監視システムを必要とすることも多くなることが考えられる。 Therefore, there are many vehicles that do not have a navigation device even if they have a monitoring system that uses a camera outside the vehicle, and users who do not currently have a navigation device and do not have a monitoring system that uses a camera outside the vehicle In many cases, a surveillance system equipped with a camera outside the vehicle is installed rather than a navigation device. In particular, in recent years, there are many mobile phones that have a navigation function, such as those equipped with a navigation function, and thus a monitoring system having a camera outside the vehicle is often required rather than a navigation device. It is possible.
上記のように、車両にはナビゲーション装置を備えず、車外撮影カメラによる監視システムを搭載するケースが増加することが考えられるが、車外撮影カメラによる監視システムにおいて前方を撮影するカメラの撮影画像については、車両の前方の左右をそれぞれ撮影するカメラの画像をモニタに表示することはあっても、車両の走行方向前方を撮影するカメラは、多くの場合運転者が常時前方を注視しているので、その撮影画像をモニタに表示することは必要がないため、そのようなことは行われず、撮影画像を画像処理して各種の態様で表示するために用いることとなる。 As described above, it is conceivable that the number of cases in which a vehicle is not equipped with a navigation device and is equipped with a monitoring system using an outside-camera camera is increased. Even if the images of the cameras that shoot the left and right of the front of the vehicle are displayed on the monitor, the camera that shoots the front of the vehicle in the traveling direction is often watched by the driver in many cases. Since it is not necessary to display the captured image on a monitor, such a thing is not performed, and the captured image is used for image processing and displaying in various modes.
しかしながら、車両の走行方向前方を撮影するカメラは、実際には車両の走行方向前方を常時撮影しているため、単に車両の周囲を監視する画像として利用する以外に、他の有効な利用方法の開発が望まれている。このような観点から、更には運転者が安全に運転を行うシステムとして、車両の走行方向前方を撮影するカメラを搭載し、そのカメラの撮影画像を画像処理し、撮影画像の中から道路標識を認識して、その内容を音声により出力し、運転者が道路標識を見落とすことがなく、安全に走行できるようにした道路標識読み取り装置が特開平5−174294号公報(特許文献1)に開示されている。 However, since the camera that captures the front in the traveling direction of the vehicle always captures the front in the traveling direction of the vehicle, in addition to simply using it as an image for monitoring the surroundings of the vehicle, there are other effective usage methods. Development is desired. From this point of view, as a system that allows the driver to drive safely, a camera that captures the front of the vehicle in the traveling direction is installed, the captured image of the camera is processed, and a road sign is displayed from the captured image. Japanese Laid-Open Patent Publication No. 5-174294 (Patent Document 1) discloses a road sign reading device that recognizes and outputs the contents by voice so that the driver can travel safely without overlooking the road sign. ing.
前記のように、車両の走行方向前方を撮影するカメラの撮影画像によって道路標識を認識し、運転者が道路標識を見落とすことが無く、安全に走行できるようにしたシステムが提案されているが、このシステムでは単に道路標識を認識して運転者に音声によって知らせるだけであり、せっかく認識した道路表示を更に有効に利用しようとする考えが存在しない。道路標識には例えば前方の交差点までの距離等の距離表示がされていることが多く、前記先行技術においてはこのような距離情報は有効に利用されていない。 As described above, a system has been proposed in which a road sign is recognized by a captured image of a camera that shoots in front of the traveling direction of the vehicle, and the driver can safely travel without overlooking the road sign. This system merely recognizes the road sign and informs the driver by voice, and there is no idea to use the recognized road display more effectively. In many cases, a road sign displays a distance such as a distance to a front intersection, and such distance information is not effectively used in the prior art.
したがって本発明は、車両の走行方向前方を撮影するカメラの撮影画像を利用し、距離情報を含む道路表示の表示内容を認識することにより、認識した道路標識の内、距離を含む必要なものだけを簡略表示し、その後の車両の走行距離と共に表示する距離を減算して表示することができるようにし、ナビゲーション装置を搭載しない車両でも、道路標識で示すポイントの地点までの距離をわかりやすく表示することができるようにした道路標識認識走行案内システムを提供することを主たる目的とする。 Therefore, the present invention recognizes the display content of the road display including the distance information by using the captured image of the camera that captures the front of the vehicle in the traveling direction, so that only necessary recognized road signs including the distance are included. Can be displayed by subtracting the distance displayed together with the distance traveled by the subsequent vehicle, and the distance to the point indicated by the road sign can be displayed in an easy-to-understand manner even for vehicles not equipped with a navigation device. It is a main object to provide a road sign recognition travel guidance system that can be used.
本発明に係る道路標識認識走行案内システムは、前記課題を解決するため、車両の前方を撮影するカメラと、前記カメラにより撮影した画像から道路標識を検出する道路標識検出部と、前記道路標識検出部で検出した道路標識の表示内容のうち、少なくとも文字及び距離を認識する道路標識表示内容認識部と、前記道路標識表示内容認識部で認識した文字と距離を簡略表示するとともに、車両の走行距離に応じて前記認識した距離を減算して表示する簡略道路案内表示部とを備えたことを特徴とする。 In order to solve the above problems, a road sign recognition travel guidance system according to the present invention has a camera that captures the front of a vehicle, a road sign detection unit that detects a road sign from an image captured by the camera, and the road sign detection The road sign display content recognition unit for recognizing at least the characters and the distance among the display contents of the road sign detected by the unit, the characters and distances recognized by the road sign display content recognition unit are simply displayed, and the mileage of the vehicle And a simplified road guidance display unit for subtracting and displaying the recognized distance according to the above.
本発明に係る他の道路標識認識走行案内システムは、前記道路標識認識走行案内システムにおいて、前記道路標識表示内容認識部には交差点表示を認識する交差点表示認識部を備え、前記簡略道路案内表示部では、前記交差点表示認識部で認識した交差点表示と、交差点に関連した文字、及び交差点までの距離を表示することを特徴とする。 Another road sign recognition travel guidance system according to the present invention is the road sign recognition travel guidance system, wherein the road sign display content recognition unit includes an intersection display recognition unit that recognizes an intersection display, and the simplified road guidance display unit Then, the intersection display recognized by the intersection display recognition unit, characters related to the intersection, and the distance to the intersection are displayed.
本発明に係る他の道路標識認識走行案内システムは、前記道路標識認識走行案内システムにおいて、前記交差点の表示上に、自車位置マークを、前記車両の走行距離に応じて移動して表示することを特徴とする。 In another road sign recognition travel guidance system according to the present invention, in the road sign recognition travel guidance system, the vehicle position mark is moved and displayed on the display of the intersection according to the travel distance of the vehicle. It is characterized by.
本発明に係る他の道路標識認識走行案内システムは、前記道路標識認識走行案内システムにおいて、車両が交差点を通過したことを検出する交差点通過検出部を備え、前記交差点通過検出部で交差点を通過したことを検出した時には、前記簡略道路案内表示を終了することを特徴とする。 Another road sign recognition travel guidance system according to the present invention is the road sign recognition travel guidance system, including an intersection passage detection unit that detects that a vehicle has passed an intersection, and the intersection passage detection unit has passed the intersection. When this is detected, the simplified road guidance display is terminated.
本発明に係る他の道路標識認識走行案内システムは、前記道路標識認識走行案内システムにおいて、前記簡略道路案内表示部で前記交差点の表示上に自車両マークを重ねて表示する時、交差点を通過したことを検出しても所定距離の間前記簡略道路案内表示を継続し、車両の走行方向を検出する走行方向検出部で交差点での車両の走行方向を検出し、交差点を通過した当該車両の走行方向に合わせて自車位置マークを交差点表示上に重ねて表示することを特徴とする。 In another road sign recognition travel guidance system according to the present invention, in the road sign recognition travel guidance system, when the vehicle mark is displayed on the intersection display on the simplified road guidance display unit, the vehicle has passed the intersection. Even if this is detected, the simple road guidance display is continued for a predetermined distance, the traveling direction detection unit for detecting the traveling direction of the vehicle detects the traveling direction of the vehicle at the intersection, and the traveling of the vehicle that has passed the intersection The vehicle position mark is displayed in an overlapping manner on the intersection display according to the direction.
本発明に係る他の道路標識認識走行案内システムは、前記道路標識認識走行案内システムにおいて、更に、高速道路を走行していることを検出する高速道路検出部を備え、道路標識表示内容認識部で検出した道路標識に交差点表示が存在しないことを検出した時で、且つ前記高速道路検出部で高速道路を走行していることを検出した時のみ、前記簡略道路案内表示を行うことを特徴とする。 Another road sign recognition travel guidance system according to the present invention is the road sign recognition travel guidance system, further comprising a highway detection unit for detecting that the vehicle is traveling on a highway, The simplified road guidance display is performed only when it is detected that there is no intersection display on the detected road sign and when the highway detection unit detects that the vehicle is traveling on a highway. .
本発明は上記のように構成したので、車両の走行方向前方を撮影するカメラの撮影画像を利用し、距離情報を含む道路表示の表示内容を認識することにより、認識した道路標識の内、距離を含む必要なものだけを簡略表示するので、わかりやすい表示を行うことができる。また、その後の車両の走行距離と共に表示する距離を減算して表示することができるので、ナビゲーション装置を搭載しない車両でも、道路標識で示すポイントの地点までの距離をわかりやすく表示することができる。更に、交差点までの表示中に自車両位置を重畳して表示することにより、車両の現在の走行状態を一見してわかる表示を行うことができる。また、その後交差点を通過しても自車両位置を表示することにより、ナビゲーション装置を搭載していなくても、自車両が適切に交差点を曲がったか等を知らせることも可能となる。 Since the present invention is configured as described above, the distance between the recognized road signs is recognized by recognizing the display content of the road display including the distance information using the captured image of the camera that captures the front in the traveling direction of the vehicle. Since only necessary items including “” are displayed in a simplified manner, an easy-to-understand display can be performed. Further, since the distance displayed together with the travel distance of the subsequent vehicle can be subtracted and displayed, the distance to the point indicated by the road sign can be displayed in an easy-to-understand manner even in a vehicle not equipped with a navigation device. Furthermore, by displaying the position of the host vehicle in a superimposed manner during the display up to the intersection, it is possible to display at a glance the current traveling state of the vehicle. Further, by displaying the position of the own vehicle even after passing through the intersection, it is possible to notify whether the own vehicle has appropriately turned the intersection even if the navigation device is not installed.
本発明の実施例を図面に沿って説明する。図1は本発明による道路標識認識走行案内システムの実施例の機能ブロック図である。図1において車両の走行方向前方を撮影するカメラである車両前方撮影カメラ1の撮影画像は、このシステム中に対して撮影画像入力部2から取り込んでいる。この車両前方撮影カメラ1は、このシステムのために設置されたもの以外に、車両の周囲を監視するシステムのカメラとして、或いは車両の前方を走行する車両との車間距離を監視するシステムのカメラとして用いている車両前方撮影カメラを用いることができる。
Embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a functional block diagram of an embodiment of a road sign recognition travel guidance system according to the present invention. In FIG. 1, a photographed image of a vehicle
撮影画像入力部2で取り込んだ車両前方撮影カメラ1の画像は、道路標識検出部3で道路標識を検出する。このときの道路表示器の認識に際しては、例えば図4(a)のような車両の走行方向前方を撮影する画像により、道路として認識される部分の左側側方における、それぞれの距離に応じた所定の高さの部分に、それぞれの距離に応じた所定の大きさの四角い看板状の物体が存在し、また予め定められた青、緑、白等の所定の色の物体が存在する時、一応要注意物体として監視を続け、車両の走行と共に連続してその位置及び大きさが変化すると共に、その四角い看板状の表面に文字等が記載されていることを検出することにより、道路標識が存在するものとして検出することができる。
A road
道路標識表示内容認識部4では、道路標識検出部3で撮影画像中に道路標識が存在することを検出した時、その道路表示器に実際に表示している内容を認識する。その際には、前記のようにして道路表示が検出された時、その後車両が走行して、先に検出した道路表示に近づくことにより、例えば図4(b)に示すように、撮影画像中における道路標識の割合が十分大きくなり、表示内容が十分に認識可能となった時の静止画映像により、表示内容の認識処理を行う。
The road sign display
道路標識表示内容認識部4における距離表示認識部5では、前記図4(b)の前方車両撮影画像における道路標識部分を抽出して示している図5(a)に示すように、その道路標識に距離表示が存在すること、及びその距離表示について、図中300mとして示している数値である「300」、及びそれに関連する文字である「m」を認識する。
The distance display recognizing unit 5 in the road sign display
道路標識表示内容認識部4における文字表示認識部6は、図5(a)に示す例では少なくとも「松本」「平湯」「飛騨エアパーク」「高山」の文字を認識する。図示する例においてはその外「Matsumoto」等の英文字、「89」「158」等の道路方向表示上に記載している道路番号、どの道路番号を囲んでいる国道や県道の道路種別記号等も認識可能であるが、本発明においては利用者に対して最低限必要な情報を提供する方が見やすいので、ここでは前記のような文字のみ認識するようにしている。
The character
道路標識表示内容認識部4における交差点表示認識部7においては、図5(a)に示す例では車両走行方向前方に十字路の交差点が存在することを認識する。このとき道路の矢印表示中に前記のような道路種別記号と道路番号が記載されているが、道路表示認識中において定常的に現れる所定の形式であり、交差点の表示認識に際してはこの表示部分を除いて認識することにより、交差点の表示を確実に認識することができる。
The intersection
簡略道路案内表示部10においては、道路標識表示内容認識部4の各機能部で前記のような処理を行った後のデータを用いて、図5(b)に示すような、前記のカメラで撮影した画像を簡略化して表示する。同図に示す例においては、前記交差点表示認識部7で認識した十字路を中心に表示し、特に十字路の交差点までの道路部分を長く表示している。同図の例では各矢印の方向に、前記文字表示認識部6で認識した文字を配置し表示している。また、同図の例においては、前記距離表示認識部5で認識した「300m」の距離を、「交差点まで300m」であることをわかりやすく表示している。
The simplified road
簡略道路案内表示部10では、道路標識表示内容認識部4で認識した前記のような表示を行うほか、距離減算表示部11では、その後車両が走行することにより前記交差点までの距離が変化している状態を示すため、走行距離に応じて交差点までの距離を減算して表示する。その際には、車両走行速度データ入力部16で車両の車速表示用等の車速データを入力し、走行距離演算部17でその速度に経過時間を掛けることによって走行距離を求め、簡略道路案内表示部10に出力する。距離減算表示部11では先に表示していた距離から走行距離を減算し、その数値を例えば図5(c)に示すように表示する。
The simplified road
図5(c)の例においては、最初に道路標識を認識し、その後その道路標識設置位置をほぼ通過したことをカメラの撮影画像によって検出し、その時点からの距離を前記のようにして減算した結果、現在は交差点まで200mであることを表示している。更に、同図(d)には、交差点まで50mになった時の表示状態を示している。このような距離表示は連続的に行うほか、所定距離毎に行うようにしても良い。 In the example of FIG. 5 (c), the road sign is first recognized, and then it is detected from the photographed image of the camera that the road sign is almost passed, and the distance from that point is subtracted as described above. As a result, it is displayed that the current distance is 200 m. Furthermore, the same figure (d) has shown the display state when it becomes 50m to an intersection. Such distance display may be performed continuously or every predetermined distance.
簡略道路案内表示部10の車両位置表示部12においては、図5(b)のような交差点の道路標識において、交差点までの道路部分を長く表示した状態で、最初の300mの地点は最も交差点から遠い位置に車両位置マークを表示する。その後同図(c)のように交差点まで200mとなった状態では、先の表示位置よりも交差点に近づけて車両位置マークを表示する。更に同図(d)に示すように交差点から50mになった状態では、更に車両位置マークを交差点に近づけて表示している。このような車両位置マークの表示は連続的に表示する以外に、例えば前記交差点までの距離表示と同期して所定距離毎に、或いは所定時間毎に表示するようにしても良い。
In the vehicle
車両走行速度データ入力部16の速度データは、図1の例においては高速道路走行検出部18で、現在車両が高速道路を走行しているのか否かの判別にも使用している。即ち、後述するように高速道路を走行している時、交差点に類する態様としてインターチェンジや、分岐路、高速道路を降りるゲート等が存在するが、そのような地点までの表示は前記と同様の態様により本発明を実施することができるものであるが、道路標識はその外前記のような交差点に類する地点についての標識以外に、例えば図7(a)、図8(a)に示すように、単に特定の地点までの距離を表示するものも存在する。
In the example of FIG. 1, the speed data of the vehicle travel speed
このような道路標識についても本発明を適用できるように、道路標識の表示内容認識による前記のような表示を行うことができるが、このような表示が一般の道路の時には、それぞれの地点に対して最も近い道路部分を走行するとは限らず、したがって多くの場合は単なる目安として利用することになる。それに対して高速道路の場合はほとんどその道路をそのまま走行する以外はなく、したがってこのときには本発明を有効に利用することができる。そのため高速道路走行検出部18で、例えば時速100km以上で走行している時、或いは時速80km以上で例えば2km等の所定距離以上連続して走行していることを検出した時には、現在車両は高速道路を走行しているものとして検出する。
In order to apply the present invention to such road signs, the above-mentioned display can be performed by recognizing the display contents of the road signs. Therefore, it is not always necessary to drive on the nearest road part, and in many cases, it is used as a mere guide. On the other hand, in the case of an expressway, there is almost no other way than traveling on the road as it is, and therefore the present invention can be used effectively at this time. Therefore, when the highway
高速道路走行検出部18で、車両が現在高速道路を走行していると検出した時には、前記のような交差点と類似の地点に関連した道路標識以外に、図7(a)に示すような、単に特定の地点への距離表示を示す道路標識を認識した時にも本発明を実施するようにしている。そのため、高速道路を走行している検出信号を簡略道路案内表示部10に出力し、このような道路標識を検出した際にも、特に距離表示認識部5で認識した結果、文字表示認識部6で認識した結果の表示、及び距離減算表示部11での表示を行い、図7(b)(c)のような表示を行うようにする。
When the highway
交差点通過検出部13では、本発明にお手前記のような簡略表示と、交差点迄の距離の減算表示を行っている時、その表示を交差点通過後に終了するために、交差点を通過したことを検出する処理を行う。この交差点通過検出部13の態様として、距離減算式交差点通過検出部14を備え、前記のように距離減算していった結果、距離がゼロとなり、更にマイナスになった時、交差点を通過したことを検出する。
The intersection
交差点通過検出部13の右左折検出式交差点通過検出部15では、車両のハンドルの操作を検出する蛇角センサの信号を入力する蛇角センサ入力部21からの信号により、前記交差点迄の減算処理中に、ほぼゼロのなった地点から運転者がハンドルを操作して右、或いは左に曲がったことを検出し、或いはハンドルを操作することなくその交差点を所定距離以上走行したことを検出する。その検出により、車両はその交差点を通過し、更にはどの方向に進んでいるかも検出することができる。
The right / left turn detection type intersection
交差点通過検出部13からの信号は簡略道路案内表示部10に出力し、距離減算式交差点通過検出部14で交差点を通過したことを検出した時、或いは交差点近傍で右左したことを検出した時、車両は交差点を通過したことを検出して、簡略道路案内表示部10から簡略道路案内表示出力部19を介して、現在モニタ25に表示している簡略表示を停止する。
When the signal from the intersection
但し、交差点通過検出部13における右左折検出式交差点通過検出部15の機能を用いる時には、交差点からの進行方向を検出することができるので、例えば図6(a)に示すような複雑な交差点において、車両が交差点を通過した方向を蛇角センサ入力部からの信号によって、或いは別途ジャイロ機能を備えている時にはその検出信号によって、走行方向検出部22が走行方向を検出し、それに対応して交差点通過後も例えば50m等の、しばらくの間この簡略表示を続け、運転者が走行している道路は所望の道路であるのかの確認を行うようにすることができる。
However, when using the function of the right / left turn detection type intersection
前記のような本発明は、例えば図2及び図3の作動フローにしたがって順に作動させることができる。図2に示す道路標識画像認識走行案内処理の例においては、最初前方撮影カメラの画像から道路標識を検出する(ステップS1)。その処理は、車両前方撮影画像で前方を連続的に撮影している時、前方に道路標識が存在すると、カメラは撮影画像の中から図1の道路標識検出部3で前記のような作動を行うことにより、所望の道路標識を検出することができる。
The present invention as described above can be operated in sequence according to the operation flow of FIGS. 2 and 3, for example. In the example of the road sign image recognition travel guidance process shown in FIG. 2, a road sign is first detected from the image of the front photographing camera (step S1). The process is as follows. When a road sign is present in front of the vehicle front shot image and the road sign is present ahead, the camera operates as described above in the road
その後検出した道路標識は所定以上の大きさに撮影されたか否かを判別し(ステップS2)、また所定の大きさになっていない時は、この処理を繰り返して所定の大きさになるのを待つ。この処理に際しては、前記ステップS1で処理を行った後のほか、後述する図3のステップS25において、新たな道路標識を検出したと判別した時も同じ作動を行う。ここで道路標識の表示内容を十分に認識できる程度の大きさになったと判別した時には、道路標識の表示内容の認識処理を行う(ステップS3)。 Thereafter, it is determined whether or not the detected road sign has been photographed to a predetermined size or more (step S2). If the road sign is not a predetermined size, this process is repeated until the predetermined size is obtained. wait. In this process, the same operation is performed when it is determined that a new road sign is detected in step S25 of FIG. Here, when it is determined that the display content of the road sign is sufficiently large to be recognized, the display content of the road sign is recognized (step S3).
即ち、図4(a)に示すような前方撮影カメラの撮影画像中に道路標識らしいものが存在することを検出し、その後の連続的な検出によって道路標識であることを確定し、更にその道路標識が同図(b)のように十分大きく表示された時、ステップS3においてその道路標識の表示内容の認識処理を行う。このときの表示内容の認識処理は、図1の道路標識表示内容認識部4において、前記のようにして行っている。
That is, it is detected that there is a road sign-like thing in the photographed image of the front camera as shown in FIG. 4 (a), and the road sign is confirmed by the subsequent continuous detection. When the sign is displayed sufficiently large as shown in FIG. 6B, the display content of the road sign is recognized in step S3. The display content recognition process at this time is performed as described above in the road sign display
その後道路標識には距離案内表示が含まれているか否かを判別する(ステップS4)。ここで距離案内表示が含まれていないと判別した時には、再びステップS1に戻って、その後に道路標識の撮影がなされるまでこの処理を継続する。また、ステップS4で道路標識には距離案内表示が含まれていると判別した時には、認識された距離のデータを記憶する(ステップS5)。次いで道路標識は交差点案内を表示しているか否かを判別する(ステップS6)。ここで交差点案内を表示していないと判別した時には、後述するような、図3に示す交差点表示無し道路標識の簡略距離案内処理を行う(ステップS13)。 Thereafter, it is determined whether or not the road sign includes a distance guidance display (step S4). Here, when it is determined that the distance guidance display is not included, the process returns to step S1 again, and this process is continued until a road sign is photographed thereafter. If it is determined in step S4 that the road sign includes a distance guidance display, the recognized distance data is stored (step S5). Next, it is determined whether or not the road sign displays intersection guidance (step S6). If it is determined that the intersection guidance is not displayed, a simplified distance guidance process for a road sign without an intersection display shown in FIG. 3 as described later is performed (step S13).
ステップS6で道路標識は交差点案内を表示していると判別した時には、認識した道路標識を簡略表示する。この処理は図1の簡略表示部10において前記のようにして行う。
簡略表示に際しては、例えば図5(b)のような表示を行う。その後図2の例においては、交差点の方向に向けて自車位置マークを表示する。ここでは例えば図5(b)の自車位置マークのような表示がなされる。
When it is determined in step S6 that the road sign is displaying the intersection guidance, the recognized road sign is simply displayed. This process is performed as described above in the
In the simplified display, for example, the display as shown in FIG. Thereafter, in the example of FIG. 2, the vehicle position mark is displayed in the direction of the intersection. Here, for example, a display such as the vehicle position mark in FIG.
その後所定距離を走行したか否かを判別し、未だ例えば50m等の所定距離を走行していないと判別した時には、ステップS9の処理を繰り返して待機し、所定距離走行したと判別した時にはステップS10に進み、簡略表示中の距離を減算して表示する。その処理と共に、簡略表示中の自車位置マークを交差点に向けて所定距離移動する(ステップS11)。 Thereafter, it is determined whether or not the vehicle has traveled a predetermined distance. When it is determined that the vehicle has not yet traveled a predetermined distance such as 50 m, for example, the process of step S9 is repeated to wait, and when it is determined that the vehicle has traveled a predetermined distance, step S10 is performed. Proceed to and subtract the distance in the simplified display. Along with this processing, the vehicle position mark being displayed in a simplified manner is moved a predetermined distance toward the intersection (step S11).
その結果、図5(b)の表示状態から同図(c)のような表示に変化し、運転者はナビゲーション装置を持っていなくても、あたかもナビゲーション装置の交差点拡大図のように、交差点部分がモニタ画面に明瞭に表示され、その表示にしたがって所望の方向に右左折する等の操作を確実に行うことができるようになる。 As a result, the display state shown in FIG. 5B changes to the display shown in FIG. 5C, and even if the driver does not have the navigation device, the intersection portion is as if it is an enlarged view of the intersection of the navigation device. Is clearly displayed on the monitor screen, and an operation such as turning right or left in a desired direction can be reliably performed according to the display.
その後ステップS12において、交差点を通過したか否かの判別を行う。ここでは、例えば交差点までの距離が0kmになったとき、或いは交差点と推定される位置を右左折したことを検出した時、車両は交差点を通過したものと判別することができる。ここで未だ交差点を通過していないと判別した時には、ステップS9に戻って前記作動を繰り返す。ここで交差点を通過したと判別した時には、上記一連の道路表示の簡略表示処理を終了し、ステップS1に戻って前記作動を繰り返す(ステップS14)。 Thereafter, in step S12, it is determined whether or not the vehicle has passed the intersection. Here, for example, when the distance to the intersection becomes 0 km, or when it is detected that the position estimated to be an intersection is turned left or right, it can be determined that the vehicle has passed the intersection. If it is determined that the vehicle has not yet passed through the intersection, the process returns to step S9 and the operation is repeated. When it is determined that the vehicle has passed the intersection, the series of road display simplified display processing ends, and the process returns to step S1 to repeat the operation (step S14).
なお、図2の例においては、交差点を通過した時直ちに道路標識の簡略表示を終了する例を示したが、その外、交差点通過後も例えば50m走行するまで表示を継続し、図1の蛇角センサ入力部21の信号を利用して、交差点での右左折方向等を表示するようにしても良い。その際には例えば図6(a)に示すような複雑な道路において、車両が実際に同図(b)或いは(c)のいずれの方向に曲がったのかを示すことが可能となる。
In the example of FIG. 2, an example is shown in which the simplified display of the road sign is terminated immediately after passing the intersection. However, the display is continued until the vehicle travels for example 50 m after passing the intersection, and the snake of FIG. You may make it display the left-right turn direction etc. in an intersection using the signal of the angle
図2のステップS13の処理に際しては、図3のようにして行う。即ち、図3の交差点表示無し道路標識の簡略距離案内処理においては、図2のステップS6で道路標識は交差点案内を表示していないと判別した時、例えば図7(a)に示すような、特定の地点までの距離を順に表示する道路標識を検出する。図示の例では高速道路における方面と距離を表示する標識であり、第4ICの横浜まで1km、第5ICの厚木ICまで26km、静岡ICまで153kmであることを表している。 The process of step S13 in FIG. 2 is performed as shown in FIG. That is, in the simplified distance guidance processing of the road sign without intersection display in FIG. 3, when it is determined in step S6 in FIG. 2 that the road sign does not display the intersection guidance, for example, as shown in FIG. A road sign that sequentially displays the distance to a specific point is detected. In the example shown in the figure, it is a sign indicating the direction and distance on the expressway, indicating that it is 1 km to Yokohama 4th IC, 26 km to Atsugi IC 5th IC, and 153 km to Shizuoka IC.
図3の交差点表示無し道路標識の簡略距離案内処理の例においては、最初高速道路走行中か否かを判別している。即ち、例えば図8(a)に示すような一般道路における距離表示においては、表示された各都市までのおおよその距離を示しているに過ぎず、種々の道路を走行すると距離は大きく変化する。そのため図3に示す例においては、道路に沿って走行すれば正確にその距離を表している高速道路を走行している時のみ、交差点表示のない道路標識でも本発明を適用する例を示している。但し、図8に示すような一般道路の道路標識においても本発明を実施することは可能である。 In the example of the simplified distance guidance process for road signs without intersection display in FIG. 3, it is first determined whether or not the vehicle is traveling on an expressway. That is, for example, the distance display on a general road as shown in FIG. 8 (a) merely shows the approximate distance to each displayed city, and the distance greatly changes when traveling on various roads. Therefore, the example shown in FIG. 3 shows an example in which the present invention is applied to a road sign without an intersection display only when driving along a highway that accurately represents the distance if the vehicle travels along the road. Yes. However, the present invention can also be implemented for road signs on general roads as shown in FIG.
ステップS21において高速道路を走行していないと判別した時には、ステップS30に進んで図2のステップS1に戻る。それに対してステップS21で高速道路を走行していると判別した時には、認識した道路標識を簡略表示する(ステップS22)。その際には例えば図7(a)の道路標識が認識されると、同図(b)に示すように、各種記号及び振り仮名を除いた、簡略表示を行う。 When it is determined in step S21 that the vehicle is not traveling on the highway, the process proceeds to step S30 and returns to step S1 in FIG. On the other hand, when it is determined in step S21 that the vehicle is traveling on the highway, the recognized road sign is simply displayed (step S22). In this case, for example, when the road sign in FIG. 7A is recognized, as shown in FIG. 7B, a simplified display excluding various symbols and a pseudonym is performed.
次いで図3に示す例においては、上記簡略表示継続中に、新たな道路標識を検出したか否かを判別している(ステップS23)。ここで新たな道路標識を検出したと判別した時には、図2のステップS1に戻って、新たに検出した道路標識について前記作動を繰り返す。このような作動により、図7(a)に示す各地点までの距離の案内表示中に、例えば図7(d)に示すような新たな表示を検出した時、この道路標識を基準に道路標識の簡略表示による案内を行うこととする。それにより、全く新たな道路標識を検出して表示する以外にも、同じ道路表示でも距離が変更した道路表示を認識することにより、車両の走行により減算表示した距離が、実際とは次第にずれてくることを、その新たな道路標識により訂正して表示することが可能となる。 Next, in the example shown in FIG. 3, it is determined whether or not a new road sign is detected while the simplified display is continued (step S23). When it is determined that a new road sign is detected, the process returns to step S1 in FIG. 2 and the above operation is repeated for the newly detected road sign. By such an operation, when a new display as shown in FIG. 7D, for example, is detected during the guidance display of the distance to each point shown in FIG. 7A, the road sign is based on this road sign. Guidance will be provided by simplified display. As a result, in addition to detecting and displaying a completely new road sign, by recognizing a road display whose distance has been changed even on the same road display, the distance displayed by subtraction due to the vehicle running is gradually shifted from the actual distance. It is possible to correct the display with the new road sign.
ステップS23で新たな道路標識を検出しなかったと判別した時には、所定距離を走行したか否かを判別し(ステップS24)、例えば1km等の所定距離を走行していない時にはステップS22に戻って前記作動を繰り返し、ステップS24で所定距離を走行したと判別した時には、案内地点までの距離を減算表示する(ステップS25)。その後図3に示す例においては、1地点或いは複数地点の案内地点までの距離の内、残りが0kmになった地点が存在するか否かを判別している(ステップS26)。ここで案内地点までの距離が0kmになった地点が存在すると判別した時には、0kmになった案内地点の表示を消去する(ステップS27)。 When it is determined in step S23 that a new road sign is not detected, it is determined whether or not the vehicle has traveled a predetermined distance (step S24). When the vehicle has not traveled a predetermined distance such as 1 km, the process returns to step S22 to When the operation is repeated and it is determined in step S24 that the vehicle has traveled a predetermined distance, the distance to the guide point is displayed in a subtracted manner (step S25). Thereafter, in the example shown in FIG. 3, it is determined whether or not there is a point where the remaining is 0 km among the distances to one or a plurality of guide points (step S26). Here, when it is determined that there is a point where the distance to the guide point is 0 km, the display of the guide point where the distance is 0 km is deleted (step S27).
この処理により図7に示す例においては、同図(b)に示す簡略表示を行った状態から1km走行することにより、横浜ICを過ぎることによって同図(c)のようにその表示を消去し、他の地点の距離を1kmづつ減算して表示している。なお、図3のステップS23において、新たな道路標識を検出したと判別した時の状態を図7(d)に示しており、前記のような走行中にこの道路標識を検出した時には、図2のステップS1に戻り、前記処理を繰り返すこととなる。 In the example shown in FIG. 7 by this processing, the display is erased as shown in FIG. 7C by passing 1 km from the state where the simplified display shown in FIG. The distance of other points is displayed by subtracting 1 km. FIG. 7D shows a state when it is determined that a new road sign is detected in step S23 in FIG. 3. When this road sign is detected during the traveling as described above, FIG. Returning to step S1, the process is repeated.
ステップS26において案内地点までの距離の内、残りが0kmになった地点が存在しないと判別した時には、ステップS22に戻って前記作動を繰り返す。ステップS27において0kmになった案内地点の表示を消去した後は、全ての案内地点が0kmになったか否かを判別し、未だ全ての案内地点が0kmになっていないと判別した時には、ステップS22に戻って前記作動を繰り返し、全ての案内地点が0kmになった時には、全ての案内が終了するので図2のステップS1に戻り、新たに前記作動を繰り返す(ステップS30)。 When it is determined in step S26 that there is no point where the remaining distance is 0 km among the distances to the guide point, the process returns to step S22 and the above operation is repeated. After erasing the display of the guide point that has become 0 km in step S27, it is determined whether or not all the guide points have become 0 km. When it is determined that all the guide points have not yet become 0 km, step S22 is performed. Returning to FIG. 2, the above operation is repeated, and when all the guide points become 0 km, all the guidance is completed, so the process returns to step S1 in FIG. 2 and the operation is newly repeated (step S30).
図3に示す例においては、交差点表示のない道路標識については、高速道路を走行している時のみ本発明を適用する例を示したが、例えば図8(a)に示すような一般道路走行中に、交差点表示のない道路標識を検出した際でも本発明を適用することにより、図示の北海道の道路のように、道路数の少ない、長い道路が連続する地域では、同図(b)〜(d)のように表示し、本発明を有効に利用することができる。 In the example shown in FIG. 3, an example in which the present invention is applied to a road sign without an intersection display only when driving on a highway is shown. For example, a general road running as shown in FIG. By applying the present invention even when a road sign without an intersection display is detected, an area having a small number of roads and continuous long roads such as the Hokkaido road shown in FIG. (D) is displayed and the present invention can be used effectively.
1 車両前方撮影カメラ
2 撮影画像入力部
3 道路標識検出部
4 道路標識表示内容認識部
5 距離表示認識部
6 文字表示認識部
7 交差点表示認識部
10 簡略道路案内表示部
11 距離減算表示部
12 車両位置表示部
13 交差点通過検出部
14 距離減算式交差点通過検出部
15 右左折検出式交差点通過検出部
16 車両走行速度データ入力部
17 走行距離演算部
18 高速道路走行検出部
19 簡略道路案内表示出力部
20 モニタ
21 蛇角センサ入力部
22 走行方向検出部
DESCRIPTION OF
Claims (6)
前記カメラにより撮影した画像から道路標識を検出する道路標識検出部と、
前記道路標識検出部で検出した道路標識の表示内容のうち、少なくとも文字及び距離を認識する道路標識表示内容認識部と、
前記道路標識表示内容認識部で認識した文字と距離を簡略表示するとともに、車両の走行距離に応じて前記認識した距離を減算して表示する簡略道路案内表示部とを備えたことを特徴とする道路標識認識走行案内システム。 A camera that captures the front of the vehicle,
A road sign detection unit for detecting a road sign from an image taken by the camera;
Of the display contents of the road sign detected by the road sign detection unit, the road sign display content recognition unit for recognizing at least characters and distance,
A simplified road guidance display unit that displays characters and distances recognized by the road sign display content recognition unit in a simplified manner and subtracts and displays the recognized distances according to the travel distance of the vehicle. Road sign recognition travel guidance system.
前記簡略道路案内表示部では、前記交差点表示認識部で認識した交差点表示と、交差点に関連した文字、及び交差点までの距離を表示することを特徴とする請求項1記載の道路標識認識走行案内システム。 The road sign display content recognition unit includes an intersection display recognition unit that recognizes an intersection display,
The road sign recognition travel guidance system according to claim 1, wherein the simplified road guidance display unit displays the intersection display recognized by the intersection display recognition unit, the characters related to the intersection, and the distance to the intersection. .
前記交差点通過検出部で交差点を通過したことを検出した時には、前記簡略道路案内表示を終了することを特徴とする請求項2記載の道路標識認識走行案内システム。、 An intersection passage detection unit that detects that the vehicle has passed the intersection,
3. The road sign recognition travel guidance system according to claim 2, wherein when the intersection detection unit detects that the vehicle has passed an intersection, the simplified road guidance display is terminated. ,
道路標識表示内容認識部で検出した道路標識に交差点表示が存在しないことを検出した時で、且つ前記高速道路検出部で高速道路を走行していることを検出した時のみ、前記簡略道路案内表示を行うことを特徴とする請求項1記載の道路標識認識走行案内システム。 Furthermore, it has a highway detection unit that detects that it is traveling on a highway,
The simplified road guidance display only when it is detected that there is no intersection display on the road sign detected by the road sign display content recognition unit, and when the highway detection unit detects that the vehicle is traveling on a highway. The road sign recognition travel guidance system according to claim 1, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009119350A JP2010266383A (en) | 2009-05-16 | 2009-05-16 | Traffic sign recognition traveling guidance system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009119350A JP2010266383A (en) | 2009-05-16 | 2009-05-16 | Traffic sign recognition traveling guidance system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010266383A true JP2010266383A (en) | 2010-11-25 |
Family
ID=43363479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009119350A Withdrawn JP2010266383A (en) | 2009-05-16 | 2009-05-16 | Traffic sign recognition traveling guidance system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010266383A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011118161B3 (en) * | 2011-11-10 | 2013-03-28 | Audi Ag | Method for determining position |
JP2014001944A (en) * | 2012-06-15 | 2014-01-09 | Alpine Electronics Inc | Navigation device |
JP2014067302A (en) * | 2012-09-26 | 2014-04-17 | Buffalo Inc | Image processing device and program |
WO2015071923A1 (en) * | 2013-11-12 | 2015-05-21 | 三菱電機株式会社 | Driving-support-image generation device, driving-support-image display device, driving-support-image display system, and driving-support-image generation program |
JP2017117041A (en) * | 2015-12-22 | 2017-06-29 | 本田技研工業株式会社 | Device and method of displaying signs for vehicle |
DE112019004319T5 (en) | 2018-08-31 | 2021-09-09 | Denso Corporation | METHOD AND SYSTEM FOR DETECTING A SIGN |
-
2009
- 2009-05-16 JP JP2009119350A patent/JP2010266383A/en not_active Withdrawn
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9500491B2 (en) | 2011-11-10 | 2016-11-22 | Audi Ag | Method for position determination |
CN103105168A (en) * | 2011-11-10 | 2013-05-15 | 奥迪股份公司 | Method for position determination |
EP2592386A2 (en) | 2011-11-10 | 2013-05-15 | Audi Ag | Position determination method |
EP2592386A3 (en) * | 2011-11-10 | 2015-03-18 | Audi Ag | Position determination method |
DE102011118161B3 (en) * | 2011-11-10 | 2013-03-28 | Audi Ag | Method for determining position |
JP2014001944A (en) * | 2012-06-15 | 2014-01-09 | Alpine Electronics Inc | Navigation device |
JP2014067302A (en) * | 2012-09-26 | 2014-04-17 | Buffalo Inc | Image processing device and program |
WO2015071923A1 (en) * | 2013-11-12 | 2015-05-21 | 三菱電機株式会社 | Driving-support-image generation device, driving-support-image display device, driving-support-image display system, and driving-support-image generation program |
CN105723432A (en) * | 2013-11-12 | 2016-06-29 | 三菱电机株式会社 | Driving-support-image generation device, driving-support-image display device, driving-support-image display system, and driving-support-image generation program |
JPWO2015071923A1 (en) * | 2013-11-12 | 2017-03-09 | 三菱電機株式会社 | Driving support image generation device, driving support image display device, driving support image display system, and driving support image generation program |
US10061994B2 (en) | 2013-11-12 | 2018-08-28 | Mitsubishi Electric Corporation | Driving-support-image generation device, driving-support-image display device, driving-support-image display system, and driving-support-image generation program |
JP2017117041A (en) * | 2015-12-22 | 2017-06-29 | 本田技研工業株式会社 | Device and method of displaying signs for vehicle |
US10300853B2 (en) | 2015-12-22 | 2019-05-28 | Honda Motor Co., Ltd. | Sign display apparatus and method for vehicle |
DE112019004319T5 (en) | 2018-08-31 | 2021-09-09 | Denso Corporation | METHOD AND SYSTEM FOR DETECTING A SIGN |
US11830255B2 (en) | 2018-08-31 | 2023-11-28 | Denso Corporation | Method and system for recognizing sign |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6566145B2 (en) | Driving support device and computer program | |
TWI392851B (en) | Method, system and computer program product for navigating vehicle | |
CN102032911B (en) | Vehicle navigation method, system and computer program product | |
JP4848893B2 (en) | Intersection information providing system and driving support system | |
CN101246010A (en) | Lane determining device, method, and program | |
JP6642906B2 (en) | Parking position detection system and automatic parking system using the same | |
JP4683380B2 (en) | Lane change guidance device | |
JP2011122936A (en) | Vehicle travel guiding device, method and computer program | |
JPWO2008038370A1 (en) | Traffic information detection apparatus, traffic information detection method, traffic information detection program, and recording medium | |
JP2009187166A (en) | Limiting speed notification device and program for limiting speed notification device | |
JP2010266383A (en) | Traffic sign recognition traveling guidance system | |
JP4888285B2 (en) | Driving support device, driving support method, and computer program | |
US20090201173A1 (en) | Driving support apparatus, a driving support method and program | |
JP2009129290A (en) | Traffic signal detection apparatus, traffic signal detection method and program | |
JP2010281781A (en) | Driving lane detector | |
JP4692898B2 (en) | Vehicle guidance device | |
JP4792948B2 (en) | Inter-vehicle communication system | |
JP2017062706A (en) | Travel support system, travel support method, and computer program | |
JP2010262665A (en) | On-vehicle device and vehicle recognition method | |
JP4924303B2 (en) | Driving support device, driving support method, and computer program | |
JP4798549B2 (en) | Car navigation system | |
JP2008090683A (en) | Onboard navigation device | |
JP2011105142A (en) | Camera photographing image display device | |
JP2017067515A (en) | Display device for vehicle | |
JP2009009368A (en) | Road-surface indication recognition system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120807 |