JP4793324B2 - Vehicle monitoring apparatus and vehicle monitoring method - Google Patents
Vehicle monitoring apparatus and vehicle monitoring method Download PDFInfo
- Publication number
- JP4793324B2 JP4793324B2 JP2007142754A JP2007142754A JP4793324B2 JP 4793324 B2 JP4793324 B2 JP 4793324B2 JP 2007142754 A JP2007142754 A JP 2007142754A JP 2007142754 A JP2007142754 A JP 2007142754A JP 4793324 B2 JP4793324 B2 JP 4793324B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- edge
- road surface
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は路上の車両を検出する車両監視装置とそのプログラムに関するものである。 The present invention relates to a vehicle monitoring apparatus for detecting a vehicle on a road and a program therefor.
路上に設置した支柱にカメラを設置して、前記カメラで道路および車両を俯瞰した動画を撮影し、該動画を画像処理することにより、車両を検出追跡して車線毎の通過台数と速度を計測する交通量計測装置が知られている。カメラ画面内で検出した車両は前記カメラのカメラパラメータたとえば、カメラの高さ,ピッチ角(俯角),ロール角(前記カメラのレンズ光軸を軸とした回転角),ヨー角(道路方向とカメラの向きの偏角),焦点距離(カメラのズーム率に関する)等を用いて、路面上の実際の座標系に変換することで通行車線の判定と、通過速度を計測している。たとえば、特許文献1に記載の物体認識装置の第一実施例において、俯瞰カメラによる画像を当該カメラのカメラパラメータに基づいて、高さゼロすなわち路面上へ投影する。当該投影画像から車両特徴(主に水平エッジ)を抽出した上で、これらの水平エッジを車線毎または所定の距離によりグループ分けして、グループ毎に車両モデルに当てはめて、当該車両の位置を特定する物体認識装置が開示されている。
A camera is installed on a pillar installed on the road, and a video is taken of the road and the vehicle with the camera, and the video is processed to detect and track the vehicle and measure the number of passing vehicles and speed for each lane. Traffic volume measuring devices are known. The vehicle detected in the camera screen is the camera parameters of the camera, such as the camera height, pitch angle (decline angle), roll angle (rotation angle about the camera lens optical axis), yaw angle (road direction and camera). ), The focal length (related to the zoom ratio of the camera), and the like are converted into an actual coordinate system on the road surface, thereby determining the traffic lane and measuring the passing speed. For example, in the first embodiment of the object recognition apparatus described in
図5は路上カメラのピンホールカメラモデルである。VPはカメラの設置位置であると共にカメラの視点でもあり、VPとスクリーンの距離Fは焦点距離である。現実にはカメラの高さは路上から数メートルで、焦点距離Fは数十ミリメートルであるが、説明のためにデフォルメされている。通常はレンズで集光する構成のため、視点位置にレンズ中心を置き、スクリーンはレンズ後方に置きここにCCDなどの受光素子を配置することで画像を電気信号に変換する。しかし図5においてはピンホールカメラモデルの透視変換を説明しやすいように、視点前方に仮想的にスクリーンを置いている。例えば、路面上の点gCNTにカメラ中心が向いているとすると、視点VPとスクリーン中心cCNTとgCNTはカメラ光軸上に一直線にのる。ここで、ピッチ角は、VPとgCNTを結ぶ線分と、カメラを設置する支柱の路上の位置であるOとgCNTを結ぶ線分のなす角をいう。路上に原点を持つワールド座標系の原点をOに置き、道路横断方向にX軸、道路方向にY軸、支柱上向きにZ軸を取ることにすると、原点OとgCNTを結ぶ線分がY軸となす角をヨー角と呼ぶ。ロール角はここでは図示していないが、カメラ光軸(VPとcCNTを結ぶ半直線)を軸とするスクリーンの回転角である。 FIG. 5 shows a pinhole camera model of a road camera. VP is the camera installation position as well as the camera viewpoint, and the distance F between the VP and the screen is the focal length. In reality, the height of the camera is several meters from the road, and the focal length F is several tens of millimeters. Usually, since the lens is focused, the center of the lens is placed at the viewpoint position, the screen is placed behind the lens, and a light receiving element such as a CCD is placed here to convert the image into an electrical signal. However, in FIG. 5, a screen is virtually placed in front of the viewpoint so that the perspective transformation of the pinhole camera model can be easily explained. For example, if the camera center is directed to a point gCNT on the road surface, the viewpoint VP and the screen centers cCNT and gCNT are in a straight line on the camera optical axis. Here, the pitch angle refers to an angle formed by a line segment connecting VP and gCNT and a line segment connecting O and gCNT, which is a position on the road of the column where the camera is installed. If the origin of the world coordinate system with the origin on the road is placed on O, the X-axis in the direction of crossing the road, the Y-axis in the direction of the road, and the Z-axis in the upward direction of the column, the line segment connecting the origin O and gCNT is the Y-axis. The angle formed is called the yaw angle. Although not shown here, the roll angle is the rotation angle of the screen about the camera optical axis (half line connecting VP and cCNT).
図6は路側に立てた支柱に設置のカメラによる道路俯瞰画像の例である。第一車線に大型車、第二車線に小型車が存在する場合である。ヨー角がゼロでないために高さのある大型車ほど隣接車線に大きくはみ出している。 FIG. 6 is an example of a road bird's-eye view image using a camera installed on a support column standing on the roadside. This is a case where a large vehicle exists in the first lane and a small vehicle exists in the second lane. Since the yaw angle is not zero, the larger vehicles with higher heights protrude more into adjacent lanes.
特許文献1では、1台のカメラでの観測につき、物体の高さを計測することができないので、物体の各部分は路面上にあるものとみなして、路面上へ透視変換してから車両水平エッジを検出する装置が開示されている。図7(a)は特許文献1の記載にしたがって路面上へ透視変換した図であり、図7(b)は更に水平エッジを抽出した図である。ただし、図7(b)において破線で示した車線の区分線と車両の輪郭は説明の便宜上設けたものであり、水平エッジ検出処理で抽出できるものではない。特許文献1では水平エッジを車両ごとに分類してから予め設けてある各種エッジパタンモデルにあてはめて車両の位置を特定している。しかし、水平エッジは車線ごとまたは透視変換後の距離に基づいてグループ分けしており、特に図7の例のようにヨー角のあるシーンでの大型車の水平エッジにおいては、車両のグループ分けを誤る可能性が高く、車両の台数および存在位置を適切に計測できないという問題があった。
In
本発明は、1台のカメラを用いて車両の台数や存在位置の計測精度を向上させた車両監視装置を提供することを目的とする。 An object of this invention is to provide the vehicle monitoring apparatus which improved the measurement precision of the number of vehicles and the presence position using one camera.
本発明の特徴の一つは、カメラで撮影した画像から車両のエッジを検出するエッジ検出手段と、エッジ検出手段の検出する車両のエッジを任意の平面に投影する投影手段と、投影手段により投影されたエッジの長さが予め定めた閾値よりも大きい場合に、エッジの長さが閾値以下となる投影位置をエッジの存在位置と推定するエッジ位置推定手段と、を備えることである。 One of the features of the present invention is that an edge detection unit that detects a vehicle edge from an image captured by a camera, a projection unit that projects the vehicle edge detected by the edge detection unit on an arbitrary plane, and a projection unit that projects And an edge position estimating means for estimating a projection position where the edge length is equal to or less than the threshold when the edge length is larger than a predetermined threshold.
または、カメラで撮影された画像から車両のエッジを検出する車両エッジ検出手段と、カメラで撮影された画像をカメラパラメータによって路面上に投影変換する投影変換手段と、投影変換手段により路面上に投影された画像の車両エッジの長さが予め定めたしきい値よりも小さい場合に、路面上におけるエッジの位置を車両存在位置と推定する第1の推定手段と、投影変換手段により路面上に投影された画像の車両エッジの長さが予め定めたしきい値よりも大きい場合に、エッジが投影される位置を前記カメラの視線方向に引き戻し、エッジが前記しきい値以下となる投影位置を車両の存在位置と推定する第2の推定手段と、を備えることで上記課題を達成できる。 Alternatively, vehicle edge detection means for detecting the edge of the vehicle from an image photographed by the camera, projection conversion means for projecting and transforming the image photographed by the camera on the road surface according to camera parameters, and projecting on the road surface by the projection conversion means A first estimation unit that estimates the position of the edge on the road surface as the vehicle existing position when the length of the vehicle edge of the captured image is smaller than a predetermined threshold value, and the projection conversion unit projects the image on the road surface. When the length of the vehicle edge in the image is larger than a predetermined threshold value, the position where the edge is projected is pulled back in the direction of the line of sight of the camera, and the projection position where the edge is equal to or less than the threshold value is The above-mentioned subject can be achieved by providing the 2nd estimating means which presumes the existence position of.
または、カメラで撮影した画像から車両のエッジを検出し、検出した前記車両のエッジを路面と平行な平面上に投影し、投影した前記エッジの長さが予め定めた閾値よりも大きい場合に、前記エッジの長さが前記閾値となる投影位置を前記エッジの存在位置と推定する車両監視方法により上記課題を解決することができる。 Alternatively, when an edge of a vehicle is detected from an image captured by a camera, the detected edge of the vehicle is projected on a plane parallel to a road surface, and the length of the projected edge is larger than a predetermined threshold, The above problem can be solved by a vehicle monitoring method in which a projection position in which the length of the edge is the threshold value is estimated as the presence position of the edge.
以上の構成により、車の存在位置検出の精度を向上させることが可能となり、交通量などの交通指標を計測する際には、高精度な計測装置を提供することができるという効果がある。 With the above configuration, it is possible to improve the accuracy of detecting the vehicle location, and there is an effect that it is possible to provide a highly accurate measuring device when measuring traffic indicators such as traffic volume.
以下、図面を参照しながら本発明の車両監視装置を実施するための最良の形態を説明する。 The best mode for carrying out the vehicle monitoring apparatus of the present invention will be described below with reference to the drawings.
図1は本発明の車両監視装置の実施例であり、画像入力手段11と、車両後部絞込み手段12と、水平エッジ検出手段13と、車両幅変換手段14と、車両位置推定手段15と、車両追跡手段16と、交通指標計算手段17と、カメラパラメータ保持手段18で構成される。画像入力手段11はITVカメラを利用することができ、毎秒60フレームから15フレーム程度の一定のフレームレートで車両後部絞込み手段12および車両追跡手段16に入力する。車両後部絞込み手段12は時系列に入力する複数フレームの画像から移動ベクトルの有無、あるいは路面画像との類似度の変化、あるいはエッジ輝度の変化から車両の後部領域を絞り込む。水平エッジ検出手段13においては、車両後部絞込み手段12にて絞り込まれた領域において水平エッジを検出する。次に車両幅変換手段14にて、ピンホールカメラモデルに用いる透視変換法(非特許文献1に詳細あり)により路面上に投影した場合の当該水平エッジの長さを計測する。車両位置推定手段15においては、大型車両の車幅として上限の2.5メートルから3.0メートル程度の範囲で車幅しきい値を定め、前記水平エッジの路面上に投影した場合の長さが前記車幅しきい値以下の場合は当該エッジの路面への投影位置を車両の後部の存在位置と推定し、前記水平エッジの路面上に投影した場合の長さが前記車幅しきい値よりも大きい場合は画像入力手段11のカメラの視線に沿って前記水平エッジを前記カメラに接近する方向へ仮想的に引き戻して、前記車幅しきい値以下になる位置の路面直下を車両後部位置と推定し、当該車両後部推定位置を基準として画像小領域を切り出す。ここで、前記大型車両の車幅上限としては、本発明が有料道路等の専用ゲートを通る場合であって、通過車両の車幅が当該専用ゲートを通過する際に計測されて既知である場合には、大型車両に分類された車両の計測された車幅を用いることもできる。また、複数台車両の平均値に対して1割増しから5割増しの値を用いることもできる。車両追跡手段16は例えば、特許文献4に開示されているように、前記画像小領域を車両後部の輝度パタンとみなして最初のテンプレートとし、パタンマッチングにより車両を追跡する。交通指標計算手段17は車両追跡手段16において追跡する車両の位置から通行車線を判定して車線ごとの通過台数を計数する。また、車両追跡手段16において追跡する車両のフレームごとの移動量から当該車両の速度を計測する。車両追跡手段16において計測される当該車両の位置と移動量はあくまでも画像入力手段11のカメラの、スクリーン上のことであるから透視変換法によって当該車両の位置を路面上に投影する必要がある。カメラパラメータ保持手段18は画像入力手段11のカメラのカメラパラメータを保持しており、車両幅変換手段14と、車両位置推定手段15と、交通指標計算手段17において透視変換する際に参照される。
FIG. 1 shows an embodiment of a vehicle monitoring apparatus according to the present invention, in which an image input means 11, a vehicle rear narrowing means 12, a horizontal edge detecting means 13, a vehicle width converting means 14, a vehicle position estimating means 15, and a vehicle
図2は車両後部検出手段の一例を示す図である。図2において、車両後部絞込み手段12は、入力画像の画面内で車両が進入してくる位置に設けた照合領域の路面の基準輝度パタンを保持する基準パタン保持手段21と、入力画像と前記基準画像を、相関係数を類似度としてパタン照合するパタン照合手段22と、循環型アドレッシングをするメモリアドレス管理手段24に基づいてアクセスされて所定フレーム分のパタン照合類似度を保持する類似度バッファメモリ23と、類似度バッファメモリ23の保持する類似度時系列の変化から車両後部の通過タイミングを計って前記入力画像から車両後部候補画像を出力する車両後部候補切り出し手段25からなる。
FIG. 2 is a diagram showing an example of the vehicle rear portion detection means. In FIG. 2, the vehicle rear narrowing means 12 includes a reference
図3は車両後部絞込み手段12の処理画面の例であって、車線ごとに照合領域31と、照合領域32と、照合領域33が、車両が進入する位置に設定されている。各照合領域において、保持している路面の基準パタンと入力画像の該当領域について相関演算をしてその類似度を参照する。車両が存在せず、路面が当該画像上に現れている場合は類似度が高く、車両通過中につき路面が遮蔽されている場合は原則として類似度が低い。前記類似度時系列において、類似度の低いフレームがしばらく続いて類似度が高くなるタイミングが、車両が当該照合領域を通過した直後であり、このタイミングで領域34,領域35,領域36の中で最も長い水平エッジを持つ部分が、車両後部が路面と接する位置である可能性が高い。そこで、照合領域31,照合領域32,照合領域33にて車両通過タイミングが検出された場合にそれぞれ、領域34,領域35,領域36を出力する。以上が車両後部絞込み手段12の動作の一例である。照合領域においては特許文献2に開示されているように移動ベクトルの有無を車両通過タイミングに用いたり、特許文献3に開示のように水平エッジ強度の変化で車両通過タイミングを計ったりしても良い。
FIG. 3 shows an example of the processing screen of the vehicle rear narrowing means 12, and the
図4は水平エッジ検出手段13が処理すべき画像領域と検出したエッジの例を示す図である。図4(a)は車両後部として正しいタイミングで処理領域34が入力された場合で、ここでの検出エッジは図4(b)に示す水平エッジ41である。これは当該車両と路面の接する位置であり、車両位置を特定するに相応しいエッジである。一方、図4(c)は車両後部として誤ったタイミングで処理領域34が入力された場合で、ここでの検出エッジは図4(d)に示す水平エッジ42および水平エッジ43である。このようなタイミングの誤りは車両の輝度が路面輝度に近い場合に発生する。水平エッジ42および水平エッジ43のように路面と隔たりの大きいエッジを路面上の車両の位置と推定すると、当該車両の存在車線を誤ることとなり、また、速度計測に大きな誤差を生じることになる。この問題を解消するために次段の車両幅変換手段14と車両位置推定手段15の処理が必要となる。尚、水平エッジを検出するフィルタとしては図13に示すようなソーベルフィルタなどがある。図13(a)は窓サイズ3行3列のフィルタ処理の荷重インデクスを示し、図13(b)は対応する荷重を示す。ソーベルフィルタは数1によって計算される。
FIG. 4 is a diagram showing an example of an image area to be processed by the horizontal
ここで、In(x,y)はフィルタ処理の対象となる画像であって、車両後部絞込み手段12により絞り込まれた領域内のある画素の輝度を示していて、xとyは当該画素の画面上での座標を表す。Out(x,y)はフィルタ処理後の画像における該当画素の輝度である。図13(b)に示す荷重で数1の処理を行うことにより、フィルタ対象画像における画素ごとの上下方向の輝度差を算出することになり、従って上下の輝度差の大きい水平エッジの部分の値が大きくなる。
Here, In (x, y) is an image to be filtered, and indicates the luminance of a certain pixel in the area narrowed down by the vehicle rear narrowing means 12, where x and y are the screen of the pixel. Represents the coordinates above. Out (x, y) is the luminance of the corresponding pixel in the image after filtering. By performing the processing of
ここで、実施例の透視変換について簡単に説明する。透視変換は図5に示すカメラピンホールモデルにおいて、路側に原点Oを置き、路面上にX軸とY軸を定め、路面垂直方向にZ軸を定めるワールド座標系で位置決めされる車両3次元実体と、スクリーン中心cCNTに原点を置き、前記スクリーン上の2軸の直交座標系(図示せず)であるスクリーン座標系で位置決めされる車両の2次元像の対応関係を規定する変換である。画像処理による車両検出は元々はスクリーン上での位置が計測されるのみであるからこれを透視変換によってワールド座標系の実際の位置に変換して車両位置と速度を計測している。図8はワールド座標系とスクリーン座標系の関係を示す図である。図8(a)はワールド座標系とスクリーン座標系の変換関係を示す図であって、ワールド座標系とスクリーン座標系の間にはカメラ座標系がある。カメラ座標系は図5において、VPを原点として1軸をカメラ光軸すなわちVPとgCNTを結ぶ線分上に設けて、他の直交2軸を前記スクリーンに平行な平面上に設けた3次元座標系である(図示せず)。透視変換においては、このカメラ座標系を経由してワールド座標系とスクリーン座標系が関係付けられる。ワールド座標系とカメラ座標系の変換は、座標系の併進変換と回転変換により達成される。カメラ座標系とスクリーン座標系は、カメラ座標系で表された3次元空間中(路面上も含む)の車両の部分とVPを結ぶ線分がスクリーン平面と交わる点に投影されることから、焦点距離Fを用いた比例計算で求めることができる。以上の計算をするに際してカメラパラメータ保持手段18の保持するカメラパラメータを用いる。カメラパラメータとは、カメラピンホールモデルで説明したピッチ角とヨー角とロール角の角度と、焦点距離Fと、VPの位置するワールド座標、すなわち(0,0,h)である。ここで、hはカメラの高さである。以上の関係により図8(b)の逆投影と図8(c)の順投影により座標が変換される。物理的には物体からレンズを通じてスクリーンに光が到達するので光の進行方向とは逆であるが、以後このように定義する。図8(b)の逆投影により、3次元空間中の車両の部分の位置は、画像中の車両の部分の位置として変換される。一方、図8(c)の順投影は2次元座標系から3次元座標系への変換であるので、当該車両の部分の高さもしくは幅等の情報に、画像中の車両の部分の位置が、3次元空間中の車両の部分の位置として変換される。 Here, the perspective transformation of the embodiment will be briefly described. The perspective transformation is a vehicle three-dimensional entity positioned in a world coordinate system in which the origin O is placed on the road side, the X and Y axes are defined on the road surface, and the Z axis is defined in the vertical direction of the road surface in the camera pinhole model shown in FIG. And a conversion that defines the correspondence of a two-dimensional image of a vehicle that is positioned in a screen coordinate system that is a two-axis orthogonal coordinate system (not shown) on the screen with the origin at the screen center cCNT. The vehicle detection by image processing originally only measures the position on the screen, so this is converted to the actual position in the world coordinate system by perspective transformation to measure the vehicle position and speed. FIG. 8 shows the relationship between the world coordinate system and the screen coordinate system. FIG. 8A is a diagram showing the conversion relationship between the world coordinate system and the screen coordinate system, and there is a camera coordinate system between the world coordinate system and the screen coordinate system. The camera coordinate system in FIG. 5 is a three-dimensional coordinate system in which one axis is provided on a line segment connecting VP and gCNT with VP as the origin, and the other two orthogonal axes are provided on a plane parallel to the screen. System (not shown). In perspective transformation, the world coordinate system and the screen coordinate system are related via this camera coordinate system. The transformation between the world coordinate system and the camera coordinate system is achieved by translational transformation and rotational transformation of the coordinate system. The camera coordinate system and the screen coordinate system are projected on the point where the line segment connecting the vehicle portion and the VP in the three-dimensional space (including the road surface) represented by the camera coordinate system intersects the screen plane. It can be obtained by proportional calculation using the distance F. When performing the above calculation, the camera parameters held by the camera parameter holding means 18 are used. The camera parameters are the pitch angle, the yaw angle, and the roll angle described in the camera pinhole model, the focal length F, and the world coordinates where VP is located, that is, (0, 0, h). Here, h is the height of the camera. Based on the above relationship, coordinates are converted by back projection in FIG. 8B and forward projection in FIG. Physically, since light reaches the screen from the object through the lens, it is opposite to the traveling direction of the light, but is defined as follows. By the back projection of FIG. 8B, the position of the vehicle portion in the three-dimensional space is converted as the position of the vehicle portion in the image. On the other hand, since the forward projection in FIG. 8C is a conversion from the two-dimensional coordinate system to the three-dimensional coordinate system, the position of the vehicle portion in the image is included in information such as the height or width of the vehicle portion. It is converted as the position of the part of the vehicle in the three-dimensional space.
図9は車両幅変換手段14により水平エッジ41,水平エッジ42,水平エッジ43等のワールド座標系への変換を示した図である。変換は図8(c)の順投影による。当該エッジの高さが不明なので、高さゼロすなわち路面上へ投影する。この状態について、図9(a)には道路を側方から見た図として、図9(b)には道路を真上から見た図として示す。図9(a)において、実際の、車両後部の路上の位置はDである。そこで、Cの位置に生じる水平エッジがスクリーンに投影した像(図示せず)に基づいて、ワールド座標に変換した場合はワールド座標の位置はDの近傍であり、これに基づく車幅計測値は実際の車幅に近いものとなる。一方、Bの位置に生じる水平エッジがスクリーンに投影した像aに基づいて、ワールド座標に変換した場合はワールド座標の位置はAとなる。図9(b)において、Aは実際の車両後部の位置よりも隣車線に変位し大きさも拡大していることが分かる。小型車の場合に屋根部に生じる水平エッジを路面上に変換した場合にも同様なことが生じるが、高さが低いために変位と拡大の量は少ない。
FIG. 9 is a diagram showing conversion of the
図10は車両位置推定手段15の処理フローを示す図である。上述のように、検出された水平エッジを路面上にあるものとしてワールド座標に変換すると、位置の変位と拡大を生じるが小型車両は無視できる程度であり、大型車両については無視できない。これを鑑みて車両位置推定手段15は特に大型車両に関する位置変位を補正する処理である。図10において、水平エッジのワールド座標に基づいて水平エッジの長さを計測し、所定値と比較する(st101)。所定の値とは2.5メートルまたは3.0メートルまたは3.5メートル程度であり、一般的な大型車両の上限値である。一般的にはこれ以上の幅を持つ車両が通行していないにも関わらず、前記所定値以上の車幅を計測したということは、大型車両の上部に生じた水平エッジを路面上のワールド座標に変換したものと判断する。したがって、前記所定値以下の場合はそのまま車両位置のワールド座標と決定する(st102)。所定値より大きい場合は車両位置の引き戻し推定処理を行って当該水平エッジの長さが前記所定値以下になるようにする(st103)。前記車両位置の引き戻し推定処理の詳細は後記する。その後、このときの車両位置を当該車両位置のワールド座標と決定する(st102)。次に当該車両のワールド座標を図8(b)の逆投影により、車両位置をスクリーン座標系に変換する(st103)。尚、st101からst102へ直に行くルートではst103における車両位置のスクリーン座標系は元々水平エッジ検出手段13の出力座標と同一であるからこの座標をst103の処理結果としても良い。 FIG. 10 is a diagram showing a processing flow of the vehicle position estimating means 15. As described above, when the detected horizontal edge is converted to world coordinates on the road surface, displacement and enlargement of the position occur, but small vehicles can be ignored, and large vehicles cannot be ignored. In view of this, the vehicle position estimating means 15 is a process for correcting the position displacement particularly for a large vehicle. In FIG. 10, the length of the horizontal edge is measured based on the world coordinates of the horizontal edge and compared with a predetermined value (st101). The predetermined value is about 2.5 meters, 3.0 meters, or 3.5 meters, and is an upper limit value of a general large vehicle. In general, when a vehicle with a width greater than this is not passing, the vehicle width greater than the predetermined value is measured. Judged to have been converted to. Therefore, if it is less than the predetermined value, it is determined as the world coordinate of the vehicle position as it is (st102). If it is larger than the predetermined value, a vehicle position pull-back estimation process is performed so that the length of the horizontal edge is equal to or smaller than the predetermined value (st103). Details of the vehicle position pullback estimation process will be described later. Thereafter, the vehicle position at this time is determined as the world coordinates of the vehicle position (st102). Next, the vehicle position is converted into a screen coordinate system by backprojecting the world coordinates of the vehicle in FIG. 8B (st103). Since the screen coordinate system of the vehicle position at st103 is originally the same as the output coordinates of the horizontal edge detecting means 13 on the route going straight from st101 to st102, this coordinate may be used as the processing result of st103.
図11は車両位置の引き戻し推定処理の概念図で、図11(a)は道路を側方から見た図で、図11(b)は道路を真上から見た図である。ワールド座標のY軸は路面上で道路方向に定め、X軸は路面上で道路横断方向に定め、Z軸は路面から垂直上方に定める。カメラ視点VPはZ軸上に定める。図11(b)において、エッジα1α2は順投影によりエッジを路面上に投影したもので、その両端のワールド座標はそれぞれα1(X1,Y1,0)と、α2(X2,Y2,0)であって、長さはRであるとする。エッジβ1β2は長さrであり、前記所定の長さになるように引き戻し推定した車両の位置を表す。エッジβ1β2の両端のワールド座標はそれぞれβ1(x1,y1,0)と、β2(x2,y2,0)であるとする。エッジβ1β2のワールド座標は〔数2〕,〔数3〕,〔数4〕,〔数5〕により計算される。 FIG. 11 is a conceptual diagram of the vehicle position pullback estimation process. FIG. 11A is a view of the road viewed from the side, and FIG. 11B is a view of the road viewed from directly above. The world coordinate Y-axis is determined in the road direction on the road surface, the X-axis is determined in the road crossing direction on the road surface, and the Z-axis is determined vertically above the road surface. The camera viewpoint VP is determined on the Z axis. In FIG. 11B, the edge α1α2 is obtained by projecting the edge onto the road surface by forward projection, and the world coordinates at both ends thereof are α1 (X1, Y1, 0) and α2 (X2, Y2, 0), respectively. The length is assumed to be R. The edge β1β2 has a length r and represents the position of the vehicle that is estimated to be pulled back so as to be the predetermined length. It is assumed that the world coordinates at both ends of the edge β1β2 are β1 (x1, y1, 0) and β2 (x2, y2, 0), respectively. The world coordinates of the edge β1β2 are calculated by [Equation 2], [Equation 3], [Equation 4], and [Equation 5].
以上の処理により仮に大型車両の屋根に生じたエッジであっても適切に車両の位置を算出し得る。さらに、エッジβ1β2の距離を車両の車幅と推定でき、エッジβ1β2の高さを車両の高さと推定することが可能となる。 Even if the edge is generated on the roof of the large vehicle by the above processing, the position of the vehicle can be calculated appropriately. Furthermore, the distance of the edge β1β2 can be estimated as the vehicle width of the vehicle, and the height of the edge β1β2 can be estimated as the vehicle height.
図12は車両追跡手段16の処理フローの図である。前段の車両位置推定手段15から車両位置のスクリーン座標を入力する(st121)。このスクリーン座標に基づいて、当該画像から車両後部領域の画像を切り取って初期テンプレートとする(st122)。テンプレートの大きさは当該画像の切り出し位置における車線の幅に比例して定めることができる。当該テンプレートを切り出したフレームの次に入力した画像に対して正規化相関演算によりパタン照合を行う(st123)。パタン照合により該当領域がない場合は追跡を終了し(st124)、ある場合は当該スクリーン座標を出力した上で(st125)、当該スクリーン座標について、パタン照合の対象とした画像から当該領域を切り出すことによりテンプレートを更新する(st126)。テンプレート更新後はst123の処理に戻り追跡処理を繰り返す。 FIG. 12 is a process flow diagram of the vehicle tracking means 16. The screen coordinates of the vehicle position are input from the preceding vehicle position estimating means 15 (st121). Based on the screen coordinates, an image of the rear region of the vehicle is cut out from the image and used as an initial template (st122). The size of the template can be determined in proportion to the width of the lane at the cutout position of the image. Pattern collation is performed on the image input next to the frame from which the template is cut out by normalized correlation calculation (st123). If there is no corresponding area by pattern matching, the tracking is terminated (st124). If there is, the screen coordinates are output (st125), and the area is cut out from the image subjected to pattern matching for the screen coordinates. Thus, the template is updated (st126). After updating the template, the process returns to st123 and the tracking process is repeated.
交通指標計算手段17は車両追跡手段16の出力する、車両位置に関するスクリーン座標をカメラパラメータ保持手段18に保持のカメラパラメータを用いて、路面上であるとして、図8(c)の順投影によりワールド座標系に変換する。当該車両のワールド座標に基づいて車両の通過車線を特定し、所定時間における移動距離から速度を計測する。 The traffic index calculation means 17 uses the camera parameters held by the camera parameter holding means 18 to output the screen coordinates relating to the vehicle position output from the vehicle tracking means 16 on the road surface, and the forward projection of FIG. Convert to coordinate system. A passing lane of the vehicle is specified based on the world coordinates of the vehicle, and the speed is measured from the moving distance in a predetermined time.
以上説明した処理により、例えば大型車両が画像領域に混入した場合であっても、車両の存在する走行レーンを誤認識せず、正しい車両位置を検出することができるため、大型車両の混入率の高い場合でも精度良く車両監視をすることができる。 By the processing described above, for example, even when a large vehicle is mixed in the image area, the correct vehicle position can be detected without erroneously recognizing the traveling lane where the vehicle exists. Even if it is high, the vehicle can be monitored accurately.
なお、本実施例では車両幅変換手段によるエッジのカメラ座標系からワールド座標系への変換方法として、高さゼロの路面上へ投影する方法を説明したが、投影する平面は必ずしも高さゼロの路面上である必要はなく、例えば、任意の高さの路面に平行な平面に投影する方法においても、本願と同様の効果を奏する。 In this embodiment, as a method of converting the edge from the camera coordinate system to the world coordinate system by the vehicle width conversion means, a method of projecting onto a road surface having a height of zero has been described. However, a plane to be projected is not necessarily a height of zero. There is no need to be on the road surface. For example, the same effect as in the present application can be obtained in a method of projecting onto a plane parallel to the road surface of an arbitrary height.
本発明は複数のカメラを用いてステレオ撮影しなくても、大型車両の高さと位置を推定することで、車両位置を高精度に検出できるため、大型車両の通行車線の特定および速度計測の精度を向上させることができる。交通情報の計測センサーとして有用である。 Since the present invention can detect the vehicle position with high accuracy by estimating the height and position of a large vehicle without using a plurality of cameras for stereo shooting, it is possible to identify the traffic lane of the large vehicle and the accuracy of speed measurement. Can be improved. It is useful as a traffic information measurement sensor.
11 画像入力手段
12 車両後部絞込み手段
13 水平エッジ検出手段
14 車両幅変換手段
15 車両位置推定手段
16 車両追跡手段
17 交通指標計算手段
18 カメラパラメータ保持手段
21 基準パタン保持手段
22 パタン照合手段
23 類似度バッファメモリ
24 メモリアドレス管理手段
25 車両後部候補切り出し手段
31,32,33 照合領域
34,35,36 領域
41,42,43 水平エッジ
11 Image input means 12 Vehicle rear narrowing means 13 Horizontal edge detecting means 14 Vehicle
Claims (16)
前記カメラで撮影した画像から車両のエッジを検出するエッジ検出手段と、
前記エッジ検出手段の検出する車両のエッジを任意の平面に投影する投影手段と、
前記投影手段により投影されたエッジの長さが予め定めたしきい値よりも大きい場合に、前記エッジの長さが前記しきい値以下となる投影位置を前記エッジの存在位置と推定するエッジ位置推定手段と、を備えることを特徴とする車両監視装置。 In a vehicle monitoring device that monitors a vehicle traveling on the road using an image captured by a camera,
Edge detection means for detecting the edge of the vehicle from the image captured by the camera;
Projecting means for projecting the edge of the vehicle detected by the edge detecting means onto an arbitrary plane;
An edge position that estimates a projection position at which the edge length is equal to or less than the threshold value when the edge length projected by the projection unit is greater than a predetermined threshold value. A vehicle monitoring apparatus comprising: an estimation unit.
前記エッジ位置推定手段により推定したエッジ位置における路面からのエッジの高さを前記車両の高さと推定することを特徴とする車両監視装置。 In claim 1,
A vehicle monitoring apparatus, wherein the height of an edge from the road surface at the edge position estimated by the edge position estimating means is estimated as the height of the vehicle.
前記カメラの撮影領域の路面の輝度パタンを保持する路面輝度パタン保持部を備え、
前記カメラの撮影画像の輝度パタンと前記路面の輝度パタンとの類似度が低い状態から高い状態へ遷移したときの画像において車両のエッジを抽出することを特徴とする車両監視装置。 In claim 1,
A road surface luminance pattern holding unit that holds a luminance pattern of the road surface of the imaging region of the camera;
A vehicle monitoring apparatus, wherein an edge of a vehicle is extracted from an image when a similarity degree between a luminance pattern of a captured image of the camera and a luminance pattern of the road surface is changed from a low state to a high state.
前記エッジ位置推定手段により推定したエッジ位置を車両の走行車線と推定することを特徴とする車両監視装置。 In claim 1,
The vehicle monitoring apparatus characterized by estimating the edge position estimated by the said edge position estimation means as a travel lane of a vehicle.
所定時間における前記エッジの存在位置の所定時間における移動距離から車両の速度を計測することを特徴とする車両監視装置。 In claim 1,
A vehicle monitoring apparatus that measures the speed of a vehicle from a moving distance at a predetermined time of the position of the edge at a predetermined time.
前記カメラで撮影された画像から車両のエッジを検出する車両エッジ検出手段と、
前記カメラで撮影された画像をカメラパラメータによって路面上に投影変換する投影変換手段と、
前記投影変換手段により路面上に投影された画像の車両エッジの長さが予め定めたしきい値よりも小さい場合に、前記路面上における前記エッジの位置を車両存在位置と推定する第1の推定手段と、
前記投影変換手段により路面上に投影された画像の車両エッジの長さが予め定めたしきい値よりも大きい場合に、前記エッジが投影される位置を前記カメラの視線方向に引き戻し、前記エッジが前記しきい値以下となる投影位置を車両の存在位置と推定する第2の推定手段と、を備えることを特徴とする車両監視装置。 In a vehicle monitoring device that photographs a vehicle traveling on a road with a camera and monitors the vehicle using the captured image,
Vehicle edge detection means for detecting the edge of the vehicle from the image taken by the camera;
Projection conversion means for projecting and converting an image captured by the camera onto a road surface according to camera parameters;
First estimation for estimating the position of the edge on the road surface as the vehicle presence position when the length of the vehicle edge of the image projected on the road surface by the projection conversion means is smaller than a predetermined threshold value. Means,
When the length of the vehicle edge of the image projected on the road surface by the projection conversion means is larger than a predetermined threshold value, the position where the edge is projected is pulled back in the direction of the line of sight of the camera, and the edge is A vehicle monitoring apparatus comprising: a second estimation unit configured to estimate a projection position that is equal to or less than the threshold value as a vehicle presence position.
前記第2の推定手段により推定された車両の存在位置における車両エッジの路面からの高さを前記車両の高さと推定することを特徴とする車両監視装置。 In claim 6,
The vehicle monitoring apparatus characterized by estimating the height from the road surface of the vehicle edge in the presence position of the vehicle estimated by the said 2nd estimation means as the height of the said vehicle.
前記投影変換手段により路面上に投影された画像の車両エッジの長さが予め定めたしきい値よりも大きい場合に、
前記車両の存在位置は、前記しきい値を前記投影変換手段により路面上に投影された画像の車両エッジの長さで除した係数を乗数とすることで得られる座標として算出されることを特徴とする車両監視装置。 In claim 6,
When the length of the vehicle edge of the image projected on the road surface by the projection conversion means is larger than a predetermined threshold value,
The vehicle presence position is calculated as coordinates obtained by multiplying the coefficient obtained by dividing the threshold value by the length of the vehicle edge of the image projected on the road surface by the projection conversion unit. Vehicle monitoring device.
前記第1の推定手段または前記第2の推定手段により推定された車両の存在位置における車両エッジの長さを前記車両の幅と推定することを特徴とする車両監視装置。 In claim 6,
A vehicle monitoring apparatus that estimates the length of a vehicle edge at the vehicle location estimated by the first estimation unit or the second estimation unit as a width of the vehicle.
前記カメラの撮影領域に車両の通過タイミングを計る照合領域と、
前記照合領域の路面の輝度パタンを保持する路面輝度パタン保持部とを備え、
前記カメラの撮影画像の輝度パタンと前記路面の輝度パタンとの類似度が低い状態から高い状態へ遷移したときの画像において車両エッジを抽出することを特徴とする車両監視装置。 In claim 6,
A collation area for measuring the passing timing of the vehicle in the imaging area of the camera;
A road surface brightness pattern holding unit that holds the brightness pattern of the road surface of the verification region,
A vehicle monitoring apparatus, wherein a vehicle edge is extracted from an image when a similarity degree between a luminance pattern of a captured image of the camera and a luminance pattern of the road surface is changed from a low state to a high state.
前記第1の推定手段または前記第2の推定手段により推定された車両の存在位置の所定時間における移動距離から車両の速度を計測することを特徴とする車両監視装置。 In claim 6,
A vehicle monitoring apparatus that measures the speed of a vehicle from a moving distance of a vehicle location estimated by the first estimating means or the second estimating means at a predetermined time.
前記カメラで撮影した画像から車両のエッジを検出し、
検出した前記車両のエッジを路面と平行な平面上に投影し、
投影した前記エッジの長さが予め定めたしきい値よりも大きい場合に、前記エッジの長さが前記しきい値となる投影位置を前記エッジの存在位置と推定することを特徴とする車両監視方法。 In a vehicle monitoring method for monitoring a vehicle traveling on a road by photographing with a camera,
Detecting the edge of the vehicle from the image taken by the camera,
Project the detected edge of the vehicle onto a plane parallel to the road surface,
Vehicle monitoring characterized in that, when the length of the projected edge is larger than a predetermined threshold value, a projection position where the edge length becomes the threshold value is estimated as the existence position of the edge. Method.
推定したエッジの存在位置における路面からのエッジの高さを前記車両の高さと推定することを特徴とする車両監視方法。 In claim 12,
A vehicle monitoring method, wherein the height of the edge from the road surface at the estimated position of the edge is estimated as the height of the vehicle.
前記カメラの撮影画像の輝度パタンと前記路面の輝度パタンとの類似度が低い状態から高い状態へ遷移したときの画像において車両のエッジを抽出することを特徴とする車両監視方法。 In claim 12,
A vehicle monitoring method, wherein an edge of a vehicle is extracted from an image when a similarity between a luminance pattern of a captured image of the camera and a luminance pattern of the road surface is changed from a low state to a high state.
前記エッジの存在位置を車両の走行車線と推定することを特徴とする車両監視方法。 In claim 12,
A vehicle monitoring method, wherein the presence position of the edge is estimated as a travel lane of the vehicle.
前記エッジの存在位置の所定時間における移行距離から車両の速度を計測することを特徴とする車両監視方法。 In claim 12,
A vehicle monitoring method, comprising: measuring a vehicle speed from a transition distance of the edge location at a predetermined time.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007142754A JP4793324B2 (en) | 2007-05-30 | 2007-05-30 | Vehicle monitoring apparatus and vehicle monitoring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007142754A JP4793324B2 (en) | 2007-05-30 | 2007-05-30 | Vehicle monitoring apparatus and vehicle monitoring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008299458A JP2008299458A (en) | 2008-12-11 |
JP4793324B2 true JP4793324B2 (en) | 2011-10-12 |
Family
ID=40172956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007142754A Expired - Fee Related JP4793324B2 (en) | 2007-05-30 | 2007-05-30 | Vehicle monitoring apparatus and vehicle monitoring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4793324B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5430213B2 (en) * | 2009-04-24 | 2014-02-26 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
JP2012068885A (en) * | 2010-09-23 | 2012-04-05 | Denso Corp | Visual sensing method and visual sensing device |
TWI452540B (en) | 2010-12-09 | 2014-09-11 | Ind Tech Res Inst | Image based detecting system and method for traffic parameters and computer program product thereof |
DE102010056405A1 (en) * | 2010-12-23 | 2012-06-28 | Jenoptik Robot Gmbh | A method of creating an image document in which a vehicle appropriate to a radar apparatus can be identified and an image document created by this method |
JP5387625B2 (en) * | 2011-07-19 | 2014-01-15 | 住友電気工業株式会社 | Moving body detection apparatus, moving body detection system, and computer program |
RU2480841C1 (en) * | 2011-11-02 | 2013-04-27 | Общество с ограниченной ответственностью "Вокорд СофтЛаб" | Method to record violations of traffic regulations |
JP6033695B2 (en) * | 2013-01-28 | 2016-11-30 | 株式会社日立製作所 | Elevator monitoring device and elevator monitoring method |
JP6163453B2 (en) * | 2014-05-19 | 2017-07-12 | 本田技研工業株式会社 | Object detection device, driving support device, object detection method, and object detection program |
CN107507415B (en) * | 2017-07-06 | 2020-12-18 | 广东交通职业技术学院 | Road network boundary current limiting control method based on MFD and queuing length under Internet of vehicles |
CN113269004B (en) | 2020-02-14 | 2024-03-05 | 富士通株式会社 | Traffic counting device and method and electronic equipment |
US11644331B2 (en) | 2020-02-28 | 2023-05-09 | International Business Machines Corporation | Probe data generating system for simulator |
US11814080B2 (en) | 2020-02-28 | 2023-11-14 | International Business Machines Corporation | Autonomous driving evaluation using data analysis |
US11702101B2 (en) | 2020-02-28 | 2023-07-18 | International Business Machines Corporation | Automatic scenario generator using a computer for autonomous driving |
CN112668505A (en) * | 2020-12-30 | 2021-04-16 | 北京百度网讯科技有限公司 | Three-dimensional perception information acquisition method of external parameters based on road side camera and road side equipment |
-
2007
- 2007-05-30 JP JP2007142754A patent/JP4793324B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008299458A (en) | 2008-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4793324B2 (en) | Vehicle monitoring apparatus and vehicle monitoring method | |
EP3057063B1 (en) | Object detection device and vehicle using same | |
TWI448977B (en) | Method and apparatus for video analytics based object counting | |
US20070127778A1 (en) | Object detecting system and object detecting method | |
KR20200064873A (en) | Method for detecting a speed employing difference of distance between an object and a monitoring camera | |
WO2010047226A1 (en) | Lane line detection device, lane line detection method, and lane line detection program | |
JP2000357233A (en) | Body recognition device | |
TWI504858B (en) | A vehicle specification measuring and processing device, a vehicle specification measuring method, and a recording medium | |
US11210773B2 (en) | Information processing apparatus, information processing method, and storage medium for defect inspection and detection | |
CN104584076A (en) | Image processing device, image processing method, and image processing program | |
CN108645375B (en) | Rapid vehicle distance measurement optimization method for vehicle-mounted binocular system | |
US10984263B2 (en) | Detection and validation of objects from sequential images of a camera by using homographies | |
JP2009053818A (en) | Image processor and method thereof | |
JP2012203795A (en) | Vehicle speed measurement method and vehicle overall image detection method using the same and vehicle number plate information erroneous recognition prevention method | |
JP2009245042A (en) | Traffic flow measurement device and program | |
JP3629935B2 (en) | Speed measurement method for moving body and speed measurement device using the method | |
US11087150B2 (en) | Detection and validation of objects from sequential images of a camera by using homographies | |
JP5981284B2 (en) | Object detection device and object detection method | |
JP3879874B2 (en) | Logistics measuring device | |
JP4462533B2 (en) | Road lane detection device | |
KR102448944B1 (en) | Method and Device for Measuring the Velocity of Vehicle by Using Perspective Transformation | |
JP4106163B2 (en) | Obstacle detection apparatus and method | |
JP5891802B2 (en) | Vehicle position calculation device | |
JP2011017719A (en) | Device, method and program for detection of lane section line | |
JPH11167636A (en) | Line detecting device for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110628 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110711 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |