[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPH06259561A - Device for calculating target in moving picture and target tracking device - Google Patents

Device for calculating target in moving picture and target tracking device

Info

Publication number
JPH06259561A
JPH06259561A JP5046631A JP4663193A JPH06259561A JP H06259561 A JPH06259561 A JP H06259561A JP 5046631 A JP5046631 A JP 5046631A JP 4663193 A JP4663193 A JP 4663193A JP H06259561 A JPH06259561 A JP H06259561A
Authority
JP
Japan
Prior art keywords
edge
target
dark
moving
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5046631A
Other languages
Japanese (ja)
Inventor
Yasushi Kage
裕史 鹿毛
Satoshi Yamada
訓 山田
Satoru Shiono
悟 塩野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP5046631A priority Critical patent/JPH06259561A/en
Publication of JPH06259561A publication Critical patent/JPH06259561A/en
Pending legal-status Critical Current

Links

Classifications

    • CCHEMISTRY; METALLURGY
    • C04CEMENTS; CONCRETE; ARTIFICIAL STONE; CERAMICS; REFRACTORIES
    • C04BLIME, MAGNESIA; SLAG; CEMENTS; COMPOSITIONS THEREOF, e.g. MORTARS, CONCRETE OR LIKE BUILDING MATERIALS; ARTIFICIAL STONE; CERAMICS; REFRACTORIES; TREATMENT OF NATURAL STONE
    • C04B28/00Compositions of mortars, concrete or artificial stone, containing inorganic binders or the reaction product of an inorganic and an organic binder, e.g. polycarboxylate cements
    • C04B28/02Compositions of mortars, concrete or artificial stone, containing inorganic binders or the reaction product of an inorganic and an organic binder, e.g. polycarboxylate cements containing hydraulic cements other than calcium sulfates
    • C04B28/04Portland cements

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Ceramic Engineering (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Inorganic Chemistry (AREA)
  • Materials Engineering (AREA)
  • Structural Engineering (AREA)
  • Organic Chemistry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE:To highly accurately and quickly calculate the moving speed and moving direction of a target in a moving picture by detecting the direction of an edge from a specific local picture out of still pictures constituting the moving picture and calculating a local speed by using the value of edge passage time in the direction vertical to the detected edge direction. CONSTITUTION:A filtered picture is inputted to a frame memory 3 at first and an edge direction detector 9 detects an edge from a local picture read out from the memory 3. The detector 9 includes an edge detecting unit for outputting a maximum value in the direction of a specific shadow edge to detect the direction of a local edge. Then an edge passage time calculating device 10 calculates the passage time of the edges of respective picture elements arranged in the direction vertical to the detected edge direction. A local speed calculating device 11 calculates a local speed based upon the calculated edge direction and edge passage time. An overall speed calculating device 12 integrates the local speeds and obtains the total speed of the target.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】この発明は、時間的に連続した画
像(例えばテレビジョン画像)から、撮影されている物
体の画像上での移動速度を計算する装置に関するもので
ある。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for calculating the moving speed of an object being photographed on an image, from temporally continuous images (eg, television images).

【0002】[0002]

【従来の技術】画像情報を取り込み、その中に含まれる
物体を区別・識別し、外界の状態を認識する画像処理が
これまで種々の方法によって行われてきた。しかし、従
来の工学的手法による画像処理では柔軟な処理ができ
ず、一般の複雑な画像から個々の物体を識別することは
困難であり、対象を限定した場合にある程度の識別がで
きるだけであった。この従来の工学的手法の問題点は、
動く物体の画像処理において特に顕著に現れ、従来には
ないアプローチが強く求められている。一方、ヒトやサ
ルなどの生物の視覚情報処理では、柔軟な処理が可能で
あり、任意の状況下で各物体を識別でき、さらに3次元
的な立体認識や動きの検出も可能である。
2. Description of the Related Art Image processing for capturing image information, distinguishing and identifying an object contained therein, and recognizing an external state has been performed by various methods. However, conventional image processing cannot perform flexible processing, and it is difficult to identify individual objects from general complex images. Only limited identification is possible when the target is limited. . The problem with this conventional engineering method is that
Especially in the image processing of a moving object, it appears remarkably, and there is a strong demand for a novel approach. On the other hand, in visual information processing of living things such as humans and monkeys, flexible processing is possible, each object can be identified under arbitrary circumstances, and three-dimensional stereoscopic recognition and motion detection are also possible.

【0003】生物の視覚情報処理に基づいた動く視標の
速度計算が可能な画像処理モデルとしてJournal
of optical society of Am
erica(1990),vol.7,No.2,pp
264−278に掲載されたJ.A.Perroneに
よる方法がある。この方法のフローチャートを第10図
に示す。
Journal as an image processing model capable of calculating the velocity of a moving target based on the visual information processing of living things
of optical society of Am
Erica (1990), vol. 7, No. 2, pp
264-278. A. There is a method by Perrone. A flowchart of this method is shown in FIG.

【0004】まず、動画像を一定の時間間隔で静止画像
として取り込み、その内の連続する6枚の静止画像を入
力画像とし(ステップ17)、これにガウスフィルタを
かけて画像ノイズの高周波成分を除去する(ステップ1
8)。次に速度センサにより局所画像の明暗エッジから
局所速度を計算する(ステップ19)。次に局所速度の
集合から特定の方向の速度成分を計算し(ステップ2
0),その速度成分から視標が動く方向及び速さを計算
する(ステップ21)。
First, a moving image is captured as a still image at a constant time interval, and six consecutive still images are taken as an input image (step 17), and a Gaussian filter is applied to this to obtain a high frequency component of image noise. Remove (Step 1
8). Next, the speed sensor calculates the local speed from the bright and dark edges of the local image (step 19). Next, the velocity component in a specific direction is calculated from the set of local velocities (step 2
0), the direction and speed at which the target moves are calculated from the velocity component (step 21).

【0005】第11図は画像の一次元的明暗変化に空間
二階微分演算を適用した例である。(a)は画像の空間
的明暗変化を示す。これに高周波ノイズ成分を除去する
ためのガウス・フィルタを適用した結果が(b)であ
る。この(b)に対し、空間二階微分計算をした結果が
(c)である。(a)の明暗変化と(c)の空間二階微
分値の位置的な関係を比較すると、(c)のゼロ交差点
が(a)の明暗エッジに対応していることがわかる。
FIG. 11 shows an example in which the spatial second derivative operation is applied to the one-dimensional brightness change of an image. (A) shows a spatial brightness change of an image. The result of applying a Gaussian filter for removing high frequency noise components to this is (b). The result of the spatial second-order differential calculation for this (b) is (c). Comparing the positional relationship between the light-dark change in (a) and the spatial second-order differential value in (c), it can be seen that the zero crossing point in (c) corresponds to the light-dark edge in (a).

【0006】第12図は各画素を時刻t1,t2,t3
で通過する明暗エッジと、それの画素通過時刻との関係
を示したものである。(a)は明暗エッジと画素位置と
の関係を示しており、中央画素(二重四角印で示され
る)のエッジ通過時刻はt2である。(b)は明暗エッ
ジに対応する空間二階微分値の広がりが右方向に移動す
る過程を示したもので、中央画素の位置では、二階微分
値の符号が時刻t2の前後で負から正に変化している。
一般に明暗エッジが特定の画素を通過する時の明暗変化
の空間二階微分値の符号は逆転する(負から正、または
正から負)。(c)は中央画素における二階微分値の時
間変化を示したもので、符号が負から正に変化する時刻
t2が明暗エッジの通過時刻になっていることがわか
る。
FIG. 12 shows each pixel at time t1, t2, t3.
It shows the relationship between the bright and dark edges that pass by and the pixel passing time. (A) shows the relationship between the bright and dark edges and the pixel position, and the edge passage time of the central pixel (indicated by a double square mark) is t2. (B) shows a process in which the spread of the spatial second-order differential value corresponding to the light-dark edge moves to the right. At the position of the central pixel, the sign of the second-order differential value changes from negative to positive before and after time t2. is doing.
In general, the sign of the spatial second derivative of the light / dark change when the light / dark edge passes through a particular pixel is reversed (negative to positive, or positive to negative). (C) shows the temporal change of the second-order differential value in the central pixel, and it can be seen that the time t2 when the sign changes from negative to positive is the passing time of the bright and dark edges.

【0007】第13図は図10のステップ19における
明暗エッジの速度計算センサを表す図である。このセン
サは図中の黒丸で示される13個の画素からなり、この
うち中央の画素と周囲の円周上にある12個の画素間で
エッジ通過時刻の差を計算するものである。画素におけ
るエッジ通過時刻は第12図で示した方法により計算さ
れる。第13図において、センサの範囲内を速度vで明
暗エッジが通過するとき、中央画素から見て12方向に
エッジ通過時刻の差が計算されるが、このうち時刻差が
最も大きい方向が明暗エッジの移動方向(図では0度方
向)であり、この時刻差と中央画素・周辺画素間の距離
dから中央画素における速さが計算でき、方向と合わせ
て局所速度ベクトルが得られる。
FIG. 13 is a view showing the speed calculation sensor for the bright and dark edges in step 19 of FIG. This sensor is composed of 13 pixels indicated by black circles in the figure, and the difference in edge passage time between the central pixel and the 12 pixels on the circumference is calculated. The edge passage time at a pixel is calculated by the method shown in FIG. In FIG. 13, when a bright / dark edge passes through the sensor at a speed v, the difference in edge passing time is calculated in 12 directions as viewed from the central pixel. Among these, the direction with the largest time difference is the bright / dark edge. Is the moving direction (0 degree direction in the figure), and the speed at the central pixel can be calculated from this time difference and the distance d between the central pixel and peripheral pixels, and the local speed vector can be obtained together with the direction.

【0008】第14図は、得られた局所速度ベクトルを
視野全体で総合し、視標全体の運動方向および速さを推
定する方法を示すものである。(a)は得られた局所速
度ベクトルを各方向(図では0度,45度,90度およ
び135度方向だけを示した)に正射影したものであ
る。ベクトルA,BおよびCは局所速度ベクトルの正射
影成分の平均(図の例では90度方向は平均がほぼ0に
なる)を計算して得られたものであり、各方向への成分
ベクトルと見なせる。(b)はこれら三つのベクトルの
ノルムを振幅とし、ベクトルの方向を位相角とする三つ
の余弦曲線を表す。(c)はこの三つの曲線の和から得
られる曲線で、この曲線の極値とそれに対応する角から
視標の速さと運動方向を推定する。
FIG. 14 shows a method of estimating the moving direction and speed of the entire visual target by integrating the obtained local velocity vectors in the entire visual field. (A) is an orthogonal projection of the obtained local velocity vector in each direction (only 0, 45, 90, and 135 degrees are shown in the figure). Vectors A, B, and C are obtained by calculating the average of the orthogonal projection components of the local velocity vector (in the example of the figure, the average becomes approximately 0 in the 90 ° direction), and Can be seen. (B) shows three cosine curves in which the norm of these three vectors is the amplitude and the direction of the vector is the phase angle. (C) is a curve obtained from the sum of these three curves, and the speed and movement direction of the target are estimated from the extreme value of this curve and the corresponding angle.

【0009】[0009]

【発明が解決しようとする課題】従来の速度計算法であ
るPerroneの方法は、明暗エッジの傾きが未知の
まま速度計算を行うので、周辺画素の12方向全てに対
して速度評価が必要であることと、近接した二個の画素
情報だけから速度計算を行うので、ごく限られた範囲の
速度の場合しか計算できず、その範囲を超えると計算誤
差が大きくなるなどの問題点があった。この発明は上記
のような問題点を解消するためになされたもので、高精
度且つ迅速な速度の計算を行うことを目的とする。この
ような問題点を背景に私達は長期に恒ってサルの生理学
的研究に携わってきた。その結果サルにおいてはエッジ
方向の検出とエッジ移動速度の計算が別々に行われてい
ることを示唆する実験結果を得て、この発明に係わる速
度計算装置を提案するに至った。
Since the conventional speed calculation method of Perrone calculates the speed while the inclination of the bright and dark edges is unknown, the speed must be evaluated in all 12 directions of the peripheral pixels. In addition, since the speed calculation is performed only from the information of two adjacent pixels, there is a problem that the calculation can be performed only in the case of the speed within a very limited range, and the calculation error becomes large when the speed exceeds the range. The present invention has been made to solve the above problems, and an object thereof is to perform a highly accurate and speedy calculation of speed. Against the background of these problems, we have been engaged in monkey physiological research for a long time. As a result, experimental results suggesting that the detection of the edge direction and the calculation of the edge movement speed are separately performed in the monkey were obtained, and the speed calculation device according to the present invention was proposed.

【0010】[0010]

【課題を解決するための手段】この発明に係わる速度計
算装置は、局所的な明暗変化からまず明暗エッジの方向
を求め、そしてこのエッジに垂直な方向に速度評価の方
向を限定し、この方向に並ぶ多数の画素のエッジ通過時
刻の値から局所的なエッジの速度を計算し、同様にして
計算した視標の複数のエッジの速度と方向から視標全体
の速度と方向を計算するものである。
A velocity calculation device according to the present invention first determines a direction of a light-dark edge from a local light-dark change, and limits a direction of velocity evaluation to a direction perpendicular to this edge, The speed of the local edge is calculated from the values of the edge passage times of a number of pixels lined up in the same direction, and the speed and direction of the entire target is calculated from the speed and direction of the multiple edges of the target calculated in the same manner. is there.

【0011】[0011]

【作用】この局所速度計算方式は、動画像を構成する静
止画像のうちの特定の1枚の局所画像からエッジの方向
検出を行い、その方向に垂直な方向に並ぶ多数の画素に
おけるエッジ通過時刻の値を用いて局所速度を計算する
ので、局所速度を高精度に計算でき、従って動く視標の
速度を高精度且つ迅速に計算することができる。
According to this local velocity calculation method, the direction of an edge is detected from a specific one local image among the still images that form a moving image, and the edge passage time at a large number of pixels arranged in a direction perpendicular to that direction is detected. Since the local velocity is calculated using the value of, the local velocity can be calculated with high precision, and thus the velocity of the moving target can be calculated with high precision and speed.

【0012】[0012]

【実施例】【Example】

実施例1.第1図は動画像における視標の速度を計算す
る装置であり、1はくり返し入力される入力画像を取り
込むための画像入力装置、2は画像前処理フィルタ装
置、3〜8は動画像を構成する静止画像データを格納す
るフレームメモリ、9はエッジ方向検出装置、10はエ
ッジ通過時刻計算装置、11は局所速度計算装置、12
は全体速度計算装置である。
Example 1. FIG. 1 is a device for calculating the speed of a target in a moving image, 1 is an image input device for capturing an input image that is repeatedly input, 2 is an image preprocessing filter device, and 3 to 8 are moving images. A frame memory for storing still image data to be processed, 9 is an edge direction detection device, 10 is an edge passage time calculation device, 11 is a local velocity calculation device, 12
Is an overall speed calculator.

【0013】入力装置1に一定の時間間隔で入力された
画像は画像前処理フィルタ装置2で処理され、高周波ノ
イズを除去するとともに、次のデータ処理の前処理を行
う。フィルタの特性はガウスフィルタ等の低域通過フィ
ルタである。フィルタ処理された画像は、フレームメモ
リ3〜8に順に格納される。最新の画像はフレームメモ
リ3に入り、最も古い画像はフレームメモリ8に保持さ
れ、時刻が更新される毎に3→4→5→6→7→8の順
に画像がシフトする。
The image input to the input device 1 at a constant time interval is processed by the image preprocessing filter device 2 to remove high frequency noise and perform preprocessing for the next data processing. The characteristic of the filter is a low pass filter such as a Gaussian filter. The filtered images are sequentially stored in the frame memories 3-8. The latest image enters the frame memory 3, the oldest image is held in the frame memory 8, and the image shifts in the order of 3 → 4 → 5 → 6 → 7 → 8 each time the time is updated.

【0014】次にエッジ方向検出装置9で、フレームメ
モリ3の局所画像からエッジ検出を行う。エッジ方向検
出装置には特定の明暗エッジの方向に対して最大値を出
力するエッジ検出ユニットがあり、どのユニットの出力
が最大であるかによって局所エッジの方向が検出でき
る。図2(a)は、本実施例で用いた4種類のエッジ検
出ユニットのフィルタと4種類の画像に対する各ユニッ
トの出力を示している。各エッジ検出ユニットが、検出
しようとする方向の明暗エッジを含む画像の場合に最大
の出力値を与えていることがわかる。エッジ検出ユニッ
トとしては図2(a)に示した二階微分型のものに替え
て図2(b)に示した一階微分型のものを用いても同様
な効果が得られる。この場合はノイズの多い画像に対し
てSN比が良いという効果もある。
Next, the edge direction detection device 9 detects edges from the local image in the frame memory 3. The edge direction detection device has an edge detection unit that outputs the maximum value in the direction of a specific bright and dark edge, and the direction of the local edge can be detected depending on which unit has the maximum output. FIG. 2A shows the filters of the four types of edge detection units used in this embodiment and the outputs of each unit for the four types of images. It can be seen that each edge detection unit gives the maximum output value in the case of an image including bright and dark edges in the direction to be detected. The same effect can be obtained by using the first-order differential type shown in FIG. 2B instead of the second-order differential type shown in FIG. 2A as the edge detection unit. In this case, there is also an effect that the SN ratio is good for an image with a lot of noise.

【0015】次に、エッジ方向検出装置で求めたエッジ
の方向に垂直な方向に並ぶ各画素のエッジの通過時刻を
エッジ通過時刻計算装置10によって計算する。この計
算に必要な時系列データはフレームメモリ3〜8からと
り込む。エッジの通過時刻は、その画素位置で明暗が急
激に変化する時刻であり、二階微分フィルタ▽2 Gの応
答を計算し、その符号が逆転した時刻をエッジ通過時刻
とする。
Next, the edge passage time calculation device 10 calculates the passage time of the edge of each pixel arranged in the direction perpendicular to the edge direction obtained by the edge direction detection device. The time series data required for this calculation is taken in from the frame memories 3-8. The edge passage time is the time at which the brightness changes abruptly at that pixel position, the response of the second-order differential filter ∇ 2 G is calculated, and the time at which its sign is reversed is taken as the edge passage time.

【0016】一般に画像の空間的明暗変化をI(x,
y)、ガウスフィルタをG(σ,x,y)(σは標準偏
差)、空間二階微分演算を▽2 としたとき、画像処理過
程は▽2 (G*I)または(▽2 G)*Iで表される。
*印はコンボルーションを表わす。Gのパラメータσを
変化させればIに対して様々な明暗変化に対応する画像
処理が可能である。この空間二階微分計算はDをパラメ
ータとして f(x−D)−2・f(x)+f(x+D)(但しf(x)=G*I(x)) ・・・(1) で近似計算して求める。Dの値を変化させることはσの
値を変化させることと類似の効果を有し、これによって
Gのパラメータσを変化させた場合と同等の画像処理が
可能である。本実施例では例えばD=4を用いた。
In general, the spatial lightness / darkness change of an image is represented by I (x,
y), the Gaussian filter is G (σ, x, y) (σ is the standard deviation), and the spatial second-order differential operation is ▽ 2 , the image processing process is ▽ 2 (G * I) or (▽ 2 G) *. Represented by I.
* Indicates convolution. By changing the parameter σ of G, it is possible to perform image processing corresponding to various brightness changes with respect to I. This spatial second-order differential calculation uses D as a parameter f (x−D) −2 · f (x) + f (x + D) (where f (x) = G * I (x)) (1) And ask. Changing the value of D has a similar effect to changing the value of σ, and by this, the same image processing as when changing the parameter σ of G is possible. In this embodiment, for example, D = 4 is used.

【0017】局所速度計算装置11は、上記の装置9・
10によって計算されたエッジの方向と、エッジ通過時
刻を基に局所速度を計算する装置である。エッジの方向
に垂直な方向に並ぶ画素を探索し、基準位置となる画素
からの相対距離と、エッジ通過時刻を求め、最小自乗法
によって距離と通過時刻の間の傾きを求め、傾きの逆数
を特定の画素における局所速度とする。第3図は、装置
11によって計算された局所速度の推定値とその誤差を
示したもので、高精度な速度計算の可能なことがわか
る。
The local velocity calculation device 11 includes the device 9
This is a device for calculating the local velocity based on the edge direction calculated by 10 and the edge passage time. Pixels arranged in the direction perpendicular to the edge direction are searched, the relative distance from the pixel that is the reference position and the edge passage time are obtained, the slope between the distance and the passage time is obtained by the least square method, and the inverse of the slope is calculated. The local velocity at a specific pixel. FIG. 3 shows the estimated value of the local velocity calculated by the device 11 and its error, and it can be seen that highly accurate velocity calculation is possible.

【0018】全体速度計算装置12によって局所速度を
統合し、視標全体の速度を得る。視標の動きが、一般に
奥行き方向の動きや回転運動を含む場合は局所速度の統
合は容易ではないが、動きを2次元平面上の並進運動に
限定し、かつ物体の輪郭は変化しないものとすれば、例
えばNature(vol.300,No.9,pp5
23−525,1982)で紹介されているE.H.A
delsonとJ.A.MovshonらによるIOC
(Intersection Of Constrai
nt)アルゴリズムを用いて、視標の運動を2次元平面
上の並進運動に限定し視標の形は変化しないと仮定する
ことによって繰り返し計算なしで視標全体の速度を計算
できる。
The local velocity is integrated by the overall velocity calculation device 12 to obtain the velocity of the entire target. When the movement of the target generally includes movement in the depth direction and rotational movement, it is not easy to integrate the local velocities, but the movement is limited to translational movement on a two-dimensional plane and the contour of the object does not change. Then, for example, Nature (vol. 300, No. 9, pp5
23-525, 1982). H. A
delson and J.D. A. IOC by Movshong et al.
(Intersection Of Constrai
nt) algorithm, the velocity of the entire target can be calculated without iterative calculation by limiting the motion of the target to translational motion on a two-dimensional plane and assuming that the shape of the target does not change.

【0019】第4図はIOCアルゴリズムの説明であ
る。二次元平面内を動く三角形を局所的な視野から見た
場合、覗き穴問題と呼ばれる事実により、視野内を通過
する辺の動きは辺に垂直な方向にしか評価できず、辺に
平行な方向の速度成分は局所視野の範囲内では計算でき
ない。(a)におけるベクトルA,BおよびCは局所的
に検出される速度ベクトルで、それぞれ三辺に垂直な成
分を表す。三角形の真の動きを表す速度ベクトルは、
(b)に示すように始端を合わせたベクトルA,Bおよ
びCによって定まる三つの拘束線の交点を終端とするベ
クトルとして求めることができる。拘束線とはA,B,
C各ベクトルの終端を通る垂線で、全体の速度を表すベ
クトルの終端はこの拘束線上に限定される。二次元平面
内の並進運動では、拘束線の作る交点は理論上一点で交
わり、従って視標全体の並進運動の速度ベクトルを決定
することができる。
FIG. 4 is an explanation of the IOC algorithm. When a triangle moving in a two-dimensional plane is viewed from a local visual field, due to the fact that it is called the peephole problem, the motion of the side passing through the visual field can be evaluated only in the direction perpendicular to the side, and in the direction parallel to the side. The velocity component of cannot be calculated within the local visual field. Vectors A, B, and C in (a) are velocity vectors detected locally, and each represents a component perpendicular to three sides. The velocity vector that represents the true motion of the triangle is
As shown in (b), it can be obtained as a vector whose end points are the intersections of the three constraint lines defined by the vectors A, B, and C with the start points combined. The restraint lines are A, B,
C A perpendicular line that passes through the end of each vector, and the end of the vector that represents the overall velocity is limited to this constraint line. In the translational motion in the two-dimensional plane, the intersections formed by the constraint lines theoretically intersect at one point, so that the velocity vector of the translational motion of the entire target can be determined.

【0020】上記実施例ではフレームメモリ3に保持さ
れている静止画像をエッジ傾き検出装置に取り込み、各
画素における明暗エッジの傾きを検出するが、他のフレ
ームメモリでも同様の操作が可能である。
In the above embodiment, the still image held in the frame memory 3 is fetched into the edge inclination detecting device to detect the inclination of the bright and dark edges in each pixel, but the same operation can be performed in other frame memories.

【0021】上記実施例では最小自乗法を用いた近似計
算によって距離と通過時刻の傾きを計算する方法を用い
ているが、他の最適化手法を用いて近似計算を行っても
よい。
In the above embodiment, the method of calculating the slope of the distance and the passage time by the approximation calculation using the least square method is used, but the approximation calculation may be performed by using another optimization method.

【0022】上記実施例では4種類のエッジ検出ユニッ
トを用いた例を示したが、5種類以上のエッジ検出ユニ
ットを用いてもよい。
In the above embodiment, an example using four types of edge detection units is shown, but five or more types of edge detection units may be used.

【0023】上記実施例ではエッジ通過時刻は画像入力
の離散時刻に対応した離散的な値としていたが、ある画
素において二つの離散時刻の間で二階微分値の符号が変
換した時、それぞれの時刻における二階微分値を元に内
挿し、エッジ通過時刻として連続値を取ることも可能で
ある。例えば時刻t1,t2における二階微分値をそれ
ぞれ−v1(負の値),v2(正の値)とするとき、内
挿によるエッジ通過時刻tは例えば t=(t1・t2+v2・t1)/(v1+v2) ・・・(2) で計算できる。上記実施例では、画像入力装置1はビデ
オテープレコーダなどの出力を入力として処理すること
も可能である。
In the above embodiment, the edge passage time is a discrete value corresponding to the discrete time of the image input, but when the sign of the second differential value is converted between two discrete times in a certain pixel, the respective times are changed. It is also possible to interpolate based on the second-order differential value in and take a continuous value as the edge passage time. For example, when the second-order differential values at times t1 and t2 are −v1 (negative value) and v2 (positive value), the edge passing time t by interpolation is, for example, t = (t1 · t2 + v2 · t1) / (v1 + v2 ) ... Can be calculated by (2). In the above-described embodiment, the image input device 1 can also process the output of a video tape recorder or the like as an input.

【0024】実施例2.上記実施例1では、フレームメ
モリ数を6枚としたが、他の枚数でも可能である。第5
図はフレームメモリ数(4〜9)と計算速度誤差との関
係を示したものである。図により視標速度1〜9画素/
画面の範囲では、フレームメモリ6枚以上で計算誤差を
3%以内に収めることが可能であるが、さらに計算誤差
を1%以内に収めるためにはフレームメモリ9枚以上が
必要である。
Example 2. Although the number of frame memories is six in the first embodiment, other numbers may be used. Fifth
The figure shows the relationship between the number of frame memories (4 to 9) and the calculation speed error. Target speed 1-9 pixels /
In the range of the screen, it is possible to keep the calculation error within 3% with 6 or more frame memories, but it is necessary to have 9 or more frame memories to keep the calculation error within 1%.

【0025】実施例3.第6図は二階微分フィルタ▽2
Gによる画像処理と、エッジ移動速度計算の関係を示し
た図である。(a)は遅い速度の場合で、時刻t1とt
2で符号が変化し、エッジ通過時刻を計算できる。
(b)は速い速度の場合で、時刻t1とt2における値
はいずれも0で、エッジ通過時刻が計算できない。
(c)は(b)の場合とエッジ移動速度は同じである
が、既に述べた式(1)の二階微分計算のパラメータD
を(b)の場合よりも大きい値で画像処理したもので、
ゼロ交差点付近での勾配は緩やかになっている。このこ
とから、Dを大きく取れば明暗エッジの移動速度が相対
的に速い場合にも対応できることがわかる。但し低速の
動きに関してはゼロ交差点付近の勾配が緩やかなほどそ
の値の変化は微小であり、従って低速の場合エッジ通過
時刻を計算するための内挿に誤差が生じやすい。
Example 3. Fig. 6 shows the second derivative filter ▽ 2
FIG. 7 is a diagram showing a relationship between image processing by G and edge moving speed calculation. (A) is a case of a slow speed, and the times t1 and t
The sign changes at 2 and the edge passage time can be calculated.
(B) is a case of high speed, and the values at the times t1 and t2 are both 0, and the edge passage time cannot be calculated.
Although the edge moving speed in (c) is the same as that in (b), the parameter D of the second-order differential calculation of the above-described equation (1) is used.
Image processed with a larger value than in the case of (b),
The slope near the zero crossing is gentle. From this, it can be understood that if D is taken large, it is possible to cope with the case where the moving speed of the light and dark edges is relatively fast. However, with respect to low-speed movement, the smaller the gradient near the zero crossing point, the smaller the change in the value. Therefore, at low speed, an error is likely to occur in the interpolation for calculating the edge passage time.

【0026】第7図は二階微分計算のパラメータDを1
から12まで変化させて評価誤差の許容範囲を例えば3
%としたときの高精度な速度計算の可能範囲を調べたも
のである。縦軸は速度(単位:画素/画面)、横軸はパ
ラメータDを表し、□印は特定のパラメータで誤差が3
%以内で速度計算が可能であることを示し、×印は速度
計算は可能であるが誤差が3%以上であることを示す。
In FIG. 7, the parameter D of the second derivative calculation is set to 1
The allowable range of the evaluation error is changed to 3 from 12 to 12, for example.
This is an examination of the possible range of high-accuracy speed calculation when it is set to%. The vertical axis represents the speed (unit: pixel / screen), the horizontal axis represents the parameter D, and the square mark indicates a specific parameter with an error of 3
It indicates that the velocity can be calculated within%, and x indicates that the velocity can be calculated but the error is 3% or more.

【0027】図からD=4のときには、視標の動きが1
〜9画素/画面の場合に誤差3%以内で速度計算が可能
である。速度が10画素/画面以上の場合に誤差3%以
内で速度計算が可能なのは、Dが7〜10の範囲内にあ
るときで、このうち速度評価の上限が最も大きいのはD
=10のときである。以上より、二階微分計算パラメー
タをD=4を持つものとD=10を持つものの2種類の
エッジ通過時刻計算装置を用意し、視標の速度によって
切り替えることにより、視標の動きが1〜21画素/画
面の範囲の場合に誤差3%以内で速度計算が可能であ
る。
From the figure, when D = 4, the movement of the target is 1
In the case of ~ 9 pixels / screen, the speed can be calculated within an error of 3%. When the speed is 10 pixels / screen or more, the speed can be calculated within an error of 3% when D is in the range of 7 to 10, and the maximum speed evaluation is the largest in D.
= 10. From the above, by preparing two kinds of edge passage time calculation devices, one having the second-order differential calculation parameter having D = 4 and the other having D = 10, the movement of the target is 1 to 21 by switching depending on the speed of the target. In the case of the pixel / screen range, the speed can be calculated within an error of 3%.

【0028】上記実施例では、D=4とD=10の組合
せの例を示したが、低速の場合D=4の代わりにD=1
〜5のいずれかを選び、高速の場合D=10の代わりに
D=8〜12のいずれかを選んで組合せたエッジ通過時
刻計算装置を用いてもよい。
In the above embodiment, an example of a combination of D = 4 and D = 10 is shown, but in the case of a low speed, D = 1 instead of D = 4.
It is also possible to use an edge passage time calculation device in which any one of the above items is selected, and in the case of a high speed, D = 8 to 12 is selected and combined instead of D = 10.

【0029】上記実施例は、ガウスフィルタのパラメー
タσ(標準偏差)を一定として二階微分演算を二種類以
上用いた方式に関するものであるが、例えば二階微分演
算を一種類とし、ガウスフィルタのパラメータσを二種
類以上用意して計算させても本実施例と同様の効果が得
られる。またDとσを比例的に変えてもよい。
The above embodiment relates to a system in which two or more kinds of second-order differential operations are used with the parameter σ (standard deviation) of the Gaussian filter being constant. For example, one kind of second-order differential operation is used and the parameter σ of the Gaussian filter is used. Even if two or more types are prepared and calculated, the same effect as this embodiment can be obtained. Further, D and σ may be changed proportionally.

【0030】実施例4.第8図は上述の実施例1の視標
速度計算装置を含む視標追従システムを示す。13は可
動なカメラを備え、視標を撮像して二次元画像情報とし
て供給する画像入力装置、14は視標速度計算装置で、
図1で示される速度計算方式を用いる。15はカメラ制
御信号用変換装置、16はカメラ制御装置である。本実
施例では視標の動きを追従するために、速度評価装置1
4で計算された速度を用いてカメラ制御信号用変換装置
15によってカメラの制御を行う。このようなシステム
により、視標を追従することが可能になる。また、この
ように視標を実際に追従することにより、視標の速度を
より正確に計算することができる。
Example 4. FIG. 8 shows a target tracking system including the target speed calculating device according to the first embodiment. Reference numeral 13 is an image input device that includes a movable camera, captures an image of a target and supplies it as two-dimensional image information, and 14 is a target velocity calculation device.
The velocity calculation method shown in FIG. 1 is used. Reference numeral 15 is a camera control signal conversion device, and 16 is a camera control device. In this embodiment, in order to follow the movement of the target, the speed evaluation device 1
The camera is controlled by the camera control signal conversion device 15 using the speed calculated in step 4. Such a system makes it possible to follow the target. Further, by actually following the target in this manner, the speed of the target can be calculated more accurately.

【0031】第9図は上述の第1の実施例の視標速度計
算装置によって計算された速度の誤差と画像入力装置の
制御との関係を示す。(a)は画像処理範囲としての視
野内に視標が速度v1 で動いていることを示す。(b)
は視標速度計算装置によって計算した視標の計算速度を
2 として視標追従を行ったとき、実際の速度v1 との
間に誤差があった場合を示す図である。計算された速度
2 に基づいて視標を追従したときに、計算速度の誤差
1 −v2 が見かけ上の速度として再び視標速度計算装
置で計算される。(c)はこの見かけ上の速度を追従速
度に加算してフィードバックし、計算速度を修正して追
従することにより、計算速度誤差を減少させることがで
き、計算速度を実際の速度に収束させて動く視標の高精
度な追従が可能であることを示す。
FIG. 9 shows the relationship between the error in the speed calculated by the target speed calculating apparatus of the first embodiment and the control of the image input apparatus. (A) shows that the target is moving at the speed v 1 within the visual field as the image processing range. (B)
FIG. 6 is a diagram showing a case where there is an error from the actual speed v 1 when the target tracking is performed with the target speed calculated by the target speed calculator as v 2 . When you follow the target based on the calculated velocity v 2, it is again calculated by the target speed calculating device error v 1 -v 2 calculation speed as the speed of the apparent. In (c), the apparent speed is added to the follow-up speed to feed back, and the calculated speed is corrected and followed to reduce the calculation speed error, so that the calculated speed converges to the actual speed. We show that it is possible to follow a moving target with high accuracy.

【0032】[0032]

【発明の効果】以上のように、この発明によれば動画像
を構成する静止画像のうちの特定の1枚の局所画像から
エッジの方向検出を行い、その方向に垂直な方向に並ぶ
多数の画素におけるエッジ通過時刻の値を用いて局所速
度を計算するので、局所速度を高精度に計算でき、従っ
て動く視標の速度を高精度且つ迅速に計算することがで
きる。
As described above, according to the present invention, the direction of an edge is detected from a specific one local image among the still images that make up a moving image, and a large number of pixels are arranged in a direction perpendicular to the direction. Since the local velocity is calculated using the value of the edge passage time at the pixel, the local velocity can be calculated with high accuracy, and thus the velocity of the moving target can be calculated with high precision and speed.

【図面の簡単な説明】[Brief description of drawings]

【図1】この発明の一実施例による視標速度計算装置を
示す図である。
FIG. 1 is a diagram showing a target velocity calculation device according to an embodiment of the present invention.

【図2】この発明の一実施例によるエッジ検出フィルタ
の適用例を示す図である。
FIG. 2 is a diagram showing an application example of an edge detection filter according to an embodiment of the present invention.

【図3】この発明の一実施例による計算速度の精度を示
す表である。
FIG. 3 is a table showing accuracy of calculation speed according to an embodiment of the present invention.

【図4】IOCアルゴリズムを説明するための図であ
る。
FIG. 4 is a diagram for explaining an IOC algorithm.

【図5】この発明の一実施例によるフレームメモリの枚
数と計算速度誤差との関係を示す図である。
FIG. 5 is a diagram showing a relationship between the number of frame memories and a calculation speed error according to an embodiment of the present invention.

【図6】この発明の一実施例による明暗エッジの画素通
過時刻を計算する方法を示す図である。
FIG. 6 is a diagram showing a method of calculating pixel passing times of bright and dark edges according to an embodiment of the present invention.

【図7】この発明の一実施例による二階微分パラメーラ
を変化させたときの速度計算との関係を示す図である。
FIG. 7 is a diagram showing a relationship with velocity calculation when a second-order differential parameter is changed according to an embodiment of the present invention.

【図8】この発明の一実施例による視表速度計算装置を
ふくむ視標追従システムを示す図である。
FIG. 8 is a diagram showing a target tracking system including a visual velocity calculation device according to an embodiment of the present invention.

【図9】この発明の一実施例による計算速度誤差と画像
入力装置の制御との関係を示す図である。
FIG. 9 is a diagram showing the relationship between the calculation speed error and the control of the image input device according to the embodiment of the present invention.

【図10】従来方式のアルゴリズムのフローチャートを
示す図である。
FIG. 10 is a diagram showing a flowchart of a conventional algorithm.

【図11】従来方式における画像の一次元的明暗変化に
空間二階微分演算を適用した例を示した図である。
FIG. 11 is a diagram showing an example in which a spatial second derivative operation is applied to a one-dimensional brightness change of an image in the conventional method.

【図12】従来方式における明暗エッジと画素通過時刻
との関係を示す図である。
FIG. 12 is a diagram showing a relationship between a bright / dark edge and a pixel passing time in the conventional method.

【図13】従来方式における速度センサの構成を示す図
である。
FIG. 13 is a diagram showing a configuration of a speed sensor in a conventional method.

【図14】従来方式における局所速度の総合方法と速度
ベクトルの推定法を示す図である。
FIG. 14 is a diagram showing a method of estimating a local velocity and a method of estimating a velocity vector in a conventional method.

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 動く視標を含む画像の二次元画像情報を
くり返し入力する画像入力装置と、 前記画像情報を入力順にシフトして格納する複数のフレ
ームメモリと、 前記画像上の各点で明暗エッジの方向を検出するエッジ
方向検出装置と、 前記明暗エッジの方向に垂直な方向における明暗エッジ
の通過時刻を計算するエッジ通過時刻計算装置と、 前記明暗エッジの通過時刻から明暗エッジの方向に垂直
な方向における明暗エッジの移動速度を計算する局所速
度計算装置と、 前記明暗エッジの方向と移動速度との同一視標に対する
複数の組から視標全体の移動速度と移動方向を計算する
全体速度計算装置とを備えたことを特徴とする動画像中
の視標速度計算装置。
1. An image input device for repeatedly inputting two-dimensional image information of an image including a moving target, a plurality of frame memories for shifting and storing the image information in an input order, and bright and dark at each point on the image. An edge direction detection device that detects the direction of an edge, an edge passage time calculation device that calculates a passage time of a light-dark edge in a direction perpendicular to the direction of the light-dark edge, and a direction perpendicular to the direction of the light-dark edge from the passage time of the light-dark edge. Local velocity calculation device for calculating the moving speed of the bright and dark edges in different directions, and overall velocity calculation for calculating the moving velocity and moving direction of the entire target from a plurality of sets of the same target of the direction of the bright and dark edges and the moving velocity And a device for calculating a target velocity in a moving image.
【請求項2】 前記エッジ通過時刻計算装置は、画像情
報の空間二階微分値の符号がある画素において逆転する
時刻をその画素におけるエッジ通過時刻として計算する
ことを特徴とする特許請求の範囲第1項記載の視標速度
計算装置。
2. The edge passage time calculation device calculates the time at which the sign of the spatial second derivative of the image information is reversed at a certain pixel as the edge passage time at that pixel. The target velocity calculation device described in the paragraph.
【請求項3】 前記局所速度計算装置は、前記明暗エッ
ジの方向に垂直な方向に並ぶ複数の画素における前記明
暗エッジの通過時刻を用いて、明暗エッジに垂直な方向
における明暗エッジの移動速度を計算することを特徴と
する特許請求の範囲第1項または第2項記載の視標速度
計算装置。
3. The local velocity calculation device uses a passing time of the bright and dark edges in a plurality of pixels arranged in a direction perpendicular to the direction of the bright and dark edges to determine a moving velocity of the bright and dark edges in a direction perpendicular to the bright and dark edges. The target velocity calculating device according to claim 1 or 2, wherein the target velocity calculating device calculates.
【請求項4】 前記エッジ通過時刻計算装置は、空間二
階微分計算のパラメータDの値を複数備え、低速の視標
にはDの小さい値を用い、高速の視標にはDの大きい値
を用いることを特徴とする特許請求の範囲第2項記載の
視標速度計算装置。
4. The edge passage time calculation device is provided with a plurality of values of a parameter D of a spatial second derivative calculation, a low value of D is used for a low speed target, and a high value of D is used for a high speed target. The target velocity calculation device according to claim 2, which is used.
【請求項5】 前記フレームメモリの前段に低域通過フ
ィルタを備えた画像前処理フィルタを備えたことを特徴
とする特許請求の範囲第1項から第4項のいずれかに記
載の視標速度計算装置。
5. The target velocity according to claim 1, further comprising an image pre-processing filter having a low-pass filter in a preceding stage of the frame memory. Computing device.
【請求項6】 前記画像前処理フィルタの低域通過フィ
ルタはガウスフィルタであることを特徴とする特許請求
の範囲第5項記載の視標速度計算装置。
6. The target velocity calculating apparatus according to claim 5, wherein the low pass filter of the image preprocessing filter is a Gaussian filter.
【請求項7】 可動なカメラを備え、動く視標を含む画
像を撮像して二次元画像情報をくり返し入力する画像入
力装置と、 前記画像情報を入力順にシフトして格納する複数のフレ
ームメモリと、 前記画像上の各点で明暗エッジの方向を検出するエッジ
方向検出装置と、 前記明暗エッジの方向に垂直な方向における明暗エッジ
の通過時刻を計算するエッジ通過時刻計算装置と、 前記明暗エッジの通過時刻から明暗エッジの方向に垂直
な方向における明暗エッジの移動速度を計算する局所速
度計算装置と、 前記明暗エッジの方向と移動速度との同一視標に対する
複数の組から視標全体の移動速度と移動方向を計算する
全体速度計算装置とを備えた視標速度計算装置と、 前視標速度計算装置からの視標全体の移動速度と移動方
向の情報にもとづいて前記画像入力装置のカメラを前記
視標に追従する様に駆動制御するカメラ制御装置とを備
えたことを特徴とする視標追従装置。
7. An image input device, comprising a movable camera, for capturing an image including a moving target and repeatedly inputting two-dimensional image information, and a plurality of frame memories for shifting and storing the image information in an input order. An edge direction detection device that detects the direction of a light-dark edge at each point on the image, an edge passage time calculation device that calculates a passage time of the light-dark edge in a direction perpendicular to the direction of the light-dark edge, and the light-dark edge A local velocity calculation device that calculates the moving speed of the light-dark edge in the direction perpendicular to the direction of the light-dark edge from the passing time, and the moving speed of the entire target from a plurality of sets of the same direction of the light-dark edge and the moving speed for the same target. And a target velocity calculation device including an overall velocity calculation device that calculates the moving direction, and based on information about the moving velocity and moving direction of the entire target from the previous target velocity calculation device. And a camera control device for driving and controlling the camera of the image input device so as to follow the optotype.
JP5046631A 1993-03-08 1993-03-08 Device for calculating target in moving picture and target tracking device Pending JPH06259561A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5046631A JPH06259561A (en) 1993-03-08 1993-03-08 Device for calculating target in moving picture and target tracking device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5046631A JPH06259561A (en) 1993-03-08 1993-03-08 Device for calculating target in moving picture and target tracking device

Publications (1)

Publication Number Publication Date
JPH06259561A true JPH06259561A (en) 1994-09-16

Family

ID=12752646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5046631A Pending JPH06259561A (en) 1993-03-08 1993-03-08 Device for calculating target in moving picture and target tracking device

Country Status (1)

Country Link
JP (1) JPH06259561A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195583A (en) * 2000-01-14 2001-07-19 Canon Inc Position detector and exposure device using the same
US6956959B2 (en) 2001-08-03 2005-10-18 Nissan Motor Co., Ltd. Apparatus for recognizing environment
WO2007138858A1 (en) 2006-05-25 2007-12-06 Nec Corporation Video image special effect detecting device, special effect detecting method, special effect detecting program and video image reproducing device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195583A (en) * 2000-01-14 2001-07-19 Canon Inc Position detector and exposure device using the same
US6956959B2 (en) 2001-08-03 2005-10-18 Nissan Motor Co., Ltd. Apparatus for recognizing environment
WO2007138858A1 (en) 2006-05-25 2007-12-06 Nec Corporation Video image special effect detecting device, special effect detecting method, special effect detecting program and video image reproducing device

Similar Documents

Publication Publication Date Title
Gallego et al. Accurate angular velocity estimation with an event camera
Dansereau et al. Decoding, calibration and rectification for lenselet-based plenoptic cameras
US7929043B2 (en) Image stabilizing apparatus, image-pickup apparatus and image stabilizing method
US5475422A (en) Method and apparatus for reconstructing three-dimensional objects
EP2047426B1 (en) Method for signal conditioning
EP0986252A1 (en) System and method for electronic image stabilization
CN110189257B (en) Point cloud acquisition method, device, system and storage medium
Cortés-Osorio et al. Velocity estimation from a single linear motion blurred image using discrete cosine transform
Ourak et al. Wavelets-based 6 DOF visual servoing
JPH09116809A (en) Picture steadiness correcting method in television film scanning of prescribed sequence changing method for performing picture object and device for performing the correcting method
Dardelet et al. An event-by-event feature detection and tracking invariant to motion direction and velocity
JPH06259561A (en) Device for calculating target in moving picture and target tracking device
Stratmann Omnidirectional imaging and optical flow
JP3275252B2 (en) Three-dimensional information input method and three-dimensional information input device using the same
JPH0875454A (en) Range finding device
Knorr Self-Calibration of Multi-Camera Systems for Vehicle Surround Sensing
Burt et al. Electronic front-end processor for active vision
Alhwarin et al. An optimized method for 3D body scanning applications based on KinectFusion
JP3263794B2 (en) Image processing device
Sabel et al. PRIMAS: a real-time 3D motion-analysis system
Gallego Bonet et al. Accurate angular velocity estimation with an event camera
Scheerlinck et al. Computing Spatial Image Convolutions for Event Cameras
Mini et al. Visual tracking of objects using multiresolution
Kawade et al. Restoration of Temporal Image Sequence from a Single Image Captured by a Correlation Image Sensor.
JP2698492B2 (en) Motion vector detection device