JP3461143B2 - カラー画像目標位置検出装置 - Google Patents
カラー画像目標位置検出装置Info
- Publication number
- JP3461143B2 JP3461143B2 JP14884399A JP14884399A JP3461143B2 JP 3461143 B2 JP3461143 B2 JP 3461143B2 JP 14884399 A JP14884399 A JP 14884399A JP 14884399 A JP14884399 A JP 14884399A JP 3461143 B2 JP3461143 B2 JP 3461143B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- chromaticity
- minimum
- point
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 62
- 238000004364 calculation method Methods 0.000 claims description 61
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 13
- 230000000638 stimulation Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 23
- 230000006835 compression Effects 0.000 description 17
- 238000007906 compression Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】本発明は、テレビジョンカメ
ラで撮影した可視画像による目標追尾を行うためのカラ
ー目標位置検出装置に関する。
ラで撮影した可視画像による目標追尾を行うためのカラ
ー目標位置検出装置に関する。
【0002】
【従来の技術】従来、この種の目標追尾装置において
は、テレビジョンカメラで撮影した画像により、目標物
の動きを検出することによって、撮像方向の自動追従を
実現している。この動きを検出する方法としては、目標
物の周辺画像または特徴部分の画像によって定義した基
準の画像ブロックに対して相関が最大となるブロックの
位置を撮像画像中から検出する方法が一般的に用いられ
てきた。
は、テレビジョンカメラで撮影した画像により、目標物
の動きを検出することによって、撮像方向の自動追従を
実現している。この動きを検出する方法としては、目標
物の周辺画像または特徴部分の画像によって定義した基
準の画像ブロックに対して相関が最大となるブロックの
位置を撮像画像中から検出する方法が一般的に用いられ
てきた。
【0003】この方法の場合、目標物の大きさが変わっ
たり変形した場合には、追尾が困難となる欠点があるの
に加え、相関を取るための回路規模が極めて大きくな
る。また、CPU処理で回路規模を削減しようとすると
処理の負荷が増大して実時間性が失われるという難点が
あった。
たり変形した場合には、追尾が困難となる欠点があるの
に加え、相関を取るための回路規模が極めて大きくな
る。また、CPU処理で回路規模を削減しようとすると
処理の負荷が増大して実時間性が失われるという難点が
あった。
【0004】そこで、目標物のカラー画像信号をもとに
目標の持つ色情報を用いる幾つかの方法が提案されてい
る。その一つとして、例えば、カラー画像信号のR、
G、Bを直交座標上のベクトルの成分として考え、追尾
対象の色の単位ベクトルを基準ベクトルとして画像信号
のR、G、Bベクトルとの内積
目標の持つ色情報を用いる幾つかの方法が提案されてい
る。その一つとして、例えば、カラー画像信号のR、
G、Bを直交座標上のベクトルの成分として考え、追尾
対象の色の単位ベクトルを基準ベクトルとして画像信号
のR、G、Bベクトルとの内積
【0005】
【数5】
を求めることによりベクトル方向の差異をcosθ(但
し、θは撮像画像の対応する画素のベクトルと基準ベク
トルのなす角である。)として得る方法がある。
し、θは撮像画像の対応する画素のベクトルと基準ベク
トルのなす角である。)として得る方法がある。
【0006】また、特開平4−184283号公報に
は、目標識別の能力を改善する方法として、カラー画像
信号のR、G、Bを
は、目標識別の能力を改善する方法として、カラー画像
信号のR、G、Bを
【0007】
【数6】
又は、
【0008】
【数7】
により、r、g、b表色系色度値に変換して比較する方
法で、目標のrまたはbとgから、基準となる2つの値
の組に対する判定範囲を設定し、撮像画像の対応する画
素のrまたはbとgとを比較回路で判定し、両方の値が
判定範囲に入っていればその画素を2値化することで目
標エリアを得た後、輝度値に相当する(R+G+B)の
目標エリア内での最大輝度点で位置を検出する方法が提
案されている。
法で、目標のrまたはbとgから、基準となる2つの値
の組に対する判定範囲を設定し、撮像画像の対応する画
素のrまたはbとgとを比較回路で判定し、両方の値が
判定範囲に入っていればその画素を2値化することで目
標エリアを得た後、輝度値に相当する(R+G+B)の
目標エリア内での最大輝度点で位置を検出する方法が提
案されている。
【0009】
【発明が解決しようとする課題】上記従来例では、画像
の明暗の情報は除外され、明暗の影響は抑えられるもの
の、cosθにより評価しているため、色が接近してい
ると余弦関数の性質上、殆ど同じ値となってしまい、目
標点の識別が極めて困難となるという欠点を持ってい
る。
の明暗の情報は除外され、明暗の影響は抑えられるもの
の、cosθにより評価しているため、色が接近してい
ると余弦関数の性質上、殆ど同じ値となってしまい、目
標点の識別が極めて困難となるという欠点を持ってい
る。
【0010】さらに、cosθの値を得るためには、画
像信号のR、G、Bベクトルの絶対値で除算する必要が
あることから、デジタル高速処理ではROM等による作
表で逆数を発生してこれを乗ずる方法が用いられるが、
この方法では、R、G、Bの値が大きくなると逆数が減
少して量子化誤差の比率が増大し、これが乗数により拡
大され、目標検出誤りが増大するという欠点も併せ持っ
ている。
像信号のR、G、Bベクトルの絶対値で除算する必要が
あることから、デジタル高速処理ではROM等による作
表で逆数を発生してこれを乗ずる方法が用いられるが、
この方法では、R、G、Bの値が大きくなると逆数が減
少して量子化誤差の比率が増大し、これが乗数により拡
大され、目標検出誤りが増大するという欠点も併せ持っ
ている。
【0011】また、上記特開平4−184283号公報
の方法に依れば、前者の方法に比べ、目標点の識別が容
易になり、検出能力の点では改善されるが、前者と同様
の理由によりデジタル演算の場合、r、g、bを求める
のに直接除算しているため、デジタル高速処理では(R
+G+B)の値が大きく画像が明るい画像領域では、量
子化雑音が増大する。
の方法に依れば、前者の方法に比べ、目標点の識別が容
易になり、検出能力の点では改善されるが、前者と同様
の理由によりデジタル演算の場合、r、g、bを求める
のに直接除算しているため、デジタル高速処理では(R
+G+B)の値が大きく画像が明るい画像領域では、量
子化雑音が増大する。
【0012】従って、この誤差による目標判定に誤りを
生じる欠点については解消されておらず、また、最終段
階で、最大輝度点を目標検出位置としているため、色度
判定で決定した目標エリア内での輝度分布の変化による
検出位置の飛びが生じる欠点があった。
生じる欠点については解消されておらず、また、最終段
階で、最大輝度点を目標検出位置としているため、色度
判定で決定した目標エリア内での輝度分布の変化による
検出位置の飛びが生じる欠点があった。
【0013】一方、上記のような除算演算を用いない
で、Y刺激値に対する色相・彩度に関係する情報を持っ
たR−Y及び、B−Yの2つの刺激値信号を使用して目
標物の位置を判定して追尾信号を出す方法が、特開平8
−51564号公報において提案されている。
で、Y刺激値に対する色相・彩度に関係する情報を持っ
たR−Y及び、B−Yの2つの刺激値信号を使用して目
標物の位置を判定して追尾信号を出す方法が、特開平8
−51564号公報において提案されている。
【0014】しかしながらこの方法は、目標の輝度に影
響されずに目標を判定するために、目標物のR−Y及
び、B−Yの2つの刺激値とY刺激値(輝度)との関係
をモデル化した色予測関数と、この関数モデルを考慮し
た目標を判定するための許容誤差範囲を設定する必要が
あり、モデル設定と許容誤差範囲の設定の良し悪しが検
出または誤認の特性に影響するという欠点を持ってい
る。
響されずに目標を判定するために、目標物のR−Y及
び、B−Yの2つの刺激値とY刺激値(輝度)との関係
をモデル化した色予測関数と、この関数モデルを考慮し
た目標を判定するための許容誤差範囲を設定する必要が
あり、モデル設定と許容誤差範囲の設定の良し悪しが検
出または誤認の特性に影響するという欠点を持ってい
る。
【0015】本発明の目的は、以上の各方法が持つ欠点
を解消することができるカラー目標位置検出手段を提供
することにある。
を解消することができるカラー目標位置検出手段を提供
することにある。
【0016】
【課題を解決するための手段】本発明のカラー目標位置
検出装置は、目標カラー画像を撮影し、赤(R)、緑
(G)、青(B)の3つのカラー信号を出力するカラー
画像センサからの画像信号R,G,Bに対して所定の演
算をすることにより、センサから出力される画素毎に実
時間でカラー信号入力に対応する3刺激値信号X、Y、
Zに変換後、さらに、この3刺激値信号X、Y、Zか
ら、画像の明暗に対応する刺激値の大きさの情報を含ま
ない色度座標点の信号x、yを計算し、この色度座標点
の信号x、yから色度差信号ΔCを求め、この色度差信
号ΔCを用いて目標検出を行うことを特徴としている。
検出装置は、目標カラー画像を撮影し、赤(R)、緑
(G)、青(B)の3つのカラー信号を出力するカラー
画像センサからの画像信号R,G,Bに対して所定の演
算をすることにより、センサから出力される画素毎に実
時間でカラー信号入力に対応する3刺激値信号X、Y、
Zに変換後、さらに、この3刺激値信号X、Y、Zか
ら、画像の明暗に対応する刺激値の大きさの情報を含ま
ない色度座標点の信号x、yを計算し、この色度座標点
の信号x、yから色度差信号ΔCを求め、この色度差信
号ΔCを用いて目標検出を行うことを特徴としている。
【0017】色度座標点は、目標が持つ固有の分光反射
率特性に直接関係するので、目標の明暗に捕らわれるこ
となく的確な判定を行うことができ、誤りの少ない目標
位置検出が可能となる。さらに、x、yの値は「1」以
下の値となるため、以降の処理での回路設計で必要とな
る処理値のスケーリングが容易となる。
率特性に直接関係するので、目標の明暗に捕らわれるこ
となく的確な判定を行うことができ、誤りの少ない目標
位置検出が可能となる。さらに、x、yの値は「1」以
下の値となるため、以降の処理での回路設計で必要とな
る処理値のスケーリングが容易となる。
【0018】また、本発明は、色度信号x、yと刺激値
信号Yとを組み合わせ、この色度座標点の信号x、yと
刺激値信号Yに基づいて目標検出を行うこともできる。
これは刺激値信号Yが色光の明るさに相当するため、目
標検出にY刺激値をそのまま使用して色度値、x、yと
を組み合わせることにより、より的確な検出判定が可能
となる。
信号Yとを組み合わせ、この色度座標点の信号x、yと
刺激値信号Yに基づいて目標検出を行うこともできる。
これは刺激値信号Yが色光の明るさに相当するため、目
標検出にY刺激値をそのまま使用して色度値、x、yと
を組み合わせることにより、より的確な検出判定が可能
となる。
【0019】また、本発明は、色度座標点の信号x、y
を得るための演算に、対数圧縮後、減算する方法を用い
ることができる。これは、カラー信号R、G、Bを刺激
値信号X、Y、Zに変換しているため、R、G、Bの全
てが「0」とならな限り、x、yの分子である刺激値
X、Yが決して「0」となることはないため、画像が撮
像されている領域では安定した対数圧縮が可能であると
いうX、Yへの刺激値変換によって得られる効果により
採用可能となったものであり、従って、x、yを得るた
めに取り扱える刺激値のダイナミックレンジを極めて広
くすることができ、かつ、除算回路を除くことができ
る。
を得るための演算に、対数圧縮後、減算する方法を用い
ることができる。これは、カラー信号R、G、Bを刺激
値信号X、Y、Zに変換しているため、R、G、Bの全
てが「0」とならな限り、x、yの分子である刺激値
X、Yが決して「0」となることはないため、画像が撮
像されている領域では安定した対数圧縮が可能であると
いうX、Yへの刺激値変換によって得られる効果により
採用可能となったものであり、従って、x、yを得るた
めに取り扱える刺激値のダイナミックレンジを極めて広
くすることができ、かつ、除算回路を除くことができ
る。
【0020】更に、本発明は、検出すべき目標の色度値
を基準としてその撮像画像について色度空間上での座標
の基準との位置ズレを、距離情報に相当する1つの信号
値に変換し、この値が最小となる点を検出することによ
り目標点検出を行う。これにより、処理回路の規模の削
減が可能となる。
を基準としてその撮像画像について色度空間上での座標
の基準との位置ズレを、距離情報に相当する1つの信号
値に変換し、この値が最小となる点を検出することによ
り目標点検出を行う。これにより、処理回路の規模の削
減が可能となる。
【0021】以下、図7を参照して、本発明の特徴点に
ついて説明する。本発明では、カラー画像センサ101
からの赤、緑、青の3つの画像信号R,G,Bを刺激値
変換部1により、画素毎に実時間でカラー信号入力に応
じて
ついて説明する。本発明では、カラー画像センサ101
からの赤、緑、青の3つの画像信号R,G,Bを刺激値
変換部1により、画素毎に実時間でカラー信号入力に応
じて
【0022】
【数8】
の演算をすることにより、X、Y、Zの3刺激値信号に
変換する。
変換する。
【0023】カラー画像センサ101からのR、G、B
信号は、図13に示すとおり、撮像画面501を信号出
力順序502に従って1画素づつ画面のフレーム全面に
ついて時系列の信号R(α、β)、G(α、β)、B
(α、β)として出力されるため、X、Y、Zの3刺激
値信号もR、G、Bの信号と同様の時系列の信号X
(α、β)、Y(α、β)、Z(α、β)となる。ここ
で、αは画面上での横方向画素列の画素位置を表し、β
は画面上での縦方向画素列の位置を表しており、画面上
の座標に対応している。
信号は、図13に示すとおり、撮像画面501を信号出
力順序502に従って1画素づつ画面のフレーム全面に
ついて時系列の信号R(α、β)、G(α、β)、B
(α、β)として出力されるため、X、Y、Zの3刺激
値信号もR、G、Bの信号と同様の時系列の信号X
(α、β)、Y(α、β)、Z(α、β)となる。ここ
で、αは画面上での横方向画素列の画素位置を表し、β
は画面上での縦方向画素列の位置を表しており、画面上
の座標に対応している。
【0024】本発明では、X、Y、Zの3刺激値信号の
値から、
値から、
【0025】
【数9】
の計算により画像の明暗に対応する刺激値の大きさの情
報を含まないx、y色度座標点の信号に変換して時系列
の色度信号x(α、β)、y(α、β)を出力する色度
座標演算部2を有する。
報を含まないx、y色度座標点の信号に変換して時系列
の色度信号x(α、β)、y(α、β)を出力する色度
座標演算部2を有する。
【0026】また、得られた色度座標信号x(α、
β)、y(α、β)及び、刺激値Y(α、β)が入力さ
れる指定点データ保持部13を有しており、座標α、β
で表した初期捕捉指定点Gtoと一致した画素のx
(α、β)、y(α、β)と刺激値Y(α、β)を選択
・保持し、これを画像フレーム毎に更新する。
β)、y(α、β)及び、刺激値Y(α、β)が入力さ
れる指定点データ保持部13を有しており、座標α、β
で表した初期捕捉指定点Gtoと一致した画素のx
(α、β)、y(α、β)と刺激値Y(α、β)を選択
・保持し、これを画像フレーム毎に更新する。
【0027】この保持データは、指定点色度信号xt
o、yto及び、指定点刺激値Ytoとなり、指定点デ
ータ保持部13の出力として、それぞれ基準色度更新部
4及び基準輝度更新部10に出力される。
o、yto及び、指定点刺激値Ytoとなり、指定点デ
ータ保持部13の出力として、それぞれ基準色度更新部
4及び基準輝度更新部10に出力される。
【0028】基準色度更新部4では、設定完了タイミン
グ信号Toが入力された時点のみ指定点色度信号xt
o、ytoをそのまま基準色度信号xo、yoの値に更
新して出力する。一方、基準輝度更新部10では、設定
完了タイミング信号Toが入力された時点のみ指定点刺
激値Ytoを基準輝度信号Yoの値に更新して出力す
る。つまり、基準色度信号xo、yo及び、基準輝度信
号Yoは設定完了タイミング信号Toの入力時点で捕捉
する目標点の初期の色度及び輝度の値となっている。
グ信号Toが入力された時点のみ指定点色度信号xt
o、ytoをそのまま基準色度信号xo、yoの値に更
新して出力する。一方、基準輝度更新部10では、設定
完了タイミング信号Toが入力された時点のみ指定点刺
激値Ytoを基準輝度信号Yoの値に更新して出力す
る。つまり、基準色度信号xo、yo及び、基準輝度信
号Yoは設定完了タイミング信号Toの入力時点で捕捉
する目標点の初期の色度及び輝度の値となっている。
【0029】設定完了タイミング信号To受領以降、基
準色度更新部4では、得られた追尾している目標点の色
度に相当する極小点データ保持部6の出力である最小極
小点色度値xpm、ypmを各フレームごとに入力し
て、次フレームの基準色度を予測またはフィルタリング
処理をし、新たな基準色度信号xo、yoを出力する。
準色度更新部4では、得られた追尾している目標点の色
度に相当する極小点データ保持部6の出力である最小極
小点色度値xpm、ypmを各フレームごとに入力し
て、次フレームの基準色度を予測またはフィルタリング
処理をし、新たな基準色度信号xo、yoを出力する。
【0030】また、基準輝度更新部10では、同様に、
追尾している目標点の色度に相当する最小極小点色度値
xpm、ypmがえられた極小点データ保持部6の最小
極小点輝度値Ypmを入力して、予測またはフィルタリ
ング処理をし、新たな基準輝度信号Yoとしている。
追尾している目標点の色度に相当する最小極小点色度値
xpm、ypmがえられた極小点データ保持部6の最小
極小点輝度値Ypmを入力して、予測またはフィルタリ
ング処理をし、新たな基準輝度信号Yoとしている。
【0031】従って、基準色度信号xo、yo及び、基
準輝度信号Yoの値を基準値として、目標の持つ色度座
標差距離の範囲及び、刺激値Yの分布限度を設定し、両
方が限度内である領域を2値化することができる色度差
信号2値化部7と輝度信号2値化部8を有しているた
め、目標の存在領域を2値化画像として出力することが
できる。
準輝度信号Yoの値を基準値として、目標の持つ色度座
標差距離の範囲及び、刺激値Yの分布限度を設定し、両
方が限度内である領域を2値化することができる色度差
信号2値化部7と輝度信号2値化部8を有しているた
め、目標の存在領域を2値化画像として出力することが
できる。
【0032】本発明では、上記基準色度信号xo、yo
と色度座標演算部2からの色度信号x(α、β)、y
(α、β)との距離を算出して、その結果を色度差信号
ΔC(α,β)(ΔCマップ)として出力する色度差算
出部3を有し、この色度差信号ΔC(α,β)を判定し
て、この信号が極小になる点を検出する極小点検出部5
を有している。
と色度座標演算部2からの色度信号x(α、β)、y
(α、β)との距離を算出して、その結果を色度差信号
ΔC(α,β)(ΔCマップ)として出力する色度差算
出部3を有し、この色度差信号ΔC(α,β)を判定し
て、この信号が極小になる点を検出する極小点検出部5
を有している。
【0033】また、本発明では極小点データ保持部6を
有し、刺激値Y(α、β)、色度信号x(α、β)、y
(α、β)、及び、色度差信号ΔC(α,β)が入力さ
れ、極小点検出部5からは、色度差信号ΔC(α,β)
の極小点が検出される毎に極小点検出タイミング信号p
mを入力するが、この極小点データ保持部6ではpmが
発生する毎に極小点の色度差信号ΔC(α,β)として
取り込み、この値が過去に得た値と現在の値と比較して
小さな方の極小点の色度差信号ΔC(α,β)を保持す
る。
有し、刺激値Y(α、β)、色度信号x(α、β)、y
(α、β)、及び、色度差信号ΔC(α,β)が入力さ
れ、極小点検出部5からは、色度差信号ΔC(α,β)
の極小点が検出される毎に極小点検出タイミング信号p
mを入力するが、この極小点データ保持部6ではpmが
発生する毎に極小点の色度差信号ΔC(α,β)として
取り込み、この値が過去に得た値と現在の値と比較して
小さな方の極小点の色度差信号ΔC(α,β)を保持す
る。
【0034】この時、保持した色度差信号ΔC(α,
β)と対応して入力されている刺激値Y(α、β)、色
度信号x(α、β)、y(α、β)、についても同時に
保持する。これにより、1フレームのカラー信号入力完
了時点で色度差信号ΔC(α,β)の最小の極小点値に
対応するY(α、β)、x(α、β)、y(α、β)、
とΔC(α,β)を得ることができ、これらをそれぞれ
最小極小点輝度値Ypm、最小極小点色度値xpm、y
pm及び、最小極小点色度差ΔCpmとして出力する。
β)と対応して入力されている刺激値Y(α、β)、色
度信号x(α、β)、y(α、β)、についても同時に
保持する。これにより、1フレームのカラー信号入力完
了時点で色度差信号ΔC(α,β)の最小の極小点値に
対応するY(α、β)、x(α、β)、y(α、β)、
とΔC(α,β)を得ることができ、これらをそれぞれ
最小極小点輝度値Ypm、最小極小点色度値xpm、y
pm及び、最小極小点色度差ΔCpmとして出力する。
【0035】本発明では、色度差信号2値化部7と輝度
信号2値化部8に色度差信号ΔC(α,β)と刺激値Y
(α、β)を1フレーム分の画像マップとして一時記憶
する図4に示すΔCマップフレームメモリ71と図5に
示す輝度マップメモリ81とを有しており、従って、こ
こから記憶したマップ情報を読み出すことにより、最小
極小点色度差ΔCpmを得た同じ色度差信号ΔC(α,
β)及び、刺激値Y(α、β)の画像マップをΔCpm
とYpmを基準値として目標の持つ色度座標差距離の範
囲及び、刺激値Yの分布限度を設定し、両方が限度内で
ある領域を2値化するとしたしきい値により二つの2値
化画像出力BΔC(α、β)とBY(α、β)を得るこ
とがきる。
信号2値化部8に色度差信号ΔC(α,β)と刺激値Y
(α、β)を1フレーム分の画像マップとして一時記憶
する図4に示すΔCマップフレームメモリ71と図5に
示す輝度マップメモリ81とを有しており、従って、こ
こから記憶したマップ情報を読み出すことにより、最小
極小点色度差ΔCpmを得た同じ色度差信号ΔC(α,
β)及び、刺激値Y(α、β)の画像マップをΔCpm
とYpmを基準値として目標の持つ色度座標差距離の範
囲及び、刺激値Yの分布限度を設定し、両方が限度内で
ある領域を2値化するとしたしきい値により二つの2値
化画像出力BΔC(α、β)とBY(α、β)を得るこ
とがきる。
【0036】この二つの2値化画像の論理積B(α、
β)により最終的な面重心を算出する2値化画像重心点
算出部11を有しているため、2値化された目標の存在
領域の面積重心点を目標検出位置信号Gとして出力でき
る。
β)により最終的な面重心を算出する2値化画像重心点
算出部11を有しているため、2値化された目標の存在
領域の面積重心点を目標検出位置信号Gとして出力でき
る。
【0037】以上説明したように、本発明では目標が持
つ固有の分光反射率特性に直接関係する色度座標点を特
徴量として目標検出の評価対象としているため、目標に
対する照射光の分光条件の変化が少ないとすれば目標の
明暗に捕らわれない的確な特徴量を判定していることに
なり、従って、一段と誤りの少ない目標位置検出が可能
であるという特徴を有する。
つ固有の分光反射率特性に直接関係する色度座標点を特
徴量として目標検出の評価対象としているため、目標に
対する照射光の分光条件の変化が少ないとすれば目標の
明暗に捕らわれない的確な特徴量を判定していることに
なり、従って、一段と誤りの少ない目標位置検出が可能
であるという特徴を有する。
【0038】また、色度座標を得る色度座標演算部2で
は、入力信号である刺激値X(α、β)、Y(α、
β)、Z(α、β)を以下の計算により対数圧縮した状
態で色度座標を得る方法を採用している。
は、入力信号である刺激値X(α、β)、Y(α、
β)、Z(α、β)を以下の計算により対数圧縮した状
態で色度座標を得る方法を採用している。
【0039】
【数10】
なおこれは、R、G、B全てについて「0」とならなけ
れば、刺激値X、Yが決して「0」となることはないた
め、画像が撮像されている領域では安定した対数圧縮が
可能となったために採用可能となったものである。
れば、刺激値X、Yが決して「0」となることはないた
め、画像が撮像されている領域では安定した対数圧縮が
可能となったために採用可能となったものである。
【0040】従って、対数圧縮により、極めて広範囲の
画像信号R,G,Bの大きさに対してデジタル演算を使
用する場合、刺激値のデータ範囲を考慮してデータのビ
ット数を多大に増加させることなく色度演算での誤差の
増大を防ぐことが可能であるという優れた特徴を併せも
っている。
画像信号R,G,Bの大きさに対してデジタル演算を使
用する場合、刺激値のデータ範囲を考慮してデータのビ
ット数を多大に増加させることなく色度演算での誤差の
増大を防ぐことが可能であるという優れた特徴を併せも
っている。
【0041】更に、色度差を求める方法については、図
8に示すように基準色度更新部4で得られた基準色度信
号xo、yoを色度座標において目標指定点色度座標2
03とし、色度座標演算部2からの時系列に出力される
各画素の色度信号x(α、β)、y(α、β)を入力画
像色度座標202として、この2点間の座標の直距離r
を色度差とすることが考えられるが、本発明の色度差算
出部3では、
8に示すように基準色度更新部4で得られた基準色度信
号xo、yoを色度座標において目標指定点色度座標2
03とし、色度座標演算部2からの時系列に出力される
各画素の色度信号x(α、β)、y(α、β)を入力画
像色度座標202として、この2点間の座標の直距離r
を色度差とすることが考えられるが、本発明の色度差算
出部3では、
【0042】
【数11】
の計算を採用し色度差ΔCとしている。なお、ABSは
絶対値を表している。
絶対値を表している。
【0043】この方法による場合は、目標の色度座標点
と基準の色度座標点との直距離rに対し、常に
と基準の色度座標点との直距離rに対し、常に
【0044】
【数12】
の関係を持っており、目標の色度座標点と基準の色度座
標点との直距離が「0」でない場合は座標点間の上式の
距離rより殆どの場合大きくなるため、比較的鋭敏な目
標識別能力を持つという特徴があるのに加え、単純な加
減算回路で実現できる特徴も有している。
標点との直距離が「0」でない場合は座標点間の上式の
距離rより殆どの場合大きくなるため、比較的鋭敏な目
標識別能力を持つという特徴があるのに加え、単純な加
減算回路で実現できる特徴も有している。
【0045】また、本発明では表示を目的としないこと
から、色再現性を考慮して負の分光特性を持った理想特
性に近づけるマスキング処理等をせず、撮像デバイスの
出力をそのままRGB信号出力として使用することを前
提としている。この場合、カラー画像センサの撮像デバ
イスの出力は負の感度領域は無いことから、図9に示す
ように カラー画像センサのRGB信号による色度の値
域201から外に位置する座標の色度値となることはな
い。
から、色再現性を考慮して負の分光特性を持った理想特
性に近づけるマスキング処理等をせず、撮像デバイスの
出力をそのままRGB信号出力として使用することを前
提としている。この場合、カラー画像センサの撮像デバ
イスの出力は負の感度領域は無いことから、図9に示す
ように カラー画像センサのRGB信号による色度の値
域201から外に位置する座標の色度値となることはな
い。
【0046】このカラー画像センサのRGB信号による
色度の値域201は、x+y=1となる直線301と、
xとyの座標軸及び、O点を基準としたΔC≦1.0を
満たす限界線302に囲まれた範囲にあり、従って、Δ
Cの大きもまた必ず「0」から「1」の範囲にあること
になり、rと同様にΔCを処理する回路のデータのスケ
ーリングが容易であるという有利な点がある。
色度の値域201は、x+y=1となる直線301と、
xとyの座標軸及び、O点を基準としたΔC≦1.0を
満たす限界線302に囲まれた範囲にあり、従って、Δ
Cの大きもまた必ず「0」から「1」の範囲にあること
になり、rと同様にΔCを処理する回路のデータのスケ
ーリングが容易であるという有利な点がある。
【0047】
【発明の実施の形態】図1は、本発明のカラー画像目標
位置検出装置の実施の形態を示すブロック図である。ま
た、図2〜図5は、それぞれ図1の、色度座標演算部
2、色度差算出部3、色度差信号2値化部7、輝度信号
2値化部8の一実施例を示している。また、図6は、図
1のカラー画像目標位置検出装置を使用接続例をブロッ
ク図で示したものである。
位置検出装置の実施の形態を示すブロック図である。ま
た、図2〜図5は、それぞれ図1の、色度座標演算部
2、色度差算出部3、色度差信号2値化部7、輝度信号
2値化部8の一実施例を示している。また、図6は、図
1のカラー画像目標位置検出装置を使用接続例をブロッ
ク図で示したものである。
【0048】まず、本発明のカラー画像目標位置検出装
置を用いた目標追尾動作の概略について、図6を参照し
て説明する。
置を用いた目標追尾動作の概略について、図6を参照し
て説明する。
【0049】本発明のカラー画像目標位置検出装置10
0は、撮像対象106を撮影して赤、緑、青の3つの画
像信号R,G,Bを出力するカラー画像センサ101、
画像信号R,G,Bにより撮像画像を表示する画像表示
装置103、表示画面から操作者が追尾する目標を初期
段階で指定する初期捕捉指定入力装置102、カラー目
標位置検出装置100からの目標検出位置信号Gにより
目標を追尾するための目標追尾駆動信号DTを出力する
追尾信号出力装置105及び、目標追尾駆動信号DTに
よりその視軸を変更するジンバル装置104と結合され
使用される。
0は、撮像対象106を撮影して赤、緑、青の3つの画
像信号R,G,Bを出力するカラー画像センサ101、
画像信号R,G,Bにより撮像画像を表示する画像表示
装置103、表示画面から操作者が追尾する目標を初期
段階で指定する初期捕捉指定入力装置102、カラー目
標位置検出装置100からの目標検出位置信号Gにより
目標を追尾するための目標追尾駆動信号DTを出力する
追尾信号出力装置105及び、目標追尾駆動信号DTに
よりその視軸を変更するジンバル装置104と結合され
使用される。
【0050】追尾動作は、先ず、ジンバル装置104を
直接の操作により動かしてカラー画像センサ101の視
軸をおおよその目標方向に合わせて、画像表示装置10
3の表示画面107に追尾目標108が撮像されるよう
にする。
直接の操作により動かしてカラー画像センサ101の視
軸をおおよその目標方向に合わせて、画像表示装置10
3の表示画面107に追尾目標108が撮像されるよう
にする。
【0051】操作者は追尾したい目標を表示画面107
の上で目視確認し、初期捕捉指定入力装置102で追尾
目標点の設定と、排除したい類似目標への捕捉を禁止す
るウィンドウの設定を行う。画像表示装置103の表示
画面107には、初期捕捉指定入力装置102で設定し
た追尾目標点とウィンドウをそれぞれ初期捕捉指定点マ
ーカ107bと初期捕捉ウィンドウマーカ107aとし
て撮像された画像と重畳して表示されるため、これを監
視しながら、追尾目標点とウィンドウを設定することが
できる。
の上で目視確認し、初期捕捉指定入力装置102で追尾
目標点の設定と、排除したい類似目標への捕捉を禁止す
るウィンドウの設定を行う。画像表示装置103の表示
画面107には、初期捕捉指定入力装置102で設定し
た追尾目標点とウィンドウをそれぞれ初期捕捉指定点マ
ーカ107bと初期捕捉ウィンドウマーカ107aとし
て撮像された画像と重畳して表示されるため、これを監
視しながら、追尾目標点とウィンドウを設定することが
できる。
【0052】この設定値は、初期捕捉指定入力装置10
2で画面上の座標α、βで表した初期捕捉指定点Gto
と初期捕捉ウィンドウWGtoを発生し、逐次本発明の
カラー画像目標位置検出装置100に出力される。
2で画面上の座標α、βで表した初期捕捉指定点Gto
と初期捕捉ウィンドウWGtoを発生し、逐次本発明の
カラー画像目標位置検出装置100に出力される。
【0053】操作者は設定が完了した時点でスイッチ操
作等を行うが、これにより初期捕捉指定入力装置102
で設定完了タイミング信号Toが作られ、本発明のカラ
ー画像目標位置検出装置100に出力される。
作等を行うが、これにより初期捕捉指定入力装置102
で設定完了タイミング信号Toが作られ、本発明のカラ
ー画像目標位置検出装置100に出力される。
【0054】カラー画像目標位置検出装置100は、初
期捕捉指定入力装置102からの初期捕捉指定点Gto
と初期捕捉ウィンドウWGtoを設定完了タイミング信
号To入力時点で取り込み、この点を初期の追尾目標点
とする。以降、カラー画像目標位置検出装置100は、
カラー画像から得られる前記追尾目標点の特徴量をもと
に、目標位置を検出して目標検出位置信号Gを逐次出力
する。
期捕捉指定入力装置102からの初期捕捉指定点Gto
と初期捕捉ウィンドウWGtoを設定完了タイミング信
号To入力時点で取り込み、この点を初期の追尾目標点
とする。以降、カラー画像目標位置検出装置100は、
カラー画像から得られる前記追尾目標点の特徴量をもと
に、目標位置を検出して目標検出位置信号Gを逐次出力
する。
【0055】追尾信号出力装置105は、目標検出位置
信号Gが画面の中心の座標点となるようにジンバル装置
104を制御する目標追尾駆動信号DTを出力する。こ
のことにより、設定完了タイミング信号To発生時点以
降は、カラー画像センサ101の視軸は捕捉指定を行っ
た目標の動きに追尾する動作を継続する。
信号Gが画面の中心の座標点となるようにジンバル装置
104を制御する目標追尾駆動信号DTを出力する。こ
のことにより、設定完了タイミング信号To発生時点以
降は、カラー画像センサ101の視軸は捕捉指定を行っ
た目標の動きに追尾する動作を継続する。
【0056】次に、本発明のカラー画像目標位置検出装
置100の構成について、図1〜図5を参照して説明す
る。
置100の構成について、図1〜図5を参照して説明す
る。
【0057】本発明のカラー画像目標位置検出装置は、
カラー画像センサ101からの入力であるカラー画像信
号(赤)R、カラー画像信号(緑)G、カラー画像信号
(青)B、図6に示した初期捕捉指定入力装置102か
らの入力である初期捕捉指定点Gtoと初期捕捉ウィン
ドウWGto及び、設定完了タイミング信号Toの6つ
の信号を入力して目標検出位置Gを出力する。
カラー画像センサ101からの入力であるカラー画像信
号(赤)R、カラー画像信号(緑)G、カラー画像信号
(青)B、図6に示した初期捕捉指定入力装置102か
らの入力である初期捕捉指定点Gtoと初期捕捉ウィン
ドウWGto及び、設定完了タイミング信号Toの6つ
の信号を入力して目標検出位置Gを出力する。
【0058】カラー画像信号(赤)R、(緑)G、
(青)Bの3つは、刺激値変換部1の3つの入力端に接
続され、刺激値変換部1のX、Y、Z刺激値の3つの出
力端は、色度座標演算部2に接続されている。また、色
度座標演算部2の色度座標x、yの出力は、色度差算出
部3に接続されて、その出力である色度差信号ΔCは極
小点検出部5に入力される。
(青)Bの3つは、刺激値変換部1の3つの入力端に接
続され、刺激値変換部1のX、Y、Z刺激値の3つの出
力端は、色度座標演算部2に接続されている。また、色
度座標演算部2の色度座標x、yの出力は、色度差算出
部3に接続されて、その出力である色度差信号ΔCは極
小点検出部5に入力される。
【0059】極小点データ保持部6の入力端には、極小
点検出部5からの極小点検出タイミング信号pm、色度
差算出部3からの色度差信号ΔC、色度座標演算部2か
らの色度信号x、y、及び、刺激値変換部1からの輝度
信号Y(Y刺激値)が入力される。
点検出部5からの極小点検出タイミング信号pm、色度
差算出部3からの色度差信号ΔC、色度座標演算部2か
らの色度信号x、y、及び、刺激値変換部1からの輝度
信号Y(Y刺激値)が入力される。
【0060】極小点検出部5では、色度差信号ΔCを極
小点の検出エリアを限定するための評価エリア発生部1
2からの入力である検出エリア信号WGを図11及び1
2に示すごとく、pmの発生範囲指定エリア404の範
囲について、時系列で入力される色度差信号ΔCを逐次
判定して、色度差信号ΔCの信号が極小値条件を満足す
る点ΔCi,jを検出し、pm発生点403を走査した
時に、極小点検出タイミング信号pmを出力する。
小点の検出エリアを限定するための評価エリア発生部1
2からの入力である検出エリア信号WGを図11及び1
2に示すごとく、pmの発生範囲指定エリア404の範
囲について、時系列で入力される色度差信号ΔCを逐次
判定して、色度差信号ΔCの信号が極小値条件を満足す
る点ΔCi,jを検出し、pm発生点403を走査した
時に、極小点検出タイミング信号pmを出力する。
【0061】極小点データ保持部6では、pmが発生す
る毎に極小点の色度差信号ΔCを取り込み、この値が過
去に取り込んだ値と現在の値と比較して小さな方の極小
点の色度差信号ΔCを保持する。この時、保持した色度
差信号ΔCと対応して入力されている輝度信号Y、色度
信号x、yについも同時に保持する。
る毎に極小点の色度差信号ΔCを取り込み、この値が過
去に取り込んだ値と現在の値と比較して小さな方の極小
点の色度差信号ΔCを保持する。この時、保持した色度
差信号ΔCと対応して入力されている輝度信号Y、色度
信号x、yについも同時に保持する。
【0062】これにより、1フレームのカラー信号入力
完了時点で、色度差信号ΔCの最小の極小点値に対応す
るY、x、y、及びΔCを得ることができ、極小点デー
タ保持部6の出力端から、これらをそれぞれ最小極小点
輝度値Ypm、最小極小点色度値xpm、ypm及び最
小極小点色度差ΔCpmとして出力する。
完了時点で、色度差信号ΔCの最小の極小点値に対応す
るY、x、y、及びΔCを得ることができ、極小点デー
タ保持部6の出力端から、これらをそれぞれ最小極小点
輝度値Ypm、最小極小点色度値xpm、ypm及び最
小極小点色度差ΔCpmとして出力する。
【0063】また、色度座標演算部2から得られた色度
信号x、y及び、刺激値変換部1から得られた輝度信号
Yは、指定点データ保持部13に入力され、本カラー画
像目標位置検出装置100の入力である初期捕捉指定点
Gtoと一致した画面座標点の画素の色度x、yと刺激
値Yを保持し、これを画像フレーム毎に更新する。
信号x、y及び、刺激値変換部1から得られた輝度信号
Yは、指定点データ保持部13に入力され、本カラー画
像目標位置検出装置100の入力である初期捕捉指定点
Gtoと一致した画面座標点の画素の色度x、yと刺激
値Yを保持し、これを画像フレーム毎に更新する。
【0064】この色度x、yと輝度信号Yは、指定点色
度信号xto、yto及び、指定点刺激値Ytoとし
て、指定点データ保持部13からそれぞれ基準色度更新
部4及び基準輝度更新部10に出力される。
度信号xto、yto及び、指定点刺激値Ytoとし
て、指定点データ保持部13からそれぞれ基準色度更新
部4及び基準輝度更新部10に出力される。
【0065】基準色度更新部4の入力端には、指定点デ
ータ保持部13からの指定点色度信号xto、yto及
び、極小点データ保持部6からの最小極小点色度値xp
m、ypmが入力される。
ータ保持部13からの指定点色度信号xto、yto及
び、極小点データ保持部6からの最小極小点色度値xp
m、ypmが入力される。
【0066】基準色度更新部4では、設定完了タイミン
グ信号Toが入力された時点のみ指定点色度信号xt
o、ytoでそのまま基準色度信号xo、yoの値に更
新し、その他の場合は最小極小点色度値xpm、ypm
を用いて、次画像フレームの基準色度を予測またはフィ
ルタリング処理をし、新たな基準色度xo、yoに更新
して出力する。この基準色度更新部4の出力は色度差算
出部3の入力端に接続されている。
グ信号Toが入力された時点のみ指定点色度信号xt
o、ytoでそのまま基準色度信号xo、yoの値に更
新し、その他の場合は最小極小点色度値xpm、ypm
を用いて、次画像フレームの基準色度を予測またはフィ
ルタリング処理をし、新たな基準色度xo、yoに更新
して出力する。この基準色度更新部4の出力は色度差算
出部3の入力端に接続されている。
【0067】一方、基準輝度更新部10の入力端には、
指定点データ保持部13からの指定点刺激値Yto及
び、極小点データ保持部6からの最小極小点輝度値Yp
mが入力される。基準輝度更新部10では、設定完了タ
イミング信号Toが入力された時点のみ指定点刺激値Y
toでそのまま基準輝度信号Yoの値に更新して出力
し、その他の場合は最小極小点輝度値Ypmを用いて、
次画像フレームの基準色度を予測またはフィルタリング
処理をし、新たな基準輝度信号Yoに更新して出力す
る。
指定点データ保持部13からの指定点刺激値Yto及
び、極小点データ保持部6からの最小極小点輝度値Yp
mが入力される。基準輝度更新部10では、設定完了タ
イミング信号Toが入力された時点のみ指定点刺激値Y
toでそのまま基準輝度信号Yoの値に更新して出力
し、その他の場合は最小極小点輝度値Ypmを用いて、
次画像フレームの基準色度を予測またはフィルタリング
処理をし、新たな基準輝度信号Yoに更新して出力す
る。
【0068】この基準輝度更新部10の出力Yoは、輝
度信号2値化部8の2つの入力端の一方に接続されてい
る。輝度信号2値化部8の入力端の他方には刺激値変換
部1からの2値化対象となる輝度信号Yが入力されお
り、輝度信号2値化部8の出力端からは輝度画像2値化
信号BYが出力され、AND回路9の3つの入力端の内
の一つに接続されている。
度信号2値化部8の2つの入力端の一方に接続されてい
る。輝度信号2値化部8の入力端の他方には刺激値変換
部1からの2値化対象となる輝度信号Yが入力されお
り、輝度信号2値化部8の出力端からは輝度画像2値化
信号BYが出力され、AND回路9の3つの入力端の内
の一つに接続されている。
【0069】色度差信号2値化部7の2つの入力端の一
方には、極小点データ保持部6からの最小極小点色度差
ΔCpmが入力され、他方の入力端には色度差算出部3
からの2値化対象となる色度差信号ΔC入力される。こ
の色度差信号2値化部7の出力端にはΔCマップ2値化
信号BΔCが出力され、AND回路9の3つの入力端の
内のもう一つに接続されている。AND回路9の3つ目
の入力端には、評価エリア発生部12の出力である2値
化出力画像エリアを限定する2値化ウィンドウエリア信
号wが接続されている。
方には、極小点データ保持部6からの最小極小点色度差
ΔCpmが入力され、他方の入力端には色度差算出部3
からの2値化対象となる色度差信号ΔC入力される。こ
の色度差信号2値化部7の出力端にはΔCマップ2値化
信号BΔCが出力され、AND回路9の3つの入力端の
内のもう一つに接続されている。AND回路9の3つ目
の入力端には、評価エリア発生部12の出力である2値
化出力画像エリアを限定する2値化ウィンドウエリア信
号wが接続されている。
【0070】AND回路9では、図10に示すように輝
度画像2値化信号BY、ΔCマップ2値化信号BΔC及
び、2値化ウィンドウエリア信号wの論理積で得られる
2値化画像信号Bを出力し、2値化画像重心点算出部1
1に入力している。
度画像2値化信号BY、ΔCマップ2値化信号BΔC及
び、2値化ウィンドウエリア信号wの論理積で得られる
2値化画像信号Bを出力し、2値化画像重心点算出部1
1に入力している。
【0071】2値化画像重心点算出部11では、図10
で示すように、2値化されB=1となったエリアの面積
重心(αG、βG)を求め目標検出位置Gとすると同時
にB=1となった画素数を値とする2値化面積Sを求
め、2値化画像重心点算出部11から出力する。なお、
本カラー画像目標位置検出装置からは目標検出位置Gが
出力される。
で示すように、2値化されB=1となったエリアの面積
重心(αG、βG)を求め目標検出位置Gとすると同時
にB=1となった画素数を値とする2値化面積Sを求
め、2値化画像重心点算出部11から出力する。なお、
本カラー画像目標位置検出装置からは目標検出位置Gが
出力される。
【0072】極小点の検出エリアを限定するための検出
エリア信号WGと、このエリアに一致した2値化出力画
像エリアを限定するための2値化ウィンドウエリア信号
wを発生する評価エリア発生部12の入力端には、2値
化画像重心点算出部11からの目標検出位置G及び2値
化面積Sと、本カラー画像目標位置検出装置の入力であ
る初期捕捉ウィンドウWGto及び設定完了タイミング
信号Toが入力される。
エリア信号WGと、このエリアに一致した2値化出力画
像エリアを限定するための2値化ウィンドウエリア信号
wを発生する評価エリア発生部12の入力端には、2値
化画像重心点算出部11からの目標検出位置G及び2値
化面積Sと、本カラー画像目標位置検出装置の入力であ
る初期捕捉ウィンドウWGto及び設定完了タイミング
信号Toが入力される。
【0073】評価エリア発生部12では、設定完了タイ
ミング信号Toを受領した時点では、図6の初期捕捉ウ
ィンドウマーカ107aに対応する初期捕捉ウィンドウ
WGtoを検出エリア信号WGの初期値とし、また、こ
れに対応する2値化ウィンドウエリア信号wを発生して
初期捕捉を確実なものとする。
ミング信号Toを受領した時点では、図6の初期捕捉ウ
ィンドウマーカ107aに対応する初期捕捉ウィンドウ
WGtoを検出エリア信号WGの初期値とし、また、こ
れに対応する2値化ウィンドウエリア信号wを発生して
初期捕捉を確実なものとする。
【0074】設定完了タイミング信号To受領時点以降
では、評価エリア発生部12は、2値化画像重心点算出
部11からの入力である目標検出位置Gと、B=1とな
った画素数を値とする2値化面積Sから、目標検出位置
Gを中心位置とし、且、初期捕捉ウィンドウWGtoの
縦横の比率を一定としつつ、WGtoのエリア面積に対
する2値化面積Sの比率が一定となるように検出エリア
信号WGと2値化ウィンドウエリア信号w発生領域を更
新する。
では、評価エリア発生部12は、2値化画像重心点算出
部11からの入力である目標検出位置Gと、B=1とな
った画素数を値とする2値化面積Sから、目標検出位置
Gを中心位置とし、且、初期捕捉ウィンドウWGtoの
縦横の比率を一定としつつ、WGtoのエリア面積に対
する2値化面積Sの比率が一定となるように検出エリア
信号WGと2値化ウィンドウエリア信号w発生領域を更
新する。
【0075】従って、極小点検出部5では、追尾目標付
近エリアのみ色度差信号ΔCの最小の極小点値検出を行
うことが可能となり、また、2値化画像信号Bを2値化
画像重心点算出部11へ入力することを可能としてい
る。
近エリアのみ色度差信号ΔCの最小の極小点値検出を行
うことが可能となり、また、2値化画像信号Bを2値化
画像重心点算出部11へ入力することを可能としてい
る。
【0076】本装置の構成中、色度座標演算部2は図2
に示すごとく、1つの3入力加算回路21、3つの対数
圧縮回路22、23、24、2つの2入力減算回路2
5、26及び、2つの指数関数発生回路27、28から
構成されている。
に示すごとく、1つの3入力加算回路21、3つの対数
圧縮回路22、23、24、2つの2入力減算回路2
5、26及び、2つの指数関数発生回路27、28から
構成されている。
【0077】3入力加算回路21には、X、Y、Z刺激
値の信号ラインが接続されその出力端が対数圧縮回路2
2に接続されている。対数圧縮回路23にはX刺激値の
信号ラインが接続され、対数圧縮回路24にはY刺激値
の信号ラインが接続されている。
値の信号ラインが接続されその出力端が対数圧縮回路2
2に接続されている。対数圧縮回路23にはX刺激値の
信号ラインが接続され、対数圧縮回路24にはY刺激値
の信号ラインが接続されている。
【0078】対数圧縮回路22の出力端は、2入力減算
回路25、26の減算値入力端に接続され、対数圧縮回
路23の出力端と対数圧縮回路24の出力端はそれぞ
れ、指数関数発生回路27と指数関数発生回路28の被
減算値入力端に接続されている。指数関数発生回路27
の出力端には色度座標x、指数関数発生回路28の出力
端には色度座標yの信号が出力される。
回路25、26の減算値入力端に接続され、対数圧縮回
路23の出力端と対数圧縮回路24の出力端はそれぞ
れ、指数関数発生回路27と指数関数発生回路28の被
減算値入力端に接続されている。指数関数発生回路27
の出力端には色度座標x、指数関数発生回路28の出力
端には色度座標yの信号が出力される。
【0079】本装置の構成中、色度差算出部3は図3に
示すごとく、2つの2入力減算回路31、32、2つの
絶対値化回路33、34及び2入力加算回路35から構
成されている。2入力減算回路31の入力端には色度座
標xと基準色度座標xoの信号ラインが接続され、2入
力減算回路32の入力端には色度座標yと基準色度座標
yoの信号ラインが接続されている。
示すごとく、2つの2入力減算回路31、32、2つの
絶対値化回路33、34及び2入力加算回路35から構
成されている。2入力減算回路31の入力端には色度座
標xと基準色度座標xoの信号ラインが接続され、2入
力減算回路32の入力端には色度座標yと基準色度座標
yoの信号ラインが接続されている。
【0080】2入力減算回路31、32の出力端はそれ
ぞれ絶対値化回路33、34に接続され、それらの出力
端は2入力加算回路35の入力端に接続されている。2
入力加算回路35の出力端からは色度差信号ΔCが出力
される。
ぞれ絶対値化回路33、34に接続され、それらの出力
端は2入力加算回路35の入力端に接続されている。2
入力加算回路35の出力端からは色度差信号ΔCが出力
される。
【0081】本装置の構成中、色度差信号2値化部7は
図4に示すごとく、ΔCマップフレームメモリ71、Δ
Cmax算出処理回路72及び、2値化回路73から構
成されている。ΔCマップフレームメモリ71の入力端
には図1に示す色度差算出部3からの色度差信号ΔCの
信号ラインが接続され、その出力端は2値化回路73の
入力端に接続されている。
図4に示すごとく、ΔCマップフレームメモリ71、Δ
Cmax算出処理回路72及び、2値化回路73から構
成されている。ΔCマップフレームメモリ71の入力端
には図1に示す色度差算出部3からの色度差信号ΔCの
信号ラインが接続され、その出力端は2値化回路73の
入力端に接続されている。
【0082】ΔCmax算出処理回路72の入力端に
は、図1に示す極小点データ保持部6からの最小極小点
色度差ΔCpmの信号出力が接続され、その出力端は2
値化回路73の2値化しきい値設定入力端に接続されて
いる。この、最小極小点色度差ΔCpmは目標指定点の
色度に最も近い色度となっており、撮像時点の最新の目
標の色度として取り扱うことができる。
は、図1に示す極小点データ保持部6からの最小極小点
色度差ΔCpmの信号出力が接続され、その出力端は2
値化回路73の2値化しきい値設定入力端に接続されて
いる。この、最小極小点色度差ΔCpmは目標指定点の
色度に最も近い色度となっており、撮像時点の最新の目
標の色度として取り扱うことができる。
【0083】従って、この値から目標のモデルによる目
標判定限界値分だけ大きい値を設定しこれをしきい値と
して、これ以下のΔCを2値化することにより、目標の
特徴存在エリアを2値化できることになる。
標判定限界値分だけ大きい値を設定しこれをしきい値と
して、これ以下のΔCを2値化することにより、目標の
特徴存在エリアを2値化できることになる。
【0084】ΔCmax算出処理回路72では、色度差
信号ΔCを2値化するために、極小点データ保持部6に
保持されている最小極小点色度差ΔCpmの値に目標判
定限界値分を加算して得られる2値化しきい値ΔCma
xを出力する。2値化回路73の出力端からは、ΔCマ
ップフレームメモリ71から読み出した色度差信号ΔC
について2値化しきい値ΔCmaxより小さなΔCマッ
プ2値化信号BΔCを「1」とし、2値化画像として出
力する。
信号ΔCを2値化するために、極小点データ保持部6に
保持されている最小極小点色度差ΔCpmの値に目標判
定限界値分を加算して得られる2値化しきい値ΔCma
xを出力する。2値化回路73の出力端からは、ΔCマ
ップフレームメモリ71から読み出した色度差信号ΔC
について2値化しきい値ΔCmaxより小さなΔCマッ
プ2値化信号BΔCを「1」とし、2値化画像として出
力する。
【0085】本装置の構成中、輝度信号2値化部8は図
5に示すごとく、輝度マップフレームメモリ81、Ym
ax、Ymin算出処理回路82及び、2値化回路83
から構成されている。輝度マップフレームメモリ81の
入力端には図1に示す刺激値変換部1からの輝度信号Y
の信号ラインが接続され、その出力端には2値化回路8
3の入力端に接続されている。
5に示すごとく、輝度マップフレームメモリ81、Ym
ax、Ymin算出処理回路82及び、2値化回路83
から構成されている。輝度マップフレームメモリ81の
入力端には図1に示す刺激値変換部1からの輝度信号Y
の信号ラインが接続され、その出力端には2値化回路8
3の入力端に接続されている。
【0086】Ymax、Ymin算出処理回路82の入
力端には、図1に示す基準輝度更新部10からの基準輝
度Yoのラインが接続され、その出力端は2値化回路8
3の2値化しきい値設定入力端に接続されている。2値
化回路73の出力端からは輝度2値化信号BYが出力さ
れる。
力端には、図1に示す基準輝度更新部10からの基準輝
度Yoのラインが接続され、その出力端は2値化回路8
3の2値化しきい値設定入力端に接続されている。2値
化回路73の出力端からは輝度2値化信号BYが出力さ
れる。
【0087】最小極小点輝度値Ypmもまた、ΔCpm
と同様に目標の特徴量であると考えられるため、このY
pmをもとに基準輝度値Yoを求め、これを中心として
目標の特性を勘案した輝度2値化限界値Ymax、Ym
inを求め、この範囲内にあるYの値を2値化して前記
ΔCマップ2値化信号BΔCと論理積を取ることによ
り、高い確度で目標エリアの2値化画像を得ることがで
きる。
と同様に目標の特徴量であると考えられるため、このY
pmをもとに基準輝度値Yoを求め、これを中心として
目標の特性を勘案した輝度2値化限界値Ymax、Ym
inを求め、この範囲内にあるYの値を2値化して前記
ΔCマップ2値化信号BΔCと論理積を取ることによ
り、高い確度で目標エリアの2値化画像を得ることがで
きる。
【0088】輝度信号Yを2値化するため、図1に示す
極小点データ保持部6に保持されている目標の最小極小
点輝度値Ypmから、図1に示す基準輝度更新部10に
より予測またはフィルタリング処理で得た基準輝度Yo
を得るが、Ymax、Ymin算出処理回路82では、
このYoから目標の特性を勘案した目標判定限界上限幅
の分を加算した輝度2値化限界値Ymaxと目標判定限
界下限幅の分を減算した輝度2値化限界値Yminを求
める。
極小点データ保持部6に保持されている目標の最小極小
点輝度値Ypmから、図1に示す基準輝度更新部10に
より予測またはフィルタリング処理で得た基準輝度Yo
を得るが、Ymax、Ymin算出処理回路82では、
このYoから目標の特性を勘案した目標判定限界上限幅
の分を加算した輝度2値化限界値Ymaxと目標判定限
界下限幅の分を減算した輝度2値化限界値Yminを求
める。
【0089】2値化回路73では、このYmax、Ym
inの間の範囲にある輝度マップフレームメモリ81か
ら読み出したYの値について輝度画像2値化信号BYを
「1」とし、2値化画像として出力する。
inの間の範囲にある輝度マップフレームメモリ81か
ら読み出したYの値について輝度画像2値化信号BYを
「1」とし、2値化画像として出力する。
【0090】以下、本発明のカラー画像目標位置検出装
置の動作について、図1〜図13を参照して説明する。
置の動作について、図1〜図13を参照して説明する。
【0091】まず、3つの受信カラー画像信号R,G,
Bが1画素づつセンサの出力と同じレートで刺激値変換
部1に入力され、
Bが1画素づつセンサの出力と同じレートで刺激値変換
部1に入力され、
【0092】
【数13】
の演算結果が逐次出力される。
【0093】この出力は、X、Y、Z刺激値として色度
座標演算部2に出力される。なお、この3つの刺激値の
内、刺激値Yは画像の輝度を表す原色の刺激値に対応し
ている。これらX、Y、Zの信号は、図2に示す色度座
標演算部2の3入力加算回路21で合計され、対数圧縮
回路22に入力される。
座標演算部2に出力される。なお、この3つの刺激値の
内、刺激値Yは画像の輝度を表す原色の刺激値に対応し
ている。これらX、Y、Zの信号は、図2に示す色度座
標演算部2の3入力加算回路21で合計され、対数圧縮
回路22に入力される。
【0094】XとYの信号は、それぞれ対数圧縮回路2
3と対数圧縮回路24に入力され、2入力減算回路2
5、26に出力される。2入力減算回路25、26では
入力値から対数圧縮回路22の出力値を減算することに
より、
3と対数圧縮回路24に入力され、2入力減算回路2
5、26に出力される。2入力減算回路25、26では
入力値から対数圧縮回路22の出力値を減算することに
より、
【0095】
【数14】
を得る。これらx’、y’の信号は指数関数発生回路2
7、28に入力され、ここで
7、28に入力され、ここで
【0096】
【数15】
の値を得た後、色度座標演算部2からの出力信号として
出力する。この色度信号x、yの値は
出力する。この色度信号x、yの値は
【0097】
【数16】
の計算結果に一致しており、カラー画像信号R,G,B
に対する色度座標点を示している。
に対する色度座標点を示している。
【0098】一方、色度座標演算部2からの色度信号
x、y及び、刺激値変換部1からの刺激値Yは共に指定
点データ保持部13に入力され、ここで目標を指定した
ときに与えられる初期捕捉指定点Gtoと一致した画素
のx、yと刺激値Yを選択・保持し、これを画像フレー
ム毎に更新して、指定点色度信号xto、yto及び、
指定点刺激値Ytoとして指定点データ保持部13から
出力する。
x、y及び、刺激値変換部1からの刺激値Yは共に指定
点データ保持部13に入力され、ここで目標を指定した
ときに与えられる初期捕捉指定点Gtoと一致した画素
のx、yと刺激値Yを選択・保持し、これを画像フレー
ム毎に更新して、指定点色度信号xto、yto及び、
指定点刺激値Ytoとして指定点データ保持部13から
出力する。
【0099】この内、指定点色度信号xto、ytoは
基準色度更新部4に入力される。基準色度更新部4で
は、初期捕捉指定点Gtoが初期捕捉点として設定を完
了したことを示す設定完了タイミング信号Toを受領し
た時点で指定点色度信号xto、ytoをそのまま基準
色度更新部4の初期の基準色度信号xo、yoとする。
基準色度更新部4に入力される。基準色度更新部4で
は、初期捕捉指定点Gtoが初期捕捉点として設定を完
了したことを示す設定完了タイミング信号Toを受領し
た時点で指定点色度信号xto、ytoをそのまま基準
色度更新部4の初期の基準色度信号xo、yoとする。
【0100】指定点刺激値Ytoについては、基準輝度
更新部10に入力され、設定完了タイミング信号Toを
受領した時点で基準輝度更新部10の初期の基準輝度信
号Yoとする。また、評価エリア発生部12では設定完
了タイミング信号Toを受領した時点で与えられる初期
捕捉ウィンドウWGtoを初期値とした検出エリア信号
WGを発生する。
更新部10に入力され、設定完了タイミング信号Toを
受領した時点で基準輝度更新部10の初期の基準輝度信
号Yoとする。また、評価エリア発生部12では設定完
了タイミング信号Toを受領した時点で与えられる初期
捕捉ウィンドウWGtoを初期値とした検出エリア信号
WGを発生する。
【0101】次に、色度座標演算部2からの色度信号
x、yの値は図3に示す色度差算出部3の2入力減算回
路31、32で前記xo、yoを引き、絶対値化回路3
3、34で絶対値を求めた後、それらを2入力加算回路
35で加算することにより、
x、yの値は図3に示す色度差算出部3の2入力減算回
路31、32で前記xo、yoを引き、絶対値化回路3
3、34で絶対値を求めた後、それらを2入力加算回路
35で加算することにより、
【0102】
【数17】
の式による1画素毎の色度差信号ΔCをセンサからの画
像信号と同じレートで得る。
像信号と同じレートで得る。
【0103】この色度差信号ΔCは極小点検出部5に入
力され、ここでΔCの極小点が検出される毎にその発生
時点を示す極小点検出タイミング信号pmが極小点デー
タ保持部6に出力される。
力され、ここでΔCの極小点が検出される毎にその発生
時点を示す極小点検出タイミング信号pmが極小点デー
タ保持部6に出力される。
【0104】極小点データ保持部6では、色度差算出部
3からの色度差信号ΔC、色度座標演算部2からの色度
座標信号x、y、及び、刺激値変換部1からの輝度信号
Y(Y刺激値)が入力されているが、極小点検出信号p
mが来た時点で過去に保持した色度差信号ΔCより小さ
なΔCが入力されているかを判定し、小さい値が入力さ
れている場合は入力されている信号全てを更新・保持す
る。
3からの色度差信号ΔC、色度座標演算部2からの色度
座標信号x、y、及び、刺激値変換部1からの輝度信号
Y(Y刺激値)が入力されているが、極小点検出信号p
mが来た時点で過去に保持した色度差信号ΔCより小さ
なΔCが入力されているかを判定し、小さい値が入力さ
れている場合は入力されている信号全てを更新・保持す
る。
【0105】従って、本装置に1画面全面1フレームの
入力が完了した時点で色度差信号ΔCの最小値を持つ極
小点のΔC、x、y、Yが極小点データ保持部6の内部
に保持されていることになり、これらをそれぞれ、ΔC
pm、xpm、ypm、Ypmとして出力する。
入力が完了した時点で色度差信号ΔCの最小値を持つ極
小点のΔC、x、y、Yが極小点データ保持部6の内部
に保持されていることになり、これらをそれぞれ、ΔC
pm、xpm、ypm、Ypmとして出力する。
【0106】極小点データ保持部6からのΔCpmの信
号は図4に示す色度差信号2値化部7で目標の特性から
モデル化した目標判定限界値を加算した2値化しきい値
ΔCmaxを算出処理回路72で求め、ΔCmaxを2
値化回路73に設定する。
号は図4に示す色度差信号2値化部7で目標の特性から
モデル化した目標判定限界値を加算した2値化しきい値
ΔCmaxを算出処理回路72で求め、ΔCmaxを2
値化回路73に設定する。
【0107】同様に、図5に示す輝度信号2値化部8で
は、基準輝度更新部10からの基準輝度信号Yoをもと
に目標の特性を勘案した目標判定限界上限幅の分を加算
した輝度2値化限界値Ymaxと目標判定限界下限幅の
分を減算した輝度2値化限界値Yminを2値化範囲と
してYmax、Ymin算出処理回路82で求め、2値
化回路73に設定する。
は、基準輝度更新部10からの基準輝度信号Yoをもと
に目標の特性を勘案した目標判定限界上限幅の分を加算
した輝度2値化限界値Ymaxと目標判定限界下限幅の
分を減算した輝度2値化限界値Yminを2値化範囲と
してYmax、Ymin算出処理回路82で求め、2値
化回路73に設定する。
【0108】ΔCmaxとYmax、Yminの設定完
了時点で、1フレーム分のΔCのマップデータを図4に
示すΔCマップフレームメモリ71から、また、Yのマ
ップデータは図5に示す輝度マップフレームメモリ81
から読み取り、2値化回路73、83でそれぞれΔCと
Yに対する2つの2値化画像信号BΔCとBYを得る。
了時点で、1フレーム分のΔCのマップデータを図4に
示すΔCマップフレームメモリ71から、また、Yのマ
ップデータは図5に示す輝度マップフレームメモリ81
から読み取り、2値化回路73、83でそれぞれΔCと
Yに対する2つの2値化画像信号BΔCとBYを得る。
【0109】評価エリア発生部12では、設定完了タイ
ミング信号Toを受領した時点で与えられる初期捕捉ウ
ィンドウWGtoを初期値とした検出エリア信号WGに
よりこれに対応する画像フレーム上のエリア内であれ
ば、「1」となる2値化エリア信号wを発生し出力する
が、この2値化エリア信号wと前記2値化画像信号BΔ
C、BYとをAND回路9で論理積をとり、最終的な目
標の2値化画像Bを得る。
ミング信号Toを受領した時点で与えられる初期捕捉ウ
ィンドウWGtoを初期値とした検出エリア信号WGに
よりこれに対応する画像フレーム上のエリア内であれ
ば、「1」となる2値化エリア信号wを発生し出力する
が、この2値化エリア信号wと前記2値化画像信号BΔ
C、BYとをAND回路9で論理積をとり、最終的な目
標の2値化画像Bを得る。
【0110】得られた2値化画像Bは、2値化画像重心
点演算部11でラベリング処理が行われ、複数の独立し
た2値化エリアに区別・分離した後、過去の検出位置の
動きによる予測によって2値化エリアのひとつを選択し
て面重心点を計算し目標検出位置Gとして本装置から出
力される。
点演算部11でラベリング処理が行われ、複数の独立し
た2値化エリアに区別・分離した後、過去の検出位置の
動きによる予測によって2値化エリアのひとつを選択し
て面重心点を計算し目標検出位置Gとして本装置から出
力される。
【0111】次のフレームの処理に移行する時点では、
次の画像フレーム入力開始前に基準色度更新部4で、極
小点データ保持部6に保持されている最新の目標の色度
xpm、ypmを入力し、現在保持している基準色度値
xo、yoを基準として、次フレームの基準色度を予測
またはフィルタリング処理をし、新たな基準色度値x
o、yoとする。
次の画像フレーム入力開始前に基準色度更新部4で、極
小点データ保持部6に保持されている最新の目標の色度
xpm、ypmを入力し、現在保持している基準色度値
xo、yoを基準として、次フレームの基準色度を予測
またはフィルタリング処理をし、新たな基準色度値x
o、yoとする。
【0112】基準輝度更新部10でも同様に、極小点デ
ータ保持部6に保持されている目標の輝度Ypmによ
り、予測またはフィルタリング処理で新たな基準輝度Y
oに更新する。
ータ保持部6に保持されている目標の輝度Ypmによ
り、予測またはフィルタリング処理で新たな基準輝度Y
oに更新する。
【0113】評価エリア発生部12では、2値化画像重
心点算出部11からの目標検出位置Gと2値化面積Sか
ら、目標検出位置Gを中心位置とし、且、初期捕捉ウィ
ンドウWGtoの縦横の比率を一定としつつ、WGto
のエリア面積にたいする2値化面積Sの比率が一定とな
るように検出エリア信号WGを更新し、また、次フレー
ムで更新されたWGに対応する2値化エリア信号wを発
生可能な状態とする。
心点算出部11からの目標検出位置Gと2値化面積Sか
ら、目標検出位置Gを中心位置とし、且、初期捕捉ウィ
ンドウWGtoの縦横の比率を一定としつつ、WGto
のエリア面積にたいする2値化面積Sの比率が一定とな
るように検出エリア信号WGを更新し、また、次フレー
ムで更新されたWGに対応する2値化エリア信号wを発
生可能な状態とする。
【0114】以上を1フレーム毎のカラー画像信号R,
G,Bの入力から繰り返すことにより、最初に設定完了
タイミング信号Toを受領したときの初期捕捉指定点の
目標を検出し、その位置をフレーム毎出力する動作をす
る。また、次に設定完了タイミング信号Toが入力され
た場合は、その時点で与えられた初期捕捉指定点Gto
の目標が新たな目標になる。
G,Bの入力から繰り返すことにより、最初に設定完了
タイミング信号Toを受領したときの初期捕捉指定点の
目標を検出し、その位置をフレーム毎出力する動作をす
る。また、次に設定完了タイミング信号Toが入力され
た場合は、その時点で与えられた初期捕捉指定点Gto
の目標が新たな目標になる。
【0115】上記の実施例では、極小点データ保持部6
の保持するデータは最小のΔCを持つ極小点に対応する
データ群を1点についてのみ保持し目標に追尾するため
の情報として出力する構成としたが、他の実施例とし
て、極小点データ保持部6を極小点の画面上の位置座標
も保持できるようにして、且、複数の極小点についての
データ群をリストの形で保持できる構成にすることがで
きる。
の保持するデータは最小のΔCを持つ極小点に対応する
データ群を1点についてのみ保持し目標に追尾するため
の情報として出力する構成としたが、他の実施例とし
て、極小点データ保持部6を極小点の画面上の位置座標
も保持できるようにして、且、複数の極小点についての
データ群をリストの形で保持できる構成にすることがで
きる。
【0116】この構成では、探索する色度を目標指定点
色度として設定するようにすれば、探索する目標候補の
点の画面上の座標を複数ΔCの小さい順で順位づけを行
ってデータ群を整理し、これらを出力することが可能な
いわゆる目標候補探索装置となる。
色度として設定するようにすれば、探索する目標候補の
点の画面上の座標を複数ΔCの小さい順で順位づけを行
ってデータ群を整理し、これらを出力することが可能な
いわゆる目標候補探索装置となる。
【0117】
【発明の効果】本発明は、赤、緑、青の3つの画像信号
R,G,Bを、センサから出力される画素毎に実時間で
カラー信号入力に対応して3刺激値信号X、Y、Zに変
換し、この3刺激値信号X、Y、Zから目標の反射光が
持つ分光特性に直接関係する色度座標点の信号x、yを
計算しているので、目標の明暗に捕らわれない的確な目
標検出ができる。
R,G,Bを、センサから出力される画素毎に実時間で
カラー信号入力に対応して3刺激値信号X、Y、Zに変
換し、この3刺激値信号X、Y、Zから目標の反射光が
持つ分光特性に直接関係する色度座標点の信号x、yを
計算しているので、目標の明暗に捕らわれない的確な目
標検出ができる。
【0118】更に、x、yの値は必ず、「1」以下の値
となるため、以降の処理での回路設計で必要となる処理
値のスケーリングが容易になる。また、刺激値変換部で
得られるY刺激値は色光の明るさに相当するため、目標
検出にY刺激値をそのまま使用して色度値、x、yとを
組み合わせた場合には、より的確な検出判定が可能とな
る。
となるため、以降の処理での回路設計で必要となる処理
値のスケーリングが容易になる。また、刺激値変換部で
得られるY刺激値は色光の明るさに相当するため、目標
検出にY刺激値をそのまま使用して色度値、x、yとを
組み合わせた場合には、より的確な検出判定が可能とな
る。
【0119】また、本発明は、色度座標演算部で、x、
yを得るための演算に、対数圧縮後、減算する方法を用
いることができるので、x、yを得るために取り扱える
刺激値のダイナミックレンジを極めて広くすることがで
き、かつ、除算回路を排除できる効果をもっている。
yを得るための演算に、対数圧縮後、減算する方法を用
いることができるので、x、yを得るために取り扱える
刺激値のダイナミックレンジを極めて広くすることがで
き、かつ、除算回路を排除できる効果をもっている。
【0120】また、色度差算出部3では検出すべき目標
の色度値を基準としてその撮像画像について色度空間上
での座標の基準との位置ズレを、距離情報という1つの
信号値に変換しているため、この値が最小となる点を検
出するのみで目標点検出点とすることができ、処理回路
の規模を削減することができる。さらに、色度空間上で
の座標の基準との位置ズレを距離情報得る際に、色度差
を算出しているので、距離情報を、自乗演算及び平方根
を求めることなく簡単に求められると同時に、常にΔC
≧rの関係があるので、rの値より大きな色度の差の値
として求めることができる。
の色度値を基準としてその撮像画像について色度空間上
での座標の基準との位置ズレを、距離情報という1つの
信号値に変換しているため、この値が最小となる点を検
出するのみで目標点検出点とすることができ、処理回路
の規模を削減することができる。さらに、色度空間上で
の座標の基準との位置ズレを距離情報得る際に、色度差
を算出しているので、距離情報を、自乗演算及び平方根
を求めることなく簡単に求められると同時に、常にΔC
≧rの関係があるので、rの値より大きな色度の差の値
として求めることができる。
【0121】また、本発明では、基準色度更新部4を有
しているので、時間と共に目標の距離が遠方に変化し、
大気の散乱光及び、透過率の分光特性の影響を受け、撮
像色度が変化した場合でも、基準色度のトラッキングが
可能であり、撮像距離の影響を抑える効果を持ってい
る。
しているので、時間と共に目標の距離が遠方に変化し、
大気の散乱光及び、透過率の分光特性の影響を受け、撮
像色度が変化した場合でも、基準色度のトラッキングが
可能であり、撮像距離の影響を抑える効果を持ってい
る。
【0122】また、最終の目標位置の算出は、2値化画
像重心点演算部11により、ラベリング処理した後、目
標の動き予測判定による2値化エリア選択の後に面重心
として出力しているので、同色物体交差判定も可能であ
り、且、検出位置がエリア内で平均化されて検出点位置
の揺らぎ又は、飛びの幅を緩和することができる。
像重心点演算部11により、ラベリング処理した後、目
標の動き予測判定による2値化エリア選択の後に面重心
として出力しているので、同色物体交差判定も可能であ
り、且、検出位置がエリア内で平均化されて検出点位置
の揺らぎ又は、飛びの幅を緩和することができる。
【図1】本発明の実施の形態を示すブロック図である。
【図2】図1における色度座標変換部2の一例を示すブ
ロック図である。
ロック図である。
【図3】図1における色度差算出部3の一例を示すブロ
ック図である。
ック図である。
【図4】図1における色度差信号2値化部7の一例を示
すブロック図である。
すブロック図である。
【図5】図1における輝度信号2値化部8の一例を示す
ブロック図である。
ブロック図である。
【図6】図1の使用接続例を示すブロック図である。
【図7】図1における各ブロックの動作を説明するため
の図である。
の図である。
【図8】本発明の動作を説明するための図である。
【図9】本発明の動作を説明するための図である。
【図10】本発明の動作を説明するための図である。
【図11】本発明の動作を説明するための図である。
【図12】本発明の動作を説明するための図である。
【図13】本発明の動作を説明するための図である。
1 刺激値変換部
2 色度座標演算部
3 色度差算出部
4 基準色度更新部
5 極小点検出部
6 極小点データ保持部
7 色度差信号2値化部
8 輝度信号2値化部
9 AND回路
10 基準輝度更新部
11 2値化画像重心点算出部
12 評価エリア発生部
13 指定点データ保持部
21 3入力加算回路
22,23,24 対数圧縮回路
25,26 減算回路
27,28 指数関数回路
31,32 減算回路
33,34 絶対値化回路
35 2入力加算回路
71 ΔCマップフレームメモリ
72 ΔCmax算出処理回路
73 2値化回路
81 輝度マップフレームメモリ
82 Ymax/Ymin算出処理回路
83 2値化回路
100 カラー画像目標検出装置
101 カラー画像センサ
102 初期捕捉指定入力装置
103 画像・指定位置表示装置
104 ジンバル装置
105 追尾信号出力装置
106 撮像対象
107 表示画面
108 追尾目標
201 カラー画像センサのRGB信号による色度の
値域 202 入力画像の色度座標 203 目標指定点色度座標(基準色度座標) 301 x+y=1となる直線 302 0点を基準としたΔC≦1.0を満たす限界
線 401 ΔCマップ 402 極小点 403 pm発生点 404 pm発生範囲指定エリアWG 501 撮像画面 502 信号出力順序
値域 202 入力画像の色度座標 203 目標指定点色度座標(基準色度座標) 301 x+y=1となる直線 302 0点を基準としたΔC≦1.0を満たす限界
線 401 ΔCマップ 402 極小点 403 pm発生点 404 pm発生範囲指定エリアWG 501 撮像画面 502 信号出力順序
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7,DB名)
G06T 7/00 - 7/60
G06T 1/00
H04N 5/222 - 5/257
H04N 9/04 - 9/11
H04N 7/18
Claims (3)
- 【請求項1】 目標カラー画像を撮影し、赤(R)、緑
(G)、青(B)の3つのカラー信号を出力するカラー
画像センサからの画像信号R,G,Bを、 【数1】 の演算をすることにより、センサから出力される画素毎
に実時間でカラー信号入力に対応してX、Y、Zの3刺
激値信号に変換する刺激値変換部と、 前記X、Y、Zの3刺激値信号を 【数2】 の演算をすることにより色度座標信号x、yに変換する
色度座標演算部と、 基準色度座標信号xo、yoと前記色度座標信号x、y
から、 【数3】 の演算をすることにより色度差ΔCを算出する色度差算
出部と、 評価エリア発生部からの検出エリア信号によって設定さ
れた検出エリア内で前記色度差ΔCが極小となる点を検
出して極小点検出タイミング信号pmを出力する極小点
検出部と、 前記極小点検出タイミング信号pmが発生する毎に極小
点の色度差ΔC及び該極小点の色度差ΔCに対応する色
度座標信号x、yを保持し、1フレームのカラー信号入
力完了時点で前記極小点の色度差ΔCの中の最小のもの
及び該最小のΔCに対応する色度座標信号x、yを最小
極小点色度差ΔCpm及び最小極小点色度値xpm、y
pmとして出力する極小点データ保持部と、 前記色度差ΔCと前記最小極小点色度差ΔCpmを入力
して、前記色度差ΔCを2値化色度差BΔCに変換する
色度差信号2値化部と、 前記2値化色度差BΔCと前記評価エリア発生部から出
力される2値化出力画像エリアを限定する2値化ウィン
ドウエリア信号wとの論理積信号Bを出力するAND回
路と、 前記論理積信号Bを入力して、2値化画像の重心点Gと
B=1となる画素数を値とする2値化面積Sを算出する
2値化画像重心点算出部と、 初期捕捉指定点と一致した画素の色度座標信号x、yを
選択・保持し、指定点色度信号xto、ytoとして出
力する指定点データ保持部と、 前記指定点色度信号xto、ytoと前記最小極小点色
度値xpm、ypmを入力し、前記基準色度信号xo、
yoを出力する基準色度更新部と、を備えていることを
特徴とするカラー画像目標位置検出装置。 - 【請求項2】 前記極小点データ保持部は、更に、前記
極小点検出タイミング信号pmが発生する毎に前記極小
点の色度差ΔCに対応する刺激値信号Yを保持し、1フ
レームのカラー信号入力完了時点で前記極小点の色度差
ΔCの中の最小のΔCに対応する刺激値信号Yを最小極
小点刺激値信号Ypmとして出力する手段を備え、前記
指示点データ保持部は、更に、前記初期捕捉指定点と一
致した画素の刺激値信号Yを選択・保持し、指定点刺激
値信号Ytoとして出力する手段を備えており、 更に、前記最小極小点刺激値信号Ypmと前記指定点刺
激値信号Ytoを入力して、基準輝度信号Yoを出力す
る基準輝度更新部と、 前記刺激値信号Yと前記基準輝度信号Yoを入力して、
前記刺激値信号Yを2値化輝度信号BYに変換して前記
AND回路へ出力する輝度信号2値化部とを備え、 前記AND回路から、前記2値化色度差BΔCと前記輝
度信号BYと前記2値化ウィンドウエリア信号wとの論
理積信号Bを出力することを特徴とする請求項1記載の
カラー画像目標位置検出装置。 - 【請求項3】 前記色座標変換部は、前記色度座標信号
x、yを、 【数4】 により求める演算手段を備えていることを特徴とする請
求項1または2記載のカラー画像目標位置検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14884399A JP3461143B2 (ja) | 1999-05-27 | 1999-05-27 | カラー画像目標位置検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14884399A JP3461143B2 (ja) | 1999-05-27 | 1999-05-27 | カラー画像目標位置検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000341704A JP2000341704A (ja) | 2000-12-08 |
JP3461143B2 true JP3461143B2 (ja) | 2003-10-27 |
Family
ID=15461991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14884399A Expired - Fee Related JP3461143B2 (ja) | 1999-05-27 | 1999-05-27 | カラー画像目標位置検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3461143B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4961555B2 (ja) * | 2005-12-28 | 2012-06-27 | 国立大学法人宇都宮大学 | 植物の対象部分の位置特定方法とその方法による対象部分の位置特定装置及びその装置を用いた作業用ロボット |
JP4991356B2 (ja) * | 2007-03-20 | 2012-08-01 | 株式会社東芝 | 画像処理装置、画像処理方法および画像処理用プログラム |
CN105334492B (zh) * | 2014-06-27 | 2018-03-27 | 日本电气株式会社 | 基于传感器网络的目标跟踪方法及装置 |
JP7254283B2 (ja) * | 2019-03-22 | 2023-04-10 | 株式会社Screenホールディングス | 閾値決定方法、画像処理方法、標本画像の評価方法、コンピュータプログラムおよび記録媒体 |
-
1999
- 1999-05-27 JP JP14884399A patent/JP3461143B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000341704A (ja) | 2000-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2686274B2 (ja) | 細胞画像処理方法および装置 | |
JP4054184B2 (ja) | 欠陥画素補正装置 | |
CN106815587B (zh) | 图像处理方法及装置 | |
CN109753945B (zh) | 目标主体识别方法、装置、存储介质和电子设备 | |
JP3490482B2 (ja) | エッジ及び輪郭抽出装置 | |
US6304672B1 (en) | Edge detecting method and edge detecting device which detects edges for each individual primary color and employs individual color weighting coefficients | |
JP3461143B2 (ja) | カラー画像目標位置検出装置 | |
JP3216385B2 (ja) | 目標探知追尾装置 | |
JPH09265538A (ja) | 自動追尾装置 | |
KR100230446B1 (ko) | 칼라 화상으로부터 조명의 칼라를 결정하는 방법 | |
JPH10247246A (ja) | 物体検出方法 | |
JPH07230546A (ja) | 画像処理装置及び画像処理方法 | |
JPH0688789A (ja) | 画像中の濃度変動構成画素抽出方法および濃度変動塊判定方法 | |
JP4156850B2 (ja) | コントラスト計算装置及び類似配色検索装置並びにこれらの方法 | |
JP3117395B2 (ja) | 画像明暗判別装置 | |
JP3783881B2 (ja) | 車両検出方法およびこれを用いた車両検出装置 | |
JPH11183584A (ja) | 目標探知装置 | |
JP2810867B2 (ja) | 特定色抽出装置 | |
JP3143291B2 (ja) | 画像目標検出装置 | |
JPH0844852A (ja) | 画像処理装置 | |
JPH0559547U (ja) | 画像目標検出装置 | |
JPH07234190A (ja) | カラー画像による非金属介在物の検査方法 | |
JPH10143673A (ja) | 画像処理装置 | |
JPH05210737A (ja) | パターン認識方法 | |
JP2002216139A (ja) | 画像処理による水平線検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |