JP2967490B2

JP2967490B2 - ビデオ追跡および表示装置

Info

Publication number: JP2967490B2
Application number: JP1061102A
Authority: JP
Inventors: ジョージガートラウドマイケル; マービンブーイトーマス; フレドリックブレッシングマーク
Original assignee: BURANZUITSUKU BORINGU ANDO BIRYAAZU CORP
Current assignee: BURANZUITSUKU BORINGU ANDO BIRYAAZU CORP
Priority date: 1988-03-18
Filing date: 1989-03-15
Publication date: 1999-10-25
Anticipated expiration: 2014-10-25
Also published as: US4893182A; JPH01310483A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は画像処理装置に係わる。さらに詳細には、移
動する物体の軌道を追跡して表示する装置に係わる。

（従来の技術、発明が解決しようとする問題点）多くの場合、移動する物体の軌道をより明瞭に表示す
るために、写真装置で物体の通路を記録することが望ま
しい。これまで多重露光ストロボ写真が、物体の完全な
運動経路を１枚の写真に示すのに使用されてきた。この
方法は、例えば野球のバットまたはゴルフ・クラブのス
ィングのような運動競技の活動に関連する微小変化を可
視化するのに有効かつ教示的方法であることが認められ
ていた。このような写真を作る機器には、運動中の物体
と黒い背景を間欠的に照明するストロボ光源が包含され
る。

テレビ装置とビデオ・カメラの進歩によって、一定の
時間間隔で、ある場面の一物体の運動を示すテレビ表示
を付与するための表示ができるようになった。従って、
運動する物体の経路を、その後の検討用に見ることがで
きる。また、画像は、例えば運動競技のある時間間隔の
活動を比較するような、後の画像と比較するために、記
憶させることもできる。ビデオ・カメラの使用が普及す
るにつれて、運動する物体の経路を記録することもより
容易となり、録画装置の投写技術によって、スローモー
ションや停止特性による観察者に移動する物体の経路の
明瞭な再現と軌道の検討を可能としている。

移動する物体の軌道を追跡するために、テレビ装置だ
けでなく、ビデオ・カメラを使用することは膨大な記憶
装置を必要とし、その結果、移動する物体の経路を追跡
して表示するには従来の装置では実用上の限界があっ
た。例えば、レーンを移動するボーリング・ボールの経
路を追跡したい時、特にボーリング装置で同時に競技し
ている多重ゲームでボーリング・ボールの経路を追跡し
たい時には、記憶量が量的にも費用的にも膨大となる。

このように、移動する物体の軌道を追跡して表示し、
大量のデータを選択的に集めるために必要な最小のデー
タ記憶容量の画像処理装置に対する要求が起ってきた。

（問題点を解決するための手段）本発明の一態様によれば、本来静止している背景中で
移動する運動物体の、選ばれた別個の画像を連続して表
示する画像処理装置を提供するものである。本装置は、
静止場面のビデオ信号を発信し、その中を移動する物体
を包含する静止場面のビデオ信号を発信するイメージ・
センサを包含する。このビデオ信号は、複数のフレーム
について発信される。第１のメモリは、静止場面からの
複数のフレームの中の少なくとも一つのビデオ信号を記
憶する。第２のメモリは、その中を移動する物体を包含
する静止場面からの複数のフレームのビデオ信号を記憶
する。第１のメモリ中に記憶したビデオ信号を第２のメ
モリ中に記憶したビデオ信号とフレーム同志をベースに
して比較し、それによって複数のフレームのそれぞれに
ついて物体の位置を決定するような構造物を提供する。
表示は、複数のフレームのそれぞれについて物体の位置
を明示するために付与される。

本発明の別の態様によれば、ボーリング・レーンに沿
った予め決められた位置における、ボーリング・ボール
の画像を表示するためのボーリング・ボール追跡および
表示装置を提供する。イメージ・センサがボーリング・
レーンのビデオ信号を発信し、かつこのレーンを移動す
るボーリング・ボールを包含するボーリング・レーンの
ビデオ信号を発信する。ビデオ信号は、複数のフレーム
について発信される。第１のメモリは、ボーリング・レ
ーンからの複数のフレームの中の少なくとも一つのビデ
オ信号を記憶する。第２のメモリは、このレーンを移動
するボーリング・ボールを包含するボーリング・レーン
からの複数のフレームのビデオ信号を記憶する。第１の
メモリ中に記憶したビデオ信号を、第２のメモリ中に記
憶したビデオ信号とフレーム同志をベースにして比較
し、それによって複数のフレームのそれぞれについてボ
ーリング・ボールの位置を決定するような構造物を提供
する。表示は、複数のフレームのそれぞれについてボー
リング・ボールの位置を明示するために付与される。こ
の表示は、ボーリング・レーンの仮想画像を明示し、そ
の上に位置し、かつ複数のフレームのそれぞれ内にある
ボールの位置に相当するボーリング・ボールを包含す
る。

（実施例）第１図を見ると、本発明のビデオ追跡および表示装置
のブロック・ダイアグラムが図示され、参照番号（10）
で表示されている。ビデオ追跡および表示装置（10）
は、物体の不在時および存在時の両方の場合、その中を
移動する物体が通過するほぼ静止した場面の画像を追跡
するビデオ・カメラ（12）を包含する。このビデオ・カ
メラ（12）はビデオ信号を発信し、ビデオ追跡装置（1
4）にこの信号を付与する。ビデオ追跡装置（14）は第
７図と組合わせて、後で説明する。

ビデオ追跡装置（14）の出力は、例えば局所ネットワ
ークのような電子式通信媒体（16）を介して、ビデオ画
像表示装置（18）に付与される。このビデオ画像表示装
置（18）は、経路に沿った予め決められた、選ばれた位
置にある物体を表示して、移動する物体の軌道即ち経路
を表示する。この方法で、物体の経路は記憶、表示で
き、本発明のビデオ追跡および表示装置（10）の使用者
に、移動する物体の経路の観察を可能とする。移動する
物体の経路は、例えば記憶した画像の背景上に表示でき
る。本発明のビデオ追跡および表示装置（10）は、ボー
リング・レーン上のボーリング・ボールの追跡を目的と
して、この後記載されているが、本発明は、本質的に静
止した場面中を移動する運動物体ならどんなものでも追
跡するのに使用でき、また道路を走行する自動車、飛行
中の航空機、その他バスケットボール、野球、ゴルフお
よびライフル銃のようなスポーツ活動体の追跡および表
示に使用できる。

第２図および第３図を同時に見ると、ボーリング・レ
ーンを走行する時のボーリング・ボールの追跡に使用す
るための、本発明に基づくビデオ追跡および表示装置
（10）が図示されている。第２図は、一対のボーリング
・レーン（30,32）上に装着した本発明に基づくビデオ
追跡および表示装置（10）を図示している。ボーリング
・レーン（30,32）はボーリング・センターで見られる
代表的な標準ボーリング・レーンで、それらの間に位置
するボール転送装置（34）を包含する。このボーリング
・レーン（30）には、ファール・ライン（36）、基準矢
印（38）、ガター（40,42）およびボーリング・ピン（4
4）が付帯する。同様にボーリング・レーン（32）も、
ファール・ライン（50）、基準矢印（52）、ガター（5
4,56）およびボーリング・ピン（58）を包含する。両方
のボーリング・レーン（30,32）を走行するボーリング
・ボールを観察するために、ビデオ・カメラ（12）がボ
ーリング・レーン（30,32）の間に装着されている。ビ
デオ画像表示装置（18）は、第２図では、ビデオ・、カ
メラ（12）に隣接して位置するように図示されている
が、この表示装置（18）は、ビデオ追跡装置（14）との
通信が電子式通信媒体（16）を介して行われているの
で、ボーリング・センターの所望の場所ならどこでも、
またボーリング・センターから離れた所に位置させても
よい。第２図には、それぞれのボーリング・レーン（3
0,32）を走行するボーリング・ボール（62,64）が図示
されている。ビデオ・カメラ（12）で見る画像は、ボー
リング・ボール（62,64）がそれぞれのボーリング・レ
ーン（30,32）を走行する時の連続画像である。

第４図は、本発明に基づくビデオ追跡および表示装置
（10）を使用した時ボウラに表示中のビデオ画像表示装
置（18）による表示状態を図示する。ビデオ画像表示装
置（18）はボーリング・レーン（30,32）を模擬表示す
るが、必ずしも実際のボーリング・レーン（30,32）の
画像ではない。表示装置（18）に表示されたボーリング
・レーン（30,32）の画像は、実際のボーリング・レー
ンの既に記憶され、デジタル化され、追跡された画像
で、ビデオ・カメラ（12）の写したものと異なる画像か
ら得られたボーリング・レーンの画像を構成することに
なる。．ボーリング・ボール（62,64）の軌道は、レー
ンに沿った選ばれた位置におけるボーリング・ボールの
表示によって、ビデオ画像表示装置（18）中に図示され
る。従って、ボーリング・ボールの通路は、ボーリング
・ボールの軌道に沿った一連のボール位置表示として、
ビデオ画像表示装置（18）上に図示される。例えば、ボ
ーリング・ボール（62）は、その通路に沿った８つの表
示（62a〜62h）で図示されている。この通路は、第２図
に点線で示したように、ボーリング・ボール（62）の連
続した通路に相当する。同様に、ボーリング・ボール
（64）が８つの位置（64a〜64h）を有するものとして、
ビデオ画像表示装置（18）上に図示されている。本発明
に基づくビデオ追跡および表示装置（10）は、さらにボ
ウラに表示位置（70）におけるボーリング・ボール（6
2,64）のピン・デッキへの入射角；例えば表示位置（7
2）のボーリング・ボール（62）の位置（62d,62h）のよ
うな予め決められた位置でのKm/時（＝マイル／時）で
表わされる終端速度；例えば表示位置（74）のファール
・ラインから13.7m（＝45フィート）のような、予め決
められた位置における、ボーリング・レーン（30または
32）の右手または左手からのレーン・ボードに対するボ
ーリング・ボール（62,64）の位置；および例えば表示
位置（76）におけるボーリング・ボール（62）の位置
（62b）と位置（62d）間のような予め決められた位置で
のボーリング・ボール（62,64）の、Km/時（＝フィート
／時）で表わされた初期速度；を表示する。

総括すると、本発明に基づくビデオ追跡および表示装
置（10）は、その環境におけるその装置の形状を表わす
パラメータに加えて、ターゲット画像を示す、ビデオ・
カメラ（12）からのビデオ信号の形の入力を受信するビ
デオ追跡装置（14）を包含する。ビデオ追跡装置（14）
の出力は、電子式通信媒体（16）を介して、ビデオ画像
処理装置（18）に伝送されるデータを包含する。またこ
の出力データは、運動する一物体または複数の物体の軌
道を示す点位置、この点位置間の平均速度および種々の
点位置におけるまたは間の走行方向を包含する。

本発明の重要な一態様は、データが各ブロックのビデ
オ追跡装置（14）で集められ、この後「窓」または「フ
レーム」として引用されていることである。一つの窓
は、例えばボーリング・レーン（30,32）に沿ったそれ
ぞれのボーリング・ボール（62,64）のような物体の軌
道から得られた、ビデオ画像の一部分である。

第５図は、ボーリング・レーン（30）に沿った８つの
窓（80,82,84,86,88,90,92,94）に分けられたボーリン
グ・レーン（30）を、系統的に図示したものである。ボ
ーリング・ボール（62）が、第２図に図示するように、
その軌道に沿って前進するにつれて、その位置はそれぞ
れの窓（80〜94）内で追跡される。本発明に基づくビデ
オ追跡装置（14）は、それぞれの窓（80〜94）内のボー
リング・ボール（62）の存在を検知して、それぞれの窓
（80〜94）内のボーリング・ボール（62）の座標位置を
決定する。これらの座標位置は、この後ビデオ画像処理
装置を使用して、第４図に示すようなビデオ画像処理装
置（18）中にボーリング・ボール（62）の位置を表示す
る。窓は、高さがボーリング・ボールの大きさの約3/4
である。ビデオ追跡装置（14）はビデオ・カメラ（12）
の垂直同期化パルスでデータを追跡して、次のビデオ同
期化パルスで追跡データを処理し、ボーリング・ボール
が窓内にあると想定される程度の距離にあるかどうかを
決定する。凡ての窓についてビデオ追跡装置（14）の追
跡が終了すると位置決めが起る。この後、ビデオ追跡装
置（14）は、それぞれの窓を詳細に処理して、その窓
（80〜94）におけるボール位置を決定する。処理操作
中、速度とピン角度が計算され、ビデオ画像処理装置
（18）上に表示される。ボールの通路を示すビデオ画像
処理装置（18）上にボーリング・ボールが表示される窓
（80〜94）の中心は、ファール・ラインからある距離の
ところにあり、例えば８つの窓を使用する装置では、フ
ァール・ラインから4.6m（＝15フィート）、6.4m（＝21
フィート）、8.2m（＝27フィート）、10.1m（＝33フィ
ート）、12.2m（＝40フィート）、13.9m（＝45.5フィー
ト）、15.2m（＝50フィート）、および16.5m（＝54フィ
ート）のところのある。

第６図および第７図に示すように、ボーリング・ボー
ルが窓（80）の中心（98）を横切った矢印（96）の方向
に移動する時、データが追跡される。窓はビデオ追跡装
置（14）によって捕らえられた情報の最小の単位とな
る。ビデオ追跡装置（14）は、この後第９図に述べられ
ているように、２つのメモリ・サブシステムを包含す
る。一方のメモリでは、ボーリング・レーン（30）のそ
れぞれの窓の画像だけが記憶される。第２のメモリ・シ
ステムは、一つの窓の中を移動するボーリング・ボール
の画像の、ビデオ・カメラ（12）で追跡したデータを包
含する。それぞれの窓についての、これらの２つのメモ
リが、この後で当業者には公知のグレー・スケール処理
を用いて比較され、例えば第８図に示すグレー・スケー
ル比較アルゴリズムを用いて、この窓内のボーリング・
ボール（62,64）の存在を決定する。グレー・スケール
比較は第９図のコンピュータを用いて行われるので、グ
レー差閾値を越える画像素子のイメージは、概念的な目
的用だけに第７図に示した。この後で述べるように、こ
のビデオ追跡装置（14）は、ボーリング・ボールの位置
を決定する「表」を発信し、前記２つのメモリ中にデー
タを記憶し、メモリ要求を低減させる。また、コンピュ
ータの持つ融通性によって、使用する窓の大きさおよび
グレー・スケール閾値を処理中弾力的に変化できる。

各窓（80〜94）内のボーリング・ボールのデータ追跡
の結果（第５図参照）について以下に説明する。最初、
基準フレームの窓（80）が第１のメモリに捕えられ、記
憶される。この基準フレームの窓（80）は、窓（80）の
視野内にボーリング・ボールの存在しない時間に捕えら
れる。第２のフレームは第２のメモリに捕えられ、再捕
獲され、記憶されてボーリング・ボール（62）が各フレ
ームの窓（80〜94）内で検知されるまで、周期的なベー
スでそれぞれの窓（80〜94）に、同じ第２のメモリをオ
ーバライトする。検知された後、捕えられた最後の第２
のフレームが、第２のメモリ・サブシステムのビデオ・
メモリ中に「凍結」される。この後、第１のメモリ・サ
ブシステムの、既に記憶された基準フレームと比較し
て、それぞれの窓（80〜94）内のボーリング・ボール
（62）の存在を決定するのは、この最後の第２のフレー
ムである。窓（80）内のボーリング・ボールの検知が終
わると、窓（82）が窓（82）中を通るボーリング・ボー
ル（62）の基準フレームの役をする。窓（82）はビデオ
・カメラ（12）で走査され、ビデオ・カメラ（12）によ
る窓（80）の走査と同時に基準フレームとしての役目を
果して、窓（80）内のボーリング・ボールの存在を決定
する。従って、ボーリング・ボール（62）が連続的にボ
ーリング・レーン（30）を移動する基準フレームは「フ
レッシュ」基準フレームの役目をし、ボーリング・ボー
ル（62）は、この後の窓（84〜94）中を走行するので、
その中にはまだ入ってこない。ビデオ追跡装置（14）が
ボーリング・ボール（62）の窓（80）に現われるのを待
っている間、窓（80）はこの後基準フレームの役目をす
る窓（82）と共にビデオ・カメラ（12）で走査される。

ボーリング・ボール（62）が窓（80）内で検知される
と、ビデオ追跡装置（14）は窓（82）用の第２のメモリ
・サブシステム内にデータを記憶し始め、窓（84）が新
しい基準の窓となる。ボーリング・ボール（62）が窓
（82）内に検知されると、フレーム数が検知される間に
計算され、２つの窓（80,82）はある時間ベースを貯蔵
して、ボーリング・レーン（30）に沿った窓（80,82）
を通るボーリング・ボールの速度計算に利用する。この
方法は、ボーリング・ボール（62）がそれぞれの窓（80
〜94）内で検知されるまで続けられ、全部で８つの基準
フレームと８つの２次フレームのデータがビデオ追跡装
置（14）で追跡され、それぞれ第１とだ２のメモリに記
憶されて、それぞれの窓（80〜94）内のボーリング・ボ
ール（62）の位置を決定するのに使用され、ビデオ画像
処理装置（18）に表示される。凡ての必要なデータがビ
デオ追跡装置（14）のメモリ内に記憶された後は、後の
計算も処理も一切、リアル・タイムで実行する必要はな
い。

一つの窓内のボーリング・ボールの検知がグレー・ス
ケールで処理が終わると、ビデオ・データの一つの線と
比較され、第２のフレーム・メモリの画像素子が基準フ
レーム・メモリの相応する画像素子と区別される。もし
グレーの絶対差がグレー差閾値よりも大きい時は、この
画像素子の隣接するものと比較される。もしこの隣のグ
レー差も閾値より大きく、かつその差の極性が同じであ
るときは、画像素子は差があると計算される。このよう
な方法で、窓内のボーリング・ボールの存在を決定する
際のノイズ効果を最小にする。窓は外側のガター・エッ
ジからゾーンを重複させながら検索される。これらのゾ
ーンは大きさが等しく、ボールの直径分だけ重複してい
る。もし異なる画像素子の全数が、５つのゾーンのいず
れも、検索中の窓のボーリング・ボール直径の1/3以下
であれば、ボーリング・ボールはこの走査線で検知され
る。定数を変えると、装置の感度も変わる。

ボーリング・ボールが一つの窓の中に検知されたとい
う結論に達するためには、ビデオ追跡装置（14）は、ボ
ールが検知線およびファール・ラインに近い検知線のす
ぐ下にある走査線上で見付かったことを明確にしなけれ
ばならない。この検知線は、窓の上部で、窓のほぼ1/4
の大きさだけ下方に位置している。しかしながら、窓
（80）は、ボーリング・ボールが検知線の走査線２本分
だけ下方に位置する走査線によって検知線上で検知され
なければならないという点で、他の窓（82〜94）とは別
に処理される。もしボールが検知されると、違った画像
素子の中で最大数を持つ線が基準線と比較する定数を用
いて再度検索され、ボーリング・ボールとの差を決定す
る。ボーリング・レーン（30,32）の反射性に対して低
い差を持つボーリング・ボールでは窓（82〜94）のデー
タを処理する前に定数をオフセットする。ビデオ追跡お
よび表示装置（10）は両方のボーリング・レーン（30,3
2）について同時にデータを追跡するので、時間多重化
により２つのボーリング・レーン（30,32）の処理が非
同期して完成される。

ビデオ追跡装置（14）はさらに、８つの窓凡てがメモ
リに記憶された後、それぞれの窓（80〜94）内にボーリ
ング・ボール位置を決定する。ビデオ追跡装置（14）
は、８つの窓のそれぞれについてボーリング・ボールの
走査線と画像素子位置を計算する。処理は、窓（80〜9
4）に対して走査線毎に行われる。ビデオ追跡装置（1
4）は、基準フレームと２次フレームとの間の差を比較
して、前記のグレー差閾値より大きい絶対値の差を捜
す。この検索は、特定の左限から始められ、ボール・セ
グメントを求めて、右方向に進める。ボール・セグメン
トは連続した多数の画像素子とされ、特定のグレー差レ
ベルを超過する。ボール・セグメントが位置付けされる
と、連続した第１の画像素子がボールの左端であること
を宣告する。この検索は繰り返され、右限から始めて左
方に進められる。ボール・セグメントが位置付けされる
と、この連続した第１の画像素子がボールの右端とな
る。この方法は窓の各走査線について繰り返され、各線
についてボールの左端と右端の表を作り上げる。

この方法は反復して続けられ、記憶データのノイズを
濾波する。ボーリング・レーン（30）の幅、ボール直径
の両端およびビデオ追跡装置（14）への外部入力と正の
オフセットによるグレー差の閾値の検索限界を用いて、
それぞれの窓（80〜94）を先ず通過する。得られた表か
ら、ボーリング・ボール（62,64）の最右端と最左端を
決定する。それぞれの窓の２次通過は、既に決定した両
端、大きなオフセットおよびボール半径に関する検索限
界を使って実行される。さらに、ボールの最左端と最右
端は予め設定されたオフセットのないグレー差閾値を用
いて求める。窓（80〜94）について最後の反復を実行す
る。使用する検索限界は、ボールの最左端と最右端、小
さいオフセット、およびボール半径である。グレー差の
基準レベルは、その前の閾値および負のオフセットであ
る。この反復により、位置の最終精度は大きくなるが、
ノイズ効果は最小に保持される。最後の通過で、ボール
の差も計測され、ボールが暗色か明色かを決定する。こ
の差の合計が負であるとすると、ボールは逆の差とな
り、明色ボールとなる。得られた最終端の表から、ボー
ル・セグメントを包含する第１の線に対して、表が検索
される。この線はボールの頂部であり、フレーム数に沿
ったこの線が、後で使用する時ボールの位置および速度
の計算を楽にする。

レーンの幅に沿ってボール位置を限定するのにボール
の左右または中央のいずれかを使用する。この値も、ビ
デオ追跡装置（14）に記憶した端部の表から求められ
る。もしボールの最右端がレーンおよびオフセットの左
端の左側に位置するとすると、この最右端が処理用に記
憶され、右端を示す「フラッグ」とされる。同様に、も
しボールの最左端がレーンおよびオフセットの右端の右
に位置するとすると、この最左端が処理用に記憶され、
左端を示す「フラッグ」とされる。第３の場合として、
左右の両端を平均化すると、ボールの中央部が得られ
る。この中央部が記憶され、ボールの中央部を示す「フ
ラッグ」も設定される。もしボールが最終位置情報を決
めた時に逆の差のボールとなったとすると、ボールのど
ちらの端が使用上より小さいかを決めるのにオフセット
が使用され、ボールの左端がレーンの左端と比較され
る。なぜならば、明色のボールと暗色のガダー間の差が
明色のレーン表面よりも大きいからである。同様にし
て、ボールがレーン右端に位置するとすると、ボールの
右端が使用される。

この全工程は、８つの窓（80〜94）のそれぞれについ
て繰り返される。

前述したように、ビデオ画像処理装置（18）は２つの
群の窓にあるボーリング・ボール（62）の速度を表示す
る。この速度は各窓間のボール位置間の直線距離と各位
置間の走行時間とを使って計算される。各窓間のビデオ
・フレーム数を合計して、時間間隔を計算する。ビデオ
・フレームは、例えば１秒間に30フレームというよう
な、ある速さで発生し、この時間間隔もまた種々の窓の
中の種々のビデオ走査線上に現われるボールによる時間
差として補正される。従って、ボーリング・ピン（44）
へのボールの入射角は窓（92,94）の中のボール位置に
基づいて計算される。ボール位置、速度および角度情報
がこの後電子式通信媒体（16）を介してビデオ画像処理
装置（18）に伝送される。

さて第９図を見ると、本発明に基づくビデオ追跡装置
（14）のブロック・ダイアグラムが図示されている。ビ
デオ・カメラ（12）は、例えばアナログ・ビデオ信号を
発信してビデオ・マルチプレキサ（100）に付与する標
準RS−170型ビデオ・カメラを包含する。ビデオ・カメ
ラ（12）の出力は、垂直および水平同期化信号を包含す
る複合ビデオ信号である。ビデオ・マルチプレキサ（10
0）の出力は、アナログ−デジタル変換器（102）に付与
され、この変換器（102）がデジタル・データを発信し
て、ビデオ・ランダム・アクセス・メモリ（VRAM;104）
に記憶させる。VRAM（104）は、前述した２つのメモリ
・サブシステムを包含し、ボーリング・レーン（30,3
2）のビデオ・カメラ（12）で捕えた基準フレームと２
次フレームのデータを貯蔵する。データは、256Kバイト
のVRAM（104）に記憶される。VRAM（104）はツー・ポー
ト・メモリで、並列モードでアクセスされるが、さらに
直列アクセス化もできる。直列モードは、デジタル・ビ
デオ・データをVRAM（104）に書き込むのに使用する。

VRAM（104）は、例えばインテル8344型中央処理装置
のようなコンピュータ（106）に相互接続される。コン
ピュータ（106）は基準フレームと２次フレーム間の比
較を実行して、フレーム内のボールの存在、ボール位
置、速度およびピン角度を決定する機能を果す。コンピ
ュータ（106）の出力は、電子式通信媒体（16）に付与
されて、ビデオ画像処理装置（18）に付加される。コン
ピュータ（106）の出力は、信号回線（118,120）を介し
て可変白黒基準電圧（122）に付与され、それぞれ信号
回線（126,128）を介して付与された最小（V_L）および
最大（V_H）出力電圧レベルをアナログ−デジタル変換器
（102）に設定するのに使用する。

VRAM（104）は、８つの直列シフト・レジスタを包含
し、それぞれが258ビットを有し、一つのボーリング・
レーンの最大幅を示すビデオ・データの走査線を記憶す
る。VRAM（104）は、８つの256ビット・シフト・レジス
タよりなる２次バンクを包含し、ボーリング・レーン
（30,32）を示すビデオ・データの走査線を記憶する。
コンピュータ（106）は、VRAM（104）の２次、並列ポー
トを介してVRAM（104）にアクセスする。VRAM（104）は
また、水平画像素子カウンタ／タイマ（132）と垂直カ
ウント／タイマ（134）からの入力を包含する。これら
のタイミング手段は、シフト・レジスタからの直列デー
タをVRAM（104）の並列セクションに変換するのに使用
する。ビデオ・マルチプレキサ（100）への入力は、ダ
イナミック電圧基準レベル（VR1;132,VR2;140）で、画
像素子のアナログ−デジタル変換の際使用する適格黒白
レベルを設定する。コンピュータ（106）は、信号回線
（142）を介してマルチプレキサ（100）の操作を制御す
る。

変換工程でアナログ−デジタル変換器によって使用さ
れる基準電圧（V_L,V_H）は、可変白黒基準電圧（122）を
使用し、可変である。この可変性によって、ビデオ追跡
装置（14）はビデオ・カメラ（12）の出力の経時変化が
補正できると共に、種々のカメラ（12）による操作の際
のこの装置（14）の補正が可能とされる。基準電圧（12
2）は、例えば電子式消去可能分圧器（EEpot）のような
可変電圧電源をアナログ−デジタル変換器（102）に使
用する各基準電圧（V_L,V_H）用に包含してもよい。

典型的アナログ−デジタル変換器は、線状転移函数を
用いて、アナログ信号をデジタル信号に変換する。この
変換は、次のような形をとる。

ｆ（Ｖ）＝Ｋ（Ｖ−V_L）／（V_H−V_L）（１）従って、ｆ（Ｖ）＝mV＋ｂ（２）となる。ここで、ｆ（Ｖ）：転移函数、Ｖ :A/D入力電圧、Ｋ :A/Dの可能出力数、 V_L ：最小基準電圧、 V_H ：最大基準電圧、 m,b ：定数、である。基準電圧（122）内の分圧器は、基準電圧（V_L,
V_H）を設定するのに使用するので、アナログ−デジタル
変換転移函数の限界は可変である。コンピュータ（10
6）によって直接調節自在の分圧器を使用することによ
り、装置（14）はこの転移函数の定数をダイナミックに
設定できる。変換された転移函数（式（２））の限界
は、２つの既知の電圧をデジタル化し、アナログ−デジ
タル変換器（102）を用い、次いで転移函数を計算する
ことによって決定できる。従って、コンピュータ（10
6）は、入力電圧をデジタル化し、こうして得られた変
換の値の限界を設定する。

基準電圧（V_L,V_H）は次のようにして調節する。マル
チプレキサ（100）が最大基準電圧の下限（VR1）、最小
基準電圧の上限（VR2）およびビデオ・カメラ（12）か
らアナログ−デジタル変換器（102）への入力電圧を設
定する。コンピュータ（106）の制御下で、マルチプレ
キサ（100）はVR1を選定し、次いでデジタル化して記憶
し、次にVR2を選定し、同様にデジタル化して記憶す
る。これらの値から、アナログ−デジタル変換の限界を
計算する。既知の環境の最明部分および最暗部分をデジ
タル化する。この最明および最暗部分が２つの既知の点
を限定し、本発明のビデオ追跡および表示装置（10）で
は、例えばレーンおよびピット部分であってもよい。し
かし、いずれの２つの部分もこのプロセスでは必要なも
のではあるが、必ずしも環境の最白または最黒レベルで
ある必要はない。これら２つの点の実際のデジタル当量
が、この後これらの点に所望される当量と比較される。

新しい所望の転移函数の定数が計算され、式（２）の
所望の勾配（ｍ）と載片（ｂ）となる。これらの値から
基準電圧（V_L,V_H）に対して必要な調節量が計算され、
基準電圧（V_L,V_H）が調節される。

従って、本発明は、移動する物体の全軌道を複数のセ
グメントまたは窓に分けるようなビデオ追跡および表示
装置を提供するものであることが分かった。窓内の移動
物体の位置は、ビデオ画像表示装置で検知され、表示さ
れる。全軌道の複数の部分だけが記憶されるので、本装
置の記憶貯蔵量は最小で済む。さらに、各窓のデータ
は、物体が窓内で検知されるまで各窓の同じメモリ内に
繰り返し記憶されるので、メモリ容量がまた最小で済
む。本発明に基づくビデオ追跡および表示装置は、さら
に使用者に物体の速度、位置および方向を表示する。

本発明は、特定の実施例についてのみ説明してきた
が、種々の変化、修正が当業者に示唆されていることを
理解し、このような変化および修正もまた記載された請
求項の範疇内にあるとすることを意図するものである。

【図面の簡単な説明】

本発明をさらに安全に理解し、その特徴を明確にするた
めに、以下の添付図面と併わせて、前記の詳細な説明を
引用されたい。第１図は、本発明に基づくビデオ追跡および表示装置の
ブロック・ダイアグラムである。第２図は、ボーリング・レーンに沿ったボーリング・ボ
ールの軌道の追跡に利用された、本発明に基づくビデオ
追跡および表示装置の透視図である。第３図は、第２図に図示したボーリング・レーンの側面
図である。第４図は、ボーリング・ボールの追跡に使用するため
の、本発明に基づくビデオ追跡および表示装置に付帯す
る「表示」を示す図である。第５図は、複数のフレームを通るボーリング・ボールの
追跡を系統的に示す図である。第6A図と第6B図は、一つのフレーム内のボーリング・ボ
ールの検知を示す概略図である。第7A図、第7B図および第7C図は、本発明によって実施さ
れたグレー・スケール処理を示す概略図である。第８図は、本発明によって実施されたグレー・スケール
処理を示す流れ図である。第９図は、第１図に示す、本発明に基づくビデオ追跡装
置のブロック・ダイアグラムである。添付図面において、 10……ビデオ追跡および表示装置、12……ビデオ・カメ
ラ、14……ビデオ追跡装置、16……電子式通信媒体、18
……ビデオ画像表示装置、30、32……ボーリング・レー
ン、44、58……ボーリング・ピン、62、64……ボーリン
グ・ボール、80、82、84、86、88、90、92、94……窓、
100……ビデオ・マルチプレキサ、102……アナログ−デ
ジタル変換器、104……VRAM（可変ランダム・アクセス
・メモリ）106……コンピュータ、122……可変白黒基準
電圧、 V_L……最小基準電圧、V_H……最大基準電圧、VR1……最
小基準電圧の下限、VR2……最大基準電圧の上限。

───────────────────────────────────────────────────── フロントページの続き (72)発明者トーマスマービンブーイアメリカ合衆国テキサス州 75080 ダラス郡、リチャードソン市、ウイスタリアウェイ、1313 (72)発明者マークフレドリックブレッシングアメリカ合衆国テキサス州 75075 コーリン郡、プラノ市、タウンブルッフ、ナンバー612 3101 (56)参考文献特開昭54−130829（ＪＰ，Ａ) 特開昭54−132122（ＪＰ，Ａ) 特開昭58−19236（ＪＰ，Ａ) 特開昭54−54515（ＪＰ，Ａ) 特開昭56−50682（ＪＰ，Ａ) 特開昭62−172820（ＪＰ，Ａ) 特開昭63−56073（ＪＰ，Ａ) 実開昭48−36969（ＪＰ，Ｕ) ＮＨＫ技研月報（昭和53年９月号）ｐ 25〜ｐ32，「モーショントレーサー」

Claims

(57)【特許請求の範囲】

【請求項１】本質的に静止した場面中を移動する運動物
体の、選ばれた別々の連続した画像を表示するための画
像処理装置であって、この装置が（イ）静止した場面のビデオ信号と、その中を移動する
物体を包含する静止した場面のビデオ信号とを発生し、
かつこれらの信号が静止した場面の画像をセグメントに
分けるのに用いられる複数の軌道追跡フレーム上で発生
するイメージ・センサと、（ロ）前記静止した場面からの、複数の軌跡追跡フレー
ムの内一つのビデオ信号を記憶する第１のメモリ手段
と、（ハ）その中を移動する物体を包含する静止した場面か
らの、複数の軌跡追跡フレーム全体のビデオ信号を記憶
する第２のメモリ手段であって、物体の存在を検知する
までの一定時間以上前記複数の軌道追跡フレームの画像
を記憶している手段と、（ニ）前記複数の軌道追跡フレームのそれぞれ内で物体
の存在を決定するために、基準画像素子閾値レベルを設
定して予め得られた位置で物体の先端を検知することに
よって、前記第１のメモリ手段に記憶した前記ビデオ信
号と前記第２のメモリ手段に記憶した前記ビデオ信号と
を、対応する軌道追跡フレーム毎に比較する手段と、（ホ）前記複数の軌道追跡フレームのそれぞれ内の物体
の位置を表示する手段であって、前記複数の軌道追跡フ
レームのそれぞれ内の物体の位置に相当する物体の画像
を包含する静止場面の仮想画像を表示する手段と、前記
複数の軌道追跡フレームの中の選ばれたフレーム間で移
動する物体の速度を表示する手段と、選ばれた基準点に
対する物体の位置を静止する場面内に表示する手段とを
包含する手段と、（ヘ）ビデオ信号をアナログからデジタル・フォーマッ
トに変換するアナログ−デジタル変換手段と、（ト）前記アナログ−デジタル変換手段に相互接続さ
れ、基準電圧を発生する手段と、さらに（チ）前記基準電圧をダイナミックに調節する手段とを包含することを特徴とするビデオ追跡および表示装
置。
【請求項２】ボーリング・レーンに沿った予め決められ
た位置で、ボーリング・ボールの画像を表示するため
の、ボーリング・ボール追跡および表示装置であって、
この装置が（イ）ボーリング・レーンのビデオ信号と、その中を移
動するボーリング・ボールを包含するボーリング・レー
ンのビデオ信号とを発生し、かつこれらの信号が、ボー
リングレーンの画像をセグメントに分けるのに用いられ
る複数の軌道追跡フレーム上で発生するイメージ・セン
サと、（ロ）前記ボーリング・レーンからの、複数の軌道追跡
フレームの内一つのビデオ信号を記憶する第１のメモリ
手段と、（ハ）その中を移動するボーリング・ボールを包含する
ボーリング・レーンからの、複数の軌道追跡フレーム全
体のビデオ信号を記憶する第２のメモリ手段と、（ニ）前記第１のメモリ手段に記憶したビデオ信号と、
前記第２のメモリ手段に記憶したビデオ信号とを対応す
る軌道追跡フレーム毎に比較し、それによって前記複数
の軌道追跡フレームのそれぞれ内のボーリング・ボール
の存在を決定する手段と、さらに（ホ）前記複数の軌道追跡フレームのそれぞれ内のボー
リング・ボールの位置を表示する手段とを包含することを特徴とするビデオ追跡および表示装
置。
【請求項３】特許請求の範囲第２項に記載の画像処理装
置であって、前記表示する手段がさらに、前記複数の軌
道追跡フレームのそれぞれ内のボーリング・ボールの位
置に相当するボーリング・ボールの画像を包含するボー
リング・レーンの仮想画像を表示する手段を包含するこ
とを特徴とするビデオ追跡および表示装置。
【請求項４】特許請求の範囲第２項に記載の画像処理装
置であって、前記表示する手段がさらに、前記複数の軌
道追跡フレーム中の選ばれたフレーム間で移動するボー
リング・ボールの速度を表示する手段を包含することを
特徴とするビデオ追跡および表示装置。
【請求項５】特許請求の範囲第２項に記載の画像処理装
置であって、前記表示する手段がさらに、ボーリング・
レーンに沿った選ばれた基準点に対するボーリング・ボ
ールの位置を表示する手段を包含することを特徴とする
ビデオ追跡および表示装置。
【請求項６】特許請求の範囲第２項に記載の画像処理装
置であって、前記比較する手段が基準画像素子閾値レベ
ルを設定して、前記複数の軌道追跡フレームのそれぞれ
内のボーリング・ボールの存在を決定する手段を包含す
ることを特徴とするビデオ追跡および表示装置。
【請求項７】特許請求の範囲第２項に記載の画像処理装
置であって、前記第２のメモリ手段がボーリング・ボー
ルの存在を検知するまでの一定時間以上前記複数の軌道
追跡フレームの画像を記憶していることを特徴とするビ
デオ追跡および表示装置。
【請求項８】特許請求の範囲第２項に記載の画像処理装
置であって、前記比較する手段が、前記複数の軌道追跡
フレームのそれぞれ内の予め決められた位置にあるボー
リング・ボールの先端を検知して、この複数の軌道追跡
フレームのそれぞれ内のボーリング・ボールの存在を決
定することを特徴とするビデオ追跡および表示装置。
【請求項９】本質的に静止した場面中を移動する物体の
軌道を表示する方法であって、この方法が（イ）静止した場面の画像をセグメントに分けるのに用
いられる複数の軌道追跡フレーム上の、前記静止した場
面の画像の内の一つを取り込む工程と、（ロ）前記静止した場面の複数の軌道追跡フレームに対
応する、複数の軌道追跡フレーム上の運動物体を包含す
る静止した場面の画像の全体を取り込む工程と、（ハ）前記静止した場面の複数の軌道追跡フレーム中の
基準フレームの画像を記憶する工程と、（ニ）複数の軌道追跡フレームのそれぞれを通って移動
する前記物体の画像を記憶する工程と、（ホ）前記複数の軌道追跡フレームのそれぞれを通って
移動する前記物体の画像を前記基準フレームの対応する
画像と比較する工程と、（ヘ）前記複数の軌道追跡フレームのそれぞれ内の前記
物体の存在を検知する工程と、（ト）前記軌道追跡フレームのそれぞれを通って移動す
る前記物体の画像を前記基準フレームの相当する画像と
の比較に基づいて、前記複数の軌道追跡フレームのそれ
ぞれ内の前記物体の位置を決定する工程と、さらに（チ）前記静止した場面の表示の上に、前記複数の軌道
追跡フレームのそれぞれ内の物体の位置を表示する工程
とを包含することを特徴とするビデオ追跡および表示方
法。
【請求項１０】特許請求の範囲第９項に記載の方法であ
って、前記基準フレームの画像を記憶する工程が、前記
静止した場面の複数の軌道追跡フレームのそれぞれ内の
画像を記憶して、前記物体が前記複数の軌道追跡フレー
ムを通って移動するにつれて前記基準フレームが前記複
数の軌道追跡フレーム中の第１の軌道追跡フレームから
前記静止した場面の複数の軌道追跡フレーム中の最後の
軌道追跡フレームまで移行し、それによって前記物体を
包含する各軌道追跡フレームを前記物体を包含しない各
軌道追跡フレームと比較する工程を包含することを特徴
とするビデオ追跡および表示方法。
【請求項１１】特許請求の範囲第10項に記載の方法であ
って、前記複数の軌道追跡フレーム中の一つを通って移
動する前記物体の画像を記憶する工程が、次に継続する
基準フレームの画像が記憶されるのと同時に起きること
を特徴とするビデオ追跡および表示方法。
【請求項１２】特許請求の範囲第９項に記載の方法であ
って、前記静止した場面がボーリング・レーンを包含
し、前記移動する物体がボーリング・ボールを包含し、
さらに前記表示が前記ボーリング．レーンに沿った選ば
れた位置における前記ボーリング・ボールの軌道の表示
を表示することを特徴とするビデオ追跡および表示方
法。