JP4436990B2 - Ball trajectory measuring device - Google Patents
Ball trajectory measuring device Download PDFInfo
- Publication number
- JP4436990B2 JP4436990B2 JP2001231303A JP2001231303A JP4436990B2 JP 4436990 B2 JP4436990 B2 JP 4436990B2 JP 2001231303 A JP2001231303 A JP 2001231303A JP 2001231303 A JP2001231303 A JP 2001231303A JP 4436990 B2 JP4436990 B2 JP 4436990B2
- Authority
- JP
- Japan
- Prior art keywords
- tanθ
- ccd camera
- ball
- target position
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、ボールの弾道を計測するための装置、特にゴルフボールの弾道の位置座標の計測に好適なボール弾道計測装置に関するものである。
【0002】
【従来の技術】
ゴルフボールの弾道計測装置としては、従来、以下に示すものが提案されている。すなわち、
(1)特開平6−323852号公報等において、シャッター機能付CCDカメラを用い、このCCDカメラにより撮影した画像データを演算部に取り込んで画像処理及びその他の演算処理を行い、変化の合った部分のみを多層メモリーに書き込むことで多層化画像を生成し、この多層化画像からボールの弾道を計測する装置が開示されている。
【0003】
(2)また特開2001−145718公報において、打撃位置の後方及びゴルフボールの飛行方向と垂直方向に設置された2台以上のCCDカメラを用い、打撃位置の後方のCCDカメラの画像データと飛行方向と垂直方向のCCDカメラの画像データとに基づき、上記と同様の処理を行いゴルフボールの弾道を計測する装置が開示されている。
【0004】
(3)その他、2台のCCDカメラを打撃位置の左右方向(水平方向かつゴルフボールの飛行方向に対して垂直方向)に設置し、左右方向から撮影された一対の画像データに基づいて三角測量法的手法によりゴルフボールの弾道を計測する装置も提案されている。
【0005】
【発明が解決しようとする課題】
上記(1)のボール弾道計測装置では、ゴルフボールの軌跡の観測は可能であるが、ゴルフボールの弾道の正確な位置座標が計測できない。
【0006】
上記(2)のボール弾道計測装置では、ある程度正確なゴルフボールの弾道の位置座標が計測できるが、ゴルフボールの全弾道を撮影するには、ゴルフボールの飛行方向と垂直方向に設置されるCCDカメラが多数台必要である。また、ボール弾道の位置座標の算出において、非常に大きな空間での校正が必要となり、困難である。さらに、ゴルフボールの飛行方向と垂直方向に設置されるCCDカメラは、ゴルフ場やボール弾道計測場の地理的関係上、ボールの飛行方向と垂直方向には距離を大きくとることが困難な場合が多く、通常はボールの飛行軌道に近接して設置される。従って、CCDカメラを上方に向けてゴルフボールの撮影が行われるため、例えば雲などの影響を受けて画像処理するのに十分な画像をとることが困難である。
【0007】
上記(3)のボール弾道計測装置では、打撃位置の左右方向に設置される2台のCCDカメラ間距離が小さいと、2台のCCDカメラのボールに対する交会角が小さくなるために精度が低下し、正確なボール弾道の位置座標の計測が困難である。逆に、左右方向の2台のCCDカメラ間距離を大きくとると、計測精度は向上するが、ゴルフボールが遠ざかるほど精度が低下し、しかもボール弾道の位置座標の算出において大きな空間での校正が必要となる。
【0008】
本発明はこれらの不都合に鑑みてなされたものであり、CCDカメラの設置が容易で、天候等に左右されずに安定して計測でき、さらに校正が容易で、飛行するボールの位置座標の時系列データを精度よく計測できるボール弾道計測装置の提供を目的とするものである。
【0009】
【課題を解決するための手段】
上記課題を解決するためになされた発明は、(a)打撃位置と目標位置とを結ぶ直線上であって、打撃位置の後方及び目標位置の前方に設置する少なくとも2台のCCDカメラと、(b)これらのCCDカメラによる撮影のタイミングを制御する制御部と、(c)これらのCCDカメラで同時に撮影された一対の画像データとCCDカメラの位置、光軸方向及び画角とに基づいて三角測量法的手法によりボールの位置座標を演算する演算部とを備えるボール弾道計測装置である。ここで、「目標位置」とは、ボールの落下点の目標位置を意味する。また、「前方」とは打撃位置を基準とした目標位置方向を意味し、「後方」とはその反対方向を意味する。
【0010】
当該ボール弾道計測装置によれば、打撃位置と目標位置とを結ぶ直線上の打撃位置後方及び目標位置前方にCCDカメラを設置することから、CCDカメラの設置が容易である。また、打撃位置後方のCCDカメラと目標位置前方のCCDカメラとの距離が確保でき、かつ、画面内でのボールの移動速度が精度及び画像認識の面(つまり、移動速度が速すぎると画像認識が低下し、逆に、移動速度が遅すぎると精度が低下する)で適当な速度となるため、計測精度が向上する。さらに、飛行方向に対して垂直方向にCCDカメラを設置する場合と比較してCCDカメラの仰角があまり大きくならないため、天候に左右されず、ボール像が鮮明で安定した画像を得ることができる。また、CCDカメラが飛行方向と略同一直線上に位置することから、ボール弾道の位置座標の校正が容易にできる。
【0011】
上記演算部において、打撃位置後方のCCDカメラ及び目標位置前方のCCDカメラの光軸方向及び画角とこれらのCCDカメラで同時に撮影された一対の画像データとに基づいて、打撃位置後方のCCDカメラの位置におけるボールの仰角θ1と、目標位置前方のCCDカメラの位置におけるボールの仰角θ2とを算出し、
この仰角θ1、仰角θ2及び打撃位置後方のCCDカメラと目標位置前方のCCDカメラとの間の距離Lから、打撃位置の後方のCCDカメラの位置を原点、目標位置方向の座標をX、高さ方向の座標をZとする二次元位置座標を、
X=L*tanθ2/(tanθ1+tanθ2)・・・(1)
Z=L*tanθ1*tanθ2/(tanθ1+tanθ2)・・・(2)
上記数式(1)及び(2)により算出するとよい。
【0012】
このように、打撃位置後方のCCDカメラ及び目標位置前方のCCDカメラで同時に撮影した一対の画像データ等に基づいてその時点のボールの仰角θ1、θ2を算出し、これらの仰角を上記数式(1)及び(2)に代入することで、二次元位置座標X、Zを算出できる。従って、上記演算を各時点における一対の画像データに基づいて行うことで、ボールの位置座標の時系列データを得ることができる。
【0013】
また、上記演算部において、打撃位置後方のCCDカメラ及び目標位置前方のCCDカメラの光軸方向及び画角とこれらのCCDカメラで同時に撮影された一対の画像データとに基づいて、打撃位置後方のCCDカメラの位置におけるボールの仰角θ11と、目標位置前方のCCDカメラの位置におけるボールの仰角θ21と、打撃位置後方のCCDカメラの位置におけるボールの左右方向角θ12と、目標位置前方のCCDカメラの位置におけるボールの左右方向角θ22とを算出し、
この仰角θ11、仰角θ21、左右方向角θ12、左右方向角θ22及び打撃位置後方のCCDカメラと目標位置前方のCCDカメラとの間の距離Lから、打撃位置後方のCCDカメラの位置を原点、目標位置方向の座標をX、高さ方向の座標をZ、左右方向の位置をYとする三次元位置座標を、
Y=L*tanθ12*tanθ22/(tanθ12+tanθ22)・・・(3)
(tanθ11*tanθ11+tanθ21*tanθ21)*X*X
+2*tanθ21*tanθ21*L*X
+(tanθ11*tanθ11−tanθ21*tanθ21)*Y*Y
−tanθ21*tanθ21*L*L=0・・・(4)
tanθ11*tanθ11*(X*X+Y*Y)−Z*Z=0・・・(5)
上記数式(3)、(4)及び(5)により算出するとよい。ここで、「左右方向」とは打撃位置後方のCCDカメラを基準とした目標位置方向に対する垂直方向を意味し、「左右方向角」とはこの目標位置方向を基準とした左右方向への方向角を意味する。
【0014】
このように、打撃位置後方のCCDカメラ及び目標位置前方のCCDカメラで同時に撮影した一対の画像データとCCDカメラの光軸方向及び画角に基づいて算出した仰角θ11、仰角θ21、左右方向角θ12、左右方向角θ22を上記数式(3)、(4)及び(5)に代入することで、目標位置方向に対する左右方向へのブレを考慮した三次元位置座標X、Y、Zの時系列データを得ることができる。
【0015】
上記打撃位置後方のCCDカメラと目標位置前方のCCDカメラとの間の距離Lとしてはボールの飛距離の1.2倍以上が好ましい。CCDカメラ間距離Lを飛距離の1.2倍以上とすることで、CCDカメラの光軸の仰角を抑え、得られる画像への天候の影響を低減することができる。
【0016】
【発明の実施の形態】
以下、適宜図面を参照しつつ本発明の実施の形態を詳説する。図1は本発明の一実施形態に係るボール弾道計測装置を示す概略構成図、図2は図1のボール弾道計測装置によるボール弾道の二次元位置座標の計測方法を説明する模式的側面図、図3は図1のボール弾道計測装置によるボール弾道の三次元位置座標の計測方法を説明する模式的斜視図、図4〜図7は図1のボール弾道計測装置によるボール弾道の撮影形態を説明するボール弾道側面図である。
【0017】
図1のボール弾道計測装置は、ゴルフボールの弾道の位置座標を計測するものであり、CCDカメラ1、2と記録部3、4とコンピュータ部5とトリガー部6と同期信号発生部7とハブ8とケーブル補償器9とモニター10とを備える。これらの構成要素のうち、コンピュータ部5とトリガー部6と同期信号発生器7とが上記制御部を構成し、記録部3、4とコンピュータ部5とが上記演算部を構成する。すなわち、コンピュータ部5は上記制御部と演算部との双方を兼ね備えているが、機能別のコンピュータ部を併設することも可能である。
【0018】
CCDカメラ1は、シャッター機能付のものであり、図2に示すように、打撃位置Aと目標位置Bとを結ぶ直線上であって、打撃位置Aの後方に設置されている。このCCDカメラ1の光軸は目標位置B方向に向けられている。従って、このCCDカメラ1により、飛行しているゴルフボールを後方から撮影し、連続した画像データが取得される。
【0019】
CCDカメラ2も、上記CCDカメラ1と同様のシャッター機能付のものであり、図2に示すように、打撃位置Aと目標位置Bとを結ぶ直線上であって、目標位置Bの前方に設置されている。このCCDカメラ2の光軸は打撃位置A方向に向けられている。従って、このCCDカメラ2により、飛行しているゴルフボールを前方から撮影し、連続した画像データが取得される。
【0020】
上記CCDカメラ1とCCDカメラ2とは、同期信号発生器7から発せられる同期信号によって同期して撮影され、同時に撮影された一対の画像データを取得することができる。なお、CCDカメラ1、2は、少なくとも各1台設置すればよく、光軸方向(仰角)を変えて複数台設置してもよい。
【0021】
記録部3は、打撃位置A後方のCCDカメラ1により撮影した画像データをフレーム毎に記録する。一方、記録部4は、目標位置B前方のCCDカメラ2により撮影された画像データをフレーム毎に記録する。この記録部3及び記録部4としては、特に限定されず、例えばタイムプラスVTR、デジタルディスクレコーダー、動画ボード等が用いられる。
【0022】
記録部3及び記録部4に記録されたCCDカメラ1及びCCDカメラ2のフレーム毎の画像データを同期させる手段としては、
(1)フレーム同期のとれる動画ボードを使用する、
(2)フレーム同期のとれるデジタルディスクレコーダーを使用する、
(3)タイムプラスVTRを用い、これに記録開始時に黒画面信号等を送り、記録された黒画面等に基づいてコンピュータ部5での演算処理上でフレーム同期をとる、
(4)同様のタイムプラスVTRを用い、さらにタイムコードジェネレータを備え、このタイムコードジェネレータから送られるフレーム番号信号をフレームデータと同時に記録する
等の手段が採用される。
【0023】
なお、上記(3)の手段において、黒画面信号を送信する方法としては、CCDカメラ1、2と記録部3、4との間に黒画面を作成する装置を別途連結し、この装置から記録部3、4に同時に黒画面信号を送信する方法などがあり、オートアイリス機能を有しないCCDカメラ1、2の場合には直接CCDカメラ1、2に黒画面信号を送信する方法がある。
【0024】
トリガー部6は、計測(記録)開始信号としてのトリガー信号を発生させるものであり、具体的には遮光型光学センサなどのセンサを備えている。このセンサは、打撃位置Aの近傍に設けられ、ゴルフクラブの通過又は打撃されたゴルフボールの通過を検知するよう構成されている。このように、ゴルフボールの打撃を検知すると、トリガー部6からコンピュータ部5にトリガー信号が送信され、コンピュータ部5から記録部3、4に対して記録を開始するよう制御信号が送信される。
【0025】
コンピュータ部5は、記録部3、4に対して記録開始又は停止を制御する制御手段、記録部3、4に記録されたフレーム毎の画像データを画像処理する画像処理手段、画像処理済みの画像データに基づきゴルフボールの位置座標を演算する演算手段などを有している。従って、この制御手段が上記制御部に属し、画像処理手段及び演算手段が上記演算部に属する。
【0026】
上記画像処理手段は、記録部3、4に記録されている画像データをフレーム順に差分ピークホールド演算を行う。具体的には、各フレームメモリーの画素のうち変化のあったピークの画素メモリーのみをホールドし、変化のないメモリーを消去する。ゴルフボール像は背景よりも白く、濃淡判定で最も白い部分となることから、この画像処理によって背景が消去され、ゴルフボール像のみが残存する画像データを生成することができる。
【0027】
演算手段としては、(a)打撃位置の後方のCCDカメラ1の位置を原点、目標位置方向の座標をX、高さ方向の座標をZとする二次元位置座標を演算する場合と、(b)この二次元位置座標に左右方向の位置Yを加えた三次元位置座標を演算する場合がある。
【0028】
まず、図2を参照しつつ二次元位置座標の演算を説明する。この二次元位置座標の演算は、ゴルフボールCの仰角を算出するステップと、二次元位置座標を算出するステップとを有する。仰角算出ステップは、CCDカメラ1、2により同時に撮影された画像処理済みの一対のフレームデータを用い、これらのフレームデータに対して水平走査による白黒反転判定を行うことでゴルフボール像の画像上の上下位置を検出し、この検出結果と撮影時のCCDカメラ1、2の光軸方向(仰角)及び画角とに基づいて、打撃位置後方のCCDカメラ1の位置におけるゴルフボールCの仰角θ1と、目標位置前方のCCDカメラ2の位置におけるゴルフボールCの仰角θ2とを算出する。
【0029】
二次元位置座標算出ステップは、上記仰角算出ステップで算出した仰角θ1、仰角θ2及びCCDカメラ1とCCDカメラ2との間の距離Lを、
X=L*tanθ2/(tanθ1+tanθ2)・・・(1)
Z=L*tanθ1*tanθ2/(tanθ1+tanθ2)・・・(2)
上記数式(1)及び(2)に代入し、ゴルフボールCの二次元位置座標X、Zを算出する。
【0030】
図2に示すCCDカメラ1、CCDカメラ2、ゴルフボールC及びゴルフボールCから降ろされた垂線の足を頂点とする2つの直角三角形から、
tanθ1=Z/X
tanθ2=Z/(L−X)
が導かれ、この連立方程式からX、Zを導くことで、上記数式(1)及び(2)を得ることができる。
【0031】
上記二次元位置座標の演算を連続して同時に撮影された一対のフレームデータ毎に行うことで、ゴルフボールCの弾道の時系列二次元位置座標を得ることができる。
【0032】
次に、図3を参照しつつ三次元位置座標の演算を説明する。この三次元位置座標の演算は、ゴルフボールCの仰角及び左右方向角を算出するステップと、三次元座標を算出するステップとを有する。仰角・左右方向角算出ステップは、CCDカメラ1、2により同時に撮影された画像処理済みの一対のフレームデータを用い、これらのフレームデータに対して水平走査及び垂直走査による白黒反転判定を行うことでゴルフボール像の画像上の上下及び左右位置を検出し、この検出結果と撮影時のCCDカメラ1、2の光軸方向(仰角)及び画角とに基づいて、CCDカメラ1の位置におけるゴルフボールCの仰角θ11と、CCDカメラ2の位置におけるゴルフボールCの仰角θ21と、CCDカメラ1の位置におけるゴルフボールCの左右方向角θ12と、CCDカメラ2の位置におけるゴルフボールCの左右方向角θ22とを算出する。
【0033】
三次元座標算出ステップは、上記仰角・左右方向角算出ステップで算出された仰角θ11、仰角θ21、左右方向角θ12、左右方向角θ22及びCCDカメラ1、2間距離Lを、
Y=L*tanθ12*tanθ22/(tanθ12+tanθ22)・・・(3)
(tanθ11*tanθ11+tanθ21*tanθ21)*X*X
+2*tanθ21*tanθ21*L*X
+(tanθ11*tanθ11−tanθ21*tanθ21)*Y*Y
−tanθ21*tanθ21*L*L=0・・・(4)
tanθ11*tanθ11*(X*X+Y*Y)−Z*Z=0・・・(5)
上記数式(3)、(4)及び(5)に代入し、ゴルフボールCの三次元位置座標X、Y、Zを算出する。
【0034】
上記三次元位置座標の演算を連続して同時に撮影された一対のフレームデータ毎に行うことで、ゴルフボールCの弾道の時系列三次元位置座標を得ることができる。
【0035】
上記構造のボール弾道計測装置によれば、打撃位置A後方に設置されたCCDカメラ1と、目標位置B前方に設置されたCCDカメラ2と、これらのCCDカメラ1、2の撮影のタイミングを制御する制御部とによって飛行方向の前後からゴルフボールCが同時に撮影された一対の画像データを取得し、演算部により上記画像処理及び演算処理を行うことで、ゴルフボールCの弾道の時系列二次元位置座標又は三次元位置座標を得ることができる。従って、従来のボール弾道計測装置と比較して、CCDカメラの設置及び校正が容易であり、高い精度の位置座標を計測することができる。
【0036】
CCDカメラ1とCCDカメラ2との間の距離Lの下限としてはゴルフボールCの飛距離の1.2倍が好ましく、1.5倍が特に好ましい。このようにCCDカメラ1、2間距離Lを上記下限以上とすることで、CCDカメラ1、2の光軸方向の仰角を抑え、得られる画像への天候の影響を低減することができる。一方、CCDカメラ1、2間距離Lの上限としてはゴルフボールCの飛距離の3倍が好ましく、2倍が特に好ましい。これは、CCDカメラ1、2間距離Lが上記上限を超えると、ゴルフボールCの仰角が小さくなり、計測精度が低下してしまうことからである。
【0037】
CCDカメラ1、2の地上高は3m以内が好ましい。これは、CCDカメラ1、2の地上高が3mを超えると、打ち出し点付近や落下点付近の計測が困難になり、地上高による位置座標の補正に伴う誤差が増大してしまうためである。
【0038】
次に、CCDカメラ1、2によるゴルフボールCの弾道の撮影形態を図4〜図7に従って説明する。図4の撮影形態は、CCDカメラ1、2を各1台ずつ設置する場合である。ゴルフボールCを画像処理可能な程度に明確に撮影する必要があるため、CCDカメラ1、2の画角には所定の制限があり、あまり広角にすることができない。そのため、CCDカメラ1、2を1台づつ設置する場合、図4に示すように、ゴルフボールCの弾道のうち目的の部分、例えば最高点付近、打ち出し位置付近又は落下点付近のみを撮影する。この撮影形態では、ゴルフボールCの弾道のうち目的部分のみの位置座標が計測され、この部分の位置座標を用いて全弾道のシュミレーションも可能である。
【0039】
図5の撮影形態は、CCDカメラ1、2を各3台ずつ設置し、ゴルフボールCの弾道のうち特定の三個所、例えば最高点付近、打ち出し位置付近、落下点付近を撮影する。この撮影形態によれば、1台ずつ設置する場合よりもさらに詳しい弾道の位置座標を計測することができ、全弾道のシュミレーションもより正確な推定が可能になる。
【0040】
図6の撮影形態は、CCDカメラ1、2をそれぞれ多数台設置し、ゴルフボールCの全ての弾道を撮影する。最も正確にゴルフボールCの全弾道の位置座標を計測することができる。
【0041】
図7の撮影形態は、各1台ずつのCCDカメラ1、2を光軸方向の仰角が変更可能な雲台に設置し、ゴルフボールCの飛行に伴ってCCDカメラ1、2の光軸方向の仰角を変え、全弾道を撮影する。この撮影形態にっても全弾道の位置座標を計測することができる。この撮影形態において、CCDカメラ1、2の光軸方向の仰角変更方法としては、(a)ゴルフボールCの弾道を予測し、適切に撮影できるよう予め指定したデータに基づき変更する方法、(b)撮影された画像データから演算部によって位置座標を逐次計測し、その計測結果からゴルフボールCの移動方向を予測して自動で変更する方法等がある。自動でCCDカメラ1、2の光軸方向を変更する場合、光軸方向の仰角又は変化量を演算部にフィードバックする必要がある。
【0042】
また、CCDカメラ1、2としてズーム機能を備えたものを用いるとよい。かかるズーム機能によって画像を拡大、縮小することで、より鮮明にゴルフボールCを撮影することができ、位置座標の計測の精度を向上させることができる。かかるCCDカメラ1、2のズームの変更方法としては、(a)ゴルフボールCの弾道を予測し、適切な撮影状態となるよう予め指定したデータに基づき変更する方法、(b)撮影された画像データから演算部によって位置座標を逐次計測し、その計測結果からゴルフボールCの移動方向を予測して自動で変更する方法等がある。なお、このズーム機能は、各1台のCCDカメラ1、2が近距離から遠距離まで撮影する必要がある図7の撮影形態の場合に有効である。自動でズームを変更する場合、CCDカメラ1、2の画角を演算部にフィードバックする必要がある。
【0043】
さらに、CCDカメラ1、2としてオートアイリス機能(自動絞り機能)を備えたものを用いるとよい。撮影の際、天候等の変化によりゴルフボールCと背景との光のコントラストが変化しても、ゴルフボールCが鮮明に撮影されるように自動で絞りが調節され、計測に最適な画像データを取得することができる。
【0044】
なお、本発明のボール弾道計測装置は、上記実施形態に限定されるものではなく、例えばシャッター機能のないCCDカメラ1、2を使用することも可能である。
【0045】
【発明の効果】
以上説明したように、本発明のボール弾道計測装置によれば、計測に用いるCCDカメラの設置が容易であり、かつ、天候等に左右されずに安定して計測できる。さらに、校正が容易で、飛行するボールの位置座標の時系列データを精度よく計測できる。その結果、打ち出されたボールの揚力係数、抗力係数等の解析が可能となり、例えばゴルフボールの設計に有効にフィードバックすることができる。
【図面の簡単な説明】
【図1】図1は、本発明の一実施形態に係るボール弾道計測装置を示す概略構成図である。
【図2】図2は、図1のボール弾道計測装置によるボール弾道の二次元位置座標の計測方法を説明する模式的側面図である。
【図3】図3は、図1のボール弾道計測装置によるボール弾道の三次元位置座標の計測方法を説明する模式的斜視図である。
【図4】図4は、図1のボール弾道計測装置によるボール弾道の一撮影形態を説明するボール弾道側面図である。
【図5】図5は、図1のボール弾道計測装置によるボール弾道の一撮影形態を説明するボール弾道側面図である。
【図6】図6は、図1のボール弾道計測装置によるボール弾道の一撮影形態を説明するボール弾道側面図である。
【図7】図7は、図1のボール弾道計測装置によるボール弾道の一撮影形態を説明するボール弾道側面図である。
【符号の説明】
1・・・CCDカメラ
2・・・CCDカメラ
3・・・記録部
4・・・記録部
5・・・コンピュータ部
6・・・トリガー部
7・・・同期信号発生部
8・・・ハブ
9・・・ケーブル補償器
10・・・モニター
A・・・打撃位置
B・・・目標位置
C・・・ゴルフボール
X・・・目標位置方向の位置座標
Z・・・高さ方向の位置座標
Y・・・左右方向の位置座標[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus for measuring the trajectory of a ball, and more particularly to a ball trajectory measuring apparatus suitable for measuring the position coordinates of the trajectory of a golf ball.
[0002]
[Prior art]
As a golf ball trajectory measuring device, conventionally, the following devices have been proposed. That is,
(1) In Japanese Patent Laid-Open No. 6-323852 and the like, a CCD camera with a shutter function is used, image data photographed by this CCD camera is taken into an arithmetic unit, and image processing and other arithmetic processing are performed. An apparatus is disclosed in which a multi-layered image is generated by writing only in a multi-layer memory, and a ball trajectory is measured from the multi-layered image.
[0003]
(2) Also, in Japanese Patent Laid-Open No. 2001-145718, using two or more CCD cameras installed behind the hitting position and in the direction perpendicular to the flight direction of the golf ball, image data and flight of the CCD camera behind the hitting position An apparatus for measuring the trajectory of a golf ball by performing the same processing as described above based on the direction and the image data of the CCD camera in the vertical direction is disclosed.
[0004]
(3) In addition, two CCD cameras are installed in the left-right direction (horizontal direction and perpendicular to the flight direction of the golf ball) of the hitting position, and triangulation is performed based on a pair of image data taken from the left-right direction. An apparatus for measuring the trajectory of a golf ball by a legal method has also been proposed.
[0005]
[Problems to be solved by the invention]
With the ball trajectory measuring device of (1) above, the trajectory of the golf ball can be observed, but the exact position coordinates of the golf ball trajectory cannot be measured.
[0006]
In the ball trajectory measuring device of the above (2), the position coordinates of the trajectory of the golf ball can be measured to a certain degree. However, in order to photograph the entire trajectory of the golf ball, the CCD installed in the direction perpendicular to the flight direction of the golf ball A large number of cameras are required. Further, calculation of the position coordinates of the ball trajectory requires calibration in a very large space and is difficult. Furthermore, a CCD camera installed in a direction perpendicular to the flight direction of the golf ball may have difficulty in increasing the distance in the direction perpendicular to the flight direction of the ball due to the geographical relationship between the golf course and the ball trajectory measurement field. Many are usually placed close to the flight trajectory of the ball. Therefore, since the golf ball is photographed with the CCD camera facing upward, it is difficult to take an image sufficient for image processing due to the influence of, for example, clouds.
[0007]
In the ball trajectory measuring device of (3) above, if the distance between the two CCD cameras installed in the left-right direction of the hitting position is small, the intersection angle of the two CCD cameras with respect to the ball becomes small, so the accuracy decreases. It is difficult to accurately measure the position coordinates of the ball trajectory. Conversely, if the distance between the two CCD cameras in the left-right direction is increased, the measurement accuracy is improved, but the accuracy decreases as the golf ball moves further away, and calibration in a large space is required in calculating the position coordinates of the ball trajectory. Necessary.
[0008]
The present invention has been made in view of these disadvantages. The CCD camera can be easily installed, can be stably measured regardless of the weather, etc., and can be easily calibrated. The object is to provide a ball trajectory measuring device capable of measuring series data with high accuracy.
[0009]
[Means for Solving the Problems]
The invention made in order to solve the above-described problems includes (a) at least two CCD cameras installed on the straight line connecting the striking position and the target position, behind the striking position and in front of the target position; b) a control unit for controlling the timing of photographing by these CCD cameras, and (c) a triangle based on a pair of image data photographed simultaneously by these CCD cameras and the position, optical axis direction and angle of view of the CCD camera. It is a ball trajectory measuring device provided with the calculating part which calculates the position coordinate of a ball | bowl by a surveying method. Here, the “target position” means the target position of the ball drop point. Further, “front” means a target position direction based on the hitting position, and “rearward” means the opposite direction.
[0010]
According to the ball trajectory measuring device, since the CCD camera is installed behind and ahead of the target position on a straight line connecting the hit position and the target position, the CCD camera can be easily installed. In addition, the distance between the CCD camera behind the strike position and the CCD camera ahead of the target position can be secured, and the moving speed of the ball within the screen is in terms of accuracy and image recognition (that is, if the moving speed is too fast, image recognition is performed). On the other hand, if the moving speed is too slow, the accuracy is reduced), and the measurement speed is improved. Furthermore, since the elevation angle of the CCD camera is not so large as compared with the case where the CCD camera is installed in a direction perpendicular to the flight direction, a clear and stable image can be obtained regardless of the weather. In addition, since the CCD camera is positioned substantially on the same straight line as the flight direction, the position coordinates of the ball trajectory can be easily calibrated.
[0011]
Based on the optical axis direction and angle of view of the CCD camera behind the strike position and the CCD camera ahead of the target position and a pair of image data photographed simultaneously by these CCD cameras in the calculation unit, the CCD camera behind the strike position And calculate the elevation angle θ 1 of the ball at the position of and the elevation angle θ 2 of the ball at the position of the CCD camera ahead of the target position,
From this elevation angle θ 1 , elevation angle θ 2 and the distance L between the CCD camera behind the strike position and the CCD camera ahead of the target position, the position of the CCD camera behind the strike position is the origin, and the coordinates in the target position direction are X, Two-dimensional position coordinates with Z in the height direction,
X = L * tanθ 2 / (tanθ 1 + tanθ 2 ) (1)
Z = L * tanθ 1 * tanθ 2 / (tanθ 1 + tanθ 2 ) (2)
It is good to calculate by said numerical formula (1) and (2).
[0012]
As described above, the elevation angles θ 1 and θ 2 of the ball at that time are calculated based on a pair of image data photographed simultaneously by the CCD camera behind the hitting position and the CCD camera ahead of the target position, and these elevation angles are calculated according to the above formula. By substituting into (1) and (2), the two-dimensional position coordinates X and Z can be calculated. Therefore, the time series data of the position coordinates of the ball can be obtained by performing the above calculation based on a pair of image data at each time point.
[0013]
Further, in the calculation unit, based on the optical axis direction and angle of view of the CCD camera behind the strike position and the CCD camera ahead of the target position and a pair of image data photographed simultaneously by these CCD cameras, The elevation angle θ 11 of the ball at the CCD camera position, the elevation angle θ 21 of the ball at the CCD camera position in front of the target position, the lateral angle θ 12 of the ball at the CCD camera position behind the hit position, and the forward position of the target position Calculate the left-right angle θ 22 of the ball at the position of the CCD camera;
From the elevation angle θ 11 , elevation angle θ 21 , left-right direction angle θ 12 , left-right direction angle θ 22, and distance L between the CCD camera behind the strike position and the CCD camera ahead of the target position, the position of the CCD camera behind the strike position Is the origin, the coordinate in the target position direction is X, the coordinate in the height direction is Z, and the position in the left-right direction is Y,
Y = L * tanθ 12 * tanθ 22 / (tanθ 12 + tanθ 22 ) (3)
(Tanθ 11 * tanθ 11 + tanθ 21 * tanθ 21 ) * X * X
+ 2 * tanθ 21 * tanθ 21 * L * X
+ (Tanθ 11 * tanθ 11 −tanθ 21 * tanθ 21 ) * Y * Y
-Tanθ 21 * tan θ 21 * L * L = 0 (4)
tanθ 11 * tan θ 11 * (X * X + Y * Y) −Z * Z = 0 (5)
It is good to calculate by said numerical formula (3), (4) and (5). Here, “left / right direction” means a direction perpendicular to the target position direction with respect to the CCD camera behind the hitting position, and “left / right direction angle” means a direction angle in the left / right direction with reference to the target position direction. Means.
[0014]
As described above, the elevation angle θ 11 , elevation angle θ 21 , left-right direction calculated based on the pair of image data simultaneously captured by the CCD camera behind the hitting position and the CCD camera ahead of the target position, the optical axis direction and the angle of view of the CCD camera. By substituting the angle θ 12 and the left-right direction angle θ 22 into the above formulas (3), (4), and (5), the three-dimensional position coordinates X, Y, Z taking into account the lateral blur with respect to the target position direction Can be obtained.
[0015]
The distance L between the CCD camera behind the hitting position and the CCD camera ahead of the target position is preferably 1.2 times or more the ball flight distance. By making the distance L between the CCD cameras 1.2 times or more of the flight distance, the elevation angle of the optical axis of the CCD camera can be suppressed and the influence of the weather on the obtained image can be reduced.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate. FIG. 1 is a schematic configuration diagram illustrating a ball trajectory measuring apparatus according to an embodiment of the present invention, and FIG. 2 is a schematic side view illustrating a method for measuring a two-dimensional position coordinate of a ball trajectory by the ball trajectory measuring apparatus of FIG. FIG. 3 is a schematic perspective view for explaining a method for measuring the three-dimensional position coordinates of the ball trajectory by the ball trajectory measuring apparatus of FIG. 1, and FIGS. 4 to 7 are diagrams for explaining the shooting mode of the ball trajectory by the ball trajectory measuring apparatus of FIG. FIG.
[0017]
The ball trajectory measuring device of FIG. 1 measures the position coordinates of the trajectory of a golf ball, and includes a
[0018]
The
[0019]
The
[0020]
The
[0021]
The
[0022]
As means for synchronizing the image data for each frame of the
(1) Use a video board with frame synchronization.
(2) Use a digital disk recorder with frame synchronization.
(3) A time plus VTR is used, and a black screen signal or the like is sent to the time plus VTR at the start of recording. Based on the recorded black screen or the like, frame synchronization is performed on arithmetic processing in the computer unit 5;
(4) Means such as using the same time plus VTR, further including a time code generator, and recording a frame number signal sent from the time code generator simultaneously with the frame data are adopted.
[0023]
In the means of (3) above, as a method of transmitting the black screen signal, a device for creating a black screen is separately connected between the
[0024]
The
[0025]
The computer unit 5 includes a control unit that controls recording start or stop for the
[0026]
The image processing means performs a difference peak hold calculation on the image data recorded in the
[0027]
As a calculation means, (a) when calculating a two-dimensional position coordinate where the position of the
[0028]
First, the calculation of two-dimensional position coordinates will be described with reference to FIG. The calculation of the two-dimensional position coordinates includes a step of calculating the elevation angle of the golf ball C and a step of calculating the two-dimensional position coordinates. The elevation angle calculating step uses a pair of image-processed frame data photographed simultaneously by the
[0029]
In the two-dimensional position coordinate calculation step, the elevation angle θ 1 , the elevation angle θ 2 calculated in the elevation angle calculation step, and the distance L between the
X = L * tanθ 2 / (tanθ 1 + tanθ 2 ) (1)
Z = L * tanθ 1 * tanθ 2 / (tanθ 1 + tanθ 2 ) (2)
Substituting into the above formulas (1) and (2), the two-dimensional position coordinates X and Z of the golf ball C are calculated.
[0030]
From the
tanθ 1 = Z / X
tanθ 2 = Z / (L−X)
Is derived, and the above equations (1) and (2) can be obtained by deriving X and Z from the simultaneous equations.
[0031]
By performing the above-described calculation of the two-dimensional position coordinates for each pair of frame data captured simultaneously in succession, the time-series two-dimensional position coordinates of the trajectory of the golf ball C can be obtained.
[0032]
Next, the calculation of the three-dimensional position coordinates will be described with reference to FIG. The calculation of the three-dimensional position coordinates includes a step of calculating the elevation angle and the left-right direction angle of the golf ball C, and a step of calculating the three-dimensional coordinates. The elevation angle / left-right direction angle calculation step uses a pair of image-processed frame data photographed simultaneously by the
[0033]
The three-dimensional coordinate calculation step includes the elevation angle θ 11 , the elevation angle θ 21 , the left-right direction angle θ 12 , the left-right direction angle θ 22 and the distance L between the
Y = L * tanθ 12 * tanθ 22 / (tanθ 12 + tanθ 22 ) (3)
(Tanθ 11 * tanθ 11 + tanθ 21 * tanθ 21 ) * X * X
+ 2 * tanθ 21 * tanθ 21 * L * X
+ (Tanθ 11 * tanθ 11 −tanθ 21 * tanθ 21 ) * Y * Y
-Tanθ 21 * tan θ 21 * L * L = 0 (4)
tanθ 11 * tan θ 11 * (X * X + Y * Y) −Z * Z = 0 (5)
Substituting into the above mathematical formulas (3), (4) and (5), the three-dimensional position coordinates X, Y and Z of the golf ball C are calculated.
[0034]
By performing the calculation of the three-dimensional position coordinates for each pair of frame data photographed in succession at the same time, the time-series three-dimensional position coordinates of the trajectory of the golf ball C can be obtained.
[0035]
According to the ball trajectory measuring device having the above-described structure, the
[0036]
The lower limit of the distance L between the
[0037]
The ground clearance of the
[0038]
Next, the shooting mode of the trajectory of the golf ball C by the
[0039]
In the photographing mode of FIG. 5, three
[0040]
In the photographing form of FIG. 6, a large number of
[0041]
In the imaging mode of FIG. 7, one
[0042]
Also,
[0043]
Further,
[0044]
The ball trajectory measuring apparatus of the present invention is not limited to the above embodiment, and for example, it is possible to use
[0045]
【The invention's effect】
As described above, according to the ball trajectory measuring device of the present invention, it is easy to install a CCD camera used for measurement, and stable measurement can be performed without being influenced by the weather or the like. Furthermore, calibration is easy, and time-series data of the position coordinates of the flying ball can be accurately measured. As a result, it is possible to analyze the lift coefficient, drag coefficient, etc. of the hit ball, and for example, it is possible to effectively feed back to the design of the golf ball.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing a ball trajectory measuring apparatus according to an embodiment of the present invention.
2 is a schematic side view for explaining a method for measuring the two-dimensional position coordinates of a ball trajectory by the ball trajectory measuring apparatus of FIG. 1; FIG.
FIG. 3 is a schematic perspective view for explaining a method for measuring the three-dimensional position coordinates of the ball trajectory by the ball trajectory measuring apparatus of FIG. 1;
4 is a side view of a ball trajectory for explaining one shooting mode of the ball trajectory by the ball trajectory measuring apparatus of FIG. 1; FIG.
FIG. 5 is a side view of a ball trajectory for explaining one shooting mode of the ball trajectory by the ball trajectory measuring apparatus of FIG. 1;
FIG. 6 is a side view of a ball trajectory for explaining one shooting mode of the ball trajectory by the ball trajectory measuring apparatus of FIG. 1;
7 is a side view of a ball trajectory for explaining one shooting mode of the ball trajectory by the ball trajectory measuring apparatus of FIG. 1; FIG.
[Explanation of symbols]
DESCRIPTION OF
Claims (5)
打撃位置と目標位置とを結ぶ直線上であって、目標位置の前方に設置する少なくとも1台のCCDカメラと、
これらのCCDカメラによる撮影のタイミングを制御する制御部と、
これらのCCDカメラで同時に撮影された一対の画像データとCCDカメラの位置、光軸方向及び画角とに基づいて、三角測量法的手法でボールの位置座標を演算する演算部と
を備えるボール弾道計測装置。A straight line connecting the hitting position and the target position, and at least one CCD camera Installation behind the striking position,
At least one CCD camera installed on the straight line connecting the striking position and the target position and in front of the target position;
A control unit for controlling the timing of photographing by these CCD cameras;
A ball trajectory provided with a calculation unit that calculates a position coordinate of a ball by a triangulation method based on a pair of image data simultaneously captured by these CCD cameras and the position, optical axis direction, and angle of view of the CCD camera Measuring device.
この仰角θ1、仰角θ2及び打撃位置後方のCCDカメラと目標位置前方のCCDカメラとの間の距離Lから、打撃位置後方のCCDカメラの位置を原点、目標位置方向の座標をX、高さ方向の座標をZとする二次元位置座標を下記数式(1)及び(2)により算出する請求項1に記載のボール弾道計測装置。
X=L*tanθ2/(tanθ1+tanθ2)・・・(1)
Z=L*tanθ1*tanθ2/(tanθ1+tanθ2)・・・(2)Based on the optical axis direction and angle of view of the CCD camera behind the strike position and the CCD camera ahead of the target position and a pair of image data photographed simultaneously by these CCD cameras in the calculation unit, the CCD camera behind the strike position And calculate the elevation angle θ 1 of the ball at the position of and the elevation angle θ 2 of the ball at the CCD camera position ahead of the target position,
From the elevation angle θ 1 , elevation angle θ 2 and the distance L between the CCD camera behind the strike position and the CCD camera ahead of the target position, the position of the CCD camera behind the strike position is the origin, the coordinates in the target position direction are X, The ball trajectory measuring device according to claim 1, wherein a two-dimensional position coordinate having a vertical coordinate Z is calculated by the following mathematical formulas (1) and (2).
X = L * tanθ 2 / (tanθ 1 + tanθ 2 ) (1)
Z = L * tanθ 1 * tanθ 2 / (tanθ 1 + tanθ 2 ) (2)
この仰角θ11、仰角θ21、左右方向角θ12、左右方向角θ22及び打撃位置後方のCCDカメラと目標位置前方のCCDカメラとの間の距離Lから、打撃位置後方のCCDカメラの位置を原点、目標位置方向の座標をX、高さ方向の座標をZ、左右方向の位置をYとする三次元位置座標を下記数式(3)、(4)及び(5)により算出する請求項1に記載のボール弾道計測装置。
Y=L*tanθ12*tanθ22/(tanθ12+tanθ22)・・・(3)
(tanθ11*tanθ11+tanθ21*tanθ21)*X*X
+2*tanθ21*tanθ21*L*X
+(tanθ11*tanθ11−tanθ21*tanθ21)*Y*Y
−tanθ21*tanθ21*L*L=0・・・(4)
tanθ11*tanθ11*(X*X+Y*Y)−Z*Z=0・・・(5)Based on the optical axis direction and angle of view of the CCD camera behind the strike position and the CCD camera ahead of the target position and a pair of image data photographed simultaneously by these CCD cameras in the calculation unit, the CCD camera behind the strike position The elevation angle θ 11 of the ball at the position of the ball, the elevation angle θ 21 of the ball at the position of the CCD camera ahead of the target position, the lateral angle θ 12 of the ball at the position of the CCD camera behind the strike position, and the CCD camera ahead of the target position And the left-right direction angle θ 22 of the ball at the position of
From the elevation angle θ 11 , elevation angle θ 21 , left-right direction angle θ 12 , left-right direction angle θ 22, and distance L between the CCD camera behind the strike position and the CCD camera ahead of the target position, the position of the CCD camera behind the strike position A three-dimensional position coordinate is calculated by the following formulas (3), (4), and (5), where X is the origin, X is the coordinate in the target position direction, Z is the coordinate in the height direction, and Y is the position in the horizontal direction. 2. The ball trajectory measuring device according to 1.
Y = L * tanθ 12 * tanθ 22 / (tanθ 12 + tanθ 22 ) (3)
(Tanθ 11 * tanθ 11 + tanθ 21 * tanθ 21 ) * X * X
+ 2 * tanθ 21 * tanθ 21 * L * X
+ (Tanθ 11 * tanθ 11 −tanθ 21 * tanθ 21 ) * Y * Y
-Tanθ 21 * tan θ 21 * L * L = 0 (4)
tanθ 11 * tan θ 11 * (X * X + Y * Y) −Z * Z = 0 (5)
上記目標位置の前方に、光軸の角度が互いに異なる複数のCCDカメラを備えている請求項1から4のいずれかに記載のボール弾道計測装置。 5. The ball trajectory measuring apparatus according to claim 1, further comprising a plurality of CCD cameras having different optical axis angles in front of the target position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001231303A JP4436990B2 (en) | 2001-07-31 | 2001-07-31 | Ball trajectory measuring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001231303A JP4436990B2 (en) | 2001-07-31 | 2001-07-31 | Ball trajectory measuring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003042716A JP2003042716A (en) | 2003-02-13 |
JP4436990B2 true JP4436990B2 (en) | 2010-03-24 |
Family
ID=19063377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001231303A Expired - Fee Related JP4436990B2 (en) | 2001-07-31 | 2001-07-31 | Ball trajectory measuring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4436990B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4226415B2 (en) | 2003-08-19 | 2009-02-18 | Sriスポーツ株式会社 | Ball trajectory measuring device |
US7321330B2 (en) | 2005-10-03 | 2008-01-22 | Sri Sports Limited | Ball measuring apparatus |
US8113964B2 (en) * | 2006-09-27 | 2012-02-14 | Norman Matheson Lindsay | Methods and systems for identifying the launch positions of descending golf balls |
US20100151956A1 (en) | 2007-09-28 | 2010-06-17 | Swartz Gregory J | Methods, apparatus, and systems to custom fit golf clubs |
US8371962B2 (en) | 2007-09-28 | 2013-02-12 | Karsten Manufacturing Corporation | Methods apparatus, and systems to custom fit golf clubs |
US9675862B2 (en) | 2007-09-28 | 2017-06-13 | Karsten Manufacturing Corporation | Methods, apparatus, and systems to custom fit golf clubs |
US8444509B2 (en) | 2007-09-28 | 2013-05-21 | Karsten Manufacturing Corporation | Methods, apparatus, and systems to custom fit golf clubs |
JP2009226216A (en) * | 2008-03-19 | 2009-10-08 | Karsten Manufacturing Corp | Method, apparatus, and systems to custom fit golf clubs |
JP5527710B2 (en) * | 2009-10-19 | 2014-06-25 | 東京電力株式会社 | Calibration data acquisition apparatus and computer program |
JP6567721B1 (en) * | 2018-04-02 | 2019-08-28 | 楽天株式会社 | Measuring apparatus, measuring method, and program |
EP4302266A1 (en) * | 2021-03-05 | 2024-01-10 | Trackman A/S | System and method for player's identification |
JP2024537861A (en) | 2021-10-05 | 2024-10-16 | カーステン マニュファクチュアリング コーポレーション | Ball flight data prediction system and method for creating a golf club set with consistent gaps |
CN115278194B (en) * | 2022-09-22 | 2022-12-23 | 山东省青东智能科技有限公司 | Image data processing method based on 3D industrial camera |
-
2001
- 2001-07-31 JP JP2001231303A patent/JP4436990B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003042716A (en) | 2003-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4436990B2 (en) | Ball trajectory measuring device | |
JP3187748B2 (en) | Golf ball motion measurement method | |
US8711230B2 (en) | Image capture apparatus and program | |
CN108226562B (en) | Apparatus and method for measuring flight data of flying object and recording medium | |
JP5297677B2 (en) | Detection apparatus and method, program, recording medium, and simulation system | |
JP6981531B2 (en) | Object identification device, object identification system, object identification method and computer program | |
JP4269908B2 (en) | Electronic camera, electronic camera control program | |
JP4064248B2 (en) | Ball trajectory measuring device | |
US20050026710A1 (en) | Apparatus and method for monitoring launch parameters of a launched sports object | |
JP5052254B2 (en) | Three-dimensional measurement system and three-dimensional measurement method | |
JP2001145718A (en) | Ball trajectory measuring device | |
KR101230613B1 (en) | System and method for measuring flight parameter of spherical object based on CMOS sensor | |
KR101231387B1 (en) | Method for estimating the flight velocity of a sphere-shaped object using a camera image | |
JPH11337322A (en) | Method for measuring appearance by two-dimensional image comparison, and device therefor | |
JP2010223752A (en) | Flying object altitude measuring device | |
JP3025335B2 (en) | Golf hitting training and simulation method | |
KR100930528B1 (en) | Putter speed measuring device and method for measuring putter and putter speed | |
KR101905848B1 (en) | Measuring device and measuring method for golf club and golf ball and computer readable recording medium having program the same | |
KR101649181B1 (en) | Flight information estimator and estimation method of the flying objects | |
JP4628590B2 (en) | Measuring device for moving objects | |
US7394917B2 (en) | Apparatus for measuring a trajectory | |
JP4213807B2 (en) | Ball trajectory measuring device | |
JP2005184266A (en) | Imaging device | |
JP2005233800A (en) | Apparatus for measuring falling point of ball | |
JPH0824389A (en) | Automatic measurement method of ball movement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20050520 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050530 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091208 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100104 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140108 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |