JP6555699B2 - Golf swing video information providing system, camera device for providing golf swing video information, and golf swing video information providing method - Google Patents
Golf swing video information providing system, camera device for providing golf swing video information, and golf swing video information providing method Download PDFInfo
- Publication number
- JP6555699B2 JP6555699B2 JP2018505422A JP2018505422A JP6555699B2 JP 6555699 B2 JP6555699 B2 JP 6555699B2 JP 2018505422 A JP2018505422 A JP 2018505422A JP 2018505422 A JP2018505422 A JP 2018505422A JP 6555699 B2 JP6555699 B2 JP 6555699B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- swing
- user
- golf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 73
- 238000012545 processing Methods 0.000 claims description 94
- 238000004458 analytical method Methods 0.000 claims description 76
- 238000001514 detection method Methods 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 19
- 238000010191 image analysis Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000004587 chromatography analysis Methods 0.000 claims 23
- 230000000747 cardiac effect Effects 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/36—Training appliances or apparatus for special sports for golf
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
- G09B19/0038—Sports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B2071/0675—Input for modifying training controls during workout
- A63B2071/0677—Input by image recognition, e.g. video signals
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B2071/0675—Input for modifying training controls during workout
- A63B2071/068—Input by voice recognition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、ゴルフスイング映像情報提供システム、ゴルフスイング映像情報提供のためのカメラ装置及びゴルフスイング映像情報提供方法に関し、特に、ゴルフ場でゴルフラウンドをするユーザがゴルフスイングすることに対する映像を効果的に取得してメインサーバーに保存しておくことによって、それをユーザなどに容易に提供できるようにするネットワークシステム、これに用いられる装置及び情報提供方法に関する。 The present invention relates to a golf swing video information providing system, a camera device for providing golf swing video information, and a golf swing video information providing method, and in particular, an effective video for a user who makes a golf round on a golf course to perform a golf swing. In particular, the present invention relates to a network system, an apparatus used for the network system, and an information providing method.
一般に、ゴルフは小さいゴルフボールを正確に打撃すべき運動であり、ゴルフスイング姿勢がゴルファーには非常に重要とされており、ゴルフを楽しむ人々は常にゴルフスイング姿勢の向上に多くの努力と投資を惜しまない傾向がある。 In general, golf is an exercise that should hit a small golf ball accurately, and a golf swing posture is very important for golfers, and people who enjoy golf always invest a lot of effort and investment in improving the golf swing posture. There is a tendency to spare.
特に、ゴルフ場でゴルフラウンドをするとき、ゴルファーは、自身の記録がよい場合にはゴルフラウンド過程での自身のゴルフスイングを映像で記録してそれを記念することを希望し、自身の記録がよくない場合にはゴルフラウンド過程での自身のゴルフスイングを映像から見ながら自身のゴルフスイング上の問題点を解決しようとする傾向がある。 In particular, when playing golf rounds at golf courses, golfers wish to record their golf swing in the course of the golf round and commemorate it if their records are good. If it is not good, there is a tendency to solve the problem on the golf swing while watching the golf swing in the course of the golf round from the video.
ところが、今まで公開されたゴルフスイング映像提供装置やシステムは、単純に音センサーを用いてユーザがゴルフボールを打った時の打撃音を感知する時、すなわち、インパクト時点を基準時点にして、そのインパクト時点を基準に撮影された映像からユーザのスイング映像を抽出して提供している。 However, the golf swing video providing apparatus and system that have been disclosed so far use a sound sensor to detect a hitting sound when a user hits a golf ball, that is, with an impact point as a reference point. The user's swing video is extracted and provided from video shot based on the point of impact.
大韓民国特許出願第2000−0002408号公報、大韓民国特許出願第1994−7002515号公報、大韓民国特許出願第2012−0131412号公報などの多数の先行特許文献においても、音センサーを用いてインパクト時点を特定する方式を利用する例を開示している。 Even in many prior patent documents such as Korean Patent Application No. 2000-0002408, Korean Patent Application No. 1994-7002515, Korean Patent Application No. 2012-0131412, etc., a method of identifying an impact point using a sound sensor An example of using is disclosed.
しかしながら、本出願人が実験した結果、単純に音センサーだけでインパクト時点を基準時点と決定して撮影された映像からユーザのスイング映像部分を抽出して提供することは相当不完全であるという結論に至った。 However, as a result of an experiment conducted by the present applicant, it is concluded that it is quite incomplete to extract and provide a user's swing video portion from a video taken by simply determining the impact time as a reference time using only a sound sensor. It came to.
音センサーの打撃音の感知結果だけでインパクト時点を特定することは、例えば、実際に打撃音が発生しなかったにもかかわらず周辺の他の音に上記音センサーが反応することによってインパクト時点が全くずれた時点と決定されたり、十分なレベルの打撃音が感知されず、音センサーが誤作動をする場合も相当あった。 Specifying the impact time point only by the perceived sound of the sound sensor is, for example, that the impact time point is determined by the sound sensor reacting to other sounds in the vicinity, even though the hit sound was not actually generated. There were considerable cases in which it was determined that the time was completely deviated, or a sound of a sufficient level was not detected and the sound sensor malfunctioned.
もちろん、ユーザのゴルフスイング映像を抽出する際に、ユーザがゴルフスイングをしてゴルフクラブのヘッドがボールを打つ瞬間のインパクト時点を正確に特定する必要はない。如何なる基準時点であれ、安定して特定時点を決定し、その決定された時点を基準としてあらかじめ設定された区間の映像を抽出し、その抽出された映像がユーザのゴルフスイング映像であることが合理的に保障されさえすれば、優れたゴルフスイング映像情報提供システム又は装置になり得る。 Of course, when extracting the user's golf swing image, it is not necessary to accurately specify the impact point at the moment when the user makes a golf swing and the golf club head hits the ball. It is reasonable that a specific time point is determined stably at any reference time, a video of a preset section is extracted based on the determined time, and the extracted video is a user's golf swing video As long as it is guaranteed, it can be an excellent golf swing video information providing system or device.
しかしながら、上述したように、音センサーによる感知は一定でない上に誤作動の問題も頻繁に発生するため、従来のゴルフスイング映像提供システム又は装置は、上述したような安定した基準時点の取得とそれに基づくユーザのゴルフスイング映像の抽出を合理的に保障できないという問題点があった。 However, as described above, since the detection by the sound sensor is not constant and the problem of malfunction frequently occurs, the conventional golf swing video providing system or device is able to acquire the stable reference time point as described above and There is a problem that the extraction of the user's golf swing video based on the user cannot be reasonably guaranteed.
本発明は、ゴルフ場でゴルフラウンドをするユーザにゴルフスイング映像情報を簡便に提供できるゴルフスイング映像情報提供システムなどを提供し、ユーザのゴルフスイングに対する映像の分析結果を用いて、又はその映像分析結果及びスイング時の打撃音感知結果を用いて、取得された映像からユーザのスイング映像を非常に一定に且つ安定的に抽出して提供することができる、ゴルフスイング映像情報提供システム、ゴルフスイング映像情報提供のためのカメラ装置及びゴルフスイング映像情報提供方法を提供しようとする。 The present invention provides a golf swing video information providing system that can easily provide golf swing video information to a user who makes a golf round at a golf course, and uses the video analysis result of the user's golf swing or uses the video analysis thereof. Golf swing video information providing system and golf swing video that can extract and provide a user's swing video from the acquired video in a very constant and stable manner using the result and the hitting sound detection result at the time of swing A camera device for providing information and a golf swing video information providing method are provided.
本発明の一実施例に係るゴルフスイング映像情報提供システムは、撮影領域内でユーザがゴルフスイングをすることに対する映像を取得する映像取得部を具備する少なくとも一つのカメラ装置;及び上記映像取得部が取得した映像を受信して該受信した映像を分析し、該分析映像内でゴルフクラブ及びボールのうち少なくとも一つを認識して、上記受信した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理サーバーを含み、上記データ処理サーバーによって抽出された上記ユーザのスイング映像情報を上記ユーザに提供する。 A golf swing video information providing system according to an embodiment of the present invention includes at least one camera device including a video acquisition unit that acquires a video of a user performing a golf swing in a shooting area; and the video acquisition unit includes: Receiving the acquired video, analyzing the received video, recognizing at least one of the golf club and the ball in the analyzed video, and extracting the video to be provided to the user from the received video A data processing server for determining a reference time point and extracting a video corresponding to a preset section based on the determined reference time point from the video received from the video acquisition unit as the user's swing video; The user's swing video information extracted by the data processing server is provided to the user.
一方、本発明の他の実施例に係るゴルフスイング映像情報提供システムは、撮影領域内でユーザがゴルフスイングをすることに対する映像を取得する映像取得部、及びユーザがゴルフスイングをすることによってゴルフクラブヘッドがゴルフボールを打撃する打撃音を感知する音響感知部を有する少なくとも一つのカメラ装置;及び上記映像取得部が取得した映像を受信して該受信した映像を分析し、該分析映像内でゴルフクラブ及びボールのうち少なくとも一つを認識した結果情報及び上記音響感知部の感知結果情報のうち2つの情報を用いて、上記受信した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理サーバーを含み、上記データ処理サーバーによって抽出された上記ユーザのスイング映像情報を上記ユーザに提供する。 Meanwhile, a golf swing video information providing system according to another embodiment of the present invention includes a video acquisition unit that acquires a video for a user swinging a golf swing within a shooting region, and a golf club by the user performing a golf swing. At least one camera device having an acoustic sensing unit for sensing a hitting sound of a golf ball hitting a golf ball; and receiving the video acquired by the video acquisition unit, analyzing the received video, and playing golf in the analysis video A reference time point for extracting a video to be provided to the user from the received video using two pieces of information of the result of recognizing at least one of the club and the ball and the detection result information of the sound sensing unit. From the video received from the video acquisition unit determined, applicable to the section set in advance based on the determined reference time That video includes data processing server for extracting a swing image of the user, provides a swing image information of the user extracted by the data processing server to the user.
一方、本発明の一実施例に係るゴルフスイング映像情報提供のためのカメラ装置は、撮影領域内でユーザがゴルフスイングをすることに対する映像を取得する映像取得部;上記映像取得部によって取得される映像を収集する映像収集部;上記映像収集部で収集した各フレームの映像を分析してゴルフクラブ及びボールのうち少なくとも一つを抽出し、連続するフレームの映像で上記抽出されたゴルフクラブ及びボールのうち少なくとも一つの挙動特性を分析する映像分析部;及び上記映像分析部の分析結果を用いて、上記収集した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理部を含み、上記データ処理部によって抽出された上記ユーザのスイング映像情報を上記ユーザに提供する。 Meanwhile, a camera apparatus for providing golf swing video information according to an embodiment of the present invention is acquired by a video acquisition unit that acquires a video of a user performing a golf swing in a shooting area; A video collecting unit for collecting video; analyzing the video of each frame collected by the video collecting unit to extract at least one of a golf club and a ball; A video analysis unit that analyzes at least one behavior characteristic; and using the analysis result of the video analysis unit, a reference time point for extracting a video to be provided to the user from the collected video is determined, and the video From the video received from the acquisition unit, the video corresponding to the section set in advance based on the determined reference time is taken as the user's It includes a data processing unit for extracting as a video, provides a swing image information of the user extracted by the data processing unit to the user.
一方、本発明の他の実施例に係るゴルフスイング映像情報提供のためのカメラ装置は、撮影領域内でユーザがゴルフスイングをすることに対する映像を取得する映像取得部;ユーザがゴルフスイングをすることによってゴルフクラブヘッドがゴルフボールを打撃する打撃音を感知する音響感知部;上記映像取得部によって取得される映像を収集する映像収集部;上記映像収集部で収集した各フレームの映像を分析してゴルフクラブ及びボールのうち少なくとも一つを抽出し、連続するフレームの映像で上記抽出されたゴルフクラブ及びボールのうち少なくとも一つの挙動特性を分析する映像分析部;及び上記音響感知部の感知結果に関する情報を受信し、上記映像分析部の分析結果及び上記音響感知部の感知結果を用いて、上記収集した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理部を含み、上記データ処理部によって抽出された上記ユーザのスイング映像情報を上記ユーザに提供する。 Meanwhile, a camera device for providing golf swing video information according to another embodiment of the present invention provides a video acquisition unit that acquires a video for a user performing a golf swing in a shooting area; the user performs a golf swing An acoustic sensing unit that senses a hitting sound of the golf club head hitting a golf ball; a video collection unit that collects a video acquired by the video acquisition unit; and an analysis of the video of each frame collected by the video collection unit An image analysis unit that extracts at least one of a golf club and a ball and analyzes a behavior characteristic of at least one of the extracted golf club and the ball using a continuous frame image; and a detection result of the sound detection unit The information collected and the collected video using the analysis result of the video analysis unit and the detection result of the sound sensing unit. A reference time point for extracting the video to be provided to the user, and from the video received from the video acquisition unit, the video corresponding to a section set in advance based on the determined reference time point A data processing unit that extracts the swing video is provided, and the user's swing video information extracted by the data processing unit is provided to the user.
一方、本発明の一実施例に係るゴルフスイング映像情報提供方法は、少なくとも一つのカメラ装置、及びこれに接続して上記カメラ装置が取得した映像からユーザのスイング映像情報を抽出してユーザに提供するデータ処理サーバーを含むゴルフスイング映像情報提供システムによるゴルフスイング映像情報提供方法であって、上記カメラ装置の映像取得部が取得した映像を上記データ処理サーバーが受信して分析する段階;上記分析映像内でゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階;上記ゴルフクラブ及びボールのうち少なくとも一つの認識結果情報を用いて、上記映像取得部から受信した映像から上記ユーザに提供する映像を抽出するための基準時点を決定する段階;及び上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像情報として抽出する段階を含む。 Meanwhile, a golf swing video information providing method according to an embodiment of the present invention extracts and provides a user with swing video information of at least one camera device and a video obtained by the camera device connected to the camera device. A golf swing video information providing method using a golf swing video information providing system including a data processing server that receives and analyzes the video acquired by the video acquisition unit of the camera device; And extracting and recognizing at least one of the golf club and the ball; providing the user with the image received from the image acquisition unit using the recognition result information of at least one of the golf club and the ball. Determining a reference time point for extracting video; and video received from the video acquisition unit Et al., An image corresponding to a preset interval in reference to the reference time determined above comprising the step of extracting as a swing image information of the user.
一方、本発明の他の実施例に係るゴルフスイング映像情報提供方法は、少なくとも一つのカメラ装置、及びこれに接続して上記カメラ装置が取得した映像からユーザのスイング映像情報を抽出してユーザに提供するデータ処理サーバーを含むゴルフスイング映像情報提供システムによるゴルフスイング映像情報提供方法であって、上記カメラ装置の映像取得部が取得した映像を上記データ処理サーバーが受信して分析する段階;上記分析映像内でゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階;ユーザがゴルフスイングをすることによってゴルフクラブヘッドがゴルフボールを打撃する打撃音を感知する音響感知部によって感知された結果情報を上記データ処理サーバーが受信する段階;上記ゴルフクラブ及びボールのうち少なくとも一つの認識結果情報及び上記音響感知部の感知結果情報のうち少なくとも2つの情報を用いて上記映像取得部から受信した映像から上記ユーザに提供する映像を抽出するための基準時点を決定する段階;及び上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像情報として抽出する段階を含む。 Meanwhile, the golf swing video information providing method according to another embodiment of the present invention extracts at least one camera device and the user's swing video information from the video acquired by the camera device connected to the camera device, to the user. A golf swing video information providing method by a golf swing video information providing system including a data processing server to be provided, wherein the data processing server receives and analyzes the video acquired by the video acquisition unit of the camera device; Extracting and recognizing at least one of the golf club and the ball in the image; a result detected by an acoustic sensing unit that senses a hitting sound of the golf club head hitting the golf ball when the user performs a golf swing; Receiving the information by the data processing server; the golf club and ball A reference time point for extracting the video to be provided to the user from the video received from the video acquisition unit is determined using at least two of the recognition result information and the detection result information of the sound sensing unit. And a step of extracting, from the video received from the video acquisition unit, a video corresponding to a preset section based on the determined reference time as the user's swing video information.
本発明に係るゴルフスイング映像情報提供システム、ゴルフスイング映像情報提供のためのカメラ装置及びゴルフスイング映像情報提供方法は、ゴルフ場でゴルフラウンドをするユーザにゴルフスイング映像情報を簡便且つ安定的に提供するに適したシステム、装置及び方法を提供し、ユーザのゴルフスイングに対する映像の分析結果を用いて、又はその映像分析結果及びスイング時の打撃音感知結果を用いて、取得された映像からユーザのスイング映像を非常に一定且つ安定的に抽出して提供することができるという効果がある。 A golf swing video information providing system, a camera device for providing golf swing video information, and a golf swing video information providing method according to the present invention provide golf swing video information simply and stably to a user who makes a golf round on a golf course. A system, an apparatus, and a method that are suitable for the user, and using the video analysis result of the user's golf swing, or using the video analysis result and the hitting sound detection result at the time of the swing, There is an effect that the swing image can be extracted and provided very stably.
本発明に係るゴルフスイング映像情報提供システム、ゴルフスイング映像情報提供のためのカメラ装置及びゴルフスイング映像情報提供方法について図面を参照してさらに具体的に説明する。 A golf swing video information providing system, a camera device for providing golf swing video information, and a golf swing video information providing method according to the present invention will be described more specifically with reference to the drawings.
まず、図1から図3を参照して本発明の一実施例に係るゴルフスイング映像情報提供システムについて説明する。 First, a golf swing video information providing system according to an embodiment of the present invention will be described with reference to FIGS.
本発明の一実施例に係るゴルフスイング映像情報提供システムは、主に、ゴルフ場でゴルフラウンドをするユーザがゴルフラウンドをする過程で特定ホール又は毎ホールごとにティーショットのような特定ショットをする時のゴルフスイングモーションに対する映像を生成してユーザに提供する。 A golf swing video information providing system according to an embodiment of the present invention mainly performs a specific shot such as a specific hole or a tee shot for each hole in the course of a golf round by a user who plays a golf round at a golf course. An image for the golf swing motion at the time is generated and provided to the user.
図1から図3に示すように、本発明の一実施例に係るゴルフスイング映像情報提供システムは、基本的に、カメラ装置100、及びデータ処理サーバーTで構成することができる。 As shown in FIG. 1 to FIG. 3, the golf swing video information providing system according to an embodiment of the present invention can basically be composed of a camera device 100 and a data processing server T.
上記カメラ装置100は、ユーザがゴルフスイングをする領域に設置され、ユーザがゴルフスイングをする時の映像を取得するカメラを含む装置である。そして、上記データ処理サーバーTは、上記カメラ装置100が取得する映像を収集し分析して、上記カメラ装置100が取得する映像からユーザのゴルフスイング映像部分を適切に抽出してユーザに提供できるようにデータを処理する装置である。 The camera apparatus 100 is an apparatus including a camera that is installed in a region where a user performs a golf swing and acquires an image when the user performs a golf swing. Then, the data processing server T collects and analyzes the video acquired by the camera device 100 and appropriately extracts the user's golf swing video portion from the video acquired by the camera device 100 so as to be provided to the user. It is a device that processes data.
図1は、本発明の一実施例に係るゴルフスイング映像情報提供システムのカメラ装置100がユーザのゴルフスイングを撮影する場合の一例を示している。 FIG. 1 shows an example in which a camera device 100 of a golf swing video information providing system according to an embodiment of the present invention photographs a user's golf swing.
上記カメラ装置100は、構造的に、ヘッド部H、コラム部C、支持台Rで構成することができ、ヘッド部Hに映像取得部110、及び音響感知部140などの構成要素を組み込むことができ、ユーザがゴルフスイングをする前に、カメラ装置100にとってスイング映像分析の準備ができたということをアラームするためのレディーアラーム部130を、図1に示すように設けることができる。 The camera device 100 can be structurally configured with a head portion H, a column portion C, and a support base R, and the head portion H incorporates components such as the image acquisition unit 110 and the acoustic sensing unit 140. In addition, before the user performs a golf swing, a ready alarm unit 130 for alarming that the camera apparatus 100 is ready for swing video analysis can be provided as shown in FIG.
上記レディーアラーム部130は、LEDランプなどを用いて、準備ができていない時は赤色で、準備ができた時は青色で表示して視覚的なアラームを与えたり、スピーカを用いて"レディー"のような聴覚的アラームを与えるように構成することができる。 The ready alarm unit 130 uses an LED lamp or the like to display a red color when not ready, and a blue color when ready, or to give a visual alarm by using a speaker, or "ready" using a speaker. Can be configured to give an audible alarm.
本発明の一実施例に係るゴルフスイング映像情報提供システムのカメラ装置100の構造的構成は図1に示すものに限定されず、映像取得部、音響感知部、レディーアラーム部などの構成要素を含み得る構造であれば、いかなる形態の構成も可能である。 The structural configuration of the camera device 100 of the golf swing video information providing system according to an embodiment of the present invention is not limited to that shown in FIG. 1 and includes components such as a video acquisition unit, an acoustic sensing unit, and a ready alarm unit. Any form of configuration is possible as long as the structure is obtained.
上記映像取得部110は、ユーザのスイングモーションを撮影する単一のカメラを含むように構成されてもよく、スイング映像カメラ及び分析映像カメラを含むツインカメラの形態で構成されてもよい。 The video acquisition unit 110 may be configured to include a single camera that captures a user's swing motion, or may be configured as a twin camera including a swing video camera and an analysis video camera.
如何なる形態であれ、上記映像取得部110は、取得される映像内にユーザP、ゴルフクラブGC及びボールBAが十分に含まれ得るように適切な範囲の画角で映像を撮影して取得するように構成されることが好ましい。 In any form, the video acquisition unit 110 captures and acquires a video with an angle of view in an appropriate range so that the user P, the golf club GC, and the ball BA can be sufficiently included in the acquired video. Preferably it is comprised.
上述したように、カメラ装置100が撮影してその画角内の映像を取得すると、その取得された映像内には、ユーザPがアドレス姿勢を取る時からゴルフスイングを完了した時までのユーザのゴルフスイング映像を含めて、ゴルフスイングをしない場合の映像も含まれている。 As described above, when the camera device 100 captures and acquires an image within the angle of view, the acquired image includes the user's information from when the user P takes an address posture to when the golf swing is completed. An image when a golf swing is not performed is also included, including a golf swing image.
上述したデータ処理サーバーTは、上記カメラ装置100からその取得された映像を全て取り込み、それを分析して適切な基準時点を決め、その基準時点を基準に所定の範囲に該当する映像を'ユーザのゴルフスイング映像'として抽出するデータ処理プロセスを行う。これに関する具体的な内容については後述する。 The data processing server T described above captures all of the acquired videos from the camera device 100, analyzes them to determine an appropriate reference time point, and selects a video corresponding to a predetermined range based on the reference time point as a 'user'. The data processing process to extract as 'golf swing video' is performed. Details regarding this will be described later.
一方、図2では、本発明の一実施例に係るゴルフスイング映像情報提供システムがゴルフ場の一つのホールに具現された例を示している。 On the other hand, FIG. 2 shows an example in which a golf swing video information providing system according to an embodiment of the present invention is embodied in one hole of a golf course.
一般に、ゴルフ場の各ホールには、女性用のティー区域(Red Tee又はLady Tee)、男性用のティー区域(White Tee又はMan's Tee)、チャンピオン用のティー区域(Champion Tee)及びプロ用のティー区域(Professional Tee)が設けられている。もちろん、各ティー区域の一部は重なり合ったり省略されたりする場合もあるが、だいてい、上の4つのティー区域が設けられている。 Generally, each hole in a golf course has a female tee area (Red Tee or Laddy Tee), a male tee area (White Tee or Man's Tee), a champion tee area (Champion Tee) and a professional one. The tee zone (Professional Tee) is provided. Of course, some of the tee areas may overlap or be omitted, but there are usually four tee areas above.
図2に示すホールでは、女性用のティー区域(LT)、男性用のティー区域(WT)及びチャンピオン用のティー区域(CT)が設けられた場合を示している。 In the hole shown in FIG. 2, a case where a female tee area (LT), a male tee area (WT), and a champion tee area (CT) are provided is shown.
本発明の一実施例に係るゴルフスイング映像情報提供システムは、各ティー区域ごとに又は複数のティー区域の一部のティー区域にそれぞれカメラ装置100,101,102を設置し、当該ティー区域でゴルフスイングするユーザが女性であろうと、男性であろうと、セミプロであろうと、プロ選手であろうと、いずれもゴルフスイング映像を抽出できるようにするシステムを構築している。 In the golf swing video information providing system according to an embodiment of the present invention, a camera device 100, 101, 102 is installed in each tee area or in a part of tee areas of a plurality of tee areas, and golf is played in the tee area. Regardless of whether a swinging user is a woman, a man, a semi-professional, or a professional player, a system is constructed so that a golf swing image can be extracted.
それぞれのカメラ装置100,101,102は一つのデータ処理サーバーTに接続され、それぞれのカメラ装置が取得する映像は上記データ処理サーバーTに送られて処理されてメインサーバーSに保存されることにより、ユーザはメインサーバーSから自身のスイング映像を受け取ることができる。 Each camera device 100, 101, 102 is connected to one data processing server T, and an image acquired by each camera device is sent to the data processing server T, processed, and stored in the main server S. The user can receive the swing video of the user from the main server S.
図2でデータ処理サーバーTを点線で表示したことは、上記データ処理サーバーTが函体内に具備された状態で地中に埋め立てられて具現され得るということを表すためである。もちろん、地上に上記函体が設けられるように構成することも可能である。 The fact that the data processing server T is indicated by a dotted line in FIG. 2 is intended to indicate that the data processing server T can be embedded in the ground while being provided in the box. Of course, it is possible to configure the box to be provided on the ground.
このような本発明の一実施例に係るゴルフスイング映像情報提供システムの具体的な構成は、図3に示すブロック図でより具体的に示している。 The specific configuration of the golf swing video information providing system according to the embodiment of the present invention is more specifically shown in the block diagram shown in FIG.
図3に示すように、各ティー区域のカメラ装置(100など)は、AP装置300を通じてデータ処理サーバーTに接続しているが、各カメラ装置(100など)に取得される映像データをデータ処理サーバーTに高速伝送可能とするように、大容量高速伝送が可能な有線通信方式で接続されることが好ましい。 As shown in FIG. 3, the camera device (100, etc.) in each tee area is connected to the data processing server T through the AP device 300, but the video data acquired by each camera device (100, etc.) is subjected to data processing. It is preferable to connect to the server T by a wired communication method capable of high-capacity high-speed transmission so that high-speed transmission is possible.
上記AP装置300はAccess Pointであり、WiFiなどの方式でデータ処理サーバーTがメインサーバーSと無線通信できるようにする手段である。 The AP device 300 is an Access Point, and is a means for enabling the data processing server T to wirelessly communicate with the main server S by a method such as WiFi.
各カメラ装置(100など)はいずれも、映像取得部110、電源部120、レディーアラーム部130及び音響感知部140を具備することができる。 Each camera device (100, etc.) may include a video acquisition unit 110, a power supply unit 120, a ready alarm unit 130, and an acoustic sensing unit 140.
上記映像取得部110は、ユーザのスイングモーションを撮影する単一のカメラを含むように構成されてもよいが、このとき、単一のカメラが取得した映像はデータ処理サーバーTで分析される時に用いられるとともに、その分析結果に基づいてユーザのスイング映像をその取得した映像から抽出する時にも用いられる。したがって、上記映像取得部110としての単一のカメラは、映像分析ができる程度に十分の解像度を有することが好ましい。 The video acquisition unit 110 may include a single camera that captures the user's swing motion. At this time, the video acquired by the single camera is analyzed by the data processing server T. It is also used when extracting a user's swing video from the acquired video based on the analysis result. Therefore, it is preferable that the single camera as the video acquisition unit 110 has a resolution sufficient to enable video analysis.
上記映像取得部110がスイング映像カメラ及び分析映像カメラのツインカメラの形態で構成される場合には、上記スイング映像カメラと分析映像カメラがそれぞれ取得した映像をデータ処理サーバーTに収集しておくが、映像を分析する時には、上記分析映像カメラが取得した映像を利用し、その映像分析の結果によってユーザに提供するユーザスイング映像を抽出する時には、上記スイング映像カメラによって取得された映像から該当の映像を抽出する。 When the video acquisition unit 110 is configured in the form of a twin camera of a swing video camera and an analysis video camera, the video acquired by the swing video camera and the analysis video camera is collected in the data processing server T in advance. When analyzing the video, the video acquired by the analysis video camera is used, and when the user swing video provided to the user is extracted according to the result of the video analysis, the corresponding video is extracted from the video acquired by the swing video camera. To extract.
上記データ処理サーバーTは、図3に示すように、映像収集部T10、映像分析部T20及びデータ処理部T30を含んで構成することができる。 As shown in FIG. 3, the data processing server T can be configured to include a video collection unit T10, a video analysis unit T20, and a data processing unit T30.
上記映像収集部T10は上記映像取得部110によって取得される映像を実時間で受け取って収集するが、後でその収集された映像から'ユーザスイング映像'を抽出するために収集する映像の各フレームごとにインデックスを表示して収集することが好ましい。 The video collection unit T10 receives and collects the video acquired by the video acquisition unit 110 in real time, but each frame of the video collected to extract the “user swing video” from the collected video later. It is preferable to display and collect an index every time.
上記映像分析部T20は、上記映像収集部T10に収集された各フレームの映像に対して差映像分析を用いてゴルフクラブ及びボールを抽出し、連続するフレームの映像から、上記抽出されたゴルフクラブ及びボールのそれぞれの挙動特性を分析する。 The video analysis unit T20 extracts a golf club and a ball from the video of each frame collected by the video collection unit T10 using difference video analysis, and the extracted golf club is extracted from the video of successive frames. And analyzing the behavioral characteristics of each of the balls.
上記データ処理部T30は、上記映像分析部T20の分析結果に基づいて、上記収集した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像収集部T10によって収集された映像から、上記決定された基準時点を基準に'ユーザスイング映像'情報を抽出してメインサーバーSに伝送する機能を果たす。 The data processing unit T30 determines a reference time point for extracting the video to be provided to the user from the collected video based on the analysis result of the video analysis unit T20, and is collected by the video collection unit T10. A function of extracting “user swing video” information from the video based on the determined reference time point and transmitting the information to the main server S is achieved.
上述したように、データ処理部T30が映像分析部T20によって映像内でゴルフクラブとボールに対する分析結果を用いて上述した'基準時点'を決定することもできるが、上述したゴルフクラブとボールに対する分析結果に加えて、カメラ装置(100など)に具備された音響感知部140の打撃音感知結果を用いて、上述した'基準時点'を決定するように構成される方が、より安定且つ一定の品質の映像を抽出するという観点でより好ましいだろう。 As described above, the data processing unit T30 can determine the above “reference time point” by using the analysis result for the golf club and the ball in the video by the video analysis unit T20. In addition to the result, it is more stable and constant that the above-described 'reference time point' is determined by using the hit sound detection result of the sound detection unit 140 provided in the camera device (100 or the like). It would be more preferable in terms of extracting quality video.
一方、上述したユーザのスイング映像抽出及び提供に関するプロセスは、無線キャディー端末機400によって開始され、抽出されたユーザのスイング映像情報が管理され得る。 Meanwhile, the above-described process related to user swing image extraction and provision may be started by the wireless caddy terminal 400, and the extracted user swing image information may be managed.
上記無線キャディー端末機400は、いわゆるスマートフォンやタブレットPCなどの形態で具現することができ、ゴルフ場でゴルフラウンドをする3〜4人で組まれるチームを一括管理するためのキャディー専用端末機などの形態で具現することもできる。 The wireless caddy terminal 400 can be embodied in the form of a so-called smartphone or tablet PC, such as a caddy dedicated terminal for collectively managing a team of 3 to 4 people who play golf rounds at a golf course. It can also be embodied in a form.
上記メインサーバーSには、ゴルフラウンドをする各ユーザの身元情報又は識別情報をあらかじめ保存して登録しておくことが好ましく、上記無線キャディー端末機400にも当該ゴルフラウンドをする各ユーザの身元情報や識別情報をあらかじめ保存しておいたり、上記メインサーバーSから受け取って保存しておくことが好ましい。 The main server S preferably stores and registers in advance the identity information or identification information of each user who plays a golf round, and the identity information of each user who plays the golf round also in the wireless caddy terminal 400 Or the identification information is preferably stored in advance or received from the main server S and stored.
したがって、あるホールにおいて各ユーザがゴルフショットをする時、キャディーが上記無線キャディー端末機400を用いてメインサーバーSに現在ゴルフショットをするユーザに関する情報を伝送すると、上記メインサーバーSは当該ユーザに対する映像を保存する準備(例えば、当該ユーザに対するホルダーを生成するなど)をしてデータ処理サーバーTに信号を送ると、上記データ処理サーバーTは上記カメラ装置100に映像取得開始信号を送る。 Accordingly, when each user plays a golf shot in a certain hole, if the caddy transmits information about the user who is currently making a golf shot to the main server S using the wireless caddy terminal 400, the main server S displays a video for the user. When a signal is sent to the data processing server T in preparation for storing (for example, creating a holder for the user), the data processing server T sends a video acquisition start signal to the camera device 100.
上記データ処理サーバーTの映像取得開始信号に応じて、上記カメラ装置100はレディーアラーム部130によってレディー状態であることを知らせ、映像取得を開始する。 In response to the video acquisition start signal from the data processing server T, the camera device 100 informs the ready alarm unit 130 that it is in a ready state, and starts video acquisition.
そして、上記カメラ装置100が取得する映像は、上記データ処理サーバーTの映像収集部T10に実時間で伝送されて保存され、前述したような映像分析及びデータ処理が行われる。 The video acquired by the camera device 100 is transmitted and stored in real time in the video collection unit T10 of the data processing server T, and the video analysis and data processing as described above are performed.
一方、図4では、本発明の一実施例に係るゴルフスイング映像情報提供のためのカメラ装置を含むゴルフスイング映像情報提供システムに関する構成をブロック図で示している。 On the other hand, in FIG. 4, the structure regarding the golf swing image | video information provision system containing the camera apparatus for the golf swing image | video information provision which concerns on one Example of this invention is shown with the block diagram.
図3に示した実施例ではカメラ装置とデータ処理サーバーがそれぞれ別個に具備される構成であったが、図4に示す実施例では、上述したデータ処理サーバーに関する構成がカメラ装置に一体として具現される場合を示している。 In the embodiment shown in FIG. 3, the camera device and the data processing server are separately provided. However, in the embodiment shown in FIG. 4, the above-described configuration relating to the data processing server is integrated with the camera device. Shows the case.
したがって、図4に示すように、本発明の一実施例に係るゴルフスイング映像情報提供のためのカメラ装置200は、映像取得部210、電源部220、レディーアラーム部230、音響感知部240、映像収集部250、映像分析部260及びデータ処理部270を全て含んで構成される。 Therefore, as shown in FIG. 4, the camera device 200 for providing golf swing video information according to an embodiment of the present invention includes a video acquisition unit 210, a power supply unit 220, a ready alarm unit 230, an acoustic detection unit 240, an image. The collection unit 250, the video analysis unit 260, and the data processing unit 270 are all included.
本実施例に係るシステムも、図1から図3で上述したシステムと同様に、ゴルフ場のホールに設けられた各ティー区域にカメラ装置をそれぞれ設置することができ、図4の参照番号201で表しているカメラ装置は、参照番号200のカメラ装置とは異なるティー区域に設置されたカメラ装置を指しており、その構成は、参照番号200のカメラ装置と同一であってもよく、或いは、映像収集部250、映像分析部260及びデータ処理部270の構成を含まない形態で具現してもよい(この場合には、カメラ装置201が取得した映像情報の処理は、カメラ装置200に設けられた映像収集部250、映像分析部260及びデータ処理部270によってなされるように構成することができる。)。 Similarly to the system described above with reference to FIGS. 1 to 3, the system according to the present embodiment can also install a camera device in each tee area provided in a golf course hole, and is denoted by reference numeral 201 in FIG. 4. The illustrated camera device refers to a camera device installed in a tee area different from the camera device with reference number 200, and the configuration may be the same as that of the camera device with reference number 200, or an image The configuration of the collection unit 250, the video analysis unit 260, and the data processing unit 270 may not be included (in this case, the processing of video information acquired by the camera device 201 is provided in the camera device 200). The image collecting unit 250, the image analyzing unit 260, and the data processing unit 270 can be configured to be performed.
上述した映像取得部210、電源部220、レディーアラーム部230、音響感知部240、映像収集部250、映像分析部260及びデータ処理部270のそれぞれの機能は、図3に示した映像取得部110、電源部120、レディーアラーム部130、音響感知部140、映像収集部T10、映像分析部T20及びデータ処理部T30とそれぞれ実質的に同一であり、これについては既に説明しており、具体的な説明は省略する。 The functions of the video acquisition unit 210, the power supply unit 220, the ready alarm unit 230, the sound sensing unit 240, the video collection unit 250, the video analysis unit 260, and the data processing unit 270 described above are the video acquisition unit 110 illustrated in FIG. The power supply unit 120, the ready alarm unit 130, the sound sensing unit 140, the video collection unit T10, the video analysis unit T20, and the data processing unit T30 are substantially the same as those described above. Description is omitted.
図4に示すAP装置300、無線キャディー端末機400及びメインサーバーSも、図3で説明したそれらと同一であり、その説明も省くものとする。 The AP apparatus 300, the wireless caddy terminal 400, and the main server S shown in FIG. 4 are also the same as those described with reference to FIG.
一方、本発明の一実施例に係るゴルフスイング映像情報提供システムで具現されるゴルフスイング映像情報提供方法に関して、図5に示すフローチャートを用いてより具体的に説明する。図5に示すフローチャートは、図3に示した構成を有するゴルフスイング映像情報提供システムで行われるプロセスに関する。 Meanwhile, a golf swing video information providing method embodied in the golf swing video information providing system according to an embodiment of the present invention will be described more specifically with reference to the flowchart shown in FIG. The flowchart shown in FIG. 5 relates to a process performed in the golf swing video information providing system having the configuration shown in FIG.
まず、ゴルフ場の特定ホールにおいてあるユーザがティーショットなどの特定ショットをする場合、キャディー又は他のユーザは無線キャディー端末機をAP装置を介してメインサーバーに無線通信接続させる(例えば、WiFi接続)(S10)。 First, when a user at a specific hole in a golf course takes a specific shot such as a tee shot, the caddy or another user connects the wireless caddy terminal to the main server via the AP device by wireless communication (for example, WiFi connection). (S10).
そして、上記無線キャディー端末機を介して、ゴルフスイングするユーザに関する情報をメインサーバーに伝送する(S11)。 And the information regarding the user who performs a golf swing is transmitted to a main server via the said wireless caddy terminal (S11).
ゴルフ場の全てのホール又は複数のホールに本発明に係るゴルフスイング映像提供システムのカメラ装置及びデータ処理サーバーが設置されている場合、メインサーバーはそれぞれのカメラ装置の識別情報、例えば、当該カメラ装置が設置されたホール及び当該ホールにおけるティー区域に関する情報、又は各カメラ装置自体の識別情報を全て保存していることが好ましく、上記無線キャディー端末機にも上記の識別情報が保存されていることが好ましい。 When the camera device and the data processing server of the golf swing video providing system according to the present invention are installed in all the holes or a plurality of holes of the golf course, the main server has identification information of each camera device, for example, the camera device. It is preferable to store all information related to the hole where the camera is installed and the tee area in the hall, or the identification information of each camera device itself, and the wireless caddy terminal also stores the identification information. preferable.
したがって、上記S11段階では、現在ゴルフスイングするユーザに関する情報の他、当該ユーザが利用するカメラ装置に対する識別情報(例えば、カメラ装置自体の識別情報であってもよく、当該カメラが何番のホールにあるか、当該ホールのどのティー区域であるかに関する情報であってもよい。)も共にメインサーバーに伝送することが好ましい。 Accordingly, in step S11, in addition to information regarding the user who is currently golf swinging, identification information for the camera device used by the user (for example, identification information of the camera device itself may be used. It may also be information regarding which tee area of the hall is).
メインサーバーは上記S11段階でユーザに関する情報などを受信すると、当該ユーザを検索し(S20)、当該ユーザに対するスイング映像情報を保存する準備をする(S21)。仮に当該ユーザが検索されないと、メインサーバーは上記無線キャディー端末機を介して当該ユーザを登録し、当該ユーザに対する共有ホルダーなどを生成することによって、上記S20及びS21段階を行う。 When the main server receives information about the user in step S11, the main server searches for the user (S20) and prepares to store the swing video information for the user (S21). If the user is not searched, the main server registers the user via the wireless caddy terminal and generates a share holder for the user, thereby performing steps S20 and S21.
上記メインサーバーはデータ処理サーバーにレディー信号を伝送し(S23)、上記データ処理サーバーは上記メインサーバーのレディー信号を受信してカメラ装置に映像取得開始信号を伝送する(S30)。 The main server transmits a ready signal to the data processing server (S23), and the data processing server receives the ready signal of the main server and transmits a video acquisition start signal to the camera device (S30).
上記カメラ装置は、上記データ処理サーバーから映像取得開始信号を受信し、レディーアラーム部を用いて、ユーザに映像処理の準備ができたということを視覚及び聴覚のうち少なくとも一つの方法でアラーム(以下、"レディーアラーム"という。)する(S40)。 The camera device receives a video acquisition start signal from the data processing server, and uses a ready alarm unit to alarm that the user is ready for video processing using at least one of visual and auditory methods (hereinafter referred to as auditory sense). (Referred to as “ready alarm”) (S40).
ここで、上述したように、レディーアラーム部が映像取得開始信号の受信によって直ちにレディーアラームをするように構成することもでき、上記映像取得開始信号の受信によってカメラ装置の映像取得部が映像を取得してデータ処理サーバーに伝送し、上記データ処理サーバーで映像を分析してその映像上でボール検索が完了してこそ上記レディーアラーム部がレディーアラームをするように構成することもできる。これに関する具体的な説明は後述する。 Here, as described above, the ready alarm unit can be configured to immediately give a ready alarm upon receipt of the video acquisition start signal, and the video acquisition unit of the camera device acquires the video upon reception of the video acquisition start signal. Then, the ready alarm unit can be configured to perform a ready alarm only when the video is analyzed by the data processing server and the ball search is completed on the video. A specific description regarding this will be described later.
一方、データ処理サーバーの映像取得開始信号によって上記カメラ装置の映像取得部はその画角内の映像を持続的に取得し始め(S41)、取得される映像を持続的にデータ処理サーバーに伝送する(S42)。 On the other hand, the image acquisition unit of the camera device starts to acquire the image within the angle of view continuously by the image acquisition start signal of the data processing server (S41), and continuously transmits the acquired image to the data processing server. (S42).
上記データ処理サーバーは、上記カメラ装置から伝送される映像を収集し(S31)(この時、収集する各フレームごとにインデックスを表示することが好ましい。)、データ処理サーバーの映像分析部は、その収集された映像を各フレームごとに映像分析する(S32)。ここで、映像分析部によってなされる映像分析の具体的な例は後述する。 The data processing server collects video transmitted from the camera device (S31) (at this time, it is preferable to display an index for each collected frame), and the video analysis unit of the data processing server The collected video is analyzed for each frame (S32). Here, a specific example of the video analysis performed by the video analysis unit will be described later.
上記データ処理サーバーのデータ処理部は、上記S32段階で行われた映像分析の結果、及びカメラ装置の音響感知部によって打撃音が感知(S43)された結果を受信し、これらを適切に用いて、上記収集された映像から'ユーザスイング映像'を抽出するための基準時点を決定する(S33)。例えば、収集された映像が複数のフレームであるので、複数のフレームの中で基準時点に該当するフレームのインデックス情報を決定する。 The data processing unit of the data processing server receives the result of the video analysis performed in step S32 and the result of the sound detected by the sound detection unit of the camera device (S43), and uses them appropriately. Then, a reference time point for extracting the “user swing video” from the collected video is determined (S33). For example, since the collected video is a plurality of frames, index information of a frame corresponding to the reference time is determined among the plurality of frames.
上記データ処理サーバーのデータ処理部は、上記S33で基準時点を決定し、上記S31段階で収集された映像から、上記決定された基準時点を基準に映像を抽出する(S34)。この抽出された映像が、ユーザに提供される'ユーザスイング映像'に該当する映像である。 The data processing unit of the data processing server determines a reference time in S33, and extracts a video from the video collected in step S31 with reference to the determined reference time (S34). This extracted video is a video corresponding to a “user swing video” provided to the user.
上記データ処理サーバーはAP装置を介してメインサーバーに、上記S34段階で抽出された映像情報を伝送し(S35)、上記メインサーバーは、この映像情報を当該ユーザのスイング映像情報として保存する(S25)。共有ホルダーを作って上記ユーザのスイング映像情報を複写しておくことも可能である。 The data processing server transmits the video information extracted in step S34 to the main server through the AP device (S35), and the main server stores the video information as swing video information of the user (S25). ). It is also possible to make a shared holder and copy the user's swing video information.
上述したようにメインサーバーが該当ユーザの共有ホルダーに当該ユーザのスイング映像情報を保存しておき、無線キャディー端末機は当該共有ホルダーに接近して当該ユーザのスイング映像情報を実行したり当該ユーザのモバイル端末機に伝送するなどの方式で当該ユーザにスイング映像情報を提供する(S12)。 As described above, the main server stores the user's swing video information in the shared holder of the user, and the wireless caddy terminal approaches the shared holder and executes the user's swing video information or the user's swing video information. The swing video information is provided to the user by a method such as transmission to the mobile terminal (S12).
一方、図6は、図5に示した映像分析段階(S32)及び基準時点決定段階(S33)に関する一例に該当するプロセスをさらに詳しく示している。 On the other hand, FIG. 6 shows in more detail a process corresponding to an example relating to the video analysis stage (S32) and the reference time determination stage (S33) shown in FIG.
図3に示したようなデータ処理サーバーの映像収集部、映像分析部及びデータ処理部によって行われるプロセスに関して説明しているが、これは、図4に示したカメラ装置に具備される映像収集部、映像分析部及びデータ処理部で同一に行われいてもよく、以下で別に言及しなくとも、上述した事項は同一に適用される。 Although the process performed by the video collection unit, the video analysis unit, and the data processing unit of the data processing server as shown in FIG. 3 is described, this is the video collection unit provided in the camera apparatus shown in FIG. The video analysis unit and the data processing unit may be performed in the same manner, and the above-described matters are applied in the same way even if not mentioned separately below.
図6に示すように、カメラ装置の映像取得部から映像を受け取って収集しながら、データ処理サーバーの映像分析部はその収集された映像からボール検索を行うことができる(S100)。 As shown in FIG. 6, the video analysis unit of the data processing server can perform a ball search from the collected video while receiving and collecting the video from the video acquisition unit of the camera device (S100).
上記S100段階は、映像取得部から伝送された初期映像で上記のボール検索が行われるため、上記ボール検索プロセスは、ユーザがボールを置いてアドレス姿勢を取る際に行われる。 In step S100, the ball search is performed using the initial image transmitted from the image acquisition unit. Therefore, the ball search process is performed when the user places a ball and takes an address posture.
上記S100段階は、実施例によって、行われても行われなくてもよい。ボール検索に成功しようが失敗しようが次のプロセスが行われ、上記ボール検索プロセスに成功すると以降の基準時点の決定に参考となり得るが、ボール検索に失敗しても、様々な他の情報を用いて基準時点を決定することがきる。 The step S100 may or may not be performed depending on the embodiment. Whether the ball search succeeds or fails, the following process is performed, and if the above ball search process is successful, it can be used as a reference for the subsequent determination of the reference time point. To determine the base time.
上記ボール検索プロセスは、ボールが停止状態にあるため、2つの映像フレーム間の差演算を用いては検出できず、取得された映像上でボールに該当する大きさ、丸さの度合、ボールのパターン、ピクセルの明るさなどのファクターを用いてボールを探す過程が行われてもよく、ボールに対する参照イメージとしてテンプレートイメージをあらかじめ保存しておき、取得された映像から、上記テンプレートイメージとの類似度が高いものを探す方式でボール検索が行われてもよい。 The ball search process cannot be detected using the difference calculation between two video frames because the ball is in a stopped state, and the size, roundness, The process of searching for a ball may be performed using factors such as pattern and pixel brightness. A template image is stored in advance as a reference image for the ball, and the similarity to the template image is obtained from the acquired video. The ball search may be performed by a method of searching for a high item.
一方、データ処理サーバーの映像分析部で行う分析は、収集された各フレームの映像から、ゴルフクラブに該当する部分とボールに該当する部分をそれぞれ抽出して映像上でゴルフクラブとボールを認識し、ゴルフクラブとボールがどのように動くか、すなわち、挙動特性を把握することを目的とする。 On the other hand, the analysis performed by the video analysis unit of the data processing server extracts the part corresponding to the golf club and the part corresponding to the ball from the collected video of each frame, and recognizes the golf club and the ball on the video. The purpose is to understand how the golf club and the ball move, that is, the behavioral characteristics.
そのために、収集された各フレームの映像に対して差映像分析を行う(S110)。すなわち、時間的に連続する複数のフレームの映像に対して、特定映像の以前映像との差演算によって生成される映像には、動きのある部分、すなわち、ゴルフクラブに該当する部分、及びボールが打撃された以降に動くボールに該当する部分が現れるので、ゴルフクラブとボールを上述した差映像分析を用いて効果的に抽出することができる。 For this purpose, difference video analysis is performed on the collected video of each frame (S110). In other words, in a video generated by calculating a difference between a plurality of temporally continuous frames and a previous video of a specific video, a moving part, that is, a part corresponding to a golf club, and a ball are included. Since a portion corresponding to a moving ball appears after being hit, the golf club and the ball can be effectively extracted using the above-described difference image analysis.
ここで、差映像分析は、連続する2つのフレーム間の差演算によって生成した映像を用いて当該映像上に現れているピクセルを分析することもでき、上記差映像に対してあらかじめ設定されたピクセル値(明るさ値)を閾値として正規化した映像を生成し、この正規化した映像上に現れているピクセルを分析することもできる。 Here, the difference image analysis can also analyze pixels appearing on the image using an image generated by the difference calculation between two consecutive frames, and the pixels set in advance for the difference image can be analyzed. It is also possible to generate a normalized image using the value (brightness value) as a threshold and analyze the pixels appearing on the normalized image.
一方、上述した差映像分析によって、映像からゴルフクラブを抽出して認識するプロセスと映像からボールを抽出して認識するプロセスは互いに異なるプロセスであり、マルチスレッディング(Multi−Threading)方式で同時に各プロセスが行われてもよく、上記ゴルフクラブ認識プロセスとボール認識プロセスが順次に行われてもよい。 On the other hand, the process of extracting and recognizing a golf club from a video by the above-described difference video analysis and the process of extracting and recognizing a ball from a video are different processes, and each process can be performed simultaneously in a multi-threading method. The golf club recognition process and the ball recognition process may be sequentially performed.
図6に示すフローチャートにおいて、S121〜S123がゴルフクラブ認識プロセスを表し、S141〜S143がボール認識プロセスを表す。 In the flowchart shown in FIG. 6, S121 to S123 represent a golf club recognition process, and S141 to S143 represent a ball recognition process.
まず、ゴルフクラブ認識プロセスについて説明すると、収集された最初の映像(又は、任意の映像)において'スイング判別オブジェクト'を設定する(S121)。該スイング判別オブジェクトはあらかじめ設定された個数の複数セクションを有するが、映像から差映像分析によってゴルフクラブを認識すると、その認識されたゴルフクラブが上記設定されたスイング判別オブジェクト上でどのように動くか、即ち、その挙動特性を把握して、ユーザがゴルフスイングをしたか否かを容易に判別することができる。上記スイング判別オブジェクトの設定に関する具体的な内容は後述する。 First, the golf club recognition process will be described. A “swing discrimination object” is set in the first collected video (or any video) (S121). The swing discriminating object has a preset number of sections, but how the recognized golf club moves on the set swing discriminating object when the golf club is recognized from the video by difference video analysis. That is, it is possible to easily determine whether or not the user has made a golf swing by grasping the behavior characteristics. Specific contents regarding the setting of the swing discrimination object will be described later.
一方、上記S110段階で差映像分析された映像上には複数のピクセルが現れるが、ピクセルの群集状態や分布などを把握すると、ピクセルが棒状に集まっている部分が存在し、この部分がゴルフクラブに該当する部分であり、これをより明確に認識するために、それらのピクセルが集まっている部分にゴルフクラブに該当するライン、すなわち、クラブラインを生成して表示することによってゴルフクラブを認識することが可能になる(S122)。クラブラインを表示すると、その先端部分がクラブヘッド部分になり、クラブヘッド部分までも認識可能になる。 On the other hand, a plurality of pixels appear on the video that has been subjected to the difference video analysis in the above-described step S110. However, when the pixel crowd state and distribution are grasped, there is a portion where the pixels are gathered in a rod shape. In order to recognize this more clearly, the golf club is recognized by generating and displaying a line corresponding to the golf club, that is, a club line, in a portion where the pixels are gathered. (S122). When the club line is displayed, the tip portion becomes the club head portion, and even the club head portion can be recognized.
各フレーム映像ごとに上述のようにクラブラインを生成すると、上記S121段階で設定されたスイング判別オブジェクト上で上記クラブラインが発見されるセクションの数と進行方向を判断することができ、これに基づいて、ユーザがゴルフスイングしたか否かを判別することができる(S123)。これに関する具体的な内容は図7及び図8を参照して後述する。 When the club line is generated for each frame image as described above, the number of sections in which the club line is found and the traveling direction can be determined on the swing determination object set in step S121. Thus, it can be determined whether or not the user has made a golf swing (S123). Details regarding this will be described later with reference to FIGS.
一方、ボール認識プロセスについて説明すると、上記収集された各フレームの映像から、あらかじめ設定された大きさ及び位置に該当する関心領域を抽出する(S141)。 Meanwhile, the ball recognition process will be described. A region of interest corresponding to a preset size and position is extracted from the collected video images of each frame (S141).
上記抽出された関心領域内でフレームごとに位置変化するオブジェクトを差映像分析などを用いて抽出することができるが、上記フレームごとに位置変化するオブジェクトに対して各フレーム別に当該オブジェクトの水平面に対する高さ角を算出する(S142)。 An object whose position changes for each frame within the extracted region of interest can be extracted using difference video analysis or the like. However, for each object whose position changes for each frame, the height of the object relative to the horizontal plane is different for each frame. The angle is calculated (S142).
そして、上記算出された各フレーム別の高さ角を用いて当該オブジェクトがボールであるか否かを判断することによってボールを認識することができる(S143)。 Then, the ball can be recognized by determining whether or not the object is a ball using the calculated height angle for each frame (S143).
これに関する具体的な事項は、図10及び図11を参照して後述する。 Specific matters regarding this will be described later with reference to FIGS.
上述したように、収集された映像に対する分析によって各フレームの映像上でゴルフクラブとボールをそれぞれ認識し、その認識されたゴルフクラブ及びボールの挙動特性を把握すると、該分析結果を用いて上記収集された映像から'ユーザスイング映像'を抽出するための基準時点を決定することができる(S200)。 As described above, when the golf club and the ball are recognized on the video of each frame by analyzing the collected video and the behavior characteristics of the recognized golf club and the ball are grasped, the above-described collection is performed using the analysis result. A reference time point for extracting the “user swing video” from the recorded video can be determined (S200).
すなわち、ゴルフクラブ認識の結果、ユーザがスイングをしており、ボール認識の結果、関心領域内にボールが現れた場合、これはほとんど、ユーザのゴルフスイングによってボールが打たれて飛んで行く状況であるので、上記関心領域に上記認識されたボールが初めて登場する時点を基準時点と決定することができる。さらにいうと、上記関心領域に上記認識されたボールが初めて登場する時、当該フレームを基準時点におけるフレームと決定することができる。 That is, when the user is swinging as a result of golf club recognition and the ball appears in the region of interest as a result of ball recognition, this is mostly a situation where the ball is hit and flies by the user's golf swing. Therefore, the time point when the recognized ball first appears in the region of interest can be determined as the reference time point. Furthermore, when the recognized ball first appears in the region of interest, the frame can be determined as the frame at the reference time point.
このように基準時点が決定されると、該決定された基準時点におけるフレームを基準に、それ以前のあらかじめ設定された個数又は時間区間のフレームとそれ以降のあらかじめ設定された個数又は時間区間のフレームとをそれぞれ抽出し、抽出された全体の連続したフレームの映像が最終的に提供しようとするユーザスイング映像になり、当該映像がメインサーバーに伝送されて保存される。 When the reference time is determined in this way, a frame of a preset number or time interval before that and a frame of a preset number or time interval after that are based on the frame at the determined reference time Are extracted, and the extracted video of the entire continuous frame finally becomes a user swing video to be provided, and the video is transmitted to the main server and stored.
一方、本発明に係るゴルフスイング映像情報提供方法は、上述のように映像分析から得られた結果に基づいて、上述のようにスイング映像抽出のための基準時点を決定することもできるが、より確実で安定した基準時点を決定するために、カメラ装置に設けられた音響感知部の打撃音感知の結果を共に用いてスイング映像抽出のための基準時点を決定することもできる。 On the other hand, the golf swing video information providing method according to the present invention can determine the reference time point for the swing video extraction as described above based on the result obtained from the video analysis as described above. In order to determine a reliable and stable reference time, it is also possible to determine a reference time for swing image extraction by using the result of the percussion sound detection of the sound sensing unit provided in the camera device together.
すなわち、データ処理サーバーのデータ処理部は、映像分析を用いてゴルフクラブを認識した結果情報、映像分析を用いてボールを認識した結果情報、及び音響感知部の打撃音感知結果情報のうち少なくとも2つの情報を用いてスイング映像抽出のための基準時点を決定することができる(S200)。 That is, the data processing unit of the data processing server has at least two of the result information of recognizing the golf club using video analysis, the result information of recognizing the ball using video analysis, and the hitting sound detection result information of the sound sensing unit. The reference time for swing image extraction can be determined using the two pieces of information (S200).
上記S110、S121、S122及びS123などのプロセスによって映像からゴルフクラブを認識することによって、ユーザがゴルフスイングをしたか否かを判別できる他、ゴルフクラブの認識によって基準時点を決定することもできる。 By recognizing the golf club from the video by the processes such as S110, S121, S122, and S123, it is possible to determine whether or not the user has made a golf swing, and it is also possible to determine the reference time point by recognizing the golf club.
これについてより具体的に説明すると、上述したS100段階でボール検索に成功すると、映像上における初期ボールの位置情報を保存することができる。 More specifically, the position information of the initial ball on the video can be saved when the ball search is successful in the above-described step S100.
そして、スイング判別オブジェクトから、ゴルフクラブがスイング方向に進行してユーザがゴルフスイングをしたと判別される場合、上記ゴルフクラブに該当するクラブラインの先端部分(ヘッド部分)と上記保存された初期ボールの位置とが最も近接する時のフレームを特定することができ、該特定されたフレームを基準時点におけるフレームと決定することができる。 When it is determined from the swing determination object that the golf club has advanced in the swing direction and the user has made a golf swing, the tip portion (head portion) of the club line corresponding to the golf club and the stored initial ball It is possible to specify the frame when the position of the frame is closest, and determine the specified frame as the frame at the reference time point.
仮に、上述したS100段階でボール検索に失敗すると、ゴルフクラブの認識を用いては上述した基準時点を直ちに決定せず、ユーザがゴルフスイングをしたか否かのみを判別することが好ましい。 If the ball search fails in the above-described step S100, it is preferable to determine only whether or not the user has made a golf swing without immediately determining the reference time point described above using golf club recognition.
一方、ボールの認識を用いた基準時点の決定は前述したとおりであり、映像から関心領域を抽出し、その関心領域内で登場するオブジェクトがボールであることを確認すると、当該オブジェクトが関心領域に初めて登場する時のフレームを基準時点におけるフレームと決定することができる。 On the other hand, the determination of the reference time point using the recognition of the ball is as described above, and when the region of interest is extracted from the video and it is confirmed that the object appearing in the region of interest is the ball, the object becomes the region of interest. The frame when it first appears can be determined as the frame at the reference time point.
音響感知部の打撃音感知結果を利用する場合には、打撃音の感知された時点を基準時点とすることができる。 When using the sound detection result of the sound detection unit, the time point at which the sound is detected can be set as the reference time point.
上述したように、ゴルフクラブの認識によっても基準時点を決定することができ、ボールの認識によっても基準時点を決定することができ、音響感知部の打撃音感知結果によっても基準時点を決定することができる。 As described above, the reference time can be determined also by the recognition of the golf club, the reference time can be determined also by the recognition of the ball, and the reference time is also determined by the hitting sound detection result of the acoustic sensor. Can do.
したがって、データ処理サーバーのデータ処理部は、上述したゴルフクラブを認識した結果情報、ボールを認識した結果情報、及び音響感知部の打撃音感知結果情報のそれぞれに対して優先順位をあらかじめ設定しておき、これら3つの情報のうち少なくとも2つの情報を得ることに成功した場合、該成功した少なくとも2つの情報のうち、優先順位の高い情報に基づいて基準時点を決定することができる。 Therefore, the data processing unit of the data processing server presets priorities for each of the result information for recognizing the golf club, the result information for recognizing the ball, and the hitting sound detection result information for the sound sensing unit. In addition, when it is successful to obtain at least two pieces of information among these three pieces of information, the reference time point can be determined based on information having a high priority order among the at least two pieces of succeeding information.
上記3つの情報のうち一つの情報だけが得られる場合はほとんどなかったが、このような場合に備えて、上記3つの情報のうち2つの情報を得るのに失敗した場合、残る一つの情報に基づいて基準時点を決定するように本発明を構成することも可能であることは勿論である。 There was almost no case where only one of the three pieces of information could be obtained, but in case of failure to obtain two pieces of information among the above three pieces of information in preparation for such a case, Of course, the present invention can be configured to determine the reference time point based on it.
一方、上述したゴルフクラブ認識プロセスに関してより具体的な内容を図7及び図8を参照して説明する。 On the other hand, more specific contents regarding the above-described golf club recognition process will be described with reference to FIGS.
図7の(a)及び(b)は、映像取得部によって取得される映像10をそれぞれ示し、当該映像において、図6で説明したような'スイング判別オブジェクト'を設定するプロセスに関してそれぞれ示している。 (A) and (b) of FIG. 7 show the images 10 acquired by the image acquisition unit, respectively, and show the processes for setting the “swing discrimination object” as described in FIG. 6 in the images. .
スイング判別オブジェクト20を設定するにあたって、スイング判別オブジェクト20の大きさ、形状(例えば、円形、楕円形、四角形など)、及びこれを構成する各セクションS1〜S12の個数などに関する事項をデータ処理サーバーの映像分析部があらかじめ設定しておくことが好ましい。 In setting the swing discrimination object 20, items related to the size and shape of the swing discrimination object 20 (for example, a circle, an ellipse, a quadrangle, etc.) and the number of sections S1 to S12 constituting this are determined by the data processing server. It is preferable that the video analysis unit sets in advance.
上述したスイング判別オブジェクト20をどこを中心にして映像上に配置するように設定するかによって、図7の(a)に示すように、映像の中心Cdにスイング判別オブジェクト20の中心が位置するように配置する場合と、図7の(b)に示すように、映像からユーザP10を認識し、該ユーザP10の重心点Cwを探して該重心点Cwにスイング判別オブジェクト20の中心が位置するように配置する場合がある。 As shown in FIG. 7A, the center of the swing discrimination object 20 is positioned at the center Cd of the video depending on where the above-described swing discrimination object 20 is set to be arranged on the video. And the user P10 is recognized from the video, the center of gravity Cw of the user P10 is searched, and the center of the swing determination object 20 is positioned at the center of gravity Cw as shown in FIG. 7B. May be placed in
図7の(a)及び(b)に示すスイング判別オブジェクト20は円形であり、12等分された12個のセクションが存在する場合について示している。 The swing discriminating object 20 shown in FIGS. 7A and 7B has a circular shape and shows a case where there are twelve equally divided sections.
ユーザがゴルフショットをする時にカメラ装置を意識するとその画角範囲内でゴルフスイングをしようとするため、映像内でユーザはほぼ中心部に位置してスイングをし、その結果、図7の(a)に示す場合と(b)に示す場合においてほぼ同一の結果を得ることができる。 When the user is conscious of the camera device when taking a golf shot, the user tries to perform a golf swing within the range of angle of view. ) And the case shown in (b), almost the same results can be obtained.
このようにスイング判別オブジェクト20が設定されると、図8に示すように映像収集部に収集された各フレームの映像に対して差映像分析が行われる。 When the swing discrimination object 20 is set in this way, difference video analysis is performed on the video of each frame collected by the video collection unit as shown in FIG.
図8の(a)は、映像取得部によって取得されて映像収集部に伝送された原本映像10を示し、図8の(b)は、図8の(a)の映像と以前フレームの映像との差演算によって生成された差映像11を示し、図8の(c)は、図8の(b)に示す差映像11に対して、あらかじめ設定された明るさ値を閾値として映像を正規化し、該正規化された映像におけるピクセル分布などを用いてクラブラインCLを生成して示した映像12である。 8A shows the original video 10 acquired by the video acquisition unit and transmitted to the video collection unit, and FIG. 8B shows the video of FIG. 8A and the video of the previous frame. FIG. 8C shows the difference image 11 generated by the difference calculation, and normalizes the image with respect to the difference image 11 shown in FIG. 8B using a preset brightness value as a threshold value. The image 12 shows a club line CL generated by using a pixel distribution or the like in the normalized image.
図8の(a)でgc1は、実際のゴルフクラブを表し、図8の(b)でgc2は、差映像上で現れたゴルフクラブに該当する部分を表し、図8の(c)でCLは、上記gc2部分に対してクラブラインを生成したものを表す。 In FIG. 8 (a), gc1 represents an actual golf club, in FIG. 8 (b), gc2 represents a portion corresponding to the golf club appearing on the difference image, and in FIG. 8 (c), CL Represents a club line generated for the gc2 portion.
一方、図8の(d)は、図8の(c)のように生成された映像におけるクラブラインCLが、あらかじめ設定されたスイング判別オブジェクト20上でどのように動くかを判断するための映像を示している。 On the other hand, FIG. 8D shows an image for determining how the club line CL in the image generated as shown in FIG. 8C moves on the preset swing discrimination object 20. Is shown.
複数のフレームの映像を図8の(d)のような状態で見ると、クラブラインCLが発見されるセクションを確認することができ、データ処理部は、クラブラインが発見されるセクションの数とクラブラインが進行する方向に対してあらかじめ設定しておき、映像分析された複数のフレームの映像から、クラブラインCLがスイング判別オブジェクト20上で発見されるセクションの数と進行方向を確認し、それがあらかじめ設定された事項に該当するかを判断し、ユーザがゴルフスイングをするか否かを判別する。 When the images of a plurality of frames are viewed in a state as shown in FIG. 8D, the section in which the club line CL is found can be confirmed, and the data processing unit determines the number of sections in which the club line is found. The direction in which the club line travels is set in advance, and the number of sections in which the club line CL is found on the swing discrimination object 20 and the traveling direction are confirmed from the images of the plurality of frames analyzed. Is determined to correspond to a preset matter, and it is determined whether or not the user performs a golf swing.
ここで、クラブラインCLのスイング判別オブジェクト20上における進行方向はバックスイングの進行方向ではなくダウンスイングの進行方向を感知することをスイング判別の要件としてあらかじめ設定することが好ましい。 Here, it is preferable that the travel direction of the club line CL on the swing determination object 20 is set in advance as a requirement for swing determination to sense not the back swing travel direction but the down swing travel direction.
例えば、スイング判別の要件として3個のセクション及び反時計回り方向をあらかじめ設定しておいたと仮定すれば、3個のフレーム映像をそれぞれ差映像分析してクラブラインCLを生成した場合、スイング判別オブジェクト20上においてセクションS9、S8、S7でそれぞれクラブラインCLが発見されると、上述したスイング判別の要件を充足するので、ユーザのゴルフスイングがなされたと判断することができる。 For example, assuming that three sections and a counterclockwise direction are set in advance as the requirements for swing determination, when the club line CL is generated by analyzing the difference between three frame images, the swing determination is performed. When the club line CL is found in each of the sections S9, S8, and S7 on the object 20, the above-described requirements for swing determination are satisfied, so that it can be determined that the user has made a golf swing.
一方、図8の(a)に示す映像10において、ユーザP10はバックスイングを始めた状態であり、ボールは初期位置に置かれてある状態である。ここで、ボールba1の部分は差映像を用いては識別できず、図6で説明したように、別のボール検索プロセスを用いて認識することができる。 On the other hand, in the video 10 shown in FIG. 8A, the user P10 has started the backswing, and the ball is in the initial position. Here, the portion of the ball ba1 cannot be identified using the difference video, but can be recognized using another ball search process as described with reference to FIG.
仮にボール検索に成功して映像分析部がボールba1の初期位置を特定できる場合、図8の(c)に示すようなクラブラインCLの生成によるゴルフクラブの認識によってボールに対するインパクト付近の時点を特定することができ、これを基準時点と決定することもできる。 If the ball search is successful and the video analysis unit can identify the initial position of the ball ba1, the time near the impact on the ball is identified by recognizing the golf club by generating the club line CL as shown in FIG. This can be determined as a reference time point.
一方、上述したボール認識プロセスに関してより具体的な内容を図9から図11を参照して説明する。 On the other hand, more specific contents regarding the above-described ball recognition process will be described with reference to FIGS.
図9に示すように、ボールの場合も基本的に差映像分析を用いて認識することができる。 As shown in FIG. 9, the case of a ball can also be basically recognized using difference video analysis.
もちろん、映像上でボールを差映像分析によって認識するためには、ボールが打撃によって動いている状態である必要があり、ボールが打撃される前には差映像によってボールを認識することができず、このときは、前述したボール検索プロセスを用いてボールの位置を認識することができる。 Of course, in order to recognize the ball on the video by the difference video analysis, the ball needs to be in a state of moving by hitting, and the ball cannot be recognized by the difference video before the ball is hit. At this time, the position of the ball can be recognized using the above-described ball search process.
しかし、前述したボール検索プロセスに失敗しても、以下に説明するボール認識プロセスから得た結果を用いて基準時点を決定することができる。 However, even if the above-described ball search process fails, the reference time point can be determined using the results obtained from the ball recognition process described below.
図9の(a)は原本映像10であり、P10はユーザを、gc1はゴルフクラブを、ba1はボールを表す。この原本映像10に対して以前フレームの映像との差映像11を求めると、動く部分であるゴルフクラブ部分gc2及びボール部分ba2が現れる。 (A) of FIG. 9 is the original image 10, P10 represents a user, gc1 represents a golf club, and ba1 represents a ball. When the difference image 11 between the original image 10 and the image of the previous frame is obtained, a golf club part gc2 and a ball part ba2 which are moving parts appear.
ここで、所定の閾値で正規化映像12を求めると、上記ゴルフクラブ部分gc2及びボール部分ba2がより明確に現れ、ゴルフクラブに対してはクラブラインCLを生成してゴルフクラブであることを表し、その先端部分はヘッド部分HDに該当する。ボール部分BDもより明確に現れる。 Here, when the normalized image 12 is obtained with a predetermined threshold value, the golf club part gc2 and the ball part ba2 appear more clearly, and a club line CL is generated for the golf club to indicate that it is a golf club. The tip portion corresponds to the head portion HD. The ball portion BD also appears more clearly.
このように差映像分析を用いてゴルフクラブ部分とボール部分を明確に抽出することができ、クラブラインCLにつながっている部分はヘッド部分HDと認識することができ、これと分離されている部分はボール部分BDと認識することができる。 Thus, the golf club part and the ball part can be clearly extracted using the difference video analysis, and the part connected to the club line CL can be recognized as the head part HD, and the part separated from the head part HD. Can be recognized as a ball portion BD.
一方、図10では映像上で関心領域の設定によってボールを認識するプロセスについて説明している。 On the other hand, FIG. 10 illustrates a process of recognizing a ball by setting a region of interest on an image.
図10の(a)に示すように、映像から、あらかじめ設定された大きさ及び形状の関心領域ROIを抽出し、その抽出された関心領域を分析して、当該関心領域にボールがあるか否かを判断することによって基準時点を決定することができる。 As shown in FIG. 10A, a region of interest ROI having a preset size and shape is extracted from the video, the extracted region of interest is analyzed, and whether there is a ball in the region of interest. The reference time point can be determined by determining whether or not.
すなわち、関心領域内にボールがあることを確認すると、その関心領域にボールが最初に登場した時点のフレームを基準時点のフレームと決定することができる。 That is, when it is confirmed that there is a ball in the region of interest, the frame at the time when the ball first appears in the region of interest can be determined as the frame at the reference time.
ところが、関心領域内にフレームごとに位置変化するオブジェクトが現れる場合、当該オブジェクトがボールかクラブのヘッド部分かを区別するプロセスを行う必要がある。人は映像を見て当該オブジェクトがボールかクラブヘッドかが分かるが、コンピュータにはそれが分からず、それを区別するプロセスを別に行う必要があるわけである。 However, when an object whose position changes for each frame appears in the region of interest, it is necessary to perform a process of distinguishing whether the object is a ball or a club head. A person can see whether the object is a ball or a club head by looking at the video, but the computer does not know it and needs to perform a separate process to distinguish it.
図9の(c)に示すように、差映像及びこれに対する正規化処理された映像から上述したような関心領域を抽出すると、当該関心領域内にオブジェクトが存在するようになり、図9の(c)ではクラブラインCLとヘッド部分HDが明確に認識されるので、クラブラインCLの先端につながっている否かを判断することによってボール部分BDを区別でき、関心領域内でボール部分BDが発見されると、当該フレームを基準時点におけるフレームとすることができる。 As shown in (c) of FIG. 9, when the region of interest as described above is extracted from the difference video and the video normalized thereto, an object is present in the region of interest, and ( In c), since the club line CL and the head part HD are clearly recognized, it is possible to distinguish the ball part BD by determining whether it is connected to the tip of the club line CL, and the ball part BD is found in the region of interest. Then, the frame can be a frame at the reference time point.
ところが、クラブラインの生成に失敗する場合もあり、クラブライン部分とクラブヘッド部分とが分離して現れ、クラブヘッド部分とボール部分が関心領域内に共に存在するときには、どれがボールかを認識するためのプロセスを行う必要がある。 However, there is a case where the generation of the club line fails, and when the club line part and the club head part appear separately, and the club head part and the ball part exist together in the region of interest, it recognizes which is the ball. Need to go through the process.
図10の(b)、(c)及び(d)はそれぞれ、n番目のフレームの関心領域、n+1番目のフレームの関心領域、及びn+2番目のフレームの関心領域をそれぞれ抽出して示している。ボール認識のためには、差映像又は差映像に正規化処理された映像から関心領域を抽出して利用することが好ましいが、図10の(b)、(c)及び(d)では、ボール認識に関する説明がより一層理解されるように、原本映像から抽出した関心領域を示している(差映像などからOb1などのオブジェクトの位置情報が分かるので、これを用いて、原本映像から抽出された関心領域によっても分析が可能であることは勿論である。)。 (B), (c), and (d) of FIG. 10 respectively show the region of interest of the nth frame, the region of interest of the (n + 1) th frame, and the region of interest of the (n + 2) th frame. For the ball recognition, it is preferable to extract and use the region of interest from the difference image or the image normalized to the difference image, but in FIGS. 10B, 10C, and 10D, the ball The region of interest extracted from the original video is shown so that the explanation about recognition can be further understood (the position information of the object such as Ob1 is known from the difference video, etc., and is used to extract the original video from the original video. Of course, analysis is also possible depending on the area of interest.)
図10の(a)〜(d)において、Oc1、Oc2、Oc3はゴルフクラブのヘッド部分に該当するオブジェクトであり、Ob1、Ob2、Ob3はボール部分に該当するオブジェクトである。本発明のデータ処理サーバーの映像分析部は、関心領域内に存在する上記Oc2、Oc3、Ob1、Ob2、Ob3などの複数のオブジェクトの中でどれがボールかを判断する必要がある。 In FIGS. 10A to 10D, Oc1, Oc2, and Oc3 are objects corresponding to the head portion of the golf club, and Ob1, Ob2, and Ob3 are objects corresponding to the ball portion. The video analysis unit of the data processing server of the present invention needs to determine which is the ball among the plurality of objects such as Oc2, Oc3, Ob1, Ob2, and Ob3 existing in the region of interest.
これに関しては、図11に示すような原理によってボールか否かを判断することができる。 In this regard, it can be determined whether or not the ball is based on the principle shown in FIG.
図11では、複数のフレームに登場するオブジェクトを一つに統合して示している。すなわち、Ob1及びOc1はm番目のフレーム、Ob2及びOc2はm+1番目のフレーム、Ob3及びOc3はm+2番目のフレームにそれぞれ存在するものであるが、ボールを区別する原理を容易に説明するために、それらが一つのイメージに存在する場合を想定して示している。 In FIG. 11, objects appearing in a plurality of frames are integrated into one. That is, Ob1 and Oc1 are present in the mth frame, Ob2 and Oc2 are present in the m + 1th frame, and Ob3 and Oc3 are present in the m + 2th frame. In order to easily explain the principle of distinguishing the balls, It is shown assuming that they exist in one image.
実際にゴルフスイングによってゴルフクラブのヘッドがボールを打つと、ボールの動きとクラブヘッドの動きはそれぞれ異なる特性を見せる。 When the golf club head actually hits the ball by a golf swing, the movement of the ball and the movement of the club head show different characteristics.
すなわち、ボールは打撃されると、一定の距離までは直線運動をする(特に、映像取得部の画角内での動きは常に直線運動である。)。したがって、各フレーム別オブジェクトの高さ角(地面又は水平面からの高さ角)をそれぞれ算出すると、略同一の値を有し、たいてい、小さい値を有する特徴がある。 That is, when the ball is hit, it moves linearly up to a certain distance (in particular, the movement within the angle of view of the image acquisition unit is always linear). Therefore, when the height angle (the height angle from the ground or the horizontal plane) of each frame-based object is calculated, it has a characteristic that it has substantially the same value and usually has a small value.
すなわち、Ob1からOb2へ進行する高さ角ab1、Ob2からOb3へ進行する高さ角ab2、Ob3の高さ角ab3などが略同一の値を有し、クラブヘッドの高さ角に比べて相対的に小さい値を有する。 That is, the height angle ab1 that progresses from Ob1 to Ob2, the height angle ab2 that progresses from Ob2 to Ob3, the height angle ab3 of Ob3, and the like have substantially the same value, and are relative to the height angle of the club head. Have a small value.
しかし、クラブヘッドの場合、曲線を描きながら運動するため、各フレーム別オブジェクトの高さ角はそれぞれ異なる値を有し、だいてい、ボールの高さ角よりも大きい値を有する。すなわち、Oc1の高さ角ac1、Oc2の高さ角ac2、Oc3の高さ角ac3はそれぞれ異なる値を有する。 However, since the club head moves while drawing a curve, the height angle of each frame-based object has a different value, which is generally larger than the height angle of the ball. That is, the height angle ac1 of Oc1, the height angle ac2 of Oc2, and the height angle ac3 of Oc3 have different values.
したがって、誤差範囲をあらかじめ設定しておき、各オブジェクト(Oc2、Oc3、Ob1、Ob2、Ob3など)の高さ角を算出し、そのあらかじめ設定された誤差範囲内で同一の高さ角の値を有するオブジェクトを抽出すれば、それがボールである。 Therefore, an error range is set in advance, the height angle of each object (Oc2, Oc3, Ob1, Ob2, Ob3, etc.) is calculated, and the same height angle value within the preset error range is calculated. If you extract an object you have, it is a ball.
ボールが抽出されて認識されると、関心領域内に認識されたボールが最初に登場したフレームを基準時点におけるフレームと決定することができる。例えば、図10で、n番目のフレーム映像から抽出した関心領域上にOb1が登場し、n+1番目のフレーム、n+2番目のフレームでそれぞれ、Oc2,Ob2、及びOc3,Ob3が登場すると、それぞれのオブジェクトの高さ角を算出し、あらかじめ設定した誤差範囲内で同一の高さ角を有するオブジェクトを探せば、それがボールである。 When the ball is extracted and recognized, the frame in which the ball recognized in the region of interest first appears can be determined as the frame at the reference time point. For example, in FIG. 10, when Ob1 appears on the region of interest extracted from the nth frame image, and Oc2, Ob2, and Oc3, Ob3 appear in the n + 1th frame and n + 2th frame, respectively, If an object having the same height angle is found within a preset error range, it is a ball.
または、誤差範囲を定める代わりに、高さ角の値そのものの範囲を定めておき、その高さ角の値の範囲内にあればボールであり、それともボールでないと判断することもできる。 Alternatively, instead of determining the error range, it is possible to determine the range of the height angle value itself and determine that the ball is within the height angle value range or not the ball.
ボールの高さ角は、同種のショットであれば人によって大した差異はないので、適度な高さ角値の範囲をあらかじめ設定しておき、その範囲内で高さ角値を有するオブジェクトを探し、それをボールとして認識することが可能であり、ボールが認識されると、関心領域に最初にボールが登場したフレームが分かり、当該フレームのインデックス情報を基準時点におけるフレームインデックス情報として保存し、当該フレームを基準に以前及び以降のあらかじめ設定された個数のフレーム又はあらかじめ設定された時間区間のフレームを抽出し、それをユーザのスイング映像情報と決定することができる。 The height angle of the ball is not significantly different depending on the person if it is the same type of shot, so an appropriate range of height angle values is set in advance, and an object having a height angle value within that range is searched. It is possible to recognize it as a ball, and when the ball is recognized, the frame where the ball first appeared in the region of interest is known, and the index information of the frame is stored as the frame index information at the reference time point. A predetermined number of frames before and after or a frame in a preset time interval can be extracted based on the frame, and determined as user swing video information.
このように、本発明は、単純にユーザがボールを打撃する時の打撃音だけによって基準時点を決めて映像を抽出するのではなく、映像の分析を用いたゴルフクラブ認識、ボールの認識、音響感知を全て考慮して非常に安定且つ一定の基準時点を決めてスイング映像を抽出するので、基準時点の決定に必要な情報に部分的に問題が発生しても、安定且つ一定の基準時点の決定及びこれを基準にしたスイング映像の抽出が可能であるという長所がある。 As described above, the present invention does not simply extract the video by determining the reference time point only by the hitting sound when the user hits the ball, but recognizes the golf club using the analysis of the video, the ball recognition, the sound. Since the swing video is extracted by determining a very stable and constant reference time in consideration of all the sensing, even if a problem occurs partially in the information necessary for determining the reference time, the stable and constant reference time There is an advantage that it is possible to determine and extract a swing video based on the determination.
「発明を実施するための形態」の欄で具体的に記載している。 It is specifically described in the “Mode for Carrying Out the Invention” column.
本発明に係るゴルフスイング映像情報提供システム、ゴルフスイング映像情報提供のためのカメラ装置及びゴルフスイング映像情報提供方法は、ゴルフ場でゴルフラウンドをするユーザにゴルフスイング映像情報を簡便且つ安定的に提供するのに適したシステム、装置及び方法を提供するので、ゴルフに関連した産業分野に利用可能である。 A golf swing video information providing system, a camera device for providing golf swing video information, and a golf swing video information providing method according to the present invention provide golf swing video information simply and stably to a user who makes a golf round on a golf course. The present invention provides a system, apparatus, and method suitable for doing so and can be used in the industrial field related to golf.
Claims (16)
前記映像取得部が取得した映像を受信して該受信した映像を分析し、分析映像内でゴルフクラブ及びボールのうち少なくとも一つを認識して、前記受信した映像から前記ユーザに提供する映像を抽出するための基準時点を決定し、前記映像取得部から受信した映像から、前記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を前記ユーザのスイング映像として抽出するデータ処理サーバーと、
を含み、前記データ処理サーバーによって抽出された前記ユーザのスイング映像情報を前記ユーザに提供し、
前記データ処理サーバーは,
前記映像取得部より配信された各フレームの映像について,以前の映像の差映像分析によりゴルフクラブに該当するクラブラインを生成し,
前記各フレームの映像上の予め設定された位置に予め設定された大きさと形状の図形として予め設定された個数のセクションを含むスイング判別オブジェクトを設定し,前記スイング判別オブジェクト上で前記生成したクラブラインが発見されるセクションの数と進行方向を感知して,予め設定された要件に該当するかを判断することで,前記ユーザがゴルフスイングをしたか否かを判別し,
前記ユーザがゴルフスイングをしたものと判別した場合,前記ボールを抽出して認識した結果を用いて前記基準時点を決定するゴルフスイング映像情報提供システム。 At least one camera device including a video acquisition unit that acquires a video for a user performing a golf swing in a shooting region ;
Receives the video in which the movies image acquisition unit has acquired to analyze the images thus received, by recognizing at least one of the golf club and ball in the analysis image, wherein the receiving the video or al the User chromatography THE the reference point for extracting an image to provide decided to, from the image received from the movies image acquiring unit, wherein the image corresponding to a preset interval based on the decision criteria when User chromatography tHE A data processing server to extract as a swing video of
Hints subjected Hisage swing video information of the data processing the User chromatography The extracted by the server to the User over THE,
The data processing server is:
For each frame video delivered from the video acquisition unit, a club line corresponding to a golf club is generated by analyzing the difference video of the previous video,
A swing discrimination object including a preset number of sections as a figure of a preset size and shape is set at a preset position on the video of each frame, and the generated club line is set on the swing discrimination object. By detecting the number of sections found and the direction of travel, it is determined whether the user meets a preset requirement, thereby determining whether or not the user has made a golf swing.
Wherein if it is determined that the user that the golf swing, Gore Rufusuingu video information providing system for determining the reference point using the result of recognition by extracting the ball.
前記映像取得部が取得した映像を受信して該受信した映像を分析し、分析映像内でゴルフクラブ及びボールのうち少なくとも一つを認識した結果情報及び前記音響感知部の感知結果情報のうち2つの情報を用いて、前記受信した映像から、前記ユーザに提供する映像を抽出するための基準時点を決定し、前記映像取得部から受信した映像から、前記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を前記ユーザのスイング映像として抽出するデータ処理サーバーと、
を含み、前記データ処理サーバーによって抽出された前記ユーザのスイング映像情報を前記ユーザに提供し、
前記データ処理サーバーは,
前記映像取得部より配信された各フレームの映像について,以前の映像の差映像分析によりゴルフクラブに該当するクラブラインを生成し,
前記各フレームの映像上の予め設定された位置に予め設定された大きさと形状の図形として予め設定された個数のセクションを含むスイング判別オブジェクトを設定し,前記スイング判別オブジェクト上で前記生成したクラブラインが発見されるセクションの数と進行方向を感知して,予め設定された要件に該当するかを判断することで,前記ユーザがゴルフスイングをしたか否かを判別し,
前記ユーザがゴルフスイングをしたものと判別した場合,前記ボールを抽出して認識した結果及び前記音響感知部の感知結果を用いて前記基準時点を決定するゴルフスイング映像情報提供システム。 At least one having an image acquisition unit that acquires an image of a user swinging a golf swing in a shooting area, and an acoustic detection unit that detects a hitting sound of a golf club head hitting a golf ball when the user swings a golf swing. Two camera devices ,
Receives the video in which the movies image acquisition unit has acquired to analyze the images thus received, detection result information of the at least one recognized result information及beauty the sound-sensing portion of the golf club and ball in the analysis image using two information of, from the received the video, to determine the reference time for extracting an image to be provided to the User chromatography the, from the video received from the movies image acquisition unit, is the decision a data processing server for extracting the image corresponding to a preset interval in the reference as a swing image of the User chromatography the reference time point,
Hints subjected Hisage swing video information of the data processing the User chromatography The extracted by the server to the User over THE,
The data processing server is:
For each frame video delivered from the video acquisition unit, a club line corresponding to a golf club is generated by analyzing the difference video of the previous video,
A swing discrimination object including a preset number of sections as a figure of a preset size and shape is set at a preset position on the video of each frame, and the generated club line is set on the swing discrimination object. By detecting the number of sections found and the direction of travel, it is determined whether the user meets a preset requirement, thereby determining whether or not the user has made a golf swing.
If it is determined that the said user has a golf swing, Gore Rufusuingu video information providing system for determining the reference point by using a detection result of the result recognized by extracting the ball and the sound detector.
撮影領域内でユーザがゴルフスイングをすることに対する映像を取得するスイング映像カメラと、
前記ユーザのゴルフスイングを分析するために映像を取得する分析映像カメラと、
を含む、請求項1又は2に記載のゴルフスイング映像情報提供システム。 Video acquisition unit which is provided in the camera device,
A swing video camera for acquiring a video for a user performing a golf swing in a shooting area ;
And analyzing video camera to acquire an image to analyze a golf swing of the User chromatography THE,
The golf swing image | video information provision system of Claim 1 or 2 containing this.
前記映像取得部によって取得される映像を収集する映像収集部と、
前記映像収集部で収集した各フレームの映像に対して差映像分析を用いてゴルフクラブ及びボールのうち少なくとも一つを抽出し、連続するフレームの映像で前記抽出されたゴルフクラブ及びボールのうち少なくとも一つの挙動特性を分析する映像分析部と、
前記映像分析部の分析結果を用いて、基準時点を決定し、前記映像収集部によって収集された映像から、前記決定された基準時点以前のあらかじめ設定された時間及び以降のあらかじめ設定された時間のうち少なくとも一つの時間区間に該当する映像、又は前記決定された基準時点以前のあらかじめ設定された個数のフレーム及び以降のあらかじめ設定された個数のフレームのうち少なくとも一つのフレーム区間に該当する映像を前記ユーザのスイング映像として抽出するデータ処理部と、
を含む、請求項1に記載のゴルフスイング映像情報提供システム。 The data processing server,
A video acquisition unit for collecting images acquired by the Film image acquisition unit,
Extracting at least one of the golf club and ball using the difference image analysis on the image of each frame collected by the movies image collecting portion, the golf club and ball issued the extracted in image successive frames A video analysis unit that analyzes at least one of the behavior characteristics ,
Using analytical results of the movies image analyzing unit determines a criteria time, preset from the collected image, the decision criteria when the previous preset time and later by the Film image collecting unit video corresponding to at least one time segment of the time, or at least one frame section of the frame of the frame and a preset number of subsequent preset number of said decision criteria time previously a data processing unit that extracts an image corresponding to a swing image of the Yu over tHE,
The golf swing video information providing system according to claim 1, comprising:
前記映像取得部によって取得される映像を収集する映像収集部と、
前記映像収集部で収集した各フレームの映像に対して差映像分析を用いてゴルフクラブ及びボールを抽出し、連続するフレームの映像で前記抽出されたゴルフクラブ及びボールの挙動特性を分析する映像分析部と、
前記音響感知部の感知結果に関する情報を受信し、
前記映像分析部の分析結果を用いて,又は前記映像分析部の分析結果及び前記音響感知部の感知結果を用いて,前記ゴルフクラブの挙動特性、前記ボールの挙動特性及び基準時点を決定し、
前記映像収集部によって収集された映像から、前記決定された基準時点以前のあらかじめ設定された時間及び以降のあらかじめ設定された時間のうち少なくとも一つの時間区間に該当する映像、又は前記決定された基準時点以前のあらかじめ設定された個数のフレーム及び以降のあらかじめ設定された個数のフレームのうち少なくとも一つのフレーム区間に該当する映像を前記ユーザのスイング映像として抽出するデータ処理部と、
を含む、請求項2に記載のゴルフスイング映像情報提供システム。 The data processing server,
A video acquisition unit for collecting images acquired by the Film image acquisition unit,
Extract the golf club and ball, to analyze the performance characteristics of the extracted issued golf club and ball image successive frames using the difference image analysis on the image of each frame collected by the movies image collecting unit A video analysis unit ;
Receiving information about the detection result of the sound-sensing unit,
Using analytical results of the image analysis unit, or the analysis result of the image analysis unit and by using the detection result of the sound detector, the behavior characteristics of the rubber Rufukurabu behavior characteristics及beauty standards point of the ball Lumpur to determine,
Image corresponding the image collected by the Film image collecting portion, at least one time interval of the pre-set time of the decision criteria when the previous preset time and later, or the determined a data processing unit that extracts an image corresponding to at least one frame section of the frame of the constant frame and preset number of subsequent preset number of reference time point earlier as a swing image of the User chromatography tHE ,
The golf swing video information providing system according to claim 2, comprising:
スイング映像分析準備ができたということを視覚及び聴覚的な方法のうち少なくとも一つの方法で前記ユーザにアラームするためのレディーアラーム部をさらに含む、請求項1又は2に記載のゴルフスイング映像情報提供システム。 The camera device,
At least one way further comprises a ready alarm unit for an alarm to the User chromatography The golf swing video according to claim 1 or 2 of the visual and auditory manner that could swing image Analysis Preparation Information provision system.
前記データ処理サーバーは、前記少なくとも2つのティー区域にそれぞれ設置されたカメラ装置とAP装置によって接続され、
前記データ処理サーバーは前記AP装置を介してメインサーバーと無線通信するように構成されて、前記データ処理サーバーが抽出した前記ユーザのスイング映像に関するデータを前記メインサーバーに無線伝送し、前記メインサーバーは前記無線伝送されたユーザのスイング映像に関するデータを保存して、前記AP装置を介して前記ユーザ側の無線キャディー端末機又は各ユーザのモバイル端末機から提供される、請求項1又は2に記載のゴルフスイング映像情報提供システム。 The camera apparatus, tee areas for women hole golf course, tee area for men, tee area for Champion, respectively installed in at least two tee areas of tee areas for professional,
The data processing server, even the no less connected by the camera device and the AP device installed to two tee areas,
Wherein the data processing server is configured to main server and wireless communication via the A P device, the data processing server said data on a swing image of the User chromatography The extracted main server to wireless transmission, the main server to store data about a swing image of the user transmitted the non-linear, the mobile terminal of the a through said P device user chromatography the side of the radio caddy terminal or each user The golf swing image information providing system according to claim 1 or 2, provided from a machine.
前記映像取得部によって取得される映像を収集する映像収集部と、
前記映像収集部で収集した各フレームの映像に対して差映像分析を用いてゴルフクラブを抽出して認識し、前記認識されたゴルフクラブの挙動特性を分析し、前記各フレームの映像からあらかじめ設定された関心領域を抽出し、前記抽出された関心領域上でフレームごとに位置変化をするオブジェクトに対してボールか否かを判断することによってボールを認識するように構成される映像分析部と、
前記映像分析部の分析結果を用いて、前記収集した映像から前記ユーザに提供する映像を抽出するための基準時点を決定し、前記映像取得部から受信した映像から、前記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を前記ユーザのスイング映像として抽出するデータ処理部と、
を含み、前記データ処理部によって抽出された前記ユーザのスイング映像情報を前記ユーザに提供し、
前記データ処理部は、
前記映像分析部により認識されたゴルフクラブの挙動特性分析の結果から前記ゴルフクラブに該当するクラブラインを生成し,
前記各フレームの映像上の予め設定された位置に予め設定された大きさと形状の図形として予め設定された個数のセクションを含むスイング判別オブジェクトを設定し,前記スイング判別オブジェクト上で前記生成したクラブラインが発見されるセクションの数と進行方向を感知して,予め設定された要件に該当するかを判断することで,前記ユーザがゴルフスイングをしたか否かを判別し,
前記ユーザがゴルフスイングをしたと判別した場合及び前記抽出された関心領域上でフレームごとに位置変化をするオブジェクトをボールと認識した場合、前記認識されたボールが前記関心領域上に最初に現れたフレームを前記基準時点におけるフレームとして決定するように構成されるゴルフスイング映像情報提供のためのカメラ装置。 A video acquisition unit that acquires a video for a user performing a golf swing in a shooting area ;
A video acquisition unit for collecting images acquired by the Film image acquisition unit,
Using the difference image analysis on Film images of each frame collected by the movies image collecting unit recognizes extracts a golf club, to analyze the behavior characteristics of the recognized golf club, from the image of each frame extract the preset region of interest, film image analyzer configured to recognize the ball by determining whether the ball on the object to a position change from frame to frame with the extracted interest region and parts,
Using analytical results of the movies image analysis unit, wherein determining the reference time for extracting an image to be provided to collect the pictures or al the User chromatography The, from the video received from the movies image acquiring unit, wherein a data processing unit that extracts an image corresponding to a preset interval, based on the decision criteria when the swing image of the Yu over tHE,
Hints subjected Hisage swing video information of the User chromatography The extracted by the data processing unit to the User chromatography THE,
The data processing unit
A club line corresponding to the golf club is generated from the result of behavior characteristic analysis of the golf club recognized by the video analysis unit,
A swing discrimination object including a preset number of sections as a figure of a preset size and shape is set at a preset position on the video of each frame, and the generated club line is set on the swing discrimination object. By detecting the number of sections found and the direction of travel, it is determined whether the user meets a preset requirement, thereby determining whether or not the user has made a golf swing.
When it is determined that the user has made a golf swing, and when an object that changes position for each frame on the extracted region of interest is recognized as a ball, the recognized ball first appears on the region of interest. camera device for configured Gore Rufusuingu provide video information to determine a frame as a frame in the reference point.
ユーザがゴルフスイングをすることによってゴルフクラブヘッドがゴルフボールを打撃する打撃音を感知する音響感知部と、
前記映像取得部によって取得される映像を収集する映像収集部と、
前記映像収集部で収集した各フレームの映像に対して差映像分析を用いてゴルフクラブを抽出して認識し、前記認識されたゴルフクラブの挙動特性を分析するように構成される映像分析部と、
前記音響感知部の感知結果に関する情報を受信し、前記映像分析部の分析結果及び前記音響感知部の感知結果を用いて、前記収集した映像から前記ユーザに提供する映像を抽出するための基準時点を決定し、前記映像取得部から受信した映像から、前記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を前記ユーザのスイング映像として抽出するデータ処理部と、
を含み、前記データ処理部によって抽出された前記ユーザのスイング映像情報を前記ユーザに提供し、
前記データ処理部は、
前記映像分析部により認識されたゴルフクラブの挙動特性分析の結果から前記ゴルフクラブに該当するクラブラインを生成し,
前記各フレームの映像上の予め設定された位置に予め設定された大きさと形状の図形として予め設定された個数のセクションを含むスイング判別オブジェクトを設定し,前記スイング判別オブジェクト上で前記生成したクラブラインが発見されるセクションの数と進行方向を感知して,予め設定された要件に該当するかを判断することで,前記ユーザがゴルフスイングをしたか否かを判別し,
前記ユーザがゴルフスイングをしたと判別した場合に、前記ゴルフクラブを認識した結果情報及び前記音響感知部により前記打撃音が感知された時点を用いて前記基準時点を決定するように構成されるゴルフスイング映像情報提供のためのカメラ装置。 A video acquisition unit that acquires a video for a user performing a golf swing in a shooting area;
An acoustic sensing unit for sensing a hitting sound of a golf club head hitting a golf ball by a user performing a golf swing ;
A video acquisition unit for collecting images acquired by the Film image acquisition unit,
Using the difference image analysis on Film images of each frame collected by the movies image collecting unit recognizes extracts a golf club, film image configured to analyze the behavior characteristics of the recognized golf club The analysis department ;
Receiving information about the detection result of the sound-sensing unit by using the detection result of the analysis result及beauty the sound-sensing unit of the movies image analysis unit, the provided to collect the pictures or al the User chromatography THE determining a reference point for extracting an image from the video received from the video acquisition unit, an image corresponding to the preset interval based on the decision criteria when the swing image of the User chromatography tHE A data processing unit to be extracted;
Hints subjected Hisage swing video information of the User chromatography The extracted by the data processing unit to the User chromatography THE,
The data processing unit
A club line corresponding to the golf club is generated from the result of behavior characteristic analysis of the golf club recognized by the video analysis unit,
A swing discrimination object including a preset number of sections as a figure of a preset size and shape is set at a preset position on the video of each frame, and the generated club line is set on the swing discrimination object. By detecting the number of sections found and the direction of travel, it is determined whether the user meets a preset requirement, thereby determining whether or not the user has made a golf swing.
If it is determined that the user has a golf swing, and to determine the reference point by using a time when the impact sound has been sensed by the result of recognizing the golf club information及beauty the sound detector Gore Rufusuingu camera apparatus for providing video information.
前記カメラ装置の映像取得部が取得した映像を前記データ処理サーバーが受信して分析する段階と、
分析映像内でゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階と、
前記ゴルフクラブ及びボールのうち少なくとも一つの認識結果情報を用いて、前記映像取得部から受信した映像から前記ユーザに提供する映像を抽出するための基準時点を決定する段階と、
前記映像取得部から受信した映像から、前記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を前記ユーザのスイング映像情報として抽出する段階と、を含み、
前記ゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階は、
前記映像取得部から受信した各フレームの映像に対して以前映像の差映像分析を用いてゴルフクラブに該当するクラブラインを生成する段階を含み、
前記基準時点を決定する段階は、
前記生成された各フレームの映像上で前記生成したクラブラインの挙動特性を分析して、前記ユーザがゴルフスイングしたか否かを判別する段階と、
前記クラブラインの挙動特性分析の結果、前記ユーザがゴルフスイングをしたと判別した場合、前記ボールを抽出して認識した結果を用いて前記基準時点を決定する段階とを含み、
前記ユーザがゴルフスイングをしたか否かを判別する段階は、
前記映像上のあらかじめ設定された位置にあらかじめ設定された大きさ及び形状の図形としてあらかじめ設定された個数のセクションを含むスイング判別オブジェクトを設定する段階と、
前記スイング判別オブジェクト上で前記生成したクラブラインが発見されるセクションの数及び進行方向を感知して、あらかじめ設定された要件に該当するか否かを判断することによって、前記ユーザがゴルフスイングをしたか否かを判別する段階と、
を含むゴルフスイング映像情報提供方法。 Golf swing video information with a golf swing video information providing system comprising at least one camera device, and a data processing server provided from the image which the camera device is acquired by connecting to the user to extract the swing video information of the user Providing method ,
A step of analyzing the video image acquisition unit of the camera device is acquired by receiving the data processing server,
A method for recognizing and extracting at least one of the golf club and ball in the analysis image,
Determining a reference time for extracting an image to provide the GORE Rufukurabu and using at least one recognition result information of the ball, the video or al the User chromatography The received from the movies image acquisition unit,
From the video received from the movies image acquisition unit includes the steps of extracting an image corresponding to a preset interval based on the decision criteria when the swing video information of the User chromatography THE,
Extracting and recognizing at least one of the golf club and the ball,
Generating a club line corresponding to a golf club using a difference image analysis of a previous image for each frame image received from the image acquisition unit;
Determining the reference time point comprises:
Analyzing a behavior characteristic of the generated club line on the generated image of each frame to determine whether or not the user has made a golf swing;
Determining the reference time using the result of extracting and recognizing the ball when it is determined that the user has made a golf swing as a result of the behavior characteristic analysis of the club line,
The step of determining whether or not the user has made a golf swing includes:
Setting a swing discrimination object including a preset number of sections as a figure having a preset size and shape at a preset position on the video;
The user has made a golf swing by sensing the number and direction of travel of the section where the generated club line is found on the swing determination object and determining whether or not a predetermined requirement is met. Determining whether or not,
Gore Rufusuingu video information providing method, including.
前記カメラ装置の映像取得部が取得した映像を前記データ処理サーバーが受信して分析する段階と、
分析映像内でゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階と、
ユーザがゴルフスイングをすることによってゴルフクラブヘッドがゴルフボールを打撃する打撃音を感知する音響感知部によって感知された結果情報を前記データ処理サーバーが受信する段階と、
前記ゴルフクラブ及びボールのうち少なくとも一つの認識結果情報及び前記音響感知部の感知結果情報のうち少なくとも2つの情報を用いて、前記映像取得部から受信した映像から前記ユーザに提供する映像を抽出するための基準時点を決定する段階と、
前記映像取得部から受信した映像から、前記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を前記ユーザのスイング映像情報として抽出する段階と、を含み、
前記ゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階は、
前記映像取得部から受信した各フレームの映像に対して以前映像の差映像分析を用いてゴルフクラブに該当するクラブラインを生成する段階を含み、
前記基準時点を決定する段階は、
前記生成された各フレームの映像上で前記生成したクラブラインの挙動特性を分析して、前記ユーザがゴルフスイングしたか否かを判別する段階と、
前記クラブラインの挙動特性分析の結果、前記ユーザがゴルフスイングをしたと判別した場合、前記ボールを抽出して認識した結果及び前記音響感知部の感知結果を用いて前記基準時点を決定する段階とを含み、
前記ユーザがゴルフスイングをしたか否かを判別する段階は、
前記映像上のあらかじめ設定された位置にあらかじめ設定された大きさ及び形状の図形としてあらかじめ設定された個数のセクションを含むスイング判別オブジェクトを設定する段階と、
前記スイング判別オブジェクト上で前記生成したクラブラインが発見されるセクションの数及び進行方向を感知して、あらかじめ設定された要件に該当するか否かを判断することによって、前記ユーザがゴルフスイングをしたか否かを判別する段階と、
を含むゴルフスイング映像情報提供方法。 Golf swing video information with a golf swing video information providing system comprising at least one camera device, and a data processing server provided from the image which the camera device is acquired by connecting to the user to extract the swing video information of the user Providing method ,
A step of analyzing the video image acquisition unit of the camera device is acquired by receiving the data processing server,
A method for recognizing and extracting at least one of the golf club and ball in the analysis image,
And receiving said data processing server result information sensed by the sound detector for the golf club head senses impact sound that hits a golf ball by a user of the golf swing,
Using at least two information of said rubber Rufukurabu and sensing result information of at least one recognition result information及beauty the sound-sensing portion of the ball, the video or al the User chromatography The received from the movies image acquisition unit Determining a reference time point for extracting the video to be provided ;
From the video received from the movies image acquisition unit includes the steps of extracting an image corresponding to a preset interval based on the decision criteria when the swing video information of the User chromatography THE,
Extracting and recognizing at least one of the golf club and the ball,
Generating a club line corresponding to a golf club using a difference image analysis of a previous image for each frame image received from the image acquisition unit;
Determining the reference time point comprises:
Analyzing a behavior characteristic of the generated club line on the generated image of each frame to determine whether or not the user has made a golf swing;
Determining the reference time using the result of extracting and recognizing the ball and the sensing result of the acoustic sensing unit when it is determined that the user has made a golf swing as a result of behavior characteristic analysis of the club line; Including
The step of determining whether or not the user has made a golf swing includes:
Setting a swing discrimination object including a preset number of sections as a figure having a preset size and shape at a preset position on the video;
The user has made a golf swing by sensing the number and direction of travel of the section where the generated club line is found on the swing determination object and determining whether or not a predetermined requirement is met. Determining whether or not,
Gore Rufusuingu video information providing method, including.
前記データ処理サーバーが前記メインサーバーから応答を受信するによって前記カメラ装置に映像取得開始信号を送る段階と、
前記映像取得開始信号によって、前記カメラ装置に具備されたレディーアラーム部がスイング映像分析準備ができたことをアラームする段階と、
をさらに含む、請求項11又は12に記載のゴルフスイング映像情報提供方法。 Transmitting information about a user who performs a golf swing from a wireless caddy terminal to a main server ;
A step of sending the image acquisition start signal to the camera device by the data processing server receives a response from the main server,
By the Film image acquisition start signal, the steps of the alarm that the ready alarm unit which is provided in the camera device could swing video analysis preparation,
The golf swing image information providing method according to claim 11 or 12 , further comprising:
前記映像取得部から受信した各フレームの映像からあらかじめ設定された関心領域を抽出する段階と、
前記抽出された関心領域上でフレームごとに位置変化をするオブジェクトに対してボールか否かを判断することによってボールを認識する段階と、
を含む、請求項11又は12に記載のゴルフスイング映像情報提供方法。 Recognizing and extracting at least one of the rubber Rufukurabu and balls,
A step of extracting a preset region of interest from the image of each frame received from the movies image acquisition unit,
A method for recognizing a ball by determining whether the ball on the object to a position change from frame to frame with the extracted issued interest region,
The method of providing golf swing video information according to claim 11 or 12, comprising:
前記抽出された関心領域上でフレームごとに位置変化をするオブジェクトの各フレーム別の高さ角を算出する段階と、
前記算出された各フレーム別の高さ角があらかじめ設定された範囲内にあるか否か判断し、あらかじめ設定された範囲内にある場合、該当のオブジェクトをボールと認識する段階と、
を含む、請求項14に記載のゴルフスイング映像情報提供方法。 Step recognizes the ball Lumpur,
Calculating a respective frame-specific height angle of objects the position change from frame to frame with the extracted issued interest region,
If within a range in which the calculated each frame by the height angle is issued is determined whether within a range set in advance, is set in advance, and recognizing the relevant object with the ball,
The golf swing video information providing method according to claim 14, comprising:
前記抽出された関心領域上でフレームごとに位置変化をするオブジェクトをボールと認識した場合、前記認識されたボールが前記関心領域上に最初に現れたフレームを前記基準時点におけるフレームとして決定する段階を含む、請求項14に記載のゴルフスイング映像情報提供方法。 Determining the criteria time,
If the object position changes for each frame in the extracted issued interest region recognized as a ball, a frame in which the recognized been ball first appears on the associated cardiac region as a frame in the standards when The golf swing video information providing method according to claim 14, comprising a step of determining.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2015-0113622 | 2015-08-12 | ||
KR1020150113622A KR101703858B1 (en) | 2015-08-12 | 2015-08-12 | Information providing system for golf swing image, camera device for providing information on golf swing image and method for providing information on golf swing image |
PCT/KR2016/007390 WO2017026664A1 (en) | 2015-08-12 | 2016-07-07 | Golf swing image information providing system, camera device for providing golf swing image information, and method for providing golf swing image information |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018530362A JP2018530362A (en) | 2018-10-18 |
JP6555699B2 true JP6555699B2 (en) | 2019-08-07 |
Family
ID=57983228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018505422A Active JP6555699B2 (en) | 2015-08-12 | 2016-07-07 | Golf swing video information providing system, camera device for providing golf swing video information, and golf swing video information providing method |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6555699B2 (en) |
KR (1) | KR101703858B1 (en) |
CN (1) | CN106422272B (en) |
WO (1) | WO2017026664A1 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10932697B2 (en) * | 2018-07-23 | 2021-03-02 | Golf Cloud, Inc. | System for analyzing a golf swing and/or golf ball flight path |
KR20220039145A (en) * | 2020-09-22 | 2022-03-29 | 엄순분 | System for self-correcting an appearance of golf swing |
KR102449722B1 (en) * | 2020-10-23 | 2022-10-04 | (주)브레인키즈 | golf swing path trace method and apparatus thereof |
CN114534224A (en) * | 2022-01-13 | 2022-05-27 | 上海凯视力成科技有限公司 | Intelligent mirror for golf swing |
KR20230127778A (en) | 2022-02-25 | 2023-09-01 | 주식회사 카카오브이엑스 | System for transmitting round information of smart golf course based motion sensor |
WO2023177274A1 (en) * | 2022-03-18 | 2023-09-21 | 주식회사 마인스소프트 | Stadium integrated operation management system and integrated operation management method |
KR20230165939A (en) | 2022-05-26 | 2023-12-06 | 주식회사 카카오브이엑스 | System for transmitting round information of smart golf course based augmented reality |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07212747A (en) * | 1994-01-14 | 1995-08-11 | Hochiki Corp | Supervisory camera equipment |
JP2004248725A (en) * | 2003-02-18 | 2004-09-09 | National Institute Of Advanced Industrial & Technology | Analysis device and method of shot ball |
US9623284B2 (en) * | 2008-02-20 | 2017-04-18 | Karsten Manufacturing Corporation | Systems and methods for storing and analyzing golf data, including community and individual golf data collection and storage at a central hub |
JP5526727B2 (en) * | 2009-11-20 | 2014-06-18 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
KR101048090B1 (en) * | 2011-03-22 | 2011-07-08 | (주) 골프존 | Apparatus for virtual golf simulation, and sensing device and method used to the same |
KR20140037896A (en) * | 2011-06-27 | 2014-03-27 | 챤?헝 | Method of analysing a video of sports motion |
US8982216B2 (en) * | 2011-11-04 | 2015-03-17 | Nike, Inc. | Portable movement capture device and method of finite element analysis |
JP5917914B2 (en) * | 2011-12-29 | 2016-05-18 | ダンロップスポーツ株式会社 | Golf swing diagnosis method |
KR101356595B1 (en) * | 2013-01-17 | 2014-02-04 | (주) 골프존 | Information providing system for golf swing image realized in golf course and disposing device and information providing method for golf swing image used to the same |
KR101565472B1 (en) * | 2013-05-24 | 2015-11-03 | 주식회사 골프존 | Golf practice system for providing information on golf swing and method for processing of information on golf swing using the system |
-
2015
- 2015-08-12 KR KR1020150113622A patent/KR101703858B1/en active IP Right Grant
-
2016
- 2016-03-25 CN CN201610178073.9A patent/CN106422272B/en active Active
- 2016-07-07 JP JP2018505422A patent/JP6555699B2/en active Active
- 2016-07-07 WO PCT/KR2016/007390 patent/WO2017026664A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2017026664A1 (en) | 2017-02-16 |
JP2018530362A (en) | 2018-10-18 |
KR101703858B1 (en) | 2017-02-22 |
CN106422272A (en) | 2017-02-22 |
CN106422272B (en) | 2019-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6555699B2 (en) | Golf swing video information providing system, camera device for providing golf swing video information, and golf swing video information providing method | |
US11594029B2 (en) | Methods and systems for determining ball shot attempt location on ball court | |
JP6148480B2 (en) | Image processing apparatus and image processing method | |
CA2764791C (en) | Golf simulation apparatus and method for the same | |
AU2012231925B2 (en) | Virtual golf simulation apparatus and sensing device and method used for the same | |
CN103688275A (en) | Method of analysing video of sports motion | |
WO2006135160A1 (en) | System and method for analyzing golf swing motion | |
JP6649231B2 (en) | Search device, search method and program | |
JP6596746B2 (en) | Golf video information automatic generation system and golf video information automatic generation method | |
JP2009034360A (en) | Training system, and apparatus for the same | |
JP2018522450A (en) | Camera, method and system for shooting golf games | |
CA3042375C (en) | Sensing device for calculating information on golf shot of user and sensing method using the same | |
KR101705836B1 (en) | System and Method for analyzing golf swing motion using Depth Information | |
KR20210055243A (en) | A billiard room video system that enables simulation games based on real shot images | |
KR102055146B1 (en) | Method for checking out sports motion using event-based vision sensor and apparatus for the same | |
JP7357258B2 (en) | Ball game video analysis device, ball game video analysis method, and computer program | |
JPWO2004013812A1 (en) | Image recognition apparatus and image recognition program | |
CN114387546A (en) | Analysis method, system and computer readable storage medium for basketball goal segment | |
KR20160139958A (en) | Method and apparatus for sensing golf ball state |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190702 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6555699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |