KR102544972B1 - 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템 - Google Patents

Abstract

본 출원의 일 실시예에 따른 멀티-모드 추적 방법은, 복수의 스포스 참가자의 위치된 각각의 복수의 측위 센서들로부터 센서 시그널을 수신함-상기 센서 시그널은 참가자 식별자(idenfier) 및 위치 데이터를 포함함-; 플레이필드 주변에 위치된 카메라로부터 캡처된 스포츠 이미지를 수신함-상기 스포츠 이미지는 상기 플레이필드 내의 복수의 스포츠 참가자들 중 적어도 타겟 참가자를 포함함-; 상기 스포츠 이미지로부터, 상기 타겟 참가자와 관련된 오클루전을 검출함; 상기 오클루전과 관련된 관심 영역에 위치되고 있는 특정 스포츠 선수들에 장착된 특정 측위 센서들로부터 수신된 상기 센서 시그널에 기초하여 상기 오클루전의 심각도를 결정함; 상기 오클루전의 심각도가 임계 값보다 큼이 검출되지 않으면, 상기 스포츠 이미지 내의 상기 타겟 참가자와 관련된 픽셀 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 및 상기 오클루전의 심각도가 임계 값보다 큼이 검출되면, 상기 타겟 참가자를 나타내는 상기 참가자 식별자를 갖는 상기 센서 시그널의 상기 위치 데이터에 기초하여 상기 스포츠 참가자의 위치를 결정함;을 포함한다.

Description

선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템{METHOD FOR TRACKING SPORTS PARTICIPANTS, DEVICE FOR TRACKING SPORTS PARTICIPANTS, AND SYSTEM FOR TRACKING SPORTS PARTICIPANTS}

본 출원은 선수 위치를 추적하는 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템에 관한 것이다.

영상 분석 기술과 측위 기술의 향상으로 인해 스포츠 경기 중 선수의 움직임이나 동작 등을 분석하는 것이 가능해지면서 최근 스포츠 선수의 퍼포먼스를 정량화하는 스포츠 분석 기술 분야가 주목받고 있다. 스포츠 선수의 퍼먼스 정량화에 있어 선수 위치의 분석은 가장 기본이 되는 요소로 여겨지고 있다.

스포츠 선수의 위치를 산출하는 대표적인 방법으로는 카메라를 통해 촬영된 이미지로부터 경기장에서 선수가 위치한 지점을 계산하는 방식과 GPS나 LPS와 같은 측위 기구들을 이용하는 방식이 알려져 있다.

그러나 영상을 이용한 측위 방식은 영상 내에서 추적하고자 하는 선수가 다른 선수에 가려지는 등의 폐색 상황에 대응하지 못하는 점을 비롯하여 카메라 기술에 따른 여러 제약을 안고 있으며, GPS 모듈과 같은 측위 기구를 이용한 측위 방식 역시 위성의 위치에 따른 측위 정확도 저하나 신호의 지연/반사 등으로 인한 근본적인 문제점을 가지고 있어 높은 정밀도가 요구되는 상황에서는 각각 한계점을 가지고 있는 상황이다.

본 발명의 일 과제는, 선수 위치 추적의 정확도가 개선된 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템을 제공하는 것이다.

본 출원에 개시된 선수 추적 방법은, 복수의 스포스 참가자의 위치된 각각의 복수의 측위 센서들로부터 센서 시그널을 수신함-상기 센서 시그널은 참가자 식별자(idenfier) 및 위치 데이터를 포함함-; 플레이필드 주변에 위치된 카메라로부터 캡처된 스포츠 이미지를 수신함- 상기 스포츠 이미지는 상기 플레이필드 내의 복수의 스포츠 참가자들 중 적어도 타겟 참가자를 포함함-; 상기 스포츠 이미지로부터, 상기 타겟 참가자와 관련된 오클루전을 검출함; 상기 오클루전과 관련된 관심 영역에 위치되고 있는 특정 스포츠 선수들에 장착된 특정 측위 센서들로부터 수신된 상기 센서 시그널에 기초하여 상기 오클루전의 심각도를 결정함; 상기 오클루전의 심각도가 임계 값보다 큼이 검출되지 않으면, 상기 스포츠 이미지 내의 상기 타겟 참가자와 관련된 픽셀 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 및 상기 오클루전의 심각도가 임계 값보다 큼이 검출되면, 상기 타겟 참가자를 나타내는 상기 참가자 식별자를 갖는 상기 센서 시그널의 상기 위치 데이터에 기초하여 상기 스포츠 참가자의 위치를 결정함;을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법은, 플레이필드 주변에 위치된 카메라로부터 캡처되며 상기 플레이필드 내에 스포츠 참가자를 포함하는 스포츠 이미지로부터, 제1 좌표계에 의해 정의된 스포츠 참가자의 제1 위치를 나타내는 이미지 기반 위치 데이터를 획득함- 상기 이미지 기반 위치 데이터는 상기 스포츠 이미지 내의 상기 스포츠 참가자와 관련된 픽셀 위치에 기초하여 획득됨-; 상기 스포츠 이미지로부터 상기 스포츠 참가자와 관련된 오클루전 이벤트를 검출함; 상기 검출의 결과에 기초하여 상기 이미지 기반 위치 데이터를 검증함; 상기 스포츠 참가자에 위치된 측위 센서로부터 획득된 센서 시그널에 기초하여, 제2 좌표계에 의해 정의된 스포츠 참가자의 제2 위치를 나타내는 측위 센서 기반 위치를 획득함; 상기 센서 시그널 또는 상기 제2 위치에 기초하여, 상기 제2 좌표계에 의해 정의된 상기 스포츠 참가자의 속도를 나타내는 측위 센서 기반 속도를 획득함; 상기 제2 좌표계의 위치를 상기 제1 좌표계로 변환하는 신경망을 준비함- 상기 신경망은 상기 제2 좌표계에 따른 위치 및 속도를 수신하기 위한 입력 레이어, 위치 값을 나타내는 결과를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드들을 갖는 히든 레이어를 포함함-; 학습 세트를 준비함- 상기 학습 세트는 유효하다고 판단된 상기 이미지 기반 위치 데이터 및 유효하다고 판단된 상기 이미지 기반 위치 데이터에 대응하는 상기 측위 센서 기반 위치 데이터 및 상기 측위 센서 기반 속도 데이터를 포함함-; 및 상기 학습 세트를 이용하여, 상기 입력 레이어에 상기 학습 세트의 상기 측위 센서 기반 위치 데이터 및 상기 측위 센서 기반 속도 데이터를 입력하며, 입력된 상기 측위 센서 기반 위치 데이터 및 상기 측위 센서 기반 속도 데이터에 대응하는 상기 이미지 기반 위치 데이터와 상기 결과의 상기 위치 값의 차이에 기초하여 상기 노드들의 가중치를 조절함으로써, 상기 신경망을 학습함;을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법은, 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 수신함- 상기 스포츠 이미지는 상기 플레이필드 내의 스포츠 참가자를 포함함-; 상기 스포츠 참가자에 장착된 측위 센서로부터 센서 시그널을 수신함; 상기 스포츠 이미지로부터, 상기 스포츠 참가자와 관련된 오클루전 이벤트를 검출함; 상기 오클루전 이벤트가 검출되지 않으면, 제1 좌표계로 정의된 위치를 나타내는 이미지 기반 위치 데이터에 기초하여 스포츠 참가자의 위치를 결정하며; 상기 오클루전 이벤트가 검출되면: 상기 센서 시그널에 기초하여 제2 좌표계로 정의된 위치를 나타내는 측위 센서 기반 위치를 획득함; 상기 센서 시그널 또는 상기 측위 센서 기반 위치에 기초하여 상기 제2 좌표계로 정의된 속도를 나타내는 측위 센서 기반 속도를 획득함; 및 상기 제2 좌표계의 위치를 상기 제1 좌표계의 위치로 변환하기 위한 신경망을 사용하여 상기 측위 센서 기반 위치 및 상기 측위 센서 기반 속도로부터 상기 제1 좌표계로 정의된 상기 스포츠 참가자의 위치를 결정하며, 상기 신경망은, 상기 제2 좌표계에 따른 위치 및 속도를 수신하기 위한 입력 레이어, 상기 제1 좌표계에 따른 위치 값을 나타내는 결과를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드들을 갖는 히든 레이어를 포함하며, 상기 제1 좌표계에 따른 위치로 라벨링된 상기 제2 좌표계에 따른 위치와 속도를 사용하여 상기 복수의 노드들의 가중치를 조절함으로써 훈련될 수 있다.

본 출원에 개시된 선수 추적 방법은, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 측위 센서 기반 위치를 획득함; 이전의 측위 센서 기반 위치로부터의 상기 측위 센서 기반 위치의 변화에 기초하여 상기 측위 센서 기반 위치를 검증함; 상기 측위 센서 기반 위치가 유효하면, 상기 측위 센서 기반 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 상기 측위 센서 기반 위치가 유효하지 않으면: 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 플레이필드와 동일한 높이를 갖는 기준 평면에 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀을 투사함으로써 획득된 이미지 기반 위치의 유효성을 예측함- 상기 예측하는 것은, 상기 스포츠 참가자와 관련된 오클루전을 검출하는 것, 상기 스포츠 참가자와 관련된 수직적인 움직임을 검출하는 것 및 상기 이전의 이미지 기반 위치로부터 상기 이미지 기반 위치의 변화를 계산하는 것 중 적어도 하나를 포함함-; 상기 이미지 기반 위치가 유효한 것으로 예측되면: 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 이미지 기반 위치를 획득하며, 상기 이미지 기반 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하며; 상기 이미지 기반 위치가 유효하지 않은 것으로 예측되면, 상기 측위 센서 기반 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법은, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함;플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 측위 센서 기반 위치와 상기 이미지 기반 위치 간의 이격도 지수(disparity index)를 계산함- 상기 이격도 지수는 상기 측위 센서 기반 위치와 상기 이미지 기반 위치의 차이로부터 획득됨-; 상기 이격도 지수가 미리 결정된 제1 임계값보다 작으면, 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 어느 하나인 제1 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 상기 이격도 지수가 미리 결정된 제2 임계값보다 크면: 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 어느 하나와 관련된 제1 신뢰도 지수를 획득함; 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 다른 하나와 관련된 제2 신뢰도 지수를 획득함; 상기 제1 신뢰도 지수가 상기 제2 신뢰도 지수보다 크면, 상기 제1 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하며; 상기 제1 신뢰도 지수가 상기 제2 신뢰도 지수보다 작으면, 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 다른 하나인 제2 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법은, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함; 상기 측위 센서 기반 위치의 신뢰도와 관련한 제1 신뢰도 정보를 획득함; 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 이미지 기반 위치의 신뢰도와 관련된 제2 신뢰도 정보를 획득함- 상기 이미지 기반 위치의 신뢰도는, 상기 스포츠 참가자와 관련된 오클루전, 상기 스포츠 참가자와 관련된 수직적인 움직임 및 이전의 이미지 기반 위치로부터 상기 이미지 기반 위치의 변화 중 적어도 하나와 관련됨-; 상기 제1 신뢰도 정보 및 상기 제2 신뢰도 정보에 기초하여 가중치를 계산함- 상기 가중치는 센서 기반 가중치 및 이미지 기반 가중치를 포함하며; 그리고

상기 스포츠 참가자의 위치를 계산함-상기 스포츠 참가자의 위치는 상기 센서 기반 가중치를 고려한 상기 측위 센서 기반 위치 및 상기 이미지 기반 가중치를 고려한 상기 이미지 기반 위치로부터 획득되는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법은, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함; 플레이필드에 대응하는 신뢰도 맵을 준비함- 상기 신뢰도 맵은 상기 측위 센서 기반 위치의 신뢰도와 관련된 제1 신뢰도 정보를 포함하는 신뢰도 정보가 있는 복수의 영역을 포함함-; 상기 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 싱기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 측위 센서 기반 위치에 기초하여 상기 스포츠 참가자가 점유하고 있는 특정 영역을 결정함; 상기 특정 영역의 상기 제1 신뢰도 정보에 따라 제1 가중치 및 제2 가중치를 결정함; 및 상기 제1 가중치 및 상기 제2 가중치를 고려하여 계산된 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치의 가중 평균에 기초하여 상기 스포츠 참가자의 위치를 결정하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법은, 플레이필드 주변의 상이한 위치에 설치된 복수의 카메라로부터, 복수의 스포츠 이미지를 수신함- 상기 복수의 스포츠 이미지 각각은 상기 플레이필드 및 상기 스포츠 참가자의 적어도 일부를 포함함-; 상기 복수의 스포츠 이미지로부터 타겟 참가자를 검출함; 상기 타겟 참가자의 검출 결과에 따라 상기 복수의 스포츠 이미지로부터 적어도 하나의 후보 이미지를 선택함; 상기 적어도 하나의 후보 이미지로부터 상기 타겟 참가자와 관련된 오클루전 여부를 검출함; 상기 오클루전 검출의 결과에 따라 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 유효 이미지를 선택함; 및

상기 적어도 하나의 유효 이미지의 상기 타겟 참가자에 대응되는 픽셀 위치에 기초하여 상기 타겟 참가자의 위치를 결정하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법은, 플레이필드 주변의 상이한 위치에 설치된 복수의 카메라로부터, 복수의 스포츠 이미지를 수신함- 상기 복수의 스포츠 이미지 각각은 상기 플레이필드 및 상기 스포츠 참가자의 적어도 일부를 포함함-; 상기 복수의 스포츠 이미지로부터 타겟 참가자를 검출함; 상기 타겟 참가자의 검출 결과에 따라 상기 복수의 스포츠 이미지로부터 적어도 하나의 후보 이미지를 선택함; 상기 적어도 하나의 후보 이미지로부터 상기 타겟 참가자와 관련된 오클루전 여부를 검출함; 상기 오클루전 검출의 결과에 따라 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 타겟 이미지를 선택함; 상기 적어도 하나의 후보 이미지 모두에 상기 오클루전이 검출되면, 상기 스포츠 참가자가 상기 적어도 하나의 후보 이미지 내의 다른 스포츠 참가자를 가렸는지 혹은 상기 다른 스포츠 참가자에 의해 가려졌는지 여부를 결정하고, 상기 결정에 따라 상기 적어도 하나의 후보 이미지로부터 상기 타겟 이미지를 선택하며; 그리고 상기 적어도 하나의 타겟 이미지의 상기 타겟 참가자에 대응되는 픽셀 위치에 기초하여 상기 타겟 참가자의 위치를 결정하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법은, 플레이필드 주변에 위치된 복수의 카메라들의 위치 및 포즈를 포함하는 카메라 배열 정보를 획득함; 복수의 스포츠 참가자에 위치된 복수의 측위 센서들로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 복수의 스포츠 참가자의 위치를 획득함; 상기 복수의 카메라에 대응하는 복수의 고정 포인트 및 상기 복수의 스포츠 참가자의 대응하는 복수의 무빙 포인트를 포함하는 가상 플레이필드를 생성함- 상기 가상 플레이필드 내의 복수의 고정 포인트의 위치는 상기 카메라 배열 정도에 기초하여 결정되며, 상기 가상 플레이필드 내의 복수의 무빙 포인트의 위치는 상기 복수의 스포츠 참가자의 위치에 기초하여 결정됨-; 상기 복수의 고정 포인트 및 상기 복수의 무빙 포인트 간의 상대적인 위치에 기초하여 상기 복수의 카메라와 상기 복수의 스포츠 참가자의 관련성을 계산함; 상기 복수의 고정 포인트로부터 상기 복수의 무빙 포인트로 연장되는 복수의 가상 선들 간의 각도 및 상기 복수의 무빙 포인트들 간의 위치에 기초하여 상기 복수의 카메라에서 상기 복수의 스포츠 참가자들의 오클루전을 예측함; 및 상기 관련성 및 상기 오클루전 예측에 기초하여 상기 복수의 카메라와 상기 스포츠 참가자 간의 매칭 테이블을 생성하는 것을 포함할 수 있다.

본 명세서의 실시예에 의하면, 이미지 데이터와 측위 센서 데이터를 퓨전하여 선수 위치를 산출함으로써 보다 정밀하게 선수 위치를 추적할 수 있다.

본 명세서의 실시예에 의하면, 복수의 카메라를 이용하여 추적하고자 하는 선수의 위치에 최적화된 이미지 데이터를 선별하여 이로부터 해당 선수의 위치를 산출함으로써 보다 정밀하게 선수 위치를 추적할 수 있다.

도 1은 종래의 측위 방식의 일 예를 도시한 도면이다.
도 2는 종래의 측위 방식의 다른 예를 도시한 도면이다.
도 3은 본 출원의 일 실시예에 따른 선수 추적 시스템에 관한 개략도이다.
도 4는 본 출원에 개시된 선수 추적 서버(1000)의 블록도이다.
도 5 내지 도 8은 본 출원의 일 실시예에 따른 상기 선수 추적 서버의 이미지 데이터 내의 복수의 선수들 간의 오클루전 이벤트 발생 여부를 판단하거나 검출하는 방법에 대한 예시적인 도면이다.
도 9는 본 출원에 개시된 이미지 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다.
도 10은 본 출원에 개시된 이미지 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다.
도 11은 본 출원에 개시된 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다.
도 12는 본 출원에 개시된 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다.
도 13는 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로 변환하기 위한 인공신경망을 학습시키는 것을 도시한 도면이다.
도 14는 학습된 인공신경망을 이용하여 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관런된 제2 좌표계의 위치로 변환하는 것을 도시한 도면이다.
도 15은 본 출원의 일 실시예에 따른 선수 추적 서버의 선수 위치를 결정하는 예시적인 방법을 도시한 도면이다.
도 16은 본 출원의 일 실시예에 따른 선수 추적 방법을 도시한 흐름도이다.
도 17은 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이며, 구체적으로 도 16의 상기 S1300 단계를 세분화한 도면이다.
도 18은 본 출원의 일 실시예에 따른 좌표 변환 알고리즘과 관련된 인공신경망의 학습 과정을 도시한 흐름도이다.
도 19는 학습된 인공신경망을 이용한 좌표 변환을 이용한 선수 추적 방법을 도시한 흐름도이다.
도 20은 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이다.
도 21은 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이며, 구체적으로 도 20의 상기 S4300 단계를 세분화한 도면이다.
도 22는 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이다.
도 23은 본 출원의 일 실시예에 따른 제1 신뢰도 맵의 예시적인 도면이다.
도 24는 본 출원의 일 실시예에 따른 제2 신뢰도 맵의 예시적인 도면이다.
도 25는 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이다.
도 26은 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 활용한 선수 추적 시스템을 도식화한 개략도이다.
도 27은 본 출원의 일 실시예에 따른 유효 이미지 선택하는 예시적인 과정을 나타낸 도면이다.
도 28는 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법을 나타낸 순서도이다.
도 29은 본 출원의 일 실시예에 따른 가상 플레이필드를 도식화한 예시적인 도면이다.
도 30은 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법을 나타낸 순서도이다.
도 31는 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법에 의한 스포츠 참가자의 위치의 계산 방법을 도시한 개략도이다.

본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.

명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.

본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.

이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다.

예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.

본 출원에 개시된 선수 추적 방법에 따르면, 복수의 스포스 참가자의 위치된 각각의 복수의 측위 센서들로부터 센서 시그널을 수신함-상기 센서 시그널은 참가자 식별자(idenfier) 및 위치 데이터를 포함함-; 플레이필드 주변에 위치된 카메라로부터 캡처된 스포츠 이미지를 수신함- 상기 스포츠 이미지는 상기 플레이필드 내의 복수의 스포츠 참가자들 중 적어도 타겟 참가자를 포함함-; 상기 스포츠 이미지로부터, 상기 타겟 참가자와 관련된 오클루전을 검출함; 상기 오클루전과 관련된 관심 영역에 위치되고 있는 특정 스포츠 선수들에 장착된 특정 측위 센서들로부터 수신된 상기 센서 시그널에 기초하여 상기 오클루전의 심각도를 결정함; 상기 오클루전의 심각도가 임계 값보다 큼이 검출되지 않으면, 상기 스포츠 이미지 내의 상기 타겟 참가자와 관련된 픽셀 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 및 상기 오클루전의 심각도가 임계 값보다 큼이 검출되면, 상기 타겟 참가자를 나타내는 상기 참가자 식별자를 갖는 상기 센서 시그널의 상기 위치 데이터에 기초하여 상기 스포츠 참가자의 위치를 결정함;을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 관심 영역은, 상기 오클루전에 연관되고 있는 상기 타겟 참가자에 대하여 미리 결정된 영역이며, 상기 심각도를 결정하는 것은 상기 관심 영역에 위치된 적어도 하나의 센서 시그널의 수에 기초하여 상기 오클루전의 심각도를 결정하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 심각도를 결정하는 것은, 상기 적어도 하나의 센서 시그널의 수가 상기 임계값보다 크면, 심각한 오클루전을 나타내는 값을 상기 심각도에 할당하며, 상기 적어도 하나의 센서 시그널의 수가 상기 임계값보다 작으면, 마일드 오클루전을 나타내는 값을 상기 심각도에 할당하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 심각도를 결정하는 것은, 상기 타겟 참가자와 다른 참가자에 해당하는 상기 참가자 식별자를 기초로, 상기 타겟 참가자와 적어도 하나의 스포츠 참가자 중 상기 다른 참가자가 동일한 팀에 있는지를 나타내는 팀 정보를 획득하는 것을 더 포함하며, 상기 다른 참가자는 상기 타겟 참가자를 가리거나 상기 타겟 참가자에 의해 가려질 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 심각도를 결정하는 것은, 상기 타겟 참가자와 상기 다른 참가자가 동일한 팀에 해당하면, 상기 심각한 오클루전을 나타내는 값을 상기 심각도에 할당하며, 상기 타겟 참가자와 상기 다른 참가자가 상이한 팀에 해당하면, 상기 마일드 오클루전을 나타내는 값을 상기 심각도에 할당할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 팀 정보는, 상기 스포츠 이미지의 상기 타겟 참가자와 상기 다른 참가자에 대응하는 픽셀 데이터로부터 획득될 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 플레이필드 주변에 위치된 카메라로부터 캡처되며 상기 플레이필드 내에 스포츠 참가자를 포함하는 스포츠 이미지로부터, 제1 좌표계에 의해 정의된 스포츠 참가자의 제1 위치를 나타내는 이미지 기반 위치 데이터를 획득함- 상기 이미지 기반 위치 데이터는 상기 스포츠 이미지 내의 상기 스포츠 참가자와 관련된 픽셀 위치에 기초하여 획득됨-; 상기 스포츠 이미지로부터 상기 스포츠 참가자와 관련된 오클루전 이벤트를 검출함; 상기 검출의 결과에 기초하여 상기 이미지 기반 위치 데이터를 검증함; 상기 스포츠 참가자에 위치된 측위 센서로부터 획득된 센서 시그널에 기초하여, 제2 좌표계에 의해 정의된 스포츠 참가자의 제2 위치를 나타내는 측위 센서 기반 위치를 획득함; 상기 센서 시그널 또는 상기 제2 위치에 기초하여, 상기 제2 좌표계에 의해 정의된 상기 스포츠 참가자의 속도를 나타내는 측위 센서 기반 속도를 획득함; 상기 제2 좌표계의 위치를 상기 제1 좌표계로 변환하는 신경망을 준비함- 상기 신경망은 상기 제2 좌표계에 따른 위치 및 속도를 수신하기 위한 입력 레이어, 위치 값을 나타내는 결과를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드들을 갖는 히든 레이어를 포함함-; 학습 세트를 준비함- 상기 학습 세트는 유효하다고 판단된 상기 이미지 기반 위치 데이터 및 유효하다고 판단된 상기 이미지 기반 위치 데이터에 대응하는 상기 측위 센서 기반 위치 데이터 및 상기 측위 센서 기반 속도 데이터를 포함함-; 및 상기 학습 세트를 이용하여, 상기 입력 레이어에 상기 학습 세트의 상기 측위 센서 기반 위치 데이터 및 상기 측위 센서 기반 속도 데이터를 입력하며, 입력된 상기 측위 센서 기반 위치 데이터 및 상기 측위 센서 기반 속도 데이터에 대응하는 상기 이미지 기반 위치 데이터와 상기 결과의 상기 위치 값의 차이에 기초하여 상기 노드들의 가중치를 조절함으로써, 상기 신경망을 학습함;을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 검증하는 것은, 상기 오클루전 이벤트가 검출되지 않으면, 상기 이미지 기반 위치 데이터를 유효한 것으로 결정하며, 상기 오클루전 이벤트가 검출되면, 상기 이미지 기반 위치 데이터를 유효하지 않은 것으로 결정할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 오클루전 이벤트는 상기 오클루전과 관련된 관심 영역 내의 적어도 하나의 스포츠 참가자의 적어도 하나의 센서 시그널의 수가 임계값보다 큰 것을 나타내며, 상기 관심 영역은 오클루전이 발생한 영역에 대하여 미리 결정된 영역일 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 수신함- 상기 스포츠 이미지는 상기 플레이필드 내의 스포츠 참가자를 포함함-; 상기 스포츠 참가자에 장착된 측위 센서로부터 센서 시그널을 수신함; 상기 스포츠 이미지로부터, 상기 스포츠 참가자와 관련된 오클루전 이벤트를 검출함; 상기 오클루전 이벤트가 검출되지 않으면, 제1 좌표계로 정의된 위치를 나타내는 이미지 기반 위치 데이터에 기초하여 스포츠 참가자의 위치를 결정하며; 상기 오클루전 이벤트가 검출되면: 상기 센서 시그널에 기초하여 제2 좌표계로 정의된 위치를 나타내는 측위 센서 기반 위치를 획득함; 상기 센서 시그널 또는 상기 측위 센서 기반 위치에 기초하여 상기 제2 좌표계로 정의된 속도를 나타내는 측위 센서 기반 속도를 획득함; 및 상기 제2 좌표계의 위치를 상기 제1 좌표계의 위치로 변환하기 위한 신경망을 사용하여 상기 측위 센서 기반 위치 및 상기 측위 센서 기반 속도로부터 상기 제1 좌표계로 정의된 상기 스포츠 참가자의 위치를 결정하며, 상기 신경망은, 상기 제2 좌표계에 따른 위치 및 속도를 수신하기 위한 입력 레이어, 상기 제1 좌표계에 따른 위치 값을 나타내는 결과를 출력하기 위한 출력 레이어 및 상기 입력 레이어와 상기 출력 레이어를 연결하는 복수의 노드들을 갖는 히든 레이어를 포함하며, 상기 제1 좌표계에 따른 위치로 라벨링된 상기 제2 좌표계에 따른 위치와 속도를 사용하여 상기 복수의 노드들의 가중치를 조절함으로써 훈련될 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 측위 센서 기반 위치를 획득함; 이전의 측위 센서 기반 위치로부터의 상기 측위 센서 기반 위치의 변화에 기초하여 상기 측위 센서 기반 위치를 검증함; 상기 측위 센서 기반 위치가 유효하면, 상기 측위 센서 기반 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 상기 측위 센서 기반 위치가 유효하지 않으면: 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 플레이필드와 동일한 높이를 갖는 기준 평면에 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀을 투사함으로써 획득된 이미지 기반 위치의 유효성을 예측함- 상기 예측하는 것은, 상기 스포츠 참가자와 관련된 오클루전을 검출하는 것, 상기 스포츠 참가자와 관련된 수직적인 움직임을 검출하는 것 및 상기 이전의 이미지 기반 위치로부터 상기 이미지 기반 위치의 변화를 계산하는 것 중 적어도 하나를 포함함-; 상기 이미지 기반 위치가 유효한 것으로 예측되면: 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 이미지 기반 위치를 획득하며, 상기 이미지 기반 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하며; 상기 이미지 기반 위치가 유효하지 않은 것으로 예측되면, 상기 측위 센서 기반 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 측위 센서 기반 위치를 검증하는 것은, 이전의 측위 센서 기반 위치로부터의 상기 측위 센서 기반 위치의 변화가 미리 결정된 임계값보다 초과하는 경우 상기 측위 센서 기반 위치가 유효하지 않다고 판단하며, 이전의 측위 센서 기반 위치로부터의 상기 측위 센서 기반 위치의 변화가 미리 결정된 임계값보다 미만인 경우 상기 측위 센서 기반 위치가 유효하다고 판단할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 측위 센서 기반 위치를 검증하는 것은, 상기 센서 시그널에 포함된 센서 시그널의 신뢰도에 대한 정보를 더 고려하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 센서 시그널에 포함된 센서 시그널의 신뢰도에 대한 정보는 DoP, SNR 중 적어도 하나 이상을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 스포츠 참가자와 관련된 수직적인 움직임은, 상기 스포츠 참가자가 착용한 관성 센서로부터 획득된 상기 기준 평면의 수직적인 방향으로의 상기 스포츠 참가자의 움직임에 기초하여 검출될 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함; 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함-상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 측위 센서 기반 위치와 상기 이미지 기반 위치 간의 이격도 지수(disparity index)를 계산함- 상기 이격도 지수는 상기 측위 센서 기반 위치와 상기 이미지 기반 위치의 차이로부터 획득됨-; 상기 이격도 지수가 미리 결정된 제1 임계값보다 작으면, 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 어느 하나인 제1 위치에 기초하여 상기 스포츠 참가자의 위치를 결정함; 상기 이격도 지수가 미리 결정된 제2 임계값보다 크면: 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 어느 하나와 관련된 제1 신뢰도 지수를 획득함; 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 다른 하나와 관련된 제2 신뢰도 지수를 획득함; 상기 제1 신뢰도 지수가 상기 제2 신뢰도 지수보다 크면, 상기 제1 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하며; 상기 제1 신뢰도 지수가 상기 제2 신뢰도 지수보다 작으면, 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치 중 다른 하나인 제2 위치에 기초하여 상기 스포츠 참가자의 위치를 결정하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함; 상기 측위 센서 기반 위치의 신뢰도와 관련한 제1 신뢰도 정보를 획득함;플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 싱기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 이미지 기반 위치의 신뢰도와 관련된 제2 신뢰도 정보를 획득함- 상기 이미지 기반 위치의 신뢰도는, 상기 스포츠 참가자와 관련된 오클루전, 상기 스포츠 참가자와 관련된 수직적인 움직임 및 이전의 이미지 기반 위치로부터 상기 이미지 기반 위치의 변화 중 적어도 하나와 관련됨-; 상기 제1 신뢰도 정보 및 상기 제2 신뢰도 정보에 기초하여 가중치를 계산함- 상기 가중치는 센서 기반 가중치 및 이미지 기반 가중치를 포함하며; 그리고 상기 스포츠 참가자의 위치를 계산함-상기 스포츠 참가자의 위치는 상기 센서 기반 가중치를 고려한 상기 측위 센서 기반 위치 및 상기 이미지 기반 가중치를 고려한 상기 이미지 기반 위치로부터 획득되는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함; 상기 측위 센서 기반 위치의 신뢰도와 관련한 제1 신뢰도 정보를 획득함; 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 이미지 기반 위치의 신뢰도와 관련된 제2 신뢰도 정보를 획득함- 상기 이미지 기반 위치의 신뢰도는, 상기 스포츠 참가자와 관련된 오클루전, 상기 스포츠 참가자와 관련된 수직적인 움직임 및 이전의 이미지 기반 위치로부터 상기 이미지 기반 위치의 변화 중 적어도 하나와 관련됨-; 상기 제1 신뢰도 정보 및 상기 제2 신뢰도 정보에 기초하여 가중치를 계산함- 상기 가중치는 센서 기반 가중치 및 이미지 기반 가중치를 포함하며; 그리고

상기 스포츠 참가자의 위치를 계산함-상기 스포츠 참가자의 위치는 상기 센서 기반 가중치를 고려한 상기 측위 센서 기반 위치 및 상기 이미지 기반 가중치를 고려한 상기 이미지 기반 위치로부터 획득되는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 측위 센서 기반 위치의 신뢰도는, 이전 시점의 측위 센서 기반 위치로부터의 상기 측위 센서 기반 위치의 변화를 계산하는 것 및 상기 센서 시그널에 포함된 센서 시그널의 신뢰도에 대한 정보 중 적어도 하나와 관련될 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 스포츠 참가자와 관련된 수직적인 움직임은, 상기 스포츠 참가자가 착용한 관성 센서로부터 획득된 상기 플레이필드와 동일한 높이를 갖는 기준 평면에 대한 수직적인 방향으로의 상기 스포츠 참가자의 움직임에 기초하여 검출될 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 측위 센서 기반 위치의 신뢰도와 상기 이미지 기반 위치의 신뢰도는 상기 측위 센서 기반 위치와 상기 이미지 기반 위치 간의 이격도 지수(disparity index)와 관련되며, 상기 이격도 지수는 상기 측위 센서 기반 위치와 상기 이미지 기반 위치의 차이로부터 획득될 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 스포츠 참가자에 위치된 측위 센서로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 스포츠 참가자의 측위 센서 기반 위치를 획득함; 플레이필드에 대응하는 신뢰도 맵을 준비함- 상기 신뢰도 맵은 상기 측위 센서 기반 위치의 신뢰도와 관련된 제1 신뢰도 정보를 포함하는 신뢰도 정보가 있는 복수의 영역을 포함함-; 상기 플레이필드 주변에 위치된 카메라에서 촬영된 스포츠 이미지를 획득함- 상기 스포츠 이미지는 상기 플레이필드 내의 상기 스포츠 참가자를 포함함-; 상기 스포츠 이미지 내의 상기 스포츠 참가자의 픽셀 위치에 기초하여 상기 스포츠 참가자의 이미지 기반 위치를 획득함; 상기 측위 센서 기반 위치에 기초하여 상기 스포츠 참가자가 점유하고 있는 특정 영역을 결정함; 상기 특정 영역의 상기 제1 신뢰도 정보에 따라 제1 가중치 및 제2 가중치를 결정함; 및 상기 제1 가중치 및 상기 제2 가중치를 고려하여 계산된 상기 측위 센서 기반 위치 및 상기 이미지 기반 위치의 가중 평균에 기초하여 상기 스포츠 참가자의 위치를 결정하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 측위 센서 기반 위치의 신뢰도와 관련된 제1 신뢰도 정보는, 이전 시점의 측위 센서 기반 위치로부터의 상기 측위 센서 기반 위치의 변화를 계산하는 것 및 상기 센서 시그널에 포함된 센서 시그널의 신뢰도에 대한 정보 중 적어도 하나와 관련될 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 신뢰도 맵은 상기 이미지 기반 위치의 신뢰도와 관련된 제2 신뢰도 정보를 포함하는 신뢰도 정보가 있는 복수의 영역을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 이미지 기반 위치의 신뢰도와 관련된 상기 제2 신뢰도 정보는, 상기 스포츠 참가자와 관련된 오클루전을 검출하는 것, 상기 스포츠 참가자와 관련된 수직적인 움직임을 검출하는 것 및 이전 시점의 이미지 기반 위치로부터 상기 이미지 기반 위치의 변화를 계산하는 것 중 적어도 하나와 관련될 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 제1 가중치 및 상기 제2 가중치는, 상기 특정 영역의 상기 제2 신뢰도 정보에 따라 결정될 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 플레이필드 주변의 상이한 위치에 설치된 복수의 카메라로부터, 복수의 스포츠 이미지를 수신함- 상기 복수의 스포츠 이미지 각각은 상기 플레이필드 및 상기 스포츠 참가자의 적어도 일부를 포함함-; 상기 복수의 스포츠 이미지로부터 타겟 참가자를 검출함; 상기 타겟 참가자의 검출 결과에 따라 상기 복수의 스포츠 이미지로부터 적어도 하나의 후보 이미지를 선택함; 상기 적어도 하나의 후보 이미지로부터 상기 타겟 참가자와 관련된 오클루전 여부를 검출함; 상기 오클루전 검출의 결과에 따라 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 유효 이미지를 선택함; 및

상기 적어도 하나의 유효 이미지의 상기 타겟 참가자에 대응되는 픽셀 위치에 기초하여 상기 타겟 참가자의 위치를 결정하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 적어도 하나의 유효 이미지가 제1 유효 이미지 및 제2 유효 이미지를 포함하면, 상기 타겟 참가자의 위치를 결정하는 것은, 상기 제1 유효 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제1 위치를 획득함; 상기 제2 유효 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제2 위치를 획득함; 및 상기 제1 위치 및 상기 제2 위치 모두에 기초하여 상기 타겟 참가자의 위치를 계산하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 타겟 참가자의 위치를 결정하는 것은, 상기 타겟 참가자와 상기 적어도 하나의 유효 이미지를 촬영한 카메라 간의 위치와 관련된 제1 조건과 상기 적어도 하나의 유효 이미지를 촬영한 카메라의 렌즈 왜곡 파라미터와 관련된 제2 조건 기초하여 상기 적어도 하나의 유효 이미지로부터 단일 이미지를 선택함 및 상기 단일 이미지에 기초하여 상기 타겟 참가자의 위치를 계산하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 플레이필드 주변의 상이한 위치에 설치된 복수의 카메라로부터, 복수의 스포츠 이미지를 수신함- 상기 복수의 스포츠 이미지 각각은 상기 플레이필드 및 상기 스포츠 참가자의 적어도 일부를 포함함-; 상기 복수의 스포츠 이미지로부터 타겟 참가자를 검출함; 상기 타겟 참가자의 검출 결과에 따라 상기 복수의 스포츠 이미지로부터 적어도 하나의 후보 이미지를 선택함; 상기 적어도 하나의 후보 이미지로부터 상기 타겟 참가자와 관련된 오클루전 여부를 검출함; 상기 오클루전 검출의 결과에 따라 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 타겟 이미지를 선택함; 상기 적어도 하나의 후보 이미지 모두에 상기 오클루전이 검출되면, 상기 스포츠 참가자가 상기 적어도 하나의 후보 이미지 내의 다른 스포츠 참가자를 가렸는지 혹은 상기 다른 스포츠 참가자에 의해 가려졌는지 여부를 결정하고, 상기 결정에 따라 상기 적어도 하나의 후보 이미지로부터 상기 타겟 이미지를 선택하며; 그리고 상기 적어도 하나의 타겟 이미지의 상기 타겟 참가자에 대응되는 픽셀 위치에 기초하여 상기 타겟 참가자의 위치를 결정하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 적어도 하나의 타겟 이미지는, 상기 스포츠 참가자가 상기 적어도 하나의 후보 이미지 내의 다른 스포츠 참가자를 가린 상기 적어도 하나의 후보 이미지로부터 선택될 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 적어도 하나의 타겟 이미지가 제1 타겟 이미지 및 제2 타겟 이미지를 포함하면, 상기 타겟 참가자의 위치를 결정하는 것은, 상기 제1 타겟 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제1 위치를 획득함; 상기 제2 타겟 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제2 위치를 획득함; 및 상기 제1 위치 및 상기 제2 위치 모두에 기초하여 상기 타겟 참가자의 위치를 계산하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 상기 타겟 참가자의 위치를 결정하는 것은, 상기 타겟 참가자와 상기 적어도 하나의 타겟 이미지를 촬영한 카메라 간의 위치와 관련된 제1 조건과 상기 적어도 하나의 타겟 이미지를 촬영한 카메라의 렌즈 왜곡 파라미터와 관련된 제2 조건 기초하여 상기 적어도 하나의 타겟 이미지로부터 단일 이미지를 선택함 및 상기 단일 이미지에 기초하여 상기 타겟 참가자의 위치를 계산하는 것을 포함할 수 있다.

본 출원에 개시된 선수 추적 방법에 따르면, 플레이필드 주변에 위치된 복수의 카메라들의 위치 및 포즈를 포함하는 카메라 배열 정보를 획득함; 복수의 스포츠 참가자에 위치된 복수의 측위 센서들로부터, 센서 시그널을 수신함; 상기 센서 시그널에 기초하여 상기 복수의 스포츠 참가자의 위치를 획득함; 상기 복수의 카메라에 대응하는 복수의 고정 포인트 및 상기 복수의 스포츠 참가자의 대응하는 복수의 무빙 포인트를 포함하는 가상 플레이필드를 생성함- 상기 가상 플레이필드 내의 복수의 고정 포인트의 위치는 상기 카메라 배열 정도에 기초하여 결정되며, 상기 가상 플레이필드 내의 복수의 무빙 포인트의 위치는 상기 복수의 스포츠 참가자의 위치에 기초하여 결정됨-; 상기 복수의 고정 포인트 및 상기 복수의 무빙 포인트 간의 상대적인 위치에 기초하여 상기 복수의 카메라와 상기 복수의 스포츠 참가자의 관련성을 계산함; 상기 복수의 고정 포인트로부터 상기 복수의 무빙 포인트로 연장되는 복수의 가상 선들 간의 각도 및 상기 복수의 무빙 포인트들 간의 위치에 기초하여 상기 복수의 카메라에서 상기 복수의 스포츠 참가자들의 오클루전을 예측함; 및 상기 관련성 및 상기 오클루전 예측에 기초하여 상기 복수의 카메라와 상기 스포츠 참가자 간의 매칭 테이블을 생성하는 것을 포함할 수 있다.

도 1을 참고한다. 도 1은 종래의 측위 방식의 일 예를 도시한 도면이다. 구체적으로 도 1은 카메라를 통하여 촬영된 이미지로부터 선수가 위치한 지점을 계산하는 측위 방식의 특정 상황을 나타낸 도면이다.

영상을 이용한 측위 방식에 의하면, 영상 내에서 추적하고자 하는 선수가 인식되어야 선수의 위치를 정확하게 계산할 수 있다

예를 들면, 도 1의 제1 영역(10)에 위치하는 선수에 대하여는, 선수가 인식되어 추적하고자 하는 선수의 위치를 계산할 수 있다.

다만 도 1의 제2 영역(12)에 위치하는 선수에 대하여는, 선수가 인식되기 어려운 오클루전 이벤트가 발생할 수 있다. 구체적으로 제2 영역(12)에는 복수의 선수들이 밀집하여 있기 때문에, 영상 내에서 추적하고자 하는 선수가 다른 선수에 가려지는 오클루전이 발생될 수 있다. 따라서, 다른 선수에 가려진 추적 대상 선수의 위치가 정확하게 획득되지 않을 수 있다.

다시 말해, 영상을 이용한 측위 방식은 영상 내에서 추적하고자 하는 선수가 다른 선수에 가려지는 등의 폐색 상황에 대응하지 못할 수 있다.

도 2를 참고한다. 도 2는 종래의 측위 방식의 일 예를 도시한 도면이다. 구체적으로 도 2는 GPS 모듈과 같은 측위 기구들을 이용하여 선수가 위치한 지점을 계산하는 측위 방식을 도식화한 도면이다.

구체적으로, GPS 모듈을 이용한 측위 방식은 위성으로부터 송신된 신호에 의존하여 추적하고자 하는 선수의 위치를 계산한다. 다만, 위성으로부터 송신된 신호 등은 추적하고자 하는 선수의 주변 구조물에 영향을 많이 받을 수 있다.

예를 들어, 도 2의 일부 위성들(24, 26)로부터 송신된 GPS의 신호는 추적하고자 하는 선수의 주변 구조물에 영향을 받지 않고 경기장 내부로 송신될 수 있다. 다만, 도 2의 일부 위성들(22, 28)로부터 송신된 GPS의 신호는 추적하고자 하는 선수의 주변 구조물에 영향을 받아 경기장 내부로 도달하지 못할 수 있다. 이때 일부 위성들(22, 28)로부터 송신된 GPS 신호가 주변 구조물의 영향을 받는 경우에는, GPS 신호들로부터 계산된 선수의 위치가 오차가 발생할 수 있다.

또한, 경기장 내의 플레이필드의 영역별로, GPS의 신호가 주변 구조물의 영향을 받는 정도가 상이하기 때문에, GPS 모듈을 이용한 측위 방식은 경기장 내의 플레이필드의 영역별로 그 신뢰도가 상이해진다는 문제가 존재한다.

본 출원에서는, 상술한 영상을 이용한 측위 방식과 GPS나 LPS 모듈과 같은 측위 기구를 이용한 측위 방식의 한계를 극복하기 위한 선수 추적 장치, 선수 추적 시스템 및 선수 추적 방법에 관하여 설명한다.

이하에서는 본 출원의 선수 추적 장치, 선수 추적 시스템 및 선수 추적 방법에 관하여 설명한다. 여기서, 선수 추적은 선수에게 장착되는 측위 센서로부터 얻어지는 측위 센서 데이터나 적어도 하나의 카메라를 통해 획득된 이미지 데이터를 이용하여 수행될 수 있다. 본 출원에서는 이러한 기초 데이터로부터 산출되는 선수 위치의 정확도를 개선하기 위하여 상술한 데이터를 퓨전하거나 또는 이미지 데이터를 여러 개 이용하는 등의 기법들을 개시한다.

이하에서는 본 출원의 일 실시예에 따른 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템에 관하여 설명한다.

본 실시예에 따른 선수 추적은 이미지 데이터와 측위 센서 데이터를 함께 이용하여 수행될 수 있다. 이미지 데이터를 이용한 선수 추적은 이미지 데이터 내의 선수의 위치와 관련된 픽셀 데이터를 기초로 선수의 위치를 계산할 수 있으며, 측위 센서 데이터를 이용한 선수 추적은 측위 센서 데이터에 포함된 선수의 위치와 관련된 위도, 경도 등의 데이터에 기초하여 선수의 위치가 계산될 수 있다. 이때, 이미지 데이터를 이용한 선수의 추적이 부정확한 경우에는 측위 센서 데이터에 의해 선수의 추적을 보완할 수 있으며, 측위 센서 데이터를 이용한 선수의 추적이 부정확한 경우에는 이미지 데이터에 의해 선수의 추적을 보완할 수 있다.

도 3은 본 출원의 일 실시예에 따른 선수 추적 장치, 선수 추적 시스템 및 선수 추적 방법에 관한 개략도이다.

도 3을 참조하면, 본 실시예에 따른 선수 추적 장치, 선수 추적 시스템 및 선수 추적 방법은, 이미지 데이터와 측위 센서 데이터를 함께 이용하여 선수 위치를 추적할 수 있다.

이하에서는 본 출원의 일 실시예에 따른 선수 추적 시스템(100)에 관하여 도 3을 참고하여 설명한다.

도 3을 참고하면, 선수 추적 시스템(100)은 측위 센서 장치(200), 이미지 캡처 장치(300), 중간 서버(400) 및 선수 추적 장치(1000)를 포함할 수 있다.

선수 추적 시스템(100)의 측위 센서 장치(200)는 GPS 모듈, LPS 모듈과 같은 측위 기구일 수 있다.

일 예로, 측위 센서 장치(200)는 GPS 모듈(210)일 수 있으며, GPS 모듈은, 범지구항법시스템(GNSS)과 관련하여 위성으로부터 송신된 전파를 수신하여 측위 센서 장치(200)의 위치에 대한 데이터를 선수 추적 장치(1000)로 송신할 수 있다.

다른 예로, 측위 센서 장치(200)는 LPS 모듈(220)일 수 있으며, LPS 모듈은, 로컬 포지셔닝 시스템(local positioning system, LPS)과 관련하여 비콘(beacon, 4) 등으로부터 송신된 전파를 수신하여 측위 센서 장치(200)의 위치에 대한 데이터를 송신할 수 있다. 상기 비콘(4)은 플레이필드의 주변부에 위치될 수 있으며, 그 위치는 상이한 위치일 수 있다.

선수 추적 시스템(100)의 이미지 캡처 장치(300)는 임의의 적절한 형태와 기능을 가진 카메라일 수 있다. 상기 이미지 캡처 장치(300)는, 스포츠 참가자(1), 플레이필드의 라인(2) 및 플레이필드(3)를 촬영하여 획득한 이미지 데이터를 선수 추적 장치(1000)로 송신할 수 있다.

선수 추적 시스템(100)의 선수 추적 장치(1000)는 이미지 데이터 및 측위 센서 데이터를 획득할 수 있다. 또한 선수 추적 장치(1000)는 이미지 데이터로부터 이미지 기반 위치를 획득할 수 있으며, 측위 센서 데이터로부터 측위 센서 기반 위치를 획득할 수 있다. 또한, 선수 추적 장치(1000)는 이미지 기반 위치와 측위 센서 기반 위치의 유효성을 판단하여 정확도가 높은 위치로 스포츠 참가자의 위치를 결정할 수 있다.

선수 추적 장치(1000)는 임의의 적절한 형태의 서버 장치로 구현될 수 있다. 이하에서는 선수 추적 장치(1000)를 선수 추적 서버(1000)로 지칭하여 서술하나, 이것은 설명의 편의를 위한 것에 불과할 뿐, 선수 추적 장치(1000)가 반드시 서버 형태로 구현되어야 하는 것은 아니다.

한편, 선수 추적 시스템(100)은 중간 서버(400)나 중계기를 더 포함할 수 있다. 즉 다시 말해, 선수 추적 시스템(100)의 선수 추적 서버(1000)는 단일한 형태로 제공될 수 있으나, 단일한 형태가 아닌 분리된 형태로 제공될 수 있다.

이때, 측위 센서 장치(200)와 이미지 캡처 장치(300)로부터 송신된 데이터들은 선수 추적 서버(1000)로 직접 송신될 수도 있으며, 중간 서버(400)를 거쳐 간접적으로 선수 추적 서버(1000)로 송신될 수도 있다. 중간 서버(400)를 거치는 경우, 데이터들은 도킹스테이션(410)을 통하여 휴대용 전자 장치(420)에 전달될 수 있다. 또한, 임의의 적절한 통신 방식을 이용하여 휴대용 전자 장치(420)로부터 선수 추적 서버(1000)에 데이터들이 전달될 수 있다.

이하에서는 본 출원의 일 실시예에 따른 선수 추적 서버(1000)에 대하여 설명한다.

본 출원의 일 실시예에 따르면, 선수 추적 서버(1000)는 스포츠 참가자의 위치를 결정하기 위해 이미지 캡처 장치(300)로부터 이미지 데이터를 획득할 수 있다. 또한, 선수 추적 서버(1000)는 스포츠 참가자의 위치를 결정하기 위해 측위 센서 장치로부터 측위 센서 데이터를 획득할 수 있다. 또한 선수 추적 서버(1000)는 획득된 이미지 데이터로부터 이미지 기반 위치를 계산할 수 있으다. 또한, 선수 추적 서버(1000)는 획득된 측위 센서 데이터로부터 측위 센서 기반 위치를 계산할 수 있다. 또한, 선수 추적 서버(1000)는 계산된 이미지 기반 위치 및 측위 센서 기반 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.

도 4를 참고한다. 도 4는 본 출원의 일 실시예에 따른 선수 추적 서버(1000)의 블록도이다.

도 4를 참고하면, 선수 추적 서버(1000)는 통신 모듈(1100), 메모리(1200) 및 컨트롤러(1300)를 포함할 수 있다.

이하에서는 본 출원의 일 실시예에 따른 선수 추적 서버(1000)의 각 구성에 대하여 설명한다.

통신 모듈(1100)은 외부 기기와 통신을 수행할 수 있다. 선수 추적 서버(1000)는 통신 모듈(1100)을 통해, 이미지 캡처 장치(300), 측위 센서 장치(200) 혹은 중간 서버(400)를 포함한 외부 서버와 데이터 송수신을 할 수 있다.

예를 들어, 선수 추적 서버(1000)는 통신 모듈(1100)을 통해, 이미지 캡처 장치(300)로부터 촬영된 이미지 데이터 또는 측위 센서 장치(200)로부터 획득된 측위 센서 데이터를 수신할 수 있다. 또 다른 예로, 선수 추적 서버(1000)는 통신 모듈(1100)을 통해 인터넷에 접속하여 이미지 데이터 혹은 측위 센서 데이터를 업로드할 수 있다.

통신 모듈(1100)은 크게 유선 타입과 무선 타입으로 나뉜다. 유선 타입과 무선 타입은 각각의 장단점을 가지므로, 경우에 따라서는 선수 추적 서버(1000)에는 유선 타입과 무선 타입이 동시에 마련될 수도 있다.

여기서, 유선 타입의 경우에는 LAN(Local Area Network)이나 USB(Universal Serial Bus) 통신이 대표적인 예이며 그 외의 다른 방식도 가능하다.

또 여기서, 무선 타입의 경우에는 주로 블루투스(Bluetooth)나 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식을 이용할 수 있다. 그러나, 무선 통신 프로토콜이 이로 제한되는 것은 아니므로 무선 타입의 통신 모듈은 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식이나 그 외의 알려진 다른 통신 방식을 이용하는 것도 가능하다.

메모리(1200)는 각종 정보를 저장할 수 있다. 메모리(1200)에는 각종 데이터가 임시적으로 또는 반영구적으로 저장될 수 있다. 메모리(1200)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다.

메모리(1200)는 선수 추적 서버(1000)에 내장되는 형태나 탈부착 가능한 형태로 제공될 수 있다. 메모리(1200)에는 선수 추적 서버(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 선수 추적 서버(1000)의 각 구성을 동작시키기 위한 프로그램을 비롯해 선수 추적 서버(1000)의 동작에 필요한 각종 데이터가 저장될 수 있다. 예를 들어, 메모리(1200)에는 이미지 캡처 장치(300)로부터 획득된 인텐시티 맵 형태 및 RGB 맵 형태의 이미지 데이터, 측위 센서 장치(200)로부터 획득된 측위 센서 데이터가 저장될 수 있다.

컨트롤러(1300)는 선수 추적 서버(1000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 컨트롤러(1300)는 메모리(1200)로부터 선수 추적 서버(1000)의 동작을 위한 프로그램을 로딩하여 실행할 수 있다.

컨트롤러(1300)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 CPU(Central Processing Unit)나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 전기적 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다.

이하에서는 선수 추적 방법과 관련하여 선수 추적 시스템(100)의 일 실시예에 의해 수행되는 몇몇 동작들에 대해서 보다 구체적으로 설명한다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 데이터 및 측위 센서 데이터를 획득할 수 있다.

선수 추적 서버(1000)는 이미지 데이터 및 측위 센서 데이터를 획득할 수 있다. 구체적으로는, 선수 추적 서버(1000)는 통신 모듈(1100)을 통하여 이미지 캡처 장치(300)로부터 이미지 데이터를 획득할 수 있다. 또한 선수 추적 서버(1000)는 통신 모듈(1100)을 통하여 이미지 캡처 장치(300)로부터 이미지 캡처 장치(300)와 관련된 정보를 획득할 수 있다. 또한, 선수 추적 서버(1000)는 통신 모듈(1100)을 통하여 측위 센서 장치(200)로부터 측위 센서 데이터를 획득할 수 있다.

이미지 데이터는, 스포츠 경기의 복수의 스포츠 참가자, 플레이필드의 라인과 점, 공 등과 관련된 픽셀 정보 및 스포츠 경기 진행 정보(경과 시간, 이미지 데이터 캡처 시간)를 포함할 수 있다.

이미지 캡처 장치(300)와 관련된 정보는 카메라의 위치 및 포즈와 관련된 배열 정보를 포함할 수 있다. 혹은 이미지 캡처 장치(300)와 관련된 정보 중 카메라의 위치와 관련된 배열 정보는 임의의 적절한 방법에 의해 선수 추적 서버(1000)가 획득할 수 있다.

측위 센서 데이터는 측위 센서 장치의 위치와 관련된 데이터와 센서-시그널의 신뢰도와 관련된 데이터를 포함할 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 데이터를 리샘플링하거나 노이즈를 제거할 수 있다.

구체적으로 선수 추적 서버(1000)는 상기 이미지 데이터를 리샘플링(Resampling)하는 동작을 수행하도록 제어될 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 데이터를 특정 프레임으로 리샘플링하는 동작을 수행할 수 있다. 선수 추적 서버(1000)의 리샘플링 동작을 통하여, 후술할 측위 센서 데이터와의 타임 싱크를 맞출 수 있다. 특정 프레임은 임의의 적절한 프레임(예, 10 프레임)일 수 있다.

또한, 선수 추적 서버(1000)는 상기 이미지 데이터의 노이즈를 제거하는 동작을 수행하도록 구현될 수 있다. 구체적으로 상기 이미지 캡처 장치에 의해 촬영된 이미지 데이터는 왜곡이 존재할 수 있다. 예를 들어, 렌즈의 왜곡에 따른 이미지 데이터의 왜곡이나 카메라의 포즈(예, 각도) 혹은 카메라로부터의 거리에 따른 이미지 데이터의 왜곡이 존재할 수 있다. 따라서, 선수 추적 서버(1000)는 상술한 이미지 데이터들의 왜곡을 보정하는 동작을 수행할 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 데이터와 측위 센서 데이터를 상관(Correlation)키는 동작을 수행할 수 있다. 구체적으로 선수 추적 시스템(100)은 이미지 데이터와 측위 센서 데이터의 타임 싱크를 맞출 수 있다.

구체적으로 선수 추적 서버(1000)의 컨트롤러(1300)는 상기 이미지 데이터와 상기 측위 센서 데이터를 시간 변수를 이용하여 상관시키도록 제공될 수 있다. 다시 말해, 선수 추적 서버(1000)의 컨트롤러(1300)는 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크를 맞추도록 구현될 수 있다.

일 예로, 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크는 스포츠 경기의 특정 시점을 기준으로 맞춰질 수 있다.

이 때, 상기 스포츠 경기의 특정 시점은 스포츠 경기 상의 특징적인 시점일 수 있다. 예를 들어, 상기 스포츠 경기의 특정 시점은 경기의 시작 시점일 수 있다.

또한, 상기 스포츠 경기에 브레이크 타임이 있는 경우에는, 상기 스포츠 경기의 특정 시점은 경기의 재개 시점일 수 있다. 일 예로, 축구 경기의 경우 전반전과 후반전 사이에 하프타임이 존재하는데, 이때 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크는, 전반전의 시작 시점과 후반전의 시작 시점을 기준으로 맞춰질 수 있다. 전반전의 시작 시점과 후반전의 시작 시점에서는, 스포츠 참가자의 일정 이상이 위치 이동을 시작하며 이에 따라 스포츠 참가자의 속도에 변화가 생길 수 있다. 따라서, 전반전의 시작 시점과 후반전의 시작 시점의 스포츠 참가자의 위치의 변화 또는 속도의 변화를 고려하여 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다.

일 예로, 상기 이미지 데이터로부터 획득되거나 산된 적어도 하나 이상의 스포츠 참가자의 속도 데이터와 상기 측위 센서 데이터로부터 획득되거나 계산된 적어도 하나 이상의 스포츠 참가자의 속도 데이터가 일치되는 시점을 기준으로 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다.

이때, 이미지 데이터로부터의 속도 데이터와 측위 센서 데이터로부터의 속도 데이터의 비교 대상인 스포츠 참가자의 수는 임의의 적절한 수 일 수 있다. 다시 말해, 상술한 속도 데이터의 비교를 통하여 타임 싱크를 맞추는 것은 모든 스포츠 참가자들에 대하여 뿐만 아니라, 일부 스포츠 참가자들에 대하여도 수행될 수 있다.

일 예로, 상기 측위 센서 데이터로부터 획득된 속도 변화가 감지된 시점을 고려하여 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다. 구체적인 예를 들어, 상기 전, 후반전의 시작 시점 이후에 일정 시간이 지난 후에는 대부분의 스포츠 참가자들이 위치 이동을 개시하며, 이에 따라 스포츠 참가자들의 속도 변화가 생길 수 있다. 측위 센서 장치는 상기 스포츠 참가자들의 위치 변화와 관련된 데이터를 획득할 수 있으며, 상기 위치 변화와 관련된 데이터로부터 획득된 속도 변화가 시작되는 시점이 감지될 수 있다. 일 예에 따르면 속도 변화가 감지된 시점을 기준으로 특정 시점(예, 0초 초과 내지 2초 미만) 이전의 시점을 기준으로 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다.

이때 속도 변화가 시작되는 시점과 관련하여, 미리 정해진 임계 인원 이상의 스포츠 참가자의 속도 변화가 감지된 경우에 속도 변화가 시작되는 시점이라고 판단될 수 있다.

또한, 타임 싱크를 맞추는 데에 워서스테인 거리(Wasserstein distance) 계산 방법과 같은 적절한 계산 방법이 사용될 수 있다.

또한, 정확성을 위하여, 상기 이미지 데이터와 상기 측위 센서 데이터간의 타임 싱크는 경기 시작 시점뿐만 아니라 경기 진행 중에도 맞춰질 필요가 존재한다.

본 출원의 일 실시예에 따르면, 경기 중의 임의의 시점의 이미지 데이터로부터 획득된 복수의 스포츠 참가자들 간의 위치 관계와 측위 센서 데이터로부터 획득된 복수의 스포츠 참가자들 간의 위치 관계가 대응되는 시점을 기준으로 이미지 데이터와 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다.

일 예로, 측위 센서 데이터에는 스포츠 참가자들 각각의 식별인자가 포함될 수 있으며, 식별인자로 식별된 적어도 하나 이상의 스포츠 참가자들간의 위치 데이터가 측위 센서 데이터로부터 각각 획득될 수 있다.

또한, 이미지 데이터에서도 측위 센서 데이터의 식별된 적어도 하나 이상의 스포츠 참가자들 각각이 구별 및 식별될 수 있으며, 식별된 적어도 하나 이상의 스포츠 참가자들 간의 위치 데이터가 이미지 데이터로부터 각각 획득될 수 있다.

이때, 상기 측위 센서 데이터로부터의 획득된 적어도 하나 이상의 스포츠 참가자의 위치 데이터에 따른 스포츠 참가자들간의 연결관계가 획득될 수 있고, 또한 상기 이미지 데이터로부터의 획득된 적어도 하나 이상의 스포츠 참가자의 위치 데이터에 따른 스포츠 참가자들간의 연결관계가 획득될 수 있다. 이때 측위 센서 데이터로부터 획득된 스포츠 참가자들간의 연결관계와 상기 이미지 데이터로부터 획득된 스포츠 참가자들간의 연결관계가 일치하거나 오차 범위 내인 시점을 기준으로 이미지 데이터와 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다. 예를 들어 상기 스포츠 참가자들간의 연결관계는, 이미지 데이터 또는 측위 센서 데이터로부터 획득된 스포츠 참가자들간의 위치 데이터를 연결한 선이나 면으로 표현될 수 있다.

상기 스포츠 참가자들간의 연결관계가 선이나 라인인 경우에는 선의 길이나 방향이 일치하는지 여부를 고려하여 이미지 데이터와 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다.

상기 스포츠 참가자들간의 연결관계라 평면인 경우에는 면의 외곽선으로 구성된 도형의 형상이 일치하는지 여부를 고려하여 이미지 데이터와 측위 센서 데이터간의 타임 싱크가 맞춰질 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 측위 센서 장치(200)으로부터 획득된 측위 센서 데이터에 대하여 노이즈 제거, 증폭, 필터링 등의 임의의 적절한 데이터 처리를 수행할 수 있다. 구체적으로 선수 추적 서버(1000)에 의해 상술한 데이터 처리를 수행하도록 제공될 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 데이터의 형식을 변환할 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 캡처 장치(300)로부터 수신한 이미지 데이터의 형태를 RGB 맵에서 인텐시티 맵(Intensity map)으로 변환할 수 있다. 이때, RGB 맵과 관련된 데이터는 선수 추적 서버(1000)의 메모리(1200) 내에 저장될 수 있다. 선수 추적 서버(1000)의 메모리(1200)에 저장된 이미지 데이터의 RGB 맵과 관련된 데이터는 후술할 선수 추적 서버(1000)에서 선수 간의 오클루전 이벤트를 검출하거나 오클루전 이벤트의 심각도를 판단하는 경우에 이용될 수 있다. 이러한 이미지 데이터 형태를 변환함에 따라 이미지 데이터를 인텐시티 맵(Intensity map)의 형태로 추적하는 것을 기본으로 하되, 필요한 경우에만 RGB 맵에 포함된 데이터를 이용할 수 있기 때문에 선수 추적 서버(1000)의 연산량을 줄일 수 있다. 또한 연산량이 줄어들기 때문에 선수 추적의 연산이 보다 빨라질 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 데이터에 포함된 플레이필드(3)를 인식 및 검출할 수 있다. 구체적으로 선수 추적 서버(1000)는 플레이필드의 기준점을 고려하여, 이미지 데이터에 포함된 플레이필드를 인식 및 검출하는 동작을 수행할 수 있다.

예를 들어, 선수 추적 서버(1000)는 플레이필드의 코너 플래그(corner flag), 하프 라인(half line), 골라인(goal line), 터치라인(touch line), 페널티마크(penalty mark) 등의 기준점을 고려하여 이미지 데이터에 포함된 플레이필드를 인식 및 검출할 수 있다. 다만, 상술한 기준점은 예시에 불과하며 플레이필드를 인식 및 검출할 수 있는 플레이필드 내의 임의의 적절한 영역, 선, 점 등이 고려되어 이미지 데이터에 포함된 플레이필드가 인식 및 검출될 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 정합(Image stitching) 동작을 수행할 수 있다.

구체적으로, 선수 추적 시스템(100)의 선수 추적 서버(1000)는 적어도 하나 이상의 이미지 데이터로부터 단일의 이미지 데이터로의 이미지 정합할 수 있도록 제공될 수 있다.

일 예로 플레이필드 주변의 상이한 위치에 배치된 적어도 하나 이상의 이미지 캡처 장치로부터 이미지 데이터가 획득될 수 있다. 이때, 선수 추적 서버(1000)는 동일한 시간적 시점의 적어도 하나 이상의 이미지 캡처 장치로부터 획득된 적어도 하나 이상의 이미지 데이터를 하나의 이미지 데이터로 정합하는 동작을 수행함으로써, 고해상도 이미지를 생성할 수 있고 파노라마 영상을 생성할 수 있다. 이때, 적어도 하나 이상의 이미지 데이터를 하나의 이미지 데이터로 정합하는 경우, 적어도 하나 이상의 이미지 데이터 간의 겹치는 부분 내에 포함된 기준점을 기준으로 이미지 데이터 간의 정합하는 동작이 수행될 수 있다. 적어도 하나 이상의 이미지 데이터 간의 겹치는 부분 내에 포함된 "기준점"은 이미지 데이터 내에 포함된 페널티마크, 코너플래그와 같은 점(point)일 수 있다. 또는 상기 복수의 이미지 데이터 간의 겹치는 부분 내에 포함된 "기준점"은 이미지 데이터 내에 포함된 페널티라인, 골라인, 터치라인, 센터라인과 같은 선(line)일 수 있다. 상기 복수의 이미지 데이터 간의 겹치는 부분 내에 포함된 "기준점"은 이미지 데이터 내에 포함된 센터서클 등과 같은 영역(region) 등 일 수 있다. 다만, 이는 예시에 불과하며 복수의 이미지 데이터 간의 정합 동작을 수행하는 데 임의의 적절한 기준점이 이용될 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 데이터로부터 이미지 기반 위치를 획득할 수 있다.

구체적으로, 선수 추적 서버(1000)는 이미지 데이터를 분석하여 이미지 데이터에 포함된 스포츠 참가자의 위치를 계산할 수 있다.

일 예로, 선수 추적 서버(1000)는 스포츠 참가자의 위치를 계산하기 위하여 투시도(Perspective view) 형태의 이미지 데이터를 탑 뷰(Top view) 형태로 변환할 수 있다. 이때, 선수 추적 서버(1000)는 탑 뷰(Top view) 형태로 좌표를 변환하기 위하여 이미지 데이터를 촬영한 이미지 캡처 장치의 설치 위치나 이미지 캡처 장치로부터 스포츠 참가자 간의 상대적인 위치를 고려할 수 있다. 또한, 선수 추적 서버(1000)는 플레이필드와 실질적으로 동일한 평면을 기준으로 투시도(Perspective view) 형태의 이미지 데이터를 탑 뷰(Top view) 형태의 이미지 데이터로 변환할 수 있다.

상기 선수 추적 서버(1000)는 탑 뷰(Top view) 형태의 이미지 데이터로부터 스포츠 참가자의 위치를 계산할 수 있다. 예를 들면, 선수 추적 서버(1000)는 탑 뷰(Top view) 이미지 데이터의 스포츠 참가자에 대응하는 픽셀의 위치에 기초하여 스포츠 참가자의 위치를 계산할 수 있다. 바람직하게는, 선수 추적 서버(1000)는 스포츠 참가자의 발에 대응하는 픽셀의 위치에 기초하여 스포츠 참가자의 위치를 계산할 수 있다.

상술한 바에 따르면, 선수 추적 서버(1000)는 탑 뷰 형태의 이미지 데이터에 기초하여 선수의 위치를 계산하는 내용을 중심으로 기재하였으나, 이는 예시에 불과하다. 예를 들어, 선수 추적 서버(1000)는 탑 뷰가 아닌 형태의 이미지 데이터(예: 투시도(Perspective view))의 스포츠 참가자(예, 발)에 대응하는 픽셀의 위치를 획득한 후, 이미지 캡처 장치의 높이와 설치 각도를 고려하여 플레이필드와 실질적으로 동일한 평면에 대하여 투사시킴으로써 선수의 위치를 계산할 수 있다.

다른 예로, 상기 이미지 데이터를 분석하여 스포츠 참가자의 위치를 계산하여 스포츠 참가자를 추적하는 데에는, CSRT, fast RCNN, Depp sort 등 다양한 인공신경망이 이용될 수 있다. 다만, 상술한 인공신경망은 예시에 불과하며 스포츠 참가자를 추적하는데 임의의 적절한 알고리즘이나 인공신경망이 이용될 수 있다.

예를 들어, 상술한 인공신경망을 통하여 이미지 데이터 내에 포함된 스포츠 참가자가 세그멘테이션될 수 있으며, 스포츠 참가자가 검출될 수 있다. 스포츠 참가자가 검출된다면 바운딩 박스가 생성될 수 있으며, 선수 추적 서버(1000)는 바운딩 박스를 기초로 하여 스포츠 참가자의 위치를 계산할 수 있다. 바람직하게는, 선수 추적 서버(1000)는 바운딩 박스의 하부 라인(bottom line)을 기초로 스포츠 참가자의 위치를 계산할 수 있다.

다른 예를 들어, 상술한 인공 신경망을 통하여 이미지 데이터 내에 포함된 스포츠 참가자의 "발"이 검출될 수 있으며, 선수 추적 서버(1000)는 스포츠 참가자는 "발"에 대응되는 픽셀의 위치를 기초로 스포츠 참가자의 위치가 계산될 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 측위 센서 데이터로부터 측위 센서 기반 위치를 획득할 수 있다. 구체적으로 선수 추적 서버(1000)는 상기 측위 센서 데이터에 포함된 선수의 위치와 관련된 데이터를 고려하여 선수의 위치를 계산할 수 있다. 예를 들어, 선수 추적 서버(1000)는 측위 센서 데이터에 기초하여 삼각 측량법을 통하여 측위 센서 기반 위치를 계산하거나 획득할 수 있다.

여기서 측위 센서 데이터는 선수의 위치와 관련된 데이터를 포함하고 있다. 이때, 혹은 측위 센서 기반 위치는 측위 센서 데이터에 포함된 속도나 가속도와 관련된 데이터로부터 획득될 수 있다.

또한, 선수 추적 서버(1000)는, 상술한 이미지 데이터의 위치와 관련된 데이터와 측위 센서 데이터의 위치와 관련된 데이터로부터 미적분과 같은 수학적인 방법을 이용하여 스포츠 참가자의 속도나 가속도를 각각 계산하도록 제공될 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 획득된 이미지 기반 위치의 유효성을 판단할 수 있다.

구체적으로는 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 이미지 기반 위치의 유효성을 평가할 수 있다. 보다 구체적으로 선수 추적 서버(1000)는 이미지 기반 위치의 유효성을 평가하는 데, 오클루전 이벤트의 검출 여부, 오클루전 이벤트의 심각도, 선수의 수직적인 움직임(vertical movement) 및 이미지 데이터로부터 계산된 선수의 위치의 이격(internal disparity) 중 적어도 하나를 고려하도록 제공될 수 있다.

도 5 내지 도 8을 참고한다 도 5 내지 도 8은 본 출원의 일 실시예에 따른 선수 추적 서버(1000)의 이미지 데이터 내의 복수의 선수들 간의 오클루전 이벤트 발생 여부를 판단하거나 검출하는 방법에 대한 예시적인 도면이다.

일 예로, 선수 추적 서버(1000)는 이미지 데이터 내의 복수의 선수들간의 오클루전 이벤트의 검출 여부를 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. 여기서 오클루전 이벤트란, 복수의 선수들간에 적어도 일부분이 중첩되는 이벤트를 의미할 수 있다.

예를 들어, 선수 추적 서버(1000)는 인텐시티 맵(intensity map) 형태나 RGB 맵 형태의 이미지 데이터에 기초하여 오클루전 이벤트를 검출할 수 있다. 예를 들어, 선수 추적 서버(1000)는 상술한 바와 같이 임의의 적절한 인공지능망을 기초로 이미지 데이터 내에 포함된 스포츠 참가자를 인식할 수 있으며, 인식의 결과로 스포츠 참가자별로 바운딩 박스(bounding box)가 생성될 수 있다. 이때, 선수 추적 서버(1000)는 복수의 선수들 간의 바운딩 박스(bounding box)의 중첩 정도를 고려하여 오클루전이 발생하였는지 여부를 판단할 수 있다.

일 예로, 바운딩 박스(bounding box)의 중첩 정도와 관련된 임계값이 미리 설정될 수 있으며, 상기 선수 추적 서버(1000)는 상기 임계값을 초과하여 선수들 간의 바운딩 박스(bounding box)가 중첩되는 경우에는 오클루전 이벤트가 발생하였다고 판단할 수 있다. 반면, 선수 추적 서버(1000)는 상기 임계값 미만으로 선수들 간의 바운딩 박스(bounding box)가 중첩되거나 바운딩 박스(bounding box)가 중첩되지 않은 경우에는 오클루전 이벤트가 발생하지 않았다고 판단할 수 있다.

구체적으로 도 5를 참고한다. 도 5는 이미지 데이터로부터 인식된 제1 스포츠 참가자에 대응되는 제1 바운딩 박스(BB1)와 이미지 데이터로부터 인식된 제2 스포츠 참가자에 대응되는 제2 바운딩 박스(BB2)의 중첩된 영역의 크기 혹은 비율에 따라 오클루전 여부를 검출하거나 판단하는 것을 도시한 도면이다.

도 5(a)를 참고하면, 상기 제1 바운딩 박스(BB1)와 상기 제2 바운딩 박스(BB2)가 중첩되지 않는 상황이 존재할 수 있다. 이때, 선수 추적 서버(1000)는 오클루전 이벤트가 발생하지 않았다고 판단할 수 있다.

도 5(b), (c), (d)를 참고하면, 상기 제1 바운딩 박스(BB1)와 상기 제2 바운딩 박스(BB2)가 일부 중첩되는 상황이 존재할 수 있다. 이때, 선수 추적 서버(1000)는, 상기 제1 바운딩 박스(BB1)와 상기 제2 바운딩 박스(BB2)의 중첩된 영역의 크기 혹은 비율에 대한 미리 설정된 제1 임계값에 기초하여, 오클루전 이벤트가 발생하였는지 여부를 판단할 수 있다.

예를 들어, 도 5(b)는 상기 제1 바운딩 박스(BB1)와 상기 바운딩 박스(BB2)의 중첩된 영역의 크기 혹은 비율이 미리 설정된 제1 임계값보다는 작은 경우를 도시한 도면일 수 있다. 이때, 선수 추적 서버(1000)는 상기 제1 스포츠 참가자와 제2 스포츠 참가자 간에 오클루전 이벤트가 발생하지 않았다고 판단할 수 있다.

다른 예를 들어, 도 5(c)는 상기 제1 바운딩 박스(BB1)와 상기 바운딩 박스(BB2)의 중첩된 영역의 크기 혹은 비율이 미리 설정된 제1 임계값보다 초과되는 경우를 도시한 도면일 수 있다. 이때, 선수 추적 서버(1000)는 상기 제1 스포츠 참가자와 제2 스포츠 참가자 간에 오클루전 이벤트가 발생하였다고 판단할 수 있다.

상술한 바에 따르면, 선수 추적 서버(1000)는 오클루전 이벤트가 발생하였는지 "여부"를 판단할 수 있다고 서술하였으나, 선수 추적 서버(1000)는 추가적으로 미리 설정된 제2 임계값을 고려하여 상기 제1 스포츠 참가자와 제2 스포츠 참가자 간에 오클루전 이벤트의 "심각도"를 판단할 수 있다.

예를 들어, 도 5(c)는 상기 제1 바운딩 박스(BB1)와 상기 바운딩 박스(BB2)의 중첩된 영역의 크기 혹은 비율이 미리 설정된 상기 제2 임계값보다는 작은 경우를 도시한 도면일 수 있다. 다시 말해, 도 5(c)의 경우에는 선수 추적 서버(1000)는 상기 제1 스포츠 참가자와 제2 스포츠 참가자 간에 오클루전 이벤트가 발생하였으나 오클루전의 심각도가 심각하지는 않다고 판단할 수 있다.

반면, 도 5(d)는 상기 제1 바운딩 박스(BB1)와 상기 바운딩 박스(BB2)의 중첩된 영역의 크기 혹은 비율이 미리 설정된 상기 제1 임계값 및 상기 제2 임계값보다 모두 큰 경우를 도시한 도면일 수 있다.

이때, 선수 추적 서버(1000)는 상기 제1 스포츠 참가자와 제2 스포츠 참가자 간에 오클루전 이벤트가 발생하였으며, 오클루전의 심각도가 심각하다고 판단할 수 있다.

다른 예로, 선수 추적 서버(1000)는 RGB 맵 형태(혹은 인텐시티 맵(intensity map) 형태)의 이미지 데이터에 기초하여 오클루전 이벤트를 검출할 수 있다. 구체적으로, 선수 추적 서버(1000)는 RGB 맵에 포함된 픽셀 데이터를 이용하여 오클루전 이벤트를 검출하여 오클루전 이벤트의 발생 여부를 판단할 수 있다.

예를 들어, 오클루전 이벤트가 발생하지 않은 이전 시점의 이미지 데이터 내에 포함된 복수의 선수들에 해당하는 픽셀 수의 합에 대하여 현재 시점의 이미지 데이터 내에 포함된 상기 복수의 선수들에 해당하는 픽셀 수의 합이 일정 비율 미만으로 감소하는 경우에는, 선수 추적 서버(1000)는 오클루전 이벤트가 발생하였다고 판단하도록 구현될 수 있다. 이를 위하여 상기 일정 비율에 대하여 임의의 적절한 임계 비율이 미리 설정될 수 있다.

구체적으로 도 6을 참고하면, 선수 추적 서버(1000)는, 이미지 데이터로부터 제1 스포츠 참가자와 제2 스포츠 참가자 각각과 관련된 픽셀 데이터를 획득할 수 있다. 이때, 선수 추적 서버(1000)는 상기 제1 스포츠 참가자와 관련된 픽셀 데이터와 제2 스포츠 참가자와 관련된 픽셀 데이터를 고려하여, 제1 스포츠 참가자와 제2 스포츠 참가자 간의 오클루전 이벤트 발생 여부를 검출하거나 판단할 수 있다.

구체적으로, 도 6(a)는 제1 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD1)와 제2 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD2)를 나타낸 도면이다. 이때, 제1 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD1)와 제2 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD2)가 중첩되지 않을 수 있다.

도 6(b)는 제1 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD1)와 제2 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD2) 중 일부가 중첩된 복수의 픽셀 데이터(PD3)를 나타낸 도면이다.

바람직한 실시예에 따르면, 도 6(a)와 도 6(b)는 시간적으로 인접한 두 시점에 대한 이미지 데이터로부터 획득된 제1 스포츠 참가자와 제2 스포츠 참가자에 관련된 복수의 픽셀 데이터일 수 있다. 이때, 선수 추적 서버(1000)는, 도 6(a)의 제1 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD1)와 상기 제2 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD2)의 총합에 대한, 도 6(b)의 복수의 픽셀 데이터(PD3)의 총합에 대한 비율을 고려하여 오클루전 이벤트 발생 여부를 검출하거나 판단할 수 있다.

예를 들어, 제1 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD1)와 상기 제2 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD2)의 총합에 대한, 도 6(b)의 복수의 픽셀 데이터(PD3)의 총합에 대한 비율에 대하여 오클루전 이벤트의 발생 여부에 대한 기준 임계 비율값이 미리 설정될 수 있다. 이때, 선수 추적 서버(1000)는 제1 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD1)와 상기 제2 스포츠 참가자에 대응되는 복수의 픽셀 데이터(PD2)의 총합에 대한, 도 6(b)의 복수의 픽셀 데이터(PD3)의 총합에 대한 비율이 기준 임계 비율값보다 작은 경우에는 상기 제1 스포츠 참가자와 상기 제2 스포츠 참가자 간의 오클루전 이벤트가 발생하였다고 판단할 수 있다.

다만, 상술한 내용은 예시에 불과하며 픽셀 데이터를 이용한 임의의 적절한 방법을 이용하여 오클루전 이벤트의 발생 여부를 판단할 수 있다. 또한, 추가적인 임계 비율값이 미리 설정됨으로써, 선수 추적 서버(1000)는 오클루전 이벤트의 발생 여부뿐만 아니라, 오클루전 이벤트의 심각도 또한 판단할 수 있음은 자명하다.

또 다른 예로, 선수 추적 서버(1000)는 측위 센서 데이터에 포함된 선수의 위치에 관한 데이터를 고려하여 기초하여 오클루전 이벤트를 검출할 수 있다. 구체적으로, 선수 추적 서버(1000)는 복수의 선수에 대응되는 측위 센서 데이터에 포함된 복수의 선수의 위치와 관련된 데이터를 획득할 수 있다. 이때, 선수 추적 서버(1000)는 특정 선수를 기준으로 미리 결정된 반경 이내에 위치된 선수의 수를 고려하여 오클루전 이벤트의 발생 여부를 판단할 수 있다. 상기 미리 결정된 반경 이내에 위치된 선수의 수와 관련하여는, 임의의 적절한 임계값이 미리 설정될 수 있으며, 선수 추적 서버(1000)는 특정 선수를 기준으로 미리 결정된 반경 이내에 위치된 선수의 수가 상기 임계값보다 큰 경우에는 오클루전 이벤트가 발생하였다고 판단할 수 있다. 반면, 특정 선수를 기준으로 미리 결정된 반경 이내에 위치된 선수의 수가 상기 임계값보다 작은 경우에는 선수 추적 서버(1000)는 오클루전 이벤트가 발생하였다고 판단할 수 있다.

도 7를 참고한다. 도 7은 복수의 스포츠 참가자들의 위치를 도시한 도면이다.

상기 복수의 스포츠 참가자들의 위치는 이미지 데이터 또는 측위 센서 데이터로부터 획득된 위치일 수 있다. 바람직하게는 복수의 스포츠 참가자들의 각각의 위치는 측위 센서 데이터로부터 획득된 위치일 수 있다. 또한, 바람직하게는 상기 복수의 스포츠 참가자들의 위치는 측위 센서 데이터에 포함된 위치와 관련된 데이터를 좌표 변환하여 획득된 위치들일 수 있다. 이때, 선수 추적 서버(1000)는, 상기 복수의 스포츠 참가자들에 대응되는 위치 중 특정 스포츠 참가자에 대응되는 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수를 획득할 수 있다. 또한, 선수 추적 서버(1000)는, 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수를 고려하여 오클루전 이벤트가 발생하였는지 여부를 결정할 수 있다. 예를 들어, 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수와 관련하여 임계값이 미리 설정될 수 있으며, 선수 추적 서버(1000)는 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수가 상기 임계값보다 큰 경우에는 오클루전 이벤트가 발생하였다고 판단할 수 있다. 반면, 선수 추적 서버(1000)는 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수가 상기 임계값보다 작은 경우에는 오클루전 이벤트가 발생하지 않았다고 판단할 수 있다.

또 다른 예로, 선수 추적 서버(1000)는, 이미지 캡처 장치의 배열 및 포즈와 관련된 데이터를 획득할 수 있다. 또한 선수 추적 서버(1000)는 각각의 선수가 착용한 측위 센서 장치(200)로부터 각 선수의 위치와 관련된 데이터를 포함하는 측위 센서 데이터도 수신할 수 있다. 이때, 선수 추적 서버(1000)는 상기 이미지 캡처 장치의 배열 및 포즈와 관련된 데이터와 상기 선수의 위치와 관련된 데이터를 포함하는 측위 센서 데이터를 모두 고려하여 오클루전 발생 여부를 검출할 수 있다. 예를 들어, 선수 추적 서버(1000)는, 이미지 캡처 장치의 라인 오브 사이트(line of sight) 및 각도와 관련된 데이터와 측위 센서 데이터로부터 계산된 선수의 위치들을 기초로, 오클루전 발생 여부를 검출하거나 판단할 수 있다.

도 8을 참고한다. 도 8은 복수의 스포츠 참가자들의 위치, 이미지 캡처 장치(300)에 대응되는 가상 포인트(310) 및 상기 이미지 캡처 장치(300)의 라인 오브 사이트(line of sight)를 포함하는 포즈(pose)에 관한 가상 선(320, 322)을 도시한 도면이다.

상기 복수의 스포츠 참가자들의 위치는 이미지 데이터 또는 측위 센서 데이터로부터 획득된 위치일 수 있다. 바람직한 예에 따르면, 상기 복수의 스포츠 참가자들의 각각의 위치(L2_sensor, L3_sensor)는 측위 센서 데이터로부터 획득된 위치일 수 있다. 또한, 바람직하게는 상기 복수의 스포츠 참가자들의 위치는 측위 센서 데이터에 포함된 위치와 관련된 데이터를 좌표 변환하여 획득된 위치들일 수 있다.

상기 이미지 캡처 장치에 대응되는 가상 포인트(310)는 플레이필드 주변에 위치된 이미지 캡처 장치(300)의 위치 정보를 포함하는 배열 정보로부터 획득된 위치일 수 있다. 바람직한 예에 따르면, 상기 이미지 캡처 장치에 대응되는 가상 포인트(310)는 이미지 캡처 장치(300)의 위치와 관련된 데이터를 좌표 변환하여 획득된 위치일 수 있다.

가상선(320)과 관련된 상기 이미지 캡처 장치의 포즈(pose)에 대한 정보와 가상선(322)과 관련된 상기 이미지 캡처 장치의 라인 오브 사이트(line of sight)에 대한 정보는, 이미지 캡처 장치(300)로부터 획득될 수 있다. 바람직한 예에 따르면, 상기 이미지 캡처 장치의 라인 오브 사이트(line of sight)에 대응되는 가상선(322)은 상기 상기 복수의 스포츠 참가자들의 각각의 위치(L2_sensor, L3_sensor) 또는 상기 가상 포인트(310)와 공통의 좌표계에 대하여 좌표 변환되어 생성된 가상의 선일 수 있다.

이때, 선수 추적 서버(1000)는, 라인 오브 사이트(line of sight)에 대응되는 가상선(322)과 상기 복수의 스포츠 참가자들의 각각의 위치(L2_sensor, L3_sensor)를 고려하여, 복수의 스포츠 참가자들간의 오클루전 발생 여부를 검출하거나 판단할 수 있다. 예를 들어, 제1 스포츠 참가자의 위치(L2_senosr)는 제1 스포츠 참가자의 측위 센서 장치(210, 220)로부터 획득된 측위 센서 데이터로부터 획득될 수 있으며, 제2 스포츠 참가자의 위치(L3_senosr)는 제2 스포츠 참가자의 측위 센서 장치(210, 220)로부터 획득된 측위 센서 데이터로부터 획득될 수 있다. 이때, 선수 추적 서버(1000)는, 라인 오브 사이트(line of sight)에 대하여 상기 제1 스포츠 참가자의 위치(L2_senosr) 및 제2 스포츠 참가자의 위치(L3_senosr)가 실질적으로 일직선 상에 위치되는 경우, 상기 제1 스포츠 참가자와 상기 제2 스포츠 참가자 간의 오클루전 이벤트가 발생하였다고 결정하거나 판단할 수 있다.

또 다른 예로, 선수 추적 서버(1000)는 오클루전 이벤트와 관련된 선수들간의 팀(Team)의 동일 여부를 고려하여 오클루전 이벤트의 발생 여부를 판단하도록 구현될 수 있다. 구체적으로, 이미지 데이터, 특히 RGB 맵 형태의 이미지 데이터에서는 유니폼과 관련된 픽셀의 유사한 정도를 기초로 선수들간의 팀이 구별될 수 있다. 또한, 측위 센서 데이터에는 개별 선수의 식별자(identifier)가 포함될 수 있기 때문에, 식별자를 기초로 선수들간의 팀을 구별할 수 있다.

이때, 선수 추적 서버(1000)는 오클루전 이벤트와 관련된 선수들간의 팀이 동일하다면, 오클루전 이벤트가 발생한 것으로 판단하는 동작을 수행할 수 있다. 반면, 오클루전 이벤트와 관련된 선수들간의 팀이 동일하지 않다면, 선수 추적 서버(1000)는 오클루전 이벤트가 발생하지 않은 것으로 판단할 수 있다.

다만, 이는 예시에 불과하며, 오클루전 이벤트와 관련된 선수들간의 팀이 동일하지 않더라도, 오클루전 이벤트가 발생한 것으로 판단할 수 있으며, 오클루전 이벤트의 심각도를 판단하는 동작에서 이미지 데이터로부터 계산된 선수의 위치와 관련된 유효성을 추가적으로 평가할 수 있을 것이다.

또 다른 예로, 선수 추적 서버(1000)는 스포츠 경기 중의 상황을 고려하여 오클루전 이벤트의 발생 여부를 검출하거나 판단하도록 제공될 수 있다. 구체적으로, 스포츠 경기 중 특히 코너킥 상황 등과 같이 복수의 선수들이 밀집해있는 상황이 발생할 수 있다. 이때, 선수 추적 서버(1000)는 이러한 밀집된 상황을 인식하여 오클루전 이벤트가 발생하였다고 추정할 수 있다.

상술한 오클루전 이벤트 검출 방법들은 예시에 불과하며 인텐시티 맵(Intensity map)과 RGB 맵 형태의 이미지 내에서, 또는 이미지 데이터와 측위 센서 데이터각각으로터 계산된 선수의 위치를 고려하여 복수의 선수들간의 오클루전 이벤트를 검출하기 위한 임의의 적절한 방법이 선수 추적 서버(1000)에 제공될 수 있음은 자명하다.

상술한 바와 같이, 본 출원의 일 실시예에 따른 상기 선수 추적 서버(1000)는 이미지 데이터 내에서 복수의 선수들 간의 오클루전 이벤트의 발생 여부를 검출할 수 있으며, 상기 선수 추적 서버(1000)가 오클루전 이벤트가 발생하였다고 판단한 경우에는, 이미지 데이터로부터 계산된 선수의 위치가 유효하지 않는 것으로 판단될 수 있다.

본 출원의 일 실시예에 따른 선수 추적 서버(1000)는 이미지 데이터 내의 복수의 선수들간의 오클루전 이벤트의 심각도(severity)를 더 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가하도록 제공될 수 있다. 여기서 오클루전 이벤트의 심각도(severity)란, 복수의 선수들간에 적어도 일부분이 중첩되는 오클루전 이벤트의 심각한 정도를 수치화 혹은 정량화한 개념을 포괄하는 의미로 사용될 수 있다.

일 예로, 다시 도 8을 참고하면, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)는, 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수를 고려하여 오클루전 이벤트의 심각도를 결정하거나 판단할 수 있으며, 이를 통하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다.

예를 들어, 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수와 관련하여 복수의 임계값(제1 임계값, 제2 임계값)이 미리 설정될 수 있으며, 선수 추적 서버(1000)는 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수가 상기 제1 임계값보다 크면서 제2 임계값보다 작은 경우에는, 오클루전 이벤트가 발생하였으나 심각도가 마일드(mild)하다고 판단할 수 있다.

반면, 선수 추적 서버(1000)는 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수가 제2 임계값보다 큰 경우에는 오클루전 이벤트가 발생하였으며 오클루전 이벤트의 심각도가 심각(Severe)하다고 판단할 수 있다.

오클루전 이벤트의 심각도와는 별개로 상기 선수 추적 서버(1000)는 상기 특정 위치(L1_sensor)를 기준으로 미리 결정된 반경 이내의 영역(R)에 위치된 스포츠 참가자들의 수가 상기 제1 임계값보다 작은 경우에는 오클루전 이벤트가 발생하지 않았다고 판단할 수 있다.

다른 예로, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)는, 오클루전 이벤트가 발생하였다고 판단하였더라도, 팀 식별인자(Team identifier)를 추가적으로 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가하도록 제공될 수 있다. 예를 들면, 선수 추적 서버(1000)는, 이미지 데이터 내에 포함된 복수의 스포츠 참가자들 간의 오클루전 이벤트가 발생하였더라도 오클루전 이벤트와 관련된 선수들의 팀 식별인자(Team identifier)에 따라 오클루전 이벤트의 심각도를 추가적으로 판단함으로써 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다.

일반적으로 스포츠 참가자들의 팀이 동일한 경우에는 유니폼이 상이하기 때문에, 동일한 팀에 소속된 스포츠 참가자들 간의 오클루전 이벤트가 발생한다면 이미지 데이터로부터 계산된 스포츠 참가자들의 위치가 유효하지 않을 가능성이 높다

반면, 스포츠 참가자들의 팀이 동일하지 않은 경우에는 유니폼이 상이하기 때문에, 동일하지 않는 팀에 소속된 스포츠 참가자들 간의 오클루전 이벤트가 발생하더라도, 유니폼 색과 관련된 RGB 맵의 픽셀 데이터를 이용하여 스포츠 참가자들의 위치를 유효하게 획득할 수 있다.

따라서, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)는, 오클루전 이벤트가 발생하였다고 판단하였더라도, 팀 식별인자(Team identifier)를 추가적으로 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있는 것이다.

팀 식별인자(Team identifier)로서 이미지 데이터로부터 획득된 유니폼의 색상과 관련된 픽셀 데이터를 예시하였으나, 이는 예시에 불과하며, 측위 센서 데이터에 선수의 식별인자 뿐만 아니라 팀 식별인자를 더 포함시킴으로써 구현될 수 있을 것이다.

도 9를 참고한다. 도 9(a) 및 도 9(b)는 본 출원에 개시된 이미지 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다.

일 예로, 선수 추적 서버(1000)는 이미지 데이터 내의 포함된 선수의 수직적인 움직임(vertical movement)을 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가하도록 제공될 수 있다. 여기서 수직적인 움직임(vertical movement)이란, 이미지 데이터로부터 계산된 선수의 위치와 관련된 좌표계 평면으로부터 수직적인 방향으로의 모든 움직임을 포괄하는 의미일 수 있다. 구체적으로 선수들에 착용된 관성 센서로부터 상기 수직적인 움직임(vertical movement)와 관련된 데이터가 더 획득될 수 있으며, 수직적인 움직임(vertical movement)이 있는 경우 이미지 데이터로부터 계산된 선수의 위치에 오차가 발생할 가능성이 존재한다. 따라서, 선수 추적 서버(1000)는 이미지 데이터 내의 포함된 선수의 수직적인 움직임(vertical movement)을 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다.

도 9(a)를 참고하면, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 실질적으로 없는 경우에는, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치(L1_image)와 스포츠 참가자(1)의 실제 위치(L1)의 차이가 상대적으로 작을 수 있다. 다시 말해, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 실질적으로 없는 경우, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치(L1_image)가 실제 위치(L1)에 대하여 근사하여 계산될 수 있다.

반면, 도 9(b)를 참고하면, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 존재하는 경우에는, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치(L2_image)와 스포츠 참가자(1)의 실제 위치(L2)의 차이가 상대적으로 클 수 있다. 다시 말해, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 존재하는 경우, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치(L2_image)가 실제 위치(L2)에 대하여 유의미한 오차가 발생할 가능성이 높다.

따라서, 선수 추적 서버(1000)는 이미지 데이터 내의 포함된 선수의 수직적인 움직임(vertical movement)을 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. 예를 들어, 선수 추적 서버(1000)는 이미지 데이터 내의 포함된 선수의 수직적인 움직임(vertical movement)이 검출되는 경우, 즉 스포츠 참가자(1)가 착용한 관성 센서로부터 z-방향 데이터의 변화값이 감지되는 경우에는, 이미지 데이터로부터 계산된 스포츠 참가자의 위치가 유효하지 않다고 결정하거나 판단할 수 있다.

다른 예를 들어, 선수 추적 서버(1000)는 이미지 데이터 내의 포함된 선수의 수직적인 움직임(vertical movement)이 검출되지 않는 경우, 즉 스포츠 참가자(1)가 착용한 관성 센서로부터 z-방향 데이터의 변화값이 감지되지 않는 경우에는, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치를 유효하다고 결정하거나 판단할 수 있다.

상술한 바에 따르면, 스포츠 참가자의 수직적인 움직임(vertical movement)의 검출 여부에 따라, 이미지 데이터로부터 계산된 스포츠 참가자의 유효성 여부를 평가할 수 있다고 서술하였으나, 이는 예시에 불과하며 수직적인 움직임(vertical movement)이 검출되더라도 z-방향으로의 가속도의 방향이나 크기를 더 고려하여 이미지 데이터로부터 계산된 스포츠 참가자의 위치의 유효성을 결정하도록 구현될 수 있을 것이다. 또한, 이미지 캡처 장치(300)의 높이나 위치, 캡처 각도에 대한 정보가 추가적으로 이미지 데이터로부터 계산된 스포츠 참가자의 위치의 유효성 여부를 판단하는데 고려되도록 제공될 수 있다.

도 10을 참고한다. 도 10은 본 출원에 개시된 이미지 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다.

일 예로, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치의 이격(internal disparity)을 고려하여 이미지 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. 구체적으로, 선수 추적 서버(1000)는 이미지 데이터로부터 선수의 위치를 지속적으로 계산할 수 있으며, 이때, 계산된 선수의 위치의 변화가 미리 결정된 임계값보다 크게 변화하는 경우에는 선수 추적 서버(1000)는 크게 변화된 시점의 선수의 위치에 대한 데이터는 유효하지 않은 것으로 판단할 수 있다. 다시 말해, 제1 시점에 대응하는 이미지 데이터로부터 계산된 선수의 위치와 제2 시점에 대응하는 이미지 데이터로부터 계산된 선수의 위치의 변화가 미리 결정된 임계값보다 크게 변화하는 경우에는, 선수 추적 서버(1000)는 제2 시점에 대응하는 이미지 데이터로부터 계산된 선수의 위치는 유효하지 않은 것으로 판단할 수 있다.

도 10을 참고하면, 선수 추적 서버(1000)는 이미지 데이터로부터 시간적 흐름에 따른 특정 스포츠 참가자의 위치들을 계산하거나 획득하도록 제공될 수 있다. 이때, 제1 시점으로부터 계산된 스포츠 참가자의 위치(Lt1_image)로부터 제2 시점으로부터 계산된 스포츠 참가자의 위치(Lt2_image)간의 차이가 미리 결정된 임계값보다 큰 경우에는, 선수 추적 서버(1000)는 제2 시점으로부터 계산된 스포츠 참가자의 위치(Lt2_image)를 유효하지 않은 것으로 판단할 수 있다. 반면, 제3 시점으로부터 계산된 스포츠 참가자의 위치(Lt3_image)로부터 제4 시점으로부터 계산된 스포츠 참가자의 위치(Lt4_image)간의 차이가 미리 결정된 임계값보다 작은 경우에는, 선수 추적 서버(1000)는 제4 시점으로부터 계산된 스포츠 참가자의 위치(Lt4_image)를 유효한 것으로 판단할 수 있다.

상술한 바에 따르면, 미리 설정된 임계값을 기준으로 이미지 데이터로부터 계산된 스포츠 참가자의 시간적 흐름에 따른 위치의 유효성을 판단하는 것으로 기재하였으나, 이는 예시에 불과하며, 임의의 적절한 방법을 사용하여 이미지 데이터로부터 계산된 스포츠 참가자의 위치의 유효성을 판단할 수 있다. 예를 들어, 선수 추적 서버(1000)는 스포츠 참가자의 시간적 흐름에 따른 위치들의 경향성을 정량화하여 추세선 등을 계산할 수 있으며, 추세선 등에 대한 편차(Deviation)의 크기에 기초하여 이미지 데이터로부터 계산된 스포츠 참가자의 위치의 유효성을 판단할 수 있을 것이다.

또한 본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 획득된 측위 센서 기반 위치의 유효성을 판단할 수 있다. 구체적으로, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. 보다 구체적으로, 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 평가하는 데, 측위 센서 데이터의 신뢰도에 대한 정보, 측위 센서 데이터로부터 계산된 선수의 위치의 이격(internal disparity) 중 적어도 하나를 고려할 수 있다.

도 11을 참고한다. 도 11은 본 출원에 개시된 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 판단 방법의 예시적인 도면이다.

일 예로, 선수 추적 서버(1000)는 측위 센서 데이터에 포함된 센서 시그널의 신뢰도와 관련된 정보를 고려하여 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다.

예를 들어, 범지구항법시스템(Global Navigation Satellite System, GNSS)로부터 측위 센서 장치로 송신된 신호에는 신호의 신뢰도와 관련된 정보(예, DoP, SNR)가 포함될 수 있다.

이때 상기 신뢰도와 관련된 정보는, 통신모듈(1100)을 통해, 선수 추적 서버(1000)가 획득할 수 있으며, 선수 추적 서버(1000)는 획득된 상기 센서-시그널 신뢰도와 관련된 정보를 고려하여, 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다.

예를 들어, 상기 신뢰도와 관련된 정보와 관련하여 임계값이 미리 설정될 수 있으며, 상기 측위 센서 데이터에 포함된 신뢰도와 관련된 정보가 미리 설정된 상기 임계값보다 큰 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치가 유효한 것으로 판단할 수 있다. 반면 상기 측위 센서 데이터에 포함된 신뢰도와 관련된 정보가 미리 설정된 상기 임계값보다 작은 경우에는 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치가 유효하지 않은 것으로 판단할 수 있다.

도 11을 참고하면, 상기 센서-시그널의 신뢰도와 관련된 정보는 플레이필드의 영역별로 상이할 수 있다. 예를 들어, 플레이필드의 제1 영역(A1)에 스포츠 참가자가 위치하는 경우에는 상기 센서-시그널의 신뢰도가 상대적으로 낮을 수 있다. 따라서, 상기 제1 영역(A1)에 위치한 스포츠 참가자의 측위 센서 장치로부터 획득된 측위 센서 데이터에 포함된 위치 데이터는 상대적으로 신뢰도가 낮을 수 있다. 반면, 플레이필드의 제2 영역(A2)에 스포츠 참가자가 위치하는 경우에는 상기 센서-시그널의 신뢰도가 상대적으로 높을 수 있다. 따라서, 상기 제2 영역(A2)에 위치한 스포츠 참가자의 측위 센서 장치로부터 획득된 측위 센서 데이터에 포함된 위치 데이터는 상대적으로 신뢰도가 높을 수 있다.

이때, 선수 추적 서버(1000)는, 상기 제1 영역(A1)에서의 센서-시그널의 신뢰도가 미리 결정된 임계값보다 높은 경우에는, 상기 제1 영역(A1)에 위치한 스포츠 참가자의 측위 센서 장치로부터 획득된 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치를 유효한 것으로 판단하거나 결정할 수 있다. 반면, 선수 추적 서버(1000)는, 상기 제2 영역(A2)에서의 센서-시그널의 신뢰도가 미리 결정된 임계값보다 낮은 경우에는, 상기 제2 영역(A2)에 위치한 스포츠 참가자의 측위 센서 장치로부터 획득된 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치를 유효하지 않은 것으로 판단하거나 결정할 수 있다.

또한, 선수 추적 서버(1000)는 센서-시그널의 신뢰도와 이미지 데이터의 신뢰도를 정량화 및 비교하여 신뢰도가 높은 데이터에 기초하여 계산된 스포츠 참가자의 위치를 유효하다고 판단하거나, 센서-시그널 신뢰도와 이미지 데이터의 신뢰도에 따른 가중치를 통하여 스포츠 참가자의 위치를 계산할 수 있다. 이에 대하여는, 도 22와 관련하여 후술한다.

도 11에서는 제1 영역과 제2 영역을 플레이필드 내의 특정 영역에 한정하여 서술하였으나, 이는 영역별로 센서-시그널의 신뢰도가 상이하다는 것을 설명하기 위한 하나의 예시에 불과하다.

도 12를 참고한다. 도 12는 본 출원에 개시된 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 판단하는 방법의 예시적인 도면이다.

일 예로, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치의 이격(internal disparity)을 고려하여 측위 센서 데이터로부터 계산된 선수의 위치의 유효성을 평가할 수 있다. 구체적으로, 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 선수의 위치를 지속적으로 계산하거나 획득할 수 있으며, 이때, 계산하거나 획득된 선수의 위치의 변화가 미리 결정된 임계값보다 크게 변화하는 경우에는 상기 선수 추적 서버(1000)는 크게 변화된 시점의 선수의 위치에 대한 데이터는 유효하지 않은 것으로 판단할 수 있다. 다시 말해, 제1 시점에 대응하는 측위 센서 데이터로부터 계산된 선수의 위치와 제2 시점에 대응하는 측위 센서 데이터로부터 계산된 선수의 위치의 변화가 미리 결정된 임계값보다 크게 변화하는 경우에는, 선수 추적 서버(1000)는 제2 시점에 대응하는 측위 센서 데이터로부터 계산된 선수의 위치는 유효하지 않은 것으로 판단할 수 있다.

도 12를 참고하면, 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 시간적 흐름에 따른 특정 스포츠 참가자의 위치들을 계산하거나 획득할 수 있다. 이때, 제1 시점으로부터 계산된 스포츠 참가자의 위치(Lt1_sensor)로부터 제2 시점으로부터 계산된 스포츠 참가자의 위치(Lt2_sensor)간의 차이가 미리 결정된 임계값보다 큰 경우에는, 상기 선수 추적 서버(1000)는 제2 시점으로부터 계산된 스포츠 참가자의 위치(Lt2_ sensor)를 유효하지 않은 것으로 판단할 수 있다. 반면, 제3 시점으로부터 계산된 스포츠 참가자의 위치(Lt3_ sensor)로부터 제4 시점으로부터 계산된 스포츠 참가자의 위치(Lt4_ sensor)간의 차이가 미리 결정된 임계값보다 작은 경우에는, 상기 선수 추적 서버(1000)는 제4 시점으로부터 계산된 스포츠 참가자의 위치(Lt4_ sensor)를 유효한 것으로 판단할 수 있다.

상술한 바에 따르면, 미리 설정된 임계값을 기준으로 측위 센서 데이터로부터 계산된 스포츠 참가자의 시간적 흐름에 따른 위치의 유효성을 판단하는 것으로 기재하였으나, 이는 예시에 불과하며, 임의의 적절한 방법을 사용하여 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치의 유효성을 판단할 수 있다. 예를 들어, 선수 추적 서버(1000)는 스포츠 참가자의 시간적 흐름에 따른 위치들의 경향성을 정량화하여 추세선 등을 계산할 수 있으며, 추세선 등에 대한 편차(Deviation)의 크기에 기초하여 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치의 유효성을 판단할 수 있을 것이다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 기반 위치와 측위 센서 기반 위치의 차이에 기초하여 이미지 기반 위치와 측위 센서 기반 위치 중 적어도 하나의 유효성을 판단할 수 있다. 구체적으로, 선수 추적 서버(1000)는 이미지 기반 위치와 측위 센서 기반 위치 중 적어도 하나의 유효성을 판단하도록 제공될 수 있다. 보다 구체적으로, 상기 선수 추적 서버(1000)는, 이미지 기반 위치와 측위 센서 기반 위치 간의 이격(extenal disparity)에 기초하여, 이미지 기반 위치와 측위 센서 기반 위치 중 적어도 하나의 유효성을 판단하도록 제공될 수 있다.

일 예로, 선수 추적 서버(1000)는 측위 센서 데이터 및 이미지 데이터로부터 선수의 위치를 각각 지속적으로 계산하거나 획득할 수 있다. 이때, 동일한 시간적 시점에 대하여 이미지 데이터로부터 계산된 선수의 제1 위치와 측위 센서 데이터로부터 계산된 선수의 제2 위치 간의 차이(이하, External disparity)를 고려한 이격도 지수(disparity index)에 기초하여, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치와 측위 센서 데이터로부터 계산된 선수의 위치 중 적어도 하나의 유효성을 평가할 수 있다.

예를 들어, 제1 시점에서 계산된 상기 제1 위치와 상기 제2 위치 간의 이격도 지수는 제1 이격도 지수일 수 있으며, 상기 제1 시점과 시간적으로 인접한 제2 시점에서 계산된 상기 제1 위치와 상기 제2 위치 간의 이격도 지수는 제2 이격도 지수일 수 있다.

이때, 상기 제1 이격도 지수(

)의 절대값이 미리 정해진 제1 임계값 미만인 경우에는, 상기 선수 추적 서버(1000)는 제1 시점의 이미지 데이터로부터 계산된 선수의 제1 위치와 제1 시점의 측위 센서 데이터로부터 계산된 선수의 제2 위치 중 적어도 하나 이상이 유효한 것으로 판단할 수 있다.

반면, 상기 제2 이격도 지수(

)의 절대값이 미리 정해진 제2 임계값을 초과하는 경우에는, 상기 선수 추적 서버(1000)는 제2 시점의 이미지 데이터로부터 계산된 선수의 제1 위치와 제2 시점의 측위 센서 데이터로부터 계산된 선수의 제2 위치 중 적어도 하나가 유효하지 않은 것으로 평가할 수 있다.

여기서, 상기 제1 임계값과 상기 제2 임계값은 서로 동일할 수 있으나, 서로 상이한 임의의 적절한 값으로 미리 설정될 수 있다.

다른 예를 들어, 상기 제1 이격도 지수(

)과 상기 제2 이격도 지수(

)의 차이(

) 혹은

)를 고려하여, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치와 측위 센서 데이터로부터 계산된 선수의 위치 중 적어도 하나의 유효성을 평가할 수 있다.

구체적으로 상기 제1 이격도 지수(

)와 상기 제2 이격도 지수(

)의 차이(

) 혹은

)가 미리 결정된 제3 임계값 미만인 경우(바람직하게는, 제1 이격도 지수과 관련된 제1 위치와 제2 위치는 유효하다고 판단된 경우), 즉 제2 시점의 이미지 데이터로부터 계산된 선수의 제1 위치와 제2 시점의 측위 센서 데이터로부터 계산된 선수의 제2 위치 간의 차이가 오차 범위 내라고 볼 수 있는 경우에는, 상기 선수 추적 서버(1000)는 제2 시점의 제1 위치와 제2 위치 모두가 유효한 것으로 판단할 수 있다.

반면, 상기 제1 이격도 지수 (

)과 상기 제2 이격도 지수 (

)의 차이(

) 혹은

)가 미리 결정된 제4 임계값보다 초과하는 경우(바람직하게는, 제1 이격도 지수과 관련된 제1 위치와 제2 위치는 유효하다고 판단된 경우), 즉 제2 시점의 이미지 데이터로부터 계산된 선수의 제1 위치와 제2 시점의 측위 센서 데이터로부터 계산된 선수의 제2 위치 간의 차이가 크게 변하는 시점이 검출된 경우에는, 상기 선수 추적 서버(1000)는 제2 시점의 제1 위치와 제2 위치 중 적어도 하나의 위치가 유효하지 않다고 판단할 수 있다.

여기서, 상기 제3 임계값과 상기 제4 임계값은 서로 동일할 수 있으나, 서로 상이한 임의의 적절한 값으로 미리 설정될 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 기반 위치 및 측위 센서 기반 위치와 관련된 신뢰도 인덱스를 생성하도록 제공될 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 기반 위치 및 측위 센서 기반 위치에 대한 유효성 판단 결과에 기초하여, 이미지 기반 위치와 관련된 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 신뢰도 인덱스를 생성하도록 제공될 수 있다.

구체적으로 선수 추적 서버(1000)는 측위 센서 데이터의 유효성을 평가한 결과에 기초하여 측위 센서 데이터로부터 계산된 선수의 위치의 제1 신뢰도 인덱스를 생성할 수 있다. 예를 들어, 상기 제1 신뢰도 인덱스는 상기 측위 센서 데이터에 포함된 신호의 신뢰도와 관련된 정보로부터 정량화될 수 있다.

또한, 선수 추적 서버(1000)는 이미지 데이터의 유효성을 평가한 결과에 기초하여 이미지 데이터로부터 계산된 선수의 위치의 제2 신뢰도 인덱스를 생성할 수 있다. 이때, 상기 제2 신뢰도 인덱스는 상기 제1 신뢰도 인덱스와의 정량적 비교를 위하여 상기 제1 신뢰도 인덱스에 대응되는 인덱스로서 정량화될 수 있다.

이때, 생성된 상기 제1 신뢰도 인덱스와 상기 제2 신뢰도 인덱스는 후술할 스포츠 참가자의 위치를 최종적으로 결정하는 데 고려인자 중 하나로 사용될 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 기반 위치 및 측위 센서 기반 위치 간의 좌표를 변환하도록 제공될 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 기반 위치와 측위 센서 기반 위치 간의 좌표 변환을 수행할 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 기반 위치와 측위 센서 기반 위치 간의 좌표 변환을 수행하도록 제공될 수 있다. 이를 통하여 이미지 기반 위치와 측위 센서 기반 위치 간의 좌표가 통일될 수 있다.

구체적으로, 이미지 데이터로부터 계산된 선수의 위치는 제1 좌표계에 대하여 계산될 수 있으며, 측위 센서 데이터로부터 계산된 선수의 위치는 제2 좌표계에 대하여 계산될 수 있다. 이때, 선수를 추적하는 데 있어 필요에 따라, 이미지 데이터로부터 계산된 선수의 위치와 측위 센서 데이터로부터 계산된 선수의 위치를 모두 고려하여 선수의 위치를 결정하거나, 이미지 데이터로부터 계산된 선수의 위치와 측위 센서 데이터로부터 계산된 선수의 위치 간의 "전환"하는 경우에, 공통된 좌표계에 대하여 선수의 위치를 결정하여야 하기 때문에 상기 제1 좌표계와 상기 제2 좌표계 간의 변환 동작이 수행되어야 한다.

일 예로, 상기 제1 좌표계에 대하여 상기 제2 좌표계를 변환할 수도 있다.

다른 예로, 상기 제2 좌표계에 대하여 상기 제1 좌표계를 변환할 수 있다.

또 다른 예로, 상기 제1 좌표계와 상기 제2 좌표계를, 상기 제1 좌표계와 상기 제2 좌표계와 상이한 절대좌표계에 대하여, 계산된 선수의 위치를 각각 변환시킬 수 있다.

다만 상술한 좌표계의 변환 내용은 예시에 불과하며, 임의의 적절한 방법에 따라 이미지 데이터로부터 계산된 선수의 위치와 측위 센서 데이터로부터 계산된 선수의 위치가 공통된 좌표계에 대하여 다양하게 변환될 수 있을 것이다.

이때, 선수 추적 서버(1000)는 다양한 좌표 변환 알고리즘을 이용하도록 제공될 수 있다.

일 예로 선수 추적 서버(1000)는 기계학습 또는 딥러닝 등 임의의 적절한 방법에 의해 학습된 인공신경망을 이용하여 구현될 수 있다.

도 13 내지 도 14를 참고한다.

도 13은 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로 변환하기 위한 인공신경망을 학습시키는 것을 도시한 도면이다.

도 14를 참고한다. 도 14는 인공신경망을 이용하여 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로 변환하는 것을 도시한 도면이다.

도 14를 참고하면, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)는 인공신경망을 이용하여 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로의 좌표 변환을 수행할 수 있다.

예를 들어, 이미지 데이터로부터 획득된 이미지 기반 위치가 유효하지 않다고 판단된 경우에는, 측위 센서 데이터로부터 획득된 측위 센서 기반 위치로부터 스포츠 참가자의 위치를 결정할 필요성이 존재한다. 다만, 측위 센서 기반 위치와 이미지 기반 위치는 좌표계가 상이할 수 있기 때문에, 선수 추적 서버(1000)는 획득된 제1 좌표계의 측위 센서 기반 위치로부터 이미지 데이터와 관련된 제2 좌표계의 위치로 변환할 수 있다. 여기서, 이미지 기반 위치가 유효하지 않은 경우는, 스포츠 참가자 간의 오클루전이 검출, 오클루전 이벤트가 심각하다고 판단된 경우, 스포츠 참가자의 수직적인 움직임이 검출된 경우 및 이미지 기반 위치 간의 이격(internal disparity)이 존재하는 경우 중 적어도 하나인 경우를 의미할 수 있다.

일 예로, 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로 변환하기 위해 학습될 인공신경망은, 인풋 레이어, 복수의 노드를 포함하는 히든 레이어 및 출력레이어를 포함할 수 있다.

상기 인공신경망을 학습시키기 위해서, 상기 인풋 레이어에는 유효하다고 판단된 이미지 기반 위치(x_image, y_image)와 유효하다고 판단된 이미지 기반 위치에 대응되는 측위 센서 기반 위치(x_sensor, y_sensor)가 입력될 수 있다. 또한, 정확한 학습을 위하여 상기 인풋 레이어에는, 유효하다고 판단된 이미지 기반 위치에 대응되는 측위 센서 기반 위치(x_sensor, y_sensor) 뿐만 아니라 측위 센서 기반 속력(|v|_sensor)이 추가적으로 입력될 수 있다. 이때, 측위 센서 기반 속력(|v|_sensor)은 측위 센서 기반 위치(x_sensor, y_sensor))로부터 계산될 수 있다. 혹은 측위 센서 기반 속력(|v|_sensor)은 스포츠 선수가 착용한 관성 센서의 가속도계(accelerometer)로부터 획득된 데이터로부터 계산될 수 있다.

예를 들어, 도 13을 참고하면, 이미지 데이터는, 오클루전이 검출되지 않은 이미지 데이터(이미지 1), 오클루전이 검출되었으나 심각하지 않다고 판단된 이미지 데이터(이미지 2) 및 오클루전이 검출되었으며 심각하다고 판단된 이미지 데이터(이미지 3)를 포함할 수 있다.

이때, 상술한 바에 따르면, 상기 오클루전이 검출되지 않은 이미지 데이터(이미지 1)에 의해 획득된 이미지 기반 위치는 유효할 수 있다. 즉 인공신경망을 학습하는 데 활용될 수 있다. 따라서, 상기 오클루전이 검출되지 않은 이미지 데이터(이미지 1)에 의해 획득된 제1 이미지 기반 위치(x_image1, y_image1)와 제1 이미지 기반 위치와 대응되는, 제1 측위 센서 기반 위치(x_sensor1, y_sensor1) 및 제1 측위 센서 기반 속력(|v|_sensor1)은 학습세트의 입력값으로 사용될 수 있다.

이때, 상술한 바에 따르면, 상기 오클루전이 검출되었으며 심각하다고 판단된 이미지 데이터(이미지 3)에 의해 획득된 이미지 기반 위치는 유효하지 않을 수 있다. 즉, 인공신경망을 학습하는 데 활용된다면 학습의 정확도가 떨어질 수 있다. 따라서, 상기 오클루전이 검출되었으며 심각하다고 판단된 이미지 데이터(이미지 3)와 관련된 데이터들은 학습세트로서 사용되지 않을 수 있다.

또한, 오클루전이 검출되었으나 심각하지 않다고 판단된 이미지 데이터(이미지 2)는, 상술한 바와 같은 기준을 고려하여 적절히 학습세트로 사용되거나 사용되지 않도록 선택될 수 있다.

도 13을 다시 참고하면, 입력레이어에 입력된 유효하다고 판단된 이미지 기반 위치와 대응되는, 측위 센서 기반 위치(x_sensor, y_sensor)와 측위 센서 기반 속력(|v|_sensor)은 히든레이어를 거처 출력레이어에 출력값으로 이미지 기반 위치에 대한 좌표에 대한 위치(x'_image, y'_image)로 변환될 수 있다.

이때 출력값(x'_image, y'_image)들은 입력레이어에 입력된 이미지 기반 위치(x_image, y_image)와 비교될 수 있다. 이를 통하여 출력값과 이미지 기반 위치와의 차이에 기초하여 히든레이어에 포함된 노드의 가중치가 조절됨으로써, 인공신경망이 학습될 수 있다.

도 14를 참고하면, 도 13에 따라 학습된 인공신경망을 이용하여 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로 변환할 수 있다. 본 출원의 일 실시예에 따른 학습된 인공신경망은 바람직하게는, 이미지 기반 위치가 유효하지 않다고 판단된 경우에 측위 센서 데이터와 관련된 제1 좌표계의 위치를 이미지 데이터와 관련된 제2 좌표계의 위치로 변환하는 데 이용될 수 있다.

예를 들어, 이미지 데이터는, 오클루전이 검출되지 않은 이미지 데이터(이미지 1), 오클루전이 검출되었으나 심각하지 않다고 판단된 이미지 데이터(이미지 2) 및 오클루전이 검출되었으며 심각하다고 판단된 이미지 데이터(이미지 3)를 포함할 수 있다.

이때, 이미지 데이터 중 오클루전이 검출되었으며 심각하다고 판단된 이미지 데이터(이미지 3)에 의해 획득된 이미지 기반 위치(x_image3, y_image3)는 유효하지 않다고 판단될 수 있다. 이 경우 오클루전이 검출되었으며 심각하다고 판단된 이미지 데이터(이미지 3)에 의해 획득된 이미지 기반 위치(x_image3, y_image3)에 대응하는, 측위 센서 기반 위치(x_sesnor3, y_sensor3)와 측위 센서 기반 속력(|v|_sensor3)을 학습된 인공신경망의 입력레이어로 입력한다면, 측위 센서 기반 위치(x_sesnor3, y_sensor3)가 이미지 기반 위치와 관련된 좌표계로 변환될 수 있다. 이를 통하여, 이미지 기반 위치가 유효하지 않은 경우에도 측위 센서 기반 위치에 기초하여 스포츠 참가자의 위치를 지속적으로 획득할 수 있다.

이때, 이미지 데이터 중 오클루전이 검출되었으나 심각하지 않다고 판단된 이미지 데이터(이미지 2)와 관련하여는, 후술할 이미지 기반 위치와 측위 센서 기반 위치 간의 신뢰도 인덱스를 비교하여 측위 센서 기반 위치가 이미지 기반 위치보다 신뢰도가 높은 경우에는 학습된 인공신경망을 이용하여 좌표값을 변환하도록 제공될 수 있다.

상술한 바에 따르면, 제1 좌표계의 측위 센서 기반 위치를, 이미지 기반 위치와 관련된 제2 좌표계의 위치로 변환하는 것을 중심으로 서술하였으나, 임의의 적절한 공통의 좌표계의 위치로 변환하도록 인공신경망을 학습시킬 수 있을 것이다.

또한, 이미지 기반 위치가 유효하지 않은 경우에 측위 센서 기반 위치의 좌표를 변환하는 것을 중심으로 서술하였으나, 이는 예시에 불과하며, 측위 센서 기반 위치가 유효하지 않다고 판단된 경우에, 유사한 방법에 의해, 이미지 기반 위치를 측위 센서 기반 위치로 변환하는 인공신경망을 학습하거나 디플로잉할 수 있음은 자명하다.

상술한 바와 같이 본 출원에서 선수 추적 서버(1000)는 좌표를 변환하기 위한 다양한 좌표 변환 알고리즘을 이용할 수 있다.

일 예로, 좌표 변환 알고리즘은 기계학습 모델로 제공될 수 있다. 기계학습 모델의 대표적인 예로는, 인공 신경망(Artificial Neural Network)이 있을 수 있다. 구체적으로 인공 신경망의 대표적인 예로는 데이터를 입력받는 입력 레이어, 결과를 출력하는 출력 레이어 및 입력 레이어와 출력 레이어 사이에서 데이터를 처리하는 히든 레이어(hidden layer)를 포함하는 딥 러닝 계열의 인공 신경망이 있다. 인공 신경망의 세부적인 예시들로는, 회귀분석 인공 신경망(Convolution Neural Network), 순환신경망(Recurrent Neural Network), 심층신경망(Deep Neural Network) 등이 있으며, 본 명세서에서 인공 신경망은 상술된 인공 신경망, 그 외의 다양한 형태의 인공 신경망 및 이들이 조합된 형태의 인공 신경망을 모두 포함하는 포괄적인 의미로 해석되어야 하며, 반드시 딥 러닝 계열이어야만 하는 것도 아니다.

뿐만 아니라, 기계학습 모델이 반드시 인공 신경망 모델 형태이어야만 하는 것은 아니며, 이외에도 최근접 이웃 알고리즘(KNN), 랜덤 포레스트(RandomForest), 서포트 벡터 머신(SVM), 주성분분석법(PCA) 등이 포함될 수 있으며, 이상에서 언급된 기법들이 앙상블된 형태나 그 외에 다양한 방식으로 조합된 형태까지도 전부 포함할 수 있다. 한편, 인공 신경망을 중심으로 언급되는 실시예들에서 특별한 언급이 없는 한 인공 신경망이 다른 기계학습 모델로 대체될 수 있음을 미리 밝혀둔다.

나아가, 본 명세서에서 좌표 변환 알고리즘이 반드시 기계학습 모델로 한정되는 것은 아니다. 즉, 좌표 변환 알고리즘은 기계학습 모델이 아닌 다양한 판단/결정 알고리즘이 포함될 수도 있다.

따라서, 본 명세서에서 좌표 변환 알고리즘은 제1 좌표계에 대한 데이터를 이용하여 좌표 변환을 수행하는 모든 형태의 알고리즘을 모두 포함하는 포괄적인 의미로 이해되어야 함을 미리 밝혀 둔다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 기반 위치 및 측위 센서 기반 위치 간의 좌표 변환 시 보간을 하도록 제공될 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치와 측위 센서 데이터로부터 계산된 선수의 위치 간의 좌표를 변환하는 과정에서 발생할 수 있는 오차를 보정하기 위하여 변환된 좌표값을 보간(interpolation)하는 동작을 추가적으로 수행할 수 있다. 예를 들어, 이미지 데이터로부터 계산된 선수의 위치로 선수를 추적하다가 이미지 데이터로부터 계산된 선수의 위치의 유효성이 없다고 판단되는 경우에, 필요에 따라 측위 센서 데이터로부터 계산된 선수의 위치로 선수를 추적하여야 할 수 있다. 이때, 측위 센서 데이터로부터 계산된 선수의 위치가 상기 이미지 데이터로부터 계산된 선수의 위치의 제1 좌표계에 대응되어 변환되는 경우에는 변환된 위치의 값에 오차가 존재할 수 있다.

따라서, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)는 상기 제1 좌표계에 대응하여 측위 센서 데이터로부터 계산된 선수의 위치의 좌표 변환된 값을 이전에 추적했던 이미지 데이터로부터 계산된 선수의 위치와 보간(interpolation)을 하는 동작을 수행할 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 이미지 기반 위치와 측위 센서 기반 위치를 고려하여 선수의 위치를 결정할 수 있다.

구체적으로 선수 추적 서버(1000)는 이미지 기반 위치와 측위 센서 기반 위치에 기초하여 최종적으로 선수의 위치의 결정을 수행하도록 제공될 수 있다.

일 예로, 이미지 기반 위치가 유효한 경우에는 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정하도록 제공될 수 있다.

반면, 이미지 기반 위치가 유효하지 않는 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 위치에 기초하여 선수의 위치를 결정할 수 있다.

예를 들어, 이미지 데이터에 포함된 복수의 선수들 간에 오클루전 이벤트가 없다고 판단되거나 검출되지 않아 이미지 데이터로부터 계산된 선수의 위치가 유효하다고 판단되는 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다. 반면, 이미지 데이터에 포함된 복수의 선수들 간에 오클루전 이벤트가 있다고 판단되거나 검출되어 이미지 데이터로부터 계산된 선수의 위치가 유효하지 않다고 판단되는 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 위치에 기초하여 선수의 위치를 결정할 수 있다.

다른 예로, 이미지 데이터에 포함된 선수와 관련하여 수직적인 움직임이 검출되지 않아 이미지 데이터로부터 계산된 선수의 위치가 유효하다고 판단되는 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다. 반면, 이미지 데이터에 포함된 선수와 관련하여 수직적인 움직임이 검출되어 이미지 데이터로부터 계산된 선수의 위치가 유효하지 않다고 판단된 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 위치에 기초하여 선수의 위치를 결정할 수 있다.

또 다른 예로, 이미지 데이터로부터 계산된 선수의 위치 간의 이격(internal disparity)이 미리 결정된 임계값을 초과하지 않아 이미지 데이터로부터 계산된 선수의 위치가 유효하다고 판단되는 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다. 반면, 이미지 데이터로부터 계산된 선수의 위치 간의 이격(internal disparity)이 미리 결정된 임계값을 초과하여 이미지 데이터로부터 계산된 선수의 위치가 유효하지 않다고 판단되는 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 위치에 기초하여 선수의 위치를 결정할 수 있다.

일 실시예로, 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효한 경우에는 선수 추적 서버(1000)는 상기 측위 센서 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다. 반면, 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효하지 않는 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 위치에 기초하여 선수의 위치를 결정할 수 있다.

일 예로, 선수 추적 서버(1000)는, 측위 센서 데이터에 포함된 신호의 신뢰도와 관련된 정보에 기초하여 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효하다는 판단에 기초하여, 선수의 위치를 결정할 수 있다.

예를 들어, 측위 센서 데이터에 포함된 신호의 신뢰도가 미리 설정된 임계값보다 크기 때문에 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효하다고 판단된 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다.

반면, 측위 센서 데이터에 포함된 신호의 신뢰도가 미리 설정된 임계값보다 작기 때문에 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효하지 않다고 판단된 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다.

다른 예로, 상기 측위 센서 데이터로부터 계산된 선수의 위치 간의 이격(internal disparity)이 미리 결정된 임계값을 초과하지 않아 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효하다고 판단되는 경우에는, 선수 추적 서버(1000)는 상기 측위 센서 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다.

반면, 상기 측위 센서 데이터로부터 계산된 선수의 위치 간의 이격(internal disparity)이 미리 결정된 임계값을 초과하여 상기 측위 센서 데이터로부터 계산된 선수의 위치가 유효하지 않다고 판단되는 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 위치에 기초하여 선수의 위치를 결정할 수 있다.

일 실시예로 선수 추적 서버(1000)는 이미지 데이터와 측위 센서 데이터로부터 각각 계산된 선수의 위치의 차이 혹은 이격도 지수에 기초하여 최종적으로 선수의 위치를 결정할 수 있다.

구체적으로 상술한 바와 같이, 제1 시점에서의 상기 이미지 데이터로부터 계산된 선수의 제1 위치와 상기 측위 센서 데이터로부터 계산된 선수의 제2 위치 간의 제1 이격도 지수(

)와 제2 시점에서의 상기 이미지 데이터로부터 계산된 선수의 제1 위치와 상기 측위 센서 데이터로부터 계산된 선수의 제2 위치 간의 제2 이격도 지수(

)에 기초하여 상기 제1 위치와 상기 제2 위치 중 적어도 하나가 유효하지 않다고 판단될 수 있다. 이때, 선수 추적 서버(1000)는 상기 이격도 지수에 기초한 유효성 판단에 기초하여 선수의 위치를 최종적으로 결정할 수 있다.

예를 들어, 선수 추적 서버(1000)는, 계산된 이격도 지수가 미리 결정된 제1 임계값보다 작으면, 즉 측위 센서 데이터로부터 계산된 선수의 위치와 이미지 데이터로부터 계산된 선수의 위치가 모두 유효하다고 판단될 수 있는 경우에는, 상기 측위 센서 데이터로부터 계산된 선수의 위치와 상기 이미지 데이터로부터 계산된 선수의 위치 중 하나의 위치에 기초로 하여 선수의 위치를 결정할 수 있다.

반면, 계산된 이격도 지수가 미리 결정된 제2 임계값보다 크면, 즉 측위 센서 데이터로부터 계산된 선수의 위치와 이미지 데이터로부터 계산된 선수의 위치 중 적어도 하나 이상이 유효하지 않다고 판단될 수 있는 경우에는, 선수 추적 서버(1000)는 상기 측위 센서 데이터로부터 계산된 선수의 위치와 상기 이미지 데이터로부터 계산된 선수의 위치 중 신뢰도 인덱스가 높은 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다.

도 15를 참고한다. 도 15는 본 출원의 일 실시예에 따른 신뢰도 인덱스에 기초하여 선수의 위치를 결정하는 예시적인 방법을 도시한 도면이다.

일 실시예로, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치와 관련된 제1 신뢰도 인덱스 및 측위 센서 데이터로부터 계산된 선수의 위치와 관련된 제2 신뢰도 인덱스의 비교에 기초하여 선수의 위치를 결정할 수 있다.

일 예로, 상기 제1 신뢰도 인덱스가 상기 제2 신뢰도 인덱스보다 높은 경우(도 15(a) 혹은 도 15(b))에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다.

예를 들어, 도 15(a)의 경우와 같이, 상기 제1 신뢰도 인덱스는 미리 결정된 신뢰도 임계값보다 높으며 상기 제2 신뢰도 인덱스는 미리 결정된 신뢰도 임계값보다 낮은 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 스포츠 참가자의 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.

예를 들어, 도 15(b)의 경우와 같이, 상기 제1 신뢰도 인덱스가 상기 제2 신뢰도 인덱스보다 높으며, 상기 제1 신뢰도 인덱스와 상기 제2 신뢰도 인덱스가 모두 미리 결정된 신뢰도 임계값보다 높은 경우에는, 도 15(a)와 유사하게 상기 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 스포츠 참가자의 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.

또 다른 예를 들어, 상기 제2 신뢰도 인덱스가 상기 제1 신뢰도 인덱스보다 높은 경우(도 15(c)의 경우)에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 위치에 기초하여 선수의 위치를 결정할 수 있다.

또 다른 예를 들어, 도 15(c)의 경우와 같이, 상기 제2 신뢰도 인덱스는 미리 결정된 신뢰도 임계값보다 높으며 상기 제1 신뢰도 인덱스는 미리 결정된 신뢰도 임계값보다 낮은 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.

다른 예로, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 선수의 제1 위치와 관련된 제1 신뢰도 인덱스 및 측위 센서 데이터로부터 계산된 선수의 제2 위치와 관련된 제2 신뢰도 인덱스를 고려하여 가중치를 부여하여 선수의 위치를 결정할 수 있다. 구체적으로 선수 추적 서버(1000)는 상기 제1 위치와 상기 제2 위치 각각에 상기 제1 신뢰도 인덱스와 상기 제2 신뢰도 인덱스를 고려한 가중치를 부여함으로써, 선수의 위치의 결정할 수 있다.

예를 들어, 도 15(b)와 같이 상기 제1 신뢰도 인덱스와 상기 제2 신뢰도 인덱스가 모두 미리 결정된 신뢰도 임계값보다 높은 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 스포츠 참가자의 제1 위치 및 측위 센서 데이터로부터 계산된 스포츠 참가자의 제2 위치에 대하여 신뢰도 인덱스에 따른 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다.

또 다른 예를 들어, 도 15(d)의 경우와 같이, 상기 제1 신뢰도 인덱스가 상기 제2 신뢰도 인덱스가 유사하거나 실질적으로 동일한 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 스포츠 참가자의 위치 및 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치에 대하여 신뢰도 인덱스에 따른 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다.

상술한 바에 따르면, 도 15(b) 및 도 15(d)의 경우에 한하여 신뢰도 인덱스에 따른 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다고 서술하였으나, 이는 예시에 불과하며, 도 15(a), 도 15(c) 또는 임의의 경우에도 적절하게 신뢰도 인덱스에 따른 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있음은 자명하다.

본 출원의 일 실시예에 따른 선수 추적 서버(1000)에서 결정된 스포츠 참가자의 위치는 통신모듈(1100)을 통하여 메모리(1200)에 전달되어 저장될 수 있다. 또는 선수 추적 서버(1000)에서 결정된 스포츠 참가자의 위치는 통신 모듈(1100)을 통해 외부 서버로 송신되거나 인터넷에 업로드될 수 있다.

이상에서는 본 출원의 "일 실시예"에 따른 선수 추적 서버(1000)의 구성과 동작에 대하여 서술하였다. 이하에서는 본 실시예에 따른 선수 추적 방법에 관하여 설명한다. 이하의 설명에서는 본 출원의 일 실시예에 따른 선수 추적 방법이 상술한 선수 추적 시스템(100)에 의해 수행되는 것으로 설명한다. 다만, 이는 설명의 편의를 위한 것에 불과하므로, 본 출원의 일 실시예에 따른 선수 추적 방법이 상술한 선수 추적 시스템(100)으로 한정되는 것은 아니다. 즉, 후술되는 선수 추적 방법이 반드시 선수 추적 시스템(100)에 의해서만 수행되어야 하는 것은 아니며 상술한 선수 추적 시스템(100)과 유사한 기능을 갖는 다른 시스템이나 장치 등에 의해 수행되는 것도 가능하다.

또한, 상술한, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)의 구성과 동작은, 후술할 선수 추적 시스템(100)의 다른 실시예에 대하여도 적절하게 적용될 수 있을 것이다.

도 16을 참고한다. 도 16은 본 출원의 일 실시예에 따른 선수 추적 시스템(100)에 의해 구현되는 선수 추적 방법을 도시한 흐름도이다.

본 출원의 일 실시예에 따른 선수 추적 방법은 이미지 데이터를 획득하는 단계(S1100), 측위 센서 데이터를 획득하는 단계(S1200) 및 선수의 위치를 결정하는 단계(S1300)를 포함할 수 있다.

상기 이미지 데이터를 획득하는 단계(S1100)에서는, 플레이필드 주변에 위치된 이미지 캡처 장치(300)로부터 촬영된 이미지 데이터가 획득될 수 있다.

상기 측위 센서 데이터를 획득하는 단계(S1200)에서는, 스포츠 참가자(1)에 착용된 측위 센서 장치(200)로부터 송신된 측위 센서 데이터가 획득될 수 있다.

이때, 선수 추적 서버(1000)가 획득하는 이미지 데이터와 측위 센서 데이터는, 이미지 데이터와 측위 센서 데이터간의 타임 싱크를 맞춰진 데이터들일 수 있다.

또한, 선수 추적 서버(1000)가 획득하는 이미지 데이터는, 리샘플링(Resampling)된 데이터일 수 있다.

또한, 선수 추적 서버(1000)가 획득하는 이미지 데이터는, 노이즈가 제거된 데이터일 수 있다.

또한, 선수 추적 서버(1000)가 획득하는 측위 센서 데이터는, 측위 센서 데이터의 노이즈 제거, 증폭, 필터링 등의 처리 과정을 거친 데이터일 수 있다.

또한, 선수 추적 서버(1000)가 획득하는 이미지 데이터는, 스포츠 참가자의 위치와 관련된 데이터, 스포츠 참가자에 대응되는 픽셀에 대한 데이터를 포함할 수 있다.

또한 선수 추적 서버(1000)는 이미지 데이터를 촬영된 이미지 캡처 장치의 종류와 관련된 식별 데이터 및 촬영된 이미지 캡처 장치의 위치, 포즈 등과 관련된 배열 정보를 추가적으로 획득할 수 있다. 다만, 상술한 내용은 예시에 불과하며 임의의 적절한 데이터들을 포함하도록 구현할 수 있다.

또한, 선수 추적 서버(1000)가 획득하는 측위 센서 데이터는, 스포츠 참가자의 위치와 관련된 데이터, 센서-시그널의 신뢰도와 관련된 데이터 및 스포츠 참가자의 식별인자와 관련된 데이터를 포함할 수 있다. 다만, 상술한 내용은 예시에 불과하며 임의의 적절한 데이터들을 포함하도록 구현할 수 있다.

상기 선수의 위치를 결정하는 단계(S1300)에서는, 상기 이미지 데이터와 상기 측위 센서 데이터 중 적어도 하나에 기초하여 선수의 위치가 결정될 수 있다.

일 예로, 선수 추적 서버(1000)는 상기 이미지 데이터로부터 계산된 이미지 기반 위치의 유효성을 검증하여, 이미지 기반 위치가 유효한 경우에는 이미지 기반 위치로 선수의 위치를 결정할 수 있다. 반면, 상기 이미지 데이터로부터 계산된 이미지 기반 위치가 유효하지 않은 경우에는, 측위 센서 데이터로부터 계산된 선수의 위치로 선수의 위치를 결정할 수 있다. 이와 관련하여는 도 17 내지 도 19에서 자세히 서술한다.

다른 예로, 선수 추적 서버(1000)는 상기 측위 센서 데이터로부터 계산된 측위 센서 기반 위치의 유효성을 검증하여, 측위 센서 기반 위치가 유효한 경우에는 측위 센서 기반 위치로 선수의 위치를 결정할 수 있다. 반면, 상기 측위 센서 데이터로부터 계산된 측위 센서 기반 위치가 유효하지 않은 경우에는, 이미지 데이터로부터 계산된 이미지 기반 위치로 선수의 위치를 결정할 수 있다. 혹은, 선수 추적 서버(1000)는 상기 측위 센서 데이터로부터 계산된 측위 센서 기반 위치가 유효하지 않은 경우에는, 상기 이미지 기반 위치의 유효성을 추가적으로 평가하여, 이미지 기반 위치의 유효성 결과에 기초하여 선수의 위치가 결정될 수 있다. 이와 관련하여는 도 20 내지 도 21에서 자세히 서술한다.

또 다른 예로, 선수 추적 서버(1000)는 측위 센서 데이터로부터 획득된 측위 센서 기반 위치의 신뢰도와 이미지 데이터로부터 획득된 이미지 기반 위치의 신뢰도를 정량화 및 비교함으로써 선수의 위치를 결정할 수 있다. 구체적으로 선수 추적 서버(1000)는 측위 센서 기반 위치와 이미지 기반 위치 중 신뢰도가 높은 위치에 기초하여 선수의 위치를 결정하거나, 측위 센서 기반 위치와 이미지 기반 위치 각각에 대하여 신뢰도에 따른 가중치를 부여하여 선수의 위치를 결정할 수 있다. 이와 관련하여는, 도 22에서 자세히 후술한다.

또 다른 예로, 선수 추적 서버(1000)는 플레이필드의 영역별 측위 센서 기반 위치의 신뢰도 맵와 플레이필드의 영역별 이미지 기반 위치의 신뢰도 맵에 기초하여 선수의 위치를 결정할 수 있다. 좀 더 구체적으로 플레이필드의 영역에 따라 계산된 선수의 측위 센서 기반 위치에 대한 신뢰도가 상이할 수 있다. 또한, 플레이필드의 영역에 따라 계산된 선수의 이미지 기반 위치에 대한 신뢰도가 상이할 수 있다. 따라서, 선수 추적 서버(1000)는, 신뢰도 맵에 기초하여 측위 센서 기반 위치와 이미지 기반 위치 중 어느 하나를 선택하여 선수의 위치를 결정하거나, 측위 센서 기반 위치와 이미지 기반 위치 각각에 대하여 신뢰도에 따른 가중치를 부여하여 선수의 위치를 결정할 수 있다. 이와 관련하여는, 도 23 내지 도 25에서 자세히 후술한다.

이미지 캡처 장치로부터 획득된 이미지 데이터로부터 스포츠 참가자의 위치를 결정하는 것은, 스포츠 참가자의 위치를 정확하게 측정할 수 있으며, 플레이필드 주변의 구조물에 영향을 상대적으로 적게 받으며, 스포츠 참가자의 모션을 인식하거나 분석하는 것이 상대적으로 용이하며, 실내에서도 이용하기 편리하다는 장점이 존재한다. 또한, 스포츠 참가자가 측위 센서 장치를 착용하지 않아도 무방하기에 스포츠 참가자의 측면에서도 편의할 수 있다. 다만, 스포츠 참가자 간의 오클루전 이벤트가 발생할 수 있으며, 이미지 데이터의 용량이 크기 때문에 상대적으로 연산량이 많아진다는 문제가 발생할 수 있다.

반면, 측위 센서 장치로부터 획득된 측위 센서 데이터로부터 스포츠 참가자의 위치를 결정하는 것은, 이미지 데이터로부터 스포츠 참가자의 위치를 결정하는데 있어 발생할 수 있는 오클루전 이벤트가 발생하지 않으며, 이미지 데이터보다 측위 센서 데이터의 용량이 상대적으로 작기 때문에 측위 센서 데이터의 처리 효율이 이미지 데이터의 처리 효율보다 상대적으로 뛰어날 수 있다.

따라서, 본 출원의 일 실시예에 따른 일 예의 선수 추적 방법은, 이미지 데이터로부터 스포츠 참가자의 위치를 결정하되, 이미지 데이터로부터 계산된 스포츠 참가자의 위치가 유효하지 않은 경우에 한해, 측위 센서 데이터로부터 스포츠 참가자의 위치를 결정할 수 있다.

도 17을 참고한다. 도 17은 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이며, 구체적으로 도 17의 상기 S1300 단계를 세분화한 도면이다.

도 17을 참고하면, 본 출원의 일 실시예에 따른 상기 S1300 단계는 이미지 데이터를 기초로 오클루전을 검출하는 단계(S1310), 오클루전의 심각도를 판단하는 단계(S1320) 및 오클루전의 심각도가 미리 결정된 임계값 이상인지 여부를 판단하는 단계(S1330), 측위 센서 데이터 혹은 이미지 데이터를 기초로 선수의 위치를 결정하는 단계(S1340 또는 S1350) 및 결정된 위치로 선수의 위치를 출력하는 단계(S1360)를 포함할 수 있다.

상기 S1310 단계는 이미지 데이터에 포함된 스포츠 참가자들간의 오클루전 이벤트를 검출할 수 있다. 구체적으로 상술한 선수 추적 서버(1000)는 이미지 데이터에 포함된 스포츠 참가자들간의 오클루전 이벤트를 검출할 수 있다. 또는 선수 추적 서버(1000)는 이미지 데이터에 포함된 스포츠 참가자들 간의 오클루전 이벤트의 발생 여부를 판단하거나 결정할 수 있다.

이때, 상기 S1310 단계에서 스포츠 참가자간의 오클루전 이벤트가 검출되지 않거나, 스포츠 선수들간의 오클루전 이벤트가 발생하지 않았다고 판단되는 경우에는, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.

반면, 상기 S1310 단계에서 스포츠 참가자간의 오클루전 이벤트가 검출되거나, 스포츠 선수들간의 오클루전 이벤트가 발생하였다고 판단되는 경우에는, 오클루전 이벤트의 심각도를 판단하는 단계(S1320)가 수행될 수 있다. 상기 S1320 단계에서는 선수 추적 서버(1000)는 검출된 오클루전 이벤트의 심각도를 추가적으로 판단할 수 있다.

일 예로, 선수 추적 서버(1000)는 상술한 바와 같이 이미지 데이터로부터 획득된 스포츠 참가자들에 대응하는 바운딩 박스 간의 중첩 정도를 고려하여 오클루전 이벤트의 심각도를 판단할 수 있다.

다른 예로, 선수 추적 서버(1000)는 상술한 바와 같이 이미지 데이터로부터 획득된 스포츠 참가자들에 대응하는 픽셀 수의 총합의 변화를 고려하여 오클루전 이벤트의 심각도를 판단할 수 있다.

또 다른 예로, 선수 추적 서버(1000)는 상술한 바와 같이 측위 센서 데이터로부터 획득된 스포츠 참가자들의 위치를 고려하여, 특정 스포츠 참가자로부터 미리 결정된 영역 이내에 위치된 스포츠 참가자들의 수에 기초하여 오클루전 이벤트의 심각도를 판단할 수 있다.

또 다른 예로, 선수 추적 서버(1000)는 상술한 바와 같이 오클루전 이벤트와 관련된 스포츠 참가자들의 팀 정보를 고려하여, 오클루전 이벤트의 심각도를 판단할 수 있다. 스포츠 참가자들의 팀 정보는, 이미지 데이터, 특히 RGB map의 스포츠 참가자들의 유니폼에 대응되는 픽셀 정보로부터 획득될 수 있다. 또는 스포츠 참가자들의 팀 정보는, 측위 센서 데이터에 포함된 식별인자로부터 획득될 수 있다.

또 다른 예로, 선수 추적 서버(1000)는 상술한 바와 같이 오클루전 이벤트이 검출된 경기의 "상황"을 고려하여, 오클루전 이벤트의 심각도를 판단할 수 있다.

이때, 오클루전 이벤트의 심각도는 임의의 적절한 방법에 의하여 정량화될 수 있다. 혹은 임의의 적절한 기준에 의해 오클루전 이벤트가 심각도의 정도에 따라 분류될 수 있다.

상기 S1330 단계에서는, 상기 S1320 단계에서 도출된 오클루전 이벤트의 심각도 판단 결과가 미리 결정된 값 이상인지 여부가 판단될 수 있다. 구체적으로 선수 추적 서버(1000)는 상기 S1320 단계에서 정량화된 오클루전 이벤트의 심각도 값이 미리 결정된 값 이상인지 여부를 판단할 수 있다.

일 예로, 정량화된 오클루전 이벤트의 심각도 값이 미리 결정된 값 이상이라면, 이미지 데이터를 기초로 계산된 스포츠 참가자의 위치가 유효하지 않다고 판단되거나 예측될 수 있다. 따라서, 정량화된 오클루전 이벤트의 심각도 값이 미리 결정된 값 이상이라면, 상기 S1350 단계에서, 선수 추적 서버(1000)는 이미지 데이터가 아닌 측위 센서 데이터에 기초하여 계산된 측위 센서 기반 위치로 스포츠 참가자의 위치를 결정할 수 있다.

다른 예로, 정량화된 오클루전 이벤트의 심각도 값이 미리 결정된 값 미만이라면, 이미지 데이터를 기초로 계산된 스포츠 참가자의 위치가 유효하거나 유효한 것으로 예측될 수 있다. 따라서, 정량화된 오클루전 이벤트의 심각도 값이 미리 결정된 값 미만이라면, 상기 S1340 단계에서, 선수 추적 서버(1000)는 이미지 데이터에 기초하여 계산된 이미지 기반 위치로 스포츠 참가자의 위치를 결정할 수 있다.

또는, 선수 추적 서버(1000)는 상기 S1320 단계에서 오클루전 이벤트의 심각도의 분류 결과에 따라 측위 센서 데이터에 기초하여 선수의 위치를 결정할지 혹은 이미지 데이터에 기초하여 선수의 위치를 결정할 지 여부를 결정할 수 있다.

일 예로, 선수 추적 서버(1000)는, 오클루전 이벤트를 오클루전 이벤트의 심각도에 따라 마일드한 오클루전 이벤트 혹은 심각한 오클루전 이벤트 등으로 할당할 수 있다. 이때, 선수 추적 서버(1000)는 오클루전 이벤트를 마일드한 오클루전 이벤트로 할당한 결과에 따라 이미지 데이터를 기초로 스포츠 참가자의 위치를 결정할 수 있다. 반면, 선수 추적 서버(1000)는 오클루전 이벤트를 심각한 오클루전 이벤트로 할당한 결과에 따라 측위 센서 데이터를 기초로 스포츠 참가자의 위치를 결정할 수 있다.

상기 S1360 단계에서는, 결정된 스포츠 참가자의 위치에 기초하여 스포츠 참가자의 위치가 출력되거나 업데이트될 수 있다. 출력되는 스포츠 참가자의 위치는 임의의 적절한 좌표계에 대응되는 좌표값일 수 있다.

도 18을 참고한다. 도 18은 본 출원의 일 실시예에 따른 좌표 변환 알고리즘과 관련된 인공신경망의 학습 과정을 도시한 흐름도이다.

본 출원의 일 실시예에 따른 좌표변환부의 인공신경망을 이용한 학습 방법은, 이미지 데이터 및 이미지 기반 위치를 획득하는 단계(S2100), 센서 데이터 및 측위 센서 기반 위치를 획득하는 단계(S2200), 이미지 기반 위치를 검증하는 단계(S2300), 학습 세트 준비하는 단계(S2400) 및 학습세트를 사용하여 인공신경망을 훈련하는 단계(S2500)를 포함할 수 있다. 본 인공신경망을 이용한 학습 방법은, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)에 의해 구현될 수 있거나 임의의 별개의 학습 모듈에서 구현될 수 있다.

상기 S2100 단계에서는, 이미지 캡처 장치(300)로부터 송신된 이미지 데이터가 획득될 수 있다. 또한, 상기 이미지 데이터로부터 이미지 기반 위치가 획득될 수 있다. 상기 이미지 기반 위치는 이미지 데이터에 포함된 스포츠 참가자의 위치에 대응되는 픽셀의 좌표값으로부터 획득될 수 있다.

상기 S2200 단계에서는, 측위 센서 장치(210, 220)로부터 송신된 측위 센서 데이터가 획득될 수 있다. 또한, 상기 측위 센서 데이터로부터 측위 센서 기반 위치가 획득될 수 있다. 상기 측위 센서 기반 위치는 측위 센서 데이터에 포함된 위치와 관련된 데이터로부터 획득될 수 있으며, 혹은 측위 센서 데이터에 포함된 속도나 가속도와 관련된 데이터로부터 획득될 수 있다. 구체적으로 상기 S2200 단계에서는, 이미지 기반 위치에 대응하는, 측위 센서 기반 위치 및 측위 센서 기반 속력들이 획득될 수 있다.

상기 S2300 단계에서는, 이미지 기반 위치에 대한 유효성 판단 결과에 기초하여, 상기 S2100 단계로부터 획득된 이미지 기반 위치가 학습 세트로 사용될 수 있을지 여부가 검증될 수 있다.

일 예로, 선수 추적 서버(1000)는, 오클루전 이벤트의 검출 여부에 기초하여 이미지 기반 위치의 유효성을 판단할 수 있다. 다시 말해, 상기 S2300 단계에서는 이미지 데이터 내의 오클루전 이벤트의 검출 결과에 기초하여 이미지 기반 위치가 학습 세트로 사용될 수 있을 지 여부가 검증될 수 있다.

예를 들어, 이미지 데이터 내의 오클루전 이벤트가 검출되었다면 획득된 이미지 기반 위치는 학습 세트로서 적절히 않다고 판단될 수 있다.

예를 들어, 이미지 데이터 내의 오클루전 이벤트가 검출되지 않았다면(혹은 오클루전 이벤트가 검출되었으나 심각하지 않다고 판단된 경우도 포함될 수 있음) 획득된 이미지 기반 위치는 학습 세트로서 이용될 수 있다고 판단될 수 있다.

상기 S2400 단계에서는, 상기 S2300 단계의 검증 결과에 따라 학습 세트 및 인공 신경망이 준비될 수 있다.

상기 인공신경망은 입력 레이어, 출력 레이어 및 복수의 노드를 포함하는 히든레이어를 포함할 수 있다.

상기 학습세트는, 상기 S2300 단계에서 검증된 이미지 기반 위치와, 이미지 기반 위치에 대응하는 측위 센서 기반 위치 및 측위 센서 기반 속력을 포함할 수 있다. 이때, 상기 이미지 기반 위치는 제1 좌표계에 관한 위치일 수 있다. 또한, 상기 측위 센서 기반 위치는 제1 좌표계와는 상이한 제2 좌표계일 수 있다.

상기 S2500 단계에서는, 상기 S2400 단계에서 준비된 학습 세트를 이용하여 인공신경망을 학습시킬 수 있다.

예를 들어, 상기 학습 세트 중 측위 센서 기반 위치와 측위 센서 기반 속력이 입력레이어로 입력될 수 있다. 이때, 입력된 측위 센서 기반 위치와 측위 센서 기반 속력은 인공신경망을 거쳐 상기 제2 좌표계에서 상기 제1 좌표계로 변환되어 출력레이어를 통해 출력될 수 있다. 이때, 출력레이어를 통해 출력된 출력값과 학습 세트의 이미지 기반 위치와의 차이에 기초하여 히든레이어에 포함된 복수의 노드의 가중치가 조절될 수 있다.

복수의 노드의 가중치가 적절히 조절됨으로써, 학습 세트의 이미지 기반 위치와 출력레이어를 통해 출력되는 출력값들 간의 오차가 감소하도록, 인공신경망이 학습될 수 있다.

도 19는 도 18의 학습된 인공신경망을 이용한 좌표 변환을 통한 선수 추적 방법의 일 실시예를 도시한 흐름도이다.

학습된 인공신경망을 이용한 좌표 변환을 통한 선수 추적 방법은, 이미지 데이터 및 이미지 기반 위치를 획득하는 단계(S3100), 측위 센서 데이터를 획득하는 단계(S3200), 이미지 기반 위치의 유효성을 판단하는 단계(S3300), 스포츠 참가자의 위치를 결정하는 단계(S3400, S3500, S3600)를 포함할 수 있다.

상기 S3100 단계에서는 이미지 캡처 장치(300)로부터 송신된 이미지 데이터가 획득될 수 있다. 또한, 상기 이미지 데이터로부터 이미지 기반 위치가 획득될 수 있다. 상기 이미지 기반 위치는 이미지 데이터에 포함된 스포츠 참가자의 위치에 대응되는 픽셀의 좌표값으로부터 획득될 수 있다.

상기 S3200 단계에서는, 측위 센서 장치(200)로부터 송신된 측위 센서 데이터가 획득될 수 있다.

상기 S3300 단계에서는, 선수 추적 서버(1000)에 의하여, 이미지 기반 위치의 유효성이 판단될 수 있다.

일 예로, 도 5 내지 도 10과 관련하여 상술한 임의의 적절한 이미지 기반 위치의 유효성을 판단하는 방법에 따라, 상기 S3100 단계로부터 획득된 이미지 기반 위치의 유효성이 판단되거나 예측될 수 있다.

예를 들어, 오클루전 이벤트의 검출 여부, 오클루전 이벤트의 심각도 판단 결과, 스포츠 참가자의 수직적인 움직임 및 이미지 기반 위치의 이격(internal disparity) 중 적어도 하나를 고려하여 선수 추적 서버(1000)에 의하여 이미지 기반 위치의 유효성이 판단될 수 있다.

상기 S3400 단계에서는, 상기 S3300에서 이미지 기반 위치가 유효하다고 판단된 경우에는, 선수 추적 서버(1000)는 이미지 기반 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.

반면, 상기 S3300 단계에서, 이미지 기반 위치가 유효하지 않다고 판단된 경우에는, 선수 추적 서버(1000)는 측위 센서 데이터에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.

상기 S3500 단계에서는, 상기 S3200 단계에서 획득된 측위 센서 데이터로부터 측위 센서 기반 위치가 획득될 수 있다. 상기 측위 센서 기반 위치는 측위 센서 데이터에 포함된 위치와 관련된 데이터로부터 획득될 수 있으며, 혹은 측위 센서 데이터에 포함된 속도나 가속도와 관련된 데이터로부터 획득될 수 있다. 구체적으로 상기 S3400 단계에서는, 이미지 기반 위치에 대응하는 측위 센서 기반 위치 및 측위 센서 기반 속력들이 획득될 수 있다.

도 19에 따르면, 상기 S3300 단계에서 이미지 기반 위치가 유효하지 않다고 판단된 경우에 한해, 측위 센서 기반 위치가 획득되는 것으로 도시하였으나, 이는 예시에 불과하며, 상기 S3500 단계뿐만 아니라 상기 S3200 단계에서 측위 센서 데이터로부터 측위 센서 기반 위치나 측위 센서 기반 속력이 계산될 수 있음은 자명하다.

상기 S3600 단계에서는, 상기 S3500 단계에서 획득된 측위 센서 기반 위치와 측위 센서 기반 속력이 학습된 인공신경망의 입력 레이어의 입력값으로 입력될 수 있다.

상기 측위 센서 기반 위치와 상기 측위 센서 기반 속력은 제2 좌표계에서 획득된 값들일 수 있다. 또한 상기 측위 센서 기반 위치와 상기 센서 기반 속력은, 유효하지 않다고 판단된 이미지 기반 위치에 대응하는 위치와 속력에 대한 값일 수 있다.

상기 S3600 단계에서는, 입력 레이어의 입력된 제2 좌표계의 상기 측위 센서 기반 위치와 상기 측위 센서 기반 속력이 인공신경망을 거침에 따라 제1 좌표계의 이미지 기반 위치에 대하여 좌표가 변환될 수 있다.

선수 추적 서버(1000)는 상기 S3600 단계에서 출력된 값에 기초하여 스포츠 참가자의 위치가 결정될 수 있다.

상술한 본 출원에 개시된 일 실시예에 따른 선수 추적 방법에 의하면, 우선적으로 이미지 데이터를 기초로 하여 선수를 추적함으로써, 스포츠 참가자의 행동이나 상황을 용이하게 인식할 수 있고 상대적으로 높은 정확도의 위치 측정을 구현할 수 있다는 이미지 데이터의 장점을 살릴 수 있다. 다만, 이미지 데이터는 오클루전 이벤트 등에 따라 객체를 구별하기 어려운 상황이 존재하고 데이터 크기가 상대적으로 크기 때문에 데이터 처리 효율이 다소 떨어질 수 있는데 이러한 이미지 데이터의 단점을 측위 센서 데이터에 의하여 보완할 수 있다.

측위 센서 장치로부터 획득된 측위 센서 데이터로부터 스포츠 참가자의 위치를 결정하는 것은, 스포츠 참가자들 간의 구별이 용이하며, 야간의 경우에도 스포츠 참가자들의 위치를 용이하게 계산할 수 있으며, 데이터의 용량이 상대적으로 작기 때문에 연산량이 적다는 장점이 존재한다. 또한, 이미지 캡처 장치들을 플레이필드 주변부 등에 미리 설치하지 않아도 무방하다는 편의성이 존재한다. 다만, 스포츠 참가자들이 측위 센서 장치를 착용해야 하며, 플레이필드 주변의 구조물에 영향을 많이 받을 수 있으며, 이미지 데이터에 비하여 스포츠 참가자들의 행동이나 이벤트 인식을 파악하는 것이 상대적으로 복잡할 수 있다.

반면, 이미지 캡처 장치로부터 획득된 이미지 데이터로부터 스포츠 참가자의 움직임을 추적하는 것은, 플레이필드 주변의 구조물에 영향을 받지 않으며, 스포츠 참가자들의 행동이나 이벤트 인식에 용이하다는 장점이 존재한다.

따라서, 본 출원의 일 실시예에 따른 다른 예의 선수 추적 방법에 의하면, 측위 센서 데이터로부터 스포츠 참가자의 위치가 결정되되, 측위 센서 데이터로부터 계산된 스포츠 참가자의 위치가 유효하지 않은 경우에 한해, 이미지 데이터로부터 계산된 스포츠 참가자의 위치를 더 고려하여 선수의 위치가 결정될 수 있다.

본 출원의 일 실시예의 다른 예에 따른 선수 추적 방법은, 도 3에 도시된 선수 추적 시스템 (100)에 의해 구현될 수 있다. 또한 본 출원의 일 실시예에 따른 선수 추적 방법은, 도 4에 도시된 선수 추적 서버(1000)에 의해 구현될 수 있다.

도 20을 참고한다. 도 20은 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이다. 도 20을 참고하면, 본 출원의 일 실시예에 따른 선수 추적 방법은 이미지 데이터를 획득하는 단계(S4100), 측위 센서 데이터를 획득하는 단계(S4200) 및 선수의 위치를 결정하는 단계(S4300)를 포함할 수 있다.

상기 S4100 단계, 상기 S4200 단계 및 상기 S4300 단계에서는 도 16과 관련하여 서술한 S1100 단계, S1200 단계 및 S1300 단계에 대한 내용이 동일하게 적용될 수 있다. 따라서 이하에서는 도 16 내지 도 19와는 상이하거나 추가되는 도 21의 내용들을 중심으로 서술한다.

도 21을 참고한다. 도 21은 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이며, 구체적으로 도 20의 상기 S4300 단계를 세분화한 도면이다.

도 21을 참고하면, 본 출원의 일 실시예에 따른 상기 S4300 단계는 측위 센서 기반 위치가 유효한지 여부를 판단하는 단계(S4310), 이미지 기반 위치의 유효성을 검증 및 예측하는 단계(S4330 및 S4340), 측위 센서 기반 위치 혹은 이미지 기반 위치 중 적어도 하나에 기초하여 선수의 위치를 결정하는 단계(S4320 또는 S4350) 및 결정된 위치로 선수의 위치를 출력하는 단계(S4360)를 포함할 수 있다.

상기 S4310 단계에서는, 측위 센서 데이터로부터 획득된 측위 센서 기반 위치가 유효한지 여부가 판단될 수 있다.

일 예로, 상술한 선수 추적 서버(1000)는 측위 센서 데이터에 포함된 측위 센서 기반 위치의 신뢰도에 관한 데이터를 고려하여 측위 센서 기반 위치의 유효성을 평가할 수 있다. 구체적으로 측위 센서 데이터에는 측위 센서 기반 위치와 관련된 신뢰도에 대한 정보(예, DoP, SNR)가 포함될 수 있다. 이때, 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 획득된 상기 신뢰도에 대한 정보와 미리 설정된 신뢰도와 관련된 임계값을 고려하여, 측위 센서 기반 위치의 유효성을 평가할 수 있다. 예를 들어, 상기 측위 센서 데이터에 포함된 신뢰도와 관련된 정보가 미리 설정된 상기 임계값보다 큰 경우에는 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 측위 센서 기반 위치가 유효한 것으로 판단할 수 있다. 반면 상기 측위 센서 데이터에 포함된 신뢰도와 관련된 정보가 미리 설정된 상기 임계값보다 작은 경우에는 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 선수의 측위 센서 기반 위치가 유효하지 않은 것으로 판단할 수 있다.

다른 예로, 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 획득된 측위 센서 기반 위치의 이격(internal disparity)을 고려하여 측위 센서 기반 위치의 유효성을 평가할 수 있다. 구체적으로, 제1 시점에 대응하는 측위 센서 기반 위치와 제2 시점에 대응하는 측위 센서 기반 위치의 "변화"가 미리 결정된 임계값보다 크게 변화하는 경우에는, 상기 선수 추적 서버(1000)는 제2 시점에 대응하는 측위 센서 데이터로부터 계산된 측위 센서 기반 위치는 유효하지 않은 것으로 판단할 수 있다.

또 다른 예로, 상기 선수 추적 서버(1000)는 측위 센서 데이터로부터 획득된 측위 센서 기반 위치와 이미지 데이터로부터 획득된 이미지 기반 위치 간의 차이 혹은 이격도를 고려하여 측위 센서 기반 위치의 유효성을 평가할 수 있다. 이와 관련된 내용은 도 22에 대하여 자세히 후술한다.

상기 S4320 단계에서는, 상기 S4310 단계에서 상기 선수 추적 서버(1000)로부터 상기 측위 센서 기반 위치가 유효하다고 판단되면, 측위 센서 기반 위치를 기초로 하여 스포츠 참가자의 위치를 결정할 수 있다.

반면, 상기 S4310 단계에서 상기 선수 추적 서버(1000)로부터 상기 측위 센서 기반 위치가 유효하지 않다고 판단되면, 이미지 기반 위치의 유효성을 검증하는 단계(S4330 및 S4340)가 추가적으로 더 포함될 수 있다.

상기 이미지 기반 위치의 유효성을 검증하는 단계는, 이미지 기반 위치의 유효성을 검증하는 단계(S4330) 및 이미지 기반 위치가 유효하다고 예측되는지 판단하는 단계(S4340)가 포함될 수 있다.

상기 S4330 단계에서는, 이미지 데이터로부터 오클루전 이벤트의 발생 여부, 오클루전 이벤트의 심각도, 이미지 데이터로부터 획득된 이미지 기반 위치의 이격(internal disparity) 및 스포츠 참가자의 수직적인 움직임(vertical movement) 중 적어도 하나를 고려하여 이미지 데이터로부터 획득된 이미지 기반 위치의 유효성을 검증할 수 있다.

일 실시예에 따르면, 상기 선수 추적 서버(1000)는 상술한 바와 같이 다양한 방법을 이용하여 오클루전 이벤트를 검출하거나 오클루전 이벤트의 발생 여부를 판단할 수 있으며, 이를 기초로 하여 이미지 기반 위치의 유효성을 검증하거나 예측할 수 있다.

일 예로, 이미지 데이터로부터 획득된 스포츠 참가자에 대응되는 바운딩 박스 간의 중첩 정도를 고려하여 오클루전 이벤트가 검출되거나 오클루전 이벤트의 발생 여부가 판단될 수 있다.

다른 예로, 이미지 데이터로부터 획득된 스포츠 참가자들과 관련된 픽셀의 데이터를 고려하여 오클루전 이벤트가 검출되거나 오클루전 이벤트의 발생 여부가 판단될 수 있다.

또 다른 예로, 측위 센서 데이터로부터 획득된 스포츠 참가자의 위치들을 고려하여, 오클루전 이벤트가 검출되거나 오클루전 이벤트의 발생 여부가 판단될 수 있다. 구체적으로 특정 스포츠 참가자에 대응되는 측위 센서 기반 위치로부터 미리 결정된 영역 내에 일정 수 이상의 스포츠 참가자가 위치하는 경우에는 오클루전 이벤트가 발생하였다고 판단될 수 있다.

또 다른 예로, 이미지 캡처 장치의 라인 오브 사이트(line of sight)와 포즈에 대한 데이터 및 측위 센서 데이터로부터 획득된 스포츠 참가자들의 위치를 고려하여, 오클루전 이벤트를 검출하거나 오클루전 이벤트의 발생 여부를 판단할 수 있다.

본 출원의 일 실시예에 따른 선수 추적 방법은, 오클루전 이벤트가 검출되거나 오클루전 이벤트가 발생되었다고 판단되면, 상기 S4340 단계에서는 이미지 기반 위치가 유효하지 않다고 예측될 수 있다.

다만, 오클루전 이벤트가 검출되거나 발생되었다고 판단되더라도 오클루전 심각도가 심각하지 않다면, 상기 S4340 단계에서는 이미지 기반 위치가 유효하다고 예측될 수 있다. 이를 위하여 오클루전 이벤트가 발생된 경우에는 오클루전 이벤트의 심각도를 추가적으로 고려하여 이미지 기반 위치의 유효성을 검증하거나 예측할 수 있다.

일 실시예에 따르면, 상기 선수 추적 서버(1000)는 상술한 바와 같이 다양한 방법을 이용하여 오클루전 이벤트의 심각도를 판단할 수 있으며, 이를 기초로 하여 이미지 기반 위치의 유효성을 검증하거나 예측할 수 있다.

본 출원의 일 실시예에 따른 선수 추적 방법은, 심각한 오클루전 이벤트가 검출되거나 검출된 오클루전이 심각하다고 판단되면, 상기 S4340 단계에서는 이미지 기반 위치가 유효하지 않다고 예측될 수 있다. 반면, 마일드 오클루전 이벤트가 검출되거나 검출된 오클루전이 마일드하다고 판단되면, 상기 S4340 단계에서는 이미지 기반 위치가 유효하다고 예측될 수 있다.

일 실시예에 따르면, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 획득된 이미지 기반 위치 및 동일한 시간적 시점의 스포츠 참가자의 수직적인 움직임을 고려하여 이미지 기반 위치의 유효성을 검증하거나 예측할 수 있다.

다시 도 9(a)를 참고하면, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 실질적으로 없는 경우에는, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치(L1_image)와 스포츠 참가자(110)의 실제 위치(L0)의 차이가 상대적으로 작을 수 있다. 따라서, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 획득된 스포츠 참가자(1)의 위치(L1_image)를 유효한 것으로 예측하거나 판단할 수 있다.

반면, 다시 도 9(b)를 참고하면, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 실질적으로 존재하는 경우에는, 이미지 데이터로부터 계산된 스포츠 참가자(110)의 위치(L2_image)와 스포츠 참가자(1)의 실제 위치(L0)의 차이가 상대적으로 클 수 있다. 다시 말해, 이미지 데이터 내에 포함된 스포츠 참가자(1)의 수직적인 움직임(vertical movement)이 실질적으로 존재하는 경우, 이미지 데이터로부터 계산된 스포츠 참가자(1)의 위치(L2_image)가 실제 위치(L0)에 대하여 유의미한 오차가 발생할 가능성이 높다. 따라서, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 획득된 스포츠 참가자(1)의 위치(L2_image)는 유효하지 않은 것으로 예측하거나 판단할 수 있다.

본 출원의 일 실시예에 따른 선수 추적 방법은, 스포츠 참가자의 수직적인 움직임이 검출된 경우, S4340 단계에서는 수직적인 움직임이 검출된 시간적 시점에 대하여 획득된 이미지 기반 위치가 유효하지 않다고 예측될 수 있다. 반면, 스포츠 참가자의 수직적인 움직임이 검출되지 않은 경우, S4340 단계에서는 이미지 기반 위치가 유효하다고 예측될 수 있다.

일 실시예에 따르면, 상기 선수 추적 서버(1000)는 이미지 데이터로부터 획득된 이미지 기반 위치의 이격(internal disparity)을 고려하여 이미지 기반 위치의 유효성을 검증하거나 예측할 수 있다.

다시 도 10을 참고하면, 제1 시점으로부터 계산된 스포츠 참가자의 위치(Lt1_image)로부터 제2 시점으로부터 계산된 스포츠 참가자의 위치(Lt2_image)간의 차이가 미리 결정된 임계값보다 큰 경우에는, 상기 선수 추적 서버(1000)는 제2 시점으로부터 계산된 스포츠 참가자의 위치(Lt2_image)를 유효하지 않은 것으로 판단할 수 있다. 반면, 제3 시점으로부터 계산된 스포츠 참가자의 위치(Lt3_image)로부터 제4 시점으로부터 계산된 스포츠 참가자의 위치(Lt4_image)간의 차이가 미리 결정된 임계값보다 작은 경우에는, 상기 선수 추적 서버(1000)는 제4 시점으로부터 계산된 스포츠 참가자의 위치(Lt4_image)를 유효한 것으로 판단할 수 있다.

본 출원의 일 실시예에 따른 선수 추적 방법은, 이미지 기반 위치의 이격(internal disparity)이 미리 결정된 임계값보다 크게 측정되는 경우에는 상기 S4340 단계에서는 이미지 기반 위치가 유효하지 않다고 예측될 수 있다. 반면, 이미지 기반 위치의 이격(internal disparity)이 미리 결정된 임계값보다 작게 측정되는 경우에는 상기 S4340 단계에서는 이미지 기반 위치가 유효하다고 예측될 수 있다.

상술한 내용에 따라, 상기 S4340 단계에서 이미지 기반 위치가 유효하다고 예측된다면, 선수 추적 서버(1000)는 이미지 기반 위치에 기초하여 선수의 위치를 결정(S4350)할 수 있다.

반면 상기 S4340 단계에서 이미지 기반 위치가 유효하지 않다고 예측된다면, 선수 추적 서버(1000)는 이미지 기반 위치가 아닌 측위 센서 기반 위치에 기초하여 선수의 위치를 결정(S4320)할 수 있다.

도 21에서는 상기 S4340 단계에서 이미지 기반 위치가 유효하지 않다고 예측된다면, 선수 추적 서버(1000)는 이미지 기반 위치가 아닌 측위 센서 기반 위치에 기초하여 선수의 위치를 결정(S4320)할 수 있다고 도시하였으나 이에 제한되지 않는다. 따라서 상기 S4340 단계에서 이미지 기반 위치가 유효하지 않다고 예측된 경우라도, 선수 추적 서버(1000)는 이미지 기반 위치와 측위 센서 기반 위치를 모두 고려(예, 신뢰도에 따른 가중치 부여 등)하여 선수의 위치를 결정하는 방법 등 임의의 적절한 방법이 적용될 수 있음은 자명하다.

상기 S4360 단계에서는, 결정된 스포츠 참가자의 위치를 출력함으로써, 스포츠 참가자의 위치가 출력되거나 업데이트될 수 있다. 출력되는 스포츠 참가자의 위치는 임의의 적절한 좌표계에 대응되는 좌표값일 수 있다.

상술한 본 출원에 개시된 일 실시예에 따른 선수 추적 방법에 의하면, 우선적으로 측위 센서 데이터를 기초로 하여 선수를 추적함으로써, 데이터 처리 효율을 증대시키고 스포츠 참가자들간의 구별을 용이하게 할 수 있다는 측위 센서 데이터의 장점을 살릴 수 있다. 다만, 측위 센서 데이터는 주변 구조물에 따라 위치 계산의 정확도가 변하고 스포츠 참가자의 행동이나 상황을 인식하는 것이 다소 부족할 수 있는데 이러한 측위 센서 데이터의 단점을 이미지 데이터에 의하여 보완할 수 있다는 장점이 존재한다.

측위 센서 장치로부터 획득된 측위 센서 데이터로부터 스포츠 참가자의 위치를 결정하는 것은, 스포츠 참가자들 간의 구별이 용이하며, 야간의 경우에도 스포츠 참가자들의 위치를 용이하게 계산할 수 있으며, 데이터의 용량이 상대적으로 작기 때문에 연산량이 적다는 장점이 존재한다. 또한, 이미지 캡처 장치들을 플레이필드 주변부 등에 미리 설치하지 않아도 무방하다는 편의성이 존재한다.

이미지 캡처 장치로부터 획득된 이미지 데이터로부터 스포츠 참가자의 위치를 결정하는 것은, 스포츠 참가자의 위치를 정확하게 측정할 수 있으며, 플레이필드 주변의 구조물에 영향을 상대적으로 적게 받으며, 스포츠 참가자의 모션을 인식하거나 분석하는 것이 상대적으로 용이하며, 실내에서도 이용하기 편리하다는 장점이 존재한다. 또한, 스포츠 참가자가 측위 센서 장치를 착용하지 않아도 무방하기에 스포츠 참가자의 측면에서도 편의할 수 있다.

따라서, 본 출원의 일 실시예에 따른 선수 추적 방법에 의하면, 측위 센서 데이터및 이미지 데이터를 모두 고려하여 스포츠 참가자의 위치를 결정함으로써 측위 센서 데이터및 이미지 데이터의 장점을 모두 향유할 수 있다. 또한, 계산된 각각의 측위 센서 기반 위치와 이미지 기반 위치에 대한 신뢰도 인덱스를 생성하여 비교하여 스포츠 참가자의 위치를 결정함으로써, 보다 정확하게 스포츠 참가자를 추적할 수 있다.

본 출원의 일 실시예에 따른 선수 추적 방법은, 도 3에 도시된 선수 추적 시스템(100)에 의해 구현될 수 있다. 또한 본 출원의 일 실시예에 따른 선수 추적 방법은, 도 4에 도시된 선수 추적 서버(1000)에 의해 구현될 수 있다.

본 출원의 일 실시예에 따른 선수 추적 서버(1000)는 이미지 기반 위치와 관련된 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 신뢰도 인덱스를 생성할 수 있다. 선수 추적 서버(1000)는 이미지 기반 위치와 관련된 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 신뢰도 인덱스를 생성하도록 제공될 수 있다.

구체적으로 선수 추적 서버(1000)는 측위 센서 데이터로부터 획득된 측위 센서 기반 위치와 관련된 신뢰도에 대한 신뢰도 인덱스를 생성할 수 있다. 구체적으로 선수 추적 서버(1000)는 측위 센서 기반 위치의 유효성을 평가한 결과에 기초하여 측위 센서 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다.

일 예로, 측위 센서 데이터에는 센서-시그널 신호의 신뢰도와 관련된 정보(예, DoP, SNR)가 포함될 수 있다. 이때, 선수 추적 서버(1000)는 센서-시그널 신호의 신뢰도와 관련된 정보(예, DoP, SNR)에 기초하여 측위 센서 기반 위치의 유효성을 평가할 수 있으며, 이에 기초하여 선수 추적 서버(1000)는 상기 센서-시그널 신호의 신뢰도와 관련된 정보(예, DoP, SNR)를 고려하여, 측위 센서 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다.

다른 예로, 선수 추적 서버(1000)는 측위 센서 데이터로부터 계산된 측위 센서 기반 위치의 이격(internal disparity)에 기초하여 측위 센서 기반 위치의 유효성을 평가할 수 있다. 이때 선수 추적 서버(1000)는, 측위 센서 기반 위치의 이격(internal disparity)에 기초한 측위 센서 기반 위치의 유효성 평가 결과에 기초하여, 측위 센서 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다.

선수 추적 서버(1000)는 또한, 이미지 데이터로부터 획득된 이미지 기반 위치와 관련된 신뢰도에 대한 신뢰도 인덱스를 생성할 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 기반 위치의 유효성을 평가한 결과에 기초하여 이미지 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다.

일 예로, 선수 추적 서버(1000)는 오클루전 이벤트 검출 여부에 따라 이미지 데이터로부터 획득된 이미지 기반 위치의 유효성을 평가할 수 있다. 이때 선수 추적 서버(1000)는, 오클루전 이벤트 검출 여부에 따른 이미지 기반 위치의 유효성 평가 결과에 기초하여, 이미지 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다.

다른 예로, 선수 추적 서버(1000)는 스포츠 참가자의 수직적인 움직임(vertical movement)을 고려하여 이미지 데이터로부터 획득된 이미지 기반 위치의 유효성을 평가할 수 있다. 이때 선수 추적 서버(1000)는, 스포츠 참가자의 수직적인 움직임(vertical movement)을 고려한 이미지 기반 위치의 유효성 평가 결과에 기초하여, 이미지 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다.

또 다른 예로, 선수 추적 서버(1000)는 이미지 데이터로부터 계산된 이미지 기반 위치의 이격(internal disparity)에 기초하여 이미지 기반 위치의 유효성을 평가할 수 있다. 이때 선수 추적 서버(1000)는, 이미지 기반 위치의 이격(internal disparity)에 기초한 이미지 기반 위치의 유효성 평가 결과에 기초하여, 이미지 기반 위치에 대한 신뢰도 인덱스를 생성할 수 있다.

이때 선수 추적 서버(1000)는 생성된 측위 센서 기반 위치에 대한 신뢰도 인덱스와 이미지 기반 위치에 대한 신뢰도 인덱스를 비교함으로써, 스포츠 참가자의 위치를 결정할 수 있다.

여기서, 측위 센서 기반 위치에 대한 신뢰도 인덱스와 이미지 기반 위치에 대한 신뢰도 인덱스를 비교하기 위해서는, 신뢰도 인덱스 간의 표준화가 필요하다. 따라서, 본 출원의 일 실시예에 따른 선수 추적 서버(1000)는 이미지 기반 위치와 관련된 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 신뢰도 인덱스의 표준화를 수행할 수 있다. 구체적으로 선수 추적 서버(1000)는 이미지 기반 위치와 관련된 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 신뢰도 인덱스의 표준화를 수행할 수 있다.

상기 선수 추적 서버(1000)에 의한 신뢰도 인덱스 표준화는, 임의의 적절한 통계적인 방법이나 표준화 모델을 사용하여, 측위 센서 기반 위치에 대한 신뢰도 인덱스와 이미지 기반 위치에 대한 신뢰도 인덱스를 비교할 수 있도록 각각의 신뢰도 인덱스를 보정하거나 표준화할 수 있다.

도 22를 참고한다. 도 22는 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이다.

도 22를 참고하면, 본 출원의 일 실시예에 따른 선수 추적 방법은 측위 센서 데이터및 측위 센서 기반 위치를 획득하는 단계(S5100), 이미지 데이터 및 이미지 기반 위치를 획득하는 단계(S5200), 측위 센서 기반 위치 및 이미지 기반 위치 중 적어도 하나의 오차 가능성 판단하는 단계(S5300) 및 선수의 위치를 결정하는 단계(S5400, S5500 및 S5600)를 포함할 수 있다. 이때, 상기 선수의 위치를 결정하는 단계는, 상기 S5300 단계의 오차 가능성 판단 결과에 따라, 측위 센서 기반 위치와 이미지 기반 위치의 신뢰도 인덱스 각각을 비교(S5500)하여 선수의 위치를 결정하는 단계(S5600) 및 측위 센서 기반 위치 및 이미지 기반 위치 중 하나에 기초하여 선수의 위치를 결정하는 단계(S5400)로 구현될 수 있다.

상기 S5100 단계에서는 측위 센서 장치(210, 220)로부터 송신된 측위 센서 데이터가 획득될 수 있다. 또한, 상기 측위 센서 데이터로부터 측위 센서 기반 위치가 획득될 수 있다. 상기 측위 센서 기반 위치는 측위 센서 데이터에 포함된 위치와 관련된 데이터로부터 획득될 수 있으며, 혹은 측위 센서 데이터에 포함된 속도나 가속도와 관련된 데이터로부터 획득될 수 있다.

상기 S5200 단계에서는 이미지 캡처 장치(300)로부터 송신된 이미지 데이터가 획득될 수 있다. 또한, 상기 이미지 데이터로부터 이미지 기반 위치가 획득될 수 있다. 상기 이미지 기반 위치는 이미지 데이터에 포함된 스포츠 참가자의 위치에 대응되는 픽셀의 좌표값으로부터 획득될 수 있다.

상기 S5300 단계에서는 상기 S5100 단계에서 획득된 측위 센서 기반 위치와 상기 S5200 단계에서 획득된 이미지 기반 위치 각각에 대한 유효 여부가 판단될 수 있다. 따라서, 도 5 내지 도 12과 관련한 서술한 이미지 기반 위치와 측위 센서 기반 위치의 유효성을 판단하는 선수 추적 서버(1000)의 실시예들이 상기 S5400 단계에서 구현될 수 있다.

일 실시예에 따르면, 상기 S5300 단계에서는, 측위 센서 기반 위치 및 이미지 기반 위치 중 적어도 하나의 오차 가능성이 판단될 수 있다.

일 예로, 측위 센서 기반 위치 및 이미지 기반 위치 중 적어도 하나의 오차 가능성은 측위 센서 기반 위치와 이미지 기반 위치 간의 차이를 고려하여 판단될 수 있다.

예를 들어, 선수 추적 서버(1000)는 이미지 데이터로부터 획득된 스포츠 참가자의 이미지 기반 위치와 측위 센서 데이터로부터 획득된 스포츠 참가자의 측위 센서 기반 위치 간의 이격도 지수(disparity index)를 시간 변수에 따라 계산할 수 있다. 이때, 선수 추적 서버(1000)는 이격도 지수에 기초하여 이미지 기반 위치와 측위 센서 기반 위치 중 적어도 하나의 유효성을 판단할 수 있다.

구체적으로 선수 추적 서버(1000)는 제1 시점에서 획득된 제1 이미지 기반 위치와 제1 측위 센서 기반 위치 간의 차이에 대응되는 제1 이격도 지수를 계산할 수 있다. 또한, 선수 추적 서버(1000)는 제2 시점에서 획득된 제2 이미지 기반 위치와 제2 측위 센서 기반 위치 간의 차이에 대응되는 제2 이격도 지수를 계산할 수 있다.

이때, 선수 추적 서버(1000)는 상기 제1 이격도 지수와 상기 제2 이격도 지수의 "크기"를 고려하여 측위 센서 기반 위치(예, 제1 측위 센서 기반 위치, 제2 측위 센서 기반 위치)와 이미지 기반 위치(예, 제1 이미지 기반 위치, 제2 이미지 기반 위치) 중 적어도 하나의 유효성을 평가할 수 있다. 예를 들어 제1 이격도 지수가 미리 결정된 제1 임계값을 초과하는 경우에는, 상기 선수 추적 서버(1000)는 제1 시점에서 획득된 제1 이미지 기반 위치와 제1 측위 센서 기반 위치 중 적어도 하나가 오차가 존재한다고 판단할 수 있다. 반면, 제2 이격도 지수가 미리 결정된 제2 임계값 미만인 경우에는, 선수 추적 서버(1000)는 제2 시점에서 획득된 제2 이미지 기반 위치와 제2 측위 센서 기반 위치 중 하나 이상이 유효하다고 판단할 수 있다. 이때, 상기 제1 임계값과 상기 제2 임계값은 동일한 값일 수 있으나 다른 값으로 미리 결정될 수 있다.

또한, 선수 추적 서버(1000)는 상기 제1 이격도 지수가 상기 제2 이격도 지수의 "변화"를 고려하여 측위 센서 기반 위치(예, 제1 측위 센서 기반 위치, 제2 측위 센서 기반 위치)와 이미지 기반 위치(예, 제1 이미지 기반 위치, 제2 이미지 기반 위치) 중 적어도 하나의 유효성을 평가할 수 있다.

예를 들어, 제1 이격도 지수와 제2 이격도 지수의 변화값이 미리 결정된 제3 임계값을 초과하는 경우(바람직하게는 제1 이격도 지수과 관련된 제1 이미지 기반 위치와 제1 측위 센서 기반 위치는 유효하다고 판단된 경우)에는, 상기 선수 추적 서버(1000)는 제2 시점에서 획득된 제1 이미지 기반 위치와 제1 측위 센서 기반 위치 중 적어도 하나가 오차가 존재한다고 판단할 수 있다. 반면, 제1 이격도 지수와 제2 이격도 지수의 변화값이 미리 결정된 제4 임계값을 미만인 경우(바람직하게는 제1 이격도 지수과 관련된 제1 이미지 기반 위치와 제1 측위 센서 기반 위치는 유효하다고 판단된 경우)에는, 선수 추적 서버(1000)는 제2 시점에서 획득된 제2 이미지 기반 위치와 제2 측위 센서 기반 위치 중 하나 이상이 유효하다고 판단할 수 있다. 이때, 상기 제3 임계값과 상기 제4 임계값은 동일한 값일 수 있으나 다른 값으로 미리 결정될 수 있다.

상술한 이미지 기반 위치와 측위 센서 기반 위치 간의 차이를 고려하여 이미지 기반 위치와 측위 센서 기반 위치 중 적어도 하나의 오차 가능성을 판단하는 내용은 예시에 불과하며, 이미지 기반 위치와 측위 센서 기반 위치 간의 차이를 고려한 임의의 적절한 방법을 이용하여 이미지 기반 위치나 측위 센서 기반 위치의 유효성이 판단될 수 있을 것이다.

상기 S5300 단계에서 측위 센서 기반 위치 및 이미지 기반 위치 중 적어도 하나의 오차 가능성이 없다고 판단된다면, 즉 측위 센서 기반 위치와 이미지 기반 위치가 모두 유효하다고 판단된 경우에는, 상기 S5400 단계에서는, 선수 추적 서버(1000)는 측위 센서 기반 위치와 이미지 기반 위치 중 하나에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.

또는, 측위 센서 기반 위치와 이미지 기반 위치가 오차 가능성이 적기 때문에 선수 추적 서버(1000)는 측위 센서 기반 위치와 이미지 기반 위치를 모두 고려하여 스포츠 참가자의 위치를 결정할 수 있다. 예를 들어, 측위 센서 기반 위치와 이미지 기반 위치의 평균값으로 스포츠 참가자의 위치를 결정할 수 있다. 혹은 측위 센서 기반 위치와 이미지 기반 위치 각각에 대한 신뢰도 인덱스를 고려하여 스포츠 참가자의 위치를 결정할 수 있을 것이다.

상기 S5300 단계에서 측위 센서 기반 위치 및 이미지 기반 위치 중 적어도 하나의 오차 가능성이 존재한다고 판단된다면, 즉 측위 센서 기반 위치와 이미지 기반 위치 중 적어도 하나가 유효하지 않다고 판단된 경우에는, 상기 S5500 단계에서는, 측위 센서 기반 위치에 대한 제1 신뢰도 인덱스와 이미지 기반 위치의 제2 신뢰도 인덱스를 비교하는 단계가 선수 추적 서버(1000)는 의해 수행될 수 있다.

구체적으로 선수 추적 서버(1000)는, 측위 센서 데이터에 포함된 신뢰도에 대한 정보를 고려하여 측위 센서 기반 위치에 대한 제1 신뢰도 인덱스를 생성할 수 있다. 혹은 선수 추적 서버(1000)는 측위 센서 기반 위치의 이격(internal disparity)에 기초한 측위 센서 기반 위치에 대한 유효성 판단 결과에 기초하여 측위 센서 기반 위치에 대한 제1 신뢰도 인덱스를 생성할 수 있다.

또한, 선수 추적 서버(1000)는, 이미지 기반 위치와 관련된 오클루전 이벤트, 스포츠 참가자의 수직적인 움직임 및 이격(internal disparity) 중 적어도 하나에 기초한 이미지 기반 위치에 대한 유효성 판단 결과에 기초하여 이미지 기반 위치에 대한 제2 신뢰도 인덱스를 생성할 수 있다.

또한, 선수 추적 서버(1000)는 상기 제1 신뢰도 인덱스와 상기 제2 신뢰도 인덱스를 표준화할 수 있다.

이때, 상기 S5500 및 상기 S5600 단계에서는, 선수 추적 서버(1000)가 측위 센서 기반 위치에 대한 상기 제1 신뢰도 인덱스와 이미지 기반 위치에 대한 상기 제2 신뢰도 인덱스를 비교함으로써, 스포츠 참가자의 위치가 결정될 수 있다.

일 예로, 선수 추적 서버(1000)는 상기 제1 신뢰도 인덱스와 제2 신뢰도 인덱스 중 높은 신뢰도 인덱스에 대응하는 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.

예를 들어, 상기 제1 신뢰도 인덱스가 제2 신뢰도 인덱스보다 더 큰 경우, 즉 제1 신뢰도 인덱스에 대응하는 측위 센서 기반 위치가 상대적으로 신뢰도가 높은 경우, 선수 추적 서버(1000)는 측위 센서 기반 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.

다른 예를 들어, 상기 제2 신뢰도 인덱스가 제1 신뢰도 인덱스보다 더 큰 경우, 즉 제2 신뢰도 인덱스에 대응하는 이미지 기반 위치가 상대적으로 신뢰도가 높은 경우, 선수 추적 서버(1000)는 이미지 기반 위치에 기초하여 스포츠 참가자의 위치를 결정할 수 있다.

다른 예로, 선수 추적 서버(1000)는 상기 제1 신뢰도 인덱스와 제2 신뢰도 인덱스를 고려하여, 측위 센서 기반 위치와 이미지 기반 위치에 대하여 적절한 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다.

예를 들어, 상기 제1 신뢰도 인덱스가 상기 제2 신뢰도 인덱스보다 큰 값이라면, 선수 추적 서버(1000)는 측위 센서 기반 위치에 상대적으로 높은 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다.

예를 들어, 상기 제2 신뢰도 인덱스가 상기 제1 신뢰도 인덱스보다 큰 값이라면, 선수 추적 서버(1000)는 이미지 기반 위치에 상대적으로 높은 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다.

예를 들어, 상기 제1 신뢰도 인덱스가 상기 제2 신뢰도 인덱스와 유사하거나 실질적으로 동일하다면, 선수 추적 서버(1000)는 측위 센서 기반 위치와 이미지 기반 위치에 유사한 가중치를 부여(예, 1: 1 가중치 평균)하여 스포츠 참가자의 위치를 결정할 수 있다.

상술한 본 출원에 개시된 일 실시예에 따른 선수 추적 방법에 의하면, 측위 센서 기반 위치와 이미지 기반 위치 중 적어도 하나에 대한 오차 가능성을 판단함으로써, 스포츠 참가자의 위치를 정확하게 측정할 수 있다.

또한, 측위 센서 기반 위치와 이미지 기반 위치 중 적어도 하나가 오차가 존재할 수 있는 경우에도, 측위 센서 기반 위치와 이미지 기반 위치의 신뢰도를 평가함으로써, 오차가 존재할 수 있는 경우에도 스포츠 참가자의 위치를 정확하게 측정할 수 있다는 장점이 존재한다.

상술한 바에 따르면, 상기 S5300 단계에서 이미지 기반 위치와 측위 센서 기반 위치 간의 차이를 고려한 유효성 판단하는 내용을 중심으로 기재하였으나, 이는 예시에 불과하며, 도 5 내지 도 12와 관련한 이미지 기반 위치와 측위 센서 기반 위치에 대한 유효성 판단하는 내용이 동일하게 적용될 수 있을 것이다.

스포츠 참가자의 위치를 획득함에 있어, 스포츠 참가자가 위치하는 플레이필드의 영역에 따라 스포츠 참가자의 위치에 대한 정확도가 변화할 수 있다. 다시 말해, 스포츠 참가자가 위치하는 플레이필드의 영역에 따라, 획득된 위치에 대한 신뢰도가 변화할 수 있다. 이는, 스포츠 참가자가 위치하는 플레이필드의 영역별로 센서-시그널 혹은 이미지 데이터과 관련된 신뢰도가 변화할 수 있기 때문이다.

예를 들어, 측위 센서 데이터로부터 획득된 스포츠 참가자 위치의 신뢰도는 스포츠 참가자가 위치하는 플레이필드 주변의 경기장의 구조나 경기장의 형태에 영향을 받을 수 있다. 따라서 플레이필드 영역별로 경기장의 구조나 형태 등에 영향을 받는 정도가 상이할 수 있기 때문에, 측위 센서 데이터로부터 획득된 스포츠 참가자 위치의 신뢰도는 플레이필드의 영역별로 상이할 수 있다.

또한, 이미지 데이터로부터 획득된 스포츠 참가자의 위치의 신뢰도는 이미지 캡처 장치의 위치, 각도, 렌즈 왜곡 등의 요인에 영향을 받을 수 있다. 따라서, 이미지 캡처 장치로부터 획득된 스포츠 참가자의 위치는 플레이필드 영역별로 그 신뢰도가 상이할 수 있다.

따라서, 본 출원에 개시된 일 실시예에 따른 또 다른 예의 선수 추적 방법은 플레이필드 영역별로 신뢰도 맵을 생성하며 스포츠 참가자가 위치하는 플레이필드 영역에 따른 신뢰도 정보를 이용할 수 있다. 따라서, 본 출원에 개시된 일 실시예에 따른 선수 추적 방법에 따르면, 정확도가 향상된 스포츠 참가자의 위치를 획득할 수 있다.

본 출원의 일 실시예에 따른 선수 추적 방법은, 도 3에 도시된 선수 추적 시스템 (100)에 의해 구현될 수 있다. 또한 본 출원의 일 실시예에 따른 선수 추적 방법은, 도 4에 도시된 선수 추적 서버(1000)에 의해 구현될 수 있다.

본 출원의 일 실시예에 따른 선수 추적 서버(1000)는 이미지 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스를 생성할 수 있다. 또한, 선수 추적 서버(1000)는 생성된 이미지 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스를 기초로 하여 신뢰도 맵을 각각 생성할 수 있다. 구체적으로 선수 추적 서버(1000)는 생성된 이미지 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스를 기초로 하여 신뢰도 맵을 각각 생성하도록 제공될 수 있다.

선수 추적 서버(1000)는 플레이필드의 영역별로, 이미지 데이터로부터 획득된 스포츠 참가자의 위치와 관련된 신뢰도 인덱스를 생성할 수 있다. 이때, 선수 추적 서버(1000)는 이미지 기반 위치의 유효성을 평가한 결과와 스포츠 참가자의 플레이필드 내의 위치를 고려하여 이미지 기반 위치에 대한 신뢰도 인덱스를 플레이필드의 영역별로 생성할 수 있다.

이미지 기반 위치의 유효성을 판단하는 것과 관련하여는, 도 5 내지 도 10과 관련하여 서술한 내용이 유사하게 적용될 수 있다.

선수 추적 서버(1000)는 플레이필드의 영역별로, 측위 센서 데이터로부터 획득된 스포츠 참가자의 위치와 관련된 신뢰도 인덱스를 생성할 수 있다. 이때, 선수 추적 서버(1000)는 측위 센서 기반 위치의 유효성을 평가한 결과와 스포츠 참가자의 플레이필드 내의 위치를 고려하여 측위 센서 기반 위치에 대한 신뢰도 인덱스를 플레이필드의 영역별로 생성할 수 있다.

측위 센서 기반 위치의 유효성을 판단하는 것과 관련하여는, 도 11 내지 도 12와 관련하여 서술한 내용이 유사하게 적용될 수 있다.

또한, 선수 추적 서버(1000)는 이미지 기반 위치와 관련된 신뢰도 인덱스와 측위 센서 기반 위치와 관련된 신뢰도 인덱스의 표준화를 수행하도록 제공될 수 있다. 선수 추적 서버(1000)에 의한 신뢰도 인덱스 표준화는, 임의의 적절한 통계적인 방법이나 표준화 모델을 사용하여, 측위 센서 기반 위치에 대한 신뢰도 인덱스와 이미지 기반 위치에 대한 신뢰도 인덱스를 비교할 수 있도록 각각의 신뢰도 인덱스를 보정하거나 표준화할 수 있다.

또한, 선수 추적 서버(1000)는 생성 및 표준화된 측위 센서 기반 위치와 관련된 플레이필드 영역별 신뢰도 인덱스에 기초하여 제1 신뢰도 맵을 생성할 수 있다. 이때, 상기 제1 신뢰도 맵은 플레이필드의 영역에 따라 획득된 측위 센서 기반 위치와 관련된 신뢰도 인덱스에 대한 정보를 포함할 수 있다.

도 23을 참고한다. 도 23은 본 출원의 일 실시예에 따른 제1 신뢰도 맵의 예시적인 도면이다. 도 23을 참고하면, 제1 신뢰도 맵은 측위 센서 기반 위치와 관련된 신뢰도 정보를 포함할 수 있다.

상기 제1 신뢰도 맵에 포함된 제1 영역(R1_sensor), 제2 영역(R2_sensor), 제3 영역(R3_sensor) 및 제4 영역(R4_sensor)을 포함하는 복수의 영역은 플레이필드의 복수의 영역들에 대응되는 영역일 수 있다.

또한, 제1 신뢰도 맵에 포함된 복수의 영역별로 측위 센서 기반 위치와 관련된 신뢰도 정보가 상이할 수 있다.

일 예로, 제1 신뢰도 맵의 제1 영역(R1_sensor)과 관련된 신뢰도 정보는 상대적으로 높은 값일 수 있다. 예를 들어, 플레이필드 주변의 경기장의 구조를 고려할 때, 상기 제1 영역(R1_sensor)에 대응되는 플레이필드의 중심부에 스포츠 참가자가 위치하는 경우 신뢰도가 높은 센서-시그널이 수신될 수 있다.

다른 예로, 제1 신뢰도 맵의 제2 영역(R2_sensor)과 관련된 신뢰도 정보는 상대적으로 낮은 값일 수 있다. 예를 들어, 플레이필드 주변의 경기장의 구조를 고려할 때, 상기 제2 영역(R2_sensor)에 대응되는 플레이필드의 가장자리부에 스포츠 참가자가 위치하는 경우에는, 경기장의 구조에 따라 센서-시그널이 영향을 받을 수 있어 신뢰도가 상대적으로 낮은 센서-시그널이 수신될 수 있다.

또 다른 예로, 제1 신뢰도 맵의 제3 영역(R3_sensor) 혹은 제4 영역(R4_sensor)과 관련된 신뢰도 정보는 상기 제1 영역(R1_sensor)과 관련된 신뢰도보다는 낮으며, 상기 제2 영역(R3_sensor)과 관련된 신뢰도보다는 높은 값 일 수 있다.

다만, 상술한 제1 신뢰도 맵의 영역별 신뢰도는 설명의 편의를 위한 예시에 불과하며, 경기장의 구조 및 형태에 따라 그 영역별 신뢰도가 변할 수 있음은 자명하다.

또한, 선수 추적 서버(1000)는, 생성 및 표준화된 표준화된 이미지 기반 위치와 관련된 플레이필드의 영역별 신뢰도 인덱스에 기초하여 제2 신뢰도 맵을 생성할 수 있다.

이때, 상기 제2 신뢰도 맵은 플레이필드의 영역에 따라 획득된 이미지 기반 위치와 관련된 신뢰도 인덱스에 대한 정보를 포함할 수 있다.

도 24를 참고한다. 도 24는 본 출원의 일 실시예에 따른 제2 신뢰도 맵의 예시적인 도면이다. 도 24를 참고하면, 제2 신뢰도 맵은 이미지 기반 위치와 관련된 신뢰도 정보를 포함할 수 있다.

상기 제2 신뢰도 맵에 포함된 제1 영역(R1_image), 제2 영역(R2_image), 제3 영역(R3_image), 제4 영역(R4_image) 및 제5 영역(R5_image)을 포함하는 복수의 영역은 플레이필드의 복수의 영역들에 대응되는 영역일 수 있다.

또한, 제2 신뢰도 맵에 포함된 복수의 영역별로 이미지 기반 위치와 관련된 신뢰도 정보가 상이할 수 있다.

일 예로, 제2 신뢰도 맵의 제1 영역(R1_ image)과 관련된 신뢰도 정보는 상대적으로 높은 값일 수 있다. 예를 들어, 이미지 캡처 장치(300)의 위치와 각도를 포함하는 포즈를 고려할 때, 상기 제1 영역(R1_image)에 대응되는 플레이필드의 영역에 스포츠 참가자가 위치하는 경우, 왜곡이 상대적으로 적은 이미지 데이터가 획득될 수 있다. 따라서, 상기 제1 영역(R1_image)에 대응되는 플레이필드의 영역에 스포츠 참가자가 위치하는 경우에 이미지 데이터로부터 획득된 이미지 기반 위치는 상대적으로 신뢰도가 높을 수 있다.

다른 예로, 제2 신뢰도 맵의 제2 영역(R2_image)과 관련된 신뢰도 정보는 상대적으로 낮은 값일 수 있다. 예를 들어, 이미지 캡처 장치(300)의 위치와 각도를 포함하는 포즈를 고려할 때, 상기 제2 영역(R2_image)에 대응되는 플레이필드의 영역에 스포츠 참가자가 위치하는 경우, 왜곡이 상대적으로 많은 이미지 데이터가 획득될 수 있다. 따라서, 상기 제2 영역(R2_image)에 대응되는 플레이필드의 영역에 스포츠 참가자가 위치하는 경우에 이미지 데이터로부터 획득된 이미지 기반 위치는 상대적으로 신뢰도가 낮을 수 있다.

또 다른 예로, 제2 신뢰도 맵의 제3 영역(R3_image), 제4 영역(R4_ image) 또는 제5 영역(R5_image)과 관련된 신뢰도 정보는, 이미지 캡처 장치(300)의 위치와 각도를 포함하는 포즈를 고려할 때, 제2 신뢰도 맵의 상기 제1 영역(R1_image)과 관련된 신뢰도보다는 낮으며, 상기 제2 영역(R2_ image)과 관련된 신뢰도보다는 높은 값 일 수 있다.

다만, 상술한 제2 신뢰도 맵의 영역별 신뢰도는 설명의 편의를 위한 예시에 불과하며, 이미지 캡처 장치(300)의 위치와 포즈와 관련된 배열, 개수, 렌즈의 왜곡 등에 따라 영역별 신뢰도가 변할 수 있음은 자명하다.

도 25를 참고한다. 도 25는 본 출원의 일 실시예에 따른 선수 추적 방법의 흐름도를 나타낸 도면이다.

도 25를 참고하면, 본 출원의 일 실시예에 따른 선수 추적 방법은, 측위 센서 데이터및 측위 센서 기반 위치를 획득하는 단계(S6100), 측위 센서 기반 위치의 영역별 신뢰도를 획득하는 단계(S6200), 이미지 데이터 및 이미지 기반 위치를 획득하는 단계(S6300), 이미지 기반 위치의 영역별 신뢰도를 획득하는 단계(S6400), 신뢰도 맵을 생성하는 단계(S6500) 및 신뢰도 맵 영역의 신뢰도에 기초하여 선수의 위치를 결정하는 단계(S6600)를 포함할 수 있다.

상기 S6100 단계에서는 측위 센서 장치(210, 220)로부터 송신된 측위 센서 데이터가 획득될 수 있다. 또한, 상기 측위 센서 데이터로부터 측위 센서 기반 위치가 획득될 수 있다. 상기 측위 센서 기반 위치는 측위 센서 데이터에 포함된 위치와 관련된 데이터로부터 획득될 수 있으며, 혹은 측위 센서 데이터에 포함된 속도나 가속도와 관련된 데이터로부터 획득될 수 있다.

상기 S6200 단계에서는, 측위 센서 기반 위치의 영역별 신뢰도가 획득될 수 있다.

이때, 측위 센서 기반 위치의 영역별 신뢰도는, 선수 추적 서버(1000)에 의해 생성될 수 있다. 예를 들어, 상술한 바와 같이, 선수 추적 서버(1000)는 플레이필드의 영역별로, 측위 센서 데이터로부터 획득된 스포츠 참가자의 위치와 관련된 신뢰도 인덱스를 생성할 수 있다. 이때, 선수 추적 서버(1000)는 측위 센서 기반 위치의 유효성을 평가한 결과와 스포츠 참가자의 플레이필드 내의 위치를 고려하여 측위 센서 기반 위치에 대한 신뢰도 인덱스를 플레이필드의 영역별로 생성할 수 있다.

또한, 측위 센서 기반 위치의 영역별 신뢰도는, 선수 추적 서버(1000)에 의해 표준화된 신뢰도 인덱스일 수 있다.

선수 추적 서버(1000)는 획득된 상기 측위 센서 기반 위치의 영역별 신뢰도에 기초하여 측위 센서 기반 위치와 관련된 신뢰도 맵을 생성할 수 있다.

상기 S6300 단계에서는 이미지 캡처 장치(300)로부터 송신된 이미지 데이터가 획득될 수 있다. 또한, 상기 이미지 데이터로부터 이미지 기반 위치가 획득될 수 있다. 상기 이미지 기반 위치는 이미지 데이터에 포함된 스포츠 참가자의 위치에 대응되는 픽셀의 좌표값으로부터 획득될 수 있다.

상기 S6400 단계에서는, 이미지 기반 위치의 영역별 신뢰도가 획득될 수 있다.

이때, 이미지 기반 위치의 영역별 신뢰도는, 선수 추적 서버(1000)에 의해 생성될 수 있다. 예를 들어, 상술한 바와 같이 선수 추적 서버(1000)는 플레이필드의 영역별로, 이미지 데이터로부터 획득된 스포츠 참가자의 위치와 관련된 신뢰도 인덱스를 생성할 수 있다. 이때, 선수 추적 서버(1000)는 이미지 기반 위치의 유효성을 평가한 결과와 스포츠 참가자의 플레이필드 내의 위치를 고려하여 이미지 기반 위치에 대한 신뢰도 인덱스를 플레이필드의 영역별로 생성할 수 있다.

또한, 이미지 기반 위치의 영역별 신뢰도는, 표준화된 신뢰도 인덱스일 수 있다.

선수 추적 서버(1000)는 획득된 상기 이미지 기반 위치의 영역별 신뢰도에 기초하여 이미지 기반 위치와 관련된 신뢰도 맵을 생성할 수 있다.

상기 S6500 단계에서는, 선수 추적 서버(1000)는 측위 센서 기반 위치의 영역별 신뢰도 및 이미지 기반 위치의 영역별 신뢰도를 고려하여, 측위 센서 기반 위치와 관련된 제1 신뢰도 맵과 이미지 기반 위치와 관련된 제2 신뢰도 맵을 생성할 수 있다.

상술한 바에 따르면, 선수 추적 서버(1000)가 측위 센서 기반 위치와 관련된 제1 신뢰도 맵과 이미지 기반 위치와 관련된 제2 신뢰도 맵을 각각 생성하는 것으로 서술하였으나, 이는 예시에 불과하며, 선수 추적 서버(1000)는 측위 센서 기반 위치의 영역별 신뢰도와 이미지 기반 위치의 영역별 신뢰도를 모두 고려한, 단일의 신뢰도 맵을 생성할 수 있다.

상기 S6600 단계에서, 선수 추적 서버(1000)는 상기 S7500 단계에서 생성된 측위 센서 기반 위치와 관련된 제1 신뢰도 맵과 이미지 기반 위치와 관련된 제2 신뢰도 맵에 포함된 신뢰도 정보를 고려하여 스포츠 참가자의 위치를 결정할 수 있다.

이를 위해서는, 상기 제1 신뢰도 맵과 상기 제2 신뢰도 맵 각각의 영역에 대응하는 스포츠 참가자의 위치가 추가적으로 고려되어야 한다.

따라서, 선수 추적 서버(1000)는 추가적으로 스포츠 참가자가 위치하는 플레이필드 영역에 대한 정보를 더 획득하도록 구현될 수 있다.

예를 들어, 선수 추적 서버(1000)는 측위 센서 데이터로부터 스포츠 참가자의 위치와 관련된 데이터를 획득할 수 있으며, 선수 추적 서버(1000)는 측위 센서 데이터에 포함된 스포츠 참가자의 위치와 관련된 데이터를 기초로, 스포츠 참가자가 위치하는 플레이필드 영역을 검출할 수 있다.

다른 예를 들어, 선수 추적 서버(1000)는 이미지 데이터로부터 스포츠 참가자의 위치와 관련된 데이터를 획득할 수 있으며, 선수 추적 서버(1000)는 이미지 데이터에 포함된 스포츠 참가자의 위치와 관련된 데이터를 기초로, 스포츠 참가자가 위치하는 플레이필드 영역을 검출할 수 있다.

순차적으로 선수 추적 서버(1000)는 검출된 스포츠 참가자의 위치하는 영역에 대응하는 제1 신뢰도 맵 영역의 제1 신뢰도 정보 및 제2 신뢰도 맵 영역의 제2 신뢰도 정보를 고려하여 스포츠 참가자의 위치를 결정할 수 있다.

일 예로, 선수 추적 서버(1000)는 상기 제1 신뢰도 정보 및 제2 신뢰도 정보 중 높은 신뢰도 정보를 가진 데이터로부터 획득된 위치를 고려하여 스포츠 참가자의 위치를 결정할 수 있다.

예를 들어, 제1 신뢰도 정보가 제2 신뢰도 정보보다 높은 영역에 스포츠 참가자가 위치하는 경우에는, 선수 추적 서버(1000)는 측위 센서 기반 위치를 기초로 하여 스포츠 참가자의 위치를 결정할 수 있다.

다른 예를 들어, 제2 신뢰도 정보가 제1 신뢰도 정보보다 높은 영역에 스포츠 참가자가 위치하는 경우에는, 선수 추적 서버(1000)는 이미지 기반 위치를 기초로 하여 스포츠 참가자의 위치를 결정할 수 있다.

다른 예로, 선수 추적 서버(1000)는 상기 제1 신뢰도 정보 및 제2 신뢰도 정보에 따라 가중치를 부여하여 스포츠 참가자의 위치를 결정할 수 있다.

예를 들어, 제1 신뢰도 정보가 제2 신뢰도 정보보다 높은 영역에 스포츠 참가자가 위치하는 경우에는, 선수 추적 서버(1000)는 이미지 기반 위치보다 측위 센서 기반 위치에 상대적으로 높은 가중치를 부여하여 하여 스포츠 참가자의 위치를 결정할 수 있다.

다른 예를 들어, 제2 신뢰도 정보가 제1 신뢰도 정보보다 높은 영역에 스포츠 참가자가 위치하는 경우에는, 선수 추적 서버(1000)는 측위 센서 기반 위치보다 이미지 기반 위치에 상대적으로 높은 가중치를 부여하여 하여 스포츠 참가자의 위치를 결정할 수 있다.

상술한 신뢰도 맵은 스포츠 경기 중에 실시간으로 생성되거나 업데이트될 수 있다. 다만 이는 예시에 불과하며, 스포츠 경기 시작 전에도 이미지 기반 위치와 측위 센서 기반 위치와 관련된 신뢰도 맵이 미리 생성될 수 있을 것이다.

이상에서는 적어도 하나의 이미지 캡처 장치로부터 이미지 기반 위치를 획득하며, 측위 센서 기반 위치를 함께 고려하여 스포츠 참가자의 위치의 정확도를 높이는 일 실시예에 대하여 서술하였다.

이하에서는 복수의 이미지 캡처 장치로부터 획득된 복수의 이미지 데이터에 기초하여 스포츠 참가자의 위치의 정확도를 높이는 일 실시예에 따른 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템에 대하여 구체적으로 서술하기로 한다. 본 실시예에 따른 선수 추적 시스템(100)에서는 복수의 이미지 캡처 장치로부터 획득된 복수의 이미지 데이터에 기초하여 스포츠 참가자의 위치의 정확도를 올리는 내용을 중심으로 서술하나, 상술한 측위 센서 기반 위치를 함께 고려하는 것을 결합하거나 조합하는 것은 자명하다.

도 26은 본 출원의 일 실시예에 따른 선수 추적 장치, 선수 추적 시스템 및 선수 추적 방법에 관한 개략도이다.

도 26을 참고하면, 본 출원의 일 실시예에 따른 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템은 복수의 이미지 캡처 장치로부터 획득된 이미지 데이터를 이용하여 선수 위치를 추적할 수 있다.

이하에서는 본 출원의 일 실시예에 따른 선수 추적 시스템(100)에 관하여 도 26을 참고하여 설명한다.

도 26을 참고하면, 선수 추적 시스템(100)은, 복수의 이미지 캡처 장치(301, 302, 303, 304), 측위 센서 장치(200) 및 선수 추적 장치(2000)를 포함할 수 있다. 한편, 도 26에는 도 3에 도시된 중간 서버(400)나 플레이필드의 도시되지 않았으나, 이는 설명의 편의를 위한 것이며 도 3의 선수 추적 시스템(100)의 중간서버(400)를 통하여 이미지 데이터나 측위 센서 데이터를 획득할 수 있다.

선수 추적 시스템(100)의 복수의 이미지 캡처 장치(301, 302, 303, 304)는 플레이필드와 스포츠 참가자(1)를 촬영할 수 있으며, 선수 추적 장치(2000)는 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 획득된 이미지 데이터에 기초하여 스포츠 참가자(1)의 위치를 결정하여 스포츠 참가자(1)의 위치를 지속적으로 추적할 수 있다.

도 26을 참고하면, 플레이필드 주변부에 복수의 이미지 캡처 장치들(301, 302, 303, 304)이 위치될 수 있다. 복수의 이미지 캡처 장치들(301, 302, 303, 304)은 복수의 스포츠 참가자들(1)과 플레이필드가 포함된 이미지 데이터를 촬영하여, 본 출원의 일 실시예에 따른 선수 추적 서버(2000)로 송신할 수 있다.

복수의 이미지 캡처 장치(301, 302, 303, 304)들은 도 26에 도시된 바와 같이 플레이필드의 주변부의 상이한 위치에 배치될 수 있다. 다만, 이는 예시에 불과하며, 복수의 이미지 캡처 장치(301, 302, 303, 304)들은 플레이필드의 주변부의 실질적으로 동일한 위치에 배치되거나 인접한 위치에 배치될 수 있다. 또한, 복수의 이미지 캡처 장치(301, 302, 303, 304)들은 임의의 적절한 위치에 다양한 배열로 배치될 수 있음은 자명하다.

이때, 선수 추적 장치(2000)는, 복수의 이미지 캡처 장치들로부터, 복수의 이미지 캡처 장치들의 위치 및 포즈와 관련된 배열 정보와, 복수의 이미지 캡처 장치들의 렌즈 왜곡 파라미터와 관련된 데이터를 추가적으로 획득할 수 있다. 이를 이용하여, 타겟 스포츠 참가자가 보다 잘 검출되거나 타겟 스포츠 참가자의 위치를 보다 정확히 획득할 수 있는 이미지 데이터가 선택될 수 있다. 이와 관련하여는 도 27및 도 28 관련하여 자세히 후술한다.

이때, 복수의 이미지 캡처 장치들로부터 획득된 각각의 이미지 데이터에는 촬영된 이미지 캡처 장치에 대한 정보가 라벨링되어 선수 추적 장치(2000)로 송신될 수 있다. 예를 들어, 제1 이미지 캡처 장치(301)로부터 획득된 제1 이미지 데이터가 제1 이미지 캡처 장치(301)로부터 촬영되었다는 임의의 적절한 데이터를 포함하도록 임의의 적절한 라벨링 기법이 적용될 수 있다. 또한, 제2 이미지 캡처 장치(302)로부터 획득된 제2 이미지 데이터가 제2 이미지 캡처 장치(302)로부터 촬영되었다는 임의의 적절한 데이터를 포함하도록 임의의 적절한 라벨링 기법이 적용될 수 있다. 이를 통하여, 오클루전 예측을 통하여 스포츠 참가자가 보다 잘 검출되거나 스포츠 참가자의 위치를 보다 정확히 획득할 수 있는 이미지 데이터를 획득할 수 있는 이미지 캡처 장치를 결정하여 스포츠 참가자를 추적할 수 있다. 이와 관련하여는 도 29 내지 도 30과 관련하여 자세히 후술한다.

이때, 복수의 스포츠 참가자들(1)은 측위 센서 장치(200)를 착용할 수 있으며, 선수 추적 서버(2000)는, 도 3과 관련하여 상술한 바와 같이, 측위 센서 데이터를 획득할 수 있다. 복수의 스포츠 참가자들(1)와 관련된 각각의 측위 센서 데이터는, 오클루전 여부를 검출하거나, 가상 플레이필드를 생성하거나, 오클루전 예측하는 데 고려될 수 있다. 이와 관련하여는 도 27 내지 31와 관련하여 자세히 후술한다.

선수 추적 장치(2000)는 임의의 적절한 형태의 서버 장치로 구현될 수 있다. 이하에서는 선수 추적 장치(2000)를 선수 추적 서버(2000)로 지칭하여 서술하나, 이것은 설명의 편의를 위한 것에 불과할 뿐, 선수 추적 장치(2000)가 반드시 서버 형태로 구현되어야 하는 것은 아니다.

이하에서는 본 출원의 일 실시예에 따른 선수 추적 서버(2000)에 대하여 설명한다.

본 명세서의 일 실시예에 따르면, 선수 추적 서버(2000)는 스포츠 참가자의 위치를 결정하기 위해 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 복수의 이미지 데이터를 획득할 수 있다. 또한 선수 추적 서버(2000)는 획득된 복수의 이미지 데이터로부터 추적하고자 하는 타겟 스포츠 참가자가 포함된 이미지를 후보 이미지로 선택할 수 있다. 또한 선수 추적 서버(2000)는 획득된 복수의 후보 이미지로부터 오클루전 이벤트를 고려하여 유효 이미지를 선택할 수 있다. 또한 선수 추적 서버(2000)는 선택된 유효 이미지로부터 타겟 스포츠 참가자를 위치를 결정할 수 있다.

본 명세서의 일 실시예에 따른 선수 추적 서버(2000)는 도 4와 관련하여 서술한 내용이 동일하게 적용될 수 있다. 즉, 선수 추적 서버(2000)는 통신 모듈(1100), 메모리(1200) 및 컨트롤러(1300)를 포함할 수 있다. 특히 통신 모듈(1100), 메모리(1200), 및 컨트롤러(1300)의 내용은 도 4와 관련한 내용이 동일하게 적용될 수 있는 바, 자세한 설명은 생략하기로 한다. 따라서, 이하에서는 선수 추적 서버(2000)에 추가되는 내용을 중심으로 서술한다.

이하에서는 선수 추적 방법과 관련하여 선수 추적 시스템(100)의 일 실시예에 의해 수행되는 몇몇 동작들에 대해서 보다 구체적으로 설명한다.

본 실시예에 따른 선수 추적 시스템(100)은 복수의 이미지 캡처 장치로부터 복수의 이미지 데이터를 획득할 수 있다. 구체적으로 선수 추적 서버(200)는 복수의 이미지 캡처 장치로부터 촬영된 복수의 이미지 데이터를 획득할 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 복수의 이미지 데이터로부터 후보이미지를 선택할 수 있다. 구체적으로 선수 추적 서버(2000)는, 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 획득된 복수의 이미지 데이터 각각에 대하여, 추적하고자 하는 타겟 스포츠 참가자를 검출하도록 구현될 수 있다. 구체적으로 복수의 이미지 데이터 각각은 복수의 스포츠 참가자에 대응되는 데이터(예, 픽셀)를 포함할 수 있다. 이때, 상기 선수 추적 서버(2000)는, 상술한 복수의 스포츠 참가자에 대응되는 데이터를 고려하여 스포츠 참가자들을 인식하도록 구현될 수 있으며, 인식된 스포츠 참가자들에 대응되는 식별자(identifier)와 관련된 데이터 등을 추가로 고려하여 타겟 스포츠 참가자를 검출할 수 있다.

또한, 상기 선수 추적 서버(2000)는, 상기 타겟 스포츠 참가자의 검출 결과에 따라 상기 복수의 이미지 데이터로부터 적어도 하나 이상의 후보 이미지를 선택하도록 구현될 수 있다. 예를 들어, 선수 추적 서버(2000)는 복수의 이미지 데이터들 중 상기 타겟 스포츠 참가자가 검출된 이미지 데이터를 후보 이미지로 선택하도록 구현될 수 있다. 상기 후보 이미지는 적어도 하나 이상일 수 있다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은, 타겟 스포츠 참가자의 위치를 결정하는데 고려될 수 있는 유효 이미지를 선택하도록 구현될 수 있다. 구체적으로 선수 추적 서버(2000)는, 선택된 적어도 하나 이상의 후보 이미지 중 타겟 스포츠 참가자의 위치를 결정하는데 고려될 수 있는 유효 이미지를 선택하도록 구현될 수 있다.

여기서 유효 이미지란, 타겟 스포츠 참가자의 위치를 결정하는데 고려될 수 있는 가능성이 있는 이미지를 포괄하는 의미로 사용될 수 있다. 예를 들어, 타겟 스포츠 참가자가 검출된 이미지는 모두 유효 이미지가 될 수 있다. 다만, 바람직한 실시예에 따르면, 보다 정확하게 타겟 스포츠 참가자의 위치를 결정하기 위하여, 유효 이미지는 타겟 스포츠 참가자와 관련되어 오클루전 이벤트가 검출되지 않은 이미지 혹은 오클루전 이벤트가 검출되었으나 오클루전 이벤트의 심각도가 심각하지는 않은 이미지로 정의될 수 있다.

일 예로, 선수 추적 서버(2000)는, 복수의 이미지 데이터에 대한 오클루전 이벤트 검출 여부 혹은 오클루전 이벤트의 발생 여부 판단 결과를 고려하여, 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 유효 이미지를 선택할 수 있다.

예를 들어, 선수 추적 서버(2000)는 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출되지 않은 후보 이미지들을 유효 이미지로 선택하도록 구현될 수 있다.

다른 예를 들어, 선수 추적 서버(2000)는, 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출되었으나 그 심각도가 심각하지 않고 마일드한 후보 이미지들을 유효 이미지로 선택하도록 구현될 수 있다.

또 다른 예를 들어, 선수 추적 서버(2000)는 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출된 후보 이미지에 대하여, 타겟 스포츠 참가자가 다른 스포츠 참가자를 가렸는지, 타겟 스포츠 참가자가 다른 스포츠 참가자에게 가려졌는지를 고려하여 유효 이미지를 선택하도록 구현될 수 있다.

구체적으로, 제1 후보이미지에서 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출되더라도 오클루전 이벤트가 타겟 스포츠 참가자가 다른 스포츠 참가자를 가림으로써 검출된 경우라면, 제1 후보 이미지로부터 타겟 스포츠 참가자의 위치를 결정하는 것은 상대적으로 정확도가 높을 수 있다.

반면 제2 후보이미지에서 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출되더라도 오클루전 이벤트가 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려짐으로써 검출된 경우라면, 제2 후보 이미지로부터 타겟 스포츠 참가자의 위치를 결정하는 것은 상대적으로 어려울 수 있다. 또한 상기 제2 후보 이미지로부터 획득된 타겟 스포츠 참가자의 위치는 그 정확도가 상대적으로 낮을 수 있다.

따라서, 선수 추적 서버(2000)는 후보 이미지에서 오클루전 이벤트가 타겟 스포츠 참가자가 다른 스포츠 참가자를 가림으로써 검출되었는지, 타겟 스포츠 참가자가 다른 스포츠 참가자를 가려짐으로써 검출되었는지 여부를 고려하여 유효 이미지를 선택하도록 구현될 수 있다. 바람직하게는, 이러한 선수 추적 서버(2000)의 동작은 대부분 혹은 모든 후보 이미지에서, 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출된 경우에 유리할 수 있다.

또 다른 예를 들어, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치(301, 302, 303, 304)의 위치 및 포즈와 관련된 배열 정보를 고려하여 유효 이미지를 선택하도록 구현될 수 있다. 구체적으로, 복수의 이미지 캡처 장치(301, 302, 303, 304)들은 플레이필드 주변부의 상이한 위치에 임의의 적절한 배열로 각각 배치될 수 있다. 이때, 선수 추적 서버(2000)는, 복수의 이미지 캡처 장치(301, 302, 303, 304)들로부터 획득된 복수의 이미지 데이터 중에서, 복수의 이미지 캡처 장치(301, 302, 303, 304)의 배열 정보를 고려하여, 상기 타겟 스포츠 참가자가 가장 크게 나온 이미지 데이터 혹은 가장 중심에 나온 이미지 데이터를 유효 이미지로 선택하도록 구현될 수 있다.

또 다른 예를 들어, 선수 추적 서버(2000)는, 렌즈 왜곡 파라미터를 고려하여 유효 이미지를 선택하도록 구현될 수 있다. 구체적으로 이미지 데이터의 중심부는 렌즈 왜곡 파라미터를 고려할 때 상대적으로 왜곡이 덜 발생할 가능성이 높다. 이에 따라, 타겟 스포츠 참가자가 이미지 데이터 중심부에 위치하는 이미지 데이터로부터 타겟 스포츠 참가자의 위치를 계산하는 경우, 그 위치의 정확도가 상대적으로 높을 수 있다. 반면 이미지 데이터의 가장자리부는 렌즈 왜곡 파라미터를 고려할 때 상대적으로 왜곡이 많이 발생할 가능성이 높다. 이에 따라, 타겟 스포츠 참가자가 이미지 데이터 가장자리부에 위치하는 이미지 데이터로부터 타겟 스포츠 참가자의 위치를 계산하는 경우, 그 위치의 정확도가 상대적으로 낮을 수 있다. 따라서, 선수 추적 서버(2000)는, 렌즈 왜곡 파라미터를 고려하여, 타겟 스포츠 참가자가 위치하는 이미지 데이터의 영역의 왜곡이 상대적으로 적은 이미지 데이터를 유효 이미지로 선택하도록 구현될 수 있다.

도 27을 참고한다. 도 27은 본 출원의 일 실시예에 따른 선수 추적 서버(2000)의 유효 이미지 선택하는 예시적인 과정을 나타낸 도면이다.

도 27(a)는 복수의 이미지 캡처 장치(301, 302, 303, 304)들로부터 획득된 복수의 이미지 데이터일 수 있다. 이때, 상기 도 27(a)의 복수의 이미지 데이터들은 동일한 시간적 시점에서 획득된 이미지 데이터들일 수 있다. 상기 도 27(a)의 복수의 이미지 데이터들은, 위치를 결정하고자 하는 타겟 스포츠 참가자가 포함된 이미지 데이터와 상기 타겟 스포츠 참가자가 포함되지 않은 이미지 데이터로 구성될 수 있다.

도 27(b)는 타겟 스포츠 참가자가 검출된 적어도 하나 이상의 후보 이미지일 수 있다. 구체적으로 선수 추적 서버(2000)는 도 27(a)의 복수의 이미지 데이터들 각각에 대하여 타겟 스포츠 참가자를 검출할 수 있으며, 타겟 스포츠 참가자가 검출된 이미지 데이터를 후보 이미지로 선택할 수 있다.

도 27(c)는 적어도 하나 이상의 유효 이미지일 수 있다. 구체적으로 상기 적어도 하나 이상의 유효 이미지는, 상기 도 27(b)의 후보 이미지 중에서 타겟 스포츠 참가자와 관련된 오클루전 이벤트이 검출되지 않은 이미지일 수 있다.

도 27(c)와 같이 유효 이미지가 복수인 경우에는, 선수 추적 서버(2000)는 유효 이미지 각각으로부터 획득된 타겟 스포츠 참가자의 위치를 고려하여 타겟 스포츠 참가자의 위치를 결정할 수 있다. 예를 들어, 선수 추적 서버(2000)는 유효 이미지 각각으로부터 획득된 타겟 스포츠 참가자의 위치를 평균 내어 타겟 스포츠 참가자의 위치를 결정할 수 있다.

다른 예를 들어, 도 27(c)와 같이 유효 이미지가 복수인 경우에는, 선수 추적 서버(2000)는 이미지 캡처 장치들의 배열 정보 혹은 렌즈 왜곡 파라미터 등을 추가로 더 고려하여, 타겟 스포츠 참가자의 위치를 결정할 수 있다.

도 27(d)는 이미지 캡처 장치들의 배열 정보 혹은 렌즈 왜곡 파라미터 등을 고려하여 선수 추적 서버(2000)에 의해 선택된 적어도 단일 이미지의 예시이다.

본 출원의 일 실시예에 따른 선수 추적 시스템(100)은 유효이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정할 수 있다. 구체적으로 본 출원의 일 실시예에 따른 선수 추적 서버(2000)는, 선택된 유효 이미지의 타겟 스포츠 참가자에 대응되는 픽셀 데이터(픽셀 위치)에 기초하여 위치를 결정할 수 있다.

일 실시예로, 선택된 유효 이미지가 복수인 경우에는 선수 추적 서버(2000)는 복수의 유효 이미지로부터 각각 획득된 타겟 스포츠 참가자의 위치를 모두 고려하여 타겟 스포츠 참가자의 위치를 결정할 수 있다.

구체적으로 유효 이미지가 제1 유효 이미지 및 제2 유효 이미지를 포함할 수 있다. 이때, 선수 추적 서버(2000)는 상기 제1 유효 이미지 내의 상기 타겟 스포츠 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 스포츠 참가자의 제1 위치를 획득할 수 있다. 또한, 선수 추적 서버(2000)는 상기 제2 유효 이미지 내의 상기 타겟 스포츠 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 스포츠 참가자의 제2 위치를 획득할 수 있다.

최종적으로 선수 추적 서버(2000)는 상기 제1 위치 및 상기 제2 위치 모두에 기초하여 상기 타겟 스포츠 참가자의 위치를 결정할 수 있다.

일 예로 선수 추적 서버(2000)는 상기 제1 위치 및 상기 제2 위치를 평균내서 상기 타겟 스포츠 참가자의 위치를 결정할 수 있다.

다른 실시예로, 선택된 유효 이미지가 복수인 경우에는 선수 추적 서버(2000)는 타겟 스포츠 참가자와 유효 이미지를 촬영한 이미지 캡처 장치의 위치를 고려하여 상기 타겟 스포츠 참가자의 위치를 결정할 수 있다. 이를 위하여, 선수 추적 서버(2000)는 타겟 스포츠 참가자와 유효 이미지를 촬영한 이미지 캡처 장치의 위치와 관련된 조건을 고려하여, 유효 이미지들로부터 단일 이미지를 선택하도록 제공될 수 있다. 이때, 선수 추적 서버(2000)는 단일 이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정할 수 있다.

예를 들어, 타겟 스포츠 참가자의 위치와 유효 이미지를 촬영한 이미지 캡처 장치 간의 위치가 상대적으로 가까운 경우의 유효 이미지로부터 획득된 타겟 스포츠 참가자의 위치는 상대적으로 정확할 가능성이 높다. 반면, 타겟 스포츠 참가자의 위치와 유효 이미지를 촬영한 이미지 캡처 장치 간의 위치가 상대적으로 먼 경우의 유효 이미지로부터 획득된 타겟 스포츠 참가자의 위치는 상대적으로 정확할 가능성이 높다.

따라서, 선택된 유효 이미지가 복수인 경우에는 선수 추적 서버(2000)는 타겟 스포츠 참가자와 유효 이미지를 촬영한 이미지 캡처 장치 간의 위치와 관련된 조건들을 추가적으로 고려하여 상기 타겟 스포츠 참가자의 위치를 결정할 수 있다.

다른 실시예로, 선택된 유효 이미지가 복수인 경우에는 선수 추적 서버(2000)는 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터를 고려하여 상기 타겟 스포츠 참가자의 위치를 결정할 수 있다. 이를 위하여, 선수 추적 서버(2000)는 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터와 관련된 조건을 고려하여, 유효 이미지들로부터 단일 이미지를 선택하도록 제공될 수 있다. 이때, 선수 추적 서버(2000)는 단일 이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정할 수 있다.

예를 들어, 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터와 관련하여, 타겟 스포츠 참가자가 유효 이미지 내의 렌즈 왜곡이 상대적으로 큰(예, 유효 이미지 내의 가장가리부) 영역에 위치하는 경우에는, 타겟 스포츠 참가자로부터 획득된 위치가 정확도가 낮을 수 있다.

반면, 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터와 관련하여, 타겟 스포츠 참가자가 유효 이미지 내의 렌즈 왜곡이 상대적으로 작은(예, 유효 이미지 내의 중심부) 영역에 위치하는 경우에는, 타겟 스포츠 참가자로부터 획득된 위치가 정확도가 높을 수 있다.

따라서, 선택된 유효 이미지가 복수인 경우에는 선수 추적 서버(2000)는 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터와 관련된 조건들을 추가적으로 고려하여, 상기 타겟 스포츠 참가자의 위치를 결정할 수 있다.

본 출원의 일 실시예에 따른 선수 추적 서버(2000)는, 타겟 스포츠 참가자가 다른 스포츠 참가자를 가렸는지 혹은 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려졌는지 여부를 고려해서, 타겟 스포츠 참가자의 위치를 결정할 수 있다. 바람직하게는, 타겟 스포츠 참가자가 다른 스포츠 참가자를 가렸는지 혹은 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려졌는지 여부를 고려해서, 타겟 스포츠 참가자의 위치를 결정하는 것은, 유효 이미지가 없는 경우, 즉 복수의 이미지 데이터로부터 타겟 스포츠 참가자가 검출되었으나 모든 후보 이미지에서 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 발생한 경우에 유리하게 적용될 수 있다. 이를 위하여 선수 추적 서버(2000)는 타겟 스포츠 참가자가 다른 스포츠 참가자를 가렸는지 혹은 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려졌는지 여부를 고려해서, 후보 이미지들로부터 타겟 이미지를 선택하도록 제공될 수 있다. 이때, 선수 추적 서버(2000)는 상기 타겟 이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정할 수 있다.

예를 들어, 타겟 스포츠 참가자가 다른 스포츠 참가자를 가렸다면 이미지 데이터 내의 타겟 스포츠 참가자에 대응하는 픽셀 위치는 특정될 수 있다. 따라서, 선수 추적 서버(2000)는 타겟 스포츠 참가자가 다른 스포츠 참가자를 가린 이미지 데이터를 타겟 이미지로 선택할 수 있다. 또한, 선수 추적 서버(2000)는 선택된 타겟 이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정할 수 있다.

반면, 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려졌다면 이미지 데이터 내의 타겟 스포츠 참가자에 대응하는 픽셀 위치가 특정되지 않을 가능성이 높다. 따라서, 선수 추적 서버(2000)는 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려진 이미지 데이터는, 타겟 스포츠 참가자의 위치를 결정하는데 이용되지 않도록 구현될 수 있다.

다만, 상술한 내용은 예시에 불과하며, 모든 후보 이미지들로부터 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 발생한 경우에는, 도 16 내지 도 25에서 서술한, 측위 센서 기반 위치를 이용하여 선수의 위치를 결정할 수 있음은 자명하다.

이상에서는 본 출원의 일 실시예에 따른 선수 추적 서버(2000)의 구성과 동작에 대하여 서술하였다. 이하에서는 본 실시예에 따른 선수 추적 방법에 관하여 설명한다. 이하의 설명에서는 본 실시예에 따른 선수 추적 방법이 상술한 선수 추적 시스템(100)에 의해 수행되는 것으로 설명한다. 다만, 이는 설명의 편의를 위한 것에 불과하므로, 본 실시예에 따른 선수 추적 방법이 상술한 선수 추적 시스템(100)으로 한정되는 것은 아니다. 즉, 후술되는 선수 추적 방법이 반드시 선수 추적 시스템(100)에 의해서만 수행되어야 하는 것은 아니며 상술한 선수 추적 시스템(100)과 유사한 기능을 갖는 다른 시스템이나 장치 등에 의해 수행되는 것도 가능하다.

도 28을 참고한다. 도 28은 본 출원의 일 실시예에 따른 선수 추적 방법에 관한 순서도이다.

도 28을 참조하면, 본 출원의 일 실시예에 따른 선수 추적 방법은 복수의 이미지 데이터를 획득하는 단계(S7100), 타겟 스포츠 참가자가 포함된 이미지 데이터를 선택하는 단계(S7200), 유효 이미지를 선택하는 단계(S7300), 유효 이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정하는 단계(S7400)를 포함할 수 있다.

이하에서는 상술한 각 단계들에 대하여 보다 구체적으로 설명한다.

선수 추적 서버(2000)는 복수의 이미지 데이터를 획득할 수 있다. (S7100) 구체적으로는, 선수 추적 서버(2000)는 통신 모듈(1100)을 통하여 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 복수의 이미지 데이터를 획득할 수 있다.

상기 S7100 단계에서는, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치들(301, 302, 303, 304)로부터 촬영된 복수의 이미지 데이터를 획득할 수 있다. 이때, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치들(301, 302, 303, 304)의 위치 및 포즈와 관련된 배열 정보, 이미지 캡처 장치의 식별자(identifier), 렌즈 왜곡 파라미터, 스포츠 참가자의 위치와 관련된 데이터(이미지 데이터의 픽셀 데이터 혹은 측위 센서 데이터) 또한 획득할 수 있다.

상기 S7100 단계에서 획득된 복수의 이미지 데이터들 각각은 복수의 스포츠 참가자들을 포함할 수 있다. 상기 복수의 이미지 데이터들 각각은 위치를 결정하고자 하는 타겟 스포츠 참가자가 포함할 수 있으나, 타겟 스포츠 참가자를 포함하지 않을 수도 있다.

따라서, 선수 추적 서버(2000)는 복수의 이미지 데이터로부터 타겟 스포츠 참가자를 검출하여, 타겟 스포츠 참가자가 포함된 이미지 데이터를 선택할 수 있다.(S7200). 구체적으로 선수 추적 서버(2000)는 복수의 이미지 데이터 내에 포함된 타겟 스포츠 참가자를 검출하는 동작을 수행하도록 제공될 수 있다. 이때, 상기 선수 추적 서버(2000)는, 타겟 스포츠 참가자의 검출 결과에 따라 후보 이미지를 선택하도록 구현될 수 있다.

예를 들어, 선수 추적 서버(2000)는 타겟 스포츠 참가자가 검출된 이미지 데이터를 후보 이미지로 선택할 수 있다.

이때 타겟 스포츠 참가자가 검출된 후보 이미지는 적어도 하나 이상일 수 있다.

일 예로, 복수의 이미지 데이터 전체에서 타겟 스포츠 참가자가 검출될 수 있다. 이때는, 타겟 스포츠 참가자가 검출된 이미지가 모두 후보 이미지로 선택될 수 있다.

다만, 타겟 스포츠 참가자의 검출 여부에 따라 선택된 상기 후보 이미지는, 타겟 스포츠 참가자의 위치를 결정하는 데 기초가 되기에 적절하지 않은 이미지들을 포함할 수 있다.

따라서, 선수 추적 서버(2000)는 후보 이미지로부터 유효 이미지를 선택할 수 있다. (S7300) 여기서, 유효 이미지란, 타겟 스포츠 참가자의 위치를 결정하기에 임의의 적절한 이미지를 포괄하는 의미로 사용될 수 있다.

구체적으로 선수 추적 서버(2000)는, 상기 후보이미지들로부터, 타겟 스포츠 참가자와 관련된 오클루전 이벤트의 검출 여부를 고려하여, 유효 이미지를 선택하도록 제공될 수 있다.

일 예로, 선수 추적 서버(2000)는, 오클루전 이벤트를 검출하거나 오클루전 이벤트의 발생 여부를 판단할 수 있다. 혹은 선수 추적 서버(2000)는, 오클루전 이벤트의 심각도를 판단할 수 있다.

특히 선수 추적 서버(2000)는, "타겟 스포츠 참가자와 관련"된, 오클루전 이벤트를 검출하거나 오클루전 이벤트의 발생 여부를 판단할 수 있다. 혹은 선수 추적 서버(2000)는, "타겟 스포츠 참가자와 관련"된 오클루전 이벤트의 심각도를 판단할 수 있다.

이때, 선수 추적 서버(2000)는, 타겟 스포츠 참가자와 관련된 오클루전 이벤트의 검출 결과에 기초하여, 상기 S7200 단계에서 선택된 후보이미지들로부터 적어도 하나 이상의 유효 이미지를 선택할 수 있다.

예를 들어, 선수 추적 서버(2000)는, 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출되지 않은 후보 이미지들을 유효 이미지를 선택할 수 있다.

반면 선수 추적 서버(2000)는, 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출된 후보이미지들을 유효 이미지로 선택하지 않을 수 있다. 다만, 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출된 경우라도 오클루전 이벤트가 심각하지 않다고 판단된 경우에는, 선수 추적 서버(2000)는 해당 후보 이미지를 유효 이미지로 선택하도록 제공될 수 있을 것이다.

상기 S7300 단계에서는, 오클루전 이벤트의 검출 결과를 고려하여 선택된 유효이미지들로부터, 추가적인 조건들을 고려하여 단일 이미지가 선택될 수 있다.

구체적으로, 타겟 스포츠 참가자와 관련된 오클루전 이벤트의 검출 결과를 고려하여 선택된 유효 이미지가 복수개인 경우, 타겟 스포츠 참가자와 유효 이미지를 촬영한 이미지 캡처 장치 간의 위치와 관련된 조건이나 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터와 관련된 조건들을 추가적으로 고려하여, 유효이미지들로부터 단일 이미지가 선택될 수 있다.

일 예로, 유효 이미지 내에 포함된 타겟 스포츠 참가자의 크기나 선명도에 따라 결정된 타겟 스포츠 참가자의 위치의 정확도가 상이할 수 있다. 유효 이미지 내에 포함된 타겟 스포츠 참가자의 크기가 크거나 해상도가 선명하다면, 해당 유효 이미지로부터 결정된 타겟 스포츠 참가자의 위치는 상대적으로 정확할 것이다.

이때, 유효 이미지 내에 포함된 타겟 스포츠 참가자의 크기나 해상도는 타겟 스포츠 참가자의 위치와 유효 이미지를 촬영한 위치에 의존할 수 있다. 예를 들어, 타겟 스포츠 참가자의 위치와 유효 이미지를 촬영한 위치가 상대적으로 가까운 경우에는, 타겟 스포츠 참가자가 크고 선명하게 촬영되었을 수 있다. 반면, 타겟 스포츠 참가자의 위치와 유효 이미지를 촬영한 위치가 상대적으로 먼 경우에는, 타겟 스포츠 참가자가 상대적으로 작고 선명하지 않게 촬영되었을 수 있다.

따라서, 일 실시예에 따르면, 상기 S7300 단계에서는 타겟 스포츠 참가자와 유효 이미지를 촬영한 이미지 캡처 장치 간의 위치와 관련된 조건을 고려하여, 유효 이미지들로부터 단일이미지가 선택되도록 구현될 수 있다.

다른 예로, 유효 이미지 내의 타겟 스포츠 참가자의 위치와 유효 이미지의 영역별 왜곡 정도에 따라, 결정된 타겟 스포츠 참가자의 위치의 정확도가 상이할 수 있다.

예를 들어, 타겟 스포츠 참가자가 유효 이미지의 왜곡이 적은 영역에 위치된 경우에는, 해당 유효 이미지로부터 결정된 타겟 스포츠 참가자의 위치는 상대적으로 정확할 것이다.

다른 예를 들어, 타겟 스포츠 참가자가 유효 이미지 내에 왜곡 정도가 상대적으로 적은 중심부에 위치하는 경우에는, 해당 유효 이미지로부터 결정된 타겟 스포츠 참가자의 위치의 정확도가 상대적으로 높을 수 있다. 반면 타겟 스포츠 참가자가 유효 이미지 내에 왜곡 정도가 상대적으로 많은 가장가리에 위치하는 경우에는, 해당 유효 이미지로부터 결정된 타겟 스포츠 참가자의 위치의 정확도가 상대적으로 낮을 수 있다.

이때, 유효 이미지의 영역별 왜곡 정도는 렌즈 왜곡 파라미터에 의존할 수 있다. 따라서, 일 실시예에 따르면, 상기 S7300 단계에서는 유효 이미지를 촬영한 이미지 캡처 장치의 렌즈 왜곡 파라미터와 관련된 조건을 고려하여, 유효 이미지들로 단일 이미지가 선택되도록 구현될 수 있다.

상기 S7300 단계에서는, 상기 S7200 단계에서 선택된 후보이미지들로부터, 타겟 스포츠 참가자와 관련된 오클루전 이벤트의 유형을 고려하여 타겟 이미지가 선택될 수 있다. 바람직하게는, 타겟 스포츠 참가자와 관련된 오클루전 이벤트의 유형을 고려하여 타겟 이미지를 선택하는 것은, 모든 후보 이미지들에 대하여, 타겟 스포츠 참가자와 관련된 오클루전 이벤트가 검출된 경우에 유리하게 적용될 수 있다.

상기 오클루전 이벤트의 유형은, 타겟 스포츠 참가자가 다른 스포츠 참가자를 가림에 따라 발생한 제1 유형과 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려짐에 따른 제2 유형을 포함할 수 있다.

상기 제1 유형의 경우에는, 타겟 스포츠 참가자에 대응되는 픽셀의 위치를 특정하는 것이 상대적으로 용이할 수 있다. 반면 상기 제2 유형의 경우에는 타겟 스포츠 참가자가 다른 스포츠 참가자에 의해 가려졌기 때문에 타겟 스포츠 참가자에 대응되는 픽셀의 위치를 특정하는 것이 상대적으로 어려울 수 있다.

따라서, 선수 추적 서버(2000)는 상기 제1 유형에 해당하는 후보 이미지를 타겟 이미지로 선택하도록 제공될 수 있다. 반면, 선수 추적 서버(2000)는상기 제2 유형에 해당하는 후보 이미지를 타겟 이미지로 선택하지 않도록 제공될 수 있다.

선수 추적 서버(2000)는 선택된 유효이미지에 기초하여 타겟 스포츠 참가자의 위치를 결정할 수 있다. (S7400)

구체적으로 선수 추적 서버(2000)는, 상기 S7300 단계에서 선택된 유효 이미지, 타겟 이미지 혹은 단일 이미지(이하, 유효 이미지 등) 내의 타겟 스포츠 참가자에 대응되는 픽셀 위치를 고려하여 타겟 스포츠 참가자의 위치를 결정하도록 제공될 수 있다.

일 예로, 상기 S7300 단계에서 선택된 유효 이미지 등이 단수인 경우에는, 상기 선택 이미지의 타겟 스포츠 참가자에 대응되는 픽셀 위치를 고려하여 타겟 스포츠 참가자의 위치가 결정될 수 있다.

다른 예로, 상기 S7300 단계에서 선택된 유효 이미지 등이 복수인 경우에는, 상기 복수의 유효 이미지 등 내에 타겟 스포츠 참가자에 대응되는 픽셀 위치를 모두(혹은 일부) 고려하여 타겟 스포츠 참가자의 위치가 결정될 수 있다. 예를 들어, 복수의 유효 이미지 등으로부터 획득된 픽셀 위치들을 평균하여 타겟 스포츠 참가자의 위치가 결정될 수 있다.

또는, 상기 S7300 단계에서 선택된 유효 이미지 등이 복수인 경우에는, 상기 S7300 단계에서 서술한, 상기 타겟 참가자와 상기 적어도 하나의 유효 이미지를 촬영한 카메라 간의 위치와 관련된 조건이나 렌즈 왜곡 파라미터와 관련된 조건을 더 고려하여 타겟 스포츠 참가자의 위치가 결정될 수 있다. 예를 들어, 유효 이미지 등으로부터, 상기 타겟 참가자와 상기 적어도 하나의 유효 이미지를 촬영한 카메라 간의 위치와 관련된 조건이나 렌즈 왜곡 파라미터와 관련된 조건을 고려하여 선택된 단일 이미지 내에 타겟 스포츠 참가자에 대응되는 픽셀 위치를 고려하여 타겟 스포츠 참가자의 위치가 결정될 수 있다.

상술한 바에 따르면, 이미지 데이터로부터 획득된 위치들에 기초하여 타겟 스포츠 참가자의 위치를 결정하는 것을 중심으로 기재하였으나, 측위 센서 데이터로부터 획득된 위치를 고려하여 스포츠 참가자의 위치를 결정하는 도 16 내지 27의 내용이 적용될 수 있음은 자명하다.

이하에서는 본 출원의 일 실시예에 따른 선수 추적 서버(2000)에 대하여 설명한다.

본 명세서의 일 실시예에 따르면, 선수 추적 서버(2000)는 스포츠 참가자의 위치를 결정하기 위해 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 이미지 데이터를 획득할 수 있다. 또한, 선수 추적 서버(2000)는 스포츠 참가자의 위치를 결정하기 위해 측위 센서 장치(200)로부터 측위 센서 데이터를 획득할 수 있다. 또한 선수 추적 서버(2000)는 획득된 이미지 데이터로부터 이미지 기반 위치를 계산할 수 있으며, 획득된 측위 센서 데이터로부터 측위 센서 기반 위치를 계산할 수 있다. 또한, 선수 추적 서버(2000)는 계산된 이미지 기반 위치 및 측위 센서 기반 위치에 기초하여 가상 플레이필드를 생성하거나 매칭테이블을 생성할 수 있다. 다만 바람직한 일 실시예에 따르면, 선수 추적 서버(2000)는 측위 센서 기반 위치에 기초하여 가상 플레이필드를 생성하거나 매칭테이블을 생성할 수 있다.

본 명세서의 일 실시예에 따른 선수 추적 서버(2000)는 도 4와 관련하여 서술한 내용이 동일하게 적용될 수 있다. 즉, 선수 추적 서버(2000)는 통신 모듈(1100), 메모리(1200), 컨트롤러(1300)를 포함할 수 있다. 특히 통신 모듈(1100), 메모리(1200) 및 컨트롤러(1300)의 내용은 도 4와 관련한 내용이 동일하게 적용될 수 있는 바, 자세한 설명은 생략하기로 한다. 따라서, 이하에서는 선수 추적 서버(2000)에 대하여 추가되는 내용을 중심으로 서술한다.

이하에서는 선수 추적 방법과 관련하여 선수 추적 시스템(100)의 일 실시예에 의해 수행되는 몇몇 동작들에 대해서 보다 구체적으로 설명한다.

본 실시예에 따른 선수 추적 시스템(100)은 복수의 이미지 캡처 장치로부터 복수의 이미지 데이터를 획득할 수 있다. 구체적으로 선수 추적 서버(200)는 복수의 이미지 캡처 장치로부터 촬영된 복수의 이미지 데이터를 획득할 수 있다. 또한, 선수 추적 시스템(100)은 복수의 이미지 캡처 장치로부터 복수의 이미지 캡처 장치의 위치 및 포즈와 관련된 배열 정보를 획득할 수 있다. 또한 선수 추적 시스템(100)은 측위 센서 장치(200)로부터 측위 센서 데이터를 획득할 수 있다. 또한 선수 추적 시스템(100)은 이미지 캡처 장치와 관련된 배열 정보와 측위 센서 데이터를 기초로 가상 플레이필드를 생성하여 매칭 테이블을 생성할 수 있다.

본 출원의 일 실시예에 따른 선수 추적 서버(2000)는 도 6 내지 도 11와 관련하여 상술한, 이미지 데이터로부터 획득한 스포츠 참가자의 위치의 유효성을 판단할 수 있다.

예를 들어, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 획득된 복수의 이미지 데이터 각각에 대하여 오클루전 이벤트를 검출하거나 오클루전 이벤트가 발생하였는지 여부를 판단할 수 있다.

또한, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치(301, 302, 303, 304)로부터 획득된 복수의 이미지 데이터 각각에 대하여 오클루전 이벤트의 심각도를 판단할 수 있다.

본 실시예에 따른 선수 추적 시스템(100)은 가상 플레이필드를 생성할 수 있다. 구체적으로 선수 추적 서버(2000)는 이미지 캡처 장치와 관련된 배열 정보와 측위 센서 데이터를 기초로 가상 플레이필드를 생성하도록 제공될 수 있다. 구체적으로 선수 추적 서버(2000)는 이미지 캡처 장치의 위치와 관련된 배열 정보를 기초로 이미지 캡처 장치에 대응되는 가상의 포인트를 생성할 수 있다.

또한 선수 추적 서버(2000)는 복수의 스포츠 참가자의 측위 센서 데이터에 기초하여 복수의 스포츠 참가자의 위치에 각각 대응하는 복수의 무빙 포인트를 생성할 수 있다.

본 실시예에 따른 선수 추적 시스템(100)은 생성된 가상 플레이필드에 기초하여 오클루전 이벤트(혹은 오클루전 이벤트의 심각도)을 예측하도록 구현될 수 있다. 구체적으로 선수 추적 서버(2000)는 가상 플레이필드의 복수의 무빙포인트 간의 위치 관계, 이미지 캡처 장치의 포즈와 관련된 배열정보에 기초하여 스포츠 참가자 간의 오클루전 이벤트를 예측하도록 구현될 수 있다.

본 실시예에 따른 선수 추적 시스템(100)은 생성된 가상 플레이필드에 기초하여 복수의 이미지 캡처 장치와 복수의 스포츠 참가자 간의 매칭테이블을 생성하도록 구현될 수 있다.

구체적으로, 선수 추적 서버(2000)는 생성된 가상 플레이필드의 이미지 캡처 장치에 대응하는 복수의 포인트와 스포츠 참가자에 대응하는 복수의 무빙 포인트 간의 상대적인 위치에 기초하여 복수의 이미지 캡처 장치와 복수의 스포츠 참가자 간의 관련성을 계산할 수 있다. 이때, 선수 추적 서버(2000)는 상기 관련성과 오클루전 이벤트의 예측 결과에 기초하여 복수의 이미지 캡처 장치들과 스포츠 참가자들간의 매칭 테이블을 생성하도록 구현될 수 있다.

도 29를 참고한다. 도 29는 본 출원의 일 실시예에 따른 가상 플레이필드를 도식화한 예시적인 도면이다.

선수 추적 서버(2000)는, 이미지 캡처 장치들의 배열 정보 및 복수의 스포츠 참가자들의 위치 정보에 기초하여 가상 플레이필드를 생성할 수 있다.

상기 이미지 캡처 장치들의 배열 정보는 복수의 이미지 캡처 장치들(301, 302, 303, 304)의 위치, 라인 오브 사이트(line of sight) 및 포즈에 대한 정보를 포함할 수 있다.

상기 복수의 스포츠 참가자들의 위치 정보는 측위 센서 데이터로부터 획득될 수 있다. 또는 상기 복수의 스포츠 참가자들의 위치 정보는 이미지 데이터로부터 획득될 수 있다.

선수 추적 서버(2000)는, 상기 이미지 캡처 장치들의 배열 정보를 고려하여, 상기 복수의 이미지 캡처 장치들에 대응하는 복수의 포인트를 가상의 플레이필드 좌표계에 생성할 수 있다.

이때, 이미지 캡처 장치들의 위치는 변화할 수 있으나, 고정되어 있을 수 있다.

이미지 캡처 장치들의 위치가 변하는 경우, 선수 추적 서버(2000)는, 스포츠 경기 진행에 따라 복수의 이미지 캡처 장치들의 위치 정보의 변화를 고려하여 상기 복수의 이미지 캡처 장치들에 대응하는 복수의 무빙 포인트를 가상의 플레이필드 좌표계에 생성할 수 있다.

이미지 캡처 장치들의 위치가 고정된 경우, 선수 추적 서버(2000)는, 도 29에 도시된 것과 같이 상기 복수의 이미지 캡처 장치들에 대응하는 복수의 고정 포인트(FP1, FP2, FP3, FP4)를 가상의 플레이필드 좌표계에 생성할 수 있다.

또한, 선수 추적 서버(2000)는, 상기 복수의 스포츠 참가자들의 위치 정보를 고려하여, 상기 복수의 스포츠 참가자들에 대응하는 복수의 포인트(MP1, MP2, MP3)를 가상의 플레이필드 좌표계에 생성할 수 있다.

또한, 선수 추적 서버(2000)는, 스포츠 경기 진행에 따라 복수의 스포츠 참가자들의 위치 정보의 변화를 고려하여 상기 복수의 스포츠 참가자들에 대응하는 복수의 포인트를 가상의 플레이필드 좌표계에 생성할 수 있다. 즉, 상기 복수의 스포츠 참가자들에 대응하는 복수의 포인트는 무빙 포인트(MP1, MP2, MP3)일 수 있다.

또한, 선수 추적 서버(2000)는, 생성된 가상 플레이필드에 기초하여 복수의 이미지 캡처 장치들(301, 302, 303, 304)과 복수의 스포츠 참가자들 간의 관련성을 계산할 수 있다.

구체적으로 선수 추적 서버(2000)는 가상 플레이필드의 복수의 이미지 캡처 장치들(301, 302, 303, 304)에 대응하는 포인트(FP1, FP2, FP3, FP4)와 복수의 스포츠 참가자들에 대응하는 무빙 포인트(MP1, MP2, MP3) 간의 상대적인 위치에 기초하여 복수의 이미지 캡처 장치들(301, 302, 303, 304)과 복수의 스포츠 참가자들 간의 관련성을 계산할 수 있다.

또한, 선수 추적 서버(2000)는, 복수의 이미지 캡처 장치들(301, 302, 303, 304)과 복수의 스포츠 참가자들 간의 관련성에 기초하여, 복수의 스포츠 참가자들간의 오클루전 이벤트의 발생 여부를 예측할 수 있다.

예를 들어, 가상 플레이필드의 복수의 이미지 캡처 장치들(301, 302, 303, 304)에 대응하는 포인트(FP1, FP2, FP3, FP4)로부터, 복수의 스포츠 참가자들에 대응하는 복수의 무빙 포인트(MP1, MP2, MP3)에 대하여 복수의 가상선(VL)이 생성될 수 있다.

이때, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치들(301, 302, 303, 304)에 대응하는 포인트(FP1, FP2, FP3, FP4)의 위치, 복수의 스포츠 참가자들에 대응하는 복수의 무빙 포인트(MP1, MP2, MP3)의 위치 및 상기 복수의 가상선(VL1, VL2)들 간의 각도 중 적어도 하나 이상을 고려하여, 스포츠 참가자 간의 오클루전 이벤트의 발생 여부를 예측할 수 있다.

예를 들어, 도 29를 참고하면, 제1 고정 포인트(FP1)로부터 제1 무빙 포인트(MP1)로 연장되는 제1 가상선(VL1)과 제1 고정 포인트(FP1)로부터 제2 무빙 포인트(MP2)로 연장되는 제2 가상선(VL2)이 생성될 수 있다.

이때, 상기 제1 가상선(VL1)과 상기 제2 가상선(VL2)이 중첩되거나, 상기 제1 가상선(VL1)과 상기 제2 가상선(VL2) 간의 각도가 미리 결정된 각도 미만인 경우에는, 선수 추적 서버(2000)는 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자 간에 오클루전 이벤트가 발생할 수 있다고 판단하거나 예측할 수 있다.

이때, 추가적으로 선수 추적 서버(2000)는 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자 간에 오클루전 이벤트가 제1 고정 포인트(FP1)에 대응되는 제1 이미지 캡처 장치(301)로부터 발생할 수 있다고 판단하거나 예측할 수 있다.

또한, 선수 추적 서버(2000)는 상기 제1 무빙 포인트(MP1)와 상기 제2 무빙 포인트(MP2)의 간의 위치 차이를 더 고려하여, 스포츠 참가자 간의 오클루전 이벤트의 발생 여부를 예측할 수 있다.

예를 들어, 도 29를 참고하면, 상기 제1 가상선(VL1)과 상기 제2 가상선(VL2)의 각도가 동일하더라도, 상기 제1 무빙 포인트(MP1)와 상기 제2 무빙 포인트(MP2)의 간의 위치 차이에 따라, 제1 고정 포인트(FP1)에 대한 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자들 간의 오클루전 여부가 상이해질 수 있다.

따라서, 선수 추적 서버(2000)는 복수의 스포츠 참가자들에 대응되는 무빙 포인트들 간의 위치 차이를 더 고려하여 스포츠 참가자 간의 오클루전 이벤트의 발생 여부를 예측할 수 있다.

또한, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치들에 대응되는 가상 플레이필드의 포인트, 복수의 스포츠 참가자들에 대응되는 가상 플레이필드의 무빙 포인트 및 복수의 이미지 캡처 장치들의 라인 오브 사이트(line of sight)에 대한 정보를 고려하여, 스포츠 참가자들 간의 오클루전 이벤트의 발생 여부를 예측할 수 있다.

예를 들어, 제1 고정포인트(FP1)에 대응되는 제1 이미지 캡처 장치(301)의 라인 오브 사이트를 고려하여, 라인 오브 사이트에 대응되는 가상선이 생성될 수 있으며, 이때 라인 오브 사이트에 대응되는 가상선에 제1 무빙 포인트와 제2 무빙 포인트가 실질적으로 위치한다면, 선수 위치 서버(2000)는 제1 무빙 포인트에 대응하는 제1 스포츠 참가자와 제2 무빙 포인트에 대응하는 제2 스포츠 참가자 간의 오클루전 이벤트가 발생하였다고 판단할 수 있다.

또한, 선수 추적 서버(2000)는 복수의 스포츠 참가자들의 속도 데이터(혹은 가속도 데이터)와 복수의 이미지 캡처 장치들의 포즈 정보를 고려하여, 이후 시점의 복수의 스포츠 참가자들 간의 오클루전 이벤트 발생 여부를 예측할 수 있다.

예를 들어, 도 29를 참고하면, 제1 스포츠 참가자와 제3 스포츠 참가자의 속도 데이터(혹은 가속도 데이터)들이 임의의 적절한 방법에 의해 획득될 수 있다. 또한, 제1 이미지 캡처 장치의 포즈 정보가 획득될 수 있다. 이때, 선수 추적 서버(2000)는, 속도 데이터(혹은 가속도 데이터)에 기초하여, 제1 스포츠 참가자에 대응되는 제1 무빙포인트(FP1)는 제3 스포츠 참가자에 대응되는 제3 무빙포인트(FP3)와 가까워지는 방향으로 움직이며, 제3 스포츠 참가자에 대응되는 제3 무빙포인트(FP3)는 제1 스포츠 참가자에 대응되는 제1 무빙포인트(FP1)와 가까워지는 방향으로 움직일 것이라는 것을 예측할 수 있다.

또한, 선수 추적 서버(2000)는, 포즈 정보를 기초로, 제1 이미지 캡처 장치에 대응되는 제1 고정 포인트(FP1)의 포즈를 예측할 수 있다.

따라서, 선수 추적 서버(2000)는, 제1 고정포인트(FP1)에 대응되는 제1 이미지 캡처 장치에 대하여, 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자들 간의 이후 시점에서의 오클루전을 예측할 수 있다.

또한, 선수 추적 서버(2000)는, 복수의 이미지 캡처 장치에 대응되는 복수의 포인트 및 복수의 스포츠 참가자에 대응되는 복수의 무빙 포인트 간의 상대적인 위치에 기초하여 계산된 복수의 이미지 캡처 장치과 복수의 스포츠 참가자 간의 관련성에 기초하여 복수의 이미지 캡처 장치과 복수의 스포츠 참가자 간의 매칭 테이블을 생성하도록 구현될 수 있다.

선수 추적 서버(2000)는, 오클루전 예측에 기초하여 복수의 이미지 캡처 장치과 복수의 스포츠 참가자 간의 매칭 테이블을 생성할 수 있다.

일 예로, 복수의 이미지 캡처 장치(301, 302, 303, 304)들에 대응되는 복수의 고정포인트들(FP1, FP2, FP3, FP4)로부터 복수의 스포츠 참가자들에 대응되는 복수의 무빙포인트들(MP1, MP2, MP3를 포함하는 복수의 무빙포인트들) 각각에 대하여 가상선들의 연장될 수 있으며 가상선들간의 각도에 기초한 오클루전 이벤트의 예측 결과에 대한 테이블이 생성될 수 있다.

예를 들어, 도 29를 참고하면, 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자 간에, 제1 고정 포인트(FP1)에 대응되는 제1 이미지 캡처 장치(301)로부터 오클루전 이벤트가 예측될 수 있다.

반면 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자 간에, 제2, 3, 4 고정 포인트에 대응되는 제2, 3, 4 이미지 캡처 장치(302, 303, 304)로부터 오클루전 이벤트가 발생하지 않을 것이라고 예측될 수 있다.

이때, 선수 추적 서버(2000)는, 이미지 캡처 장치(301, 302, 303, 304)들에 대응되는 복수의 고정포인트들(FP1, FP2, FP3, FP4)의 위치 및 복수의 스포츠 참가자들에 대응되는 복수의 무빙포인트의 위치 및 복수의 가상 선들간의 각도에 따른 오클루전 예측 여부에 기초하여, 매칭 테이블을 생성할 수 있다.

유사하게, 선수 추적 서버(2000)는, 복수의 스포츠 참가자들에 대응되는 복수의 무빙 포인트들 간의 위치 차이에 따른 오클루전 예측 여부에 기초하여 매칭 테이블을 생성할 수 있다.

유사하게, 선수 추적 서버(2000)는, 복수의 스포츠 참가자들의 속도 데이터(혹은 가속도 데이터) 및 복수의 이미지 캡처 장치들의 포즈 정보에 따른 오클루전 예측 여부에 기초하여 매칭 테이블을 생성할 수 있다.

상술한 바와 같이 생성된 매칭 테이블은 타겟 스포츠 참가자를 추적하는데 가장 적합한 이미지 캡처 장치를 선택하여 지속적으로 모니터링하는데 활용될 수 있다.

또한 매칭 테이블은 브로드캐스팅과 관련하여 타겟 스포츠 참가자를 촬영하는 데 가장 적합한 이미지 캡처 장치를 선택하는데 활용될 수 있다.

또한 매칭 테이블은 타겟 스포츠 참가자의 개별 하이라이트를 생성하기 위하여 가장 적합한 이미지 캡처 장치를 선택하는데 활용될 수 있다.

이상에서는 본 출원의 일 실시예에 따른 선수 추적 서버(2000)의 구성과 동작에 대하여 서술하였다. 이하에서는 본 실시예에 따른 선수 추적 방법에 관하여 설명한다. 이하의 설명에서는 본 실시예에 따른 선수 추적 방법이 상술한 선수 추적 시스템(100)에 의해 수행되는 것으로 설명한다. 다만, 이는 설명의 편의를 위한 것에 불과하므로, 본 실시예에 따른 선수 추적 방법이 상술한 선수 추적 시스템(100)으로 한정되는 것은 아니다. 즉, 후술되는 선수 추적 방법이 반드시 선수 추적 시스템(100)에 의해서만 수행되어야 하는 것은 아니며 상술한 선수 추적 시스템(100)과 유사한 기능을 갖는 다른 시스템이나 장치 등에 의해 수행되는 것도 가능하다.

도 30을 참고한다. 도 30은 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법을 나타낸 순서도이다.

도 30을 참고하면, 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법은, 복수의 이미지 캡처 장치의 배열 정보를 획득하는 단계(S8100), 복수의 스포츠 참가자의 측위 센서 데이터를 수신하는 단계(S8200), 측위 센서 데이터로부터 복수의 스포츠 참가자의 위치를 획득하는 단계(S8300), 가상 플레이필드를 생성하는 단계(S8400) 및 매칭 테이블을 생성하는 단계(S8500)를 포함할 수 있다.

이하에서는 상술한 각 단계들에 대하여 보다 구체적으로 설명한다.

선수 추적 서버(2000)는 복수의 이미지 캡처 장치의 배열 정보를 획득할 수 있다. (S8100) 구체적으로 상기 S8100 단계에서 선수 추적 서버(2000)는, 복수의 이미지 캡처 장치들(301, 302, 303, 304)로부터 촬영된 복수의 이미지 데이터 및 복수의 이미지 캡처 장치들(301, 302, 303, 304)의 위치 및 포즈와 관련된 배열 정보를, 통신모듈(1100)을 통하여, 획득할 수 있다.

선수 추적 서버(2000)는 복수의 스포츠 참가자의 측위 센서 데이터를 수신할 수 있다. (S8200) 구체적으로는, 선수 추적 서버(2000)는, 통신 모듈(1100)을 통하여, 복수의 스포츠 참가자에 착용된 측위 센서 장치(200)로부터 복수의 이미지 데이터를 획득할 수 있다.

상기 S8200 단계에서, 선수 추적 서버(2000)는 복수의 스포츠 참가자가 착용한 측위 센서 장치(200)로부터 송신된 측위 센서 데이터를 획득할 수 있다. 상기 측위 센서 데이터는 스포츠 참가자와 관련된 위치와 대한 정보, 스포츠 참가자의 식별자(identifier) 및 센서-시그널의 신뢰도를 포함할 수 있다.

선수 추적 서버(2000)는 복수의 스포츠 참가자의 측위 센서 기반 위치를 계산하거나 획득할 수 있다. (S8300) 구체적으로는, 선수 추적 서버(2000)는, 통신 모듈(1100)을 통하여, 복수의 스포츠 참가자에 착용된 측위 센서 장치(200)로부터 복수의 측위 센서 데이터를 획득할 수 있다. 구체적으로 선수 추적 서버(2000)는 측위 센서 데이터에 포함된, 스포츠 참가자와 관련된 위치에 대한 정보로부터 복수의 스포츠 참가자 각각의 위치를 획득될 수 있다. 또한, 선수 추적 서버(2000)는 위치뿐만 아니라 측위 센서 데이터에 포함된 스포츠 참가자와 관련된 위치에 대한 정보로부터 속도나 가속도와 관련된 정보를 획득할 수 있다.

또한, 선수 추적 서버(2000)는 가상 플레이필드를 생성할 수 있다. (S8400) 이때 상기 가상 플레이필드는 복수의 이미지 캡처 장치들의 위치에 대응되는 복수의 포인트 및 상기 S8300 단계에서 획득된 복수의 스포츠 참가자의 위치에 대응하는 복수의 무빙 포인트를 포함할 수 있다.

선수 추적 서버(2000)는, 상기 S8100 단계에서 획득된 복수의 이미지 캡처 장치들(301, 302, 303, 304)의 위치와 관련된 배열 정보에 기초하여 복수의 이미지 캡처 장치들에 대응하는 복수의 포인트를 생성할 수 있다.

또한 선수 추적 서버(2000)는, 상기 S8300 단계에서 획득된 복수의 스포츠 참가자들의 위치에 기초하여 복수의 스포츠 참가자에 대응하는 복수의 무빙 포인트를 생성할 수 있다.

또한, 선수 추적 서버(2000)는, 상기 S8100 단계에서 획득된 복수의 이미지 캡처 장치들(301, 302, 303, 304)의 포즈와 관련된 배열 정보 및 복수의 복수의 스포츠 참가자에 대응하는 복수의 무빙 포인트에 기초하여, 복수의 가상선들을 생성할 수 있다.

상기 S8400 단계에서는, 선수 추적 서버(2000)는 복수의 이미지 캡처 장치들과 복수의 스포츠 참가자들간의 관련성을 계산하도록 제공될 수 있다.

예를 들어, 선수 추적 서버(2000)는, 상기 가상 플레이필드에 생성된 복수의 이미지 캡처 장치들에 대응하는 복수의 고정포인트와 복수의 스포츠 참가자들에 대응하는 복수의 무빙포인트 간의 위치의 관련성을 계산할 수 있다.

다른 예를 들어, 선수 추적 서버(2000)는, 상기 가상 플레이필드에 생성된 복수의 스포츠 참가자들에 대응하는 복수의 무빙포인트 간의 위치의 관련성을 계산할 수 있다.

또 다른 예를 들어, 선수 추적 서버(2000)는, 상기 가상 플레이필드에 생성된 복수의 가상선들간의 각도 등과 같은 관련성을 계산할 수 있다.

또한, 상기 S8400 단계에서는, 선수 추적 서버(2000)는 복수의 스포츠 참가자들간의 오클루전 이벤트의 발생 여부를 예측하도록 구현될 수 있다.

일 예로, 선수 추적 서버(2000)는, 상기 가상 플레이필드에 생성된 복수의 가상선들과 복수의 스포츠 참가자들에 대응되는 복수의 무빙포인트들 간의 위치에 기초하여 복수의 스포츠 참가자들간의 오클루전 이벤트 발생 여부를 예측할 수 있다.

또한 선수 추적 서버(2000)는, 복수의 스포츠 참가자들간의 오클루전 이벤트가 어떠한 이미지 캡처 장치에서 발생하였는지 여부도 판단할 수 있다.

예를 들어, 다시 도 29를 참고하면, 제1 고정 포인트(FP1)로부터 제1 무빙 포인트(MP1)로 연장되는 제1 가상선(VL1)과 제1 고정 포인트(FP1)로부터 제2 무빙 포인트(MP2)로 연장되는 제2 가상선(VL2)이 생성될 수 있다.

이때, 상기 제1 가상선(VL1)과 상기 제2 가상선(VL2)이 중첩되거나, 상기 제1 가상선(VL1)과 상기 제2 가상선(VL2) 간의 각도가 미리 결정된 각도 미만인 경우에는, 선수 추적 서버(2000)는 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자 간에 오클루전 이벤트가 발생할 수 있다고 판단하거나 예측할 수 있다.

이때, 추가적으로 선수 추적 서버(2000)는 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자 간에 오클루전 이벤트가 제1 고정 포인트(FP1)에 대응되는 "제1 이미지 캡처 장치(301)"로부터 발생할 수 있다고 판단하거나 예측할 수 있다.

다른 예로, 선수 추적 서버(2000)는, 복수의 스포츠 참가자들에 대응되는 복수의 무빙포인트들 간의 위치 "차이"에 기초하여 복수의 스포츠 참가자들간의 오클루전 이벤트 발생 여부를 예측할 수 있다.

예를 들어, 도 29를 참고하면, 상기 제1 가상선(VL1)과 상기 제2 가상선(VL2)의 각도가 동일하더라도, 상기 제1 무빙 포인트(MP1)와 상기 제2 무빙 포인트(MP2)의 간의 위치 차이에 따라, 제1 고정 포인트(FP1)에 대한 상기 제1 무빙 포인트(MP1)에 대응되는 제1 스포츠 참가자와 상기 제2 무빙 포인트(MP2)에 대응되는 제2 스포츠 참가자들 간의 오클루전 여부가 상이해질 수 있다.

따라서, 선수 추적 서버(2000)는 복수의 스포츠 참가자들에 대응되는 무빙 포인트들 간의 위치 차이를 더 고려하여 스포츠 참가자 간의 오클루전 이벤트의 발생 여부를 예측할 수 있다.

선수 추적 서버(2000)는 매칭 테이블을 생성할 수 있다. (S8500)

선수 추적 서버(2000)는 상기 S8400 단계에서, 계산된 복수의 이미지 캡처 장치와 복수의 스포츠 참가자의 관련성과 복수의 스포츠 참가자들간의 오클루전 예측 결과에 기초하여 상기 복수의 이미지 캡처 장치와 복수의 스포츠 참가자 간의 매칭 테이블을 생성할 수 있다.

일 예로, 복수의 이미지 캡처 장치(301, 302, 303, 304)들에 대응되는 복수의 고정포인트들(FP1, FP2, FP3, FP4)로부터 복수의 스포츠 참가자들에 대응되는 복수의 무빙포인트들(MP1, MP2, MP3를 포함하는 복수의 무빙포인트들) 각각에 대하여 가상선들의 연장될 수 있으며 가상선들간의 각도에 기초한 오클루전 이벤트의 예측 결과에 대한 테이블이 생성될 수 있다.

다른 예로, 선수 추적 서버(2000)는, 복수의 스포츠 참가자들에 대응되는 복수의 무빙 포인트들 간의 위치 차이에 따른 오클루전 예측 여부에 기초하여 매칭 테이블을 생성할 수 있다.

또 다른 예로, 선수 추적 서버(2000)는, 복수의 스포츠 참가자들의 속도 데이터(혹은 가속도 데이터) 및 복수의 이미지 캡처 장치들의 포즈 정보에 따른 오클루전 예측 여부에 기초하여 매칭 테이블을 생성할 수 있다.

다만, 상술한 내용은 예시에 불과하며, 임의의 적절한 방법에 의해 매칭 테이블이 생성될 수 있을 것이다.

이상에서 서술한 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템은 단일의 이미지 캡처 장치를 이용하는 경우보다 오클루전 이벤트으로 인한 스포츠 참가자의 위치 계산의 오차 가능성을 현저히 줄일 수 있다.

도 9 및 도 31를 참고한다. 도 31은 본 출원의 일 실시예에 따른 복수의 이미지 캡처 장치를 이용한 선수 추적 방법에 의한 스포츠 참가자의 위치의 계산 방법을 도시한 개략도이다.

도 9(b)를 참고하면, 단일 이미지 캡처 장치를 사용하는 경우, 스포츠 참가자(1)의 수직적인 움직임에 따라 실제 위치(L2)와 이미지 데이터로부터 획득된 위치(L2_image)가 오차가 발생할 수 있다.

반면, 도 31을 참고하면, 복수의 이미지 캡처 장치를 사용하는 경우, 스포츠 참가자(1)의 수직적인 움직임에 따라 실제 위치(L3)와 이미지 데이터로부터 획득된 위치(L3_image1, L3_image2) 간의 오차를 보정할 수 있다.

예를 들어, 복수의 이미지 캡처 장치의 높이와 지면에 대한 각도를 고려함으로써, 이미지 데이터로부터 획득된 위치(L3_image1, L3_image2)에 대한 보정 파라미터를 계산할 수 있다. 계산된 보정 파라미터를 이미지 데이터로부터 획득된 위치(L3_image1, L3_image2)에 적용한다면 스포츠 참가자(1)의 실제 위치(L3)를 용이하게 계산할 수 있다.

또한, 단일 이미지 캡처 장치만을 사용하는 경우에는, 해당 이미지 캡처 장치로부터 획득된 이미지 데이터에서 오클루전 이벤트가 발생한다면, 이미지 데이터만을 이용해서 정확한 위치를 획득할 대안적인 방법이 부족하다.

반면, 복수의 이미지 캡처 장치를 사용하는 경우에는, 제1 이미지 데이터에서 오클루전 이벤트가 발생하더라도, 오클루전 이벤트가 검출되지 않은 제2 이미지 데이터를 이용하여 스포츠 참가자의 위치를 정확하게 계산할 수 있다.

또한, 복수의 이미지 캡처 장치를 사용하는 경우에는, 복수의 이미지 캡처 장치로부터 획득된 복수의 이미지 데이터를 정합하여 파노라마 뷰의 영상이나 퀄리티가 증대된 영상을 생성할 수 있다.

이때, 복수의 이미지 데이터 간의 중첩되는 영역의 기준점, 기준선, 기준면 등의 레퍼런스를 기초로 복수의 이미지 데이터를 정합하여 파노라마 뷰의 영상이나 퀄리티가 증대된 영상을 생성할 수 있을 것이다.

본 출원에 개시된 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템은 스포츠 선수를 분석하는 데 이용될 수 있다. 구체적으로 스포츠 선수의 위치를 정확하게 계산하는 것이 요구되는 스포츠 선수의 움직임, 속도, 가속도, 스포츠 선수의 움직임, 전술 분석 등 모든 스포츠 분석 분야에 이용될 수 있다.

또한, 본 출원에서는 스포츠 중 축구를 중심으로 서술하나 이는 예시에 불과하며, 스포츠 선수의 위치를 계산하는 것이 요구되는 모든 스포츠에 대하여 적용될 수 있다.

또한, 본 출원에 개시된 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템은 스포츠 선수를 지속적으로 추적할 수 있기 때문에, 영상과 관련된 방송 분야, 하이라이트 생성 등과 관련된 비디오 컨텐츠 분야 등 다양한 분야에도 이용될 수 있을 것이다.

이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 즉, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (16)

1. 스포츠 참가자 추적 방법에 있어서, 상기 방법은,
   플레이필드 주변의 상이한 위치에 설치된 복수의 카메라로부터, 복수의 스포츠 이미지를 수신함- 상기 복수의 스포츠 이미지 각각은 상기 플레이필드 및 상기 스포츠 참가자의 적어도 일부를 포함함-;
   상기 복수의 스포츠 이미지로부터 타겟 참가자를 검출함;
   상기 타겟 참가자의 검출 결과에 따라 상기 복수의 스포츠 이미지로부터 적어도 하나의 후보 이미지를 선택함;
   상기 적어도 하나의 후보 이미지로부터 상기 타겟 참가자와 관련된 오클루전 여부를 검출함;
   상기 오클루전 검출의 결과에 따라 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 유효 이미지를 선택함; 및
   상기 적어도 하나의 유효 이미지의 상기 타겟 참가자에 대응되는 픽셀 위치에 기초하여 상기 타겟 참가자의 위치를 결정하는 것을 포함하고,
   상기 타겟 참가자의 위치를 결정하는 것은, 상기 타겟 참가자와 상기 적어도 하나의 유효 이미지를 촬영한 카메라 간의 위치와 관련된 제1 조건에 기초하여 상기 적어도 하나의 유효 이미지로부터 단일 이미지를 선택함 및
   상기 단일 이미지에 기초하여 상기 타겟 참가자의 위치를 계산하는 것을 포함하는,
   스포츠 선수 추적 방법.
   
2. 제1 항에 있어서,
   상기 적어도 하나의 유효 이미지가 제1 유효 이미지 및 제2 유효 이미지를 포함하면, 상기 타겟 참가자의 위치를 결정하는 것은,
   상기 제1 유효 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제1 위치를 획득함;
   상기 제2 유효 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제2 위치를 획득함; 및
   상기 제1 위치 및 상기 제2 위치 모두에 기초하여 상기 타겟 참가자의 위치를 계산하는 것을 포함하는,
   스포츠 선수 추적 방법.
   
3. 제1 항에 있어서,
   상기 타겟 참가자의 위치를 결정하는 것은,
   상기 제1 조건과 상기 적어도 하나의 유효 이미지를 촬영한 카메라의 렌즈 왜곡 파라미터와 관련된 제2 조건 기초하여 상기 적어도 하나의 유효 이미지로부터 단일 이미지를 선택하는 것을 더 포함하는
   스포츠 선수 추적 방법.
   
4. 스포츠 참가자 추적 방법에 있어서, 상기 방법은,
   플레이필드 주변의 상이한 위치에 설치된 복수의 카메라로부터, 복수의 스포츠 이미지를 수신함- 상기 복수의 스포츠 이미지 각각은 상기 플레이필드 및 상기 스포츠 참가자의 적어도 일부를 포함함-;
   상기 복수의 스포츠 이미지로부터 타겟 참가자를 검출함;
   상기 타겟 참가자의 검출 결과에 따라 상기 복수의 스포츠 이미지로부터 적어도 하나의 후보 이미지를 선택함;
   상기 적어도 하나의 후보 이미지로부터 상기 타겟 참가자와 관련된 오클루전 여부를 검출함;
   상기 오클루전 검출의 결과에 따라 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 타겟 이미지를 선택함;
   상기 적어도 하나의 후보 이미지 모두에 상기 오클루전이 검출되면, 상기 스포츠 참가자가 상기 적어도 하나의 후보 이미지 내의 다른 스포츠 참가자를 가렸는지 혹은 상기 다른 스포츠 참가자에 의해 가려졌는지 여부를 결정하고, 상기 결정에 따라 상기 적어도 하나의 후보 이미지로부터 상기 타겟 이미지를 선택하며; 그리고
   상기 적어도 하나의 타겟 이미지의 상기 타겟 참가자에 대응되는 픽셀 위치에 기초하여 상기 타겟 참가자의 위치를 결정하는 것을 포함하고,
   상기 타겟 참가자의 위치를 결정하는 것은, 상기 타겟 참가자와 상기 적어도 하나의 유효 이미지를 촬영한 카메라 간의 위치와 관련된 제1 조건에 기초하여 상기 적어도 하나의 유효 이미지로부터 단일 이미지를 선택함 및
   상기 단일 이미지에 기초하여 상기 타겟 참가자의 위치를 계산하는 것을 포함하는,
   스포츠 선수 추적 방법.
   
5. 제4 항에 있어서,
   상기 적어도 하나의 타겟 이미지는, 상기 스포츠 참가자가 상기 적어도 하나의 후보 이미지 내의 다른 스포츠 참가자를 가린 상기 적어도 하나의 후보 이미지로부터 선택되는,
   스포츠 선수 추적 방법.
   
6. 제4 항에 있어서,
   상기 적어도 하나의 타겟 이미지가 제1 타겟 이미지 및 제2 타겟 이미지를 포함하면, 상기 타겟 참가자의 위치를 결정하는 것은,
   상기 제1 타겟 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제1 위치를 획득함;
   상기 제2 타겟 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제2 위치를 획득함; 및
   상기 제1 위치 및 상기 제2 위치 모두에 기초하여 상기 타겟 참가자의 위치를 계산하는 것을 포함하는,
   스포츠 선수 추적 방법.
   
7. 제4 항에 있어서,
   상기 타겟 참가자의 위치를 결정하는 것은,
   상기 제1 조건과 상기 적어도 하나의 타겟 이미지를 촬영한 카메라의 렌즈 왜곡 파라미터와 관련된 제2 조건 기초하여 상기 적어도 하나의 타겟 이미지로부터 단일 이미지를 선택하는 것을 더 포함하는,
   스포츠 선수 추적 방법.
   
8. 스포츠 참가자 추적 방법에 있어서, 상기 방법은,
   플레이필드 주변에 위치된 복수의 카메라들의 위치 및 포즈를 포함하는 카메라 배열 정보를 획득함;
   복수의 스포츠 참가자에 위치된 복수의 측위 센서들로부터, 센서 시그널을 수신함;
   상기 센서 시그널에 기초하여 상기 복수의 스포츠 참가자의 위치를 획득함;
   상기 복수의 카메라에 대응하는 복수의 고정 포인트 및 상기 복수의 스포츠 참가자의 대응하는 복수의 무빙 포인트를 포함하는 가상 플레이필드를 생성함- 상기 가상 플레이필드 내의 복수의 고정 포인트의 위치는 상기 카메라 배열 정도에 기초하여 결정되며, 상기 가상 플레이필드 내의 복수의 무빙 포인트의 위치는 상기 복수의 스포츠 참가자의 위치에 기초하여 결정됨-;
   상기 복수의 고정 포인트 및 상기 복수의 무빙 포인트 간의 상대적인 위치에 기초하여 상기 복수의 카메라와 상기 복수의 스포츠 참가자의 관련성을 계산함;
   상기 복수의 고정 포인트로부터 상기 복수의 무빙 포인트로 연장되는 복수의 가상 선들 간의 각도 및 상기 복수의 무빙 포인트들 간의 위치에 기초하여 상기 복수의 카메라에서 상기 복수의 스포츠 참가자들의 오클루전을 예측함; 및
   상기 관련성 및 상기 오클루전 예측에 기초하여 상기 복수의 카메라와 상기 스포츠 참가자 간의 매칭 테이블을 생성하는 것을 포함하는,
   스포츠 참가자 추적 방법.
   
9. 스포츠 참가자 추적 장치에 있어서,
   플레이필드 주변의 상이한 위치에 설치된 복수의 카메라로부터, 복수의 스포츠 이미지를 수신하는 통신모듈; 및
   상기 통신모듈에 의해 수신된 상기 복수의 스포츠 이미지를 분석하는 컨트롤러;를 포함하고,
   상기 복수의 스포츠 이미지 각각은 상기 플레이필드 및 상기 스포츠 참가자의 적어도 일부를 포함하며,
   상기 컨트롤러는 상기 통신모듈에 의해 수신된 상기 복수의 스포츠 이미지를 분석하여 상기 복수의 스포츠 이미지로부터 타겟 참가자를 검출하고, 상기 타겟 참가자의 검출 결과에 따라 상기 복수의 스포츠 이미지로부터 적어도 하나의 후보 이미지를 선택하며, 상기 적어도 하나의 후보 이미지로부터 상기 타겟 참가자와 관련된 오클루젼 여부를 검출하되, 상기 오클루전의 검출 결과에 따라 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 유효 이미지를 선택하며, 상기 적어도 하나의 유효 이미지의 상기 타겟 참가자에 대응되는 픽셀 위치에 기초하여 상기 타겟 참가자의 위치를 결정하고,
   상기 컨트롤러는, 상기 타겟 참가자와 상기 적어도 하나의 유효 이미지를 촬영한 카메라 간의 위치와 관련된 제1 조건에 기초하여 상기 적어도 하나의 유효 이미지로부터 단일 이미지를 선택하며, 상기 단일 이미지에 기초하여 상기 타겟 참가자의 위치를 계산하여 상기 타겟 참가자의 위치를 계산하는
   스포츠 참가자 추적 장치.
   
10. 제9 항에 있어서,
    상기 컨트롤러는,
    상기 적어도 하나의 유효 이미지가 제1 유효 이미지 및 제2 유효 이미지를 포함하면, 상기 제1 유효 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제1 위치를 획득하며, 상기 제2 유효 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제2 위치를 획득하고, 상기 제1 위치 및 상기 제2 위치 모두에 기초하여 상기 타겟 참가자의 위치를 계산하여 상기 타겟 참가자의 위치를 계산하는,
    스포츠 참가자 추적 장치.
    
11. 제9 항에 있어서,
    상기 컨트롤러는,
    상기 제1 조건과 상기 적어도 하나의 유효 이미지를 촬영한 카메라의 렌즈 왜곡 파라미터와 관련된 제2 조건 기초하여 상기 적어도 하나의 유효 이미지로부터 단일 이미지를 선택하는
    스포츠 참가자 추적 장치.
    
12. 스포츠 참가자 추적 장치에 있어서,
    플레이필드 주변의 상이한 위치에 설치된 복수의 카메라로부터, 복수의 스포츠 이미지를 수신하는 통신모듈; 및
    상기 통신모듈에 의해 수신된 상기 복수의 스포츠 이미지를 분석하는 컨트롤러;를 포함하고,
    상기 복수의 스포츠 이미지 각각은 상기 플레이필드 및 상기 스포츠 참가자의 적어도 일부를 포함하며,
    상기 컨트롤러는 상기 복수의 스포츠 이미지로부터 타겟 참가자를 검출하고, 상기 타겟 참가자의 검출 결과에 따라 상기 복수의 스포츠 이미지로부터 적어도 하나의 후보 이미지를 선택하고, 상기 적어도 하나의 후보 이미지로부터 상기 타겟 참가자와 관련된 오클루전 여부를 검출하고, 상기 오클루전 검출의 결과에 따라 상기 적어도 하나의 후보 이미지로부터 적어도 하나의 타겟 이미지를 선택하고, 상기 적어도 하나의 후보 이미지 모두에 상기 오클루전이 검출되면, 상기 스포츠 참가자가 상기 적어도 하나의 후보 이미지 내의 다른 스포츠 참가자를 가렸는지 혹은 상기 다른 스포츠 참가자에 의해 가려졌는지 여부를 결정하고, 상기 결정에 따라 상기 적어도 하나의 후보 이미지로부터 상기 타겟 이미지를 선택하고, 상기 적어도 하나의 타겟 이미지의 상기 타겟 참가자에 대응되는 픽셀 위치에 기초하여 상기 타겟 참가자의 위치를 결정하고,
    상기 컨트롤러는, 상기 타겟 참가자와 상기 적어도 하나의 유효 이미지를 촬영한 카메라 간의 위치와 관련된 제1 조건에 기초하여 상기 적어도 하나의 유효 이미지로부터 단일 이미지를 선택하며, 상기 단일 이미지에 기초하여 상기 타겟 참가자의 위치를 계산하여 상기 타겟 참가자의 위치를 계산하는
    스포츠 참가자 추적 장치.
    
13. 제12 항에 있어서,
    상기 컨트롤러는,
    상기 스포츠 참가자가 상기 적어도 하나의 후보 이미지 내의 다른 스포츠 참가자를 가린 상기 적어도 하나의 후보 이미지를 상기 적어도 하나의 타겟 이미지로 선택하는,
    스포츠 참가자 추적 장치.
    
14. 제12 항에 있어서,
    상기 컨트롤러는,
    상기 적어도 하나의 타겟 이미지가 제1 타겟 이미지 및 제2 타겟 이미지를 포함하면, 상기 제1 타겟 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제1 위치를 획득하며, 상기 제2 타겟 이미지 내의 상기 타겟 참가자에 대응하는 픽셀 위치에 기초하여 상기 타겟 참가자의 제2 위치를 획득하며, 상기 제1 위치 및 상기 제2 위치 모두에 기초하여 상기 타겟 참가자의 위치를 계산하여 상기 타겟 참가자의 위치를 결정하는,
    스포츠 참가자 추적 장치.
    
15. 제12 항에 있어서,
    상기 컨트롤러는,
    상기 제1 조건과 상기 적어도 하나의 타겟 이미지를 촬영한 카메라의 렌즈 왜곡 파라미터와 관련된 제2 조건 기초하여 상기 적어도 하나의 타겟 이미지로부터 단일 이미지를 선택하는,
    스포츠 참가자 추적 장치.
    
16. 스포츠 참가자 추적 장치에 있어서,
    복수의 스포츠 참가자에 위치된 복수의 측위 센서들로부터, 센서 시그널을 수신하는 통신모듈;
    상기 통신모듈에 의해 수신된 센서 시그널에 기초하여 상기 복수의 스포츠 참가자의 위치를 획득하는 컨트롤러;를 포함하고,
    상기 컨트롤러는, 플레이필드 주변에 위치된 복수의 카메라들의 위치 및 포즈를 포함하는 카메라 배열 정보를 획득하고, 상기 복수의 카메라에 대응하는 복수의 고정 포인트 및 상기 복수의 스포츠 참가자의 대응하는 복수의 무빙 포인트를 포함하는 가상 플레이필드를 생성 - 상기 가상 플레이필드 내의 복수의 고정 포인트의 위치는 상기 카메라 배열 정도에 기초하여 결정되며, 상기 가상 플레이필드 내의 복수의 무빙 포인트의 위치는 상기 복수의 스포츠 참가자의 위치에 기초하여 결정됨-하고, 상기 복수의 고정 포인트 및 상기 복수의 무빙 포인트 간의 상대적인 위치에 기초하여 상기 복수의 카메라와 상기 복수의 스포츠 참가자의 관련성을 계산하고, 상기 복수의 고정 포인트로부터 상기 복수의 무빙 포인트로 연장되는 복수의 가상 선들 간의 각도 및 상기 복수의 무빙 포인트들 간의 위치에 기초하여 상기 복수의 카메라에서 상기 복수의 스포츠 참가자들의 오클루전을 예측하고, 상기 관련성 및 상기 오클루전 예측에 기초하여 상기 복수의 카메라와 상기 스포츠 참가자 간의 매칭 테이블의 생성하는,
    스포츠 참가자 추적 장치.
    

Images