KR102715450B1 - 사람의 동작분석시스템 - Google Patents
사람의 동작분석시스템 Download PDFInfo
- Publication number
- KR102715450B1 KR102715450B1 KR1020210169419A KR20210169419A KR102715450B1 KR 102715450 B1 KR102715450 B1 KR 102715450B1 KR 1020210169419 A KR1020210169419 A KR 1020210169419A KR 20210169419 A KR20210169419 A KR 20210169419A KR 102715450 B1 KR102715450 B1 KR 102715450B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- motion
- joint
- momentum
- information
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 172
- 238000004458 analytical method Methods 0.000 title claims description 57
- 238000004364 calculation method Methods 0.000 claims description 36
- 235000019577 caloric intake Nutrition 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000012502 risk assessment Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000003252 repetitive effect Effects 0.000 abstract 2
- 210000001503 joint Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 4
- 210000002310 elbow joint Anatomy 0.000 description 3
- 210000003857 wrist joint Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1124—Determining motor skills
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Dentistry (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Surgery (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Physical Education & Sports Medicine (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
다시점 영상들에서 사람의 동작을 인식하는 컴퓨터 비전 기술이 개시된다. 다시점영상들에서 관절점위치들을 결정하고, 이를 시간축 상에서 순차적으로 모델링신체에 적용하여 각 관절별로 운동량을 계산한다. 관절별 운동량을 합산하여 전체 신체의 운동량을 계산할 수 있다. 모델링신체에 적용된 각운동량의 관절별 분포를 분석하여 운동 위험도를 산출하여 제공할 수 있다.
Description
영상처리 기술, 특히 다시점 영상들에서 사람의 동작을 인식하는 컴퓨터 비전 기술이 개시된다.
'안무 평가 장치 및 방법'라는 명칭을 가진 특허 제1,962,045호는 깊이 영상(Depth Image) 데이터로부터 안무자와 학습자의 관절들의 위치를 검출하고 추적하여 관절 위치에 기초하여 안무자와 학습자의 안무 동작을 비교 평가하는 기술을 개시하고 있다. 이와 같이 사람의 자세나 동작을 인식하는 기술이 발전하고 있지만 대부분의 응용들은 자세나 동작의 기록이나 분석에 그치고 있다.
제안된 발명은 행위자의 동작을 인식하여 해당 동작을 수행할 때 운동량 정보를 제공하는 것을 목적으로 한다.
나아가 제안된 발명은 행위자의 동작을 인식하여 단위 동작별 운동량 정보를 제공하는 것을 하는 것을 목적으로 한다.
나아가 제안된 발명은 제공하는 것을 목적으로 한다.
제안된 발명의 일 양상에 따르면,복수의 카메라에서 획득되는 다시점영상들로부터 관절점위치들을 결정하고, 이를 시간축 상에서 순차적으로 모델링신체에 적용하여 각 관절별로 운동량을 계산한다. 관절별 운동량을 합산하여 전체 신체의 운동량을 계산할 수 있다.
추가적인 양상에 따르면, 관절점위치들을 시간축상에서 분석하여 단위동작이 구분될 수 있다.
추가적인 양상에 따르면, 추정된 관절점들의 시간축상에서 움직임을 분석하여 각 관절별로 운동량을 계산하고 이를 합산하여 운동량을 계산할 수 있다.
추가적인 양상에 따르면, 모델링신체에 적용된 각운동량의 관절별 분포를 분석하여 운동 위험도를 산출하여 제공할 수 있다.
추가적인 양상에 따르면, 행위자와 비교행위자의 동작을 비교하여 일치도를 평가할 수 있다.
제안된 발명에 따라, 스포츠나 무용과 같은 사람의 동작을 자동화 시스템에 의해 분석하여 관절별로 동작 범위나 운동량을 분석함으로써 잘못된 동작으로 인한 특정한 관절의 무리한 운동이나 부하집중에 따른 부상을 미연에 방지할 수 있다.
도 1은 일 실시예에 따른 동작분석시스템의 전체적인 구성을 도시한다.
도 2는 일 실시예에 따른 동작분석시스템의 구성을 도시한 블록도이다.
도 3은 이러한 모델링신체에서 팔 부분을 예시한다.
도 4는 자세정보캡쳐부의 일 실시예를 도시한 블록도이다.
도 5는 등극선기하(Epipolar geometry)를 예시적으로 설명하는 도면이다.
도 6은 도 2의 운동량계산부의 일 실시예의 구성을 도시한 블록도이다.
도 7은 도 2의 운동정보분석부의 일 실시예의 구성을 도시한 블록도이다.
도 8은 일 실시예에 따른 동작분석방법의 구성을 도시한 흐름도이다.
도 2는 일 실시예에 따른 동작분석시스템의 구성을 도시한 블록도이다.
도 3은 이러한 모델링신체에서 팔 부분을 예시한다.
도 4는 자세정보캡쳐부의 일 실시예를 도시한 블록도이다.
도 5는 등극선기하(Epipolar geometry)를 예시적으로 설명하는 도면이다.
도 6은 도 2의 운동량계산부의 일 실시예의 구성을 도시한 블록도이다.
도 7은 도 2의 운동정보분석부의 일 실시예의 구성을 도시한 블록도이다.
도 8은 일 실시예에 따른 동작분석방법의 구성을 도시한 흐름도이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 또는 타 실시예의 구성 요소들과 다양한 조합이 가능한 것으로 이해된다. 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 명세서 및 청구범위에 사용된 용어는 기재 내용 혹은 제안된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
<도 1의 설명>
도 1은 일 실시예에 따른 동작분석시스템의 전체적인 구성을 도시한다. 도시된 바와 같이, 일 실시예에 따른 동작분석시스템은 행위자(20)를 서로 다른 시점에서 촬영하는 복수의 카메라들(30-1 ~ 30-5)과 또 이 카메라들과 네트워크를 통해 연결되는 서버 컴퓨터(50)를 포함한다. 복수의 카메라들은 다시점 영상을 생성하기 적합하도록 흔히 구면을 따라 배치되며, 정면,좌,우,상면,후면의 5개로 구성되거나 더 많은 수로 구성될 수도 있다. 복수의 카메라들(30-1 ~ 30-5)에서 출력되는 영상 신호들은 원거리의 서버 컴퓨터(50)로 전송하기에 적합하도록 촬영의 동기화를 제어하고 출력되는 영상들을 캡쳐하여 전송 포맷으로 구성하는 카메라제어부(10)를 포함할 수 있다. 카메라제어부(10)는 컴퓨터 형태일 수도 있으며, 복수의 카메라들(30-1 ~ 30-5)이 설치되는 스튜디오 내에 설치될 수 있다. 또 카메라제어부(100)는 각각의 카메라에서 획득되는 2차원 영상들을 처리하여 관절점들을 추정하고 각 2차원 영상들에서 추정된 관절점들을 융합하여 3차원 관절점을 추정하는 과정까지 처리하여 최종적으로 추정된 관절점 정보만 서버 컴퓨터(50)로 전송할 수도 있다.
스튜디오에서 이러한 과정을 관리하는 관리자들은 개인용컴퓨터(71)로 네트워크를 통해 서버 컴퓨터(50)로 접속하여 필요한 정보를 입력하거나 출력을 모니터링하거나 결과값을 확인할 수 있다. 또 동작에 대한 분석 결과는 무선인터넷 망을 통해 예를 들면 스마트폰(73)으로 확인할 수 있다.
<청구항 1 발명의 설명>
도 2는 일 실시예에 따른 동작분석시스템의 구성을 도시한 블록도이다. 도시된 바와 같이, 일 실시예에 따른 동작분석시스템은 복수의 카메라들(30-1 ~ 30-5)과, 자세정보캡쳐부(210)와, 운동정보분석부(230)를 포함한다. 일 실시예에서, 운동정보분석부(230)는 운동량계산부(600)를 포함한다.
자세정보캡쳐부(210)는 복수의 카메라들(30-1 ~ 30-5)에서 획득되는 다시점 영상들(Multiview images)로부터 행위자의 관절점(joint) 위치를 3차원 좌표로 출력한다. 다시점 영상들(Multiview images)로부터 사람의 자세(pose)를 추정하는 것은 각 영상에서 관절점을 찾아내고 그 관절점의 위치들로부터 3차원 관절점의 위치를 추정하는 것으로, 최근 발전하고 있는 기술이다. Z. Zhang, C. Wang, W. Qiu, W. Qin, and W. Zeng, “Adafuse: Adaptive multiview fusion for accurate human pose estimation in the wild,” IJCV, 2020 에는 다시점 2차원 영상들 각각에서 각 관절점의 위치를 추정하고 이들을 확률 히트맵(probability heatmap)에 의해 융합하여 3차원 관절점을 추정하는 기술을 개시하고 있다. 자세정보캡쳐부(210)는 이러한 알려진 기술 중의 하나를 이용하여 각각의 다시점 이미지 프레임들에서 행위자의 관절점을 추정하고 그 3차원 좌표를 출력한다.
운동량계산부(600)는 자세정보캡쳐부(210)에서 출력되는 관절점 위치들을 시간축상에서 순차적으로 모델링신체에 적용하여 각 관절별로 운동량을 계산하고 이를 합산하여 운동량을 계산한다. 모델링신체 정보는 데이터베이스(640)에 저장되어 관리될 수 있다. 도 3은 이러한 모델링신체에서 팔 부분을 예시한다. 모델링신체는 인체를 근사적으로 몇 개의 부분으로 나누고 각 부분의 질량을 부피가 0이고 무게만 있는 무게추(320, 340, 360)로 모델링한다. 관절 사이의 신체 부분은 질량이 무게추에 집중되어 있는 와이어(313, 335, 359)로 단순화된다. 신체 부분의 형상에 따라 와이어 모델에서 무게추들(320, 340, 360)의 위치는 결정될 수 있다. 소멸된 특허제915,606호는 특정한 사람과 운동역학적으로 근사한 모델링신체를 구성하는 기술을 개시하고 있다. 제안된 발명은 예를 들면 이 개시된 모델링신체를 제안된 발명에 의해 추정되는 관절점만을 포함하는 모델로 조금 더 단순화하여 적용할 수 있다. 관절을 중심으로 관절별로 운동량을 계산하는 것은 단순하지 않다. 신체를 구성하는 관절들은 모두 연결되어 있으므로 예를 들어 팔의 운동량은 손목 관절(350)의 운동량과 팔꿈치 관절(330)의 운동량과 어깨 관절(310)의 운동량의 합이지만 팔꿈치 관절(330)의 운동량은 하박 뿐 아니라 손까지 감안해야 하고 손목관절(350)의 움직임에 따라 모멘텀이 달라진다. 제안된 발명에서는 이러한 연결된 관절들의 운동량 계산을 단순화하기 위해 관절의 형태가 크게 변하지 않는 미소 변위(ΔФ) 단위로 운동량을 계산하여 이를 누적함으로써 특정한 시간 간격 동안의 운동량을 계산한다. 운동량을 계산하는 관점에서 미소 변위 동안은 신체의 형상이 변하지 않는 것으로 가정할 수 있다. 이에 따르면 팔꿈치 관절(330)의 미소 변위 동안 운동량을 계산할 때 손목 관절(350)은 움직이지 않는 것으로 가정된다.
사용자 인터페이스부(250)는 분석된 결과를 제공하고 필요한 지시나 정보를 입력 받는다. 도시된 실시예에서, 사용자 인터페이스부(250)는 키보드(251)와 디스플레이(253)를 포함한다. 사용자 인터페이스부(250)는 이러한 디바이스는 물론 디바이스를 제어하는 프로그램과, 결과를 그래픽으로 표시하거나 사용자의 입력을 받아들이는 그래픽 사용자 인터페이스(Graphic User Interface)를 생성하는 컴퓨터 프로그램 명령어를 포함할 수 있다.
<청구항 2 발명의 설명>
도 4는 자세정보캡쳐부의 일 실시예를 도시한 블록도이다. 일 실시예에 따른 자세정보캡쳐부는 복수의 2차원자세추정부(340-1, 340-2, … , 340-N)와, 복수의 매치확률분포생성부(350-1, 350-2, … , 350-N)와, 다시점히트맵융합부(390)를 포함할 수 있다. 복수의 2차원자세추정부(340-1, 340-2, … , 340-N)각각은 대응되는 카메라에서 출력되는 2차원 영상에서 행위자의 각 관절점의 위치를 추정하여 출력한다. 2차원 영상에서 정해진 개수의 신체의 관절점을 추정하는 방식은 알려진 기술이므로 상세한 설명은 생략한다. 2차원자세추정부(340-1, 340-2, … , 340-N))에서 추정하는 관절점은 실제 공간상의 관절점 위치가 아니라 그 2차원 카메라 영상에서의 위치이므로 2차원 이미지 좌표계에서의 좌표값이다.
매치확률분포생성부(350-1, 350-2, … , 350-N)는 대응하는 2차원자세추정부에서 출력된 2차원 영상 상의 관절점들을 카메라 파라메터를 반영하여 배치하고, 각 등극선(epipolar line) 주변에서 픽셀별로 참 관절점의 확률을 표현하는 히트맵정보를 생성한다. 도 5는 등극선기하(Epipolar geometry)를 예시적으로 설명하는 도면이다. 등극선기하에 따르면, 카메라들의 정렬각을 반영하여 두 카메라 위치에 촬영된 2D 이미지 평면들을 배치하고, 카메라 렌즈의 광중심(optical center)(C1, C2)을 서로 연결한다. 상이한 두 2D 이미지 평면 상의 대응하는 관절점들(x,x')을 각각의 광중심점으로부터 연장한 직선인 두 등극선들(epipolar lines)의 교차점으로부터 참 관절점(true joint)(X)을 구할 수 있다. 실제로는 2차원자세추정부(340-1, 340-2, … , 340-N)에서 추정된 2D 이미지 평면 상의 관절점 위치가 정확하지 않기 때문에 등극선 주변에서 참 관절점의 존재 확률로 표현할 수 있다. 보다 구체적인 설명은 전술한 Adafuse 논문에서 찾아볼 수 있다. 이에 따르면, 등극선 주변에서 참 관절점의 존재 확률은 2차원 가우스분포(Gaussian distribution)로 표현된다.
다시점히트맵융합부(390)는 각 2차원 영상의 히트맵정보를 융합하여 확률이 높은 매치점을 관절점으로 결정하여 출력한다. 각 2D 이미지 평면의 2D 관절점의 등극선으로부터 생성된 히트맵들을 융합하여 가장 확률이 높은 픽셀을 선택하는 방식으로 참 관절점이 결정될 수 있다.
<청구항 3 발명의 설명>
일 양상에 따르면, 자세정보캡쳐부는 복수의 사람검출부(330-1, 330-2, … , 330-N)를 더 포함할 수 있다. 사람검출부(330-1, 330-2, … , 330-N)는 각각의 카메라에서 출력되는 2차원 영상에서 사람 영역을 추출하여 대응하는 2차원자세추정부(340-1, 340-2, … , 340-N)로 출력한다. 이미지에서 사람 영역을 추출하는 것은 잘 알려진 기술이므로 설명은 생략한다. 사전에 사람 영역을 추출하여 2차원자세를 추정함으로써 2차원 영상에서 관절점 추정의 신뢰도를 높일 수 있다.
<청구항 4 발명의 설명>
추가적인 양상에 따르면, 운동량계산부는 추정된 관절점들을 시간축상에서 분석하여 각 관절별로 운동량을 계산하고 이를 합산하여 운동량을 계산할 수 있다. 도 6은 도 2의 운동량계산부의 일 실시예의 구성을 도시한 블록도이다. 일 실시예에 따른 운동량계산부(600)는 단위동작구분처리부(610)와, 단위동작별 운동량분석부(631)를 포함할 수 있다. 단위동작구분처리부(610)는 관절점들을 시간축상에서 분석하여 생성되는 동작정보로부터 단위동작을 식별하여 구분한다. 이러한 단위동작은 발레에 있어서는 표준적인 단위 동작들이 정의되어 있고 축구나 배구 등 스포츠에서도 사람들은 나름의 기준에 따라 구분할 수 있다. 시간축상에서 연이어 공급되는 3차원 관절점 프레임들을 추적(tracking)하여 움직임이 잠시 멈추는 구간을 검출하여 구분 후보점들을 제시하고, 사람의 도움을 받아 그 중 최종 구분점을 결정하는 방식으로 수작업을 병행하여 처리할 수 있다. 이러한 데이터가 쌓이면 각각의 단위동작별로 학습된 예를 들면 순환신경망회로(RNN : Recurrent Neural Network)를 이용하여 움직임 속도가 정규화된 3차원 프레임들의 모든 구간을 처리하여 가장 높은 확률값을 출력하는 구간을 단위동작으로 결정할 수 있다. 단위동작의 개수가 수백개인 발레와 같은 동작에 있어서 이러한 처리는 매우 높은 처리부하를 초래할 수 있으나, 비교적 적은 수의 단위 동작을 가진 스포츠에 있어서는 적용 가능하다. 행위자의 동작에서 단위동작을 식별함으로써 직선으로 표시된 시간축 상에서 단위동작을 기초로 시연시간의 구간을 구분하여 각 구간의 단위동작을 텍스트로 표시하는 그래픽 사용자인터페이스로 시각화하여 출력할 수 있다. 또 구간별로 재생을 선택하는 선택버튼을 두어 선택될 경우 해당 구간의 3차원 관절점 프레임을 모델링 신체를 통해 재생하거나 동영상의 해당 구간을 재생하도록 구성할 수 있다.
단위동작별 운동량분석부(631)는 구분된 단위동작에 대해 각 관절별로 운동량을 계산하고 이를 모델링신체에 걸쳐 합산하여 단위동작별 운동량을 계산한다. 모델링 신체를 기준으로 운동량을 계산하는 방법에 대해서는 전술한 바 있다. 모델링신체에 포함된 모든 관절에 대해 미소 변위별로 운동량을 계산하여 누적하는 과정을 단위동작 구간에 대해 반복하여 단위동작구간별 운동량을 계산할 수 있다. 이에 의해 행위자가 시연 중에 동일한 단위동작을 몇 번 반복했는지, 그 몇 차례의 단위동작 시연에 있어서 운동량의 차이를 시각화할 수 있다. 또 안무의 평가에 있어서 창작된 특정한 단위동작이 어느 관절의 움직임이 과도한지 부족한지를 평가할 수 있다. 예를 들어 단위동작별 관절별 움직임의 정도를 모델링 신체의 각 관절에 색상을 부여하는 컬러맵으로 표시할 수 있다.
<청구항 5 발명의 설명>
추가적으로, 운동량계산부(600)는 총운동량분석부(633)를 더 포함할 수 있다. 총운동량분석부(633)는 단위동작별 운동량을 합산하여 시연 전체에 걸친 운동량을 계산하여 출력한다. 예를 들어 발레에 있어서 특정한 안무의 전체 시연에 있어서 관절별 운동량의 누적치를 정량화할 수 있다. 나아가 특정한 안무가 어느 관절에 무리를 초래하는지 파악할 수 있고, 스포츠에 있어서 무리가 초래되는 관절을 식별하여 부상을 예방할 수도 있다.
<청구항 6,7 발명의 설명>
운동정보분석부(230)는 추가적으로 소모칼로리계산부(650)를 더 포함할 수 있다. 일 실시예에서, 소모칼로리계산부(650)는 단위동작별 소모칼로리계산부(651)를 포함할 수 있다. 단위동작별 소모칼로리계산부(651)는 단위동작별 운동량으로부터 모델링신체를 기준으로 단위동작별 소모칼로리를 계산하여 출력한다. 운동량 정보는 바로 칼로리로 환산될 수 있다. 추가적으로, 소모칼로리계산부(650)는 총 소모칼로리계산부(653)를 포함할 수 있다. 총 소모칼로리계산부(653)는 단위동작별 소모칼로리를 합산하여 전체 소모 칼로리를 계산하여 출력할 수 있다.
<청구항 8 발명의 설명>
도 7은 도 2의 운동정보분석부의 일 실시예의 구성을 도시한 블록도이다. 추가적인 양상에 따르면, 운동정보분석부는 관절별로 운동 위험도를 산출하여 제공할 수 있다. 일 실시예에 따른 운동정보분석부(230)는 운동위험도분석부(231)를 더 포함할 수 있다. 운동위험도분석부(231)는 운동량계산부(600)에서 출력되는 각 관절별 운동량 정보 중 관절별 운동 각도범위와 각속도를 시간축에서 분석하여 위험도를 산출하고 관절별운동위험도정보로 출력한다. 위험도는 하나 혹은 복수의 위험도 함수로 산출할 수 있다. 예를 들어 위험도 함수는 관절의 운동 각도범위와 각속도 및 무게를 반영한 각운동량의 크기일 수 있다. 또 다른 예로, 위험도 함수는 관절점들의 위치로부터 산출되는 신체균형도, 즉 무게배치의 균일도를 정량화한 값일 수 있다. 위험도는 관절별 운동량의 집중도를 반영한다. 즉 운동량이 전체 관절에 대해 균등하게 배분되지 않고 특정한 몇 개의 관절에 집중되는 경우, 특히 신체에서 약한 관절에 집중되는 경우 위험도가 높아질 수 있다.
<청구항 9 발명의 설명>
추가적인 양상에 따르면, 행위자와 비교행위자의 동작을 비교하여 일치도를 평가할 수 있다. 운동정보분석부(230)는 동작비교평가부(233)를 더 포함할 수 있다. 동작비교평가부(233)는 자세정보캡쳐부에서 출력되는 좌표들을 저장된 비교행위자의 캡쳐된 동작정보(motion information)와 비교하여 일치도를 평가한다. 비교행위자의 동작정보도 관절점들의 위치좌표가 해당 타임스탬프와 함께 저장된 형태일 수 있다. 일 양상에 따라, 동작 일치도의 평가는 동적시간와핑(Dynamic Time Warping)을 적용하여 처리될 수 있다. 행위자의 3차원 관절점 프레임과 대응되는 비교행위자의 동작 프레임을 결정하고 대응되는 동작 프레임의 관절점들의 좌표의 일치도를 누적차분거리개념으로 정량화할 수 있다. 동적시간와핑을 적용한 동작 유사도의 정량화와 관련하여서는 임준석 and 김진헌. 2020, "동영상에서 추출한 키포인트 정보의 동적 시간워핑(DTW)을이용한 인체 동작 유사도의 정량화 기법", 전기전자학회논문지, vol.24, no.4 pp.1109-1116. 에 개시된 기술을 예로 들 수 있다.
<청구항 11 발명의 설명>
도 8은 일 실시예에 따른 동작분석방법의 구성을 도시한 흐름도이다. 일 실시예에 따른 행위자의 동작분석방법은 컴퓨터에서 실행되는 컴퓨터 프로그램 명령어로 구현될 수 있다. 도시된 바와 같이, 일 실시예에 따른 행위자의 동작분석방법은 자세(pose)정보캡쳐 단계(810)와, 운동정보분석 단계(830)를 포함한다. 자세(pose)정보캡쳐 단계(810)에서 컴퓨터는 행위자(actor)를 서로 다른 시점에서 촬영하는 복수의 카메라들에서 획득되는 다시점 영상들(Multiview images)로부터 행위자의 관절점(joint) 위치를 3차원 좌표로 출력한다. 운동정보분석 단계(830)는 운동량계산단계(850)를 포함한다. 운동량계산단계(850)에서 컴퓨터는 자세정보캡쳐 단계(810)에서 출력되는 관절점위치들을 시간축상에서 순차적으로 모델링신체에 적용하여 각 관절별로 운동량을 계산하고 이를 합산하여 운동량을 계산한다. 이들에 대해서는 도 2를 참조하여 설명한 바 있다.
일 양상에 따라, 자세정보캡쳐 단계(810)는 2차원 영상별 2차원자세추정 단계(810)와, 매치확률분포생성단계(815)와, 다시점히트맵융합단계(817)를 포함할 수 있다. 2차원 영상별 2차원자세추정 단계(810)에서 컴퓨터는 각각의 카메라에서 출력되는 2차원 영상에서 행위자의 각 관절점의 위치를 추정하여 출력한다. 매치확률분포생성단계(815)에서 컴퓨터는 대응하는 2차원자세추정 단계에서 각각 출력되는 2차원 영상 상의 관절점들을 카메라 파라메터를 반영하여 배치하고, 각 등극선(epipolar line) 주변에서 픽셀별로 참 관절점의 확률을 표현하는 히트맵정보를 생성한다. 다시점히트맵융합단계(817)에서 컴퓨터는 각 2차원 영상의 히트맵정보를 융합하여 확률이 높은 매치점을 관절점으로 결정하여 출력한다. 추가적인 양상에 따라, 자세정보캡쳐 단계(810)는 2차원자세추정 단계 이전에 사람검출단계(811)를 더 포함할 수 있다. 사람검출단계(811)에서 컴퓨터는 각각의 카메라에서 출력되는 2차원 영상에서 사람 영역을 추출하여 출력한다. 이에 따라 2차원 자세추정 단계(813)는 2차원 영상이 아니라 이에서 추출된 사람 영역들에 대해 수행될 수 있다. 이에에 대해서는 도 3과 도 4 및 도 5를 참조하여 상세히 설명한 바 있다.
추가적인 양상에 따라, 운동량계산단계(850)는 단위동작구분처리단계(851)와, 단위동작구간별 운동량분석단계(853)를 포함할 수 있다. 단위동작구분처리단계(851)에서 컴퓨터는 관절점들을 시간축상에서 분석하여 생성되는 동작정보로부터 단위동작을 식별하여 구분한다. 단위동작구간별 운동량분석단계(853)에서 컴퓨터는 구분된 단위동작에 대해 각 관절별로 운동량을 계산하고 이를 모델링 신체에 걸쳐 합산하여 단위동작별 운동량을 계산한다. 추가적으로 운동량계산단계(850)는 총운동량분석단계(855)를 더 포함할 수 있다. 총운동량분석단계(855)에서 컴퓨터는 단위동작별 운동량을 합산하여 전체 운동량을 계산하여 출력한다.
추가적인 양상에 따라, 운동정보분석 단계(830)는 운동위험도분석 단계(833)를 더 포함할 수 있다. 운동위험도분석 단계(833)에서 컴퓨터는 운동량계산 단계(850)에서 출력되는 각 관절별 운동량 정보 중 관절별 운동 각도범위와 각속도를 시간축에서 분석하여 위험도를 산출하고 관절별운동위험도정보로 출력한다. 이에 대해서는 도 6과 도 7을 참조하여 설명한 바 있다.
이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형예들을 포괄하도록 의도되었다.
10 : 카메라제어부 20 : 행위자
30-1 ~ 30-5 : 다시점 카메라들
50 : 서버컴퓨터
71 : 개인용 컴퓨터 73 : 스마트폰
210 : 자세정보 캡쳐부 230 : 운동정보분석부
231 : 운동량계산부 233 : 동작비교평가부
250 : 사용자 인터페이스부
251 : 키코드 253 : 디스플레이
310, 330, 350 : 관절 320, 340, 360 : 무게추
313, 335, 359 : 와이어
600 : 운동량계산부
610 : 단위동작구분처리부 631 ; 단위동작별운동량분석부
640 : 모델링신체
633 : 총 운동량분석부
650 : 소모칼로리계산부
651 : 단위동작별 소모칼로리계산부
653 : 총 소모칼로리계산부
30-1 ~ 30-5 : 다시점 카메라들
50 : 서버컴퓨터
71 : 개인용 컴퓨터 73 : 스마트폰
210 : 자세정보 캡쳐부 230 : 운동정보분석부
231 : 운동량계산부 233 : 동작비교평가부
250 : 사용자 인터페이스부
251 : 키코드 253 : 디스플레이
310, 330, 350 : 관절 320, 340, 360 : 무게추
313, 335, 359 : 와이어
600 : 운동량계산부
610 : 단위동작구분처리부 631 ; 단위동작별운동량분석부
640 : 모델링신체
633 : 총 운동량분석부
650 : 소모칼로리계산부
651 : 단위동작별 소모칼로리계산부
653 : 총 소모칼로리계산부
Claims (16)
- 행위자(actor)를 서로 다른 시점에서 촬영하는 복수의 카메라들과;
복수의 카메라들에서 획득되는 다시점 영상들(Multiview images)로부터 행위자의 관절점(joint) 위치를 3차원 좌표로 출력하는 자세(pose)정보캡쳐부와;
자세정보캡쳐부에서 출력되는 관절점위치들을 시간축상에서 순차적으로 모델링신체에 적용하여 각 관절별로 운동량을 계산하고 이를 합산하여 운동량을 계산하는 운동량계산부를 포함하는 운동정보분석부;
분석된 결과를 제공하고 필요한 지시나 정보를 입력 받는 사용자 인터페이스부;를 포함하고,
상기 자세정보캡쳐부는 :
각각의 카메라에서 출력되는 2차원 영상에서 행위자의 각 관절점의 위치를 추정하여 출력하는 복수의 2차원자세추정부와;
각각이 대응하는 2차원자세추정부에서 출력된 2차원 영상 상의 관절점들을 카메라 파라메터를 반영하여 배치하고, 각 등극선(epipolar line) 주변에서 픽셀별로 참 관절점의 확률을 표현하는 히트맵정보를 생성하는 복수의 매치확률분포생성부와;
각 2차원 영상의 히트맵정보를 융합하여 확률이 높은 매치점을 관절점으로 결정하여 출력하는 다시점히트맵융합부;를 포함하고,
상기 운동량계산부는 :
관절점들을 시간축상에서 분석하여 생성되는 동작정보로부터 단위동작을 식별하여 구분하는 단위동작구분처리부와;
구분된 단위동작에 대해 각 관절별로 운동량을 계산하고 이를 모델링 신체에 걸쳐 합산하여 단위동작별 운동량을 계산하는 단위동작구간별 운동량분석부; 를 포함하고,
상기 다시점히트맵융합부는,
두개의 카메라 렌즈의 광중심을 연결하고, 상이한 두개의 2D 이미지 평면 상의 대응하는 관절점들을 각각의 광중심점으로부터 연장한 직선인 두 등극선들의 교차점으로부터 상기 참 관절점을 결정하는, 동작분석시스템. - 청구항 1에 있어서, 자세정보캡쳐부는
각각의 카메라에서 출력되는 2차원 영상에서 사람 영역을 추출하여 대응하는 2차원자세추정부로 출력하는 복수의 사람검출부(human detecting part);
를 더 포함하는 동작분석시스템. - 청구항 1에 있어서, 운동량계산부는 :
단위동작별 운동량을 합산하여 전체 운동량을 계산하여 출력하는 총운동량분석부;
를 더 포함하는 동작분석시스템. - 청구항 1에 있어서, 운동정보분석부는 :
단위동작별 운동량으로부터 모델링신체를 기준으로 단위동작별 소모칼로리를 계산하여 출력하는 단위동작별 소모칼로리계산부;
를 더 포함하는 동작분석시스템. - 청구항 1에 있어서, 운동량계산부는 :
단위동작별 소모칼로리를 합산하여 전체 소모 칼로리를 계산하여 출력하는 총 소모칼로리계산부;
를 더 포함하는 동작분석시스템. - 청구항 1에 있어서, 운동정보분석부는 :
운동량계산부에서 출력되는 각 관절별 운동량 정보 중 관절별 운동 각도범위와 각속도를 시간축에서 분석하여 위험도를 산출하고 관절별운동위험도정보로 출력하는 운동위험도분석부;
를 더 포함하는 동작분석시스템. - 청구항 1에 있어서, 운동정보분석부는 :
자세정보캡쳐부에서 출력되는 좌표들을 저장된 비교행위자의 캡쳐된 동작정보(motion information)와 비교하여 일치도를 평가하여 평가결과를 출력하되, 동적시간와핑(Dynamic Time Warping)을 적용하여 동작을 비교하는 동작비교평가부;
를 더 포함하는 동작분석시스템. - 컴퓨터에서 실행되는 컴퓨터 프로그램 명령어로 구현되는 행위자의 동작 분석 방법에 있어서,
행위자(actor)를 서로 다른 시점에서 촬영하는 복수의 카메라들에서 획득되는 다시점 영상들(Multiview images)로부터 행위자의 관절점(joint) 위치를 3차원 좌표로 출력하는 자세(pose)정보캡쳐 단계와;
자세정보캡쳐 단계에서 출력되는 관절점위치들을 시간축상에서 순차적으로 모델링신체에 적용하여 각 관절별로 운동량을 계산하고 이를 합산하여 운동량을 계산하는 운동량계산 단계를 포함하는 운동정보분석 단계;
를 포함하는 동작분석방법. - 청구항 8에 있어서, 자세정보캡쳐 단계는 :
각각의 카메라에서 출력되는 2차원 영상에서 행위자의 각 관절점의 위치를 추정하여 출력하는 2차원자세추정 단계와;
대응하는 2차원자세추정 단계에서 각각 출력되는 2차원 영상 상의 관절점들을 카메라 파라메터를 반영하여 배치하고, 각 등극선(epipolar line) 주변에서 픽셀별로 참 관절점의 확률을 표현하는 히트맵정보를 생성하는 매치확률분포생성단계와;
각 2차원 영상의 히트맵정보를 융합하여 확률이 높은 매치점을 관절점으로 결정하여 출력하는 다시점히트맵융합단계;
를 포함하는 동작분석방법. - 청구항 9에 있어서, 자세정보캡쳐단계는 2차원자세추정 단계 이전에
각각의 카메라에서 출력되는 2차원 영상에서 사람 영역을 추출하여 출력하는 사람검출단계;
를 더 포함하는 동작분석방법. - 청구항 8에 있어서, 운동량계산단계는 :
관절점들을 시간축상에서 분석하여 생성되는 동작정보로부터 단위동작을 식별하여 구분하는 단위동작구분처리단계와;
구분된 단위동작에 대해 각 관절별로 운동량을 계산하고 이를 모델링 신체에 걸쳐 합산하여 단위동작별 운동량을 계산하는 단위동작구간별 운동량분석단계;
를 포함하는 동작분석방법. - 청구항 11에 있어서, 운동량계산단계는 :
단위동작별 운동량을 합산하여 전체 운동량을 계산하여 출력하는 총운동량분석단계;
를 더 포함하는 동작분석방법. - 청구항 8에 있어서, 운동정보분석 단계는 :
운동량계산 단계에서 출력되는 각 관절별 운동량 정보 중 관절별 운동 각도범위와 각속도를 시간축에서 분석하여 위험도를 산출하고 관절별운동위험도정보로 출력하는 운동위험도분석 단계;
를 더 포함하는 동작분석방법. - 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210169419A KR102715450B1 (ko) | 2021-11-30 | 2021-11-30 | 사람의 동작분석시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210169419A KR102715450B1 (ko) | 2021-11-30 | 2021-11-30 | 사람의 동작분석시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230081395A KR20230081395A (ko) | 2023-06-07 |
| KR102715450B1 true KR102715450B1 (ko) | 2024-10-11 |
Family
ID=86760809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210169419A KR102715450B1 (ko) | 2021-11-30 | 2021-11-30 | 사람의 동작분석시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102715450B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102108405B1 (ko) * | 2019-08-23 | 2020-05-08 | 박하연 | 신체정보, 자세정보 및 관절가동범위 측정 시스템 및 그 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102226623B1 (ko) * | 2019-03-12 | 2021-03-11 | 주식회사 피앤씨솔루션 | 실내 스포츠를 위한 카메라를 이용한 운동량 산출 시스템 |
| KR102416709B1 (ko) * | 2019-03-15 | 2022-07-05 | 주식회사 앨리스헬스케어 | 클라우드 서버 기반의 기계학습 관절정보 추출 시스템 및 그 방법 |
-
2021
- 2021-11-30 KR KR1020210169419A patent/KR102715450B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102108405B1 (ko) * | 2019-08-23 | 2020-05-08 | 박하연 | 신체정보, 자세정보 및 관절가동범위 측정 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230081395A (ko) | 2023-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Seeing invisible poses: Estimating 3d body pose from egocentric video | |
| EP4002198A1 (en) | Posture acquisition method and device, and key point coordinate positioning model training method and device | |
| Wang et al. | Geometric pose affordance: 3d human pose with scene constraints | |
| US8775916B2 (en) | Validation analysis of human target | |
| CN102317977A (zh) | 用于姿势识别的方法和系统 | |
| US8866898B2 (en) | Living room movie creation | |
| JP2008538623A (ja) | 運動行為中のイベントを検出及び分類するための方法及びシステム | |
| CN108292362A (zh) | 用于光标控制的手势识别 | |
| US20220414997A1 (en) | Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality | |
| JP5225870B2 (ja) | 情動分析装置 | |
| CN104598012B (zh) | 一种互动型广告设备及其工作方法 | |
| EP0847201B1 (fr) | Système de suivi de mobiles en temps réel sur un terrain de sports | |
| KR102508765B1 (ko) | 인공 신경망 기반의 사용자 맞춤 메타 콘텐츠 제공 시스템 및 그 방법 | |
| Liao et al. | Ai golf: Golf swing analysis tool for self-training | |
| WO2020145224A1 (ja) | 映像処理装置、映像処理方法、及び映像処理プログラム | |
| KR102667880B1 (ko) | 미용 교육 컨텐츠 생성 장치 및 그 방법 | |
| KR102715450B1 (ko) | 사람의 동작분석시스템 | |
| Seer et al. | Kinects and human kinetics: a new approach for studying crowd behavior | |
| Schlattmann et al. | Markerless 4 gestures 6 DOF real‐time visual tracking of the human hand with automatic initialization | |
| Wang et al. | Research and implementation of the sports analysis system based on 3D image technology | |
| KR20220124490A (ko) | 동작 유사도 평가 장치 및 동작 유사도 평가 방법 | |
| Joo | Sensing, Measuring, and Modeling Social Signals in Nonverbal Communication | |
| CN112667088B (zh) | 基于vr行走平台的手势应用识别方法及系统 | |
| JP7500333B2 (ja) | 生成装置、生成方法、およびプログラム | |
| JP7330114B2 (ja) | 対象位置特定システムおよび対象位置特定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |