KR102390951B1 - 영상기반 음악작곡방법 및 그 장치 - Google Patents

Abstract

영상기반 음악작곡방법 및 그 장치가 개시된다. 음악작곡장치는 영상 프레임 사이의 이미지 차이를 파악하고, 이미지 차이의 크기에 따라 작곡 요소를 결정한 후 결정된 작곡 요소를 기초로 음악을 작곡한다.

Description

영상기반 음악작곡방법 및 그 장치{Method for composing music based on image and apparatus therefor}

본 발명의 실시 예는 음악을 자동 작곡하는 방법 및 그 장치에 관한 것으로, 보다 상세하게는 영상에 기반하여 음악을 자동 작곡하는 방법 및 그 장치에 관한 것이다.

작곡 이론에 대한 지식이 없어도 음악을 작곡할 수 있는 종래 다양한 자동작곡알고리즘이 존재한다. 자동작곡알고리즘은 음악 장르나 분위기 등과 같은 사용자 입력을 기초로 그에 맞는 음악을 자동 작곡한다. 자동작곡과 관련하여, 국내특허출원 제10-2018-0023898호 "음원 평가 방법 및 그 장치와 이를 이용한 음원 생성 방법 및 그 장치", 국내특허출원 제10-2018-0129339호 "자동자곡장치 및 그 방법" 등이 존재한다.

본 발명이 이루고자 하는 기술적 과제는, 사용자의 개입없이 영상에 맞는 음악을 자동으로 작곡하는 방법 및 그 장치를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 영상기반 음악작곡방법의 일 예는, 영상 프레임 사이의 이미지 차이를 파악하는 단계; 상기 이미지 차이의 크기에 따라 작곡 요소를 결정하는 단계; 및 결정된 작곡 요소를 기초로 음악을 작곡하는 단계;를 포함한다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따란 음악작곡장치의 일 예는, 영상 프레임 사이의 이미지 차이를 파악하는 프레임분석부; 및 상기 이미지 차이의 크기에 따라 결정된 작곡 요소를 기초로 음악을 작곡하는 작곡부;를 포함한다.

본 발명의 실시 예에 따르면, 사용자의 개입없이 영상 기반으로 음악을 자동 작곡할 수 있다. 예를 들어, 영상 분석을 위한 복잡한 알고리즘 없이 영상 내 속도감 또는 색감을 파악하여 그에 맞는 음악을 자동 작곡할 수 있다. 다른 실시 예에 따르면, 영상 내 장면 변환을 파악하여 각 장면별 음악을 작곡할 수 있을 뿐만 아니라 장면 변환 사이에 추가할 브릿지 음악을 작곡할 수 있다.

도 1은 본 발명의 실시 예에 따른 영상기반 음악작곡의 개념을 도시한 도면,
도 2는 본 발명의 실시 예에 따른 영상기반 음악작곡을 위하여 영상의 속도감을 파악하는 방법의 일 예를 도시한 도면,
도 3은 본 발명의 실시 예에 따른 영상의 장면별 음악을 작곡하는 방법의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 속도감에 따른 작곡 요소를 결정하는 방법의 일 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 영상의 장면별 음악을 작곡하는 방법의 다른 일 예를 도시한 도면,
도 6은 본 발명의 실시 예에 따른 장면기반 음악작곡방법의 일 예를 도시한 흐름도, 그리고,
도 7은 본 발명의 실시 예에 따른 음악작곡장치의 일 예의 구성을 도시한 도면이다.

이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 영상기반 음악작곡방법 및 그 장치에 대해 상세히 살펴본다.

도 1은 본 발명의 실시 예에 따른 영상기반 음악작곡의 개념을 도시한 도면이다.

도 1을 참조하면, 음악작곡장치(100)는 복수의 영상 프레임으로 구성된 영상(110)을 입력받는다. 음악작곡장치(100)는 복수의 프레임을 분석하여 영상(110)의 속도감 또는 색감을 파악한 후 이를 기초로 음악(120)을 자동 작곡한다. 영상(110)의 속도감을 파악하는 방법의 일 예가 도 2에 도시되어 있고, 영상(110)의 색감을 파악하여 음악을 작곡하는 방법의 일 예가 도 5에 도시되어 있다.

도 2는 본 발명의 실시 예에 따른 영상기반 음악작곡을 위하여 영상의 속도감을 파악하는 방법의 일 예를 도시한 도면이다.

도 2를 참조하면, 음악작곡장치(100)는 두 영상 프레임(200,250)의 이미지 차이를 기초로 영상 속도감을 파악한다. 본 실시 예는 N(N은 자연수)번째 영상 프레임(200)과 (N+1)번째 영상 프레임(350) 사이의 속도감을 파악하는 예를 도시하고 있다.

예를 들어, 영상에서 붉은색 공이 이동하는 경우에 N번째 영상 프레임과 (N+1)번째 영상 프레임에서 붉은색 공의 위치가 서로 다르다. 또한, 붉은색 공의 이동속도가 빨라지면 붉은색 공을 구성하는 픽셀의 위치 이동 또한 빨라진다. 다른 예로, 영상에서 하나의 객체가 움직이는 경우와 복수의 객체가 움직이는 경우에 사용자가 느끼는 영상 내 속도감은 달라질 수 있다.

이러한 속도감을 구하기 위하여 영상 내 객체를 인식하고 이들 객체의 움직임을 파악할 수도 있으나, 이 경우 객체 인식을 위한 복잡한 알고리즘이 필요할 뿐만 아니라 객체 인식에 많은 시간이 소요되는 단점이 존재한다. 이에 본 실시 예는 객체의 인식 필요없이 두 영상 내 픽셀 단위의 이동을 기초로 영상의 속도감을 파악하는 방법을 제시한다. 이에 대하여 구체적으로 살펴본다.

먼저, 음악작곡장치(100)는 기 정의된 크기의 윈도우(210)를 N번째 영상 프레임(200)에서 순차적으로 이동시키면서 윈도우(210) 내 기 정의된 위치(예를 들어, '중앙'의 위치, 이하에서는 '중앙'으로 가정하여 설명)에 존재하는 픽셀(220)의 색상값을 파악한다. 예를 들어, 음악작곡장치(100)는 윈도우(210)를 N번째 영상 프레임(200)의 좌상단부터 기 정의된 간격(예를 들어, 1픽셀 또는 5 픽셀 등)으로 이동시킬 수 있다. 윈도우(210)가 우측 끝까지 이동하면, 음악작곡장치(100)는 윈도우(210)를 아래 방향으로 기 정의된 간격(예를 들어, 1픽셀 또는 5 픽셀 등)으로 이동시킨 후 다시 좌측에서 우측으로 이동하면서 윈도우(210) 내 중안에 위치한 픽셀(220)의 색상값을 파악할 수 있다. 윈도우의 이동 간격이나 이동 방향 등은 실시 예에 따라 다양하게 변형할 수 있다.

음악작곡장치(100)는 윈도우(260)를 (N+1)번째 영상 프레임(250)에서 순차적으로 이동시키면서 N번째 영상 프레임(200)에서 파악한 윈도우 중앙의 픽셀 색상값과 실질적으로 동일한 색상값을 가진 픽셀(270)이 윈도우(260) 내 존재하는지 여부 또는 중앙으로부터 얼마만큼 이동하였는지 파악한다.

예를 들어, 음악작곡장치(100)는 N번째 영상 프레임(200)과 (N+1)번째 영상 프레임(250)에서 동일한 위치(예를 들어, x1,y1)의 윈도우(210,260)를 비교하여 N번째 영상 프레임(200)의 윈도우(210)의 중앙 픽셀(220)의 색상값과 실질적으로 동일한 색상값을 가진 픽셀(270)이 (N+1)번째 영상 프레임(250)의 윈도우(260)에서 어느 위치에 존재하는지 파악할 수 있다. 이때, 음악작곡장치(100)는 (N+1)번째 영상 프레임(250)의 윈도우(260)의 중앙에서부터 바깥으로 향하면서 N번째 영상 프레임(200)의 윈도우(210)의 중앙 픽셀(220)의 색상값과 실질적으로 동일한 색상값을 가진 픽셀(260)이 존재하는지 파악할 수 있다. 실질적으로 동일한 색상값이 존재하면, 음악작곡장치(100)는 해당 윈도우(260)의 픽셀 검색 과정을 종료하고 윈도우를 이동한다.

본 실시 예에서, 음악작곡장치(100)가 파악하는 픽셀 색상값은 RGB 또는 HSV, YCbCr 등의 다양한 색상모델의 값일 수 있다. 두 영상 프레임(200,250)에서 동일한 객체(예를 들어, 붉은색 공)라고 하여도 영상에 나타내는 픽셀의 색상값은 완벽하게 일치하지 않을 수 있으므로, 본 실시 예에서 '실질적으로 동일한 색상값'이라고 함은 N번째 영상 프레임(200)의 윈도우(210)의 중앙 픽셀(220)의 색상값을 기준으로 일정 범위 내에 위치한 색상값으로 정의한다. 실질적으로 동일한 색상값의 범위는 실시 예에 따라 다양하게 설정할 수 있다.

본 실시 예에서, 윈도우(210,260) 크기는 실시 예에 따라 다양하게 설정할 수 있다. 예를 들어, 윈도우(210,260)는 5*5 픽셀 크기 또는 10*10 픽셀 크기로 설정될 수 있다.

본 실시 예는 두 영상 프레임(200,250)의 신속한 비교를 위하여 윈도우(210,260) 내 모든 픽셀을 일일이 비교하는 것이 아니라 N번째 영상 프레임(200)에서 윈도우(210)의 중앙 픽셀(220)의 색상값이 N+1번째 영상 프레임(250)의 윈도우(250) 내에 존재하는지 여부 또는 존재한다면 얼마만큼 이동하였는지 파악한다.

음악작곡장치(100)는 N번째 영상 프레임(200)과 (N+1)번째 영상 프레임(250)의 서로 대응하는 윈도우(210,260)를 비교하여 실질적으로 동일한 색상값을 가진 픽셀의 존재여부 또는 두 픽셀의 상대적 거리를 기초로 두 영상 프레임 사이의 속도감을 산출할 수 있다.

예를 들어, 음악작곡장치(100)는 (N+1)번째 영상 프레임(250)의 윈도우(260)에 N번째 영상 프레임(200)의 윈도우(210)의 중앙 픽셀(220)의 색상값과 실질적으로 동일한 색상값을 가진 픽셀(270)이 존재하면 '1', 존재하지 않으면 '0'을 부여한 후 (N+1)번째 영상 프레임(250)의 각 윈도우에 부여된 값을 합산하여 두 영상 프레임 사이의 이미지 차이의 크기를 산출할 수 있다.

다른 예로, 음악작곡장치(100)는 각 윈도우(210,260)에서 실질적으로 색상값이 동일한 두 픽셀(220,270) 사이의 거리를 산출하고, (N+1)번째 영상 프레임(250)의 각 윈도우에서 구한 거리를 합산하여 두 영상 프레임 사이의 이미지 차이의 크기를 산출할 수 있다. N번째 영상 프레임(200)의 윈도우(210)와 (N+1)번째 영상 프레임(250)의 윈도우(260)에서 서로 대응되는 픽셀이 존재하지 않는다면, 영상 내 객체나 배경의 움직임이 윈도우의 크기보다 더 빠른 경우이므로, 이를 반영하기 위하여 서로 대응되는 픽셀(220,270)이 존재하지 않는 윈도우에 대해서는 윈도우의 크기 이상인 기 정의된 값을 부여할 수 있다.

도 3은 본 발명의 실시 예에 따른 영상의 장면별 음악을 작곡하는 방법의 일 예를 도시한 도면이다.

도 3을 참조하면, 영상은 다양한 장면으로 구성된다. 예를 들어, 영상은 집안 배경의 장면이 일정시간 지속되다가, 야외 장면으로 전환될 수 있다. 또는 영상은 격렬한 움직임이 있는 장면에서 움직임이 거의 없는 고요한 장면으로 전환될 수도 있다.

음악작곡장치(100)는 도 2에서 살핀 두 영상 프레임(200,250) 사이의 이미지 차이의 크기를 기초로 영상 내 장면 전환을 파악할 수 있다. 예를 들어, 음악작곡장치(100)는 두 영상 프레임 사이의 이미지 차이의 크기가 기 설정된 값 이상이면 장면 전환이 이루어졌다고 판단할 수 있다.

음악작곡장치(100)는 장면 전환 시점을 파악하여 각 장면(300,350)을 구성하는 복수의 영상 프레임의 구간을 파악할 수 있다. 음악작곡장치(100)는 장면(300,350)을 구성하는 복수의 영상 프레임 사이의 이미지 차이의 크기를 평균하여 장면(300,350)에 대한 속도감(즉, 이미지 차이의 크기)을 파악할 수 있다.

예를 들어, 음악작곡장치(100)는 제1 장면(300)을 구성하는 복수의 영상 프레임 사이의 이미지 차이를 평균하여 제1 장면(300)의 이미지 차이(즉, 제1 속도감)를 파악하고, 제2 장면(350)을 구성하는 복수의 영상 프레임 사이의 이미지 차이를 평균하여 제2 장면(350)의 이미지 차이(즉, 제2 속도감)를 파악할 수 있다.

음악작곡장치(100)는 각 장면(300,350)에 대한 속도감이 구해지면, 해당 속도감에 따른 작곡 요소(310,360)를 결정하고, 그 결정된 작곡 요소(310,360)에 따라 음악(320,370)을 자동 작곡한다. 이미지 차이, 즉 속도감에 따라 작곡 요소를 결정하는 방법에 대해서는 도 4에서 다시 살펴본다.

다른 실시 예로, 음악작곡장치(100)는 장면 전환을 위한 브릿지 음악(380)을 작곡할 수 있다. 제1 장면(300)에 대한 제1 음악(320)과 제2 장면(350)에 대한 제2 음악(370)이 작곡되면, 음악작곡장치(100)는 제1 음악(320)과 제2 음악(370)을 자연스럽게 연결할 수 있는 브릿지 음악을 작곡할 수 있다. 예를 들어, 음악작곡장치(100)는 제1 음악의 코드와 제2 음악의 코드를 자연스럽게 연결할 코드를 가진 브릿지 음악(380)을 두 장면 전환(300,350)을 위하여 생성할 수 있다.

도 4는 본 발명의 실시 예에 따른 속도감에 따른 작곡 요소를 결정하는 방법의 일 예를 도시한 도면이다.

도 4를 참조하면, 음악작곡장치(100)는 도 3에서 살펴본 각 장면(300,350)의 속도감, 즉 이미지 차이가 크면 클수록 템포나 리듬을 더 빠르게 작곡하고, 속도감이 작을 수록 템포나 리듬을 작게 할 수 있다. 속도감에 따라 결정하는 작곡 요소는 템포나 리듬 외에 실시 예에 따라 다양할 수 있다. 또한 속도감의 크기에 따른 작곡 요소의 값은 미리 정의되어 있을 수 있다. 예를 들어, 속도감, 즉 이미지 차이의 크기를 복수 개의 구간으로 정의하고 각 구간에 대한 템포나 리듬의 값을 미리 정의해 놓을 수 있다.

본 실시 예에서 음악작곡장치(100)는 종래의 다양한 객체 인식 알고리즘을 이용하여 장면을 파악하는 것이 아니라 영상의 속도감을 파악하여 음악을 작곡한다. 예를 들어, 동일한 무도회장 장면이라고 하여도, 사람들이 춤을 추는 경우와 춤을 추지 않고 그대로 서 있는 경우에 본 실시 예에 따른 이미지 차이(즉, 속도감)는 서로 다를 수 있고, 이 경우 서로 다른 두 장면 구간으로 구분되고 각 장면 구간에 대한 서로 다른 음악이 작곡될 수 있다. 즉, 본 실시 예에서의 장면은 영상의 속도감이 서로 다른 구간으로 정의될 수 있다.

도 5는 본 발명의 실시 예에 따른 영상의 장면별 음악을 작곡하는 방법의 다른 일 예를 도시한 도면이다. 도 3의 실시 예는 영상의 속도감을 기초로 장면별 음악을 작곡하는 예에 관한 것인 반면, 도 5의 실시 예는 영상의 색감을 기초로 장면별 음악을 작곡하는 예에 관한 것이다.

도 5를 참조하면, 음악작곡장치(100)는 장면별 색감을 파악한다. 음악작곡장치(100)는 도 3에서 살핀 방법으로 장면 전환 여부를 파악할 수 있다. 음악작곡장치(100)는 장면(500,550)을 구성하는 복수 개의 영상 프레임의 픽셀 색상값을 파악하여 기 정의된 색상그룹(예를 들어, 빨강, 파랑, 노랑 등)으로 분류하고 가장 빈도가 높은 색상그룹의 색상을 장면의 색감으로 파악한다. 색상그룹의 개수는 실시 예에 따라 다양할 수 있다.

음악작곡장치(100)는 영상 프레임의 모든 픽셀의 색상값을 파악하여 이를 기 정의된 색상그룹으로 분류할 수 있다. 다른 실시 예로 색감을 보다 신속하게 파악할 수 있도록, 음악작곡장치(100)는 도 2에서 살핀 윈도우(210)를 이용하여 윈도우의 중앙 픽셀(220)의 색상값을 파악하고 분류한 후 빈도가 가장 높은 색상그룹을 해당 영상 프레임의 대표색상으로 파악할 수 있다. 그리고 복수의 영상 프레임의 대표색상에서 가장 빈도가 높은 대표색상을 장면의 색감으로 파악할 수 있다.

음악작곡장치(100)는 색감에 대한 작곡요소를 미리 정의할 수 있다. 예를 들어, 음악작곡장치(100)는 색감에 따라 음악 장르를 미리 맵핑하여 저장할 수 있다. 제1 색감은 댄스, 제2 색감은 락 등과 같이 미리 정의되어 있을 수 있다.

일 실시 예로, 음악작곡장치는 도 3과 도 5를 함께 적용하여 장면(500,550)별 음악을 작곡할 수 있다. 예를 들어, 각 장면(500,550)에 대하여 도 5에 따라 작곡할 음악의 장르를 선택하고, 도 3에 따라 작곡할 음악의 템포나 리듬을 선택한 후, 이를 기초로 음악을 자동작곡할 수 있다.

도 6은 본 발명의 실시 예에 따른 장면기반 음악작곡방법의 일 예를 도시한 흐름도이다.

도 6을 참조하면, 음악작곡장치(100)는 영상 프레임 사이의 이미지 차이를 파악한다(S500). 예를 들어, 음악작곡장치(100)는 N번째 영상 프레임에 대하여, 기 정의된 크기의 윈도우를 N번째 영상 프레임에서 순차적으로 이동시키면서 윈도우 내 기 정의된 위치에 존재하는 제1 픽셀의 색상값을 파악한다. 음악작곡장치(100)는 또한 (N+1)번째 영상 프레임에 대하여, 윈도우를 상기 (N+1)번째 영상 프레임에서 순차적으로 이동시키면서 제1 픽셀의 색상값을 기준으로 일정 범위 내의 색상값을 가진 제2 픽셀이 존재하는지 파악한다. 음악작곡장치(100)는 (N+1)번째 영상 프레임의 각 윈도우에 대한 제2 픽셀의 존재 여부 또는 각 윈도우에 대한 제2 픽셀과 제1 픽셀의 상대적 거리를 기초로 N번째 영상 프레임과 (N+1)번째 영상 프레임 사이의 이미지 차이의 크기를 산출할 수 있다. 이에 대한 예가 도 2에 도시되어 있다.

음악작곡장치(100)는 이미지 차이(즉, 속도감) 또는 색감을 기초로 작곡 요소를 결정하고(S610), 그 작곡 요소에 따라 음악을 작곡한다(S620). 음악작곡장치(100)는 음악 작곡을 위한 종래의 다양한 자동작곡알고리즘을 이용할 수 있다. 예를 들어, 음악작곡장치(100)는 이미지 차이를 기초로 결정된 작곡 요소를 자동작곡알고리즘에 입력하여 음악을 자동 작곡할 수 있다.

일 실시 예로, 음악작곡장치(100)는 기 정의된 구간별 영상 프레임의 이미지 차이의 평균값을 기초로 작곡 요소를 결정한 후 음악을 자동 작곡할 수 있다. 예를 들어, 음악의 1 마디에 해당하는 시간 구간별로 영상을 구분한 후 각 구간의 영상 프레임의 이미지 평균값을 산출하여 음악의 각 마디를 작곡할 수 있다.

다른 실시 예로, 음악작곡장치(100)는 장면별 음악을 작곡할 수 있다. 도 2에서 살핀 두 영상 프레임 사이의 이미지 차이의 기 설정된 크기 이상인 경우를 장면 전환이 존재하는 것으로 파악한 후 하나의 장면을 구성하는 복수의 영상 프레임의 이미지 차이의 평균값을 기초로 작곡 요소를 결정하고 음악을 자동 작곡할 수 있다. 이에 대한 예가 도 3 내지 도 5에 도시되어 있다.

도 7은 본 발명의 실시 예에 따른 음악작곡장치의 일 예의 구성을 도시한 도면이다.

도 7을 참조하면, 음악작곡장치(100)는 프레임분석부(700) 및 작곡부(750)를 포함한다. 음악작곡장치(100)는 프로세서, 메모리, 입출력장치 등을 포함하는 컴퓨터, 스마트폰 등으로 구현될 수 있다. 예를 들어, 프레임분석부(700) 및 작곡부(750)는 소프트웨어로 구현되어 메모리 등에 로딩된 후 프로세서에 의해 실행될 수 있다.

프레임분석부(700)는 영상을 구성하는 복수의 프레임 사이의 이미지 차이를 기초로 속도감을 파악하는 속도감분석부(710) 및 색감을 파악하는 색감분석부(720)를 포함할 수 있다. 실시 예에 따라 색감분석부(720)는 생략될 수 있다.

속도감분석부(710)는 도 2에서 살핀 두 영상 프레임 사이의 이미지 차이의 크기를 파악하여 영상의 속도감을 파악할 수 있다. 속도감분석부(710)는 또한 도 3과 같이 영상의 장면 전화 시점을 파악한 후 장면에 대한 속도감(즉, 이미지 차이)를 파악할 수 있다.

색감분석부(720)는 영상 프레임을 구성하는 각 픽셀의 색상값을 기초로 해당 영상 프레임의 색감을 파악한다. 예를 들어, 색감분석부(720)는 영상 프레임을 구성하는 색상값의 빈도를 기초로 색감을 파악할 수 있다. 색감분석부(720)는 기 정의된 복수 개의 색상 그룹을 정의한 후 각 픽셀의 색상값을 기 정의된 복수 개의 그룹으로 분류하고, 가장 많은 빈도를 가진 그룹의 색상값을 영상 프레임의 대표색상으로 파악할 수 있다. 또는 색감분석부(720)는 도 5와 같이 장면에 대한 색감을 파악할 수 있다.

작곡부(750)는 프레임분석부(700)에 의해 파악된 영상 프레임의 속도감 또는 색감을 기초로 음악을 자동 작곡한다. 작곡부(750)는 장면작곡부(760)와 브릿지 작곡부(770)를 포함할 수 있다. 실시 예에 따라 브릿지 작곡부(770)는 생략될 수 있다.

장면작곡부(760)는 도 3과 같이 영상의 장면별 속도감에 따라 각 장면에 대한 작곡 요소를 결정한 후 이를 기초로 음악을 작곡하거나 도 5와 같이 영상의 장면별 색감에 따라 각 장면에 대한 작곡 요소를 결정한 후 이를 기초로 음악을 작곡할 수 있다. 브릿지작곡부(770)는 두 장면의 음악을 연결하는 브릿지 음악을 작곡한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

1. 영상 프레임 사이의 이미지 차이를 파악하는 단계;
   상기 이미지 차이의 크기에 따라 작곡 요소를 결정하는 단계; 및
   결정된 작곡 요소를 기초로 음악을 작곡하는 단계;를 포함하고,
   상기 이미지 차이를 파악하는 단계는,
   N(N은 자연수)번째 영상 프레임에 대하여, 기 정의된 크기의 윈도우를 상기 N번째 영상 프레임에서 순차적으로 이동시키면서 상기 윈도우 내 기 정의된 위치에 존재하는 제1 픽셀의 색상값을 파악하는 단계;
   (N+1)번째 영상 프레임에 대하여, 상기 윈도우를 상기 (N+1)번째 영상 프레임에서 순차적으로 이동시키면서 상기 제1 픽셀의 색상값을 기준으로 일정 범위 내의 색상값을 가진 제2 픽셀이 존재하는지 서로 대응하는 윈도우를 비교하여 파악하는 단계; 및
   각 윈도우에 대한 상기 제2 픽셀의 존재 여부 또는 각 윈도우에 대한 상기 제2 픽셀과 상기 제1 픽셀의 상대적 거리를 기초로 상기 N번째 영상 프레임과 상기 (N+1)번째 영상 프레임 사이의 이미지 차이의 크기를 산출하는 단계;를 포함하고,
   상기 윈도우의 가로 또는 세로 방향의 이동 간격은 상기 윈도우의 크기보다 작고,
   상기 제2 픽셀이 존재하는지 파악하는 단계는, 상기 제1 픽셀의 색상값을 기준으로 일정 범위 내의 색상값을 가진 제1 픽셀이 상기 (N+1)번째 영상 프레임의 윈도우 내에서 검색되면 픽셀 검색 과정을 종료하여 윈도우를 이동하는 단계를 포함하는 것을 특징으로 하는 영상기반 음악작곡방법.
2. 삭제
3. 제 1항에 있어서, 상기 이미지 차이를 파악하는 단계는,
   상기 이미지 차이가 기 정의된 크기 이상이면, 영상에서 장면 전환이 존재하는 것으로 파악하는 단계;를 포함하는 것을 특징으로 하는 영상기반 음악작곡방법.
4. 제 1항에 있어서, 상기 이미지 차이를 파악하는 단계는,
   동일 장면을 구성하는 복수의 영상 프레임 사이의 이미지 차이를 누적하여 장면에 대한 이미지 차이의 평균값을 산출하는 단계;를 포함하는 것을 특징으로 하는 영상기반 음악작곡방법.
5. 제 4항에 있어서, 상기 작곡 요소를 결정하는 단계는,
   제1 장면의 이미지 차이의 평균값과 제2 장면의 이미지 차이의 평균값을 기초로 상기 제1 장면과 상기 제2 장면 사이를 연결하는 음악의 작곡 요소를 결정하는 단계;를 포함하는 것을 특징으로 하는 영상기반 음악작곡방법.
6. 제 1항에 있어서, 상기 작곡 요소를 결정하는 단계는,
   상기 이미지 차이의 크기에 따라 음악의 장르, 템포 및 리듬 중 적어도 하나 이상을 결정하는 단계;를 포함하는 것을 특징으로 하는 영상기반 음악작곡방법.
7. 제 1항에 있어서, 상기 작곡 요소를 결정하는 단계는,
   제1 장면을 구성하는 영상 프레임의 재생시간 이하의 음악에 대한 제1 작곡요소를 결정하고, 장면 전환이 이루어지면 전화된 제2 장면을 구성하는 영상 프레임의 재생시간 이하의 음악에 대한 제2 작곡 요소를 결정하는 단계;를 포함하는 것을 특징으로 하는 영상기반 음악작곡방법.
8. 제 1항에 있어서,
   일정 구간 또는 동일 장면에 속한 영상 프레임의 색상을 파악하는 단계;를 더 포함하고,
   상기 작곡 요소를 결정하는 단계는,
   상기 색상에 따라 작곡 요소를 결정하는 단계;를 포함하는 것을 특징으로 하는 영상기반 음악작곡방법.
9. 영상 프레임 사이의 이미지 차이를 파악하는 프레임분석부; 및
   상기 이미지 차이의 크기에 따라 결정된 작곡 요소를 기초로 음악을 작곡하는 작곡부;를 포함하고,
   상기 프레임분석부는, N(N은 자연수)번째 영상 프레임에 대하여 기 정의된 크기의 윈도우를 상기 N번째 영상 프레임에서 순차적으로 이동시키면서 상기 윈도우 내 기 정의된 위치에 존재하는 제1 픽셀의 색상값을 파악하고, (N+1)번째 영상 프레임에 대하여 상기 윈도우를 상기 (N+1)번째 영상 프레임에서 순차적으로 이동시키면서 상기 제1 픽셀의 색상값을 기준으로 일정 범위 내의 색상값을 가진 제2 픽셀이 존재하는지 서로 대응하는 윈도우를 비교하여 파악하고,
   상기 작곡부는 각 윈도우에 대한 상기 제2 픽셀의 존재 여부 또는 각 윈도우에 대한 상기 제2 픽셀과 상기 제1 픽셀의 상대적 거리를 기초로 상기 N번째 영상 프레임과 상기 (N+1)번째 영상 프레임 사이의 이미지 차이의 크기를 산출하고,
   상기 윈도우의 가로 또는 세로 방향의 이동 간격은 상기 윈도우의 크기보다 작고,
   상기 프레임분석부는, 상기 제1 픽셀의 색상값을 기준으로 일정 범위 내의 색상값을 가진 제1 픽셀이 상기 (N+1)번째 영상 프레임의 윈도우 내에서 검색되면 픽셀 검색 과정을 종료하여 윈도우를 이동하는 것을 특징으로 하는 음악작곡장치.
10. 제 1항 및 제 3항 내지 제 8항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
    
    

Images