KR20060059862A - 촬영 장치, 시나리오 데이터, 촬영 방법 및 프로그램 - Google Patents

Abstract

촬영 장치(10)는, 촬영 영상을 취득하기 위한 촬영부(18)와, 시나리오 영상을 구성하도록, 저장된 데이터를 판독하는 합성 재생부(20)와, 상기 시나리오 영상과 상기 촬영 영상을 합성하기 위한 합성 정보를 저장하는 시나리오 저장부(12)와, 상기 시나리오 저장부(12)에 저장된 합성 정보에 따라서, 상기 합성 재생부(20)에 의해 판독된 상기 시나리오 영상과 상기 촬영부(18)에 의해 취득된 촬영 영상을 합성하는 합성 재생 제어부(22)와, 상기 합성 재생 제어부(22)에 의해 취득된 합성 영상을 표시하는 표시부(24)를 포함한다.

Description

촬영 장치, 시나리오 데이터, 촬영 방법 및 프로그램{PHOTOGRAPHING SYSTEM AND PHOTOGRAPHING METHOD}

본 발명은 촬영에 의해 취득된 영상과 시나리오 영상을 합성하는 장치 및 방법에 관한 것이다.

종래에서, 2개의 영상을 합성하는 여러 기술들이 제안되었다. 이들 기술들 중 하나로서 크로마키(Chroma Key)가 알려져 있다. 크로마키에서, 특정색(일반적으로, 청색)의 배경 앞에서 피사체를 촬영하고, 특정색의 배경을 투명하게 하여 피사체의 영상을 추출한다. 그 후, 추출한 영상을 또 다른 영상에 중첩함으로써 합성 영상을 만든다.

일본 특허 공개 제2001-346099호 공보는, 크로마키에 근거한 합성 영상을 용이하게 만들 수 있도록 영상을 축적하는 장치를 개시한다. 상기 출원은, 현장의 카메라에 의해 촬영된 피사체의 영상과, 촬영시에 카메라의 촬영 상태를 서로 연관지어 저장함으로써, 앞으로 필요에 따라서 합성 영상의 생성에 사용될 수 있다.

일본 특허 공개 평성 제4-183183호 공보는 가라오케 소프트웨어의 재생 영상 과 가수의 얼굴 또는 형태를 합성하는 영상 신호 처리 장치를 개시한다.

발명의 개시

일본 특허 공개 제2001-346099호 공보에 개시된 장치는 촬영 영상을 저장하여 후에 영상을 합성하기 위한 장치이다. 예를 들면, 텔레비전 방송에 사용하는 영상에서, 고정밀도 영상 합성이 요구되고, 영상을 편집하는 데 상기와 같은 장치를 사용하는 것이 바람직하다. 그러나, 영상 합성시에 용이한 조작이나 고속 영상 합성이 사용에 따라서 요구될 때가 있다.

영상 합성시에 용이한 조작이 중요하게 간주되는 예는, 카메라가 장착된 휴대 전화에 의해 촬영된 영상을 다른 영상과 합성하는 경우이다. 휴대 전화의 화면 크기와 키 타입이 제한적이기 때문에, 일단 촬영된 영상을 판독하고, 판독된 영상으로부터 소망하는 부분을 클리핑(clipping)하여, 편집하는 것은 곤란하다.

휴대 전화에 의해 촬영된 영상을 영상 합성용 단말로 이동시켜 처리하는 것이 가능하더라도, 편집된 합성 영상을 즉시 볼 순 없다.

일본 특허 공개 평성 제4-183183호 공보에 개시된 장치는, 합성되는 촬영 영상이 가라오케 가수의 얼굴 또는 형태임을 가정한다. 이 가정하에서, 가사를 표시하는 화면의 앞에 가수의 서 있는 위치를 거의 고정하고, 촬영용 비디오 카메라의 위치 또는 방향을 조정하지 않더라도, 촬영 영상을 적절하게 취득할 수 있다. 또한, 비디오가 개시할 때 촬영 영상만을 합성해야 하여, 합성 타이밍을 제어할 필요가 없다.

상기와 같이, 일본 특허 공개 평성 제4-183183호 공보에 따른 영상 신호 처리 장치에서, 합성되는 촬영 영상은 사전 결정된 대상물(가라오케 가수의 얼굴 또는 형태)이고, 합성 타이밍은 항상 가라오케 소프트웨어의 재생시이다. 재생되고 있는 시나리오 영상에 따라서, 합성되는 촬영 영상의 대상물과 그 합성 타이밍을 제어할 수 없다.

상기한 배경을 고려하여, 본 발명의 목적은 촬영하면서 영상을 합성할 수 있는 촬영 장치 및 촬영 방법을 제공하는 것이다. 본 발명의 다른 목적은 소망하는 타이밍으로 적절하게 촬영 영상을 합성할 수 있는 촬영 장치를 제공하는 것이다.

본 발명의 촬영 장치는, 촬영 영상을 취득하기 위한 촬영 수단과, 시나리오 영상을 구성하도록 저장된 데이터를 판독하기 위한 판독 수단과, 상기 시나리오 영상과 상기 촬영 영상을 합성하기 위한 합성 정보를 저장하는 저장 수단과, 상기 저장 수단에 저장된 합성 정보에 따라서, 상기 판독 수단에 의해 판독된 상기 시나리오 영상과 상기 촬영 수단에 의해 취득된 촬영 영상을 합성하는 합성 수단과, 상기 합성 수단에 의해 취득된 합성 영상을 표시하는 표시 수단을 포함한다.

저장 수단에 저장된 합성 정보에 따라서, 촬영 영상과 시나리오 영상을 합성하고, 합성에 의해 취득된 합성 영상을 표시 수단으로 표시하는 상기 구성에서, 사용자는 표시 수단에 의해 표시된 합성 영상을 보면서 촬영할 수 있다. 예를 들면, 촬영 영상을 적절하게 취득할 수 있도록, 사용자는 촬영 장치의 위치 또는 방향을 조정할 수 있고, 또한 시나리오 영상에 적합한 피사체를 선택할 수 있다. 즉, 사용자는 표시 수단에 의해 표시된 합성 영상을 보면서, 소망하는 피사체를 발견하기 위해서 촬영 장치를 이동할 수 있다. 또한, 촬영하면서 합성하는 것은, 촬영이 종료할 때에 영상 합성을 완료하는 고속 영상 합성을 실현할 수 있다. 그러나, "시나리오 영상"은 촬영 영상과 합성되는 영상으로서, 시간의 개념을 갖고, 그 예는 동영상, 애니메이션, 슬라이드쇼 등이다. 시나리오 영상은 일반적으로 시나리오 정보에 따라서 표시된다. 시나리오 정보는 동영상, 정지 영상, 텍스트, 또한 음과 같은 멀티미디어 데이터 중 어느 하나를 언제, 어디서, 어떻게 출력할지를 기술하는 정보이다. "촬영 영상"은 시나리오 영상이 재생되는 동안에 촬영 수단에 의해 취득되는 영상으로서, 파일과 같은 저장 수단에 사전에 저장된 데이터로 구성되지 않는다. 촬영 영상은 동영상 또는 정지 영상일 수 있다.

상기 합성 정보는 상기 촬영 영상과 상기 시나리오 영상을 합성하는 시간에 대한 정보를 포함한다.

이 구성에서, 촬영 영상과 시나리오 영상을 합성하는 시간은 합성 정보에 근거하여 규정될 수 있다. 시간에 대한 정보는, 예를 들면, 합성을 개시하는 시나리오 영상 시간 또는 합성을 종료하는 시나리오 영상 시간에 의해 규정된다.

상기 합성 정보는, 상기 촬영 영상이 합성되는 합성 영역의 외형에 대한 정보와, 상기 시나리오 영상을 구성하는 영상내의 상기 합성 영역의 위치에 대한 정보 중 적어도 하나를 포함한다.

이 구성에서, 촬영 영상이 합성되는 합성 영역을 규정할 수 있다. 상기 합성 영역에 상기 촬영 영상을 삽입함으로써, 촬영 영상과 시나리오 영상을 합성할 수 있다. 또한, 촬영 수단에 의해 촬영된 영상의 전체를 상기 합성 영역과 합성할 수 있거나, 또는 촬영 영상의 일부를 상기 합성 영역과 합성할 수 있다.

상기 촬영 장치는, 상기 합성 정보에 근거하여, 상기 촬영 영상과 상기 시나리오 영상을 합성하는 시간에 또는 그 이전에, 상기 촬영 수단을 제어하는 사용자에게 상기 합성 영역에 대한 정보를 제시하는 수단을 더 포함할 수 있다.

이 구성은 촬영 영상과 시나리오 영상을 합성하는 시간에 또는 그 이전에 합성 영역에 대한 정보를 사용자가 취득할 수 있도록 해준다. 따라서, 시나리오 영상과 합성되는 영상을 촬영하기 위해서, 사용자는 촬영 수단, 즉 카메라의 위치 또는 방향, 또는 촬영 조건을 변경할 수 있다. 또한, 촬영 영상과 시나리오 영상을 합성하는 시간 또는 그 이전은 "합성을 개시하는 시간 이전" 또는 "합성을 개시하는 시간"을 의미할 수 있다. 합성을 개시하는 시간에 합성 영역에 대한 정보를 제시하는 경우에, 사용자가 카메라를 제어하는 시간을 확보하기 위해서, 시나리오 영상의 재생을 일시 정지시키는 것이 바람직하다.

사용자에게 제시되는 합성 영역에 대한 정보는, 상기 합성 정보의 위치에 대한 정보와, 외형에 대한 정보 중 적어도 하나에 근거할 수 있다.

이 구성에서, 사용자는 합성 영역과 합성되는 영상을 예측할 수 있어, 촬영 준비를 할 수 있다. 외형에 대한 정보에 근거한 정보를 제시하는 예는, 합성 영역의 윤곽을 표시하는 것이다. 따라서, 상기 합성 영역의 형상 및 크기를 제시할 수 있다. 위치에 대한 정보를 제시하는 것은, 촬영 영상의 일부를 합성 영역과 합성하는 경우와, 촬영 영상 전체를 시나리오 영상을 구성하는 전체 영상에 중첩하는 경우에 유효하다. 즉, 촬영 영상에서 합성되는 대상물의 위치가 시나리오 영상을 구성하는 영상에서의 합성 영역의 위치에 대응하도록, 카메라의 위치 또는 방향을 조정해야만 하였다.

사용자에게 제시되는 합성 영역에 대한 정보는, 상기 합성 정보의 위치에 대한 정보와 외형에 대한 정보 중 적어도 하나에 따라서, 상기 촬영 수단에 의해 취득된 촬영 영상을 처리함으로써 취득된 영상을 포함할 수 있다.

상기와 같이 촬영 영상을 제시하는 것은, 촬영 영상이 촬영 수단에 의해서 취득되고 있음을 사용자가 알 수 있도록 해준다. 예를 들면, 이는 사용자가 합성을 개시하는 시간 이전에, 합성되는 피사체를 초점이 맞게 유지할 수 있도록 해준다. 또한, 합성 정보에 따른 처리는, 예를 들면, 촬영 영상의 클리핑 및 영상 축소와 같은 처리이고, 이는 촬영 영상을 합성 영역에 삽입하는 경우에 어떤 영상이 표시될지를 사용자가 알 수 있도록 해준다. 촬영 영상은, 예를 들면, 합성을 개시하는 시간에 시나리오 영상을 구성하는 영상과 함께 표시될 수 있거나, 또는 표시 수단에 의해 현재 표시되는 시나리오 영상, 즉 합성을 개시하는 시간 이전의 시나리오 영상과 함께 표시될 수 있다. 후자의 경우에, 촬영 영상과 현재 표시되는 시나리오 영상을 구성하는 영상이 서로 또는 나란히 표시될 수 있다.

사용자에게 제시되는 합성 영역에 대한 정보는, 상기 합성 정보에 따라서, 상기 촬영 수단에 의해 취득된 촬영 영상과, 상기 합성 영역이 출현하는 상기 시나리오 영상을 구성하는 영상을 합성함으로써 취득된 영상을 포함할 수 있다.

촬영 수단에 의해 취득된 촬영 영상과, 합성 영역이 출현하는 시나리오 영상을 구성하는 영상과의 합성인 합성 영상 프리뷰를 상기와 같이 사용자에게 제시하 는 것은, 사용자가 합성 영역과 합성되는 촬영 영상을 소망하는 영상으로 할 수 있도록 해준다. 즉, 사용자는 합성 영상 프리뷰를 봄으로써 합성 영역에 적합한 영상을 선택하여 촬영할 수 있다. 사용자는 합성 영역의 형상 및 크기에 따라서 촬영 수단의 줌 비를 조정할 수 있거나, 배경으로 될 시나리오 영상에 맞도록 촬영 영상의 밝기를 조정할 수도 있다. 합성 영상 프리뷰는 시나리오 영상의 재생을 일시 정지시킨 후에 표시될 수 있거나, 또는 시나리오 영상이 재생되고 있는 화면과는 상이한 화면에 표시될 수 있다.

상기 촬영 장치는 상기 시나리오 영상과 촬영 영상의 합성을 개시하는 시간에 상기 시나리오 영상의 재생을 일시 정지시키는 수단을 포함한다.

상기와 같이 시나리오 영상의 재생을 일시 정지시키는 것은, 사용자가 촬영 수단, 즉 카메라를 제어하는 시간을 확보할 수 있도록 해준다.

상기 촬영 장치에서, 상기 시나리오 영상을 구성하는 영상에서의 상기 합성 영역의 위치는 시간의 흐름에 따라 이동하도록 설정될 수 있다.

이 구성에서, 카메라의 위치 또는 방향을 변화시키더라도, 시나리오 영상을 구성하는 영상에서의 합성 영역의 위치는 시간의 흐름에 따라 이동될 수 있다. 예를 들면, 합성 정보에 포함된 합성 영역의 위치에 대한 정보를 시간의 함수로서 나타내면, 상기 합성 영역을 이동 가능하도록 설정할 수 있다.

상기 촬영 장치에서, 상기 합성 영역의 외형은 시간의 흐름에 따라 변화되도록 설정될 수 있다.

이 구성에서, 합성 영역의 외형은 시간의 흐름에 따라 변화될 수 있다. 예 를 들면, 합성 영역의 외형에 대한 정보로서 복수의 형상 정보가 합성 정보에 포함되면, 또한, 상기 형상 정보의 각각이 시간에 관련되면, 상기 합성 영역의 형상은 변화하도록 설정될 수 있다.

상기 촬영 장치는 상기 시나리오 영상과 상기 촬영 영상의 합성을 개시하는 시간이 근접했음을 사용자에게 알려주는 수단을 더 포함할 수 있다.

이 구성에서, 사용자는 합성되는 영상을 촬영하기 위한 준비를 할 수 있다. 사용자에게 알려주는 수단의 예는, 문자를 사용하여 카운트다운하는 구성, 음 또는 광으로 알려주는 구성, 시나리오 영상의 재생 속도를 늦춤으로써 알려주는 구성 등이 있다. 여기서, "사용자"는 촬영하는 사람뿐만 아니라 피사체로 되는 사람을 포함한다.

상기 촬영 장치는, 상기 시나리오 영상과 상기 촬영 영상의 합성을 개시하는 시간을 포함하는 소정 기간내에서, 합성 개시에 대한 정보를 사용자에게 알려주는 수단을 더 포함할 수 있다.

이 구성은 합성이 곧 개시됨, 또는 합성이 개시되었음을 사용자가 알 수 있도록 해주어, 사용자는 합성되는 촬영 영상을 취득할 수 있다. 합성 개시에 대한 정보를 사용자에게 알려주는 수단은, 예를 들면, 합성 개시 시간을 포함하는 소정 기간내에서 광을 깜박이게 하는 구성, 또는 음을 출력으로 구성으로 실현될 수 있다. 합성 개시 시간 이전 또는 그 이후에, 음 또는 광을 출력하는 것은 촬영 영상을 취득하도록 사용자에게 강요할 수 있다. 합성 개시 시간 이후에 사용자가 촬영 영상의 촬영을 개시하는 경우라도, 합성 개시 시간부터 사용자가 촬영을 개시하는 시간까지 합성 영상을 적절하게 취득할 수 있다. 예를 들면, 촬영의 개시후에 상기 촬영 영상과 합성되는 영상을 보완함으로써 행해질 수 있다. 여기서, "사용자"는 촬영하는 사람뿐만 아니라 피사체로 되는 사람을 포함한다.

상기 촬영 장치는 상기 합성 영상을 기록하는 수단을 더 포함할 수 있다.

이 구성에서, 촬영하면서 합성되는 합성 영상은 나중에 그대로 재생될 수 있다.

상기 촬영 장치는 상기 촬영 수단에 의해 취득된 촬영 영상을 상기 시나리오 영상의 식별 정보와 연관되어 기록하는 수단을 더 포함할 수 있다.

이 구성에서, 관련된 시나리오 영상과 촬영 영상을 합성하면서 재생하는 것은, 합성 영상을 재생할 수 있도록 해준다. 하나의 시나리오 영상에 대해서 복수의 촬영 영상을 기록하면, 하나의 시나리오 영상으로부터 상이하게 합성된 복수의 영상을 재생할 수 있다.

촬영 수단은 합성 정보에 포함된 촬영 조건에 대한 정보에 근거하여 영상을 촬영할 수 있다.

이 구성에서, 합성 영역과 합성되는 영상의 내용에 적합한 영상을 촬영할 수 있다. 촬영 조건의 예는 밝기, 포토라이트의 유무, 줌 비, 색조(세피아, 흑백, 컬러) 등이다.

상기 촬영 장치는 촬영 영상과 시나리오 영상의 합성에 대한 개시 지시와 종료 지시 중 적어도 하나를 사용자 입력으로 갖는 입력 수단을 포함할 수 있다.

이 구성은 사용자가 촬영 영상과 시나리오 영상의 합성에 대한 개시 또는 종 료의 타이밍을 선택할 수 있도록 해준다. 합성 개시 지시를 사용자 입력으로 갖는 구성을 채용하면, 예를 들면, 사용자가 합성되는 영상을 촬영할 준비가 되어 있는 단계에서, 사용자는 합성을 개시할 수 있다. 합성 종료 지시를 사용자 입력으로 갖는 구성을 채용하면, 예를 들면, 사용자가 합성되는 영상을 계속 촬영할 수 없게 되는 경우에, 사용자는 합성을 종료할 수 있다. 여기서, "사용자"는 촬영하는 사람이다.

상기 촬영 장치에서, 상기 합성 정보에 의해 규정된, 상기 합성 개시 지시가 상기 촬영 영상과 상기 시나리오 영상의 합성을 개시하는 시간 이후에 입력되는 경우에, 상기 규정된 합성 지시 시간과 상기 합성 개시 지시의 입력 사이에서, 합성 영역과 합성되는 영상은 상기 촬영 영상 또는 상기 시나리오 영상으로 보완될 수 있다.

이 구성에서, 합성 정보에 의해 규정된 합성 개시 시간 이후에 합성 개시 지시가 사용자에 의해 입력되었더라도, 합성 영상을 적절하게 생성할 수 있다. 촬영 영상으로 보완하는 방법의 예는, 합성 정보에 의해 규정된 합성 개시 시간부터 상기 합성 개시 지시가 입력된 시간까지의 기간 동안 합성 영역에, 합성 개시 지시가 입력된 시간에서의 촬영 영상을 적용하는 방법, 또는 촬영 영상의 재생 속도를 늦추어 합성 정보에 의해 규정된 합성 시간의 길이로 촬영 영상을 연장하는 방법이다. 시나리오 영상으로 보완하는 방법의 예는, 합성 정보에 의해 규정된 합성 개시 시간부터 합성 개시 지시가 입력되는 시간까지 합성 영역에 디폴트 시나리오 영상을 표시하는 방법이다.

상기 촬영 장치에서, 상기 합성 정보에 의해 규정된 상기 합성 종료 지시가, 상기 촬영 영상과 상기 시나리오 영상의 합성을 종료하는 시간 이전에 입력되는 경우에, 상기 합성 종료 지시의 입력과 상기 규정된 합성 종료 시간 사이에서, 상기 합성 영역과 합성되는 영상을 상기 촬영 영상 또는 상기 시나리오 영상으로 보완할 수 있다.

이 구성에서, 합성 정보에 의해 규정된 합성 종료 시간 이전에 합성 종료 지시가 입력되었더라도, 합성 영상을 적절하게 생성할 수 있다. 촬영 영상으로 보완하는 방법은, 합성 종료 지시가 입력되는 시간에서의 촬영 영상을, 상기 합성 종료 지시가 입력되는 시간부터 합성 정보에 의해 규정된 합성 종료 시간까지 합성 영역에 적용하는 방법, 또는 촬영 영상의 재생 속도를 늦추어 합성 정보에 의해 규정된 합성 시간의 길이로 상기 촬영 영상을 연장하는 방법이다. 시나리오 영상으로 보완하는 방법의 예는, 합성 종료 지시가 입력되는 시간부터 합성 정보에 의해 규정된 합성 종료 시간까지, 합성 영역에 디폴트 시나리오 영상을 표시하는 방법이다.

표시 수단은 복수의 화면으로 구성될 수 있고, 적어도 하나의 화면은 상기 시나리오 영상 또는 상기 합성 영상을 표시한다.

이 구성에서, 시나리오 영상 또는 합성 영상을 하나의 화면에 표시하면서, 다른 화면에서 그 밖의 정보를 확인할 수 있다. 예를 들면, 촬영 수단에 의해 촬영되고 있는 영상을 다른 화면에 표시할 수 있다. 이는 합성되는 피사체에 미리 초점을 맞추어 촬영 영상을 적절하게 취득할 수 있도록 해준다. 상기 촬영 수단이 포착하고 있는 영상을 프리뷰 영상으로서 다른 화면에 표시할 수도 있다. 피사체 가 합성 영상을 볼 수 있도록 하나의 화면이 피사체측에 마련되면, 피사체는 합성 영상을 확인할 수 있다.

상기 촬영 장치는 상기 촬영 수단에 의해 촬영되는 지점 또는 영역을 나타내는 광을 비추는 라이트 수단을 포함할 수 있다.

이 구성에서, 피사체에 비춰진 광은, 사용자가 상기 촬영 수단에 의해 취득되는 촬영 영상을 예측하고, 또한 상기 예측에 근거하여 카메라의 위치 또는 방향을 제어할 수 있도록 해준다.

상기 촬영 장치에서, 상기 촬영 수단에 의해 취득된 촬영 영상은 연속적으로 촬영된 동영상일 수 있고, 또한 상기 합성 수단은 상기 시나리오 영상과 상기 동영상을 합성할 수 있다.

상기와 같이, 촬영 수단에 의해 취득된 동영상은 합성 정보에 근거하여 시나리오 영상과 합성될 수 있다.

상기 촬영 장치에서, 상기 촬영 수단에 의해 취득된 촬영 영상은 1개 이상의 정지 영상이고, 또한 상기 합성 수단은 시나리오 영상과 합성되는 영상으로서 소정 기간 동안에 정지 영상 중 하나를 사용한다.

상기와 같이, 촬영 수단에 의해 취득된 정지 영상은 합성 정보에 근거하여 시나리오 영상과 합성될 수 있다. 또한, "소정 기간"은 합성 정보에 의해 규정된 합성 시간 또는 합성 시간의 일부를 의미할 수 있다. 정지 영상 중 하나를 합성 시간의 일부에서 합성하는 경우에, 정지 영상의 다른 것 또는 그 밖의 것들을 합성 시간의 나머지에서 합성할 수 있다.

상기 촬영 장치는 상기 촬영 수단에 의해 촬영된 촬영 영상의 일부를 부분 영상으로서 클리핑하는 부분 영상 클리핑 수단을 포함할 수 있고, 상기 합성 수단은 상기 부분 영상 클리핑 수단에 의해 클리핑된 부분 영상과 상기 시나리오 영상을 합성한다.

이 구성에서, 촬영 영상으로부터 클리핑된 부분 영상을 시나리오 영상과 합성할 수 있다.

상기 촬영 장치에서, 저장 수단에 저장된 합성 정보는, 상기 부분 영상 클리핑 수단이 부분 영상을 클리핑하는 영역 및 기간을 특정하는 부분 영상 특정 정보를 포함할 수 있고, 상기 부분 영상 클리핑 수단은 상기 부분 영상 특정 정보에 근거하여 상기 촬영 영상으로부터 부분 영상을 클리핑할 수 있다.

이 구성에서, 촬영 영상으로부터 클리핑되는 부분 영상을 합성 정보에서 규정할 수 있다. 예를 들면, 시나리오 영상과 맞는 부분 영상을 규정할 수 있다.

상기 촬영 장치에서, 상기 부분 영상 특정 정보에서 특정된, 클리핑되는 부분 영상의 위치는 시간의 흐름에 따라 이동할 수 있다.

이 구성에서, 카메라의 위치 또는 방향을 변경하더라도, 시나리오 영상과 합성되는 부분 영상의 위치는 시간의 흐름에 따라 이동할 수 있다.

상기 촬영 장치에서, 상기 부분 영상 특정 정보에서 특정된, 클리핑되는 부분 영상의 형상은 시간의 흐름에 따라 변화할 수 있다.

이 구성에서, 부분 영상의 형상은 시간의 흐름에 따라 변화할 수 있다.

상기 촬영 장치에서, 상기 부분 영상에 포함되는 대상물에 의해서, 상기 부 분 영상 특정 정보는 부분 영상을 특정할 수 있고, 상기 부분 영상 클리핑 수단은 상기 부분 영상 특정 정보에서 특정된 대상물을 포함하는 부분을, 상기 부분 영상으로서, 상기 촬영 영상으로부터 클리핑할 수 있다.

이 구성에서, 대상물에 의해서 부분 영상을 특정하기 때문에, 시나리오 영상과 맞는 부분 영상을 용이하게 특정할 수 있다.

상기 촬영 장치에서, 상기 합성 영역에 포함되는 대상물에 의해서, 상기 합성 정보는 상기 합성 영역을 특정할 수 있고, 상기 합성 수단은 상기 시나리오 영상의, 상기 합성 정보에서 특정된 대상물을 표시하는 부분을, 상기 합성 영역으로 간주할 수 있고, 또한 상기 합성 영역과 상기 촬영 영상을 합성할 수 있다.

이 구성에서, 대상물에 의해서 합성 영역을 특정하기 때문에, 합성 영역을 용이하게 특정할 수 있다.

상기 촬영 장치는, 상기 촬영 영상의 합성을 개시하는 시간에 재생을 개시하는 데이터가 있는 경우, 그 데이터의 재생을 개시한 후에, 상기 시나리오 영상을 일시 정지하도록 제어하는 제어 수단을 포함할 수 있다.

이 구성에서, 합성을 개시하는 시간에 시나리오 영상의 재생을 일시 정지시키기 전에, 동시에 개시되는 데이터의 재생을 개시하여, 영상을 일시 정지한 채로, 상기 합성 개시 시간에서의 시나리오 영상을 표시할 수 있다.

상기 촬영 장치는, 상기 촬영 영상의 합성을 개시하는 시간에 표시되는 시나리오 영상을 프리뷰 영상으로 저장하는 프리뷰 영상 저장 수단과, 상기 촬영 영상의 합성을 개시하는 시간에, 상기 프리뷰 영상을 표시하여 상기 시나리오 영상을 일시 정지하도록 제어하는 제어 수단을 포함한다.

이 구성에서, 합성을 개시하는 시간에 표시되는 시나리오 영상이 프리뷰 영상으로서 저장되고, 저장된 프리뷰 영상이 합성 개시 시간에 표시되기 때문에, 영상을 일시 정지한 채로, 합성 개시 시간에서의 상기 시나리오 영상의 상기 프리뷰는 영상을 용이하게 표시할 수 있다.

상기 촬영 장치에서, 상기 제어 수단은 상기 시나리오 영상의 재생을 재개하는 지점을 합성을 개시하는 시간으로 옮길 수 있다.

이 구성에서, 시나리오 영상의 재생을 일시 정지시키는 데 걸린 처리 시간에 상관없이, 합성 개시 시간으로부터 상기 시나리오 영상의 재생을 재개할 수 있다.

본 발명의 시나리오 데이터는, 저장된 데이터를 출력하는 방법을 기술하는 시나리오 정보와, 촬영에 의해 취득되는 촬영 영상과 상기 시나리오 정보의 기술에 따라 출력되는 시나리오 영상을 합성하기 위한 합성 정보를 갖는다.

이 구성에서, 저장된 데이터에 근거하여 출력되는 시나리오 영상과 촬영 영상을 용이하게 합성할 수 있다. 합성 정보는 촬영 영상과 시나리오 영상을 합성하기 위한 정보이고, 그 예는 어떤 위치 및 어떤 타이밍으로 촬영 영상을 합성하는지를 기술하는 정보이다. 시나리오 정보는 저장된 데이터를 출력하는 방법을 기술한다. 시나리오 정보는 어떤 데이터가 출력되는지를 미리 기술하는 반면에, 합성 정보는 출력되는 데이터를 미리 고정하지 않지만 각각 상이한 촬영 영상의 데이터를 촬영마다 출력한다고 기술한다. 촬영에 의해 취득된 촬영 영상을 합성 정보에 근거하여 출력하고, 저장된 데이터를 시나리오 정보에 근거하여 출력하기 때문에, 상 기 시나리오 영상과 상기 촬영 영상을 용이하게 합성할 수 있다.

상기 합성 정보는 상기 촬영 영상과 상기 시나리오 영상을 합성하는 시간에 대한 정보를 포함할 수 있다.

이 구성에서, 촬영 영상과 시나리오 영상을 합성하는 시간은 합성 정보에 근거하여 규정될 수 있다. 시간에 대한 정보는, 예를 들면, 합성을 개시하는 시나리오 영상 시간 또는 합성을 종료하는 시나리오 영상 시간에 의해 규정된다.

상기 합성 정보는 촬영 영상이 합성되는 합성 영역의 외형에 대한 정보와, 상기 시나리오 영상을 구성하는 영상내의 상기 합성 영역의 위치에 대한 정보 중 적어도 하나를 포함할 수 있다.

이 구성에서, 촬영 영상이 합성되는 합성 영역을 정의할 수 있다. 상기 촬영 영상을 상기 합성 영역에 삽입함으로써, 촬영 영상과 시나리오 영상을 합성할 수 있다. 또한, 상기 촬영 수단에 의해 촬영된 영상의 전체를 상기 합성 영역과 합성할 수 있거나, 촬영 영상의 일부를 상기 합성 영역과 합성할 수 있다.

상기 시나리오 데이터에서, 상기 합성 정보는 상기 촬영 영상의 일부를 부분 영상으로서 클리핑하는 영역 및 기간을 특정하는 부분 영상 특정 정보를 포함할 수 있다.

이 구성에서, 시니라오 영상과 합성되는 촬영 영상으로부터 클리핑되는 부분 영상을 규정할 수 있다.

상기 부분 영상 특정 정보에서 특정된, 클리핑되는 상기 부분 영상의 위치를 시간의 흐름에 따라 이동할 수 있다.

이 구성에서, 카메라의 위치 또는 방향을 변경하더라도, 시나리오 영상과 합성되는 부분 영상의 위치를 시간의 흐름 따라 이동할 수 있다.

상기 부분 영상 특정 정보에서 특정된, 클리핑되는 상기 부분 영상의 형상을 시간의 흐름에 따라 변경할 수 있다.

이 구성에서, 부분 영상의 형상을 시간의 흐름 따라 변경할 수 있다.

상기 부분 영상 특정 정보는, 부분 영상에 포함되는 대상물에 의해, 상기 부분 영상의 영역 및 기간을 특정할 수 있다.

이 구성에서, 대상물에 의해 부분 영상을 특정하기 때문에, 시나리오 영상과 맞는 부분 영상을 용이하게 특정할 수 있다.

상기 시나리오 데이터에서, 상기 합성 정보는, 촬영 영상이 합성되는 합성 영역에 포함되는 대상물에 의해, 상기 합성 영역 및 상기 시나리오 영상이 상기 합성 영역을 포함하는 기간을 특정할 수 있다.

이 구성에서, 합성 영역 및 시나리오 영상이 합성 영역을 포함하는 기간은 대상물에 의해 특정되기 때문에, 합성 영역을 용이하게 특정할 수 있다.

본 발명의 촬영 방법은, 시나리오 영상을 구성하기 위해서 저장된 데이터를 판독하는 단계와, 촬영 영상을 취득하는 단계와, 상기 시나리오 영상과 상기 촬영 영상을 합성하기 위한 합성 정보를 판독하는 단계와, 상기 합성 정보에 따라서 상기 시나리오 영상과 상기 촬영 영상을 합성하는 단계와, 상기 합성 단계에서 취득된 합성 영상을 표시하는 단계를 포함한다.

상기와 같이, 합성 정보에 따라서 촬영 영상과 시나리오 영상을 합성하고, 합성에 의해 취득된 합성 영상을 표시하여, 사용자는 표시된 합성 영상을 보면서 촬영할 수 있다. 예를 들면, 촬영 영상을 적절하게 취득할 수 있도록, 사용자는 촬영 장치의 위치 또는 방향을 조절할 수 있고, 또한 시나리오 영상에 적합한 피사체를 선택할 수 있다. 즉, 사용자는 표시된 합성 영상을 보면서, 촬영 영상을 취득하기 위해서 카메라를 움직여 소망하는 피사체의 시야를 포착할 수 있다. 또한, 촬영하면서 합성하는 것은, 촬영이 종료될 때에 영상 합성이 완료되는 고속 영상 합성을 실현할 수 있다.

본 발명의 프로그램은, 촬영 영상과 시나리오 영상을 합성하기 위해서, 컴퓨터에, 시나리오 영상을 구성하기 위해서 저장된 데이터를 판독하는 단계와, 촬영 영상을 취득하는 단계와, 상기 시나리오 영상과 상기 촬영 영상을 합성하기 위한 합성 정보를 판독하는 단계와, 상기 합성 정보에 따라서 상기 시나리오 영상과 상기 촬영 영상을 합성하는 단계와, 상기 합성 단계에서 취득된 합성 영상을 표시하는 단계를 실행시킨다.

이 프로그램을 실행시키는 컴퓨터는 합성 정보에 따라서 촬영 영상과 시나리오 영상을 합성하고, 합성에 의해서 취득된 합성 영상을 표시한다. 이는 사용자가 표시된 합성 영상을 보면서 촬영할 수 있도록 해준다. 예를 들면, 촬영 영상을 적절하게 취득할 수 있도록, 사용자는 상기 촬영 장치의 위치 또는 방향을 조절할 수 있고, 시나리오 영상에 적합한 피사체를 선택할 수 있다. 즉, 사용자는 표시된 합성 영상을 보면서, 촬영 영상을 취득하기 위해 카메라를 움직여 소망하는 피사체의 시야를 포착할 수 있다. 또한, 촬영하면서 합성하는 것은 촬영이 종료될 때에 영 상 합성이 완료되는 고속 영상 합성을 실현할 수 있다.

본 발명의 촬영 장치는, 시나리오 영상과 촬영 영상을 합성하기 위한 합성 정보에 근거하여 촬영 영상과 시나리오 영상을 합성하고, 상기 표시 수단에 의해 합성 영상을 표시한다. 그 결과, 본 발명은, 사용자가 상기 표시 수단에 의해 표시된 합성 영상을 보면서 촬영할 수 있고, 또한, 합성되는 영상을 적절하게 촬영하기 위해서 상기 촬영 장치의 위치 또는 방향을 조정할 수 있다는 큰 이점을 제공할 있다.

도 1은 실시예 1의 촬영 장치의 구성을 나타내는 도면,

도 2는 시나리오 데이터의 예를 나타내는 도면,

도 3은 시나리오 영상 표시의 예를 나타내는 도면,

도 4(a)는 시나리오 영상을 기록하는 방법을 나타내는 도면,

도 4(b)는 시나리오 영상을 기록하는 방법을 나타내는 도면,

도 5(a)는 시나리오 영상을 기록하는 방법을 나타내는 도면,

도 5(b)는 시나리오 영상을 기록하는 방법을 나타내는 도면,

도 6은 촬영 장치에 의해 영상 합성의 동작 흐름을 나타내는 도면,

도 7은 촬영 수단의 동작, 표시 수단의 표시, 및 시나리오 데이터 사이의 관계를 나타내는 도면,

도 8(a)는 합성 영상 프리뷰의 예를 나타내는 도면,

도 8(b)는 합성 영상의 예를 나타내는 도면,

도 9는 실시예 2의 촬영 장치의 구성을 나타내는 도면,

도 10은 촬영 수단의 동작, 표시 수단의 표시, 및 시나리오 데이터 사이의 관계를 나타내는 도면,

도 11(a)는 합성 영상의 예를 나타내는 도면,

도 11(b)는 합성 영역의 제시예를 나타내는 도면,

도 12는 실시예 3의 촬영 장치의 구성을 나타내는 도면,

도 13은 실시예 4의 촬영 장치의 구성을 나타내는 도면,

도 14는 촬영 수단의 동작, 표시 수단의 표시, 및 시나리오 데이터 사이의 관계를 나타내는 도면,

도 15는 촬영 수단의 동작, 표시 수단의 표시, 및 시나리오 데이터의 동작 사이의 관계를 나타내는 도면,

도 16은 실시예 5의 촬영 장치의 구성을 나타내는 도면,

도 17은 촬영 수단의 동작, 표시 수단의 표시, 및 시나리오 데이터 사이의 관계를 나타내는 도면,

도 18은 촬영 수단의 동작, 표시 수단의 표시, 및 시나리오 데이터 사이의 관계를 나타내는 도면,

도 19는 실시예 6의 촬영 장치의 구성을 나타내는 도면,

도 20은 시나리오 데이터의 예를 나타내는 도면,

도 21(a)는 촬영 영상의 예를 나타내는 도면,

도 21(b)는 부분 영상의 예를 나타내는 도면,

도 22는 합성 정보의 예를 나타내는 도면,

도 23(a)는 합성 영역의 변경의 예를 나타내는 도면,

도 23(b)는 부분 영상의 예를 나타내는 도면,

도 24는 합성 정보의 예를 나타내는 도면,

도 25는 실시예 7의 촬영 장치의 구성을 나타내는 도면,

도 26은 시나리오 데이터의 예를 나타내는 도면,

도 27(a)는 촬영 영상의 예를 나타내는 도면,

도 27(b)는 부분 영상의 예를 나타내는 도면,

도 28은 시나리오 데이터의 예를 나타내는 도면,

도 29(a)는 시나리오 영상의 예를 나타내는 도면,

도 29(b)는 시나리오 영상내의 합성 영역을 나타내는 도면,

도 30은 실시예 9의 합성 재생 제어부의 구성을 나타내는 도면,

도 31(a)는 시나리오 데이터의 예를 나타내는 도면,

도 31(b)는 스케쥴 리스트의 예를 나타내는 도면,

도 32는 실시예 10의 합성 재생 제어부의 구성을 나타내는 도면,

도 33(a)는 시나리오 데이터의 예를 나타내는 도면,

도 33(b)는 스케쥴 리스트의 예를 나타내는 도면,

도 34는 실시예 11의 합성 재생 제어부의 구성을 나타내는 도면,

도 35(a)는 시나리오 데이터의 예를 나타내는 도면,

도 35(b)는 스케쥴 리스트의 예를 나타내는 도면,

도 36은 촬영 장치가 2개의 화면을 갖는 경우에 각각의 화면의 표시예를 나타내는 도면,

도 37은 촬영 장치가 2개의 화면을 갖는 경우에 각각의 화면의 표시예를 나타내는 도면,

도 38은 촬영 장치가 2개의 화면을 갖는 경우에 각각의 화면의 표시예를 나타내는 도면,

도 39는 본 발명의 프로그램의 예를 나타내는 도면이다.

발명을 실시하기 위한 최선의 형태

본 발명의 실시예를 도면을 참조하여 설명한다.

도 1은 본 발명의 실시예 1의 촬영 장치(10)의 구성을 나타낸다. 실시예 1의 촬영 장치(10)는 사용자가 상기 장치의 위치 또는 방향을 변경함으로써 촬영 피사체를 변경할 수 있도록 해주는 휴대형 촬영 장치이다. 휴대형 비디오 카메라 및 카메라 장착된 휴대폰이 상기 장치의 예이다. 상기 촬영 장치(10)는 시나리오 데이터를 저장하는 시나리오 저장부(12)와, 촬영 영상을 취득하는 촬영부(18)와, 시나리오 영상을 재생하여 시나리오 영상과 촬영 영상을 합성하는 합성 재생부(20)와, 상기 합성 재생부(20)를 제어하는 합성 재생 제어부(22)와, 합성 시나리오 영상을 표시하는 표시부(24)를 포함한다. 촬영부(18)는, 예를 들면 CCD, CMOS, 또는 그 밖의 반도체 디바이스로 구성되고, 디지털 영상을 취득하는 기능을 갖는다. 촬 영부(18)는 동영상과 정지 영상 중 적어도 하나를 촬영할 수 있다.

상기 촬영 장치(10)의 상세한 설명에 앞서서, 상기 촬영 장치(10)에서 합성되는 시나리오 데이터를 설명한다. 시나리오 데이터는 시나리오 정보(14)와 합성 정보(16)를 포함한다. 시나리오 정보(14)는 출력되는 실제 데이터를 출력하는 방법을 기술하는 정보이다. 시나리오 정보(14)에 근거하여 재생되는 시나리오 영상은 시간의 흐름에 따라 변화하는 영상이고, 그 예는 동영상, 애니메이션, 슬라이드쇼 등이다. 합성 정보(16)는 촬영 영상과 시나리오 영상을 합성하기 위한 합성 영역의 외형과, 시나리오 영상을 구성하는 영역내의 합성 영역의 위치와, 합성 영역이 출현하는 시간에 대한 정보이다. 합성 영역이 출현하는 시간은 시나리오 영상과 촬영 영상이 합성되는 시간이다.

도 2는 시나리오 데이터의 예를 나타내고, 도 3은 도 2에 나타낸 데이터에 따라 화면에 표시되는 시나리오 영상과 합성 영역의 예를 나타낸다. 시나리오 영상은 하나의 매체 또는 복수의 매체로 구성될 수 있다. 도 3에서, 시나리오 영상은 매체 A와 매체 B로 구성되고, 합성 영역은 매체 A내의 영상에 위치한다. 합성 영역은 촬영부(18)에 의해 취득되는 촬영 영상이 합성되는 영역이다. 또한, 시나리오 영상은 매체가 재생되지 않는 재생 시간내의 기간을 포함할 수 있다. 예를 들면, 도 2에 나타낸 예에서 T2<T3인 경우에, 매체 A가 재생되는 기간은 매체 B가 재생되는 기간과 겹치지 않고, 시간 T2와 T3 사이에서 매체는 재생되지 않는다. 그러한 시나리오 영상은 본 발명의 범위내에 포함된다.

도 2에 나타낸 예에서, 시나리오 데이터는 시나리오 정보(14)와 합성 정보 (16)를 갖는다. 시나리오 정보(14)는 매체 A에 대한 출력 방법을 기술하는 시나리오 정보(14a)를 갖고, 매체 B에 대한 출력 방법을 기술하는 시나리오 정보(14b)를 갖는다. 각각의 시나리오 정보(14a, 14b)는, i) 매체 식별자, ii) 실제 데이터의 저장 위치, iii) 매체를 재생 및 표시하는 시간에 대한 정보, iv) 영상을 표시하는 영역에 대한 정보를 포함한다. 여기서, 각각의 시나리오 정보(14a, 14b)는 이 예에서의 4개의 정보를 포함하지만, 필요에 따라서 다른 정보를 포함할 수 있다.

매체 식별자는 매체를 식별하기 위한 정보이다. 실제 데이터의 저장 위치는 매체의 실제 데이터가 저장되는 파일의 디렉토리 및 이름을 나타내는 정보이다. 여기서, 시나리오 정보(14)는 실제 데이터의 저장 위치에 대한 정보를 갖고, 실제 데이터는 시나리오 데이터로부터 개별적으로 저장된다. 매체 A와 매체 B의 실제 데이터의 양쪽이 도 2에서 "home" 디렉토리에 저장되지만, 각 매체의 실제 데이터는 상이한 장소에 저장될 수 있다. 실제 데이터의 저장 위치를 특정할 수 있는 이 구성에서, 예를 들면, 다양한 기존 데이터를 시나리오 영상으로서 용이하게 사용할 수 있다. 매체를 재생 및 표시하는 시간에 대한 정보는, 매체에 근거하여 영상을 재생하는 시간을 특정하기 위한 정보이다. 이 예에서, 재생 개시 타이밍과 재생 종료 타이밍은 시나리오 영상의 재생을 개시하는 지시로부터의 경과 시간에 의해 규정되어, 재생 표시 시간이 특정된다. 알 수 있는 바와 같이, 예를 들면, 매체 A의 재생은 시나리오 영상 재생을 개시하는 지시 이후에 T1초가 지난 시간에 개시되고, T2초가 지난 시간에 종료된다. 영상을 표시하는 영역에 대한 정보는 매체에 근거하여 영상을 표시하는 위치 및 형상에 대한 정보이다. 알 수 있는 바와 같이, 예를 들면, 매체 A는 좌표(Xa, Ya)의 위치에 표시되고, 형상은 직사각형이다.

상기와 같이, 시나리오 정보(14)는 매체를 표시하는 시간 및 영역에 대한 정보를 가질 수 있다. 상기 정보에 근거하여, 특정한 시간 및 특정한 영역에 매체내의 영상을 표시한다. 여기서, 시나리오 데이터는 매체마다 기술되더라도, 다른 기술 방법을 채용할 수 있다. 예를 들면, 시나리오 영상의 재생 시간마다 출력 방법을 기술할 수 있다.

합성 정보(16)를 다음에 설명한다. 합성 정보(16)는 시나리오 영상과 촬영 영상을 합성하기 위한 정보이다. 합성 정보(16)는 합성 영역이 출현하는 시간에 대한 시간 정보를 포함하고, 또한 합성 영역의 위치 및 외형에 대한 영역 정보를 포함한다. 시간 정보는, 시나리오 영상의 재생 개시부터의 경과 시간에 의해서, 합성 영역이 시나리오 영상에서 출현하는 시간을 규정하는 정보이다. 도 2에 나타낸 예에서, 합성 영역은 시나리오 영상의 재생 개시 이후에 T5초~T6초의 기간 동안에 출현한다. 즉, 시나리오 영상과 촬영 영상은 이 기간 동안에 합성된다. 영역 정보는 시간 정보에 의해 규정된 기간 동안에 출현하는 합성 영역의 위치 및 외형을 규정하는 정보이다. 도 2에 나타낸 예에서, 합성 영역이 출현하는 위치의 좌표가 (Xc, Yc)이고, 합성 영역의 형상이 반경 R의 원이다. 또한, 합성 영역이 출현하는 위치는, 출현 위치를 규정하는 좌표를 시간의 함수로 함으로써, 합성 영역의 위치가 이동하도록 설정될 수 있다. 합성 영역의 외형도, 시간 파라미터를 설정함으로써, 시나리오 영상의 재생 시간의 흐름에 따라 변화할 수 있다.

합성 영역과 합성되는 영상은 다른 영상에 겹쳐 쓰도록 표시된다. 합성 영 역이 매체내의 영상과 겹치는 경우에, 합성 영역내의 영상을 우선으로 표시한다. 예를 들면, 도 3에 나타낸 바와 같이, 합성 영역과 매체 A내의 영상의 표시 영역이 서로 겹치는 경우에, 합성 영역은 매체 A내의 영상의 앞에 위치되고, 매체 A내의 영상은 촬영부(18)에 의해 촬영된 영상에 의해 겹쳐 써진다.

도 1을 참조하여, 촬영 장치(10)의 구성을 이하에 설명한다.

시나리오 저장부(12)는 도 2에서 설명되어 있는 바와 같이 시나리오 데이터를 저장한다. 촬영 장치(10)는 시나리오 저장부(12)에 저장된 시나리오 데이터를 판독하여 표시부(24)에 시나리오 영상을 재생하고, 또한, 촬영부(18)에 의해 촬영된 영상을 시나리오 영상과 합성하는 합성 재생부(20)와, 합성 재생부(20)를 제어하는 합성 재생 제어부(22)를 갖는다.

합성 재생 제어부(22)는 시나리오 저장부(12)로부터 시나리오 정보(14)와 합성 정보(16)를 판독하고, 이들 정보에 근거하여 합성 재생부(20)를 제어한다. 촬영부(18)에 의해 촬영된 영상을, 합성 정보(16)에 근거하여 시나리오 영상내의 합성 영역에 삽입함으로써, 합성 재생 제어부(22)는 촬영 영상과 시나리오 영상을 합성한다. 이 때 합성되는 영상은 촬영부(18)에 의해 취득된 영상의 전체일 수 있거나, 취득된 영상의 일부일 수 있다. 촬영부(18)에 의해 취득된 영상을 합성하는 경우에, 합성 영역의 크기에 맞도록 영상을 처리한다. 예를 들면, 합성 영역과 맞추기 위해서, 합성되는 영상을 클리핑하고, 또는 촬영 영상을 확대 축소한다. 촬영부(18)에 의해 취득된 영상의 일부를 합성에 사용하는 경우에, 합성 영역의 출현 개시 시간에 시나리오 영상내의 합성 영역이 위치하는 부분을, 합성을 위해 촬영 영상으로부터 클리핑하면 처리가 용이하다. 즉, 표시되는 시나리오 영상과 촬영부(18)에 의해 취득된 영상이 서로 겹쳐서 표시부(24)에 표시되는 경우에, 합성 영역과 겹치는 부분이 합성을 위해서 촬영 영상으로부터 클리핑된다. 따라서, 합성 영역에 위치되는 대상물이 촬영부(18)에 의해 촬영되도록 촬영 장치(10)의 방향을 조정하기 쉽다. 합성 영역이 출현하는 위치에 상관없이, 고정된 위치(예를 들면, 중앙)에서의 촬영 영상의 부분을, 합성 영역의 외형과 맞고 합성에 사용되도록 클리핑할 수 있다. 합성 정보는, 영상이 클리핑되는 촬영 영상에서의 위치에 대한 정보를 포함할 수 있고, 합성 영역과 합성되는 영상은 상기 정보에 근거하여 촬영 영상으로부터 클리핑될 수 있다.

합성 재생부(20)는 합성 재생 제어부(22)에 의한 제어에 근거하여 시나리오 영상과 합성 영상을 재생한다. 시나리오 저장부(12)에 저장된 시나리오 정보에 근거하여, 시나리오 영상을 재생하는 경우에, 도 1에 도시되지 않은 저장부에 저장된 실제 데이터를 시나리오 정보에 따라서 판독하고, 판독된 실제 데이터를 재생한다. 도 1에 도시되지 않은 실제 데이터는 소정의 장소에 저장될 수 있다. 시나리오 데이터와 함께 시나리오 데이터 저장부(12)에 저장될 수 있다. 합성 재생부(20)는 시나리오 정보에서 특정된 저장 장소로부터 실제 데이터를 판독하고, 이를 재생한다. 또한, 합성 재생 제어부(22)에 의해 전체 데이터를 판독하여 합성 재생부(20)에 보낼 수 있다.

합성 재생 제어부(22)에 의해 합성된 영상을 영상 기록부(26)에 기록한다. 영상 기록부(26)에 기록하는 방법으로서, 화면에 재생된 합성 영상을 그대로 기록 하는 방법을 채용할 수 있거나, 합성되는 촬영 영상과 시나리오 영상을 개별적으로 기록하는 방법을 채용할 수 있다. 전자의 방법을 채용하는 경우에, 기록된 합성 영상을 판독하는 것은, 합성 영상을 그대로 재생할 수 있도록 해준다.

후자의 방법을 채용하는 경우에, 촬영 영상이 합성되는 시나리오 영상에 대한 식별자 정보가 관련된다. 예를 들면, 도 4에 나타낸 바와 같이, 합성 정보 식별자는 합성 정보에 미리 포함된다. 여기서, 식별자 "CameraA"가 주어지고, 이는 CameraA에 의해 촬영된 촬영 영상을 합성하는 것을 나타낸다. 촬영 영상을 기록하는 경우에, 촬영부(18)에 의해 촬영된 촬영 영상의 데이터가 저장되는 장소에 대한 정보(디렉토리 및 파일명)는 도 4(b)에 나타낸 바와 같은 시나리오 데이터와 관련된다. 재생시에, 시나리오 영상을 판독하는 동안에 기록된 촬영 영상을 판독한다. 그 후, 시나리오 영상의 합성 정보에 근거하여, 판독된 촬영 영상을 합성하고, 그 합성 영상을 표시하여, 합성 영상을 재생할 수 있다.

합성 정보가 촬영 영상에 대한 정보를 포함하는 시나리오 영상을 생성할 수 있다. 즉, 도 5(a)에 나타낸 바와 같이, i) 합성 정보 식별자는 합성 정보에 미리 포함된다. 촬영 영상을 기록하는 경우에, 도 5(b)에 나타낸 바와 같이, 촬영부(18)에 의해 촬영된 촬영 영상을, 시나리오 데이터를 구성하는 매체의 하나(매체 C)로서 다루어서 새로운 시나리오 데이터를 생성한다. 매체 C는, 매체 A 또는 매체 B와 마찬가지로, i) 매체 식별자, ii) 실제 데이터의 저장 위치, iii) 매체를 재생 및 표시하는 시간에 대한 정보, iv) 영상을 표시하는 영역에 대한 정보를 포함한다.

기록하는 시간에 대해서, 시나리오 영상의 재생 개시부터 종료까지 기록하는 방법을 채용할 수 있거나, 합성 영역이 출현하는 시나리오 영상의 부분을 기록하는 방법을 채용할 수 있다.

촬영 조건 제어부(28)는 촬영부(18)의 촬영 조건 등을 제어하는 기능을 갖는다. 촬영 조건의 예는 밝기, 포토 라이트의 유무, 줌 비, 색조(세피아, 흑백, 컬러) 등이다. 합성 정보(16)가 합성되는 영상의 촬영 조건에 대한 정보를 포함하는 경우에, 촬영 조건 제어부(28)는 상기 정보에 근거하여 촬영 조건을 설정한다. 촬영 조건 제어부(28)는 사용자에 의해 촬영 조건의 설정을 수용할 수도 있다.

도 6은 촬영 장치(10)에 의한 영상 합성의 동작 흐름을 나타내고, 도 7은 영상 합성시에 촬영부(18)의 동작, 표시부(24)의 표시 및 시나리오 데이터 사이의 관계를 나타낸다. 도 7에서, 가로축은 시간을 나타내고, 이는 왼쪽에서 오른쪽으로 진행한다.

먼저, 사용자는 촬영 장치(10)에게 시나리오 영상의 재생 개시를 지시한다(단계 S1). 시나리오 영상의 재생을 개시하는 지시는 합성 재생 제어부(22)에 입력된다. 합성 재생 제어부(22)는 합성 재생 제어부(20)를 제어하여(단계 S2), 합성 재생부(20)가 시나리오 영상을 재생할 수 있도록 해준다. 즉, 합성 재생부(20)는 실제 데이터 저장부(40)로부터 시나리오 정보(14)를 판독하고, 이 시나리오 정보(14)에 근거하여 시나리오 영상을 재생한다(단계 S3). 실제 데이터 저장부(40)는 어디에든지 위치할 수 있어, 도 6에서 점선으로 나타낸다. 여기서, 시나리오 영상은 도 2에 나타낸 시나리오 데이터에 따라서 재생된다. 즉, 시나리오 영상에서 합 성 영역이 출현하는 시간은 T5부터 T6까지이다. 도 7에 나타낸 바와 같이, T0부터 T5까지, 시나리오 데이터는 합성 정보를 포함하지 않고, 시나리오 영상만이 재생된다. 또한, 매체 A와 매체 B는 시간 t=0부터 시간 t=T7까지 재생된다. 즉, 매체 A의 개시 시간 T1과 매체 B의 개시 시간 T3는 시간 t=0이고, 매체 A의 종료 시간 T2와 매체 B의 종료 시간 T4는 시간 t=t7이다.

합성 재생 제어부(22)는 시나리오 저장부(12)로부터 판독된 합성 정보(16)에 근거하여 합성 영역의 출현 타이밍을 관리하는 반면에, 합성 재생부(20)로 시나리오 영상을 재생한다. 합성 영역의 출현 타이밍(시간 T5)에서, 합성 재생 제어부(22)는 합성 재생부(20)에게 시나리오 영상의 재생을 일시 정지시키도록 지시한다(단계 S4). 합성 재생 제어부(22)는 촬영 조건 제어부(28)에게 프리뷰 모드(촬영 영상을 기록하지 않고서 화면에 표시하는 모드)에서 촬영하도록 지시한다. 촬영 조건 제어부(28)는 합성 재생 제어부(22)로부터의 지시에 따라서 촬영부(18)를 제어하고, 프리뷰 모드에서의 촬영을 개시한다(단계 S4).

합성 정보(16)가 이때의 촬영 조건에 대한 정보를 포함하는 경우에, 촬영 조건 제어부(28)는 촬영 조건에 근거하여 촬영부(18)를 제어한다. 이는 시나리오 영상과 맞는 촬영 영상을 취득할 수 있도록 해준다. 예를 들면, 시나리오 영상이 세피아 톤인 경우에, 합성되는 영상도 세피아 톤인 것이 바람직하다고 시나리오 영상의 작성자가 생각하면, 세피아 톤인 촬영 조건을 포함하도록 합성 정보(16)가 만들어진다. 촬영 조건 제어부(28)는 합성 정보(16)에 포함된 촬영 조건 하에서 촬영부(18)를 제어하여, 세피아 톤의 촬영 영상을 취득한다.

촬영부(18)에 의해 촬영된 영상은 합성 재생부(20)로 보내어지고, 이는 촬영 영상과 시나리오 영상을 합성한다(단계 S5). 구체적으로, 시간 T5에서의 시나리오 영상은 정지 영상으로서 표시부(24)에 표시된다. 촬영 영상은 시나리오 영상에 포함된 합성 영역과 합성되어, 합성 영상이 만들어진다. 이 합성 영상은 합성 영상 프리뷰이다. 도 7에 나타낸 바와 같이, 시나리오 영상의 재생은 시간 T5에서 일시 정지되고, 합성 영상 프리뷰는 표시부(24)에 표시된다.

도 8(a) 및 8(b)는 합성 영상 프리뷰의 예를 나타낸다. 시나리오 영상의 재생은 정지되어 있으며, 정지 영상이 표시된다. 촬영부(18)에 의해 취득된 촬영 영상은 합성 영역에서 표시된다. 촬영 장치(10)가 움직이면, 촬영부(18)에 의해 취득되는 영상은 변화하여, 합성 영역과 합성되는 영상은 도 8(a) 및 8(b)에 나타낸 바와 같이 변화한다.

사용자는 합성 영상 프리뷰를 보면서, 소망하는 영상이 합성 영역에 위치하도록, 촬영 장치(10)의 위치, 방향, 줌 비, 밝기 등을 조정할 수 있다. 예를 들면, 도 8(a) 및 8(b)에 나타낸 예에서의 시나리오 영상은 키퍼가 볼을 잡는 순간의 영상이다. 합성 영역은 키퍼의 얼굴 부분에 위치하고, 촬영부(18)에 의해 촬영된 영상은 합성 영역에 삽입된다. 도 8(a)에서의 촬영 영상은 볼과 다리이고, 이는 시나리오 영상과 합성되는 영상으로서 적절하지 않다. 따라서, 촬영되는 부분을 변경하도록 촬영 장치(10)를 움직여, 얼굴의 영상을 취득한다. 이는 도 8(b)에 나타낸 바와 같이 시나리오 영상에 적절한 합성 영상을 취득할 수 있도록 해준다. 이 방식에서, 합성 영상 프리뷰를 표시하는 것은 촬영부(18)에 의해 취득되는 영상 을 사용자가 조절할 수 있도록 해준다.

다음에, 사용자는 촬영 장치에게 일시 정지를 해제하도록 지시한다. 예를 들면, 이 지시는, 사용자가 합성 영역에 대해서 소망하는 영상이 합성되었다고 판단하는 경우에 주어진다. 일시 정지를 해제하는 지시가 합성 재생 제어부(22)에 입력된다(단계 S6). 합성 재생 제어부(22)는 합성 재생부(20)에게 시나리오 영상의 재생 재개를 지시하고, 또한 촬영 조건 제어부(28)에게 기록 모드에서 촬영하도록 지시한다(단계 S6). 도 7에서 알 수 있는 바와 같이, 일시 정지 지시 시간은 일지 정지 해제 시간 t, 즉 T5와 동일하여, 시나리오 데이터내의 시간은 중지된다. 한편, 실제 시간은 경과하고 있다.

촬영부(18)에 의해 촬영된 영상은 합성 재생부(20)에 보내어져, 시나리오 영상과 합성된다(단계 S7). 구체적으로, 촬영 영상은 시나리오 영상에 포함되는 합성 영역에 삽입되어, 합성 영상이 만들어진다. 또한, 촬영부(18)가 동영상을 촬영하는 경우에, 예를 들면, 피사체가 움직이면, 합성 영역에 삽입되는 영상이 변화한다.

시나리오 영상내의 합성 영역이 시나리오 영상의 진행에 따라 움직이도록 생성되는 경우에, 합성되는 촬영 영상의 위치가 움직이는 합성 영상을 만들 수 있다. 촬영 영상의 일부를 클리핑하여 합성 영역과 합성하는 경우에, 그 클리핑 위치를 고정하면, 촬영 장치의 움직임 없이 동일 대상물의 시야를 피사체로서 포착하면서, 대상물의 영상이 삽입되는 합성 영역이 시나리오 영상에서 움직이는 합성 영역을 만들 수 있다. 촬영 영상의 일부를 클리핑하여 합성 영역과 합성하는 경우에, 합 성 영역의 위치에 따라서 그 클리핑 위치를 이동할 수 있다.

그 후, 합성 재생부(20)는 표시부(24)에 합성 영상을 표시한다. 한편, 촬영부(18)는 촬영 영상을 영상 기록부(26)에 보내어, 도 6에서의 파선 화살표로 나타낸 바와 같이 영상 기록부(26)에 이를 기록한다(단계 S7). 이 때, 재생되고 있는 시나리오 영상의 식별 정보와 함께 촬영 영상을 기록한다. 시나리오 영상과 촬영 영상의 관련은, 합성 영상을 재생하는 경우에, 촬영 영상과 상기 촬영 영상과 관련된 시나리오 영상을 합성하고, 또한, 촬영시의 화면에 표시된 합성 영상을 재생할 수 있도록 해준다.

영상 기록부(26)에 기록하기 위해서 다른 방법을 채용할 수 있다. 즉, 도 6에서 파선 화살표로 나타낸 바와 같이, 촬영부(18)로부터의 촬영 영상이 아니라 합성 재생부(20)로부터 출력된 합성 영상을 영상 기록부(26)에 기록한다.

합성 재생 제어부(22)는, 시나리오 저장부(12)로부터 판독된 합성 정보(16)에 근거하여, 합성 영역의 출현이 종료하는 타이밍을 관리한다. 합성 영역이 시나리오 영상으로부터 사라지는 시간 T6가 온 경우에, 합성 재생 제어부(22)는 촬영 조건 제어부(28)에게 촬영을 종료하도록 지시한다. 그 결과, 촬영 조건 제어부(28)는 촬영부(18)에 의해 촬영을 종료한다(단계 S8). 시나리오 영상의 재생 종료 시간 T7이 온 경우에, 합성 재생 제어부(22)는 합성 재생부(20)에게 시나리오 영상의 재생의 종료를 통지한다(단계 S9).

이상, 실시예 1의 촬영 장치(10)의 동작예를 설명하였다.

실시예 1의 촬영 장치(10)에서, 시나리오 데이터는 촬영 영상을 합성하기 위 한 합성 정보(16)를 갖는다. 합성 정보(16)에 근거한 합성 재생 제어부(22)의 제어하에서, 합성 재생부(20)는 촬영부(18)에 의해 촬영된 영상과 시나리오 영상을 합성하여 합성 영상을 만들고, 이 합성 영상을 표시부(24)에 표시한다. 이는 촬영하면서 시나리오 영상과 촬영 영상을 합성할 수 있도록 해준다. 따라서, 촬영 영상과 시나리오 영상을 고속으로 합성하여, 합성 영상을 취득할 수 있다.

또한, 합성되는 영상을 촬영하면서 표시부(24)에 합성 영상을 표시하기 때문에, 사용자는 합성 영상을 볼 수 있고, 또한, 합성되는 영상을 촬영시에 조정할 수 있다. 즉, 시나리오 영상의 재생중에 촬영부(18)에 의해 합성되는 대상물을 촬영하는 것은, 촬영 영상을 그대로 합성할 수 있도록 해준다. 일단 촬영된 영상을 나중에 재생하고, 그 후 촬영 영상으로부터 합성되는 대상물을 클리핑하고, 또한, 그 후 시나리오 영상의 재생과의 정확한 타이밍에서 영상을 합성하는 시간과 노력을 필요로 하지 않고서, 영상을 용이하게 합성할 수 있다. 특히, 예를 들면, 휴대 장치의 경우에서와 같이 화면 또는 키패드가 그 제한을 갖는 경우에, 시나리오 영상과 촬영 영상의 양쪽을 재생하여 그것들을 편집하는 것이 어렵기 때문에, 시나리오 영상을 표시부(24)에 표시하는 반면에 촬영 영상을 촬영부(18)에 의해 조정하는 방법이 유효하다.

그러나, 상기 예에서, 시나리오 영상을 재생하는 사용자로부터의 지시에 따라서 시나리오 영상의 재생을 재개할지라도, 시나리오 영상을 일시 정지한 시점부터 일정한 시간의 경과 후에 재개할 수 있다. 촬영되고 있는 영상의 상세를 판단하는 수단을 포함할 수 있어, 촬영 영상이 합성 영역내에 위치하는 영상이라고 상 기 수단이 판단한 경우에, 재생을 자동적으로 재개한다. 예를 들면, 도 8(a)와 8(b)에 나타낸 예에서, 촬영 장치(10)가 얼굴을 인식하는 루틴을 구비하면, 얼굴 영상이 합성 영역과 합성되었다고 판단되는 경우에, 시나리오 영상의 재생을 재개할 수 있다.

상기 예에서, 합성 영역과 합성되는 촬영 영상을 시나리오 영상에 덮어쓰는 구성은 영상 합성 방법으로서 바람직하다. 그러나, 다른 합성 방법을 채용할 수 있다. 예를 들면, 시나리오 영상을 구성하는 영상에, 투명한 색을 할당할 수 있는 투명 gif 포맷을 사용하는 경우에, 시나리오 영상의 아래에 촬영 영상을 위치시킴으로써 합성 영상을 만들 수 있다. 이 경우에, 아래에 있는 촬영 영상을 시나리오 영상의 투명한 색 부분에 표시한다.

촬영 영상의 회전 각도에 대한 정보는 합성 정보에 포함될 수 있다. 이는 카메라를 움직이지 않고서 시나리오 영상에 맞는 각도의 영상을 합성할 수 있도록 해준다. 예를 들면, 시나리오 영상이 거꾸로 서 있는 캐릭터로서, 촬영 영상을 캐릭터의 얼굴 영역과 합성하는 경우에, 합성 정보가 촬영 영상의 회전 각도(180°)에 대한 정보를 포함하고, 상기 정보에 근거하여 촬영 영상을 회전 및 합성하는 구성이 채용되면, 피사체가 거꾸로 서있게 하거나, 카메라를 거꾸로 촬영하지 않고서 합성 영상을 적절하게 만들 수 있다.

도 9는 실시예 2의 촬영 장치(10)의 구성을 나타낸다. 실시예 2의 촬영 장치(10)의 기본적인 구성은, 합성 영역의 외형에 대한 정보를 제시하는 합성 영역 제시부(30)를 더 포함하는 것을 제외하고, 실시예 1의 촬영 장치(10)와 마찬가지이 다. 합성 영역 제시부(30)는 합성 영역이 출현하는 시간에 앞서 합성 정보(16)에 근거하여 사용자에게 합성 영역의 외형에 대한 정보를 제시하는 기능을 갖는다. 구체적으로, 합성 영역 제시부(30)는, 예를 들면, 합성 영역의 외형을 프레임으로서 시나리오 영상에 덮어씀으로써 표시한다. 프레임은 합성 영역의 윤곽을 만들기 위한 선으로서, 이는 사용자에게 합성 영역의 형상 및 크기를 제시한다.

도 10은 영상 합성시에, 촬영부(18)의 동작, 표시부(24)의 표시, 및 시나리오 데이터 사이의 관계를 나타낸다. 실시예 2의 촬영 장치(10)에 의한 영상 합성 동작을 도 10을 참조하여 설명한다. 도 7에서와 마찬가지로, 도 10에서의 수평축은 시간축이다.

먼저, 사용자는 촬영 장치(10)에게 시나리오 영상의 재생을 개시하도록 지시한다. 여기서, 시나리오 영상은 도 2에 나타낸 시나리오 데이터에 따라서 재생된다. 즉, 합성 영역이 시나리오 영상에서 출현하는 기간은 시간 T5부터 시간 T6이다. 매체 A와 매체 B는 시간 t=0부터 시간 t=T7까지 재생된다. 도 10에 나타낸 바와 같이, 시나리오 데이터는 시간 T0부터 시간 T5까지 합성 정보를 포함하지 않는다. 재생을 개시하는 지시가 합성 재생 제어부(22)에 입력되어, 합성 재생부(20)를 제어하여, 시나리오 영상의 재생이 개시된다.

시나리오 영상의 재생 개시부터 시간 T5까지, 촬영 장치(10)는 합성 재생부(20)로 시나리오 정보(14)를 판독하여 시나리오 영상을 재생한다. 합성 재생 제어부(22)는 합성 정보(16)를 참조하여, 시간 T5에서 출현하는 합성 영역의 외형에 대한 정보를, 시간 T5 이전의 시간 Tp에서 합성 영역 제시부(30)에게 보낸다. 합성 영역 제시부(30)는 표시부(24)에 현재 표시된 시나리오 영상의 화면에 덮어씀으로써 합성 영역의 프레임을 표시한다.

도 11(a)는 시간 T5에서 합성 영상의 예를 나타내고, 도 11(b)는 화면에 표시된 합성 영역의 외형에 대한 정보의 예를 나타낸다. 도 11(a)에 나타낸 바와 같이, 시간 T5에서의 시나리오 영상은 볼을 잡은 키퍼의 영상으로서, 원형 합성 영역은 키퍼의 얼굴 부분에 위치한다. 촬영 장치(10)는 합성 영역이 출현하는 시간 T5 이전의 시간 Tp의 시점에서 합성 영역의 외형에 대한 정보를 표시부(24)에 표시한다. 즉, 도 11(b)에 나타낸 바와 같이, 상기 장치는 합성 영역의 외형을 프레임 F로서 시나리오 영상에 덮어씀으로써 표시한다. 촬영 장치(10)는 합성 영역의 외형에 대한 정보를 시간 Tp부터 시간 T5까지 표시한다.

시간 T5 이후의 시나리오 영상의 재생 및 영상 합성의 동작은 실시예 1의 촬영 장치(10)와 마찬가지이다. 즉, 시간 T5 이후에, 합성 재생 제어부(22)는 촬영부(18)에 의해 촬영된 영상과 시나리오 영상을 합성하여 합성 영상을 만들고, 촬영 장치(10)는 합성 재생부(20)로 표시부(24)에 합성 영상을 표시한다. 시나리오 데이터의 합성 정보(16)에 따라서 시간 T6 이후에 출현하는 합성 영역이 존재하지 않기 때문에, 촬영 장치(10)는 합성 재생부(20)로 시나리오 영상을 재생할 뿐이다.

이상, 실시예 2의 촬영 장치(10)의 동작예를 설명하였다.

실시예 2의 촬영 장치(10)에서, 합성 영역이 출현하여 영상 합성이 개시되기 전에 합성 영역의 외형이 시나리오 영상에 표시되기 때문에, 사용자는 합성 영역의 외형에 대한 정보에 근거하여, 합성 영역과 합성되는 영상을 예측할 수 있다. 이 는 사용자가 합성되는 영상을 촬영하기 위한 준비를 할 수 있도록 해준다.

또한, 실시예 1의 촬영 장치(10)와 마찬가지로, 실시예 2의 촬영 장치(10)는 촬영 영상과 시나리오 영상을 촬영하면서 합성할 수도 있고, 또한 용이한 조작으로 고속으로 영상을 합성할 수 있다.

상기한 실시예 2에서, 도 11(b)에 나타낸 바와 같이, 합성 재생 제어부(22)는 합성 영역이 그 출현 시간에 표시되는 위치에 대한 정보도 합성 영역 제시부(30)에게 보내어, 합성 영역의 외형을 나타내는 프레임 F를 시나리오 영상내의 위치에 표시한다. 이렇게 미리 위치 정보를 표시하는 것은, 합성 개시 시간에서 시나리오 영상내의 합성 영역의 위치 및 촬영 영상내에서 클리핑되는 부분의 위치를 서로 대응하도록 만들어지는 구성에 유효하다. 다른 구성에서, 합성 영역의 외형에 대한 정보는 표시부(24)의 어디에든지 표시될 수 있다. 촬영 장치(10)가 시나리오 영상을 재생 및 표시하는 화면에 추가로 서브 화면을 갖는 경우에, 합성 영역의 외형에 대한 정보는 서브 화면에 표시될 수 있다.

상기한 실시예 2에서, 합성 영역의 외형에 대한 정보는 프레임 F로 표시된다. 그러나, 외형에 대한 정보는 프레임 F 이외의 디스플레이로 나타내어질 수 있다. 예를 들면, 프레임을 표시하지 않고서, 합성 영역내의 시나리오 영상을 나머지 것들보다 밝게 표시할 수 있다. 이는, 사용자가 합성 영역의 윤곽을 알 수도 있도록 해준다.

상기한 실시예 2에서, 합성 영역 제시부(30)에 의해 제시된 외형에 대한 정보는, 실제로 출현하는 합성 영역과 동등한 형상 및 크기의 프레임 F로 표시된다. 그러나, 합성 영역의 형상 또는 크기에 대한 정보만이 합성 영역 제시부(30)에 의해 제시될 수 있다.

상기한 실시예 2에서, 합성 영역의 외형에 대한 정보를 표시한다. 이에 부가하여, 촬영부(18)에 의해 현재 포착되어 있는 촬영 영상을 표시할 수 있다. 상기와 같이 촬영부(18)에 의해 포착되어 있는 촬영 영상을 표시하는 것은, 적절한 영상을 촬영할 수 있도록, 영상 합성에 앞서서 촬영부(18)의 위치, 방향, 줌 비 등을 조정할 수 있도록 해준다.

그러나, 현재 표시되고 있는 시나리오 영상과 촬영부(18)에 의해 촬영된 영상을 하나의 표시부(24)에 함께 표시하는 방법은, 예를 들면, 촬영 영상을 투명 처리하여 시나리오 영상에 표시되는 방법을 포함한다. 표시부(24)에 표시되는 촬영 영상은 촬영부(18)에 의해 촬영된 영상의 전체일 수 있거나, 합성되는 촬영 영상의 부분만일 수도 있다. 전자의 경우에, 예를 들면, 촬영 영상의 전체를 투명 처리하여, 시나리오 영상의 전체에 중첩 및 표시한다. 후자의 경우에, 촬영 영상으로부터 클리핑되는 촬영 영상의 일부를, 현재 촬영되고 있는 촬영 영상으로부터 클리핑하고, 투명 처리하여, 합성 영역이 그 개시 시간에서 출현하는 합성 영역의 위치에, 시나리오 영상에 중첩하여 표시한다. 이는 사용자가 실제로 합성되는 촬영 영상을 알 수 있도록 해주고, 또한 프레임을 표시하지 않더라도 합성 영역의 외형 및 위치를 사용자가 알 수도 있도록 해준다.

또한, 실시예 1과 반대로 실시예 2에서, 사용자는 합성 영역과 함께 표시되는 시간 T5 시나리오 영상을 시간 T5 이전에 볼 수 없다. 이로 인해, 합성 영역의 외형에 대한 정보가 시간 T5 이전에 상기와 같이 표시되더라도, 시나리오 영상과 맞도록 거기에 무엇이 삽입되었는지를 사용자가 알 수 없을 가능성이 있다. 합성 영역의 속성(예를 들면, "얼굴" 등)에 대한 정보가 시간 Tp부터 시간 T5까지 표시될 수 있다(그러나, 사용자는 이 속성을 무시하고 자유롭게 피사체를 선택할 수 있음).

도 12는 본 발명의 실시예 3의 촬영 장치(10)를 나타낸다. 실시예 3의 촬영 장치(10)의 기본적인 구성은, 합성 영역의 출현 타이밍이 근접했음을 알려주는 타이밍 공지부(32)를 더 포함하는 것을 제외하고, 실시예 2의 촬영 장치(10)와 마찬가지이다.

타이밍 공지부(32)는, 합성 정보(16)에 포함된, 합성 영역이 출현하는 시간 및 시나리오의 재생 개시부터 경과한 시간에 대한 정보에 근거하여, 합성 영역의 출현 시간의 근접을 검지한다. 예를 들면, 합성 영역의 출현 시간이 접근하고 있음을 음을 냄으로써 알려주는 구성은 타이밍 공지부(32)에 채용될 수 있다. 합성 영역의 출현 시간이 근접함에 따라 음을 보다 크게 하거나 음의 간격을 보다 짧게 함으로써, 합성 영역의 출현 시간의 근접을 알릴 수 있다. 예를 들어, 도 10에서의 예로 이를 설명하면, 타이밍 공지부(32)는 합성 영역 정보를 제시하는 시간 Tp으로부터, 합성 영역의 출현 시간이 근접하고 있음을 사용자에게 알려준다.

이는, 합성 영역의 출현 시간이 근접하고 있음을 사용자가 알 수 있도록 해주어, 사용자가 합성되는 영상을 촬영하기 위한 준비를 할 수 있다.

타이밍 공지부(32)는 음 이외의 방법으로 합성 영역의 출현 시간이 접근하고 있음을 알려줄 수 있다. 예를 들면, 출현 타이밍의 접근을 시나리오 영상의 재생 속도를 늦춤으로써 알려주는 구성, 또는 카운트다운 숫자를 화면에 표시하는 구성을 채용할 수 있다. 또한, 합성 영역의 출현 시간의 이후에도, 출현 시간 직후인 것을 연속적으로 알려줄 수 있다. 이는 사용자가 합성되는 영상을 촬영할 수 있도록 해준다. 이 경우에, 출현 시간 이후에 음의 높이 또는 음의 음량을 변경하는 구성을 채용할 수 있다.

도 13은 본 발명의 실시예 4의 촬영 장치(10)의 구성을 나타낸다. 실시예 4에 따른 촬영 장치(10)의 기본적인 구성은, 영상 합성을 개시 및 종료하는 지시를 입력하기 위한 합성 타이밍 입력부(34)를 포함하는 것을 제외하고, 실시예 2의 촬영 장치(10)와 마찬가지이다. 합성 타이밍 입력부(34)로부터 입력되는 타이밍 정보는 합성 재생 제어부(22)로 보내어진다. 합성 재생 제어부(22)는 합성 타이밍 입력부(34)로부터의 타이밍 정보에 근거하여, 촬영 영상과 시나리오 영상의 합성 개시 또는 종료의 타이밍을 제어한다.

합성 타이밍 입력부(34)를 포함하고, 영상 합성을 개시 및 종료하는 지시를 입력할 수 있는 이 구성은, 사용자가 영상 합성의 타이밍을 선택할 수 있도록 해준다. 예를 들면, 합성되는 영상을 촬영하기 위한 준비가 이루어졌을 시점에서, 사용자는 합성을 개시할 수 있고, 또한 사용자는 합성되는 영상을 촬영할 수 없었을 경우에 합성을 종료할 있다.

실시예 4의 촬영 장치(10)에서, 사용자가 영상 합성을 개시 및 종료하는 타이밍을 결정할 수 있기 때문에, 결정된 타이밍이 합성 정보에 근거하여 합성 영역 이 출현하는 타이밍과는 종종 상이하다. 이를 설명한다.

도 14는 영상 합성시에, 촬영부(18)의 동작, 표시부(24)의 표시, 및 시나리오 데이터 사이의 관계를 나타낸다. 실시예의 촬영 장치(10)에 의한 영상 합성 동작을 도 14를 참조하여 설명한다. 도 7에서와 마찬가지로, 도 14에서의 수평축은 시간축이다.

먼저, 사용자는 시나리오 영상의 재생을 개시하도록 촬영 장치(10)에게 지시한다. 여기서, 시나리오 영상은 도 2에 나타낸 시나리오 데이터에 따라서 재생된다. 즉, 합성 영역이 시나리오 영상에서 출현하는 기간은 시간 T5부터 시간 T6까지이다. 매체 A와 매체 B는 시간 t=0부터 시간 t=T7까지 재생된다. 도 14에 나타낸 바와 같이, 시간 T0부터 시간 T5까지, 시나리오 데이터는 합성 정보를 포함하지 않고, 시나리오 영상이 재생된다. 즉, 재생을 개시하는 지시가 합성 재생부(20)를 제어하는 합성 재생 제어부(22)에 입력되어, 시나리오 영상의 재생이 개시된다.

시간 T5가 오면, 촬영 장치(10)의 화면에 재생되는 시나리오 영상에 합성 영역이 표시되고, 촬영부(18)에 의해 촬영되어 있는 영상은 합성 영역에서 표시된다. 그러나, 이 시점에서, 합성 개시 지시가 합성 타이밍 입력부(34)에 입력되지 않았기 때문에, 표시부(24)에 표시되고 있는 영상은 기록되지 않는다.

합성 개시 지시가 시간 Ts에서 입력되면, 촬영 장치(10)는 합성 영역에 표시된 촬영 영상을 영상 기록부(26)에 기록한다. 또한, 촬영 장치(10)는 합성 영역 출현 시간 T5부터 합성 개시 지시 시간 Ts까지의 기간 동안에 합성 영역과, 시간 Ts에서의 촬영 영상(정지 영상)을 합성함으로써, 합성 영상을 만들어서 기록한다. 이는 합성 개시 지시의 입력 이전인 합성 영역내의 영상을 시간 Ts에서의 촬영 영상으로 보완할 수 있도록 해준다.

이상, 합성 개시 지시의 입력 타이밍이 합성 영역의 출현 타이밍보다 늦은 경우에, 합성 영역을 보완하는 방법을 설명하였다. 기록시에 보완이 행해진 경우에, 영상 기록부(26)와 합성 재생부(20) 사이에 버퍼가 마련되고, 버퍼에 축적된 시간 T5부터 Ts까지의 시나리오 영상과, 시간 Ts에서 처음으로 버퍼에 입력된 촬영 영상을 합성하여, 그 후 취득된 합성 영상을 영상 기록부(26)에 기록한다. 다음에, 합성 영역이 아직 존재하는 경우에 합성 종료 지시가 입력되는 경우에 대한 보완 방법을 설명한다.

도 15는 영상 합성시에, 촬영부(18)의 동작, 표시부(24)의 표시, 및 시나리오 데이터 사이의 관계를 나타낸다. 실시예의 촬영 장치(10)에 의한 영상 합성 동작을 도 15를 참조하여 설명한다. 도 7에서와 마찬가지로, 도 15에서의 수평축은 시간축이다.

먼저, 사용자는 촬영 장치에게 시나리오 영상의 재생을 개시하도록 지시한다. 여기서, 시나리오 영상은 도 2에 나타낸 시나리오 데이터에 따라서 재생된다. 즉, 합성 영역이 시나리오 영상에서 출현하는 기간은 시간 T5부터 T6까지이다. 매체 A와 매체 B는 시간 t=0부터 시간 t=T7까지 재생된다. 도 14에 나타낸 바와 같이, 시간 T0부터 시간 T5까지, 시나리오 데이터는 합성 정보를 포함하지 않고, 시나리오 영상이 재생된다. 즉, 재생을 개시하는 지시는 합성 재생부(20)를 제어하는 합성 재생 제어부(22)에 입력되어, 시나리오 영상의 재생이 개시된다.

시간 T5가 오면, 촬영 장치(10)의 화면에 재생되는 시나리오 영상에 합성 영역이 표시되고, 촬영부(18)에 의해 촬영된 영상은 합성 영역에 표시된다. 시간 T5 이후에, 촬영 장치(10)는 화면에 합성되고 있는 영상을 영상 기록부(26)에 기록한다.

합성 영역의 출현 시간의 종료점인 시간 T6 이전의 시간 Te에 합성 종료 지시가 입력되면, 촬영 장치(10)는 촬영부(18)에 의해 촬영된 영상의 기록을 종료한다. 합성 종료 지시 시간 Te부터 합성 영역 출현 종료 시간 T6까지의 기간 동안에 시간 Te에서의 촬영 영상(정지 영상)을 합성 영역과 합성함으로써, 합성 영상을 만들어서 기록한다. 이는, 합성 종료 지시의 입력부터 합성 영역의 표시가 사라지는 시간 T6까지의 기간 동안에, 합성 영역내의 영상을 시간 Te에서의 촬영 영상으로 보완할 수 있도록 해준다.

이 방식에서, 합성 개시 지시 또는 합성 종료 지시의 입력 타이밍이 합성 영역의 출현 기간을 벗어난 경우에, 이 기간 동안에 합성 영역내의 영상을 보완하는 것은, 촬영 영상이 합성 영역과 합성되지 않는 상황을 회피할 수 있도록 해준다.

상기한 실시예에서, 합성 개시 또는 종료의 시점에서 촬영된 영상을 사용하여, 합성 영역내의 영상을 보완한다. 그러나, 합성 영역내의 영상은 다른 방법에 의해 보완할 수 있다. 합성 영역의 출현 시간과 동등한 시간 길이로 되도록, 촬영 영상을 연장하여 기록할 수 있다. 예를 들면, 촬영 영상의 재생 시간이 5초인 것에 반하여 합성 영역의 출현 시간은 10초인 경우에, 촬영 영상의 재생 속도를 반으로 감소시켜, 영상의 길이가 합성 영역의 출현 시간에 맞출 수 있다.

촬영 영상과 시나리오 영상을 개별적으로 기록하는 경우에, 상기한 바와 같이 재생시에 보완하는 것은, 촬영 영상이 합성 영역과 합성되지 않는 상황을 회피할 수 있도록 해주어, 적절하게 합성 영상을 재생할 수 있다.

이상, 합성 개시 지시 또는 합성 종료 지시가 합성 영역의 출현 기간을 벗어난 경우에, 합성 정보에 기술된 출현 기간에 따라서 합성하는 예를 설명하였다. 그러나, 합성 개시 지시 또는 합성 종료 지시에 따라서 합성을 행할 수 있다. 이 경우에, 합성 개시 지시의 입력 이전 또는 합성 종료 지시의 입력 이후인 기간이고, 또한 합성 영역의 출현 기간내에 있는 기간에서, 합성 영역을 공백으로 표시하는 대신에, 합성 영역에 의해 숨겨져 있어야 했던 시나리오 영상을 그대로 바람직하게 표시한다.

도 16은 실시예 5의 촬영 장치(10)의 구성을 나타낸다. 실시예 5의 촬영 장치(10)의 기본적인 구성은, 시나리오 영상과 정지 영상을 합성하는 것을 제외하고, 실시예 1의 촬영 장치(10)와 마찬가지이다. 실시예 5의 촬영 장치(10)는 셔터(36)를 포함한다. 셔터(36)는 촬영부(18)와 연결된다. 셔터(36)를 해제하는 경우에, 촬영부(18)는 해제 타이밍에서의 정지 영상을 기록되는 영상으로서 촬영한다.

도 17은 영상 합성시에, 촬영부(18)의 동작, 표시부(24)의 표시, 및 시나리오 데이터 사이의 관계를 나타낸다. 실시예의 촬영 장치(10)에 의한 영상 합성 동작을 도 17을 참조하여 설명한다. 도 7에서와 마찬가지로, 도 17에서의 수평축은 시간축이다.

먼저, 사용자는 촬영 장치에게 시나리오 영상의 재생을 개시하도록 지시한 다. 여기서, 시나리오 영상은 도 2에 나타낸 시나리오 데이터에 따라서 재생된다. 즉, 합성 영역이 시나리오 영상에서 출현하는 시간은 시간 T5부터 시간 T6까지이다. 매체 A와 매체 B는 시간 t=0부터 시간 t=T7까지 재생된다. 도 14에 나타낸 바와 같이, 시간 T0부터 시간 T5까지, 시나리오 데이터는 합성 정보를 포함하지 않고, 시나리오 영상이 재생된다. 즉, 재생을 개시하는 지시는 합성 재생부(20)를 제어하는 합성 재생 제어부(22)에 입력되어, 시나리오 영상의 재생이 개시된다.

촬영 장치(10)는 시나리오 영상의 재생을 시간 T5에서 일시 정지한다. 이 때, 시간 T5에서의 시나리오 영상이 화면에 표시된다. 시나리오 영상은 합성 영역을 포함한다. 합성 재생 제어부(22)는 촬영부(18)의 시야에서의 영상과 일시 정지된 시나리오 영상을 합성하여, 합성 영상을 만든다. 합성 재생부(20)는 합성 재생 제어부(22)에 의한 제어에 근거하여 합성 영상을 표시한다. 이 합성 영상은 합성 영상 프리뷰이다.

촬영 장치(10)의 위치, 방향 등을 합성 영상 프리뷰에 근거하여 조정하여, 합성되는 정지 영상을 촬영한다. 소망하는 영상이 합성 영역에 표시되는 경우에 셔터(36)를 해제하여, 정지 영상을 취득한다. 정지 영상을 취득한 후에, 시나리오 영상의 재생을 재개한다. 시나리오 영상 재생의 재개에 대해서는, 사용자가 셔터(36)를 해제하는 경우에 재생을 재개하거나, 시나리오 영상을 일시 정지한 시점부터 소정의 시간이 경과한 후에 재개할 수 있다.

시나리오 영상 재생을 재개하자마자, 합성 재생 제어부(22)는 시나리오 영상과 촬영부(18)에 의해 촬영된 정지 영상을 합성하여, 합성 영상을 만든다. 구체적 으로, 합성 재생 제어부(22)의 제어를 받는 합성 재생부(20)는 클리핑, 확대 축소 등과 같은 처리를 취득된 정지 영상에 적용하여, 처리된 영상을 시나리오 영상내의 합성 영역과 합성한다. 그 후, 촬영 장치(10)는 합성 재생부(20)로 표시부(24)에 합성 영상을 표시한다. 이 경우에, 동영상이 촬영되는 경우와는 반대로, 시나리오 영상은 진행하는 반면에, 합성 영역에 삽입되는 영상은 정지 영상이 되도록 유지한다. 그러나, 합성 정보의 위치 정보가 시간 함수이면, 동일한 정지 영상이 삽입된 합성 영상은 시나리오 영상이 진행함에 따라 움직인다. 합성 재생 제어부(22)는 합성 영역이 시나리오 영상에 존재하는 동안에 촬영 영상과 시나리오 영상을 합성하도록 합성 재생부(20)를 제어한다. 즉, 합성 재생부(20)는 시간 T5부터 시간 T6까지 촬영 영상과 시나리오 영상을 합성한다.

시나리오 데이터의 합성 정보(16)에 따라서, 시간 T6 이후에 합성 영역은 출현하지 않는다. 촬영 장치(10)는 합성 재생부(20)로 시나리오 영상을 재생한다.

촬영 장치(10)는 시나리오 영상이 재생되고 있는 동안의 영상을 영상 기록부(26)에 기록한다. 시간 T5부터 시간 T6까지의 시간에 대해서는, 합성 재생부(20)로부터의 출력을 기록하는 방법 또는 촬영된 정지 영상을 기록하는 방법에 의해 합성 영상을 기록한다. 또한, 합성 영상 프리뷰를 기록하지 않는다.

이상, 실시예 5의 촬영 장치(10)의 동작을 설명하였다. 여기서, 실시예 1의 동작예에 근거하여 정지 영상의 경우를 설명했지만, 실시예 2의 동작예, 실시예 3의 타이밍 공지, 또는 실시예 4의 보완 방법을 정지 영상을 합성하는 데 적용하는 것은 물론 가능하다.

실시예 5의 촬영 장치(10)는 촬영된 정지 영상과 시나리오 영상을 고속으로 합성하여, 합성 영상을 취득할 수 있다.

또한, 합성되는 영상이 촬영되는 동안에 합성 영상을 표시부(24)에 표시하기 때문에, 사용자는 합성 영상을 볼 수 있고, 또한 합성되는 영상을 촬영시에 조정할 수 있다. 즉, 시나리오 영상의 재생시에 촬영부(18)에 의해 합성되는 대상물을 촬영하는 것은, 촬영 영상을 그대로 합성할 수 있도록 해준다. 이 방식에서, 일단 촬영된 영상을 나중에 재생하고, 그 후 합성되는 대상물을 촬영 영상으로부터 클리핑하여, 시나리오 영상의 재생과의 정확한 타이밍에서 합성하는 시간과 노력을 필요로 하지 않고서 용이하게 영상을 합성할 수 있다. 특히, 예를 들면, 휴대 장치의 경우와 마찬가지로, 화면 또는 키패드가 그 제한을 갖는 경우에, 촬영된 정지 영상을 표시하면서 시나리오 영상을 재생하고, 그것들을 편집하는 것이 어렵기 때문에, 시나리오 영상은 표시부(24)에 표시되는 반면에, 촬영 영상을 촬영부(18)에 의해 조정하는 방법이 유효하다.

실시예 5의 상기한 촬영 장치(10)에서, 정지 영상을 여러번 촬영할 수 있다. 도 18은 정지 영상을 여러번 촬영하는 경우의 영상 합성을 나타낸다. 도 7에서와 마찬가지로, 도 18에서의 수평축은 시간축이다. 도 18에서 나타낸 바와 같이, 1번째 촬영시에 촬영된 정지 영상과 시나리오 영상을 합성하고, 1번째 촬영 이후 2번째 촬영까지의 합성 영상을 표시한다. 그 후, 2번째 촬영시에 촬영된 정지 영상과 시나리오 영상을 합성하고, 이 합성 영상을 2번째 촬영 이후 3번째 촬영까지 표시한다. 그리고, 그 후, 3번째 촬영시에 촬영된 정지 영상과 시나리오 영상을 합성 하고, 이 합성 영상을 3번째 촬영 이후 합성 영역의 출현 시간의 끝까지 표시한다. 이는 복수의 정지 영상을 시나리오 영상내의 합성 영역에 슬라이드쇼와 같이 표시할 수 있도록 해준다.

n번째 촬영시에 촬영된 정지 영상과 시나리오 영상을 합성하고, 이 합성 영상을 n번째 촬영 이후 n+1번째 촬영까지 영상 기록부(26)에 기록하는 반면에, 촬영부(18)의 시야에서의 프리뷰 영상과 시나리오 영상을 합성함으로써 취득된 영상을 표시부(24)에 표시할 수 있다. 이는 사용자가 표시된 프리뷰 영상을 참조하여 다음(n+1번째) 촬영을 준비하면서, 시나리오 영상의 재생을 계속할 수 있도록 해준다.

또한, 정지 영상을 여러번 촬영하는 경우에, 모든 정지 영상을 항상 사용해야 하는 것은 아니다. 예를 들면, 사용자는 복수의 정지 영상 중에서 합성에 사용되는 영상을 선택할 수 있거나, 마지막으로 촬영된 정지 영상을 사용하여 합성 영상을 만들어서 기록할 수 있다. 마지막으로 촬영된 정지 영상을 합성하는 경우에, 최상의 촬영이 이루어졌을 때에 촬영을 종료하는 것은, 최상으로 촬영된 정지 영상으로 사용자가 합성 영상을 만들 수 있도록 해준다. 예를 들면, 도 18을 참조하여, 합성 장면의 종료 이후에, 버퍼에 축적된 촬영 1~3의 정지 영상 중에서 촬영 2의 정지 영상을 사용자가 선택한 경우에, 시간 T5부터 시간 T6까지의 시나리오 영상과 촬영 2의 정지 영상을, 선택 시간 T6 또는 시나리오 영상의 재생 종료 시간 T7에서 합성하고, 또한 그 후 취득된 합성 영상을 영상 기록부(26)에 기록한다. 이와 달리, 촬영시에, 촬영 1~3의 정지 영상을 시나리오 영상으로부터 개별적으로( 그러나, 시나리오 영상의 식별 정보와 연관되어) 영상 기록부(26)에 기록할 수 있고, 재생시에 사용자에 의해 그 중에서 선택된 정지 영상과 시나리오 영상을 재생되는 동안에 합성할 수 있다.

도 19는 본 발명의 실시예 6의 촬영 장치(10)를 나타낸다. 실시예 6의 촬영 장치(10)의 기본적인 구성은, 촬영 영상의 일부를 클리핑하는 클리핑부(50)를 포함하는 것을 제외하고, 실시예 3의 촬영 장치(10)와 마찬가지이다.

클리핑부(50)는 촬영부(18)에 의해 촬영된 촬영 영상의 일부를 부분 영상으로서 클리핑하는 기능을 갖는다. 클리핑부(50)는 시나리오 저장부(12)에 저장된 합성 정보(16)에 따라서 부분 영상을 클리핑한다.

도 20은 시나리오 저장부(12)에 저장된 시나리오 데이터의 예를 나타낸다. 상기한 실시예와 마찬가지로, 시나리오 데이터는 시나리오 정보(14)와 합성 정보(16)를 포함한다. 합성 정보는 합성 영역을 규정하는 정보와, 촬영 영상으로부터 부분 영상을 클리핑하기 위한 클리핑 정보를 포함한다. 도 20에 나타낸 예에서, 정보들, 즉 촬영 영상으로부터 클리핑하는 위치를 특정하는 "클리핑 위치", 클리핑 형상을 규정하는 "클리핑 형상", 및 부분 영상에서의 변화를 나타내는 "클리핑 변화"가 기술되어 있다.

다음에, 실시예 6의 촬영 장치(10)의 동작을 설명한다. 실시예 6의 촬영 장치(10)의 기본적인 동작은, 클리핑부(50)에 의해 촬영 영상으로부터 클리핑된 부분 영상과 시나리오 영상을 합성하는 전자를 제외하고, 상기한 실시예의 촬영 장치(10)와 마찬가지이다. 이제, 실시예 6의 촬영 장치(10)의 동작을 설명한다.

먼저, 합성 재생 제어부(22)는 시나리오 저장부(12)로부터 합성 정보(16)를 판독하여, 합성 정보(16)에 포함된 클리핑 정보를 클리핑부(50)에 전달한다. 클리핑부(50)는 촬영부(18)로부터 촬영 영상을 수신하고, 수신된 촬영 영상으로부터 부분 영상을 클리핑한다. 구체적으로, 합성 재생 제어부(22)로부터 전달된 클리핑 정보에서 위치 및 형상이 특정된 영역을 부분 영상으로서 촬영 영상으로부터 클리핑한다.

도 21(a)는 촬영 영상의 예를 나타내고, 도 21(b)는 부분 영상의 예를 나타낸다. 클리핑 형상이 도 20에 나타낸 예와 같이 "타원"으로 기술되는 경우에, 도 21(b)에 나타낸 것과 같이 타원 형상의 부분 영상이 도 21(a)에 나타낸 촬영 영상으로부터 클리핑된다.

클리핑부(50)는 촬영 영상으로부터 클리핑된 부분 영상을 합성 재생부(20)에 전달한다. 합성 재생 제어부(22)는 시나리오 저장부(12)로부터 시나리오 정보(14)를 판독하고, 판독된 시나리오 정보(14)를 합성 재생부(20)에 전달한다. 합성 재생부(20)는 클리핑부(50)로부터 전달된 부분 영상을 시나리오 영상내의 합성 영역과 합성한다. 그 후, 합성 재생부(20)는 합성 영상을 표시부(24)와 영상 기록부(26)에 보낸다. 표시부(24)는 합성 재생부(20)로부터 보내어진 합성 영상을 표시한다. 영상 기록부(26)는 합성 재생부(20)로부터 보내어진 합성 영상을 기록한다.

이상, 본 발명의 실시예 6의 촬영 장치(10)를 설명하였다.

실시예 6의 촬영 장치(10)는 클리핑부(50)를 포함하고, 클리핑부(50)에 의해 촬영 영상으로부터 클리핑된 부분 영상을 시나리오 영상과 합성하기 때문에, 촬영 영상의 일부를 시나리오 영상과 합성할 수 있다.

또한, 클리핑부(50)는 합성 정보(16)에 기술된 클리핑 정보에 따라서 부분 영상을 클리핑하기 때문에, 어떤 부분을 부분 영상으로서 클리핑할지는 합성 정보에 의해 규정할 수 있다.

상기 실시예 6에서, 클리핑 정보는 클리핑되는 부분 영상의 위치 및 형상을 특정한다. 그러나, 부분 영상은 다른 방법으로 특정될 수 있다.

도 22는 클리핑 정보를 기술하는 합성 정보의 다른 예를 나타낸다. 도 22에 나타낸 바와 같이, 클리핑되는 부분 영상을 합성 영역에 링크된 영역으로서 규정할 수 있다.

도 23(a)는 합성 영역의 위치 및 형상에서의 변화를 나타내고, 도 23(b)는 합성 영역에 링크되어 있는 촬영 영상(도 21(a) 참조)으로부터 클리핑되는 부분 영상을 나타낸다. 클리핑되는 부분 영상을 합성 영역에 링크된 바와 같이 규정하는 경우에, 합성 영역 G가 도 23(a)에 나타낸 바와 같이 직사각형으로부터 원형으로 형상이 변화하면서 이동하면, 변화에 연계하여, 도 21(a)에 나타낸 촬영 영상으로부터 클리핑되는 부분 영상은 도 23(b)에 나타낸 부분 영상 P와 같이 변화한다. 이 구성에서, 촬영 영상으로부터 클리핑되는 부분 영상을 합성 영역에 링크하여, 마치 합성 영역을 통해서 촬영 영상이 보여지고 있는 것 같은 합성 영상을 취득할 수 있다. 이는 합성되는 콘텐츠의 표현 능력을 개선할 수 있다.

상기 실시예 6에서, 영상 기록부(26)에 기록되는 데이터가 합성 재생부(20)에 의해 합성된 합성 영상인 예를 설명하였다. 그러나, 촬영 영상을 영상 기록부 (26)에 기록할 수 있다. 이 경우에, 클리핑부(50)는 촬영 영상으로부터 클리핑된 부분 영상을 합성 재생부(20)에 보내는 한편, 촬영 영상을 영상 기록부(26)에 보낸다. 이는 부분 영상과 시나리오 영상이 합성 재생부(20)에 의해 합성되어, 합성 영상이 표시부(24)에 표시되고, 또한 촬영 영상이 영상 기록부(26)에서 기록될 수 있도록 해준다. 이 때, i) 식별자, 및 ii) 합성되는 촬영 영상의 저장 위치를 도 24에 나타낸 바와 같이 시나리오 데이터의 합성 정보에 기록한다. 도 24에 나타낸 합성 정보를 사용하여 합성 영상을 재생하는 경우에, 시나리오 데이터에 기록된 i) 식별자로 나타낸 촬영 영상을, 영상 기록부(26)로부터 판독하고, 재생되고 있는 동안에 합성 정보(16)를 사용하여 합성 재생부(20)에 의해 시나리오 영상과 합성하여, 합성 영상을 재현할 수 있다.

도 25는 실시예 7의 촬영 장치(10)의 구성을 나타낸다. 실시예 7의 촬영 장치(10)의 기본적인 구성은 실시예 6의 촬영 장치(10)와 마찬가지이다. 그러나, 실시예 6의 촬영 장치(10)와 달리, 실시예 7의 촬영 장치(10)에서, 촬영 영상으로부터 클리핑되는 부분 영상을 촬영 영상에 포함되는 대상물의 종류를 특정함으로써 규정한다. 이에 따라, 실시예 7의 촬영 장치(10)는 영상 인식부(52)를 더 포함한다.

도 26은 실시예 7의 시나리오 데이터의 예를 나타낸다. 상기한 실시예와 마찬가지로, 시나리오 데이터는 시나리오 정보(14)와 합성 정보(16)를 포함한다. 합성 정보(16)는 합성 영역을 특정하는 정보와, 부분 영상을 클리핑하기 위한 클리핑 정보를 포함한다. 클리핑 정보는 부분 영상에 포함된 대상물을 특정함으로써 부분 영상을 특정한다. 이하, 부분 영상을 특정하기 위한 대상물에 대한 정보를 "클리핑 대상물"이라고 한다. 도 26에 나타낸 예에서, 클리핑 대상물 "얼굴"을 포함하는 부분을, 부분 영상으로서 촬영 영상으로부터 클리핑하는 것이 기술되어 있다.

도 25를 참조하여, 영상 인식부(52)는 촬영부(18)에 의해 촬영된 촬영 영상에 대한 영상 인식을 수행하여, 촬영 영상에서 표시된 클리핑 대상물을 구분하는 기능을 갖는다. 영상 인식부(52)는 클리핑 대상물이 표시되는 영역에 대한 정보를 클리핑부(50)에 전달한다.

다음에, 실시예 7의 촬영 장치(10)의 동작을 설명한다. 실시예 7의 촬영 장치(10)의 기본적인 동작은, 클리핑부(50)에 의해 클리핑되는 영역을 영상 인식부(52)에 의해 판정하는 전자를 제외하고, 실시예 6의 촬영 장치(10)와 마찬가지이다.

먼저, 촬영 장치(10)의 합성 재생 제어부(22)는 시나리오 저장부(12)에 저장된 시나리오 데이터로부터 합성 정보(16)를 판독하여, 부분 영상을 특정하는 클리핑 대상물에 대한 정보를 취득한다. 그 후, 합성 재생 제어부(22)는 클리핑 대상물에 대한 정보를 영상 인식부(52)에 전달한다.

영상 인식부(52)는 촬영부(18)에 의해 촬영된 촬영 영상에서 클리핑 대상물이 표시되는 영역을 구분하고, 이 영역에 대한 정보를 클리핑부(50)에 전달한다. 클리핑부(50)는 영상 인식부(52)로부터 전달된 정보로 나타낸 영역을 부분 영상으로서 클리핑한다.

도 27(a)는 촬영 영상의 예를 나타내고, 도 27(b)는 부분 영상의 예를 나타 낸다. 클리핑 대상물이 합성 정보(16)에 의해 "얼굴"로 특정되는 경우에, 도 27(a)에 나타낸 촬영 영상에서 "얼굴"이 표시된 영역을 구분하여, 도 27(b)에 나타낸 바와 같이 "얼굴"을 포함하는 영역이 부분 영상으로서 클리핑된다. 이 예에서, "얼굴"을 포함하는 원형 영역이 부분 영상으로서 클리핑된다. 그러나, 클리핑 대상물을 포함하는 영상을 클리핑하기 위한 영역의 형상은 원형에 한정되지 않는다. 예를 들면, 직사각형 영역을 클리핑할 수 있거나, 클리핑 대상물의 형상에 맞는 영역을 클리핑할 수 있다.

그 후, 클리핑부(50)는 촬영 영상으로부터 클리핑된 부분 영상을 합성 재생부(20)에 전달한다. 합성 재생부(20)는 클리핑부(50)로부터 전달된 부분 영상을 시나리오 영상내의 합성 영역과 합성한다. 그 후, 합성 재생부(20)는 합성 영상을 표시부(24)와 영상 기록부(26)에 보낸다. 표시부(24)는 합성 재생부(20)로부터 보내어진 합성 영상을 표시한다. 영상 기록부(26)는 합성 재생부(20)로부터 보내어진 합성 영상을 기록한다.

실시예 7의 촬영 장치(10)는 부분 영상에 포함되는 클리핑 대상물을 특정함으로써 부분 영상을 특정하기 때문에, 클리핑되는 부분 영상을 용이하게 특정할 수 있다. 또한, 촬영 장치(10)의 영상 인식부(52)는 클리핑 대상물이 표시되는 영역을 구분하여, 클리핑 대상물이 포함되는 영역을 클리핑할 수 있다.

또한, 실시예 6의 촬영 장치(10)와 마찬가지로, 실시예 7의 촬영 장치(10)는 클리핑부(50)에 의해 클리핑된 부분 영상과 시나리오 영상을 합성하기 때문에, 촬영 영상의 일부를 시나리오 영상과 합성할 수 있다.

실시예 7의 상기 촬영 장치(10)에서, 촬영 영상으로부터 클리핑되는 부분 영상과 시나리오 영상을 합성하고, 이 합성 영상을 영상 기록부(26)에 기록하는 구성을 설명하였다. 그러나, 실시예 6에 기술한 바와 같이, 촬영 영상 그 자체를 영상 기록부(26)에 기록할 수 있다.

다음에, 본 발명의 실시예 8의 촬영 장치(10)를 설명한다. 실시예 8의 촬영 장치의 기본적인 구성은, 시나리오 저장부(12)에 저장된 합성 정보(16)의 내용을 제외하고, 실시예 7의 촬영 장치(10)와 마찬가지이다(도 25 참조). 또한, 영상 인식부(52)는 촬영 영상으로부터 대상물을 구분하고, 또한 시나리오 영상으로부터 대상물을 구분하는 기능을 갖는다.

도 28은 실시예 8의 촬영 장치(10)의 시나리오 저장부(12)에 저장된 시나리오 데이터의 예를 나타낸다. 시나리오 데이터의 합성 정보(16)는 합성 영역에 포함되는 대상물을 특정함으로써 합성 영역을 규정한다. 이 예에서, 시나리오 영상에서 "볼"이 표시되는 영역을, t=Xb부터 t=Yb까지의 기간 동안에 합성 영역으로서 특정한다. 또한, 합성 정보(16)에서, 실시예 7과 마찬가지로, 부분 영상에 포함되는 클리핑 대상물 "볼"에 의해서 부분 영상을 특정한다.

다음에, 실시예 8의 촬영 장치(10)의 동작을 설명한다.

먼저, 촬영 장치(10)의 합성 재생 제어부(22)는 시나리오 저장부(12)에 저장된 시나리오 데이터로부터 시나리오 정보(14) 및 합성 정보(16)를 판독하여, 합성 영역을 특정하기 위한 대상물에 대한 정보를 취득한다. 그 후, 합성 재생 제어부(22)는 시나리오 정보(14)를 합성 재생부(20)에 전달한다. 합성 재생부(20)는 합 성 영역을 특정하기 위한 대상물에 대한 정보에 따라 시나리오 영상을 영상 인식부(52)에 전달한다. 영상 인식부(52)는 시나리오 영상에서 대상물의 영상이 표시된 영역을 구분하고, 이 영역에 대한 정보를 합성 영역 정보로서 합성 재생 제어부(22)에 전달한다. 예를 들면, 영상 인식부(52)는 합성 영역의 위치 및 형상에 대한 정보를 합성 재생 제어부(22)에 전달한다. 그 후, 합성 재생 제어부(22)는 합성 영역 정보를 합성 재생부(22)에 전달한다.

도 29(a)는 시나리오 영상의 예를 나타내고, 도 29(b)는 시나리오 영상내의 합성 영역을 나타낸다. 합성 정보(16)가, 합성 영역이 대상물 "볼"을 포함한다고 특정하는 경우에, 도 29(a)에 나타낸 시나리오 영상에서 "볼"이 표시된 영역을 구분하여, "볼"을 포함하는 영역은 도 29(b)에 나타낸 바와 같이 합성 영역 G로 된다.

합성 재생부(20)는, 합성 재생 제어부(22)로부터 전달된 합성 영역 정보에 근거하여, 클리핑부(50)로부터 전달된 부분 영상과 시나리오 영상을 합성한다. 클리핑부(50)에 의해서 촬영 영상의 일부를 부분 영상으로서 클리핑하는 처리는 실시예 7의 촬영 장치(10)와 마찬가지이다. 그 후, 합성 재생부(20)는 합성 영상을 표시부(24)와 영상 기록부(26)에 보낸다. 표시부(24)는 합성 재생부(20)로부터 보내어진 합성 영상을 표시한다. 영상 기록부(26)는 합성 재생부(20)로부터 보내어진 합성 영상을 기록한다.

실시예 8의 촬영 장치(10)에서, 합성 영역에 포함되는 대상물을 특정함으로써 합성 영역을 용이하게 특정할 수 있다.

상기 실시예 8에서, 촬영 영상으로부터 클리핑되는 부분 영상을 대상물에 의해 규정하는 예를 설명하였다. 그러나, 실시예 6에서 기술한 바와 같이, 클리핑 영역의 위치 및 형상에 의해 클리핑 정보를 규정할 수 있다. 클리핑 정보는 항상 필요로 되지 않아, 합성 정보(16)는 클리핑 정보를 포함할 필요는 없다. 이 경우에, 촬영부(18)에 의해 촬영된 촬영 영상의 전체가 대상물에 의해 특정된 합성 영역과 합성된다.

다음에, 본 발명의 실시예 9의 촬영 장치(10)를 설명한다. 실시예 9의 촬영 장치의 기본적인 구성은, 합성 재생 제어부(22)의 기능을 제외하고, 실시예 1의 촬영 장치(10)와 마찬가지이다.

도 30은 실시예 9의 합성 재생 제어부(22)의 구성을 나타낸다. 도 30에 나타낸 바와 같이, 합성 재생 제어부(22)는 스케쥴 생성부(54), 스케쥴 실행부(56), 및 합성 재생 지시부(58)를 갖는다. 스케쥴 생성부(54)는, 시나리오 저장부(12)로부터 판독된 시나리오 정보(14)에 근거하여, 데이터의 스케쥴 리스트를 생성하는 기능을 갖는다. 스케쥴 실행부(56)는 스케쥴 생성부(54)에 의해 생성된 스케쥴 리스트로부터 현재 시간에 대한 스케쥴을 추출하는 기능을 갖는다. 합성 재생 지시부(58)는, 스케쥴 실행부(56)에 의해 추출된 스케쥴의 내용에 근거하여, 합성 재생부(20)에게 합성을 표시 또는 재생하도록 지시하는 기능을 갖는다.

도 31(a)는 시나리오 데이터의 예를 나타내고, 도 31(b)는 도 31(a)에 나타낸 시나리오 데이터로부터 생성되는 스케쥴 리스트를 나타낸다. 실시예 9에서, 시나리오 영상의 재생을 합성 개시 시간(이 예에서, t=10s)에서 일시 정지시키는 처 리를 기술하는 스케쥴(이하, PAUSE 스케쥴이라고 함)을 생성한다. 합성 개시 시간에서 재생이 개시되는 매체(이하, 동시 재생 매체라고 함)가 있는 경우에, 동시 재생 매체의 재생을 적당한 순서로 실행한 후에 PAUSE 스케쥴이 실행되도록, PAUSE 스케쥴을 스케쥴 리스트에 추가한다.

이는 동시 재생 매체의 재생을 실행한 후에 시나리오 영상이 일시 정지되도록 되기 때문에, 동시 재생 매체를 포함하는 시나리오 영상을 일시 정지 상태에서 표시할 수 있다. 그 결과, 사용자는 표시된 영상을 보면서 시나리오 영상과 합성되는 적절한 영상을 촬영할 수 있다.

다음에, 본 발명의 실시예 10의 촬영 장치(10)를 설명한다. 실시예 10의 촬영 장치(10)의 기본적인 구성은, 합성 재생 제어부(22)의 기능을 제외하고, 실시예 1의 촬영 장치(10)와 마찬가지이다.

도 32는 실시예 10의 합성 재생 제어부(22)의 구성을 나타낸다. 실시예 10의 합성 재생 제어부(22)는, 실시예 9의 합성 재생 제어부(22)의 구성에 부가하여, 상태 감시부(60)와 스케쥴 보정부(62)를 갖는다. 상태 감시부(60)는 CPU 이용률, 메모리의 동작 상태, 및 디바이스 이용률을 감시하는 기능을 갖는다. 스케쥴 보정부(62)는 상태 감시부(60)에 의해 취득된 각각의 상태에 근거하여 매체 재생의 셋업 시간을 설정하는 기능을 갖는다.

도 33(a)는 시나리오 데이터의 예를 나타내고, 도 33(b)는 도 33(a)에 나타낸 시나리오 데이터로부터 생성되는 스케쥴 리스트를 나타낸다. 실시예 10에서, 스케쥴 보정부(62)는, 상태 감시부(60)의 감시에 의해 취득된 상태에 근거하여, 매 체 재생 또는 디바이스의 시동을 준비하는 데 필요로 되는 시간을 구하고, 구한 시간에 근거하여 셋업 시간을 결정한다. 도 33(b)에 나타낸 예에서, 매체 B의 재생 개시 시간은 시간 t=10s이지만, 재생을 준비하는 데 필요로 되는 시간 때문에, 그 셋업은 시간 t=8.5s에서 개시되는 것이 스케쥴 리스트에 기술되어 있다. 또한, 촬영부(18)의 촬영 개시 시간은 t=10s이지만, 촬영부(18)의 시동을 준비하는 데 필요로 되는 시간 때문에, 그 셋업은 시간 t=7.5s에서 개시되는 것이 스케쥴 리스트에 기술되어 있다.

이 방식에서, 스케쥴 보정부(62)는 셋업 시간을 설정하여, 시나리오 데이터에 규정된 디바이스의 시동 개시 시간 또는 매체의 재생 개시 시간에서 그러한 처리를 원활하게 개시할 수 있다.

다음에, 본 발명의 실시예 11의 촬영 장치(10)를 설명한다. 실시예 11의 촬영 장치(10)의 기본적인 구성은, 합성 재생 제어부(22)의 기능을 제외하고, 실시예 1의 촬영 장치(10)와 마찬가지이다.

도 34는 실시예 11의 합성 재생 제어부(22)의 구성을 나타낸다. 실시예 11의 합성 재생 제어부(22)는, 실시예 9의 합성 재생 제어부(22)의 구성에 부가하여, 합성 영상 정보 생성부(64)와 합성 영상 생성부(66)를 갖는다. 합성 영상 정보 생성부(64)는 시나리오 데이터를 참조하여 합성 개시 시간을 구하고, 합성 영상, 즉 합성 개시 시간에서의 시나리오 영상의 정지 영상을 생성하기 위한 정보를 합성 영상 생성부(66)에 전달하는 기능을 갖는다. 합성 영상 생성부(66)는 합성 영상 생성부(66)로부터 전달된 합성 영상 정보에 근거하여 합성 영상을 생성하는 기능을 갖는다. 합성 영상 생성부(66)는 생성된 합성 영상을 시나리오 저장부(12)에 저장한다.

스케쥴 생성부(54)는 합성 영상의 표시 이후에 시나리오 영상에서 일시 정지를 기술하는 스케쥴 리스트를 생성한다. 스케쥴 생성부(54)는 일시 정지된 시나리오 영상의 재생을 재개하는 시점을 합성 개시 시간으로 조정하는 처리를 스케쥴 리스트에 더 기술한다.

도 35(a)는 시나리오 데이터의 예를 나타내고, 도 35(b)는 도 35(a)에 나타낸 시나리오 데이터로부터 생성되는 스케쥴 리스트를 나타낸다. 도 35(b)에서 "prevImg"로 나타낸 바와 같이, 합성 개시 시간(이 예에서, 시간 t=10s)에서, 재생이 개시되는 매체(매체 B)를 재생하고, 촬영부(18)를 시동하고, 그 후 합성 영상 생성부(66)에 의해 생성된 합성 영상을 표시하고, 또한 후에 시나리오 영상을 일시 정지시키는 것이 스케쥴 리스트에 기술되어 있다. 이는 시나리오 저장부(12)에 저장된 합성 영상을 미리 표시할 수 있도록 해주어, 합성 영상을 원활하게 표시할 수 있다. 또한, 도 35(b)에서 "SEEK"로 나타낸 바와 같이, 일시 정지로부터 재생을 재개하는 시점을 합성 개시 시간으로 조정하는 처리(이하, PAUSE 시점 보정 처리)가 스케쥴 리스트에 기술되어 있다. SEEK 처리는 특정된 시간으로 재생 시점을 이동하는 처리이고, SEEK 처리는 PAUSE 처리가 행해진 시간으로 재생 시점을 이동한다. 이는 PAUSE 처리에 의해 실제로 재생을 일시 정지시키는 데 필요로 되는 시간 지연을 회복하는 PAUSE 시점 보정을 실행할 수 있도록 해준다. 이 PAUSE 시점 보정 처리는 화면에 표시되지 않지만, 합성 영역에 표시된 촬영 영상과 합성 영역의 합성 영상이 화면에 표시된다. 이 방식에서, 시나리오 영상의 재생을 일시 정지시키는 데 시간을 필요로 하더라도, 합성 개시 시간에서 시나리오 영상의 재생을 재개할 수 있다.

그러나, 이 실시예에서 기술한 SEEK 처리는, 다른 실시예에서도, 일시 정지 이후에 시나리오 영상을 재개하는 경우에 적용할 수 있다. 예를 들면, 실시예 9 또는 10의 스케쥴 생성부(54)는, 시나리오 영상의 재생을 재개하는 시점을 합성 개시 시간으로 조정하는 처리를 기술하는 스케쥴 리스트를 생성할 수 있다.

지금까지, 본 발명의 촬영 장치(10) 및 촬영 방법을 실시예를 참조하여 상세하게 설명하였다. 그러나, 본 발명은 상기한 실시예에 한정되지 않는다.

촬영 장치(10)는 복수의 화면을 가질 수 있다. 도 36~38은 2개의 화면을 갖는 촬영 장치(10)의 각각의 화면의 표시예를 나타낸다. 예를 들면, 도 36에 나타낸 바와 같이, 하나의 화면(왼쪽)은 시나리오 영상을 재생 및 표시할 수 있고, 다른 화면(오른쪽)은 촬영부(18)가 포착하고 있는 촬영 영상을 표시할 수 있다. 이 방식에서, 촬영부(18)에 의해 촬영되고 있는 것을 파악할 수 있어, 합성 영역에 삽입되는 영상을 적절하게 포착할 수 있다. 또한, 이 예에서, 실시예 2에서 설명한 바와 마찬가지로, 합성 영역의 외형을 나타내는 프레임 F를 시나리오 영상의 화면 표시에 표시한다.

또한, 도 37에 나타낸 바와 같이, 하나의 화면(왼쪽)은 시나리오 영상을 재생 및 표시할 수 있고, 다른 화면(오른쪽)은 합성 영역의 출현 시간에서의 시나리오 영상과 현재의 촬영 영상과의 합성인 합성 영상 프리뷰를 표시할 수 있다. 이 방식에서, 실시예 1에서 일시 정지해야 했던 것에 반해, 시나리오 영상의 재생을 일지 정지하지 않더라도, 합성 영역의 출현 이전에 합성 영상 프리뷰를 확인할 수 있다.

또한, 시나리오 영상과 촬영 영상을 합성하고 있는 경우에, 도 38에 나타낸 바와 같이, 하나의 화면(왼쪽)은 합성 영상을 표시하고, 다른 화면(오른쪽)은 촬영부(18)에 의해 촬영된 촬영 영상을 표시할 수 있다. 이는 시나리오 영상과 합성되고 있는 경우에도 촬영 영상의 전체를 볼 수 있도록 해주어, 촬영 영상을 적절하게 취득할 수 있다.

또한, 촬영 장치(10)가 2개의 화면을 갖는 경우에, 화면 중 하나를 피사체측에 마련할 수 있다. 시나리오 영상과 합성된 피사체 자신의 촬영 영상을 피사체 사람이 볼 수 있도록, 합성 영상 또는 합성 영상 프리뷰를 피사체측 화면에 표시하여, 어떤 합성 영상이 생성되는지 피사체 자신이 파악할 수 있다. 이는, 예를 들면, 피사체 사람이 어떻게 포즈를 취할지 판단할 수 있도록 해준다.

상기 실시예에서, 화면에 표시된 촬영 영상을 봄으로써 촬영 장치(10)에 의해 촬영되는 영상을 확인하고, 그 후 촬영 장치(10)의 위치, 방향, 줌 비 등을 조정하는 촬영 장치(10)를 설명하였다. 그러나, 다른 방법에 의해 촬영 장치(10)에 의해 촬영되는 영상을 확인할 수 있도록 해주는 구성을 채용할 수 있다. 예를 들면, 촬영 장치(10)의 뷰파인더에 포착된 영역을 조명하기 위해서, 촬영 장치(10)에 조명부를 마련할 수 있다. 이 방식에서, 표시부(24)에서 시나리오 영상을 보면서, 피사체에 비춰지는 광에 의해 촬영 영역을 확인할 수 있다.

본 발명의 촬영 장치 및 촬영 방법을 상기 실시예에서 설명하였다. 그러나, 상기 촬영 장치를 구성하는 프로그램 또는 상기 촬영 방법을 실행하기 위한 프로그램은 본 발명의 범위에 포함된다.

도 39는 본 발명의 프로그램의 예를 나타낸다. 도 39에 나타낸 바와 같이, 프로그램(70)은 시나리오 데이터 관리 모듈(72), 판독 모듈(74), 촬영 제어 모듈(76), 합성 재생 모듈(78), 표시 모듈(80), 및 제시 모듈(82)을 갖는다. 프로그램(70)이 설치되는 컴퓨터는 디지털 카메라와 같은 촬영부를 갖는 컴퓨터이다.

시나리오 데이터 관리 모듈(72)은 컴퓨터에게 시나리오 데이터를 관리하게 하는 모듈이다. 시나리오 데이터 관리 모듈(72)을 실행하는 것은, 컴퓨터가 상기 실시예의 촬영 장치(10)의 시나리오 저장부(12)와 유사한 저장부를 가질 수 있도록 해준다. 판독 모듈(74)은 컴퓨터에게 시나리오 데이터를 판독하게 하는 모듈이다. 촬영 제어 모듈(76)은 촬영 영상을 취득하기 위해서 컴퓨터에게 영상을 촬영하게 하는 모듈이다. 촬영 제어 모듈(76)을 실행하는 것은, 컴퓨터가 상기 실시예의 촬영 장치(10)의 촬영 조건 제어부(28)와 유사한 기능을 가질 수 있도록 해준다. 합성 재생 모듈(78)은 컴퓨터에게 시나리오 영상을 재생하고, 촬영 영상과 시나리오 영상을 합성하게 하는 모듈이다. 표시 모듈(80)은 컴퓨터에게 시나리오 영상 또는 합성 영상을 표시하게 하는 모듈이다. 제시 모듈(82)은 컴퓨터에게, 합성 정보를 컴퓨터의 사용자에게 제시하게 하는 모듈이다. 제시 모듈(82)을 실행하는 것은, 상기한 실시예 2의 촬영 장치(10)의 합성 영역 제시부(30)와 마찬가지의 기능을 실현할 수 있도록 해준다.

프로그램(70)을 실행함으로써, 실시예 2의 촬영 장치(10)와 유사한 촬영 장치를 실현할 수 있어, 시나리오 영상과 촬영 영상을 촬영하면서 합성할 수 있다.

상기한 바와 같이, 본 발명의 촬영 장치에서, 시나리오 영상과 촬영 영상과의 합성 영상을 표시 수단에 의해 표시하기 때문에, 사용자는 표시 수단에 의해 표시된 합성 영상을 보면서 촬영할 수 있고, 또한, 합성되는 영상을 적절하게 촬영하도록 촬영 장치의 위치 및 방향을 조정할 수 있다. 본 발명은 이들 큰 이점을 갖고, 촬영함으로써 취득되는 영상과 시나리오 영상을 합성하는 장치 등으로서 유용하다.

Claims (41)

1. 촬영 영상을 취득하기 위한 촬영 수단과,

   시나리오 영상을 구성하도록, 저장된 데이터를 판독하기 위한 판독 수단과,

   상기 시나리오 영상과 상기 촬영 영상을 합성하기 위한 합성 정보를 저장하는 저장 수단과,

   상기 저장 수단에 저장된 합성 정보에 따라서, 상기 판독 수단에 의해 판독된 상기 시나리오 영상과 상기 촬영 수단에 의해 취득된 촬영 영상을 합성하는 합성 수단과,

   상기 합성 수단에 의해 취득된 합성 영상을 표시하는 표시 수단

   을 포함하는 촬영 장치.
2. 제 1 항에 있어서,

   상기 합성 정보는 상기 촬영 영상과 상기 시나리오 영상을 합성하는 시간에 대한 정보를 포함하는 촬영 장치.
3. 제 2 항에 있어서,

   상기 합성 정보는, 상기 촬영 영상이 합성되는 합성 영역의 외형에 대한 정 보와, 상기 시나리오 영상을 구성하는 영상내의 상기 합성 영역의 위치에 대한 정보 중 적어도 하나를 포함하는 촬영 장치.
4. 제 3 항에 있어서,

   상기 합성 정보에 근거하여, 상기 촬영 영상과 상기 시나리오 영상을 합성하는 시간에 또는 그 이전에, 상기 합성 영역에 대한 정보를 상기 촬영 수단을 제어하는 사용자에게 제시하는 수단을 더 포함하는 촬영 장치.
5. 제 4 항에 있어서,

   상기 사용자에게 제시되는 합성 영역에 대한 정보는, 상기 합성 정보의 위치에 대한 정보와 외형에 대한 정보 중 적어도 하나에 근거하는 촬영 장치.
6. 제 4 항에 있어서,

   상기 사용자에게 제시되는 합성 영역에 대한 정보는, 상기 합성 정보의 위치에 대한 정보와 외형에 대한 정보 중 적어도 하나에 따라서, 상기 촬영 수단에 의해 취득된 촬영 영상을 처리함으로써 취득된 영상을 포함하는 촬영 장치.
7. 제 4 항에 있어서,

   상기 사용자에게 제시되는 합성 영역에 대한 정보는, 상기 합성 정보에 따라서, 상기 촬영 수단에 의해 취득된 촬영 영상과, 상기 합성 영역이 출현하는 상기 시나리오 영상을 구성하는 영상을 합성함으로써 취득된 영상을 포함하는 촬영 장치.
8. 제 4 항에 있어서,

   상기 시나리오 영상과 상기 촬영 영상의 합성을 개시하는 시간에, 상기 시나리오 영상의 재생(playback)을 일시 정지시키는 수단을 포함하는 촬영 장치.
9. 제 3 항에 있어서,

   상기 시나리오 영상을 구성하는 영상내의 상기 합성 영역의 위치가 시간의 흐름에 따라 이동하는 촬영 장치.
10. 제 3 항에 있어서,

    상기 합성 영역의 외형이 시간의 흐름에 따라 변화하는 촬영 장치.
11. 제 2 항에 있어서,

    상기 시나리오 영상과 상기 촬영 영상의 합성을 개시하는 시간이 근접했음을 사용자에게 알려주는 수단을 더 포함하는 촬영 장치.
12. 제 2 항에 있어서,

    상기 시나리오 영상과 상기 촬영 영상의 합성을 개시하는 시간을 포함하는 소정의 시간내에서, 합성 개시에 대한 정보를 사용자에게 알려주는 수단을 더 포함하는 촬영 장치.
13. 제 1 항에 있어서,

    상기 합성 영상을 기록하는 수단을 더 포함하는 촬영 장치.
14. 제 1 항에 있어서,

    상기 시나리오 영상의 식별 정보와 연관되어 상기 촬영 수단에 의해 취득된 촬영 영상을 기록하는 수단을 더 포함하는 촬영 장치.
15. 제 1 항에 있어서,

    상기 촬영 수단은 상기 합성 정보에 포함되는 촬영 조건에 대한 정보에 근거하여 영상을 촬영하는 촬영 장치.
16. 제 3 항에 있어서,

    상기 촬영 영상과 상기 시나리오 영상의 합성 개시 지시와 합성 종료 지시 중 적어도 하나를 사용자에게 입력하게 하는 입력 수단을 포함하는 촬영 장치.
17. 제 16 항에 있어서,

    상기 합성 정보에 의해 규정된, 상기 촬영 영상과 상기 시나리오 영상의 합성을 개시하는 시간 이후에, 상기 합성 개시 지시가 입력된 경우에, 상기 규정된 합성 개시 시간과 상기 합성 개시 지시의 입력 사이에, 상기 합성 영역과 합성되는 영상을 상기 촬영 영상 또는 상기 시나리오 영상으로 보완하는

    촬영 장치.
18. 제 16 항에 있어서,

    상기 합성 정보에 의해 규정된, 상기 촬영 영상과 상기 시나리오 영상의 합성을 종료하는 시간 이전에 상기 합성 종료 지시가 입력된 경우에, 상기 규정된 합성 종료 시간과 상기 합성 종료 지시의 입력 사이에, 상기 합성 영역과 합성되는 영상을 상기 촬영 영상 또는 상기 시나리오 영상으로 보완하는

    촬영 장치.
19. 제 1 항에 있어서,

    상기 표시 수단은 복수의 화면으로 구성되고, 적어도 하나의 화면은 상기 시나리오 영상 또는 상기 합성 영상을 표시하는 촬영 장치.
20. 제 1 항에 있어서,

    상기 촬영 수단에 의해 촬영되는 영역 또는 점(spot)을 지시하는 광을 비추는 광원 수단을 포함하는 촬영 장치.
21. 제 1 항에 있어서,

    상기 촬영 수단에 의해 취득된 촬영 영상은 연속적으로 촬영된 동영상이고, 상기 합성 수단은 상기 시나리오 영상과 상기 동영상을 합성하는 촬영 장치.
22. 제 1 항에 있어서,

    상기 촬영 수단에 의해 취득된 촬영 영상은 1개 이상의 정지 영상이고, 상기 합성 수단은, 상기 시나리오 영상과 합성되는 영상으로서 상기 정지 영상 중 하나를 소정 기간 동안 사용하는

    촬영 장치.
23. 제 1 항에 있어서,

    상기 촬영 수단에 의해 촬영된 촬영 영상의 일부를 부분 영상으로서 클리핑(clipping)하는 부분 영상 클리핑 수단을 포함하고,

    상기 합성 수단은 상기 부분 영상 클리핑 수단에 의해 클리핑된 부분 영상과 상기 시나리오 영상을 합성하는

    촬영 장치.
24. 제 23 항에 있어서,

    상기 저장 수단에 저장된 합성 정보는, 상기 부분 영상 클리핑 수단이 부분 영상을 클리핑하는 영역 및 기간을 특정하는 부분 영상 특정 정보를 포함하고,

    상기 부분 영상 클리핑 수단은 상기 부분 영상 특정 정보에 근거하여 상기 촬영 영상으로부터 부분 영상을 클리핑하는

    촬영 장치.
25. 제 24 항에 있어서,

    상기 부분 영상 특정 정보에서 특정된, 상기 부분 영상이 클리핑되는 위치는 시간의 흐름에 따라 이동하는 촬영 장치.
26. 제 24 항에 있어서,

    상기 부분 영상 특정 정보에서 특정된, 클리핑되는 상기 부분 영상이 클리핑되는 형상은 시간의 흐름에 따라 변화하는 촬영 장치.
27. 제 24 항에 있어서,

    상기 부분 영상 특정 정보는 상기 부분 영상에 포함되는 대상물에 의해 부분 영상을 특정하고,

    상기 부분 영상 클리핑 수단은 상기 부분 영상 특정 정보에서 특정된 대상물을 포함하는 부분을, 상기 부분 영상으로서 상기 촬영 영상으로부터 클리핑하는

    촬영 장치.
28. 제 1 항에 있어서,

    상기 합성 정보는 상기 합성 영역에 포함되는 대상물에 의해 합성 영역을 특정하고,

    상기 합성 수단은, 상기 합성 정보에서 특정된 대상물을 표시하는, 상기 시나리오 영상의 일부를 상기 합성 영역으로 간주하여, 상기 합성 영역과 상기 촬영 영상을 합성하는

    촬영 장치.
29. 제 8 항에 있어서,

    상기 촬영 영상의 합성을 개시하는 시간에 재생을 개시하는 시간에 재생을 개시하는 데이터가 있는 경우에, 해당 데이터의 재생을 개시한 후에, 상기 시나리오 영상을 일시 정지시키도록 제어하는 제어 수단을 포함하는

    촬영 장치.
30. 제 8 항에 있어서,

    상기 촬영 영상의 합성을 개시하는 시간에 표시되는 시나리오 영상을 프리뷰 영상으로서 저장하는 프리뷰 영상 저장 수단과,

    상기 촬영 영상의 합성을 개시하는 시간에, 상기 프리뷰 영상을 표시하고, 상기 시나리오 영상을 일시 정지시키도록 제어하는 제어 수단

    을 포함하는 촬영 장치.
31. 제 29 항 또는 제 30 항에 있어서,

    상기 제어 수단은 상기 시나리오 영상의 재생을 재개하는 시점을 상기 합성을 개시하는 시간으로 이동시키는 촬영 장치.
32. 저장된 데이터를 출력하는 방법을 기술하는 시나리오 정보와,

    촬영(shooting)에 의해 취득되는 촬영 영상과, 상기 시나리오 정보의 기술에 따라서 출력되는 시나리오 영상을 합성하기 위한 합성 정보

    를 갖는 시나리오 데이터.
33. 제 32 항에 있어서,

    상기 합성 정보는 상기 촬영 영상과 상기 시나리오 영상을 합성하는 시간에 대한 정보를 포함하는 시나리오 데이터.
34. 제 32 항에 있어서,

    상기 합성 정보는, 촬영 영상이 합성되는 합성 영역의 외형에 대한 정보와, 상기 시나리오 영상을 구성하는 영상내의 상기 합성 영역의 위치에 대한 정보 중 적어도 하나를 포함하는 시나리오 데이터.
35. 제 32 항에 있어서,

    상기 합성 정보는, 상기 촬영 영상의 일부를 부분 영상으로서 클리핑하는 영역 및 기간을 특정하는 부분 영상 특정 정보를 포함하는 시나리오 데이터.
36. 제 35 항에 있어서,

    상기 부분 영상 특정 정보에서 특정된, 클리핑되는 상기 부분 영상의 위치는 시간의 흐름에 따라 이동하는 시나리오 데이터.
37. 제 35 항에 있어서,

    상기 부분 영상 특정 정보에서 특정된, 클리핑되는 상기 부분 영상의 형상은 시간의 흐름에 따라 변화하는 시나리오 데이터.
38. 제 35 항에 있어서,

    상기 부분 영상 특정 정보는 부분 영상에 포함되는 대상물에 의해 상기 부분 영상의 영역 및 기간을 특정하는 시나리오 데이터.
39. 제 32 항에 있어서,

    상기 합성 정보는, 촬영 영상이 합성되는 합성 영역에 포함되는 대상물에 의해, 상기 합성 영역, 및 상기 시나리오 영상이 상기 합성 영역을 포함하는 기간을 특정하는 시나리오 데이터.
40. 시나리오 영상을 구성하도록, 저장된 데이터를 판독하는 단계와,

    촬영 영상을 취득하는 단계와,

    상기 시나리오 영상과 상기 촬영 영상을 합성하기 위한 합성 정보를 판독하는 단계와,

    상기 합성 정보에 따라서 상기 시나리오 영상과 상기 촬영 영상을 합성하는 단계와,

    상기 합성 단계에서 취득된 합성 영상을 표시하는 단계

    를 포함하는 촬영 방법.
41. 촬영 영상과 시나리오 영상을 합성하기 위해서, 컴퓨터로 하여금,

    시나리오 영상을 구성하도록, 저장된 데이터를 판독하는 단계와,

    촬영 영상을 취득하는 단계와,

    상기 시나리오 영상과 상기 촬영 영상을 합성하기 위한 합성 정보를 판독하는 단계와,

    상기 합성 정보에 따라서 상기 시나리오 영상과 상기 촬영 영상을 합성하는 단계와,

    상기 합성 단계에서 취득된 합성 영상을 표시하는 단계

    를 실행하게 하는 프로그램.

Images