[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20090088325A - 화상 처리 장치, 화상 처리 방법 및 촬상 장치 - Google Patents

화상 처리 장치, 화상 처리 방법 및 촬상 장치 Download PDF

Info

Publication number
KR20090088325A
KR20090088325A KR1020090011772A KR20090011772A KR20090088325A KR 20090088325 A KR20090088325 A KR 20090088325A KR 1020090011772 A KR1020090011772 A KR 1020090011772A KR 20090011772 A KR20090011772 A KR 20090011772A KR 20090088325 A KR20090088325 A KR 20090088325A
Authority
KR
South Korea
Prior art keywords
image
subjects
images
synthesizing
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
KR1020090011772A
Other languages
English (en)
Inventor
히사시 엔도
Original Assignee
후지필름 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지필름 가부시키가이샤 filed Critical 후지필름 가부시키가이샤
Publication of KR20090088325A publication Critical patent/KR20090088325A/ko
Abandoned legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

합성 화상은 촬영 화상 중의 1개 이상의 피사체를 검출하는 스텝; 상기 촬영 화상 중의 1개 이상의 피사체의 배치를 연산 동작에 의해 판단하는 스텝; 상기 1개 이상의 피사체의 배치에 따라 1개 이상의 합성용 화상을 랜덤하게 선택하는 스텝; 상기 선택된 1개 이상의 합성용 화상의 배치를 1개 이상의 합성용 화상이 서로 오버랩되지 않고 검출된 1개 이상의 피사체와 오버랩되지 않도록 랜덤하게 결정하는 스텝; 및 상기 촬영 화상을 1개 이상의 합성용 화상과 합성함으로써 합성 화상을 생성하는 스텝을 포함하는 방법에 의해 생성된다.
화상 처리 장치, 촬상 장치

Description

화상 처리 장치, 화상 처리 방법 및 촬상 장치{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND IMAGING APPARATUS}
본 발명은 화상 처리 장치, 화상 처리 방법 및 촬상 장치에 관한 것이다. 특히, 본 발명은 촬영 화상을 합성용 화상과 합성하여 합성 화상을 생성하고, 상기 합성 화상을 표시하는 화상 처리 장치, 화상 처리 방법 및 촬상 장치에 관한 것이다.
예를 들면, 일본 특허 공개 2004-248037호 공보, 일본 특허 공개 2003-78818호 공보, 일본 특허 공개 2004-153345호 공보 및 일본 특허 공개 2005-157762호 공보는 화상이 촬영될 때 촬영 화상과 합성용 화상을 합성함으로써 합성 화상을 생성시킬 수 있는 기술을 설명한다.
일본 특허 공개 2004-248037호 공보는 화상 촬영 시에 화상 촬영의 위치를 서버로 송신하고, 각 화상 촬영 영역에 제공된 부가적인 화상으로부터 랜덤하게 선택된 서버 클립 아트 화상으로부터 수신하여 합성 화상을 생성하는 것을 설명한다. 동일한 화상 촬영 영역일지라도 개별적인 화상 촬영을 위해 상이한 화상이 생성되므로 의외성 및 즐거움을 사용자에게 제공할 수 있다.
일본 특허 공개 2003-78818호 공보는 자동으로 피사체의 위치를 검출하고, 상기 피사체의 움직임에 따라 티커(ticker)(피사체의 이름, 피사체의 묘사 등을 나타내기 위한 캐릭터 스트링 또는 설명 그래픽)를 스크린에 표시하는 것을 설명한다.
일본 특허 공개 2004-153345호 공보는 카메라맨에 의해 선택된 템플릿 화상이 스루 화상에서 중첩되면서 표시되는 것을 설명하고, 카메라맨이 합성 및 슛을 결정할 때, 템플릿 화상과 합성된 촬영 화상 및 템플릿 화상과 합성되지 않은 촬영 화상이 저장되는 것을 설명한다.
일본 특허 공개 2005-157762호 공보는 촬영 화상으로부터 특정 물체를 추출하여, 미리 저장된 교환가능한 물체에 의해 추출된 물체가 대체되는 합성 화상을 생성하고, 그 합성 화상을 출력하는 것을 설명한다.
또한, 피사체의 배치(위치, 사이즈 및 방향), 피사체의 수 및 피사체 간의 위치 관계에 적합하게 합성용 화상을 선택하는 것이 불가능하였다. 또한, 피사체의 위치 및/또는 피사체 간의 위치 관계에 의해 합성용 화상의 배치를 결정하는 것이 불가능하였다. 이 때문에, 촬영 화상이 촬영 화상의 씬(scene)에 매칭되지 않는 합성용 화상과 합성되거나, 합성용 화상이 피사체 화상 또는 다른 합성용 화상에 오버랩될 가능성이 있었다.
본 발명은 이러한 상황을 감안하여 이루어진 것이다. 본 발명의 목적은 촬영 화상의 피사체에 의거하여 촬영 화상과 합성용 화상을 합성함으로써 배치 씬에 매칭되는 합성 화상을 생성할 수 있는 화상 처리 장치, 화상 처리 방법 및 촬상 장치를 제공하는 것이다.
상술한 본 발명의 목적은 이하의 구성에 의해 달성된다.
[1] 본 발명의 실시형태에 의하면, 화상 처리 장치는 피사체 검출 유닛, 피사체 위치 해석 유닛, 화상 선택 유닛, 화상 배치 유닛 및 화상 합성 유닛을 포함한다. 피사체 검출 유닛은 촬영 화상 중의 1개 이상의 피사체를 검출한다. 피사체 위치 해석 유닛은 촬영 화상 중의 1개 이상의 피사체의 배치를 연산 동작에 의해 판단한다. 화상 선택 유닛은 1개 이상의 피사체의 배치에 의해 1개 이상의 합성용 화상을 랜덤하게 선택한다. 화상 배치 유닛은 선택된 1개 이상의 합성용 화상의 배치를 1개 이상의 합성용 화상이 서로 오버랩되지 않고 검출된 1개 이상의 피사체와 오버랩되지 않도록 랜덤하게 결정한다. 화상 합성 유닛은 촬영 화상을 1개 이상의 합성용 화상과 합성함으로써 합성 화상을 생성시킨다.
[2] 상기 [1]의 화상 처리 장치에서, 화상 배치 유닛은 배치되는 1개 이상의 합성용 화상 각각에 대하여 미리 설정된 화상 사이즈의 범위로부터 랜덤하게 사이즈를 선택할 수 있다.
[3] [1] 또는 [2] 중 어느 하나에 있어서 화상 처리 장치에서, 화상 배치 유닛은 배치되는 1개 이상의 합성용 화상 각각에 대하여 미리 설정된 화상 경사 범위 로부터 랜덤하게 경사를 선택할 수 있다.
[4] [1] 내지 [3] 중 어느 하나의 화상 처리 장치에서, 검출된 피사체의 수가 2개 이상일 때, 화상 배치 유닛은 검출된 피사체 간의 배치 관계에 의거하여 1개 이상의 합성용 화상을 선택할 수 있다.
[5] [4]의 화상 처리 장치에서, 화상 선택 유닛은 피사체 간의 각 거리에 의거하여 1개 이상의 합성용 화상을 선택할 수 있다.
[6] [1] 내지 [5] 중 어느 하나에 있어서 화상 처리 장치에서, 상기 화상 합성 유닛이 각각의 연속 촬영 화상으로부터 합성 화상을 생성할 때, 현재 촬영 화상의 1개 이상의 피사체 배치가 이전 촬영 화상의 1개 이상의 피사체 배치와 동일한 경우, 현재 촬영 화상의 1개 이상의 피사체의 위치 관계가 이전 촬영 화상의 1개 이상의 피사체와 이전 촬영 화상과 합성된 1개 이상의 합성용 화상의 위치 관계와 동일하도록 상기 이전 촬영 화상과 합성된 1개 이상의 합성용 화상과 동일한 1개 이상의 합성용 화상이 배치될 수 있다.
[7] [1] 내지 [5] 중 어느 하나의 화상 처리 장치에서, 상기 화상 합성 유닛은 각각의 연속 촬영 화상으로부터 합성 화상을 생성할 때, 연속 촬영 화상의 임의의 화상이 촬영된 이후 소정 시간이 경과될 때까지 또는 촬영 화상의 소정 수가 처리될 때까지 현재 촬영 화상의 1개 이상의 피사체의 위치 관계가 이전 촬영 화상의 1개 이상의 피사체와 이전 촬영 화상과 합성된 1개 이상의 합성용 화상의 위치 관계와 동일하도록 상기 이전 촬영 화상과 합성된 1개 이상의 합성용 화상과 동일한 1개 이상의 합성용 화상이 배치될 수 있다.
[8] [1]의 화상 처리 장치에서 각 피사체는 사람 얼굴이다.
[9] 본 발명의 다른 실시형태에 의하면, 화상 장치는 [1] 내지 [9] 중 어느 하나의 화상 처리 장치를 포함한다.
[10] 본 발명의 또 다른 실시형태에 의하면, 화상 처리 방법은 촬영 화상 중의 1개 이상의 피사체를 검출하는 스텝; 상기 촬영 화상 중의 1개 이상의 피사체의 배치를 연산 동작에 의해 판단하는 스텝; 상기 1개 이상의 피사체의 배치에 따라 1개 이상의 합성용 화상을 랜덤하게 선택하는 스텝; 상기 선택된 1개 이상의 합성용 화상의 배치를 1개 이상의 합성용 화상이 서로 오버랩되지 않고 검출된 1개 이상의 피사체와 오버랩되지 않도록 랜덤하게 결정하는 스텝; 및 상기 촬영 화상을 1개 이상의 합성용 화상과 합성함으로써 합성 화상을 생성하는 스텝을 포함한다.
[11] [10]의 화상 처리 방법은 배치되는 1개 이상의 합성용 화상 각각에 대하여 미리 설정된 화상 사이즈로부터 랜덤하게 사이즈를 선택하는 스텝을 더 포함할 수 있다.
[12] [10] 또는 [11] 중 어느 하나의 화상 처리 방법은 배치되는 1개 이상의 합성용 화상 각각에 대하여 미리 설정된 화상 경사 범위로부터 랜덤하게 경사를 선택하는 스텝을 더 포함할 수 있다.
[13] [10] 내지 [12] 중 어느 하나의 화상 처리 방법에서 검출된 피사체의 수가 2개 이상인 경우, 상기 검출된 피사체 간의 배치 관계에 의거하여 1개 이상의 합성용 화상이 선택될 수 있다.
[14] [13]의 화상 처리 방법에서 상기 피사체 간의 각 거리에 의거하여 상기 1개 이상의 합성용 화상이 선택될 수 있다.
[15] [10] 내지 [14] 중 어느 하나의 화상 처리 방법에서, 합성 화상이 각각의 연속 촬영 화상으로부터 생성될 때, 현재 촬영 화상의 1개 이상의 피사체 배치가 이전 촬영 화상의 1개 이상의 피사체 배치와 동일한 경우, 현재 촬영 화상의 1개 이상의 피사체의 위치 관계가 이전 촬영 화상의 1개 이상의 피사체와 이전 촬영 화상과 합성된 1개 이상의 합성용 화상의 위치 관계와 동일하도록 상기 이전 촬영 화상과 합성된 1개 이상의 합성용 화상과 동일한 1개 이상의 합성용 화상이 배치될 수 있다.
[16] [10] 내지 [14] 중 어느 하나의 화상 처리 방법에서, 합성 화상이 각각의 연속 촬영 화상으로부터 생성될 때, 연속 촬영 화상의 임의의 화상이 촬영된 이후 소정 시간이 경과될 때까지 또는 촬영 화상의 소정 수가 처리될 때까지 현재 촬영 화상의 1개 이상의 피사체의 위치 관계가 이전 촬영 화상의 1개 이상의 피사체와 이전 촬영 화상과 합성된 1개 이상의 합성용 화상의 위치 관계와 동일하도록 상기 이전 촬영 화상과 합성된 1개 이상의 합성용 화상과 동일한 1개 이상의 합성용 화상이 배치될 수 있다.
[17] [10] 내지 [16] 중 어느 하나의 화상 처리 방법에서, 각 피사체는 사람 얼굴일 수 있다.
상술한 구성에 의하면, 1개 이상의 피사체의 배치가 판단되고, 상기 1개 이상의 피사체의 배치에 관련된 정보에 의거하여 화상 합성에 이용된 1개 이상의 합성용 화상이 랜덤하게 선택되면서, 선택된 1개 이상의 합성용 화상은 1개 이상의 피사체의 배치에 의해 오버랩되지 않도록 랜덤하게 배치될 수 있다. 합성용 화상이 촬영 화상에 대하여 완전히 랜덤하게 배치될 때 합성용 화상이 피사체와 오버랩될 가능성이 있다. 그러나, 상술한 구성에 의하면 합성용 화상의 배치가 피사체의 배치에 의거하여 결정되기 때문에 피사체가 합성용 화상과 오버랩되는 것을 피할 수 있다. 그 결과, 촬영 화상과 합성용 화상이 합성된 합성 화상은 촬영 화상의 씬에 적합하도록 표시된다.
또한, 합성용 화상이 피사체가 랜덤하게 선택되어 피사체의 배치에 의해 배치되기 때문에 사용자에게 의외성을 느끼게 하는 합성 화상이 화상의 촬영 시에 생성될 수 있다.
또한, 화상 합성이 연속적으로 촬영되는 화상에 적용될 때, 현재 화상 중의 피사체의 배치가 이전 화상 중의 피사체의 배치와 동일한 경우, 현재 촬영 화상의 파사체의 위치 관계가 이전 촬영 화상의 피사체와 이전 촬영 화상과 합성된 합성용 화상들의 위치 관계와 동일하도록 이전 촬영 화상과 합성된 합성용 화상과 동일한 합성용 화상이 배치될 수 있다. 그 결과, 예를 들면 스루 화상 또는 동영상의 표시가 보기에 용이하게 된다.
본 발명에 의하면, 촬영 화상 중의 1개 이상의 피사체에 의거하여 촬영 화상과 합성용 화상을 합성함으로써 위치 씬에 매칭되는 합성 화상을 생성시킬 수 있는 화상 처리 장치, 화상 처리 방법 및 촬상 장치를 제공할 수 있다.
이하, 본 발명의 실시형태는 도면을 참조하여 상세히 설명될 것이다.
도 1은 본 발명의 실시형태에 의한 화상 처리 장치 및 촬상 장치 구성의 일예를 도시하는 블럭도이다. 이하의 실시형태의 설명이 예시의 방법으로 디지털 카메라의 구성을 참조하였지만, 본 발명에 의한 화상 처리 장치 및 촬상 장치는 특별히 이에 한정되지 않는다.
디지털 카메라(1)는 피사체의 화상을 촬상하는 촬상부를 구비한다. 촬상부는 렌즈(11), 조리개(12), 필터(13), 고체 촬상 소자(CCD)(14), 아날로그 신호 처리부(15), 및 A/D 변환부(16)를 구비한다. 고체 촬상 소자(14)는 입사광에 의해 화상 데이터를 생성한다. 고체 촬상 소자(14)에 의해 아날로그 신호로 생성된 화상 데이터는 아날로그 신호 처리부(15)로 입력된다. A/D 변환부(16)는 처리된 아날로그 신호를 디지털 신호로 변환한다. 촬상부는 렌즈 구동부(17), 조리개 구동부(18), 및 CCD 구동부(19)를 더 구비한다. 렌즈 구동부(17)는 렌즈(11)를 구동시킨다. 조리개 구동부(18)는 조리개(12)를 구동시킨다. CCD 구동부(19)는 구동 신호를 고체 촬상 소자(14)로 공급한다. 렌즈 구동부(17), 조리개 구동부(18) 및 CCD 구동부(19)는 CPU(20)에 접속된다. 촬상 소자로서 CCD를 이용한 구성이 실시형태에 나타나 있지만, 촬상 소자는 특별히 한정되지 않으며, CMOS 화상 센서가 촬상 소자로서 이용될 수 있다.
화상 촬영 시에 사용자에 의해 조작가능한 조작부(21)가 디지털 카메라(1)에 제공된다. 조작부(21)는 CPU(20)에 접속된다.
또한, 디지털 카메라(1)에는 메모리 제어부(22), 디지털 신호 처리부(24), 신장/압축 처리부(25), 적산부(26), 외부 메모리 제어부(27), 표시 제어부(29), 및 화상 처리부(31)가 버스를 통하여 A/D 변환부(16) 및 CPU(20)에 접속된다. 주 메모리(23)는 메모리 제어부(22)에 접속된다. 외부 메모리(28)는 외부 메모리 제어부(27)에 접속된다. LCD 등과 같은 표시부(30)는 표시 제어부(29)에 접속되어 촬영 화상과 합성용 화상의 합성에 의해 생성된 촬영 화상 또는 합성 화상이 표시될 수 있도록 한다.
본 실시형태에 의한 디지털 카메라(1)는 얼굴 검출부(42), 얼굴 위치 판정부(44), 화상 선택부(46), 화상 배치부(48), 및 화상 합성부(50)를 더 구비한다. 얼굴 검출부(42)는 촬영 화상 중의 1개 이상의 소정의 피사체(예컨대, 본 실시형태에서는 사람 얼굴)을 검출하는 피사체 검출 유닛으로서 기능한다. 얼굴 위치 판정부(44)는 피사체의 배치를 연산 동작에 의해 판단하는 피사체 위치 분서 유닛으로서 기능한다. 화상 선택부(46)는 피사체의 배치에 의해 합성용 화상을 랜덤하게 선택하는 화상 선택부로서 기능한다. 화상 배치부(48)는 합성용 화상이 서로 오버랩되지 않고, 피사체와 오버랩되지 않도록 선택된 합성용 화상의 배치를 랜덤하게 결정하는 화상 배치 유닛으로서 기능한다. 화상 합성부(50)는 촬영 화상과 합성용 화상을 합성함으로써 합성 화상을 생성시키는 화상 합성 유닛으로서 기능한다. 본 발명에 의한 디지털 카메라(1)는 합성용 화상을 미리 저장하는 합성용 화상 기억부(52)를 더 구비한다.
도 2는 촬영 화상과 합성용 화상의 합성의 제어를 도시하는 블럭도이다. 촬영 화상(도 2에 도시된 바와 같이, 스루 화상 또는 스틸 화상일 수 있음)의 정보가 화상 촬상 시에 CCD(14)에 의해 생성된다. 촬영 화상 정보는 얼굴 검출부(42)와 화 상 합성부(50) 둘 다에 입력된다. 얼굴 검출부(42)는 촬영 화상 정보로부터 1개 이상의 원하는 피사체를 검출한다. 본 실시형태에서 검출된 각각의 피사체가 사람 얼굴일지라도, 피사체는 이에 한정되지 않으며, 다른 물체 또는 전체적인 사람 형상이 피사체로서 이용될 수 있다. 얼굴 검출부(42)에 의해 검출된 얼굴 위치의 정보는 얼굴 위치 판정부(44)와 화상 배치부(48)로 반송된다.
얼굴 위치 판정부(44)는 얼굴 위치가 촬영 화상에서 어떻게 배치되는지에 관한 얼굴 위치 정보에 의거하여 연산 동작을 수행하고, 얼굴 위치 판정 결과를 화상 선택부(46)로 반송한다.
화상 선택부(46)는 얼굴 위치 판정 결과에 의거하여 합성용 화상을 랜덤하게 선택한다. 이러한 경우, 합성용 화상은 얼굴 위치의 배치에 의해 미리 설정된 합성용 화상을 기억하는 합성용 화상 기억부(52)로부터 판독된다. 화상 선택부(46)는 화상 선택 정보를 화상 배치부(48)로 반송한다. 화상 배치부(48)는 선택된 합성용 화상이 서로 오버랩되지 않고 피사체 얼굴과 오버랩되지 않도록 합성용 화상 기억부(52)로부터 제공된 얼굴 위치 정보, 화상 선택 정보 및 합성용 화상에 의거하여 선택된 합성용 화상의 배치를 랜덤하게 결정한다. 화상 배치부(48)는 화상 배치 정보로서 합성용 화상의 결정된 배치를 화상 합성부(50)로 반송한다.
화상 합성부(50)는 CCD로부터 제공된 촬영 화상, 화상 배치부(48)로부터 제공된 화상 배치 정보 및 합성용 화상 기억부(52)로부터 제공된 합성용 화상에 의거하여 촬영 화상과 합성용 화상을 합성함으로써 합성 화상을 생성시킨다. 합성 화상이 표시부(30)에 표시되도록 화상 합성부(50)는 합성 화상을 표시부(30)로 출력한 다.
본 발명의 실시형태에 의한 화상 처리 순서는 도면을 참조하여 이하에 설명될 것이다. 도 3은 본 발명의 제 1 실시형태에 의한 화상 처리 순서를 도시하는 플로우챠트이다.
우선, 얼굴 위치가 획득된 촬영 화상으로부터 검출된다. 도 4A 및 도 4B의 각각은 얼굴 위치의 검출이 수행되는 상태를 도시한다. 도 4A는 얼굴 위치가 촬영 화상의 중앙부인 상태를 도시한다. 도 4B는 얼굴 위치가 촬영 화상의 주변부인 상태를 도시한다. 또한, 도 4A 및 도 4B 각각에서 얼굴 위치는 파선으로 둘러싸인 영역에서 도시된다. 얼굴 위치 검출 후, 얼굴 위치가 중앙부에 있는지의 여부가 판정된다.
도 5A 및 도 5B 각각은 얼굴 위치가 되는 상태를 도시한다. 도 5A는 얼굴 위치가 촬영 화상의 중앙에 있는 상태를 도시한다. 도 5B는 얼굴 위치가 촬영 화상의 주변부에 있는 상태를 도시한다. 또한, 도 5A 및 도 5B 각각에서 얼굴 위치는 파선으로 둘러싸인 영역으로 도시된다.
얼굴 위치 판정의 특정 실시예와 같이, 촬영 화상의 주변 단부로부터 소정의 넓이 W를 갖는 주변부 판정 영역은 도 5A 및 도 5B에서 각각 도시된 바와 같이 설정되어 주변부 판정 영역과 오버랩되지 않는 얼굴 위치가 중앙부에서 분석될 수 있는 반면에, 주변부 판정 영역과 오버랩되는 얼굴 위치는 주변부에서 분석될 수 있다.
그 후, 0개 이상의 적절한 화상이 분석된 얼굴 위치에 의거하여 미리 설정된 합성용 화상으로부터 랜덤하게 선택된다. 도 6A는 합성용 화상의 일예를 도시하는 도이다. 도 6B는 각 선택된 합성용 화상의 반복수를 도시하는 도이다. '0개 이상'은 합성용 화상이 선택되지 않은 경우 즉, 화상 합성이 수행되지 않은 경우를 의미한다. 도 6A에 도시된 바와 같이, 합성용 화상이 중앙부의 화상 그룹 또는 주변부의 화상 그룹에서 분리되는 상태가 준비된다. 0개 이상의 적절한 화상이 얼굴 위치 판정에 의거하여 랜덤하게 선택된다. 미리 촬영된 화상 또는 미리 외부로부터 취득된 화상이 합성용 화상으로 사용될 수 있다. 합성용 화상의 선택에서, 1개의 합성용 화상이 도 6B에 도시된 바와 같이 반복적으로 선택될 수 있으며, 합성용 화상이 선택되지 않을 수도 있다. 또한, 사용자는선택된 합성용 화상의 최대 허용수를 미리 설정하여 합성용 화상이 최대 허용수를 초과하지 않도록 한다.
합성용 화상의 선택 후, 적절한 합성 영역이 얼굴 위치 판정에 의거하여 설정된다. 도 7A 및 도 7B 각각은 합성 영역이 촬영 화상에 설정되는 상태를 도시한다. 도 7A는 얼굴 위치가 촬영 화상의 중앙부에 있을 때 합성 영역이 설정되는 상태를 도시한다. 도 7B는 얼굴 위치가 촬영 화상의 주변부에 있을 때 합성 영역이 설정되는 상태를 도시한다. 도 7A 및 도 7B에 도시된 바와 같이, 본 실시형태에서, 합성 영역의 위치 및 형태는 얼굴 위치에 따라 설정된다. 합성 영역의 형태가 임의적이지만, 본 실시형태에서는 피사체(얼굴 위치)와 오버랩되지 않는 영역이 합성 영역으로 설정된다.
이어서, 합성용 화상은 설정된 합성 영역에서 랜덤하게 하나씩 차례로 배치된다. 도 8A 및 도 8B 각각은 합성용 화상이 합성 영역에 배치되는 상태를 도시한 다. 도 8A는 얼굴 위치가 촬영 화상의 중앙부에 위치될 때 합성용 화상이 합성 영역에 배치되는 상태를 도시한다. 도 8B는 얼굴 위치가 촬영 화상의 주변부에 위치될 때 합성용 화상이 합성 영역에 배치되는 상태를 도시한다. 각 합성용 화상의 위치, 사이즈 및 방향은 랜덤하게 결정되지만, 합성용 화상이 합성 영역에 배치되어 서로 오버랩되지 않도록 합성용 화상의 배치가 선택된다.
도 9는 각 합성용 화상을 위한 사이즈 및 경사가 설정되는 상태를 도시한다. 도 10A 및 도 10B 각각은 합성용 화상이 촬영 화상과 합성되는 상태를 도시한다. 도 10A는 얼굴 위치가 촬영 화상의 중앙부에 위치될 때 합성용 화상이 촬영 화상과 합성되는 상태를 도시한다. 도 10B는 얼굴 위치가 촬영 화상의 주변부에 위치될 때 합성용 화상이 촬영 화상과 합성되는 상태를 도시한다. 도 9에 도시된 바와 같이, 각 합성용 화상의 사이즈가 사이즈 범위로부터 랜덤하게 선택될 수 있도록 '최소 사이즈'에서 '최대 사이즈'까지의 사이즈 범위는 각 합성용 화상을 위해 정의된다. 이러한 방법에 의하면, 각 합성용 화상이 촬영 화상과 합성된 후 각 합성용 화상의 사이즈가 보기에 너무 작거나 부자연스럽게 너무 크게 되는 것을 방지할 수 있다. 각 합성용 화상의 방향에 관해서는 촬영 화상에 대한 각 합성용 화상의 경사 범위(예컨대, -30°에서 +30°까지)가 상술한 바와 같이 정의되어 촬영 화상의 씬에 대하여 부자연스러운 방향으로 각 합성용 화상이 배치되는 것을 방지할 수 있도록 한다.
소정의 합성용 화상이 모두 배치되고 촬영 화상과 배치된 모든 합성용 화상이 합성됨에 따라 합성 화상이 생성될 때 본 발명에 의한 처리가 종료된다. 상술한 화상 처리의 실행은 피사체의 배치에 의해 적절한 합성용 화상이 적절한 배치에서 촬영 화상과 합성될 수 있도록 한다.
도 11은 본 실시형태에 의한 처리를 실행하지 않고 생성된 합성 화상을 도시하는 도이다. 본 실시형태는 도 11에 도시된 바와 같이 촬영 화상에 대하여 합성용 화상이 완전히 랜덤하게 배치되는 경우에 합성용 화상이 피사체와 오버랩되는 것을 방지할 수 있다. 이는 촬영 화상과 합성된 합성용 화상이 피사체(얼굴)의 배치를 판단함으로써 획득된 피사체 배치 정보에 의거하여 랜덤하게 선택되어 서로 간에 및 피사체와 오버랩되지 않도록 피사체의 배치에 의해 랜덤하게 배치되기 때문이다. 본 실시형태에 의해서, 피사체 배치 정보가 합성용 화상의 선택 및 합성용 화상의 합성 위치를 결정하는데 이용되어 합성용 화상이 완전한 랜덤이 아닌 피사체의 배치에 의거하여 일정한 제한에 의해 선택되고 배치되도록 한다. 따라서, 합성용 화상의 배치가 피사체의 배치에 의거하여 결정되기 때문에, 합성용 화상이 피사체와 오버랩되는 것을 방지할 수 있다. 따라서, 촬영 화상의 씬에 적절하도록 합성 후의 화상이 표시될 수 있다.
또한, 도 10B에 도시된 바와 같이 얼굴 위치가 촬영 화상의 프레임으로부터 밀려나오면, 사용자의 관심을 끌 수 있도록 얼굴 위치가 중앙부(도 10A 참조)에 있는 경우와 다르게 표시된다.
도 12는 본 실시형태에 의한 처리에 의해 생성된 합성 화상의 다른 예를 도시하는 도이다. 선택된 합성용 화상의 배치, 수, 및 타입이 랜덤이기 때문에, 불변하는 씬이 촬영될 때마다 합성 후의 화상이 변화된다. 예를 들면, 얼굴 위치가 중 앙부에 있는 도 10A에서와 같은 동일한 씬이 정확히 동일한 조건에서 재촬영되는 경우일지라도, 도 10A에 도시된 합성 화상과 상이한 합성용 화상의 배치를 갖는 합성 화상이 도 12에 도시된 바와 같이 획득될 수 있다. 이러한 방법에서, 개별적인 화상이 촬영될 때 마다에 합성 후의 화상이 변화되어 사용자는 의외성이 있는 촬영을 즐길 수 있다.
또한, 본 실시형태는 단지 예시를 위한 것이며, 적절하게 수정될 수 있다. 예를 들면, 동일한 처리가 얼굴 이외의 다른 피사체를 대상으로 적용될 수 있다. 본 실시형태가 피사체의 배치에서 얼굴의 위치만이 합성용 화상의 선택 및 합성 영역의 정의 기준으로 이용되는 경우를 설명하였을 지라도 얼굴의 사이즈 및 방향이 합성용 화상의 선택 및 합성 영역을 정의하는데 기준으로 이용될 수 있다. 본 실시형태가 합성용 화상이 합성 영역에 배치되기 전에 합성 영역이 정의되는 경우를 설명하였을지라도, 합성용 화상의 배치가 적절하지 않은 경우 합성용 화상이 재배치되도록 합성 영역을 정의하지 않고 합성용 화상이 배치된 후, 합성용 화상의 배치의 적절성이 판정되는 경우에도 동일한 효과가 획득될 수 있다. 따라서, 본 실시형태에서 합성 영역의 정의 과정이 필수적인 처리는 아니다.
본 발명의 제 2 실시형태는 도면을 참조하여 이하에 상세히 설명될 것이다.
도 13은 본 실시형태에 의한 처리 순서를 도시하는 플로우챠트이다. 본 실시형태에서, 1개의 피사체의 배치뿐만 아니라 피사체 간의 관계를 고려해서 처리가 행해진다.
우선, 얼굴의 위치 및 얼굴의 수가 촬영 화상으로부터 검출된다. 도 14A 및 도 14B 각각은 2개의 얼굴이 촬영 화상에 있는 상태를 도시한다. 도 14A는 얼굴들이 서로 가까운 상태를 도시한다. 도 14B는 얼굴들이 서로 멀리 떨어져 있는 상태를 도시한다. 그 후, 얼굴의 수가 2개인지의 여부를 판정한다. 얼굴 수가 2개가 아닌 경우, 처리가 종료된다. 얼굴의 수가 2개인 경우, 얼굴들의 거리가 임계값(TH)보다 작은지의 여부를 더 판정한다. 예를 들면, 임계값(TH)은 2개의 얼굴 사이즈에 의거하여 결정되는 값이다. 예를 들면, 2개 얼굴의 넓이의 평균도 임계값(TH)으로 정의될 수 있다.
그 후, 얼굴들의 거리를 판정한 결과에 의거하여 미리 설정된 합성용 화상으로부터 0개 이상의 적절한 화상이 랜덤하게 선택된다. 도 15는 합성용 화상의 일예를 도시하는 도이다. 도 15에 도시된 바와 같이, 얼굴들의 가까운 거리를 위한 합성용 화상 및 얼굴들의 먼 거리를 위한 합성용 화상이 개별적으로 미리 준비된다. 0개 이상의 화상이 얼굴 거리 판정에 의해 적절한 화상으로부터 랜덤하게 선택된다. 또한, 본 실시형태에서는 상술한 실시형태에서와 마찬가지로 1개의 합성용 화상이 반복적으로 선택될 수 있거나 합성용 화상이 선택되지 않을 수도 있다. 또한, 각 합성용 화상의 최대 재생수가 미리 설정되어 각 화상의 재생수가 최대 수를 초과하지 않으면서 각 합성용 화상이 반복적으로 선택될 수 있다.
그 후, 적절한 합성 영역이 얼굴 위치 판정에 의거하여 설정된다. 도 16A 및 도 16B 각각은 합성 영역이 촬영 화상에 설정되는 상태를 도시한다. 도 16A는 얼굴들이 서로 가까울 때 합성 영역이 설정되는 상태를 도시한다. 도 16B는 얼굴들이 서로 멀 때 합성 영역이 설정되는 상태를 도시한다. 또한, 합성 영역의 형태가 임 의적이지만, 본 실시형태에서 피사체(얼굴 영역)와 오버랩되지 않는 영역이 합성 영역으로 설정된다.
또한, 합성용 화상은 합성 영역에서 차례로 하나씩 랜덤하게 배치된다. 도 17A 및 도 17B 각각은 각 합성용 화상이 합성 영역에 배치되는 상태를 도시한다. 도 17A는 얼굴들이 서로 가까울 때 합성용 화상이 합성 영역에 배치되는 상태를 도시한다. 도 17B는 얼굴들이 서로 멀 때 합성용 화상이 합성 영역에 배치되는 상태를 도시한다. 합성용 화상의 위치, 사이즈 및 방향이 임의적이지만 합성용 화상이 합성 영역에 들어가서 서로 오버랩되지 않도록 합성용 화상의 배치가 선택된다. 도 9에 도시된 바와 같이, "최소 사이즈"로부터 "최대 사이즈"까지의 사이즈 범위는 각 합성용 화상을 위해 정의된다. 합성용 화상이 너무 작아서 보이지 않거나 부자연스럽게 너무 커지는 것을 방지할 수 있도록 각 합성용 화상의 사이즈가 사이즈 범위로부터 랜덤하게 선택된다. 각 합성용 화상의 방향에 관해서도, 촬영 화상에 의해 각 합성용 화상의 경사 범위가 상술한 바와 같이 동일하게 정의됨으로써 방향성을 갖는 각 합성용 화상이 부자연스러운 방향으로 배치되는 것을 방지할 수 있다. 촬영 화상이 배치된 합성용 화상 모두와 합성되어 합성 화상이 생성될 때, 본 실시형태에 의한 처리가 종료되도록 한다.
도 18A 및 도 18B 각각은 본 실시형태에 의한 처리에 의해 생성된 합성 화상의 일예를 도시하는 도이다. 도 18A는 얼굴들이 서로 가까울 때 합성용 화상이 촬영 화상과 합성되는 상태를 도시한다. 도 18B는 얼굴들이 서로 멀리 있을 때 합성용 화상이 촬영 화상과 합성되는 상태를 도시한다.
본 실시형태에서, 촬영 화상은 피사체 간의 배치 관계에 따라 적절하게 배치된 각각의 적절한 합성용 화상과 합성된다. 따라서, 촬영 화상이 (i) 얼굴들이 서로 가까운 경우(도 18A 참조) 및 (ii) 얼굴들이 서로 먼 경우(도 18B 참조)에 개별적으로 제공되는 각각의 소정의 합성용 화상과 합성되기 때문에, 시각적 효과가 상이하게 표시될 수 있다. 또한, 각 선택된 합성용 화상이 배치, 수, 및 형태가 랜덤하기 때문에, 불변의 씬이 촬영될 때에도 합성 후의 화상이 변화된다. 예를 들면, 얼굴들이 서로 먼 도 18B에서와 같이 합성 후의 화상이 동일한 조건에서 재촬영될지라도 도 19에 도시된 바와 같은 합성 화상이 획득될 수 있다. 이러한 방법으로 개별적인 화상 촬영을 위해 상이한 합성 화상이 생성됨으로써 사용자는 의외성 있는 촬영을 즐길 수 있다.
또한, 본 실시형태에서 순서는 단지 예시를 위한 것이며, 예를 들면 동일한 처리가 얼굴 이외의 다른 피사체에 적용될 수 있다. 본 실시형태에서 피사체의 배치에서 얼굴들의 위치 관계만이 합성용 화상 선택 및 합성 영역 정의의 기준으로 사용되는 경우를 설명했을지라도, 얼굴들의 사이즈 및 방향 관계가 합성용 화상의 선택 및 합성 영역 정의의 기준으로 이용될 수 있다. 본 실시형태가 합성용 화상이 합성 영역에 배치되기 전에 합성 영역이 정의되는 경우를 설명하였을지라도 합성용 화상의 배치가 적절하지 않은 경우 합성용 화상이 재배치되도록 합성 영역을 정의하지 않고 합성용 화상을 배치한 후, 합성용 화상의 배치의 적절성에 대하여 판정되는 경우에도 동일한 효과가 획득될 수 있다. 따라서, 본 실시형태에서 합성 영역의 정의 과정이 필수적인 처리는 아니다.
본 발명의 제 3 실시형태는 도면을 참조하여 이하에 상세히 설명될 것이다. 도 20은 본 실시형태에 의한 처리 순서를 도시하는 플로우챠트이다. 연속 촬영 화상에 적용되는 합성 처리의 실시예가 본 실시형태에서 설명될 것이다.
도 20에 도시된 바와 같이, 얼굴 위치 검출 스텝, 연산 동작에 의한 얼굴 위치 판정 스텝, 피사체의 배치에 의해 합성용 화상을 랜덤하게 선택하는 스텝 및 합성용 화상이 서로 오버랩되지 않고 또한 피사체와 오버랩되지 않도록 선택된 합성용 화상의 배치가 랜덤하게 결정되는 스텝이 제 1 실시형태와 동일하다.
본 실시형태에서, 합성용 화상은 이전 프레임의 피사체의 배치를 참조하여 연속 촬영 화상과 합성된다. 피사체의 배치가 변하지 않는 경우, 이전 프레임에서 사용된 것과 동일한 합성용 화상이 배치되고 합성되어 이전 프레임의 피사체와 이전 프레임에서 사용된 합성용 화상들의 위치 관계와 같은 동일한 위치 관계가 획득된다.
도 21A 및 도 21B는 연속 촬영 화상을 설명하는 도이다. 도 21A는 이전 프레임의 촬영 화상을 도시한다. 도 21B는 도 21A에 도시된 촬영 화상을 추종하는 현재 프레임의 촬영 화상을 도시한다. 이전 프레임이 제 (t-1) 프레임으로 언급되는 반면에, 처리되는 현재 프레임은 제 t 프레임으로 언급된다. 도 20에 도시된 바와 같이, 얼굴 위치가 촬영 화상의 중앙부에 있는지 주변부에 있는지에 대하여 판단하기 위해 얼굴 위치가 판별된 후, 제 (t-1) 프레임의 얼굴 위치가 언급된다. 제 (t-1) 프레임의 얼굴 위치가 제 t 프레임의 얼굴 위치와 일치하는 경우, '처리 A'가 수행된다. 제 (t-1) 프레임의 얼굴 위치가 제 t 프레임의 얼굴 위치와 일치하지 않는 경우, 제 1 실시형태서와 동일한 처리가 수행된다. 또한, 제 1 프레임 이전에는 프레임이 없기 때문에, 연속 촬영 화상의 제 1 프레임의 얼굴 위치는 항상 이전 프레임의 얼굴 위치와 동일하지 않은 것으로 판정된다.
처리 A에서, 제 (t-1) 프레임의 합성용 화상을 생성하기 위해 사용된 것과 동일한 합성용 화상이 배치되어 제 (t-1) 프레임의 얼굴 및 제 (t-1) 프레임의 합성용 화상들의 위치 관계와 동등한 위치 관계가 획득되도록 한다. 특히, 제 t 프레임의 각 합성용 화상의 좌표(xt, yt)는 제 (t-1) 프레임의 얼굴 위치(fxt, fyt), 합성 위치(xt -1, yt -1) 및 얼굴 위치(fxt -1, fyt -1)를 이용하는 이하의 수식(1)에 의해 산출된다.
xt = fxt + (xt -1 - fxt -1)
yt = fyt + (yt -1 - fyt -1) (1)
도 21A 및 도 21B에 도시된 바와 같이, 제 t 프레임에서 얼굴과 합성용 화상의 위치 관계는 제 (t-1) 프레임에서의 얼굴과 합성용 화상의 위치 관계와 동일하다. 또한, 얼굴 위치와 합성용 화상의 위치는 얼굴 및 합성용 화상의 각 영역의 좌측상점의 좌표에 의해 표현된다. 위치 관계가 일정하게 유지되기 때문에, 피사체가 프레임 사이를 이동할지라도 합성용 화상은 피사체를 추종하여 이동한다.
합성용 화상이 생성된 후, 얼굴 위치 및 각 합성용 화상의 위치가 기억부 등에 기록된다. 이는 얼굴 위치 및 각 합성용 화상의 위치가 다음 프레임의 처리에 필요하기 때문이다.
또한, 본 실시형태는 단지 예시를 위한 것이며 적절하게 수정될 수 있다. 예를 들면, 동일한 처리가 얼굴 이외의 다른 피사체에 적용될 수 있는 것으로 생각될 수 있다. 본 실시형태가 피사체의 배치로서의 얼굴과 각 합성용 화상의 위치 관계만이 일정하게 유지되도록 처리가 수행되는 경우를 설명하였지만, 각 합성용 화상의 사이즈 및 방향이 상술한 방법과 동일한 방법으로 처리되는 것이 바람직하다. 또한, 복수개의 피사체가 있을 때, 현재 프레임에서의 관계가 이전 프레임에서의 관계와 동일한지의 여부를 해석한 결과에 의거하여 상술한 바와 같은 동일한 처리에서 피사체 간의 관계가 판정된다.
본 실시형태가 다음 프레임 처리에서 참조되도록 피사체의 절대 위치와 각 합성용 화상의 절대 위치가 기록되는 경우를 설명하였지만, 피사체의 배치 및 피사체에 대한 각 합성용 화상의 위치 해석 결과가 이용되는 경우에도 상술한 동일한 효과가 획득될 수 있다.
본 발명의 제 4 실시형태는 도면을 참조하여 이하에 상세히 설명될 것이다.
도 22는 본 실시형태에 의한 처리 순서를 도시한 플로우챠트이다. 본 실시형태는 합성용 화상이 연속 촬영 화상과 합성될 때 1개의 프레임 화상에 적용되는 경우를 예시하는 방법으로 설명할 것이다. 또한, 얼굴 위치 검출 스텝, 얼굴 위치의 배치를 연산 동작에 의해 판단하는 스텝, 피사체의 배치에 의해 합성용 화상을 랜덤하게 선택하는 스텝 및 합성용 화상이 서로 오버랩되지 않고, 피사체와 오버랩되지 않도록 선택된 합성용 화상의 배치가 결정되는 스텝이 제 1 실시형태와 동일하다.
본 실시형태에서는, 합성용 화상이 연속 촬영 화상과 합성될 때, 소정 시간이 경과될 때까지 또는 특정수의 프레임이 처리될 때까지 이전 프레임에서의 피사체와 각 합성용 화상의 위치 관계와 동일한 위치 관계가 획득되도록 이전 프레임에서 사용된 동일한 화상이 배치된다.
도 22에 도시된 바와 같이, 처리된 프레임 수를 나타내는 카운터의 값(I)이 상수(α)보다 작은 경우 '처리 A'는 제 3 실시형태와 동일한 방법으로 수행된다. 처리된 프레임 수를 나타내는 카운터의 값(I)이 상수(α)보다 작지 않은 경우, 처리된 프레임 수를 나타내는 카운터의 값(I)은 0으로 초기화되고, 제 1 실시형태에서 설명된 처리가 수행된다. 예를 들면, 상수(α)가 30으로 설정되면, 제 1 실시형태에서 설명된 합성 처리가 30 프레임 간격으로 수행되어 합성 후 화상이 변화된다. 반면에, '처리 A'가 30보다 작은 I에서 프레임에 적용되어 합성용 화상이 피사체를 추종하여 이동하도록 한다. 본 실시형태에서, 합성 처리가 수행된 후, 처리된 프레임 수를 나타내는 카운터의 값(I)이 갱신되어(도 22의 I = I + 1) 다음 프레임 처리를 위해 준비된다.
제 1 실시형태에서 설명된 합성 처리가 연속 촬영 화상(스루 화상 또는 동영상)의 각 프레임에서 실행되는 경우, 합성 결과가 프레임에 따라 광범위하게 변화되어 합성 후의 화상의 깜박임으로 인해 보기 어렵기 때문에 실용성이 결여된다. 따라서, 본 실시형태에 의해서, 합성 화상이 갱신될 때까지 각 합성용 화상이 피사체를 추종하도록 합성 화상이 일정한 간격으로 갱신되기 때문에 합성 후의 화상이 안정된다. 또한, 피사체의 배치가 변하거나 촬영 화상이 재시작될 때마다, 합성 화 상에 의해 상이한 합성 결과가 랜덤하게 획득됨에 따라 사용자는 의외성이 있는 촬영 화상을 즐길 수 있다.
도 1은 본 발명의 실시형태에 의한 화상 처리 장치 및 촬상 장치의 구성의 일예를 도시하는 블럭도이다.
도 2는 촬상 화상과 합성용 화상을 합성하는 제어를 도시하는 블럭도이다.
도 3은 본 발명의 제 1 실시형태에 의한 처리 순서를 도시하는 플로우챠트이다.
도 4A 및 도 4B는 얼굴 위치 검출이 수행되는 상태를 각각 도시하는 도이다.
도 5A 및 도 5B는 얼굴 위치 판정이 수행되는 상태를 각각 도시하는 도이다.
도 6A 및 도 6B는 합성용 화상의 일예를 각각 도시하는 도이다.
도 7A 및 도 7B는 합성 영역이 촬영 화상에 설정되는 상태를 각각 도시하는 도이다.
도 8A 및 도 8B는 합성용 화상이 합성 영역에 배치되는 상태를 도시하는 도이다.
도 9는 각 합성용 화상의 사이즈 및 경사가 설정되는 상태를 도시하는 도이다.
도 10A 및 도 10B는 제 1 실시형태에 의한 처리에 의해 생성된 합성 화상의 일예를 도시하는 도이다.
도 11은 제 1 실시형태에 의한 처리를 실행하지 않고 생성된 합성 화상을 도시하는 도이다.
도 12는 제 1 실시형태에 의한 처리에 의해 생성된 합성 화상의 다른 예를 도시하는 도이다.
도 13은 본 발명의 제 2 실시형태에 의한 처리 순서를 도시하는 플로우챠트이다.
도 14A 및 도 14B는 피사체 간의 위치 관계에 대한 판단이 수행되는 상태를 각각 도시하는 도이다.
도 15는 합성용 화상의 일예를 도시하는 도이다.
도 16A 및 도 16B은 합성 영역이 촬영 화상에 설정되는 상태를 각각 도시하는 도이다.
도 17A 및 도 17B는 각 합성용 화상이 합성 영역에 배치되는 상태를 각각 도시하는 도이다.
도 18A 및 도 18B는 제 2 실시형태에 의한 처리에 의해 생성된 합성 화상의 일예를 각각 도시하는 도이다.
도 19는 제 2 실시형태에 의한 처리에 의해 생성된 합성 화상의 다른 예를 도시하는 도이다.
도 20은 본 발명의 제 3 실시형태에 의한 처리 순서를 도시하는 플로우챠트이다.
도 21A 및 도 21B는 연속된 프레임에서 각 합성용 화상이 피사체를 추종하는 상태를 설명하는 도이다.
도 22는 본 발명의 제 4 실시형태에 의한 처리 순서를 도시하는 플로우챠트이다.

Claims (17)

  1. 촬영 화상 중의 1개 이상의 피사체를 검출하는 피사체 검출 유닛;
    상기 촬영 화상 중의 1개 이상의 피사체의 배치를 연산 동작에 의해 판단하는 피사체 위치 해석 유닛;
    상기 1개 이상의 피사체의 배치에 의해 1개 이상의 합성용 화상을 랜덤하게 선택하는 화상 선택 유닛;
    상기 선택된 1개 이상의 합성용 화상의 배치를 1개 이상의 합성용 화상이 서로 오버랩되지 않고 검출된 1개 이상의 피사체와 오버랩되지 않도록 랜덤하게 결정하는 화상 배치 유닛; 및
    상기 촬영 화상을 1개 이상의 합성용 화상과 합성함으로써 합성 화상을 생성하는 화상 합성 유닛을 포함하는 것을 특징으로 하는 화상 처리 장치.
  2. 제 1 항에 있어서,
    상기 화상 배치 유닛은 배치되는 1개 이상의 합성용 화상 각각에 대하여 미리 설정된 화상 사이즈 범위로부터 랜덤하게 사이즈를 선택하는 것을 특징으로 하는 화상 처리 장치.
  3. 제 1 항에 있어서,
    상기 화상 배치 유닛은 배치되는 1개 이상의 합성용 화상 각각에 대하여 미 리 설정된 화상 경사 범위로부터 랜덤하게 경사를 선택하는 것을 특징으로 하는 화상 처리 장치.
  4. 제 1 항에 있어서,
    검출된 피사체의 수가 2개 이상인 경우, 상기 화상 배치 유닛은 상기 검출된 피사체 간의 배치 관계에 의거하여 1개 이상의 합성용 화상을 선택하는 것을 특징으로 하는 화상 처리 장치.
  5. 제 4 항에 있어서,
    상기 화상 선택 유닛은 상기 피사체 간의 각 거리에 의거하여 1개 이상의 합성용 화상을 선택하는 것을 특징으로 하는 화상 처리 장치.
  6. 제 1 항에 있어서,
    상기 화상 합성 유닛이 각각의 연속 촬영 화상으로부터 합성 화상을 생성할 때, 현재 촬영 화상의 1개 이상의 피사체 배치가 이전 촬영 화상의 1개 이상의 피사체 배치와 동일한 경우, 상기 현재 촬영 화상의 1개 이상의 피사체의 위치 관계가 상기 이전 촬영 화상의 1개 이상의 피사체와 이전 촬영 화상과 합성된 1개 이상의 합성용 화상의 위치 관계와 동일하도록 상기 이전 촬영 화상과 합성된 1개 이상의 합성용 화상과 동일한 1개 이상의 합성용 화상이 배치되는 것을 특징으로 하는 화상 처리 장치.
  7. 제 1 항에 있어서,
    상기 화상 합성 유닛이 각각의 연속 촬영 화상으로부터 합성 화상을 생성할 때, 상기 연속 촬영 화상의 임의의 화상이 촬영된 이후 소정 시간이 경과될 때까지 또는 촬영 화상의 소정 수가 처리될 때까지 현재 촬영 화상의 1개 이상의 피사체의 위치 관계가 이전 촬영 화상의 1개 이상의 피사체와 상기 이전 촬영 화상과 합성된 1개 이상의 합성용 화상의 위치 관계와 동일하도록 상기 이전 촬영 화상과 합성된 1개 이상의 합성용 화상과 동일한 1개 이상의 합성용 화상이 배치되는 것을 특징으로 하는 화상 처리 장치.
  8. 제 1 항에 있어서,
    각 피사체는 사람 얼굴인 것을 특징으로 하는 화상 처리 장치.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 화상 처리 장치를 포함하는 것을 특징으로 하는 촬상 장치.
  10. 촬영 화상 중의 1개 이상의 피사체를 검출하는 스텝;
    상기 촬영 화상 중의 1개 이상의 피사체의 배치를 연산 동작에 의해 판단하는 스텝;
    상기 1개 이상의 피사체의 배치에 따라 1개 이상의 합성용 화상을 랜덤하게 선택하는 스텝;
    상기 선택된 1개 이상의 합성용 화상의 배치를 1개 이상의 합성용 화상이 서로 오버랩되지 않고 검출된 1개 이상의 피사체와 오버랩되지 않도록 랜덤하게 결정하는 스텝; 및
    상기 촬영 화상을 1개 이상의 합성용 화상과 합성함으로써 합성 화상을 생성하는 스텝을 포함하는 것을 특징으로 하는 화상 처리 방법.
  11. 제 10 항에 있어서,
    배치되는 1개 이상의 합성용 화상 각각에 대하여 미리 설정된 화상 사이즈로부터 랜덤하게 사이즈를 선택하는 스텝을 더 포함하는 것을 특징으로 하는 화상 처리 방법.
  12. 제 10 항에 있어서,
    배치되는 1개 이상의 합성용 화상 각각에 대하여 미리 설정된 화상 경사 범위로부터 랜덤하게 경사를 선택하는 스텝을 더 포함하는 것을 특징으로 하는 화상 처리 방법.
  13. 제 10 항에 있어서,
    검출된 피사체의 수가 2개 이상인 경우, 상기 검출된 피사체 간의 배치 관계에 의거하여 상기 1개 이상의 합성용 화상이 선택되는 것을 특징으로 하는 화상 처 리 방법.
  14. 제 13 항에 있어서,
    상기 피사체 간의 각 거리에 의거하여 상기 1개 이상의 합성용 화상이 선택되는 것을 특징으로 하는 화상 처리 방법.
  15. 제 10 항에 있어서,
    상기 합성 화상이 각각의 연속 촬영 화상으로부터 생성될 때, 현재 촬영 화상의 1개 이상의 피사체 배치가 이전 촬영 화상의 1개 이상의 피사체 배치와 동일한 경우, 상기 현재 촬영 화상의 1개 이상의 피사체의 위치 관계가 상기 이전 촬영 화상의 1개 이상의 피사체와 상기 이전 촬영 화상과 합성된 1개 이상의 합성용 화상의 위치 관계와 동일하도록 상기 이전 촬영 화상과 합성된 1개 이상의 합성용 화상과 동일한 1개 이상의 합성용 화상이 배치되는 것을 특징으로 하는 화상 처리 방법.
  16. 제 10 항에 있어서,
    상기 합성 화상이 각각의 연속 촬영 화상으로부터 생성될 때, 상기 연속 촬영 화상의 임의의 화상이 촬영된 이후 소정 시간이 경과될 때까지 또는 촬영 화상의 소정 수가 처리될 때까지 현재 촬영 화상의 1개 이상의 피사체의 위치 관계가 이전 촬영 화상의 1개 이상의 피사체와 이전 촬영 화상과 합성된 1개 이상의 합성 용 화상의 위치 관계와 동일하도록 상기 이전 촬영 화상과 합성된 1개 이상의 합성용 화상과 동일한 1개 이상의 합성용 화상이 배치되는 것을 특징으로 하는 화상 처리 방법.
  17. 제 10 내지 제 16 항 중 어느 한 항에 있어서,
    각 피사체는 사람 얼굴인 것을 특징으로 하는 화상 처리 방법.
KR1020090011772A 2008-02-14 2009-02-13 화상 처리 장치, 화상 처리 방법 및 촬상 장치 Abandoned KR20090088325A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008033368A JP4970302B2 (ja) 2008-02-14 2008-02-14 画像処理装置，画像処理方法及び撮像装置
JPJP-P-2008-033368 2008-02-14

Publications (1)

Publication Number Publication Date
KR20090088325A true KR20090088325A (ko) 2009-08-19

Family

ID=40955197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090011772A Abandoned KR20090088325A (ko) 2008-02-14 2009-02-13 화상 처리 장치, 화상 처리 방법 및 촬상 장치

Country Status (4)

Country Link
US (2) US8249389B2 (ko)
JP (1) JP4970302B2 (ko)
KR (1) KR20090088325A (ko)
CN (1) CN101510958B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687914B2 (en) 2010-10-13 2014-04-01 Ability Enterprise Co., Ltd. Method of producing an image

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101646669B1 (ko) * 2009-06-24 2016-08-08 삼성전자주식회사 사용자 패턴을 이용한 구도 데이터베이스 업데이트 방법 및 장치, 및 디지털 촬영 장치
JP5574763B2 (ja) * 2010-03-08 2014-08-20 キヤノン株式会社 画像処理装置、及び画像処理方法
JP5447134B2 (ja) * 2010-04-19 2014-03-19 カシオ計算機株式会社 画像処理装置、返信画像生成システム、及び、プログラム
US20130091187A1 (en) * 2010-04-22 2013-04-11 Adc Technology Inc. Storage device
JP5827466B2 (ja) * 2010-11-08 2015-12-02 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
JP5750961B2 (ja) * 2011-03-22 2015-07-22 辰巳電子工業株式会社 遊戯用撮影装置、遊戯用撮影方法、およびプログラム
JP5932278B2 (ja) * 2011-10-04 2016-06-08 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム
JP5055462B2 (ja) * 2012-04-03 2012-10-24 富士フイルム株式会社 画像処理装置，画像処理方法及び撮像装置
US20130335594A1 (en) * 2012-06-18 2013-12-19 Microsoft Corporation Enhancing captured data
WO2015064144A1 (ja) 2013-10-30 2015-05-07 オリンパスイメージング株式会社 撮像装置、撮像方法およびプログラム
JP5664755B1 (ja) * 2013-12-20 2015-02-04 フリュー株式会社 写真シール作成装置および方法、並びにプログラム
JP6620572B2 (ja) * 2016-01-28 2019-12-18 辰巳電子工業株式会社 遊戯用撮影装置および画像処理方法
JP6978660B2 (ja) * 2016-12-28 2021-12-08 辰巳電子工業株式会社 写真撮影遊戯装置、画像表示方法、及び画像表示プログラム
US10218901B2 (en) * 2017-04-05 2019-02-26 International Business Machines Corporation Picture composition adjustment
CN111669515B (zh) * 2020-05-30 2021-08-20 华为技术有限公司 一种视频生成方法及相关装置
JP2022185536A (ja) * 2021-06-02 2022-12-14 株式会社スクウェア・エニックス プログラム、コンピュータ装置、及び制御方法。
CN114895831A (zh) * 2022-04-28 2022-08-12 北京达佳互联信息技术有限公司 虚拟资源的展示方法、装置、电子设备及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3203976B2 (ja) * 1994-09-05 2001-09-04 日産自動車株式会社 車両用駆動力制御装置
JP2985879B1 (ja) * 1998-06-30 1999-12-06 オムロン株式会社 人物画像処理装置
WO2000046701A1 (en) * 1999-02-08 2000-08-10 Huntsman Ici Chemicals Llc Method for retrieving semantically distant analogies
JP2002204422A (ja) * 2000-12-28 2002-07-19 Canon Inc 画像記録装置、画像記録方法および記録媒体
US20020099631A1 (en) * 2001-01-17 2002-07-25 David Vanker Method and system for transferring information between multiple buyers and multiple sellers
JP2003078818A (ja) 2001-09-03 2003-03-14 Nippon Hoso Kyokai <Nhk> テロップ装置
JP3918632B2 (ja) * 2002-05-28 2007-05-23 カシオ計算機株式会社 画像配信サーバ、画像配信プログラム、及び画像配信方法
EP2357795A3 (en) * 2002-05-28 2013-05-15 Casio Computer Co., Ltd. Composite image output apparatus and composite image delivery apparatus
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
JP2004153345A (ja) 2002-10-28 2004-05-27 Ricoh Co Ltd 撮像装置、撮像方法及び同方法のプログラムを記録した記録媒体
EP1434170A3 (en) * 2002-11-07 2006-04-05 Matsushita Electric Industrial Co., Ltd. Method and apparatus for adding ornaments to an image of a person
JP4351023B2 (ja) * 2002-11-07 2009-10-28 パナソニック株式会社 画像処理方法及びその装置
JP2004179845A (ja) * 2002-11-26 2004-06-24 Matsushita Electric Ind Co Ltd 画像処理方法及びその装置
JP3986444B2 (ja) 2003-02-14 2007-10-03 富士フイルム株式会社 カメラシステム
JP2005157762A (ja) 2003-11-26 2005-06-16 Canon Inc 情報機器、その制御方法及びプログラム
JP4148114B2 (ja) * 2003-11-28 2008-09-10 セイコーエプソン株式会社 画像処理装置および処理方法
US7903048B2 (en) * 2004-06-18 2011-03-08 Pioneer Corporation Information display apparatus and navigation apparatus
JP2006081224A (ja) * 2005-12-02 2006-03-23 Casio Comput Co Ltd 電子スチルカメラ及び画像加工方法
US8068693B2 (en) * 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
JP2009118084A (ja) * 2007-11-05 2009-05-28 Olympus Imaging Corp デジタルカメラ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687914B2 (en) 2010-10-13 2014-04-01 Ability Enterprise Co., Ltd. Method of producing an image

Also Published As

Publication number Publication date
JP4970302B2 (ja) 2012-07-04
CN101510958B (zh) 2013-05-29
CN101510958A (zh) 2009-08-19
US8488909B2 (en) 2013-07-16
US8249389B2 (en) 2012-08-21
US20120281118A1 (en) 2012-11-08
JP2009194644A (ja) 2009-08-27
US20090208135A1 (en) 2009-08-20

Similar Documents

Publication Publication Date Title
KR20090088325A (ko) 화상 처리 장치, 화상 처리 방법 및 촬상 장치
JP5867424B2 (ja) 画像処理装置、画像処理方法、プログラム
JP4818987B2 (ja) 撮像装置、表示方法、及びプログラム
US8073207B2 (en) Method for displaying face detection frame, method for displaying character information, and image-taking device
US8103134B2 (en) Method and a handheld device for capturing motion
JP5999336B2 (ja) 撮像装置及び撮像処理方法並びにプログラム
US9712750B2 (en) Display control device and associated methodology of identifying a subject in an image
EP2373002A1 (en) Image capture device
JP2010041586A (ja) 撮像装置
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP2009017223A (ja) 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
US20100188520A1 (en) Imaging device and storage medium storing program
JP2009124340A (ja) 撮像装置、撮影支援方法、及び撮影支援プログラム
US8988559B2 (en) Electronic device
JP2009171428A (ja) デジタルカメラ装置および電子ズームの制御方法およびプログラム
JP2006128793A (ja) 撮像装置、及びその制御方法
JP5055462B2 (ja) 画像処理装置，画像処理方法及び撮像装置
JP2009098850A (ja) 演算装置及びそのプログラム
KR101348585B1 (ko) 파노라마 사진 촬영 방법
KR100817953B1 (ko) 촬상 영상 객체 대응 화면 출력 광고장치 및 그 방법
JP2004128588A (ja) 撮像装置
JP2020145660A (ja) 情報処理装置およびその制御方法ならびにプログラム
KR101392382B1 (ko) 휴대용 단말기에서 카메라의 파노라마 기능 구현 방법 및장치
JP5585168B2 (ja) 差分画像生成装置、プログラム及び差分画像生成方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20090213

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20140212

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20090213

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150303

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150925

PC1904 Unpaid initial registration fee