[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR19990031401A - 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법 - Google Patents

비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법 Download PDF

Info

Publication number
KR19990031401A
KR19990031401A KR1019970052105A KR19970052105A KR19990031401A KR 19990031401 A KR19990031401 A KR 19990031401A KR 1019970052105 A KR1019970052105 A KR 1019970052105A KR 19970052105 A KR19970052105 A KR 19970052105A KR 19990031401 A KR19990031401 A KR 19990031401A
Authority
KR
South Korea
Prior art keywords
bit plane
bit
motion
image
motion detection
Prior art date
Application number
KR1019970052105A
Other languages
English (en)
Other versions
KR100252080B1 (ko
Inventor
고성제
이건희
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019970052105A priority Critical patent/KR100252080B1/ko
Priority to MYPI98004370A priority patent/MY127865A/en
Priority to CNB981207731A priority patent/CN1152556C/zh
Priority to JP10277907A priority patent/JP3011267B2/ja
Priority to GB9821616A priority patent/GB2330269B/en
Priority to US09/170,074 priority patent/US6535244B1/en
Publication of KR19990031401A publication Critical patent/KR19990031401A/ko
Application granted granted Critical
Publication of KR100252080B1 publication Critical patent/KR100252080B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상 안정화장치 및 그에 따른 영상 안정화방법에 관한 것으로서, 그 장치는 디지털화된 영상정보를 저장하는 필드메모리; 비트 플레인 정합방식을 이용하여, 입력영상의 움직임에 의해 발생된 상기 영상정보의 필드간 이동량에 따른 움직임 벡터를 출력하는 움직임 검출회로; 및 상기 움직임 검출회로에서 출력된 움직임벡터를 이용하여 상기 필드메모리에 저장된 영상정보를 상기 움직임벡터의 반대방향으로 이동하여 상기 영상정보를 보정하는 움직임 보정회로를 포함한다.
따라서, 상술한 바와 같이 본 발명에 의하면, 메모리의 용량을 줄일 수 있고, 간단한 논리 연산만을 수행하므로 고속화가 가능하며, 정확한 움직임 검출이 가능하다.

Description

비트 플레인 정합을 이용한 입력영상의 움직임보정을 통한 영상 안정화장치 및 그에 따른 영상 안정화방법.
본 발명은 영상 기록 및 재생장치에 있어서 입력되는 영상신호의 움직임을 보정하여 영상을 안정화시키는 영상 안정화시스템에 관한 것으로서, 더욱 상세하게는 비트 플레인 정합(bit plane matching)을 이용한 입력영상의 움직임 보정을 통한 영상 안정화장치 및 그에 따른 영상 안정화방법에 관한 것이다.
영상 기록 및 재생장치에 기록된 영상정보가 움직임이 발생한 경우, 재생시 영상움직임을 보정함으로써, 영상 안정화를 실현할 수 있다. 일반적으로 영상정보의 움직임은 촬영기기를 통해 피사체를 촬영한 때 발생되는 경우가 많다.
보통 영상 촬영기기를 사용자의 손으로 지지한 채, 일정시간 동안 촬영하는 경우, 사용자의 손떨림 없이 안정된 영상을 촬영하기란 쉽지 않다. 특히 크기와 무게를 대폭적으로 줄여 한손으로 지지하면서 영상을 촬영할 수 있는 영상 촬영기기들은 양손으로 영상 촬영기기를 지지하는 경우보다 휠씬 불안정하기 때문에 촬영기영상의 흔들임이 더욱 심하게 발생할 수 있다. 왜냐하면, 영상 촬영기기의 줌렌즈가 고배율화되어가는 추세이기 때문에 영상 촬영기기가 미세한 움직임이 발생하더라도 촬영된 영상의 화면에는 큰 흔들림이 발생하기 때문이다.
따라서, 이러한 문제점을 해결하기 위한 방법으로서, 사용자의 손떨림에 의해 촬영된 불안정한 영상을 자동으로 보정하여 영상을 안정화시키는 영상 안정화시스템의 개발이 요구된다. 상기 요구에 따라 개발된 영상 안정화시스템은 영상 검출방식에 따라 사용자의 손떨림에 의해 발생된 영상정보의 움직임을 검출한다.
영상 검출방식에 의한 안정화시스템에서 가장 중요한 부분은 손떨림에 의한 영상 촬영기기의 움직임을 검출하는 국부 움직임벡터(Local motion vector)검출부이다. 왜냐하면 이 움직임벡터 검출부에서 생성된 움직임 벡터는 전체 필드의 움직임을 결정하는 필드 움직임 벡터(Field motion vector)검출부와 특수상황을 검출하는 누적 움직임 벡터(Accumulated motion vector)검출부에서 사용되기 때문이다.
영상 검출방식에 따라 영상 촬영기기의 움직임을 검출하는 방식으로서, 대표점에 의한 움직임 검출방식, BERP(Band ectract representative point)에 의한 움직임 검출방식 및 엣지 패턴 정합(Edge pattern matching)에 의한 움직임 검출방법이 있다.
대표점에 의한 움직임 검출방법은 영상 촬영기기 움직임의 검출영역을 정하고, 몇 개의 대표점만을 이용하여 움직임을 추정한다. 그러나 이 방법은 하드웨어로 간단히 구현될 수 있는 장점이 있지만 움직이는 물체가 존재하는 경우, 정확도가 떨어지는 단점이 있다. 그리고, BERP에 의한 움직임 검출방법은 상기 대표점에 의한 움직임 검출방법보다 정확도를 높이기 위해 대역필터를 거친 영상의 특징점을 추출하여 영상 촬영기기의 움직임을 검출한다. 그러나, 대역필터를 거친 영상신호를 그대로 이용하였을 경우 메모리의 용량이 커지는 문제점이 있다. 또한 엣지 패턴 정합방식에 의한 움직임 검출방법은 상기 문제점들을 해결할 것으로, 영상을 엣지 패턴 신호를 변환하여 메모리 용량을 줄이면서 간단한 하드웨어를 구현한다. 그러나 이 방식은 대표점만을 이용하여 움직임을 검출하는 방식보다 메모리의 용량을 줄일 수는 있지만, 조도나 낮아서 엣지신호를 정확히 검출하기 어려울 경우, 움직임 검출의 정확도가 떨어지는 문제점이 있다. 따라서 움직임 검출의 정확도를 유지하면서도 메모리의 용량을 줄일 수 있는 움직임 검출방법이 요구된다.
본 발명은 상기의 요구에 부응하기 위해 창출된 것으로서, 입력되는 영상정보를 비트 플레인으로 분할하고, 분할된 각 비트 플레인 중에서 조도에 따라 최적의 비트 플레인을 선정하고, 이전 필드에서 선정된 비트 플레인과 현재 필드에서 선정된 비트 플레인을 소정개의 움직임 검출영역센서 간단한 2진 연산을 수행하여 상관도를 검출하고, 검출된 상관도가 가장 큰 움직임 검색영역의 좌표값을 움직임량으로 판단하고, 상기 움직임량에 대한 움직임 벡터를 산출함으로써, 메모리의 용량을 줄이면서도 조도변화에 따라 정확한 움직임 검출이 가능한 비트 플레인 정합을 이용한 영상의 움직임 보정에 의한 영상 안정화장치를 제공하는 것을 제 1 목적으로 하고, 그에 따른 영상 안정화방법을 제공하는 것을 제 2 목적으로 한다.
도 1은 본 발명에 따른 비트 플레인 정합방식을 이용한 입력영상의 움직임 보정에 의한 영상 안정화장치의 구성 블록도이다.
도 2는 도 1에 도시된 움직임 검출회로의 상세 블록도이다.
도 3은 본 발명에 따른 디지털 영상정보의 비트 플레인 추출방법의 일례로서, 256 그레이 레벨 영상이 비트 플레인으로 추출된 도면이다.
도 4는 본 발명에 따른 최적 비트 플레인의 구체적인 선정방법의 흐름도이다.
도 5는 본 발명에 따른 비트 플레인에서의 움직임 검출영역을 도시한 도면이다.
도 6은 도 5에 도시된 비트 플레인에서 움직임 검출영역의 이진화소를 나타낸 도면이다.
도 7은 본 발명에 따른 두 필드간 비트 플레인 정합방법을 도시한 도면이다.
도 8은 본 발명에 따른 상관도에 따른 움직임벡터 산출함수의 특성도이다.
상기의 제 1 목적을 달성하기 위한 본 발명에 따른 영상 기록 및 재생장치의 영상 안정화장치는 입력되는 디지털 영상정보를 저장하는 필드메모리; 비트 플레인 정합방식을 이용하여, 입력된 영상정보의 필드간 이동량에 따른 움직임 벡터를 출력하는 움직임 검출회로; 및 상기 움직임 검출회로에서 출력된 움직임벡터를 이용하여 상기 필드메모리에 저장된 영상정보를 상기 움직임벡터의 반대방향으로 이동하여 상기 영상정보를 보정하는 움직임 보정회로를 포함하는 것을 특징으로 한다.
상기 움직임 검출회로는 입력된 디지털 영상정보에서 비트 플레인을 추출하는 비트 플레인 추출부; 상기 비트 플레인 추출부에서 추출된 영상정보의 비트 플레인 중에서 움직임검출에 적합한 최적의 비트 플레인을 검출하는 최적 비트 플레인 검출부; 상기 비트 플레인 추출부에서 출력된 최적의 비트 플레인만을 저장하는 비트 플레인 메모리; 상기 비트 플레인 메모리에 저장된 이전 필드의 비트 플레인과 현재 필드의 비트 플레인의 움직임 검출영역에서 각 화소값을 비교/연산하여 상기 비트 플레인들 간의 상관값을 계산하고, 계산된 상관값을 누적하는 비트 플레인 상관값 검출부; 및 상기 비트 플레인 상관값 검출부에서 출력된 상관값이 최소인 움직임 검출영역의 좌표값의 이동량을 움직임벡터로 산출하는 움직임벡터 산출부를 포함하는 것을 특징으로 한다.
상기 최적 비트 플레인 검출부는 조도변환에 따라, 추출된 영상정보의 비트 플레인들 중에서 움직임 검출에 가장 적합한 비트 플레인을 선정할 수 있도록 비트전환비율을 이용하여 최적 비트 플레인의 인덱스를 발생하고, 상기 최적의 비트 플레인의 움직임 검출영역을 소정개로 정함을 특징으로 한다.
상기 비트 플레인 추출부는 상기 최적 비트 플레인 검출부에서 생성된 인덱스에 해당하는 비트 플레인만을 추출하여 움직임 검출을 위한 비트 플레인을 출력함을 특징으로 한다.
상기 상관값 검출부는 소정의 검색영역내에서 이전필드와 현재필드의 비트 플레인의 이진화소값을 비교/연산하고, 그 결과를 누적하여 해당 검색영역과의 상관값을 검출함을 특징으로 한다.
상기 움직임벡터 산출부는 상기 상관값 검출부에서 출력된 소정개의 움직임 검출영역의 누적 상관값 중에서 최소가 되는 움직임 검출영역의 필드간 이동량을 취득하고, 상기 취득된 이동량으로부터 움직임 벡터를 산출함을 특징으로 한다.
상기의 제 2 목적을 달성하기 위한 본 발명에 따른 영상 기록 및 재생장치에 있어, 영상 안정화 방법은 비트 플레인 정합방식을 이용하여 입력영상의 움직임 벡터를 검출하는 과정; 및 상기 검출된 움지임 벡터의 반대방향으로 입력영상을 이동하여 영상 촬영기기의 움직임을 보정하는 과정을 포함하는 것을 특징으로 한다.
상기 움직임 벡터 검출과정은 디지털 영상정보를 비트 플레인으로 추출하는 단계; 상기 추출된 비트 플레인 중에서 최적 비트 플레인을 선정하는 단계; 상기 선정된 최적의 비트 플레인을 저장하는 단계; 상기 저장된 이전필드의 비트 플레인과 현재필드의 비트 플레인의 화소값을 비교/연산하고, 상기 연산값을 누적하여 상관값을 취득하는 단계; 및 상기 취득된 상관값이 최소가 되는 움직임 검출영역의 필드간 이동량을 영상간의 움직임벡터로 결정하는 단계를 포함하는 것을 특징으로 한다.
상기 최적 비트 플레인을 선정하는 단계는 최적의 비트 플레인 인덱스(m)와 평균 비트전환비율(cavg)을 초기화시키는 단계; 소정의 선정된 비트 플레인의 비트전환비율(cm)을 계산하는 단계; 상기 계산된 비트전환비율과 초기에 설정된 평균 비트추출비용과의 차에 대한 절대값이 임계값(T)보다 작거나 같은지를 판단하는 단계; 및 상기 판단결과, 상기 절대값이 임계값보다 작거가 같으면, 현재 비트 플레인을 계속 유지하고, 그 렇지 않으면 비트 플레인을 변경하는 비트 플레인 유지/변경단계를 포함하는 것을 특징으로 한다.
상기 비트 플레인 유지/변경단계에서 현재 비트 플레인을 계속 유지하는 경우, 평균 비트전환비율은에 의해 재설정함을 특징으로 한다.
상기 비트 플레인 유지/변경단계에서 상기 비트 플레인을 변경하는 경우, 상기 비트전환비율(cm)이 상기 평균 비트전환비율(cavg)보다 큰지를 판단하는 단계; 및 상기 판단결과, 비트전환비율(cm)이 평균 비트전환비율(cavg)보다 크면, 1비트 높은 비트 플레인을 선택하고, 그렇지 않으면 1비트 낮은 비트 플레인을 선택하는 단계를 포함하는 것을 특징으로 한다.
상기 선택된 최적의 비트 플레인은 소정개의 움직임 검출영역을 정함을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명한다.
도 1은 본 발명에 따른 비트 플레인 정합방식을 이용한 영상 기록 및 재생장치의 영상 안정화장치의 구성 블록도이다.
도 1에 도시된 영상 안정화장치는 움직임 검출회로(101), 필드메모리(102) 및 움직임보정회로(103)로 이루어진다.
필드메모리(102)는 디지털로 변환된 영상정보를 저장한다.
움직임 검출회로(101)는 비트 플레인 정합방식을 이용하여 입력되는 영상정보의 필드간 이동량에 따른 움직임벡터를 검출한다.
움직임 보정회로(103)는 상기 움직임 검출회로(101)에서 출력된 움직임벡터를 입력하여 상기 필드메모리(102)에 저장된 이전필드의 영상정보를 상기 움직임벡터의 반대방향으로 이동하여 상기 영상정보를 보정한다.
이어서, 도 1에 도시된 장치의 간단한 동작을 살펴보면 다음과 같다.
영상 기록 및 재생장치 특히, 영상 촬영기기의 고체촬상소자로부터 출력된 영상정보, 또는 영상 기록 및 재생장치에 출력된 영상정보는 A/D 변환기를 거쳐, 디지털 영상정보로 변환된다. 디지털로 변환된 영상정보는 필드메모리(102)에 저장되고, 동시에 움직임 검출회로(101)에 입력된다. 움직임 검출회로(101)에 입력된 디지털 영상정보는 비트 플레인 정합방법을 이용하여 입력되는 영상정보의 필드간의 이동량이 검출되고, 검출된 이동량에 따른 움직임 벡터가 출력된다. 상기 필드메모리(102)에 저장된 영상정보는 움직임 보정회로(103)에 입력된 움직임 벡터의 정반대방향으로 이동하여, 움직임이 보정된 디지털 영상신호로 출력된다.
도 2는 도 1에 도시된 움직임 검출회로의 상세 블록도이다.
도 2에 도시된 움직임 검출회로(101)는 최적 비트 플레인 검출부(201), 비트 플레인 추출부(202), 비트 플레인 메모리(203), 비트 플레인 상관값 검출부(204) 및 움직임벡터 산출부(206)로 이루어지고, 상기 비트 플레인 상관값(204)는 비트 플레인 비교/연산부(204a)와 상관값 누적부(204b)를 포함한다.
비트 플레인 추출부(202)는 입력된 디지털 영상정보에서 비트 플레인을 추출한다.
최적 비트 플레인 검출부(201)는 디지털 영상정보의 비트 플레인 중에서 조도변화에 따른 움직임 검출에 적합한 최적의 비트 플레인을 검출한다.
비트 플레인 메모리(203)에는 비트 플레인 추출부(202)에서 추출된 비트 플레인 중에서 상기 최적 비트 플레인 검출부(201)에서 검출된 최적의 비트 플레인만이 저장된다.
비트 플레인 상관값 검출부(204)는 비트 플레인 메모리(203)에 저장된 이전필드의 비트 플레인과 현재 필드의 비트 플레인간의 화소값을 비교/연산하여, 상기 비트 플레인들 간의 상관값을 추출하고, 추출된 상관값을 누적한다. 즉, 비트 플레인 비교/연산부(204a)는 비트 플레인 메모리(203)에 저장된 이전 필드의 비트 플레인과 현재 필드의 비트 플레인을 비교/논리연산하여 산관값을 추출하고, 상관값 누적부(204b)는 비트 플레인 비교/연산부(204a)에서 출력된 상관값을 누적한다.
움직임벡터 산출부(206)는 상기 상관값 누적부(204b)에서 출력된 상관값이 최소인 움직임 검색영역, 즉 상관도가 최대인 움직인 검색영역의 이동량을 움직임 벡터로 산출한다.
이어서, 도 2를 참조하여 도 1에 도시된 본 발명에 따른 세부적인 동작을 살펴보면 다음과 같다.
도 2에 도시된 바와 같이, 2진 영상정보로 표현되는 비트 플레인은 입력되는 디지털 영상정보로부터 비트 플레인 추출부(202)을 이용하여 추출된다. 최적의 비트 플레인은 최적 비트 플레인 검출부(201)을 이용하여 상기 비트 플레인 추출부(202)에서 추출된 비트 플레인 중에서 움직임벡터 검출에 영향을 줄 수 있는 환경적인 조건 즉, 조도변화를 고려하여 검출한다. 일반적인 k-비트 그레이레벨(gray level)을 갖는 영상정보를 비트 플레인으로 추출하면 다음의 수학식 1과 같이 나타낼 수 있다.
[수학식 1]
여기서, 영상의 화소값은 k개의 계수(a)로 구성되고, 계수(a)는 이진값을 갖는다. 따라서 256 그레이레벨 영상을 비트 플레인으로 추출하면 도 3에 도시된 바와 같이 8개의 비트 플레인으로 추출될 수 있다. 도 3에 도시된 바와 같이, 원영상의 첫 번째 화소가 "203" 그레이 레벨값을 갖는다면, 각 비트 플레인의 첫 번째 화소위치에 화소값은 "11001011"과 같이 이진값으로 표현된다.
조도변환에 따른 비트 플레인 특성을 살펴보면, 일반적인 조도가 있어서, 영상의 형태를 알아볼 수 있는 정보가 상위 비트 플레인에 포함되며, 이러한 정보는 비트 플레인 정합에 의한 입력영상의 움직임을 검출하는데 있어서 중요한 정보가 된다. 반면 하위 비트 플레인으로 내려갈수록 이진값들이 랜덤하게 분포된다. 즉, 조도가 낮은 경우에는 영상의 형태를 알아 볼 수 있는 비트 플레인이 하위로 이동하고, 반대로 조도가 높은 경우에는 비트 플레인이 상위로 이동한다. 따라서 조도의 변화에 따라 시각적으로 중요한 비트 플레인의 이동이 발생하기 때문에 정확한 움직임 벡터를 검출하기 위해서는 이러한 비트 플레인을 적절하게 선정할 필요가 있다.
조도변환에 따라 최적의 비트 플레인을 선정하기 위해 다음의 수학식 2와 같이, 추출된 각 비트 플레인의 비트전환비율(cm)을 측정한다.
[수학식 2]
여기서, ""는 배타적 논리합(XOR)을 의미하며, M×N은 영상의 크기이다.
이진값이 랜덤하게 분포된 최하위 2개 비트 플레인(bp0, bp1)을 제외하고, 시각적으로 중요한 정보를 포함하고 있는 나머지 비트 플레인(bp2, bp7)에 대해서 조도변화에 따라 각 비트 플레인의 비트전환비율을 살펴보면, 각 비트 플레인의 비트전환비율은 하위 비트 플레인으로 내려갈수록 높아지고, 조도가 낮을수록 각 비트 플레인의 비트전환비율이 낮아지는 특성이 갖는다. 따라서 최적 비트 플레인을 선정하기 위하여 조도가 낮아지면 현재 선택된 비트 플레인에서 하위 비트 플레인이 선정되고, 반대로 조도가 높아지면 상위 비트 플레인이 선정되어야 올바른 영상 촬영기기의 움직임을 검출할 수 있다.
도 4는 본 발명에 따른 최적 비트 플레인 선정방법을 설명하기 위한 흐름도이다.
도 4에 도시된 도면을 참조하여 최적 비트 플레인 선정방법을 살펴보면 다음과 같다.
먼저, 최적 비트 플레인 인덱스(m)와 평균 비트전환비율(cavg)을 초기화시킨다. (s40단계) 즉, 최적 비트 플레인 검출부(201)에서는 최적의 비트 플레인을 선정하기 위해 비트전환비율을 이용하여 최적 비트 플레인의 인덱스를 발생한다.
선정된 비트 플레인의 비트전환비율(cm)을 계산한다.(s42단계)
상기 계산된 비트전환비율과 초기에 설정된 평균 비트변환비율과의 차에 대한 절대값이 임계값(T)보다 작거나 같은지를 판단한다.(s44단계)
s44단계의 판단결과, 상기 절대값이 임계값(T)보다 작거가 같으면 현재의 비트 플레인을 계속 유지하고(s46단계), 그렇지 않으면 비트 플레인을 변경한다(s48단계). 즉, 현재 비트 플레인을 계속 유지하는 경우 평균 비트전환비율을 재설정한다. 여기서, 평균 비트전환비율은 다음의 수학식 3에 의해 재설정된다.
[수학식 3]
한편, 비트 플레인을 변경하는 경우, 계산된 비트전환비율(cm)이 평균 비트전환비율(cavg)보다 큰지를 판단한 후(s48a 단계), 비트전환비율(cm)이 평균 비트전환비율(cavg)보다 크면, 1 비트 높은 비트 플레인을 선정하고(s48b 단계), 그렇지 않으면 1비트 낮은 비트 플레인을 선정하여(s48c 단계), 조도변화에 대한 최적의 비트 플레인을 선정한다.
선정된 최적의 비트 플레인은 비트 플레인에서의 움직임 검출영역을 도시한 도 5와 같이, 영상 비트 플레인의 소정영역의 움직임 검출영역으로 정하고, 연속적인 최적 비트 플레인간을 비교/연산하여, 연산결과를 누적하여 상관값을 취득하고, 상관값이 최소인 검출영역의 좌표로부터 움직임터를 검출한다. 본원에서는 일실시예로서 비트 플레인의 가장자리 부근에 4개의 움직임 벡터 검출영역을 정한다.
영상 촬영기기를 이용하여 영상을 촬영하는 경우, 일반적으로 움직이는 피사체를 화면의 중앙에 맞추고, 화면의 가장자리 부근에 배경영역이 될 가능성이 높다. 따라서 전체 영상의 움직임을 검출하는 것보다 움직임 벡터 검출영역을 설정하는 것이 연산량과 메모리 용량을 줄일 수 있다. 따라서 연속적인 영상간의 움직임을 측정하기 위하여 이전 영상 비트 플레인의 각 움직임 검출영역을 비트 플레인 메모리(203)에 저장한다.
도 6은 비트 플레인에서 움직임 벡터 검출영역의 이진화소값을 나타낸 도면으로서, 비트 플레인 메모리(203)에 저장된 이전 비트 플레인과 현재 비트 플레인간의 움직임 검출영역에 대해 비트 플레인 비교/연산부(204a)에서는 도 7에 도시된 바와 같이, 수평, 수직 방향으로 이동하면서 비교하고, 이전 비트 플레인과 현재 비트 플레인에서 화소위치의 이진값에 대해 다음의 수학식 4와 같이 배타적 논리곱 연산 XOR를 수행한 후, 상관값 누적부(204b)에서 그 결과를 누적하여 상관값을 취득한다.
[수학식 4]
여기서, a1 m(x, y)는 시각적으로 t에서 m번째 비트 플레인을 의미하며, 수평 수직방향의 이동량(i, j)에 대한 상관값은 P(i, j)이다.
도 8은 비트 플레인 정합에 의한 상관값의 특성도로서, 도 2에 도시된 움직임벡터 산출부(206)에서는 다음의 수학식 5에 의한 계산결과가 최소가 되는 위치를 영상간의 이동량으로 결정한다. 그리고 이러한 과정을 4개의 움직임 검출영역 n(0≤n≤3)에 대해서 각각 수행하고, 이 때 결정된 각각의 이동량을 각 검출영역의 움직임 벡터(Vn)로 결정한다.
[수학식 5]
(i, j)=arg min [P(i, j)]
Vn= (i, j)
본 발명은 비디오 카메라 뿐만 아니라, 디지털 비디오카세트 레코더(DVCR) 및 디지털 스틸 카메라(DSC) 등과 같은 모든 영상기록재생장치에 적용될 수 있음을 주지한다. 일예로서, DVCR의 경우, 비디오 카메라와 같은 촬영기기의 움직임에 의한 영상신호를 본 발명에 의한 영상안정화 장치 및 그 방법을 이용하여 안정화시킬 수 있다.
상술한 바와 같이 본 발명에 따른 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상 안정화장치 및 그에 따른 영상 안정화방법에 의하면, 입력 영상정보으로부터 비트 플레인을 추출한 이진 영상정보만을 메모리에 저장하기 때문에 메모리의 용량을 줄일 수 있고. 간단한 논리 연산만을 수행하므로 고속화가 가능하다. 특히 비트 플레인의 정합과정에서 배타적 논리연산(XOR)은 간단한 회로로 구현되기 때문에 전체 영상안정화 시스템의 구조도 매우 간단하게 구현되는 효과를 제공한다.

Claims (12)

  1. 영상 기록 및 재생장치의 영상 안정화장치에 있어서,
    입력되는 디지털 영상정보를 저장하는 필드메모리;
    비트 플레인 정합방식을 이용하여, 입력된 영상정보의 필드간 이동량에 따른 움직임 벡터를 출력하는 움직임 검출회로; 및
    상기 움직임 검출회로에서 출력된 움직임벡터를 이용하여 상기 필드메모리에 저장된 영상정보를 상기 움직임벡터의 반대방향으로 이동하여 상기 영상정보를 보정하는 움직임 보정회로를 포함하는 것을 특징으로 하는 영상 안정화장치.
  2. 제 1 항에 있어서, 상기 움직임 검출회로는
    입력된 디지털 영상정보에서 비트 플레인을 추출하는 비트 플레인 추출부;
    상기 비트 플레인 추출부에서 추출된 영상정보의 비트 플레인 중에서 움직임검출에 적합한 최적의 비트 플레인을 검출하는 최적 비트 플레인 검출부;
    상기 비트 플레인 추출부에서 출력된 최적의 비트 플레인만을 저장하는 비트 플레인 메모리;
    상기 비트 플레인 메모리에 저장된 이전 필드의 비트 플레인과 현재 필드의 비트 플레인의 움직임 검출영역에서 각 화소값을 비교/연산하여 상기 비트 플레인들 간의 상관값을 계산하고, 계산된 상관값을 누적하는 비트 플레인 상관값 검출부; 및
    상기 비트 플레인 상관값 검출부에서 출력된 상관값이 최소인 움직임 검출영역의 좌표값의 이동량을 움직임벡터로 산출하는 움직임벡터 산출부를 포함하는 것을 특징으로 하는 영상 안정화장치.
  3. 제 2 항에 있어서, 상기 최적 비트 플레인 검출부는 조도변환에 따라, 추출된 영상정보의 비트 플레인들 중에서 움직임 검출에 가장 적합한 비트 플레인을 선정할 수 있도록 비트전환비율을 이용하여 최적 비트 플레인의 인덱스를 발생하고, 상기 최적의 비트 플레인의 움직임 검출영역을 소정개로 정함을 특징으로 하는 영상 안정화장치.
  4. 제 2 항에 있어서, 상기 비트 플레인 추출부는 상기 최적 비트 플레인 검출부에서 생성된 인덱스에 해당하는 비트 플레인만을 추출하여 움직임 검출을 위한 비트 플레인을 출력함을 특징으로 하는 영상 안정화장치.
  5. 제 2 항에 있어서, 상기 상관값 검출부는 소정의 검색영역내에서 이전필드와 현재필드의 비트 플레인의 이진화소값을 비교/연산하고, 그 결과를 누적하여 해당 검색영역과의 상관값을 검출함을 특징으로 하는 영상 안정화장치.
  6. 제 2 항에 있어서, 상기 움직임벡터 산출부는 상기 상관값 검출부에서 출력된 소정개의 움직임 검출영역의 누적 상관값 중에서 최소가 되는 움직임 검출영역의 필드간 이동량을 취득하고, 상기 취득된 이동량으로부터 움직임 벡터를 산출함을 특징으로 하는 영상 안정화장치.
  7. 영상 기록 및 재생장치에 있어, 영상 안정화 방법에 있어서,
    비트 플레인 정합방식을 이용하여 입력영상의 움직임 벡터를 검출하는 과정; 및
    상기 검출된 움지임 벡터의 반대방향으로 입력영상을 이동하여 영상 촬영기기의 움직임을 보정하는 과정을 포함하는 것을 특징으로 하는 영상 안정화 방법.
  8. 제 7 항에 있어서, 상기 움직임 벡터 검출과정은
    디지털 영상정보를 비트 플레인으로 추출하는 단계;
    상기 추출된 비트 플레인 중에서 최적 비트 플레인을 선정하는 단계;
    상기 선정된 최적의 비트 플레인을 저장하는 단계;
    상기 저장된 이전필드의 비트 플레인과 현재필드의 비트 플레인의 화소값을 비교/연산하고, 상기 연산값을 누적하여 상관값을 취득하는 단계; 및
    상기 취득된 상관값이 최소가 되는 움직임 검출영역의 필드간 이동량을 영상간의 움직임벡터로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 안정화 방법.
  9. 제 8 항에 있어서, 상기 최적 비트 플레인을 선정하는 단계는
    최적의 비트 플레인 인덱스(m)와 평균 비트전환비율(cavg)을 초기화시키는 단계;
    소정의 선정된 비트 플레인의 비트전환비율(cm)을 계산하는 단계;
    상기 계산된 비트전환비율과 초기에 설정된 평균 비트추출비용과의 차에 대한 절대값이 임계값(T)보다 작거나 같은지를 판단하는 단계; 및
    상기 판단결과, 상기 절대값이 임계값보다 작거가 같으면, 현재 비트 플레인을 계속 유지하고, 그렇지 않으면 비트 플레인을 변경하는 비트 플레인 유지/변경단계를 포함하는 것을 특징으로 하는 영상 안정화 방법.
  10. 제 9 항에 있어서, 상기 비트 플레인 유지/변경단계에서 현재 비트 플레인을 계속 유지하는 경우, 평균 비트전환비율은에 의해 재설정함을 특징으로 하는 영상 안정화 방법.
  11. 제 9 항에 있어서, 상기 비트 플레인 유지/변경단계에서 상기 비트 플레인을 변경하는 경우, 상기 비트전환비율(cm)이 상기 평균 비트전환비율(cavg)보다 큰지를 판단하는 단계; 및
    상기 판단결과, 비트전환비율(cm)이 평균 비트전환비율(cavg)보다 크면, 1비트 높은 비트 플레인을 선택하고, 그렇지 않으면 1비트 낮은 비트 플레인을 선택하는 단계를 포함하는 것을 특징으로 하는 영상 안정화 방법.
  12. 제 9 항에 있어서, 상기 선택된 최적의 비트 플레인은 소정개의 움직임 검출영역을 정함을 특징으로 하는 영상 안정화 방법.
KR1019970052105A 1997-10-10 1997-10-10 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법 KR100252080B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1019970052105A KR100252080B1 (ko) 1997-10-10 1997-10-10 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법
MYPI98004370A MY127865A (en) 1997-10-10 1998-09-23 Image stabilizing apparatus using bit-plane matching and image stabilizing method using the same
CNB981207731A CN1152556C (zh) 1997-10-10 1998-09-29 利用位图匹配的图像稳定装置及图像稳定方法
JP10277907A JP3011267B2 (ja) 1997-10-10 1998-09-30 ビットプレーン整合を用いた映像安定化装置及びその方法
GB9821616A GB2330269B (en) 1997-10-10 1998-10-06 Image stabilizing apparatus using bit-plane matching and image stabilizing method using the same
US09/170,074 US6535244B1 (en) 1997-10-10 1998-10-13 Image stabilizing apparatus using bit-plane matching and image stabilizing method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970052105A KR100252080B1 (ko) 1997-10-10 1997-10-10 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법

Publications (2)

Publication Number Publication Date
KR19990031401A true KR19990031401A (ko) 1999-05-06
KR100252080B1 KR100252080B1 (ko) 2000-04-15

Family

ID=19522540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970052105A KR100252080B1 (ko) 1997-10-10 1997-10-10 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법

Country Status (6)

Country Link
US (1) US6535244B1 (ko)
JP (1) JP3011267B2 (ko)
KR (1) KR100252080B1 (ko)
CN (1) CN1152556C (ko)
GB (1) GB2330269B (ko)
MY (1) MY127865A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101429507B1 (ko) * 2009-03-13 2014-08-14 삼성테크윈 주식회사 감시 경계 로봇 시스템
KR20160146550A (ko) * 2015-06-12 2016-12-21 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 및 그 동작 방법 및 전자 기기

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
US7742073B1 (en) 2000-11-01 2010-06-22 Koninklijke Philips Electronics N.V. Method and apparatus for tracking an object of interest using a camera associated with a hand-held processing device
EP1578116B1 (en) * 2002-12-26 2009-12-02 Mitsubishi Denki Kabushiki Kaisha Image processor
US7212230B2 (en) * 2003-01-08 2007-05-01 Hewlett-Packard Development Company, L.P. Digital camera having a motion tracking subsystem responsive to input control for tracking motion of the digital camera
US8180173B2 (en) 2007-09-21 2012-05-15 DigitalOptics Corporation Europe Limited Flash artifact eye defect correction in blurred images using anisotropic blurring
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US8199222B2 (en) * 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US9160897B2 (en) 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US8989516B2 (en) * 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US8417055B2 (en) * 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US7636486B2 (en) 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US7639889B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
AU2004284829A1 (en) * 2003-12-15 2005-07-07 Matrixview Limited Compressing image data
JP4566591B2 (ja) * 2004-03-19 2010-10-20 キヤノン株式会社 画像変形推定方法および画像変形推定装置
CN1323368C (zh) * 2004-06-25 2007-06-27 东软飞利浦医疗设备系统有限责任公司 基于运动检测图像的递归降噪方法
US7705884B2 (en) 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
JP4418342B2 (ja) * 2004-10-13 2010-02-17 オリンパス株式会社 画像処理装置及び電子カメラ
US7639888B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
EP1915856A1 (en) * 2005-08-10 2008-04-30 Nxp B.V. Method and device for digital image stabilization
CN101248409B (zh) * 2005-08-22 2012-08-22 三星电子株式会社 具有集成图像传感器的便携式自主设备的位移与倾斜检测方法及其设备
US7809214B2 (en) 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
TWI296178B (en) * 2005-12-12 2008-04-21 Novatek Microelectronics Corp Image vibration-compensating apparatus and the method thereof
IES20070229A2 (en) * 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US8130845B2 (en) * 2006-11-02 2012-03-06 Seiko Epson Corporation Method and apparatus for estimating and compensating for jitter in digital video
US7773118B2 (en) * 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
US20080309770A1 (en) * 2007-06-18 2008-12-18 Fotonation Vision Limited Method and apparatus for simulating a camera panning effect
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
KR20090037675A (ko) * 2007-10-12 2009-04-16 삼성전자주식회사 영상신호처리장치 및 그의 영상신호처리방법
CN101753774B (zh) * 2008-12-16 2012-03-14 财团法人资讯工业策进会 数字影像稳定方法与系统
US8526500B2 (en) * 2009-08-11 2013-09-03 Seiko Epson Corporation System and method for global inter-frame motion detection in video sequences
WO2011065960A1 (en) * 2009-11-30 2011-06-03 Hewlett-Packard Development Company, L.P. Stabilizing a subject of interest in captured video
CN103841296B (zh) * 2013-12-24 2017-01-18 哈尔滨工业大学 一种具有大范围旋转及平移运动估计的实时电子稳像方法
AT519224B1 (de) * 2017-02-02 2018-05-15 Gruen Arbeitsschutz Gmbh Anschlageinheit für zu sichernde Person sowie Verfahren zur Bildung derselben

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4654876A (en) * 1984-12-19 1987-03-31 Itek Corporation Digital image motion correction method
GB2247378B (en) * 1987-09-02 1992-09-30 Canon Kk Automatic focusing device
US5012270A (en) * 1988-03-10 1991-04-30 Canon Kabushiki Kaisha Image shake detecting device
GB2220319B (en) * 1988-07-01 1992-11-04 Plessey Co Plc Improvements in or relating to image stabilisation
JP3052250B2 (ja) * 1990-01-05 2000-06-12 キヤノン株式会社 画像ぶれ補正装置
JPH05130484A (ja) * 1991-11-05 1993-05-25 Sanyo Electric Co Ltd 手ブレ補正機能付きビデオカメラの画角補正回路
US5614945A (en) * 1993-10-19 1997-03-25 Canon Kabushiki Kaisha Image processing system modifying image shake correction based on superimposed images
JP2902966B2 (ja) * 1994-12-16 1999-06-07 三洋電機株式会社 手振れ補正装置およびそれを用いたビデオカメラ
JPH08336165A (ja) * 1995-06-09 1996-12-17 Canon Inc 複眼撮像装置
KR0175372B1 (ko) * 1995-08-29 1999-03-20 김광호 캠코더의 움직임 벡터 검출장치 및 그 검출방법
KR100188116B1 (ko) * 1995-12-28 1999-06-01 김광호 손떨림 영상 안정화 회로
US6041078A (en) * 1997-03-25 2000-03-21 Level One Communications, Inc. Method for simplifying bit matched motion estimation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101429507B1 (ko) * 2009-03-13 2014-08-14 삼성테크윈 주식회사 감시 경계 로봇 시스템
KR20160146550A (ko) * 2015-06-12 2016-12-21 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 및 그 동작 방법 및 전자 기기

Also Published As

Publication number Publication date
JPH11177880A (ja) 1999-07-02
GB9821616D0 (en) 1998-11-25
US6535244B1 (en) 2003-03-18
CN1152556C (zh) 2004-06-02
CN1214595A (zh) 1999-04-21
MY127865A (en) 2006-12-29
KR100252080B1 (ko) 2000-04-15
GB2330269A (en) 1999-04-14
GB2330269B (en) 1999-12-22
JP3011267B2 (ja) 2000-02-21

Similar Documents

Publication Publication Date Title
KR100252080B1 (ko) 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법
US8509481B2 (en) Image processing apparatus, image processing method, imaging apparatus
CN1838737B (zh) 帧速率变换装置、摇摄/倾斜判断装置及视频装置
US8818055B2 (en) Image processing apparatus, and method, and image capturing apparatus with determination of priority of a detected subject and updating the priority
US5909242A (en) Video camera with electronic picture stabilizer
JP2902966B2 (ja) 手振れ補正装置およびそれを用いたビデオカメラ
EP0449283B1 (en) An image sensing apparatus having camera-shake detection function
JPH04250779A (ja) 動きベクトル検出回路
KR0163922B1 (ko) 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법
US6122319A (en) Motion compensating apparatus using gradient pattern matching and method thereof
JP3683358B2 (ja) カムコーダの動きベクトル検出装置および動きベクトル検出方法
KR101830077B1 (ko) 화상처리장치, 그 제어 방법 및 기억매체
US9215459B2 (en) Image processing apparatus, image capturing apparatus, and program
US7250966B1 (en) Method and device for determining a displacement of images in an image sequence
JP2003078808A (ja) 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
US12008773B2 (en) Object tracking apparatus and control method thereof using weight map based on motion vectors
KR970004927B1 (ko) 디지탈 영상 안정화 시스템의 적응형 움직임 벡터 결정 방법 및 장치
KR100228682B1 (ko) 손떨림 보정시 전체적인 움직임 검출장치 및방법
JPH07284016A (ja) ディジタル映像安定化システムの適応形動きベクトルの決定方法及び装置
JP5616745B2 (ja) 追尾装置および追尾方法
JP5761991B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2925890B2 (ja) 手振れ補正装置を有するビデオカメラ
JP2947037B2 (ja) ビデオカメラ
JPH07115583A (ja) 手振れ補正装置を有するビデオカメラ
JPH099135A (ja) 動きベクトル検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20071221

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee