[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20070027605A - 화상 압축 처리 장치, 화상 압축 처리 방법 및 화상 압축처리 프로그램 - Google Patents

화상 압축 처리 장치, 화상 압축 처리 방법 및 화상 압축처리 프로그램 Download PDF

Info

Publication number
KR20070027605A
KR20070027605A KR20067026942A KR20067026942A KR20070027605A KR 20070027605 A KR20070027605 A KR 20070027605A KR 20067026942 A KR20067026942 A KR 20067026942A KR 20067026942 A KR20067026942 A KR 20067026942A KR 20070027605 A KR20070027605 A KR 20070027605A
Authority
KR
South Korea
Prior art keywords
frequency component
image
image signal
high frequency
compression
Prior art date
Application number
KR20067026942A
Other languages
English (en)
Inventor
미유끼 오까다
이사오 가와니시
미끼꼬 하마
다께시 하라노
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20070027605A publication Critical patent/KR20070027605A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/917Television signal processing therefor for bandwidth reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

고주파 적분 회로(32)에 의해, 처리 대상인 화상 신호에 의해 형성되는 화상의 수평 방향의 고주파 성분의 특성과, 수직 방향의 고주파 성분의 특성을 검출하고, 이 검출 결과에 기초하여, CPU(61)에서, 압축 부호화 후의 상기 화상 신호의 비트수를 구하고, 이 비트수에 따른 압축률을 산출한다. 이 산출한 압축률을 이용하여, 단 1회의 압축 부호화 처리로 처리 대상인 화상 신호를 압축 부호화하도록, 화상 코덱(36)를 제어한다. 이에 의해, 고정밀도로, 또한 보다 신속하게 화상의 압축 처리(압축 부호화 처리)를 행할 수 있도록 한다.
타이밍 제너레이터, V 드라이버, 고주파 적분 회로, 화상 코덱, 미디어 제어 회로, LCD/모니터, 기록 미디어, 차분 신호 처리 회로

Description

화상 압축 처리 장치, 화상 압축 처리 방법 및 화상 압축 처리 프로그램{IMAGE COMPRESSION DEVICE, IMAGE COMPRESSION METHOD, AND IMAGE COMPRESSION PROGRAM}
본 발명은, 예를 들면, 디지털 스틸 카메라나 디지털 비디오 카메라, 카메라가 부착된 휴대 전화 단말기 등의 여러 가지의 기기에서, 정지 화상 데이터나 동화상 데이터를 처리하는 경우에 이용되는 화상 압축 처리 장치, 화상 압축 처리 방법 및 화상 압축 처리 프로그램에 관한 것이다.
주로 동화상을 촬상하는 디지털 비디오 카메라나 주로 정지 화상을 촬상하는 디지털 스틸 카메라가 널리 이용되고 있다. 이들 중에는, 동화상과 정지 화상의 양쪽의 촬상이 가능한 것도 제공되어 있다. 또한, 디지털 카메라 기능을 구비한 소위 카메라가 부착된 휴대 전화 단말기나 카메라가 부착된 휴대 전자 수첩 등도 널리 이용되게 되고 있다.
이들 디지털 카메라나 카메라가 부착된 휴대 전화 단말기 등의 촬상 기능을 구비한 기기에서는, 촬상하여 얻은 동화상 데이터나 정지 화상 데이터는 데이터량이 많아, 기록 용량이 유한한 기록 미디어(기억 매체)에 그대로 기록해서는, 곧 기록 미디어의 기록 용량이 가득차게 된다.
이 때문에, 촬상하여 화상 데이터를 기억 매체에 기록하는 경우에는 여러 가지의 방식으로 데이터 압축 처리하여 데이터량을 줄이도록 하고 나서, 기억 매체에 기록하도록 하고 있다. 예를 들면, 기록 대상인 화상 데이터가 동화상 데이터인 경우에는, MPEG(Moving Picture Experts Group) 방식 등의 데이터 압축 방식이 이용되고, 기록 대상인 화상 데이터가 정지 화상 데이터인 경우에는, JPEG(Joint Photographic Experts Group) 방식 등의 데이터 압축 방식이 이용되고 있다.
여기서, 종래의 화상 압축 장치의 일례에 대하여 설명한다. 도 9는, 정지 화상 데이터를 예를 들면 JPEG 방식으로 데이터 압축하는 종래의 화상 압축 처리 장치의 일례를 도시하는 것이다. 이 도 9에 도시하는 종래의 화상 압축 처리 장치에서, 이것에 공급되는 압축 처리 대상인 화상 데이터는, DCT(Discrete Cosine Transform)부(101)에 공급되고, 여기서 이산 코사인 변환이 실시되어, 화상 데이터가 시간축 성분으로부터 주파수 축 성분으로 변환된다. 주파수 축 성분으로 변환된 화상 데이터는, 양자화부(102)에 공급된다.
양자화부(102)에서는, 고정 길이용 양자화 테이블 작성부(107)로부터 얻어지는 양자화 테이블의 정보에 기초하여, DCT부(101)로부터의 화상 데이터의 압축률을 조정하고, 조정 후의 화상 데이터를 가변 길이 부호화부(103)에 공급한다. 가변 길이 부호화부(103)에서는, 호프만 부호 등의 가변 길이 부호에 의해 양자화부(102)로부터의 화상 데이터를 가변 길이 부호화하고, 압축 화상 데이터로서 출력함과 함께, 이것을 바이트수 계산부(104)에 공급한다.
바이트수 계산부(104)에서는, 가변 길이 부호화부(103)로부터의 부호화된 화 상 데이터에 기초하여, 압축 화상 데이터의 1화면분의 바이트수를 산출하고, 산출 결과를 양자화 스케일 계산부(105)에 공급한다. 양자화 스케일 계산부(105)에서는, 바이트수 계산부(105)로부터의 그 바이트수가, 미리 정해진 소정의 바이트수와 어느 정도 차가 있는지를 산출하고, 압축률의 조정량 즉 양자화 스케일을 산출한다. 양자화 스케일 계산부(105)에서의 계산 결과는, 고정 길이용 양자화 테이블 작성부(106)에 공급된다.
고정 길이용 양자화 테이블 작성부(106)에서는, 양자화 스케일 계산부(105)로부터의 계산 결과인 새롭게 산출된 양자화 스케일과, 양자화 테이블부(107)로부터 공급된 양자화 테이블(107)에 기초하여, 새로운 양자화 테이블을 생성하고, 이것을 양자화부(102)에 공급한다. 이상의 루프 처리를 수회 반복함으로써, 단계적으로 소정의 데이터 사이즈로까지 화상을 압축하도록 하고 있다.
그러나, 적절한 압축률을 얻기 위해서는, 전술한 바와 같이, 복수회의 압축 처리를 행하도록 하고 있으므로(압축 처리의 재시행을 반복하도록 하고 있으므로), 압축 처리에 걸리는 시간이 길어진다. 이 때문에, 도 9를 이용하여 설명한 바와 같은 화상 압축 처리 장치를 이용한 촬상 장치의 경우에는, 촬상하여 기록하는 화상 데이터의 압축 처리에 시간이 걸리기 때문에, 촬상 간격을 짧게 설정할 수 없다고 하는 문제가 있다. 또한, 압축 처리를 수회 반복할 때에는, 원화상의 전체 데이터를 보유해 둘 대용량의 메모리가 필요하게 된다.
한편, 단 1회의 압축 처리에 의해 소정의 데이터 사이즈로 억제하기 위해서는, 압축률을 약간 높게 설정할 필요가 있고, 필요 이상으로 압축률을 높이면 데이 터 사이즈는 소정의 사이즈 내에 들어가지만, 그 반면, 소위 블록 노이즈나 모스키토 노이즈의 요인으로 되어, 재생 화상의 질을 저하시키게 된다고 할 수 있다.
이러한 여러 문제점의 해결 방법으로서, 일본 특개 2003-199019호 공보에는, 기록 대상인 화상의 썸네일 화상에 기초하여, 기록 대상인 화상의 고주파 성분을 추출하고, 이것에 기초하여 1화면분의 화상 데이터량을 예측하고, 이 예측 결과에 기초하여, 적절한 압축률을 설정하고, 1회의 데이터 압축 처리에 의해, 신속하고 또한 적절하게 데이터 압축할 수 있게 하는 기술이 개시되어 있다.
<발명의 개시>
전술한 일본 특개 2003-199019호 공보에 기재된 기술은, 도 9를 이용하여 전술한 종래의 화상 압축 처리보다도 신속하게 화상 데이터의 압축 처리가 가능하고, 미리 구하는 압축률도 필요 이상으로 높게 되는 일도 없으므로, 화상의 열화도 방지할 수 있다.
그러나, 일본 특개 2003-199019호 공보에 기재된 기술의 경우, 압축 처리 대상인 화상의 특징을 파악하기 위해, 고주파 성분 적분 수단에서, 원화상에 대하여 각별히 사이즈가 작은 썸네일 화상(준비 화상)을 이용하여, 수평 방향 및 수직 방향의 고주파 성분을 추출하고 있기 때문에, 화상의 정보가 누락되어 있는 만큼, 부호량 예측에 오차를 포함하고 있는 경우가 있다고 생각된다.
또한, 일본 특개 2003-199019호 공보에 기재된 기술과 같이, 수평 방향의 고주파 성분만으로 화면 전체의 부호량을 예측하고자 하면, 예를 들면, 도 10에 도시하는 바와 같은 가로 줄무늬 패턴의 입력 화상 G를 처리하는 경우, 입력 화상 G에 서는 수직 방향의 고주파 성분이 큼에도 불구하고, 이것을 추출하는 것이 곤란하게 되어, 수평 방향의 대역에만 주목하여 부호량을 예측하게 되기 때문에, 압축 처리 후의 부호량을 실제보다 약간 낮게 예측하게 되는 경우가 있다고 생각된다.
이것을 회피하기 위해 수직 방향의 고주파 성분도 추출하고자 하면, 압축 처리 대상인 화상의 1라인분, 또는 수라인분의 데이터를 저장하기 위한 메모리(라인 메모리)를 이용하여 고주파 성분 추출 회로를 구성할 필요가 있어, 회로 규모가 증대하여, 코스트 업으로 이어질 가능성이 있다.
또한, 일본 특개 2003-199019호 공보에 기재된 기술의 경우, 우선, 목적으로 하는 피사체를 파악하고 있는지를 확인하기 위한 화상 모니터링 모드에서, 고주파 성분 적분 처리나 부호량 예측 처리를 행하는 것에 대해, 촬영 화상 자체는 데이터 기록 모드로 천이한 후에 받아들여진다. 이 때문에, 화상 모니터링 모드에서, 고주파 성분 적분 처리나 부호량 예측 처리의 대상으로 된 화상과, 기록하기 위해 받아들여진 화상이 일치하지 않고, 특히, 플래시를 사용한 촬영 시 등에는, 이 점이 부호량 예측 정밀도의 열화를 초래하고 있는 경우가 있다고 생각된다.
이 때문에, 종래부터, 화상을 압축하는 기능을 이용하는 화상 압축 처리 장치는, 이하의 (1)~(7)에 도시하는 바와 같은 문제점을 안고 있다. 즉, (1) 압축 대상인 화상의 부호량 예측을 복수회 피드백 처리함에 따른 압축 처리 시간 증대, (2) 압축 대상인 화상의 부호량 예측을 복수회 피드백 처리하기 위한 원화상 전체 데이터를 저장하는 메모리 규모 증대, (3) 압축 대상인 화상을 단 1회의 압축 처리로 압축할 때의, 부호량 예측 정밀도 부족에 의한 화질 열화 등의 문제가 있다.
또한, (4) 썸네일(준비 화상) 등, 원화상보다 각별히 사이즈가 작은 화상으로부터 고주파 성분을 추출하는 것으로부터 발생하는 부호량 예측 오차의 발생, (5) 수평 방향 또는 수직 방향의 고주파 성분 중 어느 한쪽만으로 부호량을 예측하는 경우, 수평 방향과 수직 방향의 주파수 대역이 언밸런스한 화상에 대한 예측 오차의 발생, (6) 수직 방향의 고주파 성분을 추출하기 위해, 1라인 또는 수라인분의 화상을 저장하는 메모리의 규모 증대, (7) 기록되는 압축 대상인 화상과, 부호량 예측에 이용하는 화상과의 불일치에 의한 부호량 예측 오차의 발생, 등의 문제점을 들 수 있다.
이상의 것을 감안하여, 본 발명은, 상기 문제점을 일소하고, 고정밀도로, 또한 보다 신속하게 화상의 압축 처리(압축 부호화 처리)를 행할 수 있도록 하며, 또한, 압축 처리 전의 화상 데이터의 기억 매체에의 기록을 신속하게 행하고, 또한 압축 처리 전의 화상 데이터를 기록하는 기억 매체를 효율적으로 이용할 수 있게 하고, 화상의 압축 처리의 레스펀스를 향상시킬 수 있는 화상 압축 처리 장치, 화상 압축 처리 방법 및 화상 압축 처리 프로그램을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위해서, 청구항 1에 기재된 발명의 화상 압축 처리 장치는,
화상 신호의 공급을 받아, 이것을 기억 매체에 기록하는 기록 제어 수단과,
상기 화상 신호의 공급을 받고, 상기 화상 신호의 수평 방향의 고주파 성분과 수직 방향의 고주파 성분의 특성을 검출하는 제1 검출 수단과,
상기 제1 검출 수단으로부터의 검출 결과에 기초하여, 상기 화상 신호를 소 정의 부호화 방식으로 압축 부호화할 때의 압축률을 산출하는 산출 수단과,
상기 산출 수단에 의해 산출된 압축률에 기초하여, 상기 화상 신호 혹은 상기 기억 매체로부터 읽어내어지는 화상 신호를 압축 부호화하는 부호화 수단
을 구비하는 것을 특징으로 한다.
이 청구항 1에 기재된 발명의 화상 압축 처리 장치에 따르면, 제1 검출 수단에 의해, 처리 대상인 화상 신호에 의해 형성되는 화상의 수평 방향의 고주파 성분의 특성과, 수직 방향의 고주파 성분의 특성이 검출되고, 이 검출 결과에 기초하여, 산출 수단에 의해 화상 신호의 압축률이 산출되며, 압축 부호화 수단에서는, 산출 수단으로부터의 압축률에 따라서, 단 1회의 압축 부호화 처리에 의해, 화상 신호를 원하는 데이터량의 화상 데이터로 압축 부호화할 수 있다.
이에 의해, 압축 부호화 처리를 신속하게 행할 수 있고, 또한, 수평 방향의 고주파 성분과 수직 방향의 고주파 성분을 이용하여, 화상이 변화가 심한 화상인지 변화가 적은 화상인지를 판별할 수 있도록 하고 있으므로, 압축률의 산출을 틀리는 일 없이, 정확하게 행할 수 있게 된다. 따라서, 압축 부호화된 화상을 신장 처리하여 복원할 때에도, 화상의 열화를 발생시키는 일도 없다. 또한, 1회의 화상 부호화 처리로 화상의 압축 처리를 종료시킬 수 있으므로, 압축 부호화 전인 화상 데이터를 예를 들면 기억 매체에 기억 보유하는 경우에서는, 기억 매체를 효율적으로 이용할 수 있게 된다.
또한, 청구항 2에 기재된 발명의 화상 압축 처리 장치는, 청구항 1에 기재된 화상 압축 처리 장치로서,
상기 화상 신호의 공급을 받아, 상기 화상 신호의 수평 방향의 저주파 성분과 수직 방향의 저주파 성분의 특성을 검출하는 제2 검출 수단을 구비하고,
상기 산출 수단은, 상기 제1 검출 수단으로부터의 검출 결과와, 상기 제2 검출 수단으로부터의 검출 결과에 기초하여, 상기 화상 신호를 소정의 부호화 방식으로 압축 부호화할 때의 압축률을 산출하는 것을 특징으로 한다.
이 청구항 2에 기재된 발명의 화상 압축 처리 장치에 따르면, 제2 검출 수단에 의해, 화상 신호에 의해 형성되는 화상의 수평 방향의 저주파 성분의 특성과, 수직 방향의 저주파 성분의 특성이 검출된다. 산출 수단에서는, 제1 검출 수단의 검출 결과 외에, 제2 검출 수단의 검출 결과도 고려하여, 화상 신호의 압축률이 산출되고, 압축 부호화 수단에서는, 산출 수단으로부터의 압축률에 따라서, 1회의 압축 부호화 처리에 의해, 화상 신호를 원하는 압축률의 화상 데이터로 압축 부호화할 수 있다.
이에 의해, 제1 검출 수단에 의한 검출 결과인 수평 방향의 고주파 성분과 수직 방향의 고주파 성분 외에, 제2 검출에 의한 검출 결과인 수평 방향의 저주파 성분과 수직 방향의 고주파 성분도 고려하여, 화상 신호의 압축률을 보다 제도 좋게 산출할 수 있게 된다.
또한, 청구항 3에 기재된 발명의 화상 압축 처리 장치는, 청구항 2에 기재된 화상 압축 처리 장치로서,
상기 제1 검출 수단으로부터의 검출 결과와, 상기 제2 검출 수단으로부터의 검출 결과에 기초하여, 상기 기억 매체에 기억하는 상기 화상 신호의 정보량의 조 정을 행할지의 여부를 결정하는 결정 수단과,
상기 기록 제어 수단의 전단에 설치되고, 상기 결정 수단에 의해 정보량의 조정을 행하는 것이 결정된 경우에, 상기 기록 제어 수단에 공급하는 상기 화상 신호의 정보량을 조정하는 정보량 조정 수단
을 구비하는 것을 특징으로 한다.
이 청구항 3에 기재된 발명의 화상 압축 처리 장치에 따르면, 제1 검출 수단에서 검출되는 처리 대상인 화상 신호에 의해 형성되는 화상의 수평 방향의 고주파 성분과 수직 방향의 고주파 성분, 및, 제2 검출 수단에서 검출되는 처리 대상인 화상 신호에 의해 형성되는 화상의 수평 방향의 저주파 성분과 수직 방향의 저주파 성분에 기초하여, 처리 대상인 화상 신호의 정보량(데이터량)을 조정할지의 여부가 결정 수단에 의해 결정된다.
즉, 결정 수단에서는, 고주파 성분보다도 저주파 성분이 많은 화상이고, 변화가 적은 화상이라고 판단한 경우에, 그 화상을 형성하는 화상 신호의 정보량을 조정하도록 결정된다. 이 경우의 조정은, 데이터량을 줄이는 방향으로 조정하는 것이다. 그리고, 화상 신호의 정보량을 조정하는 것이 결정된 경우에, 기록 제어 수단의 전단에 설치되는 정보량 조정 수단에 의해, 처리 대상인 화상 신호의 정보량이 조정되고, 이것이 기록 제어 수단을 통하여 기억 매체에 기록된다.
이에 의해, 압축 부호화 전인 화상 신호도 기록되는 기억 매체의 기억 용량을 유효하게 활용하여, 압축 부호화 전인 보다 많은 화상 신호를 기억 매체에 신속하게 기록할 수 있게 된다. 즉, 압축 부호화 전인 화상 신호 자체를 효율적으로 기억 매체에 기억할 수 있으므로, 기억 매체를 유효하게 활용할 수 있다. 또한, 이 정보량이 조정된 화상 신호가 기억 매체로부터 읽어내어진 경우에는, 읽어내어진 조정 후의 화상 신호로부터 조정 전의 화상 신호가 복원됨으로써, 통상대로 압축 부호화하여 다른 기록 미디어에 기록하는 등에 의해 이용할 수 있게 된다.
도 1은 본 발명의 일 실시 형태가 적용된 디지털 카메라를 설명하기 위한 블록도.
도 2는 도 1에 도시한 디지털 카메라의 고주파 적분 회로를 설명하기 위한 블록도이다.
도 3은 도 1에 도시한 디지털 카메라의 저주파 적분 회로를 설명하기 위한 블록도.
도 4는 도 1에 도시한 CPU에 의해 실현되는 부호량 예측부와, 화상 코덱 내에 설치되는 화상 압축부를 설명하기 위한 블록도.
도 5A 내지 도 5D는 기록 장치의 기억 매체에 기록되는 화상 데이터인 YUV 데이터와 압축 부호화되어 형성된 스트림 데이터와의 관계를 설명하기 위한 도면.
도 6은 양자화 테이블의 일례를 도시하는 도면.
도 7은 메모리 장치(기억 매체)(50)에의 데이터의 써넣기 처리를 설명하기 위한 플로우차트.
도 8은 메모리 장치(기억 매체)(50)로부터의 데이터의 읽어내기 처리를 설명 하기 위한 플로우차트.
도 9는 종래의 화상 압축 처리 장치의 일례를 설명하기 위한 블록도.
도 10은 수평 방향으로 고주파 성분이 적고 수직 방향으로 고주파 성분이 많은 화상의 예를 설명하기 위한 도면.
<발명을 실시하기 위한 최량의 형태>
이하, 도면을 참조하면서, 본 발명에 의한 장치, 방법, 프로그램의 일 실시 형태에 대하여 상세하게 설명한다. 또한, 이하에서는, 본 발명에 의한 장치, 방법, 프로그램을 주로 정지 화상(스틸 화상)을 촬상하는 디지털 카메라(촬상 장치)에 적용한 경우를 예로 하여 설명한다.
[디지털 카메라의 구성]
도 1은, 이 실시 형태의 디지털 카메라의 구성을 설명하기 위한 블록도이다. 도 1에 도시하는 바와 같이, 이 실시 형태의 디지털 카메라는, 크게 나누면, 촬상 소자(10)와, 전처리 회로(20)와, 카메라 DSP(Digital Signal Processor)(30)와, 외부 접속 기기인 메모리 장치(50)와, 모니터 장치(51)와, 기록 미디어(52)와, 제어부로서의 기능을 구성하는 CPU(Central Processing Unit)(61), RAM(Random Access Memory)(62), EEPROM(Electrically Erasable and Programmable Read Only Memory)(63)과, 유저로부터의 지시 입력을 접수하는 조작부(60)를 구비한 것이다.
도 1에서, 촬상 소자(10)는, CCD(Charge Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등의 화상 정보를 받아들이기 위한 것이다.
전처리 회로(20)는, CDS(Correlated Double Sampling)/AGC(Automatic Gain Control)/ADC(Analog/Digital Converter) 회로(21)와, 타이밍 제너레이터(22)와, V 드라이버(23)를 구비한 것이다. 촬상 소자(10)에 의해 촬상되어 전기 신호로 변환된 화상 정보는, 전처리 회로(20)의 CDS/AGC/ADC 회로(21)에 공급된다.
CDS/AGC/ADC 회로(21)에서는, 이것에 공급된 화상 정보에 대하여, CDS 처리를 행하여, S/N비를 양호하게 유지하도록 함과 함께, AGC 처리를 행하여, 이득을 제어하고, 그리고, A/D변환을 행하여, 디지털 신호로 된 화상 데이터를 형성한다. 이상이 CDS/AGC/ADC 회로(21)에서 행하여진다. 타이밍 제너레이터(22), V 드라이버(23)는, CDS/AGC/ADC 회로(21)로부터의 정보에 기초하여, 촬상 소자(10)의 구동 타이밍을 제어한다. 그리고, 전처리 회로(20)로부터의 화상 데이터는, 카메라 DSP(30)에 공급된다.
카메라 DSP(30)는, 도 1에 도시하는 바와 같이, 카메라 신호 처리 회로(31), 고주파 적분 회로(32), 저주파 적분 회로(33), 기록용 화상 생성 회로(34), 해상도 변환 회로(35), 화상 코덱(36), 차분 신호 처리 회로(37), 메모리 제어 회로(38), 표시 제어 회로(39), 미디어 제어 회로(40), BIU(Bus Interface Unit)(41)를 구비한 것이다.
또한, 카메라 DSP(30)에는, 도 1에 도시한 바와 같이, 메모리 장치(50), LCD(Liquid Crystal Display)/모니터(51), 기록 미디어(52)가 접속되어 있다. 메모리 장치(50)는, 비교적으로 기억 용량이 큰 반도체 메모리로서, 예를 들면 SDRAM(Synchronous Dynamic Random Access memory) 등이다. 또한, 기록 미디 어(52)는, 예를 들면, 반도체 메모리를 이용한 소위 메모리 카드이다. 또한, 기록 미디어(52)로서, 기록 가능한 DVD나 기록 가능한 CD 등의 광 기록 매체나 자기 디스크 등의 여러 가지의 것을 이용하도록 하는 것도 물론 가능하다.
그리고, 메모리 제어 회로(38)는, 메모리 장치(50)에의 화상 데이터의 써넣기 및 메모리 장치(50)로부터의 화상 데이터의 읽어내기를 제어하는 것이며, 표시 제어 회로(39)는, LCD(Liquid Crystal Display)/모니터(51)에의 화상의 표시를 제어하는 것이다. 또한, 미디어 제어 회로(40)는, 기록 미디어(52)에의 화상 데이터의 써넣기 및 기록 미디어(52)로부터의 화상 데이터의 읽어내기를 제어하는 것이다.
또한, BIU(41)는, CPU(61)와 카메라 DSP(30)의 인터페이스를 취하는 블록이다. 그리고, CPU(61)는, 유저 인터페이스인 조작부(60)로부터의 신호를 바탕으로, EEPROM(63)으로부터 프로그램을 로드하고, 워크 메모리인 RAM(62)을 사용하여 프로그램을 실행하고, 카메라 DSP(30)와 통신하면서, 유저로부터의 요구를 따른 동작을 보증하도록 하고 있다.
그리고, 이 실시 형태의 디지털 카메라에서의 촬영 동작은 다음과 같이 행하여진다. 조작부(60)를 통하여 접수한 유저로부터의 촬영 동작 지시에 따라서, CPU(61)가 촬상 소자(10), 전처리 회로(20)를 제어하고, 목적으로 하는 피사체의 화상을 화상 데이터로서 받아들이고, 이 받아들인 화상 데이터를 카메라 DSP(30)의 카메라 신호 처리 회로(31)와, 고주파 적분 회로(32)와, 저주파 적분 회로(33)에 공급한다.
카메라 신호 처리 회로(31)에서는, 이것에 공급된 화상 데이터에 대하여, AF(Auto Focus), AE(Auto Exposure), AWB(Auto White Balance) 등의 카메라 신호 처리를 실시하고, 처리 후의 화상 데이터를 기록용 화상 생성 회로(34)에 공급한다. 기록용 화상 생성 회로(34)는, 이것에 공급된 카메라 신호 처리된 화상 데이터로부터 기록용의 화상 데이터인 YUV 데이터를 형성하고, 이것을 차분 신호 처리 회로(37)에 공급한다. 또한, 이 명세서에서, 화상 데이터인 YUV 데이터는, Y 신호(휘도 신호)와, Cb 신호(청의 색차 신호)와, Cr(적의 색차 신호)로 이루어지는 화상 데이터를 의미하는 것으로서 이용하고 있다.
차분 신호 처리 회로(37)는, 상세하게는 후술하기도 하지만, 기록하고자 하는 화상 데이터(YUV 데이터)에 대하여 차분 압축을 행함으로써, 메모리 장치(50)에의 화상 데이터량을 억제하여, 보다 많은 화상 데이터를 기록할 수 있도록 하고 있다. 그리고, 차분 신호 처리 회로(37)에서 처리된 화상 데이터는, 메모리 제어 회로(38)를 통하여 메모리 장치(50)의 메모리에 기록된다.
이 후, CPU(61)의 제어에 따라서, 메모리 제어 회로(38)는, 메모리 장치(50)로부터 새롭게 기록한 화상 데이터를 읽어내고, 이것을 시스템 버스를 통하여 해상도 변환 회로(35)에 공급한다. 해상도 변환 회로(35)는, 이것에 공급된 화상 데이터에 의해 표시되는 화상의 사이즈를 LCD/모니터(51)의 표시 화면에 따라서 변경하는 처리를 행하고, 사이즈 변경 후의 화상 데이터를 표시 제어 회로(39)에 공급한다.
표시 제어 회로(39)는, 해상도 변환 회로(35)로부터의 화상 데이터에 기초하 여, LCD/모니터(51)에 공급하는 화상 신호(영상 신호)를 형성하고, 이것을 LCD/모니터(51)에 공급한다. 이에 의해, 촬상 소자(10)를 통하여 받아들인 화상 데이터에 따른 화상이 LCD/모니터(51)의 표시 화면에 표시되어, 유저가 관시할 수 있게 된다.
그리고, 조작부(60)에 설치되어 있는 예를 들면 셔터 버튼이 누름 조작된 경우에는, 메모리 장치(50)로부터 읽어내어진 화상 데이터는, 화상 코덱(36)에도 공급되며, 여기서 JPEG 방식, 혹은, MPEG 방식 등의 소정의 압축 방식이 이용되어 스트림 데이터로 압축된다. 즉, 화상 코덱(36)은, DCT 등에 의한 주파수 축 변환 처리, 양자화 처리, 가변 길이 부호화 처리를 행하여 화상 데이터를 압축 처리한다.
화상 코덱(36)에 의해, 화상 압축된 화상 데이터는, 차분 신호 처리 회로(37), 메모리 제어 회로(38)를 통하여, 메모리 장치(50)에 기록되거나, 혹은, 화상 코덱(36)에 의해, 화상 압축된 화상 데이터는, 미디어 제어 회로(40)를 통하여 기록 미디어(52)에 기록되거나 한다.
또한, 조작부(60)를 통하여 기록 미디어(52)에 기록된 화상 데이터의 재생이 지시된 경우에는, CPU(61)는, 미디어 제어 회로(40)를 제어하여, 목적으로 하는 화상 데이터를 기록 미디어(52)로부터 읽어내고, 이것을 화상 코덱(36)에 공급한다. 화상 코덱(36)은, 압축 부호화된 화상 데이터가 공급되었을 때에는, 이것을 부호화 처리하여, 부호화 전인 원래의 화상 데이터를 복원하고, 이것을 해상도 변환 회로(35), 표시 제어 회로(39)를 통하여, LCD/모니터(51)에 공급하여, 기록 미디어(52)에 기록된 화상 데이터에 따른 화상을 재생할 수 있게 된다.
이와 같이, 이 디지털 카메라는, 목적으로 하는 피사체의 화상을 화상 데이터로서 메모리 장치(50)에 받아들이고, 이 받아들인 화상 데이터에 따른 화상을 LCD/모니터(51)의 표시 화면에 표시하여 관시할 수 있도록 함과 함께, 조작부(60)의 셔터 버튼이 누름 조작된 경우에는, 메모리 장치(50)에 받아들여진 화상 데이터를 JPEG나 MPEG 등의 압축 방식을 이용하여 데이터 압축하고, 이것을 메모리 장치(50)나 기록 미디어(52)에 기록할 수 있다. 또한, 기록 미디어(52)에 기록된 데이터 압축된 화상 데이터를 판독하여 복호화하고, 복호화한 화상 데이터에 따른 화상을 LCD/모니터(51)의 표시 화면에 표시할 수 있는 것이다.
그리고, 또한, 이 실시 형태의 디지털 카메라의 경우에는, 고주파 적분 회로(32)와 저주파 적분 회로(33)를 이용함으로써, 화상 코덱(36)에서의 화상 데이터 압축 처리(부호화 처리)를 1회의 처리로 적정하게 종료시킬 수 있음과 함께, 차분 신호 처리 회로(37)에서의 차분 신호 처리에 의해, 메모리 장치(50)에 기록하는 압축 부호화 전인 화면 데이터(YUV 데이터)에 대한 데이터 압축을 보다 효율적으로 행하여, 화상 데이터를 신속하게 메모리 장치(50)에 기록할 수 있음과 함께, 메모리 장치(50) 자체를 효율적으로 이용할 수 있도록 하고 있다.
[고주파 성분 적분 회로(32)의 구성과 동작]
다음으로, 도 1에 도시한 고주파 성분 적분 회로(32)에 대하여 상세하게 설명한다. 도 1에 도시한 바와 같이, 이 실시 형태의 디지털 카메라에서, 카메라 DSP(30) 내에 설치된 고주파 성분 적분 회로(32)는, JPEG 방식이나 MPEG 방식과 같은 소정의 압축 방식에서의 데이터 압축 후의 부호량을 적확하게 예측함과 함께, 차분 신호 처리 회로(37)에서의 차분 신호 처리를 효율적으로 행하도록 하기 위해서, 기록 대상 화상의 수평 방향 및 수직 방향의 특성을 검출하는 부분이다.
도 2는, 이 실시 형태의 디지털 카메라에서 이용되고 있는 고주파 성분 적분 회로(32)를 설명하기 위한 블록도이다. 도 2에 도시하는 바와 같이, 고주파 성분 적분 회로(32)는, 휘도 신호 생성부(321)와, 처리 대상 화상의 수평 방향과 수직 방향의 2계통의 처리부를 구비하고 있다.
수평 방향의 처리계는, 수평 방향의 고주파 성분 추출부(322)와, 절대값화부(323)와, 적분부(324)와, 면적 산출부(325)를 구비하고, 수직 방향의 처리계는, 수직 방향의 고주파 성분 추출부(326)와, 절대값화부(327)와, 적분부(328)와, 면적 산출부(329)를 구비한 것이다.
수직 방향의 고주파 성분 추출부(326)는, 도 2에 도시한 바와 같이, 수평대역 제한부(326a), 수평 보완·씨닝부(326b), 라인 메모리(326c), 수직 연산부(326d)를 구비하고, 상세하게는 후술하는 바와 같이, 라인 메모리의 기억 용량이 크지 않더라도 충분한 처리를 할 수 있도록 라인마다의 데이터량을 어느 정도 좁혀들어가도록 하고 있다.
그리고, 전처리 회로(20)로부터의 화상 데이터(촬상 화상 신호)는, 휘도 신호 생성부(321)에 공급된다. 휘도 신호 생성부(321)는, 이것에 공급된 화상 데이터로부터 휘도 신호를 생성한다. 또한, 휘도 신호 생성부(321)에서, 이것에 공급된 화상 데이터로부터, 화상의 주파수 대역을 넓게 커버하는 화소 데이터만(예를 들면 원색계 이미저(화상)의 경우, 그린(녹)의 화소 데이터 등)을 추출하고, 이것 을 의사적인 휘도 신호로 하도록 하여도 된다. 이 휘도 신호 생성부(321)에서 생성된 휘도 신호는, 수평 방향의 고주파 성분 추출부(322)와, 수직 방향의 고주파 성분 추출부(326)에 공급된다.
또한, 의사적인 휘도 신호로서 그린의 화소 데이터(그린의 색 신호)를 이용하도록 한 경우에는, 이미 데이터량이 한정되어 있으므로, 데이터의 누락을 발생시키는 일 없이, 양호한 정밀도로 고주파 성분 적분 회로(32)에서의 처리를 행하도록 할 수 있다.
화상 데이터는, 통상적으로, 수평으로 주사하는 순서로 입력되기 때문에, 수평 방향의 고주파 성분 추출부(322)는 비교적 간이한 형태의 하이 패스 필터로 구성할 수 있다. 이에 대하여, 수직 방향의 고주파 성분 추출부(326)는, 정확히 1라인분만큼 시간차가 있는 2점간 또는 복수점간의 화상 신호에 의해 하이 패스 필터를 구성할 필요가 있다. 이 때문에, 이 실시 형태에서는, 화상 데이터(촬영 화상 신호)의 1라인분에 상당하는 용량의 라인 메모리(326c)를 1라인분 또는 수라인분 마련하고 있다.
단, 기억 용량이 큰 라인 메모리를 마련하는 것은, 회로 규모 증대나 소비 전력 증대로 이어진다. 따라서, 이 실시 형태의 수직 방향의 고주파 성분 추출부(326)는, 1라인분의 화상 데이터를, 고주파 성분 추출부(326)에 대하여 필요 최소한의 화소수로 씨닝하고 나서, 라인 메모리(326c)에 저장하기 때문에, 전술한 바와 같이, 수평 대역 제한부(326a), 수평 보완·씨닝부(326b)를 구비하고 있다.
즉, 수직 방향의 고주파 성분 추출부(326)에서는, 휘도 신호 생성부(321)로 부터의 휘도 신호(화상 신호)를, 우선 수평 대역 제한부(326a)에 의해 소정의 저주파 성분만으로 제한하고, 수평 씨닝 처리에 의한 소위 되접음을 방지한다. 즉, 휘도 신호의 데이터량을 소정량 분으로 제한한다.
다음으로, 수평 보간·씨닝부(326b)에서, 수평 방향의 복수 탭의 화소를 이용하여 보간 필터 처리를 행하고, 라인 메모리(326c)의 용량 이내의 화소수로 되도록 휘도 신호의 씨닝 처리를 행한다. 이와 같이 하여 화소 씨닝된 휘도 신호가, 라인 메모리(326c)에 써넣는다. 이와 같이, 이 실시 형태에서, 수직 방향의 고주파 성분 추출부(326)는, 최소한의 하드웨어에서 1라인분만큼 시간차가 있는 2점간 또는 복수점간의 휘도 신호를 얻어 차분을 취함으로써 고주파 성분을 추출하는 하이 패스 필터를 구성하고 있다.
도 2에 도시한 고주파 성분 적분 회로(32)의 수평 방향의 고주파 성분 추출부(322) 및 수직 방향의 고주파 성분 추출부(326)에 의해 얻어진 휘도 신호의 고주파 성분은, 각각 대응하는 절대값화부(323) 혹은 절대값화부(327)에 공급된다.
절대값부(323)는 전단의 수평 방향의 고주파 성분 추출부(322)로부터의 수평 방향의 휘도 신호의 고주파 성분이, 후단의 적분부(324)에서 서로 상쇄되는 일이 없도록, 상기 수평 방향의 휘도 신호의 고주파 성분을 절대값화한다. 마찬가지로, 절대값부(327)는 전단의 수직 방향의 고주파 성분 추출부(326)로부터의 수직 방향의 휘도 신호의 고주파 성분이, 후단의 적분부(328)에서 서로 상쇄되는 일이 없도록, 상기 수직 방향의 휘도 신호의 고주파 성분을 절대값화한다.
그리고, 절대값화부(323)에서 절대값화된 수평 방향의 휘도 신호의 고주파 성분은, 적분부(324)와 면적 산출부(325)에 공급되고, 절대값화부(327)에서 절대값화된 수직 방향의 휘도 신호의 고주파 성분은, 적분부(328)와 면적 산출부(329)에 공급된다.
적분부(324)는, 이것에 공급된 수평 방향의 휘도 신호의 절대값화된 고주파 성분에 대하여, 예를 들면 1화면분을 처리 단위 영역으로 하여 적분 처리(적산 처리)하고, 수평 방향의 고주파 성분 적분 데이터를 얻어, 이것을 부호량 예측부로서의 CPU(61)에 공급한다. 마찬가지로, 적분부(328)는, 이것에 공급된 수직 방향의 휘도 신호의 절대값화된 고주파 성분에 대하여, 1화면분을 처리 단위 영역으로 하여 적분 처리(적산 처리)하고, 수직 방향의 고주파 성분 적분 데이터를 얻어, 이것을 부호량 예측부로서의 CPU(61)에 공급한다.
또한, 여기서는, 적분 처리의 처리 단위 영역을 1화면 단위로 하였지만, 이것에 한정되는 것은 아니다. 적분 처리의 처리 단위 영역을 임의로 지정되는 영역으로 할 수도 있다. 여기서 임의로 지정되는 영역은, 예를 들면, 매크로 블록(16화소×16화소의 영역)이나 서브 블록(8화소×8화소의 영역) 혹은, 복수 매크로 블록의 영역이나 복수 서브 블록의 영역 등의 여러 가지의 크기의 영역으로 하는 것이 가능하다.
또한, 면적 산출부(325)는, 적분부(324)에서 적분 처리를 행한 횟수를 카운트하고, 적분 처리의 대상으로 된 수평 방향의 휘도 신호의 고주파 성분을 포함하는 영역의 면적을 구하고, 이것을 부호량 예측부로서의 CPU(61)에 공급한다. 마찬가지로, 면적 산출부(329)는, 적분부(328)에서 적분 처리를 행한 횟수를 카운트하 고, 적분 처리의 대상으로 된 수직 방향의 휘도 신호의 고주파 성분을 포함하는 영역의 면적을 구하고, 이것을 부호량 예측부로서의 CPU(61)에 공급한다.
이와 같이, 수평 방향의 휘도 신호의 고주파 성분의 적분 데이터(수평 방향의 고주파 성분 적분 데이터)와, 수평 방향의 적분의 대상으로 된 고주파 성분을 포함하는 영역의 면적을 나타내는 데이터와, 수직 방향의 휘도 신호의 고주파 성분의 적분 데이터(수직 방향의 고주파 성분 적분 데이터)와, 수직 방향의 적분의 대상으로 된 고주파 성분을 포함하는 영역의 면적을 나타내는 데이터가 고주파 성분 적분 회로(32)로부터 부호량 예측부로서의 CPU(61)에 공급된다.
이 실시 형태의 디지털 카메라의 CPU(61)는, 전술한 바와 같이 부호량 예측부로서의 기능도 갖는 것이며, 또한, 도 2에 도시한 고주파 성분 적분 회로(32)의 각 부에 대한 제어 데이터의 설정도 행하는 것이다.
구체적으로, CPU(61)는, 휘도 신호 생성부(321)의 필터의 종류나 계수의 제어, 휘도 신호의 고휘도 억압 처리 등의 제어, 수평 방향과 수직 방향의 고주파 성분 추출부(322, 326)의 필터의 종류나 계수의 제어, 수직 방향의 고주파 성분 추출부(326)의 대역 제한부(326a)의 필터의 종류나 계수의 제어, 수평 보간·씨닝부(326b)의 보간 필터나 씨닝률의 제어, 절대값화부(323, 327)의 파라미터 제어, 적분부(324, 328)의 영역 지정의 제어, 등을 행한다.
[저주파 성분 적분 회로(33)의 구성과 동작]
다음으로, 도 1에 도시한 저주파 성분 적분 회로(33)에 대하여 설명한다. 이 실시 형태의 디지털 카메라에 탑재된 저주파 성분 적분 회로(33)는, 화상 데이 터로부터 생성하는 휘도 신호의 저주파 성분을 취급하는 점을 제외하면, 도 2를 이용하여 전술한 고주파 성분 적분 회로(32)와 마찬가지의 구성을 갖는 것이다.
도 3은, 이 실시 형태의 디지털 카메라에서 이용되고 있는 저주파 성분 적분 회로(33)를 설명하기 위한 블록도이다. 이 도 3에 도시하는 저주파 성분 적분 회로(33)와, 도 2에 도시한 고주파 성분 적분 회로(32)를 비교하면 알 수 있듯이, 도 3에 도시하는 저주파 성분 적분 회로(33)는, 도 2에 도시한 고주파 성분 적분 회로(32)가 구비하는 수평 방향의 고주파 성분 추출부(322), 수직 방향의 고주파 성분 추출부(326) 대신에, 수평 방향의 저주파 성분 추출부(332), 수직 방향의 저주파 성분 추출부(336)를 구비하는 점을 제외하면, 도 2에 도시한 고주파 성분 적분 회로(32)와 마찬가지로 구성된 것이다.
수직 방향의 저주파 성분 추출부(336)는, 도 2에 도시한 고주파 성분 적분 회로(32)의 수직 방향의 저주파 성분 추출부(326)와 마찬가지로, 수평 대역 제한부(336a), 수평 보완·씨닝부(336b), 라인 메모리(336c), 수직 연산부(336)를 구비한 것이다. 저주파 성분 적분 회로(33)의 수평 방향의 저주파 성분 추출부(332), 수직 방향의 저주파 성분 추출부(336)는, 목적으로 하는 처리 대상인 신호가 소정의 대역의 저주파 성분이다.
또한, 저주파 성분 적분 회로(33)의 휘도 신호 생성부(331), 절대값화부(333, 337), 적분부(334, 338), 면적 산출부(335, 339)는, 도 2에 도시한 고주파 성분 적분 회로(32)의 대응하는 부분, 즉, 휘도 신호 생성부(321), 절대값화부(323, 327), 적분부(324, 328), 면적 산출부(3258, 329)와 마찬가지로 구성되고, 마찬가지로 동작하는 부분이다.
그리고, 전처리 회로(20)로부터의 화상 데이터(촬상 화상 신호)는, 도 3에 도시하는 저주파 성분 적분 회로(33)의 휘도 신호 생성부(331)에 공급된다. 휘도 신호 생성부(331)는, 이것에 공급된 화상 데이터로부터 휘도 신호를 생성한다. 또한, 휘도 신호 생성부(331)에서도, 이것에 공급된 화상 데이터로부터, 화상의 주파수 대역을 넓게 커버하는 화소 데이터만(예를 들면 원색계 이미저(화상)의 경우, 그린(녹)의 화소 데이터 등)을 추출하고, 이것을 의사적인 휘도 신호로 하도록 하여도 된다. 이 휘도 신호 생성부(331)에서 생성된 휘도 신호는, 수평 방향의 저주파 성분 추출부(332)와, 수직 방향의 고주파 성분 추출부(336)에 공급된다.
전술하였지만, 화상 데이터는, 통상적으로, 수평으로 주사하는 순서로 입력되기 때문에, 수평 방향의 저주파 성분 추출부(322)는 비교적 간이한 형태의 고주파 트랩 필터 또는 로우 패스 필터로 구성할 수 있다. 이에 대하여 수직 방향의 저주파 성분 추출부(336)는, 1라인분의 화상 데이터를, 저주파 성분 추출부(336)에 대하여 필요 최소한의 화소수로 씨닝하고 나서, 라인 메모리(336c)에 저장하기 때문에, 전술한 바와 같이, 수평 대역 제한부(336a), 수평 보완·씨닝부(336b)를 구비하고 있다.
이와 같이, 이 실시 형태에서, 수직 방향의 저주파 성분 추출부(336)는, 최소한의 하드웨어에서 1라인분만큼 시간차가 있는 2점 또는 복수점의 휘도 신호를 얻어 차분을 취하는 하이 패스 필터를 구성하고, 그 차분 신호 레벨이 소정의 임계값 이하일 때에는 저주파 성분으로 판단하여 차분 신호를 적분함으로써, 저주파 성 분을 추출한다.
그리고, 도 3에 도시한 저주파 성분 적분 회로(33)의 수평 방향의 저주파 성분 추출부(332) 및 수직 방향의 저주파 성분 추출부(336)에 의해 얻어진 휘도 신호의 저주파 성분은, 각각 대응하는 절대값화부(333) 혹은 절대값화부(337)에 공급되고, 여기서 절대값화된다. 그리고, 절대값화부(333)에서 절대값화된 수평 방향의 휘도 신호의 저주파 성분은, 적분부(334)와 면적 산출부(335)에 공급되고, 절대값화부(337)에서 절대값화된 수직 방향의 휘도 신호의 저주파 성분은, 적분부(338)와 면적 산출부(339)에 공급된다.
적분부(334)는, 이것에 공급된 수평 방향의 휘도 신호의 절대값화된 저주파 성분에 대하여, 예를 들면 1화면분을 처리 단위 영역으로 하여 적분 처리하고, 수평 방향의 저주파 성분 적분 데이터를 얻어, 이것을 부호량 예측부로서의 CPU(61)에 공급한다. 마찬가지로, 적분부(338)는, 이것에 공급된 수직 방향의 휘도 신호의 절대값화된 저주파 성분에 대하여, 1화면분을 처리 단위 영역으로 하여 적분 처리하고, 수직 방향의 고주파 성분 적분 데이터를 얻어, 이것을 부호량 예측부로서의 CPU(61)에 공급한다.
또한, 적분 처리의 처리 단위 영역은, 1화면 단위에 한정되는 것이 아니라, 도 2를 이용하여 전술한 고주파 성분 적분 회로(32)의 경우와 마찬가지로, 예를 들면, 매크로 블록(16화소×16화소의 영역)이나 서브 블록(8화소×8화소의 영역) 혹은, 복수 매크로 블록의 영역이나 복수 서브 블록의 영역 등, 임의로 지정되는 영역으로 할 수 있다.
또한, 면적 산출부(335)는, 적분부(334)에서 적분 처리를 행한 횟수를 카운트하고, 적분 처리가 대상으로 된 수평 방향의 휘도 신호의 저주파 성분을 포함하는 영역의 면적을 구하고, 이것을 부호량 예측부로서의 CPU(61)에 공급한다. 마찬가지로, 면적 산출부(339)는, 적분부(338)에서 적분 처리를 행한 횟수를 카운트하고, 적분 처리가 대상으로 된 수직 방향의 휘도 신호의 저주파 성분을 포함하는 영역의 면적을 구하고, 이것을 부호량 예측부로서의 CPU(61)에 공급한다.
이와 같이, 수평 방향의 휘도 신호의 저주파 성분의 적분 데이터(수평 방향의 저주파 성분 적분 데이터)와, 수평 방향의 적분의 대상으로 된 고주파 성분을 포함하는 영역의 면적을 나타내는 데이터와, 수직 방향의 휘도 신호의 저주파 성분의 적분 데이터(수직 방향의 저주파 성분 적분 데이터)와, 수직 방향의 적분의 대상으로 된 저주파 성분을 포함하는 영역의 면적을 나타내는 데이터가 저주파 성분 적분 회로(33)로부터 부호량 예측부로서의 CPU(61)에 공급된다.
또한, 전술한 바와 같이, 이 실시 형태의 디지털 카메라의 CPU(61)는, 부호량 예측부로서의 기능도 갖는 것이며, 또한, 도 3에 도시한 저주파 성분 적분 회로(33)의 각 부에 대한 제어 데이터의 설정도 행하는 것이다.
구체적으로, CPU(61)는, 휘도 신호 생성부(331)의 필터의 종류나 계수의 제어, 휘도 신호의 고휘도 억압 처리 등의 제어, 수평 방향과 수직 방향의 고주파 성분 추출부(332, 336)의 필터의 종류나 계수의 제어, 수직 방향의 고주파 성분 추출부(336)의 대역 제한부의 필터의 종류나 계수의 제어, 수평 보간·씨닝부(336b)의 보간 필터나 씨닝률의 제어, 절대값화부(333, 337)의 파라미터 제어, 적분부(334, 338)의 영역 지정의 제어, 등을 행한다.
[부호화 예측부와 화상 압축부의 구성과 동작]
다음으로, 전술한 바와 같이, 고주파 성분 적분 회로(32)로부터의 수평 방향의 고주파 적분 데이터와 수직 방향의 고주파 적분 데이터와, 저주파 성분 적분 회로(33)로부터의 수평 방향의 저주파 적분 데이터와 수직 방향의 저주파 적분 데이터와의 공급을 받아, 이것에 기초하여, 부호량 예측을 행하는 부호량 예측부로서의 CPU(61)와, 화상 압축 처리를 행하는 화상 압축부로서의 화상 코덱(36)에 대하여 설명한다. 이 실시 형태에서, CPU(61)는, 자신이 실행하는 프로그램에 의해, 부호량 예측부로서의 기능을 실현하고 있다.
도 4는, 부호량 예측부로서의 CPU(61)의 기능과, 화상 압축부로서의 화상 코덱(36)의 기능을 설명하기 위한 블록도이다. 도 4에 도시하는 바와 같이, 부호량 예측부로서의 CPU(61)는, 바이트수 산출부(611)와, 양자화 스케일 산출부(612)와, 양자화 테이블 생성부(613)의 기능을 갖고 있다. 또한, 화상 압축부로서의 화상 코덱(36)은, 주파수 축 변환부(DCT부)(361)와, 양자화부(362)와, 가변 길이 부호화부(363)로서의 기능을 갖고 있다.
그리고, 도 2, 도 3을 이용하여 설명한 바와 같이, 고주파 적분 회로(32)로부터의 수평 방향 및 수직 방향의 고주파 적분 데이터와, 저주파 적분 회로(33)로부터의 수평 방향 및 수직 방향의 저주파 적분 데이터는, 부호량 예측부로서의 CPU(61)가 실현하는 바이트수 산출부(611)에 공급된다.
바이트수 산출부(611)는, 고주파 적분 데이터, 저주파 적분 데이터에 기초하 여, 기록 대상인 화상이, 고주파 성분이 많고, 저주파 성분이 적은 소위 변화가 심한 화상인 경우에는, 화상의 압축 데이터의 바이트수를 많게 하고, 고주파 성분이 적고, 저주파 성분이 많은 소위 변화가 적은 화상인 경우에는, 화상의 압축 데이터의 바이트수를 적게 하는 식으로, 압축 데이터의 바이트수를 산출한다. 즉, 바이트수 산출부(611)는, 기록하고자 하는 압축 대상인 화상의 압축 후의 바이트수를, 그 압축 대상인 화상의 그 화상 내에서의 변화의 정도에 따라서, 적절하게 파악하고자 하는 것이다.
바이트수 산출부(611)에서 산출된 데이터 압축 후의 화상 데이터의 바이트수는, 양자화 스케일 산출부(612)에 공급된다. 양자화 스케일 산출부(612)는, 바이트수 산출부(611)에서 산출된 데이터 압축 후의 화상 데이터의 바이트수에 기초하여, 기록하고자 하는 촬영 화상을 단 1회의 처리로 소정 바이트수까지 압축하기 위한 양자화 스케일을 산출하고, 이것을 양자화 테이블 생성부(613)에 공급한다.
양자화 테이블 생성부(613)는, 양자화 스케일 산출부(612)로부터의 양자화 스케일에 기초하여, 양자화 테이블을 생성하고, 이것을 화상 압축부로서의 화상 코덱(36)의 양자화부(362)에 공급한다.
이와 같이, 부호량 예측부로서의 CPU(61)는, 압축 대상인 화상을 형성하는 화상 데이터에 기초하여, 상기 화상의 수평 방향의 고주파 성분과 저주파 성분, 수직 방향의 고주파 성분과 저주파 성분에 기초하여, 상기 압축 대상인 화상의 복잡함에 따른 압축 처리 후의 바이트수를 정확하게 산출한다.
그리고, 바이트수 산출부(611)에서 산출된 압축 대상인 화상의 압축 처리 후 의 바이트수에 기초하여, 양자화 스케일 산출부(612)에서, 1회의 압축 처리로 상기 압축 대상인 화상을 압축하기 위한 양자화 스케일을 산출하고, 이 산출된 양자화 스케일에 기초하여, 실제의 양자화 처리에서 이용되는 양자화 테이블을 양자화 테이블 생성 수단에서 생성하고, 이것을 화상 압축부(36)의 양자화부(362)에 공급하여, 최적의 압축률로 압축 대상인 화상을 형성하는 화상 데이터를 압축 부호화할 수 있도록 하고 있다.
한편, 메모리 장치(50)로부터 읽어내어진 화상 데이터는, 데이터 버스를 통하여 화상 코덱의 주파수 축 변환부(361)에 공급되며, 여기서 이산 코사인 변환(DCT)이 실시되어, 시간축 성분으로부터 주파수 축 성분으로 변환되어 양자화부(362)에 공급된다. 양자화부(362)에서는, 양자화 테이블 작성부(613)로부터 얻어지는 양자화 테이블에 기초하여, 화상 데이터의 압축률을 조정한다. 가변 길이 부호화부(613)에서는, 호프만 부호 등의 가변 길이 부호에 의해 화상 데이터를 가변 길이 부호화하고, 최종적인 압축 화상 데이터로서 출력한다.
이와 같이, 이 실시 형태의 디지털 카메라의 경우, 도 9를 이용하여 설명한 종래의 화상압 장치와의 큰 상위점은, 압축된 화상 데이터를 피드백하여 복수회의 부호량 예측을 반복할 필요가 없고, 단 1회의 압축 처리로 압축 화상 데이터가 얻어진다고 하는 큰 효과가 있다. 즉, 신속한 화상 데이터 압축 처리를 행하도록 할 수 있다.
실제의 동작 모드로서는, 도 1의 조작부(60)의 기록 개시 버튼(또는 셔터 버튼)이 유저에 의해 조작되고, 기록 개시 타이밍이 인식(검출)되면, 그 타이밍이 CPU(61)에 공급된다. 기록 개시 조작(또는 셔터 누름 조작)의 순간에 촬상 소자에 의해 촬상된 화상 데이터가 카메라 신호 처리나 기록용 화상 작성 처리가 실시됨과 함께, 동일한 화상을 이용하여 고주파 성분 적분 처리가 행하여지도록, CPU(61)가 각 부의 타이밍 제어를 행함으로써, 화상 처리의 경로와, 고주파 성분 적분이나 부호량 예측의 경로의 양자에 대하여 원화상을 일치시킬 수 있어, 고정밀도의 부호량 예측이 가능하게 된다.
또한, 이 실시 형태의 디지털 카메라에서는, 고주파 적분 회로(32)와 저주파 적분 회로(33)로부터의 출력 정보에 기초하여, 바이트 산출부(611)에서, 데이터 압축 후의 화상 데이터의 바이트수(압축 처리 후의 부호량)를 예상하도록 하였다. 이와 같이, 고주파 적분부로부터의 출력과 저주파 적분부로부터의 출력을 비교함으로써, 고정밀도로 데이터 압축 후의 부호량을 예상할 수 있다.
또한, 그다지 고정밀도로 압축 처리 후의 화상 데이터의 부호량을 예상하지 않아도 되는 경우에는, 고주파 적분 회로(32)로부터의 출력을 이용하여, 바이트수 산출부(611)에서 데이터 압축 후의 화상 데이터 부호량을 예상하도록 하는 것도 물론 가능하다. 또한, 고주파 적분 회로(32)로부터의 출력이 아니라, 저주파 적분 회로(33)로부터의 출력만을 이용하여, 데이터 압축 후의 화상 데이터 부호량을 예상하도록 하여도 된다.
[디지털 카메라의 특징적 부분의 설명]
다음으로, 도 1에 도시한 이 실시 형태의 디지털 카메라에서는, 고주파 적분 회로(32) 및 저주파 적분 회로(33)는 본 발명에서 특징으로 되는 점이므로, 이 점 에 주목한 후에 도 1에 도시한 디지털 카메라의 특징적 부분에 대하여 설명한다.
도 1에 도시한 이 실시 형태의 디지털 카메라의 메모리 장치(50)에는, 카메라 신호 처리 회로(31), 기록용 화상 생성 회로(34)를 경유한 YUV 방식의 화상 데이터 및, 이 YUV 방식의 화상 데이터를 화상 코덱(36)에 의해 데이터 압축(압축 부호화)한 스트림 데이터가, 예를 들면 메모리 장치(50)의 기억 매체에 보존된다. 이 YUV 데이터와 스트림 데이터 사이에는, 도 5A 내지 도 5D에 도시하는 바와 같은 데이터량에 대한 관계가 있다.
여기서, 도 5A, 도 5B에 도시한 스트림 데이터는, 예를 들면 도 9에 도시한 종래의 화상 압축 장치에 의해 데이터 압축을 행하도록 한 경우이며, 도 5C, 도 5D에 도시한 스트림 데이터는, 이 실시 형태의 디지털 카메라에서, 데이터 압축을 행하도록 한 경우를 나타내고 있다. 또한, YUV 데이터는, 모든 공간 주파수에 대하여, 성분의 크기가 동일한 경우를 나타내고 있다.
도 5A에, 화상의 공간 주파수의 성분의 크기가 동일한 화상의, YUV 데이터(데이터 압축 전의 데이터)와 스트림 데이터(데이터 압축 후의 데이터)와의 데이터량의 관계를 도시한다. 도 5A에서, 횡축은, 공간 주파수, 종축은 성분의 크기를 나타낸다. YUV 방식의 데이터는, 공간 주파수 성분의 크기가 동일하므로, 도 5A에서 점선으로 나타낸 바와 같이 평탄한 파형으로 된다.
한편, 스트림 데이터의 경우에는, 도 5A에서 실선으로 나타낸 바와 같이, 고주파 성분의 크기가 적게 되어 있다. 이것은, 화면 내의 근접하는 픽셀과의 화상 정보의 변화가 완만한 것이 자연 화상 중에 많고, 또한, 인간의 눈의 감성이 완만 한 화상 정보 변화에 민감하며, 급준한 화상 정보 변화에 둔감한 것을 이용하여, 예를 들면 JPEG 방식 등의 압축 부호화 방식을 이용함으로써, 고주파 성분을 저주파 성분에 비하여 크게 압축하도록 하고 있기 때문이다. 따라서, 화상 코덱의 양자화 처리에서는, DCT 변환한 후의 고주파 성분 쪽을 강하게 압축시킬 수 있게 된다.
도 5A에서 실선으로 나타낸 스트림 데이터와 같이 데이터 압축하는 경우, 도 9에 도시한 종래의 화상 압축 장치를 이용하는 경우를 생각하면, 실제로는, 도 9에 도시한 화상 압축 장치의 경우의 고정 길이용의 양자화 테이블(107)의 값을, 고역 쪽을 크게 할 필요가 있다. 도 6에 양자화 테이블의 값의 예를 도시한다. 좌측 상부가 직류 성분이고, 우측 하부로 감에 따라서, 수평, 수직 모두 공간 주파수가 높아진다.
도 6에서, 「99」의 값으로 되어 있는 것이, 고주파 성분을 압축시키는 효과로 되며, 이 도 6의 테이블의 값과, 예를 들면 도 9에 도시한 화상 압축 장치의 DCT(101)로부터 나오는 값을 도 9의 양자화부(102)에서 곱셈함으로써, 구해지는 스트림 데이터의 값이 작아진다. 이에 의해, 고주파 성분의 데이터는 「0(영)」이 많이 포함되게 되며, 도 9의 가변 길이 부호화(예를 들면, 런렝스 부호화) 블록(103)에서, 압축된다.
또한, 도 5B에 YUV 방식의 화상 데이터와 스트림 데이터의 도 1의 메모리 장치(50) 상의 메모리 맵을 도시한다. 이것은, 도 5A의 성분의 크기를 공간 주파수로 적분한 데이터량이 맵핑된 것이다. YUV의 데이터보다, 스트림 데이터 쪽이 작 은 것을 알 수 있다.
도 1을 이용하여 전술한 실시 형태의 디지털 카메라에서는, 고주파 적분 회로(32), 저주파 적분 회로(33)로부터의 출력 정보에 기초하여, CPU(61)가 행하는 데이터 압축 후의 화상 데이터의 부호화량의 예상 동작은, 도 5A에서, 스트림 데이터의 공간 주파수 성분의 크기가 작아지는 공간 주파수 Fth_1의 값을 정하는 것이 목적이다. 이것은, 메모리 장치(50) 상에 기록되는 스트림 데이터의 용량의 사이즈가 정하여지기 때문에 행하여지는 작업으로 된다.
도 5C가, 도 5A에 도시한 YUV 데이터를, 도 1에 도시한 이 실시 형태의 디지털 카메라의 차분 신호 처리 회로(37)에 의해 처리하여 압축한 YUV 데이터와, 도 5A에 도시한 YUV 데이터를 JPEG나 MPEG 등의 소정의 압축 방식으로 데이터 압축되어 형성된 스트림 데이터의 주로 데이터량에 대한 관계를 설명하기 위한 그래프이며, 도 5D가 도 5C에 도시한 YUV 방식의 데이터와 스트림 데이터를 기록한 메모리의 메모리 맵의 상태를 도시하는 도면이다.
스트림 데이터는, 도 5A에 도시한 스트림 데이터와 동일하다. 한편, YUV 데이터 쪽은, 공간 주파수 Fth_2까지는 증가하고, 그 후, 일정값으로 되어 있다. 이에 대하여 설명한다.
화상에 저역 공간 주파수 성분을 많이 포함한다는 것은, 차분 압축, 예를 들면, DPCM(Differential Pulse Code Modulation)을 사용하여 압축할 수 있는 것을 의미한다. 예를 들면, 0, 1, 2, 3, 4로 단조 증가하는 값에 관해서는, 스타트의 값(이 경우 "0")과 단조 증가("1")의 값만으로, 정보를 전달할 수 있다. 저역의 공간 주파수를 많이 포함하는 경우에는, 이와 같이 데이터의 차분 압축을 하여 보존한 쪽이 우위이다.
이 차분 압축은, 도 1에서, 차분 신호 처리 회로(37)에서 행하여지고, YUV 데이터를 메모리 장치(50)에 써넣을 때에, 고주파 성분보다도 저주파 성분이 많은 화상에 대해서는 차분 압축을 행하도록 하고, 차분 압축하여 메모리 장치(50)에 기록한 YUV 데이터를 이용하는 경우에는, 판독한 YUV 데이터의 차분 신장을 행하도록 하고 있다.
도 5C에서, 공간 주파수 Fth_2에서 성분의 크기가 일정하게 되어 있지만, 이것은, Fth_2 이상의 공간 주파수에서는 차분 압축을 행하면 데이터량이 반대로 증가하게 되므로, 차분 압축을 하지 않고 데이터를 작성한 쪽이 우위이기 때문이다.
예를 들면, 성분의 크기가, 0, 8, 0, 8, 0으로 토글하는 데이터에 대해서는 차분 압축하면, 스타트값(이 경우 "0")과 증가(+8), 감소(-8)로 되게 된다. 이것은, 원래의 데이터 열 0, 8, 0, 8, 0이, 0, +8, -8, +8, -8로 변환되게 되고, 부호의 비트분, 차분 압축하면 데이터량이 증가하게 된다.
따라서, 이 실시 형태의 디지털 카메라에서는, 촬영 화상에 포함되는 데이터의 저역 주파수 성분이 고역 주파수 성분보다 많은 경우만, 차분 압축을 행한다. 화면 전체에서, 차분 압축을 할지, 하지 않을지를 정하여도 되는 것이지만, 화면의 일부분마다, 저역 주파수 성분과 고역 주파수 성분의 크기를 비교하여, 어느 쪽의 방식으로 메모리에 기록할지를 정하여도 된다.
차분 압축의 유무가 촬영 화상에서 혼재하는 경우에는, 양자를 구별하기 위 한 식별자가 필요하게 되지만, 이것은, 도 1의 차분 신호 처리 회로(37) 내에 설치된 CPU(61)로부터의 설정 레지스터에 저장해 두고 이것을 이용하도록 하거나, 혹은, 소정 단위마다의 YUV 데이터에 대하여 부가하여, YUV 데이터와 함께 메모리 장치(50) 등에 기록하도록 하거나 하여도 된다.
요컨대, 메모리 장치(50)에 기록된 YUV 데이터를 판독하여 이용하는 경우에, 그 읽어낸 YUV 데이터가 차분 압축된 것인지의 여부를 정확하게 판별할 수 있어, 차분 압축되어 있는 YUV 데이터에 대해서만, 차분 신장 처리를 행할 수 있도록 해 두면 된다.
그리고, YUV 데이터에 대하여 차분 신호 처리를 행하지 않고 메모리 장치(50)에 기록한 경우의 도 5B에 도시하는 메모리 맵과, 고주파 성분보다 저주파 성분이 많은 YUV 데이터에 대하여 차분 신호 처리를 행하도록 하여, 메모리 장치(50)에 기록한 경우의 도 5D에 도시하는 메모리 맵을 비교하면 알 수 있듯이, 차분 신호 처리를 이용하도록 한 경우 쪽이, YUV 데이터 자신을 압축하여, 보다 적은 기억 용량으로, 예를 들면, 1화면분 전부의 YUV 데이터를 기억 보유할 수 있게 된다.
또한, 저주파 성분이 많은 YUV 데이터의 경우에는, 차분 신호 처리에 의해 효율적으로 그 데이터량을 적게 하는 것이 가능하지만, 저주파 성분이 많은 YUV 데이터를 예를 들면 JPEG 등 부호화 압축 방식에 의해 부호화 압축한 경우에는, 압축률은 어느 정도 저하하여, 스트림 데이터의 양은 많아진다.
이것과는 반대로, 고주파 성분이 많은 YUV 데이터의 경우에는, 차분 신호 처 리는 효율적으로 데이터량을 줄일 수는 없으므로, 차분 신호 처리는 행하지 않는다. 그러나, 고주파 성분이 많은 YUV 데이터를 예를 들면 JPEG 등 부호화 압축 방식에 의해 부호화 압축한 경우에는, 압축률은 향상되어, 도 5A, 도 5B에 도시한 바와 같이, 스트림 데이터의 양을 적게 할 수 있다.
따라서, 이 실시 형태의 디지털 카메라와 같이, 압축 부호화 전인 화상 데이터인 YUV 데이터와, 압축 부호화된 화상 데이터인 스트림 데이터를 메모리 장치(50) 등의 동일한 기억 매체에 기록하는 경우에서는, 도 5D에서 점선으로 나타낸 바와 같이, YUV 데이터와 스트림 데이터와의 데이터량은 화상의 주파수의 특성에 따라서 변화되게 되어, YUV 데이터와 스트림 데이터와의 양쪽을 기록하는 기억 매체를 적응적으로 효율적으로 이용할 수 있게 된다.
또한, 차분 신호 처리를 행하는 단위는, 1화면 단위이어도 되지만, 보다 효과를 높이기 위해서는, 보다 작은 단위 영역을 설정하고, 그 단위 영역마다 차분 신호 처리를 행하도록 하는 것이 바람직하다. 예를 들면, 1화면을 8분할, 16분할 등과 같이, 소정의 수로 분할하고, 그 분할한 단위 영역마다, 수평 방향과 수직 방향의 고주파 성분, 저주파 성분을 검출하고, 이것에 따라서 차분 신호 처리를 행할지의 여부를 결정하도록 하면 된다. 물론, 매크로 블록이나 서브 블록 단위로 행하도록 하여도 된다.
또한, 차분 신호 처리는, 최초의 1개만 원 데이터(차분 처리하고 있지 않은 원래 대로의 데이터)를 전송하고, 후에는 차분 데이터를 전송하는 식으로 해도 되지만, 오차의 영향을 배제하기 위해서, 원 데이터와 차분 데이터를 교대로 전송하 도록 하거나, 차분 데이터를 2회 전송하면 1회 원 데이터를 전송하거나 하는 식으로, 원 데이터와 차분 데이터를 어느 정도의 비율로 전송하도록 하는 것이 바람직하다.
이와 같이, 이 실시 형태의 디지털 카메라에서는, 고주파 적분 회로(32)에서 구해지는 압축 대상 화상의 수평 방향과 수직 방향의 고주파 성분의 특성(고주파 성분의 상태)과, 저주파 적분 회로(33)에서 구해지는 압축 대상 화상의 수평 방향과 수직 방향의 저주파 성분의 특성(저주파 성분의 상태)에 기초하여, JPEG나 MPEG 등의 소정의 압축 부호화 방식으로 데이터 압축하는 경우의 압축률을 정확하게 예측하여, 1회의 압축 부호화 처리에 의해 적정하게 압축 부호화할 수 있도록 하고 있다.
또한, 고주파 적분 회로(32), 저주파 적분 회로(33)의 출력에 기초하여, 차분 신호 처리 회로(37)를 제어하고, 메모리 장치(50)에 기록하는 YUV 데이터 자신을 차분 압축시켜, 메모리 장치(50)를 효율적으로 사용할 수 있도록 하고 있다.
[메모리 장치(50)에의 데이터의 써넣기/읽어내기]
다음으로, 도 1에 도시한 이 실시 형태의 디지털 카메라에서 행하여지는 메모리 장치(50)에의 데이터 써넣기 처리, 메모리 장치(50)로부터의 데이터의 읽어내기 처리에 대하여, 도 7, 도 8에 도시하는 플로우차트를 참조하면서 설명한다. 여기서, 도 7은, 메모리 장치(50)에의 데이터의 써넣기 처리를 설명하기 위한 플로우차트이며, 도 8은, 메모리 장치(50)로부터의 데이터의 읽어내기 처리를 설명하기 위한 플로우차트이다.
도 7의 플로우차트를 참조하면서, 메모리 장치(50)에의 데이터의 써넣기 처리에 대하여 설명한다. 예를 들면, 유저로부터의 지시 입력에 의해, 데이터의 메모리 장치(50)에의 써넣기가 지시되면, CPU(61)는 도 7의 플로우차트에 도시한 처리를 개시한다.
우선, CPU(61)는, 화상의 일부분마다, 도 1의 고주파 적분 회로(32) 및, 저주파 적분 회로(33)의 레지스터를 BIU(Bus Interface Unit) 경유하여 읽어낸다(스텝 S101). 그리고, 공급을 받은 화상 신호에 대하여, 상기 화상의 고주파 성분이 저주파 성분보다도 높은지의 여부를 판단한다(스텝 S102). 스텝 S102의 판단 처리에서, 고주파 성분 쪽이 저주파 성분보다도 많은 경우에는, CPU(61)는, 차분 신호부 레지스터에 "0"을 세트하고(스텝 S103), 차분 압축하지 않고 메모리 장치(50)의 상기 영역에 YUV 데이터(화상 데이터)를 써넣는다(스텝 S104).
스텝 S102의 판단 처리에서, 고주파 성분의 데이터량보다 저주파수 성분이 많으면, CPU(61)는, 차분 신호부 레지스터에 "1"을 세트하고(스텝 S105), 차분 압축하여 메모리 장치(50)의 상기 영역에 YUV 데이터(화상 데이터)를 써넣는다(스텝 S106).
스텝 S104의 데이터의 써넣기 처리, 또는, 스텝 S106의 데이터의 써넣기 처리가 종료하였을 때에는, 유효 화상에 대하여 모두 종료하였는지의 여부를 판단하고(스텝 S107), 종료하지 않았다고 판단하였을 때에는, 스텝 S101로부터의 처리를 반복하고, 종료하였다고 판단하였을 때에는, 이 도 7에 도시하는 처리를 종료한다.
다음으로, 도 8의 플로우차트를 참조하면서, 메모리 장치(50)로부터의 데이터의 읽어내기 처리에 대하여 설명한다. 이 도 8에 도시하는 처리는, 도 1에 도시한 CPU(61)에서 행하도록 할 수도 있고, 차분 신호 처리 회로(37)의 내부에서 행하도록 할 수도 있다. 여기서는, 차분 신호 처리 회로(37)의 내부에서 행하도록 하는 경우를 예로 하여 설명한다.
CPU(61)로부터의 제어에 의해, 데이터의 판독 제어 신호를 접수하면, 차분 신호 처리 회로(37)는, 도 8에 도시한 처리를 개시한다. 우선, 차분 신호 처리 회로(7)는, 자신이 갖는 레지스터로서, 메모리 장치(50)로부터 읽어내고자 하고 있는 YUV 데이터에 대한 데이터의 써넣기 시의 차분 압축의 유무를 나타내는 플래그의 값을 읽어내고(스텝 S201), "0" 차분 압축 없음의 데이터인지의 여부를 판단한다(스텝 S202).
스텝 S202의 판단 처리에서, 레지스터로부터 판독한 값이 "0"이라고 판단하였을 때에는, 읽어내고자 하고 있는 YUV 데이터는, 차분 압축되어 있지 않은 영역의 데이터이므로, 차분 신장 처리는 행하지 않고 메모리 장치(50)로부터 데이터를 읽어낸다(스텝 S203). 또한, 스텝 S202의 판단 처리에서, 레지스터로부터 판독한 값이 "0"이 아니라고 판단하였을 때에는, 판독하고자 하는 YUV 데이터는, 차분 압축되어 있는 영역의 데이터이므로, 차분 신장 처리를 행하도록 하여 메모리 장치(50)로부터 데이터를 읽어낸다(스텝 S204).
스텝 S203, 또는, 스텝 S204의 처리 후, 차분 신호 처리 회로(37)의 레지스터 어드레스를 보진하고(스텝 S205), 유효 화상에 대하여 종료하였는지의 여부를 판단한다(스텝 S206). 이 스텝 S206의 판단 처리에서, 아직, 유효 화상의 전부에 대하여 읽어내기가 종료하지 않았다고 판단하였을 때에는, 스텝 S201로부터의 처리를 반복하고, 종료하였다고 판단하였을 때에는, 이 도 8에 도시하는 처리를 종료한다.
이와 같이, 메모리 장치(50)에 기록하는 압축 부호화 전인 화상 데이터인 YUV 데이터에 대해서도, YUV 데이터가 형성하는 화상의 주파수 특성에 따라서, 효율적으로 데이터량을 조정할 수 있음과 함께, 데이터량을 조정하여 메모리 장치(50)에 기록한 경우에도, 판독 시에 적정하게 복원하여, 이것을 이용할 수 있다.
또한, 전술한 실시 형태에서는, 메모리 제어 회로(38)가 기록 제어 수단으로서의 기능을 실현하고, 고주파 적분 회로(32)가 제1 검출 수단으로서의 기능을 실현하고, 저주파 적분 회로(33)가 제2 검출 수단으로서의 기능을 실현하고 있다. 또한, CPU(61)의 부호량 예측부로서의 기능이, 압축률을 산출하는 산출 수단으로서의 기능을 실현하고, 화상 코덱(36)이 부호화 수단으로서의 기능을 실현하고 있다.
또한, 화상 신호의 정보량을 조정하는 정보량 조정 수단으로서의 기능은, 차분 신호 처리 회로(37)가 실현하고, 정보량의 조정을 행할지의 여부를 결정하는 결정 수단으로서의 기능은, 고주파 적분 회로(32)로부터의 검출 출력과, 저주파 적분 회로(33)로부터의 검출 출력을 접수하는 CPU(61)가 실현하도록 하고 있다.
또한, 도 1에 도시한 고주파 적분 회로(32), 저주파 적분 회로(33), 화상 코덱(36), 차분 신호 처리 회로(37), 부호량 예측부(61) 등의 각 부의 기능을, 예를 들면, CPU(61), 혹은, CPU(61)와 카메라 DSP에서 실행되는 프로그램(소프트웨어)에 의해 실현하는 것도 가능하다.
또한, 전술한 실시 형태에서는, 정지 화상 데이터를 처리하는 경우를 예로 하여 설명하였지만, 이것에 한정되는 것은 아니다. 동화상 데이터에 대해서도, 전술한 정지 화상 데이터를 처리하는 경우와 거의 마찬가지로 하여 적용하는 것이 가능하다. 즉, 동화상 기록 기능에 관해서도 본 발명을 응용하는 것이 가능하다. 기록용 동화상의 신호 처리와 병렬로, 그 동화상의 고주파 성분 적분 데이터를 이용한 부호량 예측을 행하면, 동화상 압축 후의 부호량 또는 비트 레이트를 효율적으로 제어할 수 있다.
또한, 전술한 실시 형태에서는, 주로 정지 화상을 촬상하는 디지털 카메라에 본 발명을 적용한 경우를 예로 하여 설명하였지만, 이것에 한정되는 것은 아니다. 동화상을 촬상하는 소위 디지털 비디오 카메라나, 카메라 기능을 갖는 휴대 전화 단말기, 카메라 기능을 갖는 PDA, 카메라 기능을 갖는 정보 처리 장치, 나아가서는, DVD 기록 재생기, CD 기록 재생기, 하드디스크를 기록 매체로서 이용하는 기록 재생기, VTR(Video Tape Recorder), 퍼스널 컴퓨터 등의 정지 화상 데이터, 동화상 데이터를 처리하는 여러 가지의 기기에서, 이들 정지 화상 데이터나 동화상 데이터를 압축 처리하는 모든 경우에 본 발명을 적용 가능하다.
본 발명에 따르면, 압축 대상인 화상의 부호량 예측 처리와 화상 압축 처리를 복수회 행하는 것을 회피할 수 있어, 화상 압축 처리의 시간 단축을 실현할 수 있다. 또한, 압축 대상인 화상의 부호량 예측 처리와 화상 압축 처리를 각각 1회 의 처리로 완료할 수 있어, 압축 대상인 1화면의 원화상 전체 데이터를 저장하는 메모리를 불필요하게 할 수 있다. 따라서, 회로 규모의 대규모화나 고코스트화를 초래하지 않고 화상 압축 처리 장치를 구성할 수 있다.
또한, 동일한 화상에 대하여 압축 처리를 복수회 반복하는 일도 없음에도 불구하고, 화상의 고주파 성분을 이용하여 화상의 부호량 예측을 하므로, 부호량의 예측 정밀도를 향상시켜, 보다 적정한 압축률을 이용하여 화상의 압축 처리를 행할 수 있으므로, 화상 압축에 의한 화질 열화를 저감시킬 수 있다.
또한, 압축 대상인 화상의 부호량을 예측하기 위해 압축 대상인 화상의 고주파 성분을 추출하는 처리는, 상기 압축 대상인 화상의 썸네일(준비 화상) 등을 이용하는 일 없이, 압축 대상인 화상 그 자체로부터 고주파 성분을 추출하고, 이것에 기초하여 부호량을 예측하므로, 부호량의 예측 정밀도를 향상시킬 수 있다.
또한, 수평 방향과 수직 방향의 고주파 성분의 양쪽을 이용하여 부호량을 예측하도록 하고 있으므로, 수평 방향과 수직 방향의 주파수 대역이 언밸런스한 화상에 대한 부호량의 예측 정밀도를 향상시킬 수 있다. 즉, 여러 가지의 특징을 갖는 압축 대상인 화상에 대하여, 부호량의 예측을 적정하게 행하여, 압축률을 정확하게 설정할 수 있다.
또한, 압축 대상인 화상의 수직 방향의 고주파 성분을 추출하기 위하여 필요한 1라인분 또는 수라인분의 메모리에 대해서는, 수평 화소 씨닝 처리를 병용함으로써, 매우 소용량의 메모리가 있으면 되어, 회로 규모의 대규모화를 방지하고, 소비 전력도 삭감할 수 있다.
또한, 압축 대상인 화상과, 부호량 예측에 이용하는 화상을 일치시키도록 타이밍 제어를 행함으로써, 압축 대상인 화상에 대한 부호량의 예측 정밀도를 향상시킬 수 있다.
또한, 본 발명을 카메라(촬상 장치)에 적용한 경우 등에서는, 압축 대상인 화상에 포함되는 공간 주파수의 분포 상황을 판별하여, 카메라 신호 처리 후의 화상 데이터(YUV 데이터)와 압축 처리 후의 데이터의 용량을 정하도록 하고, 메모리 써넣기 데이터를 삭감함으로써, 메모리 용량의 삭감과, 소비 전력의 삭감을 실현할 수 있다. 따라서, 촬상 장치에서, 촬영 동작 간격의 단축을 실현하여, 짧은 시간 간격으로 화상의 촬영을 반복하여 행하도록 할 수 있다.
또한, 본 발명을 카메라(촬상 장치)에 적용한 경우 등에서는, 압축 대상인 화상에 저주파 성분이 많을 때에는, 카메라 신호 처리 후의 화상 데이터(YUV 데이터)는, 차분 압축을 하여 메모리 장치에 써넣고, 그렇지 않은 경우에는, 차분 압축을 하지 않고, 메모리 장치에 써넣도록 제어함으로써, 메모리 용량의 최적화를 도모할 수 있다.
또한, 주파수 적분 회로를 이용하여, 압축 대상인 화상의 특성이, 고주파 성분이 많은지, 저주파 성분이 많은지를 판별하도록 하고 있으므로, 적정하게 화상의 특성을 판별하여, 화상 압축 처리를 정확하고 또한 확실하게 행할 수 있음과 함께, 메모리 용량의 최적화를 도모하는 등의 여러 가지의 효과를 높일 수 있다.

Claims (22)

  1. 화상 신호의 공급을 받아, 이것을 기억 매체에 기록하는 기록 제어 수단과,
    상기 화상 신호의 공급을 받아, 상기 화상 신호의 수평 방향의 고주파 성분과 수직 방향의 고주파 성분의 특성을 검출하는 제1 검출 수단과,
    상기 제1 검출 수단으로부터의 검출 결과에 기초하여, 상기 화상 신호를 소정의 부호화 방식으로 압축 부호화할 때의 압축률을 산출하는 산출 수단과,
    상기 산출 수단에 의해 산출된 압축률에 기초하여, 상기 화상 신호 혹은 상기 기억 매체로부터 읽어내어지는 화상 신호를 압축 부호화하는 부호화 수단
    을 구비하는 것을 특징으로 하는 화상 압축 처리 장치.
  2. 제1항에 있어서,
    상기 화상 신호의 공급을 받아, 상기 화상 신호의 수평 방향의 저주파 성분과 수직 방향의 저주파 성분의 특성을 검출하는 제2 검출 수단을 구비하고,
    상기 산출 수단은, 상기 제1 검출 수단으로부터의 검출 결과와, 상기 제2 검출 수단으로부터의 검출 결과에 기초하여, 상기 화상 신호를 소정의 부호화 방식으로 압축 부호화할 때의 압축률을 산출하는 것을 특징으로 하는 화상 압축 처리 장치.
  3. 제2항에 있어서,
    상기 제1 검출 수단으로부터의 검출 결과와, 상기 제2 검출 수단으로부터의 검출 결과에 기초하여, 상기 기억 매체에 기억하는 상기 화상 신호의 정보량의 조정을 행할지의 여부를 결정하는 결정 수단과,
    상기 기록 제어 수단의 전단에 설치되고, 상기 결정 수단에 의해 정보량의 조정을 행하는 것이 결정된 경우에, 상기 기록 제어 수단에 공급하는 상기 화상 신호의 정보량을 조정하는 정보량 조정 수단
    을 구비하는 것을 특징으로 하는 화상 압축 처리 장치.
  4. 화상 신호의 공급을 받아, 이것을 기억 매체에 기록하는 기록 제어 수단과,
    상기 화상 신호의 공급을 받아, 상기 화상 신호의 수평 방향의 고주파 성분과 수직 방향의 고주파 성분의 특성을 검출하는 제1 검출 수단과,
    상기 화상 신호의 공급을 받아, 상기 화상 신호의 수평 방향의 저주파 성분과 수직 방향의 저주파 성분의 특성을 검출하는 제2 검출 수단과,
    상기 제1 검출 수단으로부터의 검출 결과와, 상기 제2 검출 수단으로부터의 검출 결과에 기초하여, 상기 기억 매체에 기억하는 상기 화상 신호의 정보량의 조정을 행할지의 여부를 결정하는 결정 수단과,
    상기 기록 제어 수단의 전단에 설치되고, 상기 결정 수단에 의해 정보량의 조정을 행하는 것이 결정된 경우에, 상기 기록 제어 수단에 공급하는 상기 화상 신호의 정보량을 조정하는 정보량 조정 수단
    을 구비하는 것을 특징으로 하는 화상 압축 처리 장치.
  5. 화상 신호를 기억 매체에 기록하도록 제어하는 기록 제어 공정과,
    상기 화상 신호의 수평 방향의 고주파 성분과 수직 방향의 고주파 성분의 특성을 검출하는 제1 검출 공정과,
    상기 제1 검출 공정에서의 검출 결과에 기초하여, 상기 화상 신호를 소정의 부호화 방식으로 압축 부호화할 때의 압축률을 산출하는 산출 공정과,
    상기 산출 수단에서 산출한 압축률에 기초하여, 상기 화상 신호 혹은 상기 기억 매체로부터 읽어내어지는 화상 신호를 압축 부호화하는 부호화 공정
    을 갖는 것을 특징으로 하는 화상 압축 처리 방법.
  6. 제5항에 있어서,
    상기 화상 신호의 수평 방향의 저주파 성분과 수직 방향의 저주파 성분의 특성을 검출하는 제2 검출 공정을 구비하고,
    상기 산출 공정에서는, 상기 제1 검출 공정에서의 검출 결과와, 상기 제2 검출 공정에서의 검출 결과에 기초하여, 상기 화상 신호를 소정의 부호화 방식으로 압축 부호화할 때의 압축률을 산출하는 것을 특징으로 하는 화상 압축 처리 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 산출 공정에서는,
    상기 제1 검출 공정에서의 검출 결과에 기초하여, 혹은, 상기 제1 검출 공정 에서의 검출 결과와, 상기 제2 검출 공정에서의 검출 결과에 기초하여, 상기 화상 신호의 압축 후의 바이트수를 산출하고,
    산출된 상기 압축 후의 바이트수에 기초하여, 상기 화상 신호를 1회의 압축 부호화 처리에 의해 소정 바이트수까지 압축하기 위한 양자화 스케일을 산출하고,
    산출한 상기 양자화 스케일에 기초하여, 상기 기록 화상의 압축에 이용되는 양자화 테이블을 생성하고,
    생성한 상기 양자화 테이블에 의해, 상기 화상 신호의 압축률을 지시하는 것을 특징으로 하는 화상 압축 처리 방법.
  8. 제5항에 있어서,
    상기 제1 검출 공정에서는,
    상기 화상 신호로부터 휘도 신호, 혹은, 상기 화상 신호에 따른 저주파 성분과 고주파 성분을 포함하고, 상기 휘도 신호와 동등한 주파수 특성을 갖는 의사 휘도 신호를 생성하고,
    상기 휘도 신호 혹은 상기 의사 휘도 신호로부터 상기 화상 신호의 수평 방향의 고주파 성분의 특성을 검출하고,
    상기 휘도 신호 혹은 상기 의사 휘도 신호로부터 상기 화상 신호의 수직 방향의 고주파 성분의 특성을 검출하는
    것을 특징으로 하는 화상 압축 처리 방법.
  9. 제8항에 있어서,
    상기 수평 방향의 고주파 성분의 특성은,
    상기 휘도 신호 혹은 상기 의사 휘도 신호로부터 수평 방향의 고주파 성분을 추출하고,
    추출한 상기 수평 방향의 고주파 성분을 절대값화하고,
    절대값화된 상기 수평 방향의 고주파 성분에 기초하여 수평 방향의 고주파 성분의 특성을 검출하고,
    상기 수직 방향의 고주파 성분의 특성은,
    상기 휘도 신호 혹은 상기 의사 휘도 신호의 정보량을 조정하기 위해 주파수 대역을 제한하고,
    대역 제한한 상기 휘도 신호 혹은 상기 의사 휘도 신호의 수평 방향의 화소의 씨닝 혹은 보완을 행하고,
    씨닝 혹은 보완이 이루어진 1수평 라인분의 상기 휘도 신호 혹은 상기 의사 휘도 신호를 라인 메모리에 기억하고,
    씨닝 혹은 보완이 이루어진 1수평 라인분의 상기 휘도 신호 혹은 상기 의사 휘도 신호와, 1수평 라인분 지연된 상기 라인 메모리로부터의 상기 휘도 신호 혹은 상기 의사 휘도 신호와의 사이에서 연산을 행하여, 수직 방향의 고주파 성분을 추출하고,
    추출한 상기 수평 방향의 고주파 성분을 절대값화하고,
    절대값화한 상기 수직 방향의 고주파 성분에 기초하여 수직 방향의 고주파 성분의 특성을 검출하는
    것을 특징으로 하는 화상 압축 처리 방법.
  10. 제6항에 있어서,
    상기 기억 매체에 기록하는 상기 화상 신호의 수평 방향의 저주파 성분과 수직 방향의 저주파 성분의 검출은,
    상기 화상 신호로부터 휘도 신호, 혹은, 상기 화상 신호에 따른 저주파 성분과 고주파 성분을 포함하고, 상기 휘도 신호와 동등한 주파수 특성을 갖는 의사 휘도 신호를 생성하고,
    상기 휘도 신호 혹은 상기 의사 휘도 신호로부터 상기 화상 신호의 수평 방향의 저주파 성분의 특성을 검출하고,
    상기 휘도 신호 혹은 상기 의사 휘도 신호로부터 상기 화상 신호의 수직 방향의 저주파 성분의 특성을 검출하는
    것을 특징으로 하는 화상 압축 처리 방법.
  11. 제10항에 있어서,
    상기 수평 방향의 저주파 성분의 특성은,
    상기 휘도 신호 혹은 상기 의사 휘도 신호의 공급으로부터 수평 방향의 저주파 성분을 추출하고,
    추출된 상기 수평 방향의 저주파 성분을 절대값화하고,
    절대값화한 상기 수평 방향의 저주파 성분에 기초하여 수평 방향의 저주파 성분의 특성을 검출하고,
    상기 수직 방향의 저주파 성분의 특성은,
    상기 휘도 신호 혹은 상기 의사 휘도 신호의 정보량을 조정하기 위해 주파수 대역을 제한하고,
    대역 제한한 상기 휘도 신호 혹은 상기 의사 휘도 신호의 수평 방향의 화소의 씨닝 혹은 보완을 행하고,
    씨닝 혹은 보완이 이루어진 1수평 라인분의 상기 휘도 신호 혹은 상기 의사 휘도 신호를 라인 메모리에 기억하고,
    씨닝 혹은 보완이 이루어진 1수평 라인분의 상기 휘도 신호 혹은 상기 의사 휘도 신호와, 1수평 라인분 지연된 상기 라인 메모리로부터의 상기 휘도 신호 혹은 상기 의사 휘도 신호와의 사이에서 연산을 행하여, 수직 방향의 저주파 성분을 추출하고,
    추출한 수평 방향의 저주파 성분을 절대값화하고,
    절대값화한 상기 수직 방향의 저주파 성분에 기초하여 수직 방향의 저주파 성분의 특성을 검출하는
    것을 특징으로 하는 화상 압축 처리 방법.
  12. 제6항에 있어서,
    상기 제1 검출 공정에서의 검출 결과와, 상기 제2 검출 공정에서의 검출 결 과에 기초하여, 상기 기억 매체에 기억하는 상기 화상 신호의 정보량의 조정을 행할지의 여부를 결정하고,
    정보량의 조정을 행한다고 결정한 경우에, 상기 기억 매체에 기록하는 상기 화상 신호의 정보량을 조정하는
    것을 특징으로 하는 화상 압축 처리 방법.
  13. 제12항에 있어서,
    상기 화상 신호의 정보량의 조정은, 상기 화상 신호의 차분 압축 처리를 행하는 것이며,
    상기 수평 방향의 고주파 성분의 특성과, 상기 수직 방향의 고주파 성분의 특성과, 상기 수평 방향의 저주파 성분의 특성과, 상기 수직 방향의 저주파 성분의 특성에 기초하여, 상기 화상 신호가 고주파 성분보다도 저주파 성분 쪽이 많은 경우에 정보량의 조정을 행하는 것을 결정하는 것을 특징으로 하는 화상 압축 처리 방법.
  14. 제12항 또는 제13항에 있어서,
    상기 화상 신호의 정보량을 조정할지의 여부의 결정은, 상기 화상 신호에 의해 형성되는 화상의 소정의 처리 단위 영역마다 행하는 것을 특징으로 하는 화상 압축 처리 방법.
  15. 화상 신호를 기억 매체에 기록하도록 하는 기록 제어 공정과,
    상기 화상 신호의 수평 방향의 고주파 성분과 수직 방향의 고주파 성분의 특성을 검출하는 제1 검출 공정과,
    상기 화상 신호의 수평 방향의 저주파 성분과 수직 방향의 저주파 성분의 특성을 검출하는 제2 검출 공정과,
    상기 제1 검출 공정에서의 검출 결과와, 상기 제2 검출 수단에서의 검출 결과에 기초하여, 상기 기억 매체에 기억하는 상기 화상 신호의 정보량의 조정을 행할지의 여부를 결정하는 결정 공정과,
    상기 결정 공정에서, 상기 화상 신호의 정보량의 조정을 행하는 것을 결정한 경우에, 상기 기억 매체에 기록하는 상기 화상 신호의 정보량을 조정하는 정보량 조정 공정
    을 갖는 것을 특징으로 하는 화상 압축 처리 방법.
  16. 제15항에 있어서,
    상기 정보량 조정 공정에서는, 상기 화상 신호의 차분 압축 처리를 행하도록 하고 있고,
    상기 결정 공정에서는, 상기 제1 검출 공정에서의 검출 결과와, 상기 제2 검출 공정에서의 검출 결과에 기초하여, 상기 화상 신호가 고주파 성분보다도 저주파 성분 쪽이 많은 경우에 정보량의 조정을 행하는 것을 결정하는 것을 특징으로 하는 화상 압축 처리 방법.
  17. 제15항 또는 제16항에 있어서,
    상기 결정 공정에서는, 상기 화상 신호에 의해 형성되는 화상의 소정의 처리 단위 영역마다, 정보량의 조정을 행할지의 여부를 결정하는 것을 특징으로 하는 화상 압축 처리 방법.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    피사체의 화상을 촬상하여 화상 신호를 형성하여 출력하는 촬상 수단을 구비한 촬상 장치에서 이용되고,
    상기 기억 매체에 기록되는 상기 화상 신호는, 상기 촬상 수단으로부터 출력된 것인 것을 특징으로 하는 화상 압축 처리 방법.
  19. 화상 신호를 처리하는 컴퓨터에,
    화상 신호를 기억 매체에 기록하도록 제어하는 기록 제어 스텝과,
    상기 화상 신호의 수평 방향의 고주파 성분과 수직 방향의 고주파 성분의 특성을 검출하는 제1 검출 스텝과,
    상기 제1 검출 스텝에서의 검출 결과에 기초하여, 상기 화상 신호를 소정의 부호화 방식으로 압축 부호화할 때의 압축률을 산출하는 산출 스텝과,
    상기 산출 스텝에서 산출한 압축률에 기초하여, 상기 화상 신호 혹은 상기 기억 매체로부터 읽어내어지는 화상 신호를 압축 부호화하는 부호화 스텝
    을 실행시키는 것을 특징으로 하는 화상 압축 처리 프로그램.
  20. 화상 신호를 처리하는 컴퓨터에,
    화상 신호를 기억 매체에 기록하도록 하는 기록 제어 스텝과,
    상기 화상 신호의 수평 방향의 고주파 성분과 수직 방향의 고주파 성분의 특성을 검출하는 제1 검출 스텝과,
    상기 화상 신호의 수평 방향의 저주파 성분과 수직 방향의 저주파 성분의 특성을 검출하는 제2 검출 스텝과,
    상기 제1 검출 스텝에서의 검출 결과와, 상기 제2 검출 스텝에서의 검출 결과에 기초하여, 상기 기억 매체에 기억하는 상기 화상 신호의 정보량의 조정을 행할지의 여부를 결정하는 결정 스텝과,
    상기 결정 공정에서, 상기 화상 신호의 정보량의 조정을 행하는 것을 결정한 경우에, 상기 기억 매체에 기록하는 상기 화상 신호의 정보량을 조정하는 정보량 조정 스텝
    을 실행시키는 것을 특징으로 하는 화상 압축 처리 프로그램.
  21. 화상 신호의 공급을 받아, 이것을 기억 매체에 기록하는 기록 제어부와,
    상기 화상 신호의 공급을 받아, 상기 화상 신호의 수평 방향의 고주파 성분과 수직 방향의 고주파 성분의 특성을 검출하는 제1 검출부와,
    상기 제1 검출부로부터의 검출 결과에 기초하여, 상기 화상 신호를 소정의 부호화 방식으로 압축 부호화할 때의 압축률을 산출하는 산출부와,
    상기 산출부에 의해 산출된 압축률에 기초하여, 상기 화상 신호 혹은 상기 기억 매체로부터 읽어내어지는 화상 신호를 압축 부호화하는 부호화부
    를 구비하는 것을 특징으로 하는 화상 압축 처리 장치.
  22. 화상 신호의 공급을 받아, 이것을 기억 매체에 기록하는 기록 제어부와,
    상기 화상 신호의 공급을 받아, 상기 화상 신호의 수평 방향의 고주파 성분과 수직 방향의 고주파 성분의 특성을 검출하는 제1 검출부와,
    상기 화상 신호의 공급을 받아, 상기 화상 신호의 수평 방향의 저주파 성분과 수직 방향의 저주파 성분의 특성을 검출하는 제2 검출부와,
    상기 제1 검출부로부터의 검출 결과와, 상기 제2 검출부로부터의 검출 결과에 기초하여, 상기 기억 매체에 기억하는 상기 화상 신호의 정보량의 조정을 행할지의 여부를 결정하는 결정부와,
    상기 기록 제어부의 전단에 설치되고, 상기 결정부에 의해 정보량의 조정을 행하는 것이 결정된 경우에, 상기 기록 제어부에 공급하는 상기 화상 신호의 정보량을 조정하는 정보량 조정부
    를 구비하는 것을 특징으로 하는 화상 압축 처리 장치.
KR20067026942A 2004-06-22 2005-06-22 화상 압축 처리 장치, 화상 압축 처리 방법 및 화상 압축처리 프로그램 KR20070027605A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00183226 2004-06-22
JP2004183226A JP4359773B2 (ja) 2004-06-22 2004-06-22 画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラム

Publications (1)

Publication Number Publication Date
KR20070027605A true KR20070027605A (ko) 2007-03-09

Family

ID=35510135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20067026942A KR20070027605A (ko) 2004-06-22 2005-06-22 화상 압축 처리 장치, 화상 압축 처리 방법 및 화상 압축처리 프로그램

Country Status (8)

Country Link
US (1) US7881543B2 (ko)
EP (1) EP1761067A1 (ko)
JP (1) JP4359773B2 (ko)
KR (1) KR20070027605A (ko)
CN (1) CN100576922C (ko)
BR (1) BRPI0512351A (ko)
RU (1) RU2341036C2 (ko)
WO (1) WO2005125216A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101296152B1 (ko) * 2009-03-25 2013-08-19 닛뽕빅터 가부시키가이샤 섬네일 생성 장치 및 섬네일 생성 방법
KR101367777B1 (ko) * 2012-08-22 2014-03-06 주식회사 핀그램 적응 이미지 압축시스템 및 그 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199019A (ja) * 2001-12-26 2003-07-11 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム
KR20070024211A (ko) * 2005-08-26 2007-03-02 삼성전자주식회사 영상압축장치 및 방법
JP5046542B2 (ja) * 2006-03-31 2012-10-10 キヤノン株式会社 データ処理装置及びその方法、並びに、情報処理装置及びその方法
US8135071B2 (en) * 2007-01-16 2012-03-13 Cisco Technology, Inc. Breakpoint determining for hybrid variable length coding using relationship to neighboring blocks
JP4869149B2 (ja) 2007-05-16 2012-02-08 オリンパスイメージング株式会社 画像データ圧縮装置、画像データ圧縮方法およびプログラム
WO2010058510A1 (ja) * 2008-11-18 2010-05-27 パナソニック株式会社 撮像装置とその画像圧縮率制御方法
JP2010199656A (ja) 2009-02-23 2010-09-09 Panasonic Corp 動画撮像装置
JP5306061B2 (ja) * 2009-06-01 2013-10-02 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5596948B2 (ja) * 2009-09-18 2014-09-24 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5641898B2 (ja) * 2010-11-26 2014-12-17 ルネサスエレクトロニクス株式会社 画像圧縮装置及び画像圧縮方法並びにプログラム
EP3493543B1 (en) * 2010-12-17 2020-12-23 Mitsubishi Electric Corporation Moving image encoding device, moving image decoding device, moving image encoding method and moving image decoding method
JP2013066157A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6083973B2 (ja) * 2012-08-08 2017-02-22 株式会社メガチップス データ記憶制御装置およびデータ記憶方法
US8879858B1 (en) 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
US9940733B2 (en) * 2014-06-26 2018-04-10 Intel Corporation Virtual memory supported compression control surfaces
CN104954804B (zh) * 2015-06-19 2018-02-02 苏州淘老外网络科技有限公司 一种自适应图像分辨率处理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02111176A (ja) 1988-10-20 1990-04-24 Canon Inc 全固体カメラ
US5051840A (en) * 1988-12-14 1991-09-24 Fuji Photo Film Co., Ltd. Device for coding a picture signal by compression
JPH0763445B2 (ja) 1989-10-05 1995-07-12 オリンパス光学工業株式会社 内視鏡画像データ記録再生装置
JP2549013B2 (ja) 1990-10-08 1996-10-30 日本ビクター株式会社 データ圧縮装置
JPH07203428A (ja) 1993-12-28 1995-08-04 Canon Inc 画像処理方法及び装置
JP3795932B2 (ja) 1994-05-19 2006-07-12 富士写真フイルム株式会社 画像データ圧縮符号化方法および装置
ATE246864T1 (de) * 1994-06-06 2003-08-15 Sci Worx Gmbh Verfahren zur codierung/decodierung eines datenstroms
JP3115199B2 (ja) * 1994-12-16 2000-12-04 松下電器産業株式会社 画像圧縮符号化装置
JPH10164579A (ja) 1996-11-29 1998-06-19 Sanyo Electric Co Ltd 符号化制御方法およびその方法を用いた符号化制御装置
CN1167034C (zh) * 2001-02-27 2004-09-15 华为技术有限公司 图像预去噪的方法
KR100438856B1 (ko) * 2001-06-14 2004-07-05 엘지전자 주식회사 능동적인 테이블 생성에의한 양자화/역양자화 방법 및 장치
JP2003199019A (ja) 2001-12-26 2003-07-11 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101296152B1 (ko) * 2009-03-25 2013-08-19 닛뽕빅터 가부시키가이샤 섬네일 생성 장치 및 섬네일 생성 방법
KR101367777B1 (ko) * 2012-08-22 2014-03-06 주식회사 핀그램 적응 이미지 압축시스템 및 그 방법

Also Published As

Publication number Publication date
WO2005125216A1 (ja) 2005-12-29
JP2006013570A (ja) 2006-01-12
CN100576922C (zh) 2009-12-30
CN1973551A (zh) 2007-05-30
US7881543B2 (en) 2011-02-01
RU2006145909A (ru) 2008-06-27
JP4359773B2 (ja) 2009-11-04
US20070110328A1 (en) 2007-05-17
BRPI0512351A (pt) 2008-03-04
RU2341036C2 (ru) 2008-12-10
EP1761067A1 (en) 2007-03-07

Similar Documents

Publication Publication Date Title
KR101241662B1 (ko) 화상 데이터 처리 장치, 화상 데이터 처리 방법 및 기록매체
JP4359773B2 (ja) 画像圧縮処理装置、画像圧縮処理方法および画像圧縮処理プログラム
US7444031B2 (en) Image processing apparatus
US8009924B2 (en) Method and apparatus for recording image data
US8611426B2 (en) Image-sensing apparatus
KR101264389B1 (ko) 촬상 장치 및 방법
US9167198B2 (en) Image processing apparatus and image processing method
US8538174B2 (en) Image processing device
WO2009060970A1 (ja) 信号処理装置及び信号処理プログラム
EP1542453B1 (en) Image pickup system
US20170359471A1 (en) Imaging apparatus
JP2018088652A (ja) 撮像装置、画像処理方法、及び、プログラム
US10491854B2 (en) Image capturing apparatus, image processing method, and non-transitory computer-readable storage medium
US10003801B2 (en) Image capturing apparatus that encodes and method of controlling the same
JP6741532B2 (ja) 撮像装置および記録方法
US11032547B2 (en) Image encoding apparatus, control method thereof, and non-transitory computer-readable storage medium
JP4253839B2 (ja) 画像圧縮方法、画像圧縮プログラム、画像圧縮装置及びデジタルカメラ
JPH11298762A (ja) 暗電流ノイズ除去装置
JP2020005093A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2002374488A (ja) デジタル画像記録装置
JP2007228514A (ja) 撮像装置および方法
JP2011125058A (ja) 撮像装置
JP2012195849A (ja) 動画像処理装置およびカメラシステム
JP2000308011A (ja) 画像信号処理方法および装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee