JP2018019239A - 撮像装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 撮像して得たＲＡＷ画像データの符号化する際の画質劣化を抑制しながらも、高い符号化効率で符号化する。
【解決手段】 撮像センサより撮像した画像を符号化する撮像装置であって、撮像センサより得られたベイヤ配列のＲＡＷ画像データから、それぞれが単一成分の画素で構成される４つのプレーンに変換するプレーン変換部と、得られた各プレーンを周波数変換し、複数のサブバンドを生成する周波数変換部と、撮像装置における撮像に関するカメラ情報に基づき、サブバンドを構成する係数データを非線形変換する非線形変換部と、該非線形変換部による非線形変換で得られた係数データを量子化し、符号化する符号化部とを有する。
【選択図】 図１

Description

本発明は、撮像装置に関し、特に、静止画または動画のＲＡＷ画像を扱う技術に関する。

撮像装置では、撮像センサによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤ処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行う。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録する。

一方、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があり、上級者によって好んで使われている。ただし、ＲＡＷ画像はデータ量が膨大であるため、限りある記録媒体に少しでも多くの画像を記録出来るようデータ量を抑えたい。このため、ＲＡＷ画像を圧縮することでデータ量を抑える。しかし、撮影条件によっては圧縮によって画質劣化を招くことがある。

特許文献１には、画質劣化を抑えるため、人間の視覚システムの特性に応じて量子化を変更する構成が記載されている。

特開２０００−１５２２４０号公報

しかしながら、上記従来技術では、撮影条件によってデータが変わるＲＡＷ画像では、符号化時の画像データが現像処理によって輝度、コントラスト等が変わってしまう。このため、現像処理前の符号化時の画像データでは人間視覚システムの特性に応じて最適に量子化しても画質劣化が発生してしまうことがある。

本発明はかかる問題に鑑みなされたものであり、撮像して得たＲＡＷ画像データの符号化する際の画質劣化を抑制しながらも、高い符号化効率で符号化する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像センサより撮像した画像を符号化する撮像装置であって、
前記撮像センサより得られたベイヤ配列のＲＡＷ画像データから、それぞれが単一成分の画素で構成される複数のプレーンに変換するプレーン変換手段と、
得られた各プレーンを周波数変換する、複数のサブバンドを生成する周波数変換手段と、
前記撮像装置における撮像に関するカメラ情報に基づき、前記サブバンドを構成する係数データを非線形変換する非線形変換手段と、
該非線形変換手段による非線形変換で得られた係数データを量子化し、符号化する符号化手段とを有する。

本発明によれば、撮像して得たＲＡＷ画像データの符号化する際の画質劣化を抑制しながらも、高い符号化効率で符号化することが可能になる。

第１の実施形態に係る撮像装置のブロック構成図。 ベイヤ配列を説明するための図。 ウェーブレット変換で生成されるサブバンドを示す図。 非線形変換曲線の例を示す図。 非線形変換曲線を特定するパラメータのテーブルの例を示す図。 実施形態で用いた適正露出時と露出アンダー時の変数表を示す図。 実施形態で用いたファイルフォーマットの一例を示す図。 実施形態で用いたメインヘッダ部のデータ構造を示す図。 実施形態で用いた非線形情報のデータ構造を示す図。 第２の実施形態に係る撮像装置のブロック構成図。 第２の実施形態で用いたプレーンヘッダ部のデータ構造を示す図。 第２の実施形態で用いたサブバンド部のデータ構造を示す図。 第３の実施形態で用いた非線形情報のデータ構造を示す図。 第１の実施形態におけるデータ判定部の処理内容を示すフローチャート。

以下図面に従って本発明に係る実施形態を詳細に説明する。なお、以下の説明では、ビデオカメラに代表される撮像装置に適用する例を説明するが、撮像機能を持つ電子機器（例えば携帯電話等）にも適用できる。以下は、あくまで本発明の例示であると理解されたい。

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００の構成例を示すブロック図である。図１において、制御部１５０は、装置全体の制御を司るものであり、ＣＰＵ、そのＣＰＵが実行するプログラムを格納したＲＯＭ、さらにはワークエリアとして使用するＲＡＭを含む。この制御部１５０は、ユーザからの指示入力を受け付ける操作部１５１と接続されている。

図示の構成において、操作部１５１を介してユーザが撮影指示を入力すると、制御部１５０の制御下にて、撮像光学部１０１を介して撮像対象となる被写体の光学像が、撮像センサ部１０２上に結像する。撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルタを透過した光の強度を表す電気信号を生成することになる。

図２は、撮像センサ部１０２に配置されるカラーフィルタの一例であり、撮像装置１００が扱う画像の画素配列を表している。図２に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されている。この配列における２×２の４画素に着目すると、その４画素の内訳は赤１画素、青１画素、緑２画素である。この２×２画素を１セットとしたとき、周期的にセットを並べられた構造となっている。このような画素の配列は、一般にベイヤ配列と呼ばれる。

撮像センサ部１０２によって生成された電気信号は、センサ信号処理部１０３によってＡ／Ｄ変換され、デジタルの画像データとなって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力されるベイヤ配列のままの画像データを、生（未現像）の画像データを意味するＲＡＷ画像データと称す。

現像部１０４はＲＡＷ画像データを現像処理する。具体的には、現像部１０４は、ＲＡＷ画像データに対してデベイヤ処理（デモザイク処理とも呼ばれる）を施し、ホワイトバランス調整を行い、１画素が輝度と色差で構成される信号に変換する。また、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなども行う。

現像部１０４によって現像処理で得られた画像データは、表示処理部１０５を介して表示部１０６にて表示される。また、現像処理された画像データは、映像出力端子１０７により、外部に接続された表示機器に出力してもよい。映像出力端子１０７は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。

また、ＲＡＷ画像データは、データ判定部１０９、データ演算部１１０及びＲＡＷ圧縮部１１１にも供給される。

データ判定部１０９は、カメラ情報生成部１０８から入力されるカメラ情報と、入力したＲＡＷ画像データを解析し、データ演算部１１０及びＲＡＷ圧縮部１１１の圧縮処理に必要なパラメータを算出する（詳細後述）。

データ演算部１１０は、センサ信号処理部１０３から入力したＲＡＷ画像データから、それぞれが単一成分で構成される４つのプレーンを抽出（又は分離）する。図２を参照するのであれば、この４つのプレーンは、ＲＡＷ画像データにおけるＲ成分を画素値とするＲプレーン、Ｂ成分を画素値とするＢプレーン、Ｇ１成分を画素値とするＧ１プレーン、Ｇ２成分を画素値とするＧ２プレーンである。そして、データ演算部１１０は、プレーンそれぞれをウェーブレット変換（周波数変換の１つ）を実行し、複数のサブバンドを生成する。なお、各サブバンドは複数の係数データを含むことになる。そして、データ演算部１１０は、データ判定部１０８で算出されたパラメータを用いて、サブバンドの係数データを変換する。以下、この変換について更に詳しく説明する。

人間の視覚は高周波成分に鈍感である。従って、画像の高周波成分の情報量を削減することで圧縮率を上げることができる。このため、ウェーブレット変換によって高周波成分と低周波成分に分解し、より高い周波数成分の情報を高い圧縮率で符号化する。図３は、ウェーブレット変換を垂直、水平フィルタリングをそれぞれ２回施した、分解レベル２の場合に得られるサブバンドの階層構造図である。図において、Lv1が高周波成分であるため、Lv1の情報を量子化等により削減する。しかし、Lv1内のデータであっても、より低周波に近い成分は量子化によって量子化誤差が大きくなってしまう。視認可能な部分の量子化誤差が大きければ、画質劣化が発生してしまう。これは、Lv1内でも、ウェーブレット係数の小さい箇所で発生するため、視認出来る係数値は細かく量子化を行いたい。そして、より高周波成分の係数を粗く量子化する。このため実施形態におけるデータ演算部１１０は、量子化前に、ウェーブレット変換で得られた係数データを非線形変換する。

図４は、実施形態における非線形変換の変換特性を示すグラフである。図示では、比較のため、破線で示す変換無しのｙ＝ｘを示している。

図示の実線が、実施形態におけるは非線形変換曲線であり、同曲線は次式（１）で表わせるものである。
ｙ＝ａ・Log₁₀(ｂ・ｘ ＋ｃ) ＋ｄ …（１）
ここで、ａ，ｂ，ｃ，ｄは、予め設定された実数である。

この非線形変換を行うことにより、小さい係数データを持ち上げ、量子化後に０となることを抑制し、高い係数を粗く量子化することができ、上記問題を解決できる。

なお、上記式（１）だけでは、変数ａ，ｂ，ｃ，ｄの値によっては負の数となる場合や表現出来ない場合があるため、実施形態では更に次式（２）を定義した。
ｙ＝ｅ・ｘ …（２）
ここでｅは予め設定された実数である。本実施形態では、式２を線形変換とするが、非線形変換でも構わない。そして式（１）、（２）において、入力されるウェーブレット変換係数ｘの取り得る範囲において、いずれか大きい方を出力値ｙと用いるものとする。

データ判定部１０９は、カメラ情報生成部１０８から入力されるカメラ情報と、入力したＲＡＷ画像データを解析し、上記の係数ａ，ｂ，ｃ，ｄ，ｅを決定する処理を行う。以下にその具体例を説明する。

ＲＡＷ画像は、同じ被写体であっても、光源・撮像装置の露出及びISO感度によって入力画像の各コンポーネント信号が異なってしまう。

図５は、適正露出時及び露出アンダー時の非線形変換を示すグラフである。水平軸は、ウェーブレット変換による得られる係数データの大きさを表し、垂直軸が変換後の係数データの大きさを表している。図において、実線が適正露出時の変換であり、点線が露出アンダー時の変換である。図示の如く、非線形変換曲線は上に凸の形状であり、露出アンダー時の変換曲線は、訂正露出時の変換曲線に比べて変換係数データに対する増加率が大きい。また、２重線は入力=出力の無変換時である。図６は、適正露出時、及び、露出アンダー時の変数データａ，ｂ，ｃ，ｄ，ｅの例を示している。同図はテーブルとして不図示のメモリに保持さてるものとする。

一般的に、同じ被写体を撮影した場合、露出アンダー時は適正露出時に比べてコントラストが低くなるため、同位置であっても露出アンダー時の方がウェーブレット係数は概ね小さくなる傾向にある。

同じ量子化係数を用いた場合、符号化復号化後のウェーブレット係数の誤差は同じである。しかしながら、ＲＡＷ画像データは、表示もしくは別形式のファイルに変換を行う場合、現像処理及び画像調整を行う。画像調整を行うと、露出アンダー時に、レベル補正等を行うことで、より強く画像補正を行うため、適正露出時の画像に比べ、圧縮前後で圧縮誤差が増大してしまう。更に露出アンダー時の方が、ウェーブレット係数は小さいため、同じ被写体であってもウェーブレット係数が０となり情報を失ってしまう部分が増大してしまう。現像後の画質劣化は低振幅部、特に暗部及び平坦部の情報が失われることが多いため、その部分を細かく量子化することによって画質劣化を抑制できる。

また、明部では信号レベルが高くなるため、同じ被写体であれば明るい方がウェーブレット係数が概ね大きくなる傾向がある。高振幅部は視覚特性として多少量子化を粗くしても画質劣化が視認出来ないため、ウェーブレット係数が大きい箇所は量子化を粗くし、符号量を削減できる。

データ判定部１０９は、カメラ情報生成部１０８より入力されるホワイトバランス調整値、露出補正値及びISO感度を入力する。カメラ露出補正値が０である場合、ＡＥが作動して露出は適正であるもの判定できる。また、露出補正値がマイナスになっている場合には、露出アンダーと判定できる。露出アンダーである場合には、データ判定部１０９は、図６のテーブルにおける「アンダー」から、係数データａ，ｂ，ｃ，ｄ，ｅを読み出し、データ演算部１１０にセットする。

また、カメラ露出補正値が０であった場合には、データ判定部１０９は以下の処理を行う。

データ判定部１０９は、入力したＲＡＷ画像データから、ＲＧＢ→ＹＵＶ変換を行い、輝度Ｙ成分で構成される輝度画像データを生成する。なお、この変換は、ＲＡＷ画像データにおける２×２画素におけるＧ１、Ｇ２の平均値と、残りのＲ，ＢからＲＧＢ→ＹＵＶ変換を行うものとする。ただし、輝度画像データを生成すればよいので、色差ＵＶは算出しなくても構わない。そして、データ判定部１０９は、輝度画像データを、予め設定された複数画素で構成される画素ブロックに分割し、各画素ブロック毎の平均輝度値を算出する。そして、データ判定部１０９は、平均輝度値が暗部判定用の閾値以下となる画素ブロックの数を計数する。そして、暗部判定用の閾値以下の平均輝度値の画素ブロック数が予め設定された個数（実施形態では２とする）以上の場合、データ判定部１０９は着目画像に対する補正が必要と判定し、図６のテーブルにおける「適正」から係数データａ，ｂ，ｃ，ｄ，ｅを読み出し、データ演算部１１０にセットする。これは、画面内で一定量以上の暗部領域があれば、現像後に暗部信号を持ち上げて画像調整を行う可能性が高くなるためである。その場合でも暗部領域の画質を劣化させない処理を行う。

なお、適正露出で、暗部判定用の閾値以下の平均輝度値の画素ブロック数が予め設定された個数に満たない場合、ウェーブレット変換係数データに対する補正は行わないものとして決定する（図５のｙ＝ｘを採用するのとを等価）。

また、画素ブロックの平均輝度値の算出は、符号化対象の着目フレームのＲＡＷ画像データから求めることが望ましいが、時間的に十分に近い、数フレーム前のフレームのＲＡＷ画像データから求めても良い。この場合、上記演算に十分な時間が与えられるので、データ判定部１０９の負担を少なくできるというメリットが得られる。

データ判定部１０９は、上記カメラ情報から画像調整のゲイン値を求め、上記のように、視認出来る係数データが量子化係数０とならない、もしくは０になることを抑制するように式（１）の変数ａ，ｂ，ｃ，ｄ，ｅを調整する。

式（１）の変数ａ，ｂ，ｃ，ｄは、基準となる初期値を持っており、カメラ情報に応じて値を変更する。変数ａはゲイン値調整に用いる。８ビットデータであれば、x=２５５において、y=２５５となるように調整する値である。変数ｂは、立ち上がり時の感度を変更する値であり、露出アンダー時に大きくする値である。変数ｃは、立ち上がり位置を変更する値であり、変数ｂ及び有効値によって決定する値である。有効値はオプティカルブラック値等で決定する。変数ｄは、変数ｂによって決定する調整値であり、立ち上がり時以外の感度を落とすものであり、露出アンダー時に小さくする値である。図５のような非線形変換曲線を採用して、ウェーブレット変換係数データを変換することで、視認出来るウェーブレット係数が０とならない、もしくは抑制するようにウェーブレット係数が小さい値のゲインを上げることができる。

データ演算部１１０は、既に説明したように、ＲＡＷ画像データから、それぞれが単一成分の画素データで構成される４つのプレーンを生成し、それぞれのプレーンに対して離散ウェーブレット変換を予め設定された回数実行する。そして、データ演算部１１０は、各プレーンから生成された複数のサブバンドのうち、レベル１の高周波成分を含むサブバンドＨＬ，ＬＨ，ＨＨ内の係数データを、データ判定部１０９が決定した変数ａ，ｂ，ｃ，ｄ，ｅに基づいて変換する。もちろん、変換無し（図５のｙ＝ｘに相当）として決定された場合には、ウェーブレット変換係数の変換処理は行わない。

ＲＡＷ圧縮部１１１は、は、データ演算部１１０より出力された各サブバンド係数を係数データを、量子化、エントロピー符号化を行い、圧縮符号化データを生成し、バッファ１１２に出力する。また、ＲＡＷ圧縮部１１１は、復号に必要な情報を含むヘッダを生成し、バッファ１１２に格納し、書き込み対象のファイルをバッファ１１２に作成する。

ファイルフォーマットの一例を図７に示す。同図のように、ファイルは、ヘッダ部とデータ部（ペイロード部）に分かれており、ヘッダ部にはメインヘッダ部、サブヘッダ部がある。図８はメインヘッダ部のデータ構造であり、識別番号、ヘッダサイズ、画像サイズ、画像のビット幅、ウェーブレット変換の分解レベル、非線形変換を行うか否かを示す非線形フラグ、非線形変換の数である非線形カウント及び非線形変換に必要な非線形情報、データ部のアドレス及びデータサイズが記載される。

図９は、非線形情報のデータ構造を示している。まず識別番号があり、多項式の種類が記載される。前述の式（１）及び（２）があり、本実施形態では、Poly type2を式（２）とした。従って、次の位置に、係数ｅが格納される。この係数は図６の表で示した数値を用いている。更にプレーンヘッダ部の非線形カウントが２以上の場合は、PIとして交点情報が入る。これは入力値x,出力値yとして記載される。次にPoly type1である式（１）が選ばれ、係数としてａ，ｂ，ｃ，ｄが格納される。その後、非線形カウント分同様となる。プレーンヘッダはプレーン毎にデータ部のアドレス及びサイズが主に記録される。同様にサブバンドヘッダにはサブバンド毎にデータ部のアドレス及びサイズが主に記録される。

以上のようにして、ＲＡＷ画像データの符号化データ、ヘッダ情報がバッファ１１２に格納される。この後、制御部１５０はそのＲＡＷファイルを記録媒体１１３に書き込む処理を行う。記録媒体１１３は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。更にはネットワークを介した記憶装置でもよい。そして、ユーザにより停止指示がなされるまで、各フレームのＲＡＷ画像符号化データがファイルに追記されていく。

次の実施形態における再生処理を説明する。

ユーザから操作部１５１を介して再生指示が入力された場合、制御部１５０は、記録媒体１１３から、ユーザが指定したＲＡＷファイルを読み出し、バッファ１１２に格納する。ＲＡＷ伸張部１１４は、バッファ１１２に格納されているＲＡＷファイルを読出して、圧縮された状態のＲＡＷファイルを復号して伸張する。そして、ＲＡＷ伸張部１１４は、伸張結果のデータをデータ逆変換部１１５に供給する。

データ逆変換部１１５は、ファイルヘッダに記載された情報を解析し、非線形情報されていればその際に利用した変数ａ，ｂ，ｃ，ｄ，ｅに基づく非線形逆変換処理を行う。更に、データ逆変換部１１５は、非線形逆変換されたサブバンド係数をウェーブレット逆変換する。この結果、１フレームから４つのプレーンが生成される。データ逆変換部１１５は、得られた４つのプレーンを互いにマージし、ベイヤ配列のＲＡＷ画像データを生成し、現像部１０４に供給する。現像部１０４は先に説明したように、ＲＡＷ画像データを現像処理する。この後、表示処理部１０５が表示部１０６又は映像出力端子１０７に画像データを出力し、画像の表示を行わせる。

以上説明したように、カメラ情報に応じてウェーブレット変換で得られた係数データを非線形変換することにより、符号化の効率を高め、現像処理における画質劣化を抑制できる。

ここで実施形態におけるデータ判定部１０９の処理をより理解を容易にするため、図１４のフローチャートに従って説明する。なお、以下の説明は、１フレームの符号化時する際の処理を説明する。

まずデータ判定部１０９は、カメラ情報生成部１０８からカメラ情報を取得する（Ｓ１）。そして、データ判定部１０９は、取得したカメラ情報から、着目フレームの撮像時における露出が露出アンダーであったか否かを判定する。露出アンダーであると判定した場合には、処理をＳ８に進める。このＳ８にて、データ判定部１０９は、不図示のテーブル（図６）から、「アンダー」の非線形変換を行うためのパラメータａ，ｂ，ｃ，ｄ，ｅを決定し、ＲＡＷ圧縮部１１１に設定する。

一方、露出アンダーではないと判定された場合、データ判定部１０９は処理をＳ３に進め、ＲＡＷ画像データから輝度画像データを生成する。そして、データ判定部１０９は、Ｓ４にて、生成した輝度画像データを複数の画素ブロックに分割し、Ｓ５にて各画素ブロックの平均輝度値を算出する。そして、データ判定部１０９は、Ｓ６にて、平均輝度値が予め設定された輝度閾値以下となっている画素ブロックがいくつ存在するかを計数する。そして、Ｓ７にて、データ判定部１０９は計数した画素ブロック数が、予め設定された閾値以上あるか否かを判定し、閾値以上あった場合にはＳ８にて、データ判定部１０９は、不図示のテーブル（図６）から、「適正」の非線形変換を行うためのパラメータａ，ｂ，ｃ，ｄ，ｅを決定し、ＲＡＷ圧縮部１１１に設定する。また、計数した画素ブロック数が、予め設定された閾値未満の場合（閾値を下回る場合）、非線形変換は行わないと決定し、ＲＡＷ圧縮部１１１に非線形変換を行わないように設定する。

これを受けたＲＡＷ圧縮部１１１の処理は既に説明した通りである。

なお、上記実施形態では、非線形変換の対象を分解レベル１のＨＬ，ＬＨ，ＨＨサブバンドの係数データとしたが、どの分解レベルまで非線形変換対象とするかをユーザの操作に依存して決定しても構わない。また、実施形態での非線形変換カーブは、図５に示す２種類として説明したが、露出アンダーの程度に応じた、いくついもの非線形変換カーブを定義し、カメラ情報に基づきその中の１つを決定するようにしても良い。

また、実施形態では、輝度画像データを複数の画素ブロックに分割し、各画素ブロックの代表値して平均輝度値を求めるものとした。画素ブロック単位に輝度の大小を判断できれば良いので、画素ブロックの輝度合計値を代表値として用いても良い。後者の場合、平均を求めるための除算演算が省かれ、演算処理を簡略化できる。

［第２の実施形態］
図１０は第２の実施形態の撮像装置のブロック構成図である。前述の第１の実施形態で用いた図１と同一構成には同一の参照符号を付す。また、全体的な処理は前述と同様であるので、処理が異なる部分について以下に説明する。

プレーン変換部２１６は、センサ信号処理部１０３から入力したＲＡＷ画像データから、輝度のＹプレーン、３つの色差Ｃ１、Ｃ２，Ｃ３のプレーンの計４プレーンを生成する。具体的には、ＲＡＷ画像データからダイレクトに分離できるＲ、Ｂ、Ｇ１、Ｇ２のプレーンとの関係を示すと次の通りである。

なお、１個の輝度Ｙ，３つの色差Ｃ１，Ｃ２，Ｃ３の４つのプレーンとするのは、元のベイヤ配列のＲＡＷ画像データを復元するためである。

データ演算部１１０では、前述の第１の実施形態と同様に、上記のようにして得られた輝度プレーン、色差プレーンの計４プレーンそれぞれに対して、ウェーブレット変換を行う。ただし、輝度プレーンと色差プレーンでは、データが異なるため別々の変換調整が必要である。第１の実施形態では、Ｒ，Ｂ，Ｇ１，Ｇ２の各プレーンのウェーブレット変換係数に対して共通の非線形変換を行ったのに対し、本第２の実施形態では輝度プレーンと色差プレーンとを異なる非線形処理を行う。

このため、図８のメインヘッダ部にある非線形フラグをオフとし、プレーンヘッダ部の非線形フラグを有効（オン）にする。

図１１は、プレーンヘッダ部のデータ構造を示しており、識別番号、ヘッダサイズ、非線形変換を行うか否かを示す非線形フラグ、非線形変換の数である非線形カウント及び非線形変換に必要な非線形情報、データ部のアドレス及びデータサイズ、サブバンド数及びサブバンドヘッダが記載される。非線形情報はメインヘッダ部と同様である。

更には非線形変換処理をサブバンド毎に対応させることも本実施形態では可能である。図１２は、サブバンドヘッダ部のデータ構造を示す。データ構造は、識別番号、ヘッダサイズ、非線形変換を行うか否かを示す非線形フラグ、非線形変換の数である非線形カウント及び非線形変換に必要な非線形情報、データ部のアドレス及びデータサイズが記載される。非線形情報はメインヘッダ部と同様である。

再生時は、第１の実施形態同様に、データ逆変換部１１５がプレーン毎に逆変換し、逆ウェーブレット変換されたデータをプレーン逆変換部２１７に供給する。プレーン逆変換部２１７では、輝度Ｙ，色差Ｃ１，Ｃ２，Ｃ３から成る４プレーンから、各色成分のプレーン（Ｒ成分１個、Ｂ成分１個、Ｇ成分２個）に変換し、ベイヤ配列のＲＡＷ画像データを構成し、現像部１０４に供給する。以降は、第１の実施形態と同様の動作を行う。

上記のように、カメラ情報に応じてウェーブレット係数をプレーン単位またはサブバンド単位に非線形変換することにより、符号化効率よく、現像処理後に劣化してしまう画像の画質劣化を抑えることが出来る。

［第３の実施形態］
本第３の実施形態に係る撮像装置の構成は、第１の実施形態における図１と同じである。本第３の実施形態では、本実施形態ではプレーンに対し、色変換処理を施さなくとも、プレーンまたはサブバンド単位に非線形変換処理を行うことを可能にする。更には、非線形情報について様々な表現が出来る。

図１３は、本第３の実施形態における非線形情報のデータ構造を示している。図９と同様に識別番号があり、多項式の種類が記載される。第１の実施形態同様に、Poly type2を式２とした。次の位置に、係数ｅが格納される。更にプレーンヘッダ部の非線形カウントが２以上の場合は、PIとして交点情報が入る。これは入力値x,出力値yとして記載される。次にPoint typeと記載されると、式２の終端であるPI1と次に記載の座標Xf,Ygを線形で結ぶことで変換式を成す。更に座標Xf,YgとPI2を線形で結ぶことで変換式を成す。次にPoly Setは予め決められた式があることを意味し、次にその式番号を記載するものである。

本第３の実施形態では、上記のように予め決められた線形及び非線形の多項式、または係数を入力することで表現出来る線形及び非線形の多項式、更には座標点を線形につなぐこと全ての変換を組み合わせることが可能である。また本第３の実施形態では、交点PIをx,yの２値で説明したが、多項式を選択した場合は、xまたはyの一方から導き出せるため、一方のみを記録してもよい。

上記のように、カメラ情報に応じてウェーブレット係数を変換することにより、符号化効率よく、現像処理後に劣化してしまう画像の画質劣化を抑えることが出来る。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…撮像光学部、１０２…撮像センサ部、１０３…センサ信号処理部、１０４…現像部、１０５…表処理部、１０６…表示部、１０７…映像出力端子、１０８…カメラ情報生成部、１０９…データ判定部、１１０…データ演算部、１１１…ＲＡＷ圧縮部１１１、１１２…バッファ、１１３…記録媒体、１１４…ＲＡＷ伸長部、１１５…データ逆変換部、１５０…制御部、１５１…操作部

Claims (9)

1. 撮像センサより撮像した画像を符号化する撮像装置であって、
   前記撮像センサより得られたベイヤ配列のＲＡＷ画像データから、それぞれが単一成分の画素で構成される複数のプレーンに変換するプレーン変換手段と、
   得られた各プレーンを周波数変換し、複数のサブバンドを生成する周波数変換手段と、
   前記撮像装置における撮像に関するカメラ情報に基づき、前記サブバンドを構成する係数データを非線形変換する非線形変換手段と、
   該非線形変換手段による非線形変換で得られた係数データを量子化し、符号化する符号化手段と
   を有することを特徴とする撮像装置。
2. 前記周波数変換手段は、ウェーブレット変換手段であることを特徴とする請求項１に記載の撮像装置。
3. 前記係数データの値の大きさを水平軸、非線形変換で得られた係数データの大きさを垂直軸と定義したとき、前記非線形変換手段は、上に凸の変換曲線の変換特性を持つことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記非線形変換手段は、
   非線形の第１の変換曲線を表す第１のパラメータ、当該第１の変換曲線より増加率の高い第２の変換曲線を表す第２のパラメータを記憶する記憶手段と、
   前記カメラ情報から、ＲＡＷ画像データの撮像時に露出アンダーであったか否かを判定する第１の判定手段と、
   該第１の判定手段により露出アンダーであると判定した場合には前記第２のパラメータを選択する第１の選択手段と、
   前記第１の判定手段により露出アンダーではないと判断した場合、ＲＡＷ画像データから輝度画像データを生成し、前記輝度画像データを複数の画素ブロックに分割し、各画素ブロックの代表値を算出し、暗部判定用の輝度閾値以下の代表値を持つ画素ブロック数を計数し、計数した画素ブロック数が所定の閾値以上あるか否かを判定する第２の判定手段と、
   該第２の判定手段の判定が前記計数した画素ブロック数が所定の閾値以上あることを示す場合、前記第１のパラメータを選択する第２の選択手段と、
   前記第２の判定手段の判定が前記計数した画素ブロック数が所定の閾値を下回ることを示す場合、前記係数データの変換を行わないと判定する第３の判定手段と
   を有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記代表値は、画素ブロックの平均輝度値、輝度合計値のいずれかであることを特徴とする請求項４に記載の撮像装置。
6. 前記プレーン変換手段は、ＲＡＷ画像データから、ベイヤ配列に基づくＲプレーン、Ｂプレーン、Ｇ１プレーン、Ｇ２プレーンに変換することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記プレーン変換手段は、ＲＡＷ画像データから、１個の輝度プレーン、３つの色差プレーンに変換することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 撮像センサより撮像した画像を符号化する撮像装置の制御方法であって、
   プレーン変換手段が、前記撮像センサより得られたベイヤ配列のＲＡＷ画像データから、それぞれが単一成分の画素で構成される複数のプレーンに変換するプレーン変換工程と、
   周波数変換手段が、得られた各プレーンを周波数変換し、複数のサブバンドを生成する周波数変換工程と、
   非線形変換手段が、前記撮像装置における撮像に関するカメラ情報に基づき、前記サブバンドを構成する係数データを非線形変換する非線形変換工程と、
   符号化手段が、前記非線形変換工程による非線形変換で得られた係数データを量子化し、符号化する符号化工程と
   を有することを特徴とする撮像装置の制御方法。
9. 撮像センサを有する撮像装置におけるプロセッサを、請求項１乃至７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images