JP3095507B2 - データ圧縮・記録方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はデータ圧縮・記録方法に
係り、特に静止画の撮像に適した撮像装置に好適に用い
られるデータ圧縮・記録方法に関する。

【０００２】

【従来の技術】図６は静止画をメモリカードに記録する
従来の撮像装置の構成例を示した図である。図６におい
て、１０１は光学像を電気信号に変換するセンサーとし
て用いる固体撮像素子、３００は固体撮像素子１０１に
光学像を結像するレンズ、２０１は固体撮像素子１０１
に入射する光量を調整する絞り、２０２は固体撮像素子
１０１の露光時間を調整するシャッター、２０３は固体
撮像素子１０１の出力をデジタル信号に変換するＡＤ変
換回路、２０４はデジタル信号に変換された固体撮像素
子１０１の１フレーム分の信号を一旦記憶する記憶手段
となるフレームメモリ、２０５はフレームメモリ２０４
に記憶された固体撮像素子１０１の出力信号からとなり
あう少なくとも２ライン以上のデータを取り出して輝度
信号と色差信号とを演算によって作る記録信号処理回
路、２０６は記録信号処理回路２０５によって作られた
輝度信号および色差信号を符号化し、データ圧縮する画
像圧縮回路、２０７は画像を記録するために半導体メモ
リによって構成された記録手段となるメモリカード、２
０８はメモリカード２０７から読みだした符号化された
画像データを伸長する画像伸長回路、２０９は伸長され
た輝度信号及び色信号を外部のモニタに表示するための
再生信号処理回路である。２１０は撮像素子の動作を制
御するシステムコントローラであり、２１１は撮影シー
クエンスを開始するトリガスイッチである。

【０００３】図７は図６の撮像装置によって、静止画を
記録するシークエンスを示した図である。時刻Ｔ０でト
リガスイッチ２１１がオンされると、一連の静止画記録
シークエンスが開始される。まず、時刻Ｔ０からＴ１の
間に、固体撮像素子１０１に蓄積されていた暗電荷の転
送除去が行われ、次に図示されない測光素子による測光
動作が行われ、適正な露光秒時と露光絞りが設定され
る。次に時刻Ｔ２からＴ３において、シャッター２０２
が開かれ固体撮像素子１０１への露光動作が行われる。
次にシャッター２０２が時刻Ｔ３に閉じられると固体撮
像素子１０１より露光信号電荷の読みだしが行われる。
固体撮像素子１０１より読み出された信号はＡＤ変換回
路２０３によってデジタル信号に変換され、１フレーム
分の信号は一旦フレームメモリ２０４に記憶される。次
に時刻Ｔ４にて露光信号の読みだしが終了すると、時刻
Ｔ４からＴ５にかけて一旦フレームメモリ２０４に記憶
された信号が読み出され、記録信号処理回路２０５によ
って固体撮像素子１０１のとなりあう数画素のデータよ
り、輝度信号及び色差信号が演算によって求められる。
この輝度信号及び色差信号は画像圧縮回路２０６によっ
てＪＰＥＧ規格によって規定される手段などによって符
号化データ圧縮され、メモリカード２０７に記録され
る。

【０００４】図８は、よく用いられる固体撮像素子の一
例としてのインターライン型ＣＣＤの説明図である。図
８において、１０１はインターライン型ＣＣＤである固
体撮像素子、１０２は光を電荷に変えて蓄積するフォト
ダイオード、１０３はフォトダイオード１０２から移さ
れた電荷を１Ｈに１段ずつ垂直に転送する垂直ＣＣＤで
ある。Ｖ１〜Ｖ４は垂直ＣＣＤ１０３の転送電極であ
り、Ｖ１はフォトダイオード１０２の奇数行の電荷を垂
直ＣＣＤ１０３に転送する転送ゲートをかねている。ま
た、Ｖ３は同様に偶数行のフォトダイオード１０２に対
応する転送ゲートとなっている。垂直ＣＣＤ１０３は転
送電極Ｖ１〜Ｖ４に加えられる４相の転送パルスで駆動
される。１０４は垂直ＣＣＤ１０３より１Ｈに１段転送
されてくる電荷を水平に転送する水平ＣＣＤである。Ｈ
１，Ｈ２は水平ＣＣＤ１０４の転送電極であり、２相の
パルスで駆動される。１０５は電荷を電圧に変換し出力
する出力アンプ（ＦＤＡ）である。ＶＯＵＴは出力端子
である。１０６は不要電荷を掃き捨てるためのトップド
レインである。

【０００５】図９は図８のインターライン型ＣＣＤの読
みだしタイミングを示した図である。時刻ｔ１に垂直ブ
ランキング期間になり、時刻ｔ２に転送電極Ｖ１の電位
がＨｉレベルになって転送ゲートが開くことによってフ
ォトダイオード１０２の奇数行の電荷が垂直ＣＣＤ１０
３に転送される。時刻ｔ３から垂直ＣＣＤ１０３の電荷
が１水平期間に１段水平ＣＣＤ１０４の方向へ転送さ
れ、水平ＣＣＤ１０４に転送された電荷は高速転送され
てＦＤＡ１０５で電圧に変換されて出力される。全奇数
ラインの電荷の読みだしは時刻ｔ４に終了する。

【０００６】次に垂直ブランキング期間の時刻ｔ５から
転送電極Ｖ３の電位がＨｉレベルになって偶数ラインの
フォトダイオード１０２の電荷が垂直ＣＣＤ１０３に転
送され、時刻ｔ６から１水平期間に１ライン水平ＣＣＤ
１０４に転送され同様に高速転送されて出力される。

【０００７】図１０はカラー信号を撮像するために固体
撮像素子１０１の各受光素子上に一色づつ対応されて設
けられるカラーフィルタの色配列を示す図であり、一般
的によく用いられる色配列を図１０（ａ）に示す。

【０００８】図１０（ａ）において、記号Ｙｅは黄色、
Ｃｙはシアン、Ｍｇはマゼンタ、Ｇは緑を示している。
またＦ１：ｎは第１フィールドのｎライン目の信号とし
て読み出されることを示し、Ｆ２：ｎは第２フィールド
のｎライン目に読み出される信号であることを示してい
る。同様にＦ１：ｎ＋１は第１フィールドのｎ＋１ライ
ン目の信号として読み出されることを示し、Ｆ２：ｎ＋
１は第２フィールドのｎ＋１ライン目に読み出される信
号であることを示している。輝度信号及び色差信号を取
り出すために必要な演算の例を図１０（ｂ）に示してい
る。輝度信号および色差信号はＹｅ，Ｃｙ，Ｍｇ，Ｇの
４色の信号より得られるため、フレームメモリ２０４か
ら信号を読み出す際に、例えば第１フィールドのｎライ
ン目の信号と第２フィールドのｎライン目の信号とを同
時に読みだして演算することによってｎ′ライン目の輝
度信号および色差信号を、第２フィールドのｎライン目
の信号と第１フィールドのｎ＋１ライン目の信号とを同
時に読みだして演算することによってｎ′＋１ライン目
の輝度信号および色差信号を順次得て、ｎ′，ｎ′＋
１，ｎ′＋２，…というノンインターレースの走査線に
対応した輝度信号及び色差信号を得る。このように固体
撮像素子１０１からインターレースで読み出された信号
をノンインターレースに変換し、となりあう走査線の画
素情報を得るためにフレームメモリ２０４が必要になる
のであるが、このフレームメモリ２０４は固体撮像素子
１０１の全画素情報を記憶すること、１画素毎の画素情
報のＡＤ変換の精度は１０ｂｉｔ必要であること等から
大容量なものとなり、撮像装置のコストを増大させる原
因となっている。

【０００９】

【００１０】

【問題点を解決するための手段】本発明の撮像装置は、
固体撮像素子に蓄積した露光電荷信号をＡＤ変換し、所
定のデータ圧縮手段によって可逆的なデータ圧縮を行
い、得られたデータを一旦記憶手段に記憶し、所定量毎
にデータを伸張して所定の信号処理を施した後、前記所
定のデータ圧縮手段により、可逆的なデータ圧縮もしく
は非可逆的なデータ圧縮を行った後に、記録手段に記録
することを特徴とする。

【００１１】

【００１２】

【作用】本発明は、撮像により得られたデータに対して
最終的に所定の信号処理を施して圧縮し、記録手段に記
録しようとする場合において、一時的に可逆圧縮及び記
憶手段への記憶を行うことにより、上記所定の信号処理
を行う前に一時的に上記データを記憶するべき容量を小
さくし、また所定の信号処理前では上記データが表す画
像の質（画質）を劣化させないようにしたものである。
また、上記一時的な可逆圧縮と所定の信号処理を行った
後の圧縮とを単一の圧縮手段が兼ねるようにして、装置
の小規模かつ低コスト化を実現するものである。

【００１３】

【実施例】以下、本発明の実施例について図面を用いて
詳細に説明する。

【００１４】図１は本発明が適用される撮像装置の一例
を示すブロック図である。なお、図６と同一機能を有す
るブロック構成部には同一番号を付し、説明を一部省略
する。

【００１５】図１において、３は可逆的にデータを圧縮
する手段を備えた画像圧縮回路である。ＳＷ１は画像圧
縮回路３の入力を切り替えるスイッチで、ａ側では記録
信号処理回路２０５の出力が、ｂ側ではＡＤ変換回路２
０３の出力が接続される。２は画像圧縮回路３で可逆的
に圧縮されたデータを記憶する記憶手段となるフレーム
メモリである。ＳＷ２は画像圧縮回路３の出力を切り替
えるスイッチであり、ａ側ではフレームメモリ２に、ｂ
側では記録手段となるメモリカード２０７に接続され
る。

【００１６】また、４は圧縮されたデータを伸長する画
像伸長回路である。１は隣接する２ライン分の伸長され
たデータを記憶する２ラインバッファメモリである。Ｓ
Ｗ３は画像伸長回路４の入力を切り替えるスイッチであ
り、ａ側ではメモリカード２０７の出力が、ｂ側ではフ
レームメモリ２の出力が画像伸長回路４に接続される。
ＳＷ４は画像伸長回路４の出力を切り替えるスイッチで
あり、ａ側では２ラインバッファメモリ１に、ｂ側では
再生信号処理回路２０９に接続される。

【００１７】図３は画像圧縮回路３と画像伸長回路４の
構成を示した図である。図３において、画像圧縮回路３
は可逆な圧縮を行う系と非可逆な圧縮を行う系で構成さ
れる。５は入力画像に２次元ＤＣＴ演算を行って画像を
２次元の空間周波数成分に分けるＤＣＴ演算回路であ
る。６はＤＣＴ係数を量子化する量子化回路、７は量子
化されたＤＣＴ係数をハフマン符号化するエントロピー
エンコーダである。ＤＣＴ演算回路５、量子化回路６、
エントロピーエンコーダ７によって非可逆的な画像圧縮
が行われる。また、８は予測器であり、ある画素のデー
タの予測を１画素前のデータによって行う、９はエント
ロピーエンコーダであり、ある画素と予測器８によって
予測した画素の差分をハフマン符号化する。このように
予測器８とエントロピーエンコーダ９とによって可逆的
なデータ圧縮が行われる。ＳＷ５は可逆な圧縮動作を行
うか非可逆的な圧縮動作を行うかを選択するスイッチ
で、ａ側では可逆的な圧縮が、ｂ側では非可逆的な圧縮
動作が選択される。

【００１８】画像伸長回路４は可逆な伸長を行う系と非
可逆な伸長を行う系で構成される。エントロピーデコー
ダ１０と復号器１１は可逆圧縮されたデータをエントロ
ピーエンコーダ９、予測器８と逆の動作で復号化する。
またエントロピーデコーダ１２と逆量子化回路１３、逆
ＤＣＴ演算回路１４はＤＣＴ演算回路５、量子化回路
６、エントロピーエンコーダ７と逆の動作で圧縮された
データを復号化する。ＳＷ６は可逆な伸長動作を行うか
非可逆的な伸長動作を行うかを選択するスイッチで、ａ
側では可逆的な伸長が、ｂ側では非可逆的な伸長動作が
選択される。

【００１９】図２は上記実施例の動作タイミングを説明
する図である。図２と図１、図３に基づいて上記実施例
の動作について説明する。図２において、時刻Ｔ０にト
リガスイッチ２１１がオンされると、まず固体撮像素子
１０１の暗電荷が除去され撮影動作が開始される。時刻
Ｔ１からＴ２にかけて図示されない測光センサーによっ
て測光動作が行われ適正な絞りとシャッタースピードが
設定される。時刻Ｔ２からＴ３にかけてシャッター２０
２が開かれ露光信号電荷が蓄積される。時刻Ｔ３にはシ
ャッター２０２が閉じられて、時刻Ｔ３からＴ４にかけ
固体撮像素子１０１から露光信号電荷が読み出されるが
その際、スイッチＳＷ１をｂ側に、スイッチＳＷ２をａ
側に、スイッチＳＷ５をａ側に設定することによって、
固体撮像素子１０１の出力信号は図４に示すような方法
で可逆的にデータ圧縮されフレームメモリ２に記憶され
る。

【００２０】図４は固体撮像素子１０１の画素データの
可逆的な圧縮方法を施す方法の説明図であり、図４
（ａ）は図１０と同じ配列の色フィルタであるが第１フ
ィールドのｎライン目の信号と第２フィールドのｎライ
ン目の信号とに説明のための番号が付してある。図４
（ｂ）は可逆的な圧縮を行う手法の例で１画素前のデー
タを予測値とし隣接画素間の値の差をとってさらにハフ
マン符号化を行いデータ量を圧縮する。画素間の差分を
とる際は、図４（ｃ）に示すように相関の高い同色同士
の差をとる。次に時刻Ｔ４からＴ５にかけてフレームメ
モリ２に一旦記憶された圧縮データから隣接する２ライ
ンのデータ、例えば第１フィールドのｎライン目の信号
と第２フィールドのｎライン目の信号とを読みだし圧縮
と逆の動作によって伸長し２ラインバッファメモリ１に
読みだし、図１０（ｂ）に示したような演算を行って輝
度信号及び色差信号を演算し可逆的もしくは非可逆的な
手段によってデータ圧縮を行った後、メモリカード２０
７に記録する。スイッチＳＷ１はａ側に、スイッチＳＷ
２はｂ側に、スイッチＳＷ３はｂ側に、スイッチＳＷ４
はａ側に、スイッチＳＷ５は可逆的な圧縮を行うときは
ａ側に、非可逆的な圧縮を行うときはｂ側に設定され
る。再生出力を得る場合は、スイッチＳＷ３をａ側に、
スイッチＳＷ４をｂ側に、スイッチＳＷ６を可逆的なデ
ータ伸長を行うときはａ側に、非可逆的な圧縮を行うと
きはｂ側にして、メモリカード２０７から符号化された
データを読み出し、再生信号処理回路２０９に入力す
る。

【００２１】なお、通常前述したような可逆的な圧縮で
は圧縮後のデータ量は画像によって異なるがほとんどの
画像においては圧縮前のデータ量半分以下になるためフ
レームメモリの２の容量を従来例に比べて半分程度にす
ることができる。しかしながらフレームメモリ２の容量
を従来例の１／２以下しか持たない場合や、特殊なパタ
ーンの画像においては全データを書き込めなくなる可能
性がある。

【００２２】図５は万が一フレームメモリ２の容量が不
足するようなことがあっても撮影ができるように改良し
た実施例のフローチャートである。すなわちフレームメ
モリ２の容量が不足した場合はメモリカード２０７の空
き容量にデータを書き込むようにすることによって、撮
影が可能になるようにしている。将来メモリカードのア
クセススピードが増大すれば、フレームメモリをなくし
常時一旦メモリカードに圧縮した固体撮像素子のデータ
を記憶するようにしてもよい。

【００２３】

【発明の効果】以上説明した様に本発明によれば、固体
撮像素子に蓄積した露光電荷信号をＡＤ変換し、所定の
データ圧縮手段によって可逆的なデータ圧縮を行い、得
られたデータを一旦記憶手段に記憶し、所定量毎にデー
タを伸長して所定の信号処理を施した後、前記所定のデ
ータ圧縮手段により、可逆的なデータ圧縮もしくは非可
逆的なデータ圧縮を行った後に、記録手段に記録する様
にしたので、撮像により得られたデータに対して最終的
に所定の信号処理を施して圧縮し、記録手段（実施例で
はメモリカード２０７）に記録しようとする場合におい
て、一時的に可逆圧縮及び記憶手段（実施例ではフレー
ムメモリ２）への記憶を行うことにより、上記所定の信
号処理を行う前に一時的に上記データを記憶するべき容
量を小さくでき、また所定の信号処理前では上記データ
が表す画像の質（画質）を劣化させずに済む。更には、
上記一時的な可逆圧縮と所定の信号処理を行った後の圧
縮とを単一の圧縮手段が兼ねるようにしたので、装置の
小規模かつ低コスト化が実現できる。

【図面の簡単な説明】

【図１】本発明が適用される撮像装置の一例を示すブロ
ック図である。

【図２】上記実施例の動作タイミングを説明する図であ
る。

【図３】画像圧縮回路と画像伸長回路の構成を示した図
である。

【図４】固体撮像素子の画素データの可逆的な圧縮を施
す方法の説明図である。

【図５】フレームメモリの容量が不足する場合でも撮影
ができるように改良した実施例のフローチャートであ
る。

【図６】静止画をメモリカードに記録する従来の撮像装
置の構成例を示した図である。

【図７】図６の撮像装置によって、静止画を記録するシ
ークエンスを示した図である。

【図８】固体撮像素子の一例としてのインターライン型
ＣＣＤの説明図である。

【図９】図８のインターライン型ＣＣＤの読みだしタイ
ミングを示した図である。

【図１０】固体撮像素子の各受光素子上に一色づつ対応
されて設けられるカラーフィルタの色配列を示す図であ
る。

【符号の説明】

２ フレームメモリ ３ 画像圧縮回路 ４ 画像伸長回路 １０１ 固体撮像素子 ２０１ 絞り ２０２ シャッター ２０３ ＡＤ変換回路 ２０５ 記録信号処理回路 ２０７ メモリカード ２０９ 再生信号処理回路 ２１０ システムコントローラ ２１１ トリガスイッチ ３００ レンズ

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 固体撮像素子に蓄積した露光電荷信号を
   ＡＤ変換し、所定の データ圧縮手段によって可逆的なデータ圧縮を行
   い、得られたデータを一旦記憶手段に記憶し、 所定量毎にデータを伸張して所定の信号処理を施した
   後、前記所定のデータ圧縮手段により、可逆的なデータ
   圧縮もしくは非可逆的なデータ圧縮を行った後に、記録
   手段に記録することを特徴とするデータ圧縮・記録方
   法。