JP2002366946A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 ハードウェア処理とソフトウェア処理とを複
合した画像処理の処理速度を大幅に向上し得る。 【解決手段】 入力する画像データをリアルタイム処理
するＲＰＵ１４は、画素補間・ガンマ補正処理部４１に
処理途中の画素データを保持する空間レジスタ群５０を
備えている。ＣＰＵ１７は、コプロセッサ・インターフ
ェース８０を介して、空間レジスタ群５０に格納した画
素データを取り込み適応型画像処理を施した後に、空間
レジスタ群５０の任意のレジスタにその処理データを戻
すことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル画像デー
タに画素補間などを施す画像処理装置に関する。

【０００２】

【従来の技術】一般に、デジタル・ビデオ・カメラやデ
ジタル・スチル・カメラなどの撮像デバイスでは、レン
ズ群やプリズムなどからなる光学系を透過した光はＣＣ
ＤセンサやＣＭＯＳセンサなどの撮像センサで検出され
画像信号に変換される。その画像信号はデジタル信号
（原画像データ）にＡ／Ｄ変換された後に、画素補間、
色空間変換、輪郭強調および解像度変換などの種々の画
像処理を施され、液晶表示装置（ファインダー）などで
表示される。また撮像デバイスの中には、その画像処理
を施した画像データを、ＪＰＥＧ（Joint Photographic
Experts Group）やモーションＪＰＥＧ、ＭＰＥＧ（Mo
ving Picture Experts Group）などの各種方式で圧縮符
号化した後に不揮発性メモリなどのメモリカードに書き
出したり、インターフェースを介してパーソナル・コン
ピュータなどの外部機器に出力したりする機能を有する
ものもある。また、通常、前記原画像データに対する画
像処理のリアルタイム性を高めるべく、撮像デバイスに
は画像処理専用のチップ（集積回路）が組み込まれてい
る。しかし、ハードウェア構成のチップがなし得る画像
処理には、予め組み込まれた画像処理しか実行できない
という制限があり、このため、ハードウェアの仕様から
外れた画像処理（適応型画像処理と呼ばれる。）はＣＰ
Ｕに依存したプログラム（ソフトウェア）で実現され
る。

【０００３】

【発明が解決しようとする課題】しかしながら、そのよ
うなＣＰＵに依存した適応型画像処理ではオーバーヘッ
ドが大きく、処理時間が長大化し易いという問題があ
る。例えば、撮像した原画像データをソフトウェア処理
で画素補間する場合、その原画像データは一旦、ＳＤＲ
ＡＭなどのバッファに転送され格納される。次いでＣＰ
Ｕは、そのバッファにアクセスして２次元画素配列の原
画像データを読み出さねばならないため、データ転送そ
のものに非常に時間がかかってしまう。また、ＣＰＵに
おけるソフトウェア処理とチップにおけるハードウェア
処理とを組み合わせた画像処理を行う場合にもデータ転
送時のオーバーヘッドが大きくなる。すなわち、１画素
毎のデータ転送回数には、ＣＰＵとバッファとの間で画
像データを読出しおよび書き出しするために２ステッ
プ、チップとバッファとの間で補間データを読出しおよ
び書き出しするために２ステップが要求され、合計４ス
テップが必要となる。このことが処理時間を長大化させ
る一因にもなっていた。

【０００４】以上の問題に鑑みて本発明が解決しようと
するところは、ハードウェア処理とソフトウェア処理と
を組み合わせた画像処理の速度を大幅に向上し得る画像
処理装置を提供する点にある。

【０００５】

【課題を解決するための手段】上記課題を解決するた
め、請求項１に係る発明は、ハードウェアで構成される
画像処理部と、所定のプログラムに基づいた適応型画像
処理を実行するマイクロ・プロセッサと、を備えた画像
処理装置であって、前記画像処理部は、処理途中の画像
データを保持するレジスタを備え、前記マイクロ・プロ
セッサは、前記レジスタに保持された画像データを当該
レジスタに直接アクセスして読出し、且つ、前記適応型
画像処理を施した画像データを当該レジスタに直接アク
セスして戻すインターフェースを備えることを特徴とす
るものである。

【０００６】また請求項２に係る発明は、請求項１記載
の画像処理装置であって、前記画像処理部に対する画像
データの入出力は少なくとも１チャンネルのＤＭＡ（ダ
イレクト・メモリ・アクセス）で実行されるものであ
る。

【０００７】また請求項３に係る発明は、請求項１また
は２記載の画像処理装置であって、前記マイクロ・プロ
セッサの処理速度が前記画像処理部の処理速度と同程度
もしくは当該処理速度よりも低い場合に、少なくとも、
前記マイクロ・プロセッサで前記適応型画像処理を実行
する期間は、前記レジスタに同一の画像データを保持さ
せ、且つ、前記画像処理部における処理を一時中断させ
るものである。

【０００８】また請求項４に係る発明は、請求項１また
は２記載の画像処理装置であって、少なくとも、前記マ
イクロ・プロセッサで前記適応型画像処理を実行する期
間に前記レジスタが同一の画像データを保持するよう
に、前記マイクロ・プロセッサの処理速度が前記画像処
理部の処理速度よりも高く設定されるものである。

【０００９】また請求項５に係る発明は、請求項１また
は２記載の画像処理装置であって、前記画像処理部は、
入力する画像データの所定の２次元局所領域の画素デー
タを保持する第１の前記レジスタと、当該第１のレジス
タに保持された前記画素データを用いた画素補間を実行
する画素補間回路と、を備える。

【００１０】また請求項６に係る発明は、請求項５記載
の画像処理装置であって、前記画素補間回路は、前記２
次元局所領域内の全画素データの平均値または前記２次
元局所領域内の各色成分毎の平均値を算出し、前記各平
均値を第２の前記レジスタに保持させる線形演算回路を
備える。

【００１１】また請求項７に係る発明は、請求項６記載
の画像処理装置であって、前記画素補間回路は、前記２
次元局所領域内の前記各色成分毎の平均値を特定の色成
分の平均値で除算した色成分比率を算出し、該色成分比
率を第３の前記レジスタに保持させる色成分比演算回路
を備える。

【００１２】また請求項８に係る発明は、請求項６記載
の画像処理装置であって、前記画素補間回路は、前記２
次元局所領域内の所定の注目画素の画素データと前記平
均値との偏差（高域成分）を算出し、該偏差を第４の前
記レジスタに保持させる高域成分演算回路を備える。

【００１３】また請求項９に係る発明は、請求項５記載
の画像処理装置であって、前記画素補間回路は、前記２
次元局所領域内の任意の画素データを昇順または降順に
並べ替え、第５の前記レジスタに保持させる並べ替え演
算回路を備える。

【００１４】また請求項１０に係る発明は、請求項５記
載の画像処理装置であって、前記画素補間回路は、前記
２次元局所領域内の画素データの各々に所定の係数値を
乗算して加算する空間フィルタリングを実行し、第６の
前記レジスタに保持させる空間フィルタ回路を備える。

【００１５】また請求項１１に係る発明は、請求項１０
記載の画像処理装置であって、前記空間フィルタ回路
は、前記各画素データに対応する係数値を記憶した複数
種類の係数テーブルと、該係数テーブルを切り換えるセ
レクタと、を備える。

【００１６】そして請求項１２に係る発明は、請求項１
〜１１の何れか１項に記載の画像処理装置であって、前
記インターフェースとしてコプロセッサ・インターフェ
ースを用いたものである。

【００１７】

【発明の実施の形態】図１は、本発明の実施の形態に係
る画像処理装置を搭載したデジタル・スチル・カメラ１
の全体構成を示す機能ブロック図である。このデジタル
・スチル・カメラ１は、ＡＦ（オート・フォーカス）機
能や自動露出調節機能などを備えた光学機構１１を有し
ており、この光学機構１１を通して入射した被写体画像
の光がＣＣＤからなる画像撮像センサ１２で検出され
る。また被写体を撮影するタイミングと同期するように
光量を調節された光をストロボ（閃光装置）３０から発
して被写体に照射することができる。アナログ信号処理
回路１３は、画像撮像センサ１２から出力された被写体
の画像信号をデジタル化して得られる原画像データをＲ
ＰＵ（リアルタイム・プロセッシング・ユニット）１４
に出力する。ＲＰＵ（画像処理部）１４は入力する原画
像データに対して、後述する画素補間や色空間変換など
の画像処理をリアルタイムに実行する機能を有する。ま
た上記アナログ信号処理回路１３とＲＰＵ１４はそれぞ
れメイン・バス１０と接続されており、アナログ信号処
理回路１３から出力される原画像データをＲＰＵ１４に
入力させずに、メイン・バス１０を介して主メモリ２６
に転送させ一時記憶させることができる。

【００１８】またＲＰＵ１４から出力された画像データ
は主メモリ２６のバッファ領域に転送されて一時記憶さ
れたり、メイン・バス１０を介してディスプレイ・モジ
ュール２０に転送されＬＣＤ（液晶表示装置）２３に表
示されたりする。尚、同図中、符号２１はデジタル・エ
ンコーダ、２２はＬＣＤ駆動回路２２を示している。ま
たそのバッファ領域に記憶された画像データは、ＣＰＵ
１７やＤＭＡ（ダイレクト・メモリ・アクセス）コント
ローラ２４の制御により読み出され、メイン・バス１０
を介して圧縮処理部２５に転送されＪＰＥＧやＭＰＥＧ
などの方式で圧縮符号化された後に、インターフェース
２７Ａに転送され不揮発性メモリからなるメモリ・カー
ド２７に格納できる。また圧縮処理部２５で圧縮符号化
した画像データを外部インターフェース２８に転送し、
この外部インターフェース２８と接続された外部の表示
装置やコンピュータなどに転送することも可能である。

【００１９】尚、図１中、符号１５は画像撮像センサ１
２を駆動する駆動回路、符号１６はＲＰＵ１４および駆
動回路１５などの動作タイミングを規律するタイミング
・ジェネレータ、符号１８はＰＬＬ発振回路、符号１９
はＣＰＵ１７の補助演算を実行するコプロセッサを示し
ている。またクロック・ジェネレータ２９は、ＰＬＬ発
振回路１８から供給されるクロック信号を逓倍もしくは
分周することで、ＲＰＵ１４、タイミング・ジェネレー
タ１６、ＣＰＵ１７およびデジタル・エンコーダ２１な
どの全モジュールの駆動クロック信号を生成する。

【００２０】上記画像撮像センサ（ＣＣＤ撮像センサ）
１２は、光電効果で発生したキャリア（電子またはホー
ル）を蓄積する電荷蓄積部と、蓄積されたキャリアに電
界を印加して転送するように制御する電荷転送部とを備
える一般的なものである。例えば、ＩＴ−ＣＣＤ（Inte
rline Transfer CCD；インタライン転送ＣＣＤ）、ＦＦ
−ＣＣＤ（Full Frame CCD；フルフレームＣＣＤ）、Ｆ
Ｔ−ＣＣＤ（Frame Transfer CCD；フレーム転送ＣＣ
Ｄ）、ＦＩＴ−ＣＣＤ（Frame Interline Transfer CC
D；フレームインターライン転送ＣＣＤ）などが挙げら
れる。また画像撮像センサ１２としては、画素を構成す
るラインのうち偶数番目ラインからなるフィールド（偶
数フィールド）と奇数番目ラインからなるフィールド
（奇数フィールド）とから交互に画素データを読み出さ
れるインターレース（飛越し走査）タイプのものと、ラ
イン順次に画素データを読み出されるプログレッシブ
（順次走査）タイプのものとの何れかが使用される。
尚、本実施の形態では、画像撮像センサ１２にＣＣＤ撮
像センサを採用するが、これに限らず、電荷転送部をも
たないＣＭＯＳ撮像センサを採用してもよい。このよう
な画像撮像センサ１２の感光部上には単板式の色フィル
タ・アレイが配設されている。

【００２１】図２は、上記ＲＰＵ１４の概略構成を示す
機能ブロック図である。ＲＰＵ１４は集積回路化されて
おり、単一画素処理部４０，画素補間・ガンマ補正処理
部４１，色空間変換・色抑圧処理部４２，空間フィルタ
リング・コアリング処理部４３および解像度変換部４４
を備えている。各処理ブロック４０〜４４はメイン・バ
ス１０と接続されており、画像データを処理ブロック４
０〜４４でシリアル（逐次的）に画像処理させることが
できるし、一の処理ブロックのみで画像処理することも
可能である。例えば、主メモリ２６に一時記憶された画
像データをメイン・バス１０経由で画素補間・ガンマ補
正処理部４１にＤＭＡ転送し画像処理させた後、画素補
間・ガンマ補正処理部４１から出力された処理データを
メイン・バス１０経由で主メモリ２６上のバッファにＤ
ＭＡ転送し格納することができる。

【００２２】前記単一画素処理部４０は、主メモリ２６
上のバッファからＤＭＡ転送されて入力する原画像デー
タを単一画素単位で処理する機能を有し、入力する原画
像データを複数フレームもしくは複数フィールドに亘り
平均化する経時的平均化処理やシェーディング処理など
を実行する。例えば、経時的平均化処理では、被写体の
露光量が不足している場合、画像撮像センサ１２から通
常周期で読出した複数フレームまたは複数フィールドに
亘る画素データを累積することで露出量を増大させる処
理が行われる。従来、被写体の露光量が不足している場
合は、画像撮像センサ１２からの画素データの読出しを
所定期間停止し、画像撮像センサ１２の感光部における
蓄積電荷量を十分に増大させた後に画素データを読出し
たり、アナログ信号処理回路１３で画像信号を増幅した
りすることが行われていたが、これらでは画素データに
含まれるノイズも増大しＳ／Ｎ特性が低下するという問
題が生じていた。また、シェーディング処理は、画像の
全体が平均的に一様な明るさになるように、各画素の輝
度値をゲイン調整することで実行される。ここで、シェ
ーディングとは、光学機構１１の中心部に対する周辺部
の減光や、画像撮像センサ１２の受光感度の不均一に起
因して生ずる、被写体画像の本来の輝度と映像信号との
間の変換特性の不整合を意味しており、例えば、画像の
周辺部が中心部に比べて暗くなるという輝度ムラとなっ
て現れるものである。

【００２３】次に、上記画素補間・ガンマ補正処理部４
１は主要な機能として、後に詳述するように、内部に組
み込まれた空間レジスタ群（レジスタ）５０に一時記憶
した画素データを用いて各画素毎に不足の色成分を補間
する画素補間機能と、ルック・アップ・テーブル（以
下、ＬＵＴと呼ぶ。）を用いてガンマ値などを補正する
ガンマ補正機能とを有している。画像撮像センサ１２の
感光部上に配設される単板式の色フィルタ・アレイに
は、「Ｒ（赤色）」，「Ｇ（緑色）」，「Ｂ（青色）」
の３原色系色フィルタや、「Ｙ（イエロー色）」、「Ｍ
（マゼンダ色）」、「Ｃ（シアン色）」、「Ｇ（緑
色）」のような４色の補色系色フィルタなどがある。図
３は、ベイヤー配列と称する３原色系色フィルタ配列３
５を例示する模式図、図４は、補色系色フィルタ配列３
７を例示する模式図である。３原色系の色フィルタ配列
３５は、太線枠で示した２×２画素の単位画素領域３６
を繰り返し単位として配列して構成される。その単位画
素領域３６には、対角をなす２画素の各々にＧフィルタ
が配列され、残る２画素にＲフィルタとＢフィルタが配
列されている。また、補色系の色フィルタ配列３７は、
太線枠で示した２×２画素の単位画素領域３８を繰り返
し単位として配列して構成される。その単位画素領域３
８には、Ｍフィルタ、Ｇフィルタ、ＣフィルタおよびＹ
フィルタが各画素と一対一対応で配列される。このよう
な色フィルタ・アレイを透過した光から得た画素データ
は、一画素に単色成分しかもたないため、画素補間機能
は、一画素に３色もしくは４色の色成分をもたせるよう
に当該着目画素の周辺画素の色成分を用いてそれらの平
均値などを算出することで不足の色成分を補間する。ま
た、ガンマ補正機能は、離散的な階調をもつ色成分値
（入力値）と各入力値に対応する補正後の色成分値（出
力値）とをＬＵＴに保持しており、このＬＵＴに基づい
て入力値は対応する出力値に変換し出力する。

【００２４】本発明に係る画像処理装置では、ＣＰＵ１
７は、以上の画素補間・ガンマ補正処理部４１に組み込
まれた空間レジスタ群５０とインターフェースを介して
直接アクセスでき、その空間レジスタ群５０に記憶され
た画素データを取り込んで画像処理し、その空間レジス
タ群５０の任意のレジスタに戻すことが可能である。

【００２５】次に、色空間変換・色抑圧処理部４２は、
原信号がカラー画像信号の場合に例えばＲＧＢ信号から
ＹＣｂＣｒ信号へ色空間を変換する色空間変換機能と、
画像中の明部と暗部の色抑圧（クロマサプレス；偽色防
止）を行う色抑圧機能とを有している。色空間変換機能
で変換先の色空間としては、ＹＣｂＣｒ色空間の他に、
ＮＴＳＣ（National Television System Committee）方
式などで規定されているＹＩＱ色空間などを採用しても
構わない。また色抑圧機能は画像に現れる明部および暗
部の発色を抑制することで自然な画質を実現するもので
ある。一般に、画像に現れる暗部は様々なノイズの影響
を受けやすい性質をもつため、暗部ではできるだけ発色
を抑制することが自然な画質を出すことにつながる。一
方、画像の現れる明部は当該明部を撮像した撮像素子や
その他の種々のハードウェアの特性に応じて変調の影響
を受け易い部分でありホワイトバランスが狂い易い部分
であるため、出来るだけ発色を抑制することが自然な画
質を出すことにつながる。これらを考慮して色抑圧機能
は画像中の明部と暗部の発色が抑制される。

【００２６】次に、空間フィルタリング・コアリング処
理部４３は、画像データの５×５画素程度の局所領域に
空間フィルタ（重みマスク）を適用し、各空間フィルタ
の係数値を対応する画素データに重み付け（乗算）し加
算するという積和演算を実行する空間フィルタリング機
能と、空間フィルタリング処理を施された画像データに
対し、高域成分が一定レベルを超えたときに一般的な非
線形処理（コアリング）を施すコアリング機能とを有す
るものである。以上の空間フィルタリング機能とコアリ
ング機能とで画像に含まれる雑音が低減されたり、線お
よびエッジ部分を強調する輪郭強調処理が実行されたり
する。

【００２７】次に、解像度変換部４４は、前記空間フィ
ルタリング・コアリング処理部４３から出力された画像
データのサイズを、バイリニア法（線形補間法）などに
基づいて縮小または拡大する機能を有している。

【００２８】以上の構成のＲＰＵ１４を用いた実施の形
態に係る画像処理装置を以下に詳説する。図５は、本実
施の形態に係る画像処理装置を構成する画素補間・ガン
マ補正処理部４１の概略を示すブロック図である。この
画素補間・ガンマ補正処理部４１は、上記した空間レジ
スタ群５０として、上記単一画素処理部４０またはメイ
ン・バス１０から入力する画素データの５×５画素分を
記憶する入力データ・レジスタ群５０Ａと、各演算回路
５３〜５８で処理された画素データ（中間データ）を記
憶する中間データ・レジスタ群５０Ｂと、補間組み合わ
せ回路５９で処理された画素データを記憶する補間デー
タ・レジスタ群５０Ｃとを備えている。各レジスタ群５
０Ａ〜５０ＣはＤフリップ・フロップなどから構成さ
れ、ＡＮＤ素子７２から出力される制御信号に同期して
動作する。ＡＮＤ素子７２は、ＣＰＵ１７から伝達する
ＰＣ（Processing Control）制御信号と画素クロックＣ
ＬＫとを論理積演算し、双方の信号レベルが高レベルの
ときに限り高レベルの制御信号を出力する。

【００２９】また、ＣＰＵ１７は、当該ＣＰＵ１７に備
わるコプロセッサ・インターフェース８０を介して画素
補間・ガンマ補正処理部４１のレジスタ群５０Ａ〜５０
Ｃの各々と接続されている。またＣＰＵ１７は、メモリ
（図示せず）に格納されたプログラムをロードし、当該
プログラムに記述されたコプロセッサ・インターフェー
ス８０の命令に基づいて前記レジスタ群５０Ａ〜５０Ｃ
の任意のレジスタ（以下、画素補間用レジスタと呼
ぶ。）に直接アクセスでき、当該レジスタに格納された
画素データをＣＰＵ１７内の汎用レジスタ（図示せず）
に取り込んで格納し、格納した画素データを用いて画素
補間・ガンマ補正処理部４１では処理し得ない適応型補
間処理をソフトウェアで実行できる。そしてＣＰＵ１７
は、コプロセッサ・インターフェース８０を介してその
適応型補間データを任意の画素補間用レジスタに転送し
格納させることが可能である。例えば、画素補間用レジ
スタからＣＰＵ１７上の汎用レジスタにデータを移動さ
せる移動命令は、"MFC $1, $2"のように表現され得る。
その移動命令中、"$1"はＣＰＵ１７内の汎用レジス
タ、"$2"は画素補間用レジスタを示している。このよう
な移動命令は、１ＣＰＵサイクルで実行できるため、高
速に且つ効率良く双方のレジスタ間で画素データを移動
できる。

【００３０】またＣＰＵ１７のクロック周波数が画素ク
ロックＣＬＫの周波数と同程度もしくは画素クロックＣ
ＬＫの周波数よりも低い場合は、上記適応型画像処理を
実行し且つ画素データをレジスタ群５０Ａ〜５０Ｃのレ
ジスタに戻す迄の処理期間は、ＰＣ制御信号のレベルを
Ｌ（Low）レベルに維持し、各レジスタに同一の画素デ
ータを保持させ、リアルタイム処理を一時中断させる。
これは、レジスタ群５０Ａ〜５０Ｃに保持されている画
素データが適応型画像処理途中で更新されるのを防ぐた
めの措置である。他方、ＣＰＵ１７のクロック周波数が
画素クロックＣＬＫの周波数よりも十分に高い場合は、
ＣＰＵ１７で適応型画像処理を行いつつ、ＰＣ制御信号
のレベルをＨ（High）レベルに維持したまま画素補間・
ガンマ補正処理部４１のリアルタイム処理を続行でき
る。かかる場合は、ＲＰＵ１４におけるリアルタイム性
を損なうこと無く適応型画像処理を実行できるため好ま
しい。

【００３１】尚、コプロセッサ・インターフェース８０
を用いる代わりに、ＣＰＵ１７の論理アドレスとＳＲＡ
Ｍ上のアドレスとをメモリ・マッピングし、メイン・バ
ス１０を介して画素補間用レジスタとＳＲＡＭとの間で
画素データを移動させるメモリ管理インターフェース
（図示せず）を用いてもよい。但し、１つの命令を実行
するのに一般的には平均で４ＣＰＵサイクル以上必要と
なるため、データ転送の速度および効率の観点からは、
本実施の形態のようにコプロセッサ・インターフェース
８０を用いるのが望ましい。

【００３２】またＲＰＵ１４に対する画素データの入出
力は、少なくとも１チャンネルのＤＭＡで実行できる。
ＤＭＡコントローラ２４を用いることで、ＣＰＵ１７は
ＲＰＵ１４に対する画素データの転送処理の負荷を受け
ないため、適応型画像処理の処理速度の向上が可能であ
る。また上記画像撮像センサ１２には、画像読出しの進
行の中断および再開を許可しないタイプと、画像読出し
の進行の中断および再開を許可するタイプとに２分され
る。

【００３３】画像撮像センサ１２が画像読出しの進行の
中断と再開を許可しない通常のＩＴ−ＣＣＤなどで構成
される場合、ＲＰＵ１４の１クロックタイムの間にＣＰ
Ｕ１７による適応型画像処理が終了しないときは、上述
の通り、アナログ信号処理回路１３から出力される原画
像データを一旦、主メモリ２６のバッファ領域に転送し
記憶させる必要がある。かかる場合、適応型画像処理を
行わない期間、ＤＭＡコントローラ２４は、そのバッフ
ァ領域に格納された原画像データをＲＰＵ１４にＤＭＡ
転送する動作に１チャンネルを使用し、ＲＰＵ１４から
出力される処理データを主メモリ２６の他のバッファ領
域にＤＭＡ転送する動作に１チャンネルを使用するた
め、合計２チャンネルが必要となる。他方、適応型画像
処理を行う期間、上記ＰＣ制御信号のレベルをＬレベル
に切り換えることでＲＰＵ１４の動作は一時中断される
と同時に、ＤＭＡコントローラ２４はＤＭＡ転送動作を
一時中断するように制御される。そして、当該適応型画
像処理の終了後にＲＰＵ１４の動作およびＤＭＡ転送動
作が再開される。尚、実際には、ＤＭＡ転送された画素
データが入力するＲＰＵ１４のデータ入力部、およびＤ
ＭＡ転送される画素データを出力するＲＰＵ１４のデー
タ出力部には、ＦＩＦＯバッファ（図示せず）が設けら
れている。このため、ＤＭＡ転送するか否かのタイミン
グはそのＦＩＦＯバッファによる緩衝作用により左右さ
れるが、上記のＰＣ制御信号がＬレベルである期間は、
少なくとも、ＲＰＵ１４からＦＩＦＯバッファに対する
データ入出力要求は発生しない。

【００３４】また画像撮像センサ１２が画像読出しの進
行の中断と再開を許可できるＦＴ−ＣＣＤやＣＭＯＳな
どで構成される場合は、アナログ信号処理回路１３から
出力される原画像データを一旦、主メモリ２６のバッフ
ァ領域に転送する必要が無く、その原画像データは、直
接、ＲＰＵ１４に転送できる。このため、適応型画像処
理を行わない期間、ＤＭＡコントローラ２４は、ＲＰＵ
１４から出力される処理データを主メモリ２６のバッフ
ァ領域にＤＭＡ転送する動作に１チャンネル使用するだ
けでよい。また適応型画像処理を行う期間は、上記ＰＣ
制御信号のレベルをＬレベルに切り換えることでＲＰＵ
１４の動作は一時中断されると同時に、ＤＭＡコントロ
ーラ２４はＤＭＡ転送動作を一時中断するように制御さ
れる。そして、当該適応型画像処理の終了後にＲＰＵ１
４の動作およびＤＭＡ転送動作が再開される。

【００３５】上記入力データ・レジスタ群５０Ａは、点
順次で入力する画素データを、水平方向に５画素分且つ
垂直方向に５画素分記憶する２５個のレジスタ５１，５
１，…を備えており、各レジスタ５１，…は、ライン・
メモリ５２Ａ，５２Ｂ，５２Ｃ，５２Ｄを介して直列接
続されている。また画素クロックＣＬＫの印加により画
素データはレジスタ５１，５１，…とライン・メモリ５
２Ａ〜５２Ｄとを順次移動し、画像データ内の５×５画
素の所望の局所領域の画素データをレジスタ群５０Ａに
記憶させ保持させることができる。このような入力デー
タ・レジスタ群５０Ａに記憶された局所領域内の画素デ
ータは、各演算回路５３〜５８に選択的に取り込まれ処
理された後、中間データ・レジスタ群５０Ｂに記憶され
る。それら演算回路５３〜５８のうち線形演算回路５３
は、当該局所領域の中心画素（以下、注目画素と呼
ぶ。）に対して線形演算により５種類の補間値を算出で
きる。第１の補間値は、当該局所領域内の全画素データ
の平均値Ｃ_allであり、レジスタ６０ａに格納される。
すなわち、図６に示すように当該局所領域内の画素値を
Ｒ［ｉ，ｊ］（ｉ，ｊは０〜４の整数、ｉは行番号、ｊ
は列番号）で表現するとすれば、注目画素値はＲ［２，
２］であり、Ｃ_all＝（Ｒ［０，０］＋Ｒ［０，１］＋
…＋Ｒ［４，３］＋Ｒ［４，４］）／２５で算出され
る。また第２〜第５の補間値Ｃ₁〜Ｃ₄は、同色成分のみ
を用いた平均値であり、レジスタ６０ｂ〜６０ｅにそれ
ぞれ格納される。本実施の形態では、４色成分に対応し
得るように４種類の補間値（平均値）が算出可能であ
る。例えば、図３に示す色配列の画素データをレジスタ
群５０Ａに保持し且つ注目画素データをＧ成分に設定し
た場合、当該注目画素に不足の色成分はＲ成分とＢ成分
であるから、当該注目画素値Ｒ［２，２］を選択的に読
み出してそのまま補間値Ｃ₁とし、画素値Ｒ［２，
１］、Ｒ［２，３］を選択的に読み出してＲ成分（補間
値）Ｃ₂を算出し、また画素値Ｒ［１，２］、Ｒ［３，
２］を選択的に読み出してＢ成分（補間値）Ｃ₃を算出
する。このようにして各画素に対応する３色成分を補間
することが可能となる。以上の補間値は、コプロセッサ
・インターフェース８０を介してＣＰＵ１７のレジスタ
に移動され適応型画像処理を施された後に、レジスタ群
５０Ａ〜５０Ｃ内の任意のレジスタに戻され得る。例え
ば、ＣＰＵ１７で前記平均値Ｃ_allと比較して他の補間
値Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄の何れかの輝度値分布が偏ってい
ると判定された場合、ＣＰＵ１７はデータ・ベースなど
に従って当該補間値を補正（適応型画像処理）した後に
レジスタ６０ｂ〜６０ｅに戻すことができる。

【００３６】また、色成分比演算回路５４は、レジスタ
６０ｂ〜６０ｅに格納した各色成分Ｃ₁，Ｃ₂，Ｃ₃，Ｃ₄
を用いて基準となる色成分と他の色成分との比率を算出
し、レジスタ６１ａ〜６１ｃに出力し保持させる機能を
有する。例えば、基準となる色成分Ｃ₁と他の色成分
Ｃ₂，Ｃ₃，Ｃ₄との比率は、Ｃ₂／Ｃ₁、Ｃ₃／Ｃ₁および
Ｃ ₄／Ｃ₁で算出される。

【００３７】また、高域成分演算回路５５は、当該着目
画素値から各色成分の平均値（低域成分）を減算した高
域成分を算出し、レジスタ６２ａ〜６２ｅに出力し保持
させる機能を有する。この高域成分演算回路５５は、全
方向、水平方向、垂直方向および対角方向の５種類の高
域成分を算出できる。例えば、全方向の高域成分（偏
差）Ｈ_allは、Ｈ_all＝Ｒ［２，２］−Ｃ_all、の演算式
で算出できる。水平方向の高域成分（偏差）Ｈ_Hは、当
該画素値から、水平方向に亘る５個の画素値の平均値を
減算した値であり、具体的には、Ｈ_H＝Ｒ［２，２］−
（Ｒ［２，０］＋Ｒ［２，１］＋Ｒ［２，２］＋Ｒ
［２，３］＋Ｒ［２，４］）／５、の演算式で算出でき
る。また垂直方向の高域成分（偏差）Ｈ_Vは、当該画素
値から、垂直方向に亘る５個の画素値の平均値を減算し
た値であり、具体的には、Ｈ_V＝Ｒ［２，２］−（Ｒ
［０，２］＋Ｒ［１，２］＋Ｒ［２，２］＋Ｒ［３，
２］＋Ｒ［４，２］）／５、の演算式で算出できる。そ
して、対角方向の高域成分（偏差）Ｈ _Dは、当該画素値
から、左上方から右下方もしくは右上方から左下方への
対角方向に亘る５個の画素値の平均値を減算した値であ
り、具体的には、Ｈ_D＝Ｒ［２，２］−（Ｒ［０，０］
＋Ｒ［１，１］＋Ｒ［２，２］＋Ｒ［３，３］＋Ｒ
［４，４］）／５、もしくは、Ｈ_D＝Ｒ［２，２］−
（Ｒ［０，４］＋Ｒ［１，３］＋Ｒ［２，２］＋Ｒ
［３，１］＋Ｒ［４，０］）／５、の演算式で算出でき
る。

【００３８】また、分散演算回路５６は、前記レジスタ
６２ａ〜６２ｅに格納した高域成分を読み出して各高域
成分の平方を分散量として算出し、レジスタ６３ａ〜６
３ｅに出力し保持させる機能を有する。全方向の分散Ｖ
_allは、Ｖ_all＝Ｈ_all ²、の演算式で算出され、レジスタ
６３ａに格納される。また、水平方向、垂直方向および
対角方向の分散もそれぞれ、Ｖ_H＝Ｈ_H ²、Ｖ_V＝Ｈ_V ²およ
びＶ_D＝Ｈ_D ²、の演算式で算出され、レジスタ６２ｂ〜
６２ｅに格納される。尚、分散量を求める代わりに標準
偏差などの他の統計量を算出してもよい。

【００３９】以上の色成分比演算回路５４や高域成分演
算回路５５、分散演算回路５６で算出された値は、コプ
ロセッサ・インターフェース８０を介してレジスタから
ＣＰＵ１７内のレジスタに移動されて、ＣＰＵ１７で上
記適応型画像処理を行う際に利用され得る。このため、
ＣＰＵ１７がレジスタ６０ｂ〜６０ｅに格納した補間値
に対してホワイト・バランスなどの微調整を行う際、上
記高域成分や分散量などの演算時間を省くことができ、
適応型画像処理を高速に実行できる。

【００４０】次に、上記空間フィルタ回路５７は、画像
データの５×５画素の局所領域に空間フィルタ（重みマ
スク）を適用し、当該局所領域内の各画素に割り当てら
れた係数値を当該画素データに重み付け（乗算）し加算
するという積和演算を実行する機能を有する。図７は、
空間フィルタ回路５７の係数テーブル７３の例を示す模
式図である。係数テーブル７３は、上記入力データ・レ
ジスタ群５０Ａに保持された各画素データに対応する係
数値Ｋ［０，０］，Ｋ［０，１］，…，Ｋ［４，４］を
格納している。画像データのｉ行ｊ列目（ｉ，ｊ：整
数）の注目画素値Ｇ［ｉ，ｊ］（＝Ｒ［２，２］）に対
する出力画素値Ｏ［ｉ，ｊ］は次式（１）に従って算出
され、レジスタ６４に格納される。

【００４１】

【数１】

【００４２】尚、空間フィルタ回路５７は、上式（１）
の出力画素値Ｏ［ｉ，ｊ］に所定の補正値を加算できる
し、出力画素値Ｏ［ｉ，ｊ］を２の巾乗値で除算して算
術シフトすることもできる。またＣＰＵ１７はこのよう
な空間フィルタ回路５７の出力画素値を取り込み適応型
画像処理を行うことができる。

【００４３】また、上記空間フィルタ回路５７は、複数
の係数値テーブルを備えることが好ましい。図８は、第
１係数テーブル７３Ａと第２係数テーブル７３Ｂを備え
た空間フィルタ回路５７を示す概略図である。空間フィ
ルタ回路５７は、ＣＰＵ１７からのＦＳ（Filter Selec
t）制御信号により第１および第２係数テーブル７３
Ａ，７３Ｂの何れか一方を選択するセレクタ７４と、こ
のセレクタ７４を介して読み出した係数値を用いて上記
積和演算を実行する空間フィルタリング演算回路７５と
を備えている。例えば、第１係数テーブル７３Ａを高周
波数成分算出用、第２係数テーブル７３Ｂを低周波数成
分算出用のものとして係数値を書き込んでおくことで、
高周波数成分と低周波数成分との双方を得ることができ
る。また複数の係数テーブルを用意することは処理の高
速化に繋がる。例えば、１つの係数テーブルしか用意さ
れていない場合、１画素データの処理に対して、その係
数テーブルに高周波数成分算出用の係数値を書き込むた
めに数ＣＰＵステップ、前記係数値を読出すために１Ｃ
ＰＵステップ、その係数テーブルに低周波数成分算出用
の係数値を書き込んで更新するために数ＣＰＵステッ
プ、そして前記係数値を読出すために１ＣＰＵステップ
がそれぞれ必要となり、処理時間が長大化し易い。他
方、２つの係数テーブル７３Ａ，７３Ｂを用意した場合
は、各テーブルに高周波数成分算出用と低周波数成分算
出用の係数値をそれぞれ書き込んでおけば、１画素デー
タの処理に対して、セレクタ７４の切換制御に１ＣＰＵ
ステップ、高周波成分算出用の係数値を読出すために１
ＣＰＵステップ、低周波数成分算出用の係数値を読出す
ために１ＣＰＵステップがそれぞれ必要であるが、１つ
の係数テーブルしか用意していない場合と比べると処理
時間の大幅な短縮が可能であることが分かる。

【００４４】次に、並べ替え演算回路５８は、入力デー
タ・レジスタ群５０Ａから読出した画素データを降順ま
たは昇順に並べ替え演算し、レジスタ６５に出力し保持
させる機能を有する。例えば、ＣＰＵ１７は、コプロセ
ッサ・インターフェース８０を介してレジスタ６５に保
持された画素データを取り込み、並べ替えた画素データ
の中央値（メディアン）を当該注目画素の画素値とする
メディアン補間や、当該中央値付近の複数の画素データ
を選択して平均化する補間などの適応型画像処理を行っ
た後、レジスタ６５に戻すことができる。

【００４５】以上の各種演算回路５３〜５８で算出され
た画素データは、中間データ・レジスタ群５０Ｂから補
間組み合わせ回路５９に読み出される。補間組み合わせ
回路５９は、レジスタ群５０Ｂから読出した画素データ
を用いて３色成分もしくは４色成分を画素補間した後、
各色成分毎にそれぞれ、レジスタ６６ａ，６６ｂ，６６
ｃ，６６ｄに出力し保持させる。尚、補間組み合わせ回
路５９は、中間データ・レジスタ群５０Ｂのレジスタ６
０ｂ，６０ｃ，６０ｄ，６０ｅに保持された各色成分
（補間値）をそのまま読み出してレジスタ６６ａ〜６６
ｄに出力しても構わない。

【００４６】次に、第１ガンマ補正回路７０Ａ，７０
Ｂ，７０Ｃ，７０Ｄは、それぞれ補間データ・レジスタ
群５０Ｃのレジスタ６６ａ，６６ｂ，６６ｃ、６６ｄか
ら伝達した画素データに対してＬＵＴを用いてガンマ補
正を実行し、各補正データをレジスタ７１ａ，７１ｂ，
７１ｃ，７１ｄに出力し保持させる。そして、レジスタ
７１ａ〜７１ｄで保持された画素データは、図２に示し
た色空間変換・色抑圧処理部４２に出力される。

【００４７】以上の実施の形態に係る画像処理装置によ
れば、ＣＰＵ１７は、ＲＰＵ１４に入力しリアルタイム
処理されている途中の画素データをコプロセッサ・イン
ターフェース８０を介して取り込み、適応型画像処理を
施した後に、ＲＰＵ１４に戻してリアルタイム処理を続
行させることができる。よって、ＲＰＵ１４におけるハ
ードウェア処理とＣＰＵ１７におけるソフトウェア処理
（適応型画像処理）とを組み合わせた複合処理を効率良
く実行でき、その処理速度を大幅に向上させることが可
能となる。

【００４８】

【発明の効果】以上の如く、本発明の請求項１に係る画
像処理装置によれば、上記インターフェースにより上記
マイクロ・プロセッサは上記画像処理部のレジスタに直
接アクセスして画像データの読出しおよび書き出しを実
行できる。よって、画像処理部でハードウェア処理の途
中にある画像データに対してマイクロ・プロセッサでソ
フトウェア処理（適応型画像処理）を施し、ソフトウェ
ア処理した画像データを画像処理部に戻してハードウェ
ア処理を続行させることが可能となる。従って、ハード
ウェア処理とソフトウェア処理との複合処理を極めて効
率良く行うことができ、その処理速度を大幅に向上させ
ることが可能となる。

【００４９】また請求項２によれば、上記画像処理部に
対して画像データをＤＭＡ転送する期間、マイクロ・プ
ロセッサはデータ転送の処理負荷を受けないため、適応
型画像処理を専念して実行できる。このため、適応型画
像処理の処理速度を更に向上することが可能となる。

【００５０】また請求項３によれば、上記適応型画像処
理の最中にレジスタの記憶内容が更新されるのを確実に
防止することができる。

【００５１】また請求項４によれば、上記適応型画像処
理の最中にレジスタの記憶内容が更新されるのを確実に
防止できると共に、画像処理部におけるハードウェア処
理のリアルタイム性を損なうこと無く適応型画像処理を
実行することが可能となる。

【００５２】また請求項５によれば、画素補間処理の途
中の画素データに対してマイクロ・プロセッサで適応型
画像処理を施すことができる。また、画素補間処理で利
用されるレジスタや該レジスタに保持された演算結果を
利用した適応型画像処理を行うことが可能である。

【００５３】また請求項６によれば、マイクロ・プロセ
ッサは、上記線形演算回路で算出した２種類の平均値を
用いて適応型画像処理を実行できるため、当該平均値の
演算時間を省くことができ適応型画像処理の速度を向上
できる。

【００５４】また請求項７によれば、マイクロ・プロセ
ッサは、上記色成分比演算回路で算出した色成分比率を
用いてホワイト・バランスの微調整などの適応型画像処
理を実行できるため、当該色成分比率の演算時間を省く
ことができ適応型画像処理の速度を向上できる。

【００５５】また請求項８によれば、マイクロ・プロセ
ッサは、上記高域成分演算回路で算出した偏差（高域成
分）を用いてホワイト・バランスの微調整などの適応型
画像処理を実行できるため、当該偏差の演算時間を省く
ことができ適応型画像処理の速度を向上できる。

【００５６】また請求項９によれば、マイクロ・プロセ
ッサは、上記並べ替え演算回路で昇順または降順に並べ
替えた画素データを用いてメディアン（中央値）補間な
どの適応型画像処理を実行できるため、画素データを並
べ替える演算時間を省くことができ適応型画像処理の速
度を向上できる。

【００５７】また請求項１０によれば、マイクロ・プロ
セッサは、空間フィルタリングで実行する積和演算結果
をレジスタから読み出して適応型画像処理を実行でき、
当該適応型画像処理の速度を向上できる。

【００５８】また請求項１１によれば、複数種類の空間
フィルタリングを実行するとき、１種類の係数テーブル
しか用意していない場合と比べると、係数テーブルの係
数値を書き込み更新する回数が減るため、処理時間を大
幅に短縮化することが可能となる。

【００５９】そして請求項１２によれば、上記コプロセ
ッサ・インターフェースによるレジスタ間の画素データ
の移動命令は１ＣＰＵサイクルで実行できるため、上記
画像処理部におけるハードウェア処理とマイクロ・プロ
セッサにおけるソフトウェア処理との複合処理速度を更
に向上できる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る画像処理装置を搭載
したデジタル・スチル・カメラの全体構成を示す機能ブ
ロック図である。

【図２】本発明の実施の形態に係る画像処理装置を構成
するＲＰＵを示すブロック図である。

【図３】３原色系色フィルタ配列を示す模式図である。

【図４】補色系色フィルタ配列を示す模式図である。

【図５】実施の形態に係る画像処理装置を構成する画素
補間・ガンマ補正処理部の概略を示すブロック図であ
る。

【図６】局所領域内の画素値を示す模式図である。

【図７】実施の形態に係る画像処理装置を構成する空間
フィルタ回路の係数テーブルを示す模式図である。

【図８】２種類の係数テーブルを備えた空間フィルタ回
路を示す概略図である。

【符号の説明】

１ デジタル・スチル・カメラ １０ メイン・バス １４ ＲＰＵ １７ ＣＰＵ ２６ 主メモリ ４１ 画素補間・ガンマ補正処理部 ５０ 空間レジスタ群 ５０Ａ〜５０Ｃ 入力データ・レジスタ群 ５２Ａ〜５０Ｄ ライン・メモリ ５３〜５８ 演算回路 ５９ 補間組み合わせ回路 ７０Ａ〜７０Ｄ ガンマ補正回路 ７３，７３Ａ，７３Ｂ 係数テーブル ７４ セレクタ ７５ 空間フィルタリング演算回路 ８０ コプロセッサ・インターフェース

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 9/64 Ｈ０４Ｎ 9/64 Ｒ Ｆターム(参考） 5B047 AB04 BA03 BB04 BC21 CB25 EA10 EB01 EB17 5B057 BA11 CA01 CA08 CA16 CB01 CB08 CB16 CD06 CE06 CE11 CE16 CH01 CH07 CH11 CH14 5C021 PA12 PA72 PA80 PA82 XA32 XA34 XB03 XB07 YA01 YC08 5C022 AA13 AB00 5C066 AA01 CA07 CA17 EA11 EC02 EC03 EC05 EC12 EE03 GA01 GA02 GA05 HA01 KA08 KE09 KE17 KM01

Claims (12)

【特許請求の範囲】
1. 【請求項１】 ハードウェアで構成される画像処理部
   と、所定のプログラムに基づいた適応型画像処理を実行
   するマイクロ・プロセッサと、を備えた画像処理装置で
   あって、 前記画像処理部は、処理途中の画像データを保持するレ
   ジスタを備え、 前記マイクロ・プロセッサは、前記レジスタに保持され
   た画像データを当該レジスタに直接アクセスして読出
   し、且つ、前記適応型画像処理を施した画像データを当
   該レジスタに直接アクセスして戻すインターフェースを
   備える、ことを特徴とする画像処理装置。
2. 【請求項２】 請求項１記載の画像処理装置であって、
   前記画像処理部に対する画像データの入出力は少なくと
   も１チャンネルのＤＭＡ（ダイレクト・メモリ・アクセ
   ス）で実行される、画像処理装置。
3. 【請求項３】 請求項１または２記載の画像処理装置で
   あって、前記マイクロ・プロセッサの処理速度が前記画
   像処理部の処理速度と同程度もしくは当該処理速度より
   も低い場合に、少なくとも、前記マイクロ・プロセッサ
   で前記適応型画像処理を実行する期間は、前記レジスタ
   に同一の画像データを保持させ、且つ、前記画像処理部
   における処理を一時中断させる、画像処理装置。
4. 【請求項４】 請求項１または２記載の画像処理装置で
   あって、少なくとも、前記マイクロ・プロセッサで前記
   適応型画像処理を実行する期間に前記レジスタが同一の
   画像データを保持するように、前記マイクロ・プロセッ
   サの処理速度が前記画像処理部の処理速度よりも高く設
   定される、画像処理装置。
5. 【請求項５】 請求項１または２記載の画像処理装置で
   あって、前記画像処理部は、入力する画像データの所定
   の２次元局所領域の画素データを保持する第１の前記レ
   ジスタと、当該第１のレジスタに保持された前記画素デ
   ータを用いた画素補間を実行する画素補間回路と、を備
   える、画像処理装置。
6. 【請求項６】 請求項５記載の画像処理装置であって、
   前記画素補間回路は、前記２次元局所領域内の全画素デ
   ータの平均値または前記２次元局所領域内の各色成分毎
   の平均値を算出し、前記各平均値を第２の前記レジスタ
   に保持させる線形演算回路を備える、画像処理装置。
7. 【請求項７】 請求項６記載の画像処理装置であって、
   前記画素補間回路は、前記２次元局所領域内の前記各色
   成分毎の平均値を特定の色成分の平均値で除算した色成
   分比率を算出し、該色成分比率を第３の前記レジスタに
   保持させる色成分比演算回路を備える、画像処理装置。
8. 【請求項８】 請求項６記載の画像処理装置であって、
   前記画素補間回路は、前記２次元局所領域内の所定の注
   目画素の画素データと前記平均値との偏差（高域成分）
   を算出し、該偏差を第４の前記レジスタに保持させる高
   域成分演算回路を備える、画像処理装置。
9. 【請求項９】 請求項５記載の画像処理装置であって、
   前記画素補間回路は、前記２次元局所領域内の任意の画
   素データを昇順または降順に並べ替え、第５の前記レジ
   スタに保持させる並べ替え演算回路を備える、画像処理
   装置。
10. 【請求項１０】 請求項５記載の画像処理装置であっ
    て、前記画素補間回路は、前記２次元局所領域内の画素
    データの各々に所定の係数値を乗算して加算する空間フ
    ィルタリングを実行し、第６の前記レジスタに保持させ
    る空間フィルタ回路を備える、画像処理装置。
11. 【請求項１１】 請求項１０記載の画像処理装置であっ
    て、前記空間フィルタ回路は、前記各画素データに対応
    する係数値を記憶した複数種類の係数テーブルと、該係
    数テーブルを切り換えるセレクタと、を備える、画像処
    理装置。
12. 【請求項１２】 請求項１〜１１の何れか１項に記載の
    画像処理装置であって、前記インターフェースとしてコ
    プロセッサ・インターフェースを用いる、画像処理装
    置。