JPH1098695A - 画像情報変換装置および方法並びに積和演算装置 - Google Patents

Abstract

(57)【要約】 【課題】 ＳＤ画像からＨＤ画像へ変換処理を行う場
合、その画像の特性に応じて、最適な変換処理を行うた
めの推定式のタップ数が選択できる。 【解決手段】 タップ選択パラメータ算出回路３では、
領域切り出し回路２によって、切り出された全てのＳＤ
データのダイナミックレンジＤＲ_all と一部のダイナミ
ックレンジＤＲ_partial との比ＤＲ_ratio が求められ
る。クラスコード発生回路８では、空間クラスと動きク
ラスmv-classからクラスコードclass が生成され、その
class をアドレスとしてＲＯＭテーブル９、１０から係
数データが読み出される。推定演算回路１３では、２５
画素からなる線形推定式によって、ＨＤデータが生成さ
れ、推定演算回路１４では、１５画素からなる線形推定
式によって、ＨＤデータが生成される。切換回路１５で
は、ＤＲ_ratio としきい値とが比較され、その比較結果
に応じてＨＤデータが選択され、出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えばテレビジ
ョン受像機やビデオテープレコーダ装置等に用いて好適
な画像情報変換装置に関し、特に、外部から供給される
通常の解像度の画像情報を高解像度の画像情報に変換し
て出力するような画像情報変換装置および方法並びに積
和演算装置に関する。

【０００２】

【従来の技術】今日において、オーディオ・ビジュアル
指向の高まりから、より高解像度の画像を得ることが出
来るようなテレビジョン受像機の開発が望まれ、この要
望に応えて、いわゆるハイビジョンが開発された。この
ハイビジョンは、いわゆるＮＴＳＣ方式に規定される走
査線数５２５本なのに対して、２倍以上の１１２５本と
なっているうえ、表示画面の縦横比もＮＴＳＣ方式が
３：４に対して９：１６と広角画面になっている。この
ため、高解像度で臨場感のある画面を得ることができる
ようになっている。

【０００３】ここで、このような優れた特性を有するハ
イビジョンではあるが、ＮＴＳＣ方式の映像信号をその
まま供給しても画像表示を行うことはできない。これ
は、上述のようにＮＴＳＣ方式とハイビジョン方式とで
は規格が異なるからである。このため、ＮＴＳＣ方式の
映像信号に応じた画像をハイビジョンで表示しようとす
る場合、従来は、例えば図１５に示すような画像情報変
換装置を用いて映像信号のレート変換を行っていた。

【０００４】図１５において、上述した従来の画像情報
変換装置は、入力端子１００を介して供給されるＮＴＳ
Ｃ方式の映像信号（ＳＤデータ）の水平方向の補間処理
を行う水平補間フィルタ１０１と、水平方向の補間処理
の行われた映像信号の垂直方向の補間処理を行う垂直補
間フィルタ１０２とから構成されている。

【０００５】具体的には、水平補間フィルタ１０１は、
図１６に示すような構成を有している。図１６の例は、
例えば縦続接続型のＦＩＲフィルタにより水平補間フィ
ルタ１０１を構成したものである。図１６において、１
１０は、ＳＤデータが供給される入力端子であり、１１
１₀ 〜１１１_m は、それぞれフィルタ係数α₀ 〜α_mを
ＳＤデータに乗じる乗算器である。１１２₀ 〜１１２
_m-1 は、それぞれ加算器であり、１１３₁ 〜１１３
_m は、時間Ｔ（Ｔ：１サンプリング周期）の遅延素子で
ある。出力端子１１４には、水平補間された出力データ
が得られる。この出力データが垂直補間フィルタ１０２
へ供給される。

【０００６】垂直補間フィルタ１０２は、水平補間フィ
ルタ１０１と同様の構成を有しており、水平補間処理の
行われた映像信号に対して、垂直方向の画素の補間を行
う。これにより、ＮＴＳＣ方式の映像信号に対して、垂
直方向の画素の補間を行う。このように変換のなされた
ハイビジョンの映像信号（ＨＤデータ）は、ハイビジョ
ン受像機に供給される。これにより、ＮＴＳＣ方式の映
像信号に応じた画像をハイビジョン受像機で表示するこ
とができる。

【０００７】しかしながら、上述の従来の画像情報変換
装置は、ＮＴＳＣ方式の映像信号を基にして、単に水平
方向および垂直方向の補間を行っているにすぎないた
め、解像度は基となるＮＴＳＣ方式の映像信号と何ら変
わらなかった。特に、通常の動画を変換対象とした場
合、垂直方向の補間をフィールド内処理で行うのが一般
的であるが、その場合、画像のフィールド間相関を使用
していないため、画像静止部においては変換ロスによ
り、ＮＴＳＣ方式の映像信号よりもむしろ解像度が劣化
する欠点があった。

【０００８】これに対し、出願人は、特願平６−２０５
９３４号の画像信号変換装置において、入力信号である
画像信号レベルの３次元（時空間）分布に応じてクラス
分割を行い、クラス毎に予め学習により獲得された予測
係数値を格納した記憶手段を持ち、予測式に基づいた演
算により最適な推定値を出力する、というものを提案し
ている。

【０００９】この手法は、ＨＤ（High Definition ）画
素を創造する場合、創造するＨＤ画素の近傍にあるＳＤ
（Standerd Definition ）画素データを用いてクラス分
割を行い、それぞれのクラス毎に予測係数値を学習によ
り獲得することで、画像静止部においてはフレーム内相
関、また動き部においてはフィールド内相関を利用し
て、より真値に近いＨＤ画素値を得る、というような巧
妙なものである。

【００１０】例えば、図２および図３において示すよう
な、ＨＤ画素ｙ₁ 〜ｙ₄ の創造を目的とした場合、図６
において示すＳＤ画素ｍ₁ 〜ｍ₅ とＳＤ画素ｎ₁ 〜ｎ₅
のそれぞれ空間的同一位置にある画素同士のフレーム間
差分の平均値を求め、それをしきい値処理してクラス分
類することにより、主に動きの程度の表現に対してクラ
ス分類を行う。

【００１１】同時に、図５において示すような、ＳＤ画
素ｋ₁ 〜ｋ₅ をＡＤＲＣ（AdaptiveDynamic Range Codi
ng ）処理することにより、少ないビット数で、主に空
間内の波形表現を目的としたクラス分類を行う。上述の
２種類のクラス分類で決定されたクラス毎に、図７にお
いて示すようなＳＤ画素ｘ₁ 〜ｘ₂₅を使用して、線形一
次式をたて、予測係数値を学習により獲得する。この方
式は、主に動きの程度を表すクラス分類と、主に空間内
の波形を表すクラス分類とを個別に、それぞれに適した
形で行うため、比較的少ないクラス数で高い変換性能を
得られるという特徴がある。

【００１２】ＨＤ画素ｙの推定演算は、上述の手順で得
られた予測係数値ｗ_n を用いて以下のような式（１）で
行われる。

【００１３】 ｙ＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋・・・＋ｗ_n ｘ_n （１） この例では、ｎ＝９である。

【００１４】このように、ＳＤデータに対応するＨＤデ
ータを推定するための予測係数値を各クラス毎に予め学
習により求めた上で、ＲＯＭテーブルに格納しておき、
入力されるＳＤデータおよびＲＯＭテーブルから読み出
した予測係数値を出力することにより、入力されたＳＤ
データを単に補間処理したものとは異なり、実際のＨＤ
データにより近いデータを出力することができるという
特徴がある。

【００１５】この画像情報変換装置を図１７に示す。入
力端子１２１からＳＤデータが供給され、そのＳＤデー
タは、領域切り出し回路１２２、１２４および１２８へ
供給される。領域切り出し回路１２２では、ＡＤＲＣ回
路１２３によって生成されるクラスの基となるＳＤデー
タが抽出される。領域切り出し回路１２４では、動きク
ラス決定回路１２５によって生成される動きクラスの基
となるＳＤデータが抽出される。クラスコード発生回路
１２６では、ＡＤＲＣ回路１２３からのクラスと、動き
クラス決定回路１２５からの動きクラスとからクラスコ
ードが発生される。

【００１６】入力されたＳＤデータが所定の時間遅延さ
れ、領域切り出し回路１２８において、推定演算回路１
２９で演算されるためのＳＤデータが抽出される。ＲＯ
Ｍテーブル１２７では、供給されたクラスコードに対応
した予測係数値が読み出される。推定演算回路１２９で
は、領域切り出し回路１２８からのＳＤデータとＲＯＭ
テーブル１２７からのクラスコードによって推定演算が
実行され、ＨＤデータが生成される。生成されたＨＤデ
ータは、出力端子１３０から出力される。

【００１７】ところで、画像情報変換装置における学習
は、図１８に示すような構成により行われていた。入力
端子１３１から、例えばＨＤビデオカメラの撮像出力と
して得られたＨＤデータが入力され、そのＨＤデータ
は、垂直間引きフィルタ１３２および正規方程式加算回
路１４１へ供給される。垂直間引きフィルタ１３２にお
いて、フィールド内の垂直方向の走査線の周波数が１／
２になるように間引き処理が行われ、水平間引きフィル
タ１３３において、フィールド内の水平方向のＨＤデー
タが１／２になるように間引き処理が行われ、ＳＤデー
タが得られる。このＳＤデータは、領域切り出し回路１
３４、１３６および遅延回路（ＤＬ）１３９へ供給され
る。

【００１８】領域切り出し回路１３４では、ＡＤＲＣ回
路１３５によって生成されるクラスの基となるＳＤデー
タが抽出される。領域切り出し回路１３６では、動きク
ラス決定回路１３７によって生成される動きクラスの基
となるＳＤデータが抽出される。クラスコード発生回路
１３８では、ＡＤＲＣ回路１３５からのクラスと、動き
クラス決定回路１３７からの動きクラスとからクラスコ
ードが発生される。遅延回路１３９を介して供給された
ＳＤデータが領域切り出し回路１４０において、正規方
程式加算回路１４１で演算されるためのＳＤデータが抽
出される。正規方程式加算回路１４１では、クラス毎に
ＳＤデータとＨＤデータとによって、例えば１フレーム
分の正規方程式加算がなされる。予測係数決定回路１４
２では、その正規方程式からクラス毎に予測係数値が決
定され、決定された予測係数値は、クラス毎にメモリ１
４３に記憶される。

【００１９】すなわち、入力したＨＤデータを垂直間引
きフィルタ１３２により、フィールド内の垂直方向の周
波数が１／２になるように間引き処理を行い、さらに水
平間引きフィルタ１３３により、ＨＤデータの水平方向
の周波数が１／２になるように間引き処理を行い、ＳＤ
データを得て、このＳＤデータと入力ＨＤデータの関係
を学習することにより、予測係数値を得ていた。

【００２０】ところで、実際に信号変換の対象となるＳ
Ｄデータが学習時のようにＨＤデータを間引いて得られ
たものとは限らない。例えば、ＨＤビデオカメラの撮像
素子（ＨＤデータ）を変換する場合もある。一般的に、
テレビカメラの出力信号は、レンズの解像度特性、撮像
間の電子ビームのアパーチャー特性などの影響で、高い
空間周波数成分ほどその出力が低下してくる。これを補
正するとともに、ディスプレイ装置における空間周波数
特性の高域の低下をも見込んで映像信号の輪郭を強調し
て送出し、見た目に鮮鋭な画像を作り出そうとするのが
輪郭補正器であり、エンハンサーとも呼ばれている。

【００２１】輪郭補正器では、一般に、コアリング、輪
郭信号に対する非線形処理などの非線形処理を多く含ん
でいる。コアリングとは、小さな輪郭信号のほとんどが
ノイズ成分であると見なして、それを抑圧する処理、輪
郭信号に対する非線形処理とは、小振幅の補正信号の利
得は大きく、大振幅の補正信号の利得は小さくする方法
が一般的である。他にも、画像の輝度により補正信号の
利得を変化させたり、またＳＤデータの場合には、ＮＴ
ＳＣエンコードをも鑑みて、補正信号を制御する場合も
ある。

【００２２】

【発明が解決しようとする課題】ところで、先に提案さ
れている画像信号変換装置においては、上述のように、
輪郭補正が実施されたＨＤデータの画像信号と、それを
理想フィルタによりダウンコンバートすることにより作
成したＳＤデータの画像信号との間で学習を行ってい
た。従って、得られたＳＤデータはあくまでＨＤビデオ
カメラにおいて、輪郭補正が実施されたＨＤデータの画
像信号をダウンコンバートして得たＳＤデータであり、
特に輪郭近傍のデータの特性が、ＳＤビデオカメラで撮
像したＳＤデータとは異なっていた。

【００２３】そのため、画像信号変換装置においては、
ＨＤデータからダウンコンバートして得たＳＤデータの
アップコンバージョンに関しては理想的な変換が実現で
きたが、ＳＤビデオカメラで撮像したＳＤデータのアッ
プコンバージョンに関しては、特に輪郭付近において必
ずしも理想的な変換とはならない欠点があった。とりわ
け、輝度変化がほどんどない平坦な部分に隣接して急峻
なエッジがある場合など、エッジの存在により、平坦部
にかなり顕著なリンギングが現れることがあり、これが
視覚的に大きな劣化を引き起こす場合があった。

【００２４】なお、エンハンサーに限らず学習時のＨＤ
データをダウンコンバートしたＳＤデータと実際に変化
しようとするＳＤデータとの間の信号特性の相違の違い
によって、変換後の画像劣化が生じる。上述した画質劣
化を防止するために推定演算のタップ数を少なくするこ
とが考えられる。しかしながら、この方法は、信号変換
の精度を低下させるため好ましくない。この信号変換の
精度を上げるためにタップ数を増やすと上述したような
画質劣化が生じやすくなる。

【００２５】従って、この発明の目的は、信号変換の精
度を上げつつ、しかも画質劣化を防止することができる
画像情報変換装置および方法並びに積和演算装置を提供
することにある。

【００２６】さらに、この発明の他の目的は、ハードウ
ェアを軽減しても同様に、信号変換の精度を上げつつ、
しかも画質劣化を防止することができる画像情報変換装
置および方法並びに積和演算装置を提供することにあ
る。

【００２７】

【課題を解決するための手段】請求項１に記載の発明
は、第１のディジタル画像信号を、より画素数の多い第
２のディジタル画像信号に変換するようにした画像情報
変換装置において、第１のディジタル画像信号から所定
の位置の画素データを切り出す画素切り出し手段と、画
素切り出し手段により切り出された画素データのレベル
分布のパターンを検出し、パターンに基づいて、推定し
ようとする画素データが属するクラスを決定してクラス
情報を出力するクラス決定手段と、第１のディジタル画
像信号を、第２のディジタル画像信号に変換するための
情報である推定式の係数データがクラス毎に記憶されて
おり、クラス決定手段からのクラス情報に応じて係数デ
ータを出力する係数データ記憶手段と、第１のディジタ
ル画像信号から切り出された第１のタップまたは第１の
タップより長い第２のタップの画素データと、係数デー
タとの線形結合からなる推定式を用いて第２のディジタ
ル画像信号の予測値を生成する画像信号生成手段とを有
し、第１および第２のタップによる処理を切り換えるよ
うにしたことを特徴とする画像情報変換装置である。

【００２８】また、請求項１０に記載の発明は、第１の
ディジタル画像信号を、より画素数の多い第２のディジ
タル画像信号に変換するようにした画像情報変換方法に
おいて、第１のディジタル画像信号から所定の位置の画
素データを切り出すステップと、画素切り出し手段によ
り切り出された画素データのレベル分布のパターンを検
出し、パターンに基づいて、推定しようとする画素デー
タが属するクラスを決定してクラス情報を出力するステ
ップと、第１のディジタル画像信号を、第２のディジタ
ル画像信号に変換するための情報である推定式の係数デ
ータがクラス毎に記憶されており、クラス決定手段から
のクラス情報に応じて係数データを出力するステップ
と、推定しようとする第２のディジタル画像信号の画素
データが平坦部内に位置し、且つ平坦部内の近傍にエッ
ジが存在するか否かを判定するステップと、第１のディ
ジタル画像信号から切り出された第１のタップまたは第
１のタップより長い第２のタップの画素データと、係数
データとの線形結合からなる推定式を用いて第２のディ
ジタル画像信号の予測値を生成するステップとを有し、
第１および第２のタップによる処理を切り換えるステッ
プとからなることを特徴とする画像情報変換方法であ
る。

【００２９】さらに、請求項１１に記載の発明は、入力
ディジタル画像信号の複数タップの画素データと、乗数
メモリに蓄えられている複数の係数データとの積和演算
を行う積和演算装置であって、複数のタップとしてＭと
Ｍより長いＮとが設定される積和演算装置において、Ｎ
タップの画素データを出力するＮタップレジスタと、Ｍ
タップの画素データを出力するＭタップレジスタと、Ｎ
タップをＮタップより短いＬタップの被乗数へ縮退する
縮退手段と、積和演算をＬタップによって行うか、Ｍタ
ップによって行うかを選択する選択手段と、選択手段に
より選択されたＬタップまたはＭタップに対応する係数
データを出力するメモリと、選択されたＬタップまたは
Ｍタップと係数データとを用いて積和演算を実行する手
段とからなることを特徴とする積和演算装置である。

【００３０】上述したように、この発明は、入力ＳＤ信
号から、創造すべきＨＤ画素の近傍に位置するＳＤ画素
のレベル分布のパターンを検出し、この検出したパター
ンに基づいて、その領域の画像情報が属するクラスを決
定してクラス検出情報を出力する。係数データ記憶手段
には、外部から供給された画像情報を、この画像情報よ
りも高い解像度の画像情報に変換するための情報である
線形推定式の係数データがクラス毎に記憶されており、
この係数データは、クラス検出情報に応じて出力され
る。そして、画像情報変換手段が係数データ記憶手段か
ら供給された画像情報よりも高い解像度の画像情報に変
換する。このとき、通常の大きさのタップによる処理の
他に、小さなタップで処理を行う装置を有していること
になる。学習対象と特性の異なる信号源の画像を処理す
る場合、特に劣化の出やすい平坦部に隣接したエッジの
部分の処理は、小さなタップで処理を行うことにより、
学習対象と特性の異なる信号源の画像に対する変換性能
を大幅に向上させている。

【００３１】

【発明の実施の形態】以下、この発明に係る画像信号変
換装置の実施例について図１を参照しながら詳細に説明
する。図１は、この一実施例、すなわち画像信号変換装
置の信号処理の概略的構成を示す。１で示す入力端子か
ら外部から供給される画像信号として、例えばいわゆる
ＮＴＳＣ方式の映像がディジタル化され、ＳＤデータと
して供給される。

【００３２】この実施例における、ＳＤ画素と創造する
べきＨＤ画素の位置関係は、図２および図３に示すとお
りとする。図２は、水平方向および垂直方向に現フィー
ルドのＳＤ画素、前フィールドのＳＤ画素、現フィール
ドのＨＤ画素および前フィールドのＨＤ画素を表したも
のである。図３は、時間方向および垂直方向にＳＤ画素
とＨＤ画素を表したものである。このように、創造する
べきＨＤ画素には、同一フィールド内で見たとき、ＳＤ
画素から近い位置に存在するＨＤ画素ｙ₁ 、ｙ₂ とＳＤ
画素から遠い位置に存在するＨＤ画素ｙ₃ 、ｙ₄ の２種
類がある。以降、ＳＤ画素から近い位置に存在するＨＤ
画素を推定するモードをモード１、およびＳＤ画素から
遠い位置に存在するＨＤ画素を推定するモードをモード
２と呼ぶ。

【００３３】領域切り出し回路２では、入力端子１より
供給されたＳＤデータから、タップ選択パラメータ算出
のために必要な画素を切り出す。この実施例では、例え
ば図４に示すように創造すべきＨＤ画素ｙ₁ 〜ｙ₄ のフ
ィールドと同一フィールドに位置する１７個のＳＤ画素
ｔ₁ 〜ｔ₁₇を切り出す。領域切り出し回路２により抽出
されたＳＤデータは、タップ選択パラメータ算出回路３
に供給される。

【００３４】タップ選択パラメータ算出回路３は、後に
説明する長タップ処理と短タップ処理の切り換えを行う
ために必要なパラメータを算出するための回路である。
このパラメータは、推定しようとするＨＤデータが輝度
変化がほとんどない平坦部内に位置し、且つ平坦部の近
傍にエッジが存在する条件が成立するか否かを示すもの
である。具体的には、領域切り出し回路２より供給され
た同一フィールド内のＳＤデータ（ｔ₁ 〜ｔ₁₇）の最大
値とその最小値の差であるダイナミックレンジＤＲ_all
と、領域切り出し回路２より供給されたＳＤデータのう
ち、一部のＳＤデータ（ｔ₁ 〜ｔ₉ ）のダイナミックレ
ンジＤＲ_partial を算出し、その比ＤＲ_ratio （＝ＤＲ
_all ／ＤＲ_partial ）を長タップ／短タップ処理を切り
換えるための切換回路１５に供給する。

【００３５】ここで、ＳＤデータｔ₁ 〜ｔ₁₇は、後に説
明する長タップのＳＤデータｘ₁ 〜ｘ₂₅のうち、推定し
ようとするＨＤデータと同一フィールドの画素であり、
一部のＳＤデータｔ₁ 〜ｔ₉ は、後に説明する短タップ
のＳＤデータｘ₁ 〜ｘ₁₅のうち、推定しようとするＨＤ
データと同一フィールドの画素である。

【００３６】一般に、長いタップを使用してＳＤデータ
からＨＤデータへ変換するほうが変換性能が良好な傾向
にある。しかしながら、輝度変化がほどんどない平坦な
部分に隣接して急峻なエッジがある場合、同じように長
いタップを使用して変換処理を行うと、そのエッジの存
在により、平坦部にかなり顕著なリンキングが変化後に
現れることがある。この画質劣化を防止するために、ダ
イナミックレンジの比ＤＲ_ratio に応じて変換処理を行
うタップの長さを切り換える。また、ダイナミックレン
ジ以外のパラメータによって、推定しようとする画素デ
ータが平坦部内に位置し、且つ平坦部の近傍にエッジが
存在する条件を満たすかどうかを判定しても良い。

【００３７】一方、領域切り出し回路４では、入力端子
１より供給されたＳＤ画像信号から、主に空間内の波形
表現のためのクラス分類（以降、空間クラスと称する）
に必要な画素を切り出す。この実施例では、例えば図５
に示すように創造するべきＨＤ画素ｙ₁ 〜ｙ₄ の近傍に
位置する５つのＳＤ画素ｋ₁ 〜ｋ₅ を切り出す。領域切
り出し回路４により抽出されたＳＤデータは、ＡＤＲＣ
回路５に供給される。

【００３８】ＡＤＲＣ回路５は、上述の領域のＳＤデー
タのレベル分布のパターン化を目的として、各領域のデ
ータを、例えば８ビットのＳＤデータから２ビットのＳ
Ｄデータに圧縮するような演算を行う。これにより、形
成されたパターン圧縮データをクラスコード発生回路８
に供給する。

【００３９】本来、ＡＤＲＣは、ＶＴＲ向け高能率符号
化用に開発された適応的量子化法であるが、信号レベル
の局所的なパターンを短い語長で効率的に表現できるの
で、この発明の実施例では、信号パターンのクラス分類
のコード発生に使用している。ＡＤＲＣ回路は、領域内
のダイナミックレンジＤＲ、ビット割当をｎ、領域内画
素のデータレベルをＬ、再量子化コードをＱとして以下
の式（２）により、領域内の最大値MAX と最小値MIN と
の間を指定されたビット長で均等に分割して再量子化を
行う。

【００４０】 ＤＲ＝ＭＡＸ−ＭＩＮ＋１ Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）・２ⁿ ／ＤＲ〕 （２） ただし、〔 〕は切り捨て処理を意味する。

【００４１】この実施例では、領域切り出し回路４によ
り分離されたそれぞれ５画素のＳＤデータを、各２ビッ
トに圧縮するものとする。圧縮されたＳＤデータをそれ
ぞれｑ₁ 〜ｑ₅ とする。

【００４２】一方、入力端子１から供給されたＳＤ画像
信号は、領域切り出し回路６にも供給される。領域切り
出し回路６は、主に動きの程度を表すためのクラス分類
（動きクラス）に必要な画素を切り出す働きをする。こ
の実施例では、例えば供給されたＳＤ画像信号から、創
造するべきＨＤ画素ｙ₁ 〜ｙ₄ に対して図６に示す位置
に存在する１０個のＳＤ画素ｍ₁ 〜ｍ₅ およびｎ₁ 〜ｎ
₅ を抽出する。

【００４３】領域切り出し回路６により切り出されたデ
ータは、動きクラス決定回路７に供給される。動きクラ
ス決定回路７は、供給されたＳＤデータのフレーム間差
分を算出し、その絶対値の平均値をしきい値処理するこ
とにより動きの指標である動きパラメータを算出する。
具体的には、動きクラス決定回路７は、以下の式（３）
により、供給されるＳＤデータの差分の絶対値の平均値
param を算出する。

【００４４】

【数１】 だたし、この実施例では、ｎ＝５である。

【００４５】上述の手法で算出したＳＤデータの差分の
絶対値の平均値param を、例えばＳＤデータの差分の絶
対値のヒストグラムをｎ等分するように予め設定したし
きい値により、このＳＤデータの差分の絶対値の平均値
param を用いて動きクラスmv-classを算出する。例え
ば、ここでは動きクラスを４つ設けることとして、ＳＤ
データの差分の絶対値の平均値param ≦２の場合、動き
クラスmv-classを０と決定し、平均値param ≦４の場
合、動きクラスmv-classを１と決定し、平均値param ≦
８の場合、動きクラスmv-classを２と決定し、平均値pa
ram ＞８の場合、動きクラスmv-classを３と決定する。
このように決定された動きクラスmv-classがクラスコー
ド発生回路８へ供給される。

【００４６】クラスコード発生回路８は、ＡＤＲＣ回路
５から供給されるパターン圧縮データ（空間クラス）、
および動きクラス決定回路７から供給される動きクラス
mv-classに基づいて以下の式（４）の演算を行うことに
より、そのブロックが属するクラスを検出し、そのクラ
スを示すクラスコードclass をＲＯＭテーブル９および
１０へ供給する。このクラスコードclass は、ＲＯＭテ
ーブル９および１０からの読み出しアドレスを示すもの
となっている。

【００４７】

【数２】 この実施例では、ｎ＝５、ｐ＝２である。

【００４８】ＲＯＭテーブル９および１０には、ＳＤデ
ータのパターンとＨＤデータの関係を学習することによ
り、線形推定式を用いて、ＳＤデータに対応するＨＤデ
ータを算出するための係数データが各クラス毎に記憶さ
れている。これは、線形推定式によりＳＤデータをこの
画像情報よりも高い解像度の画像情報である、いわゆる
ハイビジョンの規格に合致したＨＤデータに変換するた
めの情報である。この実施例においては、係数データ
は、モード１とモード２で独立に用意される。なお、Ｒ
ＯＭテーブル９および１０に記憶されている係数データ
の作成方法については後述する。ＲＯＭテーブル９およ
び１０からは、クラスコードclass で示されるアドレス
から、そのクラスの係数データであるｗ_i （class ）が
読み出される。この係数データは、推定演算回路１３お
よび１４へ供給される。

【００４９】一方、入力ＳＤデータは、領域切り出し回
路１１および１２にも供給される。領域切り出し回路１
１は、入力ＳＤデータから図７に示すような位置にあ
る、推定演算に使用する２５個のＳＤデータｘ₁ 〜ｘ₂₅
を切り出す。領域切り出し回路１１の出力信号は、推定
演算回路１３に供給される。推定演算回路１３は、領域
切り出し回路１１から供給されるＳＤデータ、ＲＯＭテ
ーブル９から供給される係数データに基づいて、入力さ
れたＳＤデータに対応するＨＤデータを算出する。

【００５０】より具体的には、推定演算回路１３は、領
域切り出し回路１１から供給されるＳＤデータであるｘ
₁ 〜ｘ₂₅とＲＯＭテーブル９より供給された係数データ
であるｗ₁ 〜ｗ₂₅により、それぞれ式（５）に示す演算
を行うことにより、入力されたＳＤデータに対応するＨ
Ｄデータｈｄ´を算出する。ＳＤデータｘ₁ 〜ｘ₂₅は、
ＳＤデータに関して設定された第２のタップ（長タッ
プ）の出力データがある。このとき、モード１に関して
はブロック１用の係数を用いて、モード２に関してはブ
ロック２用の係数を用いて、係数データであるｗ_i （cl
ass ）に基づいて、演算が行われる。作成されたＨＤデ
ータは、切換回路１５に供給される。

【００５１】 ｈｄ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋・・・＋ｗ₂₅ｘ₂₅ （５）

【００５２】一方、領域切り出し回路１２は、入力ＳＤ
データから図８に示すような位置にある、推定演算に使
用する１５個のＳＤデータｘ₁ 〜ｘ₁₅を切り出す。すな
わち、ＳＤデータｘ₁ 〜ｘ₁₅は、ＳＤデータに関して設
定された第１のタップ（短タップ）の出力データであ
る。領域切り出し回路１２の出力信号（タップ出力）
は、推定演算回路１４に供給される。推定演算回路１４
は、領域切り出し回路１２から供給されるＳＤデータ、
ＲＯＭテーブル１０から供給される係数データに基づい
て、入力されたＳＤデータに対応するＨＤデータを算出
する。

【００５３】より具体的には、推定演算回路１４は、領
域切り出し回路１２から供給されるＳＤデータであるｘ
₁ 〜ｘ₁₅とＲＯＭテーブル１０より供給された係数デー
タであるｗ₁ 〜ｗ₁₅により、それぞれ式（６）に示す演
算を行うことにより、入力されたＳＤデータに対応する
ＨＤデータｈｄ´を算出する。このとき、モード１に関
してはブロック１用の係数を用いて、モード２に関して
はブロック２用の係数を用いて、係数データであるｗ_i
（class ）に基づいて、演算が行われる。作成されたＨ
Ｄデータは、切換回路１５に供給される。

【００５４】 ｈｄ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋・・・＋ｗ₁₅ｘ₁₅ （６）

【００５５】切換回路１５では、タップ選択パラメータ
算出回路３より供給されたＤＲ_ratio （＝ＤＲ_all ／Ｄ
Ｒ_partial ）に基づきＤＲ_ratio が予め設定されたしき
い値（例えば、４）より小さい場合は、推定演算回路１
３の出力を選択するようにスイッチングが行われ、それ
以外の場合は、推定演算回路１４の出力を選択するよう
にスイッチングが行われる。

【００５６】切換回路１５の出力は、出力端子１６を介
して出力される。この出力端子１６を介して出力される
ＨＤデータは、例えばＨＤテレビジョン受像機やＨＤビ
デオテープレコーダ装置等に供給される。

【００５７】以上のように、この発明の最大の特徴は、
長いタップ（この実施例では２５タップ）と、短いタッ
プ（この実施例では１５タップ）の２種類の処理を行
い、それを適応的に切り換えて出力するところに、最大
の特徴がある。

【００５８】概念的に画素データの一次元のレベル変化
を図９に示す。×の位置のＨＤデータを推定しようとす
る場合、短タップにより推定演算されたＨＤデータを取
り出すか、長タップにより推定演算されたＨＤデータを
取り出すかを簡単に説明する。滑らかレベル変化を示す
図９Ａのような場合、長タップにより推定されたＨＤデ
ータが切換回路１５から取り出される。図９Ｂに示すよ
うな急峻なエッジの近傍に位置するＨＤデータを推定し
ようとする場合、短タップにより推定されたＨＤデータ
が切換回路１５から取り出される。図９Ｃに示すような
急峻なエッジ上に位置するＨＤデータを推定しようとす
る場合、長タップにより推定されたＨＤデータが切換回
路１５から取り出される。このように、切換回路１５で
は、タップ選択パラメータ算出回路３からのＤＲ_ratio
より、推定しようとするＨＤデータが平坦部内に位置
し、且つその平坦部の近傍にエッジが存在するか否かが
判定される。

【００５９】一般的に、この発明のような画像情報変換
装置の場合、処理対象画像の特性と学習対象の画像の特
性が一致する場合は、長いタップで処理を行ったほうが
変換性能が良好な傾向にある。ＳＤビデオカメラで撮像
された画像信号をＨＤ信号に変換する場合は、処理対象
画像の特性と学習対象の画像の特性が必ずしも一致しな
いが、それでもほとんどの部分では、長いタップで変換
処理をしたほうが、変換結果は良好である。

【００６０】しかしながら、輪郭近傍などにおいては必
ずしも、良好な変化結果を得られるとは限らず、とりわ
け、輝度変化がほとんどない平坦な部分に隣接して急峻
なエッジがある場合など、エッジの存在により、平坦部
にかなり顕著なリンギングが現れることがあり、これが
視覚的に大きな劣化を引き起こす場合があり、総合的に
大きな画質劣化を引き起こすことがあった。

【００６１】この発明の画像情報変換装置においては、
輝度変化があまりない平坦な部分に隣接してエッジがあ
る場合には、短いタップで画像情報変換処理を行い、そ
れ以外の場合には、長いタップで画像情報変化処理を行
うことにより上述した問題点を大幅に改善し、処理対象
画像の特性と学習対象の画像の特性が多少異なる場合で
も、良好な変換結果を得ることができる。

【００６２】続いて、ＲＯＭテーブル９および１０に格
納される係数データの作成方法について、図１０を用い
て説明する。係数データを学習によって得るためには、
まず既に知られているＨＤ画像に対応したＨＤ画像の１
／４の画素数のＳＤ画像を形成する。まず、入力端子２
１を介してＨＤデータが供給され、そのＨＤデータの垂
直方向の画素を垂直間引きフィルタ２２によりフィール
ド内の垂直方向の周波数が１／２になるように間引き処
理され、さらに水平間引きフィルタ２３により、ＨＤデ
ータの水平方向の画素が間引き処理される。

【００６３】このように、作成されたＳＤデータは、領
域切り出し回路２４、２６および２８、さらに長タップ
／短タップ処理を切り換えるための切換回路３１に供給
される。また、入力端子１より供給されたＨＤデータ
は、正規方程式加算回路３４および３８に供給される。

【００６４】領域切り出し回路２４では、水平間引きフ
ィルタ２３より供給されたＳＤデータから、タップ選択
パラメータ算出のために必要な画素が切り出される。こ
れは、すでに説明した領域切り出し回路２と全く同じも
のである。領域切り出し回路２４により抽出されたＳＤ
データは、タップ選択パラメータ算出回路２５に供給さ
れる。

【００６５】タップ選択パラメータ算出回路２５は、長
タップ処理と短タップ処理の切り換えを行うために必要
なパラメータを算出するための回路であり、すでに説明
したタップ選択パラメータ算出回路３と同様の働きをす
る。タップ選択パラメータ算出回路３で算出されたＤＲ
_ratio は、切換回路３１に供給される。

【００６６】一方、領域切り出し回路２６では、空間ク
ラス分類を行うために、供給されたＳＤデータから必要
な画素が切り出される。具体的には、領域切り出し回路
２６は、先に説明した領域切り出し回路４と同一の働き
をする。切り出されたＳＤデータは、ＡＤＲＣ回路２７
に供給される。

【００６７】ＡＤＲＣ回路２７は、領域毎に供給される
ＳＤデータの１次元的、あるいは２次元的なレベル分布
のパターンを検出するとともに、上述のように各領域の
全てのデータ、あるいは一部のデータを、例えば８ビッ
トのＳＤデータから２ビットのＳＤデータに圧縮するよ
うな演算を行うことによりパターン圧縮データを形成
し、このパターン圧縮データをクラスコード発生回路３
０に供給する。ＡＤＲＣ回路２７は、先に説明したＡＤ
ＲＣ回路５と同一のものである。

【００６８】一方、領域切り出し回路２８に供給された
ＳＤ画像信号は、動きクラス分類のために必要なデータ
切り出しが行われる。具体的には、領域切り出し回路２
８は、先に説明した領域切り出し回路６と同一の働きを
するものである。領域切り出し回路２８により切り出さ
れたＳＤデータは、動きクラス決定回路２９へ供給され
る。動きクラス決定回路２９は具体的には、先に説明し
た動きクラス決定回路７と同一の働きをするものであ
る。動きクラス決定回路２９で決定された動きクラスmv
-classは、クラスコード発生回路３０に供給される。

【００６９】クラスコード発生回路３０は、先に説明し
たクラスコード発生回路８と同一のものであり、ＡＤＲ
Ｃ回路２７から供給されるパターン圧縮データ（空間ク
ラス）および動きクラス決定回路２９から供給された動
きクラスmv-classに基づいて上述した式（４）の演算を
行うことにより、そのブロックが属するクラスを検出
し、そのクラスを示すクラスコードclass を出力するも
のである。クラスコード発生回路３０は、クラスコード
class を正規方程式加算回路３３および３７へ出力す
る。

【００７０】一方、水平間引きフィルタ２３からのＳＤ
信号は、切換回路３１に供給され、切換回路３１では、
タップ選択パラメータ算出回路２５から供給されるダイ
ナミックレンジの比ＤＲ_ratio に基づき、領域切り出し
回路３２または３６が選択される。具体的には、ダイナ
ミックレンジの比ＤＲ_ratio が予め設定されたしきい値
（例えば、４）より小さい場合は、領域切り出し回路３
２が選択され、しきい値より大きい場合は、領域切り出
し回路３６が選択され、選択された領域切り出し回路３
２または３６へＳＤ信号が供給される。

【００７１】領域切り出し回路３２は、正規方程式加算
に使用するＳＤデータを切り出す。領域切り出し回路３
２は具体的には、先に説明した領域切り出し回路１１と
同一のものであり、正規方程式加算に必要なＳＤデータ
を切り出す働きをする。領域切り出し回路３２の出力
は、正規方程式加算回路３３に供給される。

【００７２】一方、領域切り出し回路３６も正規方程式
加算に使用するＳＤデータを切り出す。領域切り出し回
路３６は具体的には、先に説明した領域切り出し回路１
２と同一のものであり、正規方程式加算に必要なＳＤデ
ータを切り出す働きをする。領域切り出し回路３６の出
力は、正規方程式加算回路３７に供給される。

【００７３】ここで、正規方程式加算回路３３および３
６の説明のために、複数個のＳＤデータからＨＤデータ
への変換式の学習とその予測式を用いた信号変換につい
て述べる。以下では、説明のために画素をより一般化し
てｎ画素による予測を行う場合について説明する。ＳＤ
画素レベルをそれぞれｘ₁ 、ｘ₂ 、・・・ｘ_n として、
それぞれにｐビットＡＤＲＣを行った結果の再量子化デ
ータをｑ₁ 、ｑ₂ 、・・・ｑ_n とする。このとき、この
領域のクラスコードclass を式（４）で定義する。

【００７４】上述のように、ＳＤ画素レベルをそれぞれ
ｘ₁ 、ｘ₂ 、・・・ｘ_n とし、ＨＤ画素レベルをｙとし
たとき、クラス毎に係数データｗ₁ 、ｗ₂ 、・・・ｗ_n
によるｎタップの線形推定式を設定する。これを上述し
た式（１）に示す。学習前は、ｗ_i が未定係数である。

【００７５】学習は、クラス毎に複数の信号データに対
して行う。データ数がｍの場合、式（１）にしたがっ
て、以下に示す式（７）が設定される。

【００７６】 ｙ_k ＝ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋・・・＋ｗ_n ｘ_kn （７） （ｋ＝１，２，・・・，ｍ）

【００７７】ｍ＞ｎの場合は、ｗ₁ 、ｗ₂ 、・・・、ｗ
_n は一意に決まらないので、誤差ベクトルｅの要素を式
（８）で定義して、式（９）を最小にする係数データを
求める。いわゆる最小自乗法による解法である。

【００７８】 ｅ_k ＝ｙ_k −〔ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋・・・＋ｗ_n ｘ_kn〕 （８） （ｋ＝１，２，・・・，ｍ）

【００７９】

【数３】

【００８０】ここで、式（９）のｗ_i による微分係数を
求める。それは以下の式（１０）を０にするように、各
ｗ_i を求めればよい。

【００８１】

【数４】

【００８２】以下、式（１１）および式（１２）のよう
に、Ｘ_jiＹ_i を定義すると、式（１０）は、行列を用い
て式（１３）に書き換えられる。

【００８３】

【数５】

【００８４】

【数６】

【００８５】

【数７】

【００８６】この方程式は、一般に正規方程式と呼ばれ
ている。正規方程式加算回路３３および３６は、クラス
コード発生回路３０から供給されたクラスコードclass
、領域切り出し回路３２からのＳＤデータｘ₁ 、
ｘ₂ 、・・・ｘ₂₅および領域切り出し回路３６からのＳ
Ｄデータｘ₁ 、ｘ₂ 、・・・、ｘ₁₅が入力端子２１より
供給されたＳＤデータに対応するＨＤデータｙを用い
て、この正規方程式加算を実行する。

【００８７】全てのトレーニングデータの入力が終了し
た後、正規方程式加算回路３３は、予測係数決定回路３
４に正規方程式データを出力する。予測係数決定回路３
４は、正規方程式を掃き出し法などの一般的な行列解法
を用いて、ｗ_i について解き、係数データ（予測係数
値）を算出する。予測係数決定回路３４は、算出された
係数データをメモリ３５に書き込む。

【００８８】同様に、全てのトレーニングデータの入力
が終了した後、正規方程式加算回路３６は、予測係数決
定回路３８に正規方程式データを出力する。予測係数決
定回路３８は、正規方程式を掃き出し法などの一般的な
行列解法を用いて、ｗ_i につてい解き、係数データを算
出する。予測係数決定回路３８は、算出された予測係数
メモリ３９に書き込む。

【００８９】以上のようにトレーニングを行った結果、
メモリ３５には、長タップ（この実施例においては２５
タップ）を使う場合のクラス毎に注目ＨＤデータｙを推
定するための、統計的に最も真値に近い推定ができる係
数データが格納される。このメモリ３５に格納されたテ
ーブルが、上述のように、この発明の画像信号変換装置
において使用されるＲＯＭテーブル９である。

【００９０】同様にメモリ３９には、短タップ（この実
施例においては１５タップ）を使う場合のクラス毎に注
目ＨＤデータｙを推定するための、統計的に最も真値に
近い推定ができる係数データが格納される。このメモリ
３９に格納されたテーブルが、上述のように、この発明
の画像信号変換装置において使用されるＲＯＭテーブル
１０である。以上の処理により、線形推定式によりＳＤ
データからＨＤデータを作成するための係数データの学
習が終了する。

【００９１】上述したこの一実施例における推定演算回
路１３および１４の周辺の回路図を図１１に示す。アド
レスコントロール回路４１は、クラスコード発生回路８
に対応し、係数メモリ４３は、ＲＯＭテーブル１０に対
応し、積和機４４は、推定演算回路１３に対応し、乗数
メモリ４６は、ＲＯＭテーブル９に対応し、積和機４７
は、推定演算回路１４に対応し、ＭＵＸ（マルチプレク
サ）４８は、切換回路１５に対応する。さらに、長タッ
プ被乗数レジスタ４２は、領域切り出し回路１１の出力
を保持し、短タップ被乗数レジスタ４５は、領域切り出
し回路１２の出力を保持するものである。

【００９２】すなわち、図１１は、長タップおよび短タ
ップを切り換えて使用可能な構成を示す。長タップ被乗
数レジスタ４２からＮタップ（例えば、２５タップ）の
画素データが積和器４４へ供給される。その画素データ
に対応する係数データがアドレスコントロール回路４１
からのクラスコードclass によって乗数メモリ４３から
読み出され、読み出された２５個の係数データは、乗数
メモリ４３から積和器４４へ供給される。積和器４４で
は、式（５）に示すように対応する画素データと係数デ
ータとが積和演算され、その積和出力、すなわちＨＤデ
ータは、ＭＵＸ（マルチプレクサ）４８へ供給される。

【００９３】短タップ被乗数レジスタ４５からＭタップ
（例えば、１５タップ）の画素データが積和器４７へ供
給される。その画素データに対応する係数データがアド
レスコントロール回路４１からのクラスコードclass に
よって乗数メモリ４６から読み出され、読み出された１
５個の係数データは、乗数メモリ４６から積和器４７へ
供給される。積和器４７では、式（６）に示すように対
応する画素データと係数データとが積和演算され、その
積和出力、すなわちＨＤデータは、ＭＵＸ４８へ供給さ
れる。ＭＵＸ４８では、長タップからのＨＤデータおよ
び短タップからのＨＤデータとを外部から供給される切
換信号、上述したＤＲ_ratio （＝ＤＲ_all ／ＤＲ
_partial ）によって、切り換えられ出力端子４９から選
択されたＨＤデータが出力される。

【００９４】ここで、式（５）および式（６）で示すよ
うに、積和器４４と４７の違いは、タップ数が異なるの
みであり、図１２に示すように、長タップ用の積和器４
４のみを使用することで短タップの積和演算も行うこと
ができる。乗数メモリ５１は、ＲＯＭテーブル９および
１０に対応し、ＭＵＸ５２は、切換器１５に対応するも
のである。

【００９５】長タップ被乗数レジスタ４２から２５タッ
プの画素データがＭＵＸ５２に供給され、同様に短タッ
プ被乗数レジスタ４５から１５タップの画素データがＭ
ＵＸ５２に供給される。ＭＵＸ５２では、外部からの切
換信号であるＤＲ_ratio （＝ＤＲ_all ／ＤＲ_partial ）
によって、長タップ被乗数レジスタ４２からの画素デー
タと短タップ被乗数レジスタ４５からの画素データとが
切り換えられる。ＭＵＸ５２から選択された画素データ
は、積和器４４へ供給される。

【００９６】アドレスコントロール回路４１からＭＵＸ
５２によって選択された画素データに対応するクラスコ
ードclass が乗数メモリ５１へ供給される。乗数メモリ
５１では、外部からの切換信号であるＤＲ_ratio と供給
されたクラスコードclass に基づいて係数データが読み
出され、読み出された係数データは、積和器４４へ供給
される。積和器４４では、上述したように積和演算が行
われ、積和演算の結果、ＨＤデータが得られる。そのＨ
Ｄデータは、出力端子５３から出力される。

【００９７】このように、図１２の回路と図１１の回路
を比べると、積和器を１つとすることができ、ハードウ
ェアがかなり軽減できる。そこで、図１３に示すよう
に、ハードウェアをさらに軽減するために、使用される
積和器を長タップ用の積和器４４から短タップ用の積和
器４７へ変更する。長／短タップ判定回路６３は、クラ
スコード発生回路８に対応し、乗数メモリ６４は、ＲＯ
Ｍテーブル９および１０に対応し、ＭＵＸ６７は、切換
器１５に対応するものである。

【００９８】アドレスコントロール回路４１では、対応
する画素データのクラスコードclass がコントロールメ
モリ６１および乗数メモリ６４へ供給される。コントロ
ールメモリ６１は、供給されたクラスコードclass に基
づいてタップ縮退演算回路６２を制御する。そのタップ
縮退演算回路６２では、長タップ被乗数レジスタ４２か
らのＮタップの画素データがＬタップの画素データへ縮
退され、ＭＵＸ６７へ供給される。このとき、Ｎタップ
≧Ｌタップの関係が成立し、一例として、上述の一実施
例では、Ｎ＝２５、Ｌ＝１５である。短タップ被乗数レ
ジスタ４５からＭタップ（例えば、１５タップ）の画素
データがＭＵＸ６７へ供給される。

【００９９】長／短タップ判定回路６３によって、長タ
ップの画素データを使用するか、短タップの画素データ
を使用するかが判定され、その判定結果は、ＭＵＸ６７
および乗数メモリ６４へ供給される。長／短タップ判定
回路６３から出力される判定結果は、上述したタップ選
択パラメータ算出回路３から出力されるＤＲ_ratio と同
様のものである。ＭＵＸ６７では、長／短タップ判定回
路６３からの判定結果を切換信号として、タップ縮退演
算回路６２からの画素データか、短タップ被乗数レジス
タ４５からの画素データかが選択される。選択された画
素データは、ＭＵＸ６７から積和器４７へ供給される。

【０１００】乗数メモリ６４では、アドレスコントロー
ル４１からのクラスコードclass と、長／短タップ判定
回路６３からの判定結果とから係数データが選択され
る。選択された係数データは、乗数メモリ６４から積和
器４７へ供給される。積和器４７では、上述した式
（６）に基づいて積和演算が行われ、その積和出力、す
なわちＨＤデータは、出力端子６６から出力される。

【０１０１】ここで、タップ縮退演算回路６２で行われ
るＮタップからＬタップへの縮退を簡単に説明する。ま
ず、Ｎタップの画素データに絶対値化が施される。絶対
値化が施されたＮタップの画素データから平均値および
最大値が求められ、さらに０が仮の代表値Ａとして設定
される。

【０１０２】仮の代表値Ａ毎にＮタップの画素データ
は、グループに分けられる。分けられたグループ毎に画
素データの平均値が求められ、求められた平均値を仮の
代表値Ｂとして設定する。このとき、０は、常に変動し
ないものとする。仮の代表値ＢがＬと等しいか否かが判
断され、等しくないと判断された場合、仮の代表値Ｂに
基づいて、絶対値化されたＮタップの画素データは、再
びグループに分けられる。仮の代表値Ｂとグループ内の
画素データとの誤差を算出し、最大誤差となるグループ
の仮の代表値Ｂに対して±０．０００１を加算し、２つ
に分ける。この２つに分けたものと、最大誤差とならな
かった仮の代表値Ｂとを仮の代表値Ａとして再設定す
る。この処理が仮の代表値ＢがＬと等しくなるまで繰り
返される。

【０１０３】また、仮の代表値ＢがＬと等しいか否かが
判断されたとき、等しいと判断された場合、仮の代表値
ＢがＬタップへ縮退された画素データとなる。

【０１０４】次に、図１４に示す回路図を用いて、長／
短タップ判定回路６３を詳細に説明する。長タップ判定
エリアレジスタ７１では、入力データから長タップのエ
リアに含まれる画素データの判定が行われる。長タップ
のエリアに含まれる画素データが選択されるとその画素
データは、長タップ判定エリアレジスタ７１からダイナ
ミックレンジ演算回路７２へ供給される。ダイナミック
レンジ演算回路７２では、供給された画素データからダ
イナミックレンジが演算され、演算されたダイナミック
レンジは、レジスタ７３を介して比較器７９へ供給され
る。

【０１０５】短タップ判定エリアレジスタ７４では、入
力データから短タップのエリアに含まれる画素データの
判定が行われる。短タップのエリアに含まれる画素デー
タが選択されるとその画素データは、短タップ判定エリ
アレジスタ７４からダイナミックレンジ演算回路７５へ
供給される。ダイナミックレンジ演算回路７５では、供
給された画素データからダイナミックレンジが求めら
れ、そのダイナミックレンジは、乗算器７７へ供給され
る。乗算器７７では、ダイナミックレンジと、レジスタ
７６を介して予め設定されたしきい値ＴＨとが掛け合わ
される。その乗算結果は、レジスタ７８を介して比較器
７９へ供給される。

【０１０６】比較器７９では、長タップ用のダイナミッ
クレンジと、しきい値ＴＨと掛け合わされた短タップ用
のダイナミックレンジとが式（１４）に示すように、比
較される。その比較結果は、出力端子８０から出力され
る。この式（１４）に示す、長タップＤＲは、上述した
ＤＲ_all とは異なり、図７に示すＳＤデータｘ₁ 〜ｘ ₂₅
と同様のものであり、短タップＤＲは、上述したＤＲ
_partial とは異なり、図８に示すＳＤデータｘ₁ 〜ｘ₁₅
と同様のものである。

【０１０７】 長タップＤＲ≧ＴＨ×短タップＤＲ （１４）

【０１０８】すなわち、しきい値ＴＨは、予め設定され
た設定レジスタの値を短タップ用のダイナミックレンジ
に乗算し、長タップ用のダイナミックレンジとコンパレ
ートがなされる。

【０１０９】なお、上述の実施例の説明では、空間波形
を少ないビット数でパターン化する情報圧縮手段とし
て、ＡＤＲＣを設けることにしたが、これはほんの一例
であり、信号波形のパターンの少ないクラスで表現でき
るような情報圧縮手段であれば何を設けるかは自由であ
り、例えばＤＰＣＭ（Differential Pulse Code Modula
tion）やＶＱ（Vector Quantization ）等の圧縮手段を
用いても良い。

【０１１０】なお、上述した実施例の説明では、動きパ
ラメータを算出するために、ＳＤ画素データのフレーム
間差分を算出し、その絶対値の平均値をしきい値処理を
行っているが、必ずしもこの手法でなくても良く、例え
ば時間差分を空間差分で割ることによって、正規化した
データを算出し、さらにその正規化したデータに対して
しきい値処理を行うことで動きパラメータとすることも
可能である。

【０１１１】

【発明の効果】この発明に依れば、長タップの推定演算
によって、画素データを予測するので、予測の精度を向
上できる。然も、長タップの推定演算を行う場合、画質
劣化が生じやすい、輝度変化のほとんどない平坦部に隣
接したエッジ部では、短タップを用いた推定演算を行う
ことにより画質劣化を防止することができ、画像に対す
る変換性能を大幅に向上させることができる。

【０１１２】また、この発明に依れば、タップ数の異な
る複数の入力を持つ積和演算回路において、従来のよう
に最もタップ数の多いデータに必要なタップ数が乗算器
の入力に必要ないため、乗数メモリと積和器のハード規
模が大幅に削除され、全体のハード規模は縮小すること
ができる。しかも、タップ縮退演算回路の効果により、
長タップの性能は、あまり劣化させず、画質に最適なフ
ィルタ演算を行うことができる。

【図面の簡単な説明】

【図１】この発明に係る画像情報変換装置の一実施例の
ブロック図である。

【図２】ＳＤデータとＨＤデータの位置関係を説明する
ための略線図である。

【図３】ＳＤデータとＨＤデータの位置関係を説明する
ための略線図である。

【図４】タップ選択パラメータ算出回路に使用するデー
タを説明するための略線図である。

【図５】空間クラス分類に使用するデータを説明するた
めの略線図である。

【図６】動きクラス分類に使用するデータを説明するた
めの略線図である。

【図７】長タップ処理用の推定演算に使用する画素を説
明するための略線図である。

【図８】短タップ処理用の推定演算に使用する画素を説
明するための略線図である。

【図９】この発明に係る切換回路の説明に使用する略線
図である。

【図１０】この発明に係る補正テーブルを作成する時の
一実施例のブロック図である。

【図１１】長／短タップ積和演算回路の一例である。

【図１２】長／短タップ積和演算回路の一例である。

【図１３】この発明の長／短タップ積和演算回路の一実
施例である。

【図１４】この発明に係る長／短タップ判定回路の一実
施例の回路図である。

【図１５】従来の画像情報変換装置の回路図である。

【図１６】従来の画像情報変換装置の要部の回路図であ
る。

【図１７】従来の画像変換装置のブロック図である。

【図１８】従来の画像変換装置に係る補正テーブルを作
成する時のブロック図である。

【符号の説明】

２、４、６、１１、１２・・・領域切り出し回路、３・
・・タップ選択パラメータ算出回路、５・・・ＡＤＲＣ
回路、７・・・動きクラス決定回路、８・・・クラスコ
ード発生回路、９、１０・・・ＲＯＭテーブル、１３、
１４・・・推定演算回路、１５・・・切換回路

Claims (11)

【特許請求の範囲】
1. 【請求項１】 第１のディジタル画像信号を、より画素
   数の多い第２のディジタル画像信号に変換するようにし
   た画像情報変換装置において、 上記第１のディジタル画像信号から所定の位置の画素デ
   ータを切り出す画素切り出し手段と、 上記画素切り出し手段により切り出された上記画素デー
   タのレベル分布のパターンを検出し、上記パターンに基
   づいて、推定しようとする画素データが属するクラスを
   決定してクラス情報を出力するクラス決定手段と、 上記第１のディジタル画像信号を、上記第２のディジタ
   ル画像信号に変換するための情報である推定式の係数デ
   ータが上記クラス毎に記憶されており、上記クラス決定
   手段からの上記クラス情報に応じて上記係数データを出
   力する係数データ記憶手段と、 上記第１のディジタル画像信号から切り出された第１の
   タップまたは上記第１のタップより長い第２のタップの
   画素データと、上記係数データとの線形結合からなる推
   定式を用いて上記第２のディジタル画像信号の予測値を
   生成する画像信号生成手段とを有し、 上記第１および第２のタップによる処理を切り換えるよ
   うにしたことを特徴とする画像情報変換装置。
2. 【請求項２】 請求項１に記載の画像情報変換装置にお
   いて、 推定しようとする上記第２のディジタル画像信号の画素
   データが平坦部内に位置し、且つ上記平坦部の近傍にエ
   ッジが存在するか否かを判定する判定手段を設け、上記
   判定手段の判定結果に基づいて上記第１および第２のタ
   ップによる処理を切り換えるようにしたことを特徴とす
   る画像情報変換装置。
3. 【請求項３】 請求項１に記載の画像情報変換装置にお
   いて、 上記第１のタップに対応する係数データを記憶する第１
   のメモリと、 上記第２のタップに対応する係数データを記憶する第２
   のメモリと、 上記第１のディジタル画像信号から上記第１のタップの
   画素データを切り出す第１の領域切り出し手段と、 上記第１のディジタル画像信号から上記第２のタップの
   画素データを切り出す第２の領域切り出し手段と、 上記第１の領域切り出し手段からの画素データと、上記
   第１のメモリからの係数データとを用いて上記推定式に
   よって第１の予測値が生成される第１の演算手段と、 上記第２の領域切り出し手段からの画素データと、上記
   第２のメモリからの係数データとを用いて上記推定式に
   よって第２の予測値が生成される第２の演算手段とから
   なることを特徴とする画像情報変換装置。
4. 【請求項４】 請求項１に記載の画像情報変換装置にお
   いて、 推定しようとする上記第２のディジタル画像信号の画素
   データが平坦部内に位置し、且つ上記平坦部内の近傍に
   エッジが存在する条件が成立する場合は、上記第１のタ
   ップの処理を選択し、上記条件が成立しない場合は、上
   記第２のタップの処理を選択するようにしたことを特徴
   とする画像情報変換装置。
5. 【請求項５】 請求項４に記載の画像情報変換装置にお
   いて、 上記第１のタップの複数の画素データのダイナミックレ
   ンジと、上記第２のタップの複数の画素データのダイナ
   ミックレンジとの比によって上記第１および第２のタッ
   プの処理の一方を選択するようにしたことを特徴とする
   画像情報変換装置。
6. 【請求項６】 請求項１に記載の画像情報変換装置にお
   いて、 上記係数データ記憶手段に記憶される上記係数データ
   は、予め学習によって、獲得され、上記係数データの学
   習方法は、 第２のディジタル画像信号を上記第２のディジタル画像
   信号より画素数の少ない第１のディジタル画像信号へ変
   換し、 変換された上記第１のディジタル画像信号から所定の位
   置の画素データを切り出し、 上記画素切り出し手段により切り出された上記画素デー
   タのレベル分布のパターンを検出し、上記パターンに基
   づいて、推定しようとする画素データが属するクラスを
   決定してクラス情報を出力し、 上記推定しようとする画素データの位置および上記推定
   しようとする画素データの位置の周辺の画素データに応
   じて上記第１および第２のタップの一方を選択し、 上記第２のディジタル画像信号からの画素データと、上
   記線形結合からなる推定式から得られた上記予測値との
   誤差の自乗和が最小となるような係数データを、上記第
   １のタップおよび上記第２のタップのそれぞれについ
   て、上記クラス情報毎に求めるようにしたことを特徴と
   する画像情報変換装置。
7. 【請求項７】 請求項１に記載の画像情報変換装置にお
   いて、 上記画像信号生成手段は、 上記第１のタップの画素データと、上記係数データ記憶
   手段からの上記係数データとを用いて積和演算を実行す
   る第１の積和手段と、 上記第２のタップの画素データと、上記係数データ記憶
   手段からの上記係数データとを用いて積和演算を実行す
   る第２の積和手段と、 上記第１のタップと上記第２のタップとを切り換えるた
   めの切換信号を発生する切換信号発生手段と、 上記切換信号に応答し、上記第１の積和手段からの第１
   の積和出力と、上記第２の積和手段からの第２の積和出
   力とを選択する選択手段とからなることを特徴とする画
   像情報変換装置。
8. 【請求項８】 請求項１に記載の画像情報変換装置にお
   いて、 上記画像信号生成手段は、 上記第１のタップと上記第２のタップとを切り換えるた
   めの切換信号を発生するための切換信号発生手段と、 上記切換信号に応答し、上記第１のタップの画素データ
   と、上記第２のタップの画素データとを選択する選択手
   段と、 上記選択手段からの上記画素データと、上記係数データ
   記憶手段からの上記係数データとを用いて積和演算を実
   行する積和手段とからなることを特徴とする画像情報変
   換装置。
9. 【請求項９】 請求項１に記載の画像情報変換装置にお
   いて、 上記画像信号生成手段は、 上記第２のタップを上記第２のタップより短い第３のタ
   ップへ縮退する縮退手段と、 上記第２のタップと上記第３のタップとを切り換えるた
   めの切換信号を発生する切換信号発生手段と、 上記切換信号に応答し、上記第２のタップの画素データ
   と、上記第３のタップの画素データとを選択する選択手
   段と、 上記選択手段からの上記画素データと、上記係数データ
   記憶手段からの上記係数データとを用いて積和演算を実
   行する積和手段とからなることを特徴とする画像情報変
   換装置。
10. 【請求項１０】 第１のディジタル画像信号を、より画
    素数の多い第２のディジタル画像信号に変換するように
    した画像情報変換方法において、 上記第１のディジタル画像信号から所定の位置の画素デ
    ータを切り出すステップと、 上記画素切り出し手段により切り出された上記画素デー
    タのレベル分布のパターンを検出し、上記パターンに基
    づいて、推定しようとする画素データが属するクラスを
    決定してクラス情報を出力するステップと、 上記第１のディジタル画像信号を、上記第２のディジタ
    ル画像信号に変換するための情報である推定式の係数デ
    ータが上記クラス毎に記憶されており、上記クラス決定
    手段からの上記クラス情報に応じて上記係数データを出
    力するステップと、 推定しようとする上記第２のディジタル画像信号の画素
    データが平坦部内に位置し、且つ上記平坦部内の近傍に
    エッジが存在するか否かを判定するステップと、 上記第１のディジタル画像信号から切り出された第１の
    タップまたは上記第１のタップより長い第２のタップの
    画素データと、上記係数データとの線形結合からなる推
    定式を用いて上記第２のディジタル画像信号の予測値を
    生成するステップとを有し、 上記第１および第２のタップによる処理を切り換えるス
    テップとからなることを特徴とする画像情報変換方法。
11. 【請求項１１】 入力ディジタル画像信号の複数タップ
    の画素データと、乗数メモリに蓄えられている複数の係
    数データとの積和演算を行う積和演算装置であって、上
    記複数のタップとしてＭと上記Ｍより長いＮとが設定さ
    れる積和演算装置において、 上記Ｎタップの画素データを出力するＮタップレジスタ
    と、 上記Ｍタップの画素データを出力するＭタップレジスタ
    と、 上記Ｎタップを上記Ｎタップより短いＬタップの被乗数
    へ縮退する縮退手段と、 上記積和演算を上記Ｌタップによって行うか、上記Ｍタ
    ップによって行うかを選択する選択手段と、 上記選択手段により選択された上記Ｌタップまたは上記
    Ｍタップに対応する係数データを出力するメモリと、 選択された上記Ｌタップまたは上記Ｍタップと上記係数
    データとを用いて上記積和演算を実行する手段とからな
    ることを特徴とする積和演算装置。