JP3262425B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力した画像情報を、
拡大変倍して出力するプリンタ等の画像処理装置や、解
像度の異なる機種間通信で、低解像情報から高解像情報
に解像度変換する画像処理装置に関する。

【０００２】

【従来の技術】従来より、入力した低解像情報を高解像
情報に解像度変換する方法として、様々な方法が提案さ
れている。提案されている従来方法、対象となる画像の
種類（例えば、各画素ごとに階調情報の持つ多値画像、
疑似中間調により２値化された２値画像、固定閾値によ
り２値化された２値画像、文字画像等）によって、その
変換処理方法が異なっている。本発明で対象としている
画像は各画素ごとに階調情報の持つ自然画像等の多値画
像であるが、従来の内挿方法は図６に示すような、内挿
点に最も近い同じ画素値を配列する最近接内挿方法、図
７に示すような内挿点を囲む４点（４点の画像値をＡ、
Ｂ、Ｃ、Ｄとする）の距離により、以下の演算によって
画素値Ｅを決定する共１次内挿法等が一般的に用いられ
ている。

【０００３】 Ｅ＝１−ｉ１−ｊＡ＋ｉ・（１−ｊ）Ｂ＋ｊ・（１−ｉ）Ｃ＋ｉｊＤ （但し、画素間距離を１とした場合に、Ａから横方向に
ｉ、縦方向にｊの距離があるとする。（ｉ≦１、ｊ≦
１））

【０００４】

【発明が解決しようとする課題】しかし、上記従来例に
は、以下に示す欠点がある。

【０００５】すなわち、図６の方法は構成が簡単である
という利点はあるが、対象画像を自然画像等に用いた場
合には拡大するブロック毎に画素値が決定される為、視
覚的にブロックが目立ってしまい画質的に劣悪である。

【０００６】図７の方法は自然画像の拡大には一般的に
良く用いられている方法である。この方法では、平均化
され、スムージングのかかった画質になるが、エッジ部
や、シャープな画質が要求される部分には、ぼけた画質
になってしまう。さらに、地図等をスキャンした画像
や、文字部を含む自然画像の様な場合には、補間による
ぼけの為に、たいせつな情報が受け手に伝わらないこと
もある。本発明は上述した従来技術の欠点を除去するも
のであり、入力した低解像度情報から、エッジ情報を推
測作成し、その情報を付加する為、視覚的にぼけた感じ
の無い、エッジのシャープな高解像度情報を作成するこ
とができる画像処理装置の提供を目的とする。

【０００７】

【課題を解決するための手段】上述した目的を達成する
ため本発明の画像処理装置は、低解像度情報を高解像度
情報に変換し、入力した１画素の画像情報を（Ｎ×Ｍ）
画素（Ｎ、Ｍはそれぞれ２以上の整数）の画像情報に拡
大する画像処理装置において、低解像度情報を（ｗ×
ｈ）画素（ｗ、ｈはそれぞれ２以上の整数）単位にブロ
ック化するブロック化手段と、前記ブロック化手段から
の（ｗ×ｈ）画素を線形補間処理により（ｗ×Ｎ）×
（ｈ×Ｍ）画素に変換する線形補間手段と、前記ブロッ
ク化手段によりブロック化されたブロックを含む（ｗ´
×ｈ´）画素（ｗ≦ｗ´かつｈ≦ｈ´）を参照するウイ
ンドウを作成するウインドウ作成手段と、前記ウインド
ウ作成手段により作成されたウインドウ内の画素から最
大値ＭＡＸ及び最小値ＭＩＮを検出する検出手段と、前
記ブロック化手段からの（ｗ×ｈ）画素から平均画素値
Ｄａｖを算出する算出手段と、前記線形補間手段により
形成された（ｗ×Ｎ）×（ｈ×Ｍ）画素からなるブロッ
クに配置する前記最大値ＭＡＸの数を、 ＤＯＴ_ＭＡＸ＝（Ｄａｖ−ＭＩＮ）×Ｎ×Ｍ×ｗ×ｈ／（ＭＡＸ−ＭＩＮ） により演算する配置画素数算出手段と、前記線形補間手
段により形成された（ｗ×Ｎ）×（ｈ×Ｍ）画素から構
成されるブロック内の画素のうち、画素値の大きな順に
ＤＯＴ_ＭＡＸ画素分にＭＡＸの値を代入し、残りの画素
にＭＩＮの値を代入することで、エッジ情報を形成する
エッジ形成手段と、前記エッジ形成手段で形成されたエ
ッジ情報と、前記線形補間手段からの線形補間情報を合
成する際の配分係数ａを決定する配分比率決定手段と、
前記エッジ形成手段で形成されたエッジ情報と、前記線
形補間手段からの線形補間情報を、エッジ情報×ａ＋線
形補間情報×（１−ａ）により合成する合成手段とを有
することを特徴とする。

【０００８】

【０００９】

【実施例】（第１の実施例）図１は本発明にかかる第１
の実施例を表す要部ブロック図である。本実施例の画像
処理装置は、共としてプリンタ等の画像出力装置内部に
具備することが効率的であるが、画像出力以外の画像処
理装置、ホストコンピュータ内のアプリケーションソフ
トとして内蔵することも可能である。

【００１０】図１にブロック図に沿って本実施例の動作
手順を説明していく。

【００１１】図中１００は入力端子を示し、低解像の画
像情報が入力される。この画像処理装置を画像出力装置
内部に具備する場合には、数ライン分のラインバッフ
ァ、または、１ページ分のバッファを保持し（不図
示）、入力した低解像情報はそのメモリ内に格納され
る。入力した低解像情報は、ブロック化手段１０１に
て、横ｗ画素、縦ｈ画素の短形単位でブロック化が施さ
れる。ｗ、ｈの画素数は固定であり、予め実験的、ま
た、処理の容易さ、ラインバッファの容量等に応じて設
定している。尚、ｗ、ｈはそれぞれ２以上の整数とす
る。１０２はウインドウ作成手段を示し、低解像情報か
ら、ブロック化するｗ×ｈ画素を含むウインドウを作成
する。ウインドウは短形に限らないが、もし、ウインド
ウサイズを（ｗ’×ｈ’）画素の短形とする場合には、
ｗ’、ｈ’を ｗ≦ｗ’、 かつ ｈ≦ｈ’ を満足する値とする。

【００１２】ブロック化した単位ごとの情報は線形補間
手段１０３に送信され、線形補間（共１次補間）処理に
より、元のサンプリング間の画素が埋められ、１画素分
が、横Ｎ倍、縦Ｍ倍の補間情報を作成する。、尚、Ｎ、
Ｍはそれぞれ２以上の整数である。すなわち、横ｗ画
素、縦ｈ画素のブロックでは、線形補間手段により、横
（ｗ×Ｎ）画素、縦（ｈ×Ｍ）画素のブロック情報が作
成される。線形補間については図７に示した従来例で説
明したものと同じである。また、線形補間手段では、ブ
ロック内の情報のみならず、近接画素の情報が必要な
為、１０２において作成したウインドウを用いて算出す
る。

【００１３】１０４はブロック内エッジ作成手段を示
し、低解像情報の注目ブロックの（ｗ×Ｎ）画素×（ｈ
×Ｍ）画素単位ごとにエッジを作成するエッジ作成手段
を示す。エッジ作成の詳細については図２にて後述す
る。図中１０５は配分比率決定手段を示す。これは、作
成した線形補間情報とエッジ情報との合成において、そ
の配分比率（ａとおく。但し ０≦ａ≦１）を算出する
手段である。この配分比率も（ｗ×Ｎ）画素×（ｈ×
Ｍ）画素のブロック単位で決定される。この配分比率の
決定についても詳細は後述する。その後、求めた配分比
率ａを用いて、乗算器１０６においてエッジ情報はａ倍
され、乗算器１０７において線形補間情報は（１−ａ）
倍された後に加算器１０８において合成される。図中１
０９は出力端子を示し、入力された画像情報がＮ×Ｍ倍
の情報に変換されて出力される。

【００１４】図２は、図１に示したブロック内エッジ作
成手段１０４を表した図である。破線で囲んだ部分がエ
ッジ作成手段に相当する。図中１１０は低解像情報の入
力端子であり、１１１の２点削線で示したウインドウ内
の画素値の情報が入力される。いま、例として、ウイン
ドウサイズを４×４の短形ウインドウとする。すなわ
ち、１１１に示したＡからＰまでの１６画素がウインド
ウ内の画素群とする。この場合、最低でも４ライン分ラ
インバッファが必要である。１１１のウインドウにおい
て、太線で囲んである領域が、この場合の注目ブロック
で有るとする。いま、ブロックサイズを２×２のサイズ
を例に説明する。図中、Ｆ、Ｇ、Ｊ、Ｋの低解像４画素
がブロック内のメルンバーになる。この切り出したブロ
ックを１１２に示す。入力端子１１３からは、１１２で
示したブロック内の画素値情報が入力される。１１４
は、入力端子を示し、ここからは１１５で示す様な線形
補間情報が入力される。図中、１１５は１１２のブロッ
クの４画素分の線形補間情報を示し、斜線で示された画
素が、それぞれ、Ｆ、Ｇ、Ｊ、Ｋの各画素を示し、その
他の点線で区切られた画素が、内挿補間された画素を示
している。この例では、３倍×３倍に拡大されている。
すなわち、本実施例では、ウインドウサイズは、ｗ’＝
ｈ’＝４、ブロックサイズは、ｗ＝ｈ＝２、補間の拡大
率はＮ＝Ｍ＝３の例を示している。

【００１５】入力端子１１０から入力した低解像情報は
ＭＡＸ、ＭＩＮ検出手段１１６によりウインドウ内１６
画素最大値、最小値を検出される。また、入力端子１１
３から入力した低解像情報は、平均濃度算出手段１１７
において、Ｆ、Ｇ、Ｊ、Ｋの４画素の画素値の平均値を
算出する。さて、検出されたＭＡＸ情報、ＭＩＮ情報、
及び、算出された平均値（Ｄａｖとおく）は配置画素数
算出手段１１８に送信され、ブロック毎にエッジを作成
する２値の代表値のそれぞれの画素数を算出する。ＭＡ
Ｘの代表値を配置する画素数をＤＯＴ _{M A X} 、ＭＩＮ
の代表値を配置する画素数をＤＯＴ_{M I N} とおくと、そ
れぞれの画素数を以下の式により決定している。

【００１６】 ＤＯＴ_ＭＡＸ＝（Ｄａｖ−ＭＩＮ）×Ｎ×Ｍ×ｗ×ｈ／（ＭＡＸ−ＭＩＮ） ＤＯＴ_ＭＩＮ＝Ｎ×Ｍ×ｗ×ｈ−ＤＯＴ_ＭＡＸ 決定されたそれぞれのＤＯＴ情報と、ＭＡＸ情報、ＭＩ
Ｎ情報はＤＯＴ配置手段１１９に送信される。一方、入
力端子１１４から入力した線形補間の施されたブロック
の３６画素はソート手段１２０に送信され、ブロック内
の線形補間画素を画素値の大きな順にソーティングされ
る。

【００１７】ソートのアルゴリズムに自体はここでは限
定しない。ソーティングの施された横（ｗ×Ｎ）画素、
縦（ｈ×Ｍ）画素のブロック内の各画素は、ＤＯＴは配
置手段１１９により、画素値の大きな順にＤＯＴ _{M A X}
画素分だけ、ＭＡＸ値が代入され、ブロック内その他の
画素にはＭＩＮ値が代入される。１２１は出力端子を示
し、１２２に示した様に２値化代表値をＭＡＸ、ＭＩＮ
で割り当てたブロックの情報が出力される。

【００１８】図３は、ブロック内にエッジを作成した例
を示している。ここで、前述したＤＯＴ算出の計算式に
ついて説明する。図３で、低解像情報を縦Ｎ倍、横Ｍ倍
の高解像情報に変換するものとする。いま、Ｎ＝Ｍ＝
３、ｗ＝ｈ＝２の場合を例に説明する。

【００１９】いま、注目ブロックが中央に配してある
“７０”、“１１０”、“９０”、“１４０”の４画素
によるブロックであったとする（図３（ａ））。

【００２０】この低解像の４画素は、高解像情報で考え
た場合に、２００の画素と、２０の画素の２値が、ある
比率で含まれているエッジ部であり、低解像にした為に
４値の中間レベルに設定されたものと想定する。すなわ
ち、濃度保存を考えた場合、ブロック内の１画素あたり
に含まれる高解像２００の比率をＡ、２０の比率をＢと
想定すると、２００×Ａ＋２０×Ｂ＝８０になる。

【００２１】ここで、１画素当たりの平均濃度Ｄａｖ
と、ウインドウ内のＭＡＸ、ＭＩＮの変数を用いると、 ＭＡＸ×Ａ＋ＭＩＮ×Ｂ＝Ｄａｖ いま、Ａ＋Ｂ＝１想定する為、 ＭＡＸ×Ａ＋ＭＩＮ×（１−Ａ）＝Ｄａｖ すなわち、Ａ＝（Ｄａｖ−ＭＩＮ）／（ＭＡＸ−ＭＩ
Ｎ）となる。

【００２２】いま、低解像１画素を、横（ｗ×Ｎ）画
素、縦（ｈ×Ｍ）画素分に拡大する為、ＭＡＸの配置す
る画素数は、 ＤＯＴ _{M A X} ＝（Ｄａｖ−ＭＩＮ）×Ｎ×Ｍ×ｗ×ｈ／（ＭＡＸ−ＭＩＮ） で表される。

【００２３】図３では、Ｄａｖ＝１００、ＭＡＸ＝２０
０、ＭＩＮ＝２０、Ｎ＝Ｍ＝３、ｗ＝ｈ＝２である為、
前述した式に代入すると、ＭＡＸ値を配置する画素数Ｄ
ＯＴ_{M A X}は、ブロック内１６画素分となる。すなわ
ち、３６画素分のうち、画素値の大きい順から１６画素
分がＭＡＸ値である２００の値を代入し、残りの２０画
素分がＭＩＮ値である２０の値を代入することになる
（図３（ｂ））。

【００２４】このように注目画素に対応するブロック内
にエッジを作成している。

【００２５】以上説明したエッジ作成処理により、ブロ
ック内で解像度方向に滑らかなエッジ、すなわち、高解
像情報を作成することが可能になる。

【００２６】図４は配分比率決定手段を示している。図
中、破線で囲んでいる部分が図１の１０５で示した配分
比率決定手段に相当する。図中、１４１は入力端子を示
し、１４２に示した低解像情報を入力する。図２で説明
したように、２点削線で囲まれた部分が参照するウイン
ドウであり、太線で囲まれた部分が処理を施すブロック
であるとする。

【００２７】図２のエッジ作成手段と同様に、ＭＡＸ、
ＭＩＮ検出手段１４３により、ウインドウ内のＭＡＸ
値、ＭＩＮ値を検出する。この検出手段はエッジ作成手
段の中のものと共有できることは勿論である。

【００２８】１４４は減算器を示し、（ＭＡＸ−ＭＩ
Ｎ）の演算が行なわれる。すなわち、このウインドウ内
のダイナミックレンジを求めることに相当する。

【００２９】１４５は重み付け手段を示し、配分比率ａ
を求める時のエッジ情報を、より重要視するか、また、
軽視するかを決定する為に設けた、係数の乗算器であ
る。この係数は、システムに最適化する為に実験的に求
めても良いし、対象画素に応じて決定しても良い。

【００３０】１４６はクリップ手段であり、係数の乗算
による値のオーバフローをクリップする。こうして算出
された配分比率ａは出力端子１４７により出力され、エ
ッジ情報と線形補間情報と合成の配分を司る。

【００３１】以上の処理により、エッジの急峻な部分で
は、作成したエッジ情報が大きく依存し、平坦部では、
線形補間情報が大きく依存する様になる。

【００３２】（第２の実施例）図５は本発明第２の実施
例を示す要部ブロック図である。本実施例は前述した実
施例のエッジ作成手段が異なっている。本実施例では、
図２に示したエッジ作成手段よりも容易に実現できる。

【００３３】図５において、破線で囲んだ部分がエッジ
作成手段に相当する。図中１５０は低解像情報の入力端
子であり、１５１の２点削線で示したウインドウ内の画
素値の情報が入力される。いま、例として、ウインドウ
サイズを４×４の短形ウインドウとする。すなわち、１
５１に示したＡからＰまでの１６画素がウインドウ内の
画素群とする。１５１のウインドウにおいて、太線で囲
んである領域が、この場合の注目ブロックであるとす
る。いま、ブロックサイズを２×２のサイズを例に説明
する。図中、Ｆ、Ｇ、Ｊ、Ｋの低解像４画素がブロック
内のメンバーになる。１５２は、入力端子を示し、ここ
からは１５３で１５３で示す様なブロック内の線形補間
情報が入力される。図中、１５３は注目ブロックの４画
素分の線形補間情報を示し、斜線で示された画素が、そ
れぞれ、Ｆ、Ｇ、Ｊ、Ｋの各画素を示し、その他の点線
で区切られた画素が、内挿補間された画素を示してい
る。この例では、３倍×３倍に拡大されている。すなわ
ち、本実施例では、ウインドウサイズは、ｗ’＝ｈ’＝
４、ブロックサイズは、ｗ＝ｈ＝２、補間の拡大率はＮ
＝Ｍ＝３の例を示している。

【００３４】入力端子１５０から入力した低解像情報は
ＭＡＸ、ＭＩＮ検出手段１５４によりウインドウ内１６
画素の最大値、最小値を検出される。

【００３５】検出されたＭＡＸ情報、ＭＩＮ情報は閾値
決定手段１５５に送信され、２値に量子化される閾値が
決定される。本実施例では閾値（ＴＨとおく）を以下の
式により決定している。

【００３６】ＴＨ＝（ＭＡＸ＋ＭＩＮ）／２ 決定された閾値情報と、ＭＡＸ情報、ＭＩＮ情報は２値
化手段１５６に送信され、入力端子１５２から入力した
線形補間の施された注目ブロックの補間情報を２値化す
る。２値化閾値よりも大きな補間画素にはＭＡＸ値を割
り当て、小さい補間画素にはＭＩＮ値を割り当てる。１
５７は出力端子を示し、１５８に示した様な２値化代表
値をＭＡＸ、ＭＩＮで割り当てたブロックの情報が出力
される。

【００３７】以上、エッジ作成の例を挙げたが、ブロッ
クごとにエッジを作成する手段においては、この例に限
られない。

【００３８】また、ブロック化において、ｗ＝ｈ＝２の
例を説明したが、ブロックサイズも、ウインドウサイズ
も任意に設定できることは勿論である。

【００３９】また、応用例として、例えば、ブロック内
の画素値のダイナミックレンジや、ブロック内の画素値
のダイナミックレンジトウインドウ内の画素値のダイナ
ミックレンジの比、ブロック内の画素値のＭＡＸ、ＭＩ
Ｎとウインドウ内のＭＡＸ、ＭＩＮのそれぞれの差分等
によって、エッジ作成を施すブロックか否かを判断する
手段を設けてもよい。すなわち、エッジ部にかかるブロ
ックにのみ、エッジ作成を施すことが可能になる。

【００４０】また、制御が複雑になるが、ブロックサイ
ズ、ウインドウサイズを、画素値に応じて可変にするこ
とも可能である。

【００４１】

【発明の効果】以上説明したように、本発明によると、
入力した低解像度情報から、エッジ情報を推測作成し、
その情報を付加する為、視覚的にぼけた感じの無い、エ
ッジのシャープな高解像度情報を作成することができ
る。

【００４２】また、ブロック単位でエッジ作成を行なっ
ている為、良好なエッジを作成できる。

【００４３】本発明により、低解像度の画像情報を高解
像度情報へ容易に変換できる為、解像度の異なる機種間
通信や、拡大変倍して、高画質な画像を出力するプリン
タや、複写機が提供できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す要部ブロック図で
ある。

【図２】図１のエッジ作成手段を示す要部ブロック図で
ある。

【図３】２値化の例を示す図である。

【図４】図１の配分比率決定手段の詳細を示した図であ
る。

【図５】本発明の第２の実施例のエッジ作成手段を示す
要部ブロック図である。

【図６】従来例である最近接内挿法を示した図である。

【図７】従来例である共１次内挿法を示した図である。

【符号の説明】

１００ 入力端子 １０１ ブロック化手段 １０２ ウインドウ作成手段 １０３ 線形補間手段 １０４ ブロック内エッジ作成手段 １０５ 配分比率決定手段 １０６、１０７ 乗算器 １０８ 加算器 １０９ 出力端子

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 低解像度情報を高解像度情報に変換し、
   入力した１画素の画像情報を（Ｎ×Ｍ）画素（Ｎ、Ｍは
   それぞれ２以上の整数）の画像情報に拡大する画像処理
   装置において、 低解像度情報を（ｗ×ｈ）画素（ｗ、ｈはそれぞれ２以
   上の整数）単位にブロック化するブロック化手段と、 前記ブロック化手段からの（ｗ×ｈ）画素を線形補間処
   理により（ｗ×Ｎ）×（ｈ×Ｍ）画素に変換する線形補
   間手段と、 前記ブロック化手段によりブロック化されたブロックを
   含む（ｗ´×ｈ´）画素（ｗ≦ｗ´かつｈ≦ｈ´）を参
   照するウインドウを作成するウインドウ作成手段と、 前記ウインドウ作成手段により作成されたウインドウ内
   の画素から最大値ＭＡＸ及び最小値ＭＩＮを検出する検
   出手段と、 前記ブロック化手段からの（ｗ×ｈ）画素から平均画素
   値Ｄａｖを算出する算出手段と、 前記線形補間手段により形成された（ｗ×Ｎ）×（ｈ×
   Ｍ）画素からなるブロックに配置する前記最大値ＭＡＸ
   の数を、 ＤＯＴ_ＭＡＸ＝（Ｄａｖ−ＭＩＮ）×Ｎ×Ｍ×ｗ×ｈ／（ＭＡＸ−ＭＩＮ） により演算する配置画素数算出手段と、 前記線形補間手段により形成された（ｗ×Ｎ）×（ｈ×
   Ｍ）画素から構成されるブロック内の画素のうち、画素
   値の大きな順にＤＯＴ_ＭＡＸ画素分にＭＡＸの値を代入
   し、残りの画素にＭＩＮの値を代入することで、エッジ
   情報を形成するエッジ形成手段と、 前記エッジ形成手段で形成されたエッジ情報と、前記線
   形補間手段からの線形補間情報を合成する際の配分係数
   ａを決定する配分比率決定手段と、 前記エッジ形成手段で形成されたエッジ情報と、前記線
   形補間手段からの線形補間情報を、 エッジ情報×ａ＋線形補間情報×（１−ａ）により合成
   する合成手段とを有することを特徴とする画像処理装
   置。