JP3683397B2

JP3683397B2 - カラー画像データ補間方法および装置

Info

Publication number: JP3683397B2
Application number: JP32828397A
Authority: JP
Inventors: 渡伊藤
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1997-07-02
Filing date: 1997-11-28
Publication date: 2005-08-17
Anticipated expiration: 2017-11-28
Also published as: US6175430B1; JPH1175060A

Description

【０００１】
【発明の属する技術分野】
本発明は画像データの補間演算方法および装置に関するものである。
【０００２】
【従来の技術】
従来より、写真フイルムに記録された画像を光電的に読み取って画像信号を得、この画像信号に適切な画像処理を施した後、画像を再生記録することが種々の分野で行われている。そして、画像信号を得てこの画像信号に基づいて可視画像を再生するシステムにおいて、その可視画像のうち観察対象となる関心領域をより詳細に観察したいとき、その領域を拡大して再生することがある。この場合、拡大して再生に供する画像データの数を原画像に対応した原画像データのデータ数のままで拡大再生したのでは、人の視覚の特性上その拡大画像の鮮鋭度は原画像よりも相対的に低下したものとして認識される。このため画像を単に拡大再生しただけでは鮮鋭度が低下して画像の詳細な観察はできない。
【０００３】
そこで、原画像を読み取って得られた原画像データに対して所定の補間演算を施して原画像データ数とは異なるデータ数、具体的には拡大再生に際しては原画像データよりも多いデータ数の２次的な画像データである補間画像データを求め、この補間画像データに基づいて可視画像の再生を行うことによって、拡大再生した場合でも画像の鮮鋭度の低下を防止することができる。
【０００４】
このように画像データに対して補間演算を施す補間演算方法としては従来より種々の方法が提案されているが、一般に３次のスプライン補間関数による方法がよく用いられている。この方法は、デジタル的に得られた原画像データ｛Ｚ_k｝を各区間ごとに３次関数｛ｆ_k｝で結び、補間点の設定位置（上記各区間内での設定位置）におけるｆ_kの値を補間画像データとするものである。
【０００５】
このように原画像データを通過する補間演算は、鮮鋭度が比較的高い補間方法であり、例えばキュービックスプライン（Cubic スプライン）補間演算などが知られている。以下、このキュービックスプライン補間演算について具体的に説明する。
【０００６】
原画像からデジタル的に読み取って得られた連続する画素Ｘ_k-2，Ｘ_k‐₁ ，Ｘ_k，Ｘ_k+1，Ｘ_k+2，…の画像データ（原画像データ）を図２に示すようにそれぞれＺ_k-2，Ｚ_k‐₁ ，Ｚ_k，Ｚ_k+1，Ｚ_k+2，…とする。ここで、３次のスプライン補間関数は、各区間Ｘ_k-2〜Ｘ_k‐₁ ，Ｘ_k-1〜Ｘ_k，Ｘ_k〜Ｘ_k+1 ，Ｘ_k+1〜Ｘ_k+2ごとにそれぞれ設定され、各区間に対応するスプライン補間関数をｆ_k-2，ｆ_k-1，ｆ_k，ｆ_k+1，ｆ_k+2とする。この補間関数はいずれも各区間の位置を変数とする３次関数である。
【０００７】
ここでまず、補間しようとする点（以下、補間点という）Ｘ_pが区間Ｘ_k〜Ｘ_k+1の範囲にある場合について説明する。なお、区間Ｘ_k〜Ｘ_k+1に対応するスプライン補間関数ｆ_k は下記式（１）で表される。
【０００８】
ｆ_k（ｘ）＝Ａ_kｘ³＋Ｂ_kｘ²＋Ｃ_kｘ＋Ｄ_k （１）
キュービックスプライン補間演算においては、スプライン補間関数ｆ_kは元のサンプル点（画素）を通ることと、その第１階微分係数が各区間間で連続することが必要とされ、これらの条件から下記式（２）〜（５）を満たす必要がある
ｆ_k（Ｘ_k）＝Ｚ_k （２）
ｆ_k（Ｘ_k+1）＝Ｚ_k+1 （３）
ｆ_k′（Ｘ_k）＝ｆ_k-1′（Ｘ_k）（４）
ｆ_k′（Ｘ_k+1）＝ｆ_k+1′（Ｘ_k+1）（５）
なお、ｆ_k′は関数ｆ_kの第１階微分（３Ａ_kｘ²＋２Ｂ_kｘ＋Ｃ_k）を表すものである。
【０００９】
ここで、キュービックスプライン補間演算は厳密には第２階微分係数の連続条件を含むが、この第２階微分係数の連続条件によれば演算式が複雑になるため、上述のように簡略化して用いるのが一般的である。
【００１０】
またキュービックスプライン補間演算においては、画素Ｘ_k における第１階微分係数が、その画素Ｘ_kの前後の画素であるＸ_k-1とＸ_k+1とについて、これらの画像データＺ_k-1、Ｚ_k+1の勾配（Ｚ_k+1−Ｚ_k-1）／（Ｘ_k+1−Ｘ_k‐₁）に一致することが条件であるから、下記式（６）を満たす必要がある。
【００１１】
ｆ_k′（Ｘ_k）＝（Ｚ_k+1−Ｚ_k-1）／（Ｘ_k+1−Ｘ_k-1）（６）
同様に、画素Ｘ_k+1における第１階微分係数が、その画素Ｘ_k+1の前後の画素であるＸ_kとＸ_k+2とについて、これらの画像データＺ_k、Ｚ_k+2の勾配（Ｚ_k+2−Ｚ_k）／（Ｘ_k+2−Ｘ_k）に一致することが条件であるから、下記式（７）を満たす必要がある。
【００１２】
ｆ_k′（Ｘ_k+1）＝（Ｚ_k+2−Ｚ_k）／（Ｘ_k+2−Ｘ_k）（７）
ここで、各区間Ｘ_k-2〜Ｘ_k-1，Ｘ_k-1〜Ｘ_k，Ｘ_k〜Ｘ_k+1，Ｘ_k+1〜Ｘ_k+2の間隔（格子間隔という）を１とし、画素Ｘ_kからの画素Ｘ_k+1方向への補間点Ｘ_pの位置をｔ（０≦ｔ≦１）とすれば、式（１）〜（７）より、
ｆ_k（０）＝Ｄ_k＝Ｚ_k
ｆ_k（１）＝Ａ_k＋Ｂ_k＋Ｃ_k＋Ｄ_k＝Ｚ_k+1
ｆ_k′（０）＝Ｃ_k＝（Ｚ_k+1−Ｚ_k-1）／２
ｆ_k′（１）＝３Ａ_k＋２Ｂ_k＋Ｃ_k＝（Ｚ_k+2−Ｚ_k）／２
したがって、
Ａ_k＝（Ｚ_k+2−３Ｚ_k+1＋３Ｚ_k−Ｚ_k-1）／２
Ｂ_k＝（−Ｚ_k+2＋４Ｚ_k+1−５Ｚ_k＋２Ｚ_k-1）／２
Ｃ_k＝（Ｚ_k+1−Ｚ_k-1）／２
Ｄ_k＝Ｚ_k
なお、スプライン補間関数ｆ_k（ｘ）は上述の通り、Ｘ＝ｔなる変数変換をしているため、
ｆ_k（ｘ）＝ｆ_k（ｔ）
となる。よって、補間点Ｘ_pにおける補間画像データＺ_pは、
Ｚ_p＝ｆ_k（ｔ）＝Ａ_kｔ³＋Ｂ_kｔ²＋Ｃ_kｔ＋Ｄ_k （８）
で表すことができる。ここで上記各係数Ａ_k，Ｂ_k，Ｃ_k，Ｄ_kを式（８）に代入すると、

となり、これを画像データＺ_k-1，Ｚ_k，Ｚ_k+1，Ｚ_k+2について整理すると、下記式（９）で表すことができる。
【００１３】

ここで、原画像データＺ_k-1、Ｚ_k、Ｚ_k+1、Ｚ_k+2の各係数を補間係数ｃ_k-1、ｃ_k、ｃ_k+1、ｃ_k+2と称する。すなわち、式（６）における原画像データＺ_k-1、Ｚ_k、Ｚ_k+1、Ｚ_k+2にそれぞれ対応する補間係数ｃ_k-1、ｃ_k、ｃ_k+1、ｃ_k+2は、
ｃ_k-1＝（−ｔ³＋２ｔ²−ｔ）／２
ｃ_k ＝（３ｔ³−５ｔ²＋２）／２
ｃ_k+1＝（−３ｔ³＋４ｔ²＋ｔ）／２
ｃ_k+2＝（ｔ³−ｔ²）／２
となる。
【００１４】
以上の演算を各区間Ｘ_k-2〜Ｘ_k-1，Ｘ_k-1〜Ｘ_k，Ｘ_k〜Ｘ_k+1，Ｘ_k+1〜Ｘ_k+2について繰り返すことにより、原画像データの全体について原画像データとは間隔の異なる補間画像データを求めることができる。
【００１５】
ところで、上記キュービックスプライン補間演算は、前述したように元のサンプル点（画素）を通ることと、その第１階微分係数が各区間間で連続することが必要とされていて、鮮鋭度の比較的高いシャープな２次画像（補間により得られる画像）を再生するための補間画像データを得る補間関数であるが、一方、原画像の濃度変化が緩い部分についての補間演算では鮮鋭度は比較的低いが滑らかな２次画像を再生するのが望ましい。このように鮮鋭度は比較的低いが滑らかな２次画像を再生する補間画像データを得る補間関数としては例えばビースプライン（Ｂスプライン）補間演算が知られている。このビースプライン補間演算は、元のサンプル点（画素）を通ることは必要とされない代わりに、第１階微分係数および第２階微分係数（ｆ”（Ｘ）で表す）が各区間間で連続することが必要とされる。
【００１６】
すなわち、
ｆ_k（ｘ）＝Ａ_kｘ³＋Ｂ_kｘ²＋Ｃ_kｘ＋Ｄ_k （１）
において、
ｆ_k′（Ｘ_k）＝ｆ_k-1′（Ｘ_k）（４）
ｆ_k′（Ｘ_k+1）＝ｆ_k+1′（Ｘ_k+1）（５）
ｆ_k″（Ｘ_k）＝ｆ_k-1″（Ｘ_k）（10）
ｆ_k″（Ｘ_k+1）＝ｆ_k+1″（Ｘ_k+1）（11）
が条件となる。ただし、画素Ｘ_kにおける第１階微分係数が、その画素Ｘ_kの前後の画素であるＸ_k-1とＸ_k+1とについて、これらの画像データＺ_k-1、Ｚ_k+1の勾配（Ｚ_k+1−Ｚ_k-1）／（Ｘ_k+1−Ｘ_k-1）に一致することが条件であるから、下記式（６）を満たす必要がある。
【００１７】
ｆ_k′（Ｘ_k）＝（Ｚ_k+1−Ｚ_k-1）／（Ｘ_k+1−Ｘ_k-1）（６）
同様に、画素Ｘ_k+1における第１階微分係数が、その画素Ｘ_k+1の前後の画素であるＸ_kとＸ_k+2とについて、これらの画像データＺ_k、Ｚ_k+2の勾配（Ｚ_k+2−Ｚ_k）／（Ｘ_k+2−Ｘ_k）に一致することが条件であるから、下記式（７）を満たす必要がある。
【００１８】
ｆ_k′（Ｘ_k+1）＝（Ｚ_k+2−Ｚ_k）／（Ｘ_k+2−Ｘ_k）（７）
また関数ｆ（Ｘ）は一般に下記式（12）に示すもので近似される。
【００１９】
ｆ（Ｘ）＝ｆ(0) ＋ｆ′(0) Ｘ＋｛ｆ″(0)/２｝Ｘ² （12）
ここで、各区間Ｘ_k-2〜Ｘ_k-1，Ｘ_k-1〜Ｘ_k，Ｘ_k〜Ｘ_k+1，Ｘ_k+1〜Ｘ_k+2の間隔（格子間隔という）を１とし、画素Ｘ_kからの画素Ｘ_k+1方向への補間点Ｘ_pの位置をｔ（０≦ｔ≦１）とすれば、式（１）、（４）〜（７）、（10）〜（12）より、
ｆ_k′（０）＝Ｃ_k＝（Ｚ_k+1−Ｚ_k-1）／２
ｆ_k′（１）＝３Ａ_k＋２Ｂ_k＋Ｃ_k＝（Ｚ_k+2−Ｚ_k）／２
ｆ_k″（０）＝Ｚ_k+1−２Ｚ_k＋Ｚ_k-1＝２Ｂ
したがって、
Ａ_k＝（Ｚ_k+2−３Ｚ_k+1＋３Ｚ_k−Ｚ_k-1）／６
Ｂ_k＝（Ｚ_k+1−２Ｚ_k＋Ｚ_k-1）／２
Ｃ_k＝（Ｚ_k+1−Ｚ_k-1）／２
ここで、Ｄ_kは未知のため、
Ｄ_k＝（Ｄ₁Ｚ_k+2＋Ｄ₂Ｚ_k+1＋Ｄ₃Ｚ_k＋Ｄ₄Ｚ_k-1）／６
とおく。また、スプライン補間関数ｆ_k（ｘ）は上述の通り、Ｘ＝ｔなる変数変換をしているため、
ｆ_k（ｘ）＝ｆ_k（ｔ）
となる。よって、

となり、これを画像データＺ_k-1，Ｚ_k，Ｚ_k+1，Ｚ_k+2について整理すると、下記式（13）で表すことができる。
【００２０】

ここで、ｔ＝１とおけば、

次に区間Ｘ_k+1〜Ｘ_k+2については式（13）と同様に、下記式（14）で表すことができる。
【００２１】

ここで、ｔ＝０とおけば、
ｆ_k+1（０）＝（Ｄ₄／６）Ｚ_k＋（Ｄ₃／６）Ｚ_k+1
＋（Ｄ₂／６）Ｚ_k+2＋（Ｄ₁／６）Ｚ_k+3
連続性の条件（ｆ_k（１）＝ｆ_k+1（０））、および各原画像データに対応する係数同士が等しいという条件により、Ｄ₄−１＝０，Ｄ₃−３＝Ｄ₄，Ｄ₂＋３＝Ｄ₃，Ｄ₁＋１＝Ｄ₂，Ｄ₁＝０、となり、したがって、
Ｄ_k＝（Ｚ_k+1＋４Ｚ_k＋Ｚ_k-1）／６
となる。よって、

したがって、原画像データＺ_k-1、Ｚ_k、Ｚ_k+1、Ｚ_k+2にそれぞれ対応する補間係数ｂ_k-1、ｂ_k、ｂ_k+1、ｂ_k+2は、
ｂ_k-1＝（−ｔ³＋３ｔ²−３ｔ＋１）／６
ｂ_k ＝（３ｔ³−６ｔ²＋４）／６
ｂ_k+1＝（−３ｔ³＋３ｔ²＋３ｔ＋１）／６
ｂ_k+2＝ｔ³／６
となる。
【００２２】
以上の演算を各区間Ｘ_k-2〜Ｘ_k-1，Ｘ_k-1〜Ｘ_k，Ｘ_k〜Ｘ_k+1，Ｘ_k+1〜Ｘ_k+2について繰り返すことにより、原画像データの全体について原画像データとは間隔の異なる補間画像データを求めることができる。
【００２３】
このように２次画像（補間画像）を高い鮮鋭度でシャープに再生したい場合は例えばキュービックスプライン補間演算を用い、低い鮮鋭度で滑らかに再生したい場合は例えばビースプライン補間演算を用いればよい。
【００２４】
【発明が解決しようとする課題】
従来、カラー画像において画像データ補間して画像を拡大縮小する際には、各画素を担持するＲ，Ｇ，Ｂの各色信号についてそれぞれ上記のような補間演算によりデータ補間が行われている。しかし、鮮鋭度を重視した補間法であるキュービックスプライン補間法を用いると、Ｒ，Ｇ，Ｂの各々で異なるパターンのオーバーシュートおよびアンダーシュートが生じ、個々の画素では異なる方向および異なる量の色相ずれとなる。このような補間により得られた可視画像において色相ずれはノイズとして観察されることとなる。
【００２５】
また、画像中に人物の顔等の肌色領域がある場合には、この肌色領域については補間後においても、粒状を目立たせることのない画像とすることが望まれている。
【００２６】
本発明は上記事情に鑑みてなされたものであって、鮮鋭度を維持しつつ、補間後にノイズを増加させることなく、補間拡大および縮小を行うことができる、カラー画像補間方法および装置を提供することを目的とするものであり、画像中に肌色領域がある場合にはその画質を維持し粒状を目立たせないで補間拡大および縮小を行うことができるカラー画像補間方法および装置を提供することを目的とするものである。
【００２７】
【課題を解決するための手段】
本発明のカラー画像データ補間方法は、カラー画像を担持する原画像データを補間して該原画像データとは間隔の異なる補間画像データを求めるカラー画像データ補間方法であって、
前記原画像データを構成する各画素データを担持するＲ，Ｇ，Ｂの色信号を、前記各画素データを担持する輝度信号および色差信号に変換し、
前記輝度信号については鮮鋭度重視の補間方法で補間輝度信号を求め、
前記色差信号については安定度重視の補間方法で補間色差信号を求め、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換し、該変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得ることを特徴とするものである。
【００２８】
また、本発明の他のカラー画像データ補間方法は、カラー画像を担持する原画像データを補間して該原画像データとは間隔の異なる補間画像データを求めるカラー画像データ補間方法であって、
前記原画像データを構成する各画素データを担持するＲ，Ｇ，Ｂの色信号を、前記各画素データを担持する輝度信号および色差信号に変換し、
前記各画素データのうち肌色を示す画素データに対応する輝度信号については安定度重視の補間方法で、前記肌色を示す画素データ以外の画素データに対応する輝度信号については鮮鋭度重視の補間方法で補間輝度信号を求め、
前記色差信号については安定度重視の補間方法で補間色差信号を求め、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換し、該変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得ることを特徴とするものである。
【００２９】
上記の各カラー画像データ補間方法においては、前記鮮鋭度重視の補間方法がキュービックスプライン補間演算を用いるものであり、前記安定度重視の補間方法がビースプライン補間演算を用いるものであることが望ましい。
【００３０】
本発明のカラー画像データ補間装置は、カラー画像を担持する原画像データを補間して該原画像データとは間隔の異なる補間画像データを求めるカラー画像データ補間装置であって、
前記原画像データを構成する各画素データを担持するＲ，Ｇ，Ｂの色信号を、前記各画素データを担持する輝度信号および色差信号に変換する第一の変換手段と、
前記輝度信号については鮮鋭度重視の補間方法で補間輝度信号を求め、前記色差信号については安定度重視の補間方法で補間色差信号を求める輝度色差信号補間手段と、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換する第二の変換手段とを備え、
前記第二の変換手段により変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得ることを特徴とするものである。
【００３１】
本発明の他のカラー画像データ補間装置は、カラー画像を担持する原画像データを補間して該原画像データとは間隔の異なる補間画像データを求めるカラー画像データ補間装置であって、
前記原画像データを構成する各画素データを担持するＲ，Ｇ，Ｂの色信号を、前記各画素データを担持する輝度信号および色差信号に変換する第一の変換手段と、
前記各画素データのうち肌色を示す画素データに対応する輝度信号については安定度重視の補間方法で、前記肌色を示す画素データ以外の画素データに対応する輝度信号については鮮鋭度重視の補間方法で補間輝度信号を求め、前記色差信号については、安定度重視の補間方法で補間色差信号を求める輝度色差信号補間手段と、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換する第二の変換手段とを備え、
前記第二の変換手段により変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得ることを特徴とするものである。
【００３２】
前記各カラー画像データ補間装置においては、前記輝度色差信号補間手段が、前記鮮鋭度重視の補間方法としてキュービックスプライン補間演算を用い、前記安定度重視の補間方法としてビースプライン補間演算を用いるものであることが望ましい。
【００３３】
なお、キュービックスプライン補間演算およびビースプライン補間演算は、一般的な鮮鋭度重視の補間演算および安定度重視の補間演算であるが、ここで、鮮鋭度重視の補間処理とは、データ補間時に信号値の不連続性を強調する補間処理であり、安定度重視の補間処理とは、信号値の連続性を担保する補間処理である。
【００３４】
【発明の効果】
本発明のカラー画像補間方法および装置においては、Ｒ，Ｇ，Ｂの色信号で表されていた画像データを一旦輝度色差信号で表し、輝度信号に対しては鮮鋭度重視の補間により補間輝度信号を得、色差信号に対しては安定性重視の補間により補間色差信号を得、補間輝度信号および補間色差信号を再びＲ，Ｇ，Ｂの色信号に変換することにより、Ｒ，Ｇ，Ｂの色信号で表された補間画像データを得るものであるため、従来、鮮鋭度重視の補間方法によりＲＧＢ各色信号についてそれぞれ補間色信号を求めていたために生じた、データ補間後の可視画像における各画素での異なる方向および異なる量の色相ずれを生じることがない。また、画像の鮮鋭度は輝度変化に依存するものであるが、本発明の方法および装置においては、輝度信号に対しては鮮鋭度重視の補間を行っているため、高い鮮鋭度を維持することができる。
【００３５】
このようにして、鮮鋭度を維持しつつ、色相のばらつきによるノイズを増加させないで画像の拡大および縮小をすることができる。
【００３６】
また、特に、画像中に人物の顔等の肌色領域がある場合には、肌色領域の画素データについてはその輝度色差信号を安定度重視の補間方法により補間し、肌色領域以外の画素データについては輝度信号には鮮鋭度重視の補間方法を用い、色差信号には安定度重視の補間方法を用いて補間することにより、色相のばらつきによりノイズを増加させず、かつ、肌色領域の粒状を増加させないで画像の拡大および縮小をすることができる。
【００３７】
【発明の実施の形態】
以下、本発明の画像データの補間演算方法の実施の形態について説明する。
【００３８】
図１は本発明の画像データの補間演算方法を実施するための具体的な第一の実施形態である補間演算装置30を内包する画像再生システムを示す概略ブロック図である。図示の画像再生システムは、画像を表す画像データを記憶した画像データ記憶装置10と、所定の再生サイズに適合するように画像データ記憶装置10に記憶されたカラー画像データ（以下、１次画像データまたは原画像データという）Ｓorg(R,G,B)に対して所定の信号処理を施す画像処理装置20と、画像処理装置20により所定の信号処理が施された画像データ（以下、２次画像データまたは補間画像データという）Ｓ′(R',G',B) に基づいて、上記所望の再生サイズの可視画像を再生するＣＲＴやプリンタ等の再生手段40とを備えた構成である。
【００３９】
画像処理装置20は、例えば、画像を出力する印画紙のサイズ（Ｌサイズ、ポストカードサイズ、Ａ４サイズなど）に適合するように１次画像データＳorg を信号処理するものであり、特に画像の拡大縮小に際して、１次画像データＳorg とはデータ数の異なる２次画像データ（補間画像データ）を補間演算によって算出する本発明の補間演算装置30を内包しているものである。
【００４０】
ここで本実施形態において使用される１次画像データＳorg は、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）Ｘ_k-2，Ｘ_k-1，Ｘ_k，Ｘ_k+1，Ｘ_k-2…に対応したデジタル画像データ（Ｒ_k-2，Ｇ_k-2，Ｂ_k-2），（Ｒ_k-1，Ｇ_k-1，Ｂ_k-1），（Ｒ_k，Ｇ_k，Ｂ_k），（Ｒ_k+1，Ｇ_k+1，Ｂ_k+1），（Ｒ_k+2，Ｇ_k+2，Ｂ_k+2），…である。
【００４１】
画像処理装置20に内包された補間演算装置30は、各画素データを表すＲＧＢの色信号を下記式（16）に従って、ＹＣＣ輝度色差信号に変換する第一の信号変換手段31と、
Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ
Ｃ１＝-0.299×Ｒ−0.587×Ｇ＋0.886×Ｂ
Ｃ２＝0.701×Ｒ−0.587×Ｇ−0.114×Ｂ（16）
該変換手段31により得られたＹＣＣ輝度色差信号のうち輝度信号Ｙについてキュービックスプライン補間法により補間輝度信号Ｙ’を求めるキュービックスプライン補間演算手段32と、色差信号Ｃ1 およびＣ2 についてビースプライン補間法により補間色差信号Ｃ1'、Ｃ2'を求めるビースプライン補間演算手段33と、ＹＣＣ輝度色差信号を下記式（17）に従って、ＲＧＢ色信号に変換する第二の信号変換手段34とを備えた構成である。
【００４２】
Ｒ＝Ｙ＋Ｃ2
Ｇ＝Ｙ−0.194×Ｃ2 −0.509×Ｃ2
Ｂ＝Ｙ＋Ｃ1 （17）
すなわち、本実施形態においては、キュービックスプライン補間演算手段32とビースプライン補間演算手段33とにより輝度色差信号補間手段が構成されている。
【００４３】
キュービックスプライン補間演算手段32は、既述のキュービックスプライン補間方法に従って、輝度信号Ｙについての補間輝度信号Ｙを求める。具体的には、オリジナルのサンプリング点（画素）Ｘ_k〜Ｘ_k+1間に設けられた補間点Ｘp の補間輝度信号Ｙ’を表す３次のキュービックスプライン補間演算式（18）における輝度信号Ｙ_kー2，Ｙ_k-1，Ｙ_k，Ｙ_k+1，Ｙ_k+2にそれぞれ対応する補間係数ｃ_kー2，ｃ_k-1，ｃ_k，ｃ_k+1，ｃ_k+2を、下記にそれぞれ示す演算により求める。
【００４４】
Ｙ’＝ｃ_k-1Ｙ_k-1＋ｃ_kＹ_k＋ｃ_k+1Ｙ_k+1＋ｃ_k+2Ｙ_k+2 （18）
ｃ_k-1＝（−ｔ³＋２ｔ²−ｔ）／２
ｃ_k ＝（３ｔ³−５ｔ²＋２）／２
ｃ_k+1＝（−３ｔ³＋４ｔ²＋ｔ）／２
ｃ_k+2＝（ｔ³−ｔ²）／２
（ただし、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘ_kを基準としたときの補間点Ｘ_pの画素Ｘ_k+1方向への位置を示す。）
ビースプライン補間演算手段33は、既述のビースプライン補間方法に従って、色差信号Ｃ1 およびＣ2 を求める。具体的には、オリジナルのサンプリング点Ｘ_k〜Ｘ_k+1間に設けられた補間点Ｘ_pの補間色差信号Ｃ1'を表す３次のビースプライン補間演算式（19）における色差信号Ｃ1_k-1、Ｃ1_k、Ｃ1_k+1、Ｃ1_k+2にそれぞれ対応する補間係数ｂ_k-1、ｂ_k、ｂ_k+1、ｂ_k+2を、下記にそれぞれ示す演算により求める。Ｃ2 についてはＣ1 と同様の演算であるため省略する。
【００４５】
Ｃ1＝ｂ_k-1Ｃ1_k-1＋ｂ_kＣ1_k＋ｂ_k+1Ｃ1_k+1＋ｂ_k+2Ｃ1_k+2 （19）
ｂ_k-1＝（−ｔ³＋３ｔ²−３ｔ＋１）／６
ｂ_k ＝（３ｔ³−６ｔ²＋４）／６
ｂ_k+1＝（−３ｔ³＋３ｔ²＋３ｔ＋１）／６
ｂ_k+2＝ｔ³／６
（ただし、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘ_kを基準としたときの補間点Ｘ_pの画素Ｘ_k+1方向への位置を示す。）
また、実際の画像は画素が２次元に配列されて形成されるため、上記キュービックスプライン補間係数ｃ_k-1、ｃ_k、ｃ_k+1、ｃ_k+2、および、ビースプライン補間係数ｂ_k-1、ｂ_k、ｂ_k+1、ｂ_k+2は、それぞれ画像を構成する画素の互いに異なる２つの配列方向（ｉ方向、ｊ方向とする）ごとに求められるものであり、そのように求められたものを、それぞれＣij、Ｂijと表記するものとすることがあるものとする。
【００４６】
ここで、本実施形態の画像再生システムば単に補間画像データＳ’を出力するだけでなく、補間画像データＳ’の配列の間隔を原画像データＳorg の配列間隔と同一になるように拡張することによって、補間画像は原画像を拡大したものとして再生される。
【００４７】
次に、本実施形態の画像再生システムの作用について説明する。
【００４８】
まず、画像処理装置20は画像データ記憶装置10に予め記憶されている１次画像データＳorg を読み出す。また画像処理装置20は、再生手段40の印画紙のサイズに応じた拡大画像を表す２次画像データを得るために、この読み出された１次画像データＳorg を画像処理装置20内の補間演算装置30に入力する。
【００４９】
補間演算装置30に入力された１次画像データＳorg(R,G,B)は、まず第一の信号変換手段31に入力され、Ｒ，Ｇ，Ｂの各色信号は前述の式（16）により輝度色差信号ＹＣＣに変換される。
【００５０】
その後、輝度信号Ｙはキュービックスプライン補間演算手段32に入力され、色差信号Ｃ1 およびＣ2 はビースプライン補間演算手段33に入力される。
【００５１】
一方、キュービックスプライン補間演算手段32、ビースプライン補間演算手段33は、再生手段40の印画紙のサイズに応じた各補間係数におけるｔの値を設定する。例えば２倍の拡大率が入力された場合は、ｔの値として0.5 および1.0 が設定され、４倍の場合は0.25,0.5,0.75,1.0 の各値が設定され、10倍の場合は0.1,0.2,…,1.0の各値がｔの値として設定されて各補間信号が求められる。キュービックスプライン補間演算手段32において求められた補間輝度信号Ｙ’と、ビースプライン補間演算手段33において求められた補間色差信号Ｃ1'およびＣ2'とはそれぞれ第二の信号変換手段34に入力され、この第二の信号変換手段34において前述の式（17）により補間色信号Ｒ’，Ｇ’，Ｂ’に変換される。
【００５２】
この補間演算装置30において得られた補間色信号Ｒ’，Ｇ’，Ｂ’は補間画像データＳ’における各色信号であり、補間画像データＳ’(R',G',B')は再生手段40に出力される。
【００５３】
再生手段40は入力された補間画像データＳ’に基づいた画像を可視画像として再生する。上述の処理により、この再生された可視画像は、輝度成分については鮮鋭度重視の補間法であるキュービックスプライン補間法を用い、その色差成分については安定性重視の補間法であるビースプライン補間法を用いて求められた補間画像データに担持されるものである。このようにして、本発明の補間演算装置30を用いることにより、原画像の鮮鋭度を維持しつつ、色相のばらつきによるノイズを増加させないで、拡大縮小を行うことができる。
【００５４】
なお、本実施形態の画像再生システムで用いられる補間演算装置30は、画像データ記憶装置10に予め記憶された１次画像データを用いるものについて説明したが、本発明の補間演算装置はこの形態に限るものではなく、画像読取装置により読み取って得られた、画像を表す画像データを用いる形態であってもよい。
【００５５】
また、本実施の形態においては、輝度色差空間における信号としてＹＣＣ輝度色差信号を用いたが、Ｌａｂ，Ｌｕｖ等で表される輝度色差信号を用いてもよい。
【００５６】
図３は本発明の画像データの補間演算方法を実施するための第二の実施形態である補間演算装置30’を内包する画像再生システムを示す概略ブロック図である。
【００５７】
ここでは、上述した第一の実施形態に係る補間演算装置30と異なる構成および異なる補間演算方法についてのみ記載することとし、上述の実施形態と同様の構成要素には同符号を付して詳細な説明を省略する。
【００５８】
本補間演算装置30’は第一の信号変換手段31から出力された輝度色差信号から各画素が肌色を示すものであるか否かを判定する肌色判定手段36を備えるものである。肌色判定手段36は、第一の信号変換手段31により色信号（Ｒ，Ｇ，Ｂ）から変換されて得られた輝度色差信号（Ｙ，Ｃ₁，Ｃ₂）が入力され、この色差信号Ｃ₁，Ｃ₂に基づいて各画素データがそれぞれ肌色を示すものであるか否かを判定し、肌色を示すものであると判定した画素データの輝度信号ｙ₂をビースプライン補間演算手段33に入力し、肌色を示すものでないと判定した画像データの輝度信号ｙ₁をキュービックスプライン補間演算手段32に入力する。
【００５９】
肌色判定手段36において各画素が肌色を示すものであるか否かは以下のようにして求める。第一の信号変換手段31により得られた色差信号Ｃ₁，Ｃ₂を用い、
【００６０】
【数１】

【００６１】
に基づいて、注目画素の色度図における位置を示すＶ、θを求める。肌色と認識されるＶ、θの範囲を予め実験的に求めておき、判定手段36に記憶させておく。例えば、Ｖ１＜Ｖ＜Ｖ２かつθ１＜θ＜θ２であるとき肌色と認識される場合、判定手段36においては、色差信号Ｃ１，Ｃ２から上式に基づいて得られるＶ、θが上記範囲を満たすか否かを判定する。すなわち、Ｖ、θが該範囲を満たすものであるとき肌色であり、範囲外のものであるとき肌色でないと判定する。
【００６２】
所定画素データについての色差信号Ｃ₁，Ｃ₂から該画素が肌色であると判定された場合、この画素データについての輝度信号ｙ₂ はビースプライン補間演算手段33に入力されて安定性重視の補間処理が施される。一方、画素が肌色でないと判定された場合、この画素データについての輝度信号ｙ₁ はキュービックスプライン補間演算手段32に入力されて鮮鋭度重視の補間処理が施される。なお、このとき色差信号Ｃ₁およびＣ₂は第一の実施形態の場合と同様にビースプライン補間演算手段33に入力されて安定度重視の補間処理が施される。このようにして、本発明の補間演算装置30’を用いることにより、原画像の鮮鋭度を維持しつつ、色相のばらつきによるノイズを増加させないで、かつ、肌色領域の粒状を増加させることなく画像の拡大縮小を行うことができる。
【図面の簡単な説明】
【図１】本発明の画像データの補間演算方法を実施するための第一の補間演算装置を内包する画像再生システムを示す概略ブロック図
【図２】等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）の原画像データからキュービックスプライン補間演算により補間画像データを求める作用を説明するグラフ
【図３】本発明の画像データの補間演算方法を実施するための第二の補間演算装置を内包する画像再生システムを示す概略ブロック図
【符号の説明】
10 画像データ記憶装置
20 画像処理装置
30 補間演算装置
31 第一の信号変換手段
32 キュービックスプライン補間演算手段
33 ビースプライン補間演算手段
34 第二の信号変換手段
40 再生手段

Claims

カラー画像を担持する原画像データを補間して該原画像データとは間隔の異なる補間画像データを求めるカラー画像データ補間方法であって、
前記原画像データを構成する各画素データを担持するＲ，Ｇ，Ｂの色信号を、前記各画素データを担持する輝度信号および色差信号に変換し、
前記輝度信号については鮮鋭度重視の補間方法で補間輝度信号を求め、
前記色差信号については安定度重視の補間方法で補間色差信号を求め、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換し、該変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得ることを特徴とするカラー画像データ補間方法。
カラー画像を担持する原画像データを補間して該原画像データとは間隔の異なる補間画像データを求めるカラー画像データ補間方法であって、
前記原画像データを構成する各画素データを担持するＲ，Ｇ，Ｂの色信号を、前記各画素データを担持する輝度信号および色差信号に変換し、
前記各画素データのうち肌色を示す画素データに対応する輝度信号については安定度重視の補間方法で、前記肌色を示す画素データ以外の画素データに対応する輝度信号については鮮鋭度重視の補間方法で補間輝度信号を求め、
前記色差信号については安定度重視の補間方法で補間色差信号を求め、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換し、該変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得ることを特徴とするカラー画像データ補間方法。
前記鮮鋭度重視の補間方法がキュービックスプライン補間演算を用いるものであり、
前記安定度重視の補間方法がビースプライン補間演算を用いるものであることを特徴とする請求項１または２記載のカラー画像データ補間方法。
カラー画像を担持する原画像データを補間して該原画像データとは間隔の異なる補間画像データを求めるカラー画像データ補間装置であって、
前記原画像データを構成する各画素データを担持するＲ，Ｇ，Ｂの色信号を、前記各画素データを担持する輝度信号および色差信号に変換する第一の変換手段と、
前記輝度信号については鮮鋭度重視の補間方法で補間輝度信号を求め、前記色差信号については安定度重視の補間方法で補間色差信号を求める輝度色差信号補間手段と、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換する第二の変換手段とを備え、
前記第二の変換手段により変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得ることを特徴とするカラー画像データ補間装置。
カラー画像を担持する原画像データを補間して該原画像データとは間隔の異なる補間画像データを求めるカラー画像データ補間装置であって、
前記原画像データを構成する各画素データを担持するＲ，Ｇ，Ｂの色信号を、前記各画素データを担持する輝度信号および色差信号に変換する第一の変換手段と、
前記各画素データのうち肌色を示す画素データに対応する輝度信号については安定度重視の補間方法で、前記肌色を示す画素データ以外の画素データに対応する輝度信号については鮮鋭度重視の補間方法で補間輝度信号を求め、前記色差信号については安定度重視の補間方法で補間色差信号を求める輝度色差信号補間手段と、
前記補間輝度信号および補間色差信号をＲ，Ｇ，Ｂの色信号に変換する第二の変換手段とを備え、
前記第二の変換手段により変換して得られたＲ，Ｇ，Ｂの色信号からなる補間画像データを得ることを特徴とするカラー画像データ補間装置。
前記輝度色差信号補間手段が、前記鮮鋭度重視の補間方法としてキュービックスプライン補間演算を用い、前記安定度重視の補間方法としてビースプライン補間演算を用いるものであることを特徴とする請求項４または５記載のカラー画像データ補間装置。