[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4683294B2 - 画像処理装置および方法、プログラム記録媒体、並びにプログラム - Google Patents

画像処理装置および方法、プログラム記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4683294B2
JP4683294B2 JP2006073557A JP2006073557A JP4683294B2 JP 4683294 B2 JP4683294 B2 JP 4683294B2 JP 2006073557 A JP2006073557 A JP 2006073557A JP 2006073557 A JP2006073557 A JP 2006073557A JP 4683294 B2 JP4683294 B2 JP 4683294B2
Authority
JP
Japan
Prior art keywords
image
area
pixel
narrow
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006073557A
Other languages
English (en)
Other versions
JP2007251687A (ja
JP2007251687A5 (ja
Inventor
哲二郎 近藤
真史 内田
靖彦 管
健一郎 細川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006073557A priority Critical patent/JP4683294B2/ja
Priority to TW96108812A priority patent/TW200802188A/zh
Priority to US11/686,017 priority patent/US7881539B2/en
Priority to EP20070104268 priority patent/EP1835461A2/en
Priority to CNB2007100874547A priority patent/CN100570629C/zh
Priority to KR20070026226A priority patent/KR20070094566A/ko
Publication of JP2007251687A publication Critical patent/JP2007251687A/ja
Publication of JP2007251687A5 publication Critical patent/JP2007251687A5/ja
Application granted granted Critical
Publication of JP4683294B2 publication Critical patent/JP4683294B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置および方法、プログラム記録媒体、並びにプログラムに関し、特に、画像に含まれる人工画像と自然画像とを区別し、それぞれの画像に最適な手法で画像の品質を的確に高めることができるようにする画像処理装置および方法、プログラム記録媒体、並びにプログラムに関する。
本出願人は、クラス分類適応処理を先に提案している（例えば、特許文献１参照）。クラス分類適応処理は、入力された第１の画像の所定領域の複数画素の画素値に応じて、その第１の画像により求められる第２の画像の画素である注目画素を、クラスに分類し、そのクラスに対応する、学習処理によりクラスごとに予め求めておいた予測係数と、第１の画像の所定領域の複数画素の画素値との線形１次式を演算することにより、入力された第１の画像から第２の画像を求める処理である。
例えば、第１の画像がノイズを含む画像であり、第２の画像がノイズが低減された画像であれば、このクラス分類適応処理は、ノイズ除去処理として機能し、また、第１の画像がSD(Standard Definition)画像であり、第２の画像がSD画像より高解像度のHD(High Definition)画像であれば、このクラス分類適応処理は、低解像度の画像を高解像度の画像に変換する解像度変換処理として機能する。
また、従来の学習処理においては、放送を主体とした一般的な動画像の予測を可能にするため、教師画像と生徒画像として、後述する人工画像ではない、自然界に存在するものをそのまま撮像することにより得られる画像である自然画像が用いられている。従って、第１の画像が自然画像である場合、学習処理により求められた予測係数を用いてクラス分類適応処理を行うことにより、第１の画像から、高精細で綺麗な第２の画像を予測することができる。
特開平９−１６７２４０号公報
ところで、第１の画像は、一般に上述した人工画像としての要素を含む領域と、自然画像としての要素を含む領域とが混ざった画像であることが多い。したがって、第１の画像における自然画像としての要素を含む領域に対して、上述した学習処理により求められた予測係数を用いてクラス分類適応処理を行うことにより、高精細で綺麗な第２の画像を予測することが可能である。
しかしながら、第１の画像における文字や単純図形などの人工画像としての要素を含む領域に対して、自然画像を用いた学習処理で求められた予測係数を用いてクラス分類適応処理を行うと、元々エッジが十分に立っている箇所の精細感がさらに強調されたり、平坦なノイズが正しい波形と認識されて、そのノイズの精細感が強調されてしまう。その結果、画像の一部において、リンギングが発生したり、ノイズが強調される。
ここで、人工画像とは、文字や単純な図形などの、階調が少なく、エッジの位置を表す位相情報がはっきりした、すなわち、平坦部分が多い人工的な画像である。換言すれば、人工画像は、文字や単純図形等の階調があまり無く、輪郭等の位置を表す情報が支配的になっている画像である。
本発明は、このような状況に鑑みてなされたものであり、画像における自然画像としての要素を含む領域と人工画像としての要素を含む領域とを区別して、それぞれの領域に対して最適な処理を施すことにより、画像全体の品質を的確に高めることができるようにするものである。
本発明の一側面の画像処理装置は、第１の画像の注目画素に対して第１の所定の領域に存在する画素より、エッジまたは平坦部を表現可能な複数の種類の特徴量からなる広域特徴量を抽出する広域特徴量抽出手段と、前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲に対する、前記広域特徴量抽出手段により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出する広域人工画度算出手段と、前記第１の画像の注目画素に対して前記第１の所定の領域よりも狭い第２の所定の領域に存在する画素より、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現可能な複数の種類の特徴量からなる狭域特徴量を抽出する狭域特徴量抽出手段と、前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲に対する、前記狭域特徴量抽出手段により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出する狭域人工画度算出手段と、前記広域人工画度および前記狭域人工画度を合成して、前記注目画素の人工画度を算出する人工画度算出手段とを含む。
前記第１の画像より、前記人工画像を高品質化した第２の画像を予測する第１の予測手段と、前記第１の画像より、階調が多くエッジがはっきりしない画像である自然画像を高品質化した第３の画像を予測する第２の予測手段と、前記第２の画像と前記第３の画像とを、前記人工画度により合成する合成手段とをさらに含ませるようにすることができる。
前記第１の予測手段には、前記第２の画像の画素を、第１のクラスに分類する第１のクラス分類手段と、複数の前記人工画像を用いた学習により獲得された前記第１のクラスごとの第１の予測係数を格納する第１の格納手段と、前記第１の画像と、前記第２の画像の画素の前記第１のクラスの第１の予測係数とを用いて演算することで、前記第１の画像から前記第１の画像より高品質の第２の画像を求める第１の演算手段とを含ませるようにすることができ、前記第２の予測手段には、前記第３の画像の画素を、第２のクラスに分類する第２のクラス分類手段と、複数の、前記自然画像を用いた学習により獲得された前記第２のクラスごとの第２の予測係数を格納する第２の格納手段と、前記第１の画像と、前記第３の画像の画素の前記第２のクラスの第２の予測係数とを用いて演算することで、前記第１の画像から前記第３の画像を求める第２の演算手段とを含ませるようにすることができる。
前記広域人工画度算出手段には、前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲を記憶する広域人工画分布範囲記憶手段を含ませるようにすることができ、前記広域人工画分布範囲記憶手段に記憶されている、前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間の分布範囲に対する、前記広域特徴量抽出手段により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出させるようにすることができる。
前記狭域人工画度算出手段には、前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲が記憶されている狭域人工画分布範囲記憶手段を含み、前記狭域人工画分布範囲記憶手段に記憶されている、前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間の分布範囲に対する、前記狭域特徴量抽出手段により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出させるようにすることができる。
前記広域特徴量抽出手段には、前記第１の所定の領域に存在する画素より、エッジの存在を表現する特徴量を抽出するエッジ特徴量抽出手段と、前記第１の所定の領域に存在する画素より、平坦部の存在を表現する特徴量を抽出する平坦部特徴量抽出手段とを含ませるようにすることができる。
前記エッジ特徴量抽出手段には、前記エッジの存在を表現する特徴量として、前記第１の所定の領域に存在する画素と注目画素との画素値の差分値を用いて、前記第１の所定の領域に存在する画素の差分ダイナミックレンジを抽出させるようにすることができる。
前記エッジ特徴量抽出手段には、前記注目画素と前記第１の所定の領域に存在する画素との差分値に、前記注目画素と前記第１の所定の領域に存在する画素との距離に応じた重みを付した値を用いて、前記第１の所定の領域に存在する画素の差分ダイナミックレンジを抽出させるようにすることができる。
前記狭域特徴量抽出手段には、前記第２の所定の領域に包含される第１の領域に存在する画素の画素値の最大値より最小値を引いた画素値ダイナミックレンジを前記狭域特徴量の第１の特徴量として抽出する第１の狭域特徴量抽出手段と、前記第１の領域に包含され、かつ、前記注目画素を包含する第２の領域の画素の画素値の最大値より最小値を引いた画素値ダイナミックレンジを前記狭域特徴量の第２の特徴量として抽出する第２の狭域特徴量抽出手段とを含ませるようにすることができ、前記第２の所定の領域に存在する画素より、細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現する２種類の特徴量として前記第１の特徴量および前記第２の特徴量を求め、前記第１の特徴量および前記第２の特徴量の２種類の特徴量からなる狭域特徴量を抽出させるようにすることができる。
前記第２の狭域特徴量抽出手段には、複数の前記第２の領域より、それぞれ画素値ダイナミックレンジを抽出する場合、前記画素値ダイナミックレンジが最小となるものを前記第２の特徴量として抽出させるようにすることができる。
前記狭域特徴量抽出手段には、前記第２の所定の領域に存在する画素の画素値の画素値ダイナミックレンジを前記狭域特徴量の第１の特徴量として抽出する前記第１の狭域特徴量抽出手段と、前記第２の所定の領域に存在する画素と、前記注目画素との差分絶対値を所定の関数で処理し、さらに、重みを付した値を加算した値を積算した値を前記狭域特徴量の第２の特徴量として抽出する前記第２の狭域特徴量抽出手段とを含ませるようにすることができ、前記第２の所定の領域に存在する画素より、細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現する２種類の特徴量として前記第１の特徴量および前記第２の特徴量を求め、前記第１の特徴量および前記第２の特徴量の２種類の特徴量からなる狭域特徴量を抽出させるようにすることができる。
前記注目画素から前記第１の領域に存在する画素までの経路上に存在する全ての画素の隣接画素間の差分絶対値の総和に応じた値からなる前記重みを計算する重み計算手段を含ませるようにすることができる。
前記所定の関数は、前記第１の特徴量に対応した関数とすることができる。
本発明の一側面の画像処理方法は、第１の画像の注目画素に対して第１の所定の領域に存在する画素より、エッジまたは平坦部を表現可能な複数の種類の特徴量からなる広域特徴量を抽出する広域特徴量抽出ステップと、前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲に対する、前記広域特徴量抽出ステップの処理により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出する広域人工画度算出ステップと、前記第１の画像の注目画素に対して前記第１の所定の領域よりも狭い第２の所定の領域に存在する画素より、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現可能な複数の種類の特徴量からなる狭域特徴量を抽出する狭域特徴量抽出ステップと、前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲に対する、前記狭域特徴量抽出ステップの処理により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出する狭域人工画度算出ステップと、前記広域人工画度および前記狭域人工画度を合成して、前記注目画素の人工画度を算出する人工画度算出ステップとを含む。
本発明の一側面のプログラム記録媒体のプログラムは、第１の画像の注目画素に対して第１の所定の領域に存在する画素より、エッジまたは平坦部を表現可能な複数の種類の特徴量からなる広域特徴量を抽出する広域特徴量抽出ステップと、前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲に対する、前記広域特徴量抽出ステップの処理により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出する広域人工画度算出ステップと、前記第１の画像の注目画素に対して前記第１の所定の領域よりも狭い第２の所定の領域に存在する画素より、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現可能な複数の種類の特徴量からなる狭域特徴量を抽出する狭域特徴量抽出ステップと、前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲に対する、前記狭域特徴量抽出ステップの処理により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出する狭域人工画度算出ステップと、前記広域人工画度および前記狭域人工画度を合成して、前記注目画素の人工画度を算出する人工画度算出ステップとを含む。
本発明の第１の側面のプログラムは、第１の画像の注目画素に対して第１の所定の領域に存在する画素より、エッジまたは平坦部を表現可能な複数の種類の特徴量からなる広域特徴量を抽出する広域特徴量抽出ステップと、前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲に対する、前記広域特徴量抽出ステップの処理により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出する広域人工画度算出ステップと、前記第１の画像の注目画素に対して前記第１の所定の領域よりも狭い第２の所定の領域に存在する画素より、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現可能な複数の種類の特徴量からなる狭域特徴量を抽出する狭域特徴量抽出ステップと、前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲に対する、前記狭域特徴量抽出ステップの処理により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出する狭域人工画度算出ステップと、前記広域人工画度および前記狭域人工画度を合成して、前記注目画素の人工画度を算出する人工画度算出ステップとを含む処理をコンピュータに実行させる。
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、第１の画像の注目画素に対して第１の所定の領域に存在する画素より、エッジまたは平坦部を表現可能な複数の種類の特徴量からなる広域特徴量が抽出され、前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲に対する、抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度が算出され、前記第１の画像の注目画素に対して前記第１の所定の領域よりも狭い第２の所定の領域に存在する画素より、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現可能な複数の種類の特徴量からなる狭域特徴量が抽出され、前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲に対する、抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度が算出され、前記広域人工画度および前記狭域人工画度が合成されて、前記注目画素の人工画度が算出される。
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
本発明の一側面によれば、画像全体の品質を的確に高めることが可能となる。
また、本発明の一側面によれば、画像における自然画像としての要素を含む領域と人工画像としての要素を含む領域とを区別して、それぞれの領域に対して画像の品質を向上させるために最適な処理を施すことが可能となる。
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
即ち、本発明の一側面の画像処理装置は、第１の画像の注目画素に対して第１の所定の領域に存在する画素より、エッジまたは平坦部を表現可能な複数の種類の特徴量からなる広域特徴量を抽出する広域特徴量抽出手段（例えば、図２０の広域特徴量抽出部９１１）と、前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲に対する、前記広域特徴量抽出手段により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出する広域人工画度算出手段（例えば、図２０の広域人工画度算出部９１２）と、前記第１の画像の注目画素に対して前記第１の所定の領域よりも狭い第２の所定の領域に存在する画素より、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現可能な複数の種類の特徴量からなる狭域特徴量を抽出する狭域特徴量抽出手段（例えば、図２０の狭域特徴量抽出部９１４）と、前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲に対する、前記狭域特徴量抽出手段により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出する狭域人工画度算出手段（例えば、図２０の狭域人工画度算出部９１５）と、前記広域人工画度および前記狭域人工画度を合成して、前記注目画素の人工画度を算出する人工画度算出手段（例えば、図２０の人工画度生成部９１３）とを含む。
前記第１の画像より、前記人工画像を高品質化した第２の画像を予測する第１の予測手段（例えば、図１の人工画予測部１３２）と、前記第１の画像より、階調が多くエッジがはっきりしない画像である自然画像を高品質化した第３の画像を予測する第２の予測手段（例えば、図１の自然画予測部１３１）と、前記第２の画像と前記第３の画像とを、前記人工画度により合成する合成手段（例えば、図１の合成部１３３）とをさらに含ませるようにすることができる。
前記第１の予測手段には、前記第２の画像の画素を、第１のクラスに分類する第１のクラス分類手段（例えば、図１０のクラス分類部６５１）と、複数の前記人工画像を用いた学習により獲得された前記第１のクラスごとの第１の予測係数を格納する第１の格納手段（例えば、図１０の予測係数メモリ６５４）と、前記第１の画像と、前記第２の画像の画素の前記第１のクラスの第１の予測係数とを用いて演算することで、前記第１の画像から前記第１の画像より高品質の第２の画像を求める第１の演算手段（例えば、図１０の予測部６５５）とを含ませるようにすることができ、前記第２の予測手段には、前記第３の画像の画素を、第２のクラスに分類する第２のクラス分類手段（例えば、図３のクラスタップ抽出部５５１，ADRC処理部５５２）と、複数の、前記自然画像を用いた学習により獲得された前記第２のクラスごとの第２の予測係数を格納する第２の格納手段（例えば、図３の予測係数メモリ５５５）と、前記第１の画像と、前記第３の画像の画素の前記第２のクラスの第２の予測係数とを用いて演算することで、前記第１の画像から前記第３の画像を求める第２の演算手段（例えば、図３の予測演算部５５７）とを含ませるようにすることができる。
前記広域人工画度算出手段（例えば、図２０の広域人工画度算出部９１２）には、前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲を記憶する広域人工画分布範囲記憶手段（例えば、図２０の広域境界線メモリ９５３）を含ませるようにすることができ、前記広域人工画分布範囲記憶手段に記憶されている、前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間の分布範囲に対する、前記広域特徴量抽出手段により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出させるようにすることができる。
前記狭域人工画度算出手段（例えば、図２０の狭域人工画度算出部９１５）には、前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲が記憶されている狭域人工画分布範囲記憶手段（例えば、図２０の狭域境界線メモリ９９３）を含み、前記狭域人工画分布範囲記憶手段に記憶されている、前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間の分布範囲に対する、前記狭域特徴量抽出手段により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出させるようにすることができる。
前記広域特徴量抽出手段には、前記第１の所定の領域に存在する画素より、エッジの存在を表現する特徴量を抽出するエッジ特徴量抽出手段（例えば、図２０のBEP抽出部９３１）と、前記第１の所定の領域に存在する画素より、平坦部の存在を表現する特徴量を抽出する平坦部特徴量抽出手段（例えば、図２０のBFP抽出部９３２）とを含ませるようにすることができる。
前記エッジ特徴量抽出手段（例えば、図２１のBEP抽出部９３１）には、前記エッジの存在を表現する特徴量として、前記第１の所定の領域に存在する画素と注目画素との画素値の差分値を用いて、第１の所定の領域に存在する画素の差分ダイナミックレンジを抽出させるようにすることができる。
前記エッジ特徴量抽出手段（例えば、図２１のBEP抽出部９３１）には、前記注目画素と前記第１の所定の領域に存在する画素との差分値に、前記注目画素と前記第１の所定の領域に存在する画素との距離に応じた重みを付した値を用いて、前記第１の所定の領域に存在する画素の差分ダイナミックレンジを抽出させるようにすることができる。
前記狭域特徴量抽出手段（例えば、図２０の狭域特徴量抽出部９１４）には、前記第２の所定の領域に包含される第１の領域に存在する画素の画素値の最大値より最小値を引いた画素値ダイナミックレンジを前記狭域特徴量の第１の特徴量として抽出する第１の狭域特徴量抽出手段（例えば、図２０のPNDP抽出部９７１）と、前記第１の領域に包含され、かつ、前記注目画素を包含する第２の領域の画素の画素値の最大値より最小値を引いた画素値ダイナミックレンジを前記狭域特徴量の第２の特徴量として抽出する第２の狭域特徴量抽出手段（例えば、図２０のSNDP抽出部９７２）とを含み、前記第２の所定の領域に存在する画素より、細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現する２種類の特徴量として前記第１の特徴量および前記第２の特徴量を求め、前記第１の特徴量および前記第２の特徴量の２種類の特徴量からなる狭域特徴量を抽出させるようにすることができる。
前記第２のダイナミックレンジ特徴量抽出手段（例えば、図２４のSNDP抽出部９７２）には、複数の前記第２の領域より、それぞれ画素値ダイナミックレンジを抽出する場合、前記画素値ダイナミックレンジが最小となるものを前記第２の特徴量として抽出させるようにすることができる。
前記狭域特徴量抽出手段には、前記第２の所定の領域に存在する画素の画素値の画素値ダイナミックレンジを前記狭域特徴量の第１の特徴量として抽出する前記第１の狭域特徴量抽出手段（例えば、図４５のPNDP抽出部９７１）と、前記第２の所定の領域に存在する画素と、前記注目画素との差分絶対値を所定の関数で処理し、さらに、重みを付した値を加算した値を積算した値を前記狭域特徴量の第２の特徴量として抽出する前記第２の狭域特徴量抽出手段（例えば、図４７のSNDP抽出部９７２）とを含ませるようにさせることができ、前記第２の所定の領域に存在する画素より、細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現する２種類の特徴量として前記第１の特徴量および前記第２の特徴量を求め、前記第１の特徴量および前記第２の特徴量の２種類の特徴量からなる狭域特徴量を抽出させるようにすることができる。
前記注目画素から前記第１の領域に存在する画素までの経路上に存在する全ての画素の隣接画素間の差分絶対値の総和に応じた値からなる前記重みを計算する重み計算手段（例えば、図４７の重み計算部１１６５）を含ませるようにすることができる。
本発明の一側面の画像処理方法およびプログラムは、第１の画像の注目画素に対して第１の所定の領域に存在する画素より、エッジまたは平坦部を表現可能な複数の種類の特徴量からなる広域特徴量を抽出する広域特徴量抽出ステップ（例えば、図２５のフローチャートにおけるステップＳ８３１，Ｓ８３２）と、前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲に対する、前記広域特徴量抽出ステップの処理により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出する広域人工画度算出ステップ（例えば、図２５のフローチャートにおけるステップＳ８３４）と、前記第１の画像の注目画素に対して前記第１の所定の領域よりも狭い第２の所定の領域に存在する画素より、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現可能な複数の種類の特徴量からなる狭域特徴量を抽出する狭域特徴量抽出ステップ（例えば、図２５のフローチャートにおけるステップＳ８３５，Ｓ８３６）と、前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲に対する、前記狭域特徴量抽出ステップの処理により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出する狭域人工画度算出ステップ（例えば、図２５のフローチャートにおけるステップＳ８３８）と、前記広域人工画度および前記狭域人工画度を合成して、前記注目画素の人工画度を算出する人工画度算出ステップ（例えば、図２５のフローチャートにおけるステップＳ８３９）とを含む。
以下、図を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用した画像変換装置１０１の一実施の形態を示すブロック図である。画像変換装置１０１は、巡回型IP変換部１１１、出力位相変換部１１２、自然画予測部１３１、人工画予測部１３２、自然画人工画判定部１１４、および、合成部１３３により構成される。また、巡回型IP変換部１１１は、IP変換部１２１および巡回型変換部１２２により構成される。
巡回型IP変換部１１１のIP変換部１２１および巡回型変換部１２２には、処理対象となるインターレース方式のＳＤ画像が入力される。
IP変換部１２１は、所定の方法に基づいて、入力されたインターレース方式のＳＤ画像（以下、入力画像とも称する）をプログレッシブ方式のＳＤ画像（以下、中間画像とも称する）にIP変換し、IP変換したプログレッシブ方式のＳＤ画像を巡回型変換部１２２に供給する。
巡回型変換部１２２は、入力画像と、１フレーム前に巡回型変換部１２２から出力されたプログレッシブ方式のＳＤ画像（以下、出力画像とも称する）との間の動きベクトルを求める。巡回型変換部１２２は、入力画像の画素値と、求めた動きベクトルに基づいて、出力画像に動き補償を施した画像の画素値とを、巡回係数を用いて重み付け加算することにより、中間画像の画質を向上させる。巡回型変換部１２２は、中間画像をより高画質のプログレッシブ方式のＳＤ画像である出力画像に変換し、出力画像を出力位相変換部１１２に供給する。なお、巡回係数は、中間画像の各画素について、変換前の入力画像において画素が存在する位置にあるか否か、動きベクトルの垂直方向の大きさ、および、動きベクトルの確からしさを表す信頼度確からしさに基づいて設定される。
出力位相変換部１１２は、巡回型変換部１２２から供給される第１の画素数のＳＤ画像に対して、水平方向および垂直方向に補間を行うことにより、第１の画素数より多い第２の画素数のＨＤ画像を生成する。出力位相変換部１１２は、そのＨＤ画像を、自然画予測部１３１、人工画予測部１３２、および、自然画人工画判定部１１４に供給する。
画像処理部１１３は、自然画人工画判定部１１４より供給されてくる人工画度に基づいて、ＨＤ画像から高品質な画像に処理して、処理結果としての高品質なＨＤ画像を出力する。
自然画人工画判定部１１４は、出力位相変換部１１２より供給されるHD画像の各画素について、人工画像に分類される領域、または、自然画像に分類される領域のいずれの領域に属するかを判定し、判定結果を人工画度として画像処理部１１３に出力する。すなわち、人工画度とは、人工画像と自然画像との中間に分類される領域において自然画像における人工画像の割合を０乃至１の値で示したものである。
自然画予測部１３１は、出力位相変換部１１２から供給されるＨＤ画像から、そのＨＤ画像のうちの自然画像を高品質にしたＨＤ画像（以下、自然高品質画像と称する）を予測する。具体的には、自然画予測部１３１は、ＨＤ画像の特徴に応じて、そのＨＤ画像から求められる自然高品質画像の画素である注目画素を、自然画像の特徴に適したクラスに分類する。そして、自然画予測部１３１は、そのクラスに対応する、自然高品質画像を予測するための予測係数と、ＨＤ画像とを用いて演算することにより、出力位相変換部１１２から供給されたＨＤ画像から、自然高品質画像を予測する。自然画予測部１３１は、その自然高品質画像を合成部１３３に供給する。
人工画予測部１３２は、自然画予測部１３１と同様に、出力位相変換部１１２から供給されるＨＤ画像から、そのＨＤ画像のうちの人工画像を高品質にしたＨＤ画像(以下、人工高品質画像と称する)を予測する。具体的には、人工画予測部１３２は、ＨＤ画像の特徴に応じて、そのＨＤ画像から求められる人工高品質画像の画素である注目画素を、人工画像の特徴に適したクラスに分類する。そして、人工画予測部１３２は、そのクラスに対応する、人工高品質画像を予測するための予測係数と、ＨＤ画像とを用いて演算することにより、出力位相変換部１１２から供給されたＨＤ画像から、人工高品質画像を予測する。人工画予測部１３２は、その人工高品質画像を合成部１３３に出力する。
合成部１３３は、自然画人工画判定部１１４より供給される判定結果に基づいて、自然画予測部１３１から供給される自然高品質画像の各画素の画素値と、人工画予測部１３２から供給される人工高品質画像の各画素の画素値とを人工画度に応じた割合で合成し、合成の結果得られるＨＤ画像を出力する。
次に、図２のフローチャートを参照して、画像変換装置１０１により実行される画像変換処理を説明する。なお、この処理は、例えば、外部からインターレース方式のＳＤ画像の入力が開始されたとき開始される。
ステップＳ１において、IP変換部１２１は、ＩＰ変換を行う。具体的には、ＩＰ変換部１２１は、所定の方法に基づいて、インターレース方式の入力画像を、プログレッシブ方式の中間画像にIP変換し、IP変換した中間画像を巡回型変換部１２２に供給する。
ステップＳ２において、巡回型変換部１２２は、巡回型変換処理を行う。具体的には、入力画像と、１フレーム前に巡回型変換部１２２から出力された出力画像との間の動きベクトルを求める。巡回型変換部１２２は、入力画像の画素値と、求めた動きベクトルに基づいて、出力画像に動き補償を施した画像の画素値とを、巡回係数を用いて重み付け加算することにより、中間画像の画質を向上させる。巡回型変換部１２２は、中間画像をより高画質のプログレッシブ方式のＳＤ画像である出力画像に変換し、出力画像を出力位相変換部１１２に供給する。
ステップＳ３において、出力位相変換部１１２は、出力位相変換処理を行う。具体的には、出力位相変換部１１２は、巡回型変換部１２２から供給されるＳＤ画像に対して、水平方向および垂直方向に補間を行うことにより、ＨＤ画像を生成する。出力位相変換部１１２は、そのＨＤ画像を、自然画予測部１３１、人工画予測部１３２、および、自然画人工画判定部１１４に供給する。
ステップＳ４において、自然画予測部１３１は、自然画予測処理を行う。自然画予測処理の詳細は、図６を参照して後述するが、この処理により、ＨＤ画像から自然高品質画像が予測され、その自然高品質画像が合成部１３３に供給される。
ステップＳ５において、人工画予測部１３２は、人工画予測処理を行う。人工画予測処理の詳細は、図１５を参照して後述するが、この処理により、ＨＤ画像から人工高品質画像が予測され、その人工高品質画像が合成部１３３に出力される。
ステップＳ６において、自然画人工画判定部１１４は、自然画人工画判定処理を行う。自然画予測処理の詳細は、図２５を参照して後述するが、自然画人工画判定部１１４は、出力位相変換部１１２より供給されるHD画像の各画素について、人工画像に分類される領域、または、自然画像に分類される領域のいずれの領域に属するかを判定し、判定結果を人工画度として合成部１３３に出力する。
ステップＳ７において、合成部１３３は、画像を合成する。具体的には、合成部１３３は、自然画人工画判定部１１４より供給される判定結果に基づいて、自然画予測部１３１から供給される自然高品質画像の各画素の画素値と、人工画予測部１３２から供給される人工高品質画像の各画素の画素値とを人工画度に応じた割合で合成する。合成部１３３は、合成した画像を後段の装置に出力する。
なお、複数の画像の画像変換を連続して行う場合、上述したステップＳ１乃至Ｓ７の処理が繰り返し実行される。
図３は、図１の自然画予測部１３１の構成例を示すブロック図である。
図３の自然画予測部１３１は、クラスタップ抽出部５５１、ADRC(Adaptive Dynamic Range Coding)処理部５５２、係数種メモリ５５３、予測係数生成部５５４、予測係数メモリ５５５、予測タップ抽出部５５６、および予測演算部５５７により構成され、図１の出力位相変換部１１２から供給されるプログレッシブ方式のＨＤ画像から、そのＨＤ画像のうちの自然画像からノイズなどを除去して、高品質にした自然高品質画像を予測する。
自然画予測部１３１には、図１の出力位相変換部１１２から供給される、プログレッシブ方式のＨＤ画像が入力され、そのＨＤ画像はクラスタップ抽出部５５１と予測タップ抽出部５５６に供給される。
クラスタップ抽出部５５１は、入力されたＨＤ画像により求められる、自然高品質画像を構成する画素を、順次、注目画素とし、その注目画素をクラスに分類するために用いる、入力されたＨＤ画像を構成する画素の幾つかを、クラスタップとして抽出する。クラスタップ抽出部５５１は、抽出されたクラスタップを、ADRC処理部５５２に供給する。
ADRC処理部５５２は、クラスタップ抽出部５５１から供給されるクラスタップを構成する画素の画素値を、クラスタップの波形の特徴として、その画素値に対してADRC処理などを行い、その結果得られるADRCコードを、クラスタップの特徴として検出する。
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算される。
そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算されて、除算結果の小数点以下は切り捨てられ、これにより、各画素の画素値が１ビットとされる。即ち、各画素の画素値が２値化される。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
ADRC処理部５５２は、検出されたADRCコードに基づいてクラスを決定することにより、注目画素をクラスに分類し、そのクラスを予測係数メモリ５５５に供給する。例えば、ADRC処理部５５２は、ADRCコードをそのままクラスとして、予測係数メモリ５５５に供給する。
係数種メモリ５５３は、図７乃至図９を参照して後述する学習により獲得されたクラスごとの係数種を格納している。予測係数生成部５５４は、係数種メモリ５５３から係数種を読み出す。予測係数生成部５５４は、ユーザにより入力される水平方向の解像度を決定するためのパラメータhと、垂直方向の解像度を決定するためのパラメータvとに基づいて、そのパラメータhとvを含む多項式を用いて、読み出された係数種から予測係数を生成し、予測係数メモリ５５５に供給して記憶させる。
予測係数メモリ５５５は、ADRC処理部５５２から供給されるクラスに応じて、そのクラスの予測係数を読み出し、予測演算部５５７に供給する。
なお、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。
予測タップ抽出部５５６は、入力されたＨＤ画像から、注目画素の画素値を予測するのに用いるＨＤ画像を構成する画素を、予測タップとして抽出する。予測タップ抽出部５５６は、予測タップを予測演算部５５７に供給する。
予測演算部５５７は、予測タップ抽出部５５６から供給される予測タップと、予測係数メモリ５５５から供給される予測係数とを用いて、注目画素の真値の予測値を求める線形一次式の演算などの予測演算を行う。これにより、予測演算部５５７は、注目画素の画素値の予測値、即ち、自然高品質画像を構成する画素の画素値を求めて合成部１３３に出力する。
図４は、図３のクラスタップ抽出部５５１により抽出されるクラスタップのタップ構造の一例を示している。
なお、図中白丸は、出力位相変換部１１２から供給されるＨＤ画像の画素のうち、クラスタップを構成する画素を表し、点線の丸は、クラスタップを構成しない画素を表し、黒丸は注目画素を表している。このことは、後述する図５においても同様である。
図４では、９個の画素で、クラスタップが構成されている。即ち、注目画素ｑ６に対応するＨＤ画像を構成する画素ｐ６４を中心として、縦方向に１画素置きに並ぶ５画素ｐ６０，ｐ６１，ｐ６４，ｐ６７，ｐ６８、横方向に１画素置きに並ぶ画素ｐ６４を除いた４画素ｐ６２，ｐ６３，ｐ６５，ｐ６６から、いわば十字形状のクラスタップが構成されている。
図５は、図３の予測タップ抽出部５５６により抽出される予測タップのタップ構造の一例を示している。
図５では、１３個の画素で、予測タップが構成されている。即ち、図５では、出力位相変換部１１２から供給されるＨＤ画像のうちの、注目画素ｑ８に対応する画素ｐ８６を中心として縦方向に１画素置きに並ぶ５画素ｐ８０，ｐ８２，ｐ８６，ｐ９０，ｐ９２、横方向に１画素置きに並ぶ画素ｐ８６を除いた４画素ｐ８４、ｐ８５，ｐ８７，ｐ８８、画素ｐ８５を中心として、縦方向に１画素置きに並ぶ画素ｐ８５を除いた２画素ｐ８１，ｐ８９、画素ｐ８７を中心として、縦方向に１画素置きに並ぶ画素ｐ８７を除いた２画素ｐ８３，ｐ９１から、略ひし形状の予測タップが構成されている。
なお、図４と図５では、クラスタップを構成する９画素ｐ６０乃至ｐ６８と、予測タップを構成する１３画素ｐ８０乃至ｐ９２は、上下方向（垂直方向）または左右方向（水平方向）に１画素置きに、即ち２画素間隔で並んでいるが、その間隔は、これに限定されず、出力位相変換部１１２における変換前のＳＤ画像と変換後のＨＤ画像の画素数の比率、即ち補間倍率に応じて変更するとよい。
例えば、水平方向と垂直方向の各画素数が、それぞれ２倍になるように、出力位相変換部１１２が画像を変換した場合、図４と図５に示されるように、垂直方向または水平方向に２画素間隔で並ぶ画素から、クラスタップと予測タップを構成すると、補間された画素および補間前から存在する画素のうちの一方だけで、クラスタップと予測タップが構成されるので、それらの両方が混在する、例えばクラスタップと予測タップが１画素間隔で並ぶ画素から構成される場合よりも、自然画予測部１３１による予測処理の結果の精度が向上する。
次に、図６を参照して、図３の自然画予測部１３１が行う図２のステップＳ４の自然画予測処理の詳細を説明する。
初めに、ステップＳ５５１において、クラスタップ抽出部５５１は、図１の出力位相変換部１１２から入力されたＨＤ画像により求められる自然高品質画像を構成する画素のうちの１つを、注目画素として選択する。
ステップＳ５５２において、クラスタップ抽出部５５１は、図４に示されるような、ステップＳ５５１で選択された注目画素のクラス分類を行うのに用いる、入力されたＨＤ画像を構成する画素の幾つかを、ＨＤ画像からクラスタップとして抽出し、ADRC処理部５５２に供給する。
ステップＳ５５３において、ADRC処理部５５２は、クラスタップ抽出部５５１から供給されるクラスタップを構成する画素の画素値に対して、ADRC処理を行い、その結果得られるADRCコードを、クラスタップの特徴として検出する。
ステップＳ５５４において、ADRC処理部５５２は、ADRCコードに基づいてクラスを決定することにより、注目画素をクラスに分類し、そのクラスを予測係数メモリ５５５に供給する。
ステップＳ５５５において、予想係数生成部５５４は、係数種メモリ５５３から係数種を読み出す。
ステップＳ５５６において、予測係数生成部５５４は、ユーザにより入力されたパラメータhとvに基づいて、パラメータhとvを含む多項式を用いて、係数種メモリ５５３から読み出された係数種から予測係数を生成し、予測係数メモリ５５５に供給して記憶させる。この係数種から予測係数を生成する処理の詳細については後述する。
ステップＳ５５７において、予測係数メモリ５５５は、ADRC処理部５５２から供給されるクラスに基づいて、そのクラスの予測係数を読み出し、予測演算部５５７に供給する。
ステップＳ５５８において、予測タップ抽出部５５６は、入力されたＨＤ画像から、図５に示されるような、注目画素の画素値を予測するのに用いるＨＤ画像を構成する画素を、予測タップとして抽出する。予測タップ抽出部５５６は、予測タップを予測演算部５５７に供給する。
ステップＳ５５９において、予測演算部５５７は、予測タップ抽出部５５６から供給される予測タップと、予測係数メモリ５５５から供給される予測係数とを用いて、注目画素の真値の予測値を求める線形一次式などの予測演算を行う。
ステップＳ５６０において、予測演算部５５７は、予測演算の結果得られた注目画素の画素値の予測値、即ち、自然高品質画像を構成する画素の画素値を合成部１３３に出力する。
ステップＳ５６１において、クラスタップ抽出部５５１は、入力されたＨＤ画像により求められる自然高品質画像を構成するすべての画素を、注目画素としたかどうかを判定する。ステップＳ５６１で、すべての画素をまだ注目画素としていないと判定された場合、ステップＳ５６２において、クラスタップ抽出部５５１は、自然高品質画像を構成する画素のうち、まだ注目画素としていないものを、新たに注目画素として決定し、処理をステップＳ５５２に戻し、以下同様の処理を繰り返す。一方、ステップＳ５６１で、クラスタップ抽出部５５１は、すべての画素を注目画素としたと判定した場合、自然画予測処理を終了する。
以上のようにして、自然画予測部１３１は、出力位相変換部１１２から供給されるＨＤ画像から、自然高品質画像を予測し、出力する。即ち、自然画予測部１３１は、ＨＤ画像を自然高品質画像に変換し、出力する。
以上のように、図１の画像変換装置１０１では、出力位相変換部１１２が、巡回型変換部１２２から供給されるＳＤ画像を、自然画予測部１３１から出力するＨＤ画像に変換して、自然画予測部１３１に供給するので、予測前と予測後の画像の画素数が同一であり、予測前後の画像の画素の位置にはズレがなくなる。
従って、自然画予測部１３１は、自然高品質画像の画素である注目画素の位相と同一の位相のＨＤ画像の画素からなる予測タップを用いて、注目画素の画素値を予測することができる。その結果、自然画予測部１３１は、自然高品質画像を正確に予測し、高精度の画像変換を行うことができる。即ち、出力位相変換部１１２と自然画予測部１３１は、巡回型変換部１２２から入力されるＳＤ画像である画像を、画素数の異なる高品質なＨＤ画像である自然高品質画像に的確に変換することができる。
また、自然画予測部１３１は、クラスタップを構成する画素の画素値を、クラスタップの波形の特徴として、注目画素をクラスに分類するので、平坦部分が比較的少ない自然画像の特徴を分類するのに適した分類を行うことができる。その結果、自然画予測部１３１は、ＨＤ画像のうちの自然画像の品質を、的確に高めることができる。
次に、図３の予測演算部５５７における予測演算と、その予測演算に用いられる予測係数の学習について説明する。
いま、入力されたＨＤ画像から予測タップを抽出し、その予測タップと予測係数を用いて、自然高品質画像を構成する画素（以下、適宜、自然高品質画像画素と称する）の画素値を予測する所定の予測演算として、例えば、線形１次予測演算を採用することとすると、自然高品質画像画素の画素値ｙは、次の線形１次式によって求められることになる。
Figure 0004683294
但し、式（１）において、ｘnは、画素値ｙの自然高品質画像画素についての予測タップを構成する、ｎ番目のＨＤ画像の画素（以下、適宜、ＨＤ画像画素と称する）の画素値を表し、Ｗnは、ｎ番目のＨＤ画像画素の画素値と乗算されるｎ番目の予測係数を表す。なお、式（１）では、予測タップが、Ｎ個のＨＤ画像画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
自然高品質画像画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第ｋサンプルの自然高品質画像画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
Figure 0004683294
式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）の予測値ｙk’を、式（１）にしたがって置き換えると、次式が得られる。
Figure 0004683294
但し、式（３）において、ｘn,kは、第ｋサンプルの自然高品質画像画素についての予測タップを構成するｎ番目のＨＤ画像画素を表す。
式（３）または式（２）の予測誤差ｅkを０、即ち統計的に最小にする予測係数Ｗnが、自然高品質画像画素を予測するのに最適なものとなるが、すべての自然高品質画像画素について、そのような予測係数Ｗnを求めることは、一般には困難である。
そこで、予測係数Ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数Ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0004683294
但し、式（４）において、Ｋは、高品質画像の画素値の真値ｙkと、その真値ｙkについての予測タップを構成するＨＤ画像画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数、即ち学習用のサンプルの数を表す。
式（４）の自乗誤差の総和Ｅの最小値は、式（５）に示すように、総和Ｅを予測係数Ｗnで偏微分したものを０とするＷnによって与えられる。
Figure 0004683294
そこで、上述の式（３）を予測係数Ｗnで偏微分すると、次式が得られる。
Figure 0004683294
式（５）と式（６）から、次式が得られる。
Figure 0004683294
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
Figure 0004683294
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数Ｗnについて解くことができる。
式（８）の正規方程式をクラスごとにたてて解くことにより、最適な予測係数として、自乗誤差の総和Ｅを最小にする予測係数Ｗnを、クラスごとに求めることができる。
また、図３の予測係数生成部５５４において予測係数を生成する多項式と、その多項式に用いられる係数種の学習について説明する。
いま、入力されたパラメータhとv、並びに係数種を用いて予測係数を生成する式として、例えば、多項式を採用することとすると、クラスごと、かつパラメータhとvの組み合わせごとの予測係数Ｗnは、次の多項式によって求められる。
Figure 0004683294
但し、式（９）において、ｗn,k（ｋ＝1,2・・・,9）は、式（１４）で表される画素値ｙの自然高品質画像画素についての予測タップを構成する、ｎ番目のＨＤ画像の画素の画素値ｘnと乗算されるｎ番目の予測係数Ｗnを生成するための係数種のうちの、ｋ番目の項の係数を表す。
ここで、パラメータhとvに対応する、ｎ番目の予測係数の真値をＷvhnと表すとともに、式（９）によって得られるその真値Ｗvhnの推測値をＷvhn’と表すと、その推測誤差ｅvhnは、次式で表される。
Figure 0004683294
式（１０）の推測値Ｗvhn’は、式（９）にしたがって求められるため、式（１０）の推測値Ｗvhn’を、式（９）にしたがって置き換えると、次式が得られる。
Figure 0004683294
なお、式（１１）において、ｗvhn,kは、予測係数Ｗvhnを生成するための係数種のうちの、ｋ番目の項の係数を表す。また、式（１１）において、ｔkは次式で定義される。
Figure 0004683294
式（１０）または式（１１）の予測誤差ｅvhnを０、即ち統計的に最小にする係数種ｗvhn,kが、予測係数を推測するのに最適なものとなるが、すべての予測係数について、そのような係数種ｗvhn,kを求めることは、一般には困難である。
そこで、係数種ｗvhn,kが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種ｗvhn,kは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0004683294
但し、式（１３）において、Vは、パラメータvの種類の数を表し、Hは、パラメータhの種類の数を表す。
式（１３）の自乗誤差の総和Ｅの最小値は、式（１４）に示すように、総和Ｅを係数種ｗvhn,kで偏微分したものを０とするｗvhn,kによって与えられる。
Figure 0004683294
ここで、ＸklとＹkをそれぞれ以下の式（１５）と式（１６）で定義すると、式（１４）は以下の式（１７）の正規方程式に書き換えられる。
Figure 0004683294
Figure 0004683294
Figure 0004683294
式（１７）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種ｗn,kについて解くことができる。
式（１７）の正規方程式をクラスごとにたてて解くことにより、最適な係数種として、自乗誤差の総和Ｅを最小にする係数種ｗn,kを、クラスごとに求めることができる。
図７は、式（１７）の正規方程式をたてて解くことによりクラスごとの係数種ｗn,kを求める学習を行う学習装置６０１の構成例を示すブロック図である。
図７の学習装置６０１は、帯域制限フィルタ６１１、クラスタップ抽出部６１２、ADRC処理部６１３、予測タップ抽出部６１４、正規方程式生成部６１５、予測係数生成部６１６、正規方程式生成部６１７、係数種決定部６１８、および係数種メモリ６１９により構成される。
学習装置６０１には、図示せぬデータベースから読み出された、予測処理後の目標の自然画像となる教師画像が複数入力され、その教師画像は、帯域制限フィルタ６１１と正規方程式生成部６１５に供給される。また、学習装置６０１には、ユーザの指示に基づいて、パラメータhとvが外部から入力され、帯域制限フィルタ６１１と正規方程式生成部６１５に供給される。なお、学習装置６０１には、1枚の教師画像が学習装置６０１に入力されるごとに、パラメータhとvの全通りの組み合わせが入力されるようになっている。
帯域制限フィルタ６１１は、外部から入力されるパラメータhとvに応じて、図示せぬデータベースから取得された教師画像の、垂直方向および水平方向の帯域をそれぞれ制限するフィルタ処理を行う。これにより、パラメータhとvの組み合わせごとの、予測処理が行われる前の自然画像に相当する生徒画像が生成される。例えば、パラメータhの種類が９種類であり、パラメータvの種類が９種類である場合、帯域制限フィルタ６１１は、外部から入力されるパラメータhとvに応じて、１枚の教師画像から８１種類の生徒画像を生成する。
帯域制限フィルタ６１１は、その生徒画像をクラスタップ抽出部６１２と予測タップ抽出部６１４に供給する。
クラスタップ抽出部６１２は、図３のクラスタップ抽出部５５１と同様に構成される。クラスタップ抽出部６１２は、教師画像を構成する画素を、順次、注目教師画素として、その注目教師画素について、生徒画像から、図４に示されるような、図３のクラスタップ抽出部５５１が抽出するクラスタップと同一のタップ構造のクラスタップを抽出し、ADRC処理部６１３に供給する。
ADRC処理部６１３は、クラスタップ抽出部５５１から供給されるクラスタップを構成する画素の画素値に対して、ADRC処理などを行い、その結果得られるADRCコードを、クラスタップの特徴として検出する。ADRC処理部６１３は、そのADRCコードに基づいてクラスを決定し、そのクラスを正規方程式生成部６１５に供給する。
予測タップ抽出部６１４は、図３の予測タップ抽出部５５６と同様に構成される。予測タップ抽出部６１４は、帯域制限フィルタ６１１から供給される生徒画像から、図５に示されるような、注目教師画素の画素値を予測するのに用いる生徒画像を構成する画素を、予測タップとして抽出する。予測タップ抽出部５５６は、予測タップを正規方程式生成部６１５に供給する。
正規方程式生成部６１５は、入力された教師画像と、予測タップ抽出部６１４から供給される予測タップのペアを、予測係数Ｗnの学習に用いられる学習対として、ADRC処理部６１３から供給されるクラスごと、かつ外部から入力されるパラメータhとvの組み合わせごとに、上述した式（８）の正規方程式をたてると、その正規方程式を予測係数生成部６１６に供給する。
予測係数生成部６１６は、正規方程式生成部６１５から供給されるクラスごとの正規方程式を解くことにより、予測誤差を統計的に最小にする予測係数Ｗnを、パラメータhとvの組み合わせごと、かつクラスごとに求めて、正規方程式生成部６１７に供給する。
正規方程式生成部６１７は、予測係数生成部６１６からの予測係数Ｗvhnに基づいて、上述した式（１７）の正規方程式をクラスごとに生成し、係数種決定部６１８に出力する。係数種生成部６１８は、クラスごとの式（１７）の正規方程式を解き、クラスごとの係数種ｗn,kを求めて係数種メモリ６１９に格納する。この係数種メモリ６１９に格納された係数種は、図３の係数種メモリ５５３に格納される。
次に、図８を参照して、教師画像と生徒画像の画素の位置関係を説明する。
図８において、菱形は教師画像の画素を表し、白丸は生徒画像の画素を表している。また、図中横軸は水平方向の位置を表し、縦軸は垂直方向の位置を表す。
図８に示されるように、教師画像と生徒画像の画素の水平方向および垂直方向の位置は同一となっている。即ち、教師画像と生徒画像は同位相である。
次に、図９のフローチャートを参照して、図７の学習装置６０１の学習処理について説明する。
初めに、ステップＳ６０１において、帯域制限フィルタ６１１は、入力されたパラメータhとvに応じて、入力された教師画像の垂直方向および水平方向の帯域をそれぞれ制限するフィルタ処理を行うことにより、入力された教師画像から生徒画像を生成し、クラスタップ抽出部６１２と予測タップ抽出部６１４に供給する。
ステップＳ６０２において、クラスタップ抽出部６１２は、図３のクラスタップ抽出部５５１と同様に、教師画像を構成する画素のうちの１つを注目教師画素として、選択する。
ステップＳ６０３において、クラスタップ抽出部６１２は、クラスタップ抽出部５５１と同様に、生徒画像から、図４に示されるようなクラスタップを抽出し、ADRC処理部６１３に供給する。
ステップＳ６０４において、ADRC処理部６１３は、クラスタップを構成する画素の画素値に対して、ADRC処理を行う。ステップＳ６０５において、ADRC処理部６１３は、ADRC処理の結果得られるADRCコードに基づいて、クラスを決定し、そのクラスを正規方程式生成部６１５に供給する。
ステップＳ６０６において、予測タップ抽出部６１４は、図３の予測タップ抽出部５５６と同様に、注目教師画素について、帯域制限フィルタ６１１から供給される生徒画像から、図５に示されるような予測タップを抽出し、正規方程式生成部６１５に供給する。
ステップＳ６０７において、正規方程式生成部６１５は、入力される教師画像から注目教師画素を抽出し、その注目教師画素と、予測タップ抽出部６１４から供給される注目教師画素について構成された予測タップを構成する生徒画像とを対象とした式（８）の足し込みを、パラメータhおよびvの組み合わせごと、かつADRC処理部６１３から供給されるクラスごとに行う。
ステップＳ６０８において、クラスタップ抽出部６１２は、入力されるすべての教師画像の画素を注目教師画素としたかどうかを判定する。ステップＳ６０８で、まだすべての教師画像の画素を注目教師画素としていないと判定された場合、ステップＳ６０９において、クラスタップ抽出部６１２は、教師画像の画素のうち、まだ注目教師画素としていないものを、新たに注目教師画素として決定する。そして、処理はステップＳ６０３に戻り、以下、同様の処理が繰り返される。
一方、ステップＳ６０８で、すべての教師画像の画素を注目教師画素としたと判定された場合、ステップＳ６１０において、正規方程式生成部６１５は、いままでの処理によって得られたパラメータhおよびvの組み合わせごと、かつクラスごとの式（８）における左辺の行列と、右辺のベクトルを、正規方程式として予測係数生成部６１６に供給する。
ステップＳ６１１において、予測係数生成部６１６は、正規方程式生成部６１５から供給される、パラメータhおよびvの組み合わせごと、かつクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解き、パラメータhおよびvの組み合わせごと、かつクラスごとの予測係数Ｗvhnを求めて、正規方程式生成部６１７に出力する。
ステップＳ６１２において、正規方程式生成部６１７は、予測係数Ｗvhnに基づいて、式（１７）の正規方程式をクラスごとに生成し、係数種決定部６１８に出力する。
ステップＳ６１３において、係数種決定部６１８は、式（１７）の正規方程式を解き、クラスごとの係数種ｗn,kを求める。係数種メモリ６１９は、ステップＳ６１４において、その係数種ｗn,kを記憶する。この係数種が図３の係数種メモリ５５３に記憶される。
以上のように、自然画予測部１３１は、自然画像を用いた学習により獲得された係数種よにり生成された予測係数Ｗnを用いて、自然高品質画像を予測するので、出力位相変換部１１２から供給されるＨＤ画像のうちの自然画像の品質を的確に高めることができる。
また、自然画予測部１３１は、クラスタップを構成する画素の画素値を、クラスタップの波形の特徴として、その特徴に応じて、注目画素をクラスに分類するので、自然画像の注目画素を、的確に分類することができる。その結果、自然画予測部１３１は、このクラスごとに学習により獲得された係数種により生成された予測係数を用いて、ＨＤ画像から自然高品質画像を予測することにより、自然画像に含まれるノイズ等をより的確に除去し、より高品質の自然高品質画像を出力することができる。
図１０は、図１の人工画予測部１３２の第１の実施の形態の詳細構成例を示している。
図１０の人工画予測部１３２は、クラス分類部６５１、係数種メモリ６５２、予測係数生成部６５３、予測係数メモリ６５４、および予測部６５５により構成され、出力位相変換部１１２から供給されるプログレッシブ方式のＨＤ画像から、そのＨＤ画像のうちの人工画像からノイズなどを除去して、高品質にした人工高品質画像を予測する。
出力位相変換部１１２から供給されるＨＤ画像は、クラス分類部６５１と予測部６５５に入力される。クラス分類部６５１は、そのＨＤ画像により求められる人工高品質画像を構成する画素を、順次、注目画素とし、その注目画素を、ＨＤ画像の位相の特徴に応じて、幾つかのクラスのうちのいずれかのクラスに分類する。クラス分類部６５１は、分類されたクラスを予測係数メモリ６５４に供給する。
係数種メモリ６５２は、例えばROM(Read Only Memory)などにより構成され、図１７乃至図１９を参照して後述する学習により獲得されたクラスごとの係数種を格納している。
予測係数生成部６５３は、ユーザにより入力されるパラメータhとvを含む式（９）の多項式を用いて、係数種メモリ６５２より読み出された係数種ｗn,kから予測係数Ｗnを生成し、予測係数メモリ６５４に記憶させる。
予測係数メモリ６５４は、クラス分類部６５１から供給されるクラスに基づいて、そのクラスの予測係数Ｗnをから読み出し、予測部６５５に供給する。
予測部６５５は、ＨＤ画像と、予測係数メモリ６５４から供給される予測係数Ｗnとを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部６５５は、注目画素の画素値の予測値、即ち、人工高品質画像を構成する画素の画素値を求めて、図１の合成部１３３に出力する。
図１１は、図１０のクラス分類部６５１の詳細構成例を示すブロック図である。
図１１のクラス分類部６５１は、クラスタップ抽出部６７１、差分算出部６７２、およびADRC処理部６７３により構成される。
クラスタップ抽出部６７１は、注目画素をクラスに分類するために用いるＨＤ画像を構成する画素の幾つかを、クラスタップとして抽出し、差分算出部６７２に供給する。
差分算出部６７２は、クラスタップ抽出部６７１から供給されるクラスタップを構成する画素のうちの、隣接する２つの画素どうし（以下、隣接画素と称する）の画素値の差分の絶対値（以下、隣接差分絶対値と称する）を、クラスタップの位相の特徴として、隣接画素ごとに算出する。差分算出部６７２は、各隣接画素の隣接差分絶対値を、ADRC処理部６７３に供給する。
ADRC処理部６７３は、差分算出部６７２から供給される隣接差分絶対値に対して、１ビットADRC処理を行う。具体的には、ADRC処理部６７３は、クラスタップの隣接差分絶対値を、その最大値MAXと最小値MINとの平均値で除算し、その除算結果の小数点以下を切り捨てることにより、隣接差分絶対値を１ビットにする。即ち、ADRC処理部６７３は、隣接差分絶対値を２値化する。
そして、ADRC処理部６７３は、その１ビットの画素値を所定の順番で並べたビット列を、注目画素のクラスとして決定する。従って、クラスは、クラスタップ内のエッジの位置を表す位相情報となる。即ち、クラスは、クラスタップの位相を縮退した値となる。ADRC処理部６７３は、決定されたクラスを、図１０の予測係数メモリ６５４に供給する。
以上のように、クラス分類部６５１は、各隣接画素の隣接差分絶対値を、クラスタップの位相の特徴として、その位相の特徴に応じて、注目画素をクラスに分類する。
図１２は、図１１のクラスタップ抽出部６７１により抽出されるクラスタップのタップ構造の例を示している。なお、クラスタップのタップ構造は、図１２に示されている以外の構造とすることも可能である。
図１２では、図１の出力位相変換部１１２から供給されるＨＤ画像のうちの、注目画素に対応する画素ｐ１２４と、その画素の上方向、左方向、右方向、下方向にそれぞれ隣接する２画素ｐ１２０，ｐ１２１，ｐ１２２，ｐ１２３，ｐ１２５，ｐ１２６，ｐ１２７，ｐ１２８とから、いわば十字形状のクラスタップが構成されている。
図１１の差分算出部６７２は、クラスタップを構成する９個の画素ｐ１２０乃至ｐ１２８のうちの、隣接画素である画素ｐ１２０とｐ１２１，ｐ１２１とｐ１２４，ｐ１２２とｐ１２３，ｐ１２３とｐ１２４，ｐ１２４とｐ１２５，ｐ１２５とｐ１２６，ｐ１２４とｐ１２７，ｐ１２７とｐ１２８の８個の隣接差分絶対値ｄ０乃至ｄ７を算出し、ADRC処理部６７３に供給する。その結果、ADRC処理部６７３から８ビットで表されるクラスが出力される。
図１３は、図１０の予測部６５５の詳細構成例を示すブロック図である。
図１３の予測部６５５は、予測タップ抽出部６９１と予測演算部６９２から構成される。
予測タップ抽出部６９１は、注目画素の画素値を予測するのに用いるＨＤ画像を構成する画素を、予測タップとして抽出する。
具体的には、予測タップ抽出部６９１は、注目画素に対応するＨＤ画像の画素、例えば、注目画素に対して空間的に最も近い位置にあるＨＤ画像の画素に対して、空間的に近い位置にある複数の画素を、ＨＤ画像から、予測タップとして抽出する。予測タップ抽出部６９１は、予測タップを予測演算部６９２に供給する。
なお、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。
予測演算部６９２には、予測タップ抽出部６９１から供給される予測タップのほかに、図１０の予測係数メモリ６５４から予測係数が供給される。予測演算部６９２は、その予測タップと予測係数とを用いて、注目画素の真値の予測値を求める、式（１）に示した予測演算を行う。これにより、予測演算部６９２は、注目画素の画素値の予測値、即ち、人工高品質画像を構成する画素の画素値を求めて、図１の合成部１３３に出力する。
図１４は、図１３の予測タップ抽出部６９１により抽出される予測タップのタップ構造の例を示している。なお、予測タップのタップ構造は、図１４に示されている以外の構造とすることも可能である。
図１４では、１３個の画素で、予測タップが構成されている。即ち、図１４では、出力位相変換部１１２から供給されるＨＤ画像のうちの、注目画素に対応する画素ｐ１４６を中心として縦方向に並ぶ５画素ｐ１４０，ｐ１４２，ｐ１４６，ｐ１５０，ｐ１５２、注目画素に対応する画素ｐ１４６の左と右に隣接する画素ｐ１４５，ｐ１４７それぞれを中心として縦方向に並ぶ３画素ｐ１４１，ｐ１４５，ｐ１４９，ｐ１４３，ｐ１４７，ｐ１５１、および注目画素に対応する画素ｐ１４６から左と右に２画素だけ離れた画素ｐ１４４，ｐ１４８から、略ひし形状の予測タップが構成されている。
次に、図１５を参照して、図１０の人工画予測部１３２が行う図２のステップＳ５の人工画予測処理の詳細を説明する。
初めに、ステップＳ７０１において、クラス分類部６５１は、求める人工高品質画像を構成する画素のうちの所定の画素である注目画素を、その注目画素に対応するＨＤ画像の位相の特徴に応じてクラスに分類するクラス分類処理を行う。このクラス分類処理の詳細は、図１６を参照して後述する。
ステップＳ７０２において、係数種メモリ６５２は係数種ｗn,kを読み出し、予測係数生成部６５３に出力する。ステップＳ７０３において、予測係数生成部６５３は、ユーザにより入力されたパラメータhとvに基づいて、そのパラメータhとvを含む式（９）の多項式を用いて、係数種ｗn,kから予測係数Ｗnを生成し、予測係数メモリ５５５に供給して記憶させる。
ステップＳ７０４において、予測係数メモリ６５４は、クラス分類部６５１により分類されたクラスに基づいて、そのクラスの予測係数Ｗnを読み出し、予測部６５５の予測演算部６９２に供給する。
ステップＳ７０５において、予測タップ抽出部６９１は、出力位相変換部１１２から供給されるＨＤ画像から、図１４に示されるような、注目画素の画素値を予測するのに用いるＨＤ画像を構成する画素を、予測タップとして抽出し、予測演算部６９２に供給する。
ステップＳ７０６において、予測演算部６９２は、予測タップ抽出部６９１から供給される予測タップと、予測係数メモリ６５４から供給される予測係数Ｗnとを用いて、式（１）に示した予測演算を行うことにより、人工高品質画像を構成する画素の画素値を求める。ステップＳ７０７において、予測演算部６９２は、ステップＳ７０６で求められた人工高品質画像を構成する画素の画素値を、図１の合成部１３３に出力する。
ステップＳ７０８において、クラス分類部６５１は、人工高品質画像を構成するすべての画素を注目画素としたかどうかを判定し、まだ人工高品質画像を構成するすべての画素を注目画素としていないと判定された場合、ステップＳ７０９において、クラス分類部６５１は、人工高品質画像を構成する画素のうち、まだ注目画素としていないものを新たに注目画素として決定し、処理をステップＳ７０１に戻し、以下、同様の処理を繰り返す。
一方、ステップＳ７０８において、クラス分類部６５１は、人工高品質画像を構成するすべての画素を注目画素としたと判定した場合、人工画予測処理を終了する。
以上のようにして、人工画予測部１３２は、出力位相変換部１１２から供給されるＨＤ画像から、人工高品質画像を予測し、出力する。即ち、人工画予測部１３２は、ＨＤ画像を人工高品質画像に変換し、出力する。
次に、図１６のフローチャートを参照して、図１５のステップＳ７０１のクラス分類処理について説明する。
ステップＳ７２１において、クラス分類部６５１のクラスタップ抽出部６７１(図１１)は、図１２に示されるような、注目画素のクラス分類を行うのに用いるＨＤ画像を構成する画素の幾つかを、クラスタップとして抽出し、差分算出部６７２に供給する。
ステップＳ７２２において、差分算出部６７２は、クラスタップ抽出部６７１から供給されるクラスタップを構成する画素のうちの、各隣接画素の隣接差分絶対値を算出し、各隣接画素の隣接差分絶対値をADRC処理部６７３に供給する。
ステップＳ７２３において、ADRC処理部６７３は、差分算出部６７２から供給される隣接差分絶対値に対して、１ビットADRC処理を行う。ADRC処理部６７３は、その結果得られるビット列を、クラスとして決定することにより、注目画素をクラスに分類する。そして、ADRC処理部６７３は、そのクラスを図１０の予測係数メモリ６５４に供給する。その後、処理は図１５のステップＳ７０１に戻る。
図１７は、図１０の係数種メモリ６５２に格納される係数種を求める学習を行う学習装置８１１の構成例を示すブロック図である。
図１７の学習装置８１１は、生徒画像生成部８２１、クラス分類部８２２、生成部８２３、係数生成部８２４、正規方程式生成部８２５、係数種決定部８２６、および係数種メモリ８２７により構成される。
この学習装置８１１は、上述した自然画予測部１３１の係数種メモリ５５３(図３)に格納される係数種ｗn,kの学習と同様に、係数種を学習する。即ち、学習装置８１１は、教師画像として、予測処理後の目標の人工画像に相当するＨＤ画像を採用し、生徒画像として、予測処理が行われる前の人工画像に相当するＨＤ画像を採用し、ユーザの指示に基づいて外部から入力されるパラメータhとvの組み合わせごと、かつクラスごとに上述した式（８）の正規方程式をたてて解くことにより、パラメータhとvの組み合わせごと、かつクラスごとの予測係数Ｗnである予測係数Ｗvhnを求める。
そして、この予測係数Ｗvhnによりクラスごとに生成される上述した式（１７）の正規方程式を解くことで、クラスごとの係数種ｗn,kが生成され、記憶される。
学習装置８１１には、図示せぬデータベースから読み出された教師画像が複数入力され、その教師画像は、生徒画像生成部８２１と生成部８２３に供給される。また、学習装置８１１には、パラメータhおよびvが入力され、生徒画像生成部８２１、および生成部８２３に供給される。
生徒画像生成部８２１は、例えばローパスフィルタなどにより構成され、パラメータhおよびvに応じて、図示せぬデータベースから取得された人工画像である教師画像の品質を劣化させることにより、パラメータhおよびvの組み合わせごとの生徒画像を生成する。生徒画像生成部８２１は、その生徒画像をクラス分類部８２２と生成部８２３に供給する。
クラス分類部８２２は、人工画予測部１３２の図１１のクラス分類部６５１と同様に構成される。クラス分類部８２２は、教師画像を構成する画素を、順次、注目教師画素として、その注目教師画素について、生徒画像から、図１１のクラスタップ抽出部６７１が抽出するクラスタップ（図１２）と同一のタップ構造のクラスタップを抽出する。
そして、クラス分類部８２２は、クラスタップを構成する画素のうちの各隣接画素の隣接差分絶対値を算出し、その隣接差分絶対値に対して、１ビットADRC処理を行う。クラス分類部８２２は、その結果得られるビット列を、注目教師画素のクラスとして決定し、生成部８２３に供給する。
生成部８２３は、教師画像と、生徒画像生成部８２１から供給される生徒画像のペアを、予測係数の学習に用いられる学習対として、外部から入力されるパラメータhとvの組み合わせごと、かつクラス分類部８２２から供給されるクラスごとに、式（８）に示した正規方程式をたてると、その正規方程式を、係数生成部８２４に供給する。
係数生成部８２４は、生成部８２３から供給される、パラメータhとvの組み合わせごと、かつクラスごとの正規方程式を解くことにより、予測係数Ｗvhnを、パラメータhとvの組み合わせごと、かつクラスごとに求めて正規方程式生成部８２５に出力する。
正規方程式生成部８２５は、予測係数Ｗvhnに基づいて式（１７）の正規方程式をクラスごとに生成し、係数種決定部８２６に出力する。係数種決定部８２６は、正規方程式を解くことで、係数種ｗn,kを求め、係数種メモリ８２７に格納する。係数種メモリ８２７に格納された係数種ｗn,kは、図１０の係数種メモリ６５２に格納される。
図１８は、図１７の生成部８２３の詳細構成例を示すブロック図である。
図１８の生成部８２３は、予測タップ抽出部８３１と正規方程式生成部８３２により構成される。
生成部８２３に供給される学習対の生徒画像は、予測タップ抽出部８３１に供給され、教師画像は、正規方程式生成部８３２に供給される。
予測タップ抽出部８３１は、学習対の教師画像を構成する画素を、順次、注目教師画素とし、その注目教師画素について、学習対の生徒画像から、図１３の予測タップ抽出部６９１が抽出する予測タップ(図１４)と同一のタップ構造の予測タップを抽出し、正規方程式生成部８３２に供給する。
正規方程式生成部８３２は、教師画像から、注目教師画素を抽出し、その注目教師画素と、予測タップ抽出部８３１から供給される注目教師画素について構成された予測タップを構成する生徒画像とを対象とした足し込みを、外部から入力されるパラメータhとvの組み合わせごと、かつクラス分類部８２２から供給されるクラスごとに行う。
そして、正規方程式生成部８３２は、学習装置８１１に入力されるすべての教師画像の画素を注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、図１７の係数生成部８２４に供給する。
次に、図１９のフローチャートを参照して、図１７の学習装置８１１の学習処理について説明する。
初めに、ステップＳ７４１において、生徒画像生成部８２１は、外部から入力されたパラメータhとvに応じて、入力された教師画像から生徒画像を生成し、クラス分類部８２２と生成部８２３に供給する。
ステップＳ７４２において、クラス分類部８２２は、図１６のクラス分類処理と同様に、教師画像のうちの所定の画素である注目教師画素を、その注目教師画素に対応する生徒画像の位相の特徴に応じて、クラスに分類するクラス分類処理を行う。クラス分類部８２２は、決定されたクラスを生成部８２３の正規方程式生成部８３２（図１８）に供給する。
ステップＳ７４３において、図１８の予測タップ抽出部８３１は、注目教師画素について、生徒画像生成部８２１から供給される生徒画像から、予測タップを抽出し、正規方程式生成部８３２に供給する。
ステップＳ７４４において、正規方程式生成部８３２は、入力される教師画像から注目教師画素を抽出し、その注目教師画素と、予測タップ抽出部８３１から供給される注目教師画素について構成された予測タップを構成する生徒画像とを対象とした式（８）の足し込みを、パラメータhおよびvの組み合わせごと、かつクラス分類部８２２から供給されるクラスごとに行う。
ステップＳ７４５において、クラス分類部８２２は、入力されるすべての教師画像の画素を注目教師画素としたかどうかを判定する。ステップＳ７４５で、まだすべての教師画像の画素を注目教師画素としていないと判定された場合、ステップＳ７４６において、クラス分類部８２２は、まだ注目教師画素としていない教師画像の画素を、新たに注目教師画素として決定する。そして、処理はステップＳ７４２に戻り、以下、同様の処理が繰り返される。
一方、ステップＳ７４５で、すべての教師画像の画素を注目教師画素としたと判定された場合、ステップＳ７４７において、正規方程式生成部８３２は、いままでの処理によって得られたパラメータhおよびvの組み合わせごと、かつクラスごとの式（８）における左辺の行列と、右辺のベクトルを、正規方程式として係数生成部８２４に供給する。
ステップＳ７４８において、係数生成部８２４は、生成部８２３から供給される、パラメータhおよびvの組み合わせごと、かつクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成される正規方程式を解き、パラメータhおよびvの組み合わせごと、かつクラスごとの予測係数Ｗvhnを求め、正規方程式生成部８２５に出力する。
ステップＳ７４９において、正規方程式生成部８２５は、予測係数Ｗvhnに基づいて式（１７）の正規方程式をクラスごとに生成し、係数種決定部８２６に出力する。ステップＳ７５０において、係数種決定部８２６は、クラスごとの式（１７）の正規方程式を解き、クラスごとの係数種ｗn,kを求める。ステップＳ７５１において、係数種メモリ８２７は、係数種ｗn,kを記憶する。この係数種が図１０の係数種メモリ６５２に記憶される。
以上のように、人工画予測部１３２は、人工画像を用いた学習により獲得された係数種により生成される予測係数を用いて、人工高品質画像を予測するので、出力位相変換部１１２から供給されるＨＤ画像のうちの人工画像の品質を的確に高めることができる。
また、人工画予測部１３２は、クラスタップのエッジの位置を位相の特徴として、その特徴に応じて、注目画素をクラスに分類するので、階調が少なく、位相情報がはっきりした人工画像の注目画素を、的確に分類することができる。その結果、人工画予測部１３２は、このクラスごとに学習により獲得された係数種により生成される予測係数を用いて、ＨＤ画像から人工高品質画像を予測することにより、人工画像に含まれるノイズ等をより的確に除去し、より高品質の人工高品質画像を出力することができる。
次に、図２０を参照して、自然画人工画判定部１１４の詳細構成例について説明する。自然画人工画判定部１１４は、広域特徴量抽出部９１１、広域人工画度算出部９１２、人工画度生成部９１３、狭域特徴量抽出部９１４、および狭域人工画度算出部９１５により構成される。
広域特徴量抽出部９１１は、BEP（Broad Edge Parameter）抽出部９３１、BFP（Broad Flat Parameter）抽出部９３２、および特徴量合成部９３３より構成され、出力位相変換部１１２より供給されるHD画像の各画素より広域特徴量を抽出して広域人工画度算出部９１２に供給する。
BEP抽出部９３１は、出力位相変換部１１２より供給されるHD画像の各画素について、注目画素に対応して設定される参照領域の画素の画素値のダイナミックレンジに基づいて得られる値を広域特徴量を構成する特徴量BEPとして抽出し、BFP抽出部９３２および特徴量合成部９３３に供給する。尚、BEP抽出部９３１の詳細な構成例については、図２１を参照して後述する。また、以降、参照領域の画素、および特徴量BEPについては、単に参照画素、およびBEPとも称する。さらに、以降の説明において、注目画素とは、出力位相変換部１１２より供給されるHD画像の画素であって、自然画人工画判定部１１４における処理対象となる画素である。
BFP抽出部９３２は、出力位相変換部１１２より供給されるHD画像の各画素について、注目画素に対応して設定される参照画素の隣接する画素間の画素値の差分絶対値およびBEPに基づいて得られる値を、広域特徴量を構成する特徴量BFPとして抽出し、特徴量合成部９３３に供給する。尚、BFP抽出部９３２の詳細な構成例については、図２２を参照して後述する。また、以降、特徴量BFPについては、単にBFPとも称する。
特徴量合成部９３３は、BEP抽出部９３１より供給されてくるBEPおよびBFP抽出部９３２より供給されてくるBFPを合成し、広域特徴量を生成して広域人工画度算出部９１２に供給する。すなわち、広域特徴量は、上述したBEPおよびBFPという２種類の特徴量より構成され、注目画素の属する広い範囲の画像の特徴を示す特徴量である。
広域人工画度算出部９１２は、特徴量分離部９５１、広域境界線比較部９５２、広域境界線メモリ９５３、および内分点計算部９５４から構成され、広域特徴量抽出部９１１より供給されてくる広域特徴量に基づいて、広域人工画度Artbを算出し、人工画度生成部９１３に供給する。
特徴量分離部９５１は、広域特徴量抽出部９１１より供給されてくる広域特徴量を構成する特徴量を分離して、それぞれ広域境界線比較部９５２に供給する。すなわち、この例においては、広域特徴量は、BEPおよびBFPであるので、特徴量分離部９５１は、BEPおよびBFPをそれぞれ分離して広域境界線比較部９５２に供給する。
広域境界線比較部９５２は、特徴量分離部９５１より供給されてくる２種類の特徴量の値に基づいて、予め複数の人工画像および自然画像より統計的に求められており、広域境界線メモリ９５３に記憶されている人工画像または自然画像のいずれに属するかを示す広域境界線と比較し、比較結果を内分計算部９５４に供給する。
内分計算部９５４は、広域境界線比較部９５２より供給されてくる比較結果に基づいて、広域特徴量に対応する広域人工画度Artbを計算して人工画度生成部９１３に供給する。
狭域特徴量抽出部９１４は、PNDP（Primary Narrow Discrimination Parameter）抽出部９７１、SNDP（Secondary Narrow Discrimination Parameter）抽出部９７２、および特徴量合成部９７３より構成され、出力位相変換部１１２より供給されるHD画像の各画素より狭域特徴量を抽出して狭域人工画度算出部９１５に供給する。
PNDP抽出部９７１は、出力位相変換部１１２より供給されるHD画像の各画素について、注目画素に対応して設定される参照領域に含まれる長タップ領域の画素の画素値のダイナミックレンジに基づいて得られる値を狭域特徴量を構成する特徴量PNDPとして抽出し、SNDP抽出部９７２および特徴量合成部９７３に供給する。尚、PNDP抽出部９７１の詳細な構成例については、図２３を参照して後述する。また、以降、単に、特徴量PNDPは、単に、PNDPとも称する。
SNDP抽出部９７２は、出力位相変換部１１２より供給されるHD画像の各画素について、注目画素に対応して設定される参照領域に含まれる長タップ領域に内包される短タップ領域の画素の画素値のダイナミックレンジおよびPNDPに基づいて得られる特徴量SNDPを狭域特徴量を構成する特徴量として抽出し、特徴量合成部９７３に供給する。尚、SNDP抽出部９７２の詳細な構成例については、図２４を参照して後述する。また、以降、特徴量SNDPについては、単に、SNDPとも称する。
特徴量合成部９７３は、PNDP抽出部９７１より供給されてくるPNDPおよびSNDP抽出部９７２より供給されてくるSNDPを合成し、狭域特徴量を生成して狭域人工画度算出部９１５に供給する。すなわち、狭域特徴量とは、上述したPNDPおよびSNDPという２種類の特徴量より構成される特徴量であり、注目画素の属する狭い範囲の画像の特徴を示す特徴量である。
狭域人工画度算出部９１５は、特徴量分離部９９１、狭域境界線比較部９９２、狭域境界線メモリ９９３、および内分点計算部９９４から構成され、狭域特徴量抽出部９１４より供給されてくる狭域特徴量に基づいて、狭域人工画度Artnを算出し、人工画度生成部９１３に供給する。
特徴量分離部９９１は、狭域特徴量抽出部９１４より供給されてくる狭域特徴量を構成する特徴量を分離して、それぞれ狭域境界線比較部９９２に供給する。すなわち、この例においては、狭域特徴量は、PNDPおよびSNDPであるので、特徴量分離部９９１は、PNDPおよびSNDPをそれぞれ分離して狭域境界線比較部９９２に供給する。
狭域境界線比較部９９２は、特徴量分離部９９１より供給されてくる２種類の特徴量の値に基づいて、予め複数の人工画像および自然画像より統計的に求められており、狭域境界線メモリ９９３に記憶されている人工画像または自然画像のいずれに属するかを示す狭域境界線と比較し、比較結果を内分計算部９９４に供給する。
内分計算部９９４は、狭域境界線比較部９９２より供給されてくる比較結果に基づいて、狭域特徴量に対応する狭域人工画度Artnを計算して人工画度生成部９１３に供給する。
人工画度生成部９１３は、広域人工画度算出部９１２より供給されてくる広域人工画度Artbと、狭域人工画度算出部９１５より供給されてくる狭域人工画度Artnとを合成して、人工画度Artを生成して、画像処理部１１３に出力する。
次に、図２１を参照して、BEP抽出部９３１の詳細な構成例について説明する。
図２１のBEP抽出部９３１は、バッファ１０１１、参照画素抽出部１０１２、重み計算部１０１３、画素間差分計算部１０１４、乗算部１０１５、蓄積部１０１６、最大値最小値抽出部１０１７、およびBEP計算部１０１８から構成される。
バッファ１０１１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１０１２に供給する。参照画素抽出部１０１２は、順次、注目画素毎に参照画素を読み出して重み計算部１０１３および画素間差分計算部１０１４に供給する。ここで、参照画素とは、注目画素に対応付けて設定される所定の領域内の画素のことであり、例えば、注目画素を中心としたｎ画素×ｎ画素の範囲の全ての画素である。尚、参照画素については、注目画素に対応付けて設定される複数の画素であればよいので、その他の数、または、配置の画素であっても良いことは言うまでもない。
重み計算部１０１３は、参照画素抽出部１０１２より供給されてくる参照画素毎に注目画素との距離に応じた重みを計算し乗算部１０１５に供給する。差分計算部１０１３は、参照画素抽出部１０１２より供給されてくる参照画素毎に注目画素との差分値を求めて乗算部１０１５に供給する。乗算部１０１５は、重み計算部１０１３より供給されてくる重みと、画素間差分計算部１０１４より供給されてくる注目画素と参照画素との差分値とを乗算し、蓄積部１０１６に蓄積させる。
最大値最小値抽出部１０１７は、蓄積部１０１６に蓄積されている全ての参照画素と注目画素との差分値に、対応する参照画素と注目画素との距離に応じた重みが乗じられた値が全て蓄積されると、その中から最大値と最小値とを抽出し、BEP計算部１０１８に供給する。BEP計算部１０１８は、最大値最小値抽出部１０１７より供給されてくる、参照画素と注目画素との差分値、すなわち、参照画素と注目画素との差分により求められる差分ダイナミックレンジに、対応する参照画素と注目画素との距離に応じた重みが乗じられた値の差分値を注目画素のBEPとして出力する。尚、差分ダイナミックレンジに重みが乗じられた値を、注目画素からの距離に応じたダイナミックレンジ、または、単に
差分ダイナミックレンジとも称する。
次に、図２２を参照して、BFP抽出部９３２の詳細な構成例について説明する。
図２２のBFP抽出部９３２は、バッファ１０３１、参照画素抽出部１０３２、隣接画素間差分計算部１０３３、関数変換部１０３４、重み計算部１０３５、乗算部１０３６、蓄積部１０３７、およびBFP計算部１０３８から構成されている。
バッファ１０３１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１０３２に供給する。参照画素抽出部１０３２は、順次、注目画素毎に参照画素を読み出して隣接画素間差分計算部１０３３および重み計算部１０３５に供給する。
隣接画素間差分計算部１０３３は、参照画素抽出部１０３２より供給されてきた全ての参照画素について隣接画素間の差分絶対値を関数変換部１０３４に供給する。関数変換部１０３４は、BEP抽出部９３１より供給されてくるBEPに基づいて、変換関数を設定すると供に、隣接画素間差分計算部１０３３より供給されてくる隣接画素間差分絶対値を、設定した変換関数で変換し乗算部１０３６に供給する。
重み計算部１０３５は、参照画素抽出部１０３２より供給されてくる参照画素の画素間の位置毎に、注目画素からの距離に応じた重みを計算し乗算部１０３６に供給する。乗算部１０３６は、重み計算部１０３５より供給されてくる重みと、関数変換部１０３４より供給されてくる関数変換された参照画素間差分絶対値とを乗算し、蓄積部１０３７に蓄積させる。
BFP計算部１０３８は、蓄積部１０３７に蓄積されている乗算結果を累積加算し、注目画素のBFPとして出力する。
次に、図２３を参照して、PNDP抽出部９７１の詳細な構成例について説明する。
図２３のPNDP抽出部９７１は、バッファ１０５１、参照画素抽出部１０５２、長タップ抽出部１０５３、画素値抽出部１０５４、最大値最小値抽出部１０５５、およびPNDP計算部１０５６から構成されている。
バッファ１０５１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１０５２に供給する。参照画素抽出部１０５２は、順次、注目画素毎に参照画素を読み出して、長タップ抽出部１０５３に供給する。
長タップ抽出部１０５３は、参照画素のうち、参照画素の領域に含まれる、すなわち、参照画素の領域と同様であるか、または、それよりも小さな領域から画素を抽出して画素値蓄積部１０５４に供給する。また、長タップ抽出部１０５３は、長タップの情報をSNDP抽出部９７２の短タップ抽出部１０７３にも供給する。さらに、長タップ抽出部１０５３は、長タップについて、全ての抽出が終了した段階で、その旨を最大値最小値抽出部１０５５に供給する。
最大値最小値抽出部１０５５は、画素値蓄積部１０５４に蓄積された長タップの全ての画素値のうち、最大値と最小値を抽出してPNDP計算部１０５６に供給する。
PNDP計算部１０５６は、最大値最小値抽出部１０５５より供給されてくる画素値の最大値と最小値との差分値より参照画素の画素値ダイナミックレンジを求め、注目画素のPNDPとして出力する。ここで、画素値ダイナミックレンジとは、所定の領域に含まれる全ての画素値の最大値から最小値を引いた値である。
次に、図２４を参照して、SNDP抽出部９７２の詳細な構成例について説明する。
図２４のSNDP抽出部９７２は、バッファ１０７１、参照画素抽出部１０７２、短タップ抽出部１０７３、画素値蓄積部１０７４、最大値最小値抽出部１０７５、DR計算部１０７６、DR蓄積部１０７７、およびSNDP選択部１０７８から構成されている。
バッファ１０７１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１０７２に供給する。参照画素抽出部１０７２は、順次、注目画素毎に参照画素を読み出して、短タップ抽出部１０７３に供給する。
短タップ抽出部１０７３は、長タップ抽出部１０５３より供給されてくる長タップの情報に基づいて、注目画素を含む領域であって、長タップに含まれる領域と同様であるか、または、それよりも小さな、複数の領域から画素を抽出して画素値蓄積部１０７４に供給する。すなわち、長タップが１個について、短タップは、複数のパターンが設定されることがある。また、短タップ抽出部１０７３は、複数の短タップについて、全てのパターンについて抽出が終了した段階で、その旨をSNDP選択部１０７８に供給する。
最大値最小値抽出部１０７５は、画素値蓄積部１０７４に蓄積された、短タップに含まれる全ての画素値のうち、最大値と最小値を抽出してDR計算部１０７６に供給する。
DR計算部１０７６は、最大値最小値選択部１０７５より供給されてくる短タップに含まれる全ての画素値のうち、最大値と最小値との差分から画素値ダイナミックレンジを求め、DR蓄積部１０７７に蓄積させる。
SNDP１０７９は、短タップ抽出部１０７３より全てのパターンの短タップについて抽出が終了したことが通知されると、DR蓄積部１０７７に蓄積されている、全てのパターンの短タップ毎に求められている画素値ダイナミックレンジより、最小値を選択し、SNDPとして出力する。
次に、図２５のフローチャートを参照して、自然画人工画判定処理について説明する。
ステップＳ８３１において、広域特徴量抽出部９１１のBEP抽出部９３１は、BEP抽出処理を実行し、出力位相変換部１１２より供給されるHD画像より画素毎にBEPを抽出して特徴量合成部９３３に供給する。
ここで、図２６のフローチャートを参照して、図２１のBEP抽出部９３１によるBEP抽出処理について説明する。
ステップＳ８５１において、バッファ１０１１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
ステップＳ８５２において、参照画素抽出部１０１２は、バッファ１０１１より、未処理の画素を注目画素に設定すると供に、ステップＳ８５３において、注目画素に対応して設定されている参照画素を読み出して重み計算部１０１３および画素間差分計算部１０１４に供給する。ここで、参照画素とは、例えば、注目画素に対応付けて設定される所定の領域内の画素のことであり、例えば、図２７で示されるように、注目画素を中心としてｎ画素×ｎ画素の範囲の全ての画素である。
尚、図２７においては、画像内における参照領域Ｒ内の黒丸印の注目画素Q（０，０）を中心としたｘ方向およびｙ方向の２次元空間の座標上の白丸印が参照画素Q（ｉ，ｊ）を示しており、注目画素Q（０，０）を中心としてｎ個×ｎ個の点線で囲まれた範囲内の画素が、参照画素Q（ｉ，ｊ）（−（ｎ−１）／２≦ｉ≦（ｎ−１）／２，−（ｎ−１）／２≦ｊ≦（ｎ−１）／２：ｉ，ｊは、整数）であることが示されている。
ステップＳ８５４において、画素間差分計算部１０１４は、注目画素と未処理の参照画素との画素間の画素値の差分値を計算し、乗算部１０１５に供給する。すなわち、図２７においては、画素間差分計算部１０１４は、画素間差分値として、（Ｑ（０，０）−Ｑ（ｉ，ｊ））を計算して乗算部１０１５に供給する。尚、画素間差分値におけるＱ（０，０），Ｑ（ｉ，ｊ）は、注目画素Ｑ（０，０）および参照画素Ｑ（ｉ，ｊ）のそれぞれの画素値である。
ステップＳ８５５において、重み計算部１０１３は、注目画素と未処理の参照画素との距離に応じた重みを計算し、計算結果である重みを乗算部１０１５に供給する。より具体的には、例えば、画素間差分値を求めた参照画素が、参照画素Ｑ（ｉ，ｊ）の場合、重み計算部１０１３は、座標のパラメータを用いて、例えば、重みとしてｗd＝ａ／（ｉ2＋ｊ2）（ａ：定数）を計算する。尚、重みｗdは、距離に応じて近いほど大きく、遠いほど小さくなるように値が求められれば良いので、上述の方法以外で計算するようにしてもよく、例えば、重みｗd＝ａ／√（ｉ2＋ｊ2）（ａ：定数）などでもよい。
ステップＳ８５６において、乗算部１０１５は、画素間差分計算部１０１４より供給されてきた画素間差分値と、重み計算部１０１３より供給されてきた重みとを乗算し、蓄積部１０１６に蓄積させる。すなわち、図２７の場合、乗算部１０１５は、画素間差分計算部１０１４より供給されてきた画素間差分値（Ｑ（０，０）−Ｑ（ｉ，ｊ））と、重み計算部１０１３より供給されてきた重みｗdとを乗算し、乗算結果としてｗd×（Ｑ（０，０）−Ｑ（ｉ，ｊ））を蓄積部１０１６に蓄積させる。
ステップＳ８５７において、画素間差分計算部１０１４は、未処理の参照画素が存在するか否かを判定し、未処理の参照画素が存在する場合、その処理は、ステップＳ８５４に戻る。すなわち、全ての参照画素について、ステップＳ８５４乃至Ｓ８５７の処理が繰り返される。
そして、ステップＳ８５７において、未処理の参照画素がない、すなわち、全ての参照画素について注目画素との差分値が求められ、さらに、距離に応じた重みｗdが設定され、それらが乗算されて蓄積部１０１６に全て蓄積されていると判定された場合、ステップＳ８５８において、画素間差分計算部１０１４は、全ての参照画素について処理が終了したことを最大値最小値抽出部１０１７に通知する。最大値最小値抽出部１０１７は、蓄積部１０１６に蓄積されている乗算結果のうち、最大値となる値と最小値となる値とを抽出してBEP計算部１０１８に供給する。
ステップＳ８５９において、BFP計算部１０１８は、最大値最小値抽出部１０１７より供給されてきた乗算結果の最大値より最小値を引いた値である参照画素の差分ダイナミックレンジを、注目画素に対するBEPとして計算し、BFP抽出部９３２および特徴量合成部９３３に供給する。
ステップＳ８６０において、参照画素抽出部１０１２は、バッファ１０１１に記憶されている画像における全ての画素について、BEPが求められたか否かを判定する。ステップＳ８６０において、画像の全ての画素についてBEPが求められていない場合、処理は、ステップＳ８５２に戻る。すなわち、バッファ１０１１に記憶された画像の全ての画素についてBEPが求められるまで、ステップＳ８５２乃至Ｓ８６０の処理が繰り返される。そして、ステップＳ８６０において、画像内の全ての画素についてBEPが求められたと判定された場合、BEP抽出処理が終了する。
以上の処理により、BEPとして画像における広域のエッジを表現する特徴量であるBEPが求められる。すなわち、BEPは、注目画素に対する参照画素内の差分ダイナミックレンジを表現することで、注目画素が属する広域領域にエッジが存在したような場合、大きな値となり、逆にエッジが存在しない場合、小さな値を取ることになる。
ここで、図２５のフローチャートの説明に戻る。
ステップＳ８３１におけるBEP抽出処理によりBEPが画像より抽出されると、ステップＳ８３２において、広域特徴量抽出部９１１のBFP抽出部９３２は、BFP抽出処理を実行し、出力位相変換部１１２より供給されるHD画像より画素毎にBFPを抽出して特徴量合成部９３３に供給する。
ここで、図２８のフローチャートを参照して、図２２のBFP抽出部９３２によるBFP抽出処理について説明する。
ステップＳ８７１において、バッファ１０３１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
ステップＳ８７２において、参照画素抽出部１０３２は、バッファ１０１１より、未処理の画素を注目画素に設定すると供に、ステップＳ８７３において、注目画素に対応して設定されている参照画素を読み出して隣接画素間差分計算部１０３３および重み計算部１０３５に供給する。
ステップＳ８７４において、画素間差分計算部１０３３は、未処理の参照画素間（注目画素を含む）の画素値の差分絶対値を計算し、関数変換部１０３４に供給する。すなわち、図２９においては、画素間差分計算部１０３３は、隣接画素間差分絶対値ｅとして、例えば、ｅ＝｜Ｑ（ｉ＋１，ｊ）−Ｑ（ｉ，ｊ）｜を計算して関数変換部１０３４に供給する。尚、画素間差分絶対値におけるＱ（ｉ＋１，ｊ），Ｑ（ｉ，ｊ）は、参照画素Ｑ（ｉ＋１，ｊ），Ｑ（ｉ，ｊ）のそれぞれの画素値である。また、図２９における黒丸印は、注目画素Ｑ（０，０）である。
さらに、参照画素の隣接間差分絶対値ｅは、図２９における丸印で示される各画素のｘ方向およびｙ方向に隣接する画素との画素値の差分絶対値である。したがって、参照画素Ｑ（ｉ，ｊ）の隣接画素間差分絶対値ｅは、｜Ｑ（ｉ＋１，ｊ）−Ｑ（ｉ，ｊ）｜，｜Ｑ（ｉ，ｊ＋１）−Ｑ（ｉ，ｊ）｜，｜Ｑ（ｉ−１，ｊ）−Ｑ（ｉ，ｊ）｜，｜Ｑ（ｉ，ｊ−１）−Ｑ（ｉ，ｊ）｜の４種類の隣接画素間差分絶対値が設定される。ただし、参照画素の設定されている領域の辺縁部の画素については、ｘｙ方向の正方向または負方向いずれか１方向に参照画素と隣接していないので、３種類の隣接画素間差分絶対値が設定される。また、参照画素のうち、参照画素が設定されている領域の４箇所の角となる位置の参照画像については、ｘｙ方向の正方向または負方向いずれか２方向に参照画素と隣接していないので、２種類の隣接画素間差分絶対値が設定される。結果として、注目画素を中心としてｎ画素×ｎ画素の参照画素が設定される場合、２ｎ（ｎ−１）個の画素間差分絶対値が設定されることになる。
ステップＳ８７５において、関数変換部１０３４は、BEP抽出部９３１より供給されてくるBEPにより設定される関数ｆに基づいて、隣接画素間差分計算部１０３３より供給されてきた隣接画素間差分絶対値ｅを変換して、乗算部１０３６に供給する。より詳細には、関数変換部１０３４は、BEP抽出部９３１より供給されてくるBEPにより設定される以下の式（１８）に基づいて、値を変換し、変換した値を乗算部１０３６に出力する。
Figure 0004683294
式（１８）においては、隣接画素間差分絶対値ｅが閾値th＝BEP／ｂより大きい場合、０が乗算部１０３６に出力され、隣接画素間差分絶対値ｅが閾値th＝BEP／ｂ以下である場合、１が乗算部１０３６に出力されることが示されている。尚、ここで、ｂは、定数である。また、閾値thの計算に用いられるBEPは、注目画素のBEPである。さらに、閾値thは、BEPの傾向が利用できればよいので、閾値th＝BEP／ｂ以外のBEPを用いた閾値でもよく、例えば、閾値th＝（√BEP）／ｂ、または、閾値th＝（BEP）2／ｂなどを利用するようにしても良い。
ステップＳ８７６において、重み計算部１０３５は、注目画素と、隣接画素間差分絶対値を計算した画素間の中央位置との距離に応じた重みを計算し、計算結果である重みｗeを乗算部１０３６に供給する。より具体的には、例えば、隣接画素間差分絶対値を求めた参照画素が、参照画素Ｑ（ｉ，ｊ），Ｑ（ｉ＋１，ｊ），の場合、重み計算部１０１３は、座標のパラメータを用いて、例えば、重みとしてｗe＝ａ／（（ｉ＋１／２）2＋ｊ2）（ａ：定数）を計算する。尚、重みｗeは、距離に依存した値が求められれば良いので、上述の方法以外で計算するようにしてもよく、例えば、重みｗe＝ａ／√（（ｉ＋１／２）2＋ｊ2）（ａ：定数）などでもよい。
ステップＳ８７７において、乗算部１０３６は、関数変換部１０３４より供給されてきた隣接画素間差分絶対値ｅと、重み計算部１０３５より供給されてきた重みｗeとを乗算し、ステップＳ８７８において、蓄積部１０３７に蓄積させる。すなわち、図２９の場合、乗算部１０３６は、関数変換部１０３４より供給されてきた変換結果である１または０と、重み計算部１０３５より供給されてきた重みｗeとを乗算し、乗算結果としてｗeまたは０を蓄積部１０３６に蓄積させる。
ステップＳ８７９において、隣接画素間差分計算部１０３３は、未処理の参照画素が存在するか否か、すなわち、隣接画素間差分絶対値が設定されているにもかかわらず、求められていないものがあるか否かを判定し、存在する場合、その処理は、ステップＳ８７４に戻る。このとき、全ての隣接画素間差分絶対値について、ステップＳ８７４乃至Ｓ８７９の処理が繰り返される。すなわち、上述したように、図２９で示されるように、参照画素がｎ画素×ｎ画素で設定されている場合、２ｎ（ｎ−１）個の隣接画素間差分絶対値が求められることになるので、ステップＳ８７４乃至Ｓ８７９の処理が、２ｎ（ｎ−１）回繰り返されることになる。
そして、ステップＳ８７９において、未処理の参照画素がない、すなわち、全ての隣接画素間差分絶対値が求められて関数変換され、さらに、距離に応じた重みが設定され、それらが乗算されて蓄積部１０３７に全て蓄積されていると判定された場合、ステップＳ８８０において、隣接画素間差分計算部１０３３は、全ての参照画素について処理が終了したことをBFP計算部１０３８に通知する。BFP計算部１０３８は、蓄積部１０３７に蓄積されている乗算結果の総和を求めてBFPとして出力する。
ステップＳ８８１において、参照画素抽出部１０３２は、バッファ１０１１に記憶されている画像における全ての画素について、BFPが求められたか否かを判定する。ステップＳ８８１において、画像の全ての画素についてBFPが求められていない場合、処理は、ステップＳ８７２に戻る。すなわち、バッファ１０３１に記憶された画像の全ての画素についてBFPが求められるまで、ステップＳ８７２乃至Ｓ８８１の処理が繰り返される。そして、ステップＳ８８１において、画像内の全ての画素についてBFPが求められたと判定された場合、BFP抽出処理が終了する。
以上の処理により、画像における広域の平坦部を表現する特徴量としてBFPが求められる。すなわち、BFPは、仮に重みｗeが距離に応じたものではなく、均一に１であった場合、参照画素のうち、閾値thよりも小さい隣接画素間差分絶対値の数がカウントされた値となる。結果として、BFPは、注目画素の属する広域的な範囲が平坦である場合、値が大きくなり、逆に、エッジなどが多く存在する、平坦ではないような場合、値が小さくなる。
尚、以上においては、隣接画素間差分絶対値を求めるに当たり、参照画素の全ての隣接画素間の差分絶対値を求める例について説明してきたが、隣接している画素間の画素値の関係が明らかになる値が抽出できれば良いので、その他の方法で隣接画素間差分絶対値を求めるようにしてもよく、例えば、図２９におけるｘ方向、または、ｙ方向の何れかの方向に隣接する画素間の画素値の差分絶対値を求めるようにしても良いし、各参照画素について、上下方に隣接するそれぞれの画素との隣接画素間差分絶対値の和、左右に隣接するそれぞれの画素との隣接画素間差分絶対値の和、または上下左右方向に隣接するそれぞれの画素との画素間差分絶対値の総和などを隣接画素間差分絶対値として利用するようにしてもよい。さらに、以降の説明においても隣接画素間差分絶対値を求める処理があるが、上述のように様々な形式を用いるようにしてよいことは同様である。
また、上述した関数変換部１０３４は、式（１８）で示されるような関数により隣接画素間差分絶対値ｅを変換して出力するようにしていたが、変換関数は、式（１８）で示されるものでなくてもよく、例えば、図３０で示されるように、傾向として隣接画素間差分絶対値の大きさの差を鮮明にできる値に変換し、結果として、式（１８）で示されるような関数を用いた場合と同様の効果を得るようにしても良い。
さらに、変換関数ｆは、例えば、図３０で示されるようなものでもよいことは、上述した通りであるが、BEPと対応付けるようにしてもよく、例えば、隣接画素間差分絶対値ｅが、閾値th1＝BEP／ｂ１以上の場合、ｆ（ｅ）＝Ａ（Ａは定数）とし、隣接画素間差分絶対値ｅが、閾値th2＝BEP／ｂ２以下の場合、ｆ（ｅ）＝Ｂ（Ｂは定数）とし、さらに、隣接画素間差分絶対値ｅが、閾値th2＝BEP／ｂ２より大きく閾値th1＝BEP／ｂ１より小さい場合、ｆ（ｅ）＝（Ｂ−Ａ）・（ｅ−th1）／（th2−th1）＋Ａとするようにしてもよい。また、閾値th1，th2は、BEPの傾向が使えればよいので、例えば、閾値th1＝（BEP）2／ｂ１，th2＝（BEP）2／ｂ２、または、閾値th1＝（√BEP）／ｂ１，th2＝（√BEP）／ｂ２などを利用するようにしても良い。
ここで、図２５のフローチャートの説明に戻る。
ステップＳ８３２の処理により、BFPが求められると、ステップＳ８３３において、特徴量合成部９３３は、BEP抽出部９３１より供給されてくるBEPと、BFP抽出部９３２より供給されてくるBFPとを合成し、広域特徴量として広域人工画度算出部９１２に供給する。
ステップＳ８３４において、広域人工画度算出部９１２は、広域特徴量抽出部９１１より供給されてくる広域特徴量に基づいて、広域人工画度算出処理を実行して、広域人工画度Artbを算出し、人工画度生成部９１３に供給する。
ここで、図３１のフローチャートを参照して、図２０の広域人工画度算出部９１２による広域人工画度算出処理について説明する。
ステップＳ８９１において、特徴量分離部９５１は、広域特徴量抽出部９１１より供給されてくる広域特徴量を取得すると供に、BEPおよびBFPを分離して、それぞれを広域境界線比較部９５２に供給する。
ステップＳ８９２において、広域境界線比較部９５２は、広域境界線メモリ９５３より広域境界線の情報を読み出す。
ステップＳ８９３において、広域境界線比較部９５２は、未処理の画素を注目画素とし、その注目画素のBEPおよびBFPを抽出して、BEP-BFPの２次元平面上にプロットすると供に、読み出した広域境界線との位置関係を比較する。
ここで、広域境界線とは、複数の人工画像および自然画像から抽出されるBEPおよびBFPを、BEP軸およびBFP軸からなる２次元空間に（BEP，BFP）としてプロットすることで得られる統計上の分布から生成される境界線である。広域境界線には、広域人工画像境界線および広域自然画像境界線の２種類の境界線がある。このうち、広域人工画像境界線は、人工画像の広域特徴量のみがプロットされている領域と、人工画像および自然画像の広域特徴量が混在してプロットされている領域との境界線である。また、広域自然画像境界線は、自然画像の広域特徴量のみがプロットされている領域と、人工画像および自然画像の広域特徴量が混在してプロットされている領域との境界線である。したがって、BEP軸およびBFP軸からなる領域は、図３２で示されるように、広域人工画像境界線および広域自然画像境界線に基づいて、広域人工画像領域、広域自然画像領域、および人工画像および自然画像の広域混在領域の３種類の領域に分割されることになる。ここで、図３２においては、広域人工画像境界線は、図中の曲線Ｌ１であり、広域自然画像境界線は、図中の曲線Ｌ２である。尚、以下、曲線Ｌ１，Ｌ２については、適宜、広域人工画像境界線Ｌ１および広域自然画像境界線Ｌ２とも称するものとする。また、図３２においては、広域人工画像境界線Ｌ１よりも上部の領域が、広域人工画像領域であり、広域人工画像境界線Ｌ１および広域自然画像境界線Ｌ２の間の領域が、広域混在領域であり、広域自然画像境界線Ｌ２よりも下部の領域が広域自然画像領域である。
ステップＳ８９４において、広域境界線比較部９５２は、注目画素のBEPおよびBFPをプロットした位置が、広域人工画像領域であるか否かを判定する。例えば、注目画素のBEPおよびBFPをプロットした位置が、図３２における位置Ｂ１である場合、ステップＳ８９５において、広域境界線比較部９５２は、その画素が広域人工画像領域に属していることを内分計算部９５４に通知する。
ステップＳ８９６において、内分計算部９５４は、広域境界線比較部９５２からの注目画素の広域特徴量が広域人工画像領域に属している旨の通知を取得すると、広域人工画度Artbを１として人工画度生成部９１３に供給し、その処理は、ステップＳ９０２に進む。
ステップＳ８９４において、例えば、注目画素のBEPおよびBFPをプロットした位置が、図３２における位置Ｂ１ではなく、位置Ｂ２またはＢ３である場合、広域境界線比較部９５２は、その画素が広域人工画像領域に属していないとみなし、処理は、ステップＳ８９７に進む。
ステップＳ８９７において、広域境界線比較部９５２は、注目画素のBEPおよびBFPをプロットした位置が、広域自然画像領域であるか否かを判定する。例えば、注目画素のBEPおよびBFPをプロットした位置が、図３２における位置Ｂ３である場合、ステップＳ８９８において、広域境界線比較部９５２は、その画素が広域自然画像領域に属していることを内分計算部９５４に通知する。
ステップＳ８９９において、内分計算部９５４は、広域境界線比較部９５２からの注目画素の広域特徴量が広域自然画像領域に属している旨の通知を取得すると、広域人工画度Artbを０として人工画度生成部９１３に供給し、その処理は、ステップＳ９０２に進む。
ステップＳ８９７において、例えば、注目画素のBEPおよびBFPをプロットした位置が、図３２における位置Ｂ３ではなく、位置Ｂ２である場合、広域境界線比較部９５２は、その画素が広域人工画像領域にも広域自然画像領域にも属していないとみなし、処理は、ステップＳ９００に進む。
ステップＳ９００において、広域境界線比較部９５２は、その画素が広域混在領域に属していることと供に、広域人工画像境界線Ｌ１と広域自然画像境界線Ｌ２との内分比率を内分計算部９５４に通知する。すなわち、図３２の場合、位置Ｂ２は、広域人工画像境界線Ｌ１までの距離：広域自然画像境界線Ｌ２までの距離との比率は、１−ｑ：ｑとなるので、この情報が内分計算部９５４に通知される。
ステップＳ９０１において、内分計算部９５４は、広域境界線比較部９５２からの注目画素の広域特徴量が広域混在領域に属している旨と供に、内分比率の通知を取得すると、内分比率ｑを広域人工画度Artbとして人工画度生成部９１３に供給し、その処理は、ステップＳ９０２に進む。
ステップＳ９０２において、広域境界線比較部９５２は、未処理の画素が存在するか否かを判定し、未処理の画素、すなわち、広域特徴量が、広域人工画像領域、広域自然画像領域、または、広域混在領域のいずれに属しているかが比較され、広域人工画度が求められているか否かを判定し、全ての画素について、広域人工画像度が求められていないと判定された場合、処理は、ステップＳ８９３に戻る。
一方、全ての画素について、広域人工画度Artbが求められている場合、処理は終了する。
以上の処理により、全ての画素についてBEPおよびBFPからなる広域特徴量が読み出されて、BEP-BFP空間においてプロットされ、複数の人工画像および自然画像の分布より統計的に求められた広域人工画像境界線および広域自然画像境界線と比較されることにより、BEP-BFP空間におけるプロット位置（BEP，BFP）と、広域人工画像境界線および広域自然画像境界線との位置関係に基づいて、広域人工画像度Artbが算出されることになる。尚、以上においては、広域混在領域に存在する場合、内分比率ｑが広域人工画度Artbとして設定される例について説明してきたが、内分比が傾向として反映される値となればよいので、広域人工画度としては、例えば、ｑ2または√ｑなどでもよい。
ここで、図２５のフローチャートの説明に戻る。
ステップＳ８３５において、狭域特徴量抽出部９１２のPNDP抽出部９７１は、PNDP抽出処理を実行し、出力位相変換部１１２より供給されるHD画像より画素毎にPNDPを抽出して特徴量合成部９３３に供給する。
ここで、図３３のフローチャートを参照して、図２１のPNDP抽出部９７１によるPNDP抽出処理について説明する。
ステップＳ９１１において、バッファ１０５１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
ステップＳ９１２において、参照画素抽出部１０５２は、バッファ１０５１より、未処理の画素を注目画素に設定すると供に、ステップＳ９１３において、注目画素に対応して設定されている参照画素を読み出して長タップ抽出部１０５３に供給する。
ステップＳ９１４において、長タップ抽出部１０５３は、参照画素より長タップを抽出すると供に、ステップＳ９１５において、長タップの画素値を画素値蓄積部１０５４蓄積させ、さらに、SNDP抽出部９７２に供給する。ここで、長タップとは、例えば、参照画素に含まれる、注目画素に対応付けて設定される所定の領域内の画素のことであり、例えば、図３４で示されるように、注目画素を中心としてｍ画素×ｍ画素の画素である。尚、図３４においては、ｎ画素×ｎ画素（ｎ＞ｍ）の範囲が参照画素の範囲を示している。また、図３４においては、画像内における黒丸印の注目画素Ｐ（０，０）を中心としたｘ方向およびｙ方向の２次元空間の座標上の白丸印が長タップＰ（ｉ，ｊ）を示しており、注目画素Ｐ（０，０）を中心としてｍ個×ｍ個の点線で囲まれた範囲内の画素が、長タップＰ（ｉ，ｊ）（−（ｍ−１）／２≦ｉ≦（ｍ−１）／２，−（ｍ−１）／２≦ｊ≦（ｍ−１）／２：ｉ，ｊは、整数）であることが示されている。
ステップＳ９１６において、画素値抽出部１０５４は、未処理の長タップが存在するか否かを判定し、未処理の長タップが存在する場合、その処理は、ステップＳ９１５に戻る。すなわち、全ての長タップについて、ステップＳ９１５，Ｓ９１６の処理が繰り返される。
そして、ステップＳ９１６において、未処理の長タップがない、すなわち、全ての長タップについて画素値が抽出され、画素値蓄積部１０５４に全て蓄積されていると判定された場合、ステップＳ９１７において、画素値抽出部１０５４は、全ての長タップについて処理が終了したことを最大値最小値抽出部１０５５に通知する。これを受けて、最大値最小値抽出部１０５５は、画素値蓄積部１０５４に蓄積されている画素値のうち、最大値となる値と最小値となる値とを抽出してPNDP計算部１０５６に供給する。
ステップＳ９１８において、PNDP計算部１０５６は、最大値最小値抽出部１０５５より供給されてきた最大値より最小値を引いた値である長タップの画素値ダイナミックレンジを、注目画素に対するPNDPとして計算し、特徴量合成部９３３に供給する。
ステップＳ９１９において、参照画素抽出部１０５２は、バッファ１０５１に記憶されている画像における全ての画素について、PNDPが求められたか否かを判定する。ステップＳ９１９において、画像の全ての画素についてPNDPが求められていない場合、処理は、ステップＳ９１２に戻る。すなわち、バッファ１０５１に記憶された画像の全ての画素についてPNDPが求められるまで、ステップＳ９１２乃至Ｓ９１９の処理が繰り返される。そして、ステップＳ９１９において、画像内の全ての画素についてPNDPが求められたと判定された場合、PNDP抽出処理が終了する。
以上の処理により、画像における狭域のエッジを表現する特徴量であるPNDPが求められる。すなわち、PNDPは、注目画素に対する長タップ内の画素値ダイナミックレンジを表現することで、注目画素が属する狭域領域にエッジが存在したような場合、大きな値となり、逆にエッジが存在しない場合、小さな値を取ることになる。
ここで、図２５のフローチャートの説明に戻る。
ステップＳ８３５におけるPNDP抽出処理によりPNDPが画像より抽出されると、ステップＳ８３６において、狭域特徴量抽出部９１４のSNDP抽出部９７２は、SNDP抽出処理を実行し、出力位相変換部１１２より供給されるHD画像より画素毎にSNDPを抽出して特徴量合成部９３３に供給する。
ここで、図３５のフローチャートを参照して、図２４のSNDP抽出部９７２によるSNDP抽出処理について説明する。
ステップＳ９４１において、バッファ１０７１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
ステップＳ９４２において、参照画素抽出部１０７２は、バッファ１０５１より、未処理の画素を注目画素に設定すると供に、ステップＳ９４３において、注目画素に対応して設定されている参照画素を読み出して短タップ抽出部１０７３に供給する。
ステップＳ９４４において、短タップ抽出部１０７３は、参照画素、およびPNDP抽出部９７１より供給される長タップの情報に基づいて、参照画素より短タップ群を抽出する。ここで、短タップとは、長タップに含まれた画素であって、注目画素を含む複数の画素のことであり、例えば、参照画素のうち長タップに含まれる画素であって、注目画素に対応付けて設定される所定の領域内の画素のことであり、例えば、図３６のパターンＡで示されるように、注目画素を中心として、水平方向および垂直方向に隣接する４画素を含めた５画素からなる短タップＳＴ１であったり、パターンＢで示されるように、注目画素を右下隅として、水平方向および垂直方向に３画素×３画素の９画素からなる短タップＳＴ２であったり、パターンＣで示されるように、注目画素を左上隅として、水平方向および垂直方向に３画素×３画素の９画素からなる短タップＳＴ３であったり、パターンＤで示されるように、注目画素を左下隅として、水平方向および垂直方向に３画素×３画素の９画素からなる短タップＳＴ４であったり、または、パターンＥで示されるように、注目画素を右上隅として、水平方向および垂直方向に３画素×３画素の９画素からなる短タップＳＴ５などでもよい。また、複数のパターンの短タップを短タップ群と称している。従って、図３６の短タップＳＴ１乃至ＳＴ５が短タップとして使用される場合、５パターンの短タップからなる短タップ群が構成されていると言える。尚、図３６においては、丸印が画素を示しており、そのうち黒丸印が注目画素を示しており、さらに、実線で囲まれている範囲内の画素が、短タップを構成する画素であることを示している。
ステップＳ９４５において、短タップ抽出部１０７３は、未処理の１つの短タップの画素値を抽出し、画素値蓄積部１０７４に蓄積させる。
ステップＳ９４６において、短タップ抽出部１０７３は、未処理の短タップが存在するか否かを判定し、未処理の短タップが存在する場合、その処理は、ステップＳ９４５に戻る。すなわち、１つの短タップに含まれる全ての画素について、ステップＳ９４５，Ｓ９４６の処理が繰り返される。
そして、ステップＳ９４６において、未処理の短タップがない、すなわち、１つの短タップの全ての画素値が、画素値蓄積部１０７４に全て蓄積されていると判定された場合、ステップＳ９４７において、画素値抽出部１０７４は、１つの短タップの全ての画素を蓄積する処理が終了したことを最大値最小値抽出部１０７５に通知する。最大値最小値抽出部１０７５は、画素値蓄積部１０７４に蓄積されている１つの短タップの画素値のうち、最大値となる値と最小値となる値とを抽出してDR計算部１０７６に供給する。
ステップＳ９４８において、DR計算部１０７６は、最大値最小値抽出部１０７５より供給されてきた画素値の最大値より最小値を引いた値である１つの短タップの画素値ダイナミックレンジを、注目画素に対する画素値DR（画素値ダイナミックレンジ）として計算し、ステップＳ９４９において、DR蓄積部１０７７に蓄積させる。
ステップＳ９５０において、短タップ抽出部１０７３は、未処理の短タップ群が残されているか否かを判定し、残されていると判定した場合、その処理は、ステップＳ９４４に戻る。すなわち、全ての短タップ群についてDRが求められたと判定されるまで、ステップＳ９４４乃至Ｓ９５０の処理が繰り返される。従って、例えば、短タップ群が、図３６で示される５パターンである場合、ステップＳ９４４乃至Ｓ９５０の処理が５回繰り返されることになる。
そして、ステップＳ９５０において、全ての短タップ群の処理が終了した、すなわち、全ての短タップについてDRが求められた場合、ステップＳ９５１において、短タップ抽出部１０７３は、その旨をSNDP選択部１０７８に通知する。さらに、SNDP選択部１０７８は、DR蓄積部１０７７に蓄積されている各短タップ群のDRを比較し、最小となるDRをSNDPとして選択し、特徴量合成部９７３に供給する。
ステップＳ９５２において、参照画素抽出部１０７２は、バッファ１０７１に記憶されている画像における全ての画素について、SNDPが求められたか否かを判定する。ステップＳ９５２において、画像の全ての画素についてSNDPが求められていない場合、処理は、ステップＳ９４２に戻る。すなわち、バッファ１０７１に記憶された画像の全ての画素についてSNDPが求められるまで、ステップＳ９４２乃至Ｓ９５２の処理が繰り返される。そして、ステップＳ９５２において、画像内の全ての画素についてSNDPが求められたと判定された場合、SNDP抽出処理が終了する。
以上の処理により、画像における各画素の属する狭域の平坦部の程度を表現する特徴量であるSNDPが求められる。すなわち、SNDPは、注目画素に対する長タップ内の複数の短タップの画素値ダイナミックレンジのうちの最小値により長タップ内において、短タップで表現される領域の中で最も平坦な領域における平坦さの程度が表現されることになるので、注目画素が属する狭域領域に含まれる平坦部が平坦であるほど小さな値となり、平坦ではなくなるほど大きな値となる。
ここで、図２５のフローチャートの説明に戻る。
ステップＳ８３６の処理により、SNDPが求められると、ステップＳ８３７において、特徴量合成部９７３は、PNDP抽出部９７１より供給されてくるPNDPと、SNDP抽出部９７２より供給されてくるSNDPとを合成し、狭域特徴量として狭域人工画度算出部９１５に供給する。
ステップＳ８３８において、狭域人工画度算出部９１５は、狭域特徴量抽出部９１４より供給されてくる狭域特徴量に基づいて、狭域人工画度算出処理を実行し、狭域人工画度Artnを算出し、人工画度生成部９１３に供給する。
ここで、図３７のフローチャートを参照して、図２０の狭域人工画度算出部９１５による狭域人工画度算出処理について説明する。
ステップＳ９７１において、特徴量分離部９９１は、狭域特徴量抽出部９１４より供給されてくる狭域特徴量を取得すると供に、PNDPおよびSNDPを分離して、それぞれを狭域境界線比較部９９２に供給する。
ステップＳ９７２において、狭域境界線比較部９９２は、狭域境界線メモリ９９３より狭域境界線の情報を読み出す。
ステップＳ９７３において、狭域境界線比較部９９２は、未処理の画素を注目画素とし、その注目画素のPNDPおよびSNDPを抽出して、PNDP-SNDPの２次元平面上にプロットすると供に、読み出した狭域境界線との位置関係を比較する。
ここで、狭域境界線とは、複数の人工画像および自然画像から抽出されるPNDPおよびSNDPを、PNDP軸およびSNDP軸からなる２次元空間に（PNDP，SNDP）としてプロットすることで得られる統計上の分布から生成される境界線である。狭域境界線には、狭域人工画像境界線および狭域自然画像境界線の２種類の境界線がある。このうち、狭域人工画像境界線は、人工画像の狭域特徴量のみがプロットされている領域と、人工画像および自然画像の狭域特徴量が混在してプロットされている領域との境界線である。また、狭域自然画像境界線は、自然画像の狭域特徴量のみがプロットされている領域と、人工画像および自然画像の狭域特徴量が混在してプロットされている領域との境界線である。したがって、PNDP軸およびSNDP軸からなる領域は、図３８で示されるように、狭域人工画像境界線および狭域自然画像境界線に基づいて、狭域人工画像領域、狭域自然画像領域、および人工画像および自然画像の狭域混在領域の３種類の領域に分割されることになる。ここで、図３８においては、狭域自然画像境界線は、図中の曲線Ｌ１１であり、狭域人工画像境界線は、図中の曲線Ｌ１２である。尚、以下、曲線Ｌ１１，Ｌ１２については、適宜、狭域自然画像境界線Ｌ１１および狭域人工画像境界線Ｌ１２とも称するものとする。また、図３８においては、狭域自然画像境界線Ｌ１１よりも上部の領域が、狭域自然画像領域であり、狭域自然画像境界線Ｌ１１および狭域人工画像境界線Ｌ１２の間の領域が、狭域混在領域であり、狭域人工画像境界線Ｌ１２よりも下部の領域が狭域人工画像領域である。
ステップＳ９７４において、狭域境界線比較部９９２は、注目画素のPNDPおよびSNDPをプロットした位置が、狭域人工画像領域であるか否かを判定する。例えば、注目画素のPNDPおよびSNDPをプロットした位置が、図３８における位置N３である場合、ステップＳ９７５において、狭域境界線比較部９９２は、その画素が狭域人工画像領域に属していることを内分計算部９９４に通知する。
ステップＳ９７６において、内分計算部９９４は、狭域境界線比較部９９２からの注目画素の狭域特徴量が狭域人工画像領域に属している旨の通知を取得すると、狭域人工画度Artnを１として人工画度生成部９１３に供給し、その処理は、ステップＳ９８２に進む。
ステップＳ９７４において、例えば、注目画素のPNDPおよびSNDPをプロットした位置が、図３８における位置N３ではなく、位置N２またはN１である場合、狭域境界線比較部９９２は、その画素が狭域人工画像領域に属していないとみなし、処理は、ステップＳ９７７に進む。
ステップＳ９７７において、狭域境界線比較部９９２は、注目画素のPNDPおよびSNDPをプロットした位置が、狭域自然画像領域であるか否かを判定する。例えば、注目画素のPNDPおよびSNDPをプロットした位置が、図３８における位置N１である場合、ステップＳ９７８において、狭域境界線比較部９９２は、その画素が広域自然画像領域に属していることを内分計算部９９４に通知する。
ステップＳ９７９において、内分計算部９９４は、狭域境界線比較部９９２からの注目画素の狭域特徴量が狭域自然画像領域に属している旨の通知を取得すると、狭域人工画度Artnを０として人工画度生成部９１３に供給し、その処理は、ステップＳ９８２に進む。
ステップＳ９７７において、例えば、注目画素のPNDPおよびSNDPをプロットした位置が、図３８における位置N１ではなく、位置N２である場合、狭域境界線比較部９９２は、その画素が狭域人工画像領域にも狭域自然画像領域にも属していないとみなし、処理は、ステップＳ９８０に進む。
ステップＳ９８０において、狭域境界線比較部９９２は、その画素が狭域混在領域に属していることと供に、狭域自然画像境界線Ｌ１１と狭域人工画像境界線Ｌ１２との内分比率を内分計算部９９４に通知する。すなわち、図３８の場合、位置N２は、狭域自然画像境界線Ｌ１１までの距離：狭域人工画像境界線Ｌ１２までの距離との比率は、ｐ：１−ｐとなるので、この情報が内分計算部９９４に通知される。
ステップＳ９８１において、内分計算部９９４は、狭域境界線比較部９９２からの注目画素の狭域特徴量が狭域混在領域に属している旨と供に、内分比率の通知を取得すると、内分比率ｐを狭域人工画度Artnとして人工画度生成部９１３に供給し、その処理は、ステップＳ９８２に進む。
ステップＳ９８２において、狭域境界線比較部９９２は、未処理の画素が存在するか否かを判定し、未処理の画素、すなわち、狭域特徴量が、狭域人工画像領域、狭域自然画像領域、または、狭域混在領域のいずれに属しているかが比較され、狭域人工画度が求められているか否かを判定し、全ての画素について、狭域人工画像度が求められていないと判定された場合、処理は、ステップＳ９７３に戻る。
一方、全ての画素について、狭域人工画度Artnが求められている場合、処理は終了する。
以上の処理により、全ての画素についてPNDPおよびSNDPからなる狭域特徴量が読み出されて、PNDP-SNDP空間においてプロットされ、複数の人工画像および自然画像の分布より統計的に求められた狭域人工画像境界線および狭域自然画像境界線と比較されることにより、PNDP-SNDP空間におけるプロット位置（PNDP，SNDP）と、狭域人工画像境界線および狭域自然画像境界線との位置関係に基づいて、狭域人工画像度Artnが算出されることになる。尚、以上においては、狭域混在領域に存在する場合、内分比率ｐが狭域人工画度Artnとして設定される例について説明してきたが、内分比が傾向として反映される値となればよいので、広域人工画度としては、例えば、ｐ2または√ｐなどでもよい。
ここで、図２５のフローチャートの説明に戻る。
ステップＳ８３９において、人工画度生成部９１３は、広域人工画度算出部９１２より供給されてきた広域人工画度Artb、および狭域人工画度算出部９１５より供給されてきた狭域人工画度Artnに基づいて、以下の式（１９）を計算することで、人工画度Artを生成し、画像処理部１１３に供給する。
Figure 0004683294
ここで、α，β，γは、定数である。また、人工画度Artは、０≦Art≦１を想定して設定されている値であるため、式（１９）の計算結果、人工画度Artが１以上である場合、人工画度生成部９１３は、人工画度Artを１にクリップして画像処理部１１３に供給する。
以上の処理により、上述した図２におけるステップＳ７の処理において、合成部１３３は、例えば、以下の式（２０）を演算することにより、自然画予測部１３１から供給される自然高品質画像の各画素の画素値と、人工画予測部１３２から供給される人工高品質画像の各画素の画素値とを人工画度に応じた割合で合成する。
Figure 0004683294
ここで、Pixは、最終的に合成されて生成される高品質画像の各画素の画素値であり、Pixnatは、自然画予測部１３１より供給されてきた自然画像であり、Pixartは、人工画予測部１３２より供給されてきた人工画像であり、さらに、Artは、人工画度の係数である。
以上によれば、画像に対して人工画像としての画像処理を施した画素と、自然画像としての画像処理を施した画素とを、人工画度に応じて合成することで、画像における自然画像としての要素を含む領域と人工画像としての要素を含む領域とを区別して、それぞれの領域に対して最適な処理を施すことが可能となる。
以上においては、図２８のフローチャートを参照して説明したBEP抽出処理のように、参照画素と注目画素との差分値の最大値と最小値との差分値を求めることにより、参照画素の差分ダイナミックレンジを求めることで、BEPを抽出する例について説明してきたが、参照画素の画素値の変化の大きな部分が求められればよいので、その他の方法でもよく、参照領域に含まれる画素の画素値の画素値ダイナミックレンジでも良い。尚、BEPとして画素値ダイナミックレンジを使用すると、参照領域の境界近傍の参照画素にエッジ領域に属する画素が含まれる場合と含まれない場合とで、BEPの値が大きく変化してしまう恐れがある。そこで、上述したように、BEPについては、距離に応じて重みを付する差分ダイナミックレンジの方がより好ましい結果を期待することができる。
また、BEPとしては、例えば、各参照画素の隣接画素間の画素値の差分絶対値を昇順に並べ替えて、上位の差分絶対値を用いて求めるようにしてもよい。
図３９は、各参照画素の隣接画素間の画素値の差分絶対値を昇順に並べ替えて、上位の差分絶対値を用いて参照画素のエッジの存在を表現するBEPとして求めるようにしたBEP抽出部９３１の構成例を示している。
図３９のBEP抽出部９３１は、バッファ１１０１、参照画素抽出部１１０２、隣接画素間差分絶対値計算部１１０３、並び替え部１１０４、上位抽出部１１０５、およびBEP計算部１１０６から構成されている。
バッファ１１０１は、基本的に図２１におけるバッファ１０１１と同様のものであり、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１１０２に供給する。参照画素抽出部１１０２は、基本的に図２１における参照画素抽出部１０２１と同様のものであり、順次、注目画素毎に参照画素を読み出して隣接画素間差分絶対値計算部１１０３に供給する。
隣接画素間差分絶対値計算部１１０３は、参照画素抽出部１１０２より供給されてくる参照画素のうち、上下左右方向に隣接する画素間の画素値の差分絶対値を求めて並び替え部１１０４に供給する。並び替え部１１０４は、隣接画素間差分絶対値計算部１１０３より供給されてくる参照画素の隣接画素間の差分絶対値を昇順に並び替えて上位抽出部１１０５に供給する。
上位抽出部１１０５は、並び替え部１１０４より供給されてきた隣接画素間差分絶対値の昇順に並び替えられた情報に基づいて、上位Ｎ１番目乃至Ｎ２番目の順位の値を抽出して、BEP計算部１１０６に供給する。BEP計算部１１０６は、上位抽出部１１０５より供給されてきた、隣接画素間差分絶対値の昇順に並び替えられた情報に基づいて、上位Ｎ１番目乃至Ｎ２番目の順位の値の平均値をBEPとして求め、特徴量合成部９３３に供給する。
ここで、図４０のフローチャートを参照して、図３９のBEP抽出部９３１によるBEP抽出処理について説明する。
ステップＳ１００１において、バッファ１１０１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
ステップＳ１００２において、参照画素抽出部１１０２は、バッファ１１０１より、未処理の画素を注目画素に設定すると供に、ステップＳ１００３において、注目画素に対応して設定されている参照画素を読み出して隣接画素間差分絶対値計算部１１０３に供給する。
ステップＳ１００４において、隣接画素間差分絶対値計算部１１０３は、未処理の参照画素の隣接画素間（注目画素を含む）の画素値の差分絶対値を計算し、並び替え部１１０４に供給する。
ステップＳ１００５において、並び替え部１１０４は、隣接画素間差分絶対値計算部１１０３より供給されてきた隣接画素間差分絶対値を蓄積する。
ステップＳ１００６において、隣接画素間差分絶対値計算部１１０３は、参照画素における全ての隣接画素間の差分絶対値を求めたか否かを判定し、例えば、全ての隣接画素間の差分絶対値が求められていないと判定された場合、処理は、ステップＳ１００４に戻る。
すなわち、全ての隣接画素間の差分絶対値が求められるまで、ステップＳ１００４乃至Ｓ１００６の処理が繰り返される。そして、ステップＳ１００４において、全ての隣接画素間の差分絶対値が求められて、並び替え部１１０４に全て蓄積されていると判定された場合、ステップＳ１００７において、並び替え部１１０４は、隣接画素間差分絶対値の計算結果を昇順に並び替えて上位抽出部１１０５に供給する。すなわち、並び替え部１１０４は、例えば、図４１で示されるように、隣接画素間差分絶対値を昇順に並び替えて、上位抽出部１１０５に供給する。尚、図４１においては、横軸が順位を示しており、縦軸が隣接画素間差分絶対値を示している。
ステップＳ１００８において、上位抽出部１１０５は、並び替え部１１０４より供給されてきた昇順に並び替えられている隣接画素間差分絶対値より上位Ｎ１番目乃至Ｎ２番目の順位の隣接画素間差分絶対値を抽出して、BEP計算部１１０６に供給する。すなわち、例えば、図４１の場合、図中の上位Ｎ１番目乃至Ｎ２番目の順位の隣接画素間差分絶対値から抽出される。
ステップＳ１００９において、BEP計算部１１０６は、上位Ｎ１番目乃至Ｎ２番目の順位の隣接画素間差分絶対値の平均値をBEPとして計算し、特徴量合成部９３３に出力する。
ステップＳ１０１０において、参照画素抽出部１１０２は、バッファ１１０１に記憶されている画像における全ての画素について、BEPが求められたか否かを判定する。ステップＳ１０１０において、画像の全ての画素についてBEPが求められていない場合、処理は、ステップＳ１００２に戻る。すなわち、バッファ１１０１に記憶された画像の全ての画素についてBEPが求められるまで、ステップＳ１００２乃至Ｓ１０１０の処理が繰り返される。そして、ステップＳ１０１０において、画像内の全ての画素についてBEPが求められたと判定された場合、BEP抽出処理が終了する。
以上の処理により、画像における広域のエッジを表現する特徴量であるBEPが求められる。すなわち、BEPは、隣接画素間差分絶対値の上位Ｎ１番目乃至Ｎ２番目の順位の平均値であり、参照画素の隣接画素間差分絶対値のうち比較的大きな値が、広域のエッジを表現する特徴量として抽出される。
尚、以上においては、上位Ｎ１番目乃至Ｎ２番目の順位の平均値をBEPとする例について説明してきたが、参照画素における隣接画素間差分絶対値を用いた広域の特徴量が求められればよいので、求め方は以上の方法以外でもよく、例えば、平均値ではなく各隣接画素間差分絶対値に対して重みを付加して積和を用いるようにしてもよいし、さらには、図４１で示されるように、上位Ｎ１番目乃至Ｎ２番目前後のＮ番目の順位の値をそのままBEPとするようにしてもよい。
また、以上においては、図２８のフローチャートを参照して説明したBFP抽出処理のように、参照画素の隣接画素間差分絶対値を所定の閾値thと比較し、閾値thよりも大きな値については、関数により所定の値を設定し、全ての参照画素における総和をBFPとする例について説明してきたが、参照画素の画素値の変化の小さな部分が求められればよいので、その他の方法でもよく、例えば、各参照画素の隣接画素間の画素値の差分絶対値を昇順に並べ替えて、下位の差分絶対値を用いて求めるようにしてもよい。
図４２は、各参照画素の隣接画素間の画素値の差分絶対値を昇順に並べ替えて、下位の差分絶対値を用いて参照画素の平坦部の存在を表現するBFPを求めるようにしたBFP抽出部９３２の構成例を示している。
図４２のBFP抽出部９３２は、バッファ１１２１、参照画素抽出部１１２２、隣接画素間差分絶対値計算部１１２３、並び替え部１１２４、上位抽出部１１２５、およびBFP計算部１１２６から構成されている。
バッファ１１２１は、基本的に図２２におけるバッファ１０３１と同様のものであり、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１１２２に供給する。参照画素抽出部１１２２は、基本的に図２２における参照画素抽出部１０３１と同様のものであり、順次、注目画素毎に参照画素を読み出して重み隣接画素間差分絶対値計算部１１２３に供給する。
隣接画素間差分絶対値計算部１１２３は、参照画素抽出部１１２２より供給されてくる参照画素のうち、上下左右方向に隣接する画素間の画素値の差分絶対値を求めて並び替え部１１２４に供給する。並び替え部１１２４は、隣接画素間差分絶対値計算部１１２３より供給されてくる参照画素の隣接画素間の差分絶対値を昇順に並び替えて下位抽出部１１２５に供給する。
下位抽出部１１２５は、並び替え部１１２４より供給されてきた隣接画素間差分絶対値の昇順に並び替えられた情報に基づいて、下位ｎ１番目乃至ｎ２番目の順位の値を抽出して、BFP計算部１１２６に供給する。BFP計算部１１２６は、下位抽出部１１２５より供給されてきた、隣接画素間差分絶対値の昇順に並び替えられた情報に基づいて、下位ｎ１番目乃至ｎ２番目の順位の値の平均値をBFPとして求め、特徴量合成部９３３に供給する。
ここで、図４３のフローチャートを参照して、図４２のBFP抽出部９３２によるBFP抽出処理について説明する。
ステップＳ１０３１において、バッファ１１２１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
ステップＳ１０３２において、参照画素抽出部１１２２は、バッファ１１２１より、未処理の画素を注目画素に設定すると供に、ステップＳ１０３３において、注目画素に対応して設定されている参照画素を読み出して隣接画素間差分絶対値計算部１１２３に供給する。
ステップＳ１０３４において、隣接画素間差分絶対値計算部１１２３は、未処理の参照画素の隣接画素間（注目画素を含む）の画素値の差分絶対値を計算し、並び替え部１１２４に供給する。
ステップＳ１０３５において、並び替え部１１２４は、隣接画素間差分絶対値計算部１１２３より供給されてきた隣接画素間差分絶対値を蓄積する。
ステップＳ１０３６において、隣接画素間差分絶対値計算部１１２３は、参照画素における全ての隣接画素間の差分絶対値を求めたか否かを判定し、例えば、全ての隣接画素間の差分絶対値が求められていないと判定された場合、処理は、ステップＳ１０３４に戻る。
すなわち、全ての隣接画素間の差分絶対値が求められるまで、ステップＳ１０３４乃至Ｓ１０３６の処理が繰り返される。そして、ステップＳ１０３４において、全ての隣接画素間の差分絶対値が求められて、並び替え部１１２４に全て蓄積されていると判定された場合、ステップＳ１０３７において、並び替え部１１２４は、隣接画素間差分絶対値の計算結果を昇順に並び替えて下位抽出部１１２５に供給する。すなわち、並び替え部１１２４は、例えば、図４４で示されるように、隣接画素間差分絶対値を昇順に並び替えて、下位抽出部１１２５に供給する。尚、図４４においては、横軸が順位を示しており、縦軸が隣接画素間差分絶対値を示している。
ステップＳ１０３８において、下位抽出部１１２５は、並び替え部１１２４より供給されてきた昇順に並び替えられている隣接画素間差分絶対値より下位ｎ１番目乃至ｎ２番目の順位の隣接画素間差分絶対値を抽出して、BFP計算部１１２６に供給する。すなわち、例えば、図４４の場合、図中の下位ｎ１番目乃至ｎ２番目の順位の隣接画素間差分絶対値から抽出される。
ステップＳ１０３９において、BFP計算部１１２６は、下位ｎ１番目乃至ｎ２番目の順位の隣接画素間差分絶対値の平均値をBFPとして計算し、特徴量合成部９３３に出力する。
ステップＳ１０４０において、参照画素抽出部１１２２は、バッファ１１２１に記憶されている画像における全ての画素について、BFPが求められたか否かを判定する。ステップＳ１０４０において、画像の全ての画素についてBFPが求められていない場合、処理は、ステップＳ１０３２に戻る。すなわち、バッファ１１２１に記憶された画像の全ての画素についてBFPが求められるまで、ステップＳ１０３２乃至Ｓ１０４０の処理が繰り返される。そして、ステップＳ１０４０において、画像内の全ての画素についてBFPが求められたと判定された場合、BFP抽出処理が終了する。
以上の処理により、画像における広域の平坦部を表現する特徴量であるBFPが求められる。すなわち、BFPは、隣接画素間差分絶対値の下位ｎ１番目乃至ｎ２番目の順位の平均値であり、参照画素の隣接画素間差分絶対値のうち比較的小さな値が、広域の平坦部を表現する特徴量として抽出される。
尚、以上においては、下位ｎ１番目乃至ｎ２番目の順位の平均値をBFPとする例について説明してきたが、参照画素における隣接画素間差分絶対値を用いた広域の特徴量が求められればよいので、求め方は以上の方法以外でもよく、例えば、平均値ではなく各隣接画素間差分絶対値に対して重みを付加して積和を用いるようにしてもよいし、さらには、図４４で示されるように、下位ｎ１番目乃至ｎ２番目の順位の前後のｎ番目の順位の値をそのままBFPとするようにしてもよい。
また、以上においては、PNDPは、図３３のフローチャートを参照して説明したPNDP抽出処理のように、参照画素に含まれる長タップの画素値ダイナミックレンジより求められる例について説明してきたが、参照画素の画素値ダイナミックレンジを用いるようにしてもよい。
図４５は、参照画素の画素値ダイナミックレンジを用いるようにしてPNDPを求めるようにしたPNDP抽出部９７１の構成例を示している。
図４５のPNDP抽出部９７１は、バッファ１１４１、参照画素抽出部１１４２、画素値抽出部１１４３、画素値蓄積部１１４３、最大値最小値抽出部１１４４、およびPNDP計算部１１４５から構成されている。
バッファ１１４１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１１４２に供給する。参照画素抽出部１１４２は、順次、注目画素毎に参照画素を読み出して、画素値を画素値蓄積部１１４３に蓄積させる。
最大値最小値抽出部１１４４は、画素値蓄積部１１４３に蓄積された参照画素の全ての画素の画素値のうち、最大値と最小値を抽出してPNDP計算部１１４５に供給する。
PNDP計算部１１４５は、最大値最小値抽出部１１４４より供給されてくる全ての参照画素の画素値の最大値から最小値を引いた値より参照画素の画素値ダイナミックレンジを求め、注目画素のPNDPとして出力する。
次に、図４６のフローチャートを参照して、図４５のPNDP抽出部９７１によるPNDP抽出処理について説明する。
ステップＳ１０５１において、バッファ１１４１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
ステップＳ１０５２において、参照画素抽出部１１４２は、バッファ１１４１より、未処理の画素を注目画素に設定すると供に、ステップＳ１０５３において、注目画素に対応して設定されている参照画素を読み出してその画素値を、ステップＳ１０５４において、画素値蓄積部１１４３に蓄積させる。
ステップＳ１０５５において、参照画素抽出部１１４２は、未処理の参照画素が存在するか否か、すなわち、全ての参照画素の画素値が画素値蓄積部１１４３に蓄積されたか否かを判定し、未処理の参照画素が存在する場合、その処理は、ステップＳ１０５４に戻る。すなわち、全ての参照画素について、ステップＳ１０５４，Ｓ１０５５の処理が繰り返される。
そして、ステップＳ１０５５において、未処理の参照画素がない、すなわち、全ての参照画素について画素値が抽出され、画素値蓄積部１１４３に全て蓄積されていると判定された場合、ステップＳ１０５６において、参照画素抽出部１１４２は、全ての参照画素について処理が終了したことを最大値最小値抽出部１１４４に通知する。これを受けて、最大値最小値抽出部１１４４は、画素値蓄積部１０５４に蓄積されている画素値のうち、最大値となる値と最小値となる値とを抽出してPNDP計算部１１４５に供給する。
ステップＳ１０５７において、PNDP計算部１１４５は、最大値最小値抽出部１１４４より供給されてきた画素値の最大値から最小値を引いた値である参照画素の画素値ダイナミックレンジを、注目画素に対するPNDPとして計算し、特徴量合成部９３３に供給する。
ステップＳ１０５８において、参照画素抽出部１１４２は、バッファ１１４１に記憶されている画像における全ての画素について、PNDPが求められたか否かを判定する。ステップＳ１０５８において、画像の全ての画素についてPNDPが求められていない場合、処理は、ステップＳ１０５２に戻る。すなわち、バッファ１１４１に記憶された画像の全ての画素についてPNDPが求められるまで、ステップＳ１０５２乃至Ｓ１０５８の処理が繰り返される。そして、ステップＳ１０５８において、画像内の全ての画素についてPNDPが求められたと判定された場合、PNDP抽出処理が終了する。
以上の処理により、画像における狭域のエッジを表現する特徴量であるPNDPが求められる。すなわち、PNDPは、注目画素に対する参照画素内の画素値ダイナミックレンジを表現することで、注目画素が属する狭域領域にエッジが存在したような場合、大きな値となり、逆にエッジが存在しない場合、小さな値を取ることになる。
さらに、以上においては、図３５のフローチャートを参照して説明したSNDP抽出処理のように、短タップの画素値ダイナミックレンジのうち最小の値をSNDPとして抽出する例について説明してきたが、狭域の平坦部の傾向を特徴量に利用できればよいので、図２２のBFP抽出部９３２と同様に、参照画素と注目画素との差分絶対値を関数で変換し、参照画素から注目画素までの経路に応じた重みを付して、閾値と比較し、比較結果を加算してSNDPとして抽出するようにしてもよい。
図４７は、参照画素と注目画素との差分絶対値を関数で変換し、参照画素から注目画素までの経路に応じた重みを付して、閾値と比較し、比較結果を加算してSNDPとして抽出するようにしたSNDP抽出部９７２の構成例を示している。
図４７のSNDP抽出部９７２は、バッファ１１６１、参照画素抽出部１１６２、隣接画素間差分計算部１１６３、関数変換部１１６４、重み計算部１１６５、乗算部１１６６、蓄積部１１６７、およびSNDP計算部１１６８から構成されている。
バッファ１１６１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１１６２に供給する。参照画素抽出部１１６２は、順次、注目画素毎に参照画素を読み出して画素間差分計算部１１６３および重み計算部１１６５に供給する。
画素間差分計算部１１６３は、参照画素抽出部１１６２より供給されてきた全ての参照画素について注目画素との差分絶対値を関数変換部１１６４に供給する。関数変換部１１６４は、画素間差分計算部１１６３より供給されてくる画素間差分絶対値を、設定した変換関数で変換し乗算部１１６６に供給する。
重み計算部１１６５は、補間画素生成部１１６５ａおよび差分計算部１１６５ｂを備えており、参照画素抽出部１１６２より供給されてくる参照画素の位置毎に、注目画素からの距離に応じた重みを計算し乗算部１１６６に供給する。より詳細には、重み計算部１１６５は、差分計算部１１６５ｂを制御して、注目画素と参照画素との経路上に存在する画素間の差分絶対値を積算し、積算結果に基づいて、重みｗsを求める。この際、重み計算部１１６５は、補間画素生成部１１６５ａ制御して、注目画素と参照画素との経路上に必要に応じて補間により画素を生成する。
乗算部１１６６は、重み計算部１１６５より供給されてくる重みｗsと、関数変換部１１６４より供給されてくる関数変換された画素間差分絶対値とを乗算し、蓄積部１１６７に蓄積させる。
SNDP計算部１１６８は、蓄積部１１６７に蓄積されている乗算結果を累積加算し、注目画素のSNDPとして出力する。
ここで、図４８のフローチャートを参照して、図４７のSNDP抽出部９７２によるSNDP抽出処理について説明する。
ステップＳ１０８１において、バッファ１１６１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
ステップＳ１０８２において、参照画素抽出部１１６２は、バッファ１１６１より、未処理の画素を注目画素に設定すると供に、ステップＳ１０８３において、注目画素に対応して設定されている参照画素を読み出して画素間差分計算部１１６３および重み計算部１１６５に供給する。
ステップＳ１０８４において、画素間差分計算部１１６３は、未処理の参照画素、すなわち、注目画素の画素値との差分絶対値を計算していない参照画素について、注目画素との画素値の画素間差分絶対値ｇを計算し、関数変換部１１６４に供給する。
ステップＳ１０８５において、関数変換部１１６４は、予め設定される関数Fに基づいて、画素間差分計算部１１６３より供給されてきた画素間差分絶対値ｇを変換して、乗算部１１６６に供給する。より詳細には、関数変換部１１６４は、例えば、図４９の実線で示される関数F（ｇ）に基づいて、値を変換し、変換した値を乗算部１１６６に出力する。図４９の実線で示される関数Ｆ（ｇ）においては、画素間差分絶対値ｇは、関数Fにより、所定の値より小さいときより大きく、所定の値より大きいときより小さく変換される。すなわち、所定の値を境界として値が変化する。
ステップＳ１０８６において、重み計算部１１６５は、注目画素と参照画素との間に補間生成すべき画素が存在するか否かを判定する。より詳細には、例えば、図５０で示されるように、注目画素Ｐ（０，０）と図中の二重丸印で示される参照画素Ｐ（２，４）とであった場合、注目画素Ｐ（０，０）と参照画素Ｐ（２，４）との経路上には、補間画素Ｐ（０．５，１），Ｐ（１．５，３）が必要となるため、補間の必要な画素が存在すると判定されることになる。この場合、処理は、ステップＳ１０８７に進む。
ステップＳ１０８７において、重み計算部１１６５は、補間生成部１１６５ａを制御し、補間画素を生成させる。例えば，図５０で注目画素Ｐ（０，０）と参照画素Ｐ（２，４）との場合、補間生成部１１６５ａは、補間画素Ｐ（０．５，１），Ｐ（１．５，３）の画素値を、例えば、それぞれ（Ｐ（０，１）＋Ｐ（１，１））／２，（Ｐ（１，３）＋Ｐ（１，１））／２などのように平均値として求める。尚、補間の方法はこれに限らず、それ以外の方法でもよく、例えば、重みを付加して総和を求めるようにしてもよい。
ステップＳ１０８６において、例えば、図５０において注目画素Ｐ（０，０）と図中のバツ印で示される参照画素Ｐ（３，３）とであった場合、注目画素Ｐ（０，０）と参照画素Ｐ（３，３）との経路上には、補間画素Ｐ（１，１），Ｐ（２，２）が存在するため、補間の必要な画素がないため、補間が必要な画素がないと判定されることになる。この場合、処理は、ステップＳ１０８７の処理はスキップされる。
ステップＳ１０８８において、重み計算部１１６５は、差分計算部１１６５ｂを制御して、注目画素と、参照画素との経路上の画素間差分絶対値の総和Ｄを計算し、総和Ｄより重みｗg＝１−Ｄ／Ｈ（Ｈは定数）を求め、乗算部１１６６に供給する。すなわち、図５０における注目画素Ｐ（０，０）と参照画素Ｐ（２，４）との場合、差分計算部１１６５ｂは、｜Ｐ（０，０）−Ｐ（０．５，１）｜，｜Ｐ（０．５，１）−Ｐ（１，２）｜，｜Ｐ（１，２）−Ｐ（１．５，３）｜，｜Ｐ（１．５，３）−Ｐ（２，４）｜の総和Ｄを計算する。さらに、重み計算部１１６５は、重みｗg＝１−Ｄ／Ｈを計算し、乗算部１１６６に供給する。尚、重みｗgは、PNDP等のパラメータに対応付けた値としてもよく、例えば、重みｗg＝１−Ｄ／PNDP、または重みｗg＝１−Ｄ／（√PNDP）とするようにしてもよい。
ステップＳ１０８９において、乗算部１１６６は、関数変換部１１６４より供給されてきた画素間差分絶対値ｇと、重み計算部１１６５より供給されてきた重みｗgとを乗算し、ステップＳ１０９０において、蓄積部１１６７に蓄積させる。
ステップＳ１０９１において、画素間差分計算部１１６３は、未処理の参照画素が存在するか否かを判定し、存在する場合、その処理は、ステップＳ１０８４に戻る。すなわち、全ての参照画素と注目画素との画素間差分絶対値が、ステップＳ１０８４乃至Ｓ１０９１の処理が繰り返されることにより求められる。
そして、ステップＳ１０９１において、未処理の参照画素がないと判定された場合、ステップＳ１０９２において、画素間差分計算部１１６３は、全ての参照画素について処理が終了したことをSNDP計算部１１６８に通知する。SNDP計算部１１６８は、蓄積部１１６７に蓄積されている乗算結果の総和を求めてSNDPとして出力する。
ステップＳ１０９３において、参照画素抽出部１１６２は、バッファ１１６１に記憶されている画像における全ての画素について、SNDPが求められたか否かを判定する。ステップＳ１０９３において、画像の全ての画素についてSNDPが求められていない場合、処理は、ステップＳ１０８２に戻る。すなわち、バッファ１１６１に記憶された画像の全ての画素についてSNDPが求められるまで、ステップＳ１０８２乃至Ｓ１０９３の処理が繰り返される。そして、ステップＳ１０９３において、画像内の全ての画素についてSNDPが求められたと判定された場合、SNDP抽出処理が終了する。
以上の処理により、画像における狭域の平坦部を表現する特徴量であるSNDPが求められる。すなわち、SNDPは、注目画素の属する狭域が平坦である場合、値が大きくなり、逆に、エッジなどが多く存在する、平坦ではないような場合、値が小さくなる。
以上において、変換関数Fは、例えば、図４９で示されるようなものでもよいことは、上述した通りであるが、PNDPと対応付けるようにしてもよく、例えば、画素間差分絶対値ｇが、閾値th11＝PNDP／ｂ１１以上の場合、F（ｇ）＝ＡＡ（ＡＡは定数）とし、画素間差分絶対値ｇが、閾値th2＝PNDP／ｂ１２以下の場合、Ｆ（ｇ）＝ＢＢ（ＢＢは定数）とし、さらに、画素間差分絶対値ｇが、閾値th12＝PNDP／ｂ１２より大きく閾値th11＝BEP／ｂ１１より小さい場合、Ｆ（ｇ）＝（ＢＢ−ＡＡ）・（ｇ−th11）／（th12−th11）＋ＡＡとするようにしてもよい。また、閾値th11，th12は、PNDPの傾向が使えればよいので、例えば、閾値th11＝（PNDP）2／ｂ１１，th12＝（PNDP）2／ｂ１２、または、閾値th11＝（√PNDP）／ｂ１１，th12＝（√PNDP）／ｂ１２などを利用するようにしても良い。
以上においては、図１で示されるように、自然画予測部１３１および人工画予測部１３２が、それぞれ予測処理を行った後、それらを自然画人工画判定部１１４により求められる人工画度Artに基づいて合成する例について説明してきたが、予め自然画像と人工画像とを分離して、それぞれ自然画予測部１３１および人工画予測部１３２に供給するようにしてもよい。
図５１は、予め自然画像と人工画像とを分離して、それぞれ自然画予測部１３１および人工画予測部１３２に供給するようにした画像変換装置１０１の構成例を示している。尚、図１における画像変換装置１０１と同様の構成については、同一の符号を付しており、その説明は適宜省略するものとする。
図５１の画像変換装置１０１において、図１の画像変換装置１０１と異なるのは、出力位相変換部１１２の後段に分離部１２０１が設けられており、自然画予測部１３１および人工画予測部１３２の後段に加算部１２０２が設けられている点が異なる。
分離部１２０１は、自然画人工画判定部１１４からの人工画度Artに基づいて、出力位相変換部１１２より供給されるHD画像を画素単位で分離し、自然画予測部１３１および人工画予測部１３２に供給する。
加算部１２０２は、自然画予測部１３１および人工画予測部１３２より供給されてくる画素を加算することにより、すなわち、分離されて、高画質化された画素をそれぞれ分離前の位置に再配置することで画像にする。
次に、図５２のフローチャートを参照して、図５１の画像変換装置１０１による画像変換処理について説明する。尚、図５２のフローチャートにおけるステップＳ１１１１乃至Ｓ１１１４，Ｓ１１１６，Ｓ１１１７の処理については、図２のフローチャートにおけるステップＳ１乃至Ｓ３，Ｓ６，Ｓ４，Ｓ５の処理と同様であるので、その説明は省略する。
ステップＳ１１１５において、分離部１２０１は、自然画人工画判定部１１４より供給されてくる人工画度Artに基づいて、出力位相変換部１１２より供給されるHD画像を画素単位で分離し、自然画予測部１３１および人工画予測部１３２にそれぞれ供給する。より詳細には、画素単位で、分離部１２０１は、人工画度Artが１の場合、その画素を人工画予測部１３２に供給し、一方、人工画度Artが０の場合、その画素を自然画予測部１３１に供給する。また、人工画度Artが０より大きく１より小さい場合、人工画度の情報と共にその画素を自然画予測部１３１および人工画予測部１３２の両方に供給する。このとき、分離部１２０１は、分離した画素の情報と併せて、自然画予測処理および人工画予測処理のために、入力画像も自然画予測部１３１および人工画予測部１３２に供給する。
そして、ステップＳ１１１６，Ｓ１１１７の処理により、自然画予測処理および人工画予測処理が行われた後、ステップＳ１１１８において、加算部１２０２は、自然画予測部１３１および人工画予測部１３２より供給されてくる画素を合わせることにより、高画質化された画像を生成して出力する。この際、分離部１２０１により分離される際、人工画度Artが０より大きく１より小さいときに、自然画予測部１３１および人工画予測部１３２のそれぞれに人工画度Artが付された状態で分離された画素については、人工画像には、人工画度Artを乗じると共に、自然画像には１より人工画度Artを引いた値（１−Art）を乗じた後、加算することで画素を生成する。
以上の処理により、図１の画像変換装置１０１と同様の効果を得ることが可能となる。また、図５１の画像変換装置１０１においては、人工画度Artにより自然画予測部１３１および人工画予測部１３２にそれぞれ供給される画素が振り分けられるので、処理負荷を低減させることが可能となる。
なお、以上においては、図３２で示されるように、広域人工画境界線Ｌ１が広域自然画像境界線Ｌ２の上側に存在する例について説明してきたが、この位置関係はBEPおよびBFPとして採用する特徴量によっては逆転することもある。
すなわち、BEPとして、参照画素の差分ダイナミックレンジ、参照画素を用いた画素値ダイナミックレンジ、または、参照画素の隣接画素間の画素値の差分絶対値を昇順に並べ替えて、上位の差分絶対値を用いる場合であって、BFPとして、参照画素の隣接画素間差分絶対値を所定の閾値thと比較し、閾値thよりも大きな値については、関数により所定の値を設定し、全ての参照画素における総和を用いるようなとき、縦軸にBFP、および横軸にBEPをとると、広域人工画像境界線は、広域自然画像境界線よりも上に位置する。また、BEPとして、参照画素の差分ダイナミックレンジ、参照画素を用いた画素値ダイナミックレンジ、または、参照画素の隣接画素間の画素値の差分絶対値を昇順に並べ替えて、上位の差分絶対値を用いる場合であって、BFPとして、参照画素の隣接画素間差分絶対値を昇順に並べ替えたとき、上位の値を用いるようなとき、縦軸にBFP、および横軸にBEPをとると、広域人工画像境界線は、広域自然画像境界線よりも下に位置する。
また、広域人工画境界線Ｌ１および広域自然画像境界線Ｌ２は、例えば、画像変換処理をする際のパラメータ、例えば、解像度軸値、ノイズ軸値、ズーム倍率といった設定により、広域人工画度Artbの値を高くしたり低くしたりすることが可能である。
すなわち、図５３の中段で示される広域人工画境界線Ｌ１および広域自然画像境界線Ｌ２は、図３２と同一のものであるが、例えば、画像変換処理における解像度を変化させた場合、解像度を上げたとき、図５３の上段で示されるように、広域人工画境界線Ｌ１’および広域自然画像境界線Ｌ２’が、それぞれ広域人工画境界線Ｌ１および広域自然画像境界線Ｌ２よりも低い位置となるため、同一の広域特徴量であれば、広域人工画度Artbが高い値を取りやすい状態となる。一方、解像度を下げたとき、図５３の下段で示されるように、広域人工画境界線Ｌ１’’および広域自然画像境界線Ｌ２’’が、高い位置となるため、同一の広域特徴量であれば、広域人工画度Artbが低い値をとりやすい状態となる。
同様にして、以上においては、図３８で示されるように、狭域自然画像境界線Ｌ１１が狭域人工画像境界線Ｌ１２の上側に存在する例について説明してきたが、この位置関係はPNDPおよびSNDPとして採用する特徴量によっては逆転することもある。
すなわち、PNDPとして、参照画素の画素値ダイナミックレンジを用いる場合であって、SNDPとして、注目画素と各参照画素との経路による重み付き差分絶対値和を用いたとき、縦軸にPNDP、および横軸にSNDPをとると、狭域人工画像境界線Ｌ１２は、狭域自然画像境界線Ｌ１１よりも上に位置する。また、PNDPとして、長タップの画素値ダイナミックレンジを用いる場合であって、SNDPとして、短タップの画素値ダイナミックレンジを用いるようなとき、縦軸にPNDP、および横軸にSNDPをとると、狭域人工画像境界線Ｌ１２は、狭域自然画像境界線Ｌ１１よりも下に位置する。
また、狭域自然画像境界線Ｌ１１および狭域人工画像境界線Ｌ１２は、例えば、画像変換処理をする際のパラメータ、例えば、解像度軸値、ノイズ軸値、ズーム倍率といった設定により、狭域人工画度Artnの値を高くしたり低くしたりすることが可能である。
すなわち、図５４の中段で示される狭域自然画像境界線Ｌ１１および狭域人工画像境界線Ｌ１２は、図３８と同一のものであるが、例えば、画像変換処理におけるノイズ軸値を変化させた場合、ノイズ軸値を上げたとき、図５４の上段で示されるように、狭域自然画像境界線Ｌ１１’および狭域人工画像境界線Ｌ１２’が、それぞれ狭域自然画像境界線Ｌ１１および狭域人工画像境界線Ｌ１２よりも低い位置となるため、同一の狭域特徴量であれば、狭域人工画度Artnが高い値を取りやすい状態となる。一方、ノイズ軸値を下げたとき、図５４の下段で示されるように、狭域自然画像境界線Ｌ１１’’および狭域人工画像境界線Ｌ１２’’が、それぞれ狭域自然画像境界線Ｌ１１および狭域人工画像境界線Ｌ１２よりも高い位置となるため、同一の狭域特徴量であれば狭域人工画度Artnが低い値をとりやすい状態となる。
以上においては、広域特徴量としてBEPおよびBFPを、狭域特徴量としてPNDP、およびSNDPを用いた例について説明してきたが、広域特徴量については、エッジや平坦部を表現できるパラメータであれば、BEPおよびBFPに限るものではなく、それ以外の特徴量を使用するようにしてもよい。また、狭域特徴量についても同様に、上述したPNDPおよびSNDPのみならず、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションなどが表現できる特徴量であれば、それらの特徴量を使用するようにしてもよい。さらに、以上においては、広域特徴量および狭域特徴量について、それぞれ２種類の特徴量を使用する例について説明してきたが、それ以上の種類の特徴量を使用するようにしてもよく、その場合、人工画像と自然画像との境界線については、図３２や図３８で示されるような２次元ではなく、特徴量の数ｎに応じたｎ次元で表現される境界線または境界面などとなるが、ｎ次空間における特徴量の存在領域を判定したり、混在領域において、境界線間、または、境界面間の距離の比率を求めるといった基本的な処理は同様である。
以上によれば、画像を画素単位で自然画像または人工画像を識別し、自然画予測処理および人工画予測処理を施すことが可能となり、各画素について適切に予測処理を施すことができるので、画像全体の品質を的確に高めることが可能となる。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
図５５は、図１，図５１の画像変換装置１０１の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU２００１は、パーソナルコンピュータの全体の動作を制御する。また、CPU２００１は、バス２００４および入出力インタフェース２００５を介してユーザからキーボードやマウスなどからなる入力部２００６から指令が入力されると、それに対応してROM(Read Only Memory)２００２に格納されているプログラムを実行する。あるいはまた、CPU２００１は、ドライブ２０１０に接続された磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリを含むリムーバルディスク２０１１から読み出され、記憶部２００８にインストールされたプログラムを、RAM(Random Access Memory)２００３にロードして実行する。これにより、上述した図１，図５１の画像変換装置１０１の機能が、ソフトウェアにより実現されている。さらに、CPU２００１は、通信部２００９を制御して、外部と通信し、データの授受を実行する。
プログラムが記録されている記録媒体は、図５５に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク（MD（Mini-Disc）を含む）、もしくは半導体メモリを含むリムーバルメディア２０１１などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２００２や、記憶部２００８に含まれるハードディスクなどで構成される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
本発明を適用した画像変換装置の一実施の形態の構成を示すブロック図である。 図１の画像変換装置により実行される画像変換処理を説明するフローチャートである。 自然画予測部の詳細構成例を示すブロック図である。 クラスタップのタップ構造を示す図である。 予測タップのタップ構造を示す図である。 自然画予測処理の詳細を説明するフローチャートである。 学習装置の構成例を示すブロック図である。 教師画像と生徒画像の画素の位置関係を説明する図である。 学習処理を説明するフローチャートである。 人工画予測部の構成例を示すブロック図である。 クラス分類部の詳細構成例を示すブロック図である。 他のクラスタップのタップ構造を示す図である。 予測部の詳細構成例を示すブロック図である。 他の予測タップのタップ構造を示す図である。 人工画予測処理を説明するフローチャートである。 クラス分類処理を説明するフローチャートである。 他の学習装置の構成例を示すブロック図である。 生成部の詳細構成例を示すブロック図である。 他の学習処理を説明するフローチャートである。 自然画人工画判定部の構成例を示すブロック図である。 図２０のBEP抽出部の構成例を示すブロック図である。 図２０のBFP抽出部の構成例を示すブロック図である。 図２０のPNDP抽出部の構成例を示すブロック図である。 図２０のSNDP抽出部の構成例を示すブロック図である。 図２０の自然画人工画判定部による自然画人工画判定処理を説明するフローチャートである。 図２１のBEP抽出部によるBEP抽出処理を説明するフローチャートである。 参照画素を説明する図である。 図２２のBFP抽出部によるBFP抽出処理を説明するフローチャートである。 隣接画素間差分絶対値を求める参照画素の関係について説明する図である。 変換関数ｆを説明する図である。 広域人工画度算出処理を説明するフローチャートである。 広域境界線を説明する図である。 図２３のPNDP抽出部によるPNDP抽出処理を説明するフローチャートである。 長タップを説明する図である。 図２４のSNDP抽出部によるSNDP抽出処理を説明するフローチャートである。 短タップを説明する図である。 狭域人工画度算出処理を説明するフローチャートである。 狭域境界線を説明する図である。 BEP抽出部のその他の構成例を示すブロック図である。 図３９のBEP抽出部によるBEP抽出処理を説明するフローチャートである。 図３９のBEP抽出部によるBEP抽出処理を説明する図である。 BFP抽出部のその他の構成例を示すブロック図である。 図４２のBFP抽出部によるBFP抽出処理を説明するフローチャートである。 図４２のBFP抽出部によるBFP抽出処理を説明する図である。 PNDP抽出部のその他の構成例を示すブロック図である。 図４５のPNDP抽出部によるPNDP抽出処理を説明するフローチャートである。 SNDP抽出部のその他の構成例を示すブロック図である。 図４７のSNDP抽出部によるSNDP抽出処理を説明するフローチャートである。 変換関数Fを説明する図である。 補間生成する画素を説明する図である。 画像変換装置のその他の構成例を説明する図である。 図５１による画像変換処理を説明するフローチャートである。 広域人工画境界線および広域自然画境界線を説明する図である。 狭域人工画境界線および狭域自然画境界線を説明する図である。 媒体を説明する図である。
符号の説明
１１４ 自然画人工画判定部， ６５１ クラス分類部， ６５２ 係数種メモリ， ６５３ 予測係数生成部， ６５４ 予測係数メモリ， ６５５ 予測部， ８１１ 学習装置， ８２２ クラス分類部， ８２３ 生成部， ８２４ 係数生成部， ８２５ 正規方程式生成部， ８２６ 係数種決定部， ８２７ 係数種メモリ， ８３１ 予測タップ抽出部， ８３２ 正規方程式生成部， ８４０ クラス分類部， ８４１ クラス決定部， ８６１ クラス分類器， ８６２ クラス分類器， ８６３ クラス選択部， ９１１ 広域特徴量抽出部， ９１２ 広域人工画度算出部， ９１３ 人工画度生成部， ９１４ 狭域特徴量抽出部， ９１５ 狭域人工画度算出部， ９３１ BEP抽出部， ９３２ BFP抽出部， ９５２ 広域境界線比較部， ９７１ PNDP抽出部， ９７２ SNDP抽出部， ９９２ 狭域境界線比較部

Claims (16)

  1. 第１の画像の注目画素に対して第１の所定の領域に存在する画素より、エッジまたは平坦部を表現可能な複数の種類の特徴量からなる広域特徴量を抽出する広域特徴量抽出手段と、
    前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲に対する、前記広域特徴量抽出手段により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出する広域人工画度算出手段と、
    前記第１の画像の注目画素に対して前記第１の所定の領域よりも狭い第２の所定の領域に存在する画素より、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現可能な複数の種類の特徴量からなる狭域特徴量を抽出する狭域特徴量抽出手段と、
    前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲に対する、前記狭域特徴量抽出手段により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出する狭域人工画度算出手段と、
    前記広域人工画度および前記狭域人工画度を合成して、前記注目画素の人工画度を算出する人工画度算出手段と
    を含む画像処理装置。
  2. 前記第１の画像より、前記人工画像を高品質化した第２の画像を予測する第１の予測手段と、
    前記第１の画像より、階調が多くエッジがはっきりしない画像である自然画像を高品質化した第３の画像を予測する第２の予測手段と、
    前記第２の画像と前記第３の画像とを、前記人工画度により合成する合成手段と
    をさらに含む
    請求項１に記載の画像処理装置。
  3. 前記第１の予測手段は、
    前記第２の画像の画素を、第１のクラスに分類する第１のクラス分類手段と、
    複数の前記人工画像を用いた学習により獲得された前記第１のクラスごとの第１の予測係数を格納する第１の格納手段と、
    前記第１の画像と、前記第２の画像の画素の前記第１のクラスの第１の予測係数とを用いて演算することで、前記第１の画像から前記第１の画像より高品質の第２の画像を求める第１の演算手段とを含み、
    前記第２の予測手段は、
    前記第３の画像の画素を、第２のクラスに分類する第２のクラス分類手段と、
    複数の、前記自然画像を用いた学習により獲得された前記第２のクラスごとの第２の予測係数を格納する第２の格納手段と、
    前記第１の画像と、前記第３の画像の画素の前記第２のクラスの第２の予測係数とを用いて演算することで、前記第１の画像から前記第３の画像を求める第２の演算手段とを含む
    請求項２に記載の画像処理装置。
  4. 前記広域人工画度算出手段は、
    前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲を記憶する広域人工画分布範囲記憶手段を含み、
    前記広域人工画分布範囲記憶手段に記憶されている、前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間の分布範囲に対する、前記広域特徴量抽出手段により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出する
    請求項１に記載の画像処理装置。
  5. 前記狭域人工画度算出手段は、
    前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲が記憶されている狭域人工画分布範囲記憶手段を含み、
    前記狭域人工画分布範囲記憶手段に記憶されている、前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間の分布範囲に対する、前記狭域特徴量抽出手段により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出する
    請求項１に記載の画像処理装置。
  6. 前記広域特徴量抽出手段は、
    前記第１の所定の領域に存在する画素より、エッジの存在を表現する特徴量を抽出するエッジ特徴量抽出手段と、
    前記第１の所定の領域に存在する画素より、平坦部の存在を表現する特徴量を抽出する平坦部特徴量抽出手段とを含む
    請求項１に記載の画像処理装置。
  7. 前記エッジ特徴量抽出手段は、前記エッジの存在を表現する特徴量として、前記第１の所定の領域に存在する画素と前記注目画素との画素値の差分値を用いて、前記第１の所定の領域に存在する画素の差分ダイナミックレンジを抽出する
    請求項６に記載の画像処理装置。
  8. 前記エッジ特徴量抽出手段は、前記注目画素と前記第１の所定の領域に存在する画素との差分値に、前記注目画素と前記第１の所定の領域に存在する画素との距離に応じた重みを付した値を用いて、前記第１の所定の領域に存在する画素の差分ダイナミックレンジを抽出する
    請求項７に記載の画像処理装置。
  9. 前記狭域特徴量抽出手段は、
    前記第２の所定の領域に包含される第１の領域に存在する画素の画素値の最大値より最小値を引いた画素値ダイナミックレンジを前記狭域特徴量の第１の特徴量として抽出する第１の狭域特徴量抽出手段と、
    前記第１の領域に包含され、かつ、前記注目画素を包含する第２の領域の画素の画素値の最大値より最小値を引いた画素値ダイナミックレンジを前記狭域特徴量の第２の特徴量として抽出する第２の狭域特徴量抽出手段とを含み、
    前記第２の所定の領域に存在する画素より、細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現する２種類の特徴量として前記第１の特徴量および前記第２の特徴量を求め、前記第１の特徴量および前記第２の特徴量の２種類の特徴量からなる狭域特徴量を抽出する
    請求項１に記載の画像処理装置。
  10. 前記第２の狭域特徴量抽出手段は、複数の前記第２の領域より、それぞれ画素値ダイナミックレンジを抽出する場合、前記画素値ダイナミックレンジが最小となるものを前記第２の特徴量として抽出する
    請求項９に記載の画像処理装置。
  11. 前記狭域特徴量抽出手段は、
    前記第２の所定の領域に存在する画素の画素値の画素値ダイナミックレンジを前記狭域特徴量の第１の特徴量として抽出する前記第１の狭域特徴量抽出手段と、
    前記第２の所定の領域に存在する画素と、前記注目画素との差分絶対値を所定の関数で処理し、さらに、重みを付した値を加算した値を積算した値を前記狭域特徴量の第２の特徴量として抽出する前記第２の狭域特徴量抽出手段とを含み、
    前記第２の所定の領域に存在する画素より、細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現する２種類の特徴量として前記第１の特徴量および前記第２の特徴量を求め、前記第１の特徴量および前記第２の特徴量の２種類の特徴量からなる狭域特徴量を抽出する
    請求項１に記載の画像処理装置。
  12. 前記注目画素から前記第１の領域に存在する画素までの経路上に存在する全ての画素の隣接画素間の差分絶対値の総和に応じた値からなる前記重みを計算する重み計算手段を含む
    請求項１１に記載の画像処理装置。
  13. 前記所定の関数は、前記第１の特徴量に対応した関数である
    請求項１１に記載の画像処理装置。
  14. 第１の画像の注目画素に対して第１の所定の領域に存在する画素より、エッジまたは平坦部を表現可能な複数の種類の特徴量からなる広域特徴量を抽出する広域特徴量抽出ステップと、
    前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲に対する、前記広域特徴量抽出ステップの処理により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出する広域人工画度算出ステップと、
    前記第１の画像の注目画素に対して前記第１の所定の領域よりも狭い第２の所定の領域に存在する画素より、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現可能な複数の種類の特徴量からなる狭域特徴量を抽出する狭域特徴量抽出ステップと、
    前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲に対する、前記狭域特徴量抽出ステップの処理により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出する狭域人工画度算出ステップと、
    前記広域人工画度および前記狭域人工画度を合成して、前記注目画素の人工画度を算出する人工画度算出ステップと
    を含む画像処理方法。
  15. 第１の画像の注目画素に対して第１の所定の領域に存在する画素より、エッジまたは平坦部を表現可能な複数の種類の特徴量からなる広域特徴量を抽出する広域特徴量抽出ステップと、
    前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲に対する、前記広域特徴量抽出ステップの処理により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出する広域人工画度算出ステップと、
    前記第１の画像の注目画素に対して前記第１の所定の領域よりも狭い第２の所定の領域に存在する画素より、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現可能な複数の種類の特徴量からなる狭域特徴量を抽出する狭域特徴量抽出ステップと、
    前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲に対する、前記狭域特徴量抽出ステップの処理により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出する狭域人工画度算出ステップと、
    前記広域人工画度および前記狭域人工画度を合成して、前記注目画素の人工画度を算出する人工画度算出ステップと
    を含むコンピュータが読み取り可能なプログラムが記録されているプログラム記録媒体。
  16. 第１の画像の注目画素に対して第１の所定の領域に存在する画素より、エッジまたは平坦部を表現可能な複数の種類の特徴量からなる広域特徴量を抽出する広域特徴量抽出ステップと、
    前記広域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、階調が少なくエッジがはっきりした人工的な画像である人工画像の統計的な分布範囲に対する、前記広域特徴量抽出ステップの処理により抽出された広域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す広域人工画度を算出する広域人工画度算出ステップと、
    前記第１の画像の注目画素に対して前記第１の所定の領域よりも狭い第２の所定の領域に存在する画素より、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションを表現可能な複数の種類の特徴量からなる狭域特徴量を抽出する狭域特徴量抽出ステップと、
    前記狭域特徴量に含まれる複数の特徴量により表現される多次元の空間における、前記第１の画像のうち、前記人工画像の統計的な分布範囲に対する、前記狭域特徴量抽出ステップの処理により抽出された狭域特徴量の前記空間内の位置関係により、前記人工画像の分布領域に属する程度を示す狭域人工画度を算出する狭域人工画度算出ステップと、
    前記広域人工画度および前記狭域人工画度を合成して、前記注目画素の人工画度を算出する人工画度算出ステップと
    を含む処理をコンピュータに実行させるプログラム。
JP2006073557A 2006-03-16 2006-03-16 画像処理装置および方法、プログラム記録媒体、並びにプログラム Expired - Fee Related JP4683294B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006073557A JP4683294B2 (ja) 2006-03-16 2006-03-16 画像処理装置および方法、プログラム記録媒体、並びにプログラム
TW96108812A TW200802188A (en) 2006-03-16 2007-03-14 Image processing apparatus and method, program recording medium and program
US11/686,017 US7881539B2 (en) 2006-03-16 2007-03-14 Image processing apparatus and method, program recording medium, and program
EP20070104268 EP1835461A2 (en) 2006-03-16 2007-03-15 Image processing adapted to natural and artificial image components
CNB2007100874547A CN100570629C (zh) 2006-03-16 2007-03-16 图像处理装置和方法
KR20070026226A KR20070094566A (ko) 2006-03-16 2007-03-16 화상 처리 장치 및 방법, 프로그램 기록 매체와 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006073557A JP4683294B2 (ja) 2006-03-16 2006-03-16 画像処理装置および方法、プログラム記録媒体、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2007251687A JP2007251687A (ja) 2007-09-27
JP2007251687A5 JP2007251687A5 (ja) 2009-04-30
JP4683294B2 true JP4683294B2 (ja) 2011-05-18

Family

ID=38134208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006073557A Expired - Fee Related JP4683294B2 (ja) 2006-03-16 2006-03-16 画像処理装置および方法、プログラム記録媒体、並びにプログラム

Country Status (6)

Country Link
US (1) US7881539B2 (ja)
EP (1) EP1835461A2 (ja)
JP (1) JP4683294B2 (ja)
KR (1) KR20070094566A (ja)
CN (1) CN100570629C (ja)
TW (1) TW200802188A (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5200642B2 (ja) * 2008-04-15 2013-06-05 ソニー株式会社 画像表示装置及び画像表示方法
TWI410820B (zh) * 2008-04-22 2013-10-01 Applied Materials Israel Ltd 評估物件的方法及系統
KR101361005B1 (ko) 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
US20100166257A1 (en) * 2008-12-30 2010-07-01 Ati Technologies Ulc Method and apparatus for detecting semi-transparencies in video
US8977044B2 (en) * 2011-02-18 2015-03-10 Fuji Xerox Co., Ltd. Image processing apparatus for area separation of images, image processing method, and computer readable medium
KR101934261B1 (ko) * 2012-07-09 2019-01-03 삼성전자 주식회사 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치
WO2014192412A1 (ja) * 2013-05-28 2014-12-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2015176252A (ja) * 2014-03-13 2015-10-05 オムロン株式会社 画像処理装置および画像処理方法
JP2016110354A (ja) 2014-12-05 2016-06-20 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、およびプログラム
CN108460389B (zh) * 2017-02-20 2021-12-03 阿里巴巴集团控股有限公司 一种识别图像中对象的类型预测方法、装置及电子设备
KR101882704B1 (ko) 2017-12-18 2018-07-27 삼성전자주식회사 전자 장치 및 그 제어 방법
US11074671B2 (en) 2017-12-18 2021-07-27 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
JP7218215B2 (ja) * 2019-03-07 2023-02-06 株式会社日立製作所 画像診断装置、画像処理方法及びプログラム
CN111046803A (zh) * 2019-12-13 2020-04-21 电子科技大学 一种基于卷积神经网络的车辆检测及着地点定位方法
CH717600A2 (de) 2020-06-30 2021-12-30 Alpla Werke Alwin Lehner Gmbh & Co Kg Kunststoffbehälter.
CH718924A1 (de) 2021-08-27 2023-02-28 Alpla Werke Alwin Lehner Gmbh & Co Kg Streckgeblasener Kunststoffbehälter mit einem am Behälterkörper ausgebildeten Handgriff und Verfahren zum Herstellen.

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002064835A (ja) * 2000-08-22 2002-02-28 Sony Corp 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP2002084428A (ja) * 2000-09-11 2002-03-22 Ricoh Co Ltd 画像データの圧縮方法，圧縮／伸張方法，記録媒体，圧縮器，画像記憶装置，画像読取装置および画像形成装置
JP2002247611A (ja) * 2001-02-16 2002-08-30 Matsushita Electric Ind Co Ltd 画像判別回路、画質補正装置、画像判別方法、画質補正方法、およびプログラム
JP2003324738A (ja) * 2002-04-30 2003-11-14 Sony Corp 画像信号処理装置及び方法、並びにプログラム及び記録媒体
JP2005018465A (ja) * 2003-06-26 2005-01-20 Canon Inc 画像処理装置及び方法並びにプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09167240A (ja) 1995-12-15 1997-06-24 Sony Corp ディジタル画像信号処理装置および方法
AU2003212574A1 (en) * 2002-03-26 2003-10-08 Koninklijke Philips Electronics N.V. Classifying pixels as natural or synthetic image content
JP3974572B2 (ja) * 2003-11-28 2007-09-12 松下電器産業株式会社 画像表示装置、画像データ転送方法、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002064835A (ja) * 2000-08-22 2002-02-28 Sony Corp 画像信号処理装置、画像信号処理方法、学習装置、学習方法及び記録媒体
JP2002084428A (ja) * 2000-09-11 2002-03-22 Ricoh Co Ltd 画像データの圧縮方法，圧縮／伸張方法，記録媒体，圧縮器，画像記憶装置，画像読取装置および画像形成装置
JP2002247611A (ja) * 2001-02-16 2002-08-30 Matsushita Electric Ind Co Ltd 画像判別回路、画質補正装置、画像判別方法、画質補正方法、およびプログラム
JP2003324738A (ja) * 2002-04-30 2003-11-14 Sony Corp 画像信号処理装置及び方法、並びにプログラム及び記録媒体
JP2005018465A (ja) * 2003-06-26 2005-01-20 Canon Inc 画像処理装置及び方法並びにプログラム

Also Published As

Publication number Publication date
JP2007251687A (ja) 2007-09-27
KR20070094566A (ko) 2007-09-20
EP1835461A2 (en) 2007-09-19
CN101038625A (zh) 2007-09-19
TW200802188A (en) 2008-01-01
US7881539B2 (en) 2011-02-01
CN100570629C (zh) 2009-12-16
US20080013835A1 (en) 2008-01-17
TWI348658B (ja) 2011-09-11

Similar Documents

Publication Publication Date Title
JP4683294B2 (ja) 画像処理装置および方法、プログラム記録媒体、並びにプログラム
JP4470899B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
EP1280072B1 (en) Image retrieval apparatus and image retrieving method
WO2015083396A1 (ja) 画像処理装置及び画像処理方法
JP2015011585A (ja) 画像処理装置、画像形成装置、画像形成システム、画像処理方法およびプログラム
JP4772819B2 (ja) 画像検索装置および画像検索方法
JP4605468B2 (ja) 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム
JP3671469B2 (ja) 予測係数の学習方法並びに信号変換装置および方法
JP5701467B1 (ja) 画像処理装置及び画像処理方法
JP4973591B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法
CN115937540A (zh) 基于Transformer编码器的图像匹配方法
JP5511628B2 (ja) フレームレート変換装置及びプログラム
US20110194607A1 (en) Information Processing Device, Information Processing Method, and Program
CN116686000A (zh) 图像处理装置、程序和图像处理方法
GB2292039A (en) Motion analysis of moving images
JP3020299B2 (ja) 動きベクトル検出装置
JP3861325B2 (ja) 動きベクトル検出装置および検出方法
JP4273979B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
US8311963B2 (en) Signal processing apparatus, signal processing method, signal processing program and learning apparatus
JPH09265530A (ja) 辞書作成方法およびカラー画像認識方法
US20110242417A1 (en) Image processing apparatus
JPH04266292A (ja) 画像信号の動き補償予測方法
JP3033291B2 (ja) 画素間相関適応型動き検出方式
JP4449281B2 (ja) 情報処理装置および情報処理方法
JP2007287024A (ja) 領域検出装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090313

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees