[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2007507932A - 補正方法 - Google Patents

補正方法 Download PDF

Info

Publication number
JP2007507932A
JP2007507932A JP2006529982A JP2006529982A JP2007507932A JP 2007507932 A JP2007507932 A JP 2007507932A JP 2006529982 A JP2006529982 A JP 2006529982A JP 2006529982 A JP2006529982 A JP 2006529982A JP 2007507932 A JP2007507932 A JP 2007507932A
Authority
JP
Japan
Prior art keywords
dust
correction method
region
image
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006529982A
Other languages
English (en)
Other versions
JP2007507932A5 (ja
JP4416795B2 (ja
Inventor
スタインバーグ,エラン
プリルツキー,ユーリ
コーコラン,ピーター
ビヂオイ、ペトロネル
ザンフィル,アドリアン
バジル,ブツロイウ
ウルス,ダヌッツ
ザンフィル,マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Vision Ltd
Original Assignee
Fotonation Vision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/677,139 external-priority patent/US7340109B2/en
Priority claimed from US10/676,823 external-priority patent/US7369712B2/en
Priority claimed from US10/677,134 external-priority patent/US7308156B2/en
Application filed by Fotonation Vision Ltd filed Critical Fotonation Vision Ltd
Publication of JP2007507932A publication Critical patent/JP2007507932A/ja
Publication of JP2007507932A5 publication Critical patent/JP2007507932A5/ja
Application granted granted Critical
Publication of JP4416795B2 publication Critical patent/JP4416795B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4097Removing errors due external factors, e.g. dust, scratches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/155Removing patterns interfering with the pattern to be recognised, such as ruled lines or underlines
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】ダスト、スクラッチ及び他の光学的なブレミッシュを自動的に検出し、補正できる好適な画像補正方法を提供する。
【解決手段】光学システムに含まれるデジタル取得装置によって取得された画像内のダスト人工物領域を自動補正する補正方法であって、前記デジタル取得装置で取得する一つ以上の原画像デジタル取得ステップと、複数の画素が前記一つ以上のデジタル取得画像の中のダスト人工物領域に一致する確率を決定するステップと、一つ以上の画像が取得されたとき前記光学システムの関連する一つ以上の抽出されたパラメータとダスト人工物領域を結びつけるステップと、前記ダスト人工物確率決定と前記結びつけに基づき描かれたダスト領域を含んでいる統計的なダストマップを形成するステップと、前記結び付けられた統計的なダストマップに基づき、前記一つ以上の各原画像の中のダスト人工物領域に一致する画素を補正するステップとを有することを特徴とする補正方法。
【選択図】図1

Description

本発明は、デジタル写真撮影に関し、特にデジタル処理に関してデジタル化され、取得された撮影画像から人工的な欠陥を取り除く方法に関する。
一般的な撮影装置、特にデジタル撮影装置の多くの問題が起こる。
従来は、画像処理の二つの確立された方法には、ダスト、スクラッチ、類似の不具合を見つけ出し検出する方法と、その不具合によって生じる画像の歪みを改善する方法とが含まれていた。
ダスト、スクラッチ及び他の光学的なブレミッシュを自動的に検出し、補正できる好適なシステムが望まれる。
ダストは、長期間、スキャナ装置において大きな問題となっている。スキャナ装置の様々な側面が、適切な場合には画像処理技術によって高められ、紙、画像/フィルムスキャナに関する不具合、ダストの検出方法として採用される。
これらの装置は、ドキュメントプラテンを横切って1Dセンサーピクセルアレイを動かすことによって画像を形成する。これらの装置の実施及び物理的な事項は、基本的なセンサー分野のものや、カメラ型の装置とは明らかに異なる。
ダスト及びブレミッシュの検出と、基本的な又はカメラ型の取得装置のための補正技術を持つことが特に望まれる。
画像補正は、ディスプレイ装置、プリンターのような出力装置、デジタルセンサーに関連して研究されている。
ダスト人工物の画像補正は、欠損データの再現するために使用することができる。
上記課題を解決するために、本願発明の請求項1に係る発明は、光学システムに含まれるデジタル取得装置によって取得された画像内のダスト人工物領域を自動補正する補正方法であって、前記デジタル取得装置で取得する一つ以上の原画像デジタル取得ステップと、
複数の画素が前記一つ以上のデジタル取得画像の中のダスト人工物領域に一致する確率を決定するステップと、一つ以上の画像が取得されたとき前記光学システムの関連する一つ以上の抽出されたパラメータとダスト人工物領域を結びつけるステップと、前記ダスト人工物確率決定と前記結びつけに基づき描かれたダスト領域を含んでいる統計的なダストマップを形成するステップと、前記結び付けられた統計的なダストマップに基づき、前記一つ以上の各原画像の中のダスト人工物領域に一致する画素を補正するステップとを有することを特徴とする補正方法である。
請求項2では、前記一つ以上の抽出されたパラメータは、デジタル取得装置の光学系の絞り口径寸法、Fナンバー、変倍率、レンズ種類及び焦点距離のうちいずれか、又は、それらの組み合わせを有していることを特徴とする請求項1に記載の補正方法。
請求項3では、前記一つ以上の抽出されたパラメータは、前記デジタル取得装置で取得された前記複数の原デジタル画像の中の一つ以上の前記ダスト人工物領域比較から経験的に計算されることを特徴とする請求項2に記載の補正方法。
請求項4では、前記一つ以上の抽出されたパラメータは、絞り口径寸法及び焦点距離のうち少なくとも一方を含んでいることを特徴とする請求項2に記載の補正方法。
請求項5では、前記デジタル取得装置で取得された画像をさらにデジタル的に取得するステップと、前記決定と結び付けを繰り返すステップと、前記さらなるダスト人工物決定と結びつけに基づき前記記述されたダスト領域を更新することを含む前記統計的ダストマップを更新するステップとを有することを特徴とする請求項1に記載の補正方法。
請求項6では、前記更新され、結び付けられた統計的ダストマップに基づき前記さらなる画像の中の関連付けられたダスト人工物領域に一致する画素を補正するステップを含むことを特徴とする請求項5に記載の補正方法。
請求項7では、前記結び付けられた統計的なダストマップの前記更新に基づき、前記一つ以上の原画像の一つ以上を更新するステップを有することを特徴とする請求項5に記載の補正方法。
請求項8では、前記決定し結び付ける前記さらなるデジタル的な取得画像のために繰り返すステップと、前記追加のダスト人工物決定と結び付けとに基づき、前記記述されたダスト領域を更新することを含む前記統計的ダストマップを更新するステップとを含むことを特徴とする請求項5に記載の補正方法。
請求項9では、存在するダストの動き又は新しいダストの出現を含まない更新に前記結び付けられた統計的なダストマップの前記更新に基づき、前記一つ以上のさらなる、そして原画像の更新を制限するステップを含むことを特徴とする請求項5に記載の補正方法。
請求項10では、前記前もって決定されたダスト人工物領域を含む更新に前記結び付けられた統計的なダストマップの前記更新に基づき、前記一つ以上のさらなる、そして原画像の更新を制限するステップを含むことを特徴とする請求項5に記載の補正方法。
請求項11では、前記統計的なダストマップの中にバージョンディスクリプションを生成するステップを含むことを特徴とする請求項5に記載の補正方法。
請求項12では、前記バージョンディスクリプションに基づき前記結び付けられた統計的ダストマップの前記更新に基づき、一つ以上の前記さらなる、そして原画像の更新を制限するステップを含むことを特徴とする請求項11に記載の補正方法。
請求項13では、前記バージョンは、年代順のタイムスタンプに基づくことを特徴とする請求項5に記載の補正方法。
請求項14では、前記バージョンは、レンズの交換に基づくことを特徴とする請求項5に記載の補正方法。
請求項15では、前記バージョン情報は、複数の画素がダスト人工物領域に一致する前記統計的ダストマップの中に前記確率の変化を含むことを特徴とする請求項5に記載の補正方法。
請求項16では、前記バージョン情報は、ダストロケーションにおける変化、ダストポジションにおける変化、新しいダスト領域の出現、存在するダストマップの消滅を含む一つ以上のパラメータを含むことを特徴とする請求項5に記載の補正方法。
請求項17では、前記統計的ダストマップにおける前記変化の根拠ある量及び質が存在する十分な格差を決定することに基づき、ダストマップが交換される必要があるかどうかを決定するステップを含むことを特徴とする請求項5に記載の補正方法。
請求項18では、前記画像補正方法は、前記メモリ、前記電気処理、前記センサーアレイ、前記光学システムを含むデジタルカメラの中で自動的に実行されることを特徴とする請求項1に記載の補正方法。
請求項19では、前記画像補正方法は、前記デジタル画像取得を形成するための前記センサーアレイと前記光学システムとを含むデジタルカメラと、前記メモリと前記電気処理とを含む処理システムとを結び付ける外部処理装置の中の少なくとも一部を実行することを特徴とする請求項1に記載の補正方法。
請求項20では、前記画像補正方法を実行する外部装置の中のメモリに格納される指令をプログラミングすることを特徴とする請求項19に記載の補正方法。
請求項21では、前記決定は、二つ以上のデジタル取得画像の中に疑ダスト人工物領域の比較及びダスト人工物領域の存在の所定の特徴指標を考慮する疑ダスト人工物領域の画素分析のうち少なくとも一方の一部に基づき、前記複数の画素が、前記取得画像の中のダスト人工物領域に一致するという確率を決定することを含むことを特徴とする請求項1に記載の補正方法。
請求項22では、第1の閾値よりも低い確率を有するような複数の疑ダスト人工物領域を取り除くことを含むことを特徴とする請求項21に記載の補正方法。
請求項23では、各さらなるダスト人工物領域が前記取り除き操作の対象となるかどうかを判定する前にさらなる取得画像を比較することを含むことを決定する更なる確率の対象となるように、前記閾値よりも大きい確率を持つように複数の前記さらなるダスト人工物領域を判定することを含むことを特徴とする請求項22に記載の補正方法。
請求項24では、前記補正操作の対象となるように第2の閾値よりも上の確率を有するように複数の推定ダスト人工物領域を判定することを含むことを特徴とする請求項22に記載の補正方法。
請求項25では、前記第1及び第2の閾値は異なることを特徴とする請求項24に記載の補正方法。
請求項26では、各さらなるダスト人工物領域が前記取り除き操作の対象となるかどうかを判定する前にさらなる取得画像を比較することを含むことを決定する更なる確率の対象となるように、前記第1及び第2の閾値の間の確率を持つように複数のさらなるダスト人工物領域を判定することを含むことを特徴とする請求項25に記載の補正方法。
請求項27では、前記補正操作の対象となることのように、ある閾値よりも上の確率を有するように複数の推定ダスト人工物領域を判定することを含むことを特徴とする請求項21に記載の補正方法。
請求項28では、各さらなるダスト人工物領域が前記補正操作の対象となるかどうかを判定する前にさらなる取得画像を比較することを含むことを決定する更なる確率の対象となるように、前記閾値よりも低い確率を持つように複数の推定ダスト人工物領域を判定することを含むことを特徴とする請求項27に記載の補正方法。
請求項29では、前記確率決定は,評価条件を重み付けするひとつ以上の所定の確率に従い,疑わしいダスト人工物領域を重み付けすることを含むことを特徴とする請求項21に記載の補正方法。
請求項30では、前記一つ以上の評価条件の重み付けは,サイズ,形,前記疑わしいダスト人工物領域の輝度又は不透明度,一つ以上の他の画像内における一つ以上の疑わしいダスト人工物領域の位置,不透明度,輝度,形,サイズにおける類似点の程度,又はそれらの組み合わせであることを特徴とする請求項29に記載の補正方法。
請求項31では、前記決定は,二つ以上のデジタル取得画像の中の疑わしいダスト人工物領域の少なくとも比較の一部に基づくことを特徴とする請求項1に記載の補正方法。
請求項32では、前記確率の前記決定は,あるダスト人工物領域の存在を指し示す所定の特性を考慮した前記疑わしいダスト人工物領域の画素分析に基づくことを特徴とする請求項1に記載の補正方法。
請求項33では、前記少なくとも二つの画像内の前記疑わしいダスト人工物領域は,インナー領域,オーラ領域を含んでおり,前記補正は前記オーラ領域の第1補正と,前記インナー領域の第2補正とを有することを特徴とする請求項1に記載の補正方法。
請求項34では、前記ダストマップは,閾値確率以上の確率を有するダスト人工物領域を有しており,それより低い確率を有する領域を有していないことを特徴とする請求項1に記載の補正方法。
請求項35では、前記ダストマップは,第1の閾値以上の確率を有するダスト人工物領域を有しており,第2の閾値よりも低い確率を有する領域を有しておらず,前記ダストマップの中に存在する前記第1及び第2の閾値の間の確率を有しており,そのときさらなる画像情報は,前記領域がダスト人工物として含まれるかどうかを決定する前に前記確率分析に結び付けられることを特徴とする請求項1に記載の補正方法。
請求項36では、前記確率決定は,二つ以上の前記画像内の各前記領域に基づき多数の各確率を統計的に結びつけることを含むことを特徴とする請求項1に記載の補正方法。
請求項37では、複数の画素が,前記二つ以上の前記画像内の疑わしいダスト人工物領域の少なくとも比較の一部に基づき,前記画像内におけるダストの領域自由に一致する確率を決定する事を含むことを特徴とする請求項1に記載の補正方法。
請求項38では、ある画素がダストの自由領域に一致する確率に基づきある疑わしいダスト人工物を取り除くことを特徴とする請求項37に記載の補正方法。
請求項39では、前記関連付けられた統計的なダストマップに基づきさらなるデジタル取得画像内に相関性のあるダスト人工物領域に一致する画素を補正する前に,いくつかの画素が前記更なるデジタル取得画像の中にダスト人工物領域に一致することを否定する確率データを,前記更なる取得画像が持っていないかどうかを有効にすることを含むことを特徴とする請求項1に記載の補正方法。
請求項40では、前記更なるデジタル画像の前記疑わしいダスト人工物領域は,影領域とオーラ領域とを含むことを特徴とする請求項1に記載の補正方法。
請求項41では、前記焦点距離抽出パラメータは,前記デジタル取得装置で取得した前記複数の原デジタル画像の中に前記ダスト人工物領域の前記影領域の転移の比較から経験的に計算されることを特徴とする請求項40に記載の補正方法。
請求項42では、前記絞り口径抽出パラメータは,前記デジタル取得装置で取得した前記複数の原デジタル画像の中に前記ダスト人工物領域の前記オーラ領域の減少の比較か経験的に計算されることを特徴とする請求項40に記載の補正方法。
請求項43では、請求項40において復唱される補正方法として,前記補正は,前記オーラ領域の第1の補正と前記影領域の第2の補正とを含むことを特徴とする請求項40に記載の補正方法。
請求項44では、前記抽出されたパラメータ依存の影領域分析に基づいている影領域に関して前記決定を行い,前記影領域分析は,前記デジタル画像取得のセンサー上の複数領域は,前記ダストによって全部覆われていることを推測することを特徴とする請求項40に記載の補正方法。
請求項45では、前記影領域分析は,ダスト人工物輝度,形,位置, 反射又は伝達特性,センサーへの出すと距離,絞り口径,射出瞳,焦点距離又はこれらの組み合わせについて,異なる画像内の一つ以上の抽出されたパラメータの値の効果の違いを計算することを含むことを特徴とする請求項44に記載の補正方法。
請求項46では、前記異なる画像は,前記一つ以上の抽出されたパラメータの異なる値を取得されることを特徴とする請求項45に記載の補正方法。
請求項47では、前記異なる画像は,異なる被写体について取得されることを特徴とする請求項45に記載の補正方法。
請求項48では、前記異なる画像は,異なるシーンについて取得されることを特徴とする請求項45に記載の補正方法。
請求項49では、前記抽出されたパラメータに依存するオーラ領域分析に基づいているオーラ領域に関して前記決定は行われ,前記オーラ領域は,前記デジタル画像取得装置の複数の領域が前記ダストによって部分的に覆われることを推定するということを分析することを特徴とする請求項40に記載の補正方法。
請求項50では、前記オーラ領域分析は,ダスト人工物輝度,形,位置,反射又は伝達特性,センサーへのダスト距離,絞り口径,射出瞳,焦点距離,又はこれらの組み合わせについての異なる画像における一つ以上の抽出されたパラメータの値の違いによる効果を計算することを含むことを特徴とする請求項49に記載の補正方法。
請求項51では、前記異なる画像は,異なる値の前記一つ以上の抽出されたパラメータを取得されることを特徴とする請求項50に記載の補正方法。
請求項52では、前記異なる画像は異なる被写体について取得されることを特徴とする請求項50に記載の補正方法。
請求項53では、前記補正操作は,修復及びペイントのうち少なくとも一つを含むことを特徴とする請求項40に記載の補正方法。
請求項54では、前記補正は,前記影領域をペイントすることを含むことを特徴とする請求項53に記載の補正方法。
請求項55では、前記ペイントは,前記影領域外側画素から取得されたスペクトル情報に基づき,影領域補正スペクトル情報を適合し,かつ決定することを含んでいることを特徴とする請求項54に記載の補正方法。
請求項56では、前記補正はオーラ領域の修復を含むことを特徴とする請求項53に記載の補正方法。
請求項57では、前記修復は,前記オーラ領域の中の画素から取得されたスペクトル情報に基づき,オーラ領域補正スペクトル情報を適合し,かつ決定することを含むことを特徴とする請求項56に記載の補正方法。
請求項58では、前記カメラセンサーによって取得されるようなロー画像データについて実行され補正方法であることを特徴とする請求項1に記載の補正方法。
請求項59では、前記画像補正方法は,公知のレッド,グリーン,ブルー表示にローフォーマットから変換される後の処理画像について実行されることを特徴とする請求項1に記載の補正方法。
請求項60では、前記補正は,新しい画素を持った前記一つ以上のデジタル取得画像の中に前記画素を取り替える事を特徴とする請求項1に記載の補正方法。
請求項61では、前記補正は,前記一つ以上のデジタル取得画像の中に画素の前記値を強調することを特徴とする請求項1に記載の補正方法。
請求項62では、前記補正指令は,外側位置に前記画像データを抑えることを特徴とする請求項1に記載の補正方法。
請求項63では、前記外側位置は,画像ヘッダを含んでいることを特徴とする請求項1に記載の補正方法。
請求項64では、前記ダスト人工物決定操作は,統計的なダストマップを読み出すこと,現画像の抽出されたパラメータ情報を読み出すこと,抽出されたパラメータ可変依存を有している統計的なダストマップの中に計算を実行すること,前記抽出されたパラメータ依存統計的ダストマップデータを持った前記ダスト人工物決定を比較することを特徴とする請求項1に記載の補正方法。
請求項65では、前記抽出されたパラメータ情報は,絞り口径寸法及び焦点距離の値を含んでいることを特徴とする請求項64に記載の補正方法。
請求項66では、前記抽出されたパラメータは,さらにレンズ種類情報を含むことを特徴とする請求項65に記載の補正方法。
請求項67として、前記ダスト人工物決定操作は,統計的なダストマップを読み出すこと,現画像の抽出されたパラメータ情報を読み出すこと,前記現画像及び前記ダストマップを別に関連付けない少なくとも一つの抽出されたパラメータの選択された値に従い,前記現画像を持った前記統計的なダストマップを関連付けるための計算を実行することと,その今補正された統計的なダストマップデータを持った前記ダスト人工物決定データを比較することを含むことを特徴とする請求項1に記載の補正方法。
請求項68として、前記少なくとも二つの画像の前記疑わしいダスト人工物領域は,前記インナー領域と前記オーラ領域とを含み,前記比較は,前記インナー領域の第1比較と前記オーラ領域の第2の比較とを含むことを特徴とする請求項1に記載の補正方法。
請求項69として、前記ダスト人工物領域は,ダストによって部分的に覆われるオーラ領域と前記オーラ領域の内側のダストによって略覆われる影領域とを含んでいることを特徴とする請求項68に記載の補正方法。
請求項70として、前記抽出パラメータ依存影領域分析に基づいている影領域に関して前記決定を行い、前記影領域分析は前記デジタル画像取得装置のセンサー上の複数の領域は、前記ダストによって完全に覆われることを特徴とする請求項69に記載の補正方法
請求項71として、前記影領域分析は、ダスト人工物輝度、形、位置、反射又は伝達特性、センサーへのダストの間隔、絞り口径、射出瞳、焦点距離、又はそれらの組み合わせについて異なる画像内に一つ以上の抽出されたパラメータの値における効果の違いを計算することを含むことを特徴とする請求項70に記載の補正方法。
請求項72として、前記異なる画像は、異なる被写体について取得された画像を有していることを特徴とする請求項71に記載の補正方法。
請求項73として、前記異なる画像は、異なるシーンについて取得された画像であることを特徴とする請求項71に記載の補正方法。
請求項74として、抽出されたパラメータ依存オーラ領域分析に基づいているオーラ領域に関して前記決定を行い、前記オーラ領域分析は、デジタル画像取得装置についての複数の領域が部分的にダストによって覆われていると推定されることを特徴とする請求項69に記載の補正方法。
請求項75として、前記オーラ領域分析は、ダスト人工物輝度、形、位置、反射又は伝達特性、センサーへのダストの距離、絞り口径、射出瞳、焦点距離、又はこれらの組み合わせについて異なる画像内に一つ以上の抽出されたパラメータの値における効果の違いを計算することを含むことを特徴とする請求項74に記載の補正方法。
請求項76として、前記異なる画像は、異なる被写体について取得されたことを特徴とする請求項75に記載の補正方法。
請求項77として、前記補正操作は、ペイント及び修正のうち少なくとも一つを含むことを特徴とする請求項69に記載の補正方法。
請求項78として、前記補正は、影領域をペイントすることを含むことを特徴とする請求項77に記載の補正方法。
請求項79として、前記ペイントは、前記影領域の外側の画素から取得されたスペクトル情報に基づくオーラ領域補正スペクトル情報を適合及び決定することを含むことを特徴とする請求項78に記載の補正方法。
請求項80として、前記補正は、前記オーラ領域の修正を含むことを特徴とする請求項77に記載の補正方法。
請求項81として、前記修正は、前記オーラ領域内の画素から取得されたスペクトル情報に基づくオーラ領域補正スペクトル情報を適合及び決定することを含むことを特徴とする請求項80に記載の補正方法。
請求項82として、メタデータに従う前記ダストマップ内のダスト人工物分布データを取り除くことを含むことを特徴とする請求項1に記載の補正方法。
請求項83として、前記抽出されたパラメータ情報は、絞り口径寸法及び焦点距離を含むことを特徴とする請求項67に記載の補正方法。
請求項84として、前記抽出されたパラメータ情報は、レンズ種類情報を含んでいることを特徴とする請求項67に記載の補正方法。
請求項85として、前記抽出されたパラメータは、焦点距離、レンズ組み立て品のタイプ又は変倍率、絞り口径サイズ、位置、又はこれらの組み合わせを含んでいることを特徴とする請求項67に記載の補正方法。
請求項86として、前記抽出されたパラメータは、さらに、電気センサーレイの平面における一つ以上の位置から前記実際のダスト物の距離を踏むことを特徴とする請求項67に記載の補正方法。
請求項87として、前記方法は、前記十分な不一致が、デジタル取得装置がクリーンにされることを決定するために連続的な画像内のダスト人工物決定間に存在することと、そのクリーン動作の前のダスト人工物決定が前記ダストマップの中で使用されないということを決定することを含むことを特徴とする請求項67に記載の補正方法。
請求項88として、前記補正は、ペイント及び修正のうち少なくとも一方を含むことを特徴とする請求項67に記載の補正方法。
請求項89として、請求項88の補正方法において、前記ペイント操作は、ほとんどない画像相当のスペクトル情報、不十分な画像相当のスペクトル情報、それらの関連データの組み合わせを持つために決定される画素について実行されることを特徴とする請求項88に記載の補正方法。
請求項90として、前記ペイントは、前記ダスト領域に画素周辺の特性に基づき、新しい画素値の生成を含むことを特徴とする請求項89に記載の補正方法。
請求項91として、前記ペイントが基本とされる画素周りの一つ以上の特性は、色、輝度、変過度、エッジ検出、ノイズ、パターン、質感、幾何学、それらの組み合わせを含むことを特徴とする請求項90に記載の補正方法。
請求項92として、前記修正は、それらの一致するデータと関係がある十分な画像相当スペクトル情報を持つために決定された画素について実行されることを特徴とする請求項88に記載の補正方法。
請求項93として、前記補正は、前記ダスト人工物の不透明さへの反比例関係又は、前記画像内の画素の輝度特性に基づき輝度を修正することを含むことを特徴とする請求項92に記載の補正方法。
請求項94として、前記修正は、さらに前記画像内の画素の現在の色特性に基づき色を強調することを含むことを特徴とする請求項93に記載の補正方法。
請求項95として、請求項1乃至94のうちいずれか一つに記載の補正方法において、前記ダスト人工物の決定及び関連付け操作は、さらに前記統計的なダストマップを形成する後に取得された画像のたまに繰り返され、
前記統計的なダストマップは、一つ以上の抽出されたパラメータの異なる値を持って取得された画像の中にダスト人工物領域に関係するデータを結合することを含む前記ダストマップの中にダスト人工物領域を持った前記さらなる取得画像の関連付けられ決定されたダスト人工物領域を数学的に関連付けることを含む前記さらなる画像に基づき、修正され、この修正された統計的なダストマップに基づき取得画像の中に関連付けられたダスト人工物領域に一致するデジタルデータを補正することを特徴とする請求項1乃至94のうちいずれか一つに記載の補正方法。
請求項96として、前記原ダストマップの中に確率データを持った新しい確率データを結合することに基づき、確率を変更することを含むことを修正することを特徴とする請求項95に記載の補正方法。
請求項97として、前記修正は、前記原ダストマップの中に確率データを持った新しい確率データを結合する後に0と1との間のある閾値よりも小さいその確率のために前記原ダストマップのダスト人工物を取り除くことを含んでいることを特徴とする請求項95に記載の補正方法。
請求項98として、前記修正は、確率を持っていることによる前記原ダストマップの中に存在しない新しいダスト人工物領域を書き込むことを含み、複数の画像分析に基づき、それは、前記原ダストマップの中に確率データを持った新しい確率データを結合する後に0と1との間のある閾値よりも大きいことを特徴とする請求項95に記載の補正方法。
請求項99として、前記一つ以上の検出ダスト領域により良い前記統計的な確率を表した前記ダストマップ修正後に前もって取得された画像のための前記補正デジタルデータを再適用することを含むことを特徴とする請求項95に記載の補正方法。
請求項100として、前記ダスト人工物領域は、ダストによって部分的に覆われるオーラ領域と、ダストによって略覆われる影領域とを含んでおり、前記影領域は、前記オーラ領域の内側にあることを特徴とする請求項95に記載の補正方法。
請求項101として、抽出されたパラメータ依存影領域分析に基づいている影領域に関して前記決定を行い、ここで前記影領域分析は、前記デジタル画像取得装置のセンサー上の複数の領域が前記ダストによって完全に覆われると推定することを特徴とする請求項100に記載の補正方法。
請求項102として、前記影領域分析は、ダスト人工物輝度、形、位置、反射又は伝達特性、センサーへのダストの間隔、絞り口径、射出瞳、焦点距離、又はそれらの組み合わせについて異なる画像内の前記一つ以上の抽出されたパラメータの値における効果の違いを計算することを含むことを特徴とする請求項101に記載の補正方法。
請求項103として、抽出されたパラメータ依存オーラ領域分析に基づいているあるオーラ領域に関して前記決定を行い、ここで、前記オーラ領域分析は、前記デジタル画像取得装置のある領域が前記ダストによって部分的に覆われることを推定することを特徴とする請求項100に記載の補正方法。
請求項104として、前記オーラ領域分析は、ダスト人工物輝度、形、位置、反射又は伝達特性、センサーへのダストの間隔、絞り口径、射出瞳、焦点距離、又はそれらの組み合わせについて異なる画像内の前記一つ以上の抽出されたパラメータの値における効果の違いを計算することを含むことを特徴とする請求項103に記載の補正方法。
請求項105として、前記補正操作は、ペイント及び修正のうち少なくとも一方を含むことを特徴とする請求項100に記載の補正方法。
請求項106として、前記補正は、前記影領域ペイントすることを含むことを特徴とする請求項105に記載の補正方法。
請求項107として、前記ペイントは、前記影領域外側の画素から取得されたスペクトル情報に基づき影領域補正スペクトル情報を適用し、決定することを含んでいることを特徴とする請求項106に記載の補正方法。
請求項108として、前記補正は、前記オーラ領域の修正を含んでいることを特徴とする請求項105に記載の補正方法。
請求項109として、前記修正は、前記オーラ領域内の画素から取得されたスペクトル情報に基づき、オーラ領域補正スペクトル情報を適用し、決定することを含んでいることを特徴とする請求項108に記載の補正方法。
請求項110として、前記補正操作は、前記オーラ領域と前記影領域とを計算することを含むことを特徴とする請求項100に記載の補正方法。
請求項111として、前記補正操作は、前記オーラ領域の補正に基づき概ね影領域を補正することを含むことを特徴とする請求項110に記載の補正方法。
請求項112として、前記統計的ダストマップは、前記統計的なダストマップの中に可変の値に基づき、ある画像内に生じるダスト人工物領域が異なることが予測されるように、抽出されたパラメータ依存変化量を含んでいることを特徴とする請求項95に記載の補正方法。
請求項113として、前記関連付けは、前記現存するがその循環調和の仮定について少なくとも一つの直線転換と、前記直線転換の率と前記抽出されたパラメータとの間の所定の数学的な関係とを実行することを含むことを特徴とする請求項67に記載の補正方法。
請求項114として、前記直線転換は、前記現画像とともに前記ダストマップの前記ダスト人工物領域の空間的な関連付けを実行することを含むことを特徴とする請求項113に記載の補正方法。
請求項115として、前記ダストマップの中に含まれる前記ダスト人工物領域又は前記ダストマップの追加的な特徴に関連する追加的な直線転換を実行することを含むことを特徴とする請求項114に記載の補正方法。
請求項116として、前記追加的な特性は、一つ以上のダストマップ輝度、透明性、不透明性、スケール、ダスト人工物領域サイズ、輝度、透明性、不透明性、スケール、そして画像中央に関連する空間的な位置を含んでいることを特徴とする請求項115に記載の補正方法。
請求項117として、前記関連付けは、前記非直線転換の前記率に前記抽出されたパラメータの選択されたパラメータを関連付けるLUT内に格納された所定データに部分的に基づき、少なくとも一つの非直線転換を実行することを含むことを特徴とする請求項67、113〜116のうちいずれか一つに記載の補正方法。
請求項118として、前記非直線転換は、前記現画像の非環状調和を補正することを特徴とする請求項117に記載の補正方法。
請求項119として、前記非直線転換は、前記現画像を取得するために使用される前記画像サブシステムの前記光学的な特性から生じる非直線空間写像に関して補正することを特徴とする請求項117に記載の補正方法。
請求項120として、前記非直線転換は、アフェイン変換であることを特徴とする請求項117に記載の補正方法。
請求項121として、複数の画像がダスト人工物領域に一致する確率の決定は、さらに、ダスト人工物の限界分配が一つ以上の前記デジタル画像の中に存在するかどうかを決定し、少なくとも一つの限界分配が存在することが決定される場合には、修理のための必要性を指示することを含むことを特徴とする請求項1に記載の補正方法。
請求項122として、前記一つ以上の取得画像は、一つ以上のキャリブレーション画像を含んでいることを特徴とする請求項121に記載の補正方法。
請求項123として、前記限界分配は、前記画像内の欠陥のようなものを合理的に補正するための前記デジタル画像取得システムの自動欠陥補正モジュールの能力分析に基づき決定されることを特徴とする請求項121に記載の補正方法。
請求項124として、前記デジタル取得画像の中に前記画素に一致するダスト人工物領域の確率を決定し、前記画像が取得されたとき前記光学システムに関連する一つ以上の抽出されたパラメータを前記ダスト人工物領域に関連付け、前記ダスト人工物決定及び関連付けに基づきダスト人工物領域を含んでいる統計的な記録を形成し、前記統計的記録の所定の特性に基づき前記限界分配を決定することを特徴とする請求項121に記載の補正方法。
請求項125として、サイズ又は形、これらの両方、前記ダスト人工物領域は、前記所定の特性内に含まれることを特徴とする請求項124に記載の補正方法。
請求項126として、前記指示は、前記限界分配が存在するかどうかを前記決定に基づき、前記デジタル取得装置が修理される必要があることをユーザに知らせることを特徴とする請求項124に記載の補正方法。
請求項127として、前記一つ以上の取得画像は、一つ以上の絞り口径、シャッタスピード、尖鋭度、対象物体を含んでいることを設定している明確な取得を取得されることを特徴とする請求項121に記載の補正方法。
請求項128として、前記明確な取得セットは、前記デジタル画像取得システムについての明確なキャリブレーションモードに自動的に決定されることを特徴とする請求項127に記載の補正方法。
請求項129として、前記分析は、最後の前記分析に続いて定義される時間インターバルに基づくことを特徴とする請求項121に記載の補正方法。
請求項130として、前記分析は、レンズの交換に関連して定義されることに基づくことを特徴とする請求項121に記載の補正方法。
まず、本発明の概要を説明する。
本発明は、請求項1に記載の画像取得装置に含まれるシステムによって取得された画像に含まれるダスト人工物領域のものを自動的に補正する方法を提供する。好ましい実施形態では、画像取得装置で複数の原デジタル画像を取得することを含む。
画像に含まれるダスト人工物領域のものに関するある画素が決定される確率は、
二つ以上の像に含まれるダスト人工物領域のものと疑われるものの比較の少なくとも一部に基づいている。
存在しそうなダスト人工物領域は、像を獲得するときに、デジタル取得装置のレンズアセンブリに関連する一つ以上の抽出されたパラメータの一つ以上の値を関連付ける。
関連するダスト人工物領域に対応する画素は、関連する統計的なダストマップに基づきさらにデジタルな取得画像の中で修正されます。
確率は、ダストの自由な領域に対応する像内のある画素が一つ以上の画像中に疑わしいダスト人工物領域の少なくとも一部の比較に基づくということを、代わりに決定するであろう。ある疑わしいダスト人工物領域は、ある画素がダストの自由な領域に一致する確率、その疑わしい領域が実際にダスト人工物であるという第1の閾値未満である決定した確率のうち少なくとも一方に基づき排除されるであろう。
あるさらなるダスト人工物領域は、閾値を超えた確率を持つとして判断され、例えば、それぞれのさらなるダスト人工物領域が操作排除の対象となるかどうかを判断する前にさらなる取得画像の比較を含むことを決定するより上の確率の対象となるかどうかである。
疑わしい領域がダスト補正操作の対象になると判別する上述の閾値又は目的に応じて
この最初の閾値を越える第2の閾値のような唯一の閾値であってもよいし、又は、目的に応じて求められる上述の最初の閾値よりも上の二つ目の閾値であってもよいし、ソフトウェアの中に定義されるさらに上の閾値があってもよい。
操作を決定する確率は、評価条件に重み付けする一つ以上の予定された確率に従い疑わしいダスト人工物領域を重み付けをすることを含むであろう。
これの条件は、サイズと、形と、輝度又は不透過率と、フェザリングと、上述の疑われたダスト人工物領域のペリフェラルスムーズネスと、サイズ、形、輝度、不明瞭又は一つ以上の画像における一つ以上の疑わしいダスト人工物領域のある位置の程度が似たもの、それらの組み合わせを含むであろう。
一つ以上の抽出されたパラメータは、絞り口径、Fナンバー、変倍率、レンズタイプ、デジタル取得装置の焦点距離、それらの組み合わせを含むであろう。
さらなるデジタル的な取得画像は、所得した原画像とは異なる画像を含み、さらに一つ以上の同じ原画像を含むであろう。
異なる画像は、一つ以上の抽出されたパラメータの異なる値を取得するであろう、そしてそれらは、異なる対象物(複数を含む)又は異なるシーン(複数を含む)を取得するであろう。
決定し関連付ける操作は、さらなるデジタル取得画像のために繰り返され、写像されたダスト領域を含んでいる統計的なダストマップは、追加されたダスト人工物の決定と結びつきに基づき更新されるであろう。
画素は、更新され関連付けられた統計的なダストマップに基づき追加された画像の中に、関連性のあるダスト人工物領域に対応して補正されるであろう。
一つ以上追加され画像と原画像は、関連付けられた統計的なダストマップの更新に基づき更新されるであろう。
その追加の画像と原画像を更新することは、新しいダストの出現、残っているダストの動きを含まない更新、及び、決定されたダスト人工物領域を含む更新のうち少なくとも一方を制限する。
バージョン内容は、統計的なダストマップの中に修正点を作成するであろう。一つ以上の追加された画像と原画像はその説明、関連付けられた統計的なダストマップの更新に基づき更新されるであろう。
そのバージョンは、年代順のタイムスタンプ及びレンズの交換のうち少なくとも一方に基づいているであろう。
バージョン情報は、ある画素がダスト人工物領域に一致するという統計的なダストマップ内の確率の変化を含むであろう。
そのバージョン情報は、ダストロケーションにおける変化、ダストポジションにおける変化、新しいダスト領域の出現、存在するダスト領域の消滅のうち少なくとも一つを含んでいる一つ以上のパラメータを含むであろう。
決定は、ダストマップが、十分な相違が統計的なダストマップ中の変化の質及び/又は量に基づき存在するという決定に基づき交換されるかどうかに関してされるであろう。
画像補正方法は、光学システム、センサーアレイ、処理エレクトロニクスを含むデジタルカメラの中で自動的に実行されるであろう。
画像補正方法は、デジタル画像取得を形成するためのセンサーアレイと光学システムを含むデジタルカメラと、メモリと処理エレクトロニクスも含む処理システムと、を組み合わせる外部処理装置の中の少なくとも一部に実行されるであろう。プログラミングインストラクションは、画像補正方法を実行する外部装置内のメモリの中に格納されている。
デジタル取得装置はフィルム画像から画像を取得するであろう、そして、デジタル取得装置はデジタルカメラを含んでいる。
ダスト人工物確率決定は、さらなるデジタル取得画像内に疑わしいダスト人工物領域と比較し、その確率を動的に更新することを含むであろう。
確率の決定は、さらに、ダスト人工物領域の存在を指標する所定の特徴を考慮し、疑わしいダスト人工物領域の画素分析に基づく。
ダスト人工物確率決定は、あるピクセルが、二つ以上のデジタル取得が画像の中に疑わしいダスト人工物領域に関する比較及びダスト人工物領域の存在を指標する所定の特徴を考慮した疑わしいダスト人工物領域の画素分析のうち少なくとも一方の少なくとも一部に基づいて取得した画像内のダスト人工物領域に一致するという確率を決定することを含むであろう。
その確率決定は、さらに内側領域又は影領域と背光領域との比較に基づき確率を結びつけることを統計的に含むであろう。
あるダスト人工物の影領域に対する確率決定は、抽出されたパラメータ従属影領域分析に基づくであろう、ここで、影領域分析は、デジタル画像取得装置のセンサー上のある領域がダストによって完全に覆われたことを推定する。
ダスト人工物の背光領域に対する確率決定は抽出されたパラメータ従属背光領域分析に基づくであろう、ここで、背光領域分析は、デジタル画像取得装置のセンサー上のある領域がダストによって部分的に覆われたことを推定する。
背光領域分析は、ダスト人工物照度、形、位置、反射又は伝達特性、センサーへのダスト間隔、口径、射出瞳、焦点距離、これらの組み合わせに関する異なる画像内の一つ以上の抽出されたパラメータの値の相違による効果を計算することを含むであろう。
その異なる画像は、一つ以上の抽出されたパラメータに関する異なる値を取得されるであろう、そしてその異なる画像は、異なる対象物について取得される。
その方法は、ある画素が関連付けられた統計的な画像内において互いに相関関係があるダスト人工物に対応する画素を補正する前の画像内のダスト人工物に対応する更なるデジタル取得画像が矛盾しないデータをもつかどうかを認証することを含むであろう。
使用者は、認証することがダストマップの中において顕著な変化を決定する場合には、新しいダストマップを作成するように指示される。
影領域分析は、ダスト人工物照度、形、位置、反射又は伝達特性、センサーへのダスト間隔、口径、射出瞳、焦点距離、これらの組み合わせにおける異なる画像内の一つ以上の抽出されたパラメータにおける相違の効果を計算することを含むであろう。
さらなるデジタル画像の疑わしいダスト人工物領域は、内側領域又は影領域と背光領域とを含むであろう。
焦点距離抽出パラメータは、デジタル取得装置によって取得された多数の原デジタル画像の中のダスト人工物領域の内側領域又は影領域のトランスポジションの比較から経験的に計算される。
口径抽出パラメータは、デジタル取得装置によって取得された多数の原デジタル画像の中のダスト人工物領域の背光領域の低下の比較から経験的に計算される。
その補正は、いずれの順番であっても、アーラ領域の最初の補正と内側領域の二番目の補正とを含むであろう。
その方法は、カメラセンサーによって取得された生画像データに実行されるであろう。
その方法は、生フォーマットから赤、緑、青表示に変化後、処理された画像に実行されるであろう。
その補正操作は、新しい画素を持った一つ以上のデジタル取得画像の中で画素を置換することを含むであろう。
その補正は、一つ以上のデジタル取得画像の中で画素の値を増すこと含むであろう。
補正指示は、画像ヘッダ、画像データのような、外部記憶領域に保持されるであろう。
そのダスト人工物確率決定操作は、統計的なダストマップを読み込むこと、存在する画像の抽出されたパラメータ情報を読み出すこと、抽出された様々な依存パラメータを持っている統計的なダストマップの内の計算、統計的なダストマップデータに依存する抽出されたパラメータを持ったダスト人工物検出データを比較することを含むであろう。
その抽出されたパラメータ情報は、口径寸法、焦点距離、レンズ種類情報のうち少なくとも一つの値を含むであろう。
ダスト人工物確率決定操作は、また、統計的なダストマップを読み込むこと、存在している画像の抽出されたパラメータ情報を読み込むこと、現在の画像とダストマップとの間の他の関連性のない抽出パラメータの選択された値に従った現存データを持った統計的なダストマップに関連付けるための計算を実行すること、今の関連付けられた統計的なダストマップデータを持ったダスト人工物検出データを比較することとを含むであろう。
少なくとも二つの画像の疑わしいダスト人工物領域は、内側領域又は影流域と背光領域とを含むであろう。
その比較は、背光領域の異なる比較と、内側領域又は影領域の比較とをいずれかの順序で含むであろう。
ダスト人工物領域は、ダストによって部分的に隠された背光領域と、背光領域内のダストによって概ね隠された影領域とを含むであろう。
影領域に対する決定は、影領域分析に依存する抽出されたパラメータに基づくであろう、ここで、影領域分析は、デジタル画像取得装置のセンサー上のある領域が上述のダストによって概ね覆われていることを推定する。
影領域分析は、ダスト人工物照度、形、位置、反射又は伝達特性、センサーへのダスト間隔、口径、射出瞳、焦点距離、これらの組み合わせについて異なる画像における一つ以上の抽出されたパラメータの値における相違の効果を計算することを含むであろう。
ある背光領域に対する決定は、背光領域分析に依存する抽出されたパラメータに基づくであろう、ここで、その背光領域分析は、デジタル画像取得装置のセンサー上のある領域が上述のダストによって部分的に覆われているといことを推定する。
その背光領域分析は、ダスト人工物照度、形、位置、反射又は伝達特性、センサーへのダスト間隔、口径、射出瞳、焦点距離、これらの組み合わせについて異なる画像における一つ以上の抽出されたパラメータの値における相違の効果を計算することを含むであろう。
その補正操作は、ペイント及び改善のうち少なくとも一方を含むであろう。そのペイント補正は、影領域に適用されるであろう。そのペイントは、影領域外側の画素から得られたスペクトル情報に基づいて影領域に補正スペクトル情報を決定し、適用することを含むであろう。
(定義)
次に、本明細書に使用される用語の意義について説明する。
ダストスペックは以下のような意味である。好適な実施形態は、多くの画像が同じような欠陥、すなわち、ダスト、デッド画素、バーント画素、スクラッチなどの欠陥の反復性のある発現をもつという事実をうまく利用することである。
まとめると、この種の全てありうる欠陥が、ダストスペック又はダスト異常としてこのアプリケーションの中に参照される。
デジタル画像上のそれらのダストスペックの効果は、ダスト人工物としてここに参照される。
取得装置は、以下のような意味である。取得装置は複数の機能を備えた電気製品であり、ここで該電気製品の主要な機能の一つは、デジタルカメラの機能である。例えば、デジタルカメラ、画像センサー(撮像素子)を備えたハンドヘルドコンピュータ、スキャナ、ハンドセットフォン、画像取得ができるレンズで構成した別のデジタル装置を含むことができる。
取得装置は、また、エリアキャプチャーCCDや、対照的な例えばライン走査機構を持ったフィルムスキャナーを含むことができる。
D−SLRは、以下のような意味である。デジタルシングルレンズリフレックスカメラのことである。ファインダがセンサーと同じ光学系から画像を受け取っているデジタルカメラがそうであります。
多くのD−SLRは、SLRカメラと同様に、それらのレンズが交換可能であり、カメラの内側領域がダストに対して露出した状態となっている。
いくつかパラメータは、処理の一部として定義する。
ここで、Nとは、補正における画像数である。HIDPとは、高い確率でダストが発生する画像の数である。HSDPとは、高い確率でダストが生じる領域のレーベルのためにスペックを繰り返す数である。p(Hdp)とは、ダストスペックの高い信頼性のための閾値である。Ndpは、領域がダストでないことを決定するための画像の数である。p(Ndp)は、領域がダスト領域でないことを決定するための確率閾値である。概ね、HIDPよりもHSDPのほうが大きい。
Iは、一般画像である。I(x,y)は、画像Iの横軸X、垂直軸y位置における画素である。dMは、連続したトーン、またはダストの地図の統計的表示である。pMは、dMのある閾値化から作成されたニ成分のダスト地図である。
(本光学系の数学的なモデル)
次に、本光学系の数学的なモデルについて説明する。
ここで説明した好適な実施形態を理解するのに先立って、それはカメラの光学系の数学的なモデルを理解するのに役立つ。このモデリングで、好適な実施形態は、画像取得処理に関連して抽出されたパラメータに依存するそれ自身が形状と不透明さを持ったダスト人工物の各例に対してダストマップを生成するよりもむしろダスト検出及び/又は補正技術のために一つのダストマップを有利に利用するであろう。
光学系とその可変性を作るための能力で、一つのマップは、各レンズ又は複数のレンズに対して、そして、複数の焦点距離、複数の間隔、及び/又は他の抽出されたパラメータに十分であるかもしれないが、詳細については後述する。
平面上の被写体の影を調査するために、以下の事項を考えるとよい。
一つ目は、被写体の照明(光のスペクトルと干渉性の特性)である。二つ目は、被写体の形(そのマイクロ形状を含む)である。三つ目は、被写体についての反射特性と伝達特性である。四つ目は、被写体と平面との関連位置である。
センサーに上に現れるダストのモデルを定義するための関係ある事例は、レンズの画像平面の近くの被写体のものであり、そのレンズは複雑な光学系であり、自然光照明と一体となっている。
被写体の形状とその反射特性とその伝達特性は、実質的にモデル化するのは困難であり、その理由は、ダスト粒子についての詳細は得られないからである。
しかしながら、そのダスト粒子は小さいため、それらの表面については反射特性及び伝達特性が同じである可能性が高い。
ダストとセンサー(画像面内に位置している)との間の間隔は小さく、1mmの何分の一の桁数であります。
複数の定義が今与えられる(図6Eと図6F参照)。
Figure 2007507932
Table1は、光学システムの数学的フォーミュレーションのパラメータである
図6A、6B、6Cは、同じように固定され、焦点距離が等しく、焦点ナンバーが等しい三つのレンズを説明している。最初の構造である図6Aは、最も一般的なものである。二番目の構造である図6Bは、測定学において使用される特定のものである。この種のレンズは、画像スペックにおいてテレセントリックと呼ばれている。三番目の構造である図6Cは、光学システムにおいて稀にしか見られないものであるが、不可能ではない。
図6Dは、射出瞳の概念及びその距離を説明している。射出瞳距離642は、この特性を定義し、レンズの光軸および円錐状に延びる光の軸との交差点と、レンズの二番目の主平面646とからの距離を意味する。
焦点距離644は、二番目の主面から画像平面までの距離を意味している。
二番目のタイプのレンズの場合には、図6Bに定義するように、射出瞳位置が無限遠である。最初のダイプと三番目のタイプの場合には、それぞれ図6A及び図6Bに示すように、ダスト平面と一体である光円錐の交差が楕円である。
二番目のタイプのレンズにおいて、図6Bに図示するように、ダスト平面と一体である光円錐の交差が円である。
ズームレンズにおいて、射出瞳の位置は、一定にすることができる(まさに数個のケースで)、又は、はっきりと変化することができ、それはレンズの構造によるのである。
その射出瞳についてのこの情報は公知ではないため、一般的には、TVレンズ又は写真の共通のユーザのために使いものにならない。
しかしながら、この情報は、光学台についていくつかの長さを容易に決定する。選択的に、この情報は、画像内のダスト分析に基づき得ることができる。
図6Eは、画像面とウィンドウとともに主要な光線の横断を説明であり、画像面はまた、センサー面である。この図形は、Table1において定義されるような様々なパラメータを説明している。
図7Aは、画像ポイントに向かって集光するビームについて、ウインド(覆われた面)の入面に配置されるダスト粒子(覆う)の影響を図示している。
図7Bは、絞りの機能としてダストによって覆われた光線の横図を図示している。図7Cは図7Bの正面投影図であり、絞りの機能のようにダストによって覆われている。
図7D、図7Eは、異なるナンバー表示による絞りに見られるような同じダストスペックのパワー分布マップの説明であり、すなわち図7に対して相対的な開口絞りf−9と絞り閉じ状態、すなわちf22と図7Eに図示するよりfが高いものである。
一つは、絞りが閉じ状態で記録されるようなダストスポットがはるかに急であって、よりはっきりするのがわかる。
ダスト粒子は、ウィンドウ平面に位置しており、ビームS2の一部が完全に反射又は吸収され、通常、画像ポイント(P)に届く。
ダスト粒子が欠如しているとき、(x、y)がイメージポイント(x、y)での照射の値としておく。
そして、光学系の射出瞳におけるエネルギが一様に分配されると仮定すると、ダスト粒子があるとき、光線(S1)の交差点の領域の間には、比率がある状態で、I(x、y)は、ウィンドウの綺麗な領域と、同じ交差点(Sc)の全域とで比例して減少するであろう。
Scがレンズfナンバー(f/#)とウインドウの厚さtw Soの関数であることを記憶しておき、そして、ダストがあるとき本当の照射の値は、以下の(1)式となるでしょう。
Figure 2007507932
となるであろう。
S1=Sc−S2と、S2が照明領域とダスト粒子の間の交差点の領域であることとを計算式の中に代入することによって、
Figure 2007507932
となる。
ダスト粒子は小さいため、次の仮定が作られる。特定のダスト粒子によって影響されたすべてのイメージポイント領域Scは一定のままで残っています。テレセントリック照明の場合において、この仮定は全ての画像ポイントに対して真実となる。
上述の仮定において、私たちは、ダスト幾何学、位置、および影を関連させることができます。まず、私たちは、現在、ウィンドウの入力平面における照射の分配を研究します。
一般に、この平面がある円錐のビームの交差点は楕円です。
この楕円の主軸は、上述したような平面であって、画像ポイントの側で確定された平面の交差点とレンズの光軸に沿って存在する。
その短軸は、以下の式(2)である。
Figure 2007507932
その主軸は、以下の(3)である。
Figure 2007507932
Dは射出瞳径であり、以下の(4)である。
Figure 2007507932
照射分配の完全な公式にとなるように、私たちは現在、選ばれたダスト粒子によって影響されたすべてのイメージポイントに仮定を強調しており、“a"がかなり異ならないということであります。
(u0、v0)が上述のように平面で主要な光線の交差点のポイントであります。 したがって、照らされた領域の特性関数は以下の(5)式となるであろう。
Figure 2007507932
D(u,v)がダストの特性関数であります。
したがって、以下の(6)、(7)式となります。
Figure 2007507932
Figure 2007507932
方程式11を使用し、収率
Figure 2007507932
である。
そのターム(1+のtw/Pe)xと(1+のtw/Pe)yは、焦点距離とそれとなくPeの変化に伴うダスト影の「動き」を決定します、後で方程式11で説明されるように。
テレセントリック照明の場合には、
Peは無限である、
- u0=xとv0=y、
- 楕円は円になる。
質的に、方程式8において量的に説明されるように、画像上のダストの減少した又は低下した効果は、以下のように変化する。
ダストは、絞り口径がより大きくなりまたはf−ストップがより小さくなるのに応じて重要性が低くなり、そして画素は、ダストの周辺に画素の距離に基づき反比例して影響されます。
図7Fは、レンズの焦点距離に基づき、画像と出すとマップとの間の適合を説明する。
この図において、一つは、ダストスペックによって覆われた領域が焦点距離の関数として移行するのを質的に見ることができます
また、地図の中のダスト粒子の空間的な分配、及び/又は、オリエンテーションに関する情報は、領域がダストか非ダストのどちらかであるという確率の測定補助に使用されるであろう。
例として、一つは、細長いダスト粒子のオリエンテーションの全体平均がゼロであると予想することができました。
しかしながら、さらに局所化されたレベルでは、帯電し及び/又は磁化したダスト粒子は、局部的な誘電力のため同様のオリエンテーションに並ぶ傾向があることができます。
この効果は、サイズ、総合的な形の分布(丸いか、より細長い)、およびダストマップにおけるダスト領域の総合的な分布(一定の、または、凝集された)に一部依存しているでしょう。
これは、決定がある一定の領域を排除するかどうかに関して作られていることであるときに特に役立つ傾向となります。
例として、ダストの大部分が特定のカメラのためにセンサー部の中心に比例して半径の方向に並べられると測定された場合には、この統計情報に基づいて、同心の配列における粒子があまりダストでないことをさらに測定するかもしれません。
上述の定義を与えられると、さらに質的なモデルが除かれる。
Figure 2007507932
比率tw/Peが小さいので。 Peが、ある共通の例で負の数を持っているのに注意する。
次に、(u、v)は入力面の座標系を指示しており、レンズ光軸で交差点ポイントにおける基点を持っています。
同様に、(x、y)はレンズ光軸で交差点ポイントにおける基点を持った画像平面における座標系である、
したがって、ビームの主要な光線がポイント(u、v)における入力ウィンドウ面を横切っている場合には、同様の主要な光線についての画像面におけるポイントが、(10)の逆変換となるだろう。
Figure 2007507932
小さなtw/Pe比の同じ仮定は、以下の式(11)になるでしょう。
Figure 2007507932
図7Gは、ポイントが光学的中心の近接の関数としてどう変化するかをあらわしています。
基本的に、ダストが中心から遠くなるのに応じて、変位はより大きくなります。
しかしながら、変位の大きさと方向は、推測することができます。
一般的に利用できない複数のパラメータが存在する。画像平面へのダストのtw、距離は、カメラの特定のモデルのために通常整えられており、ただ一つの測定から決定することができます。
射出瞳距離は、レンズの焦点距離に依存して変化するであろう。
より特に、ズームレンズに関して、射出瞳距離は固定されないであろう、距離が無限であるテレセントリックモードまで変化することができる。
公知のカメラとレンズによって撮影された画像の分析をすることによって、そのような情報を経験的に予定することができ、それは図6に示されており、以下のように説明される。
この場合、各連続画像についてある一つのダストスペックの効果の判定は、いかなる他の画像についての他のダストスペックの効果を計算するために使用され、カメラと付属レンズの光学サブシステムに関連する特定のパラメータで、後者の画像のための獲得パラメータに関連する何らかの追加知識が与えられる。
最も有益な決定は、画像間のダストスペックの空間的な変化であるが、ダストスペックの幾何学上であって光学的な特性に関連する他の決定は、前述の光学モデルから作られる。
幾何学的な特性の実例のように、我々は、ダストスペックの相対的なサイズ、レンズ異常(すなわち、非環状レンズ左右対称)から起こるダストスペックの幾何学形状のひずみを引用します。
光学的特性の実例は、ダストスペックの不透明、誘発された色の変化、および鋭さを含んでいます。
図6Fには、模範的な70mm−210mmズームレンズが図示されている。
Pe-70は70mmのレンズのための射出瞳位置である。レンズが最高で210mm拡大であるときの、Pe-210は射出瞳位置です。 kは公知のダストdです。mは仮定しているダストです。hkは特定のダスト粒子kのためのhです。
ダスト画像の空間的な変化についての知識は、好ましくは、画像の角の1つに近く、方程式(9)から決定することができます。
Figure 2007507932
現在、これは焦点距離に依存していることを強調するために、特定のダスト粒子(k)のために書き直すことができます。
Figure 2007507932
又は
Figure 2007507932
kから独立している
したがって、我々がもし「k」ダスト粒子の画像の発展を知っているなら、「m」ダスト画像の発展を見つけることができます。
Figure 2007507932
この公式における残っている難しいことは、私たちがダスト粒子の位置を知らないということである。
与えられた焦点距離を上側の公式を代入して、f0を示し、そして、私たちは、式(9−D)を得る。
Figure 2007507932
最終的には、
Figure 2007507932
を得る。

この関係は、射出瞳と、ウィンドウの厚みと、ダストの空間的な位置の知識を必要としない。
図7Gではこの現象を視覚的に図示している。
上述の公式に基づき、特に9−eと11に基づき、焦点変化距離の関数として、一つはダストの動きが一定でないことがわかるが、光路の中心からのダストの距離に依存しているのを見ることができます。
質的には、ダストが中心から遠ければ遠いほど、変位はより大きくなるであろう。換言すれば、画像周辺近くのダストは、画像の中央に描かれるダストよりも極めて大きな動き(そして、幾何学的かつサイズの歪み)を表示する。
二つの仮定したダストスポットの動きを説明する図7Gに参照するように、790と794は異なる距離を持っており、792と796はそれぞれ、光路780の中心に向かいます。
各画素の動きは、いつも画素と光路の中心との間にライン上にあります。
これは、方程式11で説明したように直線的な関係の仮定に基づいています。したがって、ダストスペック794のダストエッジの動きがブロック799において描かれているラインに沿っている。
方程式11のために想定された係数に基づいて、ダストスペックは、固定された比率1+t/Peで動き、その係数は正又は負であり、正のときに中心側に動き、負のときに中心から外側へ動く。
この図では、ダストスペック790が791になるように動く間、ダストスペック794が795となるように動く。
796に描かれてい中心へのダスト794の距離は、ブロック792によって描かれている対応する距離よりも長いため、ダスト794の動きは、より大きくなるであろう。
代わりに、ダストを検出することができる画像及び公式(11)を与え、一つは、以下のようなPeについて計算することができます (twがわかる場合には)
Figure 2007507932
又は
Figure 2007507932
ダストに対する光学システムの数学的なモデルの要約において、一般的には、
画像がダストによって影響される方法は以下によります。
-射出瞳位置のPe
- ウィンドウの厚みtw
- '被写体の焦点距離f
- 焦点ナンバーf/#
- 画像平面上のダスト位置
これは、光学系の要素を知ることによって計算することができます。
a) 窓の厚さ(tw)
b) 関数Pe(f)。
c) 我々が画像平面上でのダスト画像位置を決定したいと思う場合には、ダストの座標(u、v)
(好適な実施形態)
次に、本発明の好適な実施形態について説明する。
主要な発明の好適な実施形態の数例を説明する。画像からダストを検出して除去する主要なワークフローは、図1に図示されている。
一般的に、この特定の好適な実施形態は、同じ画像取得装置を使用して得られる画像収集物からダストを取り除くことに向けられます。
特に、ユーザは、デジタルカメラで画像を取得するであろう(ブロック101において示されているように)。かわりに(102)、ユーザは、パーソナルコンピュータのような外部装置においてある一つの画像を開いてもよいし、外部装置における画像フォルダーを開いてもよいし(103)、デジタルプリント装置104において画像収集物を開いてもよい。
好適な実施形態では、そのときシューティングパラメータ120を抽出する。そのようにパラメータは含むが、カメラ名、レンズブランド、レンズタイプ、取得での焦点距離、処理装置、それらのサブシステムについてのデータに限定されない。
加えて、いくつのパラメータ、特にレンズとカメラに関連するものは、取得装置、処理装置、それらのサブシステムの中に格納されている。
そのような情報は、射出瞳、レンズからの射出瞳距離、カメラのためのセンサー面(画像平面)からのダストの距離のようなパラメータを含んでいる。
そのようなデータを持った例のテーブルが以下に示される。
Figure 2007507932
ダストマップは、また、抽出されたパラメータの前記リストに部分的に代わり又は追加的に補助することが可能な取得データ又は追加データを含んでいるメタデータを含むであろう。
それが画像取得に関連するようにメタデータの検討は、PCT特許出願No PCT/EP2004/008706に更に詳細な説明があり、参照によって取り入れられます。
システムが複数の画像を処理する場合において(ブロック103、104で定義されるように)、そのアルゴリズムによる全ての画像(110)に関する輪の操作を説明する。
第1のステップはダストマップ130を開くことである。(132)に存在していない場合には、そのシステムは、図2でさらに説明するように新しいダストマップ(200)を生成する。
そのシステムが一つ以上のダストマップ(130)を有している場合(このようなことは、起こりうることであり、例えば、カメラが複数の交換レンズをを有しているときである)には、そのソフトウェアは、画像にマップ(300)の一つを関連付けることを試みる。
この処理は、図3においてさらに示されている。
特に、この相関関係はある一般標準にシューティング条件の適合を参照する。
最も重要な取得パラメータは、絞り口径と焦点距離である。
相関関係の処理は変えることができ、画像にマップを調整するか、反対にマップに画像を調整するかによって達成されるであろう。
いくつかの極端な場合では、何らかの共通基盤に適合されるためのダストマップと取得画像の双方のために有利であろう。
代わりに、新しいレンズの場合のように、(130)によって呼ばれるこの処理(300)は、新しいマップの上にそのマップを適合するために使用されるか、又は、一つの地図のなかに二つの前から存在するマップを吸収するために使用されるであろう。
そのステージから、前方に向かって、システムは一つの地図を続行するかもしれません。
ダストマップが全く画像(140)に一致していない場合には、新しいダストマップは作成されます(200)。
ダストマップが画像一致していない場合には(140)、好適な実施形態では、ダスト領域(150)のように決定するために、ダストマップにおいて定義されるようなダストスペックが、十分に高い信頼水準にあるかどうかをチェックする。
一般的なダストマップと個々のダストスペックのために前記信頼性のレベル計算及び決定は、図2及び図3において検討される。
その信頼性水準が低い場合には、画像はダストマップ(200)の更新に追加される。
その画像が加えられた場合には、信頼性水準は十分に増加し(152)、ソフトウェアはダスト除去処理(160)を続ける。
そうでない場合には、ソフトウェアは次の画像170)に進む。
例えば、一つのダストマップは、画像の最小数(Nという)が分析された後にだけ、有効であると考えられ、ダストスペックは、ある共通に配置されたダスト領域が画像の二番目の最小の数(Mという)において検出された後に有効であると考えられる。
ここで、例えばN=6でM=3の場合には、そのとき4つの画像を分析した後、そのソフトウェアは、ダストスペックの大量の存在を確認し決定し、そして、それに応じてダストマップ(200)を更新するが、しかし、ダストマップを有効にするために、追加画像の分析を継続するのに違いなく(この例では二つ以上)、ソフトウェアは補正(160)に続きます。
ダストマップの前記有効を得る前に、補正は行われない。しかしながら、画像はダストマップが有効にされた後、過去に遡って補正することができる。
したがって、たとえダストマップ有効性の前に取得された原画像であっても補正される。
ダスト検出と補正処理(160)を参照する。
この処理は、検出と修正(400、その後に500、160)のステージで、ダストマップにおける全てのダストスペックについてループとして実行されるであろう。
代わりに、その処理は、すべてのダストスペックが最初の(162)を検出したところで実行され、そして、そのとき全てのダストスペックは補正される(164)。
操作のシーケンスに関する決定は、本発明の特別の実施形態の条件に基づいて変化する
検出プロセスの一部として、そのソフトウェアは、取り入れられた各新しい画像がダストマップに比較されるところで、自己実験(500)を実行する。
この処理は、さらに図5において定義される。各ダストスペックとダストマップとのためのこのステージの重要性は、この方法であり、周辺を移動する一つのスペックや修理されたカメラのようにそのダスト状況が変化する場合には、そのソフトウェアは、その変化を検出し、そして、ダストマップの再検証が要求されることを決定する。
その再検証過程は、個々のダストスペック(これに代えて、全体のダストマップとしてもよく、又は部分的検証及び全体的検証の両方の組み組み合わせを通じた信頼のできる環境において)について局所的に実行されることができる。
ダストマップ生成と更新が定義される図2Aに参照するように、この処理は、図1のブロック103、104によって定義されるような画像の補正を受け入れることができる。
その関数は一つの画像(240−SINGLE IMAGE)と呼ばれ、その画像は計算(270)に直接与えられる。
複数の画像が与えられ(240 MULTIPLE IMAGES)、マップ(220)を定義するために十分な画像がある場合には、最初のステップを定義することである。
このステップは、画像が多くある場合にはダストマップのための生成プロセスを最適化するために設計される。
参照されることになっているなっている画像の系列は、図1のブロック103又は104で定義されるようにN画像のオリジナルの収集に基づいています。
その画像の系列は、例えば直近の取得画像によりウェイトを与えるといった複数の基準に基づいており、そして、画像が比較的に短い時間フレームにおいて撮影された場合には、その系列において、ダストマップを生成するために処理される画像は、少ない動きで同じ被写体について撮影されたであろう同様の画像間の反復を最小にし、試みることを決定される。
その系列は、画像の数(HIDP)に制限がないであろう、そのため、いくつかの領域には、前記領域の中のダストスペックを評価して、有効にすることができるくらいのデータがないでしょう。
これは、いくつかの画像において画像の一部がとても暗い場合に起こるであろう。
代わりに、画像から抽出されたようなパラメータや、メタデータを含むことは、計算されることになっている系列とダストマップの数を決定する。
例えば、フォルダーがN=30画像であり、15は一つのカメラによって撮影され、そして、15は別のカメラでされている場合には、標本抽出ステップ(230)は2つのマップセットを作成するであろう。
新しいセットを作成するか又は新しいダストがないかどうかチェックする別の評価基準は、レンズのタイプです。
レンズを交換する場合には、それは、CCD−カビティーが潜在的に新しいダストにさらされたことを意味します。
これは新しい再検証処理を引き起こすであろう。また、それは、カメラが調整されたか、または写真家がカメラをきれいにしたのを示すであろう。
もちろん、カメラがいつ調整されたかを定義するパラメータがあると、これは新しいダストマップ作成の誘因となるでしょう。
それが既にそこにないなら、次のループ(270-271)はそれぞれの領域のマークとダストマップへの領域の追加を定義します。
一つの画像の中に三種類の領域が存在する。最初の領域は、それらが自然ダストかどうかを決定する十分な情報を有する領域である。
説明に役立つ実例として、小さく暗い領域が光、比較的大きく構造が同じ背景領域に囲まれている。
他の評価基準は、比較的弱い色の彩度がある領域を含むであろう。二つ目のグループは、確実にダストの無い領域です。
そのような領域は例えば全てが透明であり、又は強い色の彩度を持った領域である。
他の領域は、画像の非常に暗いセグメントなどのように結論に達しない。
この後のケースでは、例えば画像の一部であってもダストを検出するのが難しいであろう。
代わりに、「死んでいる画素」又露出されたことを見つけ、画素が画像の中に白色のスペックとして現れる場合には、評価基準は変わるであろう。
これらの評価基準は、また、取得パラメータの関数となるであろう。例えば、開口絞り状態での画像は、ダストの決定のための結論に達しないとして全てマークされるであろう、なぜなら、ダストは、画像について決定可能なフォームの中に十分に現れるように焦点合わせをされないからである。
ダストが潜在的に存在する領域はマークされ(292)、そのときダストマスクに加えられる(294)。その追加処理は、マップ上の新しいダストスペック領域の生成、確率関数、信頼水準、サイズ又は幾何学形状、または既存領域のセンターの位置の変化を含むであろう。
ほとんどダストの無い領域がマークされ(282)、そのとき、ダストマスクが追加される(284)。
図1で任意に定義されるように、このステップがこのファンクションに入る前に実行されない場合には、前記領域の追加及び/又は変更は、ダストマップ(300)によって定義されたようなシューティング条件に正規化される必要がある。
このループは画像(271)の全ての領域に渡って続く。代わりに(272)、各領域は(500)、単調が破壊されたところ(すなわち、高い確率でダストを持っていた領域が今はダストを持っていない)がいくらか存在するかを確認するためにダストマップと比較される。
図2(a)のダストマップ作成/更新処理が、ダストマップのダストの無い画素又は新しいダストを持った画素をどのように生成するかの実例は、図13(a)〜(c)において与えられる。
図13(a)は、画像‘I’が処理された後に、ダストマップを始めることであり、その図は、閾値p(Hdp)とp(Ndp)が、最終的に図13(c)で図示されるように超えるとき、f(Hdp)又はf(Ndp)の値の増加がぞれぞれ、新しいYD(ダストあり)画素又は新しいND(ダストなし)画素をどのように生成するかを示すものである。
図2(b)はダストマップ生成処理の代わりの実施形態を示している。ブロック1210は、既存の地図(1216)を開くか、又は新しい地図(1214)を作成するか同かを含むダストマップの準備を説明してあり、出発点として全ての画素がダスト無しか又は白であるとこである。
マップがシューティング条件に関連付けられ(300)た後、ダストマップI−dMは、ブロック1220の中に生成される。
画像内の全ての画素(1222)は、画素の照度値に基づき1244の値を受け取る。
ケース
Figure 2007507932
全ての画素が一旦分析されると、そのときそれらは、ダスト領域内の1296又はI−pMダストマップ内のダストスペックに群生される。
次のステップは、個々の画素の値に基づき継続するダストマップdM(1240)を生成することである。
最後のステージ(1250)では、ダストマップは、少なくとも一つの二成分マスクを生成するための少なくとも一つの所定の閾値に基づき領域内に区分けされる。
図2(b)の代わりのダストマップ生成/更新処理がどのようにダストスペックを生成し又は改善するかの追加的な図示例は、図14(a)―(f)に与えられる。
前提と現在の画像が読み出される前に、そのpMとdMマップがそれぞれ、図14(a)及び図14(b)において図示された姿を持っていることを前提とする。
pMはニ成分マップであり、ここでdMが多レベルの(連続する)のダストマップであることに注意する。
現在の画像が図2(b)の1220ブロックを通った後に、結果として起こるI-dMは、図14(c)(三レベル、または三成分、地図)に図示された姿である。
図2(b)の1296ブロックにおける処理後に、図14(d)に図示されたI−pMマップが得られる−三成分のマップ
次に、“疑ダスト”領域に属している全ての画素のために(疑ダスト領域とは、ダストが存在することが疑わしい領域を意味している)、その値は、図2(b)のブロック1240で指定される統計的な量子“量子”によって減少される。
結果として起こるdM地図の姿は、図14(b)のものと同様であり、“疑ダスト”画素の実際の値が、結果的により小さくなることを除く。
今閾値dM(図2(b)のブロック1250)で、新しいpMマップが図14(f)に図示されるように得られる。
図14(f)からわかるように、新しいダスト画素は、左側ダストスポットに現れ、ある画素は、ニ成分のマップの右側ダストスポットのなかで消滅する(この例の目的のために、図14(a)の各ダストブロックの一つの画素は、図14(a)−(f)において図示された単独の処理ステップに適合させることによって改善されることのためにダスト/ダストなし閾値に十分に近づくということが前提となることに注意する)
実用的な実施形態では、通常、ダスト又はダスト無しから変遷するために画素のための複数の処理ステップを取り込むであろう。
図3は、ダストマップの初期設定に画像を関連させる処理を図示している。この処理は、ダストマップ、新しいダストマップに対するダストマップ又は画像に対するダストマップに画像を関連させることを定義する。
前記関連処理は、互換性があり、そして、マップに画像を適合させるか又は画像にマップを適合させることによって実行される。
いくつかの場合において、前に説明したように取得画像とダストマップの両方がある共通の基盤に適合される。
初めに、ダストマップはロードされ(112)、初期データ上で発生されるマップは抜粋される(310)。そのようなデータは、初期状態に関連付けられるレンズタイプ、絞り口径及び焦点距離を含んでいるであろう。
一致する場合には、取得画像(304)からの情報は抽出され(320)そして、ダストマップの一つと比較される。
光学系の数学的なモデルにおいて説明されるように、ダストマップ及び画像間の二つの主要な適合は、それぞれ処置を施すべきであった異なる人工物である、焦点距離、絞り口径に基づいている。
現象に関する知識は、ダスト人工物のより良い検出と補正を助けるであろう。
代わりに、別の実施形態では、画像の分析と絞り口径や焦点距離が変化するようにダストの変更とは、レンズタイプ、焦点距離、絞り口径における変化関数のようにダストに変化を定義する変換を説明する経験的なモデルを構築するために使用されるであろう。
この後者のアプローチは、あるレンズ幾何学のために起こるかもしれない歪みの決定において特に有益である。
絞り口径の関数としてダストの数学的な歪みは、図7A−7Eに図示されている。上記現象の幾何光学的な記述は、図6A−図6Fにおいて描かれている。
図3を参照するように、データを抽出した後、後のステップは、焦点距離(900)と絞り口径(800)に基づく画像又はマップの改良となる。
後のステップは、それぞれ図9、図8において定義される。
これらの二つのステップ(800、900)では、画像及びダストマップを関連付けることを判断する。
継続性のある変化と下落の両方を定義するため、関連マップcMは、もはやニ成分ではない。
図4A(400)は、画像からダストを検出して除去する処理を定義する。Iが読み出された画像である入力であって、それが既にメモリの中に無い場合には、たとえメモリの中に無かったとしても、関連性のあるダストマップは、読み出されるcM(402)となる。
そのダストを検出し除去するシステムは、各ダストスペックごとに実行される。この処理は高度に対応させられ、細長く切れ切れになって、その画像一面に一つの道として実行されることができる。
物理的な現象によって定義され、正当化されるように、ダスト人工物を補正する方法は、2つの異なった操作に基づいて定義されます。
一つ目の操作は、無データ(440)又は430において定義されるように再現されるに違いないノイズに近いデータを持った領域のペイント作業又はレタッチ作業であり、後ほど図7Dで説明する。
前記補正操作の二つ目は、図7B−図7Dに図示するように、絞りの機能のように画素周りの漸次細くなるデグラデーションに基づいている。
ダストがその完全形の中にほとんど存在しない画像強調部分を参照すると、ダストのいくつかは画像の質に影響を与えるという事実のために、いくつかの領域はいくつかのデータ(420)まだ含んでいるが、画像強調アルゴリズムは、ピクセル(430)について実行される。
簡易化した実施形態(432)において、光学モデルが不透明さによって定義されるような全体の輝度に簡略化される光学モデルを仮定し、その強調された画像が逆に不透明さ(すなわち432)に関連する値を受けとるであろう。
ここで、
Figure 2007507932
モデルの有効性のチェックを維持するために、操作前の画素は、図5に図示するように有効性(500)を求める。
画像補正の二つ目の部分は、回復又はペイント(450)である。この場合には、ダスト後側の背景は、強調するための適切なデータを持っておらず、もし持っていたとしても、このデータは全体的なノイズレベルに相対的に近づいていないため、強調させることができない。
それゆえに、ダスト(470)に領域周りの分析に基づきすべてのピクセルをペイントする必要がない。
ブロック430に定義されるように強調した領域が良い質である場合には、それらの画素は同様に、ペインティングに資するであろう。
図4Bはペイント処理のある実施形態を図示している。一般的に、480において覆われた領域の各画素は、482で周辺の画素に基づき満たされることである。
この特定のアルゴリズムは、周囲により近い画素が外側の画素によって見込まれるよりよいチャンスを持っていることを計算の中に取り入られる。それゆえに、そのペイントは、通常、螺旋状の経路を外側内部から進んでいます。
内部への螺旋状の処理は図4Cに図示されている。
格子1410の中にダストスペック1400が与えられ、有界領域1420の周りのダストがデジタル形式になる。
1446、1448又は1450のような内側画素が存在する間において、1430のような外側ピクセルは、ダスト領域の部分ではない。
内部に動いている周囲に働きかけるアルゴリズムは、図4Bのブロックブロック470に定義されているように、下記のごとく図4Dに記述されている。
最初のステップでは、全ての周辺画素は、1から20まで番号が付けられ、図4Bに定義されるように操作される(ブロック474)。
その後、上述の言及した20の全ての画素は、図4Fのブロック1460に定義されるように、図4Bのブロック476に従い、シェイプ1470のより小さなダストスペックをそのままとしている領域から除去される。
この言及されたダストスペックは、異なる一まとまりの21−33で番号付けされた周平画素を持っている。ブロック476においてペイント処理によってそれらのピクセルを除去した後は、1480に説明されるようなより小さなダスト核が、たった三つのピクセル34、35、36ととともに残される。
そのピクセルのなかの充填処理は、螺旋状である必要はない。
異なる代替手段では、処理はダストを囲む領域のパターンに従います。
例えば、ラインとエッジ又は他の高周波情報は、平坦な領域に補充される前に補充される。
これは、ペイント処理のために必要な無いぼかしを妨げるであろう。ブロック462に基づくように、そのような高周波データを含む画素の場所を見つける評価基準は、画素の周りの全体的な勾配の決断に基づくことができます。
急なエッジの正当化である場合には、エッジの値を持った周辺画素のために情報を複製することが賢明ではない。
そのように実行することによって、そのペイント処理の中に、ラインやエッジのように画像内にいかなる高い頻度の情報でも保持することができる。
この実例が図4C、4D及び4Eに図示されている。図4Cに参照するように、格子1410上の有界ボックス1420とともに図4Fのような同じダスト1400は、文字A(1440)のように高い頻度のデータを含んでいる写真を不明瞭にしている。
画素1490が8つの画素(1491、1492、1493、1494、1495、1496、1497、1498)によって囲まれる図4Dに図示されるような9つの画素に基づき小さなセクションを取る。
簡略化すれば、各画素は黒と白との領域の間の平均値を受け取る。これは図4eに図示されている。この場合において、その画素1490と、周辺の8つの画素(1491、1492、1493、1494、1495、1496、1497、1498)はそれぞれ、210、220、48、35、145、180、253、245、250のデジタル値を持っている。
ピクセル1490の最適な値が、その周辺画素の形状が最も小さな勾配となるのは明らかである。
実際面ではピクセル1490の値は、決めることができないが、ペイントにおけるその中央であり、勾配の値はその周りの画素の勾配の値に基づきそして、この画素に推定されるであろう。
この特定の例において、画素1497と1493との間の異なる水平勾配は、1496と1491の垂直勾配がほとんど同じである間、最も大きくなる。
それゆえに、好ましい210の値は、一番上の画素と一番下の二つの画素の勾配の推定された平均値に基づくであろう。
図5は、処理の様々なステージ(すなわち、質制御)で使用されるかもしれないツールを説明している。
この処理は、メインワークフロー(図1)から、ダストマップ(図2Aと図2B)の生産又は画像修復及び強調(それぞれ図4Aと図4B)を呼び出す。
このツールの目的は、画素が、誤って分類され、誤って修正されないように保証するために質的に必要なチェックを実行することである。
質制御の一部として実行されるであろうデストの主要なカテゴリーの例として、我々は以下のようなことを述べる。
一つ目に、小さな絞り開口において、ダスト後側の領域は、全体的に明瞭に近づくに違いない。これがそのケース(530のNO)でない場合には、ダストマップは、再検討する必要があるであろう(550)。又は、画像はダストマップに正確に関連付けられないであろう
(これは画像が様々な時間、様々の取得装置であるときに起こります。この場合には、そのソフトウェアは、新しいダストやラックに一致するために新しいダストマップ(200)を生成するか、または、この画像を補正できないことをユーザに知らせるであろう)。
二つ目に、十分な情報がない場合には(530で曖昧の場合)、相関関係を拒絶するために、確証は全くありません、そして、その結果、処理は修正措置なしで(580)続行します。
三つ目に、画像が、ダストマップに同意するであろう情報を表示する場合には、そのソフトウェアは、続行するか又はそれに先立って、領域が実際にダストであるダストマップ(200)内の確率を高めてもよいであろう。
図8は、絞り口径に基づき、画像取得パラメータへのダストマップの適合を説明する。まとめると、絞りが閉じるのにつれて、ダストはより目立つであろう。
換言すると、例えば、画像がf−32のf−ストップを備えて取得され、そのダストがとても突出して、不透明であり、その一方で、f−2.8によって取得された同じ画像は、画像の見た目の劣化がない状態で表示される。
画像の補正は、ダスト人工物の過剰な補正を防ぐために、その情報を考慮に入れるべきです。
取得情報と対応するダスト地図初期設定は、326と312ブロックでそれぞれ抽出されます。そのとき、そのマップ810の各ダストスペックのために、ダストによってまだ不透明な領域のサイズは計算される(その数学的なモデルによって定義されるように)。
いくつかのケースでは、絞り開口部が大きく開き状態に設定されたとき、この領域は0に減退するであろう。他方、その絞り開口部が十分に閉じ状態に設定された場合には、そのサイズはダストのサイズに近づくであろう。
代わりに、このステップ820では、準備ステップの一部として実行され、データベース又はLUTに記録される。
そのときこの処理が二つに分割される。その十分に不透明な領域は、ループ834、835によって画素832によって834画素にマークされ、そして、図4Bにおいて定義されるようなペイント処理によって処理される。
半不透明なダストマップは、各画素のためにロープ840、841の中に生成される。画素842のそれぞれは、前述した図7A−図7Eの数学的なモデルに基づき、不透明な値844に割り当てられる。
部分的に減衰するだけであるダストスペックは、ブロック432における特定の実施形態とともに、図4のブロック430において説明されるように、ブロック432の特定の前記ダストスペックに対応する画像の領域内において画像データについての逆フィルタリングを実行する。
その逆フィルタリング処理は、原画像の一部でないデータを強くすることを避けるためのノイズ比率に信号を考慮することであろう。
例えば、そのダストの周辺の領域は、ダスト周辺の背光の形状の中にそれ自身を明示する高域フィルタに似た過剰シュートを持つであろう。
この背光は、その領域を強調する前に考慮されるべきである。
図9は、特定レンズ及び、焦点距離に基づくダストマップの適合を表している。
その科学的な背景は、図6F、図7Fによって説明される。前に説明したように、特定のレンズのための焦点距離の機能としてダストスペックの空間的な変化は、ウィンドウーtwの厚みについての関数(方程式)であり、ウィンドウーtwは、与えられたカメラに一定であり、そして、射出瞳、Peは存在し、それはレンズ系に基づいて変化し、ズームレンズの状態に応じて様々な焦点距離が存在する。
画像やダストマップが与えられ、その関連のある情報、すなわち、326にあるようにカメラのレンズやフォーカスレンズのタイプ、ダストマップ312におけるレンズダイプ、焦点距離、センサー318へのダストのカメラ距離に関する情報が読み出される。
そのときその処理は、マップ910内において全て知られたダストスペックを実行すし、図6E、6Fに説明さえるようなダストの変化を計算する。
ダストスペックの中央画素の条件は、光路の中央から計算され(922)、そして、画像上の同値のダスト領域の対応する変化が計算される(924)。
さらに、その変化はダストの位置(x,y)の関数であるため、そのダスト形状は変化する。
いくつかのケースにおいて、射出瞳についてのデータもダストのセンサーに対する距離も取得するのは不可能である。
そのようなケースは、アプリケーションがカメラについての先験的な知識または使われたレンズを備えていない時であるかもしれません。経験的に画像分析、ダスト変動とダストエッジの減少に基づくパラメータを再建することによって、理にかなったダストマップを作成することは、それらのケースにおいてまだ可能です。
推定プロセスを定義している図10及び図11において定義される技術のように、
そのような技術は、経験的なデータに基づいて、ダストの変化を絞り開口の変化の関数と定義する公式でパラメータの値を推定するプロセスを定めている図10と11の中で定められます。
図10は、焦点距離の変化の関数としてダスト変化をパラメータ化するために経験的なデータに基づく数式を構築するプロセスを定めます。
一般に、提案された実施形態は、ダストが見つかるとき、パターンマッチがダストの中に変化を見つけるために適用することができるとい事実に基づいている。
この情報に基づき、t/Peは式11−aに定義されるように計算されることができる。もし、tが既知の場合には、そのときPeは式11−bに復唱されるように計算されることができる。
具体的には、好ましい実施形態においては、画像は取得され、1010とダストマップは1012を計算する。
二つ目の画像が取得され、1030では最初の画像とは異なる焦点距離を持っており、ダストマップは1012を計算した。
その処理は、繰り返し、二つのダストマップ1040の中で二つのダストスポットを発見しようとする。
ダストスペックが相関していない場合には、その処理は連続的な画像のために繰り返される(1020)。
ダストスペックを見つける処理は、各ダストスペックに対して部分的な相互関係を適用することにより計算される。
好ましくは、方程式11−aに基づいて、ダストがより遠くにセンターからあるほど、精度はよりよくなる。
二つのスペックが同じダストスペックからあると決定しているとき、スペック間の不均衡は1042を計算する。
変化した画素間の比率が計算される。この比率は、式11−aにおけるt/Peの数の経験的な評価である。
さらに、センサーへのダスト距離が既知の場合には、レンズの射出瞳は、同じ方程式に基づいて計算されることができます。
図11は、絞り開口の変化関数としてダスト内の変化を定義する公式におけるパラメータの値を、経験的なデータに基づき、見積もる処理を定義する。
その処理は、焦点距離の評価のためにある記述されたものと似ているにもかかわらず、計算されたパラメータが異なるという事実がある。
特に、最初の画像は取得され、1110とダストはこの画像の中で検出される(1120)。
画像がダストを検出することを適切でないならば、あるいは、その確率がダスト領域のために引くいい場合には、この画像はこの目的のために拒絶され、そして、もう一つの画像が選択される。
経験的な比較のために、第2の画像は1140において取得され、あるいは、1130における画像のセットは、サンプリングを可能とするために、全ての絞り口径を変更することを有している。
その処理は、そのとき、確率の高いレベルで検出されたダスト領域を探す。全ての他のパラメータがその絞り口径を除いて似ている場合には、その処理は、原画像ダスト領域が見つけられる同じ座標におけるダスト領域を探すことができる。
1160において、二つ以上の画像のダスト領域は関連付けられる。1168において、その処理は十分な量のダスト領域のために実行され(ある一つが存在する場合における複数のケースであっても)、1169において、十分な量の画像が、信頼レベルに従っており、一つの画像になることができる。
1160において、一旦、そのダスト領域が結び付けられた場合には、1172において、絞り口径の変化による減少が計算され、1170において画素原理によってある画素について計算され、1179においてダスト領域において全ての画素のために計算される。
この情報に基づき、低下関数が計算される。好適な実施形態では、その低下関数が、絞り口径と同様に、ダストの表面から1ピクセルの距離の関数のように決定される。
代わりに、ダストスペックは、取得画像へのマップ内にそのダストスペックを関連づけようとすることによって決定される。
そのような関連付けは、ダストが動くと思われる方向において、光路の中心とダストとの間の斜線上の水平な又は正当なウィンドウ寸法の中において実行されることができる。
一つのダストスペックの動きについての知識を得ることによって、公式11−aに説明されるように、全ての他のダストスペック変化を決定することができる。
カメラが、そのカメラ内のダストと特定のダストパターンとの分析に基づき、物理的にクリーンにされるべきであるかどうかを決定することが可能である。
これは図12にフローチャートに図示されている。例えば、ダストのある幅は、その囲みに基づきペイントの補正を許さないことが挙げられる。
別の例では、そのダストが覆う全体の関連領域又はダストスペックの全体数である。
1200にあるように、そのような分析のための入力はダストマップである。このマップは、ブロック200において発生する、又はダストマップ又はキャリブレーションマップの他の説明、カメラマンによって自動的又は手操作に発生したダストマップに類似させることができる。
そのような分析は、全ての画像のために実行される必要がない。処理、1260はそのような分析に実行するかどうかを決定する。
この処理を引き起こすための例は、最後の分析後使用時間、レンズ交換であり、ダストの装入、又は図5のブロック500に定義するように、ダストが変化し又はダストがそのマップにもはや一致しないというダストマップの質制御分析からのメッセージを生成するであろう。
一般的に、ダスト構造における複数の変化は、その分析処理を引き起こすために正当化されるであろう。
1262において、分析が望まれないときは、その処理は終了される。さもなければ、1270において、その分析は実行される。
1272において、その分析はそれぞれ、各ダストスペックのために実行され、そしてそのとき、その結果は全体画像のために集積される。
1273では、各ダスト領域のために、複数のパラメータが抽出され、ダスト領域のエリアに限定されないが、ダスト領域最大幅、ダスト領域と隣接領域との間の距離、最後の分析からダスト領域の関連する動き、最後の分析後の新しいダストスペックの発生などを含んでいる。
この分析に従い、その結果は統計的に分析され、ダストスペックの数、ダストスペックの領域のようなデータを含むために要約され、そして、全画像のためのパーセンテージ又はサイズにおいて、ダストの最大幅、ダストスペックの最大範囲は、最後の分析後のダストの範囲において変化し、最後の分析後のダスト粒子について変化する。
代わりの実施形態では、自動的にいずれか一方、又は写真家の好みに基づき、1221にあるように、この分析は表示され又は将来的な言及のためのログファイル内にセーブされる。
前記の基準の各々は、少なくともひとつの許容できる閾値を持つであろう。この閾値は、ソフトウェアで修正されることができる最大の許容できるダストに関して、経験的にメーカーで決定される。
代わりに、このデータは、ダスト人工物のための許容レベルに基づき写真家によって適合されるであろう。
パラメータのいずれかが許容できる閾値を上回る場合には、1290において、そのユーザは、カメラが手動に維持されそしてクリーンにされるべきことを知らされる。
代わりに、1285において、この同じ処理は、ダストにおける変化についてユーザに知らせるためのツールとして使用されるであろう。
そのような情報は、ダスト補正アルゴリズムがキャリブレーション画像の生成に基づいている場合において、特に重要である。
この場合において、その分析は、新しいキャリブレーション画像が未来画像におけるダストの補正を支持するために取得されるということをユーザに知らせるために使用されるであろう。
代わりに、上述した分析の処理は、メンテナンス手順にも取り入れられるかもしれません、そこで、図12で記述されているように、カメラがきれいにされた後に自動テストを実行する(カメラが現在本当にきれいなことを確かめるために)。
そのような場合、高品質メンテナンスを保証するために、閾値パラメータは、もちろんかなりより制限的で、要求が多いです。
そこで、上述の実施形態に多くの代わるものは、画像処理回路、デジタルカメラ、複数の実施形態において有利に実行されるための本発明に許可されるであろう外部画像処理装置とデジタルカメラとを含む画像処理システムに組み込まれるであろう。
カメラアプリケーションにおいて、その被写体や画像面に関連する現存のダスト特有の位置は、画像内のダスト人工物の抽出されたパラメータ依存特性について情報を供給する。
そのダストが実際に、異なる抽出パラメータで撮影された複数の画像を分析することによってシステム内(例えば、センサーウインドウ)に、又は、フィルム画像のように撮影された原被写体の画像内にあるであろう。
技術は、また、カメラの又はダストの幾何学に基づきダスト欠陥のための補正を含んで使用されるであろう。
更なる技術は、欠陥のための検出及び補正処理を強調するためのカメラメタデータを利用することが必要であろう。
その方法は、時間経過の上にダストの有効性を確立するために所定のダストマップに比べて画像を分析することを含むかもしれません。
その方法は、レンズタイプの関数と焦点距離とのように所定のデフォルト取得条件(取得で使用された)で取得された画像マップすることがさらに必要になるかもしれません。
ある方法は、ダストマップの中に描かれるようなダストスペックと、レンズと絞り口径又は画像を取得するために使用される他の抽出されたパラメータの関数のようにダストの計算された変換に基づき取得画像の中の疑ダストスペックをマップすることを含む。
ダスト検出及び補正技術のうち少なくとも一方は、画像補正、又はそれらが補正に加えられるように画像の個々に先験的に職場に適用される。
その画像は、ある画像の導入又は、新しい画像の導入に動的に一致して先験的に発生するであろう。
その方法は、ある領域が確かにダストスペックの一部であるという事実に関して統計的な信頼を与えるとうステップを含んでいる。
その方法は、その取得装置があるメンテナンスから得られるかどうかを決定するためのツールとしてさらに与えるであろう。
ダスト分析に基づくデジタルカメラを含んでいるデジタル画像取得システムをサービスすることを奨励することであるかどうかを自動的に決定する方法は、有利に採用されるであろう。
加えて、ここで好適な実施形態によって実行されるであろう方法において、その操作は選択された印刷のシーケンスに詳述されるであろう。
しかしながら、もし特定の指令が明確に提供されず、又は必要とする当業者によって理解されない場合には、そのシーケンスが選択され、印刷上の便宜にとても指示され、その操作を実行するための少しの特定の命令を暗示することを意図しない。
好適な実施形態に従ったダスト除去処理のメインワークフロー ダストマップの作成説明する ニ成分のダストマップ ダストマップの関連性を画像シューティングパラメータにアウトラインする 好適な実施形態に従い画像からダストを除去するために手順を説明する ダスト領域のペイントの復元を説明する 高いエッジ情報で写真内のダストの発生を説明する ある画像内の数値の変化量を説明する ある画像内の数値の変化量を説明する 周辺内部から内ペイントのスパイラル手順を説明する ダストマップチェックの質制御方法を説明する 好適な実施形態に従い使用されるレンズの光学的なジオメトリーを説明するものである。焦点ナンバー、同じ焦点距離、同じ固定構造を持った三つのれんずにを表しており、構造は違っている。 好適な実施形態に従い使用されるレンズの光学的なジオメトリーを説明するものである。焦点ナンバー、同じ焦点距離、同じ固定構造を持った三つのれんずにを表しており、構造は違っている。 好適な実施形態に従い使用されるレンズの光学的なジオメトリーを説明するものである。焦点ナンバー、同じ焦点距離、同じ固定構造を持った三つのれんずにを表しており、構造は違っている。 好適な実施形態に従い使用されるレンズの光学的なジオメトリーを説明するものである。射出瞳の概念及びその距離を説明している 好適な実施形態に従い使用されるレンズの光学的なジオメトリーを説明するものである。画像面とウインドとともに主要な光線の横断を説明する。画像面は、好ましくは概ねセンサー面である。 好適な実施形態に従い使用されるレンズの光学的なジオメトリーを説明するものである。ある画像内の別のダストスペックの変化と比べた一つのダストスペックの変化を説明する。 画像ポイントに向かって集光するビームについて、ウインドの入面に配置されるダスト粒子の影響を説明する。 絞りの機能のようにダストによって覆われた光線の横図 絞りの機能のようにダストによって覆われた光線の正面投影を説明する 異なるナンバー表示による絞りに見られるような同じダストスペックのパワー分布マップを説明する 異なるナンバー表示による絞りに見られるような同じダストスペックのパワー分布マップを説明する ダストによって覆われた領域上の焦点距離における変化の効果を説明する 光軸の中心に関連する焦点距離の変化の関数としてダストの移動方向を説明する 絞りに基づくダストマップの調整を説明する 焦点距離に基づくダストマップの調整を説明する 実験データに基づき定式でパラメータの値を推定する処理を説明する。この定式は、焦点距離における変化の関数としてダスト内の変化を定義する。 実験データに基づき定式でパラメータの値を推定する処理を説明する。この定式は、絞りにおける変化の関数としてダスト内の変化を定義する。 別の実施形態に基づきダスト分析の更なる処理を説明する 図2(a)で説明した処理に基づきダストマップの一部がどのように作成され、更新されるかを説明する。 図2(a)で説明した処理に基づきダストマップの一部がどのように作成され、更新されるかを説明する。 図2(a)で説明した処理に基づきダストマップの一部がどのように作成され、更新されるかを説明する。 図2(b)で説明した選択的な処理に基づきダストマップの一部がどのように作成され、更新されるかを説明する。 図2(b)で説明した選択的な処理に基づきダストマップの一部がどのように作成され、更新されるかを説明する。 図2(b)で説明した選択的な処理に基づきダストマップの一部がどのように作成され、更新されるかを説明する。 図2(b)で説明した選択的な処理に基づきダストマップの一部がどのように作成され、更新されるかを説明する。 図2(b)で説明した選択的な処理に基づきダストマップの一部がどのように作成され、更新されるかを説明する。 図2(b)で説明した選択的な処理に基づきダストマップの一部がどのように作成され、更新されるかを説明する。

Claims (130)

  1. 光学システムに含まれるデジタル取得装置によって取得された画像内のダスト人工物領域を自動補正する補正方法であって、
    前記デジタル取得装置で取得する一つ以上の原画像デジタル取得ステップと、
    複数の画素が前記一つ以上のデジタル取得画像の中のダスト人工物領域に一致する確率を決定するステップと、
    一つ以上の画像が取得されたとき前記光学システムの関連する一つ以上の抽出されたパラメータとダスト人工物領域を結びつけるステップと、
    前記ダスト人工物確率決定と前記結びつけに基づき描かれたダスト領域を含んでいる統計的なダストマップを形成するステップと、
    前記結び付けられた統計的なダストマップに基づき、前記一つ以上の各原画像の中のダスト人工物領域に一致する画素を補正するステップとを有することを特徴とする補正方法。
  2. 前記一つ以上の抽出されたパラメータは、デジタル取得装置の光学系の絞り口径寸法、Fナンバー、変倍率、レンズ種類及び焦点距離のうちいずれか、又は、それらの組み合わせを有していることを特徴とする請求項1に記載の補正方法。
  3. 前記一つ以上の抽出されたパラメータは、前記デジタル取得装置で取得された前記複数の原デジタル画像の中の一つ以上の前記ダスト人工物領域比較から経験的に計算されることを特徴とする請求項2に記載の補正方法。
  4. 前記一つ以上の抽出されたパラメータは、絞り口径寸法及び焦点距離のうち少なくとも一方を含んでいることを特徴とする請求項2に記載の補正方法。
  5. 前記デジタル取得装置で取得された画像をさらにデジタル的に取得するステップと、
    前記決定と結び付けを繰り返すステップと、
    前記さらなるダスト人工物決定と結びつけに基づき前記記述されたダスト領域を更新することを含む前記統計的ダストマップを更新するステップとを有することを特徴とする請求項1に記載の補正方法。
  6. 前記更新され、結び付けられた統計的ダストマップに基づき前記さらなる画像の中の関連付けられたダスト人工物領域に一致する画素を補正するステップを含むことを特徴とする請求項5に記載の補正方法。
  7. 前記結び付けられた統計的なダストマップの前記更新に基づき、前記一つ以上の原画像の一つ以上を更新するステップを有することを特徴とする請求項5に記載の補正方法。
  8. 前記決定し結び付ける前記さらなるデジタル的な取得画像のために繰り返すステップと、
    前記追加のダスト人工物決定と結び付けとに基づき、前記記述されたダスト領域を更新することを含む前記統計的ダストマップを更新するステップとを含むことを特徴とする請求項5に記載の補正方法。
  9. 存在するダストの動き又は新しいダストの出現を含まない更新に前記結び付けられた統計的なダストマップの前記更新に基づき、前記一つ以上のさらなる、そして原画像の更新を制限するステップを含むことを特徴とする請求項5に記載の補正方法。
  10. 前記前もって決定されたダスト人工物領域を含む更新に前記結び付けられた統計的なダストマップの前記更新に基づき、前記一つ以上のさらなる、そして原画像の更新を制限するステップを含むことを特徴とする請求項5に記載の補正方法。
  11. 前記統計的なダストマップの中にバージョンディスクリプションを生成するステップを含むことを特徴とする請求項5に記載の補正方法。
  12. 前記バージョンディスクリプションに基づき前記結び付けられた統計的ダストマップの前記更新に基づき、一つ以上の前記さらなる、そして原画像の更新を制限するステップを含むことを特徴とする請求項11に記載の補正方法。
  13. 前記バージョンは、年代順のタイムスタンプに基づくことを特徴とする請求項5に記載の補正方法。
  14. 前記バージョンは、レンズの交換に基づくことを特徴とする請求項5に記載の補正方法。
  15. 前記バージョン情報は、複数の画素がダスト人工物領域に一致する前記統計的ダストマップの中に前記確率の変化を含むことを特徴とする請求項5に記載の補正方法。
  16. 前記バージョン情報は、ダストロケーションにおける変化、ダストポジションにおける変化、新しいダスト領域の出現、存在するダストマップの消滅を含む一つ以上のパラメータを含むことを特徴とする請求項5に記載の補正方法。
  17. 前記統計的ダストマップにおける前記変化の根拠ある量及び質が存在する十分な格差を決定することに基づき、ダストマップが交換される必要があるかどうかを決定するステップを含むことを特徴とする請求項5に記載の補正方法。
  18. 前記画像補正方法は、前記メモリ、前記電気処理、前記センサーレイ、前記光学システムを含むデジタルカメラの中で自動的に実行されることを特徴とする請求項1に記載の補正方法。
  19. 前記画像補正方法は、前記デジタル画像取得を形成するための前記センサーアレイと前記光学システムとを含むデジタルカメラと、前記メモリと前記電気処理とを含む処理システムとを結び付ける外部処理装置の中の少なくとも一部を実行することを特徴とする請求項1に記載の補正方法。
  20. 前記画像補正方法を実行する外部装置の中のメモリに格納される指令をプログラミングすることを特徴とする請求項19に記載の補正方法。
  21. 前記決定は、二つ以上のデジタル取得画像の中に疑ダスト人工物領域の比較及びダスト人工物領域の存在の所定の特徴指標を考慮する疑ダスト人工物領域の画素分析のうち少なくとも一方の一部に基づき、前記複数の画素が、前記取得画像の中のダスト人工物領域に一致するという確率を決定することを含むことを特徴とする請求項1に記載の補正方法。
  22. 第1の閾値よりも低い確率を有するような複数の疑ダスト人工物領域を取り除くことを含むことを特徴とする請求項21に記載の補正方法。
  23. 各さらなるダスト人工物領域が前記取り除き操作の対象となるかどうかを判定する前にさらなる取得画像を比較することを含むことを決定する更なる確率の対象となるように、前記閾値よりも大きい確率を持つように複数の前記さらなるダスト人工物領域を判定することを含むことを特徴とする請求項22に記載の補正方法。
  24. 前記補正操作の対象となるように第2の閾値よりも上の確率を有するように複数の推定ダスト人工物領域を判定することを含むことを特徴とする請求項22に記載の補正方法。
  25. 前記第1及び第2の閾値は異なることを特徴とする請求項24に記載の補正方法。
  26. 各さらなるダスト人工物領域が前記取り除き操作の対象となるかどうかを判定する前にさらなる取得画像を比較することを含むことを決定する更なる確率の対象となるように、前記第1及び第2の閾値の間の確率を持つように複数のさらなるダスト人工物領域を判定することを含むことを特徴とする請求項25に記載の補正方法。
  27. 前記補正操作の対象となることのように、ある閾値よりも上の確率を有するように複数の推定ダスト人工物領域を判定することを含むことを特徴とする請求項21に記載の補正方法。
  28. 各さらなるダスト人工物領域が前記補正操作の対象となるかどうかを判定する前にさらなる取得画像を比較することを含むことを決定する更なる確率の対象となるように、前記閾値よりも低い確率を持つように複数の推定ダスト人工物領域を判定することを含むことを特徴とする請求項27に記載の補正方法。
  29. 前記確率決定は,評価条件を重み付けするひとつ以上の所定の確率に従い,疑わしいダスト人工物領域を重み付けすることを含むことを特徴とする請求項21に記載の補正方法。
  30. 前記一つ以上の評価条件の重み付けは,サイズ,形,前記疑わしいダスト人工物領域の輝度又は不透明度,一つ以上の他の画像内における一つ以上の疑わしいダスト人工物領域の位置,不透明度,輝度,形,サイズにおける類似点の程度,又はそれらの組み合わせであることを特徴とする請求項29に記載の補正方法。
  31. 前記決定は,二つ以上のデジタル取得画像の中の疑わしいダスト人工物領域の少なくとも比較の一部に基づくことを特徴とする請求項1に記載の補正方法。
  32. 前記確率の前記決定は,あるダスト人工物領域の存在を指し示す所定の特性を考慮した前記疑わしいダスト人工物領域の画素分析に基づくことを特徴とする請求項1に記載の補正方法。
  33. 前記少なくとも二つの画像内の前記疑わしいダスト人工物領域は,インナー領域,オーラ領域を含んでおり,前記補正は前記オーラ領域の第1補正と,前記インナー領域の第2補正とを有することを特徴とする請求項1に記載の補正方法。
  34. 前記ダストマップは,閾値確率以上の確率を有するダスト人工物領域を有しており,それより低い確率を有する領域を有していないことを特徴とする請求項1に記載の補正方法。
  35. 前記ダストマップは,第1の閾値以上の確率を有するダスト人工物領域を有しており,第2の閾値よりも低い確率を有する領域を有しておらず,前記ダストマップの中に存在する前記第1及び第2の閾値の間の確率を有しており,そのときさらなる画像情報は,前記領域がダスト人工物として含まれるかどうかを決定する前に前記確率分析に結び付けられることを特徴とする請求項1に記載の補正方法。
  36. 前記確率決定は,二つ以上の前記画像内の各前記領域に基づき多数の各確率を統計的に結びつけることを含むことを特徴とする請求項1に記載の補正方法。
  37. 複数の画素が,前記二つ以上の前記画像内の疑わしいダスト人工物領域の少なくとも比較の一部に基づき,前記画像内におけるダストの領域自由に一致する確率を決定する事を含むことを特徴とする請求項1に記載の補正方法。
  38. ある画素がダストの自由領域に一致する確率に基づきある疑わしいダスト人工物を取り除くことを特徴とする請求項37に記載の補正方法。
  39. 前記関連付けられた統計的なダストマップに基づきさらなるデジタル取得画像内に相関性のあるダスト人工物領域に一致する画素を補正する前に,いくつかの画素が前記更なるデジタル取得画像の中にダスト人工物領域に一致することを否定する確率データを,前記更なる取得画像が持っていないかどうかを有効にすることを含むことを特徴とする請求項1に記載の補正方法。
  40. 前記更なるデジタル画像の前記疑わしいダスト人工物領域は,影領域とオーラ領域とを含むことを特徴とする請求項1に記載の補正方法。
  41. 前記焦点距離抽出パラメータは,前記デジタル取得装置で取得した前記複数の原デジタル画像の中に前記ダスト人工物領域の前記影領域の転移の比較から経験的に計算されることを特徴とする請求項40に記載の補正方法。
  42. 前記絞り口径抽出パラメータは,前記デジタル取得装置で取得した前記複数の原デジタル画像の中に前記ダスト人工物領域の前記オーラ領域の減少の比較か経験的に計算されることを特徴とする請求項40に記載の補正方法。
  43. 請求項40において復唱される補正方法として,前記補正は,前記オーラ領域の第1の補正と前記影領域の第2の補正とを含むことを特徴とする請求項40に記載の補正方法。
  44. 前記抽出されたパラメータ依存の影領域分析に基づいている影領域に関して前記決定を行い,前記影領域分析は,前記デジタル画像取得のセンサー上の複数領域は,前記ダストによって全部覆われていることを推測することを特徴とする請求項40に記載の補正方法。
  45. 前記影領域分析は,ダスト人工物輝度,形,位置, 反射又は伝達特性,センサーへの出すと距離,絞り口径,射出瞳,焦点距離又はこれらの組み合わせについて,異なる画像内の一つ以上の抽出されたパラメータの値の効果の違いを計算することを含むことを特徴とする請求項44に記載の補正方法。
  46. 前記異なる画像は,前記一つ以上の抽出されたパラメータの異なる値を取得されることを特徴とする請求項45に記載の補正方法。
  47. 前記異なる画像は,異なる被写体について取得されることを特徴とする請求項45に記載の補正方法。
  48. 前記異なる画像は,異なるシーンについて取得されることを特徴とする請求項45に記載の補正方法。
  49. 前記抽出されたパラメータに依存するオーラ領域分析に基づいているオーラ領域に関して前記決定は行われ,
    前記オーラ領域は,前記デジタル画像取得装置の複数の領域が前記ダストによって部分的に覆われることを推定するということを分析することを特徴とする請求項40に記載の補正方法。
  50. 前記オーラ領域分析は,ダスト人工物輝度,形,位置,反射又は伝達特性,センサーへのダスト距離,絞り口径,射出瞳,焦点距離,又はこれらの組み合わせについての異なる画像における一つ以上の抽出されたパラメータの値の違いによる効果を計算することを含むことを特徴とする請求項49に記載の補正方法。
  51. 前記異なる画像は,異なる値の前記一つ以上の抽出されたパラメータを取得されることを特徴とする請求項50に記載の補正方法。
  52. 前記異なる画像は異なる被写体について取得されることを特徴とする請求項50に記載の補正方法。
  53. 前記補正操作は,修復及びペイントのうち少なくとも一つを含むことを特徴とする請求項40に記載の補正方法。
  54. 前記補正は,前記影領域をペイントすることを含むことを特徴とする請求項53に記載の補正方法。
  55. 前記ペイントは,前記影領域外側画素から取得されたスペクトル情報に基づき,影領域補正スペクトル情報を適合し,かつ決定することを含んでいることを特徴とする請求項54に記載の補正方法。
  56. 前記補正はオーラ領域の修復を含むことを特徴とする請求項53に記載の補正方法。
  57. 前記修復は,前記オーラ領域の中の画素から取得されたスペクトル情報に基づき,オーラ領域補正スペクトル情報を適合し,かつ決定することを含むことを特徴とする請求項56に記載の補正方法。
  58. 前記カメラセンサーによって取得されるようなロー画像データについて実行され補正方法であることを特徴とする請求項1に記載の補正方法。
  59. 前記画像補正方法は,公知のレッド,グリーン,ブルー表示にローフォーマットから変換される後の処理画像について実行されることを特徴とする請求項1に記載の補正方法。
  60. 前記補正は,新しい画素を持った前記一つ以上のデジタル取得画像の中に前記画素を取り替える事を特徴とする請求項1に記載の補正方法。
  61. 前記補正は,前記一つ以上のデジタル取得画像の中に画素の前記値を強調することを特徴とする請求項1に記載の補正方法。
  62. 前記補正指令は,外側位置に前記画像データを抑えることを特徴とする請求項1に記載の補正方法。
  63. 前記外側位置は,画像ヘッダを含んでいることを特徴とする請求項1に記載の補正方法。
  64. 前記ダスト人工物決定操作は,統計的なダストマップを読み出すこと,現画像の抽出されたパラメータ情報を読み出すこと,抽出されたパラメータ可変依存を有している統計的なダストマップの中に計算を実行すること,前記抽出されたパラメータ依存統計的ダストマップデータを持った前記ダスト人工物決定を比較することを特徴とする請求項1に記載の補正方法。
  65. 前記抽出されたパラメータ情報は,絞り口径寸法及び焦点距離の値を含んでいることを特徴とする請求項64に記載の補正方法。
  66. 前記抽出されたパラメータは,さらにレンズ種類情報を含むことを特徴とする請求項65に記載の補正方法。
  67. 前記ダスト人工物決定操作は,統計的なダストマップを読み出すこと,現画像の抽出されたパラメータ情報を読み出すこと,前記現画像及び前記ダストマップを別に関連付けない少なくとも一つの抽出されたパラメータの選択された値に従い,前記現画像を持った前記統計的なダストマップを関連付けるための計算を実行することと,その今補正された統計的なダストマップデータを持った前記ダスト人工物決定データを比較することを含むことを特徴とする請求項1に記載の補正方法。
  68. 前記少なくとも二つの画像の前記疑わしいダスト人工物領域は,前記インナー領域と前記オーラ領域とを含み,前記比較は,前記インナー領域の第1比較と前記オーラ領域の第2の比較とを含むことを特徴とする請求項1に記載の補正方法。
  69. 前記ダスト人工物領域は,ダストによって部分的に覆われるオーラ領域と前記オーラ領域の内側のダストによって略覆われる影領域とを含んでいることを特徴とする請求項68に記載の補正方法。
  70. 前記抽出パラメータ依存影領域分析に基づいている影領域に関して前記決定を行い、前記影領域分析は前記デジタル画像取得装置のセンサー上の複数の領域は、前記ダストによって完全に覆われることを特徴とする請求項69に記載の補正方法
  71. 前記影領域分析は、ダスト人工物輝度、形、位置、反射又は伝達特性、センサーへのダストの間隔、絞り口径、射出瞳、焦点距離、又はそれらの組み合わせについて異なる画像内に一つ以上の抽出されたパラメータの値における効果の違いを計算することを含むことを特徴とする請求項70に記載の補正方法。
  72. 前記異なる画像は、異なる被写体について取得された画像を有していることを特徴とする請求項71に記載の補正方法
  73. 前記異なる画像は、異なるシーンについて取得された画像であることを特徴とする請求項71に記載の補正方法。
  74. 抽出されたパラメータ依存オーラ領域分析に基づいているオーラ領域に関して前記決定を行い、前記オーラ領域分析は、デジタル画像取得装置についての複数の領域が部分的にダストによって覆われていると推定されることを特徴とする請求項69に記載の補正方法。
  75. 前記オーラ領域分析は、ダスト人工物輝度、形、位置、反射又は伝達特性、センサーへのダストの距離、絞り口径、射出瞳、焦点距離、又はこれらの組み合わせについて異なる画像内に一つ以上の抽出されたパラメータの値における効果の違いを計算することを含むことを特徴とする請求項74に記載の補正方法。
  76. 前記異なる画像は、異なる被写体について取得されたことを特徴とする請求項75に記載の補正方法。
  77. 前記補正操作は、ペイント及び修正のうち少なくとも一つを含むことを特徴とする請求項69に記載の補正方法。
  78. 前記補正は、影領域をペイントすることを含むことを特徴とする請求項77に記載の補正方法。
  79. 前記ペイントは、前記影領域の外側の画素から取得されたスペクトル情報に基づくオーラ領域補正スペクトル情報を適合及び決定することを含むことを特徴とする請求項78に記載の補正方法。
  80. 前記補正は、前記オーラ領域の修正を含むことを特徴とする請求項77に記載の補正方法。
  81. 前記修正は、前記オーラ領域内の画素から取得されたスペクトル情報に基づくオーラ領域補正スペクトル情報を適合及び決定することを含むことを特徴とする請求項80に記載の補正方法。
  82. メタデータに従う前記ダストマップ内のダスト人工物分布データを取り除くことを含むことを特徴とする請求項1に記載の補正方法。
  83. 前記抽出されたパラメータ情報は、絞り口径寸法及び焦点距離を含むことを特徴とする請求項67に記載の補正方法。
  84. 前記抽出されたパラメータ情報は、レンズ種類情報を含んでいることを特徴とする請求項67に記載の補正方法。
  85. 前記抽出されたパラメータは、焦点距離、レンズ組み立て品のタイプ又は変倍率、絞り口径サイズ、位置、又はこれらの組み合わせを含んでいることを特徴とする請求項67に記載の補正方法。
  86. 前記抽出されたパラメータは、さらに、電気センサーアレイの平面における一つ以上の位置から前記実際のダスト物の距離を踏むことを特徴とする請求項67に記載の補正方法。
  87. 前記方法は、前記十分な不一致が、デジタル取得装置がクリーンにされることを決定するために連続的な画像内のダスト人工物決定間に存在することと、そのクリーン動作の前のダスト人工物決定が前記ダストマップの中で使用されないということを決定することを含むことを特徴とする請求項67に記載の補正方法。
  88. 前記補正は、ペイント及び修正のうち少なくとも一方を含むことを特徴とする請求項67に記載の補正方法。
  89. 請求項88の補正方法において、前記ペイント操作は、ほとんどない画像相当のスペクトル情報、不十分な画像相当のスペクトル情報、それらの関連データの組み合わせを持つために決定される画素について実行されることを特徴とする請求項88に記載の補正方法。
  90. 前記ペイントは、前記ダスト領域に画素周辺の特性に基づき、新しい画素値の生成を含むことを特徴とする請求項89に記載の補正方法。
  91. 前記ペイントが基本とされる画素周りの一つ以上の特性は、色、輝度、変過度、エッジ検出、ノイズ、パターン、質感、幾何学、それらの組み合わせを含むことを特徴とする請求項90に記載の補正方法。
  92. 前記修正は、それらの一致するデータと関係がある十分な画像相当スペクトル情報を持つために決定された画素について実行されることを特徴とする請求項88に記載の補正方法。
  93. 前記補正は、前記ダスト人工物の不透明さへの反比例関係又は、前記画像内の画素の輝度特性に基づき輝度を修正することを含むことを特徴とする請求項92に記載の補正方法。
  94. 前記修正は、さらに前記画像内の画素の現在の色特性に基づき色を強調することを含むことを特徴とする請求項93に記載の補正方法。
  95. 請求項1乃至94のうちいずれか一つに記載の補正方法において、前記ダスト人工物の決定及び関連付け操作は、さらに前記統計的なダストマップを形成する後に取得された画像のたまに繰り返され、
    前記統計的なダストマップは、一つ以上の抽出されたパラメータの異なる値を持って取得された画像の中にダスト人工物領域に関係するデータを結合することを含む前記ダストマップの中にダスト人工物領域を持った前記さらなる取得画像の関連付けられ決定されたダスト人工物領域を数学的に関連付けることを含む前記さらなる画像に基づき、修正され、この修正された統計的なダストマップに基づき取得画像の中に関連付けられたダスト人工物領域に一致するデジタルデータを補正することを特徴とする請求項1乃至94のうちいずれか一つに記載の補正方法。
  96. 前記原ダストマップの中に確率データを持った新しい確率データを結合することに基づき、確率を変更することを含むことを修正することを特徴とする請求項95に記載の補正方法。
  97. 前記修正は、前記原ダストマップの中に確率データを持った新しい確率データを結合する後に0と1との間のある閾値よりも小さいその確率のために前記原ダストマップのダスト人工物を取り除くことを含んでいることを特徴とする請求項95に記載の補正方法。
  98. 前記修正は、確率を持っていることによる前記原ダストマップの中に存在しない新しいダスト人工物領域を書き込むことを含み、複数の画像分析に基づき、それは、前記原ダストマップの中に確率データを持った新しい確率データを結合する後に0と1との間のある閾値よりも大きいことを特徴とする請求項95に記載の補正方法。
  99. 前記一つ以上の検出ダスト領域により良い前記統計的な確率を表した前記ダストマップ修正後に前もって取得された画像のための前記補正デジタルデータを再適用することを含むことを特徴とする請求項95に記載の補正方法。
  100. 前記ダスト人工物領域は、ダストによって部分的に覆われるオーラ領域と、ダストによって略覆われる影領域とを含んでおり、前記影領域は、前記オーラ領域の内側にあることを特徴とする請求項95に記載の補正方法。
  101. 抽出されたパラメータ依存影領域分析に基づいている影領域に関して前記決定を行い、ここで前記影領域分析は、前記デジタル画像取得装置のセンサー上の複数の領域が前記ダストによって完全に覆われると推定することを特徴とする請求項100に記載の補正方法。
  102. 前記影領域分析は、ダスト人工物輝度、形、位置、反射又は伝達特性、センサーへのダストの間隔、絞り口径、射出瞳、焦点距離、又はそれらの組み合わせについて異なる画像内の前記一つ以上の抽出されたパラメータの値における効果の違いを計算することを含むことを特徴とする請求項101に記載の補正方法。
  103. 抽出されたパラメータ依存オーラ領域分析に基づいているあるオーラ領域に関して前記決定を行い、ここで、前記オーラ領域分析は、前記デジタル画像取得装置のある領域が前記ダストによって部分的に覆われることを推定することを特徴とする請求項100に記載の補正方法。
  104. 前記オーラ領域分析は、ダスト人工物輝度、形、位置、反射又は伝達特性、センサーへのダストの間隔、絞り口径、射出瞳、焦点距離、又はそれらの組み合わせについて異なる画像内の前記一つ以上の抽出されたパラメータの値における効果の違いを計算することを含むことを特徴とする請求項103に記載の補正方法。
  105. 前記補正操作は、ペイント及び修正のうち少なくとも一方を含むことを特徴とする請求項100に記載の補正方法。
  106. 前記補正は、前記影領域ペイントすることを含むことを特徴とする請求項105に記載の補正方法。
  107. 前記ペイントは、前記影領域外側の画素から取得されたスペクトル情報に基づき影領域補正スペクトル情報を適用し、決定することを含んでいることを特徴とする請求項106に記載の補正方法。
  108. 前記補正は、前記オーラ領域の修正を含んでいることを特徴とする請求項105に記載の補正方法。
  109. 前記修正は、前記オーラ領域内の画素から取得されたスペクトル情報に基づき、オーラ領域補正スペクトル情報を適用し、決定することを含んでいることを特徴とする請求項108に記載の補正方法。
  110. 前記補正操作は、前記オーラ領域と前記影領域とを計算することを含むことを特徴とする請求項100に記載の補正方法。
  111. 前記補正操作は、前記オーラ領域の補正に基づき概ね影領域を補正することを含むことを特徴とする請求項110に記載の補正方法。
  112. 前記統計的ダストマップは、前記統計的なダストマップの中に可変の値に基づき、ある画像内に生じるダスト人工物領域が異なることが予測されるように、抽出されたパラメータ依存変化量を含んでいることを特徴とする請求項95に記載の補正方法。
  113. 前記関連付けは、前記現存するがその循環調和の仮定について少なくとも一つの直線転換と、前記直線転換の率と前記抽出されたパラメータとの間の所定の数学的な関係とを実行することを含むことを特徴とする請求項67に記載の補正方法。
  114. 前記直線転換は、前記現画像とともに前記ダストマップの前記ダスト人工物領域の空間的な関連付けを実行することを含むことを特徴とする請求項113に記載の補正方法。
  115. 前記ダストマップの中に含まれる前記ダスト人工物領域又は前記ダストマップの追加的な特徴に関連する追加的な直線転換を実行することを含むことを特徴とする請求項114に記載の補正方法。
  116. 前記追加的な特性は、一つ以上のダストマップ輝度、透明性、不透明性、スケール、ダスト人工物領域サイズ、輝度、透明性、不透明性、スケール、そして画像中央に関連する空間的な位置を含んでいることを特徴とする請求項115に記載の補正方法。
  117. 前記関連付けは、前記非直線転換の前記率に前記抽出されたパラメータの選択されたパラメータを関連付けるLUT内に格納された所定データに部分的に基づき、少なくとも一つの非直線転換を実行することを含むことを特徴とする請求項67、113〜116のうちいずれか一つに記載の補正方法。
  118. 前記非直線転換は、前記現画像の非環状調和を補正することを特徴とする請求項117に記載の補正方法。
  119. 前記非直線転換は、前記現画像を取得するために使用される前記画像サブシステムの前記光学的な特性から生じる非直線空間写像に関して補正することを特徴とする請求項117に記載の補正方法。
  120. 前記非直線転換は、アフェイン変換であることを特徴とする請求項117に記載の補正方法。
  121. 複数の画像がダスト人工物領域に一致する確率の決定は、さらに、ダスト人工物の限界分配が一つ以上の前記デジタル画像の中に存在するかどうかを決定し、少なくとも一つの限界分配が存在することが決定される場合には、修理のための必要性を指示することを含むことを特徴とする請求項1に記載の補正方法。
  122. 前記一つ以上の取得画像は、一つ以上のキャリブレーション画像を含んでいることを特徴とする請求項121に記載の補正方法。
  123. 前記限界分配は、前記画像内の欠陥のようなものを合理的に補正するための前記デジタル画像取得システムの自動欠陥補正モジュールの能力分析に基づき決定されることを特徴とする請求項121に記載の補正方法。
  124. 前記デジタル取得画像の中に前記画素に一致するダスト人工物領域の確率を決定し、
    前記画像が取得されたとき前記光学システムに関連する一つ以上の抽出されたパラメータを前記ダスト人工物領域に関連付け、
    前記ダスト人工物決定及び関連付けに基づきダスト人工物領域を含んでいる統計的な記録を形成し、
    前記統計的記録の所定の特性に基づき前記限界分配を決定することを特徴とする請求項121に記載の補正方法。
  125. サイズ又は形、これらの両方、前記ダスト人工物領域は、前記所定の特性内に含まれることを特徴とする請求項124に記載の補正方法。
  126. 前記指示は、前記限界分配が存在するかどうかを前記決定に基づき、前記デジタル取得装置が修理される必要があることをユーザに知らせることを特徴とする請求項124に記載の補正方法。
  127. 前記一つ以上の取得画像は、一つ以上の絞り口径、シャッタスピード、尖鋭度、対象物体を含んでいることを設定している明確な取得を取得されることを特徴とする請求項121に記載の補正方法。
  128. 前記明確な取得セットは、前記デジタル画像取得システムについての明確なキャリブレーションモードに自動的に決定されることを特徴とする請求項127に記載の補正方法。
  129. 前記分析は、最後の前記分析に続いて定義される時間インターバルに基づくことを特徴とする請求項121に記載の補正方法。
  130. 前記分析は、レンズの交換に関連して定義されることに基づくことを特徴とする請求項121に記載の補正方法。

JP2006529982A 2003-09-30 2004-09-13 補正方法 Expired - Fee Related JP4416795B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US10/677,139 US7340109B2 (en) 2003-09-30 2003-09-30 Automated statistical self-calibrating detection and removal of blemishes in digital images dependent upon changes in extracted parameter values
US10/676,823 US7369712B2 (en) 2003-09-30 2003-09-30 Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
US10/677,134 US7308156B2 (en) 2003-09-30 2003-09-30 Automated statistical self-calibrating detection and removal of blemishes in digital images based on a dust map developed from actual image data
PCT/EP2004/010199 WO2005041558A1 (en) 2003-09-30 2004-09-13 Statistical self-calibrating detection and removal of blemishes in digital images

Publications (3)

Publication Number Publication Date
JP2007507932A true JP2007507932A (ja) 2007-03-29
JP2007507932A5 JP2007507932A5 (ja) 2008-04-03
JP4416795B2 JP4416795B2 (ja) 2010-02-17

Family

ID=34527982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006529982A Expired - Fee Related JP4416795B2 (ja) 2003-09-30 2004-09-13 補正方法

Country Status (6)

Country Link
EP (1) EP1668886B1 (ja)
JP (1) JP4416795B2 (ja)
AT (1) ATE417461T1 (ja)
DE (1) DE602004018345D1 (ja)
IE (1) IES20040604A2 (ja)
WO (1) WO2005041558A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013546084A (ja) * 2010-12-03 2013-12-26 オプトス、ピーエルシー 画像中の異常を識別する方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7352394B1 (en) 1997-10-09 2008-04-01 Fotonation Vision Limited Image modification based on red-eye filter analysis
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7702236B2 (en) 2006-02-14 2010-04-20 Fotonation Vision Limited Digital image acquisition device with built in dust and sensor mapping capability
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US7340109B2 (en) 2003-09-30 2008-03-04 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images dependent upon changes in extracted parameter values
US7590305B2 (en) * 2003-09-30 2009-09-15 Fotonation Vision Limited Digital camera with built-in lens calibration table
US8369650B2 (en) 2003-09-30 2013-02-05 DigitalOptics Corporation Europe Limited Image defect map creation using batches of digital images
US7295233B2 (en) 2003-09-30 2007-11-13 Fotonation Vision Limited Detection and removal of blemishes in digital images utilizing original images of defocused scenes
US7308156B2 (en) 2003-09-30 2007-12-11 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on a dust map developed from actual image data
US7424170B2 (en) 2003-09-30 2008-09-09 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images
US7310450B2 (en) 2003-09-30 2007-12-18 Fotonation Vision Limited Method of detecting and correcting dust in digital images based on aura and shadow region analysis
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
US20080007635A1 (en) * 2005-12-30 2008-01-10 Eastman Kodak Company System and method for reducing the appearance of inherent random optical patterns in a light-diffusing screen
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US7817874B2 (en) * 2006-12-06 2010-10-19 Micron Technology, Inc. Image sensor occlusion localization and correction apparatus, systems, and methods
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
JP2010520567A (ja) 2007-03-05 2010-06-10 フォトネーション ビジョン リミテッド 顔の位置および向きを用いた赤目の誤検出フィルタリング
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
CN109405735B (zh) * 2017-08-18 2020-11-27 阿里巴巴集团控股有限公司 三维扫描系统和三维扫描方法
CN111833270B (zh) * 2020-07-13 2023-02-10 新疆大学 一种快速的沙尘降质图像增强方法
CN112954239B (zh) * 2021-01-29 2022-07-19 中国科学院长春光学精密机械与物理研究所 星上cmos图像灰尘污染去除与复原系统及复原方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6035072A (en) * 1997-12-08 2000-03-07 Read; Robert Lee Mapping defects or dirt dynamically affecting an image acquisition device
JP2000050062A (ja) * 1998-07-31 2000-02-18 Minolta Co Ltd 画像入力装置
JP4167401B2 (ja) * 2001-01-12 2008-10-15 富士フイルム株式会社 ディジタル・カメラおよびその動作制御方法
US20030039402A1 (en) * 2001-08-24 2003-02-27 Robins David R. Method and apparatus for detection and removal of scanned image scratches and dust

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013546084A (ja) * 2010-12-03 2013-12-26 オプトス、ピーエルシー 画像中の異常を識別する方法

Also Published As

Publication number Publication date
WO2005041558A1 (en) 2005-05-06
EP1668886A1 (en) 2006-06-14
IES20040604A2 (en) 2005-06-15
ATE417461T1 (de) 2008-12-15
DE602004018345D1 (de) 2009-01-22
EP1668886B1 (en) 2008-12-10
JP4416795B2 (ja) 2010-02-17

Similar Documents

Publication Publication Date Title
JP4416795B2 (ja) 補正方法
US7545995B2 (en) Automated statistical self-calibrating detection and removal of blemishes in digital images dependent upon changes in extracted parameter values
US8879869B2 (en) Image defect map creation using batches of digital images
US7536061B2 (en) Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images
US7206461B2 (en) Digital image acquisition and processing system
US7369712B2 (en) Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
US7676110B2 (en) Determination of need to service a camera based on detection of blemishes in digital images
US8009208B2 (en) Detection and removal of blemishes in digital images utilizing original images of defocused scenes
US7315658B2 (en) Digital camera
US7310450B2 (en) Method of detecting and correcting dust in digital images based on aura and shadow region analysis
US7308156B2 (en) Automated statistical self-calibrating detection and removal of blemishes in digital images based on a dust map developed from actual image data
US7590305B2 (en) Digital camera with built-in lens calibration table
CN110536068A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
IES83966Y1 (en) Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
IE20040604U1 (en) Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
IES84112Y1 (en) Digital camera with built-in lens calibration table

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091124

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees