[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4121807B2 - Image reading apparatus and image reading method - Google Patents

Image reading apparatus and image reading method Download PDF

Info

Publication number
JP4121807B2
JP4121807B2 JP2002248779A JP2002248779A JP4121807B2 JP 4121807 B2 JP4121807 B2 JP 4121807B2 JP 2002248779 A JP2002248779 A JP 2002248779A JP 2002248779 A JP2002248779 A JP 2002248779A JP 4121807 B2 JP4121807 B2 JP 4121807B2
Authority
JP
Japan
Prior art keywords
image
visible light
light signal
visible
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002248779A
Other languages
Japanese (ja)
Other versions
JP2003152971A5 (en
JP2003152971A (en
Inventor
博司 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2002248779A priority Critical patent/JP4121807B2/en
Publication of JP2003152971A publication Critical patent/JP2003152971A/en
Publication of JP2003152971A5 publication Critical patent/JP2003152971A5/ja
Application granted granted Critical
Publication of JP4121807B2 publication Critical patent/JP4121807B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、フィルム等の画像記録媒体に撮影された原稿画像等を光電的に読み取る画像読取装置の技術分野に属し、詳しくは、フィルム等の画像記録媒体に残存する銀成分等のノイズ成分を検出し、その悪影響を防止することを可能にする画像読取装置および画像読取方法に関する。
【0002】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムとする)に撮影された画像の感光材料(印画紙)への焼き付けは、フィルムの画像を感光材料に投影して露光する、いわゆる直接露光が主流である。
また、近年では、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を露光してプリントとして出力するデジタルフォトプリンタも実用化されている。
【0003】
このようなデジタルフォトプリンタによれば、フィルムに撮影された画像を読み取って、デジタルの画像データとして画像処理を行うので、非常に好適に色や濃度を補正できるばかりか、階調補正やシャープネス処理(鮮鋭度補正)等、通常の直接露光のプリンタでは基本的に不可能な画像処理を行って、高画質な画像を得ることができる。
また、デジタルフォトプリンタでは、プリントのみならず、画像データを画像ファイルとしてCD−RやHD(ハードディスク)等の記録媒体に出力することも行われている。
【0004】
ところで、これらの写真プリンタにおけるプリント画像の画質低下の一因として、現像処理された(銀塩写真)フィルムの画像中に残存する銀成分(以下、残留銀とする)が知られている。
【0005】
【発明が解決しようとする課題】
いわゆるカラーのフィルムは、基本的に、発色/現像処理の後に行われる漂白処理および定着処理によって、存在する銀成分は全て取り除かれるように設計されている。
ところが、処理液の劣化、温度管理などの点で処理が適正に行われなかった場合等には、漂白処理や定着処理の不良が発生し、銀成分を除去しきれずに、残留銀が生じてしまう。
【0006】
画像中に残留銀が存在すると、高濃度部(プリント上ではハイライト)の階調が硬くなる、彩度の低下を生じる等、様々な画質劣化を生じてしまう。
従って、高画質な画像が再生されたプリントを作成するためには、残留銀による悪影響が無いようにする必要がある。しかしながら、現状では、フィルムの現像処理における漂白処理や定着処理を適正に管理して、画像中に残留銀が残存しないようにする以外に、有効な方法が無い。
なお、フィルムに残留する残留銀等の、画像記録媒体の像形成中間生成物のみならず、画像記録媒体中に不純物などが残留する場合にも、同様に画質劣化が起こるが、残留銀と同様に、画像中に不純物が残存しないようにする以外に、有効な方法が無いのが現状である。
【0007】
本発明の目的は、前記従来技術の問題点を解決することにあり、(写真)フィルム等の画像記録媒体に撮影または記録された原稿画像等を光電的に読み取る画像読取装置および画像読取方法であって、フィルムや印画紙等の銀塩写真感光材料などの画像記録媒体に記録された原稿画像中に残存する残留銀等の像形成中間生成物および不純物の少なくとも一方に起因する画像成分以外の不要(信号)成分を適正に検出することができ、あるいはさらに、残留銀等の不要(信号)成分に起因する画質低下の画像処理による補正を行うことができ、また、その結果、フィルムや印画紙等の銀塩写真感光材料の現像時間を短縮することができ、現像装置における処理条件にマージンをもたせることができ、現像装置の好適な管理等を可能にする画像読取装置および画像読取方法を提供することにある。
【0008】
【課題を解決するための手段】
上記課題を解決するために、本発明は、可視像および非可視像を含む原稿画像を光電的に読み取る画像読取装置であって、前記原稿画像に複数の可視光および非可視光をそれぞれ照射し、照射した光毎の画像情報を読み取る画像読取手段と、前記画像読取手段によって読み取られた画像情報の可視光信号と非可視光信号とを画像位置毎に対応付け、前記画像情報の中から可視像濃度が同一の可視光信号を抽出し、抽出した可視光信号と同じ位置の非可視光信号を抽出し、抽出した非可視光信号の中から最低濃度の非可視光信号を検出し、検出した最低濃度の非可視光信号と前記原稿画像が固有に有する非可視光信号との差分を前記可視光信号を抽出した可視像濃度における前記原稿画像に残存する銀成分として検出する検出手段とを有することを特徴とする画像読取装置を提供するものである。
【0009】
また、前記画像読取手段は、赤、緑および青の3原色の前記可視光を読み取ることにより、前記原稿画像の前記可視像を読み取るものであり、
前記検出手段は、前記赤、緑および青の三原色に対してそれぞれ所定の重み付けをして重み付け演算を行って得られた重み付け可視光信号と非可視光信号とを画像位置毎に対応付け、前記画像情報の中から重み付け可視光信号の濃度が同一の重み付け可視光信号を抽出するのが好ましく、また、前記重み付け可視光信号は、前記赤、緑および青の順序で重み付けを小さくする重み付け演算を行って得られたものであるのが好ましい。
【0010】
また、本発明は、上記画像読取装置であって、さらに、前記検出手段によって検出された前記残存する銀成分に応じて、前記残存する銀成分の影響を補正する補正情報を生成し、この補正情報を用いて、前記画像読取手段によって読み取られた前記可視光信号の補正を行う補正手段を有することを特徴とする画像読取装置を提供するものである。
ここで、前記補正手段による前記可視光信号の補正は、前記残存する銀成分に起因する階調および色再現性の変化の少なくとも一方を画像信号処理によって修正すること、または、前記残存する銀成分に起因する粒状性の変化を修正するために、画像信号処理における粒状抑制の強度を変化させることであるのが好ましい。また、前記補正手段による前記可視光信号の補正は、前記残存する銀成分に起因する階調および色再現性の変化の少なくとも一方を画像信号処理によって修正し、かつ、前記残存する銀成分に起因する粒状性の変化を修正するために、画像信号処理における粒状抑制の強度を変化させることであることも好ましい。
また、前記補正手段は、前記可視光信号が同じである画素集合における最低濃度の前記非可視光信号を基準にして、前記補正情報を生成する好ましい。
【0011】
また、本発明は、画像読取装置であって、さらに、前記検出手段によって検出された前記残存する銀成分の量が所定値よりも高い場合に、その旨の警告を出力する警告手段を有することを特徴とする画像読取装置を提供するものである。
また、上記課題を解決するために、本発明は、原稿画像が記録されたフィルムに発色/現像処理を施した後、漂白処理及び定着処置を行って作成したフィルム原稿画像を光電的に読み取る画像読取方法であって、前記フィルム原稿画像に複数の可視光を照射し、照射した可視光毎の画像情報を読み取る可視光画像情報読取ステップと、前記フィルム原稿画像に非可視光を照射し、非可視光の画像情報を読み取る非可視光画像情報読取ステップと、前記可視光画像情報読取ステップで読み取った画像情報の可視光信号と非可視光画像情報読取ステップで読み取った画像情報の非可視光信号とを画像位置毎に対応付け、前記可視光画像情報読取ステップで読み取った画像情報の中から可視像濃度が同一の可視光信号を抽出し、抽出した可視光信号と同じ位置の非可視光信号を抽出し、抽出した非可視光信号の中から最低濃度の非可視光信号を検出し、検出した最低濃度の非可視光信号と前記フィルム原稿画像が固有に有する非可視光信号との差分を前記可視光信号を抽出した可視像濃度おける前記フィルム原稿画像の残存する銀成分として検出する残存する銀検出ステップとを有することを特徴とする画像読取方法を提供するものである。
【0012】
【発明の実施の形態】
本発明に係る画像読取装置および画像読取方法を添付の図面に示す好適実施例に基づいて以下に詳細に説明する。
【0013】
図1に、本発明の画像読取装置を利用するデジタルフォトプリントシステムの一実施例のブロック図が示される。
図1に示されるデジタルフォトプリントシステム(以下、プリントシステムとする)10は、(写真)フィルムFに撮影された画像を光電的に読み取り、(写真)プリントとして出力するもので、基本的に、スキャナ12と、画像処理部14と、ディスプレイ18と、操作系20(キーボード20aならびにマウス20b)と、プリンタ22とを有する。
【0014】
スキャナ12は、フィルムFの各コマに撮影された画像を光電的に読み取る装置であって、図2の概念図に示すように、光源24、ドライバ26、拡散ボックス28、キャリア30、結像レンズユニット32、読取部34、アンプ(増幅器)36、およびA/D(アナログ/デジタル)変換器38を有する。
【0015】
図示例のスキャナ12において、光源24は、LED(Light Emitting Diode)を利用するもので、R(赤)光、G(緑)光およびB(青)光の各可視光を出射する3種のLEDと、非可視光であるIR(赤外)光を出射するLEDとが配列されて構成される。このような光源24は、ドライバ26によって駆動され、各可視光およびIR光が、順次、出射される。
拡散ボックス28は、フィルムFに入射する光を、フィルムFの面方向で均一にするものである。
【0016】
キャリア30は、フィルムFを断続的に搬送して、フィルムFに撮影された各画像(各コマ)を、順次、所定の読取位置に搬送/保持するものである。キャリア30は、フィルムサイズ等に応じた複数種が用意され、スキャナ12の本体に着脱自在に構成される。
図示例において、キャリア30は、読取位置を挟んで配置される、フィルムFを長手方向に搬送する搬送ローラ対40aおよび40bと、所定の読取位置において、各コマの読取領域を規制するマスク42とを有する。
【0017】
結像レンズユニット32は、フィルムFの投影光を読取部34の所定位置に決結像するものである。
読取部34は、エリアCCDセンサを用いて、フィルムFに撮影された画像を光電的に読み取るもので、キャリア30のマスク42で規制された1コマの全面を読み取る(面状の露光による画像読取)。
【0018】
このようなスキャナ12において、フィルムFを読み取る際には、まず、キャリア30によってフィルムFを搬送し、読み取りを行うコマ(通常は、1コマ目か最終コマ)を読取位置に搬送する。
次いで、ドライバ26による作用の下、例えば、光源24のRのLEDを駆動して、R光を出射する。R光は、拡散ボックス28によってフィルムFの面方向で光量を均一にされた後、読取位置に入射して、此処に保持されるコマに入射、透過して、このコマに撮影された画像を担持する投影光となる。この投影光は、結像レンズユニット32によって読取部34の所定位置(エリアCCDセンサの受光面)に結像され、このコマのR画像が光電的に読み取られる。
【0019】
同様にして、光源24のGおよびBのLEDを、順次、発光して、このコマのG画像およびB画像の読み取りを行い、最後に、光源24のIRのLEDを発光して、IRによる読み取り(IR画像の読み取り)を行って、このコマの読み取りを終了する。従って、スキャナ12からは、R、GおよびBの各可視像の画像データ(可視光信号)と、IR画像(非可視像)の画像データ(非可視光信号)との、4チャネルの画像データが出力される。
1コマの読み取りを終了したら、キャリア30は、フィルムFを搬送して、次に読み取りを行うコマを読取位置に搬送する。
【0020】
読取部34からの出力データは、アンプ36で増幅され、A/D変換器38によってデジタルのデータに変換されて、画像処理部14(データ補正部44)に出力される。
【0021】
本発明において、画像読取手段は、図示例のスキャナ12に限定はされない。例えば、4色のLEDではなく、ハロゲンランプ等の白色光源を用いると共に、拡散ボックス28の上流にR、G、BおよびIRのフィルタ挿入手段を設けることにより、フィルムに撮影された画像を同様の4チャネルで読み取るものであってもよい。あるいは、白色光源と、R、G、BおよびIRの画像を読み取る4ラインのCCDセンサを用いて、いわゆるスリット走査によって、フィルムに撮影された画像を同様の4チャネルで画像を読み取るものであってもよい。
【0022】
プリントシステム10においては、通常、1コマにつき、プリント等の出力のために高解像度で画像を読み取るファインスキャンと、ファインスキャンの読取条件や画像処理部14における画像処理条件を決定するために、ファインスキャンに先立って行われる、低解像度での画像読取であるプレスキャンとの、2回の画像読取が行われる。
この際において、通常、プレスキャンとファインスキャンの出力信号は、解像度と出力レベルが異なる以外は、基本的に同じデータである。
【0023】
前述のように、スキャナ12から出力されたデジタルの画像信号は、画像処理部14に出力される。図3に、画像処理部14のブロック図を示す。
図3に示されるように、画像処理部14は、データ補正部44、Log変換器46、フレームメモリ48(以下、FM48とする)、残留銀検出および補正部50、画像補正部54、およびデータ変換部(3D−LUT)58を有する。
【0024】
図示は省略するが、プリントシステム10の画像処理部14は、プレスキャンデータを処理して、ディスプレイ20に検定用のシミュレーション画像を表示するために、Log変換器46からデータの流れ方向の下流(以下、下流とする)で分岐して、FM48〜データ変換部58と基本的に同様の処理経路を有する。なお、この処理経路には、残留銀検出および補正部50は、有しても有さなくてもよい。
【0025】
データ補正部44は、スキャナ12から出力されたR、G、BおよびIRの各画像のデータに、DCオフセット補正、暗時補正、シェーディング補正等の所定の補正を施す部位である。
Log変換器46は、データ補正部44で処理されたデータを、例えばLUT(ルックアップテーブル)等によってLog変換して、デジタルの画像(濃度)データとする。
Log変換器46で変換された、R、G、B、およびIRの各画像の画像データは、それぞれ、対応するFM48に記憶される。
【0026】
FM48に記憶された画像データは、残留銀検出および補正部50で処理される。
残留銀検出および補正部50は、R、GおよびBの3原色の各可視像の画像データ(以下、可視像データとする)、および、IR画像(非可視像)の画像データ(以下、IRデータとする)を用いて、フィルムFに撮影された画像中の残留銀(残存する銀成分)を検出し、また、必要に応じて、検出した残留銀を除去するように各可視像データを補正し、さらに、必要に応じて、残留銀の量が所定量よりも多い場合には、その旨を警告する。
【0027】
銀塩写真によって画像を形成するフィルムFは、基本的に、発色/現像処理の後に行われる漂白処理および定着処理によって、存在する銀成分は全て除去されるように設計される。しかしながら、処理液の劣化等の種々の要因で漂白処理の不良等が生じると、画像(フィルムF)中に残留銀等の像形成中間生成物や不純物などの不要成分、すなわちノイズ成分が残存してしまい、これに起因して、階調・色再現性が悪化する、例えば、高濃度部の階調が硬くなる(硬調化する)、彩度が低下する、あるいは粒状性が悪化する、すなわち画像にざらざらした感じが残るなどの各種の不都合が生じているのは、前述のとおりである。
また、本発明者の検討によれば、ネガフィルムの場合には、処理液の限界に応じて、低濃度〜中濃度の領域よりも、高濃度部(撮影シーンの高輝度部)に、残留銀や不純物等のノイズ成分が残存してしまう場合が多い。
【0028】
ここで、光電的に読み取ったデジタルの画像データであれば、画像中の残留銀や不純物等のノイズ成分を適正に検出できれば、画像処理によって、残留銀による高濃度部の硬調化や彩度低下等の階調・色再現性の悪化や粒状性の悪化などの悪影響を補正できる可能性は高い。
これに応じて、本発明者は、画像中の残留銀等のノイズ成分を検出する方法について、鋭意検討を重ねた結果、IR光などの非可視光が画像(画像を形成する色素)には吸収されず、残留銀等のノイズ成分には吸収されることを利用し、光電的に読み取った可視像と非可視像との相関的な画素分布から、画像中の残留銀等のノイズ成分を適正に検出できることを見いだした。以下、ノイズ成分として残留銀を代表例として説明するが、これに限定されないのはもちろんである。
【0029】
図4に、ある画像の各画素に付いて、可視像の濃度(画像データ)と、IR画像の濃度(画像データ)との相関を取った一例を示す。
なお、図4において、(A)はR濃度(DR )とIR濃度(DIR)の相関を、(B)はG濃度(DG )とIR濃度(DIR)の相関を、(C)はB濃度(DB )とIR濃度(DIR)の相関を、それぞれ示す。
また、図4(D)は、R、GおよびBの全可視像を含む、フルカラー画像としての可視像の全体的な (overall)濃度(DV )とIR濃度(DIR)との相関である。
【0030】
なお、全体的な濃度DV の算出方法には、特に限定はなく、画像処理で利用されている算出方法が各種利用可能であり、例えば、下記式
V =αDR +βDG +γDB
の重み付け演算で算出すればよい。
ここで、α、βおよびγは、重み付け係数であり、装置特性や、フィルム種等に応じて適宜決定すればよいが、フィルムFがネガフィルムである場合には、通常、R感光層が最も下で、B感光層が最も上に有るので、層構成に起因する銀成分の洗浄性を考慮すると、α、βおよびγの順に小さくなるように、すなわち、「α>β>γ」とするのが好ましい。
【0031】
図4に示されるように、R濃度(DR )、G濃度(DG )、B濃度(DB )および全体的な濃度(DV )の何れの可視像の濃度においても、高濃度側においてIR濃度(DIR)の最低ラインが上がっている。
IR光は、画像(色素)には吸収されないので、残留銀が全く無ければ、IR濃度、すなわちDIRは、可視像濃度によらず、フィルムFが基本的に有する固有のIR濃度(IR吸収量)に応じた所定濃度、すなわち、一直線状(図中点線C)となるはずである。従って、この点線Cよりも上のIR濃度の最低ラインが、残留銀に起因するIR濃度であると考えることができる。
なお、この最低ラインよりも上の画素は、フィルムに付着したゴミや傷等に起因して、IR光が拡散されて光量が低下し、IR濃度となって発生したものであると考えられる。
従って、読み取られたIR濃度DIRは、フィルムが基本的に有する固有IR濃度Cと、残留銀に起因するIR濃度DAgと、フィルムに付着したゴミや傷等に起因するIR濃度Ddeとの和として、下記式で表すことができる。
IR=DAg+Dde+C
【0032】
ここで、残留銀がIR濃度に影響を与えているのであれば、可視像濃度にも同様の影響を与えているはずであり、すなわち、同じ画素(画像位置)のIR濃度(DIR)と、可視像濃度(DR 、DG 、DB 、DV )とは、相関を有するはずである。また、前述のように、フィルムにゴミ等が無い(Dde=0)と考えれば、DIR=DAg+Cとなるので、ゴミ等があっても、同じ可視像濃度の画素集団における最低のIR濃度DIRが、この可視像濃度における残留銀に起因するIR濃度と固有IR濃度Cの和と考えられる。
従って、この最低のIR濃度DIRから、図4に点線Cで示されるフィルム自身が元々有している固有IR濃度Cを減算すれば、残留銀に起因するIR濃度DAgを求めることができ、フィルムFに撮影された可視像中の残留銀の成分を検出できる。
ここで、同じ可視像濃度の画素とは、各可視像濃度(DR 、DG 、DB 、DV )について、それぞれ、その値が同一である画素のことをいう。なお、全体的な濃度(DV )の場合、同じ可視像濃度の画素集団として、全体的な濃度(DV )が等しい画素の集団のみならず、R,G,Bの濃度(DR 、DG 、DB )が等しい画素、すなわち同じ色濃度の画素のみの集団であっても良い。
【0033】
検出した残留銀成分を用いて、可視像データを補正し、あるいは、後述する画像補正部54における階調変換、色(彩度)補正、(粒状抑制)シャープネス処理等における可視像データの処理パラメータを変更することにより、フィルムFの画像に残存する残留銀に起因する悪影響を補正して、ハイライトの硬調化や彩度低下等の階調・色再現性の悪化や粒状性の悪化の無い、高画質な画像を出力できる。
また、検出した残留銀成分の量から、漂白液等の処理液の劣化や、過剰な漂白処理等を検知できるので、現像装置において、濃度測定計等の専用のメンテナンスツールを有さなくても、処理液の適正な管理や処理時間、すなわち現像時間、特に漂白時間の短縮化等を図ることができる。
【0034】
以下、図5を参照して、残留銀検出および補正部50における処理について、具体的に説明する。
前述のようにして、FM48にR、GおよびBの可視像データと、IRデータとが記憶されたら、残留銀検出および補正部50は、両者を読み出し、まず、全ての画素(xi ,yi )について、図4(D)に示されるような、R、GおよびBの全ての可視像を含む全体的な可視像データであるRGB(xi ,yi )と、IRデータであるIR(xi ,yi )との相関的な画素分布を求める。
なお、RGB(xi ,yi )は、例えば、前述の式「DV =αDR +βDG +γDB 」で求めることができる。
【0035】
次いで、残留銀検出および補正部50は、同じRGB(xi ,yi )を有する画素の集合において、最小のIRデータを検出し、これをこの画素集合gにおけるMinIR[RGB(xg ,yg )]とする。すなわち、このMinIR[RGB(xg ,yg )]は、図4(D)におけるIR濃度DIRの最低ラインである。
【0036】
さらに、MinIR[RGB(xg ,yg )]を求めたら、このMinIR[RGB(xg ,yg )]から、フィルムFが基本的に有する固有IR濃度である固有濃度値C(図4(A)〜(D)の点線Cで示されるIR濃度DIRの濃度値をいう)を減算して、残留銀像AgImage (xg ,yg )を算出する。
すなわち、
AgImage (xg ,yg )=MinIR[RGB(xg ,yg )]−C
なお、残留銀像AgImage (xg ,yg )は、画素集合g毎にテーブル化して記憶してもよく、あるいは、全画素集合に対応して、F[AgImage (xg ,yg )]のように関数化してもよい。
【0037】
ここで、残留銀像AgImage (xg ,yg )の値が、所定値よりも多い場合には、残留銀検出および補正部50は、その旨(の警告)を画像処理部14の制御部に出力する。これを受けた画像処理部14は、警告音やディスプレイ18による表示によって、このフィルムFの残留銀が多いことを警告する。
【0038】
残留銀像AgImage (xg ,yg )を求めたら、これを補正係数として、各画素(xi ,yi )のR、GおよびBの各可視像データから、対応する画素集合の残留銀像AgImage (xg ,yg )を減算することにより、補正済みの可視像データR’、G’およびB’を求める。すなわち、
R’(xi ,yi )=R(xi ,yi )−AgImage (xg ,yg
G’(xi ,yi )=G(xi ,yi )−AgImage (xg ,yg
B’(xi ,yi )=B(xi ,yi )−AgImage (xg ,yg
残留銀検出および補正部50は、このようにして算出した補正済みの可視像データR’、G’およびB’を、次の画像補正部54に送る。
【0039】
以上の例においては、フルカラーの可視像に対応する全体的な画像濃度RGBを用いて処理を行っているが、これ以外にも、1色、例えばR、G、Bの各色の可視像データ毎に、各色の可視像データとIRデータとの相関から残留銀像AgImage を求め、同様にして、可視像データの補正を行ってもよい。
しかしながら、残留銀は、全色の画像データに影響を与えており、また、演算量も多くなるので、前述の例のように、3原色の全てのデータを含む1つの全体的な可視像データRGB(xi ,yi )によって、残留銀を検出するのが好ましい。
【0040】
前述のように、残留銀検出および補正部50で残留銀成分を補正されたR、GおよびBの可視像データは、次いで、画像補正部54で処理される。
画像補正部54は、デジタルのプリントシステムで施されている、各種の画像処理を行う部位で、一例として、画像の拡縮処理(電子変倍処理)、シャープネス(鮮鋭度強調)処理、濃度補正処理、色補正(彩度補正)処理、覆い焼き処理(画像濃度ダイナミックレンジの拡縮処理)、階調変換等の画像処理を施す。
【0041】
ここで、本例においては、残留銀検出および補正部50において、抽出した残留銀成分に応じて可視像データを補正することで、フィルムFに撮影された画像中の残留銀による悪影響を補正している。
しかしながら、本発明はこれに限定はされず、残留銀検出および補正部50においては、残留銀成分の検出のみを行い、画像補正部54において、検出した残留銀成分に応じて、階調変換や色(彩度)補正やシャープネス(粒状抑制)処理等の画像処理のパラメータを変更して、画像処理をすることにより、残留銀による悪影響を補正してもよい。
【0042】
すなわち、本発明におけるR、GおよびBの可視像データの補正は、残留銀検出および補正部50で行っても良いし、画像補正部54で行っても良い。
また、この可視像データの補正は、残留銀成分等のノイズ成分に起因する階調および色再現性の少なくとも一方の変化、特に悪化を画像処理によって修正することであっても良いし、残留銀成分等のノイズ成分に起因する粒状性の変化、特に悪化を修正するために、画像処理における粒状抑制の強度を変化させる、すなわち強くすることであっても良い。
【0043】
ここで、可視像データの補正として、階調の修正を行う場合には、以下のように行うことができる。
例えば、残留銀のない正常なフィルム画像からの画像読取においては、図6(A)のグラフ(直線)aに示すように、読取信号(画像データ)とフィルム画像の各色の色素像の濃度とは線型な関係(1次関数)となる。これに対し、残留銀があると、図6 (B) のグラフ(曲線)bに示すように、色素像の濃度の高濃度域で、残留銀による影響を受け、線型な関係から外れ、すなわち直線aから上側にずれ、正常な読取信号値より大きい読取信号値が読み取られ、硬調化してしまう。このグラフbの直線aから上側にずれた部分が残留銀成分による増加分dである。これは、前述した通りである。
【0044】
このため、前述したように、この残留銀による増加分dを除くために、図6(C)に示すグラフcのようなグラフbと逆特性の曲線を、読取信号(画像データ)の補正曲線(補正テーブル)として用いることにより、補正後信号(補正画像データ)を得ることができる。
こうして、残留銀のあるフィルム画像から各色の色素像の濃度を読み取る場合であっても、正常な読取信号値に等しい残留銀成分による影響のない補正後信号 (画像データ)を得ることができる。
なお、この階調の修正は、前述のように、残留銀検出および補正部50で行っても良いし、画像補正部54における濃度補正処理または階調変換処理で行ってもよい。
【0045】
また、可視像データの補正として、色再現性の修正を行う場合には、残留銀による彩度低下を、マトリックス処理で彩度強調して修正する。例えば、画像補正部54において、色補正または彩度補正をマトリックス処理で行う場合に、処理パラメータを彩度強調強度を上げて、補正前の画像データを彩度強調マトリックス処理することにより、残留銀による彩度低下の影響のない補正後の画像データを得ることができる。この色再現性の修正は、画像補正部54ではなく、残留銀検出および補正部50で行っても良い。
【0046】
さらに、可視像データの補正として、残留銀成分に起因する粒状性の悪化の修正を行うこともできる。この場合には、例えば、画像補正部54におけるシャープネス(鮮鋭度強調)処理における粒状抑制強度を強くする(あるいはさらに、シャープネス強度を弱くする)ことにより、あるいは、粒状抑制強度を強くして粒状抑制処理を行うことにより、残留銀による粒状性悪化の影響のない補正後の画像データを得ることができる。もちろん、この粒状性の修正は、画像補正部54ではなく、残留銀検出および補正部50で行っても良い。
【0047】
画像補正部54で各種の画像処理が施された処理された可視像データは、データ変換部58に出力される。
データ変換部58は、例えば、3次元(3D)−LUT等を用いて可視像データを変換して、プリンタ22におけるプリント出力に対応する出力用画像データとして、プリンタ22に出力する。
なお、プリントシステム10においては、画像補正部54で処理した可視像データを各種の画像フォーマット、例えばJPEGのフォーマットの画像ファイルに変換して、画像ファイルとしてCD−RやMD(ミニディスク)等の記録媒体に出力してもよく、また、プリントと画像ファイルの両方を出力してもよい。
【0048】
プリンタ22は、公知のカラープリンタで、例えば、供給されたR、GおよびBの出力用画像データに応じて変調したレーザビームによって、印画紙を2次元的に走査露光して潜像を記録し、露光済の感光材料に、現像/定着/水洗の湿式現像処理を施して潜像を顕像化した後、乾燥して、プリントとして出力する。
【0049】
なお、以上の例では、検出した残留銀に応じて、可視像の補正と残留銀が多いことの警告の両方を行っているが、本発明はこれに限定されず、可視像の補正および警告発生のいずれか一方のみを行うものであってもよく、あるいは、検出した残留銀量の出力(この出力のみ、あるいは他の処理と併用)を行うものであってもよい。
【0050】
また、以上の例では、フィルムを対象として画像読取を行って、残留銀等のノイズ成分の検出、あるいはさらにノイズ成分に起因する画質劣化の補正を行ったが、本発明はこれに限定されず、印画紙等の画像記録媒体を対象とする画像読取にも、好適に利用可能である。
また、以上の例では、画像記録媒体に対して画像読取を行って、残留銀等のノイズ成分の検出、あるいはさらにノイズ成分に起因する画質劣化の補正を行ったが、本発明はこれに限定されず、ゴミ傷に起因する画像欠陥の検出およびその補正を行っても良いのはもちろんである。ゴミ傷の検出の場合には、読取IR濃度DIRから、残留銀に起因するIR濃度DAgを減算することにより、ゴミ傷起因のIR濃度Ddeを求め、このIR濃度Ddeの値によって、ゴミ傷を判定すれば良い、例えば、所定の閾値より大きいIR濃度Ddeを持つ画素をゴミ傷と判定すれば良い。
【0051】
具体的には、上述した例では下記式に示すように、画素(xi ,yi )における読取IR画像データIR(xi ,yi )から残留銀像AgImage (xg ,yg )を減算することにより、補正IR画像データIR’(xi ,yi )を求め、求められた補正IR画像データIR’(xi ,yi )によって、ゴミ傷を判定すれば良い。
IR’(xi ,yi )=IR(xi ,yi )−AgImage (xg ,yg
【0052】
ここで、ゴミ傷を持つ画素が検出された場合には、その画素のアドレス情報を用いて、可視像を修正すなわちR、GおよびBの可視像データを修正して、ゴミ傷の無い画像とする。なお、ゴミ傷のある可視像の修正方法には、特に限定はなく、例えば、補間による修正や、画素の連続性を利用する修正等、公知の方法を各種利用することができる。
【0053】
以上、本発明の画像読取装置および画像読取方法について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【0054】
【発明の効果】
以上、詳細に説明したように、本発明によれば、フィルムや印画紙等の画像記録媒体に撮影または記録された画像等を光電的に読み取る画像読取において、画像中に残存する銀成分等の像形成中間生成物や不純物などの不要成分を適正に検出することができる。
従って、本発明によれば、検出した残留銀等の不要成分に応じて画像データを補正することにより、残留銀等の不要成分に起因する画像の高濃度部の硬調化や彩度低下等の階調・色再現性の悪化の無い、あるいはまた、粒状性悪化の無い、高画質な画像の出力が可能であり、また、検出した残留銀等に応じて、処理液の状態等を把握して、現像装置のメンテナンスを適正に行うことができる。
さらに、本発明によれば、現像装置における、フィルムや印画紙等の銀塩写真感光材料の処理時間、すなわち現像時間、特に漂白時間を短縮することができ、現像装置における処理条件にマージンをもたせることができる。
【図面の簡単な説明】
【図1】 本発明の画像読取装置を利用するデジタルプリントシステムの一例のブロック図である。
【図2】 図1に示されるデジタルフォトプリントシステムのスキャナの概念図である。
【図3】 図1に示されるデジタルフォトプリントシステムの画像処理部のブロック図である。
【図4】 (A),(B),(C)および(D)は、それぞれ本発明における残留銀の検出を説明するためのグラフである。
【図5】 本発明における残留銀の検出および補正処理を説明するためのフローチャートである。
【図6】 (A),(B)および(C)は、本発明における残留銀に起因する階調悪化の修正を説明するためのグラフである。
【符号の説明】
10 (デジタルフォト)プリントシステム
12 スキャナ
14 画像処理部
18 ディスプレイ
20 操作系
22 プリンタ
24 光源
26 ドライバ
28 拡散ボックス
30 キャリア
32 結像レンズユニット
34 読取部
36 アンプ
38 A/D変換器
40 搬送ローラ対
42 マスク
44 データ補正部
46 Log変換器
48 FM(フレームメモリ)
50 残留銀検出および補正部
54 画像補正部
58 データ変換部
[0001]
BACKGROUND OF THE INVENTION
The present invention belongs to the technical field of an image reading apparatus that photoelectrically reads a document image or the like photographed on an image recording medium such as a film, and more specifically, a noise component such as a silver component remaining on an image recording medium such as a film. The present invention relates to an image reading apparatus and an image reading method that can detect and prevent adverse effects thereof.
[0002]
[Prior art]
At present, printing of an image taken on a photographic film (hereinafter referred to as a film) such as a negative film or a reversal film onto a photosensitive material (photographic paper) is performed by projecting an image of the film onto the photosensitive material and exposing the film. Exposure is mainstream.
In recent years, an image recorded on a film is photoelectrically read, and the read image is converted into a digital signal, and then subjected to various image processing to obtain image data for recording, which is modulated in accordance with the image data. Digital photo printers that expose a photosensitive material with recording light and output it as a print have also been put into practical use.
[0003]
According to such a digital photo printer, since an image photographed on a film is read and image processing is performed as digital image data, not only color and density can be corrected very suitably, but also gradation correction and sharpness processing. Image processing that is basically impossible with a normal direct exposure printer, such as (sharpness correction), can be performed to obtain a high-quality image.
In digital photo printers, not only printing but also outputting image data as an image file to a recording medium such as a CD-R or HD (hard disk) is performed.
[0004]
Incidentally, a silver component (hereinafter referred to as “residual silver”) remaining in an image of a developed (silver salt photograph) film is known as a cause of a decrease in image quality of a printed image in these photographic printers.
[0005]
[Problems to be solved by the invention]
The so-called color film is basically designed such that all the silver component present is removed by the bleaching and fixing processes performed after the color development / development process.
However, if the processing is not performed properly due to deterioration of the processing solution, temperature control, etc., a defect in the bleaching or fixing process occurs, and the silver component cannot be removed, resulting in residual silver. End up.
[0006]
If residual silver is present in the image, various image quality degradations occur, such as the tone of the high density portion (highlight on the print) becoming stiff and the saturation being lowered.
Therefore, in order to create a print on which a high-quality image is reproduced, it is necessary to prevent the adverse effects of residual silver. However, at present, there is no effective method other than appropriately managing the bleaching process and the fixing process in the developing process of the film so that residual silver does not remain in the image.
In addition, image quality deterioration occurs in the same way when impurities remain in the image recording medium as well as the image forming intermediate product of the image recording medium such as residual silver remaining in the film. In addition, there is no effective method other than preventing impurities from remaining in the image.
[0007]
SUMMARY OF THE INVENTION An object of the present invention is to solve the above-described problems of the prior art, and is an image reading apparatus and an image reading method for photoelectrically reading a document image or the like photographed or recorded on an image recording medium such as a (photo) film. In addition to image components caused by at least one of image formation intermediates such as residual silver and impurities remaining in an original image recorded on an image recording medium such as a silver salt photographic light-sensitive material such as a film or photographic paper Unnecessary (signal) components can be detected properly, or further, image quality correction due to unnecessary (signal) components such as residual silver can be corrected by image processing, and as a result, film and printing The development time of silver halide photographic light-sensitive materials such as paper can be shortened, margins can be given to processing conditions in the developing device, and image reading that enables suitable management of the developing device, etc. To provide an apparatus and an image reading method.
[0008]
[Means for Solving the Problems]
  In order to solve the above-described problems, the present invention provides an image reading apparatus that photoelectrically reads an original image including a visible image and an invisible image, the original imageMore than oneVisible and invisible light, And image information for each irradiated lightRead image reading means and read by the image reading meansThe visible light signal and the non-visible light signal of the image information are associated with each image position, the visible light signal having the same visible image density is extracted from the image information, and the non-visible light signal having the same position as the extracted visible light signal is extracted. A visible light signal is extracted, a lowest density non-visible light signal is detected from the extracted non-visible light signals, and the detected lowest density non-visible light signal and a non-visible light signal inherent in the document image The difference in the visible image density from which the visible light signal is extractedThe original imageAs silver component remaining inAn image reading apparatus having a detecting means for detecting is provided.
[0009]
  Further, the image reading means reads the visible image of the document image by reading the visible light of the three primary colors of red, green and blue.
  The detection means is a weighted visible light signal obtained by weighting the three primary colors of red, green and blue with a predetermined weight.And the invisible light signal are associated with each image position, and the weighted visible light signal having the same concentration of the weighted visible light signal is extracted from the image information.The weighted visible light signal is preferably obtained by performing a weighting operation for decreasing the weight in the order of red, green and blue.
[0010]
  Further, the present invention is the above image reading apparatus, further comprising the detection unit detected by the detection unit.Remaining silverDepending on the ingredients,Correct the influence of the remaining silver componentIt is an object of the present invention to provide an image reading apparatus comprising correction means for generating correction information and using the correction information to correct the visible light signal read by the image reading means.
  Here, the correction of the visible light signal by the correction means is theRemaining silverCorrecting at least one of a change in gradation and color reproducibility due to a component by image signal processing, orRemaining silverIn order to correct the change in graininess caused by the components, it is preferable to change the intensity of graininess suppression in the image signal processing. Also,The correction of the visible light signal by the correcting means corrects at least one of the gradation and the color reproducibility change caused by the remaining silver component by image signal processing, and the granularity caused by the remaining silver component. It is also preferable to change the intensity of graininess suppression in the image signal processing in order to correct the change in nature.
  Further, it is preferable that the correction unit generates the correction information on the basis of the invisible light signal having the lowest density in a set of pixels having the same visible light signal.
[0011]
  In addition, the present invention is an image reading apparatus, and further, the detection unit detects the detection unit.Remaining silverIt is an object of the present invention to provide an image reading apparatus having warning means for outputting a warning to the effect that the amount of a component is higher than a predetermined value.
  In addition, in order to solve the above problems, the present invention provides:An image reading method for photoelectrically reading a film document image created by performing color development / development processing on a film on which a document image is recorded and then performing bleaching processing and fixing processing, wherein the film document image includes a plurality of visible images. A visible light image information reading step for irradiating light and reading image information for each irradiated visible light; and a non-visible light image information reading step for irradiating the film original image with invisible light to read invisible light image information. A visible light signal of the image information read in the visible light image information reading step and a non-visible light signal of the image information read in the non-visible light image information reading step for each image position, and the visible light image information A visible light signal having the same visible image density is extracted from the image information read in the reading step, and a non-visible light signal at the same position as the extracted visible light signal is extracted and extracted. The invisible light signal having the lowest density is detected from the visible light signal, and the difference between the detected invisible light signal having the lowest density and the invisible light signal inherent in the film original image is extracted. A remaining silver detecting step for detecting as a remaining silver component of the film original image at a visible image density.A characteristic image reading method is provided.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
An image reading apparatus and an image reading method according to the present invention will be described below in detail based on preferred embodiments shown in the accompanying drawings.
[0013]
FIG. 1 is a block diagram showing an embodiment of a digital photo print system using the image reading apparatus of the present invention.
A digital photo print system (hereinafter referred to as a print system) 10 shown in FIG. 1 photoelectrically reads an image photographed on a (photo) film F and outputs it as a (photo) print. The scanner 12, the image processing unit 14, the display 18, the operation system 20 (keyboard 20 a and mouse 20 b), and a printer 22 are included.
[0014]
The scanner 12 is a device that photoelectrically reads an image shot on each frame of the film F, and as shown in the conceptual diagram of FIG. 2, the light source 24, the driver 26, the diffusion box 28, the carrier 30, and the imaging lens. It has a unit 32, a reading unit 34, an amplifier (amplifier) 36, and an A / D (analog / digital) converter 38.
[0015]
In the scanner 12 of the illustrated example, the light source 24 uses an LED (Light Emitting Diode), and emits three types of visible light of R (red) light, G (green) light, and B (blue) light. An LED and an LED that emits IR (infrared) light, which is invisible light, are arranged and configured. Such a light source 24 is driven by a driver 26, and each visible light and IR light are emitted sequentially.
The diffusion box 28 makes light incident on the film F uniform in the surface direction of the film F.
[0016]
The carrier 30 intermittently conveys the film F and sequentially conveys / holds each image (each frame) photographed on the film F to a predetermined reading position. A plurality of types of carriers 30 corresponding to the film size and the like are prepared, and are configured to be detachable from the main body of the scanner 12.
In the illustrated example, the carrier 30 includes a pair of transport rollers 40a and 40b that transport the film F in the longitudinal direction, and a mask 42 that regulates the reading area of each frame at a predetermined reading position. Have
[0017]
The imaging lens unit 32 focuses the projected light of the film F on a predetermined position of the reading unit 34.
The reading unit 34 photoelectrically reads an image photographed on the film F using an area CCD sensor, and reads the entire surface of one frame regulated by the mask 42 of the carrier 30 (image reading by surface exposure). ).
[0018]
In such a scanner 12, when reading the film F, first, the film F is conveyed by the carrier 30, and a frame to be read (usually the first frame or the last frame) is conveyed to the reading position.
Next, under the action of the driver 26, for example, the R LED of the light source 24 is driven to emit R light. The R light is made uniform in the surface direction of the film F by the diffusion box 28, then enters the reading position, enters and passes through the frame held here, and the image photographed on this frame is captured. The projection light is carried. This projection light is imaged at a predetermined position (light receiving surface of the area CCD sensor) of the reading unit 34 by the imaging lens unit 32, and the R image of this frame is photoelectrically read.
[0019]
Similarly, the G and B LEDs of the light source 24 are sequentially emitted to read the G image and B image of this frame, and finally the IR LED of the light source 24 is emitted to read by IR. (IR image reading) is performed, and reading of this frame is completed. Accordingly, the scanner 12 has four channels of image data (visible light signal) of each of R, G, and B visible images and image data (non-visible light signal) of an IR image (non-visible image). Image data is output.
When the reading of one frame is completed, the carrier 30 conveys the film F and conveys the next frame to be read to the reading position.
[0020]
Output data from the reading unit 34 is amplified by an amplifier 36, converted into digital data by an A / D converter 38, and output to the image processing unit 14 (data correction unit 44).
[0021]
In the present invention, the image reading means is not limited to the illustrated scanner 12. For example, by using a white light source such as a halogen lamp instead of four color LEDs and providing R, G, B, and IR filter insertion means upstream of the diffusion box 28, an image photographed on the film can be similarly obtained. You may read by 4 channels. Alternatively, using a white light source and a 4-line CCD sensor that reads R, G, B, and IR images, so-called slit scanning is used to read an image taken on a film with the same four channels. Also good.
[0022]
In the print system 10, a fine scan for reading an image at a high resolution for printing or the like for each frame and a fine scan reading condition and an image processing condition in the image processing unit 14 are usually determined. Prior to scanning, two image readings are performed, that is, pre-scanning, which is image reading at a low resolution.
In this case, normally, the output signals of the pre-scan and fine scan are basically the same data except that the resolution and the output level are different.
[0023]
As described above, the digital image signal output from the scanner 12 is output to the image processing unit 14. FIG. 3 shows a block diagram of the image processing unit 14.
As shown in FIG. 3, the image processing unit 14 includes a data correction unit 44, a log converter 46, a frame memory 48 (hereinafter referred to as FM 48), a residual silver detection and correction unit 50, an image correction unit 54, and data. A conversion unit (3D-LUT) 58 is included.
[0024]
Although not shown, the image processing unit 14 of the print system 10 processes pre-scan data and displays a simulation image for verification on the display 20, in the downstream of the data flow direction from the Log converter 46 ( In the following, it branches downstream) and has a processing path basically similar to that of the FM 48 to the data converter 58. In this processing path, the residual silver detection and correction unit 50 may or may not be included.
[0025]
The data correction unit 44 is a part that performs predetermined correction such as DC offset correction, dark correction, and shading correction on the data of the R, G, B, and IR images output from the scanner 12.
The Log converter 46 performs Log conversion on the data processed by the data correction unit 44 using, for example, an LUT (Look Up Table) or the like to obtain digital image (density) data.
The image data of R, G, B, and IR images converted by the Log converter 46 is stored in the corresponding FM 48, respectively.
[0026]
The image data stored in the FM 48 is processed by the residual silver detection and correction unit 50.
The residual silver detection and correction unit 50 includes image data (hereinafter, referred to as visible image data) of visible images of the three primary colors R, G, and B, and image data of IR images (non-visible images) ( (Hereinafter referred to as IR data) is used to detect residual silver (residual silver component) in the image photographed on film F, and to remove the detected residual silver as necessary. The visual image data is corrected, and if necessary, if the amount of residual silver is larger than a predetermined amount, a warning to that effect is given.
[0027]
  The film F that forms an image by silver salt photography is basically designed so that all the silver component present is removed by the bleaching and fixing processes performed after the color development / development process. However, if a defect in the bleaching process occurs due to various factors such as deterioration of the processing solution, an intermediate image formation such as residual silver in the image (film F)GenerationUnnecessary components such as objects and impurities, that is, noise components remain, and as a result, gradation and color reproducibility deteriorate, for example, gradation in a high density portion becomes hard (high tone), As described above, various inconveniences such as a decrease in saturation or a deterioration in graininess, that is, a rough feeling in an image remain.
  Further, according to the study of the present inventor, in the case of a negative film, depending on the limit of the processing solution, it remains in the high density part (the high brightness part of the shooting scene) rather than the low density to medium density area. Noise components such as silver and impurities often remain.
[0028]
Here, if the digital image data read photoelectrically, noise components such as residual silver and impurities in the image can be detected properly, and image processing will increase the contrast and decrease the saturation of the high-density area due to the residual silver. There is a high possibility that adverse effects such as deterioration of gradation and color reproducibility, etc., and deterioration of graininess can be corrected.
In response to this, the present inventor conducted extensive studies on a method for detecting noise components such as residual silver in an image, and as a result, invisible light such as IR light is present in an image (a dye forming an image). It is not absorbed and is absorbed by noise components such as residual silver. From the correlated pixel distribution between a visible image and a non-visible image read photoelectrically, noise such as residual silver in the image It was found that the components can be detected properly. Hereinafter, although residual silver will be described as a representative example as a noise component, it is needless to say that the present invention is not limited to this.
[0029]
FIG. 4 shows an example of correlation between the density of the visible image (image data) and the density of the IR image (image data) for each pixel of an image.
In FIG. 4, (A) shows the R concentration (DR) And IR concentration (DIR), (B) is the G concentration (DG) And IR concentration (DIR), (C) is the B concentration (DB) And IR concentration (DIR) Are shown respectively.
FIG. 4D also shows the overall density (D) of the visible image as a full-color image, including all visible images of R, G and B.V) And IR concentration (DIR).
[0030]
The overall density DVThere is no particular limitation on the calculation method of, and various calculation methods used in image processing can be used.
DV= ΑDR+ ΒDG+ ΓDB
What is necessary is just to calculate by this weighting calculation.
Here, α, β, and γ are weighting factors, and may be appropriately determined according to the apparatus characteristics, film type, and the like. However, when the film F is a negative film, the R photosensitive layer is usually the most. Below, since the B photosensitive layer is at the top, considering the detergency of the silver component due to the layer structure, α, β and γ are reduced in this order, that is, “α> β> γ”. Is preferred.
[0031]
As shown in FIG. 4, the R concentration (DR), G concentration (DG), B concentration (DB) And overall concentration (DV) In any visible image density, the IR density (DIR) The minimum line is going up.
IR light is not absorbed by the image (dye), so if there is no residual silver, the IR concentration, ie DIRRegardless of the visible image density, it should be a predetermined density corresponding to the intrinsic IR density (IR absorption amount) of the film F, that is, a straight line (dotted line C in the figure). Therefore, it can be considered that the lowest IR density line above the dotted line C is the IR density caused by the residual silver.
In addition, it is considered that the pixels above the lowest line are generated as IR density due to diffusion of IR light due to dust or scratches adhering to the film to reduce the amount of light.
Therefore, the read IR density DIRAre the intrinsic IR density C that the film basically has and the IR density D caused by residual silver.AgAnd IR density D caused by dust or scratches attached to the filmdeCan be expressed by the following formula.
DIR= DAg+ Dde+ C
[0032]
If the residual silver has an influence on the IR density, the visible image density should have the same influence, that is, the IR density (D of the same pixel (image position)).IR) And visible image density (DR, DG, DB, DV) Should have a correlation. Also, as mentioned above, there is no dust on the film (Dde= 0), DIR= DAgSince it is + C, the lowest IR density D in the pixel group having the same visible image density even if there is dust or the likeIRIs considered to be the sum of IR density and intrinsic IR density C due to residual silver at this visible image density.
Therefore, this lowest IR concentration DIRFrom FIG. 4, if the intrinsic IR density C originally possessed by the film itself indicated by the dotted line C is subtracted, the IR density D caused by residual silverAgThe residual silver component in the visible image photographed on the film F can be detected.
Here, a pixel having the same visible image density means each visible image density (DR, DG, DB, DV) Are pixels having the same value. The overall concentration (DV), The total density (DV) As well as a group of pixels having the same density (D, R, G, B)R, DG, DB) May be a group of pixels having the same color density, that is, only pixels having the same color density.
[0033]
Using the detected residual silver component, the visible image data is corrected, or the visible image data in gradation conversion, color (saturation) correction, (granularity suppression) sharpness processing, etc. in the image correction unit 54 described later is used. By changing the processing parameters, the adverse effects caused by the residual silver remaining in the image on the film F are corrected, and the gradation / color reproducibility deterioration and graininess deterioration such as highlight enhancement and saturation reduction. High-quality images can be output.
Moreover, since the deterioration of processing solutions such as bleaching solutions and excessive bleaching processing can be detected from the detected amount of residual silver components, the development device does not have a dedicated maintenance tool such as a concentration meter. Thus, it is possible to properly manage the processing solution and shorten the processing time, that is, the development time, particularly the bleaching time.
[0034]
Hereinafter, the processing in the residual silver detection and correction unit 50 will be specifically described with reference to FIG.
As described above, when the R, G, and B visible image data and the IR data are stored in the FM 48, the residual silver detection and correction unit 50 reads both, and first, all the pixels (xi, Yi), As shown in FIG. 4D, RGB (x) which is the entire visible image data including all visible images of R, G, and Bi, Yi) And IR (xi, Yi) To obtain a pixel distribution correlated with
Note that RGB (xi, Yi) Is, for example, the above-mentioned formula “DV= ΑDR+ ΒDG+ ΓDBCan be obtained.
[0035]
Next, the residual silver detection and correction unit 50 uses the same RGB (xi, Yi) Is detected in the pixel set having the minimum IR data, and this is detected as MinIR [RGB (xg, Yg)]. That is, this MinIR [RGB (xg, Yg)] Is the IR concentration D in FIG.IRIs the lowest line.
[0036]
Furthermore, MinIR [RGB (xg, Yg)] Is obtained, this MinIR [RGB (xg, Yg)], The intrinsic density value C which is basically the intrinsic IR density of the film F (IR density D indicated by the dotted line C in FIGS. 4A to 4D).IRThe residual silver image AgImage(Xg, Yg) Is calculated.
That is,
AgImage(Xg, Yg) = MinIR [RGB (xg, Yg)]-C
Residual silver image AgImage(Xg, Yg) May be stored as a table for each pixel set g, or F [AgImage(Xg, Yg)].
[0037]
Here, residual silver image AgImage(Xg, Yg) Is greater than the predetermined value, the residual silver detection and correction unit 50 outputs a message to that effect to the control unit of the image processing unit 14. Receiving this, the image processing unit 14 warns that there is a large amount of residual silver on the film F by a warning sound or display on the display 18.
[0038]
Residual silver image AgImage(Xg, Yg) Is used as a correction coefficient, and each pixel (xi, Yi) R, G, and B visible image data of the residual silver image Ag of the corresponding pixel setImage(Xg, Yg) To obtain corrected visible image data R ′, G ′ and B ′. That is,
R '(xi, Yi) = R (xi, Yi) -AgImage(Xg, Yg)
G ’(xi, Yi) = G (xi, Yi) -AgImage(Xg, Yg)
B ’(xi, Yi) = B (xi, Yi) -AgImage(Xg, Yg)
The residual silver detection and correction unit 50 sends the corrected visible image data R ′, G ′, and B ′ calculated in this way to the next image correction unit 54.
[0039]
In the above example, processing is performed using the overall image density RGB corresponding to a full-color visible image, but in addition to this, a visible image of one color, for example, each color of R, G, and B is used. For each data, the residual silver image Ag is obtained from the correlation between the visible image data of each color and the IR data.ImageIn the same manner, the visible image data may be corrected.
However, the residual silver has an effect on the image data of all colors and the amount of calculation increases, so that one overall visible image including all the data of the three primary colors as in the above example. Data RGB (xi, Yi) To detect residual silver.
[0040]
As described above, the R, G, and B visible image data whose residual silver components have been corrected by the residual silver detection and correction unit 50 are then processed by the image correction unit 54.
The image correction unit 54 is a part that performs various types of image processing performed in a digital printing system. Examples of the image correction unit 54 include image scaling processing (electronic scaling processing), sharpness (sharpness enhancement) processing, and density correction processing. Image processing such as color correction (saturation correction) processing, dodging processing (image density dynamic range expansion / contraction processing), gradation conversion, and the like is performed.
[0041]
Here, in this example, the residual silver detection and correction unit 50 corrects the adverse effect due to the residual silver in the image photographed on the film F by correcting the visible image data according to the extracted residual silver component. is doing.
However, the present invention is not limited to this, the residual silver detection and correction unit 50 only detects the residual silver component, and the image correction unit 54 performs gradation conversion or the like according to the detected residual silver component. You may correct the bad influence by residual silver by changing image processing parameters, such as color (saturation) correction and sharpness (grain suppression) processing, and performing image processing.
[0042]
That is, the correction of the visible image data of R, G, and B in the present invention may be performed by the residual silver detection and correction unit 50 or the image correction unit 54.
The correction of the visible image data may be correction of at least one of gradation and color reproducibility caused by noise components such as a residual silver component, particularly deterioration by image processing, or residual In order to correct a change in graininess caused by a noise component such as a silver component, particularly a deterioration, the strength of graininess suppression in image processing may be changed, that is, increased.
[0043]
Here, when correcting the gradation as the correction of the visible image data, it can be performed as follows.
For example, in image reading from a normal film image having no residual silver, as shown in the graph (straight line) a in FIG. 6A, the read signal (image data) and the density of the dye image of each color of the film image Is a linear relationship (linear function). On the other hand, if there is residual silver, as shown in the graph (curve) b in FIG. 6 (B), it is affected by the residual silver in the high density region of the dye image density and deviates from the linear relationship. The read signal value larger than the normal read signal value is read out from the straight line “a” and is hardened. A portion shifted upward from the straight line a in the graph b is an increase d due to the residual silver component. This is as described above.
[0044]
  Therefore, as described above, in order to remove the increase d due to the residual silver, the graph shown in FIG.cA corrected signal (corrected image data) can be obtained by using a curve having a characteristic opposite to that of the graph b as a correction curve (correction table) of the read signal (image data).
  Thus, even when the density of the dye image of each color is read from a film image having residual silver, a corrected signal (image data) that is not affected by the residual silver component and is equal to a normal read signal value can be obtained.
  The gradation correction may be performed by the residual silver detection and correction unit 50 as described above, or may be performed by density correction processing or gradation conversion processing in the image correction unit 54.
[0045]
Further, when correcting color reproducibility as correction of visible image data, saturation reduction due to residual silver is corrected by enhancing the saturation by matrix processing. For example, when the image correction unit 54 performs color correction or saturation correction by matrix processing, the processing parameters are increased in saturation emphasis intensity, and the image data before correction is processed by saturation emphasis matrix processing. It is possible to obtain corrected image data that is not affected by the decrease in saturation due to. The correction of the color reproducibility may be performed not by the image correction unit 54 but by the residual silver detection and correction unit 50.
[0046]
Furthermore, as a correction of the visible image data, it is possible to correct the deterioration of graininess due to the residual silver component. In this case, for example, the granularity suppression strength in the sharpness (sharpness enhancement) processing in the image correction unit 54 is increased (or further, the sharpness strength is decreased), or the granularity suppression strength is increased and the granularity suppression is performed. By performing the processing, it is possible to obtain corrected image data that is not affected by the deterioration of graininess due to residual silver. Of course, the correction of the graininess may be performed not by the image correction unit 54 but by the residual silver detection and correction unit 50.
[0047]
The processed visible image data that has been subjected to various types of image processing by the image correction unit 54 is output to the data conversion unit 58.
The data converter 58 converts the visible image data using, for example, a three-dimensional (3D) -LUT, and outputs the converted image data to the printer 22 as output image data corresponding to the print output in the printer 22.
In the print system 10, the visible image data processed by the image correction unit 54 is converted into an image file of various image formats, for example, JPEG format, and the image file is a CD-R, MD (mini disc), or the like. May be output to a recording medium, and both a print and an image file may be output.
[0048]
The printer 22 is a known color printer, for example, by scanning and exposing a photographic paper two-dimensionally with a laser beam modulated according to supplied R, G and B output image data, and recording a latent image. The exposed photosensitive material is subjected to a wet development process of development / fixing / washing to visualize the latent image, and then dried and output as a print.
[0049]
In the above example, both the correction of the visible image and the warning that there is a large amount of residual silver are performed according to the detected residual silver. However, the present invention is not limited to this, and the correction of the visible image is performed. And only one of the warning generation may be performed, or the detected residual silver amount may be output (only this output or in combination with other processing).
[0050]
  Further, in the above example, image reading was performed on a film, and noise components such as residual silver were detected or image quality deterioration due to noise components was further corrected. However, the present invention is not limited to this. The present invention can also be suitably used for image reading for image recording media such as photographic paper.
  Further, in the above example, image reading is performed on the image recording medium to detect noise components such as residual silver, or further to correct image quality degradation caused by noise components. However, the present invention is not limited to this. Detection and correction of image defects caused by dust scratchesgoOf course it is also good. In the case of detection of dust scratches, read IR density DIRTo IR concentration D due to residual silverAgBy subtracting, the IR density D caused by dust flawsdeIR concentration DdeFor example, the IR density D is larger than a predetermined threshold value.deWhat is necessary is just to determine a pixel having a dust scratch.
[0051]
Specifically, in the above-described example, the pixel (xi, Yi) Read IR image data IR (xi, Yi) Residual silver image AgImage(Xg, Yg) Is subtracted from the corrected IR image data IR ′ (xi, Yi) And the corrected IR image data IR ′ (xi, Yi) To determine dust scratches.
IR ’(xi, Yi) = IR (xi, Yi) -AgImage(Xg, Yg)
[0052]
Here, when a pixel having a dust scratch is detected, the visible image is corrected using the address information of the pixel, that is, the visible image data of R, G, and B is corrected, and there is no dust scratch. An image. Note that there is no particular limitation on a method for correcting a visible image having dust flaws, and various known methods such as correction by interpolation and correction using pixel continuity can be used.
[0053]
The image reading apparatus and the image reading method of the present invention have been described above in detail. However, the present invention is not limited to the above-described embodiments, and various improvements and modifications can be made without departing from the scope of the present invention. Of course it is good.
[0054]
【The invention's effect】
  As described above in detail, according to the present invention, in an image reading that photoelectrically reads an image or the like taken or recorded on an image recording medium such as a film or a photographic paper, the silver component and the like remaining in the image Image formation intermediateGenerationUnnecessary components such as objects and impurities can be properly detected.
  Therefore, according to the present invention, by correcting the image data in accordance with the detected unnecessary component such as residual silver, the high density portion of the image due to the unnecessary component such as residual silver is increased in contrast and the saturation is decreased. It is possible to output high-quality images with no deterioration in gradation and color reproducibility, or with no deterioration in graininess, and grasp the state of the processing solution according to the detected residual silver etc. Thus, maintenance of the developing device can be performed properly.
  Furthermore, according to the present invention, the processing time of the silver salt photographic light-sensitive material such as film or photographic paper in the developing device, that is, the developing time, particularly the bleaching time can be shortened, and the processing condition in the developing device is given a margin. be able to.
[Brief description of the drawings]
FIG. 1 is a block diagram of an example of a digital print system that uses an image reading apparatus of the present invention.
FIG. 2 is a conceptual diagram of a scanner of the digital photo print system shown in FIG.
FIG. 3 is a block diagram of an image processing unit of the digital photo print system shown in FIG.
4A, 4B, 4C, and 4D are graphs for explaining detection of residual silver in the present invention, respectively.
FIG. 5 is a flowchart for explaining residual silver detection and correction processing according to the present invention.
FIGS. 6A, 6B and 6C are graphs for explaining correction of gradation deterioration caused by residual silver in the present invention.
[Explanation of symbols]
10 (Digital Photo) Print System
12 Scanner
14 Image processing unit
18 display
20 Operation system
22 Printer
24 Light source
26 Driver
28 Diffusion box
30 career
32 Imaging lens unit
34 Reading unit
36 amplifiers
38 A / D converter
40 Conveying roller pair
42 Mask
44 Data correction unit
46 Log Converter
48 FM (frame memory)
50 Residual silver detection and correction unit
54 Image correction unit
58 Data converter

Claims (9)

可視像および非可視像を含む原稿画像を光電的に読み取る画像読取装置であって、
前記原稿画像に複数の可視光および非可視光をそれぞれ照射し、照射した光毎の画像情報を読み取る画像読取手段と、
前記画像読取手段によって読み取られた画像情報の可視光信号と非可視光信号とを画像位置毎に対応付け、前記画像情報の中から可視像濃度が同一の可視光信号を抽出し、抽出した可視光信号と同じ位置の非可視光信号を抽出し、抽出した非可視光信号の中から最低濃度の非可視光信号を検出し、検出した最低濃度の非可視光信号と前記原稿画像が固有に有する非可視光信号との差分を前記可視光信号を抽出した可視像濃度における前記原稿画像に残存する銀成分として検出する検出手段とを有することを特徴とする画像読取装置。
An image reading device that photoelectrically reads a document image including a visible image and a non-visible image,
Image reading means for irradiating the document image with a plurality of visible light and invisible light , respectively, and reading image information for each of the irradiated light ;
The visible light signal and the invisible light signal of the image information read by the image reading unit are associated with each image position, and a visible light signal having the same visible image density is extracted from the image information and extracted. Extract the invisible light signal at the same position as the visible light signal, detect the invisible light signal with the lowest density from the extracted invisible light signal, and the original image with the lowest density invisible light signal detected An image reading apparatus comprising: detecting means for detecting a difference from the invisible light signal included in the image as a silver component remaining in the original image at a visible image density obtained by extracting the visible light signal .
前記画像読取手段は、赤、緑および青の3原色の前記可視光を読み取ることにより、前記原稿画像の前記可視像を読み取るものであり、
前記検出手段は、前記赤、緑および青の三原色に対してそれぞれ所定の重み付けをして重み付け演算を行って得られた重み付け可視光信号と非可視光信号とを画像位置毎に対応付け、前記画像情報の中から重み付け可視光信号の濃度が同一の重み付け可視光信号を抽出する請求項に記載の画像読取装置。
The image reading means reads the visible image of the document image by reading the visible light of the three primary colors of red, green and blue.
The detection means associates a weighted visible light signal and a non-visible light signal obtained by performing a weighting operation with predetermined weighting on the three primary colors of red, green, and blue for each image position, and The image reading apparatus according to claim 1 , wherein weighted visible light signals having the same density of the weighted visible light signal are extracted from the image information .
前記重み付け可視光信号は、前記赤、緑および青の順序で重み付けを小さくする重み付け演算を行って得られたものである請求項に記載の画像読取装置。The image reading apparatus according to claim 2 , wherein the weighted visible light signal is obtained by performing a weighting operation for decreasing weighting in the order of the red, green, and blue. 請求項1〜のいずれかに記載の画像読取装置であって、
さらに、前記検出手段によって検出された前記残存する銀成分に応じて、前記残存する銀成分の影響を補正する補正情報を生成し、この補正情報を用いて、前記画像読取手段によって読み取られた前記可視光信号の補正を行う補正手段を有することを特徴とする画像読取装置。
The image reading apparatus according to any one of claims 1 to 3 ,
Further, according to the remaining silver component detected by the detection means, correction information for correcting the influence of the remaining silver component is generated, and the correction information is used to read the image read by the image reading means. An image reading apparatus comprising correction means for correcting a visible light signal.
前記補正手段による前記可視光信号の補正は、前記残存する銀成分に起因する階調および色再現性の変化の少なくとも一方を画像信号処理によって修正することである請求項に記載の画像読取装置。The image reading apparatus according to claim 4 , wherein the correction of the visible light signal by the correction unit is to correct at least one of a change in gradation and color reproducibility due to the remaining silver component by image signal processing. . 前記補正手段による前記可視光信号の補正は、前記残存する銀成分に起因する粒状性の変化を修正するために、画像信号処理における粒状抑制の強度を変化させることである請求項4に記載の画像読取装置。The correction of the visible light signal by the correction means, in order to modify the granularity of the change due to the silver component to the remaining, it is to vary the intensity of graininess suppression in the image signal processing according to claim 4 Image reading device. 前記補正手段による前記可視光信号の補正は、前記残存する銀成分に起因する階調および色再現性の変化の少なくとも一方を画像信号処理によって修正し、かつ、前記残存する銀成分に起因する粒状性の変化を修正するために、画像信号処理における粒状抑制の強度を変化させることである請求項4に記載の画像読取装置。  The correction of the visible light signal by the correcting means corrects at least one of the gradation and the color reproducibility change caused by the remaining silver component by image signal processing, and the granularity caused by the remaining silver component. The image reading apparatus according to claim 4, wherein the intensity of graininess suppression in the image signal processing is changed in order to correct the change in property. 請求項1〜のいずれかに記載の画像読取装置であって、
さらに、前記検出手段によって検出された前記残存する銀成分の量が所定値よりも高い場合に、その旨の警告を出力する警告手段を有することを特徴とする画像読取装置。
An image reading apparatus according to any one of claims 1 to 7
The image reading apparatus further comprises warning means for outputting a warning to that effect when the amount of the remaining silver component detected by the detecting means is higher than a predetermined value.
原稿画像が記録されたフィルムに発色/現像処理を施した後、漂白処理及び定着処置を行って作成したフィルム原稿画像を光電的に読み取る画像読取方法であって、
前記フィルム原稿画像に複数の可視光を照射し、照射した可視光毎の画像情報を読み取る可視光画像情報読取ステップと、
前記フィルム原稿画像に非可視光を照射し、非可視光の画像情報を読み取る非可視光画 像情報読取ステップと、
前記可視光画像情報読取ステップで読み取った画像情報の可視光信号と非可視光画像情報読取ステップで読み取った画像情報の非可視光信号とを画像位置毎に対応付け、前記可視光画像情報読取ステップで読み取った画像情報の中から可視像濃度が同一の可視光信号を抽出し、抽出した可視光信号と同じ位置の非可視光信号を抽出し、抽出した非可視光信号の中から最低濃度の非可視光信号を検出し、検出した最低濃度の非可視光信号と前記フィルム原稿画像が固有に有する非可視光信号との差分を前記可視光信号を抽出した可視像濃度おける前記フィルム原稿画像の残存する銀成分として検出する残存する銀検出ステップとを有することを特徴とする画像読取方法。
An image reading method for photoelectrically reading a film document image created by performing color development / development processing on a film on which a document image is recorded, and then performing bleaching processing and fixing processing,
A visible light image information reading step of irradiating the film document image with a plurality of visible lights and reading image information for each irradiated visible light;
Irradiating the invisible light to the film original image, the invisible light image information reading step of reading image information of the non-visible light,
A visible light signal of the image information read in the visible light image information reading step and a non-visible light signal of the image information read in the non-visible light image information reading step are associated for each image position, and the visible light image information reading step Extract the visible light signal with the same visible image density from the image information read in step 1, extract the non-visible light signal at the same position as the extracted visible light signal, and extract the lowest density from the extracted non-visible light signal The invisible light signal is detected, and the difference between the detected invisible light signal having the lowest density and the invisible light signal inherent in the film original image is the film original at the visible image density obtained by extracting the visible light signal. An image reading method comprising: a remaining silver detecting step for detecting as a remaining silver component of an image.
JP2002248779A 2001-08-28 2002-08-28 Image reading apparatus and image reading method Expired - Fee Related JP4121807B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002248779A JP4121807B2 (en) 2001-08-28 2002-08-28 Image reading apparatus and image reading method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001257388 2001-08-28
JP2001-257388 2001-08-28
JP2002248779A JP4121807B2 (en) 2001-08-28 2002-08-28 Image reading apparatus and image reading method

Publications (3)

Publication Number Publication Date
JP2003152971A JP2003152971A (en) 2003-05-23
JP2003152971A5 JP2003152971A5 (en) 2005-08-25
JP4121807B2 true JP4121807B2 (en) 2008-07-23

Family

ID=26621092

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002248779A Expired - Fee Related JP4121807B2 (en) 2001-08-28 2002-08-28 Image reading apparatus and image reading method

Country Status (1)

Country Link
JP (1) JP4121807B2 (en)

Also Published As

Publication number Publication date
JP2003152971A (en) 2003-05-23

Similar Documents

Publication Publication Date Title
JP4056670B2 (en) Image processing method
JPH11261821A (en) Image processing method
US7200280B2 (en) Image processing apparatus
JP4143279B2 (en) Image defect detection method and image reading apparatus
JPH11191871A (en) Image processor
US7292379B2 (en) Image reader and image reading method
JP2000209396A (en) Picture reading method and picture reader
US7061000B2 (en) Image processing apparatus for detecting and correcting defects
JP4121807B2 (en) Image reading apparatus and image reading method
JP4482307B2 (en) Image processing device
JP4377938B2 (en) Image processing method and image processing apparatus
JP2003179750A (en) Image processor
JPH11346313A (en) Image read method and image reader
JP4317803B2 (en) Image processing method and image processing apparatus
JP4652949B2 (en) Image generation method and image generation apparatus
JPH11220621A (en) Picture reader
JP2000041183A (en) Image processor
JP2003319183A (en) Image processing method, image processing apparatus, and image processing program
JP2006253798A (en) Image processing method and image processor
JP3785234B2 (en) Image processing device
JPH10224650A (en) Image processing method and image processor
JPH08274985A (en) Image reader
JP2000134462A (en) Image processing unit and image processing system
JP2000098513A (en) Image verification method
JP2001268380A (en) Method and apparatus for forming image

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050221

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080430

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120509

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130509

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140509

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees