[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5078147B2 - 画像処理装置及び画像撮像装置 - Google Patents

画像処理装置及び画像撮像装置 Download PDF

Info

Publication number
JP5078147B2
JP5078147B2 JP2008053718A JP2008053718A JP5078147B2 JP 5078147 B2 JP5078147 B2 JP 5078147B2 JP 2008053718 A JP2008053718 A JP 2008053718A JP 2008053718 A JP2008053718 A JP 2008053718A JP 5078147 B2 JP5078147 B2 JP 5078147B2
Authority
JP
Japan
Prior art keywords
image data
chromatic aberration
correction
distortion
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008053718A
Other languages
English (en)
Other versions
JP2009212818A (ja
Inventor
亮介 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2008053718A priority Critical patent/JP5078147B2/ja
Priority to CN2009100044761A priority patent/CN101527858B/zh
Priority to EP09154262A priority patent/EP2099229B1/en
Priority to US12/379,889 priority patent/US8417031B2/en
Publication of JP2009212818A publication Critical patent/JP2009212818A/ja
Application granted granted Critical
Publication of JP5078147B2 publication Critical patent/JP5078147B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

本発明は、広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された画像を処理する画像処理方法及び画像処理装置、並びにそれを備えた画像撮像装置に関する。
近年、車のバックモニタなどの用途に向け、広角の撮像装置の需要が増大している。しかしながら、広角になるほど倍率色収差や歪曲収差が大きくなり、収差が小さい光学系を設計するのが困難で、画像処理と組み合わせて性能を向上させる必要がある。倍率色収差や歪曲収差がある光学系を用いた撮像装置において、歪みを補正する従来技術としては、例えば、特許文献1に記載のように、CCDやCMOSセンサといった撮像素子より得られたR(赤)、G(緑)、B(青)信号を後段で、RGB各色成分毎に独立に座標変換して倍率色収差と歪曲収差を同時に補正する方法、あるいは、倍率色収差は無視し、RGB各色成分一緒に座標変換して歪曲収差のみを補正する方法がある。
また、レンズなど光学系による解像度の劣化を補正する目的で従来から高域強調フィルタ(MTF補正)が用いられている。特許文献1においても、RGB信号を倍率色収差と歪曲収差の補正後、RGB毎に高域強調フィルタをかける方法、RGB信号を輝度信号と色信号に分離した後、収差補正を行い、輝度信号に高域強調フィルタをかける方法等が提案されている。
特開2006−345054号公報
従来技術において、RGB信号を収差補正後、RGB毎に高域強調フィルタをかける方法は、RGB毎の高域強調フィルタと、収差補正回路の組み合わせとなるため、回路規模の増大を招き、また、色ノイズも増加するため画質が低下する。
一方、RGB信号を輝度信号と色信号に分離し、輝度信号に高域強調フィルタをかける方法は、色ノイズの増加を避けることができるが、輝度信号と色信号を分離した後、収差補正のための座標変換を行い、輝度信号に高域強調フィルタをかけた場合、RGB信号ではなく輝度信号・色信号における座標変換のため、RGB独立に収差補正を行うことで可能となっていた倍率色収差の補正は不可能になる。
本発明の目的は、広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された画像について、回路規模の増加、画質の低下を招くことなく、倍率色収差補正とMTF補正さらに歪曲収差補正を行う画像処理装置を提供することにある。
また、本発明の目的は、このような画像処理装置を実装することで、高画質で低コストな画像撮像装置を提供することにある。
本発明では、広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された画像に対して、倍率色収差補正処理、輝度信号と色信号の分離処理、輝度信号の高域強調処理の順番で処理する。これにより、倍率色収差補正は各色独立に行い、且つ、MTF補正は輝度信号にのみ高域強調フィルタを掛けることで可能となり、回路規模の増加、画質の低下を招くことなく、倍率色収差補正とMTF補正を実施できる。さらに、輝度信号の高域強調処理と並行に色信号の平滑化処理を実施することにより、色信号のノイズを低減することができる。分離した輝度信号と色信号は合成する。
また、倍率色収差補正処理では、特定の色成分については座標変換を行わず、それ以外の色成分についてのみ座標変換を行うことで倍率色収差を補正する。この場合、特定の色成分の座標を基準に補正量を求め、該補正量により特定の色成分以外の色成分の変換座標を算出する。座標変換用メモリには、各色成分ごとではあるが、倍率色収差の最大ずれ量に応じた小容量の複数ポートのSRAMを用いる。これにより、回路規模を更に小さくできる。
また、光学系の歪曲収差にも対応するため、MTF補正処理後、倍率色収差補正処理とは別途、更に歪曲収差補正処理を実施する。この座標変換用メモリには、各色成分に共通の単一ポートのDRAMを用いる。
本発明によれば、回路規模の増加、画質の低下を招くことなく、倍率色収差補正とMTF補正さらには歪曲収差補正を行う画像処理装置を提供することができる。また、高画質で低コストな画像撮像装置を提供することができる。
以下、本発明の実施の形態について図面を用いて説明する。以下では色成分は加法3原色の赤(R)、緑(G)、青(B)とするが、減法3原色のY(黄)、M(マゼンタ)、C(シアン)でもよい。
図1は本発明にかかる画像処理装置の基本構成を示す。ここで、画像処理装置は倍率色収差補正手段100とMTF補正手段200を有し、MTF補正手段200は、色・輝度信号分離手段210と高域強調フィルタ(FIRフィルタ)220と色・輝度信号合成手段240からなる。
倍率色収差補正手段100は、広画角で倍率色収差が大きい光学系を通して撮像されて、CCDやCMOSセンサ等の画像素子で読み取られた、倍率色収差を含むRGB画像データを入力して、所定の多項式等によりRGB独立に座標変換を施し、倍率色収差補正されたRGB画像データを出力する。この倍率色収差補正手段100については後で詳述するが、倍率色収差の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ(SRAM等)を使用することができる。
MTF補正手段200は、倍率色収差補正されたRGB画素データを入力して、色・輝度信号分離手段210で輝度信号と色信号に分離した後、輝度信号についてFIRフィルタ220を用いて高域強調(MTF補正)処理を施し、色・輝度信号合成手段240で、高域強調された輝度信号と色信号を合成してRGB画素データを出力する。
ここで、色・輝度信号分離手段210では、例えば次式によりRGB画像データを輝度信号Yと色信号Cr,Cbに分離する。
Y=0.299R+0.587G+0.114B (1)
Cr=0.500R−0.419G−0.081B (2)
Cb=−0.169R−0.332G+0.500B (3)
FIRフィルタ220は、例えば、5×5フィルタからなり、輝度信号Y、色信号Cb,Crのうち、輝度信号Yのみを入力して所定のMTF補正を行う。Y信号のみの高域強調フィルタリング(MTF補正)を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図2にFIRフィルタの係数の一例を示す。
色・輝度信号合成手段240は、色信号Cb,Cr及び高域強調された輝度信号Yを入力して、例えば、次式により合成しRGB画素データを出力する。
R=Y+1.402Cr (4)
G=Y−0.714Cr−0.344Cb (5)
B=Y+1.772Cb (6)
図1の構成とすることで、倍率色収差補正はRGB独立に何ら支障なく行うことが可能であり、MTF補正は輝度信号にのみ高域強調フィルタを掛けることで可能であり、回路規模の増加や、色ノイズの増加を抑えることができる。
本発明にかかる画像処理装置は図1の構成に限る必要はなく、種々の変更や拡張が可能である。そのいくつかの構成例を図3乃至図6に示す。
図3は、MTF補正手段200を色・輝度信号分離手段210とFIRフィルタ220のみとして、図1の色・輝度信号合成手段240を省略したものである。後段への出力がRGB信号ではなく、輝度信号と色信号の出力の方が望ましい場合は、図3の構成でよい。さらに、倍率色収差補正手段100は、RGB画像データについてRGB独立に座標変換して倍率色収差と歪曲収差を同時に補正する倍率色収差・歪曲収差補正手段に置き替えることでもよい。これは補正式(座標変換式)のパラメータを変えるだけで可能である。
図4は、図3の構成において色ノイズ低減用のFIRフィルタ230を付加して、色信号に平滑化フィルタをかけることにより、輝度信号のMTF補正に加えて色情報のノイズ低減を図ったものである。図4においても、倍率色収差補正手段100は倍率色収差補正・歪曲収差補正手段とすることでもよい。なお、色信号のFIRフィルタ230は、単にノイズ低減のフィルタだけでなく、例えば、単純なゲイン調整により彩度の向上を行うフィルタなどで代用することでもよい。また、暗い被写体・環境では撮像素子の感度を向上させるために、撮像素子からの読み出し信号のゲインを上げるが、その場合にはノイズが増加するため、ゲインが高い場合のみ、すなわち、被写体の明度が暗くなった場合のみ、色情報のノイズ低減用の色信号のFIRフィルタ230を用いるかどうかを切り替える、もしくはゲインに応じて(被写体の明度に応じて)FIRフィルタ230の係数を変更し、平滑化強度を変更しても良い。被写体の明度は、別途明度センタを設けて直接読み取ることでもよい。また、FIRフィルタ230の係数の変更は、例えば、それぞれ係数の異なるFIRフィルタを用意して、ゲイン(明度)に応じて切り替えるようすればよい。
図5は、図1の構成においてMTF補正手段200の後段に別途、歪曲収差補正手段300を設けたものである。歪曲収差補正手段300は、倍率色収差補正及びMTF補正されたRGB画像データを入力して、所定の多項式等によりRGB共通に座標変換を施し、歪曲収差補正されたRGB画像データを出力する。この歪曲収差補正手段300については後で詳述する。
倍率色収差はRGB各色で異なるが、歪曲収差はRGBとも同じである。ただし、歪曲収差は倍率色収差に比べてはるかに大きい。図5の構成とすることで、倍率色収差補正の座標変換には低容量低レイテンシまたは低容量多ポートのSRAM等のメモリを使用し、歪曲収差補正の座標変換には各色共通の単一ポート大容量高レイテンシのDRAM等のメモリを使用することが可能で、装置全体の低コスト化が可能になる。
また、歪曲収差補正後にMTF補正を行う場合には、歪曲収差補正を行うための座標変換により発生した補間誤差がMTF補正により増幅され、画質に悪影響を及ぼす。座標変換の際に画素の補間を行うインターポレータを用いることにより補間誤差は低減することもできるが、倍率色収差は歪曲収差と比較して小さいので、倍率色収差を行うための座標変換ではこの補間誤差の画質への影響は少ない。そのため、図5の構成のように、倍率色収差補正、MTF補正、歪曲収差補正という順番で処理すると歪曲収差補正に伴う補間誤差がMTF補正により増幅されることはなく、かつ倍率色収差補正、MTF補正の順番で処理が可能なため画質的に最良である。
図6は、図3の構成においてMTF補正手段200の後段に別途、歪曲収差補正手段300を設けたものである。この歪曲収差補正手段300での歪曲収差補正は輝度信号と色信号それぞれでの座標変換で実現する。
後段への出力がRGB信号ではなく、輝度信号と色信号の出力の方が望ましい場合には、図6の構成でよい。なお、図4の構成に、図6と同様の歪曲収差補正手段300を設けることも可能である。
次に倍率色収差補正手段100と歪曲収差補正手段300について詳述する。はじめに、倍率色収差補正と歪曲収差補正の原理を説明する。
図7に模式的に示すように、倍率色収差と歪曲収差のある光学系を用いて撮影を行った場合、画面右上の1で示す位置(ピクセル)の画像データ(画素データ)は、この本来の位置から歪曲収差によりずれ、さらに倍率色収差によってRGB各色成分でそれぞれ異なるずれをし、撮像素子で実際に撮像される位置は、RGBそれぞれ2(R),3(G),4(B)の位置となる。倍率色収差と歪曲収差の補正は、この2(R),3(G),4(B)の位置(ピクセル)のRGB各色成分画像データを本来の位置である1の位置(ピクセル)にコピーする、すなわち、座標変換することで可能である。ここで、2,3,4の位置が座標変換元の座標、1の位置が座標変換先の座標となる。
光学系の設計データより、歪曲収差の大きさ、倍率色収差の大きさが分かるため、本来の位置に対して、RGB各色成分がどの位置にずれるかを計算することができる。
図8は倍率色収差と歪曲収差を同時に補正する方法を模式的に示したものである。すなわち、2(R),3(G),4(B)の位置(ピクセル)のRGB各色成分の画像データをそれぞれ本来の位置である1の位置(ピクセル)にコピーする、すなわち、座標変換することで、倍率色収差と歪曲収差を同時に補正することができる。しかしながら、この方法では、RGB各色成分毎に容量が大で、かつ、低レイテンシのメモリまたは多ポートのメモリが必要となる。例えば、図8の場合だと、RGBそれぞれに、座標変換用として高速の6ラインのメモリが必要となる。
図9は倍率色収差と歪曲収差とを独立に補正する方法を模式的に示したものである。倍率色収差は各色成分で異なるが、ずれは小さい。一方、歪曲収差は、ずれは大きいが、各色成分とも同じである。これに着目し、まず、RGB各色成分の画像データをそれぞれ座標変換して(後述の実施例では、RBの色成分を座標変換して、G成分の位置にコピーする)、倍率色収差を補正し、その後、この倍率色収差補正されたRGB画像データをまとめて座標変換することで、歪曲収差を補正する。これにより、座標変換用のメモリを倍率色収差補正に必要なRGB対応の少容量・高速(低レンテンシまたは多ポート)なメモリと、歪曲収差補正に必要なRGB共通の大容量・低速(高レンテンシまたは単一ポート)なメモリに分けることができ、全体としてコスト低減が可能となる。
図9の(a)は倍率色収差補正を模式的に示したもので、2(R),4(B)の位置(ピクセル)のRB色成分の画像データについて座標変換を行って、G成分の3(G)の位置(ピクセル)にコピーする。この操作により、倍率色収差が補正される。図9の(b)は歪曲収差補正を模式的に示したもので、倍率色収差補正済みの3の位置(ピクセル)のRGB各色成分の画像データに対してまとめて座標変換を行い、本来の位置である1の位置(ピクセル)にコピーする。この操作により歪曲収差が補正される。
図9の例では、倍率色収差補正用の高速メモリは、各RGB対応の3ラインのメモリで十分である。他に歪曲収差補正用に5ラインのメモリが必要となるが、RGB共通の低速メモリでよく、図8に比較して、全体しては低コスト化が可能となる。
なお、ここで対象としている歪曲収差とは、目的の射影方式に対するレンズの歪みという意味であり、例えば目的の射影方式がカメラ上方から見下ろした画像が得られる射影方式であったり、ある一部分を拡大して表示される射影方式である場合も含む。
図10に倍率色収差補正手段100の一実施形態の構成図を示す。110は倍率色収差補正用座標変換メモリ(ラインバッファ)で、110(R),110(G),110(B)はそれぞれRGB各色成分に対応する。120は所定の座標変換式に従いRGBそれぞれについて倍率色収差補正の変換座標を計算する倍率色収差補正座標変換演算部であり、130は座標変換式に使用される係数を保持する座標変換係数テーブルである。
倍率色収差補正処理には、ラインバッファとして、小容量であるがRGB3ポートのメモリまたは低レイテンシのメモリが必要である。ここでは、倍率色収差の最大ずれ量がY方向に20ラインと想定して、座標変換メモリ142(R),142(G),142(B)は、それぞれ20ライン分のSRAMで構成されるとする。X方向のサイズは解像度で決まり、例えば解像度VGA(640×480)とすると、X方向のサイズは640ドットである。色深度はRGB8ビットであり、座標変換メモリ142(R),142(G),142(B)とも、書込み読出しは8ビット単位で行われる。
このように、倍率色収差補正用座標変換メモリ(ラインバッファ)110(R),110(G),110(B)は、小容量であるため、画像処理チップ内に用意された3ポートのSRAMを用いて、それぞれ20ライン分のメモリ領域を確保する構成とすることが望ましい。なお、SRAMのように低レイテンシのメモリの場合1ポートのメモリをタイムシェアリングにより3ポートのメモリとして使用することも可能である。
倍率色収差を受けたの各RGB画像データが、座標変換メモリ110(R),110(G),110(B)に、それぞれ座標値(x,y)に従って先頭ラインから順次書込まれる。そして、各々20ラインの画像データが書き込まれると、先頭ラインの画像データから順次捨てられ、代って後続ラインの画像データが新しく書き込まれていく。こうして、座標変換メモリ110(R),110(G),110(B)には、それぞれ倍率色収差補正座標変換で必要とする最大20ライン分のRGB画像データが順次格納される。
ここで、座標値(x,y)は1フレーム分の撮像画像の読出し位置を示している。一方、座標変換メモリ110(R),110(G),110(B)は20ラインのラインバッファで、書込みラインがサイクックに変化するため、座標値(x,y)をそのまま座標変換メモリ110(R),110(G),110(B)の書込みアドレスに使用することができない。このため、座標値(x,y)の値を、座標変換メモリ110(R),110(G),110(B)の実アドレスに変換する必要があるが、図10ではそのための構成は省略してある。これは、後述の読出し動作における変換後の座標値(X,Y)と座標変換メモリ110(R),110(G),110(B)の読出しアドレスとの関係でも同様である。
倍率色収差補正座標変換算出部120は、座標変換先座標である座標値(x,y)を入力として、多項式等の所定の座標変換式に従い、RGBそれぞれについて倍率色収差補正の変換座標を計算し、RGBそれぞれの座標変換元座標である座標値(X,Y)を出力する。図9(a)に示したように、本実施形態では、RBの色成分を座標変換してG成分の位置にコピーする。このため、倍率色収差補正座標変換演算部120では、G成分については、入力された座標値(x,y)をそのまま座標値(X,Y)として出力し、RB色成分について、所定の座標変換式を用いてそれぞれ入力された座標値(x,y)を座標値(X,Y)に変換し、この座標値(X,Y)を出力する。これを座標値(x,y)ごとに繰り返す。
ここで、座標変換式は、画面中央を原点とした場合、例えば、
X=x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y2]×x
Y=y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x2]×y
(7)
と表わすことができる。abs( )は絶対値、a(1)〜a(4),b(1)〜b(4)は座標変換係数である。座標変換係数は、あらかじめ座標変換係数テーブル130に保持される。
座標変換メモリ110(R),110(G),110(B)は、先の書込み動作と平行して(実際には所定時間遅れて)、倍率色収差補正座標演算部120から出力される座標値(X,Y)に基づいて(実際には、座標値(X,Y)をアドレス変換した値)、それぞれRGB画像データを順次読み出していく。この場合、座標変換メモリ110(G)からは、書込み時と同じ位置のG成分画像データが読み出される。一方、座標変換メモリ110(R),110(B)からは、それぞれ書き込み時とは所定の位置ずれた位置、すなわち、倍率色収差分ずれた位置のRB色成分画像データが読み出される。
以上の処理により、座標変換メモリ110(R),110(G),110(B)からは、倍率色収差補正されたRGB画像データが出力されることになる。すなわち、座標変換元座標値(X,Y)のRGB画像データが、座標変換先座標値(x,y)のRGB画像データとして出力される。
図11に倍率色収差補正座標変換演算部120の二、三の実施例を示す。図11(a)は、Gの色成分は座標変換を行われず、入力された座標値(x,y)をそのまま、G用座標値(X,Y)として出力し、RとBの色成分についてのみ、それぞれ座標変換演算部121、122により、入力された座標値(x,y)を変換して、R用座標値(X,Y)、B用座標値(X,Y)を出力する実施例である。座標変換演算部はRとB色成分のみでよいため、回路規模が少なくてすむ。
図11(b),(c)は、倍率色収差は一般にGを中心にRとBの色成分がほぼ対称にずれることに着目するものである(図7)。ここで、図11(b)は、座標変換演算部123により、座標値(x,y)について補正量を求め、減算部124で補正量分だけ座標値(x,y)から減算した値をB用座標値(X,Y)とし、一方、加算部125で補正量分だけ座標値(x,y)に加算した値をR用座標値(X,Y)とする実施例である。図11(a)と同様に、G用座標値(X,Y)には入力座標値(x,y)をそのまま出力する。
図11(c)は、対称位置のずれを考慮し、さらにゲイン回路126によりR用の補正量を調整するようにしたものである。なお、ゲイン回路はB側に設けることでもよい。図11(b),(c)の実施例によれば、座標変換演算部は一つで済み、回路規模を更に小さくできる。
なお、図11(a)の座標変換演算部121、122のかわりにRとBの各色成分毎に入力座標値(x,y)と出力座標値(X,Y)の対応を記憶したルックアップテーブル(LUT)を用意し、該LUTを用いて、座標変換先の座標値(x,y)に対する座標変換元の座標値(X,Y)を直接得るようにしてもよい。同様に図11(b),(c)の座標変換演算部123のかわりに入力座標値(x,y)と補正量の対応を記憶したLUTを用意し、該LUTを用いて、座標値(x,y)に対応する補正量を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、倍率色収差補正は、基本的にメモリチップのみで実現可能となる。
次に、図12に歪曲収差補正部300(図5)の一実施形態の構成図を示す。310はRGB3つの画像データを一つに合成するRGB合成部、320はRGB画像データに共通の歪曲収差補正用座標変換メモリ、163は合成されたRGB画像データを元の各色成分に分離するRGB分離部、340は合成されたRGB画像データに対して、所定の座標変換式に従い歪曲収差補正の変換座標を計算する歪曲収差補正座標変換演算部、350は座標変換式に使用される係数を保持する座標変換係数テーブルである。
歪曲収差は画素のずれ量が大きく、歪曲収差補正処理には、画像データを最大1画面分記憶しておくバッファメモリが必要である。一方、ずれはRGB各色成分とも同じで、RGB画像データの合計ビット幅を持つ一つのバッファメモリでよい。ここでは、解像度がVGA(640×480)とし、RGB画像データのビット数(色深度)がそれぞれ8ビットとして、座標変換メモリ320は、書込み読出しが24ビット単位の640×480ドットのDRAMで構成されるとする。
このように、歪曲収差補正用座標変換メモリ320は、非常に大きな容量が必要で、画像処理チップ内にSRAMとして持つのはコスト的に困難であり、かつ、RGBに対して1ポートのメモリで十分なため、画像処理チップの外に用意したDRAMを用いるのが望ましい。
RGB合成部310は、順次、倍率色収差補正済みの各RGB画像データ(各8ビット)を入力し、一つの画像データ(24ビット)に合成して出力する。この合成されたRGB画像データが、座標変換メモリ320に、それぞれ座標変換先の座標値(x,y)に従って先頭ラインから順次書き込まれる。
一方、歪曲収差補正座標変換演算部340は、座標変換先の座標値(x,y)を入力として、多項式等の所定の座標変換式に従いRGB共通の歪曲収差補正の変換座標を計算し、座標変換元の座標値(X,Y)を出力する。座標変換式は、先の倍率色収差補正と同じ(13)式で表わすことができる。ただし、使用される座標変換係数は当然異なる。その座標変換係数は、あらかじめ座標変換係数テーブル350に保持される。
座標変換メモリ320は、先のRGB合成画像データ(24ビット)の書込み動作と平行して(正確には所定時間遅れて)、歪曲収差補正座標変換部340から出力される座標値(X,Y)に基づいて、RGB合成画像データを順次読み出していく。RGB分離部330は、座標変換メモリ320から読み出されたRGB合成画像データ(24ビット)を元のRGB各色成分の画像データ(8ビット)に分離する。
以上の処理により、RGB分離部330からは、歪曲収差の補正された各RGB画像データが出力されることになる。すなわち、各RGB画像データが本来の位置である座標値(x,y)にコピーされる。
なお、歪曲収差補正処理でも、入力座標値(x,y)と出力座標値(X,Y)の対応を記憶したルックアップテーブル(LUT)を用意し、該LUTを用いて、座標変換先の座標値(x,y)に対する座標変換元の座標値(X,Y)を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、歪曲収差補正も基本的にメモリチップのみで実現可能となる。
図12は図5の構成に対応する場合であるが、図6の構成の場合には、RGB合成部310やRGB分離部330は不要であり、かわりに座標変換メモリ320は輝度信号と色信号それぞれ用意することとなる。
図13は本発明が適用される画像撮像装置の一実施形態の機能ブロック図を示す。画像撮像装置は、他に操作部、画像記憶部、画像表示部(モニタ)を備えているが、図13では省略してある。本画像撮像装置は、例えば、車載カメラとして使用されるが、用途はこれに限らない。
図13において、制御部1000は、装置の各部に必要な制御信号(クロック、水平/垂直同期信号、その他)を与えて、該各部の動作をパイプライン的に制御する。
撮像素子1100は、広角で倍率色収差及び歪曲収差の大きい光学系(不図)を用いて撮像された光学像を電気信号(画像データ)に変換するための、例えばCCDやCMOSセンサ等で構成される。該撮像素子1100にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のRGB画像データが、制御部1000から与えられる座標値(x,y)に基づいて順次出力される。また、制御部1000では、撮像素子110に与える座標値(x,y)を、順次、所定の時間ずらして後段にも与えるようにする。なお、座標値(x,y)は、クロック、水平/垂直同期信号を入力として撮像素子1100の内部で生成して、撮像素子1100から順次、後段に与えることでもよい。
A/D変換器1200は、撮像素子1100から出力されたアナログ信号としてのベイヤー配列のRGB画像データをデジタル信号に変換してベイヤー補完部1300に送出する。デジタル信号は、例えば、RGBそれぞれ8ビットで構成される。一般にA/D変換器1200の前段にはAGC回路が設けられるが、ここでは省略する。このAGC回路のゲイン量を見て被写体の明度を判別することができる。
ベイヤー補完部1300は、デジタル信号に変換されたベイヤー配列のRGB画像データを入力して、RGB各色独立に、全座標位置の画像データを線形補完によって生成し、倍率色収差補完部1400に送出する。
なお、本実施形態ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のCMYG配列や、RGB+Ir(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。特にこのように4色の色フィルタ配列を持つ撮像素子では、RGBのように3色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、4ポートのRAMが必要となる。
倍率色収差補正部1400は、ベイヤー補完されたR,G,B画像データを入力して、所定の多項式によりRGB各色成分独立に座標変換(倍率色収差座標変換)を施し、倍率色収差補正されたRGB画像データを出力する。先に述べたように、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ(SRAM等)を使用することができる。
MTF補正部1500は、倍率色収差補正されたRGB画像データを入力して、輝度信号についてFIRフィルタを用いてMTF補正処理を施し、MTF補正されたRGB画像データを出力する。先に述べたように、輝度信号のみの高域強調フィルタリング(MTF補正)を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。また、MTF補正部1500では、輝度信号の高域強調フィルタリングと並行に色信号の平滑化フィルタリングを行うようにしてもよい。
歪曲収差補正部1600は、倍率色収差補正及びMTF補正されたRGB画像データを入力して、所定の多項式等によりRGB各色成分共通に座標変換(歪曲収差座標変換)を施し、歪曲収差補正されたRGB画像データを出力する。先に述べたように、歪曲収差補正の座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが(最大1画面分)、1ポートで良いため高レイテンシのメモリ(DRAM等)を使用することが可能である。
ガンマ補正部1700は、歪曲収差補正部1600から出力されるRGB画像データを入力して、RGBそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたRGB画像データを出力する。ガンマ補正部1700から出力された画像データは、図示しない表示部にモニタ表示される。
図13の構成により、色倍率収差および歪曲収差がある光学系に対して、高画質で、回路規模が小さい低コストな撮像システムを提供できる。なお、倍率色収差補正部1400は、倍率色収差と歪曲収差を同時に補正する倍率色収差・歪曲収差補正部とすることでもよく、この場合には歪曲収差補正部1600は不要となる。また、ガンマ補正部1700はベイヤー補正部1300の直後でもよい。
なお、図1、図3乃至図6等に示した画像処理装置の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明の画像処理方法を実現することができること、あるいは、その処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることで本発明の画像処理方法を実現できることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、FD、MO、ROM、メモリカード、CD、DVD、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
本発明の画像処理装置の第1の実施例の機能ブロック図。 FIRフィルタの一例を示す図。 本発明の画像処理装置の第2の実施例の機能ブロック図。 本発明の画像処理装置の第3の実施例の機能ブロック図。 本発明の画像処理装置の第4の実施例の機能ブロック図。 本発明の画像処理装置の第5の実施例の機能ブロック図。 倍率色収差及び歪曲収差の説明図。 倍率色収差及び歪曲収差補正を同時に補正する説明図。 倍率色収差及び歪曲収差補正を独立に補正する説明図。 倍率色収差補正手段の構成例を示す図。 倍率色収差補正座標変換演算部の各実施例の構成図。 歪曲収差補正手段の構成例を示す図。 本発明を適用した画像撮像装置の一実施形態の全体ブロック図。
符号の説明
100 倍率色収差補正手段
200 MTF補正手段
210 色・輝度信号分離手段
220 FIRフィルタ(MTF補正)
230 FIRフィルタ(色ノイズ低減)
240 色・輝度信号合成手段
300 歪曲収差補正手段
1100 撮像素子
1200 A/D変換器
1300 ベイヤー補完部
1400 倍率色収差補正部
1500 MTF補正部
1600 歪曲収差補正部
1700 ガンマ補正部

Claims (5)

  1. 広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された複数の色成分からなる画像データを処理する画像処理装置であって、
    前記画像データについて倍率色収差を補正する倍率色収差補正手段と、
    前記倍率色収差補正された画像データについてMTF補正するMTF補正手段と、
    前記MTF補正された画像データについて歪曲収差を補正する歪曲収差補正手段とを有し、
    前記倍率色収差補正手段は、複数の色成分の画像データについてそれぞれ倍率色収差の最大ずれ量に応じた記憶領域を有して、処理対象の複数の色成分の画像データが書き込まれる、複数ポートのSRAMからなる第1の座標変換用メモリと、前記第1の座標変換メモリに書き込まれた処理対象の複数の色成分の画像データについて、特定の色成分の画像データは座標変換を行わずにそのまま読み出し、前記特定の色成分以外の画像データは、前記特定の色成分の画像データの座標を基準に補正量を求め、該補正量により変換座標を算出して、座標変換を行って読み出す倍率色収差補正座標変換演算手段とからなり、
    前記MTF補正手段は、前記倍率色収差補正された複数の色成分の画像データについて輝度信号と色信号とを分離する手段と、前記輝度信号の高域を強調するフィルタと、前記高域強調された輝度信号と前記色信号とを合成して、複数の色成分の画像データに戻す手段とからなり、
    前記歪曲収差補正手段は、前記MTF補正された複数の色成分の画像データを合成する合成手段と、複数の色成分の画像データに共通の最大1画面分の記憶容量を有して、前記合成された画像データが書き込まれる、単一ポートのDRAMからなる第2の座標変換用メモリと、前記第2の座標変換メモリに書き込まれた画像データについて、各色成分の画像データに共通の変換座標を算出して座標変換を行って読み出す歪曲収差補正座標変換演算手段とからなる、
    ことを特徴とする画像処理装置。
  2. 前記MTF補正手段は、前記色信号の平滑化を行うフィルタを更に有することを特徴とする請求項1記載の画像処理装置。
  3. 被写体の明度に応じて、前記色信号の平滑化を行うフィルタの平滑化強度を変更することを特徴とする請求項2記載の画像処理装置。
  4. 被写体の明度が低下した場合に、前記色信号の平滑化を行うフィルタを有効にすることを特徴とする請求項2記載の画像処理装置。
  5. 広画角で倍率色収差及び歪曲収差が大きい光学系と、
    前記光学系を通して撮像された画像を読み取る撮像素子と、
    前記請求項1乃至4のいずれか1項に記載の画像処理装置と、
    を有することを特徴とする画像撮像装置。
JP2008053718A 2008-03-04 2008-03-04 画像処理装置及び画像撮像装置 Expired - Fee Related JP5078147B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008053718A JP5078147B2 (ja) 2008-03-04 2008-03-04 画像処理装置及び画像撮像装置
CN2009100044761A CN101527858B (zh) 2008-03-04 2009-03-04 图像处理方法、图像处理设备以及图像摄像设备
EP09154262A EP2099229B1 (en) 2008-03-04 2009-03-04 Image processing method and apparatus
US12/379,889 US8417031B2 (en) 2008-03-04 2009-03-04 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008053718A JP5078147B2 (ja) 2008-03-04 2008-03-04 画像処理装置及び画像撮像装置

Publications (2)

Publication Number Publication Date
JP2009212818A JP2009212818A (ja) 2009-09-17
JP5078147B2 true JP5078147B2 (ja) 2012-11-21

Family

ID=40785413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008053718A Expired - Fee Related JP5078147B2 (ja) 2008-03-04 2008-03-04 画像処理装置及び画像撮像装置

Country Status (4)

Country Link
US (1) US8417031B2 (ja)
EP (1) EP2099229B1 (ja)
JP (1) JP5078147B2 (ja)
CN (1) CN101527858B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5273371B2 (ja) 2008-12-24 2013-08-28 株式会社リコー 画像処理装置及び方法、並びに車載カメラ装置
JP5267794B2 (ja) 2008-12-26 2013-08-21 株式会社リコー 画像処理装置及び車載カメラ装置
JP5607911B2 (ja) * 2009-10-21 2014-10-15 オリンパスイメージング株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US8624999B2 (en) 2009-12-01 2014-01-07 Ricoh Company, Ltd. Imaging apparatus
JP2011215707A (ja) 2010-03-31 2011-10-27 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5585885B2 (ja) 2011-03-18 2014-09-10 株式会社リコー 画像処理装置及び画像処理方法
JP2013017142A (ja) * 2011-07-06 2013-01-24 Sony Corp 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5868076B2 (ja) 2011-08-31 2016-02-24 キヤノン株式会社 画像処理装置及び画像処理方法
JP5818586B2 (ja) * 2011-08-31 2015-11-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP6417666B2 (ja) 2013-05-15 2018-11-07 株式会社リコー 画像処理システム
JP2015231052A (ja) * 2014-06-03 2015-12-21 ソニー株式会社 撮像装置および方法、並びにプログラム
JPWO2016207990A1 (ja) * 2015-06-24 2018-04-05 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP6876941B2 (ja) 2016-10-14 2021-05-26 パナソニックIpマネジメント株式会社 バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム
JP2018085008A (ja) 2016-11-25 2018-05-31 株式会社ジャパンディスプレイ 画像処理装置および画像処理装置の画像処理方法
CN107566747B (zh) 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置
US10706813B1 (en) 2018-02-03 2020-07-07 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10559276B2 (en) * 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
KR102057602B1 (ko) * 2018-04-26 2019-12-20 주식회사 텐앤투 광각 영상 제공 방법 및 시스템
US10678325B2 (en) 2018-05-22 2020-06-09 Facebook Technologies, Llc Apparatus, system, and method for accelerating positional tracking of head-mounted displays

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3418787A1 (de) 1984-05-19 1985-11-21 Robert Bosch Gmbh, 7000 Stuttgart Verfahren zur erhoehung der aufloesung von farbfernsehkameras
US5398124A (en) * 1991-06-29 1995-03-14 Minolta Camera Kabushiki Kaisha Image processor
JPH06335006A (ja) * 1993-05-19 1994-12-02 Matsushita Electric Ind Co Ltd 固体撮像装置
JP3399486B2 (ja) * 1993-06-30 2003-04-21 富士ゼロックス株式会社 カラー画像処理装置及び方法
JP3267200B2 (ja) * 1997-07-11 2002-03-18 松下電器産業株式会社 画像処理装置
US6603885B1 (en) * 1998-04-30 2003-08-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US6853400B1 (en) * 1998-06-16 2005-02-08 Fuji Photo Film Co., Ltd. System and method for correcting aberration of lenses through which images are projected
JP3758377B2 (ja) 1998-09-14 2006-03-22 コニカミノルタビジネステクノロジーズ株式会社 画像読取装置および色収差補正方法
US6870564B1 (en) * 1998-10-02 2005-03-22 Eastman Kodak Company Image processing for improvement of color registration in digital images
JP3861498B2 (ja) * 1999-03-19 2006-12-20 コニカミノルタビジネステクノロジーズ株式会社 黒エッジ部の判別装置及び画像処理装置
JP2001275029A (ja) * 2000-03-28 2001-10-05 Minolta Co Ltd デジタルカメラ、その画像信号処理方法及び記録媒体
US6584287B2 (en) * 2000-10-18 2003-06-24 Fuji Photo Film Co., Ltd. Camera and image forming system using the camera
JP4150844B2 (ja) * 2001-07-05 2008-09-17 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置および画像処理プログラム
US7433089B2 (en) 2001-09-27 2008-10-07 Fujifilm Corporation Image processor
US20040085459A1 (en) * 2002-02-12 2004-05-06 Nikon Corporation Image processing device, image processing program, and image processing method
JP2003235050A (ja) * 2002-02-12 2003-08-22 Nikon Corp 画像処理装置、画像処理プログラム、および画像処理方法
US7102669B2 (en) 2002-04-02 2006-09-05 Freescale Semiconductor, Inc. Digital color image pre-processing
JP2004241991A (ja) * 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
JP4311040B2 (ja) 2003-03-05 2009-08-12 セイコーエプソン株式会社 色収差補正装置および色収差補正方法、並びに色収差補正プログラム
JP4378994B2 (ja) * 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
JP4165361B2 (ja) 2003-10-07 2008-10-15 ソニー株式会社 画像撮影装置、画像処理装置及びレンズ色収差補正方法
JP4333544B2 (ja) * 2004-02-13 2009-09-16 セイコーエプソン株式会社 画像処理方法、及び画像処理装置、半導体装置、電子機器、画像処理プログラム、並びにコンピュータ読み取り可能な記録媒体
US7580070B2 (en) * 2005-03-31 2009-08-25 Freescale Semiconductor, Inc. System and method for roll-off correction in image processing
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP4596986B2 (ja) 2005-06-07 2010-12-15 オリンパス株式会社 画像撮像装置
EP1940180B1 (en) * 2005-09-29 2012-05-30 Nikon Corporation Image processing apparatus and image processing method
JP4469324B2 (ja) * 2005-11-01 2010-05-26 イーストマン コダック カンパニー 色収差抑圧回路及び色収差抑圧プログラム
KR101201672B1 (ko) * 2005-12-20 2012-11-15 삼성전자주식회사 의사 색 억제 기능을 갖는 디지털 영상 신호 처리 장치 및그 방법
JP4709084B2 (ja) * 2006-07-07 2011-06-22 キヤノン株式会社 画像処理装置及び画像処理方法
JP5046789B2 (ja) * 2007-08-20 2012-10-10 キヤノン株式会社 画像処理装置及び画像処理方法
JP5008139B2 (ja) * 2007-11-26 2012-08-22 株式会社リコー 画像撮像装置
JP5152491B2 (ja) * 2008-02-14 2013-02-27 株式会社リコー 画像撮像装置
JP5078148B2 (ja) * 2008-03-10 2012-11-21 株式会社リコー 画像処理装置及び画像撮像装置
JP5171361B2 (ja) * 2008-04-07 2013-03-27 株式会社日立製作所 撮像装置

Also Published As

Publication number Publication date
EP2099229B1 (en) 2011-06-22
EP2099229A1 (en) 2009-09-09
US20090226086A1 (en) 2009-09-10
JP2009212818A (ja) 2009-09-17
US8417031B2 (en) 2013-04-09
CN101527858A (zh) 2009-09-09
CN101527858B (zh) 2012-01-25

Similar Documents

Publication Publication Date Title
JP5078147B2 (ja) 画像処理装置及び画像撮像装置
JP5078148B2 (ja) 画像処理装置及び画像撮像装置
JP5008139B2 (ja) 画像撮像装置
JP4911628B2 (ja) 画像処理方法、画像処理装置及び画像撮像装置
JP5008578B2 (ja) 画像処理方法、画像処理装置及び画像撮像装置
JP5267794B2 (ja) 画像処理装置及び車載カメラ装置
JP5273371B2 (ja) 画像処理装置及び方法、並びに車載カメラ装置
JP5062846B2 (ja) 画像撮像装置
US8270757B2 (en) Image processing method, image processing apparatus, and imaging apparatus
JP4966894B2 (ja) 画像撮像装置
JP2009218909A (ja) 画像撮像装置
JP2009188840A (ja) プログレッシブ・インタレース変換方法、画像処理装置及び画像撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120822

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120827

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5078147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees