JP5078147B2 - 画像処理装置及び画像撮像装置 - Google Patents
画像処理装置及び画像撮像装置 Download PDFInfo
- Publication number
- JP5078147B2 JP5078147B2 JP2008053718A JP2008053718A JP5078147B2 JP 5078147 B2 JP5078147 B2 JP 5078147B2 JP 2008053718 A JP2008053718 A JP 2008053718A JP 2008053718 A JP2008053718 A JP 2008053718A JP 5078147 B2 JP5078147 B2 JP 5078147B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- chromatic aberration
- correction
- distortion
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 38
- 230000004075 alteration Effects 0.000 claims description 147
- 238000012937 correction Methods 0.000 claims description 138
- 238000006243 chemical reaction Methods 0.000 claims description 90
- 230000015654 memory Effects 0.000 claims description 57
- 230000009466 transformation Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 238000000926 separation method Methods 0.000 description 10
- 239000000872 buffer Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
- H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
Y=0.299R+0.587G+0.114B (1)
Cr=0.500R−0.419G−0.081B (2)
Cb=−0.169R−0.332G+0.500B (3)
FIRフィルタ220は、例えば、5×5フィルタからなり、輝度信号Y、色信号Cb,Crのうち、輝度信号Yのみを入力して所定のMTF補正を行う。Y信号のみの高域強調フィルタリング(MTF補正)を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図2にFIRフィルタの係数の一例を示す。
G=Y−0.714Cr−0.344Cb (5)
B=Y+1.772Cb (6)
図1の構成とすることで、倍率色収差補正はRGB独立に何ら支障なく行うことが可能であり、MTF補正は輝度信号にのみ高域強調フィルタを掛けることで可能であり、回路規模の増加や、色ノイズの増加を抑えることができる。
X=x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y2]×x
Y=y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x2]×y
(7)
と表わすことができる。abs( )は絶対値、a(1)〜a(4),b(1)〜b(4)は座標変換係数である。座標変換係数は、あらかじめ座標変換係数テーブル130に保持される。
200 MTF補正手段
210 色・輝度信号分離手段
220 FIRフィルタ(MTF補正)
230 FIRフィルタ(色ノイズ低減)
240 色・輝度信号合成手段
300 歪曲収差補正手段
1100 撮像素子
1200 A/D変換器
1300 ベイヤー補完部
1400 倍率色収差補正部
1500 MTF補正部
1600 歪曲収差補正部
1700 ガンマ補正部
Claims (5)
- 広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された複数の色成分からなる画像データを処理する画像処理装置であって、
前記画像データについて倍率色収差を補正する倍率色収差補正手段と、
前記倍率色収差補正された画像データについてMTF補正するMTF補正手段と、
前記MTF補正された画像データについて歪曲収差を補正する歪曲収差補正手段とを有し、
前記倍率色収差補正手段は、複数の色成分の画像データについてそれぞれ倍率色収差の最大ずれ量に応じた記憶領域を有して、処理対象の複数の色成分の画像データが書き込まれる、複数ポートのSRAMからなる第1の座標変換用メモリと、前記第1の座標変換メモリに書き込まれた処理対象の複数の色成分の画像データについて、特定の色成分の画像データは座標変換を行わずにそのまま読み出し、前記特定の色成分以外の画像データは、前記特定の色成分の画像データの座標を基準に補正量を求め、該補正量により変換座標を算出して、座標変換を行って読み出す倍率色収差補正座標変換演算手段とからなり、
前記MTF補正手段は、前記倍率色収差補正された複数の色成分の画像データについて輝度信号と色信号とを分離する手段と、前記輝度信号の高域を強調するフィルタと、前記高域強調された輝度信号と前記色信号とを合成して、複数の色成分の画像データに戻す手段とからなり、
前記歪曲収差補正手段は、前記MTF補正された複数の色成分の画像データを合成する合成手段と、複数の色成分の画像データに共通の最大1画面分の記憶容量を有して、前記合成された画像データが書き込まれる、単一ポートのDRAMからなる第2の座標変換用メモリと、前記第2の座標変換メモリに書き込まれた画像データについて、各色成分の画像データに共通の変換座標を算出して座標変換を行って読み出す歪曲収差補正座標変換演算手段とからなる、
ことを特徴とする画像処理装置。 - 前記MTF補正手段は、前記色信号の平滑化を行うフィルタを更に有することを特徴とする請求項1記載の画像処理装置。
- 被写体の明度に応じて、前記色信号の平滑化を行うフィルタの平滑化強度を変更することを特徴とする請求項2記載の画像処理装置。
- 被写体の明度が低下した場合に、前記色信号の平滑化を行うフィルタを有効にすることを特徴とする請求項2記載の画像処理装置。
- 広画角で倍率色収差及び歪曲収差が大きい光学系と、
前記光学系を通して撮像された画像を読み取る撮像素子と、
前記請求項1乃至4のいずれか1項に記載の画像処理装置と、
を有することを特徴とする画像撮像装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008053718A JP5078147B2 (ja) | 2008-03-04 | 2008-03-04 | 画像処理装置及び画像撮像装置 |
CN2009100044761A CN101527858B (zh) | 2008-03-04 | 2009-03-04 | 图像处理方法、图像处理设备以及图像摄像设备 |
EP09154262A EP2099229B1 (en) | 2008-03-04 | 2009-03-04 | Image processing method and apparatus |
US12/379,889 US8417031B2 (en) | 2008-03-04 | 2009-03-04 | Image processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008053718A JP5078147B2 (ja) | 2008-03-04 | 2008-03-04 | 画像処理装置及び画像撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009212818A JP2009212818A (ja) | 2009-09-17 |
JP5078147B2 true JP5078147B2 (ja) | 2012-11-21 |
Family
ID=40785413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008053718A Expired - Fee Related JP5078147B2 (ja) | 2008-03-04 | 2008-03-04 | 画像処理装置及び画像撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8417031B2 (ja) |
EP (1) | EP2099229B1 (ja) |
JP (1) | JP5078147B2 (ja) |
CN (1) | CN101527858B (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5273371B2 (ja) | 2008-12-24 | 2013-08-28 | 株式会社リコー | 画像処理装置及び方法、並びに車載カメラ装置 |
JP5267794B2 (ja) | 2008-12-26 | 2013-08-21 | 株式会社リコー | 画像処理装置及び車載カメラ装置 |
JP5607911B2 (ja) * | 2009-10-21 | 2014-10-15 | オリンパスイメージング株式会社 | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム |
US8624999B2 (en) | 2009-12-01 | 2014-01-07 | Ricoh Company, Ltd. | Imaging apparatus |
JP2011215707A (ja) | 2010-03-31 | 2011-10-27 | Canon Inc | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP5585885B2 (ja) | 2011-03-18 | 2014-09-10 | 株式会社リコー | 画像処理装置及び画像処理方法 |
JP2013017142A (ja) * | 2011-07-06 | 2013-01-24 | Sony Corp | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP5868076B2 (ja) | 2011-08-31 | 2016-02-24 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5818586B2 (ja) * | 2011-08-31 | 2015-11-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6417666B2 (ja) | 2013-05-15 | 2018-11-07 | 株式会社リコー | 画像処理システム |
JP2015231052A (ja) * | 2014-06-03 | 2015-12-21 | ソニー株式会社 | 撮像装置および方法、並びにプログラム |
JPWO2016207990A1 (ja) * | 2015-06-24 | 2018-04-05 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
JP6876941B2 (ja) | 2016-10-14 | 2021-05-26 | パナソニックIpマネジメント株式会社 | バーチャルメイクアップ装置、バーチャルメイクアップ方法及びバーチャルメイクアッププログラム |
JP2018085008A (ja) | 2016-11-25 | 2018-05-31 | 株式会社ジャパンディスプレイ | 画像処理装置および画像処理装置の画像処理方法 |
CN107566747B (zh) | 2017-09-22 | 2020-02-14 | 浙江大华技术股份有限公司 | 一种图像亮度增强方法及装置 |
US10706813B1 (en) | 2018-02-03 | 2020-07-07 | Facebook Technologies, Llc | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
US10559276B2 (en) * | 2018-02-03 | 2020-02-11 | Facebook Technologies, Llc | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
KR102057602B1 (ko) * | 2018-04-26 | 2019-12-20 | 주식회사 텐앤투 | 광각 영상 제공 방법 및 시스템 |
US10678325B2 (en) | 2018-05-22 | 2020-06-09 | Facebook Technologies, Llc | Apparatus, system, and method for accelerating positional tracking of head-mounted displays |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3418787A1 (de) | 1984-05-19 | 1985-11-21 | Robert Bosch Gmbh, 7000 Stuttgart | Verfahren zur erhoehung der aufloesung von farbfernsehkameras |
US5398124A (en) * | 1991-06-29 | 1995-03-14 | Minolta Camera Kabushiki Kaisha | Image processor |
JPH06335006A (ja) * | 1993-05-19 | 1994-12-02 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
JP3399486B2 (ja) * | 1993-06-30 | 2003-04-21 | 富士ゼロックス株式会社 | カラー画像処理装置及び方法 |
JP3267200B2 (ja) * | 1997-07-11 | 2002-03-18 | 松下電器産業株式会社 | 画像処理装置 |
US6603885B1 (en) * | 1998-04-30 | 2003-08-05 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
US6853400B1 (en) * | 1998-06-16 | 2005-02-08 | Fuji Photo Film Co., Ltd. | System and method for correcting aberration of lenses through which images are projected |
JP3758377B2 (ja) | 1998-09-14 | 2006-03-22 | コニカミノルタビジネステクノロジーズ株式会社 | 画像読取装置および色収差補正方法 |
US6870564B1 (en) * | 1998-10-02 | 2005-03-22 | Eastman Kodak Company | Image processing for improvement of color registration in digital images |
JP3861498B2 (ja) * | 1999-03-19 | 2006-12-20 | コニカミノルタビジネステクノロジーズ株式会社 | 黒エッジ部の判別装置及び画像処理装置 |
JP2001275029A (ja) * | 2000-03-28 | 2001-10-05 | Minolta Co Ltd | デジタルカメラ、その画像信号処理方法及び記録媒体 |
US6584287B2 (en) * | 2000-10-18 | 2003-06-24 | Fuji Photo Film Co., Ltd. | Camera and image forming system using the camera |
JP4150844B2 (ja) * | 2001-07-05 | 2008-09-17 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置および画像処理プログラム |
US7433089B2 (en) | 2001-09-27 | 2008-10-07 | Fujifilm Corporation | Image processor |
US20040085459A1 (en) * | 2002-02-12 | 2004-05-06 | Nikon Corporation | Image processing device, image processing program, and image processing method |
JP2003235050A (ja) * | 2002-02-12 | 2003-08-22 | Nikon Corp | 画像処理装置、画像処理プログラム、および画像処理方法 |
US7102669B2 (en) | 2002-04-02 | 2006-09-05 | Freescale Semiconductor, Inc. | Digital color image pre-processing |
JP2004241991A (ja) * | 2003-02-05 | 2004-08-26 | Minolta Co Ltd | 撮像装置、画像処理装置及び画像処理プログラム |
JP4311040B2 (ja) | 2003-03-05 | 2009-08-12 | セイコーエプソン株式会社 | 色収差補正装置および色収差補正方法、並びに色収差補正プログラム |
JP4378994B2 (ja) * | 2003-04-30 | 2009-12-09 | ソニー株式会社 | 画像処理装置、画像処理方法ならびに撮像装置 |
JP4165361B2 (ja) | 2003-10-07 | 2008-10-15 | ソニー株式会社 | 画像撮影装置、画像処理装置及びレンズ色収差補正方法 |
JP4333544B2 (ja) * | 2004-02-13 | 2009-09-16 | セイコーエプソン株式会社 | 画像処理方法、及び画像処理装置、半導体装置、電子機器、画像処理プログラム、並びにコンピュータ読み取り可能な記録媒体 |
US7580070B2 (en) * | 2005-03-31 | 2009-08-25 | Freescale Semiconductor, Inc. | System and method for roll-off correction in image processing |
US7920200B2 (en) * | 2005-06-07 | 2011-04-05 | Olympus Corporation | Image pickup device with two cylindrical lenses |
JP4596986B2 (ja) | 2005-06-07 | 2010-12-15 | オリンパス株式会社 | 画像撮像装置 |
EP1940180B1 (en) * | 2005-09-29 | 2012-05-30 | Nikon Corporation | Image processing apparatus and image processing method |
JP4469324B2 (ja) * | 2005-11-01 | 2010-05-26 | イーストマン コダック カンパニー | 色収差抑圧回路及び色収差抑圧プログラム |
KR101201672B1 (ko) * | 2005-12-20 | 2012-11-15 | 삼성전자주식회사 | 의사 색 억제 기능을 갖는 디지털 영상 신호 처리 장치 및그 방법 |
JP4709084B2 (ja) * | 2006-07-07 | 2011-06-22 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5046789B2 (ja) * | 2007-08-20 | 2012-10-10 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5008139B2 (ja) * | 2007-11-26 | 2012-08-22 | 株式会社リコー | 画像撮像装置 |
JP5152491B2 (ja) * | 2008-02-14 | 2013-02-27 | 株式会社リコー | 画像撮像装置 |
JP5078148B2 (ja) * | 2008-03-10 | 2012-11-21 | 株式会社リコー | 画像処理装置及び画像撮像装置 |
JP5171361B2 (ja) * | 2008-04-07 | 2013-03-27 | 株式会社日立製作所 | 撮像装置 |
-
2008
- 2008-03-04 JP JP2008053718A patent/JP5078147B2/ja not_active Expired - Fee Related
-
2009
- 2009-03-04 US US12/379,889 patent/US8417031B2/en active Active
- 2009-03-04 EP EP09154262A patent/EP2099229B1/en active Active
- 2009-03-04 CN CN2009100044761A patent/CN101527858B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP2099229B1 (en) | 2011-06-22 |
EP2099229A1 (en) | 2009-09-09 |
US20090226086A1 (en) | 2009-09-10 |
JP2009212818A (ja) | 2009-09-17 |
US8417031B2 (en) | 2013-04-09 |
CN101527858A (zh) | 2009-09-09 |
CN101527858B (zh) | 2012-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5078147B2 (ja) | 画像処理装置及び画像撮像装置 | |
JP5078148B2 (ja) | 画像処理装置及び画像撮像装置 | |
JP5008139B2 (ja) | 画像撮像装置 | |
JP4911628B2 (ja) | 画像処理方法、画像処理装置及び画像撮像装置 | |
JP5008578B2 (ja) | 画像処理方法、画像処理装置及び画像撮像装置 | |
JP5267794B2 (ja) | 画像処理装置及び車載カメラ装置 | |
JP5273371B2 (ja) | 画像処理装置及び方法、並びに車載カメラ装置 | |
JP5062846B2 (ja) | 画像撮像装置 | |
US8270757B2 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
JP4966894B2 (ja) | 画像撮像装置 | |
JP2009218909A (ja) | 画像撮像装置 | |
JP2009188840A (ja) | プログレッシブ・インタレース変換方法、画像処理装置及び画像撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120822 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120827 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5078147 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |