JP2010273141A - 画像処理装置およびその方法 - Google Patents
画像処理装置およびその方法 Download PDFInfo
- Publication number
- JP2010273141A JP2010273141A JP2009123539A JP2009123539A JP2010273141A JP 2010273141 A JP2010273141 A JP 2010273141A JP 2009123539 A JP2009123539 A JP 2009123539A JP 2009123539 A JP2009123539 A JP 2009123539A JP 2010273141 A JP2010273141 A JP 2010273141A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging data
- shake
- exposure
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 56
- 238000003672 processing method Methods 0.000 title claims abstract 3
- 230000010365 information processing Effects 0.000 title abstract 2
- 238000003384 imaging method Methods 0.000 claims abstract description 75
- 238000009826 distribution Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 14
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 14
- 238000012937 correction Methods 0.000 claims description 43
- 239000002131 composite material Substances 0.000 claims description 18
- 239000000203 mixture Substances 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 description 52
- 230000008569 process Effects 0.000 description 30
- 230000006870 function Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005375 photometry Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【解決手段】 撮像部によって時分割露光された複数の撮像データを入力し(S1201)、複数の撮像データを合成用画像または動き検出用画像に分配する(S1202、S1203)。そして、動き検出用画像の撮像データから時分割露光の際の撮像部の動き量を検出し(S1205)、合成用画像を合成した合成撮像データを生成する(S1204)。そして、分配を示す分配パターンおよび動き量に基づき、合成撮像データの振れを補正する(S1207)。
【選択図】 図11
Description
図1はディジタルカメラの外観図と垂直断面図である。
詳細は後述するが、A/D423および画像処理部425は、測光部414によって決められた時間内において、露光条件生成部427の制御によって時分割に露光(以下、時分割露光)された画像を処理し、被写体の複数の撮像データを取得する。
振れ補正部428は、coded exposure(以下、コード化露光)と呼ばれる技術を用いて手振れなどによる画像の暈けを補正する。コード化露光は、指定された露光時間の間にシャッタを不規則に開閉し(以下、フラッタシャッタ(flutter shutter))、得られた画像とシャッタの開閉パターンの相関を用いて画像の暈けを補正する技術である。
Iblur(x, y) = 1/T・∫th(t)I{x・cosθ(T-t)+y・sinθ(T-t), -x・sinθ(T-t)+y・cosθ(T-t)}dt
= 1/T・∫th(T-t)I{x・cosθ(t)+y・sinθ(t), -x・sinθ(t)+y・cosθ(t)}dt …(1)
= 1/T・∫ωh(θ)/ω(θ)・I{x・cosθ+y・sinθ, -x・sinθ+y・cosθ}dθ …(2)
= 1/T・∫ωh'(θ)・I{x・cosθ+y・sinθ, -x・sinθ+y・cosθ}dθ …(3)
ここで、関数h(t)はシャッタの開閉を表し、シャッタ開は1、シャッタ閉は0、
積分範囲はt=0〜T、
積分範囲はω=0〜ω。
Iblur(r, Θ) = 1/T・∫ωh'(θ)I(r, Θ-θ)dθ
= 1/T・(h' * I)(r, Θ) …(4)
ここで、式(3)における(x, y)はr(cosΘ, sinΘ)である。
図5はPSFの作成(S204)を説明するフローチャートである。
式(4)を周波数空間上に変換すると次式が得られる。
Iblur(f, ρ) = 1/T・H'(f, ρ)I(f, ρ) …(5)
ここで、fはrの周波数変換に対応する変数、
ρはΘの周波数変換に対応する変数。
本実施例は、フラッタシャッタを採用せず、時分割露光によって得た画像を撮影画像として採用するか否かの振り分けによって、コード化露光処理と同等の処理を実現する。
G = T/(t×n)・n/v = T/(t×v) …(6)
ここで、Tは設定された露光時間、
tは時分割露光における各撮像データの露光時間(t<T)、
nは時分割露光によって撮影した画像の数(n>1)、
vは合成用画像の数(v<n)。
上記の振れ補正処理おいて正しく補正を行うには、振り分けパターンは周期性をもたないことが必須である。例えば、撮像サイズと同じサイズの畳み込みを行う場合、当該サイズに相当する数値列において、周期的なパターンが生じないようにする必要がある。従って、振れ補正部428は、ランダムな振り分けパターンを作成する。
振れ補正部428が動き検出用画像から検出する動き情報は、水平方向の変位(以下、水平振れ)、垂直方向の変位(以下、垂直振れ)、回転方向の変位(以下、回転振れ)を示す。振れ補正部428は、まず、水平振れと垂直振れを検出し、次に、回転振れを検出する。これは、手振れの特性から回転振れよりも、水平振れと垂直振れの方が大きいと予想されるためである。なお、動き情報検出部426の出力を利用して、カメラの振動を打ち消すように撮影レンズ200や撮像デバイス418を駆動して水平振れと垂直振れを補正する場合は、水平振れと垂直振れの検出は不要である。
上記の実施例においては、所定の時間で露光する時分割露光を説明したが、不均等に分割露光することもできる。
Claims (9)
- 撮像部によって時分割露光された複数の撮像データを入力する入力手段と、
前記複数の撮像データを合成用画像または動き検出用画像に分配する分配手段と、
前記動き検出用画像の撮像データから前記時分割露光の際の前記撮像部の動き量を検出する検出手段と、
前記合成用画像を合成した合成撮像データを生成する合成手段と、
前記分配手段による分配を示す分配パターンおよび前記動き量に基づき、前記合成撮像データの振れを補正する補正手段とを有することを特徴とする画像処理装置。 - 前記分配手段は、前記複数の撮像データをランダムに合成用画像または動き検出用画像に分配することを特徴とする請求項1に記載された画像処理装置。
- 前記分配手段は、前記複数の撮像データのうち、最初に露光された撮像データおよび最後に露光された撮像データを動き検出用画像に分配することを特徴とする請求項1または請求項2に記載された画像処理装置。
- 前記分配手段は、前記時分割露光の直後に露光された撮像データを動き検出用画像に分配することを特徴とする請求項1または請求項2に記載された画像処理装置。
- 前記分配手段は、前記時分割露光の直前および直後に露光された撮像データを動き検出用画像に分配することを特徴とする請求項1または請求項2に記載された画像処理装置。
- 前記分配手段は、前記動き量が所定の閾値未満の場合、前記合成用画像に分配する撮像データの割合を増加することを特徴とする請求項1から請求項5の何れか一項に記載された画像処理装置。
- 前記補正手段は、前記分配パターンと前記動き量に基づき、点像分布関数を作成する作成手段、および、前記点像分布関数を用いて、前記合成撮像データをデコンボリューションする手段を有することを特徴とする請求項1から請求項6の何れか一項に記載された画像処理装置。
- 撮像部によって時分割露光された複数の撮像データを入力し、
前記複数の撮像データを合成用画像または動き検出用画像に分配し、
前記動き検出用画像の撮像データから前記時分割露光の際の前記撮像部の動き量を検出し、
前記合成用画像を合成した合成撮像データを生成し、
前記分配を示す分配パターンおよび前記動き量に基づき、前記合成撮像データの振れを補正することを特徴とする画像処理方法。 - コンピュータ装置を制御して、請求項1から請求項7の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009123539A JP5300590B2 (ja) | 2009-05-21 | 2009-05-21 | 画像処理装置およびその方法 |
US12/764,573 US8760526B2 (en) | 2009-05-21 | 2010-04-21 | Information processing apparatus and method for correcting vibration |
KR1020100045805A KR101247519B1 (ko) | 2009-05-21 | 2010-05-17 | 화상처리장치 및 화상처리방법 |
CN2010101779895A CN101895682B (zh) | 2009-05-21 | 2010-05-18 | 图像处理装置及图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009123539A JP5300590B2 (ja) | 2009-05-21 | 2009-05-21 | 画像処理装置およびその方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010273141A true JP2010273141A (ja) | 2010-12-02 |
JP2010273141A5 JP2010273141A5 (ja) | 2012-06-21 |
JP5300590B2 JP5300590B2 (ja) | 2013-09-25 |
Family
ID=43104733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009123539A Expired - Fee Related JP5300590B2 (ja) | 2009-05-21 | 2009-05-21 | 画像処理装置およびその方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8760526B2 (ja) |
JP (1) | JP5300590B2 (ja) |
KR (1) | KR101247519B1 (ja) |
CN (1) | CN101895682B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011254262A (ja) * | 2010-06-01 | 2011-12-15 | Canon Inc | 画像処理装置、画像処理方法 |
JP2012015988A (ja) * | 2010-06-01 | 2012-01-19 | Canon Inc | 撮像装置、撮像装置の制御方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5300591B2 (ja) * | 2009-05-21 | 2013-09-25 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP5424835B2 (ja) * | 2009-11-30 | 2014-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP5486298B2 (ja) * | 2009-12-28 | 2014-05-07 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP5459251B2 (ja) * | 2011-03-31 | 2014-04-02 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5333522B2 (ja) * | 2011-06-06 | 2013-11-06 | カシオ計算機株式会社 | 動画生成装置、動画生成方法、および、プログラム |
KR101758685B1 (ko) * | 2012-03-14 | 2017-07-14 | 한화테크윈 주식회사 | 카메라 템퍼링 감지 방법 및 시스템 |
FR2999735B1 (fr) * | 2012-12-17 | 2018-08-31 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede et dispositif d'acquisition d'image |
US9357130B2 (en) * | 2013-03-15 | 2016-05-31 | Apple Inc. | Dynamic bracketing operations for image stabilization |
JP6410431B2 (ja) * | 2014-01-30 | 2018-10-24 | オリンパス株式会社 | カメラシステム |
JP6393091B2 (ja) * | 2014-06-19 | 2018-09-19 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
KR20160140193A (ko) * | 2015-05-29 | 2016-12-07 | 삼성전기주식회사 | 영상 보정 회로 및 그 보정 방법 |
CN109565537B (zh) * | 2016-07-29 | 2021-01-05 | 富士胶片株式会社 | 相机、相机的设定方法及记录介质 |
US9922428B2 (en) | 2016-08-19 | 2018-03-20 | Crystal Instruments Corporation | Vibration image acquisition and processing |
CN107395997A (zh) * | 2017-08-18 | 2017-11-24 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
US11272124B2 (en) | 2017-10-31 | 2022-03-08 | Morpho, Inc. | Image compositing device, image compositing method, and storage medium |
CN107995384A (zh) * | 2017-11-23 | 2018-05-04 | 晨星半导体股份有限公司 | 视频防篡改方法、视频拍摄设备及视频验证方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006180429A (ja) * | 2004-12-24 | 2006-07-06 | Casio Comput Co Ltd | 画像処理装置および画像処理プログラム |
JP2008310797A (ja) * | 2007-06-12 | 2008-12-25 | Mitsubishi Electric Research Laboratories Inc | カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002214657A (ja) | 2001-01-23 | 2002-07-31 | Canon Inc | 像振れ補正装置 |
US7176962B2 (en) | 2001-03-01 | 2007-02-13 | Nikon Corporation | Digital camera and digital processing system for correcting motion blur using spatial frequency |
JP5298396B2 (ja) | 2001-03-01 | 2013-09-25 | 株式会社ニコン | 電子カメラおよび画像処理システム |
JP2006074693A (ja) | 2004-09-06 | 2006-03-16 | Toshiba Corp | 撮像装置 |
JP4677748B2 (ja) | 2004-09-15 | 2011-04-27 | 株式会社ニコン | 撮像装置 |
US7773115B2 (en) * | 2004-12-15 | 2010-08-10 | Texas Instruments Incorporated | Method and system for deblurring digital camera images using reference image and motion estimation |
JP4580838B2 (ja) * | 2005-07-29 | 2010-11-17 | オリンパスイメージング株式会社 | 電子的ぶれ補正装置 |
JP4618100B2 (ja) * | 2005-11-04 | 2011-01-26 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム |
JP2007336394A (ja) * | 2006-06-16 | 2007-12-27 | Samsung Techwin Co Ltd | 撮像装置及び画像合成方法 |
US8068140B2 (en) * | 2006-08-07 | 2011-11-29 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Still image stabilization suitable for compact camera environments |
JP4750854B2 (ja) * | 2006-09-14 | 2011-08-17 | 富士通株式会社 | 画像処理方法および装置とそのプログラム |
JP4825093B2 (ja) * | 2006-09-20 | 2011-11-30 | 富士通株式会社 | 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム |
JP4315971B2 (ja) * | 2006-11-09 | 2009-08-19 | 三洋電機株式会社 | 撮像装置 |
US20080143840A1 (en) * | 2006-12-19 | 2008-06-19 | Texas Instruments Incorporated | Image Stabilization System and Method for a Digital Camera |
JP4884207B2 (ja) * | 2006-12-28 | 2012-02-29 | 三星電子株式会社 | 撮像装置、撮像方法およびコンピュータプログラム |
US8331710B2 (en) * | 2007-11-06 | 2012-12-11 | Sony Corporation | Image processing apparatus and method, learning apparatus and method, and program |
US8494306B2 (en) * | 2007-12-13 | 2013-07-23 | Samsung Electronics Co., Ltd. | Method and an apparatus for creating a combined image |
JP5300591B2 (ja) * | 2009-05-21 | 2013-09-25 | キヤノン株式会社 | 画像処理装置およびその方法 |
US8482622B2 (en) * | 2009-08-27 | 2013-07-09 | Sony Corporation | Method, system and computer program product for reducing motion blur |
-
2009
- 2009-05-21 JP JP2009123539A patent/JP5300590B2/ja not_active Expired - Fee Related
-
2010
- 2010-04-21 US US12/764,573 patent/US8760526B2/en not_active Expired - Fee Related
- 2010-05-17 KR KR1020100045805A patent/KR101247519B1/ko active IP Right Grant
- 2010-05-18 CN CN2010101779895A patent/CN101895682B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006180429A (ja) * | 2004-12-24 | 2006-07-06 | Casio Comput Co Ltd | 画像処理装置および画像処理プログラム |
JP2008310797A (ja) * | 2007-06-12 | 2008-12-25 | Mitsubishi Electric Research Laboratories Inc | カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011254262A (ja) * | 2010-06-01 | 2011-12-15 | Canon Inc | 画像処理装置、画像処理方法 |
JP2012015988A (ja) * | 2010-06-01 | 2012-01-19 | Canon Inc | 撮像装置、撮像装置の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5300590B2 (ja) | 2013-09-25 |
KR101247519B1 (ko) | 2013-03-25 |
US20100295954A1 (en) | 2010-11-25 |
KR20100126195A (ko) | 2010-12-01 |
CN101895682B (zh) | 2012-09-05 |
CN101895682A (zh) | 2010-11-24 |
US8760526B2 (en) | 2014-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5300590B2 (ja) | 画像処理装置およびその方法 | |
JP5300591B2 (ja) | 画像処理装置およびその方法 | |
JP5276529B2 (ja) | 画像処理装置およびその方法 | |
JP5898466B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
JP5791336B2 (ja) | 画像処理装置及びその制御方法 | |
US8711230B2 (en) | Image capture apparatus and program | |
JP5445363B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP4497001B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
WO2008032442A1 (fr) | Dispositif de traitement d'images, caméra électronique et programme de traitement d'images | |
JP5211589B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP6541501B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2019047336A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5284195B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP2012150826A (ja) | 画像合成装置及びプログラム | |
JP2009296224A (ja) | 撮像手段及びプログラム | |
JP5377073B2 (ja) | 撮像装置、ぶれ修復方法及びプログラム | |
JP2023033355A (ja) | 画像処理装置およびその制御方法 | |
JP5281494B2 (ja) | 画像処理装置およびその方法 | |
JP2014056595A (ja) | 画像合成装置及びプログラム | |
JP2006332900A (ja) | 電子カメラおよび画像処理プログラム | |
JP2020036091A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP7031410B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラム | |
JP5613145B2 (ja) | 撮影装置およびプログラム | |
US8406558B2 (en) | Imaging apparatus, image processing apparatus, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120508 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130520 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130618 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5300590 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |