JP4379129B2 - 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム - Google Patents
画像処理方法、および画像処理装置、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4379129B2 JP4379129B2 JP2004015789A JP2004015789A JP4379129B2 JP 4379129 B2 JP4379129 B2 JP 4379129B2 JP 2004015789 A JP2004015789 A JP 2004015789A JP 2004015789 A JP2004015789 A JP 2004015789A JP 4379129 B2 JP4379129 B2 JP 4379129B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- flash
- value
- white balance
- adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 126
- 238000003672 processing method Methods 0.000 title claims description 24
- 238000004590 computer program Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims description 87
- 230000008569 process Effects 0.000 claims description 68
- 238000012937 correction Methods 0.000 claims description 59
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000009466 transformation Effects 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 229920006395 saturated elastomer Polymers 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000010304 firing Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 28
- 230000015654 memory Effects 0.000 description 22
- 238000001514 detection method Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
- E05B65/00—Locks or fastenings for special use
- E05B65/52—Other locks for chests, boxes, trunks, baskets, travelling bags, or the like
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
- E05B37/00—Permutation or combination locks; Puzzle locks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
フラッシュを発光させずに撮影した第1の画像と、フラッシュを発光させて撮影した第2の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出ステップと、
前記フラッシュ成分画像の強度調整値を算出する強度調整値算出ステップと、
前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出ステップと、
前記第1の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成ステップを有し、
前記強度調整値算出ステップは、
フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像から予め定めた閾値以上の画素値を持つ画素によって構成されるフラッシュマスクMfを生成するフラッシュマスク生成ステップと、
下記算出式、
g={T−1(max−k×stdrslt)−avg1}÷avgF
ただし、T−1は、非線形変換Tの逆変換、
maxは、最大出力画素値、
kは、予め定めたスカラー値
avg1は、前記第1の画像に対するホワイトバランス調整画像I1'のフラッシュマスクMf部分の輝度値の平均値
avgFは、前記フラッシュ成分画像のホワイトバランス調整画像F'のフラッシュマスクMf部分の輝度値の平均値
stdrsltは、非線形変換画像T(F'+I1')のフラッシュマスクMf部分を構成する画素の画素値ヒストグラムにおける標準偏差である
によって強度調整値としてのゲインgを算出するステップと、
を有することを特徴とする画像処理方法にある。
(a)前記第1の画像について、外光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したホワイトバランス調整済みの第1の画像と、
(b)フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像に対して強度調整を実行した強度調整フラッシュ成分画像と、
上記(a)および(b)の2画像に基づいて最終調整画像の生成処理を実行するステップであることを特徴とする。
F"=gF'
によって算出し、
前記最終調整画像生成ステップは、
最終調整画像Rを、下記式、
R=I1+F"
に従って算出するステップであることを特徴とする。
画像処理装置であり、
フラッシュを発光させずに撮影した第1の画像と、フラッシュを発光させて撮影した第2の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出部と、
前記フラッシュ成分画像の強度調整値を算出する強度調整値算出部と、
前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出部を有し、
前記第1の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成部と、
前記強度調整値算出部は、
フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像から予め定めた閾値以上の画素値を持つ画素によって構成されるフラッシュマスクMfを生成し、
下記算出式、
g={T−1(max−k×stdrslt)−avg1}÷avgF
ただし、T−1は、非線形変換Tの逆変換、
maxは、最大出力画素値、
kは、予め定めたスカラー値
avg1は、前記第1の画像に対するホワイトバランス調整画像I1'のフラッシュマスクMf部分の輝度値の平均値
avgFは、前記フラッシュ成分画像のホワイトバランス調整画像F'のフラッシュマスクMf部分の輝度値の平均値
stdrsltは、非線形変換画像T(F'+I1')のフラッシュマスクMf部分を構成する画素の画素値ヒストグラムにおける標準偏差である
によって強度調整値としてのゲインgを算出する構成を有することを特徴とする画像処理装置にある。
画像処理装置であり、
フラッシュを発光させずに撮影した第1の画像と、フラッシュを発光させて撮影した第2の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出部と、
前記フラッシュ成分画像の強度調整値を算出する強度調整値算出部と、
前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出部と、
前記第1の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成部と、
を有することを特徴とする画像処理装置にある。
(a)前記第1の画像について、外光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したホワイトバランス調整済みの第1の画像と、
(b)フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像に対して強度調整を実行した強度調整フラッシュ成分画像と、
上記(a)および(b)の2画像に基づいて最終調整画像の生成処理を実行する構成であることを特徴とする。
F"=gF'
によって算出し、
前記最終調整画像生成部は、
最終調整画像Rを、下記式、
R=I1+F"
に従って算出する構成であることを特徴とする。
画像処理を実行するコンピュータ・プログラムであり、
フラッシュを発光させずに撮影した第1の画像と、フラッシュを発光させて撮影した第2の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出ステップと、
前記フラッシュ成分画像の強度調整値を算出する強度調整値算出ステップと、
前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出ステップと、
前記第1の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成ステップを有し、
前記強度調整値算出ステップは、
フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像から予め定めた閾値以上の画素値を持つ画素によって構成されるフラッシュマスクMfを生成するフラッシュマスク生成ステップと、
下記算出式、
g={T−1(max−k×stdrslt)−avg1}÷avgF
ただし、T−1は、非線形変換Tの逆変換、
maxは、最大出力画素値、
kは、予め定めたスカラー値
avg1は、前記第1の画像に対するホワイトバランス調整画像I1'のフラッシュマスクMf部分の輝度値の平均値
avgFは、前記フラッシュ成分画像のホワイトバランス調整画像F'のフラッシュマスクMf部分の輝度値の平均値
stdrsltは、非線形変換画像T(F'+I1')のフラッシュマスクMf部分を構成する画素の画素値ヒストグラムにおける標準偏差である
によって強度調整値としてのゲインgを算出するステップと、
を有することを特徴とするコンピュータ・プログラムにある。
光学系を通過して固体撮像素子103に到達した入射光は、まず撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関2重サンプリング回路104によってノイズ除去され、A/Dコンバータ105によってデジタル信号に変換された後、デジタル信号処理部(DSP)106中の画像メモリに一時格納される。なお、必要があれば、撮影の際に、フラッシュ制御装置115を介して、フラッシュ発光装置116を発光させることができる。
(a)補正差分画像F'について、輝度があらかじめ定めたある閾値以上である画素
(b)被写体自体の動き部分に相当しない画素
(a),(b)の2つの条件に該当する画素領域によって構成されるマスクをフラッシュマスクMfとして生成する。
F"=gF'
を求める。
補正画像I1'のフラッシュマスクMf部分の輝度(画素値)の平均値[avg1]
補正差分画像F'のフラッシュマスクMf部分の輝度(画素値)の平均値[avgF]
を算出する。
非線形変換画像Rtmp'=T(F'+I1')
を生成する。
図5(1)に示す補正画像I1'のフラッシュマスクMf部分の輝度値の平均値(avg1)、
図5(2)に示す補正差分画像F'のフラッシュマスクMf部分の輝度値の平均値(avgF)、さらに、
図6に示す線形変換画像T(F'+I1')のフラッシュマスクMf部分を構成する画素の画素値ヒストグラムにおける標準偏差[stdrslt]
などを用いて、最適な補正差分画像F'のゲインgを算出し、ステップS307において、ゲインgを補正差分画像F'の各画素の各チャンネルの値に乗算し、強度調整フラッシュ成分画像F"を求める。すなわち、
F"=gF'
として強度調整フラッシュ成分画像F"を求める。
画素値最大値(max)より大きな範囲を取らない、かつ
十分明るいよう
範囲に設定されるようにゲインgを設定する。
std'rslt=stdrslt
である。
T(avg1+g×avgF)
は、最終的なゲイン調整非線形変換画像T(gF'+I1')のフラッシュマスクMf部分の輝度の平均値[avg'rslt](図7参照)と同等になると仮定する。すなわち、
avg'rslt=T(avg1+g×avgF)
と仮定する。
T(avg1+g×avgF)=max−k×stdrslt・・・(式1)
g={T−1(max−k×stdrslt)−avg1}÷avgF・・・(式2)
ここで、T−1は、非線形変換Tの逆変換を表している。
ゲイン[g]は、
a)図5(1)に示す補正画像I1'のフラッシュマスクMf部分の輝度値の平均値(avg1)、
b)図5(2)に示す補正差分画像F'のフラッシュマスクMf部分の輝度値の平均値(avgF)、さらに、
c)図6に示す非線形変換画像T(F'+I1')のフラッシュマスクMf部分を構成する画素の画素値ヒストグラムにおける標準偏差[stdrslt]
d)固定のスカラー値[k]
の各値に基づいても算出される。
なお、固定のスカラー値[k]は、k=1あるいはk=1.5などの固定値であり、予め設定される値である。
F"=gF'
として算出し、この強度調整フラッシュ成分画像F"を、最終調整画像の生成に適用するフラッシュ成分画像として設定する。
R=I1'+F"
として、ホワイトバランス調整画像Rを生成する。
R=I1'+F"
が最終的な調整画像とされる。なお、この後最終調整画像Rに対してガンマ補正等の非線形変換処理がなされて出力される。
R=I1'+F"
を取得した後、ステップS111において、動き部分の画素値補正を実行する。ステップS111における動き部分の画素値補正は、前述したように、本発明と同一出願人の特許出願である特願2003−312630に記載されている放射規定関数(Radial Basis Function)を適用した処理や、平滑化フィルタを適用した処理などによって実行される。
R=I1'+F"
の生成の後、ステップ111において、ステップ107で検出した動き部分の画素値のみを対象とした例外補正処理を実行して、画像Rを修正する構成としてもよい。具体的には、動きが検出された部分のフラッシュ発光あり画像I2の画素値を入力として、画像Rにおける動きが無かった部分の画素値を参照して、最終的な画像を合成する方法などが適用可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
102 絞り
103 固体撮像素子
104 相関2重サンプリング回路
105 A/Dコンバータ
106 DSPブロック
107 タイミングジェネレータ
108 D/Aコンバータ
109 ビデオエンコーダ
110 ビデオモニタ
111 コーデック(CODEC)
112 メモリ
113 CPU
114 入力デバイス
115 フラッシュ制御装置
116 フラッシュ発光装置
301,302,303 フレームメモリ
304 差分画像算出部
305 ホワイトバランス調整部
306 外光成分推定部
307 ホワイトバランス調整部
308 画素値加算部
309 動き検出部
310 動き部分補正画素値算出部
311 ホワイトバランス調整部
312 出力切り替え部
321 強度調整値(ゲイン)算出部
322 強度調整フラッシュ成分画像算出部
330 フラッシュ成分画像算出部
Claims (15)
- フラッシュを発光させずに撮影した第1の画像と、フラッシュを発光させて撮影した第2の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出ステップと、
前記フラッシュ成分画像の強度調整値を算出する強度調整値算出ステップと、
前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出ステップと、
前記第1の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成ステップを有し、
前記強度調整値算出ステップは、
フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像から予め定めた閾値以上の画素値を持つ画素によって構成されるフラッシュマスクMfを生成するフラッシュマスク生成ステップと、
下記算出式、
g={T−1(max−k×stdrslt)−avg1}÷avgF
ただし、T−1は、非線形変換Tの逆変換、
maxは、最大出力画素値、
kは、予め定めたスカラー値
avg1は、前記第1の画像に対するホワイトバランス調整画像I1'のフラッシュマスクMf部分の輝度値の平均値
avgFは、前記フラッシュ成分画像のホワイトバランス調整画像F'のフラッシュマスクMf部分の輝度値の平均値
stdrsltは、非線形変換画像T(F'+I1')のフラッシュマスクMf部分を構成する画素の画素値ヒストグラムにおける標準偏差である
によって強度調整値としてのゲインgを算出するステップと、
を有することを特徴とする画像処理方法。 - 前記フラッシュ成分画像算出ステップは、
前記第1の画像と第2の画像との差分画像データを算出するステップと、
前記差分画像データに対して、フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行するステップとを含み、
前記強度調整値算出ステップは、
前記ホワイトバランス調整処理のなされたフラッシュ成分画像の強度調整値を算出するステップであることを特徴とする請求項1に記載の画像処理方法。 - 前記最終調整画像生成ステップは、
(a)前記第1の画像について、外光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したホワイトバランス調整済みの第1の画像と、
(b)フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像に対して強度調整を実行した強度調整フラッシュ成分画像と、
上記(a)および(b)の2画像に基づいて最終調整画像の生成処理を実行するステップであることを特徴とする請求項1に記載の画像処理方法。 - 前記強度調整値算出ステップは、
外光成分対応パラメータに基づくホワイトバランス調整処理を実行した前記第1の画像と、フラッシュ光成分対応パラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像との合成画像に基づいて生成する非線形変換処理画像中の飽和画素値を持つ画素数を抑制する調整値として前記強度調整値を算出することを特徴とする請求項1に記載の画像処理方法。 - 前記非線形変換処理は、ガンマ補正であり、
前記強度調整値算出ステップは、
ガンマ補正画像中の飽和画素値を持つ画素数を抑制する調整値として前記強度調整値を算出することを特徴とする請求項4に記載の画像処理方法。 - 前記強度調整フラッシュ成分画像算出ステップは、
強度調整値として、前記ゲインgを適用して、強度調整フラッシュ成分画像F"を、下記式、
F"=gF'
によって算出し、
前記最終調整画像生成ステップは、
最終調整画像Rを、下記式、
R=I1+F"
に従って算出するステップであることを特徴とする請求項1に記載の画像処理方法。 - 前記画像処理方法は、さらに、
フラッシュの発光を制御して、前記第1の画像と、前記第2の画像を含む複数画像の撮影を実行する撮影ステップを有することを特徴とする請求項1に記載の画像処理方法。 - 画像処理装置であり、
フラッシュを発光させずに撮影した第1の画像と、フラッシュを発光させて撮影した第2の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出部と、
前記フラッシュ成分画像の強度調整値を算出する強度調整値算出部と、
前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出部を有し、
前記第1の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成部と、
前記強度調整値算出部は、
フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像から予め定めた閾値以上の画素値を持つ画素によって構成されるフラッシュマスクMfを生成し、
下記算出式、
g={T−1(max−k×stdrslt)−avg1}÷avgF
ただし、T−1は、非線形変換Tの逆変換、
maxは、最大出力画素値、
kは、予め定めたスカラー値
avg1は、前記第1の画像に対するホワイトバランス調整画像I1'のフラッシュマスクMf部分の輝度値の平均値
avgFは、前記フラッシュ成分画像のホワイトバランス調整画像F'のフラッシュマスクMf部分の輝度値の平均値
stdrsltは、非線形変換画像T(F'+I1')のフラッシュマスクMf部分を構成する画素の画素値ヒストグラムにおける標準偏差である
によって強度調整値としてのゲインgを算出する構成を有することを特徴とする画像処理装置。 - 前記フラッシュ成分画像算出部は、
前記第1の画像と第2の画像との差分画像データを算出する差分画像算出部と、
前記差分画像データに対して、フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行するホワイトバランス調整部とを含み、
前記強度調整値算出部は、
前記ホワイトバランス調整処理のなされたフラッシュ成分画像の強度調整値を算出する構成であることを特徴とする請求項8に記載の画像処理装置。 - 前記最終調整画像生成部は、
(a)前記第1の画像について、外光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したホワイトバランス調整済みの第1の画像と、
(b)フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像に対して強度調整を実行した強度調整フラッシュ成分画像と、
上記(a)および(b)の2画像に基づいて最終調整画像の生成処理を実行する構成であることを特徴とする請求項8に記載の画像処理装置。 - 前記強度調整値算出部は、
外光成分対応パラメータに基づくホワイトバランス調整処理を実行した前記第1の画像と、フラッシュ光成分対応パラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像との合成画像に基づいて生成する非線形変換処理画像中の飽和画素値を持つ画素数を抑制する調整値として前記強度調整値を算出する構成であることを特徴とする請求項8に記載の画像処理装置。 - 前記非線形変換処理は、ガンマ補正であり、
前記強度調整値算出部は、
ガンマ補正画像中の飽和画素値を持つ画素数を抑制する調整値として前記強度調整値を算出する構成であることを特徴とする請求項11に記載の画像処理装置。 - 前記強度調整フラッシュ成分画像算出部は、
強度調整値として、前記ゲインgを適用して、強度調整フラッシュ成分画像F"を、下記式、
F"=gF'
によって算出し、
前記最終調整画像生成部は、
最終調整画像Rを、下記式、
R=I1+F"
に従って算出する構成であることを特徴とする請求項8に記載の画像処理装置。 - 前記画像処理装置は、さらに、
フラッシュの発光を制御して、前記第1の画像と、前記第2の画像を含む複数画像の撮影を実行する撮像部を有することを特徴とする請求項8に記載の画像処理装置。 - 画像処理を実行するコンピュータ・プログラムであり、
フラッシュを発光させずに撮影した第1の画像と、フラッシュを発光させて撮影した第2の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出ステップと、
前記フラッシュ成分画像の強度調整値を算出する強度調整値算出ステップと、
前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出ステップと、
前記第1の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成ステップを有し、
前記強度調整値算出ステップは、
フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像から予め定めた閾値以上の画素値を持つ画素によって構成されるフラッシュマスクMfを生成するフラッシュマスク生成ステップと、
下記算出式、
g={T−1(max−k×stdrslt)−avg1}÷avgF
ただし、T−1は、非線形変換Tの逆変換、
maxは、最大出力画素値、
kは、予め定めたスカラー値
avg1は、前記第1の画像に対するホワイトバランス調整画像I1'のフラッシュマスクMf部分の輝度値の平均値
avgFは、前記フラッシュ成分画像のホワイトバランス調整画像F'のフラッシュマスクMf部分の輝度値の平均値
stdrsltは、非線形変換画像T(F'+I1')のフラッシュマスクMf部分を構成する画素の画素値ヒストグラムにおける標準偏差である
によって強度調整値としてのゲインgを算出するステップと、
を有することを特徴とするコンピュータ・プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004015789A JP4379129B2 (ja) | 2004-01-23 | 2004-01-23 | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム |
EP20050250310 EP1558025A3 (en) | 2004-01-23 | 2005-01-21 | Image processing method, image processing apparatus, and computer program used therewith |
US11/040,570 US7583297B2 (en) | 2004-01-23 | 2005-01-21 | Image processing method, image processing apparatus, and computer program used therewith |
KR1020050005748A KR101102150B1 (ko) | 2004-01-23 | 2005-01-21 | 화상 처리 방법, 및 화상 처리 장치 |
CNB2005100518717A CN100377575C (zh) | 2004-01-23 | 2005-01-24 | 图像处理方法和图像处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004015789A JP4379129B2 (ja) | 2004-01-23 | 2004-01-23 | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009165927A Division JP4905513B2 (ja) | 2009-07-14 | 2009-07-14 | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005210485A JP2005210485A (ja) | 2005-08-04 |
JP4379129B2 true JP4379129B2 (ja) | 2009-12-09 |
Family
ID=34631951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004015789A Expired - Fee Related JP4379129B2 (ja) | 2004-01-23 | 2004-01-23 | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US7583297B2 (ja) |
EP (1) | EP1558025A3 (ja) |
JP (1) | JP4379129B2 (ja) |
KR (1) | KR101102150B1 (ja) |
CN (1) | CN100377575C (ja) |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4136793B2 (ja) * | 2003-05-29 | 2008-08-20 | キヤノン株式会社 | 撮像装置および撮像装置の制御方法 |
JP3838243B2 (ja) | 2003-09-04 | 2006-10-25 | ソニー株式会社 | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム |
EP1720341B1 (en) * | 2004-03-19 | 2013-04-10 | Panasonic Corporation | Imaging device |
JP5049490B2 (ja) * | 2005-12-19 | 2012-10-17 | イーストマン コダック カンパニー | デジタルカメラ、ゲイン算出装置 |
JP5220054B2 (ja) * | 2006-02-10 | 2013-06-26 | 富士フイルム株式会社 | デジタルカメラ |
US7755672B2 (en) * | 2006-05-15 | 2010-07-13 | Zoran Corporation | Techniques for modifying image field data obtained using illumination sources |
US7796168B1 (en) * | 2006-06-09 | 2010-09-14 | Flir Systems, Inc. | Methods and systems for detection and mitigation of image-flash in infrared cameras |
US7796830B2 (en) * | 2006-08-15 | 2010-09-14 | Nokia Corporation | Adaptive contrast optimization of digital color images |
US8055034B2 (en) * | 2006-09-13 | 2011-11-08 | Fluidigm Corporation | Methods and systems for image processing of microfluidic devices |
CN101159879B (zh) * | 2006-10-08 | 2010-08-25 | 鸿富锦精密工业(深圳)有限公司 | 数字图像获取装置及其白平衡调整的方法 |
JP4806329B2 (ja) * | 2006-10-23 | 2011-11-02 | 三洋電機株式会社 | 撮像装置及び撮像方法 |
CN101193316B (zh) * | 2006-11-21 | 2011-02-02 | 安凯(广州)微电子技术有限公司 | 一种自适应白平衡校正方法 |
US20080158258A1 (en) * | 2006-12-27 | 2008-07-03 | General Instrument Corporation | Method and System For Obtaining a Digitally Enhanced Image |
US9036977B2 (en) * | 2007-03-22 | 2015-05-19 | Microsoft Technology Licensing, Llc | Automatic detection, removal, replacement and tagging of flash frames in a video |
KR100793284B1 (ko) | 2007-05-11 | 2008-01-10 | 주식회사 코아로직 | 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 |
JP5224804B2 (ja) * | 2007-12-27 | 2013-07-03 | 三星電子株式会社 | 撮像装置 |
US8922672B2 (en) * | 2008-01-03 | 2014-12-30 | Apple Inc. | Illumination systems and methods for imagers |
JP5127467B2 (ja) * | 2008-01-07 | 2013-01-23 | キヤノン株式会社 | 撮像システム、及び撮像システムの制御方法 |
KR101378333B1 (ko) * | 2008-01-11 | 2014-03-27 | 삼성전자주식회사 | 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법 |
US8564688B2 (en) * | 2008-09-12 | 2013-10-22 | Aptina Imaging Corporation | Methods, systems and apparatuses for white balance calibration |
WO2010074012A1 (ja) * | 2008-12-22 | 2010-07-01 | ローム株式会社 | 画像補正処理回路、半導体装置、画像補正処理装置 |
KR101289653B1 (ko) * | 2008-12-26 | 2013-07-25 | 엘지디스플레이 주식회사 | 액정표시장치 |
JP5214485B2 (ja) * | 2009-02-12 | 2013-06-19 | オリンパス株式会社 | 画像撮像装置、画像処理方法、および画像処理プログラム |
JP4678061B2 (ja) * | 2009-04-02 | 2011-04-27 | 株式会社ニコン | 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム |
JP5589585B2 (ja) * | 2009-07-07 | 2014-09-17 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
KR101072945B1 (ko) * | 2009-11-17 | 2011-10-17 | 한국과학기술원 | 깊이 값 측정을 이용한 플래시 영상 색상 보정 장치 및 그 방법 |
US8717454B2 (en) * | 2009-12-24 | 2014-05-06 | Samsung Electronics Co., Ltd. | Image pickup apparatus and image pickup method for adjusting white balance to account for flash and external light sources |
JP5047344B2 (ja) * | 2009-12-28 | 2012-10-10 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US8339508B2 (en) * | 2010-02-22 | 2012-12-25 | Csr Technology Inc. | Method and apparatus for low-light imaging enhancement |
JP2012019293A (ja) * | 2010-07-06 | 2012-01-26 | Sony Corp | 画像処理装置、撮影方法、撮影プログラム、画像処理方法及び画像処理プログラム |
JP5141733B2 (ja) * | 2010-08-18 | 2013-02-13 | カシオ計算機株式会社 | 撮像装置、撮像方法、及びプログラム |
JP5665436B2 (ja) * | 2010-09-02 | 2015-02-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US8488055B2 (en) * | 2010-09-30 | 2013-07-16 | Apple Inc. | Flash synchronization using image sensor interface timing signal |
KR101901602B1 (ko) | 2011-01-14 | 2018-09-27 | 삼성전자주식회사 | 디지털 사진에서 노이즈를 제거하는 장치 및 방법 |
US8493459B2 (en) | 2011-09-15 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Registration of distorted images |
US8493460B2 (en) | 2011-09-15 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Registration of differently scaled images |
TWI459800B (zh) * | 2011-10-18 | 2014-11-01 | Pixart Imaging Inc | 影像系統及其干擾消除方法 |
CN103093420B (zh) * | 2011-11-02 | 2016-08-03 | 原相科技股份有限公司 | 图像系统及其干扰消除方法 |
US9086207B2 (en) | 2011-12-19 | 2015-07-21 | Nokia Technologies Oy | Apparatus, methods, and non-transitory computer readable storage mediums for controlling light emitted by a flash unit |
CN103248828B (zh) * | 2012-02-13 | 2017-04-26 | 宏达国际电子股份有限公司 | 曝光值调整装置及曝光值调整方法 |
TWI536829B (zh) * | 2012-02-14 | 2016-06-01 | 佳能企業股份有限公司 | 應用影像處理之電子裝置 |
KR101675800B1 (ko) * | 2012-03-12 | 2016-11-14 | 한화테크윈 주식회사 | 영상 포화 방지 장치 |
JP5917258B2 (ja) * | 2012-04-20 | 2016-05-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6000133B2 (ja) * | 2013-01-08 | 2016-09-28 | 株式会社 日立産業制御ソリューションズ | 撮像装置、撮像システム及び撮像方法 |
JP6265625B2 (ja) * | 2013-05-13 | 2018-01-24 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US9525811B2 (en) * | 2013-07-01 | 2016-12-20 | Qualcomm Incorporated | Display device configured as an illumination source |
KR102075456B1 (ko) | 2013-07-10 | 2020-02-10 | 삼성전자주식회사 | 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치 |
KR102145209B1 (ko) * | 2014-02-12 | 2020-08-18 | 삼성전자주식회사 | 플래시 장치, 영상 촬영 장치, 및 방법 |
JP6335776B2 (ja) * | 2014-12-25 | 2018-05-30 | オリンパス株式会社 | 内視鏡システム |
US9565368B2 (en) * | 2015-06-02 | 2017-02-07 | Sony Corporation | Enhanced video capture in adverse lighting conditions |
CN105049703A (zh) * | 2015-06-17 | 2015-11-11 | 青岛海信移动通信技术股份有限公司 | 一种移动通信终端拍照的方法和移动通信终端 |
CN105049704A (zh) * | 2015-06-17 | 2015-11-11 | 青岛海信移动通信技术股份有限公司 | 一种拍照的方法和设备 |
WO2016209277A1 (en) * | 2015-06-26 | 2016-12-29 | Hewlett-Packard Development Company, L.P. | Enhance highlighter colors in scanned images |
US10070111B2 (en) * | 2015-12-22 | 2018-09-04 | Adobe Systems Incorporated | Local white balance under mixed illumination using flash photography |
US9900503B1 (en) * | 2017-01-12 | 2018-02-20 | Adobe Systems Incorporated | Methods to automatically fix flash reflection at capture time |
CN111492653B (zh) * | 2017-09-30 | 2023-06-16 | 深圳传音通讯有限公司 | 相机白平衡快速调整方法、装置及计算机可读存储介质 |
CN108093233B (zh) * | 2017-12-28 | 2020-02-18 | 努比亚技术有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
CN109068116B (zh) * | 2018-08-31 | 2021-01-22 | 青岛海信移动通信技术股份有限公司 | 基于补光的图像处理方法、装置、移动终端和存储介质 |
WO2020055312A1 (en) * | 2018-09-11 | 2020-03-19 | Profoto Aktiebolag | A method, software product, camera device and system for determining artificial lighting and camera settings |
US11611691B2 (en) | 2018-09-11 | 2023-03-21 | Profoto Aktiebolag | Computer implemented method and a system for coordinating taking of a picture using a camera and initiation of a flash pulse of at least one flash device |
US11863866B2 (en) | 2019-02-01 | 2024-01-02 | Profoto Aktiebolag | Housing for an intermediate signal transmission unit and an intermediate signal transmission unit |
US11252336B2 (en) * | 2019-05-31 | 2022-02-15 | Samsung Electronics Co.. Ltd. | Electronic device obtaining skin image and method of controlling the same |
FR3117717B1 (fr) * | 2020-12-10 | 2022-12-23 | Centre Nat Etd Spatiales | Procédé d’acquisition et d’analyse d’une scène par différence d’images |
WO2022251108A1 (en) * | 2021-05-25 | 2022-12-01 | Us Synthetic Corporation | Systems and methods for dull grading |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4847680A (en) * | 1986-09-24 | 1989-07-11 | Canon Kabushiki Kaisha | Image pickup apparatus with white balance control |
JPH07301842A (ja) * | 1994-05-02 | 1995-11-14 | Asahi Optical Co Ltd | 電子スチルカメラ |
JP3569352B2 (ja) * | 1994-05-31 | 2004-09-22 | ペンタックス株式会社 | ホワイトバランス調整装置 |
US5568194A (en) * | 1994-05-31 | 1996-10-22 | Asahi Kogaku Kogyo Kabushiki Kaisha | Adjusting a white balance in a camera using a flash |
JP3540485B2 (ja) | 1995-04-13 | 2004-07-07 | 株式会社リコー | 電子スチルカメラ |
JPH0974516A (ja) | 1995-09-06 | 1997-03-18 | Sharp Corp | 画像入力装置 |
JP2000308068A (ja) | 1999-04-16 | 2000-11-02 | Olympus Optical Co Ltd | 撮像装置 |
JP2000307940A (ja) | 1999-04-19 | 2000-11-02 | Olympus Optical Co Ltd | 撮像装置 |
JP3551854B2 (ja) * | 1999-09-01 | 2004-08-11 | ミノルタ株式会社 | デジタル撮影装置、画像データ処理装置、デジタル撮影方法および記録媒体 |
US6418278B1 (en) * | 2000-03-14 | 2002-07-09 | Concord Camera Corp. | Camera shutter system |
JP3610291B2 (ja) * | 2000-08-21 | 2005-01-12 | オリンパス株式会社 | 電子カメラ |
US6859565B2 (en) * | 2001-04-11 | 2005-02-22 | Hewlett-Packard Development Company, L.P. | Method and apparatus for the removal of flash artifacts |
US7148922B2 (en) * | 2001-08-02 | 2006-12-12 | Olympus Optical Co., Ltd. | Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence |
JP2003131284A (ja) * | 2001-10-22 | 2003-05-08 | Konica Corp | ストロボを備えたカメラ |
JP2003296720A (ja) | 2002-04-02 | 2003-10-17 | Nikon Corp | 画像処理装置および画像処理方法 |
US7602969B2 (en) * | 2002-07-18 | 2009-10-13 | Sony Corporation | Imaging data processing method, imaging data processing device, and computer program |
AU2003278710A1 (en) * | 2002-08-15 | 2004-03-03 | Lc Technologies, Inc. | Motion clutter suppression for image-subtracting cameras |
-
2004
- 2004-01-23 JP JP2004015789A patent/JP4379129B2/ja not_active Expired - Fee Related
-
2005
- 2005-01-21 KR KR1020050005748A patent/KR101102150B1/ko not_active IP Right Cessation
- 2005-01-21 EP EP20050250310 patent/EP1558025A3/en not_active Withdrawn
- 2005-01-21 US US11/040,570 patent/US7583297B2/en not_active Expired - Fee Related
- 2005-01-24 CN CNB2005100518717A patent/CN100377575C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR101102150B1 (ko) | 2012-01-02 |
EP1558025A3 (en) | 2012-08-01 |
CN1645914A (zh) | 2005-07-27 |
EP1558025A2 (en) | 2005-07-27 |
KR20050076824A (ko) | 2005-07-28 |
CN100377575C (zh) | 2008-03-26 |
JP2005210485A (ja) | 2005-08-04 |
US20050190288A1 (en) | 2005-09-01 |
US7583297B2 (en) | 2009-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4379129B2 (ja) | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム | |
KR101032165B1 (ko) | 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 판독 가능 기록 매체 | |
JP5141733B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
KR101609556B1 (ko) | 촬상장치 및 제어 방법 | |
JP4407514B2 (ja) | 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム | |
JP5610762B2 (ja) | 撮像装置及び制御方法 | |
JP5787648B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP6423625B2 (ja) | 画像処理装置および画像処理方法 | |
US10861136B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5743696B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4905513B2 (ja) | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム | |
JP5804856B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2011124967A (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
JP2010193002A (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2002369075A (ja) | 撮像装置および画像処理装置並びに撮像プログラムおよび画像処理プログラム | |
JP5932392B2 (ja) | 画像処理装置および画像処理方法 | |
JP5765599B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP4389671B2 (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
JP5471510B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2016005105A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090316 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090714 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090907 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |