JP2002135589A - 画像処理装置および方法、並びに記録媒体 - Google Patents
画像処理装置および方法、並びに記録媒体Info
- Publication number
- JP2002135589A JP2002135589A JP2000328162A JP2000328162A JP2002135589A JP 2002135589 A JP2002135589 A JP 2002135589A JP 2000328162 A JP2000328162 A JP 2000328162A JP 2000328162 A JP2000328162 A JP 2000328162A JP 2002135589 A JP2002135589 A JP 2002135589A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dynamic range
- image signal
- luminance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims description 51
- 238000013507 mapping Methods 0.000 claims description 92
- 238000012937 correction Methods 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 3
- 235000019557 luminance Nutrition 0.000 description 215
- 230000006870 function Effects 0.000 description 121
- 230000000875 corresponding effect Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 26
- 238000001514 detection method Methods 0.000 description 12
- 230000002194 synthesizing effect Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 239000012788 optical film Substances 0.000 description 2
- 101000795655 Canis lupus familiaris Thymic stromal cotransporter homolog Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101150115013 DSP1 gene Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100533652 Homo sapiens SLIRP gene Proteins 0.000 description 1
- 101150016011 RR11 gene Proteins 0.000 description 1
- 102100025491 SRA stem-loop-interacting RNA-binding protein, mitochondrial Human genes 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
レンジ画像に変換する際、画像中の任意の位置の輝度を
最適化する。 【解決手段】 簡易生成された狭ダイナミックレンジ画
像の表示例を示す。ユーザは、画像表示領域61に表示
された複数の画像のうち、画像の中の被写体の階調が最
も適切に表示されている画像を、画像選択ボタンパネル
を用いて選択するようにする。
Description
び方法、並びに記録媒体に関し、例えば、画像信号の輝
度のダイナミックレンジを変更する場合に用いて好適な
画像処理装置および方法、並びに記録媒体に関する。
ンサやCMOS(Complementary Mental-Oxide Semiconducto
r)イメージセンサのような固体撮像素子が、ビデオカメ
ラやディジタルスチルカメラ等の撮像装置、FA(Facto
ry Automation)の分野における部品検査装置、およびM
E(Medical Electronics)の分野における電子内視鏡等
の光計測装置に幅広く利用されている。
学フィルム写真に匹敵するダイナミックレンジを有する
画像信号を得ることができる技術が数多く開発されてい
る。
するCRT(Cathode Ray tube)のような表示装置、印刷す
るプリンタ、投影するプロジェクタ等の従来機器は、現
在において、それらが表現し得る輝度階調に制限があ
る。すなわち、表現可能な画像のダイナミックレンジが
狭い。よって、光学フィルム写真に匹敵するダイナミッ
クレンジを有する画像の画像信号(以下、広ダイナミッ
クレンジ画像と記述する)を取得することができたとし
ても、それを表現(表示や印刷等)することができない
問題がある。
輝度階調を圧縮してダイナミックレンジを狭め、表示装
置等の従来機器が表現可能な画像(以下、狭ダイナミッ
クレンジ画像と記述する)に変換するダイナミックレン
ジ圧縮処理技術が必要とされている。
ナミックレンジ圧縮技術について説明する。
ンとオフセットを調節することによって輝度をスケーリ
ングする方法が挙げられる。この第1の技術は、極めて
簡易であって、簡単に適用することができる。しかしな
がら、輝度階調を圧縮しないので、表示装置等のダイナ
ミックレンジを越える輝度の値は全てクリッピングされ
てしまい、元の広ダイナミックレンジ画像が有する情報
を活かしきることができない。
ンマ特性を補正するために実行されるガンマ補正処理を
流用してダイナミックレンジを圧縮する技術が挙げられ
る。ガンマ補正処理に用いられるガンマ補正曲線はべき
乗の関数であるので、ガンマ値である指数を変更するこ
とによって、簡単に補正特性を調節することができる。
しかしながら、ダイナミックレンジ圧縮に流用すること
に起因して、本来のガンマ補正処理に影響を及ぼしてし
まい、色バランスが崩れたり、コントラストの劣化が発
生することがある。
ム曲線を階調補正曲線に用いるヒストグラム等化手法が
挙げられる。ヒストグラム等化手法では、輝度分布(ヒ
ストグラム)に対応して、画像中のより広い面積を占め
る輝度に対し、より多くの階調を与えるように階調変換
が施される。したがって、画像全体としてはコントラス
トを強調する方向に作用し、狭いダイナミックレンジで
あっても細部が明確化された視認性が高い画像を得るこ
とができる。しかしながら、階調変換の結果得られる画
像は、元の広ダイナミックレンジ画像の輝度分布に大き
く左右されるので、所望の画像が得られない場合があ
る。
て細部を強調する技術が挙げられる。第4の技術では、
画像が局所オペレータによって空間周波数帯域毎に分離
され、分離された空間周波数帯域のそれぞれに対し、ゲ
インが調節された後、それらが再び統合される。ゲイン
を調整する際、低周波数帯域を減衰させことによって、
階調を圧縮することができ、高周波数帯域の減衰量を少
なくすることによって、細部のコントラストが損なわれ
ないようにすることができる。
器であっても、細部の視認性が高い画像を表現すること
ができる。しかしながら、各帯域のバランスが変更され
た結果、画像内のエッジ部分等の高コントラスト領域に
階調の反転が生じてしまい、その部分が場合によって非
常に目障りなアーチファクト(artifact)として認知され
てしまうことがある。
従来のダイナミックレンジ圧縮技術では、得られる狭ダ
イナミックレンジ画像がユーザの意図を反映した結果と
はならないことがある。具体的には、広ダイナミックレ
ンジ画像を狭ダイナミックレンジ画像に変換する際、例
えば画像中の被写体が占める領域を最適な輝度で表現さ
せようとしても、その実行が困難である課題があった。
ものであり、広ダイナミックレンジ画像を狭ダイナミッ
クレンジ画像に変換する際、画像中の任意の領域の輝度
を最適化できるようにすることを目的とする。
は、ユーザの操作に基づき、第1のダイナミックレンジ
における第1の輝度値と、それに対応する第2のダイナ
ミックレンジにおける第2の輝度値からなる輝度対を設
定する設定手段と、輝度対に基づいて、マッピング関数
を生成するマッピング関数生成手段と、マッピング関数
生成手段が生成したマッピング関数を用いて第1の画像
信号を第2の画像信号に変換する変換手段とを含むこと
を特徴とする。
て第2のダイナミックレンジを有する複数の第3の画像
信号を作成する作成手段と、作成手段が作成した第2の
ダイナミックレンジを有する複数の第3の画像信号の表
示を制御する表示制御手段と、第2のダイナミックレン
ジを有する複数の第3の画像信号のうちの1つを選択す
るユーザの選択コマンドを受け付ける受付手段とを含ま
せることができ、ユーザが選択した第2のダイナミック
レンジを有する複数の第3の画像信号の中間輝度値を第
2の輝度値とさせ、第2の輝度値に対応する第1の輝度
値を算出して前記輝度対を設定させるようにすることが
できる。
て第2のダイナミックレンジを有する第3画像信号を作
成する作成手段と、作成手段が作成した第3の画像信号
の表示を制御する表示制御手段と、第3の画像信号の表
示に対して領域を指定するユーザの領域指定コマンドを
受け付ける受付手段とを含ませることができ、第3の画
像信号の中間輝度値を第2の輝度値とさせ、ユーザによ
って指定された領域に対応する第1の画像信号の輝度の
最頻値を第1の輝度値として輝度対を設定させるように
することができる。
に対して任意の形状の領域を指定するユーザの領域指定
コマンドを受け付けさせるようにすることができる。
に対して、予め設定された複数の領域ガイドのうちの1
つを選択することによって領域を指定するユーザの領域
指定コマンドを受け付けさせるようにすることができ
る。
て第2のダイナミックレンジを有する第3画像信号を作
成する作成手段と、作成手段が作成した第3の画像信号
の表示を制御する表示制御手段と、第3の画像信号の表
示に対して領域を指定するユーザの領域指定コマンド
と、指定された領域に属する第3の画像信号の補正を指
示するユーザの補正コマンドを受け付ける受付手段と、
補正コマンドに対応して、ユーザによって指定された領
域に属する第3の画像信号を補正する補正手段とを含ま
せることができ、ユーザによって指定された領域に属す
る補正された第3の画像信号の輝度の最頻値を第2の輝
度値とさせ、ユーザによって指定された領域に対応する
第1の画像信号の輝度の最頻値を第1の輝度値として輝
度対を設定っせるようにすることができる。
に対して任意の形状の領域を指定するユーザの領域指定
コマンドを受け付けさせるようにすることができる。
に対して、予め設定された複数の領域ガイドのうちの1
つを選択することによって領域を指定するユーザの領域
指定コマンドを受け付けさせるようにすることができ
る。
て得られた画像信号を、第1のダイナミックレンジを有
する第1の画像信号に変換する撮像手段をさらに含むこ
とができる。
ドが重畳表示されるようにすることができる。
基づき、第1のダイナミックレンジにおける第1の輝度
値と、それに対応する第2のダイナミックレンジにおけ
る第2の輝度値からなる輝度対を設定する設定ステップ
と、輝度対に基づいて、マッピング関数を生成するマッ
ピング関数生成ステップと、マッピング関数生成ステッ
プの処理で生成されたマッピング関数を用いて第1の画
像信号を第2の画像信号に変換する変換ステップとを含
むことを特徴とする。
の操作に基づき、第1のダイナミックレンジにおける第
1の輝度値と、それに対応する第2のダイナミックレン
ジにおける第2の輝度値からなる輝度対を設定する設定
ステップと、輝度対に基づいて、マッピング関数を生成
するマッピング関数生成ステップと、マッピング関数生
成ステップの処理で生成されたマッピング関数を用いて
第1の画像信号を第2の画像信号に変換する変換ステッ
プとを含むことを特徴とする。
記録媒体のプログラムにおいては、ユーザの操作に基づ
き、第1のダイナミックレンジにおける第1の輝度値
と、それに対応する第2のダイナミックレンジにおける
第2の輝度値からなる輝度対が設定され、輝度対に基づ
いて、マッピング関数が生成され、生成されたマッピン
グ関数が用いられて第1の画像信号が第2の画像信号に
変換される。
理システムの構成例を示している。この画像処理システ
ムは、被写体を広ダイナミックレンジ画像信号として撮
像するディジタルカメラ等よりなる撮像装置1、およ
び、撮像装置1から供給される広ダイナミックレンジ画
像信号を狭ダイナミックレンジ画像信号に変換するパー
ソナルコンピュータ等よりなる画像処理装置2から構成
される。
像処理部11、ユーザからの操作コマンド等を受け付
け、その操作コマンドの情報を画像処理部11に通知す
る操作入力部12、および、操作入力部12に対応する
GUI(Graphical User Interface)や画像処理部11の処
理結果を表示する表示部13から構成される。画像処理
装置2の画像処理部11は、処理結果である狭ダイナミ
ックレンジ画像信号を、適宜、画像処理装置2の外部に
出力する。
る。撮像装置1は、被写体の光画像を集光するレンズ2
1、透過する光量を調整する絞り22、レンズ21およ
び絞り22を介して入力される光画像を電気信号に変換
するCCDイメージセンサ23、相関2重サンプリング回
路、ガンマ補正回路およびニー特性回路等を含む前置増
幅器24、前置増幅器24から入力される電気信号を広
ダイナミックレンジ画像信号にエンコードするビデオエ
ンコーダ25、並びに広ダイナミックレンジ画像信号を
画像処理装置2に出力する出力部26から構成される。
センサ23および前置増幅器24について説明する。図
3は、CCDイメージセンサ23の構成例を示している。C
CDイメージセンサ23は、インタレーススキャンを行う
インタライン型CCDと同様の構成をなしている。すなわ
ち、入射した光量に応じた電荷を蓄積すフォトダイオー
ド(PD)31が2次元に配列されており、フォトダイ
オード31の各縦列間に垂直レジスタ(Vレジスタ)3
2が設けられ、垂直レジスタ32の終端(図3において
下端)には、水平レジスタ(Hレジスタ)33が設けら
れている。
=0,1,2,・・・)ラインには、高感度のフォトダ
イオード31Hが用いられ、奇数フィールド構成する第
2i+1ラインには、低感度のフォトダイオード31L
が用いられている。
性について、図4を参照して説明する。図4において、
横軸Eiはフォトダイオード31H,31Lに入力され
る光の強度を示しており、縦軸Eoはフォトダイオード
31H,31Lに蓄積される電荷量を示している。
の直線Aに示す感度特性を有する。すなわち、入力され
る光の強度の全域に亘り、入射光の強度に比例した電荷
を蓄積する。高感度のフォトダイオード31Hは、図4
の直線Bに示す感度特性を有する。すなわち、強度が弱
い光に対応し、その入射光の強度に比例して、低感度の
フォトダイオード31Lよりも多くの電荷を蓄積する。
1Lに蓄積された電荷は、所定のタイミング毎に対応す
る垂直レジスタ32に読み出された後、水平レジスタ3
3に転送される。水平レジスタ33は、1水平ライン分
の垂直レジスタ32から転送された電荷を順次出力す
る。
れた電荷を読み出すタイミングについて説明する。CCD
イメージセンサ23は、インタレーススキャンを行う
が、電荷読み出しの際、1画素に対応する電荷として、
上下に隣接するフォトダイオード31H,31Lの電荷
を読み出して加算するようになされている。
電荷としては、第2iラインのフォトダイオード31H
に蓄積された電荷と、第2i+1ラインのフォトダイオ
ード31Lに蓄積された電荷が読み出されて加算され
る。奇数フィールドの第2i+1ラインの電荷として
は、第2i+1ラインのフォトダイオード31Lに蓄積
された電荷と、第2(i+1)ラインのフォトダイオー
ド31Hに蓄積された電荷が読み出されて加算される。
各画素に対応する電気信号として、低感度のフォトダイ
オード31Lに蓄積された電荷と高感度のフォトダイオ
ード31Hに蓄積された電荷の和を出力するようになさ
れている。よって、CCDイメージセンサ23は、図4の
直線A(フォトダイオード31Lに対応する)と直線B
(フォトダイオード31Hに対応する)を加算した線C
に示す感度特性を有することになる。すなわち、CCDイ
メージセンサ23は、光の強度が弱い領域において高感
度のフォトダイオード31Hが電荷を蓄積し、光の強度
が強い領域においては低感度のフォトダイオード31L
が電荷を蓄積するので、ノイズと飽和の少ない広ダイナ
ミックレンジの電気信号を得ることができる。
の曲線Cの逆関数)を、CCDイメージセンサ23から出
力された広ダイナミックレンジの電気信号Eoに適用し
て元の光信号の強度の推定値Ei’を得る。
ョンプログラムを実行することより、画像処理装置2と
して動作するパーソナルコンピュータの構成例を示して
いる。このパーソナルコンピュータは、CPU(Central Pr
ocessing Unit)41を内蔵している。CPU41にはバス
44を介して、入出力インタフェース45が接続されて
いる。
部12に相当するキーボード、マウスなどの入力デバイ
スよりなる入力部46、GUIや処理結果としての画像信
号を表示部13に出力する表示制御部47、撮像装置1
から入力される広ダイナミックレンジ画像信号をデコー
ドするビデオデコーダ48、各画素の輝度に相当する電
圧を量子化してディジタル画像信号に変換するA/Dコ
ンバータ49、ハードディスクやフレームメモリなどよ
りなり、画像処理用のプログラムやディジタル画像信号
等を格納する記憶部50、並びに、磁気ディスク52
(フロッピディスクを含む)、光ディスク53(CD-ROM
(Compact Disc-Read Only Memory)、DVD(Digital Versa
tile Disc)を含む)、光磁気ディスク54(MD(Mini
Disc)を含む)、および半導体メモリ55などの記録媒
体に対してデータを読み書きするドライブ51が接続さ
れている。
の他、ROM(Read Only Memory)42およびRAM(Random Ac
cess Memory)43が接続されている。
置2としての動作を実行させる画像処理用プログラム
は、磁気ディスク52乃至半導体メモリ55に格納され
た状態でパーソナルコンピュータに供給され、ドライブ
51によって読み出されて、記憶部50に内蔵されるハ
ードディスクドライブにインストールされている。記憶
部50にインストールされている画像処理用プログラム
は、入力部46に入力されるユーザからのコマンドに対
応するCPU41の指令によって、記憶部50からRAM43
にロードされて実行される。
て、図7のフローチャートを参照して説明する。ステッ
プS1において、撮像装置1は、被写体の光画像を撮像
し、得られた広ダイナミックレンジ画像信号を画像処理
装置2に出力する。
画像処理部11は、ユーザの選択操作に対応して最適露
出情報を設定する。最適露出情報を設定する第1の動作
例について、図8のフローチャートを参照して説明す
る。
の画像処理部11は、撮像装置1から入力された広ダイ
ナミックレンジ画像信号から、所定の数の狭ダイナミッ
クレンジ画像信号を簡易生成する。狭ダイナミックレン
ジ画像信号を簡易生成する処理について、図9のフロー
チャートを参照して説明する。以下、処理される画像信
号は輝度信号であるとする。
は、撮像装置1から入力されて記憶されている広ダイナ
ミックレンジ画像の各画素の画像信号Y(x,y)と、予め
用意されている複数の露出比率rのうちの1つを、記憶
部50から読み出す。ここで、x,yは、それぞれ、画
像の縦または横の座標値である。
は、全ての画素の画像信号Y(x,y)に露出比率rを乗算
して変換画像信号Yn(x,y)を生成する。ステップS2
3において、画像処理部11は、変換画像信号Yn(x,
y)を、所定の閾値Ynmax,Ynminと比較して、
閾値Ynmaxよりも大きい変換画像信号Yn(x,y)
を、閾値Ynmaxを用いて置換し、閾値Ynminよ
りも小さい変換画像信号Yn(x,y)を、閾値Ynmin
を用いて置換する。このようにして生成された変換画像
信号Yn(x,y)が、簡易生成した狭ダイナミックレンジ
画像信号とされる。
処理は、予め用意されている露出比率rの種類の数と同
じ数だけ繰り返し実行される。
テップS12において、画像処理部11は、ステップS
11の処理で簡易生成された狭ダイナミックレンジ画像
信号を表示部13に表示させ、また、表示させた複数の
狭ダイナミックレンジ画像のうちの1つをユーザに選択
させるためのGUIを表示部13に表示させる。
レンジ画像を表示する表示部13の表示例を示してい
る。この表示例では、表示部13の画像表示領域61
に、9(=3×3)枚の簡易生成された狭ダイナミック
レンジ画像62が表示可能とされており、4枚の簡易生
成された狭ダイナミックレンジ画像62が表示されてい
る。表示された狭ダイナミックレンジ画像62の周囲に
は、枠63が設けられている。
簡易生成された狭ダイナミックレンジ画像62を、ユー
ザが選択する際に操作するGUIの表示例を示している。G
UIとしての画像選択ボタンパネル71には、現在指定さ
れている画像の左側の画像を指定するときクリックされ
る左移動ボタン72、現在指定されている画像の右側の
画像を指定するときクリックされる右移動ボタン73、
および、指定されている画像を選択するときクリックさ
れるセレクトボタン74が設けられている。
た枠63は、対応する画像がユーザによって指定されて
いる場合、それをユーザが認識できるように、例えば、
ハイライト表示される。図10の表示例の場合、3×3
の画像のうちの左上の画像が指定されており、その枠6
3がハイライト表示されている。
に表示された複数の画像のうち、画像中の被写体の階調
が最も適切に表示されている画像を、画像選択ボタンパ
ネル71を用いて選択するようにする。
像処理部11は、表示部13の画像表示領域61に表示
されている簡易生成された狭ダイナミックレンジ画像の
うちの1つをユーザが選択するまで待機し、簡易生成さ
れた狭ダイナミックレンジ画像のうちの1つをユーザが
選択したと判定した場合、処理はステップS14に進
む。ステップS14において、画像処理部11は、ユー
ザが選択した画像に対応する露出比率rを最適露出情報
として設定する。処理は、図7のステップS3にリター
ンする。
は、ステップS2で設定した最適露出情報に従い、撮像
装置1から入力された広ダイナミックレンジ画像信号を
狭ダイナミックレンジ画像信号に変換して表示部13に
出力する。
ジ画像信号を狭ダイナミックレンジ画像信号に変換する
処理の詳細について説明する。
1の第1の構成例を示している。輝度対検出部81は、
広ダイナミックレンジ画像信号および最適露出情報に基
づき、注目輝度・最適注目輝度対(M,Mm)を検出し
てマッピング関数生成部82に出力する。マッピング関
数生成部82は、広ダイナミックレンジ画像信号および
輝度対検出部81からの注目輝度・最適注目輝度対
(M,Mm)に基づき、マッピング関数を生成してマッ
ピング部83に出力する。マッピング部83は、広ダイ
ナミックレンジ画像信号を、マッピング関数生成部82
からのマッピング関数に適用して狭ダイナミックレンジ
画像信号を生成する。
度対(M,Mm)を検出する処理について、図13のフ
ローチャートおよび図14を参照して説明する。図14
は、広ダイナミックレンジ画像の輝度のダイナミックレ
ンジと、簡易生成された狭ダイナミックレンジ画像の輝
度のダイナミックレンジの関係を説明するための図であ
り、同図の横軸は、入力される広ダイナミックレンジ画
像の輝度Yの対数値logYを示し、縦軸は簡易生成され
た狭ダイナミックレンジ画像の輝度Ynの対数値logY
nを示している。
1は、予め設定されている広ダイナミックレンジ画像の
飽和輝度Ys、狭ダイナミックレンジ画像の飽和輝度Y
ns、および狭ダイナミックレンジ画像の中間輝度Yn
mを記憶部50から取得する。ここで、狭ダイナミック
レンジ画像の中間輝度Ynmは、例えば、例えば次式
(1)に示すように、所定の狭ダイナミックレンジ画像
の飽和輝度Ynsとノイズレベル輝度Ynnを用いて予
め演算されているものとする。 中間輝度Ynm=(Yns+Ynn)/2 ・・・(1)
1は、図8のステップS14で設定された最適露出情報
(露出比率r)を取得する。ステップS33において、
輝度対検出部81は、狭ダイナミックレンジ画像の中間
輝度Ynmに対応する広ダイナミックレンジ画像の輝度
を次式(2)を用いて演算する。この輝度を注目輝度M
に設定する。 注目輝度M=r・Ys(Ynm/Yns) ・・・(2)
1は、狭ダイナミックレンジ画像の中間輝度Ynmを最
適注目輝度Mmに設定する。ステップS35において、
輝度対検出部81は、注目輝度・最適注目輝度対(M,
Mm)をマッピング関数生成部82に出力する。
2の詳細な構成例を示している。マッピング関数生成部
82は、広ダイナミックレンジ画像の最大輝度Hと最小
輝度Lを取得する最大・最小輝度取得部91、最大・最
小輝度取得部91からの広ダイナミックレンジ画像の最
大輝度Hと最小輝度L、および輝度対検出部81からの
注目輝度・最適注目輝度対(M,Mm)に基づき、高域
対数関数を生成する高域関数決定部92、最大・最小輝
度取得部91からの広ダイナミックレンジ画像の最大輝
度Hと最小輝度L、および輝度対検出部81からの注目
輝度・最適注目輝度対(M,Mm)に基づき、低域対数
関数を生成する低域関数決定部93、および、高域関数
決定部92が生成する高域対数関数と、低域関数決定部
93が生成する低域対数関数を合成してマッピング関数
を生成する関数合成部94から構成される。
数を生成する処理について、図16のフローチャートを
参照して説明する。
取得部91は、図17に示すような広ダイナミックレン
ジ画像の輝度信号Yのヒストグラムを生成する。ステッ
プS42において、最大・最小輝度取得部91は、輝度
信号Yに含まれるノイズを考慮して、頻度を有する輝度
の最大値よりも所定の割合(例えば、1%)だけ小さい
値を最大輝度Hに決定し、頻度を有する輝度の最小値よ
りも所定の割合(例えば、1%)だけ大きい値を輝度の
最小輝度Lに決定し、最大輝度Hおよび最小輝度Lを高
域関数決定部92、低域関数決定部93、および関数合
成部94に出力する。
は、図18に示す2点(logL,Lm),(logH,H
m)を通る直線Aに相当する対数関数Ym(Y)を生成
する。 Ym(Y)=αlogY+β ・・・(3)
像の輝度のダイナミックレンジと、変換後の狭ダイナミ
ックレンジ画像の輝度のダイナミックレンジの関係を説
明するための図であり、同図の横軸は、入力される広ダ
イナミックレンジ画像の輝度Yの対数値logYを示し、
縦軸は変換後の狭ダイナミックレンジ画像の輝度Ymを
示している。図19乃至図21も同様である。また、H
m,Lmは、それぞれ狭ダイナミックレンジの最大輝度
または最小輝度を表しており、予め設定されている値で
ある。
92は、図18に示す2点(logM,Mm),(logH,
Hm)を通る直線Cに相当する高域対数関数YmH
(Y)を生成して関数合成部94に出力する。 YmH(Y)=αHlogY+βH ・・・(4)
93は、図18に示す2点(logL,Lm),(logM,
Mm)を通る直線Bに相当する低域対数関数YmL
(Y)を生成して関数合成部94に出力する。 YmL(Y)=αLlogY+βL ・・・(5)
処理の順序は、適宜入れ替えてもよいし、平行して同時
に実行するようにしてもよい。
は、 図18の直線Aに相当する対数関数Ym(Y)の
Yに注目輝度Mを代入し、得られたYm(M)と最適注
目輝度Mmを比較して、その比較結果に基づき、注目輝
度・最適注目輝度対に対応する点(logM,Mm)が、
直線Aよりも上に位置するか、直線Aよりも下に位置す
るか、または直線Aに一致するかを判定する。
い場合には、図18に示すように、注目輝度・最適注目
輝度対に対応する点(logM,Mm)は直線Aよりも上
に位置すると判定されて、処理はステップS47に進
む。ステップS47において、関数合成部94は、図1
9に示すような上に凸のマッピング関数となるように、
図19の横軸上のパラメータCL,CHを次式(6)の
ように設定する。
は、高域対数関数YmH(Y)と低域対数関数YmL
(Y)を滑らかに連結してマッピング関数を生成する。
具体的には、入力輝度Y、すなわち、広ダイナミックレ
ンジ画像の輝度Yを、最小輝度Lよりも小さい領域、最
小輝度L以上であってCLよりも小さい領域、CL以上
であってCHよりも小さい領域、CH以上で最大輝度H
よりも小さい領域、または、最大輝度H以上である領域
に分け、各領域に対応するマッピング関数f(Y)を生
成する(詳細は図22を参照して後述する)。
m(M)と等しい場合、注目輝度・最適注目輝度対に対
応する点(logM,Mm)は直線Aに一致すると判定さ
れて、処理はステップS48に進む。ステップS48に
おいて、関数合成部94は、マッピング関数のパラメー
タCL,CHを次式(7)のように設定する。 CL=L CH=H ・・・(7)
m(M)よりも小さい場合には、図20に示すように、
注目輝度・最適注目輝度対に対応する点(logM,M
m)は直線Aよりも下に位置すると判定されて、処理は
ステップS49に進む。ステップS49において、関数
合成部94は、図21に示すような下に凸のマッピング
関数となるようにパラメータCL,CHを次式(8)の
ように設定する。
処理の詳細について、図22のフローチャートを参照し
て説明する。ステップS61,S63,S65,S72
における大小比較判定により、マッピング関数f(Y)
の変数である入力輝度Yが5つの領域のうちのいずれか
に分類される。
よりも小さい領域に分類された入力輝度Yに対しては、
ステップS62において、次式(9)に示すようにマッ
ピング関数f(Y)が定義される。 f(Y)=Lm Y<L ・・・(9)
小輝度L以上であってCLよりも小さい領域に分類され
た入力輝度Yに対しては、ステップS64において、次
式(10)に示すように、マッピング関数f(Y)が低
域対数関数YmL(Y)によって定義される。 f(Y)=YmL(Y)=αLlogY+βL L≦Y<L ・・・(10)
経て、CL以上であってCHよりも小さい領域に分類さ
れた場合、処理はステップS66に進む。
Hが0よりも大きいか否かが判定される。CL−2M+
CHが0よりも大きいと判定された場合、処理はステッ
プS67に進む。ステップS67において、媒介変数t
が次式(11)によって定義される。
し、次式(12)に示すように、マッピング関数f
(Y)が定義される。
Hが0よりも大きくないと判定された場合、処理はステ
ップS69に進む。ステップS69において、CL−2
M+CHが0よりも小さいか否かが判定される。CL−
2M+CHが0よりも小さいと判定された場合、処理は
ステップS70に進む。ステップS70において、媒介
変数tが次式(13)によって定義される。
Hが0よりも小さくない、すなわち、CL−2M+CH
=0であると判定された場合、処理はステップS71に
進む。ステップS71において、媒介変数tが次式(1
4)によって定義される。 t=(Y−CL)/2(M−CL) ・・・(14)
の処理を経て、CH以上であって最大輝度Hよりも小さ
い領域に分類された入力輝度Yに対しては、ステップS
73において、次式(15)に示すように、マッピング
関数f(Y)が高域対数関数YmH(Y)によって定義
される。 f(Y)=YmH(Y)=αHlogY+βH CH≦Y<H・・・(15)
の処理を経て、最大輝度H以上である領域に分類された
入力輝度Yに対しては、ステップS74において、次式
(16)に示すように、マッピング関数f(Y)が高域
対数関数YmH(Y)によって定義される。 f(Y)=Lm H<Y ・・・(16)
部82の一連の処理によって、マッピング関数f(Y)
が生成される。
に広ダイナミックレンジ画像信号を適用して狭ダイナミ
ックレンジ画像信号を生成するマッピング部83の処理
について、図23のフローチャートを参照して説明す
る。
3は、記憶部50から広ダイナミックレンジ画像信号を
取得する。また、マッピング部83は、マッピング関数
生成部82からマッピング関数f(Y)を取得する。
3は、広ダイナミックレンジ画像の全て画素の輝度信号
Y(x,y)を、マッピング関数f(Y)に順次代入して狭
ダイナミックレンジ画像信号を生成する。
の処理によれば、簡易生成されてた複数の狭ダイナミッ
クレンジの画像がユーザに提示され、そのうちの被写体
の階調が最も適切に表示されている画像がユーザによっ
て選択されて、選択された画像に基づいて注目輝度・最
適注目輝度対(M,Mm)が導き出される。さらに、注
目輝度・最適注目輝度対(M,Mm)に基づいてマッピ
ング関数f(Y)が生成されて、広ダイナミックレンジ
画像信号がマッピング関数f(Y)によって狭ダイナミ
ックレンジ画像信号に変換されるので、画像中の被写体
が適切な階調で表現される狭ダイナミックレンジの画像
を得ることができる。
・最適注目輝度対(M,Mm)を1つだけ決定して、以
降の処理を実行するようにしたが、2つ以上の注目輝度
・最適注目輝度対を決定してマッピング関数を生成する
ようにしてもよい。
定する第2の動作例について、図24および図25を参
照して説明する。図8乃至図11を参照して上述した第
1の動作例では、簡易生成された複数の狭ダイナミック
レンジ画像のうちの1つをユーザに選択させるようにし
たが、第2の動作例においては、所定の露出比率rを適
用して簡易生成した狭ダイナミックレンジ画像を1枚だ
け表示し、その画像の内で注目すべき範囲(例えば、被
写体が表示されている範囲)をユーザに指定させるよう
にし、その指定された範囲(図24(B)のマスク10
3)を示す情報を最適露出情報に設定して輝度対検出部
81に供給するようにする。
ミックレンジ画像を表示する表示部13の表示例を示し
ている。同図(A)に示すように、表示部13の画像表
示・指定範囲描画領域101には、簡易生成された狭ダ
イナミックレンジ画像102が1枚だけ表示される。画
像表示・指定範囲描画領域101に表示された狭ダイナ
ミックレンジ画像102には、同図(B)に示すよう
な、ユーザによって指定された範囲を表すマスク103
が重畳して表示される。
2に重畳して表示されるマスク103をユーザが設定す
るとき操作するGUIの表示例を示している。GUIとしての
範囲指定パネル111には、マスク103の設定を開始
するときクリックされるペンボタン112、設定された
マスク103の設定を解除する消しゴムボタン113、
および、設定したマスク103を確定する完了ボタン1
14が設けられている。
た後、マウス等の入力デバイスを用いてマスク103の
範囲を描画し、完了ボタン114をクリックすることに
より、描画したマスク103の範囲を確定させる。これ
に対応して、確定されたマスク103の範囲を示す情報
が、最適露出情報として輝度対検出部81に供給され
る。
は、最適注目輝度Mmとして、上述したステップS31
(図13)の処理と同様に、予め設定されている狭ダイ
ナミックレンジ画像の中間輝度Ynmを、記憶部50に
記憶されている画像処理用アプリロケーションプログラ
ムから取得する。
出部81は、広ダイナミックレンジ画像のうち、マスク
103の範囲に含まれる画素の輝度信号を取得して画素
集合G1とし、画素集合G1のうち、所定の飽和レベル
を上回る輝度の画素、および所定のノイズレベルを下回
る輝度の画素を除外して画素集合G2とする。さらに、
輝度対検出部81は、画素集合G2の輝度のヒストグラ
ムを生成して、最も頻度が高い輝度を注目輝度Mに設定
する。
注目輝度対(M,Mm)は、マッピング関数生成部82
に供給されて、上述した一連の処理と同様に処理され
る。
2の動作例によれば、ユーザが最適な輝度で表示してほ
しい被写体の範囲を指示するという直感的な操作によっ
て、所望の狭ダイナミックレンジ画像を作成することが
可能となる。
して、カラーの広ダイナミックレンジ画像信号(3原色
信号R,G,B)が供給される場合に対応する画像処理
部11の構成例(以下、画像処理部11の第2の構成例
と記述する)および動作について、図26を参照して説
明する。画像処理部11の第2の構成例においては、カ
ラー画像の色バランスが損なわれないように階調変換が
行われる。
を示している。輝度信号生成部121は、次式(17)
を用いて、入力される広ダイナミックレンジ画像の各画
素の3原色信号R,G,Bを用いて輝度Yを生成し、輝
度対検出部122、色補正関数生成部123、マッピン
グ部124、マッピング関数生成部125、マッピング
部126、および、べき乗演算部127に出力する。 輝度Y=kr・R+kg・G+kb・B ・・・(17)
例えば、kr=0.3、kg=0.6、kb=0.1と
する。
21からの広ダイナミックレンジ画像の各画素の輝度
Y、および、上述した画像処理部11の第1または第2
の動作例によって取得した最適露出情報に基づき、注目
輝度・最適注目輝度対(M,Mm)を検出して色補正関
数生成部123およびマッピング関数生成部82に出力
する。
部121からの広ダイナミックレンジ画像の各画素の輝
度Y、および、輝度対検出部81からの注目輝度・最適
注目輝度対(M,Mm)に基づき、輝度Yに対応する色
補正量γを示す色補正関数fC(Y)を生成し、マッピ
ング部124に出力する。
(Y)を生成する処理について、より詳細に説明する。
当該色補正関数生成処理は、図16乃至図22を参照し
て上述したマッピング関数生成部82のマッピング関数
生成処理とほぼ同様であり、図22を用いて説明したス
テップS50(図16)における処理だけが若干異な
る。よって、当該色補正関数生成処理のうち、マッピン
グ関数生成処理のうちのステップS50における処理に
相当する処理についてのみ、図27を参照して説明す
る。
1,S93,S95,S102における大小比較判定に
より、色補正関数fC(Y)の変数である入力輝度Yを
5つの領域のうちのいずれかに分類する。
よりも小さい領域に分類された入力輝度Yに対しては、
ステップS92において、次式(17)に示すように色
補正関数fC(Y)が定義される。 fC(Y)=αL Y<L ・・・(17)
小輝度L以上であってCLよりも小さい領域に分類され
た入力輝度Yに対しては、ステップS94において、次
式(18)に示すように、色補正関数fC(Y)が定義
される。 fC(Y)=αL L≦Y<L・・・(18)
経て、CL以上であってCHよりも小さい領域に分類さ
れた場合、処理はステップS96に進む。
Hが0よりも大きいか否かが判定される。CL−2M+
CHが0よりも大きいと判定された場合、処理はステッ
プS97に進む。ステップS97において、媒介変数t
が式(11)によって定義される。
し、次式(19)に示すように、色補正関数fC(Y)
が定義される。 fC(Y)=(1−t)αL+tαH CL≦Y<CH ・・・(19)
Hが0よりも大きくないと判定された場合、処理はステ
ップS99に進む。ステップS99において、CL−2
M+CHが0よりも小さいか否かが判定される。CL−
2M+CHが0よりも小さいと判定された場合、処理は
ステップS100に進む。ステップS100において、
媒介変数tが式(13)によって定義される。
Hが0よりも小さくない、すなわち、CL−2M+CH
=0であると判定された場合、処理はステップS101
に進む。ステップS101において、媒介変数tが式
(14)によって定義される。
2の処理を経て、CH以上であって最大輝度Hよりも小
さい領域に分類された入力輝度Yに対しては、ステップ
S103において、次式(20)に示すように、色補正
関数fC(Y)が定義される。 fC(Y)=αH CH≦Y<H ・・・(20)
2の処理を経て、最大輝度H以上である領域に分類され
た入力輝度Yに対しては、ステップS104において、
次式(21)に示すように、色補正関数fC(Y)が定
義される。 fC(Y)=αH H<Y ・・・(21)
3の処理によって、色補正関数fC(Y)が生成され
る。
21からの各画素の輝度Yを、色補正関数fC(Y)に
適用して色補正量γを演算し、べき乗演算部127、1
28R,128G,128Bに出力する。
マッピング関数生成部82と同様に、広ダイナミックレ
ンジ画像の各画素の輝度Yおよび注目輝度・最適注目輝
度対(M,Mm)に基づき、マッピング関数f(Y)を
生成してマッピング部126に出力する。マッピング部
126は、広ダイナミックレンジ画像の各画素の輝度Y
を、マッピング関数生成部125からのマッピング関数
f(Y)に適用して狭ダイナミックレンジ画像の各画素
の輝度Ymを生成し、スケーリング部129R,129
G,129Bに出力する。
ンジ画像の各画素の輝度Yをγ乗して、得られた補正輝
度Yγをスケーリング部129R,129G,129B
に出力する。べき乗演算部128Rは、広ダイナミック
レンジ画像の各画素の赤色信号Rをγ乗して、得られた
補正赤色信号Rγをスケーリング部129Rに出力す
る。べき乗演算部128Gは、広ダイナミックレンジ画
像の各画素の緑色信号Gをγ乗して、得られた補正緑色
信号Gγをスケーリング部129Gに出力する。べき乗
演算部128Bは、広ダイナミックレンジ画像の各画素
の青色信号Bをγ乗して、得られた補正青色信号Bγを
スケーリング部129Bに出力する。
それぞれ、次式(22)乃至(24)を用い、狭ダイナ
ミックレンジ画像の各画素の赤色信号Rm、緑色信号G
m、または青色信号Bmを演算する。 Rm=Rγ・Ym/Yγ ・・・(22) Gm=Gγ・Ym/Yγ ・・・(23) Bm=Bγ・Ym/Yγ ・・・(24)
2の構成例よれば、入力された広ダイナミックレンジ画
像の3原色信号R,G,Bに対し、ダイナミックレンジ
を圧縮する度合いに応じて自然な色バランスとなるよう
に補正を施すので、広ダイナミックレンジのカラー画像
を、色バランスが不自然ではない狭ダイナミックレンジ
のカラー画像に変換することが可能となる。
タルカメラの構成例を示している。このディジタルカメ
ラ140は、言わば、図1に示した画像処理システムを
1つの筐体に納めたものであり、被写体を広ダイナミッ
クレンジ画像信号として撮像し、適宜、狭ダイナミック
レンジ画像信号に変換して内蔵するメモリ148に記録
する。
像を集光するレンズ141、光画像の光量を調整する絞
り142、集光された光画像を光電変換して広ダイナミ
ックレンジの電気信号に変換するCCDイメージセンサ1
43、CCDイメージセンサ143からの電気信号をサン
プリングすることによってノイズを低減させるCDS(Core
lated Double Sampling)144、および、アナログの電
気信号をディジタル化するA/Dコンバータ145、デ
ィジタル化された電気信号を画像信号に変換したり、ダ
イナミックレンジを圧縮したりする画像信号処理用プロ
セッサと画像用RAMよりなるDSP(Digital Signal Proces
sor)146から構成される。
46が処理した画像信号を圧縮符号化してメモリ148
に記録し、また、読み出して伸張し、DSP146に供給
するCODEC(Compression/Decompression)147、DSP1
46が処理した画像信号をアナログ化するD/Aコンバ
ータ149、アナログ化された画像信号を後段の表示部
151に適合する形式のビデオ信号にエンコードするビ
デオエンコーダ150、および、ビデオ信号に対応する
画像を表示することによりファインダとして機能するLC
D(Liquid Crystal Display)等よりなる表示部151か
ら構成される。
イブ153を制御して、磁気ディスク154、光ディス
ク155、光磁気ディスク156、または半導体メモリ
157に記憶されている制御用プログラムを読み出し
て、読み出した制御用プログラム、操作部158から入
力されるユーザからのコマンド等に基づいて、ディジタ
ルカメラ140の全体を制御するCPUなどよりなる制御
部152、ユーザがシャッタタイミングやその他のコマ
ンドを入力する操作部158、および、CCDイメージセ
ンサ143乃至DSP146の動作タイミングを制御する
タイミングジェネレータ159から構成される。
146が、上述した画像処理システムの画像処理部11
に相当し、広ダイナミックレンジ画像信号を狭ダイナミ
ックレンジ画像信号に変換する処理を実行する。
操作部158および表示部151は、図1の画像処理シ
ステムの画像処理装置2(パーソナルコンピュータ等よ
りなる)を構成する操作入力部12および表示部13に
比較して、小型のものが用いられるので、より簡単にユ
ーザが各種の操作入力を実行できるようにする必要があ
る。
体的な処理の順序を、図7のフローチャートにより説明
した図1の画像処理システムの処理の順序とは異なり、
広ダイナミックレンジ画像信号を取得する前に、最適露
出情報を設定するようになされている。
ついて、図29のフローチャートを参照して説明する。
ステップS111において、撮像する画像の構図がユー
ザによって選択される。選択された画像の構図(後述す
るガイド172に相当する)が最適露出情報として設定
される。
て、図30乃至図32を参照して説明する。図30は、
ファインダとして機能する表示部151の画像表示エリ
ア171の表示例を示している。同図に示すように、画
像表示エリア171には、被写体の画像に重畳して太線
等によって示されるガイド172や破線によって示され
る補助線が重畳して表示される。なお、ガイド172の
形状としては、複数のパターンが用意されており、操作
部158に設けられたガイド選択パネル181(図3
2)がユーザによって操作される毎、その形状が切り替
わるようになされている。
ているガイド172の形状の例を示している。ガイド1
72の各形状には、所定のインデックスが付与されてい
る。なお、ガイド172の形状は、同図に示すような矩
形の他、例えば、円形や多角形であってもよい。
ド選択パネル181を示している。ガイド切替ボタン1
82は、ガイド172の形状を1つ前のインデックスに
対応するものに切り替えるとき押下される。切替ボタン
183は、ガイド172の形状を1つ先のインデックス
に対応するものに切り替えるとき押下される。選択ボタ
ン184は、表示されているガイド172の形状を確定
させるとき押下される。
して図31(J)の例に切り替えられている状態を示し
ているが、この状態において、切替ボタン182が押下
された場合には、ガイド172の形状が同図(I)の例
に切り替えられ、切替ボタン183が押下された場合に
は、ガイド172の形状が同図(K)の例に切り替えら
れる。
部151を見ながら被写体(例えば、人物)がガイド1
72の中に収まるように、ガイド選択パネル181の切
替ボタン182,183を操作してガイド172の切り
替えた後、選択ボタン184を押下してガイド172の
形状を確定させる。選択ボタン184の押下に対応し
て、現在表示されているガイド172の形状に対応する
インデックスが最適露出情報として設定される。
て、ユーザが操作部158に設けられたシャッタを操作
した場合、それに対応して、広ダイナミックレンジ画像
信号が取得され、DSP146が内蔵する画像用RAMに格納
される。
11で設定された最適露出情報(ガイド172の形状を
示すインデックス)に基づき、広ダイナミックレンジ画
像信号が狭ダイナミックレンジ画像信号に変換される。
ついては、最適露出情報(ガイド172の形状を示すイ
ンデックス)に基づいてガイド172の内部領域の画像
信号が取得され、その輝度のヒストグラムが生成され
て、最も高い頻度を示す輝度が注目輝度Mに設定され
る。最適注目輝度Mmには、予め設定された狭ダイナミ
ックレンジの中間輝度が設定される。それ以降の処理
は、図24および図25を用いて上述した、画像処理シ
ステムの画像処理部11が最適露出情報を設定する際の
第2の動作例と同様である。
は、メモリ148に格納される。
6においても、図26に示した画像処理システムの画像
処理部11の第2の構成例と同様に、カラーの広ダイナ
ミックレンジ画像を、色バランスを損なうことなく、カ
ラーの狭ダイナミックレンジ画像に変換する処理を実行
するようにしてもよい。
作例について、図33のフローチャートを参照して説明
する。ステップS121において、撮像する画像の構図
がユーザによって選択される。選択された画像の構図
(ガイド172に相当する)が第1の最適露出情報とし
て設定される。
ついては、図30乃至図32を参照して上述した第1の
動作例の最適露出情報を設定する処理と同様である。
部158に設けられたシャッタを操作した場合、それに
対応して、広ダイナミックレンジ画像信号が取得され、
DSP146が内蔵する画像用RAMに格納される。
に対応し、第2の最適露出情報として露出比率rが設定
される。第2の最適露出情報として露出比率rを設定す
る処理について、図34および図35を参照して説明す
る。
部151の画像表示エリア171の表示例を示してい
る。いまの場合、画像表示エリア171には、ステップ
S122で取得された広ダイナミックレンジ画像が表示
され、それに重畳してステップS121で設定されたガ
イド172や補助線(破線)が表示される。ただし、画
像表示エリア171のガイド172の内部領域には、操
作部158に設けられた輝度補正パネル191(図3
5)に対するユーザの操作に対応して変更される露出比
率rを用いて簡易生成された狭ダイナミックレンジ画像
が表示される。
補正パネル191を示している。明補正(BRIGHTER)ボタ
ン192は、ガイド172の内部領域に表示される狭ダ
イナミックレンジ画像の輝度を、現状よりも1段階だけ
明るくする(輝度を上げる)とき押下される。暗補正(D
ARKER)ボタン193は、ガイド172の内部領域に表示
される狭ダイナミックレンジ画像の輝度を、現状よりも
1段階だけ暗くする(輝度を下げる)とき押下される。
OKボタン194は、現状の輝度を確定するとき押下さ
れる。
場合、狭ダイナミックレンジ画像の簡易生成に用いられ
る露出比率rが所定の値だけ増加される。よって、ガイ
ド172の内部領域の狭ダイナミックレンジ画像の輝度
が増して表示される。反対に、暗補正ボタン193が押
下された場合、狭ダイナミックレンジ画像の簡易生成に
用いられる露出比率rが所定の値だけ減少される。よっ
て、ガイド172の内部領域の狭ダイナミックレンジ画
像の輝度が減じて表示される。OKボタン194が押下
された場合、現状の露出比率rが第2の最適露出情報と
して設定される。
て、ステップS121で設定された第1の最適露出情報
(ガイド172の形状を示すインデックス)、およびス
テップS123で設定された第2の最適露出情報に基づ
き、広ダイナミックレンジ画像信号が狭ダイナミックレ
ンジ画像信号に変換される。
ついては、第1の最適露出情報(ガイド172の形状を
示すインデックス)に基づいてガイド172の内部領域
の広ダイナミックレンジ画像の輝度が取得され、その輝
度のヒストグラムが生成されて、最も高い頻度を示す輝
度が注目輝度Mに設定される。
クレンジ画像の輝度に第2の最適露出情報としての露出
比率rが乗算されて狭ダイナミックレンジ画像が簡易生
成され、そのうちのガイド172の内部領域の輝度が抽
出されて、ヒストグラムが生成され、最も高い頻度を示
す輝度が最適注目輝度Mmに設定される。それ以降の処
理は、図24および図25を用いて上述した、画像処理
システムの画像処理部11が最適露出情報を設定する際
の第2の動作例と同様である。
は、メモリ148に格納される。
40の第2の動作例によれば、操作部158に対する簡
易な操作により、ユーザが注目したい領域をガイド17
2で指定することができ、さらに、ガイド172の内部
領域に対して所望する輝度を指定することができるの
で、得られる狭ダイナミックレンジ画像の階調がユーザ
が所望する結果により近いものとなる。
6に、上述した画像処理システムの画像処理部11と同
様の処理を実行させるようにしてもよい。反対に、画像
処理システムの画像処理部11に、ディジタルカメラ1
40のDSP146と同様の処理を実行させるようにして
もよい。
レンジを変更せずに輝度を変更させる場合に適用するこ
とも可能である。
像変換システムやディジタルカメラのみならず、例え
ば、スキャナ、ファクシミリ、コピー機など、画像信号
を処理する電子機器に適用することが可能である。
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。
複数の装置により構成される装置全体を表すものであ
る。
よび方法、並びに記録媒体のプログラムによれば、ユー
ザの操作に基づき、第1のダイナミックレンジにおける
第1の輝度値と、それに対応する第2のダイナミックレ
ンジにおける第2の輝度値からなる輝度対を設定し、そ
の輝度対に基づいて、マッピング関数を生成し、生成し
たマッピング関数を用いて第1の画像信号を第2の画像
信号に変換するようにしたので、広ダイナミックレンジ
画像を狭ダイナミックレンジ画像に変換する際、画像中
の任意の位置の輝度を最適化することが可能となる。
の構成例を示すブロック図である。
ある。
ブロック図である。
ための図である。
る。
ンピュータの構成例を示すブロック図である。
ートである。
するフローチャートである。
簡易生成する処理を説明するフローチャートである。
するための表示部13の表示例を示す図である。
るGUIの表示例を示す図である。
ク図である。
フローチャートである。
である。
を示すブロック図である。
フローチャートである。
説明するための図である。
ための図である。
ための図である。
ための図である。
ための図である。
するフローチャートである。
フローチャートである。
するための表示部13の表示例を示す図である。
るGUIの表示例を示す図である。
ク図である。
するフローチャートである。
ラ140の構成例を示すブロック図である。
明するフローチャートである。
いて最適露出情報を設定する処理を説明するための表示
部151の表示例を示す図である。
状の種類を示す図である。
けられるガイド選択パネル181を示す図である。
明するフローチャートである。
いて最適露出情報を設定する処理を説明するための表示
部151の表示例を示す図である。
けられる輝度補正パネル191を示す図である。
部, 12 操作入力部, 13 表示部, 41 CP
U, 52 磁気ディスク, 53 光ディスク, 5
4 光磁気ディスク, 55 半導体メモリ, 71画
像選択ボタンパネル, 81 輝度対検出部, 82
マッピング関数生成部, 83 マッピング部, 91
最大・最小輝度取得部, 92 高域関数決定部,
93 低域関数決定部, 94 関数合成部, 111
範囲指定パネル, 121 輝度信号生成部, 12
2 輝度対検出部, 123 色補正関数生成部, 1
24 マッピング部, 125 マッピング関数生成
部, 126 マッピング部, 127,128 べき
乗演算部, 129 スケーリング部, 140 ディ
ジタルカメラ, 146 DSP, 152 制御部,
154 磁気ディスク, 155 光ディスク, 15
6 光磁気ディスク, 157 半導体メモリ, 15
8 操作部, 172 ガイド, 181 ガイド選択
パネル, 191 輝度補正パネル
Claims (12)
- 【請求項1】 輝度値に関して、第1のダイナミックレ
ンジを有する第1の画像信号を、第2のダイナミックレ
ンジを有する第2の画像信号に変換する画像処理装置に
おいて、 ユーザの操作に基づき、前記第1のダイナミックレンジ
における第1の輝度値と、それに対応する前記第2のダ
イナミックレンジにおける第2の輝度値からなる輝度対
を設定する設定手段と、 前記輝度対に基づいて、マッピング関数を生成するマッ
ピング関数生成手段と、 前記マッピング関数生成手段が生成した前記マッピング
関数を用いて前記第1の画像信号を前記第2の画像信号
に変換する変換手段とを含むことを特徴とする画像処理
装置。 - 【請求項2】 前記設定手段は、 前記第1の画像信号を用いて前記第2のダイナミックレ
ンジを有する複数の第3の画像信号を作成する作成手段
と、 前記作成手段が作成した前記第2のダイナミックレンジ
を有する複数の前記第3の画像信号の表示を制御する表
示制御手段と、 前記第2のダイナミックレンジを有する複数の前記第3
の画像信号のうちの1つを選択するユーザの選択コマン
ドを受け付ける受付手段とを含み、 前記ユーザが選択した前記第2のダイナミックレンジを
有する複数の前記第3の画像信号の中間輝度値を前記第
2の輝度値とし、前記第2の輝度値に対応する前記第1
の輝度値を算出して前記輝度対を設定することを特徴と
する請求項1に記載の画像処理装置。 - 【請求項3】 前記設定手段は、 前記第1の画像信号を用いて前記第2のダイナミックレ
ンジを有する第3画像信号を作成する作成手段と、 前記作成手段が作成した前記第3の画像信号の表示を制
御する表示制御手段と、 前記第3の画像信号の表示に対して領域を指定するユー
ザの領域指定コマンドを受け付ける受付手段とを含み、 前記第3の画像信号の中間輝度値を前記第2の輝度値と
し、前記ユーザによって指定された領域に対応する前記
第1の画像信号の輝度の最頻値を前記第1の輝度値とし
て前記輝度対を設定することを特徴とする請求項1に記
載の画像処理装置。 - 【請求項4】 前記受付手段は、前記第3の画像信号の
表示に対して任意の形状の領域を指定するユーザの領域
指定コマンドを受け付けることを特徴とする請求項3に
記載の画像処理装置。 - 【請求項5】 前記受付手段は、前記第3の画像信号の
表示に対して、予め設定された複数の領域ガイドのうち
の1つを選択することによって領域を指定するユーザの
領域指定コマンドを受け付けることを特徴とする請求項
3に記載の画像処理装置。 - 【請求項6】 前記設定手段は、 前記第1の画像信号を用いて前記第2のダイナミックレ
ンジを有する第3画像信号を作成する作成手段と、 前記作成手段が作成した前記第3の画像信号の表示を制
御する表示制御手段と、 前記第3の画像信号の表示に対して領域を指定するユー
ザの領域指定コマンドと、指定された前記領域に属する
前記第3の画像信号の補正を指示するユーザの補正コマ
ンドを受け付ける受付手段と、 前記補正コマンドに対応して、前記ユーザによって指定
された前記領域に属する前記第3の画像信号を補正する
補正手段とを含み、 前記ユーザによって指定された前記領域に属する補正さ
れた前記第3の画像信号の輝度の最頻値を前記第2の輝
度値とし、前記ユーザによって指定された領域に対応す
る前記第1の画像信号の輝度の最頻値を前記第1の輝度
値として前記輝度対を設定することを特徴とする請求項
1に記載の画像処理装置。 - 【請求項7】 前記受付手段は、前記第3の画像信号の
表示に対して任意の形状の領域を指定するユーザの領域
指定コマンドを受け付けることを特徴とする請求項6に
記載の画像処理装置。 - 【請求項8】 前記受付手段は、前記第3の画像信号の
表示に対して、予め設定された複数の領域ガイドのうち
の1つを選択することによって領域を指定するユーザの
領域指定コマンドを受け付けることを特徴とする請求項
6に記載の画像処理装置。 - 【請求項9】 被写体を撮像して得られた画像信号を、
前記第1のダイナミックレンジを有する前記第1の画像
信号に変換する撮像手段をさらに含むことを特徴とする
請求項1に記載の画像処理装置。 - 【請求項10】 前記撮像手段のファインダには、前記
領域ガイドが重畳表示されることを特徴とする請求項9
に記載の画像処理装置。 - 【請求項11】 輝度値に関して、第1のダイナミック
レンジを有する第1の画像信号を、第2のダイナミック
レンジを有する第2の画像信号に変換する画像処理装置
の画像処理方法において、 ユーザの操作に基づき、前記第1のダイナミックレンジ
における第1の輝度値と、それに対応する前記第2のダ
イナミックレンジにおける第2の輝度値からなる輝度対
を設定する設定ステップと、 前記輝度対に基づいて、マッピング関数を生成するマッ
ピング関数生成ステップと、 前記マッピング関数生成ステップの処理で生成された前
記マッピング関数を用いて前記第1の画像信号を前記第
2の画像信号に変換する変換ステップとを含むことを特
徴とする画像処理方法。 - 【請求項12】 輝度値に関して、第1のダイナミック
レンジを有する第1の画像信号を、第2のダイナミック
レンジを有する第2の画像信号に変換する画像処理用の
プログラムであって、 ユーザの操作に基づき、前記第1のダイナミックレンジ
における第1の輝度値と、それに対応する前記第2のダ
イナミックレンジにおける第2の輝度値からなる輝度対
を設定する設定ステップと、 前記輝度対に基づいて、マッピング関数を生成するマッ
ピング関数生成ステップと、 前記マッピング関数生成ステップの処理で生成された前
記マッピング関数を用いて前記第1の画像信号を前記第
2の画像信号に変換する変換ステップとを含むことを特
徴とするコンピュータが読み取り可能なプログラムが記
録されている記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000328162A JP4192418B2 (ja) | 2000-10-27 | 2000-10-27 | 画像処理装置および方法、並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000328162A JP4192418B2 (ja) | 2000-10-27 | 2000-10-27 | 画像処理装置および方法、並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002135589A true JP2002135589A (ja) | 2002-05-10 |
JP4192418B2 JP4192418B2 (ja) | 2008-12-10 |
Family
ID=18805058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000328162A Expired - Fee Related JP4192418B2 (ja) | 2000-10-27 | 2000-10-27 | 画像処理装置および方法、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4192418B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004004328A1 (ja) * | 2002-06-26 | 2004-01-08 | Matsushita Electric Industrial Co., Ltd. | 特性補正装置 |
WO2004100069A1 (ja) * | 2003-05-06 | 2004-11-18 | Sony Corporation | 画像処理装置、および画像処理方法 |
WO2005057912A1 (ja) * | 2003-12-15 | 2005-06-23 | Matsushita Electric Industrial Co., Ltd. | 輝度補正装置 |
JP2009520395A (ja) * | 2005-12-16 | 2009-05-21 | トムソン ライセンシング | ディジタル的に捕捉された画像から再生可能ディジタル映像プロダクトを与える方法、装置及びシステム |
JP2010534894A (ja) * | 2007-07-30 | 2010-11-11 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | 画像のダイナミックレンジの増大 |
JP2012186514A (ja) * | 2011-02-16 | 2012-09-27 | Keyence Corp | 画像処理装置、画像処理方法及びコンピュータプログラム |
US8582913B2 (en) | 2007-07-30 | 2013-11-12 | Dolby Laboratories Licensing Corporation | Enhancing dynamic ranges of images |
JP2017139613A (ja) * | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2017143561A (ja) * | 2014-06-10 | 2017-08-17 | パナソニックIpマネジメント株式会社 | 表示装置、変換装置、表示方法、および、コンピュータプログラム |
JP2018007133A (ja) * | 2016-07-06 | 2018-01-11 | キヤノン株式会社 | 画像処理装置とその制御方法及びプログラム |
WO2020039716A1 (ja) | 2018-08-21 | 2020-02-27 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置及び医療用観察装置 |
JP2020118990A (ja) * | 2016-03-30 | 2020-08-06 | キヤノン株式会社 | 表示装置及び表示方法 |
JP2021034799A (ja) * | 2019-08-20 | 2021-03-01 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP7497196B2 (ja) | 2020-04-10 | 2024-06-10 | キヤノン株式会社 | 表示装置およびその制御方法、プログラムならびに記憶媒体 |
-
2000
- 2000-10-27 JP JP2000328162A patent/JP4192418B2/ja not_active Expired - Fee Related
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004004328A1 (ja) * | 2002-06-26 | 2004-01-08 | Matsushita Electric Industrial Co., Ltd. | 特性補正装置 |
CN1311683C (zh) * | 2002-06-26 | 2007-04-18 | 松下电器产业株式会社 | 特性校正装置 |
US7463295B2 (en) | 2002-06-26 | 2008-12-09 | Panasonic Corporation | Characteristic correction apparatus for gamma correcting an image based on the image type |
WO2004100069A1 (ja) * | 2003-05-06 | 2004-11-18 | Sony Corporation | 画像処理装置、および画像処理方法 |
US7450757B2 (en) | 2003-05-06 | 2008-11-11 | Sony Corporation | Image processing device and image processing method |
US7702174B2 (en) | 2003-05-06 | 2010-04-20 | Sony Corporation | Image processing apparatus and image processing method |
WO2005057912A1 (ja) * | 2003-12-15 | 2005-06-23 | Matsushita Electric Industrial Co., Ltd. | 輝度補正装置 |
JP2009520395A (ja) * | 2005-12-16 | 2009-05-21 | トムソン ライセンシング | ディジタル的に捕捉された画像から再生可能ディジタル映像プロダクトを与える方法、装置及びシステム |
US9699388B2 (en) | 2005-12-16 | 2017-07-04 | Thomson Licensing | Method, apparatus and system for providing reproducible digital imagery products |
US8982409B2 (en) | 2005-12-16 | 2015-03-17 | Thomson Licensing | Method, apparatus and system for providing reproducible digital imagery products from film content |
US8948537B2 (en) | 2007-07-30 | 2015-02-03 | Dolby Laboratories Licensing Corporation | Enhancing dynamic ranges of images |
US8582913B2 (en) | 2007-07-30 | 2013-11-12 | Dolby Laboratories Licensing Corporation | Enhancing dynamic ranges of images |
JP2010534894A (ja) * | 2007-07-30 | 2010-11-11 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | 画像のダイナミックレンジの増大 |
US8824829B2 (en) | 2007-07-30 | 2014-09-02 | Dolby Laboratories Licensing Coporation | Enhancing dynamic ranges of images |
JP2012186514A (ja) * | 2011-02-16 | 2012-09-27 | Keyence Corp | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP2022058608A (ja) * | 2014-06-10 | 2022-04-12 | パナソニックIpマネジメント株式会社 | 表示装置、変換装置、表示方法、および、コンピュータプログラム |
JP2017143561A (ja) * | 2014-06-10 | 2017-08-17 | パナソニックIpマネジメント株式会社 | 表示装置、変換装置、表示方法、および、コンピュータプログラム |
JP7126184B2 (ja) | 2014-06-10 | 2022-08-26 | パナソニックIpマネジメント株式会社 | 表示装置、変換装置、表示方法、および、コンピュータプログラム |
JP2022088557A (ja) * | 2014-06-10 | 2022-06-14 | パナソニックIpマネジメント株式会社 | 表示装置、変換装置、表示方法、および、コンピュータプログラム |
JP7065376B2 (ja) | 2014-06-10 | 2022-05-12 | パナソニックIpマネジメント株式会社 | 表示装置、変換装置、表示方法、および、コンピュータプログラム |
JP2017139613A (ja) * | 2016-02-03 | 2017-08-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2020118990A (ja) * | 2016-03-30 | 2020-08-06 | キヤノン株式会社 | 表示装置及び表示方法 |
JP2018007133A (ja) * | 2016-07-06 | 2018-01-11 | キヤノン株式会社 | 画像処理装置とその制御方法及びプログラム |
WO2020039716A1 (ja) | 2018-08-21 | 2020-02-27 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置及び医療用観察装置 |
JP2021034799A (ja) * | 2019-08-20 | 2021-03-01 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP7370762B2 (ja) | 2019-08-20 | 2023-10-30 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP7497196B2 (ja) | 2020-04-10 | 2024-06-10 | キヤノン株式会社 | 表示装置およびその制御方法、プログラムならびに記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP4192418B2 (ja) | 2008-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6812969B2 (en) | Digital camera | |
JP4163353B2 (ja) | 画像処理装置 | |
US6825884B1 (en) | Imaging processing apparatus for generating a wide dynamic range image | |
RU2443068C2 (ru) | Устройство и способ формирования изображения и программа | |
US7432975B2 (en) | Automatic focusing method and digital photographing apparatus using the same | |
KR101594292B1 (ko) | 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터판독가능 저장매체 | |
JP4530277B2 (ja) | 画像再生装置、画像再生方法、プログラムおよび記録媒体 | |
JP4192418B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
JP2010020758A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2004173010A (ja) | 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体 | |
JP4427001B2 (ja) | 画像処理装置、画像処理プログラム | |
JP2006238163A5 (ja) | ||
KR20150081153A (ko) | 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체 | |
JP2022179514A (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
EP2161938B1 (en) | Imaging apparatus, imaging method and computer readable recording medium storing programs for executing the imaging method | |
US7545432B2 (en) | Automatic focusing method and digital photographing apparatus using the same | |
JP4556319B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
JP6108680B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
KR101445613B1 (ko) | 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치 | |
US20230196529A1 (en) | Image processing apparatus for capturing invisible light image, image processing method, and image capture apparatus | |
KR101605769B1 (ko) | 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치 | |
KR101750986B1 (ko) | 영상 처리 장치, 방법, 및 컴퓨터 판독가능 저장매체 | |
JP2003230022A (ja) | 画像処理装置および方法、並びに記録媒体 | |
JP5284183B2 (ja) | 画像処理装置およびその方法 | |
CN116962889A (zh) | 成像装置及其控制方法以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080826 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080908 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131003 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |