JP3368012B2 - 画像データ処理装置 - Google Patents
画像データ処理装置Info
- Publication number
- JP3368012B2 JP3368012B2 JP27194093A JP27194093A JP3368012B2 JP 3368012 B2 JP3368012 B2 JP 3368012B2 JP 27194093 A JP27194093 A JP 27194093A JP 27194093 A JP27194093 A JP 27194093A JP 3368012 B2 JP3368012 B2 JP 3368012B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- dynamic range
- image
- data processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 3
- 229960001716 benzalkonium Drugs 0.000 claims 1
- CYDRXTMLKJDRQH-UHFFFAOYSA-N benzododecinium Chemical compound CCCCCCCCCCCC[N+](C)(C)CC1=CC=CC=C1 CYDRXTMLKJDRQH-UHFFFAOYSA-N 0.000 claims 1
- 230000006835 compression Effects 0.000 description 19
- 238000007906 compression Methods 0.000 description 19
- 230000015572 biosynthetic process Effects 0.000 description 15
- 239000002131 composite material Substances 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 239000000203 mixture Substances 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、特にダイナミックレン
ジを広くするようにした画像データ処理装置に関するも
のである。
ジを広くするようにした画像データ処理装置に関するも
のである。
【０００２】
【従来の技術】近年、テレビジョンカメラ、電子スチル
カメラ等の画像の取り込み手段として、ＣＣＤ撮像素子
を始めとする固体撮像素子が多く使用されている。とこ
ろが、この固体撮像素子のダイナミックレンジは銀塩等
に比べて狭く、撮影条件によっては画質が著しく劣化す
る。
カメラ等の画像の取り込み手段として、ＣＣＤ撮像素子
を始めとする固体撮像素子が多く使用されている。とこ
ろが、この固体撮像素子のダイナミックレンジは銀塩等
に比べて狭く、撮影条件によっては画質が著しく劣化す
る。
【０００３】そこで、固体撮像素子のダイナミックレン
ジ拡大の方法として、同一シーンにおける露光量の異な
る複数枚の画像を撮影し、この複数の画像データを何ら
かの演算で合成してダイナミックレンジの拡大された画
像を得る手法が提案されており、このようにして得られ
た画像データをモニタ等の出力装置で出力することが考
えられている。
ジ拡大の方法として、同一シーンにおける露光量の異な
る複数枚の画像を撮影し、この複数の画像データを何ら
かの演算で合成してダイナミックレンジの拡大された画
像を得る手法が提案されており、このようにして得られ
た画像データをモニタ等の出力装置で出力することが考
えられている。
【０００４】
【発明が解決しようとする課題】しかしながら、上記の
ようにダイナミックレンジの拡大された画像データをモ
ニタやプリンタなどの出力装置で出力する場合、出力装
置のダイナミックレンジ幅が合成画像のダイナミックレ
ンジ幅より狭いことがある。このような場合、合成画像
のダイナミックレンジ幅を出力装置のダイナミックレン
ジ幅や出力特性に合わせて適切な圧縮操作を行わなけれ
ばならないが、この圧縮操作を適当に行うと、画像のコ
ントラストが落ちたり、明るさのバランスが崩れ、合成
処理を行う前の適正露光で撮られた標準画像に比べて非
常に違和感のある画像となってしまう。また、圧縮した
結果として良好な画像を得るまでに何回も圧縮操作を行
って画像を評価する必要があるという問題点があった。
ようにダイナミックレンジの拡大された画像データをモ
ニタやプリンタなどの出力装置で出力する場合、出力装
置のダイナミックレンジ幅が合成画像のダイナミックレ
ンジ幅より狭いことがある。このような場合、合成画像
のダイナミックレンジ幅を出力装置のダイナミックレン
ジ幅や出力特性に合わせて適切な圧縮操作を行わなけれ
ばならないが、この圧縮操作を適当に行うと、画像のコ
ントラストが落ちたり、明るさのバランスが崩れ、合成
処理を行う前の適正露光で撮られた標準画像に比べて非
常に違和感のある画像となってしまう。また、圧縮した
結果として良好な画像を得るまでに何回も圧縮操作を行
って画像を評価する必要があるという問題点があった。
【０００５】本発明は、上記のような問題点に着目して
なされたもので、容易にダイナミックレンジの拡大され
た良好な画像が得られる画像データ処理装置を提供する
ことを目的としている。
なされたもので、容易にダイナミックレンジの拡大され
た良好な画像が得られる画像データ処理装置を提供する
ことを目的としている。
【０００６】
【課題を解決するための手段】前記目的を達成するた
め、本発明では、画像データ処理装置を次の（１）ない
し（９）のとおりに構成する。 （１）出力装置へ出力する画像データのダイナミックレ
ンジ幅を前記出力装置のダイナミックレンジ幅に合わせ
る処理手段と、前記画像データのダイナミックレンジを
変化させるための操作手段とを備えた画像データ処理装
置。 （２）画像データは、ダイナミックレンジ拡大手段によ
りダイナミックレンジを拡大した画像データである前記
（１）記載の画像データ処理装置。 （３）画像データを得るための撮像手段を備えている前
記（１）記載の画像データ処理装置。 （４）ダイナミックレンジ拡大手段は、同一シーンにお
ける異なる露光量の複数枚の画像データを合成する前記
（２）記載の画像データ処理装置。 （５）前記ダイナミックレンジ拡大手段は、第１の露光
量で撮像された第１の画像データと前記第１の露光量と
は異なる第２の露光量で撮像された第２の画像データの
両画像データから両画像データ共輝度レベルが所定範囲
内の共通領域を抽出し、この共通領域の輝度レベルを一
致させた後、前記第１の画像データにおける輝度レベル
が所定範囲外の領域の信号を、対応する前記第２の画像
データの輝度レベルの信号と置換することによって、１
枚の広ダイナミックレンジ画像を合成する前記（２）記
載の画像データ処理装置。 （６）撮像手段は、複数の撮像素子と、撮像光の光路中
にあって前記各撮像素子に像を分ける分光手段と、前記
各撮像素子の露光量を変化させる露光制御手段とを備え
ている前記（３）記載の画像データ処理装置。 （７）ダイナミックレンジ拡大手段で合成した情報を基
に画像データのダイナミックレンジ幅を出力手段のダイ
ナミックレンジ幅あるいは出力特性に合わせる前記
（４）記載の画像データ処理装置。 （８）ダイナミックレンジ拡大手段で合成した情報を基
に画像データのダイナミックレンジ幅を出力手段のダイ
ナミックレンジ幅あるいは出力特性に合わせる 前記
（５）記載の画像データ処理装置。 （９）前記画像データのダイナミックレンジは、色空間
上で変化させられる前記（１）記載の画像データ処理装
置。
め、本発明では、画像データ処理装置を次の（１）ない
し（９）のとおりに構成する。 （１）出力装置へ出力する画像データのダイナミックレ
ンジ幅を前記出力装置のダイナミックレンジ幅に合わせ
る処理手段と、前記画像データのダイナミックレンジを
変化させるための操作手段とを備えた画像データ処理装
置。 （２）画像データは、ダイナミックレンジ拡大手段によ
りダイナミックレンジを拡大した画像データである前記
（１）記載の画像データ処理装置。 （３）画像データを得るための撮像手段を備えている前
記（１）記載の画像データ処理装置。 （４）ダイナミックレンジ拡大手段は、同一シーンにお
ける異なる露光量の複数枚の画像データを合成する前記
（２）記載の画像データ処理装置。 （５）前記ダイナミックレンジ拡大手段は、第１の露光
量で撮像された第１の画像データと前記第１の露光量と
は異なる第２の露光量で撮像された第２の画像データの
両画像データから両画像データ共輝度レベルが所定範囲
内の共通領域を抽出し、この共通領域の輝度レベルを一
致させた後、前記第１の画像データにおける輝度レベル
が所定範囲外の領域の信号を、対応する前記第２の画像
データの輝度レベルの信号と置換することによって、１
枚の広ダイナミックレンジ画像を合成する前記（２）記
載の画像データ処理装置。 （６）撮像手段は、複数の撮像素子と、撮像光の光路中
にあって前記各撮像素子に像を分ける分光手段と、前記
各撮像素子の露光量を変化させる露光制御手段とを備え
ている前記（３）記載の画像データ処理装置。 （７）ダイナミックレンジ拡大手段で合成した情報を基
に画像データのダイナミックレンジ幅を出力手段のダイ
ナミックレンジ幅あるいは出力特性に合わせる前記
（４）記載の画像データ処理装置。 （８）ダイナミックレンジ拡大手段で合成した情報を基
に画像データのダイナミックレンジ幅を出力手段のダイ
ナミックレンジ幅あるいは出力特性に合わせる 前記
（５）記載の画像データ処理装置。 （９）前記画像データのダイナミックレンジは、色空間
上で変化させられる前記（１）記載の画像データ処理装
置。
【０００７】
【０００８】
【０００９】
【００１０】
【００１１】
【００１２】
【００１３】
【００１４】
【００１５】
【００１６】
【００１７】
【実施例】図１は本発明の第１の実施例の構成を示すブ
ロック図である。この図１の画像データ処理装置は、撮
像手段ａのブロックと、画像合成手段ｂのブロックから
なり、出力装置ｃからダイナミックレンジの拡大された
画像データを出力できるように構成されている。
ロック図である。この図１の画像データ処理装置は、撮
像手段ａのブロックと、画像合成手段ｂのブロックから
なり、出力装置ｃからダイナミックレンジの拡大された
画像データを出力できるように構成されている。
【００１８】図１において、１は被写体からの撮像光が
入射するレンズ、２は光学ローパスフィルタ、３はＣＣ
Ｄ等の撮像素子、４は撮像素子３の動作を制御する撮像
素子制御回路、５は撮像素子３からの画像信号をデジタ
ル信号に変換するＡ／Ｄ変換器、６は画像合成のための
計算機で、操作手段ｄによりダイナミックレンジを拡大
する時のダイナミックレンジ拡大手段を構成している。
７はその広ダイナミックレンジ画像を合成する時の合成
情報を記憶するメモリ（記憶手段）、８はデータ処理回
路で、出力画像データのダイナミックレンジ幅を出力装
置ｃのダイナミックレンジ幅あるいは出力特性に合わせ
る制御手段を構成している。２０は色フィルタである。
入射するレンズ、２は光学ローパスフィルタ、３はＣＣ
Ｄ等の撮像素子、４は撮像素子３の動作を制御する撮像
素子制御回路、５は撮像素子３からの画像信号をデジタ
ル信号に変換するＡ／Ｄ変換器、６は画像合成のための
計算機で、操作手段ｄによりダイナミックレンジを拡大
する時のダイナミックレンジ拡大手段を構成している。
７はその広ダイナミックレンジ画像を合成する時の合成
情報を記憶するメモリ（記憶手段）、８はデータ処理回
路で、出力画像データのダイナミックレンジ幅を出力装
置ｃのダイナミックレンジ幅あるいは出力特性に合わせ
る制御手段を構成している。２０は色フィルタである。
【００１９】次に動作を説明すると、撮像手段ａによる
被写体像（不図示）は、レンズ１、光学ローパスフィル
タ２及び色フィルタ２０を通って撮像素子３に投影され
る。ここで、撮像素子制御回路４は１回の撮像動作で同
一シーンにおける露光量（絞り値、蓄積時間等）の異な
る画像信号を順次複数枚得るように構成され、更にこれ
らの複数の画像信号をメモリ７に記憶する。その後、メ
モリ７から読み出して計算機６で１枚の広ダイナミック
レンジ画像を合成すると同時に、合成時に必要とした画
素の値等の合成情報をメモリ７に記憶させておく。ま
た、データ処理回路８は、使用者が出力装置ｃの特性に
合わせて合成画像データのダイナミックレンジ幅の圧縮
を要求した時に、上記合成時に記憶しておいた合成情報
を基に圧縮操作を行ってデータを出力し、使用者の要求
がない時には合成画像データに合成情報をつけ加えて出
力するか、もしくはそのまま出力する。
被写体像（不図示）は、レンズ１、光学ローパスフィル
タ２及び色フィルタ２０を通って撮像素子３に投影され
る。ここで、撮像素子制御回路４は１回の撮像動作で同
一シーンにおける露光量（絞り値、蓄積時間等）の異な
る画像信号を順次複数枚得るように構成され、更にこれ
らの複数の画像信号をメモリ７に記憶する。その後、メ
モリ７から読み出して計算機６で１枚の広ダイナミック
レンジ画像を合成すると同時に、合成時に必要とした画
素の値等の合成情報をメモリ７に記憶させておく。ま
た、データ処理回路８は、使用者が出力装置ｃの特性に
合わせて合成画像データのダイナミックレンジ幅の圧縮
を要求した時に、上記合成時に記憶しておいた合成情報
を基に圧縮操作を行ってデータを出力し、使用者の要求
がない時には合成画像データに合成情報をつけ加えて出
力するか、もしくはそのまま出力する。
【００２０】次に図１の計算機６における合成アルゴリ
ズムを図２の概念図により説明する。図２において、９
は適正（標準）露光量で撮像素子３から得られた画像信
号をＡ／Ｄ変換器５で８ビットデータとしたものを棒グ
ラフで表した画像データ（ノーマル画像データと呼ぶ）
で、同様に、１０，１０′は露出を多くして得られた画
像データ（ブライト画像データと呼ぶ）、１１，１１′
は露出を少なくして得られた画像データ（ダーク画像デ
ータと呼ぶ）、１２は合成によりダイナミックレンジが
拡大された画像データ、１３，１３′、１４，１４′は
任意の画素の値を表す点である。
ズムを図２の概念図により説明する。図２において、９
は適正（標準）露光量で撮像素子３から得られた画像信
号をＡ／Ｄ変換器５で８ビットデータとしたものを棒グ
ラフで表した画像データ（ノーマル画像データと呼ぶ）
で、同様に、１０，１０′は露出を多くして得られた画
像データ（ブライト画像データと呼ぶ）、１１，１１′
は露出を少なくして得られた画像データ（ダーク画像デ
ータと呼ぶ）、１２は合成によりダイナミックレンジが
拡大された画像データ、１３，１３′、１４，１４′は
任意の画素の値を表す点である。
【００２１】以下図２に従って合成アルゴリズムを説明
する。ここで、各画像データは図１のＡ／Ｄ変換器５で
８ビットデータに変換されていると仮定し、よって画素
の値として０〜２５５の値をもっているものとする。ま
ず、ノーマル画像９とブライト画像１０の合成を考え
る。異なる輝度レベル、つまり被写体の光量の変化に対
する撮像素子３の出力が異なる画像を合成する場合、互
いの画像データの輝度レベルをそろえる必要がある。こ
のため、ノーマル画像９とブライト画像１０の両方でつ
ぶれのない画素を基準点１３とすると、ブライト画像１
０はノーマル画像９に比べて露光量が多いので、この点
の値はノーマル画像９よりも大きい。よって図２の１
３，１３′のような位置関係にある。そこで、両画像デ
ータの輝度レベルを同じにするため、この基準点１３，
１３′の値を同じにする。そうすると、ブライト画像１
０が全体的にスライドされ、座標上でブライト画像１
０′の位置となる。
する。ここで、各画像データは図１のＡ／Ｄ変換器５で
８ビットデータに変換されていると仮定し、よって画素
の値として０〜２５５の値をもっているものとする。ま
ず、ノーマル画像９とブライト画像１０の合成を考え
る。異なる輝度レベル、つまり被写体の光量の変化に対
する撮像素子３の出力が異なる画像を合成する場合、互
いの画像データの輝度レベルをそろえる必要がある。こ
のため、ノーマル画像９とブライト画像１０の両方でつ
ぶれのない画素を基準点１３とすると、ブライト画像１
０はノーマル画像９に比べて露光量が多いので、この点
の値はノーマル画像９よりも大きい。よって図２の１
３，１３′のような位置関係にある。そこで、両画像デ
ータの輝度レベルを同じにするため、この基準点１３，
１３′の値を同じにする。そうすると、ブライト画像１
０が全体的にスライドされ、座標上でブライト画像１
０′の位置となる。
【００２２】同様に、ノーマル画像９とダーク画像１１
の合成においても、両方の画像データの輝度レベルを合
わせるため、両画像ともつぶれのない画素を基準点１４
とすると、ダーク画像１１はノーマル画像９に比べて露
光量が少ないので、この点の値はノーマル画像よりも小
さい。よって図の１４，１４′のような関係にあり、両
画像データの輝度レベルを同じにするためこの基準点１
４，１４′の値を同じにすると、ダーク画像１１は全体
的にスライドされるので、座標上でダーク画像１１′の
位置となる。
の合成においても、両方の画像データの輝度レベルを合
わせるため、両画像ともつぶれのない画素を基準点１４
とすると、ダーク画像１１はノーマル画像９に比べて露
光量が少ないので、この点の値はノーマル画像よりも小
さい。よって図の１４，１４′のような関係にあり、両
画像データの輝度レベルを同じにするためこの基準点１
４，１４′の値を同じにすると、ダーク画像１１は全体
的にスライドされるので、座標上でダーク画像１１′の
位置となる。
【００２３】すなわち、標準露光の標準画像データとそ
れと異なる露光の非標準画像データの両画像データから
両画像データ共輝度レベルが所定範囲内の共通領域を抽
出し、この共通領域の輝度レベルを一致させた後、前記
標準画像の輝度レベルが所定範囲外の領域に対応する前
記非標準画像の輝度レベルが所定範囲内の領域と置換す
ることによって、１枚の広ダイナミックレンジ画像を合
成する。
れと異なる露光の非標準画像データの両画像データから
両画像データ共輝度レベルが所定範囲内の共通領域を抽
出し、この共通領域の輝度レベルを一致させた後、前記
標準画像の輝度レベルが所定範囲外の領域に対応する前
記非標準画像の輝度レベルが所定範囲内の領域と置換す
ることによって、１枚の広ダイナミックレンジ画像を合
成する。
【００２４】以上のような操作により、各画像の輝度レ
ベルが同じとなる。その後、ノーマル画像９の０〜Ｂ
（基準点１３）までをブライト画像１０′のＡ〜Ｂ（基
準点１３）と取り替え、ノーマル画像９のＣ（基準点１
４）〜２５５までをダーク画像１１′のＣ（基準点１
４）〜Ｄと取り替える。また、同時に出力装置ｃに合わ
せて画像データを圧縮するための目安として、合成時に
基準となった画素の値（Ａ，０，Ｂ，Ｃ，２５５，Ｄ）
をメモリ７に記憶させる。このような操作で３枚の画像
データを合成すれば、ダイナミックレンジの拡大された
画像データ１２が得られる。
ベルが同じとなる。その後、ノーマル画像９の０〜Ｂ
（基準点１３）までをブライト画像１０′のＡ〜Ｂ（基
準点１３）と取り替え、ノーマル画像９のＣ（基準点１
４）〜２５５までをダーク画像１１′のＣ（基準点１
４）〜Ｄと取り替える。また、同時に出力装置ｃに合わ
せて画像データを圧縮するための目安として、合成時に
基準となった画素の値（Ａ，０，Ｂ，Ｃ，２５５，Ｄ）
をメモリ７に記憶させる。このような操作で３枚の画像
データを合成すれば、ダイナミックレンジの拡大された
画像データ１２が得られる。
【００２５】次に図３を用いて図２の操作の計算機６上
での計算法を説明する。図３において、１５はノーマル
画像データの任意の領域の画素の値を表したもの、１６
はブライト画像データの領域１５と同じ領域の画素の値
を表したもの、１７は合成後の領域１５と１６を合成し
た値を表したものである。
での計算法を説明する。図３において、１５はノーマル
画像データの任意の領域の画素の値を表したもの、１６
はブライト画像データの領域１５と同じ領域の画素の値
を表したもの、１７は合成後の領域１５と１６を合成し
た値を表したものである。
【００２６】まず、ノーマル画像とブライト画像の輝度
レベルを同じにするため、両画像データともつぶれのな
い画素、図２における基準点１３を設定する。ここで、
基準点１３の値としてノーマル画像を１００とすると、
ブライト画像の基準点１３′は２００となっている。そ
して、輝度レベルを合わせるためブライト画像の全ての
画素値から２００−１００である１００を減算し、スラ
イドさせる。その後、ノーマル画像の黒つぶれとなって
いる領域（図３の例では、ノーマル画像１５の画素値が
０の領域）をブライト画像の値で補充することで合成を
行う。以上、ノーマル画像とブライト画像の合成を説明
したが、ノーマル画像とダーク画像の合成の場合も同様
である。
レベルを同じにするため、両画像データともつぶれのな
い画素、図２における基準点１３を設定する。ここで、
基準点１３の値としてノーマル画像を１００とすると、
ブライト画像の基準点１３′は２００となっている。そ
して、輝度レベルを合わせるためブライト画像の全ての
画素値から２００−１００である１００を減算し、スラ
イドさせる。その後、ノーマル画像の黒つぶれとなって
いる領域（図３の例では、ノーマル画像１５の画素値が
０の領域）をブライト画像の値で補充することで合成を
行う。以上、ノーマル画像とブライト画像の合成を説明
したが、ノーマル画像とダーク画像の合成の場合も同様
である。
【００２７】さて、上記のようにしてダイナミックレン
ジ拡大処理を行った画像データを出力装置ｃで出力する
訳であるが、出力装置ｃのダイナミックレンジ幅が合成
画像データより狭い場合があり、このような場合、合成
画像データのダイナミックレンジ幅を圧縮して出力を行
わなければならない。図４はダイナミックレンジの広い
画像データの圧縮例を示す図で、画像データを知覚色空
間上で表したものである。図４において、３０は本画像
合成処理でダイナミックレンジの拡大された合成画像デ
ータ、３１は画像データ３０を任意の範囲で圧縮したも
のを示しており、図４の（ｅ）に各座標の定義を示す。
また、図４の（ａ）は合成画像データ３０を線形的に圧
縮したもの、（ｂ）は明るい部分を強調して圧縮したも
の、（ｃ）は暗い部分を強調して圧縮したもの、（ｄ）
は明るい部分をカットして圧縮したものを示し、このよ
うに自由にダイナミックレンジ幅を変えて出力できるこ
とが望ましい。そこで以下、図５を用いてダイナミック
レンジの拡大された画像データを出力装置ｃの特性に合
わせて圧縮を行う、データ処理回路８の動作を説明す
る。
ジ拡大処理を行った画像データを出力装置ｃで出力する
訳であるが、出力装置ｃのダイナミックレンジ幅が合成
画像データより狭い場合があり、このような場合、合成
画像データのダイナミックレンジ幅を圧縮して出力を行
わなければならない。図４はダイナミックレンジの広い
画像データの圧縮例を示す図で、画像データを知覚色空
間上で表したものである。図４において、３０は本画像
合成処理でダイナミックレンジの拡大された合成画像デ
ータ、３１は画像データ３０を任意の範囲で圧縮したも
のを示しており、図４の（ｅ）に各座標の定義を示す。
また、図４の（ａ）は合成画像データ３０を線形的に圧
縮したもの、（ｂ）は明るい部分を強調して圧縮したも
の、（ｃ）は暗い部分を強調して圧縮したもの、（ｄ）
は明るい部分をカットして圧縮したものを示し、このよ
うに自由にダイナミックレンジ幅を変えて出力できるこ
とが望ましい。そこで以下、図５を用いてダイナミック
レンジの拡大された画像データを出力装置ｃの特性に合
わせて圧縮を行う、データ処理回路８の動作を説明す
る。
【００２８】図５において、２４は本合成アルゴリズム
を用いてダイナミックレンジを拡大した画像データ、２
５及び２９は画像データ２４を８ｂｉｔデータに圧縮し
た画像データ、２６〜２８は漸近線である。ここで例と
して、合成画像データのダイナミックレンジは８ｂｉｔ
幅以上の値をもち、出力装置ｃのダイナミックレンジ幅
は８ｂｉｔであるものについて説明する。
を用いてダイナミックレンジを拡大した画像データ、２
５及び２９は画像データ２４を８ｂｉｔデータに圧縮し
た画像データ、２６〜２８は漸近線である。ここで例と
して、合成画像データのダイナミックレンジは８ｂｉｔ
幅以上の値をもち、出力装置ｃのダイナミックレンジ幅
は８ｂｉｔであるものについて説明する。
【００２９】図５の（ａ）の画像データ２４は図２の合
成画像データ１２と同じであり、画素の値として８ｂｉ
ｔ以上の幅を持っている。この画像データ２４におい
て、Ａ〜Ｂ間はブライト画像から、Ｃ〜Ｄ間はダーク画
像から補充したものである。ここで、出力装置ｃのダイ
ナミックレンジ幅が８ｂｉｔ幅であると仮定し、これに
合わせて圧縮を行うには、もとの標準画像が図５の
（ａ）のグラフ上で０〜２５５間に値するので、Ａ〜Ｂ
間の画像データを０〜Ｂ間に、Ｃ〜Ｄ間の画像データを
Ｃ〜２５５間にそれぞれ圧縮を行えば、適正露光の画像
データの輝度レベルとほぼ同じで、かつ図２のノーマル
画像９よりもダイナミックレンジの拡大された画像を得
ることができる。そこで、合成時にメモリ７に記憶して
ある合成情報（Ａ，Ｂ，Ｃ，Ｄ，０，２５５）の値を用
いて行う。以下、図５の（ａ）で述べた圧縮操作を計算
機上で線形的に行う場合の計算式の例を示す。
成画像データ１２と同じであり、画素の値として８ｂｉ
ｔ以上の幅を持っている。この画像データ２４におい
て、Ａ〜Ｂ間はブライト画像から、Ｃ〜Ｄ間はダーク画
像から補充したものである。ここで、出力装置ｃのダイ
ナミックレンジ幅が８ｂｉｔ幅であると仮定し、これに
合わせて圧縮を行うには、もとの標準画像が図５の
（ａ）のグラフ上で０〜２５５間に値するので、Ａ〜Ｂ
間の画像データを０〜Ｂ間に、Ｃ〜Ｄ間の画像データを
Ｃ〜２５５間にそれぞれ圧縮を行えば、適正露光の画像
データの輝度レベルとほぼ同じで、かつ図２のノーマル
画像９よりもダイナミックレンジの拡大された画像を得
ることができる。そこで、合成時にメモリ７に記憶して
ある合成情報（Ａ，Ｂ，Ｃ，Ｄ，０，２５５）の値を用
いて行う。以下、図５の（ａ）で述べた圧縮操作を計算
機上で線形的に行う場合の計算式の例を示す。
【００３０】（１）（Ａ〜Ｂ）→（０〜Ｂ）
NewPix = ( B-0 )÷( B-A ) × ( OldPix-A ) + 0
（２）（Ｂ〜Ｃ）→（Ｂ〜Ｃ）
そのまま
（３）（Ｃ〜Ｄ）→（Ｃ〜２５５）
NewPix = ( 255-C )÷( D-C ) × ( OldPix-C ) + C
以上、線形式を用いて圧縮を行ったが、図５の（ｂ）の
ように、直線２６〜２８を漸近線とするような曲線２９
を作り出し、非線形的に圧縮を行えば、光の強さに対す
る出力値が滑らかになるので、より自然な画像が得られ
る。また、曲線を作り出すことが困難な場合は、短い直
線を組み合わせて曲線２９に近似させて圧縮を行えば良
い。また、これら圧縮操作を本撮像装置以外でも行える
ことが望ましい。そのような場合には、図６のように、
メモリ７の圧縮情報（合成情報）をつけ加えることで、
コンピュータなどで上述したような圧縮操作を行うこと
が可能となる。
ように、直線２６〜２８を漸近線とするような曲線２９
を作り出し、非線形的に圧縮を行えば、光の強さに対す
る出力値が滑らかになるので、より自然な画像が得られ
る。また、曲線を作り出すことが困難な場合は、短い直
線を組み合わせて曲線２９に近似させて圧縮を行えば良
い。また、これら圧縮操作を本撮像装置以外でも行える
ことが望ましい。そのような場合には、図６のように、
メモリ７の圧縮情報（合成情報）をつけ加えることで、
コンピュータなどで上述したような圧縮操作を行うこと
が可能となる。
【００３１】このように、各画像データの輝度レベルを
合わせてから合成を行うことにより、疑似輪郭のない輝
度バランスがとれたダイナミックレンジの広い自然な合
成画像が得られ、かつ複雑な計算を必要としないので、
合成時間が短く、動画にも適用できる。
合わせてから合成を行うことにより、疑似輪郭のない輝
度バランスがとれたダイナミックレンジの広い自然な合
成画像が得られ、かつ複雑な計算を必要としないので、
合成時間が短く、動画にも適用できる。
【００３２】また、ダイナミックレンジを拡大する時に
拡大の目安となったＡ，０，Ｂ（基準点），Ｃ（基準
点），２５５，Ｄの値等を記憶しておくことで、その座
標を目安として出力装置ｃのダイナミックレンジ幅に合
わせて圧縮を簡単に行えると共に、１枚の広ダイナミッ
クレンジ合成画像から使用者の意志により自由にダイナ
ミックレンジ幅を変えて出力することが可能になる。
拡大の目安となったＡ，０，Ｂ（基準点），Ｃ（基準
点），２５５，Ｄの値等を記憶しておくことで、その座
標を目安として出力装置ｃのダイナミックレンジ幅に合
わせて圧縮を簡単に行えると共に、１枚の広ダイナミッ
クレンジ合成画像から使用者の意志により自由にダイナ
ミックレンジ幅を変えて出力することが可能になる。
【００３３】なお、上記合成する画像データの数は３枚
と限らず、２枚以上なら何枚でも差し支えない。
と限らず、２枚以上なら何枚でも差し支えない。
【００３４】図７は本発明の第２の実施例の構成を示す
ブロック図であり、図１と同一符号は同一構成部分を示
している。図７において、１８は第１の撮像素子、３は
第２の撮像素子、１９は第３の撮像素子、２０は色フィ
ルタ、２１は色信号を輝度信号と色差信号に分ける色差
信号生成回路、８は色差信号と輝度信号からＲＧＢ信号
を作り出す信号処理回路、２３はレンズ１からの像を複
数の撮像素子３，１８，１９に分けるプリズム（分光手
段）である。
ブロック図であり、図１と同一符号は同一構成部分を示
している。図７において、１８は第１の撮像素子、３は
第２の撮像素子、１９は第３の撮像素子、２０は色フィ
ルタ、２１は色信号を輝度信号と色差信号に分ける色差
信号生成回路、８は色差信号と輝度信号からＲＧＢ信号
を作り出す信号処理回路、２３はレンズ１からの像を複
数の撮像素子３，１８，１９に分けるプリズム（分光手
段）である。
【００３５】図７に従って動作を説明すると、被写体像
（不図示）はレンズ１及びプリズム２３を通り、さらに
光学ローパスフィルタ２及び色フィルタ２０を通って撮
像素子１８，３，１９に投影される。ここで、撮像素子
制御回路４により１回の撮影動作で、第１の撮像素子１
８からは適正露光量で色信号、第２の撮像素子３からは
露光を多くした輝度信号（以下ブライト輝度信号と呼
ぶ）、第３の撮像素子１９からは露光を少なくした輝度
信号（以下ダーク輝度信号と呼ぶ）を得る。その方法と
しては各撮像素子の前面に互いに透過率の異なるＮＤフ
ィルタを設けるか各撮像素子の蓄積時間を異ならせる。
こうして得られた各画像信号は、Ａ／Ｄ変換器５でデジ
タル信号に変換される。
（不図示）はレンズ１及びプリズム２３を通り、さらに
光学ローパスフィルタ２及び色フィルタ２０を通って撮
像素子１８，３，１９に投影される。ここで、撮像素子
制御回路４により１回の撮影動作で、第１の撮像素子１
８からは適正露光量で色信号、第２の撮像素子３からは
露光を多くした輝度信号（以下ブライト輝度信号と呼
ぶ）、第３の撮像素子１９からは露光を少なくした輝度
信号（以下ダーク輝度信号と呼ぶ）を得る。その方法と
しては各撮像素子の前面に互いに透過率の異なるＮＤフ
ィルタを設けるか各撮像素子の蓄積時間を異ならせる。
こうして得られた各画像信号は、Ａ／Ｄ変換器５でデジ
タル信号に変換される。
【００３６】次に、画像データ合成手段のブロックの説
明に入るが、合成アルゴリズムは前述の第１の実施例と
同じである。つまり、露光量の異なる複数枚の画像デー
タの輝度レベルを適正露光量で撮った画像データの輝度
レベルに合わせて合成するというものである。
明に入るが、合成アルゴリズムは前述の第１の実施例と
同じである。つまり、露光量の異なる複数枚の画像デー
タの輝度レベルを適正露光量で撮った画像データの輝度
レベルに合わせて合成するというものである。
【００３７】撮像素子１８からの色信号は、色差信号生
成回路２１に入り、ここで輝度信号Ｙｎ（以下ノーマル
輝度信号と呼ぶ）及び色差信号Ｒ−Ｙｎ，Ｂ−Ｙｎが作
られる。このノーマル輝度信号Ｙｎと撮像素子３からの
ブライト輝度信号Ｙｂの輝度レベルの差（図２における
ノーマル画像９の基準点１３とブライト画像１０の基準
点１３′との画素値の差）を計算機６で計算し、メモリ
７に記憶する。同様に、ノーマル輝度信号Ｙｎと撮像素
子１９からのダーク輝度信号Ｙｄの輝度レベルの差も記
憶する。
成回路２１に入り、ここで輝度信号Ｙｎ（以下ノーマル
輝度信号と呼ぶ）及び色差信号Ｒ−Ｙｎ，Ｂ−Ｙｎが作
られる。このノーマル輝度信号Ｙｎと撮像素子３からの
ブライト輝度信号Ｙｂの輝度レベルの差（図２における
ノーマル画像９の基準点１３とブライト画像１０の基準
点１３′との画素値の差）を計算機６で計算し、メモリ
７に記憶する。同様に、ノーマル輝度信号Ｙｎと撮像素
子１９からのダーク輝度信号Ｙｄの輝度レベルの差も記
憶する。
【００３８】上記のようにして、一旦輝度レベルの差を
記憶しておくことにより、次回からブライト輝度信号か
らこの差を引くだけで、また、ダーク輝度信号にこの差
を加えるだけで簡単にノーマル輝度信号の輝度レベルに
合わせることが可能となる（図２におけるブライト画像
１０′及びダーク画像１１′）。そして、、この輝度レ
ベルを合わせた信号を計算機６で図２のデータ１２のよ
うに合成を行い、データ処理回路８で合成画像をノーマ
ル画像のビット幅（今回の例では８ｂｉｔ）に輝度レベ
ルが相違しないように圧縮を行い、色差信号生成回路２
１からの色差信号と組み合わせれば、ダイナミックレン
ジの拡大された画像を合成することができる。その際、
データ処理回路８は第１の実施例と同じ動作をする。
記憶しておくことにより、次回からブライト輝度信号か
らこの差を引くだけで、また、ダーク輝度信号にこの差
を加えるだけで簡単にノーマル輝度信号の輝度レベルに
合わせることが可能となる（図２におけるブライト画像
１０′及びダーク画像１１′）。そして、、この輝度レ
ベルを合わせた信号を計算機６で図２のデータ１２のよ
うに合成を行い、データ処理回路８で合成画像をノーマ
ル画像のビット幅（今回の例では８ｂｉｔ）に輝度レベ
ルが相違しないように圧縮を行い、色差信号生成回路２
１からの色差信号と組み合わせれば、ダイナミックレン
ジの拡大された画像を合成することができる。その際、
データ処理回路８は第１の実施例と同じ動作をする。
【００３９】以上のような構成で合成を行うことによ
り、合成によって疑似輪郭となってしまうのを防ぐこと
ができる。また、複数の撮像素子を用いて露光量の異な
る複数枚の画像データを同時に取り込み、かつ一旦各輝
度信号の輝度レベルの差を記憶しておけば、次回からは
簡単な演算で合成が可能となるので、動きのある被写体
やムービーにも適用できる。
り、合成によって疑似輪郭となってしまうのを防ぐこと
ができる。また、複数の撮像素子を用いて露光量の異な
る複数枚の画像データを同時に取り込み、かつ一旦各輝
度信号の輝度レベルの差を記憶しておけば、次回からは
簡単な演算で合成が可能となるので、動きのある被写体
やムービーにも適用できる。
【００４０】なお、上述の各実施例ではいずれも撮像ブ
ロックと画像データ合成ブロックとが合体化された画像
データ処理装置として説明したが、両ブロックが分離さ
れていても本発明の主旨に沿うものであることは明白で
ある。
ロックと画像データ合成ブロックとが合体化された画像
データ処理装置として説明したが、両ブロックが分離さ
れていても本発明の主旨に沿うものであることは明白で
ある。
【００４１】
【発明の効果】以上述べたように、本発明によれば、例
えば露光量の異なる複数の画像データを合成して１枚の
画像データを得る時に、適正露光で撮った標準画像デー
タの輝度レベルに、他の露光量で撮った非標準画像デー
タの輝度レベルを合わせてから合成を行うことにより、
合成後の画像データの疑似輪郭をなくし、また輝度バラ
ンスの崩れた不自然な画像となることを防ぐことができ
るので、ダイナミックレンジの広い自然な画像を合成す
ることができる。また、合成アルゴリズムが単純で、従
来のように合成における領域判別などの複雑な計算を必
要としないので、合成時間が早く動画にも適用できる。
えば露光量の異なる複数の画像データを合成して１枚の
画像データを得る時に、適正露光で撮った標準画像デー
タの輝度レベルに、他の露光量で撮った非標準画像デー
タの輝度レベルを合わせてから合成を行うことにより、
合成後の画像データの疑似輪郭をなくし、また輝度バラ
ンスの崩れた不自然な画像となることを防ぐことができ
るので、ダイナミックレンジの広い自然な画像を合成す
ることができる。また、合成アルゴリズムが単純で、従
来のように合成における領域判別などの複雑な計算を必
要としないので、合成時間が早く動画にも適用できる。
【００４２】また、合成時に基準となった画素の値など
の合成情報をメモリに記憶させておくことにより、ダイ
ナミックレンジの拡大された１枚の画像データを、出力
装置のダイナミックレンジ幅や出力特性に合わせて簡単
に圧縮でき、また使用者の意志によって自由にダイナミ
ックレンジの幅を変えて出力することが可能なので、様
々な出力装置において標準画像よりダイナミックレンジ
の拡大された良好な画像を出力することができる。
の合成情報をメモリに記憶させておくことにより、ダイ
ナミックレンジの拡大された１枚の画像データを、出力
装置のダイナミックレンジ幅や出力特性に合わせて簡単
に圧縮でき、また使用者の意志によって自由にダイナミ
ックレンジの幅を変えて出力することが可能なので、様
々な出力装置において標準画像よりダイナミックレンジ
の拡大された良好な画像を出力することができる。
【図１】 本発明の第１の実施例の構成を示すブロック
図
図
【図２】 合成アルゴリズムの概念図
【図３】 合成アルゴリズムの計算法を示す説明図
【図４】 画像データの圧縮例を示す説明図
【図５】 ダイナミックレンジ拡大データの圧縮例を示
す図
す図
【図６】 画像フォーマットを示す図
【図７】 本発明の第２の実施例の構成を示すブロック
図
図
３ 撮像素子
４ 撮像素子制御回路（露光制御手段）
６ 計算機（ダイナミックレンジ拡大手段）
８ データ処理回路（制御手段）
１８ 撮像素子
１９ 撮像素子
２３ プリズム（分光手段）
ａ 撮像手段
ｃ 出力装置
ｄ 操作手段
Claims (9)
- 【請求項１】 出力装置へ出力する画像データのダイナ
ミックレンジ幅を前記出力装置のダイナミックレンジ幅
に合わせる処理手段と、前記画像データのダイナミック
レンジを変化させるための操作手段とを備えたことを特
徴とする画像データ処理装置。 - 【請求項２】 画像データは、ダイナミックレンジ拡大
手段によりダイナミックレンジを拡大した画像データで
あることを特徴とする請求項１記載の画像データ処理装
置。 - 【請求項３】 画像データを得るための撮像手段を備え
ていることを特徴とする請求項１記載の画像データ処理
装置。 - 【請求項４】 ダイナミックレンジ拡大手段は、同一シ
ーンにおける異なる露光量の複数枚の画像データを合成
することを特徴とする請求項２記載の画像データ処理装
置。 - 【請求項５】 前記ダイナミックレンジ拡大手段は、第
１の露光量で撮像された第１の画像データと前記第１の
露光量とは異なる第２の露光量で撮像された第２の画像
データの両画像データから両画像データ共輝度レベルが
所定範囲内の共通領域を抽出し、この共通領域の輝度レ
ベルを一致させた後、前記第１の画像データにおける輝
度レベルが所定範囲外の領域の信号を、対応する前記第
２の画像データの輝度レベルの信号と置換することによ
って、１枚の広ダイナミックレンジ画像を合成すること
を特徴とする請求項２記載の画像データ処理装置。 - 【請求項６】 撮像手段は、複数の撮像素子と、撮像光
の光路中にあって前記各撮像素子に像を分ける分光手段
と、前記各撮像素子の露光量を変化させる露光制御手段
とを備えていることを特徴とする請求項３記載の画像デ
ータ処理装置。 - 【請求項７】 ダイナミックレンジ拡大手段で合成した
情報を基に画像データのダイナミックレンジ幅を出力手
段のダイナミックレンジ幅あるいは出力特性に合わせる
ことを特徴とする請求項４記載の画像データ処理装置。 - 【請求項８】 ダイナミックレンジ拡大手段で合成した
情報を基に画像データのダイナミックレンジ幅を出力手
段のダイナミックレンジ幅あるいは出力特性に合わせる
ことを特徴とする請求項５記載の画像データ処理装置。 - 【請求項９】 前記画像データのダイナミックレンジ
は、色空間上で変化させられることを特徴とする請求項
１記載の画像データ処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27194093A JP3368012B2 (ja) | 1993-10-29 | 1993-10-29 | 画像データ処理装置 |
| US08/329,538 US5801773A (en) | 1993-10-29 | 1994-10-26 | Image data processing apparatus for processing combined image signals in order to extend dynamic range |
| US09/009,282 US6204881B1 (en) | 1993-10-10 | 1998-01-20 | Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27194093A JP3368012B2 (ja) | 1993-10-29 | 1993-10-29 | 画像データ処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07131704A JPH07131704A (ja) | 1995-05-19 |
| JP3368012B2 true JP3368012B2 (ja) | 2003-01-20 |
Family
ID=17506962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27194093A Ceased JP3368012B2 (ja) | 1993-10-10 | 1993-10-29 | 画像データ処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3368012B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002319015A (ja) * | 2001-04-19 | 2002-10-31 | Synthesis Corp | 画像合成方法 |
| KR101534317B1 (ko) * | 2008-10-10 | 2015-07-06 | 삼성전자주식회사 | 높은 동적 대역(ｈｄｒ) 영상 생성방법 및 장치 |
| US9049380B2 (en) | 2011-09-26 | 2015-06-02 | Canon Kabushiki Kaisha | Image processing apparatus for generating an image having an expanded dynamic range and method thereof, and image capture apparatus |
-
1993
- 1993-10-29 JP JP27194093A patent/JP3368012B2/ja not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07131704A (ja) | 1995-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6995790B2 (en) | Image processing apparatus for joining a plurality of images | |
| US7372487B2 (en) | Image pick-up device and record medium having recorded thereon computer readable program for controlling the image pick-up device | |
| KR100819804B1 (ko) | 촬상 장치 | |
| US9094648B2 (en) | Tone mapping for low-light video frame enhancement | |
| US9307212B2 (en) | Tone mapping for low-light video frame enhancement | |
| US7973827B2 (en) | Image data generating apparatus, method and program for generating an image having high spatial and high temporal resolution | |
| JPH07131718A (ja) | 画像合成装置 | |
| JP3420303B2 (ja) | 画像合成装置 | |
| JP3495768B2 (ja) | 画像合成装置 | |
| JP2004246644A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| EP1592235A1 (en) | Image processing device, image processing program and program-recorded recording medium | |
| JP3937924B2 (ja) | 撮像装置及びその制御方法 | |
| JP3368012B2 (ja) | 画像データ処理装置 | |
| US6677994B1 (en) | Image processing apparatus method of the same and camera apparatus | |
| CN109218602B (zh) | 影像撷取装置、影像处理方法及电子装置 | |
| US11165956B2 (en) | Imaging apparatus | |
| JP3951993B2 (ja) | 撮像装置及びこの撮像装置に用いられるカラーデータ計測方法 | |
| JP2005277618A (ja) | 撮像装置、シェーディング補正装置、及びシェーディング補正方法 | |
| JPH09224180A (ja) | 撮像装置 | |
| JP4244218B2 (ja) | 撮像信号処理回路およびカメラシステム | |
| JP4787403B2 (ja) | 自動露出装置及び方法 | |
| JP2004048563A (ja) | 撮像装置および画像処理方法 | |
| JP3893489B2 (ja) | 信号処理装置および信号処理方法 | |
| JP3854660B2 (ja) | 画像処理装置 | |
| JP2002199409A (ja) | 撮像装置及びそのホワイトバランス調整方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021008 |
|
| RVOP | Cancellation by post-grant opposition |