[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPH10198802A - 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 - Google Patents

画像処理装置、画像処理方法および画像処理プログラムを記録した媒体

Info

Publication number
JPH10198802A
JPH10198802A JP9307437A JP30743797A JPH10198802A JP H10198802 A JPH10198802 A JP H10198802A JP 9307437 A JP9307437 A JP 9307437A JP 30743797 A JP30743797 A JP 30743797A JP H10198802 A JPH10198802 A JP H10198802A
Authority
JP
Japan
Prior art keywords
luminance
image
image processing
luminance distribution
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9307437A
Other languages
English (en)
Other versions
JP4069333B2 (ja
Inventor
Naoki Kuwata
直樹 鍬田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP30743797A priority Critical patent/JP4069333B2/ja
Publication of JPH10198802A publication Critical patent/JPH10198802A/ja
Application granted granted Critical
Publication of JP4069333B2 publication Critical patent/JP4069333B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 現実の画像データに対応した最も好適な変換
式を自動的に適用するということはできなかった。 【解決手段】 ステップS102で間引きするなどしな
がら画像データの画素について輝度yを求めた後、上端
と下端において所定の分布割合だけ内側に入った端部を
当該輝度分布の端部をみなすことにより(ステップS1
16)、輝度の再現可能な範囲内での拡大率に対応する
パラメータaと、オフセット量に対応するパラメータb
とを得ることができるようになるため、変換元の輝度y
に対して変換先輝度YをY=ay+bなる関係式などを
利用して自動的に変換可能となる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置、画
像処理方法および画像処理プログラムを記録した媒体に
関し、特に、画像データのコントラストを処理する画像
処理装置、画像処理方法および画像処理プログラムを記
録した媒体に関する。
【0002】
【従来の技術】従来、この種の画像処理装置として、特
公平7−66318号公報に開示されたものが知られて
いる。
【0003】同公報に示す画像処理装置では、変換元の
輝度yに対して変換後の輝度y’の関係を(1)式のよ
うに対応付け、操作者が選択したパラメータaあるいは
パラメータbに基づいて画像データの輝度を変換してい
る。これにより、コントラストの弱い画像データについ
てコントラストを強調した画像が得られる。
【0004】 y’=ay+b …(1)
【0005】
【発明が解決しようとする課題】上述した従来の画像処
理装置においては、予めコントラストの強弱の程度を変
えた複数の設定を用意しておき、これを切り換えてい
る。従って、現実の画像データに対応した最も好適なも
のを自動的に適用するということはできなかった。特
に、(1)式に基づいて変化させる場合には全体が明る
い画像であれば明るさが強調されるだけの結果となった
り、全体が暗い画像であれば暗さが強調されるだけの結
果となったりすることもあった。
【0006】また、コントラストの強弱はテレビジョン
などでも操作可能なものでありながら、各画像において
最適な強調を実行するといった自動化ができなかった。
【0007】本発明は、上記課題にかんがみてなされた
もので、コントラストの自動調整が可能な画像処理装
置、画像処理方法および画像処理プログラムを記録した
媒体の提供を目的とする。
【0008】
【課題を解決するための手段】上記目的を達成するた
め、請求項1にかかる発明は、画像をドットマトリクス
状の画素に分解して各画素の情報を表す画像データに対
して所定の画像処理を行う画像処理装置であって、画像
データにおける輝度分布を求めて再現可能な範囲に対応
して当該分布を拡大させるように画像データを変換する
構成としてある。
【0009】上記のように構成した請求項1にかかる発
明においては、画像データが画像をドットマトリクス状
の画素に分解して各画素の情報を表している場合に、同
画像データにおける輝度分布を求めることにより、画像
データにおけるコントラストの幅というようなものをあ
る程度数値化でき、数値化できた上で再現可能な範囲に
対応して当該分布を拡大させる。
【0010】むろん数値化といっても必ずしも具体的な
数値が必要なわけではなく、その処理過程において数値
として扱っても良いし、信号の大きさとして扱うような
ことも可能である。これをさらに具体的に表した一例と
して、請求項2にかかる発明は、請求項1に記載の画像
処理装置において、所定画像における画素単位での画像
データの輝度分布を検出する輝度分布検出手段と、この
検出された輝度分布に基づいて再現可能な範囲内での同
輝度分布の拡大可能な程度を判別して画像データを変換
する画像データ変換手段を具備する構成としてある。
【0011】所定画像の画像データを扱う上でその輝度
分布を求めるため、輝度分布検出手段は画素単位での同
画像データの輝度分布を検出する。そして、この検出さ
れた輝度分布を利用して画像データ変換手段は再現可能
な範囲内での同輝度分布の拡大量を判別し、画像データ
を変換する。
【0012】すなわち、画素単位での画像データの輝度
分布を求めれば最も明るい輝度から最も暗い輝度までの
いわゆるコントラストの幅が判別でき、再現可能な輝度
の幅の範囲と対比すればコントラストの拡大率が判定で
きるので、後はその拡大率となるようにして輝度分布を
拡大させれば良くなる。例えば、各画素での輝度に基づ
いて全体としての輝度分布を集計した後、集計された輝
度分布が当該画像データの取りうる有効な輝度範囲に広
く分散していない場合に、上記輝度分布が同輝度範囲に
広く分散するように上記画像データにおける各画素の輝
度の情報を変換する。
【0013】輝度分布を拡大する手法はいくつが可能で
あり、画像データの輝度分布が可能な範囲内で拡大され
るようにすればよい。その要点を説明すれば、検出され
た輝度分布の統計的な幅と再現可能な輝度範囲の幅とを
比較して拡大可能な程度を拡大率として求めるととも
に、拡大された輝度分布の上端と下端がこの輝度範囲内
に収まるようにするための調整値を求め、各画素の輝度
を個別に修正するということである。この具体的な一例
として、請求項3にかかる発明は、請求項2に記載の画
像処理装置において、上記画像データ変換手段は、再現
可能な輝度の範囲をyrange としたときに、変換前の輝
度yと輝度の分布範囲の最大値ymax と最小値ymin か
ら変換先の輝度Yを次式に基づいて求める構成としてあ
る。
【0014】 Y=ay+b …(2) ただし a=yrange/(ymax−ymin) …(3) b=−a・yminあるいはyrange−a・ymax …(4) また、上記変換式にてY<0ならばY=0とし、Y>y
rangeならばY=yrangeとする。
【0015】この変換はいわゆる線形の拡大であり、変
換式自体は従来のものと同様であるものの、そのパラメ
ータが画像データ変換手段によって選定されることに意
義がある。bの選択に関わらず、y=yminの場合にY
=0となり、y=ymaxの場合にY=yrangeとなる。そ
して、再現可能な輝度の範囲であるyrangeの範囲内で
輝度分布が一様に広がることになる。なお、この例にお
いては、いわゆる狭義の線形変換であり、むろんこれに
限られる必要はなく、広義の非線形変換を実施すること
も可能である。また、当該変換式は一例に過ぎず同意義
の変換式であっても適用可能であることはいうまでもな
い。
【0016】また、コントラストを広げただけでは全体
に明るかったり暗かったりするというような場合に対応
できないこともあり、請求項4にかかる発明は、請求項
2または請求項3のいずれかに記載の画像処理装置にお
いて、上記輝度分布拡大手段は、変換元の輝度yの最大
分布輝度を求めるとともに、同最大分布輝度の所属範囲
に基づくγ補正で変換先の輝度Yを求める構成としてあ
る。
【0017】画像データが全体的に明るいか否かを判定
する手法として、変換元の輝度yの最大分布輝度を利用
し、この最大分布輝度が明るい側にあればγ補正で全体
的に暗めにし、最大分布輝度が暗い側にあればγ補正で
全体的に明るめにするといったことでコントラストの強
調だけでは得られない全体の明るさの自動補正が行われ
る。ここにおいて、変換元の輝度yの最大分布輝度はメ
ジアンで求めても良いし、平均値で求めても良い。
【0018】各種の手法で輝度を変換するにあたり、請
求項5にかかる発明は、請求項2〜請求項4のいずれか
に記載の画像処理装置において、変換元の輝度yの取り
うる範囲内で変換先の輝度Yを演算して記憶しておき、
変換時には対応関係を呼び起こして変換する構成として
ある。
【0019】変換式に基づいて輝度を毎回計算すること
も不可能ではないが、輝度分布のとりうる値の範囲は決
まっている。このため、あらかじめ変換元の輝度yに基
づいて変換先の輝度Yを演算して記憶しておけば、変換
時に対応関係を呼び起こすだけで変換することが可能と
なる。
【0020】輝度を変換するにあたっては画像データが
輝度のデータとして含んでいる場合もあるし、間接的で
しか輝度のデータを含んでいない場合もある。むろん、
直接の輝度のデータを含んでいればそれを変換すればよ
いし、間接的な輝度のデータである場合でも輝度のデー
タに変換してから所定の輝度変換を行えばよい。しかし
ながら、輝度の変換は極めて正確でなければならないわ
けではなく、大まかに分かれば良いともいえる。
【0021】その意味では厳格な正確さが要求されるわ
けではないので、請求項6にかかる発明は、請求項1〜
請求項5のいずれかに記載の画像処理装置において、画
像データが輝度に対応した複数の成分値で表される場合
において、輝度の演算を同成分値の線形加算で求める構
成としてある。
【0022】画像データがいわゆるRGB(赤緑青)の
階調データで表されている場合、赤緑青についての各成
分値はそれぞれが輝度に対応しているといえる。このた
め、同成分値の線形加算は十分に輝度を表すものとい
え、極めて容易な変換方法となりうる。
【0023】各画素についての輝度が求められるものと
して、画像としての輝度分布は必ずしも画像データの全
画素について求める必要がなく、例えば、請求項7にか
かる発明は、請求項1〜請求項6のいずれかに記載の画
像処理装置において、画像データについて所定の抽出率
に対応した間引きを行って輝度分布を求める構成として
ある。
【0024】分布を求めることを目的とすれば、全画素
に対して輝度を求めることなく、所定の抽出率で間引き
を行なったとしても抽出率に応じた程度の確かさの輝度
分布を得ることができる。
【0025】ここにおいて、間引く手法も様々であるも
のの、請求項8にかかる発明は、請求項7に記載の画像
処理装置において、縦方向と横方向の範囲での短い側に
おいて所定の抽出数が確保されるようにする構成として
ある。
【0026】画像は平面的であるが故、自ずからその画
像データも縦方向と横方向とに分布するが、ある抽出率
を決定するにあたっては、少なくとも短い側においてあ
る抽出数を確保することにより、抽出率に応じた確かさ
を保持することになる。
【0027】さらに、請求項9にかかる発明は、請求項
1〜請求項8のいずれかに記載の画像処理装置におい
て、輝度分布を求める際に実際の端部から所定分布割合
だけ内側部分を端部としてみなす構成としてある。
【0028】画像データの輝度分布を統計的に考慮すれ
ば、極めて少ないながらも再現可能な輝度の範囲での両
端部位まで分布すると考えるのが妥当である。従って、
現実の輝度分布の両端は常に再現可能な輝度の範囲での
両端にあることになる。この両端を採用したとすれば拡
大率は実質的に「1」となってしまうので、本来の効果
を果たし得ない。
【0029】しかしながら、両端における所定分布割合
を除いて考えれば極めて分布の少ない裾野の部分を統計
的に見て適度に無視することになる。このため、この範
囲をもって拡大の程度を判断する基準とする。
【0030】所定分布割合は、極めて分布の少ない裾野
の部分を無視することができるものであればよく、総画
素数の一定割合の画素数というものであっても良いし、
一定数以下の分布となったときに端部と見なすようなも
のでも構わない。
【0031】さらに、請求項10にかかる発明は、請求
項1〜請求項9のいずれかに記載の画像処理装置におい
て、拡大される輝度分布の範囲を実際の再現可能な範囲
の端部よりも所定量だけ内側に設定する構成としてあ
る。
【0032】実際の画像においてはハイライト部分とハ
イシャドウ部分とがあり、これらの部分について人間の
目が微妙な違いを悟りやすい。従って、いわゆる再現可
能な輝度範囲の端部にかかる作為的な拡大を行うとハイ
ライト部分では白く抜けた感じとなるし、ハイシャドウ
部分では黒くつぶれた感じで表れてしまう。
【0033】しかるに、拡大される輝度分布の範囲を実
際の再現可能な範囲の端部よりも所定量だけ内側に設定
することにより、両端部分で作為的な拡大が行なわれな
くなる。
【0034】さらに、請求項11にかかる発明は、請求
項1〜請求項10のいずれかに記載の画像処理装置にお
いて、輝度分布の拡大範囲に制限を設定する構成として
ある。
【0035】コントラストが狭いことが当然の場合があ
る。例えば、夕方の風景であれば輝度分布の幅が狭いの
は自然であり、これを必要以上に拡大してしまうと昼の
風景となってしまう。同様の例は他の場合においてもあ
り得ることで、輝度分布の拡大範囲に制限を設定するこ
とにより、かかる現象を回避する。
【0036】さらに、請求項12にかかる発明は、請求
項11に記載の画像処理装置において、再現可能な範囲
内での変換前の輝度分布範囲の対応位置と変換後の輝度
分布範囲の対応位置とが保持される構成としてある。
【0037】輝度分布を再現可能な範囲内で最大限に使
用するとすれば輝度分布を拡大可能な残余の範囲はなく
なる。しかしながら、拡大範囲に制限を加えるとすれ
ば、輝度分布を拡大可能な残余の範囲が残る。言い換え
ればどの範囲を中心に拡大するかの自由度が残ることに
なり、その中心によっては画像の雰囲気が変わりかねな
い。従って、再現可能な範囲内での変換前の輝度分布範
囲の対応位置と変換後の輝度分布範囲の対応位置とを保
持し、その中心が変わらないようにする。
【0038】かかる意味での画像の輝度分布の中心につ
いては各種の捉え方が可能であり、その一例として、請
求項13にかかる発明は、請求項12に記載の画像処理
装置において、変換前に輝度分布範囲の上端と下端とに
残存していた拡大可能な範囲の割合が変換後にも保持さ
れるように輝度分布を拡大する構成としてある。
【0039】すなわち、実質的に中心が保持されればよ
いので、必ずしも同中心を直接的にとらえて保持する必
要はないといえ、逆に変換前に輝度分布範囲の上端と下
端とに残存していた拡大可能な範囲をとらえ、この範囲
の割合が変換後にも保持されるように輝度分布を拡大し
て実質的に中心を保持する。
【0040】さらに、請求項14にかかる発明は、請求
項1〜請求項13のいずれかに記載の画像処理装置にお
いて、輝度分布に基づいて二値画像データを判定すると
ともに、二値画像データであれば輝度分布の拡大を行わ
ない構成としてある。
【0041】二値画像については実質的な意味での輝度
分布はないといえるので、輝度分布から二値画像データ
を判定したら輝度分布の拡大は行わないようにしてい
る。
【0042】二値画像データはある色を持ったものでも
あり得るため、その色の有りと無しに対応する二つの輝
度となりうる。その色の輝度か否かを判定することも可
能であるが、それを示唆する情報がない場合において
は、請求項15にかかる発明は、請求項14に記載の画
像処理装置において、再現可能な範囲内の両端に輝度分
布が集中しているときに白黒の二値画像データであると
判断する構成としてある。
【0043】すなわち、白黒画像については再現可能な
範囲内の両端に輝度分布が集中しているといえ、判断可
能となる。
【0044】さらに、請求項16にかかる発明は、請求
項1〜請求項13のいずれかに記載の画像処理装置にお
いて、突出する輝度分布に基づいて画像データの枠部を
判定するとともに、枠部があれば枠部のデータについて
輝度分布の拡大に利用しない構成としてある。
【0045】画像を処理する場合に頻繁に起こり得るの
は枠を持っていることであり、単色の枠として存在すれ
ば当然にその色に対応する輝度分布だけが突出する。従
って、かかる突出した輝度分布をもってして拡大の判断
の基準とすれば有効な判断ができなくなり得るから、枠
部と判断して輝度分布の拡大に利用しない。
【0046】さらに、その一例として、請求項17にか
かる発明は、請求項16に記載の画像処理装置におい
て、再現可能な範囲内での端部に集中している輝度分布
が枠部であると判定する構成としてある。
【0047】白枠あるいは黒枠は頻繁にあり採用される
し、トリミングの結果によっても生じ得るものであり、
再現可能な範囲内での端部に該当する。従って、この端
部に集中している輝度分布を枠部と判定する。
【0048】ところで、請求項18にかかる発明は、請
求項1〜請求項17のいずれかに記載の画像処理装置に
おいて、画像データが自然画でない場合に輝度分布の拡
大を行わないように構成してある。
【0049】コントラストの幅の狭さが問題となりやす
いのは写真のような自然画であり、ビジネスグラフのよ
うなものでは殆ど必要が無いとも言える。逆に、ビジネ
スグラフのようなものについて手を加えることが作り手
のイメージと異ならせる結果になりかねない。従って、
このような自然画の場合にだけ輝度分布を拡大するよう
にしている。
【0050】自然画か否かの判断の一例として、請求項
19にかかる発明は、請求項18に記載の画像処理装置
において、輝度分布が線スペクトル状に存在する場合に
上記画像データが自然画でないと判定する自然画判定手
段を備えた構成としてある。
【0051】自然画の特徴として輝度分布が滑らかに幅
を持つことが言える。従って、輝度分布が線スペクトル
状に表れていれば自然画でないと判断して概ね差し支え
ない。上記のように構成した請求項19にかかる発明に
おいては、自然画判定手段が輝度分布の状態を判定し、
線スペクトル状に存在する場合に画像データが自然画で
ないと判定し、これにより輝度分布の拡大が行われなく
なる。
【0052】上述したようにして、画像データにおける
輝度分布を求めて再現可能な範囲に対応して当該分布を
拡大させるように画像データを変換する手法は、実体の
ある装置に限定される必要はなく、その方法としても機
能することは容易に理解できる。このため、請求項20
にかかる発明は、画像をドットマトリクス状の画素に分
解して各画素の情報を表す画像データに対して所定の画
像処理を行う画像処理方法であって、各画素での輝度に
基づいて全体としての輝度分布を集計し、集計された輝
度分布が当該画像データの取りうる有効な輝度範囲に広
く分散していない場合に、上記輝度分布が同輝度範囲に
広く分散するように上記画像データにおける各画素の輝
度の情報を変換する構成としてある。
【0053】すなわち、必ずしも実体のある装置に限ら
ず、その方法としても有効であることに相違はない。
【0054】ところで、このような画像処理装置は単独
で存在する場合もあるし、ある機器に組み込まれた状態
で利用されることもあるなど、発明の思想としてはこれ
に限らず、各種の態様を含むものである。従って、ソフ
トウェアであったりハードウェアであったりするなど、
適宜、変更可能である。
【0055】その一例として、入力される画像データに
基づいて印刷インクに対応した画像データに変換し、所
定のカラープリンタに印刷せしめるプリンタドライバに
おいても、画像データにおける輝度分布を求めて再現可
能な範囲に対応して当該分布を拡大させるように画像デ
ータを変換するように構成することができる。
【0056】すなわち、プリンタドライバは印刷インク
に対応して入力された画像データを変換するが、このと
きに同入力画像データの輝度分布を求め、再現可能な範
囲に対応して当該分布を拡大させ、拡大された分布とな
るように入力画像を変換し、印刷させる。
【0057】発明の思想の具現化例として画像処理装置
のソフトウェアとなる場合には、かかるソフトウェアを
記録した記録媒体上においても当然に存在し、利用され
るといわざるをえない。その一例として、請求項21に
かかる発明は、画像をドットマトリクス状の画素に分解
して各画素の情報を表す画像データをコンピュータにて
入力し、所定の画像処理を行う画像処理プログラムを記
録した媒体であって、上記画像データを入力し、各画素
での輝度に基づいて全体としての輝度分布を集計するス
テップと、集計された輝度分布が当該画像データの取り
うる有効な輝度範囲に広く分散していない場合に、上記
輝度分布が同輝度範囲に広く分散するように上記画像デ
ータにおける各画素の輝度の情報を変換するステップと
を具備する構成としてある。
【0058】むろん、その記録媒体は、磁気記録媒体で
あってもよいし光磁気記録媒体であってもよいし、今後
開発されるいかなるソフトウェア記録媒体においても全
く同様に考えることができる。また、一次複製品、二次
複製品などの複製段階については全く問う余地無く同等
である。その他、供給方法として通信回線を利用して行
う場合でも本発明が利用されていることには変わりない
し、半導体チップに書き込まれたようなものであっても
同様である。
【0059】さらに、一部がソフトウェアであって、一
部がハードウェアで実現されている場合においても発明
の思想において全く異なるものはなく、一部を記録媒体
上に記憶しておいて必要に応じて適宜読み込まれるよう
な形態のものとしてあってもよい。さらには、カラーフ
ァクシミリ機、カラーコピー機、カラースキャナやディ
ジタルカメラ、ディジタルビデオなどに内蔵する画像処
理装置においても適用可能であることはいうまでもな
い。
【0060】
【発明の効果】以上説明したように本発明は、輝度分布
を求めることにより、その画像のコントラストの幅のよ
うなものを定量的に扱うことが可能となり、再現可能な
範囲内での拡大程度を求めることができるので、コント
ラストの強調を自動化することが可能な画像処理装置を
提供することができる。
【0061】また、請求項3にかかる発明によれば、所
定の範囲の階調内で有効に輝度分布を拡大することがで
きる。
【0062】さらに、請求項4にかかる発明によれば、
コントラストの強調だけでは直せない明るさの程度をも
調整することができる。
【0063】さらに、請求項5にかかる発明によれば、
変換を容易にすることができる。
【0064】さらに、請求項6にかかる発明によれば、
必要十分な程度の正確さで輝度を容易に求めることがで
きるようになる。
【0065】さらに、請求項7にかかる発明によれば、
処理量を減らすことができる。
【0066】さらに、請求項8にかかる発明によれば、
画像の抽出点の偏りを無くして輝度分布が正確になりや
すくなる。
【0067】さらに、請求項9にかかる発明によれば、
より判断に有効な輝度分布を得ることができる。
【0068】さらに、請求項10にかかる発明によれ
ば、ハイライト部分やハイシャドウ部分をつぶさないよ
うにすることができる。
【0069】さらに、請求項11にかかる発明によれ
ば、コントラストを強調しすぎて画像の雰囲気を変えて
しまわないようにすることができる。
【0070】さらに、請求項12にかかる発明によれ
ば、画像の明るさに表される雰囲気を保持することがで
き、さらに、請求項13にかかる発明によれば、それを
容易に実行することができる。
【0071】さらに、請求項14にかかる発明によれ
ば、輝度分布の拡大の不要な条件を容易に判定して拡大
を行わないようにすることができるし、さらに、請求項
15にかかる発明によれば、頻度の多い白黒画像を効率
よく判定することができる。
【0072】さらに、請求項16にかかる発明によれ
ば、画像に表れがちな枠部の輝度によって処理が不正確
になるのを防止することができ、さらに、請求項17に
かかる発明によれば、頻度の多い白黒の枠部を容易に判
定することができる。
【0073】さらに、請求項18にかかる発明によれ
ば、輝度分布の拡大が必要な自然画の場合にだけ行うよ
うにすることができ、さらに、請求項19にかかる発明
によれば、自然画か否かを容易に判定することができ
る。
【0074】そして、請求項20にかかる発明によれ
ば、輝度分布を求めて画像のコントラストの幅のような
ものを定量的に扱うことができ、コントラストの強調を
自動化する画像処理方法を提供することができ、請求項
21にかかる発明によれば、同様にしてコントラストの
強調を自動化する画像処理プログラムを記録した媒体を
提供することが可能となる。
【0075】
【発明の実施の形態】以下、図面にもとづいて本発明の
実施形態を説明する。
【0076】図1は、本発明の一実施形態にかかる画像
処理システムをブロック図により示しており、図2は具
体的ハードウェア構成例をブロック図により示してい
る。
【0077】同図において、画像入力装置10は画像を
撮像するなどして画像データを画像処理装置20へ出力
し、同画像処理装置20は所定のコントラスト強調など
の画像処理を行なって画像出力装置30に出力し、同画
像出力装置30はコントラストを強調された画像を表示
する。
【0078】ここにおいて、画像入力装置10の具体例
はスキャナ11やデジタルスチルカメラ12あるいはビ
デオカメラ14などが該当し、画像処理装置20の具体
例はコンピュータ21とハードディスク22などからな
るコンピュータシステムが該当し、画像出力装置30の
具体例はプリンタ31やディスプレイ32等が該当す
る。
【0079】本画像処理システムにおいては、コントラ
ストの弱い画像に対して最適なコントラストを与えよう
としているものであるから、画像入力装置10としての
スキャナ11で写真を撮像した画像データであるとか、
デジタルスチルカメラ12で撮影したコントラストの弱
い画像データなどが処理の対象となり、画像処理装置2
0としてのコンピュータシステムに入力される。
【0080】本画像処理装置20は、少なくとも、輝度
の分布を抽出する輝度分布検出手段と、この検出された
輝度分布に基づいて再現可能な範囲内での同輝度分布の
拡大可能な程度を判別して画像データを変換する画像デ
ータ変換手段を構成する。むろん、本画像処理装置20
は、この他にも機種毎による色の違いを補正する色変換
手段であったり、機種毎に対応した解像度を変換する解
像度変換手段などを構成していても構わない。この例で
は、コンピュータ21はRAMなどを使用しながら、内
部のROMやハードディスク22に保存されている各画
像処理のプログラムを実行していく。なお、このような
画像処理のプログラムは、CD−ROM、フロッピーデ
ィスク、MOなどの各種の記録媒体を介して供給される
他、モデムなどによって公衆通信回線を介して外部のネ
ットワークに接続し、ソフトウェアやデータをダウンロ
ードして導入することも行われている。
【0081】この画像処理のプログラムの実行結果は後
述するようにコントラストを強調した画像データとして
得られ、得られた画像データに基づいて画像出力装置3
0であるプリンタ31で印刷したり、同じ画像出力装置
30であるディスプレイ32に表示する。なお、この画
像データは、より具体的にはRGB(緑、青、赤)の階
調データとなっており、また、画像は縦方向(heig
ht)と横方向(wideth)に格子状に並ぶドット
マトリクスデータとして構成されている。すなわち、当
該画像データは画像をドットマトリクス状の画素に分解
して各画素の情報を表したものとなっている。
【0082】本実施形態においては、画像の入出力装置
の間にコンピュータシステムを組み込んで画像処理を行
うようにしているが、必ずしもかかるコンピュータシス
テムを必要とする訳ではなく、図3に示すようにデジタ
ルスチルカメラ12a内にコントラストを強調する意味
での画像処理装置を組み込み、変換した画像データを用
いてディスプレイ32aに表示させたりプリンタ31a
に印字させるようなシステムであっても良い。また、図
4に示すように、コンピュータシステムを介することな
く画像データを入力して印刷するプリンタ31bにおい
ては、スキャナ11bやデジタルスチルカメラ12bあ
るいはモデム13b等を介して入力される画像データを
自動的にコントラスト強調するように構成することも可
能である。
【0083】コンピュータ21にて実行する画像処理の
内、輝度分布検出手段に相当する輝度の分布検出処理と
画像データ変換手段に相当する輝度変換処理とをそれぞ
れ図5及び図6に示している。
【0084】図5は主に輝度の分布検出処理に該当して
おり、まず、この輝度の分布検出処理について説明す
る。
【0085】輝度をいかにして表すかについて説明する
前に、分布対象となる画素について説明する。図5のス
テップS102で示すように対象となる画素を間引く間
引き処理を実行する。図7に示すように、ビットマップ
の画像であれば、縦方向に所定ドットと横方向に所定ド
ットからなる二次元のドットマトリクスとして成り立っ
ており、正確な輝度の分布を求めるのであれば全画素に
ついて輝度を調べる必要がある。しかしながら、この分
布抽出処理は分布の幅を求めることを目的としており、
必ずしも正確である必要はない。従って、ある誤差の範
囲内となる程度に間引きを行うことが可能である。統計
的誤差によれば、サンプル数Nに対する誤差は概ね1/
(N**(1/2))と表せる。ただし、**は累乗を表し
ている。従って、1%程度の誤差で処理を行うためには
N=10000となる。
【0086】ここにおいて、図7に示すビットマップ画
面は(width)×(height)の画素数とな
り、サンプリング周期ratioは、 ratio=min(width,height)/A+1 …(5) とする。ここにおいて、min(width,heig
ht)はwidthとheightのいずれか小さい方
であり、Aは定数とする。また、ここでいうサンプリン
グ周期ratioは何画素ごとにサンプリングするかを
表しており、図8の○印の画素はサンプリング周期ra
tio=2の場合を示している。すなわち、縦方向及び
横方向に二画素ごとに一画素のサンプリングであり、一
画素おきにサンプリングしている。A=200としたと
きの1ライン中のサンプリング画素数は図9に示すよう
になる。
【0087】同図から明らかなように、サンプリングし
ないことになるサンプリング周期ratio=1の場合
を除いて、200画素以上の幅があるときには最低でも
サンプル数は100画素以上となることが分かる。従っ
て、縦方向と横方向について200画素以上の場合には
(100画素)×(100画素)=(10000画素)
が確保され、誤差を1%以下にできる。
【0088】ここにおいてmin(width,hei
ght)を基準としているのは次のような理由による。
例えば、図10(a)に示すビットマップ画像のよう
に、width>>heightであるとすると、長い
方のwidthでサンプリング周期ratioを決めて
しまった場合には、同図(b)に示すように、縦方向に
は上端と下端の2ラインしか画素を抽出されないといっ
たことが起こりかねない。しかしながら、min(wi
dth,height)として、小さい方に基づいてサ
ンプリング周期ratioを決めるようにすれば同図
(c)に示すように少ない方の縦方向においても中間部
を含むような間引きを行うことができるようになる。
【0089】なお、この例では、縦方向と横方向の画素
について正確なサンプリング周期で間引きを行うように
している。これは、逐次入力される画素について間引き
しながら処理する場合に好適である。しかし、全画素が
入力されている場合には縦方向や横方向についてランダ
ムに座標を指定して画素を選択するようにしても良い。
このようにすれば、10000画素というような必要最
低限の画素数が決まっている場合に10000画素とな
るまでランダムに抽出する処理を繰り返し、10000
画素となった時点で抽出を止めればよくなる。
【0090】このように選択した画素についての画素デ
ータがその成分要素として輝度を持っていればその輝度
値を用いて分布を求めることが可能である。しかしなが
ら、輝度値が直接の成分値となっていない画像データの
場合でも、間接的には輝度を表す成分値を備えている。
従って、輝度値が直接の成分値となっていない表色空間
から輝度値が直接の成分値となっている表色空間への変
換を行えば輝度値を得ることができる。
【0091】このような異なる表色空間の間での色変換
は変換式によって一義的に定まるものではなく、それぞ
れの成分値を座標とする色空間について相互に対応関係
を求めておき、この対応関係を記憶した色変換テーブル
を参照して逐次変換する必要がある。テーブルとする関
係上、成分値は階調値として表され、三次元の座標軸を
備えている256階調の場合には、約1670万個(2
56×256×256)の要素の色変換テーブルを持た
なければならない。効率的な記憶資源の利用を考えた結
果、すべての座標値についての対応関係を用意しておく
のではなく、通常は適当なとびとびの格子点について対
応関係を用意しておき、補間演算を併用するようにして
いる。この補間演算はいくつかの乗算や加算を経て可能
となるものであるため、演算処理量は膨大となってく
る。
【0092】すなわち、フルサイズの色変換テーブルを
使用するのであれば処理量としては少なくなるもののテ
ーブルサイズが非現実的となり、テーブルサイズを現実
的なサイズにすれば演算処理量が非現実的となることが
多い。
【0093】このような状況に鑑み、本実施形態におい
ては、テレビジョンなどの場合に利用されているよう
に、RGBの三原色から輝度を求める次式の変換式を採
用している。すなわち、P点での輝度yp についてはR
GBの成分値(Rp,Gp,Bp )から、 yp=0.30Rp+0.59Gp+0.11Bp …(6) とする。このようにすれば、三回の乗算と二回の加算だ
けで輝度値を求めることができるようになる。
【0094】本実施形態においては、RGBの表色空間
を対象としている結果、このような変換式を採用してい
るが、その背景には各成分値が色の明るさを示している
ので、それぞれの成分値を単独で見た場合に輝度に線形
に対応しているという性質がある。従って、よりおおざ
っぱに言えばそれぞれの加算割合を考慮することなく単
に yp=(Rp+Gp+Bp)/3 …(7) というように簡略化することも不可能ではないし、さら
には、 yp=Gp …(7)’ というように、(6)式においても最も割合の大きい緑
の成分値を輝度値としてしまうことも可能である。
【0095】間引き処理では、選択した画素についてR
GBの画像データから同時に輝度を求めて分布をとる。
最終的にはステップS116にてこの分布の幅を求める
ことになるが、その前に考慮しておく事項がある。
【0096】一つ目は画像が白黒画像のような二値画像
である場合である。白黒画像を含めて二値画像であれば
コントラストの強調という概念は不適切である。図11
に示すような白黒画像があったとすると、この画像に対
する輝度分布は図12に示すように再現可能な範囲にお
ける両端に集中する。それも、基本的には階調「0」と
階調「255」に集中する。
【0097】従って、ステップS104で白黒チェック
を行う場合には、階調「0」と階調「255」の画素数
の和が、間引いて選択した画素数と一致するか否かで判
断できる。そして、白黒画像の場合であれば以下の処理
を実行することなく処理を中断するためにステップS1
06にて非拡大処理を実行する。本実施形態においては
分布抽出処理と輝度変換処理とを大きく分けているの
で、この非拡大処理では後段の輝度変換処理も実行しな
いようなフラグを立てて当該分布抽出処理を終了してい
る。
【0098】二値データは白黒だけに限らず、色の付い
た二値データもあり得る。このような場合も同様にコン
トラストの強調を図る処理は不要であり、分布状態を調
べて二つの値(一方は概ね「0」)にしか分布が集中し
ていなければ二値データとして処理の中断を図ればよ
い。
【0099】二つ目は画像がビジネスグラフのようなも
のか写真のような自然画であるか否かを考慮する。自然
画においてはコントラストの強調という処理が要求され
る場合があるものの、ビジネスグラフであるとか絵画の
ようなものではコントラストの強調を図らない方が好ま
れる場合が多い。従って、ステップS108では自然画
か否かのチェックを行う。
【0100】自然画では陰影を含めて色数が極めて多い
がビジネスグラフやある種の絵画では色数が限られてい
ることが多い。従って、色数が少なければ自然画ではな
いと判断することが可能である。色数を正確に判断しよ
うとすれば上述したように1670万色のうちの何色を
使用しているかを判別する必要があるが、現実的ではな
い。一方、ビジネスグラフのような極めて色数が少ない
場合には異なる色であって同じ輝度になる確率は低い。
すなわち、輝度によって概ねの色数を判断できる。色数
が少なければ輝度の分布もまばらであり、ビジネスグラ
フのようなものでは線スペクトル状に表れる。このよう
なことから、ステップS108では256階調の輝度の
うち分布数が「0」でない輝度値がいくつ表れているか
カウントする。そして、概ね一割となる「25」以下で
あれば自然画でないと判断し、二値データの場合と同
様、ステップS106にて非拡大処理を実行する。むろ
ん、しきい値となる「25」色以下か否かについては適
宜変更可能である。
【0101】また、分布が線スペクトル状か否かは分布
数が「0」でない輝度値の隣接割合で判断することも可
能である。すなわち、分布数が「0」でない輝度値であ
って隣接する輝度値に分布数があるか否かを判断する。
隣接する二つの輝度値のうち少なくとも一方で隣接して
いれば何もせず、両方で隣接していない場合にカウント
を行い、その結果、「0」でない輝度値の数とカウント
値との割合で判断すればよい。例えば、「0」でない輝
度値の数が「20」であって、隣接しないものの数が
「20」であれば線スペクトル状に分布していることが
分かる。
【0102】さらに、オペレーティングシステムを介し
て画像処理プログラムが実行されているような場合に
は、画像ファイルの拡張子で判断することも可能であ
る。ビットマップファイルのうち、特に写真画像などで
はファイル圧縮がなされ、その圧縮方法を表すために暗
示の拡張子が利用されることが多い。例えば、「JP
G」という拡張子であれば、JPEGフォーマットで圧
縮されていることが分かる。オペレーティングシステム
がファイル名を管理していることから、プリンタドライ
バなどの側からオペレーティングシステムに問い合わせ
を出せば、同ファイルの拡張子が回答されることになる
ため、その拡張子に基づいて自然画であると判断してコ
ントラストの強調を行うようにすればよい。また、「X
LS」というようなビジネスグラフに特有の拡張子であ
ればコントラストの強調を行わないと判断することもで
きる。
【0103】三つ目に考慮することは、図13に示すよ
うに画像の周りに枠部があるか否かである。このような
枠部が白色または黒色であれば、その輝度分布は図14
に示すように、その影響が再現可能な範囲における両端
に線スペクトル状に表れるとともに、内部の自然画に対
応して両端以外の内側に滑らかな輝度分布としても表れ
る。
【0104】むろん、枠部を輝度分布の考慮に入れない
方が適切であるため、ステップS108の枠部のチェッ
クでは階調「0」と階調「255」の画素数の和が十分
に大きく、かつ、間引いて選択した画素数とは一致しな
いかを判断し、肯定的ならば枠部があると判定してステ
ップS112にて枠処理を実施する。この枠処理では、
枠部を無視するために輝度分布のうち階調「0」と階調
「255」の画素数を「0」にセットする。これによ
り、以下の処理では枠部がないものと同様に扱うことが
できる。
【0105】この例では白色または黒色の枠部を対象と
しているが、特定の色の枠がある場合も考えられる。こ
のような場合、輝度分布が描く本来の滑らかなカーブの
中で突出する線スペクトル状のものが表れる。従って、
隣接する輝度値の間で大きく差が生じている線スペクト
ル状のものについては枠部として考えて輝度分布の対象
としないようにすればよい。この場合、枠部以外でその
色を使用していることがあり得るので、両隣の輝度値の
平均を割り当てるようにしても良い。
【0106】以上のような考慮を経た上で、輝度分布の
拡大を行う場合にはステップS116で輝度分布の両端
を求める。自然画における輝度分布は図15に示すよう
に概ね山形に表れる。むろん、その位置、形状について
はさまざまである。輝度分布の幅はこの両端をどこに決
めるかによって決定されるが、単に裾野が延びて分布数
が「0」となる点を両端とすることはできない。裾野部
分では分布数が「0」付近で変移する場合があるし、統
計的に見れば限りなく「0」に近づきながら推移してい
くからである。
【0107】このため、分布範囲において最も輝度の大
きい側と小さい側からある分布割合だけ内側に経た部分
を分布の両端とする。本実施形態においては、図15に
示すように、この分布割合を0.5%に設定している。
むろん、この割合については、適宜、変更することが可
能である。このように、ある分布割合だけ上端と下端を
カットすることにより、ノイズなどに起因して生じてい
る白点や黒点を無視することもできる。すなわち、この
ような処理をしなければ一点でも白点や黒点があればそ
れが輝度分布の両端となってしまうので、多くの場合に
おいて最下端は階調「0」であるし、最上端は階調「2
55」となってしまうが、上端部分から0.5%の画素
数だけ内側に入った部分を端部とすることにより、この
ようなことが無くなる。
【0108】実際の処理では処理対象となる画素数(間
引き処理において選択した画素の総数、あるいは枠部に
対応する画素数を削除した総数)に対する0.5%を演
算し、再現可能な輝度分布における上端の輝度値及び下
端の輝度値から順番に内側に向かいながらそれぞれの分
布数を累積し、0.5%の値となった輝度値を求める。
以後、この上端側をymaxと呼び、下端側をymin
と呼ぶ。
【0109】本実施形態においては、輝度分布に対して
このような処理を経て上端と下端とを求めているが、統
計的処理のもとで両端を求めることも可能である。例え
ば、輝度値の平均値に対して何%以下となったところを
端部とするといった手法を採用することも可能である。
【0110】以上の処理が分布検出処理に該当し、次
に、このようにして求めた輝度値ymax,yminに基
づいて画像データの変換を行なう輝度変換処理について
説明する。なお、上述したようにステップS106にて
非拡大処理を実行した場合には、ステップS202にて
所定のフラグを参照してそれを検知し、以下の処理を行
うことなく当該画像処理を終了する。
【0111】輝度の基本的な変換は、再現可能な輝度の
範囲を「0」〜「255」としたときに、変換前の輝度
yと輝度の分布範囲の最大値ymax と最小値ymin から
変換先の輝度Yを次式に基づいて求める。
【0112】 Y=ay+b …(2) ただし a=255/(ymax−ymin) …(3)’ b=−a・yminあるいは255−a・ymax …(4)’ また、上記変換式にてY<0ならばY=0とし、Y>2
55ならばY=255とする。ここにおける、aは傾き
であり、bはオフセットといえる。この変換式によれ
ば、図16に示すように、あるせまい幅を持った輝度分
布を再現可能な範囲まで広げることができる。なお、基
本的に輝度の分布範囲の拡大においては、画素数が変化
するわけではないので、ヒストグラムの面積は一致す
る。
【0113】ところで、このように再現可能な範囲を最
大限に利用して輝度分布の拡大を図った場合、ハイライ
ト部分が白く抜けてしまったり、ハイシャドウ部分が黒
くつぶれてしまうことが起こる。これを防止するため本
実施形態においては、再現可能な範囲を制限している。
すなわち、再現可能な範囲の上端と下端に拡大しない範
囲として輝度値で「5」だけ残している。この結果、変
換式のパラメータは次式のようになる。
【0114】 a=245/(ymax−ymin) …(8) b=5−a・yminあるいは250−a・ymax …(9) そして、この場合にはy<yminと、y>ymaxの範囲に
おいては変換を行わないようにする。
【0115】なお、本実施形態においては、ハイライト
部分とハイシャドウ部分とを保持するために一律に端部
から輝度値にして「5」の範囲を非拡大領域としている
が、ハイライト部分やハイシャドウ部分を比較的再現し
やすいような画像出力装置であればその範囲を狭くして
も良いし、再現力がさらに弱い場合にはより範囲を大き
くするようにしても良い。また、一律に拡大しないので
はなく、ボーダー領域で徐々に拡大率を制限するように
していっても良い。
【0116】また、図17(a)には画像の輝度分布が
狭い場合を示しているが、これまで述べたようにして輝
度分布の拡大率(aに対応)を適用してしまうと、再現
可能な範囲に合わせて非常に大きな拡大率が得られる場
合も生じてくる。すると、夕方のような薄暮の状態では
最も明るい部分から暗い部分までのコントラストの幅が
狭くて当然であるのに、この画像についてコントラスト
を大きく拡大しようとする結果、昼間の画像のように変
換されてしまいかねない。このような変換は希望されな
いので、拡大率には制限を設けていおき、aが1.5
(〜2)以上とはならないように制限する。これによ
り、薄暮は薄暮なりに表現されるようになる。
【0117】拡大率に制限を設けない場合を図17
(a)の一点鎖線に示しており、変換後には再現可能な
範囲で余分な部分は残っていない。しかしながら、拡大
範囲を制限する場合には、同図(b)の二点鎖線で示す
ように、変換後の分布をどこに持ってくるかの自由度が
生じてしまい、場合によっては全体的に明るくなりすぎ
たり、暗くなり過ぎたりしかねない。
【0118】このため、本実施形態においては、変換前
における輝度分布が再現可能な範囲内において上端側と
下端側に残っている残余の領域の割合(m1:m2)
が、変換後において上端側と下端側に残っている残余の
領域の割合(n1:n2)と一致するように変換する。
以下、このようにする場合のパラメータbの求め方につ
いて説明する。
【0119】変換前の画像の輝度分布において、 m1=ymin m2=255−ymax ここで、 m1+m2=255−(ymax−ymin) 従って、ydif=ymax−yminとすると、 m1+m2=255−ydif 変換後の画像の輝度分布において、 n1=Ymin n2=255−Ymax 同様に、 n1+n2=255−(Ymax−Ymin) =255−a(ymax−ymin) =255−a・ydif となる。
【0120】m1:m2=n1:n2であるから、 n1=m1(n1+n2)/(m1+m2) =ymin(255−a・ydif)/(255−ydif) 一方、Y=ay+bであるから、b=Y−ayとなり、
よって、 b=Ymin−a・ymin =ymin{(255−a・ydif)/(255−ydif)−a} …(10) となる。また、Ymax を用いて求めると、 b=Ymax−a・ymax =255−(255−ymax)(255−a・ydif)/(255−ydif)−a・ymax …( 11) 以上のようにしてパラメータbを得ることができ、ステ
ップS204を終了する。
【0121】ところで、輝度の変換時に、毎回、上記変
換式(Y=ay+b)を実行するのは非合理的である。
というのは、輝度yの取りうる範囲が「0」〜「25
5」でしかあり得ないため、予め輝度yが取りうる全て
の値に対応して変換後の輝度Yを求めておくことも可能
である。従って、ステップS206にてこの対応関係を
求め、図18に示すようなテーブルとして記憶してお
く。
【0122】このような変換テーブルが形成されたとこ
ろで画像データを変更することが可能になる。しかし、
このような輝度の範囲の拡大によってコントラストを強
調するだけでなく、合わせて明るさを調整することも極
めて有効である。例えば、図19にて実線で示すように
輝度分布の山が全体的に暗い側に寄っている場合には鎖
線で示すように全体的に明るい側に山を移動させると良
いし、逆に、図20にて実線で示すように輝度分布の山
が全体的に明るい側に寄っている場合には鎖線で示すよ
うに全体的に暗い側に山を移動させると良い。
【0123】各種の実験を行った結果、本実施形態にお
いては、輝度分布におけるメジアンymedを求め、同
メジアンymedが「85」未満である場合に暗い画像
と判断して以下のγ値に対応するγ補正で明るくする。
【0124】 γ=ymed/85 …(12) あるいは、 γ=(ymed/85)**(1/2) …(13) とする。
【0125】この場合、γ<0.7となっても、γ=
0.7とする。このような限界を設けておかないと夜の
画像が昼間のようになってしまうからである。なお、明
るくしすぎると全体的に白っぽい画像になってコントラ
ストが弱い画像になりやすいため、彩度を合わせて強調
するなどの処理が好適である。
【0126】一方、メジアンymedが「128」より
大きい場合に明るい画像と判断して以下のγ値に対応す
るγ補正で暗くする。
【0127】 γ=ymed/128 …(14) あるいは、 γ=(ymed/128)**(1/2) …(15) とする。この場合、γ>1.3となっても、γ=1.3
として暗くなり過ぎないように限界を設けておく。な
お、暗くしすぎると色が乗りすぎて濃い画像になるの
で、合わせて彩度強調を弱くするなどの処理が好適であ
る。ただし、明るい背景の中の被写体に対してはこのよ
うな暗くする処理はかえって悪影響を及ぼす場合もあ
る。例えば、空が画像の半分をしめるような風景画像や
晴れた日の記念写真などでは、ただでさえ逆光で顔が暗
くつぶれ気味であることが多いからである。これらの画
像の場合は暗い部分と明るい部分とが混じっているので
輝度の標準偏差ystdを求めると比較的高い値となっ
ていることが多い。従って、輝度の標準偏差ystd>
70の場合には暗くするためのγ補正を行わないように
する。
【0128】なお、このγ補正は変換前の輝度分布に対
して行っても良いし、変換後の輝度分布に対して行って
も良い。γ補正をした場合における対応関係を図21に
示しており、γ<1であれば上方に膨らむカーブとな
り、γ>1であれば下方に膨らむカーブとなる。むろ
ん、かかるγ補正の結果も図18に示すテーブル内に反
映させておけばよく、ステップS208にてテーブルデ
ータに対して同補正を行っておく。
【0129】最後に、ステップS210にて画像データ
の変換を行う。ここまでは輝度を変換するための対応関
係を求めてきており、例えば、RGB座標軸における成
分値(Rp,Gp,Bp )についての変換関係ではなかっ
た。しかしながら、(2)式の変換式は、このRGBの
成分値(Rp,Gp,Bp )との対応関係においても当ては
めることができる。すなわち、変換前の成分値(r,
g,b)に対して変換後の成分値(R,G,B)は、 R=a・r+b …(16) G=a・g+b …(17) B=a・b+b …(18) として求めることもできる。これは(2)式と(4)式
とがともに線形の対応関係を示していることから明らか
である。また、輝度y,Yが階調「0」〜階調「25
5」であるのに対応してRGBの各成分値(r,g,
b),(R,G,B )も同じ範囲となっており、上述し
た輝度y,Yの変換テーブルをそのまま利用すればよい
といえる。
【0130】従って、ステップS210では全画素の画
像データ(r,g,b)について(16)〜(18)式
に対応する変換テーブルを参照し、変換後の画像データ
(R,G,B )を得るという処理を繰り返すことにな
る。
【0131】次に、上記構成からなる本実施形態の動作
を順を追って説明する。
【0132】スキャナ11などで写真を撮像したとする
と、同写真をRGBの階調データで表した画像データが
コンピュータ21に取り込まれ、CPUは図5及び図6
に示す画像処理のプログラムを実行して画像データのコ
ントラストを強調する処理を実行する。
【0133】まず、ステップS102では画像データを
所定の誤差内となる範囲で間引き、選択した画素につい
ての輝度yを求めて分布を取る。このままの分布を使用
することはできず、まず、画像が白黒のような二値画像
でないかステップS104にて判断するとともに、ステ
ップS108では自然画か否かを判断する。二値画像で
ある場合や自然画でない場合などを除き、ステップS1
10では画像データに枠部がないか判断し、枠部があれ
ば除いて得られた輝度分布について上端と下端の0.5
%の範囲を除去して分布の両端ymax ,ymin を取得す
る。
【0134】輝度分布の両端ymax ,ymin が得られた
ら、 Y=ay+b …(2) a=245/(ymax−ymin) …(8) bについては、以下のいずれか b=5−a・yminあるいは250−a・ymax …(9) b=ymin{(255−a・ydif)/(255−ydif)−a} …(10) b=255−(255−ymax)(255−a・ydif)/(255−ydif)−a・ymax … (11) なる関係式より、ステップS204にてパラメータa,
bを求めるとともに、ステップS206では輝度yから
輝度Yへの変換関係をテーブルに記憶する。ステップS
208では必要に応じてγ補正を実行し、完成した変換
テーブルを参照してステップS210では全画素につい
ての画像データを変換する。
【0135】むろん、上述したように二値画像や自然画
でない場合においてはかかる画像処理は行われないが、
本発明の画像処理が行われた場合には、写真の状態では
非常にコントラストが弱かったにもかかわらず、輝度の
範囲を広げるように補正することにより、明暗がはっき
りして鮮明な画像を得られるようになる。
【0136】なお、上述した実施形態においては、拡大
率の制限などを一定としているが、コンピュータ21上
では所定のGUIを介してユーザーが選択できるように
しても良い。また、ユーザーが画像データの一部を指定
して当該範囲内でのみかかるコントラストの強調処理を
実行するようにすることも可能である。
【0137】このように、ステップS102で間引きす
るなどしながら画像データの画素について輝度yを求め
た後、上端と下端において所定の分布割合だけ内側に入
った端部を当該輝度分布の端部をみなすことにより(ス
テップS116)、輝度の再現可能な範囲内での拡大率
に対応するパラメータaと、オフセット量に対応するパ
ラメータbとを得ることができるようになるため、変換
元の輝度yに対して変換先輝度YをY=ay+bなる関
係式などを利用して自動的に変換可能となる。
【0138】なお、ビデオカメラ14の入力画像につい
ては、演算速度が間に合わないこともあり得る。従っ
て、そのような場合には撮影のシーンごとに輝度の検出
を行って輝度の分布を検知し、そのシーンにおいては同
様の傾向であるものと想定して輝度の拡大テーブルを作
成しておくとともに、フレームごとに同拡大テーブルに
対応して輝度分布を拡大するようにすればよい。むろ
ん、十分な演算速度があれば各フレームごとに変換する
ようにしても良い。むろん、同様の変換は受像機の側で
行うことも可能である。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかる画像処理装置が適
用される画像処理システムのブロック図である。
【図2】同画像処理装置の具体的ハードウェア構成例を
示すブロック図である。
【図3】本発明の画像処理装置の他の適用例を示す概略
ブロック図である。
【図4】本発明の画像処理装置の他の適用例を示す概略
ブロック図である。
【図5】本発明の画像処理装置における輝度の分布抽出
処理部分を示すフローチャートである。
【図6】本発明の画像処理装置における輝度変換処理部
分を示すフローチャートである。
【図7】変換元の画像における座標を示す図である。
【図8】サンプリング周期を示す図である。
【図9】サンプリング画素数を示す図である。
【図10】変換元の画像とサンプリングされる画素の関
係を示す図である。
【図11】白黒の画像を示す図である。
【図12】白黒の画像の輝度分布を示す図である。
【図13】枠部のある画像を示す図である。
【図14】枠部のある画像の輝度分布を示す図である。
【図15】輝度分布の端部処理と端部処理にて得られる
端部を示す図である。
【図16】輝度分布の拡大と再現可能な範囲を輝度の範
囲を示す図である。
【図17】輝度分布の拡大率に制限を与える場合を示す
図である。
【図18】輝度分布を拡大する際の変換テーブルを示す
図である。
【図19】γ補正で明るくする概念を示す図である。
【図20】γ補正で暗くする概念を示す図である。
【図21】γ補正で変更される輝度の対応関係を示す図
である。
【符号の説明】
10…画像入力装置 11…スキャナ 11b…スキャナ 12…デジタルスチルカメラ 12a…デジタルスチルカメラ 12b…デジタルスチルカメラ 13b…モデム 20…画像処理装置 21…コンピュータ 22…ハードディスク 30…画像出力装置 31…プリンタ 31a…プリンタ 31b…プリンタ 32…ディスプレイ 32a…ディスプレイ

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 画像をドットマトリクス状の画素に分解
    して各画素の情報を表す画像データに対して所定の画像
    処理を行う画像処理装置であって、上記画像データにお
    ける輝度分布を求めて再現可能な範囲に対応して当該分
    布を拡大させるように画像データを変換することを特徴
    とする画像処理装置。
  2. 【請求項2】 上記請求項1に記載の画像処理装置にお
    いて、 所定画像における画素単位での画像データの輝度分布を
    検出する輝度分布検出手段と、 この検出された輝度分布に基づいて再現可能な範囲内で
    の同輝度分布の拡大可能な程度を判別して画像データを
    変換する画像データ変換手段を具備することを特徴とす
    る画像処理装置。
  3. 【請求項3】 上記請求項2に記載の画像処理装置にお
    いて、上記画像データ変換手段は、再現可能な輝度の範
    囲をyrange としたときに、変換前の輝度yと輝度の分
    布範囲の最大値ymaxと最小値yminから変換先の輝度Y
    を次式に基づいて求めることを特徴とする画像処理装
    置。 Y=ay+b ただし a=yrange/(ymax−ymin) b=−a・yminあるいはyrange−a・ymax また、上記変換式にてY<0ならばY=0とし、Y>ra
    ngeならばY=yrangeとする。
  4. 【請求項4】 上記請求項2または請求項3のいずれか
    に記載の画像処理装置において、上記輝度分布拡大手段
    は、変換元の輝度yの最大分布輝度を求めるとともに、
    同最大分布輝度の所属範囲に基づくγ補正で変換先の輝
    度Yを求めることを特徴とする画像処理装置。
  5. 【請求項5】 上記請求項2〜請求項4のいずれかに記
    載の画像処理装置において、変換元の輝度yの取りうる
    範囲内で変換先の輝度yを演算して記憶しておき、変換
    時には対応関係を呼び起こして変換することを特徴とす
    る画像処理装置。
  6. 【請求項6】 上記請求項1〜請求項5のいずれかに記
    載の画像処理装置において、画像データが輝度に対応し
    た複数の成分値で表される場合において、輝度の演算を
    同成分値の線形加算で求めることを特徴とする画像処理
    装置。
  7. 【請求項7】 上記請求項1〜請求項6のいずれかに記
    載の画像処理装置において、画像データについて所定の
    抽出率に対応した間引きを行って輝度分布を求めること
    を特徴とする画像処理装置。
  8. 【請求項8】 上記請求項7に記載の画像処理装置にお
    いて、縦方向と横方向の範囲での短い側において所定の
    抽出数が確保されるようにすることを特徴とする画像処
    理装置。
  9. 【請求項9】 上記請求項1〜請求項8のいずれかに記
    載の画像処理装置において、輝度分布を求める際に実際
    の端部から所定分布割合だけ内側部分を端部としてみな
    すことを特徴とする画像処理装置。
  10. 【請求項10】 上記請求項1〜請求項9のいずれかに
    記載の画像処理装置において、拡大される輝度分布の範
    囲を実際の再現可能な範囲の端部よりも所定量だけ内側
    に設定することを特徴とする画像処理装置。
  11. 【請求項11】 上記請求項1〜請求項10のいずれか
    に記載の画像処理装置において、輝度分布の拡大範囲に
    制限を設定することを特徴とする画像処理装置。
  12. 【請求項12】 上記請求項11に記載の画像処理装置
    において、再現可能な範囲内での変換前の輝度分布範囲
    の対応位置と変換後の輝度分布範囲の対応位置とが保持
    されることを特徴とする画像処理装置。
  13. 【請求項13】 上記請求項12に記載の画像処理装置
    において、変換前に輝度分布範囲の上端と下端とに残存
    していた拡大可能な範囲の割合が変換後にも保持される
    ように輝度分布を拡大することを特徴とする画像処理装
    置。
  14. 【請求項14】 上記請求項1〜請求項13のいずれか
    に記載の画像処理装置において、輝度分布に基づいて二
    値画像データを判定するとともに、二値画像データであ
    れば輝度分布の拡大を行わないことを特徴とする画像処
    理装置。
  15. 【請求項15】 上記請求項14に記載の画像処理装置
    において、再現可能な範囲内の両端に輝度分布が集中し
    ているときに白黒の二値画像データであると判断するこ
    とを特徴とする画像処理装置。
  16. 【請求項16】 上記請求項1〜請求項13のいずれか
    に記載の画像処理装置において、突出する輝度分布に基
    づいて画像データの枠部を判定するとともに、枠部があ
    れば枠部のデータについて輝度分布の拡大に利用しない
    ことを特徴とする画像処理装置。
  17. 【請求項17】 上記請求項16に記載の画像処理装置
    において、再現可能な範囲内での端部に集中している輝
    度分布が枠部であると判定することを特徴とする画像処
    理装置。
  18. 【請求項18】 上記請求項1〜請求項17のいずれか
    に記載の画像処理装置において、画像データが自然画で
    ない場合に輝度分布の拡大を行わないことを特徴とする
    画像処理装置。
  19. 【請求項19】 上記請求項18に記載の画像処理装置
    において、輝度分布がスペクトル状に存在する場合に上
    記画像データが自然画でないと判定する自然画判定手段
    を備えることを特徴とする画像処理装置。
  20. 【請求項20】 画像をドットマトリクス状の画素に分
    解して各画素の情報を表す画像データに対して所定の画
    像処理を行う画像処理方法であって、各画素での輝度に
    基づいて全体としての輝度分布を集計し、集計された輝
    度分布が当該画像データの取りうる有効な輝度範囲に広
    く分散していない場合に、上記輝度分布が同輝度範囲に
    広く分散するように上記画像データにおける各画素の輝
    度の情報を変換することを特徴とする画像処理方法。
  21. 【請求項21】 画像をドットマトリクス状の画素に分
    解して各画素の情報を表す画像データをコンピュータに
    て入力し、所定の画像処理を行う画像処理プログラムを
    記録した媒体であって、 上記画像データを入力し、各画素での輝度に基づいて全
    体としての輝度分布を集計するステップと、 集計された輝度分布が当該画像データの取りうる有効な
    輝度範囲に広く分散していない場合に、上記輝度分布が
    同輝度範囲に広く分散するように上記画像データにおけ
    る各画素の輝度の情報を変換するステップとを具備する
    ことを特徴とする画像処理プログラムを記録した媒体。
JP30743797A 1996-11-13 1997-11-10 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 Expired - Lifetime JP4069333B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30743797A JP4069333B2 (ja) 1996-11-13 1997-11-10 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP30222396 1996-11-13
JP8-302223 1996-11-13
JP30743797A JP4069333B2 (ja) 1996-11-13 1997-11-10 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体

Related Child Applications (5)

Application Number Title Priority Date Filing Date
JP2002178178A Division JP3985147B2 (ja) 1996-11-13 2002-06-19 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP2002178180A Division JP3596614B2 (ja) 1996-11-13 2002-06-19 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP2002178179A Division JP3682872B2 (ja) 1996-11-13 2002-06-19 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP2002178181A Division JP3698205B2 (ja) 1996-11-13 2002-06-19 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP2007253853A Division JP4228243B2 (ja) 1996-11-13 2007-09-28 画像処理装置、画像処理方法およびプログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPH10198802A true JPH10198802A (ja) 1998-07-31
JP4069333B2 JP4069333B2 (ja) 2008-04-02

Family

ID=26563026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30743797A Expired - Lifetime JP4069333B2 (ja) 1996-11-13 1997-11-10 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体

Country Status (1)

Country Link
JP (1) JP4069333B2 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158894A (ja) * 2000-11-16 2002-05-31 Sharp Corp ダイナミックガンマ補正装置
WO2003010957A1 (fr) * 2001-07-26 2003-02-06 Seiko Epson Corporation Systeme de traitement d'image, projecteur, support de stockage d'informations, et procede de dilatation d'images en blanc et d'images en noir
WO2005002205A1 (ja) * 2003-06-25 2005-01-06 Nikon Corporation 画像処理装置、画像補正プログラム
WO2005039884A1 (ja) * 2003-10-22 2005-05-06 Brother Kogyo Kabushiki Kaisha 画像処理装置、画像処理方法、記録媒体及びプログラム
WO2005081516A1 (ja) * 2004-02-19 2005-09-01 Omron Co., Ltd. 画像データ変換装置及びカメラ装置
WO2006011687A3 (en) * 2004-07-30 2006-03-30 Casio Computer Co Ltd Image pickup device with brightness correcting function and method of correcting brightness of image
JP2006308632A (ja) * 2005-04-26 2006-11-09 Seiko Epson Corp 画像表示装置、画像表示方法、画像表示プログラムおよび画像表示プログラムを記録した記録媒体
JP2006331445A (ja) * 2006-07-20 2006-12-07 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
US7167597B2 (en) 2001-11-29 2007-01-23 Ricoh Company, Ltd. Image processing apparatus, image processing method, computer program and storage medium
KR100743758B1 (ko) 2005-09-05 2007-07-30 엘지전자 주식회사 피크 레벨 검출을 이용한 동적 콘트라스트 비 제어 장치 및방법
WO2007142134A1 (ja) 2006-06-02 2007-12-13 Rohm Co., Ltd. 画像処理回路、半導体装置、画像処理装置
JP2008011286A (ja) * 2006-06-30 2008-01-17 Brother Ind Ltd 画像処理プログラムおよび画像処理装置
JP2009118297A (ja) * 2007-11-08 2009-05-28 Dainippon Printing Co Ltd 標本値の量子化方法および量子化装置
JP2009124578A (ja) * 2007-11-16 2009-06-04 Casio Hitachi Mobile Communications Co Ltd 映像信号処理装置、コントラスト制御方法及びプログラム
JP2009182599A (ja) * 2008-01-30 2009-08-13 Ricoh Co Ltd 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
JP2010515319A (ja) * 2006-12-27 2010-05-06 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング Hdrカメラ用の照明調整
US7746392B2 (en) 2004-06-09 2010-06-29 Seiko Epson Corporation Image data processing technique for images taken by imaging unit
US7932930B2 (en) 2003-05-16 2011-04-26 Seiko Epson Corporation Brightness correction for image
JP2013055712A (ja) * 2005-12-21 2013-03-21 Nec Corp 階調補正方法、階調補正装置、階調補正プログラム及び画像機器
JP2018014635A (ja) * 2016-07-21 2018-01-25 三菱電機ビルテクノサービス株式会社 画像処理装置及びプログラム

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002158894A (ja) * 2000-11-16 2002-05-31 Sharp Corp ダイナミックガンマ補正装置
WO2003010957A1 (fr) * 2001-07-26 2003-02-06 Seiko Epson Corporation Systeme de traitement d'image, projecteur, support de stockage d'informations, et procede de dilatation d'images en blanc et d'images en noir
US7095451B2 (en) 2001-07-26 2006-08-22 Seiko Epson Corporation Image processing system, projector, information storage medium and black and white extension processing method
US7315657B2 (en) 2001-11-29 2008-01-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, computer program and storage medium
US7167597B2 (en) 2001-11-29 2007-01-23 Ricoh Company, Ltd. Image processing apparatus, image processing method, computer program and storage medium
US7932930B2 (en) 2003-05-16 2011-04-26 Seiko Epson Corporation Brightness correction for image
WO2005002205A1 (ja) * 2003-06-25 2005-01-06 Nikon Corporation 画像処理装置、画像補正プログラム
WO2005039884A1 (ja) * 2003-10-22 2005-05-06 Brother Kogyo Kabushiki Kaisha 画像処理装置、画像処理方法、記録媒体及びプログラム
WO2005081516A1 (ja) * 2004-02-19 2005-09-01 Omron Co., Ltd. 画像データ変換装置及びカメラ装置
US7746392B2 (en) 2004-06-09 2010-06-29 Seiko Epson Corporation Image data processing technique for images taken by imaging unit
KR100809181B1 (ko) 2004-07-30 2008-03-03 가시오게산키 가부시키가이샤 광도 보정 기능을 지닌 촬상장치 및 상 광도의 보정방법
WO2006011687A3 (en) * 2004-07-30 2006-03-30 Casio Computer Co Ltd Image pickup device with brightness correcting function and method of correcting brightness of image
US7486836B2 (en) 2004-07-30 2009-02-03 Casio Computer Co., Ltd. Image pickup device with brightness correcting function and method of correcting brightness of image
JP2006308632A (ja) * 2005-04-26 2006-11-09 Seiko Epson Corp 画像表示装置、画像表示方法、画像表示プログラムおよび画像表示プログラムを記録した記録媒体
KR100743758B1 (ko) 2005-09-05 2007-07-30 엘지전자 주식회사 피크 레벨 검출을 이용한 동적 콘트라스트 비 제어 장치 및방법
JP2013055712A (ja) * 2005-12-21 2013-03-21 Nec Corp 階調補正方法、階調補正装置、階調補正プログラム及び画像機器
JPWO2007142134A1 (ja) * 2006-06-02 2009-10-22 ローム株式会社 画像処理回路、半導体装置、画像処理装置
WO2007142134A1 (ja) 2006-06-02 2007-12-13 Rohm Co., Ltd. 画像処理回路、半導体装置、画像処理装置
US8159558B2 (en) 2006-06-02 2012-04-17 Rohm Co., Ltd. Image processing circuit, semiconductor device and image processing device
JP4997237B2 (ja) * 2006-06-02 2012-08-08 ローム株式会社 画像処理回路、半導体装置、画像処理装置
US8180172B2 (en) 2006-06-30 2012-05-15 Brother Kogyo Kabushiki Kaisha Image processing method
JP2008011286A (ja) * 2006-06-30 2008-01-17 Brother Ind Ltd 画像処理プログラムおよび画像処理装置
JP2006331445A (ja) * 2006-07-20 2006-12-07 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2010515319A (ja) * 2006-12-27 2010-05-06 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング Hdrカメラ用の照明調整
JP4922409B2 (ja) * 2006-12-27 2012-04-25 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング Hdrカメラ用の照明調整
JP2009118297A (ja) * 2007-11-08 2009-05-28 Dainippon Printing Co Ltd 標本値の量子化方法および量子化装置
JP2009124578A (ja) * 2007-11-16 2009-06-04 Casio Hitachi Mobile Communications Co Ltd 映像信号処理装置、コントラスト制御方法及びプログラム
JP2009182599A (ja) * 2008-01-30 2009-08-13 Ricoh Co Ltd 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
JP2018014635A (ja) * 2016-07-21 2018-01-25 三菱電機ビルテクノサービス株式会社 画像処理装置及びプログラム

Also Published As

Publication number Publication date
JP4069333B2 (ja) 2008-04-02

Similar Documents

Publication Publication Date Title
JPH10198802A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JPH10208034A (ja) 画像処理装置および画像処理方法
JP4993028B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JPH118768A (ja) 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体
JPH11120325A (ja) 画像評価方法、画像評価プログラムを記録した媒体および画像評価装置
JPH10271524A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラムを記録した媒体
JP3972192B2 (ja) 画像処理装置および画像処理方法
JP3698205B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP3596614B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP2003051947A5 (ja)
JP4123387B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP3682872B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP3985147B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP4182365B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP4123385B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP4228243B2 (ja) 画像処理装置、画像処理方法およびプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3573143B2 (ja) 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体
JP3664394B2 (ja) 画像処理装置及び画像処理方法並びに画像処理プログラムを記録した媒体
JP2003125213A5 (ja)
JP2003085552A5 (ja)
JPH11136514A (ja) 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体
JP2003092687A5 (ja)
JP2003091723A (ja) 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体
JP2003051002A (ja) 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体
JP2003050997A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080101

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110125

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110125

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120125

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120125

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130125

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130125

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140125

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term