[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2001223941A - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法

Info

Publication number
JP2001223941A
JP2001223941A JP2000363904A JP2000363904A JP2001223941A JP 2001223941 A JP2001223941 A JP 2001223941A JP 2000363904 A JP2000363904 A JP 2000363904A JP 2000363904 A JP2000363904 A JP 2000363904A JP 2001223941 A JP2001223941 A JP 2001223941A
Authority
JP
Japan
Prior art keywords
image
processing
importance
area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000363904A
Other languages
English (en)
Inventor
Yuki Matsushima
由紀 松島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2000363904A priority Critical patent/JP2001223941A/ja
Priority to US09/726,559 priority patent/US7034878B2/en
Publication of JP2001223941A publication Critical patent/JP2001223941A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/333Mode signalling or mode changing; Handshaking therefor
    • H04N1/3333Mode signalling or mode changing; Handshaking therefor during transmission, input or output of the picture signal; within a single document or page
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/333Mode signalling or mode changing; Handshaking therefor
    • H04N2201/33307Mode signalling or mode changing; Handshaking therefor of a particular mode
    • H04N2201/33342Mode signalling or mode changing; Handshaking therefor of a particular mode of transmission mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】本発明は、画像データがカメラで撮影された画
像であることを活かして、重要度の低い領域の画像処理
を簡素化することで処理時間を短縮することが可能な撮
像装置を提供することを目的とする。 【解決手段】撮像装置は、画像を撮像する撮像部と、撮
像画面内の撮影者の注視点を検出する視線検出部と、視
線検出部の結果に応じて撮像部による画像の各領域の重
要度を決定する重要度算出部と、重要度算出部の結果に
応じて画像の各領域の階調数を異ならせる階調数決定部
を含む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、一般に撮像装置に
関し、詳しくは画像の領域毎の重要度に応じて画像処理
を異ならせたデジタルカメラに関する。
【0002】
【従来の技術】従来から用いられてきたカメラは、主に
フィルムに光を焼き付けるアナログカメラが主流であっ
た。このようなアナログカメラで撮影されたテータは通
常“写真”と呼ばれている。アナログの分野では、撮影
者の視線方向を検知し撮影者がファインダ内のどの領域
を注視しているかを検出する機能をカメラの一部に設
け、注視点の位置にフォーカスを合わせる等の方法によ
って、写真の初心者には困難であった焦点調節や露出補
正等の撮影機能の制御を自動的に行う方法が種々提案さ
れている。
【0003】例えば、特開平6−138377号公報で
は、撮影者の眼球の注視点を検出する視線検出手段と撮
影系の焦点位置を複数の点で検出する焦点検出手段とを
効果的に用いて自動的に焦点を選択するアナログカメラ
が提案されている。また、特開平8−46833号公報
では、撮影者の眼球の注視点を検出する視線検出手段を
用いて自動的に合焦制御、露出制御を行うアナログカメ
ラが提案されている。
【0004】一方、一般的にデジタルスチルカメラ(以
下“デジタルカメラ”と記す)と呼ばれるカメラは、C
CD等の固体撮像素子を用いて入力された光画像データ
を電気的な画像データに変換し、画像処理、及び画像圧
縮を行いメモリーカード等の記憶部に格納する装置であ
る。
【0005】デジタルカメラで撮影されたデータは、電
気信号であるがゆえに“画像”と呼ばれる。デジタルメ
ディアやインターネット等の発達に伴い、デジタルカメ
ラの需要は大きくなった。アナログカメラと異なり、撮
影された画像を即座に確認し取り直しができたり、現像
が不要な点もデジタルカメラの市場が拡大している理由
であり、ビジネスショーなどでメモ代わりに使用するユ
ーザも増えている。
【0006】デジタルカメラにおいてアナログカメラの
“現像”に対応する処理行程は、(1)画像処理及び
(2)画像圧縮の過程と考えることが出来る。(1)の
画像処理工程においては、例えば1画素に対して1つの
色成分しか有さない構造の一般的な単版式撮像素子を使
用する場合であれば、色補間処理が必要になる。また更
に、アパーチャ処理(エッジ強調処理、シャープネス向
上処理ともいう)や露出補正等の画像品質を向上するた
めの様々な画像処理が行われる。
【0007】アナログカメラでは現像時に多少の補正が
できるが、写真のシャープネスや露出が正しく行われて
いるか否かは使用されるフィルムの持つ粒状度(フィル
ム感度)、及び撮影時の焦点(ピント)によってほぼ決
まってしまう。
【0008】一方、デジタルカメラでは画像処理を最適
に行うことにより、撮影時よりもさらに画像品質の良い
画像を得ることができるのである。また、画像処理によ
ってシャープネスを向上させたり、2値化処理ができる
ため、アナログカメラでは一般的ではなかった文章の撮
影なども行われるようになった。
【0009】このように、デジタルカメラでは画像処理
が重要なため、画像処理に関する多くの特許出願がなさ
れている。例えば、特開平11−110551号公報で
は、デジタルカメラにおける色補間処理での色の誤判別
により生じた黒領域のノイズ(偽色)を除去するための
色判別装置を開示している。またデジタルカメラ用途に
限らなければ、デジタル画像の画像処理に関しては、幾
多の画像処理方法が提案されており、それらをデジタル
カメラに応用することも可能である。例えば、特開平1
0−191064号公報では、注目画素の縦横方向コン
トラスト成分を抽出し、その大きさに応じた重み付けで
フィルタリングを行うことによって、ノイズを除去しつ
つ鮮鋭度をあげることが可能な画像フィルタリング方法
及び装置を提案している。
【0010】デジタルカメラの画像処理における従来方
法では、画像全体が一括に同一方法で処理されるのが一
般的であったが、画像データをメモリカードなどの記憶
部に格納する前に行われる(2)の画像圧縮処理におい
ては画像の分割処理が行われるようになった。
【0011】例えば、特開平10−229544号公報
は、デジタルカメラとプリンタとの直接接続を想定して
いる。デジタルカメラに搭載されている記億媒体の容量
に制限があるため、画像処理されたデータを一度に圧縮
/伸長するのではなく、データを分割して圧縮する画像
処理装置を開示している。
【0012】また、画像データがカメラで撮られている
ことに注目した画像処理装置も提案されている。
【0013】例えば、特開平9−326025号公報
は、撮影時に被写体までの距離データも記億すること
で、抽出距離に位置する被写体の画像データのみを呼び
出すことのできる画像処理装置を提案している。即ち、
この方法では、撮影画像を構成している各部分が距離情
報によって取り出せるため、編集時に撮影者の意図を反
映させることが可能になる。
【0014】しかし、この方法では距離データのための
記憶容量を確保しなくてはならず、最悪の場合には、撮
影画像の画素分の距離データを記憶するための容量が必
要になる。現在の一般的なデジタルカメラが150万画
素を持ち、これからも画素数が増え続けることを考える
と、この方法は現実的ではない。
【0015】また、特開平10−229544号公報も
特開平9−326025号公報も、処理される画像デー
タがカメラによって撮影されたことの利点が活かされて
いない。
【0016】
【発明が解決しようとする課題】カメラによって撮影さ
れた画像データには、その性質に適した画像処理が行わ
れるべきである。その点を考慮せずに一般的な画像処理
を適用したのでは、画質レベルを上げるために処理行程
を複雑にするほど、処理時間が長くなってしまうという
問題がある。
【0017】本来、画像中の各領域の重要度の大きさに
関わらず、画質レベルは高い方が良い。しかし、画像全
体が最高レベルの画質を保つように処理を行うには、ど
うしても時間がかかる。デジタルカメラの使用時にシャ
ッタラグ(シャッタを押してから次にシャッタが押せる
までの時間であって、撮影インターバルとも言う)が長
いためシャッタチャンスを逃してしまった、ということ
がよく起こるのはこのためである。反対にカメラ本来の
性質を重視し、シャッタラグを短く設定するとすると、
画像処理、圧縮、また記憶部などの書き込み系にかかる
時間を短くしなくてはならない。
【0018】このように、従来のデジタルスチルカメラ
では、画質レベルを上げるための画像処理において処理
行程が複雑になると、処理に時間がかかってしまいシャ
ッタチャンスを逃すという問題があった。
【0019】それに対してアナログカメラの分野では、
前述のように、撮影者の視線検出機能を用いて、合焦制
御や露出制御を行う技術があった。しかしアナログカメ
ラでは、撮影者の視線検出機能は焦点及び露出制御に用
いるだけであり、画像処理に生かして画質レベルを向上
するという概念は全く存在しなかった。上記のデジタル
カメラの画像処理時間の問題点を考えると、撮影者の視
線検出機能をデジタルカメラに用いれば、撮影された画
像に対して、撮影者の意図を反映させた重要領域を特定
することが可能になる。
【0020】そこで本発明は、画像データがカメラで撮
影された画像であることを活かし、重要度の低い領域の
画像処理を簡素化することで処理時間を短縮することが
可能な撮像装置を提供することを目的とする。
【0021】詳しくは、本発明は、撮影者の視線検出機
能を基に、撮影者の意図を反映させた画像の各領域の画
像品質を決定し、重要度の低い領域の画像処理を簡素化
することによって、短い処理時間で画質レベルを向上す
ることが可能なデジタルカメラを提供することを目的と
する。
【0022】
【課題を解決するための手段】本発明による撮像装置
は、画像を撮像する撮像部と、撮像画面内の撮影者の注
視点を検出する視線検出部と、前記視線検出部の結果に
応じて前記撮像部による該画像の各領域の重要度を決定
する重要度算出部と、前記重要度算出部の結果に応じて
該画像の各領域の階調数を異ならせる階調数決定部を含
む。
【0023】上記撮像装置では、画像各領域の重要度に
応じて階調数を異ならせ、重要度の低い領域の階調数を
減らすことにより、撮影者の意志を反映して領域毎に画
像品質が異なる画像を生成することが出来る。このよう
に重要度の低い領域の階調数を減らすことにより、記憶
容量を削減することが可能になると共に、後々の画像処
理を高速に実行することが可能になる。
【0024】本発明の別の側面によれば、撮像装置は、
画像を撮像する撮像部と、撮像画面内の撮影者の注視点
を検出する視線検出部と、前記視線検出部の結果に応じ
て前記撮像部による該画像の各領域の重要度を決定する
重要度算出部と、前記重要度算出部の結果に応じて該画
像の各領域の色補間処理を異ならせる色補間処理部を含
む。
【0025】上記撮像装置では、画像各領域の重要度に
応じて色補間処理を異ならせることにより、撮影者の意
志を反映して領域毎に画像品質が異なる画像を生成する
ことが出来る。このように重要度の低い領域の色補間処
理を単純化することにより、色補間処理を高速に実行す
ることが可能になる。
【0026】本発明の別の側面によれば、撮像装置は、
画像を撮像する撮像部と、撮像画面内の撮影者の注視点
を検出する視線検出部と、前記視線検出部の結果に応じ
て前記撮像部による該画像の各領域の重要度を決定する
重要度算出部と、前記重要度算出部の結果に応じて該画
像の各領域のシャープネス向上処理を異ならせるシャー
プネス向上処理部を含む。
【0027】上記撮像装置では、画像各領域の重要度に
応じてシャープネス向上処理を異ならせることにより、
撮影者の意志を反映して領域毎に画像品質が異なる画像
を生成することが出来る。このように重要度の低い領域
のシャープネス向上処理を単純化することにより、シャ
ープネス向上処理を高速に実行することが可能になる。
【0028】本発明の別の側面によれば、撮像装置は、
画像を撮像する撮像部と、撮像画面内の撮影者の注視点
を検出する視線検出部と、前記視線検出部の結果に応じ
て前記撮像部による該画像の各領域の重要度を決定する
重要度算出部と、前記重要度算出部の結果に応じて該画
像の各領域のノイズ除去処理を異ならせるノイズ除去処
理部を含む。
【0029】上記撮像装置では、画像各領域の重要度に
応じてノイズ除去処理を異ならせることにより、撮影者
の意志を反映して領域毎に画像品質が異なる画像を生成
することが出来る。このように重要度の低い領域のノイ
ズ除去処理を単純化することにより、ノイズ除去処理を
高速に実行することが可能になる。
【0030】
【発明の実施の形態】以下、本発明にかかるデジタルス
チルカメラを、添付図面を参照にして詳細に説明する。
【0031】図1は、本発明のデジタルカメラの一実施
の形態の構成を示すブロック図である。図1において、
符号1は撮像レンズ、符号2は固体撮像素子(CC
D)、符号3はA/D変換部、符号4は固体撮像素子2
とA/D変換部3から構成される撮像部、符号5は画像
処理部、符号6は画像圧縮部、符号7は画像処理部5と
画像圧縮部6から構成される画像処理圧縮部、符号8は
記憶部、符号9はPCディスプレイ、符号10は視線検
出部、符号11は視線情報記憶部、符号12は重要領域
特定部、符号13は重要度算出部、符号14は重要度記
憶部、符号15は画像処理圧縮部7、重要領域特定部1
2、重要度算出部13、及び重要度記憶部14から構成
される画像品質決定部である。
【0032】撮影者が、本実施の形態である図1のデジ
タルカメラのファインダを覗くと、視線検出部10で撮
影者の注視点が検出される。検出された視線情報は視線
情報記憶部11に一旦記憶され、重要領域特定部12に
より画像中の重要領域が特定され、さらに重要度算出部
13で画像の各領域の重要度が算出され、その重要度は
重要度記憶部14に記憶される。撮影者の注視点を検出
する方法としては種々の方法が提案されており、何れの
方法を用いてもよいが、視線検出部10の詳細について
は後程その一例を示す。
【0033】固体撮像素子2にはCCDをあげたが、必
ずしもCCDである必要はない。以下では説明の便宜
上、固体撮像素子にはCCDが使われていることとす
る。CCDでは光学的な撮影レンズ1により結像された
被写体情報を光電変換して電気信号として出力する。
【0034】次に、AD変換部3によりアナログである
CCD固体撮像素子2の出力信号をデジタル信号に変換
する。
【0035】次の画像処理部5では、AD変換部3から
のデジタル出力信号に対し、画質レベルを上げるための
いくつかの処理を行い、画像データを出力する。画像処
理部については後ほど詳しく述べる。
【0036】次の画像圧縮部6では、画像処理部5から
出力された画像データに対し圧縮を行う。この圧縮され
た画像データをデータストリームと呼ぶことにする。画
像圧縮には種々の方法が提案されており、従来デジタル
カメラで撮影された画像の圧縮方法としては、JPEG
など、いわゆる画像圧縮アルゴリズムとして確立された
方法が用いられてきた。しかし例えば本出願人が先に出
願した画像圧縮/伸張方法(特願平10−175999
号:画像中の重要な領域を指定し、読み出された画像デ
ータの位置と重要な領域との距離をパラメータとして当
該読み出された画像データの重要度を算出し、算出され
た重要度に応じて画像データの各画素の圧縮率又は伸張
率を変化させる画像処理方法)を用いれば、画像中に指
定された重要領域の画像品質を保持しながら、効率的に
画像を圧縮することが可能である。これによれば、重要
度記憶部14に格納された重要度情報を用いて、効率的
な圧縮を行うことが可能となる。
【0037】画像処理部5と画像圧縮部6とを総称し
て、画像処理圧縮部7を呼ぶ。また、重要領域特定部1
2と重要度算出部13と重要度記憶部14、及び上記の
画像処理圧縮部7とを総称して画像品質決定部15と呼
ぶ。
【0038】この画像品質決定部15では、抽出された
撮影者の注視点の位置に基づいて画像の各領域の画像品
質を異ならせる機能を有することにより、撮影者の意図
を反映した画像品質を得ることが出来る。この詳細につ
いては後述する。
【0039】データストリームは記憶部8に格納され
る。ここで、記憶部8には、例えばフロッピー(登録商
標)ディスクやMO、メモリカード等を用いることが出
来るが、何れかの構成に限定されるものではない。また
記憶部8は、ケーブルを介してコンピュータシステムに
接続する記憶装置であって、デジタルカメラを画像入力
装置としてコンピュータに接続する構成であっても良
い。
【0040】記憶部8に格納されたデータストリーム
は、例えばパソコンなどのディスプレイ9で再現するこ
とが可能である。他にも再現手段として、プリンタに出
力するなどの種々の方法が考えられるが、何れかの構成
に限定されるものではない。
【0041】以下に、図1に示された本発明に関連する
各部の構成及びその処理の詳細について説明する。
【0042】図2は、視線検出部10の構成の一実施例
を示す図である。
【0043】視線検出部10は、接眼レンズ20、ダイ
ナミックミラー21、赤外発光ダイオード23、集光レ
ンズ24、光電変換素子25、注視点検出回路26、及
び映像表示素子27を含む。
【0044】ダイナミックミラー21は、可視光を通過
し赤外線を反射するミラーであり、光学的な接眼レンズ
20の直前に配置される。また同様に接眼レンズ20の
直前に、撮影者の眼22に向けて赤外線を照射する赤外
発光ダイオード23が配置される。赤外発光ダイオード
23の出力する赤外ビームは、撮影者の眼22により反
射された後、ダイナミックミラー21により反射され、
集光レンズ24を介して光電変換素子25に入射する。
ここで集光レンズ24は、撮影者の眼22の虹彩部分を
光電変換素子25の変換面上に結像するように配置され
ている。
【0045】以上の構成により、光電変換素子25の光
電変換面には、撮影者の眼22の像に赤外発光ダイオー
ド23のビーム・スポットが重なった像が結像する。
【0046】注視点検出回路26は、光電変換素子25
の光電変換面上での赤外ビームのスポット位置と虹彩の
位置との関係から、映像表示素子27の表示画面におけ
る注視点の位置を検出する。
【0047】なおこの際に、図3のように表示画面を複
数のブロックに分割し、注視点をブロック単位で抽出し
ても良い。
【0048】次に、重要領域特定部12及び重要度算出
部13の処理の詳細を説明する。
【0049】まず最も単純な場合として、重要領域を画
像中の単点として設定する場合について説明する。つま
り重要領域は、視線検出部10により検出された撮影者
の注視点である単一の点であるとする。なお注視点がブ
ロック単位で検出される構成の場合には、重要領域はそ
のブロックの中心位置であるとする。
【0050】重要領域特定部12が、撮影者の注視点位
置に基づいて、画像データの”重要領域”を単一の点と
して特定する。これに応じて重要度算出部13が、画像
データの任意の画素位置と重要領域との距離をパラメー
タとした重要度算出式によって、各画素位置での重要度
を算出する。重要度を連続値で与える場合の算出式は以
下のようになる。
【0051】重要度 = aX + b(1) a、b:実数、X:重要領域との距離 図4は、重要領域と注目画素との位置関係及び注目画素
の重要度を示す図である。
【0052】図4示されるように、重要領域が単一の点
として与えられる場合には、注目画素の重要度は、重要
領域と注目画素との距離Xの一次関数として計算され
る。
【0053】次に、重要領域を画像中の円状の微小領域
として設定する場合について説明する。
【0054】この場合には、微小領域の中心からの距離
と、微小領域の広がりの大きさを示すパラメータと、微
小領域の中心での強度を示すパラメータを有する任意の
分布関数を重要領域に当てはめることによって、画像デ
ータの任意の点に対する重要度の算出を行う。
【0055】まず重要領域特定部12が、撮影者の注視
点位置に基づいて、対象画像に対して重要領域を特定す
る。この例の場合の重要領域は、視線検出部10により
検出された撮影者の注視点に対して、その周辺の円形の
微小領域として特定される。これは、重要領域を規定す
る円について、円の半径、及び 円の中心位置を決定す
ることによって行われる。
【0056】各画素の重要度は 例えば正規分布関数f
(x)を用いて表すことができる。正規分布関数は以下
の式(2)を用いて表せる。但し、式中のσは分布の標
準偏差、μは平均値であり、平均値からの距離をxとす
る。Kは規格化常数である。 f(x) = {K / (2πσ2) 1/2}[exp{-(x-μ)2 / 2σ2}] (2) 図5は、重要度を規定する正規分布関数f(x)を示す
図である。
【0057】すなわち、式(2)において、重要領域の
中心位置(撮影者の注視点)をμ(=0)、中心点から
の距離をxとみなせば、任意の位置の重要度を式(2)
の算出値f(x)を用いて得ることができる。また、σ
を重要領域の半径に比例させて分布関数f(x)の分布
の広がりを調節することで、重要領域の大きさに応じた
適切な重要度を得ることができる。
【0058】また更に、最重要点である重要領域の中
心、すなわち撮影者の注視点での重要度の大きさは、規
格化常数Kに適当な値を与えることで行う。
【0059】即ち、重要領域の中心位置からの距離xに
基づいて重要度算出部13が算出する重要度は、以下の
式で与えられる。 f(x) = {K / (2πσ2)1/2}[exp{- x2 / 2σ2}](3) なお分布関数は、上述の正規分布関数に限られるもので
はなく、重要領域の半径を反映する形状を有した種々の
関数が考えられるが、そのいずれを用いてもかまわな
い。
【0060】次に、重要領域が複数ある場合、すなわ
ち、重要領域が撮影者の注視点であり、それらが複数個
ある場合について説明する。
【0061】図6は、画像中に2個の重要度領域が指定さ
れた様子を示す図である。
【0062】第1の重要領域(領域1)と注目画素の位
置(x,y)との間の距離がr1であり、第2の重要領
域(領域2)と注目画素の位置(x,y)との間の距離
がr2である。
【0063】図7は、画像中の位置(x,y)での重要
度を、位置(x,y)から第1の重要領域および第2の
重要領域の中心位置までの距離を横軸にとって示したも
のである。
【0064】図7に示すように 、重要度算出部13に
よって、第2の重要領域による位置(x,y)における
重要度はα(x,y)と算出され、同様に第1の重要領
域による位置(x,y)における重要度はβ(x,y)
と算出される。位置(x,y)に対する最終的な重要度
P(x,y) は、例えば各重要領域に対し算出される
重要度の和 P(x,y) =(α(x,y) +β(x,y)) として得ることができる。
【0065】また重要領域が二つ以上の場合も同様に考
えることが出来る。
【0066】式(3)の例では合成した重要度の計算に
各々の重要度の和を用いたが、これに限定されるもので
はなく、例えば和の代わりに積を用いても良い。
【0067】次に、重要領域を画像中の楕円状の微小領
域として設定する場合について説明する。
【0068】この場合には、関数特性の異なる二つの直
交する重要度の分布関数を用いて、楕円形状の分布を有
する分布関数を作る。
【0069】例えば標準偏差が異なっていて、互いに直
交する二つの正規分布関数fx(x)及びfy(y)を
用いて、新たな分布関数F(x,y)を作成する。図8
は、F(x,y)の重要度の等高線分布を示す図であ
る。
【0070】以上、連続的な重要度の値を算出する実施
例を示したが、重要度は離散的な値であっても良い。
【0071】図9 は、重要度のレベルを5段階に量子化
した例を示す図である。
【0072】このようにして決定された重要度は、重要
度記憶部14に記憶される。以後、実施例の説明では量
子化された重要度を用いる。次に画像処理部5の構成及
び処理について説明する。
【0073】図10は、画像処理部5の機能ブロック構
成を示す構成図である。
【0074】まず機能ブロック5−1が、重要度記憶部
14に記憶された各領域の重要度A、B、C(但し、A
>B>C)を呼び出す。
【0075】図11は、楕円形状の重要領域を例として
画像内の各領域に割当てられた量子化された重要度を示
す図である。図11に示されるように、撮影者の注視点
に最も近い画像領域の部分(領域1)に、最重要である
ことを示す重要度Aが割当てられている。また重要度A
の部分を取り囲む領域であり、撮影者の注視点から若干
距離がある部分(領域2)に、重要度Bが割当てられて
いる。更に、それ以外の画像領域(領域3)は、最低の
重要度である重要度Cが割当てられている。
【0076】また機能ブロック5−2が、図1のA/D
変換部3から出力される画像データを受け取る。
【0077】更に機能ブロック5−3が、重要度記憶部
14から読み出された各領域の重要度を、A/D変換部
3から出力される画像データに対して対応付けること
で、画像データに対する領域毎の重要度を決定する。重
要度の高い領域ほど画像内での重要性が高いので、機能
ブロック5−4が、上記領域1乃至3の重要度に対応さ
せて画質レベルを決定する。
【0078】次に機能ブロック5−5が、重要度A乃至
Cの順番で高画質になるように、画像処理を実行する。
例えば、画像データに対し、階調数決定処理、色補間処
理やシャープネス向上処理、ノイズ除去処理等を施す。
各処理については後ほどの実施例の説明で詳しく述べ
る。
【0079】ここで、重要度の決定は画素単位ではな
く、画像をブロック単位に分割して重要度を決定しても
良い。
【0080】図12は、画像を縦横に複数分割したブロ
ックの例である。この例では画像を縦横に複数分割しブ
ロックにして、ブロックごとに重要度を決定し、画質を
異ならせるような処理を行うことが出来る。この場合、
画素毎に重要度を決定して処理を異ならせる構成に比較
して、処理を簡略化することが可能となる。
【0081】図13は、画像を均等でない形に複数分割
したブロックの例である。この例では、画像がデジタル
カメラで撮影したものであることを考慮し、中心と周辺
とでブロックの大きさを変化させている。ブロックの分
割は上記の構成に限定されるものではなく、応用分野や
設計条件を考慮して適当な分割方法を用いればよい。
【0082】以下に、画像出力装置の実施例を説明す
る。
【0083】図14は画像出力装置を含むハードウェア
構成の一例を示す構成図である。
【0084】図14のシステムにおいては、デジタルカ
メラ201を画像入力装置として使用する。デジタルカ
メラ201は、コンピュータ210、ハードディスク2
03、キーボード204、CD−ROMドライブ20
5、フロッピーディスクドライブ206、及びモデム2
07などからなるコンピュータシステムと接続される。
また画像出力装置は、コンピュータ210を介して作動
する。画像出力装置の具体例としては、インクジェット
プリンタなどのプリンタ209やディスプレイ208、
またフロッピーディスク216やMO217、またはデ
ータを記憶するためのサーバ215が該当する。
【0085】なお、モデム207は公衆通信回線を介し
て外部のネットワークに接続され、ソフトウェアやデー
タをコンピュータシステムにダウンロードすることが可
能である。
【0086】一方、コンピュータ210内ではオペレー
ティングシステム212が稼動しており、プリンタやデ
ィスプレイに対応したプリンタドライバ214やディス
プレイドライバ213が組み込まれている。画像出力装
置を使用する際には、コンピュータ210は、RGBの
階調データを入力して、例えばディスプレイドライバ2
13を介してディスプレイ208に画像を表示させる。
或いは、コンピュータ210は、サーバ215に画像デ
ータを記憶させる。或いは、プリンタドライバ214を
介して、CMYもしくはCMYKの2値データに変換し
てプリンタ209に画像を印刷させる。もしくは、記録
媒体としてのフロッピーディスク216又はMO217
にデータを記録する。
【0087】以下に、本発明によるデジタルカメラにお
いて、重要度に応じて画像品質を異ならせる処理の実施
例を説明する。なおこの処理は、画像処理部5によって
実行されるものである。
【0088】図15は、重要度に応じて画像品質を異な
らせる処理の第1の実施例を示す流れ図である。
【0089】この第1の実施例では、重要度の大きい領
域の階調性を他の領域の階調性と比較して重要視する。
これによって、重要度の大きな領域の画質を向上させな
がらも、画像全体に対して同一の階調再現性を要求した
場合に比較して、記憶部の容量節約及び後の画像処理の
高速化を実現することが出来る。
【0090】まず、ステップST1で、重要度記憶部1
4から各領域の重要度が入力される。またステップST
2で、A/D変換部3から画像データが入力される。
【0091】次にステップST3で、注目画素Xの属す
る領域を特定することで重要度が決定される。ステップ
ST4で、階調数決定処理手段により、階調数が決定さ
れる。例えば、階調数決定処理手段では、図11の例の
ように各領域1乃至3の重要度がA乃至C(但し、A>
B>C)であった場合、Xの属する領域の重要度に応じ
て階調数を異ならせ、 領域1の階調数 > 領域2の階調数 > 領域3の階
調数、 となるように設定される。階調数の例としては、例え
ば、 領域1の階調数 = 256 領域2の階調数 = 128 領域3の階調数 = 64 等として良い。
【0092】また例えば、デジタルカメラを直接プリン
タ等に接続して画像出力を行う場合には、プリンタの出
力階調数に合わせて各領域の階調数を決定してよい。プ
リンタの階調数が128の場合には、例えば、 領域1の階調数 = 128 領域2の階調数 = 64 領域3の階調数 = 32 等として良い。なお階調数は出力機器等の性能に応じて
決められるものであり、使用する機器に応じて適宜階調
数を決定する構成でよい。
【0093】ステップST5で、全画素の階調数決定処
理を終えたか否かを判断する。全画素の階調数決定処理
を終了していない場合には、ステップST3に戻り、新
たな画素に対する処理を行う。全画素の階調数決定処理
を終了した場合には、ステップST6に進む。
【0094】ステップST6で、画像を出力する。以上
で処理を終了する。
【0095】上記のように、第1の実施例では、画像各
領域の重要度に応じて階調数を異ならせ、重要度の低い
領域の階調数を減らすことにより、撮影者の意志を反映
して領域毎に画像品質が異なる画像を生成することが出
来る。このように重要度の低い領域の階調数を減らすこ
とにより、記憶容量を削減することが可能になると共
に、後々の画像処理を高速に実行することが可能にな
る。
【0096】図16は、重要度に応じて画像品質を異な
らせる処理の第2の実施例を示す流れ図である。
【0097】撮像素子が原色ベイヤー配列のCCDの場
合、図17のような色フィルタを使用する。従って、一
画素あたりRGB何れか一つの色情報しか持たないこと
になり、他の2色の色情報を補う必要がある。この色情
報を補うための処理を、色補間処理と呼ぶ。
【0098】図17を見れば分かるように、原色ベイヤ
ー配列ではR及びBに対して、Gの画素密度は2倍とな
っている。これは、G信号に対する人間の視覚の輝度応
答が敏感なためであり、それゆえ通常、G色の補間は他
の2色の補間に比較して厳密に行われる。
【0099】そこで、本実施例では、重要度の大きい領
域の色補間処理を他の領域の色補間処理と比較して重要
視する。これによって、重要度の大きな領域の画質を向
上させながらも、画像全体に対して同一の処理を適用し
た場合に比較して、色補間処理を高速化することが可能
になる。
【0100】図18 において、図の中心に位置する画
素Xを注目画素とする。そして、Xの G色情報を補間
する場合を考える。注目画素Xの4近傍画素をそれぞれ
a、b、c、dとし、a、b、c、dのG値は既知であ
り、XのG値をa、b、c、dのG値を用いて算出する
とする。
【0101】bとcの差の絶対値をΔx、aとdの差の
絶対値をΔyとし、ΔxとΔyとを比較することで、X
においてグリーン色が水平及び垂直の何れの方向に方向
性を持っているかを検討し、色変わりの少ない方向に対
して補間を行う。
【0102】即ち、Δx、Δyの何れかが閾値th以上
である場合にはΔx、Δyの小さい方向の2画素平均を
とって補間する。それ以外の条件になった場合には、水
平垂直何れの方向に対しても方向性を持たないと判断
し、a、b、c、dの4画素平均を取る。つまり、 Δx = |b-c| Δy = |a-d| (4) として、 X = (b + c)/2 if(Δx < Δy かつ Δy ≧ th) (a + d)/2 if(Δx > Δy かつ Δx ≧ th) (5) (a + d + b + c)/4 other (6) である。これが重要度の高い領域に対する色補間処理と
なる。
【0103】また重要度の高い領域以外の領域では単純
に式(6)用いて画素平均を取ればよい。更にXがR及
びB値であった場合も単純に周辺画素の平均を取る。こ
れによって、重要度に応じた色補間処理、即ち重要度の
大きい領域の色補間処理を他の領域の色補間処理と比較
して重要視することが可能となる。
【0104】図16を参照して、まずステップST1
で、重要度記憶部14から各領域の重要度が入力され
る。またステップST2で、A/D変換部3から画像デ
ータが入力される。
【0105】ステップST3で、注目画素Xの属する領
域を特定することで重要度を決定する。
【0106】ステップST4で、注目画素Xに対して補
うべき色情報を判断する。補うべき色情報がG色である
場合には、ステップST5に進む。補うべき色情報がR
或いはBである場合には、ステップST6に進む。
【0107】ステップST5では、当該領域の重要度に
対応して上述の色補間演算を行う。ステップST6で
は、単純に周辺4画素の平均を取る。
【0108】ステップST7で、全画素の色補間処理を
終えたか否かを判断する。全画素の色補間処理を終了し
ていない場合には、ステップST3に戻り、新たな画素
に対する処理を行う。全画素の色補間処理を終了した場
合には、ステップST8に進む。
【0109】ステップST8で、画像を出力する。以上
で処理を終了する。
【0110】上記のように、第2の実施例では、画像各
領域の重要度に応じて色補間処理を異ならせることによ
り、撮影者の意志を反映して領域毎に画像品質が異なる
画像を生成することが出来る。このように重要度の低い
領域の色補間処理を単純化することにより、色補間処理
を高速に実行することが可能になる。
【0111】また上記第2の実施例の変形例として、色
補間処理を重要度に応じて変化させるために、各領域の
重要度に応じて補間参照範囲を異ならせるようにしても
よい。
【0112】例えば、重要度の高い領域では広い補間参
照範囲を、低い領域では狭い補間参照範囲を設定し、そ
れぞれの補間参照範囲内の色情報から注目画素の色情報
値を決定することが出来る。
【0113】図19は、重要度が高い場合に対応する広
い補間参照範囲の一例を示す図である。
【0114】参照領域が図19の場合の補間方法を述べ
る。注目画素Xの12近傍画素をそれぞれ図に示される
a、b、c、d、e、f、g、h、i、j、k、lとし
て、これらに基づいて注目画素XのG情報を補完する。
ここで、これらの12近傍画素のG値は既知である。
【0115】また注目画素が水平、垂直の何れの方向性
を持っているかを検討する。つまり、 Δx = |(i + b + j) - (l + c + k) | Δy = |(e + a + h) - (f + d + g) | (7) として、 X = (i + b + j + l + c + k)/6 if(Δx < Δy かつ Δy ≧ th) (e + a + h + f + d + g)/6 if(Δx > Δy かつ Δx ≧ th) (8) (a + d + b + c)/4 other (9) を計算して、色補間処理を実行する。なお重要度が比較
的小さい領域では単純に式(9)用いてa、b、c、d
の4画素平均を取ればよい。即ち、この場合の補間参
照範囲は、図18に示される範囲となり、図19と比較
して狭い補間参照範囲となる。
【0116】この第2の実施例の変形例では、重要度の
高い領域では広い補間参照範囲を設定し重要度の低い領
域では狭い補間参照範囲を設定して、画像各領域の重要
度に応じて色補間処理を異ならせることにより、撮影者
の意志を反映して領域毎に画像品質が異なる画像を生成
することが出来る。このように重要度の低い領域の色補
間処理を単純化することにより、色補間処理を高速に実
行することが可能になる。
【0117】図20は、重要度に応じて画像品質を異な
らせる処理の第3の実施例を示す流れ図である。
【0118】第3の実施例においては、画像のシャープ
ネス向上処理を、画像領域の重要度に応じて異ならせ
る。シャープネス向上処理はアパーチャ補正とも呼ば
れ、画像中の輪郭部分を強調する処理である。輪郭部分
を強調するには、まず注目画素が輪郭部分を構成してい
るかどうかを判定する。G値を輝度値とみなし、判定に
はG信号を用いる。
【0119】本実施例では、注目画素が輪郭部分か否か
の判定処理及びシャープネス向上処理を、重要度の大き
い領域ではそれ以外の領域と比較して、より詳細な処理
とする。これによって、重要度の大きな領域の画質を向
上させながらも、画像全体に対して同一の処理を適用し
た場合に比較して、処理を高速化することが出来る。
【0120】図21に示すように 重要度の大きい領域
において注目画素の画素値をXとする。Xに対して水平
方向4近傍画素の画素値をそれぞれa、b、c、dと
し、垂直方向4近傍画素をそれぞれs、t、u、vとす
る。輪郭を抽出するために 例えば 水平方向及び垂直方
向各々に対して、高域及び中域のラプラシアンをとる。
【0121】 ・水平方向高域ラプラシアン: Lhh =2X-b-c ・水平方向中域ラプラシアン: Lhm =2X-a-d ・垂直方向高域ラプラシアン: Lvh =2X-t-u ・垂直方向中域ラプラシアン: Lvm =2X-s-v (10) 式(10)では、注目画素を2倍した値から上下或いは
左右の周囲2画素の値を引いている。即ち、周辺画素に
対し注目画素の値が異なっている場合、算出値は大きく
なる。逆に、周辺画素と注目画素の値が同等の場合は算
出値は小さくなる。このようにラプラシアンをとること
で、注目画素の孤立点の度合いを検出することが出来
る。
【0122】次にLhh、Lhm、Lvh、Lvmに図
22に示されるような非線形変換f(x) を適用す
る。これによって、ラプラシアンに下限th_min及
び上限lim_maxを設ける。この処理では、ラプラ
シアンの値が小さくth_min以下の場合、その値を
0にすることにより、注目画素は輪郭部ではないとして
いる。
【0123】更に、(f(Lhh)+f(Lhm))、
及び(f(Lvh)+f(Lvm))の大小を比較し、
Xが水平垂直何れの直線の一部であるかを判断する。即
ち、(f(Lhh)+f(Lhm))>(f(Lvh)
+f(Lvm))であれば、注目画素は垂直線の一部で
あり、(f(Lhh)+f(Lhm))<(f(Lv
h)+f(Lvm))であれば、注目画素は水平線の一
部であると判断する。
【0124】注目画素が水平直線の一部だと判断された
ならXのR、B、G値Xr、Xg、Xbに対して水平直
線のシャープネスを向上させる補正係数を乗算する。具
体的には、補正後のXのR、B、G値Xr'、Xg'、X
b'を例えば以下のように算出する。 Xr' = Xr((f(Lhh)+f(Lhm))/2 + Z)/Z Xg' = Xg((f(Lhh)+f(Lhm))/2 + Z)/Z Xb' = Xb((f(Lhh)+f(Lhm))/2 + Z)/Z (11) ここで、注目画素が水平線である可能性が大きいほど
|(f(Lhh)+f(Lhm))| の値は大きくな
る。従って、式(11)の算出値では、水平線である可
能性が大きい画素ほどより大きく強調される。発明者の
実験ではz=128近傍が望ましい。
【0125】垂直直線の処理も同様である。すなわち、
注目画素が垂直直線の一部だと判断されたならXのR、
B、G値Xr、Xg、Xbに対して垂直直線のシャープ
ネスを向上させる補正係数を乗算する。具体的には、補
正後のXのR、B、G値Xr'、Xg'、Xb'を例えば
以下のように算出する。 Xr' = Xr((f(Lvh)+f(Lvm))/2 + Z)/Z Xg' = Xg((f(Lvh)+f(Lvm))/2 + Z)/Z Xb' = Xb((f(Lvh)+f(Lvm))/2 + Z)/Z (12) 式(12)の算出値では、垂直線である可能性が大きい
画素ほどより大きく強調される。発明者の実験ではz=
128近傍が望ましい。
【0126】以上が重要度の高い領域に対する色補間処
理となる。
【0127】重要度の高い領域以外の領域では、単純に
高域のみ或いは中域のみのラプラシアンを計算して、注
目画素の水平垂直成分を判定すれば良い。これによっ
て、重要度に応じたシャープネス向上処理、即ち重要度
の大きい領域のシャープネス向上処理を、他の領域のシ
ャープネス向上処理と比較して重要視することが可能と
なる。
【0128】図20を参照して以上の処理工程を纏めて
説明すると、まずステップST1で、重要度記憶部14
から各領域の重要度が入力される。またステップST2
で、A/D変換部3から画像データが入力される。
【0129】ステップST3で、注目画素Xの属する領
域を特定することで重要度を決定する。
【0130】ステップST4で、注目画素Xの重要度に
応じて注目画素が輪郭部分か否かの判定を行うと共に、
シャープネス向上処理を重要度に応じて実行する。
【0131】ステップST5で、全画素のシャープネス
向上処理を終えたか否かを判断する。全画素のシャープ
ネス向上処理を終了していない場合には、ステップST
3に戻り、新たな画素に対する処理を行う。全画素のシ
ャープネス向上処理を終了した場合には、ステップST
6に進む。
【0132】ステップST6で、画像を出力する。以上
で処理を終了する。
【0133】上記のように、第3の実施例では、画像各
領域の重要度に応じてシャープネス向上処理を異ならせ
ることにより、撮影者の意志を反映して領域毎に画像品
質が異なる画像を生成することが出来る。このように重
要度の低い領域のシャープネス向上処理を単純化するこ
とにより、シャープネス向上処理を高速に実行すること
が可能になる。
【0134】図23は、重要度に応じて画像品質を異な
らせる処理の第4の実施例を示す流れ図である。
【0135】デジタルカメラは電気的なシャッタを使用
しているため撮影画像にノイズが付加される。このため
CCDからの出力信号にあらかじめ光学的ローパスフィ
ルタをかけてノイズを除去するが、全てのノイズが完全
に除去される訳ではない。また色補間処理やシャープネ
ス向上処理によってノイズが強調される場合があり、ノ
イズ除去処理が必要不可欠である。
【0136】色補間処理が原因でノイズが発生するの
は、白黒の境界付近である。また、画素密度の多いG成
分より、画素密度の低いR及びB成分を補間した結果、
無彩色部分にこれらの色が付いてしまう場合が多く、こ
のようなノイズは偽色と呼ばれる。
【0137】本実施例では、注目画素が偽色か否かを判
定するための処理を、重要度の大きい領域を他の領域と
比較して重要視して実行する。これによって、重要度の
大きな領域の画質を向上させながらも、画像全体に対し
て同一の処理を適用した場合に比較して、処理を高速化
することが出来る。
【0138】まず注目画素がノイズかどうかを判定す
る。R及びB成分のノイズを抽出するために対象画素X
のRB成分を算出する。XのR及びBの値をXr、Xb
とすると、XのRB成分は以下の式で算出される。 ΔX_RB = |Xr - Xb| (13) 次に、図18に示されるのと同様に注目画素の上下左右
の4近傍画素をそれぞれa、b、c、dとし、以下のよ
うに重みづけ平均ΔEを取る。
【0139】 ΔE = 8×ΔX_RB - 2×(Δa_RB + Δb_RB + Δc_RB + Δd_RB) (14) ΔEを閾値th_eと比較し、ΔEが閾値th_eより大
きいときに、注目画素がノイズであると判断する。注目
画素がノイズの場合には、ノイズ除去を行う。具体的に
は、補正後のXのR、B値Xr'、Xb'を以下のように
算出する。a、b、c、dのR成分及びB成分をそれぞ
れar、br、cr、dr及びab、bb、cb、db
とすると、 Xr' = (ar + br + cr + dr)/4 if(ΔE ≧ th_e) Xr' = Xr' other Xb' = (ab + bb + cb + db)/4 if(ΔE ≧ th_e) Xb' = Xb' other (15) となる。これが重要度の高い領域に対する色補間処理と
なる。
【0140】また重要度の高い領域以外の領域では、例
えば4近傍画素のうち片側の2近傍画素に対して、重み
づけ平均ΔEを取ればよい。即ち例えば、 ΔE = 4×ΔX_RB - 2×(Δa_RB + Δb_RB ) (16) とすればよい。またこの場合には、ノイズ除去処理にお
いても片側の2近傍画素のみで済ませ簡略化する。例え
ば、 Xr' = (ar + br)/2 if(ΔE ≧ th_e) Xr' = Xr' other Xb' = (ab + bb)/2 if(ΔE ≧ th_e) Xb' = Xb' other (17) とすればよい。
【0141】図23を参照して以上の処理工程を纏めて
説明すると、まずステップST1で、重要度記憶部14
から各領域の重要度が入力される。またステップST2
で、A/D変換部3から画像データが入力される。
【0142】ステップST3で、注目画素Xの属する領
域を特定することで重要度を決定する。
【0143】ステップST4で、注目画素Xの重要度に
応じて注目画素がノイズか否かの判定を行うと共に、ノ
イズ除去処理を重要度に応じて実行する。
【0144】ステップST5で、全画素のノイズ除去処
理を終えたか否かを判断する。全画素のノイズ除去処理
を終了していない場合には、ステップST3に戻り、新
たな画素に対する処理を行う。全画素のノイズ除去処理
を終了した場合には、ステップST6に進む。
【0145】ステップST6で、画像を出力する。以上
で処理を終了する。
【0146】上記のように、第4の実施例では、画像各
領域の重要度に応じてノイズ除去処理を異ならせること
により、撮影者の意志を反映して領域毎に画像品質が異
なる画像を生成することが出来る。このように重要度の
低い領域のノイズ除去処理を単純化することにより、ノ
イズ除去処理を高速に実行することが可能になる。
【0147】ノイズ除去処理は、上記実施例に限定され
るものではない。例えば、参照領域のR、G、Bの平均
値に対して注目画素のRGB値がある範囲に入っている
ことを調べれば、注目画素がノイズであるか否かを判断
することができる。即ち、所定の範囲の上限及び下限と
して2つの正の閾値を設けて、以下のような判別式が成
り立てばターゲットはノイズでないとみなせる。 閾値1<(注目画素の値)/(参照範囲の平均値)<閾
値2 上記式が成り立たず注目画素がノイズであるとみなされ
た場合は、例えば注目画素の画素値を参照範囲の平均値
で置き換えノイズの除去を行ってよい。この時、重要度
の大きい領域では注目画素を中心とした参照範囲を定
め、逆に重要度の小さい領域では注目画素を中心とした
大きい参照範囲を定めれば良い。
【0148】また、例えば、重要度の大きい領域ではR
GB信号全てに対して注目画素がノイズか否かの判定を
行い、重要度の小さい領域では人間が最も敏感であるG
信号についてのみ判定を行うようにすれば、処理を簡略
化することが出来る。
【0149】以上、第1の実施例乃至第4の実施例を説
明したが、これらの実施例において、例えば図11のよ
うに重要度が割当てられた領域1、2、3の各領域に対
して予め所定のノイズ除去処理時間を定めておき、それ
ぞれの処理時間内にノイズ除去処理が収まるように、参
照範囲や処理工程を決定しておくようにしてもよい。こ
うすることによって、画像全体に対して同一の処理を適
用する場合に比較して同じ処理時間をかけても、撮影者
が重要だと感じる部分の画質レベルを高く保つことが可
能になる。
【0150】また上記第1の実施例乃至第4の実施例で
説明した階調数決定処理、色補間処理、シャープネス向
上処理、及びノイズ除去処理は、実施例で開示した形態
に限定されるものではなく、本発明が対象とする画像デ
ータに適用可能な処理であれば、デジタル画像処理分野
或いは関連する画像処理分野で用いられる技術を本発明
に適用し、撮影者の注視点位置に基づいて効率的な画像
処理を実行することが可能である。
【0151】以上、本発明を実施例に基づいて説明した
が、本発明は上記実施例に限定されるものではなく、特
許請求の範囲に記載の範囲内で様々な変形が可能であ
る。
【0152】
【発明の効果】本発明においては、画像各領域の重要度
に応じて階調数を異ならせ、重要度の低い領域の階調数
を減らすことにより、撮影者の意志を反映して領域毎に
画像品質が異なる画像を生成することが出来る。このよ
うに重要度の低い領域の階調数を減らすことにより、記
憶容量を削減することが可能になると共に、後々の画像
処理を高速に実行することが可能になる。
【0153】また本発明においては、重要度算出部の結
果に応じて画像の各領域の色補間処理を異ならせる色補
間処理、重要度算出部の結果に応じて画像の各領域のシ
ャープネス向上処理を異ならせるシャープネス向上処
理、及び/又は重要度算出部の結果に応じて画像の各領
域のノイズ除去処理を異ならせるノイズ除去処理を実行
する。このように、画像各領域の重要度に応じて色補間
処理、シャープネス向上処理、及び/又はノイズ除去処
理を異ならせることにより、撮影者の意志を反映して領
域毎に画像品質が異なる画像を生成することが可能とな
り、重要度の低い領域の処理を単純化することで処理を
高速に実行することが出来る。
【0154】このように撮影者の意志を反映して重要な
領域を重視した処理を実行することで、短い処理時間で
画質レベルを向上することが可能なデジタルスチルカメ
ラを提供することが出来る。
【図面の簡単な説明】
【図1】本発明によるデジタルカメラの一実施形態の構
成を示すブロック図である。
【図2】視線検出部の構成の一実施例を示す図である。
【図3】注視点をブロック単位で抽出するために表示画
面を複数のブロックに分割する様子を示す図である。
【図4】重要領域と注目画素との位置関係及び注目画素
の重要度を示す図である。
【図5】重要度を規定する正規分布関数を示す図であ
る。
【図6】画像中に2個の重要度領域が指定された様子を
示す図である。
【図7】画像中の位置(x,y)での重要度を第1の重
要領域および第2の重要領域に対して示したものであ
る。
【図8】重要領域を画像中の楕円状の微小領域として設
定する場合の重要度の等高線分布を示す図である。
【図9】重要度のレベルを5段階に量子化した例を示す
図である。
【図10】画像処理部の機能ブロック構成を示す構成図
である。
【図11】楕円形状の重要領域を例として画像内の各領
域に割当てられた量子化された重要度を示す図である。
【図12】画像を縦横に複数分割したブロックの例であ
る。
【図13】画像を均等でない形に複数分割したブロック
の例である。
【図14】画像出力装置を含むハードウェア構成の一例
を示す構成図である。
【図15】重要度に応じて画像品質を異ならせる処理の
第1の実施例を示す流れ図である。
【図16】重要度に応じて画像品質を異ならせる処理の
第2の実施例を示す流れ図である。
【図17】撮像素子が原色ベイヤー配列のCCDの場合
の色フィルタの構成を示す図である。
【図18】色補間処理をする際の注目画素及び4近傍画
素を示す図である。
【図19】重要度が高い場合に対応する広い補間参照範
囲の一例を示す図である。
【図20】重要度に応じて画像品質を異ならせる処理の
第3の実施例を示す流れ図である。
【図21】シャープネス向上処理をする際の注目画素及
び近傍画素を示す図である。
【図22】ラプラシアン演算に対する非線形変換を示す
図である。
【図23】重要度に応じて画像品質を異ならせる処理の
第4の実施例を示す流れ図である。
【符号の説明】
1 撮像レンズ 2 固体撮像素子(CCD) 3 A/D変換部 4 撮像部 5 画像処理部 6 画像圧縮部 7 画像処理圧縮部 8 記憶部 9 PCディスプレイ 10 符号検出部 11 視線情報記憶部 12 重要領域特定部 13 重要度算出部 14 重要度記憶部 15 画像品質決定部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/46 H04N 5/21 Z 5/208 9/07 C 5/21 101:00 9/07 1/40 101C // H04N 101:00 1/46 Z

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】画像を撮像する撮像部と、 撮像画面内の撮影者の注視点を検出する視線検出部と、 前記視線検出部の結果に応じて前記撮像部による該画像
    の各領域の重要度を決定する重要度算出部と、 前記重要度算出部の結果に応じて該画像の各領域の階調
    数を異ならせる階調数決定部を含むことを特徴とする撮
    像装置。
  2. 【請求項2】画像を撮像する撮像部と、 撮像画面内の撮影者の注視点を検出する視線検出部と、 前記視線検出部の結果に応じて前記撮像部による該画像
    の各領域の重要度を決定する重要度算出部と、 前記重要度算出部の結果に応じて該画像の各領域の色補
    間処理を異ならせる色補間処理部を含むことを特徴とす
    る撮像装置。
  3. 【請求項3】画像を撮像する撮像部と、 撮像画面内の撮影者の注視点を検出する視線検出部と、 前記視線検出部の結果に応じて前記撮像部による該画像
    の各領域の重要度を決定する重要度算出部と、 前記重要度算出部の結果に応じて該画像の各領域のシャ
    ープネス向上処理を異ならせるシャープネス向上処理部
    を含むことを特徴とする撮像装置。
  4. 【請求項4】画像を撮像する撮像部と、 撮像画面内の撮影者の注視点を検出する視線検出部と、 前記視線検出部の結果に応じて前記撮像部による該画像
    の各領域の重要度を決定する重要度算出部と、 前記重要度算出部の結果に応じて該画像の各領域のノイ
    ズ除去処理を異ならせるノイズ除去処理部を含むことを
    特徴とする撮像装置。
  5. 【請求項5】前記階調数決定部は、第1の領域の階調数
    を、該第1の領域より重要性の低い第2の領域の階調数
    よりも多くすることを特徴とする請求項1記載の撮像装
    置。
  6. 【請求項6】前記色補間処理部は、第1の領域では第1
    の処理を行い、該第1の領域より重要性の低い第2の領
    域では第2の処理を行い、該第1の処理は該第2の処理
    よりも高い画質の画像を生成し、該第2の処理は該第1
    の処理より高速な処理であることを特徴とする請求項2
    記載の撮像装置撮像装置。
  7. 【請求項7】前記シャープネス処理部は、第1の領域で
    は第1の処理を行い、該第1の領域より重要性の低い第
    2の領域では第2の処理を行い、該第1の処理は該第2
    の処理よりも高い画質の画像を生成し、該第2の処理は
    該第1の処理より高速な処理であることを特徴とする請
    求項3記載の撮像装置。
  8. 【請求項8】前記ノイズ除去処理部は、第1の領域では
    第1の処理を行い、該第1の領域より重要性の低い第2
    の領域では第2の処理を行い、該第1の処理は該第2の
    処理よりも高い画質の画像を生成し、該第2の処理は該
    第1の処理より高速な処理であることを特徴とする請求
    項4記載の撮像装置。
  9. 【請求項9】画像を撮像する撮像部と、 撮像画面内の撮影者の注視点を検出する視線検出部と、 前記視線検出部の結果に応じて前記撮像部による該画像
    の各領域の重要度を決定する重要度算出部と、 前記重要度算出部の結果に応じて、該画像の各領域の階
    調数を異ならせる処理、該画像の各領域の色補間処理を
    異ならせる処理、該画像の各領域のシャープネス向上処
    理を異ならせる処理、及び該画像の各領域のノイズ除去
    処理を異ならせる処理のうち少なくともいずれか一つの
    処理を実行する画像処理部を含むことを特徴とする撮像
    装置。
  10. 【請求項10】画像を撮像し、 撮像画面内の撮影者の注視点を検出し、 該注視点検出の結果に応じて撮像された該画像の各領域
    の重要度を決定し、 該決定された重要度に応じて該画像の各領域の階調数を
    異ならせる各段階を含むことを特徴とする撮像方法。
  11. 【請求項11】画像を撮像し、 撮像画面内の撮影者の注視点を検出し、 該注視点検出の結果に応じて撮像された該画像の各領域
    の重要度を決定し、 該決定された重要度に応じて該画像の各領域の色補間処
    理を異ならせる各段階を含むことを特徴とする撮像方
    法。
  12. 【請求項12】画像を撮像し、 撮像画面内の撮影者の注視点を検出し、 該注視点検出の結果に応じて撮像された該画像の各領域
    の重要度を決定し、 該決定された重要度に応じて該画像の各領域のシャープ
    ネス向上処理を異ならせる各段階を含むことを特徴とす
    る撮像方法。
  13. 【請求項13】画像を撮像し、 撮像画面内の撮影者の注視点を検出し、 該注視点検出の結果に応じて撮像された該画像の各領域
    の重要度を決定し、 該決定された重要度に応じて該画像の各領域のノイズ除
    去処理を異ならせる各段階を含むことを特徴とする撮像
    方法。
JP2000363904A 1999-12-01 2000-11-29 撮像装置及び撮像方法 Pending JP2001223941A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000363904A JP2001223941A (ja) 1999-12-01 2000-11-29 撮像装置及び撮像方法
US09/726,559 US7034878B2 (en) 1999-12-01 2000-12-01 Camera apparatus and method of taking pictures including simplified processing

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP34218499 1999-12-01
JP11-342184 1999-12-01
JP2000363904A JP2001223941A (ja) 1999-12-01 2000-11-29 撮像装置及び撮像方法

Publications (1)

Publication Number Publication Date
JP2001223941A true JP2001223941A (ja) 2001-08-17

Family

ID=26577180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000363904A Pending JP2001223941A (ja) 1999-12-01 2000-11-29 撮像装置及び撮像方法

Country Status (2)

Country Link
US (1) US7034878B2 (ja)
JP (1) JP2001223941A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067739A (ja) * 2001-08-28 2003-03-07 Monolith Co Ltd 画像変換方法および装置
WO2003024101A1 (fr) * 2001-09-11 2003-03-20 Seiko Epson Corporation Traitement d'image comprenant l'utilisation de donnees objet
JP2005109814A (ja) * 2003-09-30 2005-04-21 Casio Comput Co Ltd 画像撮影装置およびプログラム
JP2006331445A (ja) * 2006-07-20 2006-12-07 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2007323180A (ja) * 2006-05-30 2007-12-13 Hitachi Software Eng Co Ltd 画像処理システム
US7352396B2 (en) 2002-03-20 2008-04-01 Sanyo Electric Co., Ltd. Edge emphasizing circuit
JP2009037625A (ja) * 2001-09-11 2009-02-19 Seiko Epson Corp 被写体情報を用いた画像処理
JP2009193386A (ja) * 2008-02-15 2009-08-27 Nippon Hoso Kyokai <Nhk> 文字認識装置及びそのプログラム
JP2009223867A (ja) * 2008-03-14 2009-10-01 Seigun Handotai Kofun Yugenkoshi エッジの抽出と強化方法
US8031935B2 (en) 2006-03-20 2011-10-04 Ricoh Company, Ltd. Method for removing color noise and image-capturing device that uses this method
KR20160105306A (ko) * 2015-02-27 2016-09-06 캐논 가부시끼가이샤 촬상 장치 및 그 제어 방법
KR20200028069A (ko) * 2018-09-05 2020-03-16 트러스트팜모바일 주식회사 타일 영상의 영상 처리 방법 및 장치

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179556A (ja) * 2001-09-21 2003-06-27 Casio Comput Co Ltd 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法
JP4228641B2 (ja) * 2002-09-20 2009-02-25 セイコーエプソン株式会社 出力対象画像データ選択
JP3964315B2 (ja) * 2002-12-03 2007-08-22 株式会社リコー デジタルカメラ
US20040212695A1 (en) * 2003-04-28 2004-10-28 Stavely Donald J. Method and apparatus for automatic post-processing of a digital image
US7259785B2 (en) * 2003-04-28 2007-08-21 Hewlett-Packard Development Company, L.P. Digital imaging method and apparatus using eye-tracking control
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
JP4407454B2 (ja) * 2004-09-30 2010-02-03 セイコーエプソン株式会社 ディジタルカメラ及び画像処理方法
JP2007106111A (ja) * 2005-09-16 2007-04-26 Ricoh Co Ltd 画像形成装置及び画像形成方法
JP4848965B2 (ja) * 2007-01-26 2011-12-28 株式会社ニコン 撮像装置
JP2009154365A (ja) 2007-12-26 2009-07-16 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP4552074B2 (ja) * 2008-05-29 2010-09-29 カシオ計算機株式会社 情報伝送システム、情報復号装置、報知方法、及び、プログラム
US8559733B2 (en) * 2009-03-31 2013-10-15 Citrix Systems, Inc. Methods and systems for approximating progressive image encoding using image partitioning
US11818320B2 (en) 2020-04-17 2023-11-14 Ricoh Company, Ltd. Convert a dot area ratio of a target process color using a fluorescent color for higher brightness and saturation
JP7524681B2 (ja) 2020-08-31 2024-07-30 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2611269B2 (ja) * 1987-10-23 1997-05-21 ソニー株式会社 固体撮像装置の信号処理装置
US5245432A (en) * 1989-07-31 1993-09-14 Imageware Research And Development Inc. Apparatus and method for transforming a digitized signal of an image to incorporate an airbrush effect
JPH06138377A (ja) 1992-10-28 1994-05-20 Canon Inc 焦点検出手段と視線検出手段とを有したカメラ
US6476868B1 (en) * 1994-04-11 2002-11-05 Canon Kabushiki Kaisha Image pickup apparatus provided with enlargement process means for enlarging image signals output from an image pickup device
JPH0846833A (ja) 1994-07-29 1996-02-16 Canon Inc 視線検出機能付カメラ
US5706049A (en) * 1995-11-30 1998-01-06 Eastman Kodak Company Camera that records an active image area identifier with an image
JPH09326025A (ja) 1996-06-06 1997-12-16 Casio Comput Co Ltd 画像処理装置
JPH10191064A (ja) 1996-12-25 1998-07-21 Dainippon Screen Mfg Co Ltd 画像フィルタリング方法及び装置
JP4072215B2 (ja) 1997-02-14 2008-04-09 キヤノン株式会社 画像処理装置及びその制御方法、画像処理システム
US6690419B1 (en) * 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
JP3724148B2 (ja) 1997-09-30 2005-12-07 コニカミノルタホールディングス株式会社 色判別装置
JP2000013608A (ja) 1998-06-23 2000-01-14 Ricoh Co Ltd 画像処理方法
US6774943B1 (en) * 1998-09-01 2004-08-10 Ess Technology, Inc. Method and apparatus for edge enhancement in digital images
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
US6072962A (en) * 1998-09-18 2000-06-06 Eastman Kodak Company Camera and photography system with multiple, encoded area modes and modification states
JP2000224465A (ja) 1999-02-03 2000-08-11 Ricoh Co Ltd デジタルスチルカメラ

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067739A (ja) * 2001-08-28 2003-03-07 Monolith Co Ltd 画像変換方法および装置
US7945109B2 (en) 2001-09-11 2011-05-17 Seiko Epson Corporation Image processing based on object information
US7555140B2 (en) 2001-09-11 2009-06-30 Seiko Epson Corporation Image processing using object information
EP1427207A1 (en) * 2001-09-11 2004-06-09 Seiko Epson Corporation Image processing using object information
WO2003024101A1 (fr) * 2001-09-11 2003-03-20 Seiko Epson Corporation Traitement d'image comprenant l'utilisation de donnees objet
EP1427207A4 (en) * 2001-09-11 2005-05-25 Seiko Epson Corp IMAGE PROCESSING COMPRISING THE USE OF OBJECT DATA
JP2009037625A (ja) * 2001-09-11 2009-02-19 Seiko Epson Corp 被写体情報を用いた画像処理
JP2009141975A (ja) * 2001-09-11 2009-06-25 Seiko Epson Corp 被写体情報を用いた画像処理
US7352396B2 (en) 2002-03-20 2008-04-01 Sanyo Electric Co., Ltd. Edge emphasizing circuit
JP2005109814A (ja) * 2003-09-30 2005-04-21 Casio Comput Co Ltd 画像撮影装置およびプログラム
US8639027B2 (en) 2006-03-20 2014-01-28 Ricoh Company, Ltd. Method for removing color noise and image-capturing device that uses this method
US8031935B2 (en) 2006-03-20 2011-10-04 Ricoh Company, Ltd. Method for removing color noise and image-capturing device that uses this method
JP2007323180A (ja) * 2006-05-30 2007-12-13 Hitachi Software Eng Co Ltd 画像処理システム
JP4673799B2 (ja) * 2006-05-30 2011-04-20 株式会社日立ソリューションズ 画像処理システム
JP2006331445A (ja) * 2006-07-20 2006-12-07 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP4635975B2 (ja) * 2006-07-20 2011-02-23 パナソニック株式会社 画像処理装置及び画像処理方法
JP2009193386A (ja) * 2008-02-15 2009-08-27 Nippon Hoso Kyokai <Nhk> 文字認識装置及びそのプログラム
JP2009223867A (ja) * 2008-03-14 2009-10-01 Seigun Handotai Kofun Yugenkoshi エッジの抽出と強化方法
KR20160105306A (ko) * 2015-02-27 2016-09-06 캐논 가부시끼가이샤 촬상 장치 및 그 제어 방법
KR101893779B1 (ko) * 2015-02-27 2018-08-31 캐논 가부시끼가이샤 촬상 장치 및 그 제어 방법
KR20200028069A (ko) * 2018-09-05 2020-03-16 트러스트팜모바일 주식회사 타일 영상의 영상 처리 방법 및 장치
KR102164686B1 (ko) * 2018-09-05 2020-10-13 트러스트팜모바일 주식회사 타일 영상의 영상 처리 방법 및 장치

Also Published As

Publication number Publication date
US20040201717A1 (en) 2004-10-14
US7034878B2 (en) 2006-04-25

Similar Documents

Publication Publication Date Title
JP2001223941A (ja) 撮像装置及び撮像方法
KR100861386B1 (ko) 촬상장치 및 화상 처리 방법
JP3762725B2 (ja) 撮像システムおよび画像処理プログラム
US7057653B1 (en) Apparatus capable of image capturing
US7889250B2 (en) Image-acquisition apparatus
JP4666179B2 (ja) 画像処理方法および画像処理装置
JP2004343519A (ja) 撮像装置および画像処理装置
US8160310B2 (en) Image processing method and apparatus for processing an image by using a face detection result
US8009905B2 (en) System, medium, and method with noise reducing adaptive saturation adjustment
JP4375448B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2009159496A (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
US20130342736A1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2005136852A (ja) 画像処理方法、画像処理装置および画像処理プログラム
KR20100017626A (ko) 신호 처리 방법 및 신호 처리 장치
JP3184309B2 (ja) 階調補正回路及び撮像装置
JP2007188126A (ja) 画像明るさ算出装置および方法並びにプログラム
JP4182566B2 (ja) デジタルカメラおよびコンピュータ読み取り可能な記録媒体
JP4909063B2 (ja) 撮像装置及び画像記録方法
JP5215775B2 (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP2009017591A (ja) 撮像装置及び画像処理方法
JP2002368982A (ja) 画像処理装置および画像処理方法および記録媒体
JP2006180078A (ja) 電子カメラ、画像処理装置および画像処理プログラム
JP4392891B2 (ja) 撮像装置及び前記撮像装置における画像処理方法
JP4779883B2 (ja) 電子カメラ
JP2000224465A (ja) デジタルスチルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070720

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071002