JP5673137B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置および撮像方法に関する。さらに詳述すると、デジタルズームにおける画質向上に好適な撮像装置および撮像方法に関する。

撮像領域の中から所望の範囲の信号のみを取り出すことにより画像を拡大して電子的にズームを行うようにしたデジタルズーム（電子ズーム）機能を有するデジタルスチルカメラやデジタルビデオ等の撮像装置が知られている。従来のデジタルズームでは、線形補間法や、バイリニア法等を用いて所望の倍率に画像を拡大／縮小する変倍処理が行われている。

また、デジタルスチルカメラにおいて、１枚または複数枚の入力画像を分析処理して、撮影画像の解像感を高める超解像処理が知られている。

例えば、特許文献１には、電子ズーム撮影において画質を低下させることなく撮影倍率を大きくすることを目的として、ズーム操作の設定倍率が光学ズーム倍率の時には、レンズ駆動によりズームレンズを駆動して設定倍率に調節し、設定倍率が電子ズーム倍率の時には設定倍率に応じて超解像合成画像（複数画像を超解像合成した画像）を拡大する撮像装置が開示されている。

しかしながら、設定されるすべてのデジタルズーム倍率に対して、同一の処理手順で変倍処理と超解像処理とを実行するようにすると、画質向上の効果が弱くなる場合があるという問題があった。例えば、上記特許文献１に記載の技術のように、すべての電子ズーム倍率時に、超解像合成画像を拡大するようにすると、設定される倍率によっては、画質の劣化が大きくなることが考えられ、更なる検討の余地があった。

そこで本発明は、設定されるデジタルズーム倍率に応じて、変倍処理と超解像処理との実行順を変えることにより、デジタルズームによる画像劣化を低減することができる撮像装置および撮像方法を提供することを目的とする。

かかる目的を達成するため、請求項１に記載の撮像装置は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、画像の一部を切り出して拡大するデジタルズームの倍率を設定する倍率設定手段と、画像の一部を切り出して拡大処理、または画像の全部もしくは一部を切り出して縮小処理を行う変倍手段と、撮像素子により撮像した１画像、または変倍手段による拡大／縮小後の画像について、等倍にて解像感を上げる等倍超解像処理、または拡大して解像感を上げる拡大超解像処理を行う超解像手段と、を備え、倍率設定手段によるデジタルズームの設定倍率に応じて、変倍手段による拡大処理または縮小処理と、超解像手段による等倍超解像処理または拡大超解像処理との実行順を変えるものである。

また、請求項２に記載の発明は、請求項１に記載の撮像装置において、超解像手段による画像サイズの変化が、変倍手段による画像サイズの変化よりも大きくなるような、変倍手段による拡大処理または縮小処理と、超解像手段による等倍超解像処理または拡大超解像処理と、における変倍倍率の組み合わせを設定するものである。

また、請求項３に記載の発明は、請求項１または２に記載の撮像装置において、元画像に対し等倍超解像処理を実行した画像について、拡大処理を実行するものである。

また、請求項４に記載の発明は、請求項１または２に記載の撮像装置において、元画像に対し縮小処理を実行した画像について、拡大超解像処理を実行するものである。

また、請求項５に記載の発明は、請求項１または２に記載の撮像装置において、元画像に対し拡大超解像処理を実行した画像について、拡大処理を実行するものである。

また、請求項６に記載の発明は、請求項１から５までのいずれかに記載の撮像装置において、変倍手段および超解像手段による処理中の画像サイズが、元画像および出力画像の画像サイズ以下であるものである。

また、請求項７に記載の撮像方法は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像処理と、画像の一部を切り出して拡大するデジタルズームの倍率を設定する倍率設定処理と、画像の一部を拡大処理、または縮小処理を行う変倍処理と、撮像処理により撮像した１画像、または変倍処理による拡大／縮小後の画像について、等倍にて解像感を上げる等倍超解像処理、または拡大して解像感を上げる拡大超解像処理を行う超解像処理と、を行い、かつ、倍率設定処理で設定されたデジタルズームの設定倍率に応じて、拡大処理または縮小処理と、等倍超解像処理または拡大超解像処理との実行順を変えるようにしている。

本発明によれば、デジタルズームによる画像劣化を低減することができる。
できる。

本発明に係る撮像装置の一実施形態であるデジタルカメラの外観図の一例であって、（ａ）は上面図、（ｂ）は正面図、（ｃ）は裏面図を示す。 本実施形態に係る撮像装置の機能ブロック図の一例である。 超解像デジタルズーム処理に係るＣＰＵの制御ブロックの説明図である。 （Ａ）等倍超解像処理、（Ｂ）２倍超解像処理の説明図である。 超解像デジタルズーム処理の概要を示すフローチャートである。 デジタルズーム倍率毎の視野領域と元画像に対する出力画像の面積割合を示す説明図である。 デジタルズーム倍率に応じた超解像デジタルズーム処理の説明図（１）である。 デジタルズーム倍率に応じた超解像デジタルズーム処理の説明図（２）である。

以下、本発明に係る構成を図１から図８に示す実施の形態に基づいて詳細に説明する。

本実施形態に係る撮像装置（デジタルカメラ）は、光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子（ＣＣＤ１２１）と、画像の一部を切り出して拡大するデジタルズームの倍率を設定する倍率設定手段（デジタルズーム倍率設定手段１０１）と、画像の一部を切り出して拡大処理、または画像の全部もしくは一部を切り出して縮小処理を行う変倍手段（画像切り出し手段１０２、画像変倍手段１０３）と、撮像素子により撮像した１画像、または変倍手段による拡大／縮小後の画像について、等倍にて解像感を上げる等倍超解像処理、または拡大して解像感を上げる拡大超解像処理を行う超解像手段（超解像手段１０４）と、を備え、倍率設定手段によるデジタルズームの設定倍率に応じて、変倍手段による拡大処理または縮小処理と、超解像手段による等倍超解像処理または拡大超解像処理との実行順を変えるものである。したがって、超解像処理と変倍処理との処理手順を、設定されるデジタルズーム倍率によって最適化することによって、超解像デジタルズーム時の画像劣化を低減することができる。

（撮像装置の構成）
本実施形態では、撮像装置の一例としてデジタルスチルカメラを例に説明する。図１はデジタルカメラの外観図を示し、（ａ）はカメラ上面図、（ｂ）はカメラ正面図、（ｃ）はカメラ裏面図を示している。なお、撮像装置はデジタルスチルカメラに限られるものではなく、電子ズーム機能を備えた撮像装置であれば良い。

図１（ａ）に示すように、デジタルカメラは、上面に、サブＬＣＤ１と、レリーズシャッター２（ＳＷ１）と、モードダイヤル４（ＳＷ２）とを有する。

また、図１（ｂ）に示すように、デジタルカメラは、正面に、ストロボ発光部３と、測距ユニット５と、リモコン受光部６と、レンズユニット７と、光学ファインダ（正面）１１とを有する。また、メモリカードスロットル２３は、ＳＤカード等のメモリカード３４を挿入するスロットルを示し、カメラ側面に設けられる。

また、図１（ｃ）に示すように、デジタルカメラは、裏面に、ＡＦＬＥＤ（オートフォーカスＬＥＤ）８と、ストロボＬＥＤ９と、ＬＣＤモニタ（表示手段）１０と、光学ファインダ（裏面）１１と、ズームボタン（ズームレバー）ＴＥＬＥ１２（ＳＷ４）と、電源スイッチ１３（ＳＷ１３）と、ズームボタン（ズームレバー）ＷＩＤＥ１４（ＳＷ３）と、セルフタイマ／削除スイッチ１５（ＳＷ６）とを有する。

さらに、メニュースイッチ１６（ＳＷ５）と、ＯＫスイッチ１７（ＳＷ１２）と、左／画像確認スイッチ１８（ＳＷ１１）と、下／マクロスイッチ１９（ＳＷ１０）と、上／ストロボスイッチ２０（ＳＷ７）と、右スイッチ２１（ＳＷ８）と、画像を表示するディスプレイスイッチ２２（ＳＷ９）とを有する。

デジタルズーム機能を用いた撮影動作では、撮影モード（モニタリングモード）と再生モードを切り替え可能なモードダイヤル４を操作して撮影モードに設定し、電源スイッチ１３によりデジタルカメラを起動させると、レンズユニット７がズームワイド位置に設定されて、ＬＣＤモニタ１０には電子ファインダ機能であるライブビュー映像が表示される。

この起動状態から、ズームボタンＴＥＬＥ１２を押下することにより、レンズユニット７は望遠側（テレ側）へ移動し、ズームＷＩＤＥ１４を押下することにより、レンズユニット７は広角側（ワイド側）に移動して、デジタルズーム機能が実現される。

図２は図１に示したデジタルカメラの制御系の機能ブロック図を示している。以下、デジタルカメラ内部のシステム構成について説明する。

図２に示すように、このデジタルカメラ内には、レンズユニット７に設置した撮影レンズ系を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ１２１、ＣＣＤ１２１から出力される電気信号をデジタル信号に処理するフロントエンドＩＣ（Ｆ／Ｅ）１２０、フロントエンドＩＣ（Ｆ／Ｅ）１２０から出力されるデジタル信号を処理する信号処理ＩＣ１１０、データを一時的に格納するＳＤＲＡＭ３３、制御プログラム等が記憶されたＲＯＭ３０、モータドライバ３２等が設けられている。

レンズユニット７は、ズームレンズ、フォーカスレンズおよびメカニカルシャッタ等からなり、モータドライバ３２によって駆動される。モータドライバ３２は、信号処理ＩＣ１１０の内部に含まれるマイクロコンピュータ（ＣＰＵ、制御部）１１１によって制御される。

ＣＣＤ１２１は、光学画像を光電変換するための固体撮像素子であって、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号が出力される。

フロントエンドＩＣ（Ｆ／Ｅ）１２０は、ＣＣＤ出力電気信号（アナログ画像データ）についてサンプリングホールド（相関二重サンプリング）を行うＣＤＳ１２２、このサンプリングされたデータのゲインを調整するＡＧＣ（Auto Gain Control）１２３、デジタル信号変換を行うＡ／Ｄ変換機（Ａ／Ｄ）１２４、及びＣＣＤＩ／Ｆ１１２より垂直同期信号（ＶＤ）、水平同期信号（ＨＤ）を供給されＣＣＤ１２１とＦ／Ｅ１２０との駆動タイミング信号を発生するＴＧ（タイミングジェネレータ：制御信号発生器）１２５を有する。

発振器（クロックジェネレータ）は、ＣＰＵ１１１を含む信号処理ＩＣ１１０のシステムクロックとＴＧ１２５等にクロックを供給している。ＴＧ１２５は発振器のクロックを受けて、ピクセル同期をするためのピクセルクロックを信号処理ＩＣ１１０内のＣＣＤＩ／Ｆ１１２に供給する。

Ｆ／Ｅ１２０から信号処理ＩＣ１１０に入力されたデジタル信号は、ＣＣＤＩ／Ｆ１１２を介して、メモリコントローラ１１５によりＳＤＲＡＭ３３にＲＧＢデータ（ＲＡＷ−ＲＧＢ）として一時保管される。

信号処理ＩＣ１１０は、システム制御を行うＣＰＵ１１１、ＣＣＤＩ／Ｆ１１２、リサイズ処理部１１３、メモリコントローラ１１５、表示出力制御部１１６、圧縮伸張部１１７、メディアＩ／Ｆ部１１８、ＹＵＶ変換部１１９等から構成されている。

ＣＣＤＩ／Ｆ１１２は、垂直同期信号（ＶＤ）、水平同期信号（ＨＤ）の出力を行い、その同期信号に合わせてＡ／Ｄ１２４から入力されるデジタル（ＲＧＢ）信号を取り込んで、メモリコントローラ１１５経由でＳＤＲＡＭ３３にＲＧＢデータの書き込みを行う。

表示出力制御部１１６はＳＤＲＡＭ３３に書き込まれた表示用データを表示部に送り、撮影した画像の表示を行う。表示出力制御部１１６は、デジタルカメラが内蔵しているＬＣＤモニタ１０に表示することも、ＴＶビデオ信号として出力して外部装置に表示することも可能である。

ここでいう、表示用データとは、自然画像のＹＣｂＣｒと、撮影モードアイコンなどを表示するＯＳＤ（オンスクリーンディスプレイ）データであり、いずれもＳＤＲＡＭ３３上に置かれたデータをメモリコントローラ１１５が読み出して表示出力制御部１１６に送り、表示出力制御部１１６で合成したデータをビデオデータとして出力する。

圧縮伸張部１１７は、記録時はＳＤＲＡＭ３３に書き込まれたＹＣｂＣｒデータを圧縮してＪＰＥＧ符号化されたデータを出力し、再生時は読み出したＪＰＥＧ符号化データをＹＣｂＣｒデータに伸張して出力する。

メディアＩ／Ｆ１１８は、ＣＰＵ１１１の指示により、メモリカード３４内のデータをＳＤＲＡＭ３３に読み出したり、ＳＤＲＡＭ３３上のデータをメモリカード３４に書き込んだりする。

ＹＵＶ変換部１１９は、ＣＰＵ１１１から設定された画像現像処理パラメータに基づき、ＳＤＲＡＭ３３に一時保管されたＲＧＢデータを輝度Ｙと色差ＣｂＣｒデータ（ＹＵＶデータ）に変換処理し、ＳＤＲＡＭ３３へ書き戻す。

リサイズ処理部１１３は、ＹＵＶデータを読み出して、記録するために必要なサイズへのサイズ変換、サムネイル画像へのサイズ変換、表示に適したサイズへのサイズ変換などを行う。

また、全体の動作を制御する制御部であるＣＰＵ１１１は、起動時にＲＯＭ３０に格納されたカメラの制御を行う制御プログラムおよび制御データを、例えばＳＤＲＡＭ３３にロードし、そのプログラムコードに基づいて全体の動作を制御する。

ＣＰＵ１１１は、操作部３１のボタンキー等による指示、あるいは図示しないリモコン等の外部動作指示、あるいはパーソナルコンピュータ等の外部端末からの通信による通信動作指示に従い、撮像動作制御、画像現像処理パラメータの設定、メモリコントロール、表示制御等を行う。

操作部３１は、撮影者がデジタルカメラの動作指示を行うためのものであり、撮影者の操作によって所定の動作指示信号が制御部に入力される。例えば、図１に示すように、撮影を指示する２段（半押し、全押し）レリーズシャッター２、光学ズームおよび電子ズーム倍率を設定するズームボタン１２,１４等の各種ボタンキーを備えている。

操作部３１よりデジタルカメラの電源キーがオンされたことを検出すると、ＣＰＵ１１１は各ブロックに所定の設定を行う。この設定により、レンズユニット７を介してＣＣＤ１２１で受光した画像は、デジタル映像信号に変換されて信号処理ＩＣ１１０に入力される。

信号処理ＩＣ１１０へ入力されたデジタル信号はＣＣＤＩ／Ｆ１１２に入力される。ＣＣＤＩ／Ｆ１１２では光電変換されたアナログ信号に黒レベル調整等の処理が行われて、ＳＤＲＡＭ３３に一旦保存される。このＳＤＲＡＭ３３に保存されたＲＡＷ−ＲＧＢ画像データは、ＹＵＶ変換部１１９に読み出されて、ガンマ変換処理、ホワイトバランス処理、エッジエンハンス処理、ＹＵＶ変換処理が行われＹＵＶ画像データとしてＳＤＲＡＭ３３へ書き戻される。

ＹＵＶ画像データは表示出力制御部１１６に読み出され、例えば出力先がＮＴＳＣシステムのＴＶであれば、リサイズ処理部１１３により、そのシステムに合わせた水平・垂直の変倍処理が施され、ＴＶに出力される。この処理がＶＤ毎に行われることで、スチル撮影前の確認用の表示であるモニタリングが行われる。

（撮像装置の動作）
次に、デジタルカメラのモニタリング動作および静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。

先ず、撮影者が電源スイッチ１３をＯＮにし、モードダイヤル４を撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。これをＣＰＵ１１１が検知すると、ＣＰＵ１１１はモータドライバ３２に制御信号を出力して、レンズユニット７を撮影可能位置に移動させ、かつ、ＣＣＤ１２１、Ｆ／Ｅ１２０、信号処理ＩＣ１１０、ＳＤＲＡＭ３３、ＲＯＭ３０、ＬＣＤモニタ１０等を起動させる。

そして、レンズユニット７の撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤ１２１の各画素の受光面上に結像する。そして、ＣＣＤ１２１から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ１２２、ＡＧＣ１２３を介してＡ／Ｄ１２４に入力され、Ａ／Ｄ１２４により１２ビットのＲＡＷ−ＲＧＢデータに変換する。

このＲＡＷ−ＲＧＢデータは、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２に取り込まれてメモリコントローラ１１５を介してＳＤＲＡＭ３３に保存される。そして、ＳＤＲＡＭ３３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部１１９に入力されて表示可能な形式であるＹＵＶデータに変換された後に、メモリコントローラ１１５を介してＳＤＲＡＭ３３にＹＵＶデータが保存される。

そして、ＳＤＲＡＭ３３からメモリコントローラ１１５を介して読み出したＹＵＶデータは、表示出力制御部１１６を介してＬＣＤモニタ１０へ送られ、撮影画像（動画）が表示される。ＬＣＤモニタ１０に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ１１２による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。

なお、このモニタリング動作時は、電子ファインダとして機能するＬＣＤモニタ１０に撮影画像（動画）が表示されているだけで、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。

この撮影画像のＬＣＤモニタ１０への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部１１６からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。

そして、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２は、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。

ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ１２１の全画素の受光面に対応した画面を２５６エリア（ブロック）に等分割（水平１６分割、垂直１６分割）し、それぞれのエリア（ブロック）のＲＧＢ積算を算出する。

そして、制御部は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ１２１の電子シャッタ回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部１１９でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、ＡＥ処理とＡＷＢ処理は、モニタリング時には連続的に行われている。

そして、モニタリング動作時に、レリーズボタンが押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。

即ち、レリーズボタンが押圧（半押しから全押し）操作されると、制御部からモータドライバ３２への駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。

ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ１１２で算出されている各フォーカス位置におけるＡＦ評価値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。

そして、ＡＥ処理が行われ、露光完了時点で、制御部からモータドライバ３２への駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤ１２１から静止画用のアナログＲＧＢ画像信号が出力される。そして、モニタリング時と同様に、Ｆ／Ｅ１２０のＡ／Ｄ１２４によりＲＡＷ−ＲＧＢデータに変換される。

そして、このＲＡＷ−ＲＧＢデータは、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２に取り込まれ、ＹＵＶ変換部１１９でＹＵＶデータに変換されて、メモリコントローラ１１５を介してＳＤＲＡＭ３３に保存される。そして、このＹＵＶデータはＳＤＲＡＭ３３から読み出されて、リサイズ処理部１１３で記録画素数に対応するサイズに変換され、圧縮伸張部１１７でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ３３に書き戻された後にメモリコントローラ１１５を介してＳＤＲＡＭ３３から読み出され、メディアＩ／Ｆ１１８を介してメモリカード３４に保存される。

（撮像装置の制御）
図３は、超解像デジタルズーム処理に係るＣＰＵ１１１の制御ブロックの説明図である。

デジタルズーム倍率設定手段１０１は、ズームボタン１２，１４の入力から設定するズーム倍率を検出して、設定されたズーム倍率を反映させる処理を行う。また、画像切り出し手段１０２は、デジタルズーム倍率設定手段１０１で設定されたズーム倍率に応じて、元画像の切りだし処理を行う。

画像変倍手段１０３は、画像切り出し手段１０２と協働して、線形補間法や、バイリニア法等の、公知のアルゴリズムにより、所望の倍率に画像を拡大／縮小する変倍処理（以下、通常の変倍処理、通常の拡大／縮小処理ともいう）を行う。画像変倍手段１０３で用いるアルゴリズムは特に限られるものではないが、上記の方法等により、拡大処理を行うと画像の解像度は劣化することとなる。

超解像手段１０４は、画像のボケやエッジの荒さを改善し、解像度を変えることなく解像感を向上させる超解像処理を実行する。なお、超解像処理には、１枚の入力画像から超解像処理を行うものと、複数枚連続撮影される入力画像を用いて超解像処理を行うものが知られているが、本実施形態の超解像手段１０４は、１枚の入力画像から超解像処理を実行するものである。なお、１枚の入力画像から超解像処理を実行して、解像感を向上させることが可能なものであれば、その具体的な処理内容（アルゴリズム）は、特に限られるものではなく、公知、または新規のアルゴリズムを用いることができる。

また、本実施形態の超解像手段１０４は、画像サイズについて拡大処理をしながら解像感を、維持または向上させる処理を実行することもできる。例えば、１．０倍、１．２５倍、１．５倍、１．７５倍、２倍のように、ｎ／４倍（ｎ＝４〜８の整数）の拡大処理をしながら解像感を維持または向上させる処理を行うことができる。ここで、同一画像に対して、超解像手段１０４により所定倍の拡大処理をしながら超解像処理を実行したものと、画像変倍手段１０３により所定倍の拡大処理をした場合では、倍率が同じ場合、超解像処理を行った方が劣化の少ない画像を生成可能である。

図４（Ａ）は等倍超解像処理、図４（Ｂ）は２倍超解像処理の説明図である。本実施形態では、超解像手段１０４が、入力画像に対して、画像サイズを変更せずに、解像感を高める処理（等倍超解像処理という）と、入力画像に対して、画像サイズを２倍に拡大し、かつ、解像感を高める処理（２倍超解像処理という）と、の２種類の超解像処理を実行する例について説明するが、超解像手段１０４が超解像処理と同時に実行可能な拡大処理の倍率、および実行可能な倍率数はこれに限られるものではなく、その他の拡大倍率と超解像処理とを同時に実行可能なものであっても良い。

ここで、デジタルカメラに要求されるデジタルズーム倍率は、例えば、１．０倍から０．２倍単位等といった細かい倍率が要求される。このため、超解像手段１０４による拡大処理を含む超解像処理のみでは、上記要求を満たすことができない。一方、画像変倍手段１０３による変倍処理では、上述のように解像度が劣化するため、画像変倍処理１０３による変倍処理をむやみに行うことは画像劣化につながり好ましくない。

そこで、本実施形態に係る撮像装置は、拡大処理を含む超解像処理と、通常の変倍処理との組み合わせを、以下に詳述する所定の規則に則って実行する処理（以下、超解像デジタルズーム処理と呼ぶ）を行うことにより、画像劣化を最小限に抑えたデジタルズームによる拡大処理を実現するものである。

図５は、超解像デジタルズーム処理の概要を示すフローチャートである。先ず、超解像デジタルズーム処理を施す元画像について、デジタルズーム倍率設定手段１０１で、撮影時に設定されているデジタルズーム倍率を取得する（Ｓ１）。さらに、取得したデジタルズーム倍率に応じて、画像切り出し手段１０２、画像変倍手段１０３および超解像手段１０４により、画像劣化が少ない処理手順で超解像デジタルズーム処理を行うものである（Ｓ２）。

以下、超解像デジタルズーム処理の詳細について、図６および図７を参照して説明する。

図６は、デジタルズーム倍率に応じた、超解像デジタルズーム処理の切り替えの基準となるデジタルズーム倍率毎の視野領域と、元画像に対する出力画像の面積割合を示す説明図である。

本実施形態では、デジタルズーム倍率は０．２倍刻みで設定されるものとし、図６では、１．０倍から２．０倍までの各デジタルズーム倍率の出力画像領域を「各デジタルズーム倍率時の視野領域」として右上欄に示し、併せて、各デジタルズーム倍率適用時の元画像に対する面積割合を「元画像に対する面積割合」として左上欄に示している。

画像変倍手段１０３による変倍処理と、超解像手段１０４による超解像処理との実行順序については、上述のように、同一画像に対して、超解像手段１０４により所定倍の拡大処理をして超解像処理を実行したものと、画像変倍手段１０３により所定倍の拡大処理をした場合では、超解像処理を行った方が劣化の少ない画像を生成可能であるため、画像の面積変化が小さくなる超解像倍率を適用すること、すなわち、超解像処理による画像サイズの変化（元画像に対する面積割合（変倍倍率））が、変倍処理による画像サイズの変化（元画像に対する面積割合（変倍倍率））よりも大きくなるように２つの処理を組み合わせて実行することが好ましい。

例えば、目的とするデジタルズーム倍率付近まで、等倍超解像、または２倍超解像で近づけ、その後の微調整について通常の変倍処理を行うことにより、画像の劣化を少なくすることができる。図６に示す例において、元画像に対する面積割合を見ると、デジタルズーム倍率が１．０倍から１．３３倍までは等倍超解像面積（面積割合１００％）に近く、デジタルズーム倍率が１．３４倍から２．０倍までは、２倍超解像面積（面積割合５０％）に近いといえるため、面積割合７５％のライン（すなわち、デジタルズーム倍率が１．３３倍の時）を基準として、処理手順を変化させればよいこととなる。以下、図７を参照して、詳説する。

図７は、各デジタルズーム倍率に応じた超解像デジタルズーム処理の説明図である。図７（Ａ）に示すように、倍率が１．０〜１．３３倍のデジタルズーム時（デジタルズーム倍率１．２倍）には、先ず、等倍超解像処理を実行した後、当該等倍超解像処理後の画像について、所望の倍率となるように、通常の変倍処理（画像の切り出しと拡大処理）を行うことが好ましい。１．０〜１．３３倍のデジタルズーム時には、上記処理順による超解像デジタルズーム処理を行うことにより、画像劣化を抑制することができる。なお、１．０倍のデジタルズーム時には、等倍超解像処理のみ行えばよいのは勿論である。

また、図７（Ｂ）に示すように、倍率が１．３４〜１．９９倍のデジタルズーム時（デジタルズーム倍率１．４倍、１．６倍、１．８倍）には、先ず、元画像について通常の変倍処理（切り出しと縮小処理）を行って、その処理後の画像サイズが、最終的な出力画像サイズの半分の大きさになるようにする。そして、該通常の変倍処理後の画像について、２倍超解像処理を実行することが好ましい。１．３４〜１．９９倍のデジタルズーム時には、上記処理順による超解像デジタルズーム処理を行うことにより、画像劣化を抑制することができる。

また、図７（Ｃ）に示すように、２．０倍以上のデジタルズーム時には、元画像に対し、２倍超解像処理を実行した後、当該２倍超解像処理後の画像について、所望の倍率となるように、通常の変倍処理（拡大処理）を行うことが好ましい。２．０倍以上のデジタルズーム時には、上記処理順による超解像デジタルズーム処理を行うことにより、画像劣化を抑制することができる。なお、２．０倍のデジタルズーム時には、２倍超解像処理のみ行えばよいのは勿論である。

ここで、図８に示すように、例えば、倍率が１．３４〜１．９９倍のデジタルズーム時に、２倍超解像処理を実行した後、当該２倍超解像処理後の画像について、変倍処理（縮小処理）を行うようにすると、２倍超解像処理後の画像サイズ（処理途中における画像サイズ）が、元画像および出力画像よりも大きいデータサイズとなるため、余分なメモリ領域を確保しなければならない。したがって、１．３４〜１．９９倍デジタルズーム時には、上述の図７（Ｂ）に示したように、通常の変倍処理を実行した後に、２倍超解像処理の順に実行することが好ましい。

すなわち、超解像デジタルズーム処理においては、処理途中の画像サイズが、元画像および出力画像よりも大きいデータサイズとならないように、超解像処理と通常の拡大処理との順番を決定することが好ましい。これにより、必要なメモリサイズをそのままのサイズで処理を実行することができる。

一方で、図７（Ａ）および図７（Ｃ）に示した１．０〜１．３３倍の超解像デジタルズームと、２．０倍以上の超解像デジタルズームの場合では、拡大／縮小処理と超解像処理の手順に関しては、理論上は、逆に実行するようにしても同様の効果が得られる。しかしながら、超解像処理のアルゴリズムや、撮像装置のハードウェア、ミドルウェア等の制約、性能に応じて、出力画像の画質に差異が生じる場合がある。この場合は、各ハードウェア等に応じて、出力画像がより良い画質を得ることができる最適な順番を設定するようにすれば良い。

本実施形態では、超解像処理を１倍と２倍で実行する例について説明したが、本発明は、拡大において解像感の劣化が少ない超解像処理と、通常の拡大／縮小処理との組み合わせで拡大処理をする際に、解像感の劣化をできるだけ小さく抑えるために、超解像処理で目的倍率に近づけ、通常の拡大／縮小処理で微調整を行う処理を行うものであれば良く、超解像処理の倍率、その処理順序等は、上記の例に限られるものではない。

尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。

１ サブＬＣＤ
２ レリーズシャッター（ＳＷ１）
３ ストロボ発光部
４ モードダイヤル（ＳＷ２）
５ 測距ユニット
６ リモコン受光部
７ レンズユニット
８ ＡＦＬＥＤ
９ ストロボＬＥＤ
１０ ＬＣＤモニタ
１１ 光学ファインダ
１２ ズームボタンＴＥＬＥ（ＳＷ４）
１３ 電源スイッチ（ＳＷ１３）
１４ ズームボタンＷＩＤＥ（ＳＷ３）
１５ セルフタイマ／削除スイッチ（ＳＷ５）
１６ メニュースイッチ（ＳＷ６）
１７ ＯＫスイッチ（ＳＷ１２）
１８ 左／画像確認スイッチ（ＳＷ１１）
１９ 下／マクロスイッチ（ＳＷ１０）
２０ 上／ストロボスイッチ（ＳＷ７）
２１ 右スイッチ（ＳＷ８）
２２ ディスプレイスイッチ（ＳＷ９）
２３ メモリカードスロットル
３０ ＲＯＭ
３１ 操作部
３２ モータドライバ
３３ ＳＤＲＡＭ
３４ メモリカード
１０１ デジタルズーム倍率設定手段
１０２ 画像切り出し手段
１０３ 画像変倍手段
１０４ 超解像手段
１１０ 信号処理ＩＣ
１１１ ＣＰＵ
１１２ ＣＣＤ Ｉ／Ｆ
１１３ リサイズ処理部
１１５ メモリコントローラ
１１６ 表示出力制御部
１１７ 圧縮伸長部
１１８ メディアＩ／Ｆ
１１９ ＹＵＶ変換部
１２０ Ｆ／Ｅ
１２１ ＣＣＤ
１２２ ＣＤＳ
１２３ ＡＧＣ
１２４ Ａ／Ｄ変換機
１２５ タイミングジェネレータ

特開２００７−１３５１３３号公報

Claims (7)

1. 光学系から入射した光を電気信号に変換して撮像信号として出力する撮像素子と、
   画像の一部を切り出して拡大するデジタルズームの倍率を設定する倍率設定手段と、
   画像の一部を切り出して拡大処理、または画像の全部もしくは一部を切り出して縮小処理を行う変倍手段と、
   前記撮像素子により撮像した１画像、または前記変倍手段による拡大／縮小後の画像について、等倍にて解像感を上げる等倍超解像処理、または拡大して解像感を上げる拡大超解像処理を行う超解像手段と、を備え、
   前記倍率設定手段によるデジタルズームの設定倍率に応じて、前記変倍手段による前記拡大処理または前記縮小処理と、前記超解像手段による前記等倍超解像処理または前記拡大超解像処理との実行順を変えることを特徴とする撮像装置。
2. 前記超解像手段による画像サイズの変化が、前記変倍手段による画像サイズの変化よりも大きくなるような、前記変倍手段による前記拡大処理または前記縮小処理と、前記超解像手段による前記等倍超解像処理または前記拡大超解像処理と、における変倍倍率の組み合わせを設定することを特徴とする請求項１に記載の撮像装置。
3. 元画像に対し前記等倍超解像処理を実行した画像について、前記拡大処理を実行することを特徴とする請求項１または２に記載の撮像装置。
4. 元画像に対し前記縮小処理を実行した画像について、前記拡大超解像処理を実行することを特徴とする請求項１または２に記載の撮像装置。
5. 元画像に対し前記拡大超解像処理を実行した画像について、前記拡大処理を実行することを特徴とする請求項１または２に記載の撮像装置。
6. 前記変倍手段および前記超解像手段による処理中の画像サイズが、元画像および出力画像の画像サイズ以下であることを特徴とする請求項１から５までのいずれかに記載の撮像装置。
7. 光学系から入射した光を電気信号に変換して撮像信号として出力する撮像処理と、
   画像の一部を切り出して拡大するデジタルズームの倍率を設定する倍率設定処理と、
   画像の一部を切り出して拡大処理、または画像の全部もしくは一部を切り出して縮小処理を行う変倍処理と、
   前記撮像処理により撮像した１画像、または前記変倍処理による拡大／縮小後の画像について、等倍にて解像感を上げる等倍超解像処理、または拡大して解像感を上げる拡大超解像処理を行う超解像処理と、を行い、
   かつ、前記倍率設定処理で設定されたデジタルズームの設定倍率に応じて、前記拡大処理または前記縮小処理と、前記等倍超解像処理または前記拡大超解像処理との実行順を変えるようにしたことを特徴とする撮像方法。