JP4804562B2 - 映像信号処理装置及び方法 - Google Patents

Description

本発明は、映像信号処理装置及び方法に関し、特に、例えば液晶モニタを有し、専ら、バッテリ駆動にて動作する電子スチルカメラ及びビデオカメラなどの映像信号処理装置及び方法に関する。

特開平１０−３３６４９４号公報

この種の映像信号処理装置が、特開平１０−３３６４９４公報に記載されている。所望の被写体像を固体撮像素子にて撮像し、その画像を表す画像信号をデジタルの画像データに変換して、メモリカードなどの記録媒体に記録する。記録された画像データは任意に読み出して、そのデータで表される画像を、搭載されている液晶モニタで再生することができる。

このようなデジタルカメラとしては、再生中に注目領域を拡大表示できるものが知られており、同公報にも、ズーム表示機能付デジタルカメラが記載されている。即ち、２枚のフレームメモリを備えており、第１のフレームメモリには再生画像を、第２のフレームメモリには注目領域を選択する選択枠が格納される。選択枠は再生画像と重畳して表示され、ユーザは所望の倍率の選択枠を選択し、この選択枠を注目領域に移動させると、画像は第１のフレームメモリ上で画素補間法により拡大されて、液晶モニタに表示される。

しかし、従来のデジタルカメラでは、拡大をする度にフレームメモリを更新するので、その度に発生するメモリアクセスと拡大処理の時間は、倍率の様子見で拡大をしているユーザにとってはストレスを感じさせるものであったし、またその度に余分な電力を消費していた。さらに、フレームメモリは液晶モニタ表示用であり、フレームメモリ上の画像は撮影された画像よりも粗い。それにもかかわらず、このデジタルカメラでは拡大画像をフレームメモリ上の粗い画像から拡大補間して新たなフレームメモリを構成するため、倍率確定後の画像としてはかなり粗いものであった。

加えて、一旦拡大した画像を縮小したい場合には、圧縮された元画像から伸長を経て新たにフレームメモリを構成しなおしてからさらに拡大する必要があり、拡大よりもさらに処理時間と消費電力がかかるものであった。

本発明は、これらの従来技術の問題を解決して、リサイズ倍率が確定するまではユーザの操作に追従して低消費電力でリサイズ表示をおこない、倍率確定後はきめ細かい画像を表示する映像信号処理装置及び方法を提供することを目的とする。

本発明に係る映像信号処理装置は、撮影手段と、前記撮影手段により得られた画像データを前記記録媒体に記録する記録手段と、画像データを記憶する記録媒体から画像データを読み出して、読み出した画像データをリサイズするリサイズ手段と、前記リサイズ手段によりリサイズされた画像データを表示のために一時的に格納するメモリと、画像表示の拡大操作に応じて、前記メモリから画像データを読み出してリサイズし、表示手段に画像を表示させる表示制御手段と、前記メモリに格納されている画像データが撮影された画像よりも粗い状態において、前記拡大操作を行っている間は、前記記録媒体から新たに画像データを読み出すことなく、前記表示制御手段により前記メモリから画像データを読み出してリサイズし、リサイズした画像を前記表示手段に表示させ、前記拡大操作の確定後は、確定した操作内容に応じて、前記記録媒体から新たに画像データを読み出し、前記記録媒体から新たに読み出した画像データを前記リサイズ手段でリサイズするリサイズ制御手段とを有することを特徴とする。

本発明に係る映像信号処理方法は、撮影手段と、前記撮影手段により得られた画像データを前記記録媒体に記録する記録手段と、表示手段への表示のために画像データを一時的に格納するメモリを有する映像信号処理装置の映像信号処理方法であって、画像データを記憶する前記記録媒体から画像データを読み出して、読み出した画像データをリサイズするリサイズ工程と、前記リサイズ工程によりリサイズされた画像データを前記メモリに格納する格納工程と、画像表示の拡大操作に応じて、前記メモリから画像データを読み出してリサイズし、前記表示手段に画像を表示させる表示制御工程と、前記メモリに格納されている画像データが撮影された画像よりも粗い状態において、前記拡大倍操作を行っている間は、前記記録媒体から新たに画像データを読み出すことなく、前記表示制御工程により前記メモリから画像データを読み出してリサイズし、リサイズした画像を前記表示手段に表示させ、前記拡大操作の確定後は、確定した操作内容に応じて、前記記録媒体から新たに画像データを読み出し、前記記録媒体から新たに読み出した画像データを前記リサイズ工程でリサイズするリサイズ制御工程とを有することを特徴とする。

本発明によれば、倍率が確定するまでは画像表示メモリ領域の再構成を行わないので、このことによるメモリアクセスとリサイズ処理によって発生していた処理時間と消費電力を省くことができる。倍率確定後は、元画像から画像表示メモリ領域を再構成するので、きめの細かい拡大画像を表示できる。

本発明の一実施例における映像信号処理装置の概略構成ブロック図である。 本実施例における再生ズーム動作の説明図である。 倍率が元画像の解像度の限界である場合の、本実施例における再生ズーム動作の説明図である。 倍率が元画像の解像度の限界を超えた場合の、本実施例における再生ズーム動作の説明図である。 本実施例における再生ズーム動作のフローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例である映像信号処理装置１００の概略構成ブロック図を示す。

１０は撮影レンズ、１２は光学像を電気信号に変換する撮像素子、１４は撮像素子１２のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。１６は画像処理回路であり、Ａ／Ｄ変換器１４の出力データに色キャリア除去、アパーチャ補正及びガンマ処理等を施して輝度信号を作り、同時に色補間、マトリクス変換、ガンマ処理及びゲイン調整等を施して色差信号を作り、ＹＵＶ 形式の映像データを形成する。１７は画像データを所望のサイズにリサイズするリサイズ回路である。１８はメモリ制御回路であり、ＤＲＡＭ２１の画像表示メモリ領域２２及びメモリ領域３０を制御する。

２０は撮像素子１２、 Ａ／Ｄ変換器１４及び Ｄ／Ａ変換器２６にクロック信号及び制御信号を供給するタイミング発生回路であり、システム制御回路４０により制御される。

２４は画像表示メモリ領域２２から読み出された所望の領域を画像表示部２８に表示するためにリサイズするリサイズ表示回路、２６はＤ／Ａ変換器、２８は、テレビモニタ又はそれに準じた液晶モニタから成る画像表示部である。

撮像素子１２から出力される画像信号は、Ａ／Ｄ変換器１４を介して画像処理回路１６に入力し、必要があればリサイズ回路１７でリサイズ処理を行い、処理された画像データを、メモリ制御回路１８を介して画像表示メモリ領域２２に順次入力する。それを、必要があればリサイズ表示回路２４でリサイズ表示処理をし、Ｄ／Ａ変換器２８を介して画像表示部２８に順次表示すれば、電子ビューファインダを実現できる。ただし、本実施例ではこの手順又は処理にとらわれず、Ａ／Ｄ変換したものをいったん画像表示メモリ領域２２に格納してから、その出力を画像処理回路１６、リサイズ回路１７、リサイズ表示回路２４及びＤ／Ａ変換器２８を介して画像表示部に出力してもかまわない。

３０は撮影した画像を格納するためのメモリ領域である。メモリ領域３０と記録媒体６０との間で画像をやり取りすることが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）とその逆変換等により画像データを圧縮・伸長する圧縮伸長回路である。

本実施例では、撮像素子１２から出力される画像信号をＡ／Ｄ変換器１４を介して画像処理回路１６に入力し、必要があればリサイズ回路１７でリサイズ処理を行い、処理された画像データを、メモリ制御回路１８を介してメモリ領域３０に一旦格納して、そこから画像を読み出して圧縮回路３２で圧縮した後メモリ制御回路１８を介して再びメモリ領域３０に格納して、画像の撮影・記録を実現している。しかしながら本発明においてはこの手段にとらわれず、Ａ／Ｄ変換された画像データを画像処理やリサイズしたあと直接圧縮してもよい。または、Ａ／Ｄ変換された画像データを一旦メモリ領域３０に格納してから、それを読み出して画像処理やリサイズしたあと圧縮してもよい。

また、記録された画像を、メモリ領域３０からメモリ制御回路１８を介して読み出して圧縮・伸長回路３２で伸長し、必要があればリサイズ回路１７でリサイズ処理を行い、処理された画像データを、メモリ制御回路１８を介して画像表示メモリ領域２２に入力し、必要があればリサイズ表示回路２４でリサイズ表示処理をして、Ｄ／Ａ変換器２８を介して画像表示部に表示すれば、記録画像の再生を実現できる。必要に応じてリサイズ回路１７・リサイズ表示回路２４のリサイズ機能を適宜利用すれば、再生ズームを実現することができる。

４０は映像信号処理装置１００全体を制御するシステム制御部であり、ＤＲＡＭ２１を作業領域として使用する。システム制御部４０は、映像信号処理装置１００を制御するためのプログラム等を格納するＲＯＭ、及びプログラムを実行するＣＰＵ等から構成される。

５０はメモリカード等の記録媒体６０とのインターフェース、５２はメモリカード等の記録媒体６０と電気的に接続するコネクタである。記録媒体６０は、半導体メモリ等から構成される記録部６２、映像信号処理装置１００とのインターフェース６４、映像信号処理装置１００と電気的に接続するコネクタ６６からなる。

７０は、再生ズームの倍率を指定する倍率ボタンや位置を指定するための位置ボタンなどを含む操作部である。

図２、図３及び図４を参照して、本実施例において再生ズームを実現する方法を説明する。以下の説明では、記録画像のサイズは１６００ピクセル×１２００ピクセルであり、画像表示部２８は７５２ピクセル×４８０ラインで構成されているものとするが、記録画像のサイズと画像表示部の解像度の組み合わせは、これに限らずいかなる組み合わせでもかまわない。

図２は、ズーム倍率１から拡大する場合である。図２（ａ−１）及び同（ａ−２）は、リサイズ倍率設定中に再生ズームを実現する際の動作例を示す。図２（ａ−１）は、記録された画像を圧縮伸長回路３２で伸長した後、画像表示部２８の画像サイズになるようにリサイズ回路１７でリサイズ処理を行い、処理された画像データを画像表示メモリ領域２２に書き出した画像である。リサイズ倍率が確定していないときには、倍率ボタンと位置ボタンで指定される図２（ａ−１）に破線で示されるような、画像表示メモリ領域内２２の注目領域をリサイズ表示回路２４によって補間拡大表示する。この方法では、図２（ａ−２）のようにモニタ画像は粗くなるが、読み出し領域の切り替えだけでリサイズ表示が実現できるので、素早くて低消費電力な再生ズームが達成できる。

図２（ｂ−１），（ｂ−２），（ｂ−３）は、リサイズ倍率が確定した後の動作例を示す。図２（ｂ−１）は記録された元画像であり、この記録された元画像を圧縮伸長回路３２で伸長した後、決定された所定の倍率になるようにリサイズ回路１７でリサイズ処理を行い、処理された画像データを画像表示メモリ領域２２に図２（ｂ−２）に示すように書き出す。位置ボタンによって指定されるこの画像の注目領域を図２（ｂ−３）に示すようにリサイズ無しで表示すれば、きめの細かい再生ズームが実現できる。

ズーム倍率があまり大きくない場合、元画像は、図２（ｂ−１）から（ｂ−２）へのように縮小される。図３は、ズーム倍率が上がって、元画像のリサイズが必要なくなったときの状態を、図２と同様に示す。

図３の状態からさらにズーム倍率を上げるとき、リサイズ回路１７による拡大でもリサイズ表示回路２４による拡大でも画質は同じなので、それ以上の倍率のときは図４に示すようにリサイズ表示回路２４によりリサイズ表示するほうが、画像表示メモリ領域２２の容量などの点で有利である。

図５は、本実施例における再生ズーム処理シーケンスを示す。倍率ボタンが押されると（Ｓ１０）、画像表示メモリ領域２２から倍率ボタンと位置ボタンで指定される領域をリサイズ表示回路２４でリサイズ表示する（Ｓ１４）。この動作を、倍率ボタンが離されて倍率が確定したことを検出するまで継続する（Ｓ１２）。倍率ボタンが離されると、元画像から画像表示メモリ領域２２の画像をリサイズ（倍率ボタンで設定された倍率に相当する解像度への縮小処理）して作り直して（Ｓ２０）、位置ボタンで指定された位置をリサイズ表示なしで（即ち、画素数的に等倍で）表示する（Ｓ２２）。このとき、倍率が１であれば（Ｓ１６）、現在の画像表示メモリ領域２２の記憶画像をそのまま使って位置ボタンで指定される領域をリサイズ表示なしで表示する（Ｓ２２）。

さらに拡大画像が元画像の解像度の範囲を超える場合、即ち、設定された倍率で拡大した後の画像の解像度が元画像の解像度を超える場合は（Ｓ１８）、元画像を補間拡大せずにそのままのサイズで画像表示メモリ領域２２に置いて（Ｓ２４）、リサイズ表示回路２４で倍率ボタンと位置ボタンで指定された領域をリサイズ表示（即ち、画素数としては補間拡大表示）する（Ｓ２６）。

１０：撮影レンズ、１２：撮像素子、１４：Ａ／Ｄ変換器、１６：画像処理回路、１７：リサイズ回路、１８：メモリ制御回路、２０：タイミング発生回路、２１：ＤＲＡＭ、２２：画像表示用メモリ領域、２４：リサイズ表示回路、２６：Ｄ／Ａ変換器、２８：画像表示部、３０：メモリ領域、３２：圧縮・伸長回路、４０：システム制御回路、５０：Ｉ／Ｆ部、５２：コネクタ、６０：記録媒体、６２：記録部、６４：Ｉ／Ｆ部、６６：コネクタ、１００：電子スチルカメラ、２１０：リサイズ前の画像表示メモリ領域、２１２：モニタ、２１４：元画像、２１６：リサイズ後の画像表示メモリ領域、２１８：モニタ、２２０：リサイズ前の画像表示メモリ領域、２２２：モニタ、２２４：元画像、２２６：リサイズ後の画像表示メモリ領域、２２８：モニタ、２３０：リサイズ前の画像表示メモリ領域、２３２：モニタ、２３４：元画像、２３６：リサイズ後の画像表示メモリ領域、２３８：モニタ

Claims (2)

1. 撮影手段と、
   前記撮影手段により得られた画像データを前記記録媒体に記録する記録手段と、
   画像データを記憶する記録媒体から画像データを読み出して、読み出した画像データをリサイズするリサイズ手段と、
   前記リサイズ手段によりリサイズされた画像データを表示のために一時的に格納するメモリと、
   画像表示の拡大操作に応じて、前記メモリから画像データを読み出してリサイズし、表示手段に画像を表示させる表示制御手段と、
   前記メモリに格納されている画像データが撮影された画像よりも粗い状態において、前記拡大操作を行っている間は、前記記録媒体から新たに画像データを読み出すことなく、前記表示制御手段により前記メモリから画像データを読み出してリサイズし、リサイズした画像を前記表示手段に表示させ、前記拡大操作の確定後は、確定した操作内容に応じて、前記記録媒体から新たに画像データを読み出し、前記記録媒体から新たに読み出した画像データを前記リサイズ手段でリサイズするリサイズ制御手段
   とを有することを特徴とする映像信号処理装置。
2. 撮影手段と、
   前記撮影手段により得られた画像データを前記記録媒体に記録する記録手段と、
   表示手段への表示のために画像データを一時的に格納するメモリを有する映像信号処理装置の映像信号処理方法であって、
   画像データを記憶する前記記録媒体から画像データを読み出して、読み出した画像データをリサイズするリサイズ工程と、
   前記リサイズ工程によりリサイズされた画像データを前記メモリに格納する格納工程と、
   画像表示の拡大操作に応じて、前記メモリから画像データを読み出してリサイズし、前記表示手段に画像を表示させる表示制御工程と、
   前記メモリに格納されている画像データが撮影された画像よりも粗い状態において、前記拡大倍操作を行っている間は、前記記録媒体から新たに画像データを読み出すことなく、前記表示制御工程により前記メモリから画像データを読み出してリサイズし、リサイズした画像を前記表示手段に表示させ、前記拡大操作の確定後は、確定した操作内容に応じて、前記記録媒体から新たに画像データを読み出し、前記記録媒体から新たに読み出した画像データを前記リサイズ工程でリサイズするリサイズ制御工程
   とを有することを特徴とする映像信号処理方法。
   

Images