JP4046957B2

JP4046957B2 - 撮像装置及びその制御方法、情報処理装置及び方法、並びに記憶媒体

Info

Publication number: JP4046957B2
Application number: JP2001205018A
Authority: JP
Inventors: 洋東條; 智中山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-07-05
Filing date: 2001-07-05
Publication date: 2008-02-13
Anticipated expiration: 2021-07-05
Also published as: US7319811B2; US20030016942A1; JP2003018541A; EP1274241B1; DE60230837D1; EP1274241A3; EP1274241A2

Description

【０００１】
【発明の属する技術分野】
本発明は、記憶媒体に付帯情報を記録し活用する技術に関する。
【０００２】
【従来の技術】
従来より、特開平７−９９６０５、特開平７−２００６３２、特開平１１−２９８８４９、特開２０００−３５０２３４、特開２０００−３５８２０６に見られるように、撮像装置に備えられたセンサによって検知された情報やユーザによる設定情報を動画像と共に記録しておき、これらの情報を元に画像の検索や、再生、印刷を可能にする手段が提案されている。例えば、特開平７−９９６０５では、電子ズーム情報として、電子ズームのオン／オフ、電子ズームの倍率を記述し、所定の電子ズーム倍率をもったフレームを検索することができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、撮像装置などで同一の操作を行っても、処理方式の違いにより、処理結果として得られる画像の質が異なることがある。例えば、電子ズームであれば、撮像素子でとらえた画像の一部を切り出して拡大する方法が一般的である。この方式では、拡大の際に不足する画素を近隣の画素により補間処理するので、画質の劣化が生じてしまう。しかし、画素の補間処理による画質の劣化を防ぐ方法も、提案されている（特開平７−６７０３２）。また、倍率によって電子ズームの方式が切り替わる撮像装置も存在する。このように処理方式が異なることによって、電子ズーム処理後の画質に差が生じるが、このような情報を、例えばフレーム画像の印刷時などに活用できれば、予め画質の悪いフレームの印刷を避けることができ便利である。しかしながら、従来の技術では、センサによって検知された情報やユーザによる設定情報しか付帯情報として記述することができず、前述のような利用は不可能であった。
【０００４】
本発明は上記の問題点に鑑みてなされたものであり、再生対象となるデータに対して再生時の品質に影響を及ぼす加工処理がなされた場合に、そのデータに再生時の品質に関する情報を持たせることを目的とする。
【０００５】
また、これら再生時の品質に関する情報を利用して、操作性を向上することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的を達成するための本発明による撮像装置は以下の構成を備える。すなわち、
画像データに対して再生時の画質に影響を及ぼす電子ズーム処理を行う電子ズーム手段と、
前記電子ズーム手段によりなされた電子ズーム処理に応じて当該電子ズーム処理後の画像データの再生時の画質を判定し、その判定された画質を表す画質情報を生成する判定手段と、
前記電子ズーム処理後の画像データを格納するとともに、前記判定手段で得られた画質情報を該画像データに対応付けて格納する格納手段とを備える。
【０００７】
また、上記の目的を達成するための本発明の他の態様による情報処理装置は以下の構成を備える。すなわち、
画像データと、その画像データの取得時における電子ズーム処理に起因した画質の劣化の度合いを表す画質情報とが対応付けられて記録された構成のデータより、前記画像データと対応する画質情報を取得する取得手段と、
前記画像データを示すサムネイルを表示する際に、前記取得手段で取得された画質情報によって示される画質を利用者が認識できるように表示する表示手段とを備える。
【０００８】
また、上記の目的を達成するための本発明の他の態様による撮像装置の制御方法は、
画像データに対して再生時の画質に影響を及ぼす電子ズーム処理を加える電子ズーム工程と、
前記電子ズーム工程によりなされた電子ズーム処理に応じて当該電子ズーム処理後のデータの再生時の画質を判定し、その判定された画質を表す画質情報を生成する判定工程と、
前記電子ズーム処理後のデータを格納するとともに、前記判定工程で得られた画質情報を該データに対応付けて記憶媒体に格納する格納工程とを備える。
【０００９】
更に上記の目的を達成するための本発明の他の態様による情報処理方法は、
画像データと、そのデータの取得時における電子ズーム処理に起因した画質の劣化の度合いを表す画質情報とが対応付けられて記録された構成のデータより、前記画像データと対応する画質情報を取得する取得工程と、
画像データを示すサムネイルを表示する際に、前記取得工程で取得された画質情報によって示される画質を利用者が認識できるように表示する表示工程とを備える。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について添付の図面を用いて説明する。
【００１１】
図１は、本発明を適用可能な動画像処理装置の構成を示すブロック図である。図１において１０１０は動画像を撮像する撮像装置であり、１０２０は動画像などを格納しておくための記憶媒体１０２０であり、１０３０は記憶媒体１０２０に含まれた動画像中の特定のフレーム画像を抜き出して、印刷する印刷装置である。
【００１２】
次に、本実施形態による撮像装置１０１０の構成及びその制御方法と、記憶媒体１０２０について説明する。図２は本実施形態における撮像装置の構成を示すブロック図である。図２において、１１は被写体を結像させるズームレンズ、１２は光量を調節する絞り、１３は入力した光を電気信号に変換するＣＣＤからなる撮像素子、１４はサンプルホールドおよびゲイン調整を行うサンプルホールド・ＡＧＣ回路部である。
【００１３】
１５はアナログデジタル変換（Ａ／Ｄ変換）を行うＡ／Ｄ変換部、１６は信号を処理して映像信号を生成する映像信号処理部である。１７はフィールドメモリを有し、映像の切り出し、拡大および補間処理を行う電子ズーム部である。１８はフィールドメモリを有し、映像信号のノイズを除去するノイズリダクション部（ＮＲ）である。ノイズリダクション部（ＮＲ）１８は巡回型ノイズリダクション回路で構成される。１９はレンズの位置を検出するレンズ位置検出部、２０はレンズを駆動するレンズ駆動部である。
【００１４】
２１は撮像装置全体を制御するシステム制御部である。図３はシステム制御部２１の構成を示すブロック図である。システム制御部２１は周知のＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、Ｉ／Ｏインターフェース３４、およびバス３５を有する。ＲＯＭ３２には、ＣＰＵ３１によって実行される後述のプログラム、テーブル値などが格納されている。なお、システム制御部２１は、図４Ａ、図４Ｂのフローチャートによって後述するように、電子ズーム部１７による処理内容に基づいて再生時の画質を判定する画質判定部２１ａを備える。
【００１５】
２２はズームを操作するキーが配置されたズーム操作キー部である。２３はズームをワイド（広角＝画像縮小）方向に動作させるワイド・キー、２４はテレ（望遠＝画像拡大）方向に移動させるテレ・キーである。ワイド・キー２３およびテレ・キー２４は、例えばシーソー型の連動したキーであり、どちらのキーがどの程度の押し圧により押されているかを示す出力信号をシステム制御部２１に出力する。
【００１６】
２６は、映像データをMPEGの形式に符号化するMPEG CODECである。２７は記録部であり、記録媒体を駆動し、情報を記録するドライブなどで構成される。２８は記録媒体であり、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、ハードディスクなどである。
【００１７】
以上の構成を備えた本実施形態の撮像装置による撮像動作について簡単に説明する。ズームレンズ１１より受光した被写体からの光は、絞り１２によりその光量が調整され、撮像素子１３の面上に結像する。そして、撮像素子１３によって電気信号に変換された後、サンプルホールド・ＡＧＣ部１４を介してＡ／Ｄ変換部１５によりＡ／Ｄ変換され、映像信号処理部１６に入力する。
【００１８】
映像信号処理部１６では、入力信号に対して輝度および色成分毎にアパーチャ補正、ガンマ補正、ホワイトバランス補正などの処理が施されて映像信号が生成され、電子ズーム部１７に出力される。電子ズーム部１７は、出力映像が入力映像に対してシステム制御部２１からの制御信号に基づいた倍率となるように、フィールドメモリを用いて映像を切り出し、拡大および補間処理を行ってノイズリダクション部１８へ出力する。
【００１９】
ノイズリダクション部１８では、システム制御部２１からの制御信号により制御され、映像信号のノイズを除去する。ノイズが除去された映像信号は、MPEG CODEC２６に出力される。MPEG CODEC２６では、入力された映像信号の符号化を行う。このとき、MPEG CODEC２６は、システム制御部２１から入力される電子ズームの制御情報（以下、電子ズーム情報）を符号化された映像信号と共に格納し、MPEG CODEC２６に接続された記録装置などに出力する。電子ズーム情報の格納方法については後述する。
【００２０】
システム制御部２１は、撮像装置各部を制御するとともに、ズーム操作キー部２２のワイド・キー２３およびテレ・キー２４が押されていると、レンズ駆動部２０の制御または電子ズーム部１７の制御を行い、ズームをワイド方向またはテレ方向に移動させる。また、システム制御部２１は、レンズ位置検出部１９からのレンズ位置検出信号により、ズームレンズ１１がテレ端（最望遠端点）、ワイド端（最広角端点）あるいはテレ端とワイド端のどこに位置する（ズーム倍率）のかを判断する。ここで、レンズ光学系によって撮像する画像を拡大する機能を光学ズームといい、レンズ光学系によらず電子的信号処理によって画像を垂直、水平方向に拡大する機能を電子ズームという。
【００２１】
システム制御部２１は、通常、光学ズームで設定可能な倍率の範囲ではズームレンズ１１の駆動による光学ズームを行い、ズームレンズ１１がテレ端に到達した後は、電子ズーム部１７の制御による電子ズームで電子的に画像を拡大する。本実施形態では、光学ズーム最大倍率１２倍、電子ズーム最大倍率４倍とし、掛け合わせた４８倍の高倍率ズーム動作を可能にするものとする。
【００２２】
また、システム制御部２１は、光学ズームまたは電子ズームの停止時と動作時でノイズリダクション処理の制御値を切り換えてノイズリダクション部１８に制御信号を出力することにより、ノイズリダクションの効き量、つまりノイズの除去量を可変する。このとき、切り換えられる制御値は巡回係数Ｋである。
【００２３】
また、制御値の切り換えは被写体の明るさによっても行う。被写体の明るさが暗くなるにつれて映像信号のＳ／Ｎが悪くなるので、それを補うためにノイズリダクションの効き量を大きくするように、制御値の切り換えを行う。
【００２４】
更に、システム制御部２１は、被写体からの光信号の量に対し、生成する映像信号のレベルを所定値に維持するため、絞り１２、サンプルホールド・ＡＧＣ部１４、電子シャッタ（図２では、電子シャッタを省略）などを制御しており、これらの露出制御に用いる絞り値、ＡＧＣゲイン、電子シャッタスピードなどにより、被写体の明るさを総合的に判断する。
【００２５】
次に、システム制御部２１による光学ズーム、電子ズームおよびノイズリダクションの制御について示す。図４Ａ及び図４Ｂは電子ズームおよびノイズリダクション制御処理手順を示すフローチャートである。なお、この処理プログラムはシステム制御部２１内のＲＯＭ３２に格納されており、ＣＰＵ３１によって実行される。
【００２６】
まず、システム制御部２１はテレ・キー２４がオンしているか否かを判別する（ステップＳ４０１）。テレ・キー２４がオンしている場合、ズームレンズ１１の位置がテレ端（光学ズーム倍率１２倍）であるか否かを判別する（ステップＳ４０２）。ズームレンズ１１の位置がテレ端である場合、ズームレンズ１１を引き続きテレ端停止とする（ステップＳ４０３）。そして、電子ズーム部１７による電子ズーム倍率が最大の４倍であるか否かを判別し（ステップＳ４０４）、４倍でない場合は倍率を所定の変倍率で拡大するように、電子ズーム部１７を制御する（ステップＳ４０５からステップＳ４０９）。一方、電子ズーム率が最大の４倍である場合は、電子ズーム倍率を引き続き４倍固定とする（ステップＳ４１０、Ｓ４１１）。なお、本実施の形態では、光学ズーム倍率を最高１２倍、電子ズーム倍率を最高４倍としたがこの限りではない。
【００２７】
さて、ステップＳ４０５からステップＳ４０９における電子ズーム部１７による処理の手順について、電子ズームによる拡大方法の概念図である図５を用いながら説明する。本実施形態における撮像装置は、電子ズームの画質を向上させるために、１倍〜２倍のときと２倍〜４倍のときとで電子ズーム方法が異なっている。そこでまず、電子ズーム倍率が２倍以上であるかどうかを判定する（ステップＳ４０５）。
【００２８】
そして、２倍未満であるとき（すなわち１倍〜２倍のとき）は、ステップ４０６へ進み、電子ズーム倍率に応じて、ＣＣＤ画像の縮小率を下げる。この処理を図５の（ａ）を参照して説明する。
【００２９】
撮像素子１３上では、実際に記録される１画面（フレームまたはフィールド、説明を簡単にするために以降フレームという）となる利用領域５０２の２倍の範囲を使用する（５０１）。電子ズームを使用してない（すなわち電子ズーム１倍）とき、撮像素子画像５０１を1／２に縮小（５０６）して、５０２の大きさにする。例えば、５０２が３２０×１２０画素であれば、５０１はその２倍の大きさの４５３×１７０画素とする。縮小することによって画質のある程度の劣化が見られるが、その分撮像素子の画素を、利用領域よりも広めに多く用いていることにより相殺される。
【００３０】
そして、１倍〜２倍の範囲では、倍率に応じて縮小率を変更する。例えば、電子ズーム１．５倍であるとき、（１.５／２）のサイズ３９２×１４７に画素の間引き処理などを用いて縮小する（５０７）。つまり、電子ズームＮ倍のときは、５０１の大きさの画像をＮ／２に縮小する。そして、画像の中心から３２０ｘ１２０の領域（５０２）を切り出してノイズリダクション部１８に送る。このように、１倍〜２倍の範囲では、縮小率を倍率に応じて変えていくことで電子ズームを実現する。
【００３１】
電子ズームの倍率を上げると、縮小率が下がっていくので結果的に利用される撮像素子の画素数（領域５０２の画像を形成するのに用いられる画素数）は減るものの、縮小処理による劣化が減るので、画質はほぼ一定に保つことが可能である。すなわち、１倍〜２倍の間の電子ズーム処理では、電子ズーム不使用時とほぼ同じ画質を保つことができる。そこで、システム制御２１の画質判定部２１ａは再生画質は高画質であると判定し、Ｑ＝ＨＩＧＨとする。この情報は電子ズーム倍率などの情報と共にMPEG CODEC２６に送られ、後述する形式で格納される（ステップＳ４０７）。
【００３２】
一方、ステップＳ４０５において、電子ズームが２倍以上（すなわち電子ズーム２倍〜４倍）のときは、ステップＳ４０８へ進む。ステップＳ４０８では、電子ズーム倍率に応じてメモリ画像の拡大率を上げる。この処理を図５（ｂ）を参照して説明する。
【００３３】
電子ズーム２倍〜４倍の場合、撮像素子の画像を縮小せずメモリに取り込み（５０８）、メモリ中の画像（以降、メモリ画像）の中心から利用領域の大きさ３２０ｘ１２０を切り出し、これを電子ズーム倍率に応じて拡大する（５０９）。拡大後の画像から再び利用領域３２０ｘ１２０に対応する画像（５１０）を切り出して、ノイズリダクション部１８に送る。拡大する際は、不足する画素を近隣の画素により補間処理するなどが必要になるため、画質が劣化してしまう。そこで、システム制御２１の画質判定部２１ａは再生画質は低画質であると判定し、Ｑ＝ＬＯＷとする。この情報は電子ズーム倍率などの情報と共にMPEG CODEC２６に送られ、後述する形式で格納される（ステップＳ４０９）。
【００３４】
また、ステップＳ４０４において、電子ズームが４倍であった場合、電子ズーム倍率が最大に達しているので、メモリ画像の拡大率を最大の２倍に固定する（ステップＳ４１０）。このときは、画質が劣化してしまうので、システム制御２１の画質判定部２１ａは、Ｑ＝ＬＯＷを設定する。この情報は電子ズーム倍率などの情報と共にMPEG CODEC２６に送られ、後述する形式で格納される（ステップＳ４１１）。
【００３５】
一方、ステップＳ４０２でズームレンズ１１の位置がテレ端でない場合、ズームレンズ１１の倍率を所定の変倍率で拡大するように、（テレ方向駆動）レンズ駆動部２０を制御する（ステップＳ４１２）。そして、撮像素子画像の縮小を１／２に固定する（ステップＳ４１３）。
【００３６】
一方、ステップＳ４０１でテレ・キー２４がオンしていない場合、ワイド・キー２３がオンしているか否かを判別し（ステップＳ４１４）、ワイド・キー２３がオンしている場合、電子ズーム部１７による電子ズーム倍率が最小の１倍であるか否かを判別する（ステップＳ４１５）。
【００３７】
電子ズーム倍率が最小の１倍である場合、電子ズームの倍率を引き続き１倍に固定するように、電子ズーム部１７を制御し、電子ズーム部は、撮像素子画像の縮小を１/２に固定する（ステップＳ４１６）。ズームレンズ１１の位置がワイド端（光学ズーム倍率１倍）であるか否かを判別し（ステップＳ４１７）、ワイド端である場合、ズームレンズ１１を引き続きワイド端停止とする（ステップＳ４１８）。一方、ズームレンズ１１の位置がワイド端でない場合、ズームレンズ１１の倍率を所定の変倍率で縮小するように（ワイド方向駆動）、レンズ駆動部２０を制御する（ステップＳ４１９）。
【００３８】
一方、ステップＳ４１５で電子ズーム倍率が１倍でない場合、電子ズームの倍率を所定の変倍率で縮小するように、電子ズーム部１７を制御する（ステップＳ４２０からステップＳ４２５）。電子ズームの方式は２倍を境に異なるので、まず、電子ズームが２倍以上であるかどうかを判定する（ステップＳ４２０）。２倍以上であるときは、メモリ画像の拡大率を電子ズームの倍率に応じて下げていく（ステップＳ４２１）。上述した理由で、この状態では再生画質が劣化するので、システム制御２１の画質判定部２１ａはＱ＝ＬＯＷを設定する。この情報は、電子ズーム倍率などの情報と共にMPEG CODEC２６に送られ、後述する形式で格納される（ステップＳ４２２）。一方、ステップＳ４２３において、電子ズーム倍率が２倍未満と判定された場合は、撮像素子画像の縮小率を電子ズーム倍率に応じて上げていく（ステップＳ４２３）。そして、この状態では、上述したように再生画質は高い状態を維持できるので、システム制御２１の画質判定部２１ａはＱ＝ＨＩＧＨに設定する。システム制御２１によって、この情報は電子ズーム倍率などの情報と共にMPEG CODEC２６に送られ、後述する形式で格納される（ステップＳ４２４）。そして、ズームレンズ１１を引き続きテレ端停止とする（ステップＳ４２５）。
【００３９】
一方、ステップＳ４１４でワイド・キー２３がオンしていない場合、電子ズームの倍率を変倍させないで固定するように、電子ズーム部１７を制御する（ステップＳ４２６からステップＳ４２８）。電子ズーム部１７では、電子ズーム２倍以上であるかを判定して（ステップＳ４２６）、２倍未満であれば撮像素子画像の縮小率を固定し（Ｓ４２７）、２倍以上であればメモリ画像の拡大率を固定する（Ｓ４２８）。そして、ズームレンズ１１の倍率を変倍させないで固定するように、レンズ駆動部２０を制御し、ズームレンズ１１を停止させる（ステップＳ４２９）。
【００４０】
そして、電子ズーム部１７およびズームレンズ１１を停止させた状態では、ノイズリダクションの制御モードをズーム停止モードとしてノイズリダクション部１８を制御する（ステップＳ４３０）。一方、電子ズーム部１７およびズームレンズ１１のどちらか一方を動作させた状態では、ノイズリダクションの制御モードをズーム動作モードとしてノイズリダクション部１８を制御する（ステップＳ４３１）。この後、システム制御部２１は一旦、処理を終了し、撮像装置各部を制御しつつ、再びステップＳ４０１からステップＳ４３１の処理を繰り返す。
【００４１】
次に、動画像とともに電子ズーム情報を記録する方法について説明する。本実施形態の電子ズーム情報は、上述のステップＳ４０７、Ｓ４０９、Ｓ４１１、Ｓ４２２、Ｓ４２４で設定されたＱを含む。
【００４２】
電子ズーム情報の記録には、フレーム単位の画像データの管理情報中の未使用領域などに格納する方法が挙げられる。具体的には、例えば、MPEG-2ストリームであれば、ピクチャヘッダのユーザ領域に格納する方法がある。
【００４３】
次に、電子ズーム情報を記録する際の形式について説明する。図６は本実施形態による電子ズーム情報のフォーマット例を示す図である。Digital Zooming Qualityには電子ズームの方式などによるクオリティ（上述のＱの内容）を記述する。画質の高い画像が得られる場合はHigh、画質の劣化が生じてしまう場合はLowと記述する。例えば、本実施例では電子ズーム使用時（１〜２倍）のときは、Highと記述し、電子ズーム使用時（２〜４倍）のときは、Lowと記述する。
【００４４】
また、本実施形態のように撮像装置が、複数の電子ズーム方式を備えており、どの電子ズーム方式であっても画質の劣化のない画像が得られるならば、Digital Zooming Qualityには常にHighを記述するようにして構わない。また或いは、単一の電子ズーム方式しか備えていない撮像装置であっても、画質の劣化の度合いに応じてDigital Zooming QualityにHigh、Lowのどちらかを常に記述するようにしても構わない。
【００４５】
なお、図６においてDigital Zoom Modeは、電子ズームのモードであり、DisableかEnableかを記述する。Magnificationは、電子ズーム倍率を、図６に記載の式を満足する係数の形式で記述する。なお、電子ズームが使用されていないフレームに対しては、これらの情報は記述されない。
【００４６】
次に、本実施形態による印刷装置１０３０について、その構成と動作を説明する。
【００４７】
図７は、本実施形態における印刷装置の制御構成を示すブロック図である。同図において、７０１はＣＰＵであり、本実施形態の動画像処理装置における各種制御を実行する。７０２はＲＯＭであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。７０３はＲＡＭであり、ＣＰＵ７０１が処理するための制御プログラムを格納するとともに、ＣＰＵ７０１が各種制御を実行する際の作業領域を提供する。７０４はキーボード、７０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００４８】
７０６は外部記憶装置であり、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ等で構成される。７０７は表示器であり、ディスプレイなどで構成され、結果等をユーザに対して表示する。７０８はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。７０９は印刷機であり、プリンタなどで構成される。
【００４９】
図８は、印刷装置の機能構成を示すブロック図である。８０１は記憶媒体であり、図２の記憶媒体２８に相当する。読取部８０２は、記憶媒体８０１上の動画像及び電子ズーム情報を読み取るものである。８０３はフレーム選択部であり、印刷に採用する動画像中のフレームを決定するものである。８０４はユーザ操作部であり、キーボード７０４・マウス７０５で構成され、フレームの選択指示などを与えるものである。８０５は表示部であり、印刷候補となるフレームなどを表示器７０７に表示するる。８０６は印刷部であり、印刷機７０９などで構成され、フレーム選択部８０３で選択されたフレーム画像を印刷する。
【００５０】
図９は印刷装置側の表示器によるユーザインターフェースの例である。９０１は表示領域である。９０２はサムネイル表示領域であり、フレーム画像を縮小してサムネイル化した画像を、左上より初めて、左から右へ、上から下の向きに、時系列順に並べて表示する。９０３はスクロールバーであり、サムネイルがサムネイル表示領域９０２内に一度に表示できない場合に、これを操作して順にサムネイルを閲覧できるようにしたものである。９０４はポインタであり、ユーザはマウス７０５を用いてこれを動かすことができ、各種の指示を与えることができる。
【００５１】
図１０は、印刷装置の動作例を示したフローチャートである。本処理は、ＲＯＭ７０２に格納された制御プログラムをＣＰＵ701が実行することにより実現される。
【００５２】
まず、読取部８０２は、ユーザがユーザ操作部８０４を介して指示した動画像を、記憶媒体８０１より読み込む（ステップＳ１００１）。次にフレーム選択部８０３は、動画像中のフレームを順次、読み出し、サムネイル化して表示する（ステップＳ１００２〜ステップＳ１００６）。
【００５３】
ステップＳ１００２は終了判定であり、動画像中のフレーム全てについて処理が行われるまで、ステップＳ１００３〜ステップＳ１００６までを繰り返させるものである。ステップＳ１００３において、フレーム画像を図９（ａ）のように画面上に並べて表示するのに適当なサイズまで縮小し、サムネイル画像とする。次に、そのフレーム画像に対応する電子ズーム情報のDigital Zooming Qualityをチェックする。Digital Zooming QualityがLowであるか否かを判定し（ステップＳ１００４）、Lowであれば、画質が劣化していると判断される。そこで、ユーザに注意を促すために、図９（ａ）に示したような×印と共に、当該フレーム画像のサムネイルをサムネイル表示領域９０２に表示する（ステップＳ１００５）。一方、ステップＳ１００４においてDigital Zooming QualityがLowであると判定されなかった場合（ズーム情報が存在しない場合を含む）には、サムネイルのみをそのまま表示する（ステップＳ１００６）。
【００５４】
以上の処理繰り返しにより、サムネイルをサムネイル表示領域９０２に表示していく。ただし、フローチャートでは示していないが、サムネイル表示領域９０２の表示可能枚数を超えた場合は、表示しきれなかった分のサムネイルをメモリ中に保持しておき、スクロールバー９０３が操作されたときに、対応するサムネイルをサムネイル表示領域９０２に表示するようにする。
【００５５】
以上のようにしてサムネイルを表示した後、ユーザがポインタ９０４によって、印刷したいサムネイルを選択したかを判定する（ステップＳ１００７）。選択されたならば、ステップＳ１００８において、選択されたサムネイルに対応するフレーム画像を印刷部８０６にて印刷する。
【００５６】
以上のように、サムネイル画像の表示中に×印を付加して表示することで、当該フレーム画像の画質が劣化していることを明示するので、例えばユーザが印刷のためのフレーム画像を選択する際の目安として利用することが可能となる。一般にサムネイルはフレーム画像を大幅に縮小した画像であるので、画質が劣化しているか否かはサムネイル画像からは判定がしにくいが、本実施形態によればユーザは容易にこれを判別することが可能である。
【００５７】
なお、上記実施形態では、フレーム単位に電子ズーム情報を付与したが、フレームとの対応がとれる形で格納されていればよい。例えば図１１のように区間ごとにまとめて動画ファイルのフッタなどに格納しておく方法もある。図１１では、Digital Zooming Mode、Digital Zooming Quality、Digital Zoom Mode、Magnificationが同一である区間毎にレコードが登録される。各区間は、開始点（Start Point）と終了点（End Point）で示される。なお、区間を表す開始点（Start Point）と終了点（End Point）は、時間情報やフレームＩＤなど、フレームとの対応関係がとれるものであれば、何であってもかまわない。
【００５８】
また、本実施形態では、ズームレンズ１１がテレ端に到達した後に電子ズームが働くとしたが、電子ズーム用の操作ボタンを用意し、テレ端に到達する前に電子ズームを働かせるようにしてももちろんかまわない。
【００５９】
また、本実施例では、図９の（ａ）のように画質の劣化がみられるサムネイルについては、×印を同時に表示して、ユーザに注意を促す方式をとったが、図９（ｂ）に示したように画質が劣化したものを取り除いて、画質の劣化のないものだけを表示するようにしてもよい。
【００６０】
また、本実施形態では、画質はHighとLowの区別しかないが、電子ズームの処理方式により画質が３段階以上に分かれるならば、High、Middle、Lowといったように３段階以上にしてももちろん構わない。更にこの場合、表示方法としては、画質がHigh＝印なし、Middle＝△印、Low＝○印などと対応させ、図１２（ａ）のように表示することが可能である。また、表示モードを設け、全てを表示する（図１２（ａ））、画質が悪いものだけを非表示とする（図１２（ｂ））、画質の良いものだけを表示する（図１２（ｃ））というように段階的な表示を行うことも可能である。
【００６１】
また、本実施形態では、電子ズーム情報を印刷装置で利用する例を示したが、編集装置、再生装置、検索装置等の様々な装置で利用することが可能である。いずれの利用形態であっても、（１）画質の劣化のみられるフレームについてユーザへ注意を促す（２）画質の劣化の見られるフレームを利用対象から外す（３）画質の劣化の度合いに応じて段階的に表示する、の３点を可能とすることができる。
【００６２】
印刷装置以外の装置例として動画編集装置の例をあげる。図１３は動画編集装置の表示例を示す図である。（ａ）は動画ファイル全体を表すバーである。また、（ｇ）は位置指定ポインタであり、編集に採用する区間を指定する際に、使用するものである。（ｂ）は動画（ａ）中のDigital Zooming QualityがMiddleである区間であり、（ｃ）はDigital Zooming QualityがLowである区間を表している。ユーザは、編集時に図１３の表示を目安とし、画質の劣化のみられる区間を避けて編集することなどが容易に行える。
【００６３】
また、（ｅ）に示したように画質の劣化の見られる区間（ｂ）と（ｃ）を外して表示することもでき、ユーザが前記区間を選択できないようにすることもできる。また、ユーザの指示に応じて、（ａ）のようにすべて表示したり、（ｄ）に示したように画質の劣化が激しい（ｃ）の部分だけを外して表示したり、（ｅ）に示したように画質の劣化が見られる部分を全て外して表示する、というように段階的な表示も可能である。上記の表示はいずれも、フレームに対応するDigital Zooming Qualityを参照することによって可能となることは明らかである。
【００６４】
また、本実施形態では、電子ズーム情報を付与する撮像装置１０１０と電子ズーム情報を利用する印刷装置１０３０の、２つの装置で構成したが、これらを１つの装置で実現するように構成するようにしても構わない。
【００６５】
また、本実施形態では、電子ズーム情報を記憶媒体１０２０を介してやり取りしたが、ＩＥＥＥ１３９４などの通信機能を設け、これによってやり取りするように構成しても構わない。
【００６６】
また、本実施形態では、扱う対象を動画像に限定して説明したが、静止画であってももちろん構わない。また、なんらかの加工処理を行う際に、その処理方式などによって、処理結果の質が異なる場合であれば、扱う対象は文書、音声、など何であっても構わない。
【００６７】
以上説明したように、上記実施形態によれば、撮像装置などで同一の操作を行った際に、処理方式の違いによって生じる処理結果の質の違いに関する情報を活用することが可能となる。例えば、電子ズームにおいて、電子ズームの方式やその処理過程に起因する画質の変化に関する情報を、フレームに対応させて記録媒体に記録しておき、印刷装置、再生装置、編集装置、検索装置などで利用する際に、画質の悪いフレームについてユーザに注意を促したり、予め画質の悪いフレームを表示しないようにしたり、画質に応じて段階的に提示したりすることが可能となる。
【００６８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００６９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７０】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピィディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発生のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
【発明の効果】
以上説明したように、本発明によれば、再生を目的としたデータを加工する加工手段と、加工手段による加工処理後のデータの再生時の品質を判定し、その品質を表す品質情報を生成する判定手段と、加工処理後のデータを格納するとともに、判定手段で得られた品質情報を該データに対応付けて格納する格納手段とを具備することにより、再生対象となるデータに対して再生時の品質に影響を及ぼす加工処理がなされた場合に、そのデータに再生時の品質に関する情報を持たせることが可能となる。
また、本発明によれば、再生対象のデータと、そのデータの再生時の品質を表す品質情報とが対応付けられて記録された構成のデータより、再生対象のデータと対応する品質情報を取得する取得手段と、取得手段で取得された品質情報に基づいて再生対象のデータ或いはそれを示す情報の表示をする表示手段とを具備することにより、これら再生時の品質に関する情報を利用して、操作性が向上した装置を提供することができる。
【図面の簡単な説明】
【図１】本発明を適用可能な動画像処理装置の構成を示すブロック図である。
【図２】本実施形態における撮像装置の構成を示すブロック図である。
【図３】システム制御部２１の構成を示すブロック図である。
【図４Ａ】電子ズームおよびノイズリダクション制御処理手順を示すフローチャートである。
【図４Ｂ】電子ズームおよびノイズリダクション制御処理手順を示すフローチャートである。
【図５】電子ズーム部１７によるズーム処理を説明する図である。
【図６】本実施形態による電子ズーム情報のフォーマット例を示す図である。
【図７】本実施形態における印刷装置の制御構成を示すブロック図である。
【図８】印刷装置の機能構成を示すブロック図である。
【図９】印刷装置側の表示器によるユーザインターフェースの例を示す図である。
【図１０】印刷装置の動作例を示したフローチャートである。
【図１１】ズーム情報を区間ごとにまとめて記録する方法を説明する図である。
【図１２】印刷装置側の表示器によるユーザインターフェースの他の例を示す図である。
【図１３】動画編集装置の表示例を示す図である。

Claims

画像データに対して再生時の画質に影響を及ぼす電子ズーム処理を行う電子ズーム手段と、
前記電子ズーム手段によりなされた電子ズーム処理に応じて当該電子ズーム処理後の画像データの再生時の画質を判定し、その判定された画質を表す画質情報を生成する判定手段と、
前記電子ズーム処理後の画像データを格納するとともに、前記判定手段で得られた画質情報を該画像データに対応付けて格納する格納手段とを備えることを特徴とする撮像装置。
前記画像データは、動画像データであり、
前記判定手段は前記動画像データの１フレームを単位として再生時の画質を判定して画質情報を生成し、
前記格納手段は、前記画質情報を、前記動画像データの各フレームと対応付けて格納することを特徴とする請求項１に記載の撮像装置。
前記格納手段は、前記画質情報が同一画質を示すフレームが連続する区間を示す区間情報と画質情報とを対応付けて格納することを特徴とする請求項２に記載の撮像装置。
前記格納手段は、フレーム毎の画像データの所定領域に前記画質情報を記述して格納することを特徴とする請求項２に記載の撮像装置。
前記格納手段は、各フレームを特定する識別子と前記画質情報を対応付けて格納することを特徴とする請求項２に記載の撮像装置。
前記画像データは静止画データであり、
前記判定手段は、各静止画データ毎に再生時の画質を判定してその画質を表す画質情報を生成することを特徴とする請求項１に記載の撮像装置。
前記画質情報は、画質を所定数の段階に区分けした画質レベルによって再生時の画質を示すことを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
画像データと、その画像データの取得時における電子ズーム処理に起因した画質の劣化の度合いを表す画質情報とが対応付けられて記録された構成のデータより、前記画像データと対応する画質情報を取得する取得手段と、
前記画像データを示すサムネイルを表示する際に、前記取得手段で取得された画質情報によって示される画質を利用者が認識できるように表示する表示手段とを備えることを特徴とする情報処理装置。
前記表示手段は、前記画像データを示すサムネイルと、前記画質情報が示す当該画像データの画質を表す情報を同時に表示することを特徴とする請求項８に記載の情報処理装置。
前記表示手段は、前記画質情報が所定の水準以上の画質を表す画像データについて、該画像データを示すサムネイルを表示することを特徴とする請求項８に記載の情報処理装置。
更に、前記所定の水準を設定する設定手段を備えることを特徴とする請求項１０に記載の情報処理装置。
前記画像データは動画像データを構成するフレームであり、前記表示手段は、前記動画像データのフレームのサムネイルを表示することを特徴とする請求項８乃至１１のいずれかに記載の情報処理装置。
画像データに対して再生時の画質に影響を及ぼす電子ズーム処理を加える電子ズーム工程と、
前記電子ズーム工程によりなされた電子ズーム処理に応じて当該電子ズーム処理後のデータの再生時の画質を判定し、その判定された画質を表す画質情報を生成する判定工程と、
前記電子ズーム処理後のデータを格納するとともに、前記判定工程で得られた画質情報を該データに対応付けて記憶媒体に格納する格納工程とを備えることを特徴とする撮像装置の制御方法。
画像データと、そのデータの取得時における電子ズーム処理に起因した画質の劣化の度合いを表す画質情報とが対応付けられて記録された構成のデータより、前記画像データと対応する画質情報を取得する取得工程と、
画像データを示すサムネイルを表示する際に、前記取得工程で取得された画質情報によって示される画質を利用者が認識できるように表示する表示工程とを備えることを特徴とする情報処理方法。
請求項１３または１４に記載の情報処理方法をコンピュータに実行させるための制御プログラム。
請求項１５に記載の制御プログラムを格納した記憶媒体。