JP2011009957A - 撮像装置及びサムネイル画像表示方法 - Google Patents

Abstract

【課題】簡易な検索によりサムネイル画像データを抽出可能とするための撮像装置、及び、サムネイル画像データの簡易な検索により、サムネイル画像の表示に要する時間の短縮、効率的な処理を可能とするサムネイル画像表示方法を提供すること。
【解決手段】固体撮像素子１と、画像圧縮手段であるＪＰＥＧ画像圧縮部１１と、サムネイル画像生成手段であるサムネイル画像生成部１３と、画像圧縮手段で生成された圧縮画像データと、サムネイル画像生成手段で生成されたサムネイル画像データとを含む表示用データを生成する表示用データ生成手段である出力信号生成部６と、表示用データにおけるサムネイル画像データの配置位置を示すインデックスデータを生成するインデックスデータ生成手段であるインデックスデータ生成部１４と、を有し、インデックスデータが付与された表示用データを出力する。
【選択図】図１

Description

本発明は、撮像装置及びサムネイル画像表示方法に関する。

ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の固体撮像素子を有する撮像装置は、通常、固体撮像素子上に配置された色フィルタに対応する色信号を時分割により出力する。被写体の撮像により得られた画像信号は、後段の信号処理手段において、目的とされる画像形式に変換され、外部へ出力される。画像形式として例えばＪＰＥＧ（Joint Photographic Experts Group）形式が使用される場合、撮像装置は、信号処理手段において、画像信号をＪＰＥＧ形式へ圧縮処理し、得られたＪＰＥＧ形式の画像データを出力する。撮像装置の外部に接続された画像表示装置によって画像を表示する場合、撮像装置から入力されたＪＰＥＧ形式の画像データを復号し、直接表示可能な画像形式へ変換させる。

撮像装置には、元画像の画像を縮小させたサムネイル画像のデータを生成し、ＪＰＥＧ形式の画像データに重畳させて出力するものがある。サムネイル画像は、例えば、画像表示装置において索引用画像として表示される（例えば、特許文献１参照）。

画像表示装置は、ＪＰＥＧ形式の画像データを復号する前に、サムネイル画像を表示する場合がある。通常、サムネイル画像データは、複数に分割させて、ＪＰＥＧ形式の画像データに重畳される。例えば、サムネイル画像データの前後には予めマーカが付され、マーカを検知することによりサムネイル画像のデータ列が抽出される。この場合、ＪＰＥＧ形式の画像データからサムネイル画像データのみを抽出するためには、撮像装置から出力されるデータを一旦メモリへ格納した後、格納されたデータの全体を読み出すこととなる。このことから、サムネイル画像が主に簡易表示を目的とするにも関わらず、表示に長い時間を要し、効率的な処理が困難であるという問題を生じる。

特開２００７−２４８７７５号公報

本発明は、簡易な検索によりサムネイル画像データを抽出可能とするための撮像装置、及び、サムネイル画像データの簡易な検索により、サムネイル画像の表示に要する時間の短縮、効率的な処理を可能とするサムネイル画像表示方法を提供することを目的とする。

本願発明の一態様によれば、被写体像の撮像により得られた画像信号を所定のフォーマットで圧縮する画像圧縮手段と、前記被写体像のサムネイル画像を表示するためのサムネイル画像データを生成するサムネイル画像生成手段と、前記画像圧縮手段で生成された圧縮画像データと、前記サムネイル画像生成手段で生成された前記サムネイル画像データとを含む表示用データを生成する表示用データ生成手段と、前記表示用データにおける前記サムネイル画像データの配置位置を示すインデックスデータを生成するインデックスデータ生成手段と、を有し、前記インデックスデータが付与された前記表示用データを出力することを特徴とする撮像装置が提供される。

また、本願発明の一態様によれば、被写体像の撮像により得られた画像信号を所定のフォーマットで圧縮させた圧縮画像データと、前記被写体像のサムネイル画像を表示するためのサムネイル画像データと、を含む表示用データが入力され、前記表示用データには、前記表示用データにおける前記サムネイル画像データの配置位置を示すインデックスデータが付与され、前記表示用データに付与された前記インデックスデータを参照し、参照された前記インデックスデータに基づいて、前記表示用データから前記サムネイル画像データを抽出する、ことを含む、サムネイル画像表示方法が提供される。

本発明によれば、簡易な検索によりサムネイル画像データの抽出が可能となるという効果を奏する。

また、本発明によれば、サムネイル画像データの簡易な検索により、サムネイル画像の表示に要する時間の短縮、効率的な処理が可能になるという効果を奏する。

図１は、実施の形態に係る撮像装置の概略構成を示すブロック図である。 図２は、出力信号生成部による表示用データの出力例を示す図である。 図３は、出力信号生成部による表示用データの出力例を示す図である。 図４は、インデックスデータの詳細を説明する図である。 図５は、元画像の画像サイズの例と、サムネイル画像の画像サイズの例とを示す図である。

以下に添付図面を参照して、この発明に係る撮像装置及びサムネイル画像表示方法の実施の形態を詳細に説明する。

（実施の形態）
図１は、本発明の実施の形態に係る撮像装置の概略構成を示すブロック図である。撮像装置は、固体撮像素子１、固体撮像素子出力信号前処理部２、輝度信号処理部３、色信号処理部４、ＪＰＥＧ画像生成部５、出力信号生成部６、タイミング信号生成部７及びレジスタ選択切換部８を有する。

撮像手段である固体撮像素子１は、被写体からの光を信号電荷に変換することにより、被写体像を撮像する。タイミング信号生成部７は、固体撮像素子１を駆動するためのタイミング信号を生成する。また、タイミング信号生成部７で生成されるタイミング信号は、固体撮像素子出力信号前処理部２以降の各部へ供給され、信号処理タイミングの基準とされる。

固体撮像素子１から出力された画像信号は、固体撮像素子出力信号前処理部２へ入力された後、輝度信号処理部３及び色信号処理部４へ入力される。固体撮像素子出力信号前処理部２、輝度信号処理部３及び色信号処理部４は、固体撮像素子１からの画像信号を適宜処理する。固体撮像素子出力信号前処理部２、輝度信号処理部３及び色信号処理部４の各部内のレジスタ設定用の設定値は、外部にて、或いは予め内部で設定される。レジスタ選択切換部８は、かかる設定値を生成し、固体撮像素子出力信号前処理部２、輝度信号処理部３及び色信号処理部４へ出力することにより、固体撮像素子出力信号前処理部２、輝度信号処理部３及び色信号処理部４での信号処理の内容を決定する。

ＪＰＥＧ画像生成部５は、ＪＰＥＧ画像圧縮部１１、ＪＰＥＧデータ蓄積部１２、サムネイル画像生成部１３及びインデックスデータ生成部１４を有する。ＪＰＥＧ画像圧縮部１１は、固体撮像素子出力信号前処理部２、輝度信号処理部３及び色信号処理部４で適宜信号処理がなされた画像信号をＪＰＥＧ形式で圧縮する画像圧縮手段として機能する。ＪＰＥＧ画像圧縮部１１は、ＪＰＥＧ方式のストリームデータを生成する。ＪＰＥＧデータ蓄積部１２は、ＪＰＥＧ画像圧縮部１１で生成されたストリームデータを蓄積する。

サムネイル画像生成部１３は、被写体像のサムネイル画像を表示するためのサムネイル画像データを生成するサムネイル画像生成手段として機能する。サムネイル画像データは、固体撮像素子１から出力された画像信号からの抽出により生成される。インデックスデータ生成部１４は、インデックスデータを生成するインデックスデータ生成手段として機能する。出力信号生成部６は、外部機器、例えば画像表示装置（図示省略）へ出力される表示用データを生成する表示用データ生成手段として機能する。

信号処理が施された画像信号は、ＪＰＥＧ画像圧縮部１１、サムネイル画像生成部１３及びインデックスデータ生成部１４へ入力される。ＪＰＥＧ画像圧縮部１１では、ＪＰＥＧ規格に準じた画像データの圧縮処理が実施され、圧縮画像データが生成される。生成された圧縮画像データは、一旦ＪＰＥＧデータ蓄積部１２に蓄積され、タイミング信号生成部７にて生成されたタイミングに基づき、出力信号生成部６へ出力される。

サムネイル画像生成部１３のレジスタ設定値は、予め外部から設定された設定値を元に、レジスタ選択切換部８で生成される。サムネイル画像生成部１３は、レジスタ設定値に基づいたサムネイル画像を生成する。例えば、サムネイル画像の画像サイズに応じたレジスタ設定値は、外部からの選択に応じて、レジスタ選択切換部８で生成される。インデックスデータ生成部１４で生成されるインデックスデータは、出力信号生成部６から出力される表示用データにおけるサムネイル画像データの配置位置を表す。インデックスデータ生成部１４では、サムネイル画像の画像サイズに関してレジスタ選択切換部８で生成されたレジスタ設定値に応じたインデックスデータが生成される。このように、インデックスデータ生成部１４は、サムネイル画像の画像サイズに応じたインデックスデータを生成する。

ＪＰＥＧ画像生成部５は、ＪＰＥＧデータ蓄積部１２に蓄積された圧縮画像データ、サムネイル画像生成部１３で生成されたサムネイル画像データ、インデックスデータ生成部１４で生成されたインデックスデータを、予め決められたタイミングで出力する。出力信号生成部６は、予め決められたタイミングで切り換えられる圧縮画像データ、サムネイル画像データ、インデックスデータを含む表示用データを生成し、外部へ出力する。

次に、ＪＰＥＧ形式の画像データの出力タイミングについて詳細に説明する。図２及び図３は、出力信号生成部６による表示用データの出力例を示す図である。出力信号生成部６は、タイミング信号生成部７で生成される水平同期信号Ｈｓｙｎｃ及び垂直同期信号Ｖｓｙｎｃを基準として、表示用データを出力する。「ＤＣＬＫ」は、タイミング信号生成部７において生成されたタイミング信号を表す。「Ｄａｔａ」は、出力信号生成部６から出力される表示用データを表す。

「ＳＯＩ（Ｓｔａｒｔ Ｏｆ Ｉｍａｇｅ）」は、表示用データの先頭を示すコードであって、表示用データの最初に出力される。次に出力される「Ｑｕａｎｔｉｚｅｄ Ｔａｂｌｅ（Ｑ Ｔａｂｌｅ）」は、ＪＰＥＧ方式の圧縮画像データ（ＪＰＥＧ画像データ）を復号するためのデータ群である。

水平方向及び垂直方向のブランキング期間（図２における水平同期信号Ｈｓｙｎｃ又は垂直同期信号Ｖｓｙｎｃが「Ｌ」である期間）には、いずれの表示用データの出力も停止される。また、データ出力期間（図２における水平同期信号Ｈｓｙｎｃが「Ｈ」の期間）において、ＪＰＥＧデータ蓄積部１２に蓄積された圧縮画像データ全ての出力が終わり、出力すべきデータが存在しない場合は、次の水平方向のブランキング期間が開始されるまでの間、ダミーデータである「Ｐａｄｄｉｎｇデータ」が出力される。「Ｐａｄｄｉｎｇデータ」としては、例えば「０ｘＦＦ」などが出力される。

サムネイル画像は、元画像より小さい画像サイズで生成されることが前提とされている。サムネイル画像データは、固体撮像素子１により画像信号が出力されるタイミングに対して離散的に出力される。例えば、固体撮像素子１により撮像された元画像に対して、垂直方向についてのサイズが４分の１であるサムネイル画像を生成する場合は、固体撮像素子１からの画像信号における４ライン分の出力期間に対して、１ライン分のサムネイル画像データが出力される。

従って、図３に示すように、サムネイル画像データのラインＬ０〜ＬＮは、圧縮画像データの４ライン中の１ラインの出力期間において重畳される。出力信号生成部６は、圧縮画像データの４つの出力ラインおきに１ラインのサムネイル画像データを重畳させる。各ラインのうちサムネイル画像データが重畳される以外のラインでは、ＪＰＥＧデータ及びＰａｄｄｉｎｇデータのいずれかが出力される。全ての圧縮画像データとサムネイル画像データとが出力されると、最後にデータの終了を示す「ＥＯＩ（Ｅｎｄ Ｏｆ Ｉｍａｇｅ）」と呼ばれるコードが出力される。その後、インデックスデータの出力により、表示用データの出力が終了する。本実施の形態に係る撮像装置は、インデックスデータが付与された表示用データを出力する。

図４は、インデックスデータの詳細を説明する図である。インデックスデータの最初に出力されるコード「Ｓｔａｒｔ ｏｆ Ｓｕｍｍａｒｙ Ｉｎｄｅｘ（ＳＯＳＩ）」は、インデックスデータの先頭であることを示す。「ＳＯＳＩ」には、例えば１６ビット（２バイト）が割り当てられる。次に出力される「Ｔｈｕｍｂｎａｉｌ Ｆｉｒｓｔ Ｌｉｎｅ」は、単位フレーム期間において最初にサムネイル画像データを重畳させる出力ラインの位置を示す位置情報である。「Ｔｈｕｍｂｎａｉｌ Ｆｉｒｓｔ Ｌｉｎｅ」には、例えば８ビット（１バイト）が割り当てられる。

「Ｔｈｕｍｂｎａｉｌ Ｆｉｒｓｔ Ｌｉｎｅ」の次には、最初にサムネイル画像データを重畳させる出力ラインから、次にサムネイル画像データが重畳される出力ラインまでに飛び越されるライン数を出力する。例えば、４ライン置きにサムネイル画像データが出力される場合は、「３」を出力する。それ以降、サムネイル画像データが重畳される出力ラインまでに飛び越されるライン数を順次出力する。

「Ｔｈｕｍｂｎａｉｌ Ｌｉｎｅ Ｄｉｆｆｅｒｅｎｃｅ」は、飛び越されるライン数、即ち、サムネイル画像データが重畳された出力ライン同士の間隔を示す間隔情報である。例えば、生成されるサムネイル画像の垂直方向におけるサイズを４８０ラインとする場合、飛び越されるライン数を示す４８０個のデータが出力される。飛び越されるライン数を示す各データには、例えば４ビットが割り当てられる。１データ当たりに４ビットを割り当てる場合は、飛び越されるライン数の最大値が１５と設定される。

１データ当たりに割り当てられるビット数は、サムネイル画像の垂直方向における最小値に応じて適宜設定可能である。生成されるサムネイル画像を小さくするほど、飛び越されるライン数は大きい値となる。このため、生成可能とするサムネイル画像が小さくなるほど、１データ当たりに割り当てられるビット数は大きい値とされる。

「Ｔｈｕｍｂｎａｉｌ Ｌｉｎｅ Ｄｉｆｆｅｒｅｎｃｅ」の全データが出力されると、次に、サムネイル画像の画像サイズを表す「Ｔｈｕｍｂｎａｉｌ Ｉｍａｇｅ Ｓｉｚｅ」が出力される。「Ｔｈｕｍｂｎａｉｌ Ｉｍａｇｅ Ｓｉｚｅ」としては、水平方向についてのライン数を表す「Ｔｈｕｍｂｎａｉｌ Ｈｏｒｉｚｏｎｔａｌ Ｓｉｚｅ」と、垂直方向についてのライン数を表す「Ｔｈｕｍｂｎａｉｌ Ｖｅｒｔｉｃａｌ Ｓｉｚｅ」とが出力される。「Ｔｈｕｍｂｎａｉｌ Ｈｏｒｉｚｏｎｔａｌ Ｓｉｚｅ」と「Ｔｈｕｍｂｎａｉｌ Ｖｅｒｔｉｃａｌ Ｓｉｚｅ」とは、例えば、それぞれに１６ビットが割り当てられる。「Ｔｈｕｍｂｎａｉｌ Ｉｍａｇｅ Ｓｉｚｅ」としては、例えば、３２ビット（４バイト）が割り当てられる。

「Ｔｈｕｍｂｎａｉｌ Ｉｍａｇｅ Ｓｉｚｅ」は、レジスタ選択切換部８で生成されるレジスタ設定値に応じて決定される。なお、「Ｔｈｕｍｂｎａｉｌ Ｌｉｎｅ Ｄｉｆｆｅｒｅｎｃｅ」の値は、元画像の画像サイズと、「Ｔｈｕｍｂｎａｉｌ Ｉｍａｇｅ Ｓｉｚｅ」により指示されるサムネイル画像の画像サイズとの比に基づいて決定される。

「Ｔｈｕｍｂｎａｉｌ Ｉｍａｇｅ Ｓｉｚｅ」に続いて、「Ｆｒａｍｅ Ｌｅｎｇｔｈ」が出力される。「Ｆｒａｍｅ Ｌｅｎｇｔｈ」は、出力されたストリームデータの全ライン数を示す。「Ｆｒａｍｅ Ｌｅｎｇｔｈ」としては、例えば、３２ビット（４バイト）が割り当てられる。インデックスデータの最後に出力されるコード「Ｅｎｄ ｏｆ Ｓｕｍｍａｒｙ Ｉｎｄｅｘ（ＥＯＳＩ）」は、インデックスデータの最後尾であることを示す。「ＥＯＳＩ」には、例えば１６ビット（２バイト）が割り当てられる。

次に、サムネイル画像の表示について説明する。図５は、固体撮像装置１により出力される元画像の画像サイズの例と、サムネイル画像の画像サイズの例とを示す図である。ここでは、画像サイズは、水平方向及び垂直方向の画素数により表すものとする。元画像の画像サイズは、例えば、２０４８×１５３６である。元画像の画像サイズは、固体撮像素子１の画素数に依存する。サムネイル画像の画像サイズは、元画像の画像サイズより小さければ良く、外部から任意に設定可能である。また、サムネイル画像の画像サイズは、適宜変更可能としても良い。例えば、本実施の形態において、サムネイル画像の画像サイズは、例えば、６４０×４８０、４８０×３６０、３２０×２４０の三段階から任意に選択可能である。

画像表示装置におけるサムネイル画像の表示に際して、表示用データに付与されたインデックスデータが参照される。画像表示装置では、インデックスデータのうち「Ｔｈｕｍｂｎａｉｌ Ｆｉｒｓｔ Ｌｉｎｅ」を参照することで、表示用データにおいて最初にサムネイル画像データが重畳された出力ラインの位置を読み取る。さらに、インデックスデータのうち「Ｔｈｕｍｂｎａｉｌ Ｌｉｎｅ Ｄｉｆｆｅｒｅｎｃｅ」を参照することで、サムネイル画像データが重畳された全出力ラインの位置を読み取る。このようにして、画像表示装置は、参照されたインデックスデータに基づいて、表示用データからサムネイル画像データを抽出する。

撮像装置から出力された表示用データは、外部のメモリ等の記憶手段に一旦格納される。表示用データが入力された画像表示装置では、ＪＰＥＧ形式のストリームデータを復号することにより、直接表示可能な画像形式へ変換される。画像表示装置では、ストリームデータの復号により画像を表示する前に、サムネイル画像を表示する場合がある。例えば、検索用画像としてサムネイル画像を表示し、ユーザがサムネイル画像を選択することによって、撮像装置で撮像された被写体像の元画像を表示するという手順を経る場合がある。

この場合、表示用データに重畳されているサムネイル画像データを抽出することにより、ＪＰＥＧ方式のストリームデータの復号と、画像サイズを変更する処理とを経るよりも、サムネイル画像の表示に要する時間を低減できる。通常、表示用データにおいてサムネイル画像データは離散させて重畳される。仮に、サムネイル画像データの前後に付されたマーカを検知してサムネイル画像データを抽出することとすると、離散されたサムネイル画像データを抽出するには、記憶手段に格納された全てのストリームデータを読み出す作業が必要となる。

本実施の形態では、記憶手段に格納された表示用データの所定位置、例えば最後尾におかれているインデックスデータを読み出すことで、表示用データにおけるサムネイル画像データの配置位置情報を取得する。配置位置情報を得ることで、サムネイル画像データのみを直接読み出すことが可能となる。これにより、簡易な検索によりサムネイル画像データの抽出が可能となる。さらに、サムネイル画像データの簡易な検索により、サムネイル画像の表示に要する時間の短縮や、小型な回路による効率的な処理が可能になるという効果を奏する。インデックスデータの配置位置は、表示用データの最後尾である場合に限られず、いずれの位置であっても良い。インデックスデータは、例えば、表示用データの先頭付近に配置することとしても良い。

１ 固体撮像素子、６ 出力信号生成部、１１ ＪＰＥＧ画像圧縮部、１３ サムネイル画像生成部、１４ インデックスデータ生成部。

Claims (5)

1. 被写体像の撮像により得られた画像信号を所定の形式で圧縮する画像圧縮手段と、
   前記被写体像のサムネイル画像を表示するためのサムネイル画像データを生成するサムネイル画像生成手段と、
   前記画像圧縮手段で生成された圧縮画像データと、前記サムネイル画像生成手段で生成された前記サムネイル画像データとを含む表示用データを生成する表示用データ生成手段と、
   前記表示用データにおける前記サムネイル画像データの配置位置を示すインデックスデータを生成するインデックスデータ生成手段と、を有し、
   前記インデックスデータが付与された前記表示用データを出力することを特徴とする撮像装置。
2. 前記表示用データ生成手段は、前記圧縮画像データの所定数の出力ラインおきに前記サムネイル画像データを重畳させ、
   前記インデックスデータには、前記表示用データにおいて最初に前記サムネイル画像データを重畳させる出力ラインの位置を示す位置情報と、前記サムネイル画像データが重畳された出力ライン同士の間隔を示す間隔情報と、が含まれることを特徴とする請求項１に記載の撮像装置。
3. 前記インデックスデータ生成手段は、前記サムネイル画像の画像サイズに応じた前記インデックスデータを生成することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記圧縮画像データ、前記サムネイル画像データ及び前記インデックスデータが予め決められたタイミングにより出力されることを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
5. 被写体像の撮像により得られた画像信号を所定の形式で圧縮させた圧縮画像データと、前記被写体像のサムネイル画像を表示するためのサムネイル画像データと、を含む表示用データが入力され、
   前記表示用データには、前記表示用データにおける前記サムネイル画像データの配置位置を示すインデックスデータが付与され、
   前記表示用データに付与された前記インデックスデータを参照し、参照された前記インデックスデータに基づいて、前記表示用データから前記サムネイル画像データを抽出する、
   ことを含む、サムネイル画像表示方法。

Images