JP2007104217A - 画像圧縮データ処理方法および画像圧縮データ処理装置 - Google Patents

Abstract

【課題】タイル単位で画像データを圧縮処理し、受信側から指定された読み出し順序指定に応じてその都度送信側で画像圧縮データの中身を並び替えていた送信側の処理の負担を軽減する。
【解決手段】画像圧縮データを伝送して受信側で表示する場合に、複数の部分画像圧縮データに分け、任意の順序で複数の部分画像圧縮データを記述し、画像圧縮データ中に或いは画像圧縮データに対応付けた付加データ中に複数の部分画像圧縮データの復号順序情報と画像圧縮データ中の個々の部分画像圧縮データの格納アドレス情報を記述する画像圧縮データ処理方法。
【選択図】図１

Description

本発明は、画像圧縮データを複数の部分画像圧縮データに分け、任意の順序で複数の部分画像圧縮データが記述可能な画像圧縮データを処理する画像圧縮データ処理方法および画像圧縮データ処理装置に関する。

たとえば、送信側（サーバー）から受信（クライアント）側に画像圧縮データを配信する場合、特許文献１に開示されているように、まず、画像データのＤＣＴブロックに対して、ＪＰＥＧ２０００のようなサブバンド符号化を行う。ここで、ＤＣＴは、Discrete Cosine Transform の略であり、ＪＰＥＧは Joint Photographic Experts Group の略である。

次に、受信側からの外形指定（領域指定）または、空間周波数帯域の少なくとも一方に関する読み出し順序指定に基づき、送信側がデータを並び替えて配信し、受信側が復号して表示などを行うことが知られている。

また、特許文献２によれば、ＪＰＥＧ２０００を活用し、関心領域（ＲＯＩ（Region Of Interest））を定めておき、キーワード検索或いは画像特徴量検索(類似画像検索)でヒットした画像の関心領域を優先させて画像圧縮データの中身の並べ替え処理を行い、画像圧縮データの配信する技術が開示されている。
特開平５−２９００９３号公報 特開２００１−１６００６２号公報

複数の部分に分ける場合、たとえば、画面を分割して複数のタイルに分け、各タイルの画像データを圧縮処理し、受信側から指定された読み出し順序指定に応じて、その都度送信側で画像圧縮データの中身を並び替えていたのでは、送信側の処理の負担が問題であった。

更に、受信側の読み出し順序の指定に偏りが有る場合に、その偏りを利用して無駄に画像圧縮データの中身を並び替えを行わない仕組みが望まれていた。

また更に、従来、画像内のオブジェクトに自動或いは手動で付与したキーワードを用いて検索を行う場合、必ずしも検索に用いたキーワードを付与したオブジェクトの全てを見たい訳ではない場合が多い。例えば、海（ocean）をバックにして家族の人物（human）を撮影した状況を覚えている場合に、この画像を検索する時を考える。通常、検索する場合には「ocean」を加味した「ocean and human」で検索を行うが、あくまで検索主体は「human」である。従って「human」だけではなく「ocean」に対応するタイル単位の画像データの情報まで通信し、表示する事は、検索者にとっては無駄な処理であった。

従って、本発明は、送信側でヒント情報が記述された画像圧縮データを配信することにより、このヒント情報を用いて受信した画像圧縮データの高速な並べ替えが可能となる画像圧縮データ処理を目的とする。

本発明の実施形態においては、画像圧縮データを複数の部分画像圧縮データに分け、任意の順序で複数の部分画像圧縮データを記述し、画像圧縮データ中に、或いは画像圧縮データに対応付けた付加データ中に、複数の部分画像圧縮データの復号順序情報と、画像圧縮データ中の個々の部分画像圧縮データの格納アドレス情報を記述する画像圧縮データ処理方法を提供する。

本発明の他の実施形態においては、画像圧縮データを複数の部分画像圧縮データに分け、任意の順序で複数の部分画像圧縮データを記述し、画像内のオブジェクトにキーワードを付与し、キーワードの付されたオブジェクトに対応する部分画像圧縮データを優先して復号して表示するため、複数の画像圧縮データの復号優先順序をヒント情報として画像圧縮データ中、或いは画像圧縮データに対応付けた付加データ中に記述する画像圧縮データ処理方法を提供する。

本発明の、さらに他の実施形態においては、画像圧縮データを複数の部分画像圧縮データに分け、任意の順序で複数の部分画像圧縮データを記述する手段と、画像圧縮データ中に、或いは画像圧縮データに対応付けた付加データ中に、複数の部分画像圧縮データの復号順序情報と、画像圧縮データ中の個々の部分画像圧縮データの格納アドレス情報を記述する手段を備える画像圧縮データ処理装置を提供する。

本発明の、さらに他の実施形態においては、画像圧縮データを複数の部分画像圧縮データに分け、任意の順序で複数の部分画像圧縮データを記述する手段と、画像内のオブジェクトにキーワードを付与する手段と、キーワードの付された前記オブジェクトに対応する複数の部分画像圧縮データを優先して復号して表示するため、複数の部分画像圧縮データの復号優先順序をヒント情報として画像圧縮データ中、或いは画像圧縮データに対応付けた付加データ中に記述する手段を備える画像圧縮データ処理装置を提供する。

本発明の実施形態によれば、ヒント情報が記述された画像圧縮データを配信することにより、受信側では、このヒント情報を用いて受信した画像圧縮データの高速な並べ替えが可能となる。

また、本発明によれば、検索条件と表示条件を分け、更に表示条件に着目物の優先度を指定することにより、ユーザーの意図した表示優先領域から順にタイル単位画像圧縮データを配信したり、表示したりすることが可能となり、しかも探していたタイル単位画像圧縮データが無い場合には、次のタイル単位画像圧縮データの表示にジャンプすることが可能なため、効率の良い画像の検索が可能となる。また、表示優先領域でない領域に関しても、速度優先や見栄え優先の表示順序を反映した処理が可能となる。

＜実施形態１＞
以下、画像圧縮データ処理方法および画像圧縮データ処理装置に係る本発明の実施形態について説明を行う。

図１は本発明の実施形態にかかる画像圧縮データ処理装置の構成例を示す図である。

図１において、１０１はＣＰＵ（Central Processing Unit）であり、本発明の実施形態の画像圧縮データ処理装置における各種演算や制御を実行する。１０２はＲＯＭ（Read Only Memory）であり、画像圧縮データ処理装置の立ち上げ時に実行するブートプログラムや各種の固定データを格納する。１０３はＲＡＭ（Random Access Memory）であり、ＣＰＵ１０１が動作するための制御プログラムを格納すると共に、ＣＰＵ１０１が制御プログラムに従って各種制御を実行する際の作業領域を提供する。

例えば、ＲＡＭ１０３は本発明の実施形態の係る処理を行うアプリケーションプログラム１０３ａ本体を格納するほか、ＪＰＥＧ２０００の画像データのロード領域、並べ替えヒント情報の格納や、画像データの圧縮のためのワーク領域としても使用される。１０４はキーボード、１０５はマウスであり、ユーザによる処理モードの指定等の各種の入力操作環境を提供する。

１０６は外部記憶装置であり、ハードディスクやフレキシブルディスク、ＣＤ−ＲＯＭ等で構成される。１０７はＣＲＴ、ＬＣＤパネル等の表示装置である。表示装置１０７は出力装置であり、必要に応じて、プリンタ装置も出力装置として接続することが出来る。これらの各種のデバイスは内部バス１１２を介して接続される。１０８はＮＩＣ（Network Interface Card）であり、ネットワーク上の各機器との通信を可能とする。すなわち、ＮＩＣ１０８はクライアント端末１０９との通信を可能とするデバイスであり、クライアント端末１０９は、クライアント側に備えられたＰＣ（Personal Computer）である。１１０はインターフェースであり、インターフェース１１０を介してイメージスキャナやデジタルカメラなどの画像入力装置１１１が接続される。

ＪＰＥＧ２０００（以下Ｊ２Ｋとする）の画像データ圧縮方法を本発明の実施形態に適用した場合の動作を説明する。図２に示す様に、Ｊ２Ｋ画像圧縮データのデータブロックは大きく分けると、Ｊ２Ｋファイルの識別用の J2K signature box Ｄ１と、ファイルタイプ識別用の File Type box Ｄ２と、画像データの一般的情報である J2K Header box Ｄ３と画像圧縮データ本体である codestream Ｄ４ と、選択的ボックスＤ５から成る。

これらのデータブロックのなかで、本発明の実施形態で密接に関連するデータはcodestream Ｄ４であり、図３（Ａ）に codestream Ｄ４の詳細な中身を示す。codestream Ｄ４はＳＯＣ（Start Of Codestream : ｘFF4F）マーカーに始まり、ＥＯＣ（End Of Codestream : xFFD9）マーカーで終わる画像情報であり、ＳＯＣマーカーの直後に 画像圧縮方法やパケットに関する情報である main header と、tile-part header と、ＳＯＤ（Start Of Data : xFF93）マーカーと、タイル単位の画像情報を圧縮した bit stream からなるタイル単位画像圧縮データを複数格納した構造となっている。図３（Ｂ）は、Ｊ２Ｋ画像圧縮データの codestream Ｄ４に含まれる tile-part header の構造を示す。

図４に示す様に、タイルとは圧縮する画像を縦横に複数の部分画像圧縮データのブロックに分割したものである。このように各タイル単位に画像データを圧縮、復号する事により、圧縮処理に必要なメモリ容量を削減できるなどＪ２Ｋの特徴を十分の利用が可能となる。図において、タイル画像の左上から右に向かって、Ｔ０〜Ｔ４とタイルインデックス番号が付けられている。２行目は、Ｔ５〜Ｔ９のようにタイルインデックス番号が附けられる。従って、図４の例では、全部で２５のタイルインデックッス番号が、２５のタイル画像に分割された対象とするタイル単位画像圧縮データに付される。

また、このＪ２Ｋファイルを画像圧縮データ処理装置からクライアント端末１０９側へ配信した場合には、この codestream Ｄ４中のタイル単位画像圧縮データの並びが復号されたとき、図４に示す表が、表示される場合のタイル単位画像圧縮データの表示の順番に対応することになる。従って、codestream Ｄ４中のタイル単位画像圧縮データを並べ替えることにより、自由にタイル単位画像圧縮データの表示の順番を設定することが出来る。

本実施形態においては、クライアント端末１０９側がタイル表示モードＩＤを指定し、画像圧縮データ処理装置に要求する。すると、画像圧縮データ処理装置側では要求されたタイル表示モードＩＤに対応した並び順に codestream Ｄ４中のタイル単位画像圧縮データを並べ替え、クライアント端末１０９へ配信する。

これを効率良く行うために本実施形態においては、Ｊ２Ｋ画像圧縮データに対して、ＳＯＴ（Start of Tile-part）マーカーによるタイル単位画像圧縮データの参照ではなく、Ｊ２Ｋ画像圧縮データの codestream Ｄ４のＳＯＣマーカーからのオフセット値で各タイル単位画像圧縮データの tile-part header の位置を記述する。更にタイル表示モードＩＤに対応させて、タイル単位画像圧縮データの並べ替えの順序情報を記憶するヒント情報を持つ。その１例を示したものが図５と図６の表である。

図５にはタイル表示モードＩＤ及びその表示の名称、そして表示におけるタイルインデックス番号の並びを記述した並び替え情報とを示す。また、図６には、各タイルインデックス番号に対応するタイル単位画像圧縮データに含まれる tile-part header の codestream Ｄ４のＳＯＣマーカーからのオフセット値と、タイルインデックス番号で示されるタイル単位画像圧縮データの各サイズ（容量値）を記憶した情報を示す。

図６のオフセット値を求めるには、まず、codestream Ｄ４の tile-part header の先頭にある図３（Ｂ）に示したＳＯＴパラメータ：0xFF90 を捜し、このＳＯＴ syntax 中の Isot に記述されたタイルインデックス番号と codestream Ｄ４のＳＯＣマーカーからのＳＯＴパラメータ：0xFF90 へのオフセット値として求める事が出来る。

この並べ替えヒント情報は、図２の選択的ボックスＤ５中の XML box、図３（Ａ）の codestream Ｄ４中の main header の中のコメント領域（図示せず）、或いはＪ２Ｋを拡張したスキーマ領域に記憶する事が可能であるが、望ましくは codestream Ｄ４より前の位置に記憶する事が望ましい。もちろん、ＤＢ（DataBase）システムでＪ２Ｋ画像圧縮データを管理する場合には、画像圧縮データとは別に、画像圧縮データと対応付けた並べ替えヒント情報を付加データとして格納しても良い。

次に、本実施形態における並べ替えヒント情報を選択的ボックスＤ５中の XML box に記述するデータ処理を中心に、Ｊ２Ｋ画像圧縮データの生成処理を図７のフローと図８のサンプル画像を用いて説明する。

まず、ステップＳ７０１において、対象となる画像データをＪ２Ｋ圧縮する。この場合、通常、関心領域（ＲＯＩ）が存在する場合には、関心領域を優先した表示の順番となるようなタイルインデックス番号の並びの codestream でＪ２Ｋ画像圧縮データを作成する場合が多い。

例えば図８の場合に、図４に示したタイルインデックス番号の定義に従うと、タイル番号Ｔ７、Ｔ１２、Ｔ１７に人物像が写っている。この領域を関心領域（ＲＯＩ）とする場合には、図８に記入された表示に順番で表示するために、図９にあるようなタイル単位画像圧縮データの並びの codestream でＪ２Ｋ画像圧縮データが作成される。

即ち、実際の codestream 中のタイル単位画像圧縮データは関心領域（ＲＯＩ）を優先して表示する場合などは、連続したタイルインデックス番号とはならない。また、画像圧縮データの配信時に画像圧縮データを並べ替える処理において、codestream Ｄ４をチェックしてタイル単位画像圧縮データの位置を求めるのでは処理時間が掛かりすぎる。

そこで、codestream Ｄ４を検索し、tile-part header、具体的にはＳＯＴ(Start of Tile-part : 0xFF90)を探し、タイルインデックス番号と codestream Ｄ４のＳＯＣマーカーからのＳＯＴへのオフセット値の対応テーブルを作成する。

そのために、ステップＳ７０２において、画像圧縮データの J2K signature box Ｄ１と File Type box Ｄ２と JP2 Header box Ｄ３と codestream Ｄ４のＳＯＣマーカー及び main header を検索して読み飛ばし、先頭の Start of Tile-part のＳＯＴ(0xFF90)から、codestreamＤ４のＳＯＣマーカーからのオフセット値を求め、これを処理対象タイルとする。

次に、ステップＳ７０３において、ＳＯＴ syntax を読み込み、処理対象のタイル単位画像圧縮データのタイルインデックス番号を Isot より求め、これをオフセット値と対にして、図６のスキーマで一時記憶する。

更にステップＳ７０４において、画像圧縮データのファイルを検索して次のＳＯＴを探し、codestream Ｄ４のＳＯＣマーカーからの処理対象となるタイル単位画像圧縮データのＳＯＴへのオフセット値を求める。そして先のＳＯＴのオフセット値から引き、タイルインデックス番号単位の圧縮情報のサイズを求め、図６のスキーマで一時記憶する。

また、ステップＳ７０５においては、現在の処理対象のタイル単位画像圧縮データのタイルインデックス番号を追記して一時的に記憶する。これはＪ２Ｋ画像圧縮データそのものの codestream Ｄ４中のタイル単位画像圧縮データの並びを把握するためである。

さらに、ステップＳ７０６で、全てのタイル単位画像圧縮データを処理したかどうかを判断する。この場合、未処理のタイル単位画像圧縮データがあれば、ステップＳ７０７において、現在の検索位置のＳＯＴで始まるタイル単位画像圧縮データを処理対象のタイル単位画像圧縮データとし、再びステップＳ７０３に戻って処理を行う。

しかし、ステップＳ７０６で全てのタイル単位画像圧縮データを処理したと判断されれば、次のステップＳ７０８で、関心領域（ＲＯＩ）があったかどうかを判断する。ここで、関心領域（ＲＯＩ）なしと判断されれば、ステップＳ７１０において、タイル表示モードＩＤにおいて「０」が指定され、表示の名称がＲＯＩとなる。

しかし、ステップＳ７０８で関心領域（ＲＯＩ）ありと判断されれば、ステップＳ７０９において、表示の名称は、一時的に「default」に設定される。その後、ステップＳ７１１において、その他のタイル表示モードＩＤに従って表示の名称及びタイルインデックス番号で指定されたタイル並び替え情報に従って設定され、処理をすることになる。この処理については後で詳しく述べる。

最後に、ステップＳ７１２において、上記の様にして得られた図５および図６の並べ替えヒント情報を、図１０に示す様なＸＭＬ言語での記述に変換し、選択的ボックスＤ５中の XML box へ格納する。

次に、ステップＳ７１１におけるタイル表示モードＩＤに対応する表示の名称、及び、タイルインデックス番号で指定される並び替え情報の設定について述べる。
例えば、対象とする画像データの画像の中心から螺旋状にタイル単位画像圧縮データを表示するモードなどのエフェクト的な表示順番を指定するモードを考える。この場合、図１１に示す様なタイル単位画像圧縮データの表示順序とすると、その codestream Ｄ４中のタイル単位画像圧縮データの並びは図１２に示す順番になり、これがヒント情報となる。これは対象とする画像データのタイルの分割方法が同じであれば、一定のタイルインデックス番号の並びと出来るので、テンプレート化してき、デフォルトでヒント情報として記述しておくことが出来る。

更に、画像の内容に依存した並べ替えヒント情報として、human（人物像）、ocean（海）、sand（砂浜）など、画像の内容に特有なオブジェクト単位の表示順を示す情報を生成することも可能である。

オブジェクト名とタイル単位画像圧縮データの対応付けを行い、対応するタイル単位画像圧縮データを優先して表示する。この場合、更に、タイル表示モードＩＤの表示の名称をオブジェクト名とすれば、ユーザが表示モードを選ぶ際に簡単に表示される状況を想定でき、好都合である。

尚、オブジェクトとタイルの対応付け処理、オブジェクトとオブジェクト名の対応付け処理は人為的に行っても良く、或いは画像認識を用いたデータ処理で行っても良い。更に、対応するタイル単位画像圧縮データではないタイル単位画像圧縮データの表示順は対応するタイル単位画像圧縮データの周辺に位置するようにするのが好ましいが、これも人為的に行っても、自動的に行っても可能である。

次に、上述した処理により得られたヒント情報を用いた画像圧縮データの配信の例を図１３のフローを用いて説明する。図１３の説明において、画像圧縮データ処理装置をサーバーとし、クライアント端末１０９をクライアントとして説明する。

まず、ステップＳ１３０１において、クライアント側からサーバーにあるＪ２Ｋ画像圧縮データの検索処理をリストを用いて行い、検索でヒットした画像データ群の中から配信を希望する画像データを指定する。

次に、ステップＳ１３０２において、サーバーは、配信が希望されたＪ２Ｋ画像圧縮データの選択的ボックスＤ５中の XML box まで画像データをチェックする。そして、XML box に格納されているヒント情報を読み出し、タイル表示モードＩＤ、または、表示の名称をクライアントへ送信し、クライアントの表示装置でで表示の名称を表示する。以下、説明はタイル表示モードＩＤを用いて説明する。

図５の例では、関心領域（ＲＯＩ）から優先的に表示する場合（表示モードＩＤ：０）とは別に、twister 表示(中心から外側に向かって螺旋状に表示)とする（表示モードＩＤ：１）、human(人物像)を優先して表示する（表示モードＩＤ：２）、ocean(海)を優先して表示する（表示モードＩＤ：３）、sand(砂浜)を優先して表示する（表示モードＩＤ：４）の４項目の表示順序が存在する。

ここで、ステップＳ１３０４にて、クライアントでユーザが指定したタイル表示モードＩＤをサーバーが受け取る。例えば、クライアントでユーザが螺旋状表示を指定すると、タイル表示モードＩＤの１がサーバーに伝えられる。すると、ステップＳ１３０５にて、サーバーはヒント情報からタイル単位画像圧縮データのタイルインデックス番号で表わされた表示の優先順位を取得する。

次に、ステップＳ１３０６において、タイル単位画像圧縮データの表示の優先順位の先頭のタイルインデックス番号をセットし、ステップＳ１３０７にて、全てのタイル単位画像圧縮データについて処理したかどうかを判断する。ここで、未処理のタイル単位画像圧縮データがあればステップＳ１３０８に進み、サーバーが対象とするタイル単位画像圧縮データの codestream Ｄ４のＳＯＣマーカーからのＳＯＴへのオフセット値を読み込む。

その後、タイル単位画像圧縮データを検索して tile-part header を捜し、タイルインデックス番号単位の圧縮情報の長さ分の情報であるタイル単位画像圧縮データを読み出す。読み出された、タイル単位画像圧縮データをステップＳ１３０９でサーバーがクライアントへ送信する。更にステップＳ１３１０において、クライアントが受信したタイル単位画像圧縮データを復号しタイル単位画像圧縮データを表示する。そして、ステップＳ１３１１において、クライアントから表示中止命令が来たかを判断する。ここで、表示中止命令が来ていなければ、ステップＳ１３１２にて処理の対象とするタイル単位画像圧縮データを次に進め、再びステップＳ１３０７に戻る。しかし、表示中止命令が来ていればステップＳ１３１３において、クライアントへ処理終了のステータスを返し処理を終了する。

このようにして未処理のタイル単位画像圧縮データが無くなるまで上記のステップＳ１３０７からＳ１３１２に至る処理を繰り返す。そして、未処理のタイル単位画像圧縮データが無くなった時点で、ステップＳ１３１４にて、最後にＪ２Ｋファイルの末尾にある選択的情報をクライアントへ送信して処理を終了する。

上記の処理フローではサーバー側からのタイル単位画像圧縮データの送信とクライアント側の受信データの表示を同期して行う例を示した。しかしながら、クライアント側のバッファやキャッシュを用いてサーバー側からのタイル単位画像圧縮データの送信とクライアント側の受信データの表示を同時にパラレル処理で行う事により、送受信の効率を良くする事も当然可能である。

＜実施形態２＞
上述した実施形態１の処理で得られた並べ替えヒント情報を用いた画像圧縮データは以下のようにして配信される。

図１４にメモリ上にキャッシュした画像データを管理するためのスキーマを示す。これは配信のために並べ替えた画像データを一時記憶するためのものであり、画像ＩＤ、最新のアクセス日時、表示の名称、画像データの格納先メモリアドレスとサイズから構成されている。尚、同一の画像データであっても、表示の方法が異なるものは別の画像データとして扱う。

また、図１５には、指定された表示の名称の統計情報のスキーマ例を示す。統計情報は各画像データに対してクライアントが指定した表示方法に対する頻度を表示の名称に対応付けて記憶したものである。表示の名称に対応付けるのは、後で述べる頻度の最も高い表示方法のデータ並びで並び替えた画像データを、もとの画像データと置き換えるため、画像データ本来のデータ並びである表示モードＩＤ＝０の意味付けが変化するためである。

図１６は、配信処理の概略的なフローである。

先ず、ステップＳ１６０１にてサーバー上にあるＪ２Ｋ画像圧縮データのリストをクライアント側へ送信し、クライアントに配信を希望する画像データを選択させ、選択した結果をサーバーが受信する。

次に、ステップＳ１６０２において、サーバーは、選択された画像データの選択的ボックスＤ５中の XML box までファイルを検索し、XML box に格納されている並べ替えヒント情報を読み出す。そして、サーバーは、ステップＳ１６０３で、main header のコメント領域に格納されている並べ替えヒント情報の表示の名称及び表示モードＩＤをクライアントへ送信する。

さらに、ステップＳ１６０４において、クライアントが指定した表示モードＩＤをサーバーが受け取ると、サーバーは、図１５で示される表示の名称の統計情報を更新する。

次に、ステップＳ１６０５において、図１４に示すキャッシュ画像データ管理情報に選択した画像データがあるかを判断し、ある場合にはＳ１６０６にて、クライアントが指定した表示モードＩＤの表示の名称が一致しているものがあるかを判断する。もし、表示の名称が一致しているものがある場合には、ステップＳ１６０７において該当する画像データの管理レコードアクセス日時を現在のものに更新し、その後ステップＳ１６０８で、該当するキャッシュ上の画像データの配信処理を図１７のフローに従って行う。なお、ステップＳ１６０８の処理、即ち図１７のフローで示された処理に関しては後で詳しく説明する。

他方、ステップＳ１６０５又はステップＳ１６０６での判断において、ないと判断されると、ステップＳ１６０９において、表示モードＩＤが０、即ち画像データ自身のデータ並びであるかどうかを判断し、そうであればＳ１６１０において図１８のフローで示された処理処理を行う。しかし、表示モードＩＤが０でなければ、ステップＳ１６１１へ進み、図１９のフローで示された処理を行う。

なお、ステップＳ１６１０の処理、すなわち、図１８の処理、およびステップＳ１６１１の処理、すなわち、図１９の処理に関しては後で詳しく説明する。

次に、図１７のフローを用いて図１５のステップＳ１６０８の処理を説明する。図１７の処理フローはキャッシュ上に残っている画像データのうち、処理を必要とする画像データを処理するものである。

まず、ステップＳ１７０１において、XML box に格納されている並べ替えヒント情報から、サーバーが表示モードＩＤに対応するタイルインデックス番号で示された並べ替え情報を読み込む。次に、ステップＳ１７０２において、サーバーがキャッシュ上の該当する画像データの coadstream 直前までの部分データをクライアントへ送信する。

そして、ステップＳ１７０３で、先頭のタイル単位画像圧縮データを処理対象のデータにセットする。その後、ステップＳ１７０５からステップＳ１７０８までの処理を繰り返し行い、タイル単位画像圧縮データ単位ごとの画像圧縮データをクライアントへ送る。

すなわち、ステップＳ１７０４では、全てのタイル単位画像圧縮データを処理し終わったかどうかを判断する。もし、処理が全て終わっていなければ、ステップＳ１７０５において、サーバーがキャッシュ上の該当する画像データの処理対象のタイル単位画像圧縮データをクライアントへ送信する。そして、ステップＳ１７０６で、クライアントが受信したタイル単位画像圧縮データを復号し、タイル単位画像圧縮データを表示し、ステップＳ１７０７で、クライアントから表示中止命令が来たかを判断する。

もし、表示中止命令がきていないのであれば、ステップＳ１７０８で、処理対象のタイル単位画像圧縮データを次に進め、再びステップＳ１７０４に戻る。他方、ステップＳ１７０７で、表示中止命令がきていれば、ステップＳ１７１０に進みクライアントへ処理終了のステータスを返す。このように処理を行い、ステップＳ１７０４で全てのタイル単位画像圧縮データを処理したと判断されれば、ステップＳ１７０９に進み、選択的情報をクライアントへ送信し、処理を終了する。

図１８のフローでは、キャッシュ上に該当するタイル単位画像圧縮データが無く、画像ファイルから読み出して送信するが、タイル単位画像圧縮データの並びそのものが、クライアントから要求された表示の方法に合致している場合である。

すなわち、ステップＳ１８０１において、XML box に格納されている並べ替えヒント情報から、サーバーが表示モードＩＤに対応するタイルインデックス番号で示された並べ替え情報を読み込む。そして、ステップＳ１８０２において、サーバーが画像データの coadstream 直前までの部分データをクライアントへ送信する
次に、ステップＳ１８０３で、先頭のタイル単位画像圧縮データを処理対象にセットし、ステップＳ１８０４からＳ１８０８までの処理を繰り返し行い、タイル単位ごとの画像圧縮データをクライアントへ送る。

すなわち、ステップＳ１８０４では、全てのタイル単位画像圧縮データを処理し終わったかどうかを判断する。もし、全ての処理が終わっていなければ、ステップＳ１８０５で、サーバーが画像データの処理対象のタイル単位画像圧縮データをクライアントへ送信する。そして、ステップＳ１８０６で、クライアントが受信したタイル単位画像圧縮データを復号し、タイル単位画像圧縮データを表示し、ステップＳ１８０７で、クライアントから表示中止命令が来たか否かを判断する。

もし、表示中止命令が来てなければ、ステップ１８０８で、処理対象のタイル単位画像圧縮データを次に進め、再びステップＳ１８０４に戻る。他方、ステップＳ１８０７で、表示中止命令が来たのであれば、ステップＳ１８１０に進み、クライアントへ処理終了のステータスを返す。そして、ステップＳ１８０４で、全てのタイル単位画像圧縮データを処理したと判断すれば、ステップＳ１８０９で選択的情報をクライアントへ送信し、処理を終了する。

図１９のフローでは、キャッシュ上に該当するタイル単位画像圧縮データが無く、画像ファイルから読み出して送信するが、タイル単位画像圧縮データの並びそのものがクライアントが指定した表示モードの並びに合致しておらず、タイル単位画像圧縮データの並べ替えが必要な場合である。

まず、ステップＳ１９０１において、XML box に格納されている並べ替えヒント情報から、サーバーが表示モードＩＤに対応するタイル表示順序の情報を読み込む。そして、ステップＳ１９０２において、サーバーがタイル単位画像圧縮データの coadstream 直前までの部分データをクライアントへ送信し、更にキャッシュメモリ上に画像データを生成し、図１４に示すようなキャッシュ管理レコードも生成する。

そして、ステップＳ１９０３において、サーバーが表示モードＩＤに対応するタイル表示順序の情報を読み込み、ステップＳ１９０４で、先頭のタイル単位画像圧縮データを処理対象としてセットする。その後、ステップＳ１９０５からＳ１９２１までの処理を繰り返し、タイル単位画像圧縮データ単位ごとの画像圧縮データをクライアントへ配信する。

ここで、ステップＳ１９０５では、全てのタイル単位画像圧縮データを処理し終わったかどうかを判断する。ここで、全ての処理が終わっていなければ、ステップＳ１９０６に進み、サーバーが処理対象のタイル単位画像圧縮データの codestream Ｄ４のＳＯＣマーカーからＳＯＴへのオフセット値を読み込み、対象ファイルを検索して、タイル単位画像圧縮データを読み出す。そしてステップＳ１９０７で、サーバーは読み出されたタイル単位画像圧縮データをクライアントへ送信する。

さらに、ステップＳ１９０８において、サーバーがタイル単位画像圧縮データをキャッシュメモリ上の画像圧縮データへ追記する。ステップＳ１９０９では、クライアントが受信したタイル単位画像圧縮データを復号しタイル単位画像圧縮データを表示する。ここで、ステップＳ１９１０において、クライアントから表示中止命令が来たかを判断し、来ていなければ、ステップＳ１９１１で、処理の対象となるタイル単位画像圧縮データを次に進め、再びステップＳ１９０５に戻る。

一方、表示中止命令が来たのであれば、ステップＳ１９１５において、クライアントへ処理終了のステータスを返し、処理を終了する。

さらに、ステップＳ１９０５において、全てのタイル単位画像圧縮データを処理し終わったたと判断すれば、ステップＳ１９１２において、選択的情報をクライアントへ送信し、ステップＳ１９１３で更に選択的情報をキャッシュメモリ上の画像データへ追記する。さらにステップＳ１９１４で、最も古いアクセス日時を有するキャッシュ上の画像圧縮データ及び管理レコードを削除し、処理を終了する。

図２０は、クライアントの指示する表示モードの統計情報（図１５）を参照し、指定した画像ＩＤに対する最も頻度の高い表示モードＩＤに従い、タイル単位画像圧縮データを最も頻度の高い表示モードのデータ並びに変換し、これを表示モードＩＤ＝０の画像データに更新する処理である。これを実行することによりタイル単位画像圧縮データの並べ替え処理の頻度を減らすことが可能となる。

この処理は、サーバーのメンテナンス時の様な、配信サービスを停止している時に行うと良く、また一度に全ての画像データに対して行う必要も無く、更に、頻度の偏りを有る尺度で求め、これが定められた閾値を超える画像データに対してのみ行う様な運用を行っても良い。

すなわち、ステップＳ２００１において、処理の対象となる画像ＩＤを指定する。さらにステップＳ２００２において、クライアントの表示モード指示の統計情報を参照し、指定した画像ＩＤに対する最も頻度の高い表示モードＩＤを取得する。次に、ステップＳ２００３において、サーバーが選択された画像圧縮データの選択的情報中の XML box までファイルの中を検索し、XML box に格納されている並べ替えヒント情報を読み出す。そして、ステップＳ２００４で、新規ファイルを書き込み属性で開き、サーバーが画像データの codetream 直前までの部分データをファイルに書き出す。

次に、ステップＳ２００５で、サーバーが表示モードＩＤに対応するタイル表示順序情報を読み込み、ステップＳ２００６で、先頭のタイル単位画像圧縮データを処理の対象としてセットする。そして、ステップＳ２００７で、全てのタイル単位画像圧縮データの処理が終了するまでステップＳ２００７からＳ２０１０までを繰り返して処理する。

さらに、ステップＳ２００８では、サーバーが処理の対象としているタイル単位画像圧縮データの codestream Ｄ４のＳＯＣマーカーからのＳＯＴへのオフセット値を読み込みファイルを検索してタイル単位画像圧縮データを読み出す。そして、ステップＳ２００９において、サーバーがタイル単位画像圧縮データを新規ファイルに追記し、ステップＳ２０１０にて処理の対象タイルを次に進める。

また、ステップＳ２００７で、全てのタイル単位画像圧縮データの処理が終了したと判断した場合には、ステップ２０１１に進み、選択的情報を新規ファイルに追記しファイルを閉じる。その後、ステップＳ２０１２にて、元の画像データファイルを削除し、新規ファイルを元のファイル名にリネームし、ステップＳ２０１３で、最も頻度の高い表示モードＩＤと表示モードＩＤ＝０を入れ替える。

最後に、ステップＳ２０１４で、図２１のフローの処理にて選択的ボックスＤ５中の XML box 中のタイルと codestream Ｄ４中の位置との対応スキーマを更新して処理を終了する。

図２１では、図２０の処理により生成した新たな表示順序で並び替えられたタイル単位画像圧縮データに対する、タイル単位画像圧縮データと codestream Ｄ４中の位置との対応を求める処理を行う。

すなわち、ステップＳ２１０１で、画像圧縮データを検索し、先頭のStart of Tile-part の SOT(0xFF90)にもどり、codestream Ｄ４のＳＯＣマーカーからのオフセット値を求め、これを処理の対象となるタイル単位画像圧縮データとする。

次に、ステップＳ２１０２にて、Start of Tile-parts syntax を読み込み、処理の対象であるタイル単位画像圧縮データのタイルインデックス番号を Isot より求め、オフセット値と対にして、図６のスキーマで一時記憶する。そして、ステップＳ２１０３で、全てのタイル単位画像圧縮データの処理がＳＯＴで始まるタイル単位画像圧縮データを処理の対象となるタイル単位画像圧縮データとする。ステップＳ２１０５で、全てのタイル単位画像圧縮データの処理が終わっていない判断されれば、ステップＳ２１０４へ進む。ステップＳ２１０４では、現在の検索位置のSOTで始まるデータを処理対象タイルデータとし、ステップＳ２１０２へ戻る。

一方、ステップＳ２１０５で、全てのタイル単位画像圧縮データの処理が終わったと判断されれば、ステップ２１０６で、選択的ボックスＤ５中の XML box の並べ替えヒント情報のタイルと画像圧縮データ中の codestream の位置との対応情報を、一時記憶していたものに代えて更新し、処理を終了する。

図２２は、表示の名称の human の頻度が大きいとした条件において、図５の表示モードとその表示の名称および並べ替え情報の対応スキーマの状態に対して、図２０の処理を行った場合である。結果として、表示モードＩＤ＝０は表示の名称の human となり、実際に画像データの codestream はＴ７、Ｔ１２、Ｔ１７、Ｔ２、Ｔ８、Ｔ１３、Ｔ１８、Ｔ２３、Ｔ２２、Ｔ２１、Ｔ１６、Ｔ１１、・・・の並びに並べ替えられ、代わって表示モードＩＤ＝３に、もとの画像データ並びで表示の名称の ROI となる。

＜実施形態３＞
第３の実施形態においては、実施形態１、２で用いた図５に示すタイル表示モードＩＤ、表示の名称および並べ替え情報の対応スキーマとして、図２３に示すキーワードとタイルインデックス番号で示された並び替え情報のスキーマを用いる。

最初に、第３の実施形態における画像ＩＤと画像ファイルの対応付けデータテーブルと、キーワード検索用の逆引きインデックステーブル作成するデータ処理について図２４のフローと実施形態１、２の説明で用いた図８のサンプル画像を用いて説明する。

図２４に示すフローにおいて、ステップ２４０１からＳ２４０４までの処理については、第１の実施形態で説明した、図７で示すフローのステップ７０１からＳ７０４までの処理と同一であるので、その説明は省略する。

図２４のステップＳ２４０５から説明すると、ステップＳ２４０５において、全てのタイル単位画像圧縮データを処理したかどうかを判断する。そして、未処理のタイル単位画像圧縮データがあれば、ステップＳ２４０６において、現在の検索位置のＳＯＴで始まるタイル単位画像圧縮データを処理の対象となるタイル単位画像圧縮データとし、再びステップＳ２４０３に戻る。そして、ステップＳ２４０７において画像の表示に関するキーワードを付与し、キーワードとタイルインデックス番号の対応を設定するが、これは後で詳しく述べる。

更にステップＳ２４０８において、上記の様にして得られた図２３および図６の「並べ替えヒント情報」を図２５に示す様なＸＭＬ言語で記述し、選択的ボックスＤ５中の XML box へ記憶格納する。

最後に、ステップＳ２４０９において、図２６に示す画像ＩＤと画像ファイルの対応付けを行う表と、図２７に示すキーワード検索用の逆引きインデックスの表を作成する。すなわち、画像に対してユニークな画像ＩＤを発行し、画像ＩＤからファイル名を参照するフルパスのファイル名のインデックスを作成する。更に付与されたキーワードをキーとしてそのキーワードが付与された画像ＩＤ群を直接参照する図２７に1例として示す逆引きインデックスを生成する。

次に、ステップＳ２４０７における表示モードのタイル並び情報の設定について述べる。最も簡単な方法は、専用ツールを用いて人手でオブジェクトとタイル単位画像圧縮データの対応付け処理を行う方法がある。この場合にはキーワードの統制を取るため予め登録された抽象化されたキーワードのなかから付与するキーワードを選択し、ポインティングデバイスを用いて対応するタイル単位画像圧縮データ群を選択すれば良い。

また、人為的ではなく画像認識のデータ処理を用いて認識可能なオブジェクトを抽出し、上記と同様に認識物の名前をキーワードとし、認識物の領域が含まれるタイル単位画像圧縮データを対応付けて記憶するようにすることも可能である。

次に、上記の処理により得られた並べ替えヒント情報を用いたタイル単位画像圧縮データの配信の処理の例を図２９のフローを用いて説明する。

まず、ステップＳ２９０１において、クライアント側から検索条件のキーワードと表示の条件のキーワードを、図２８に示す様なユーザインターフェースをクライアントの表示装置に表示させて、ユーザーに入力させる。

図２８のグラフィックユーザインターフェースの例では、検索条件としてキーワードの論理積で演算するが、各キーワードの統一化を図るため、予め設定されたリストから選択するようになっている。他方、検索とは独立させて、表示条件の指定が出来る。これは検索条件としてキーワードそのもの、あるいはその一部を指定する様に制御を行っている。そして、検索条件に指定していないキーワードは、それに対応するオブジェクトが存在しない恐れがある為に使用できないようにされている。

更に、表示条件には優先順位があり、第一優先から順にキーワードに対応するタイル単位画像圧縮データが表示される様になっている。

次にステップＳ２９０２において、検索条件のキーワード数 N_key を取得し、ステップＳ２９０３において、１番目のキーワードを図２７に示した逆引きインデックスを参照し、対応する画像ＩＤをヒット画像ＩＤとして記憶する。

更にステップＳ２９０３にて、すでに１番目のキーワードを処理したので、カウンタＩにＩ＝２として２をセットする。そして、ステップＳ２９０５において、カウンタＩの値が、Ｉ ≦ Ｎ_key を満足するまでの間、すなわちすべての検索条件キーワードを処理するまでステップＳ２９０６からＳ２９０８までの処理を繰り返し行う。ステップＳ２９０６では、Ｉ番目のキーワードの逆引きインデックスを参照して、対応する画像ＩＤを取得し、取得した画像ＩＤとヒット画像ＩＤの論理積を取り、ヒット画像ＩＤとして記憶し、カウンタＩの値を１つ増加させる。

かくして、全ての検索条件のキーワードを処理し、検索条件のキーワードを全て持つ画像ＩＤの検索を終了し、ステップＳ２９０９に分岐する。

さらに、ステップＳ２９０９でヒット数Ｎhit を得た後、ステップＳ２９１０でカウンタＫを０にセットし、ステップＳ２９１１で Ｋ ＜ Ｎhit となるまで、すなわち全ヒット画像を処理するまでステップＳ２９１４でカウンタＫを増加させつつ表示する画像を更新する。

そして、ステップＳ２９１２において、この実施形態の表示方法による表示処理を行う。ここで、ステップＳ２９１１で、Ｋが Ｎhit に達すると、すなわち全ての表示が完了すれば、ステップＳ２９１６へ進み、クライアントへ処理終了のステータスを返し処理を終了する。ステップＳ２９１２については図３０のフローを用いて後で詳しく説明する。

これらの処理において、ステップＳ２９１３で所望の画像が見つかるなどの理由でクライアントから表示中止命令が来れば処理を中止する。そして、ステップＳ２９１５で処理した画像データを保持した後、ステップＳ２９１６でクライアントへ処理終了のステータスを返し処理を終了する。表示中止命令は、図２８の「表示を終了」のボタンを押すなどのインターフェースを用いると良い。

次に、図３０を用いてステップＳ２９１２で、表示を指示された画像を表示する処理の説明を行う。

まず、図２６のインデックスを用いてファイル名を取得し、該当する画像ファイルを開く。次に、ステップＳ３００１において画像ＩＤと、表示の条件のキーワードと、その個数 Ｎ_key を受け取る。

次に、ステップＳ３００２において、図２６のインデックスを用いて画像ＩＤからファイル名を取得し、該当するＪ２Ｋファイルを開く。さらに、ステップＳ３００３では、開いたＪ２Ｋファイルの選択的ボックスＤ５中の XML box までを検索し、XML box に格納されている並べ替えヒント情報を読み出す。

更にステップＳ３００４において、表示の条件となるキーワードは単数か複数かを判断する。もし、単数であれば、ステップＳ３００５にてキーワードに対応するタイル表示の順序情報を読み込み、統合表示順序情報を作成する。しかし、もし複数であれば、ステップＳ３００６に進み、ヒント情報を参照し表示の条件となるキーワードに対応するタイル表示順序情報を合成して統合表示順序情報を作成する。この処理については、図３０のフローの説明の後に、図３１のフローを用いて詳しく説明する。

この様にして、統合表示順序情報を作成したのち、ステップＳ３００７で、先頭のタイル単位画像圧縮データを処理に対象としてセットする。そして、ステップＳ３００８の判断で未処理のタイル単位画像圧縮データが無くなるまでステップＳ３００９、Ｓ３０１０、Ｓ３０１１、Ｓ３０１２、及びＳ３０１３のループの処理を繰り返し行う。

すなわち、ステップＳ３００８において、未処理のタイル単位画像圧縮データがあるかどうかを判断する。もしあれば、ステップＳ３００９に進み、サーバーが処理の対象としているタイル単位画像圧縮データの codestream Ｄ４のＳＯＣマーカーからのＳＯＴへのオフセット値を読み込み、ファイルを検索し、タイル単位画像圧縮データを読み出す。読み出されたタイル単位画像圧縮データは、ステップＳ３０１０で、サーバーからクライアントへ送信される。

また、ステップＳ３０１１において、クライアントが受信したタイル単位画像圧縮データを復号し、タイル単位画像圧縮データを表示するが、その後にステップＳ３０１２で、クライアントから次の画像表示命令が来たかどうかを判断する。もし、次の画像表示命令が来たらステップＳ３０１４でクライアントへ現在処理中のタイル単位画像圧縮データの送信の中止ステータスを返す。しかし、来てなければ、ステップＳ３０１３で、処理の対象であるタイル単位画像圧縮データを次に進め、再びステップＳ３００８に戻る。

上記のステップＳ３００８からＳ３０１３の処理が繰り返して全てのタイル単位画像圧縮データの送信、表示処理が終わるまで行うか、或いはクライアントによる次の画像表示命令があるまで行う。全てのタイル単位画像圧縮データの送信、表示処理が終われば、Ｊ２Ｋファイルの末尾にある選択的情報をクライアントへ送信して処理を終了する。尚、クライアントからの次の画像表示命令は、図２８の「次の画像表示」ボタンを用いると良い。

上記処理フローでは、サーバー側からのタイル単位画像圧縮データの送信とクライアント側の受信データの表示を同期して行う例を示した。もちろん、クライアント側のバッファやキャッシュを用いてサーバー側からのタイル単位画像圧縮データの送信と、クライアント側の受信データの表示を同時平行して行う事により、送受信の効率を良くする事も当然可能である。

最後に、図３１のフローを用いて、ステップＳ３００６のヒント情報を参照し、表示の条件のキーワードに対応するタイル表示順序情報を合成し、統合表示順序情報を作成する処理について説明する。

まず、ステップＳ３１０１において、表示の条件のキーワードとその個数Ｎ_key、総タイル数Ｎ_tileを受け取る。次に、ステップＳ３１０２で、キーワード処理数カウンタＩを１にセットし、ステップＳ３１０３で、全ての表示の条件キーワードを処理するまでステップＳ３１０４の処理を繰り返す。ステップＳ３１０４の処理は図２３のキーワードと対応するタイルインデックス番号の対応データから、処理対象のキーワードに対応するタイルインデックス番号群を取得し、その順番で統合表示順序情報へ追記する。

上記処理で優先的に表示すべきタイルインデックス番号が反映された統合表示順序情報を生成した。しかし、まだ反映されていないタイルインデックス番号が存在するため、ステップＳ３１０５からＳ３１０８までの処理は、この反映されていないタイルインデックス番号を統合表示順序情報に反映するための処理である。

まず、ステップＳ３１０５で、タイルインデックス番号カウンタＫを０にセットする。そして、ステップＳ３１０６において、タイルインデックス番号カウンタＫが総タイル数 Ｎ_tile になっていない場合に、ステップＳ３１０７では、タイルインデックス番号ＴＫが統合表示順序情報に存在するかを統合表示順序情報の内容を調べる。そして、もし存在しなければ、統合表示順序情報の末尾に追記し、存在すれば再びステップＳ３１０６に戻る。この処理を繰り返すことにより、ステップＳ３１０５の時点では統合表示順序情報に反映されていなかったタイルインデックス番号が、全て統合表示順序情報に反映されることになる。したがって表示されないタイル単位画像圧縮データを無くす事ができる。

この方法で、実施形態の図２８のグラフィックユーザーインターフェース（ＧＵＩ）で第一優先のキーワードに human を、第二優先のキーワードに ocean を指定し、図２５のＸＭＬ言語で記述されたヒント情報に適応した場合の統合表示順序情報のタイルの並びを図３２に示す。

この実施形態では、ステップＳ３１０５の時点でまだ統合表示順序情報に反映されていなかったタイルインデックス番号を、タイルインデックス番号の昇順で補完したが、もちろん降順や他の方法も考えられる。

＜実施形態４＞
本実施形態は、実施形態３における図３１のフローのステップＳ３１０５からＳ３１０８の処理、すなわち、統合表示順序情報に反映されていないタイルインデックス番号を、統合表示順序情報に反映するための処理に関するものである。この実施形態の場合、タイルインデックスの昇順や降順の並びではなく、ファイルアクセスの高速化を考慮し、並びを考慮するものあり、第３の実施形態との差異だけを述べる。

すなわち、実施形態４において、実施形態３の並べ替えヒント情報の生成の処理のフローを示す図２４に対応するのが、図３３に示したフローであり、その違いは、ステップＳ３３０５を追加した事と、ステップＳ３３０９においてヒント情報に codestream Ｄ４の中のタイルインデックスの並び情報を追加したことである。

このステップＳ３３０５を追加したことにより、処理対象であるタイル単位画像圧縮データの codestream Ｄ４の中のタイルインデックス並び情報を取得することが可能となった。更にこの情報を図３４のＸＭＬ言語で記述されたデータ中の cstream データに格納した点が、図２５に示す実施形態３での、ＸＭＬ言語で記述されたデータとの差異である。

更に、実施形態３の図３１のフローに対応するのが、図３５で示したフローであるが、その差異は、ステップＳ３１０６〜Ｓ３１０８とステップＳ３５０７〜Ｓ３５０９の部分である。

実施形態３では、タイルインデックス番号のＴ０から順に統合表示順序情報に存在するかどうかをステップＳ３１０７で比較を行い、無ければステップＳ３１０８で統合表示順序情報に追記した。しかし、実施形態４では、codestream Ｄ４中のタイル並びの先頭から順に統合表示順序情報に存在するかどうかを、まず codestream Ｄ４中のｋ番目のタイルインデックス番号を図３４のＸＭＬデータの cstream 配列を参照して取得する。そして、ステップＳ３５０８で、Ｋ番目のタイルインデックス番号と統合表示順序情報の比較を行い、無ければステップＳ３５０９で統合表示順序情報に追記する。

この様に、coadstream Ｄ４中のタイル並び順で補完すれば、ステップＳ３５０５以降の処理で補完したタイルインデックス番号に関して、図３０のフローにおけるステップＳ３００９における codestream Ｄ４のＳＯＣマーカーからのＳＯＴへのオフセット値を読み込み、ファイルを検索して、タイル単位画像圧縮データを読み出す一連の処理のトータルのファイル検索量が最小限になる。この理由は、戻りの検索が発生しないからである。

もちろん、coadstream Ｄ４中のタイル並び順とは逆順で補完しても、戻りの検索のみとなり、進みの検索が発生しないので同等の効果が得られる。

＜実施形態５＞
第５の実施形態は、実施形態３における図３１のステップＳ３１０５からＳ３１０８の処理の反映されていないタイルインデックス番号を統合表示順序情報に反映させるための処理に関するものである。この実施形態においては、タイルインデックスの昇順や降順等ではなく、画像を表示した場合の表示の見栄えを考慮したものであり、ここでは、実施形態３との差異だけを述べる。

すなわち、実施形態３の図３１に示された処理のフローにおいて、ステップＳ３１０６〜Ｓ３１０８のステップ部分が変更され、実施形態５の図３６に示された処理のフローでは、ステップＳ３６０６〜Ｓ３６０９とされ、内容が変更されている。

実施形態３では、タイルインデックス番号の０から順に統合表示順序情報に存在するかどうかをステップＳ３１０７で比較を行い、存在しなければステップＳ３１０８に進み、統合表示順序情報に追記している。一方、実施形態５では、図３７の様な画像表示の見栄えを考慮した、中心から螺旋状にタイル単位画像圧縮データを表示するため、図３８に示すアートタイルインデックス番号並び情報を用いる。このアートタイルインデックス番号並び情報はタイル単位画像圧縮データに固有なものではなく、タイル単位画像圧縮データの縦横の数に依存するものなので、タイル単位画像圧縮データ中に持つ必要は無い。

アートタイルインデックス番号並び情報中のタイル単位画像圧縮データの並びの先頭から順に統合表示順序情報に存在するかどうかをチェックするため、まず番号並び情報中のｋ番目のタイルインデックス番号を図３８のデータ配列を参照して取得する。

次に、ステップＳ３６０８で、ｋ番目のタイルインデックス番号と統合表示順序情報の比較を行い、統合表示順序情報の中に無ければステップＳ３６０９で統合表示順序情報に追記する。

この様に、アートタイルインデックス番号並び情報で補完すれば、視覚効果の良い画像表示が可能となる。もちろん、アートタイルインデックス番号並び情報を複数組用意しておき、画像の閲覧者が切り替えられるようにしても良い。

本発明は、実施形態１〜５として上記のように例示的に説明したが、実施形態１〜５にとらわれることなく、色々と変形して実施することも可能であり、そのような変形例も本発明の技術的範囲に包含されるものである。

たとえば、上記した実施形態においては、並べ替えヒント情報を選択的ボックスＤ５中の XML box に格納したが、当然、codestream Ｄ４中の main header の中のコメント領域、或いはＪ２Ｋを拡張したスキーマ領域に記憶する事が可能である。選択的ボックスＤ５はＪ２Ｋ画像圧縮データの末尾にあるため、チェックに時間が掛かる問題がある。従って、codestream Ｄ４のデータの並べ替えが生ずる部分の手前にある main header の中のコメント領域にヒント情報を格納するとチェックも容易になり都合が良い。更に、コメント領域にＸＭＬデータをそのまま記憶しても良い。

また、codestream より前の位置にある領域、例えば画像データの一般的情報Ｄ３の中にヒント情報専用の格納領域を設ければ、様々なアプリケーションと相互に互換性のある情報として扱うことが可能である。

もちろん、必ずしもＪ２Ｋファイル中にヒント情報を置く必要は無く、ＤＢシステムでＪ２Ｋ画像圧縮データを管理する際に、画像圧縮データの外に画像圧縮データとの対応付けがなされたヒント情報を格納しても良い。

また、上記の実施形態では、サーバーとしての画像圧縮データ処理装置とクライアント端末間の画像圧縮データの送信、配信、受信等の例を挙げたが、通信をＰＣ内部のメモリ転送やメモリアクセスと考えることも出来、１台のＰＣの中における効率的なＪ２Ｋ画像圧縮データの表示を実現することが可能である。

更に、上記の実施形態では、最も指定の頻度の多い表示順序のパターンで部分圧縮データを並べた画像データを元の画像データと置き換えて記憶したが、当然、並べた画像データを別途記憶しておく事も可能である。

また、上記の実施形態では、表示モード指示の統計情報を各画像データに対して保持したが、当然、全画像に対して閲覧者のブロック復号順序パターン指示の統計情報を記憶し、最も指定の多いブロック復号順序のパターンで部分圧縮データを並べることも可能である。

更に、上記の実施形態では、配信、或いは読み出した画像データのアクセス頻度情報を記憶し、アクセスが最も古いのものをメモリキャッシュから削除する例を示したが、最も頻度の低い画像データを削除することも当然可能である。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の実施形態の画像圧縮データ処理方法におけるシステム構成図である。 Ｊ２Ｋ（ＪＰＥＧ２０００）画像圧縮データの概略的構造図である。 Ｊ２Ｋ画像圧縮データの codestream の概略的構造図、及びＪ２Ｋ画像圧縮データの tile-part header の概略構造図である。 本発明の実施形態に係るタイル単位画像圧縮データにおけるタイルインデックス番号の定義である。 本発明の実施形態１の画像圧縮データ処理方法におけるタイル表示モードＩＤ、表示の名称および並べ替え情報の対応スキーマである。 本発明の実施形態１におけるタイルインデックス番号、タイル単位画像圧縮データの codestream の位置、及びサイズとの対応スキーマである。 本発明の実施形態１におけるヒント情報の生成の処理フローである。 本発明の実施形態１における画像データの関心領域（ＲＯＩ）から順に周辺を表示する場合のタイル単位画像圧縮データの表示順序の例である。 本発明の実施形態１における画像データの関心領域（ＲＯＩ）から順に周辺を表示する場合の codestream 中のタイル単位画像圧縮データの並びの例である。 本発明の実施形態１におけるヒント情報のＸＭＬ言語による記述の例である。 本発明の実施形態１における画像データの中心から螺旋状に表示する場合のタイル単位画像圧縮データの表示順序の例である。 本発明の実施形態１における画像データの中心から螺旋状に表示する場合の codestream 中のタイル単位画像圧縮データの並びの例である。 本発明の実施形態１におけるヒント情報を用いたデータ配信処理のフローである。 本発明の実施形態２におけるメモリ上にキャッシュした画像データの管理情報のスキーマである。 本発明の実施形態２における表示モード指示の統計情報のスキーマである。 本発明の実施形態２における並べ替えヒント情報を用いたデータ配信の処理フローである。 本発明の実施形態２におけるキャッシュ上に該当するタイル単位画像圧縮データがある場合の配信処理のフローである。 本発明の実施形態２におけるタイル単位画像圧縮データの並びが、指定された表示モードに合致していた場合の配信処理のフローである。 本発明の実施形態２におけるタイル単位画像圧縮データの並びが、指定された表示モード指定に合致していない場合の配信処理のフローである。 本発明の実施形態２における表示モード指示の統計情報を元に、最も頻度の高い表示モードのデータ並びにタイル単位画像圧縮データを並び替える処理のフローである。 本発明実施形態２における図２０の処理におけるcodestream の位置との対応情報を更新する処理のフローである。 本発明の実施形態２における統計情報を元に、最も頻度の高い表示モードのデータ並びに画像データを並び替えた結果の例である。 本発明の実施形態３におけるキーワードとタイルの対応スキーマである。 本発明の実施形態３における並べ替えヒント情報生成の処理フローである。 本発明の実施形態３における並べ替えヒント情報のＸＭＬ言語による記述の例である。 本発明の実施形態３における画像ＩＤとファイル名との対応を表すインデックスのスキーマの例である。 本発明の実施形態３におけるキーワードから対応する画像ＩＤを取得するための逆引きインデックスのスキーマの例である。 本発明の実施形態３における並べ替えヒント情報を用いた効率的なデータ転送の処理フローの例である。 本発明の実施形態３における検索条件と表示条件を与えるためのＧＵＩ（Graphic User Interface）の例である。 本発明の実施形態３における図２９のステップＳ２９１２の画像を表示する処理のフローである。 本発明の実施形態３における図３０のステップＳ３００６の統合表示順序情報を生成する処理のフローである。 本発明の実施形態３における統合表示順序情報におけるタイルの並びを表現したものである。 本発明の実施形態４における並べ替えヒント情報生成の処理フローである。 本発明の実施形態４における並べ替えヒント情報のＸＭＬ言語による記述の例である。 本発明の実施形態４における統合表示順序情報を生成する処理のフローである。 本発明の実施形態５における統合表示順序情報を生成する処理のフローである。 本発明の実施形態５における中心から周辺に向かって螺旋状に表示する場合の表示順序の例である。 本発明の実施形態５における中心から周辺に向かって螺旋状に表示する場合のタイルインデックス番号の並びの例である。

符号の説明

１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ キーボード
１０５ マウス
１０６ 外部記憶装置
１０７ 表示装置
１０８ ＮＩＣ
１０９ クライアントＰＣ
１１０ Ｉ／Ｆ
１１１ 画像入力装置
Ｔ１、Ｔ２、...、タイルインデックス番号

Claims (43)

1. 画像圧縮データを複数の部分画像圧縮データに分け、任意の順序で前記複数の部分画像圧縮データを記述し、
   前記画像圧縮データ中に、或いは前記画像圧縮データに対応付けた付加データ中に、前記複数の部分画像圧縮データの復号順序情報と、前記画像圧縮データ中の個々の部分画像圧縮データの格納アドレス情報を記述する、ことを特徴とする画像圧縮データ処理方法。
2. 要求された複数の部分画像圧縮データの復号順序情報に従い、前記複数の部分画像圧縮データの読み出しを、個々の前記部分画像圧縮データの格納アドレス情報を参照して実行する、ことを特徴とする請求項１に記載の画像圧縮データ処理方法。
3. 前記画像圧縮データ中、或いは画像圧縮データに対応付けた前記付加データ中に、前記複数の部分画像圧縮データの復号順序情報に対応するコメント情報を記述する、ことを特徴とする請求項１に記載の画像圧縮データ処理方法。
4. 前記複数の部分画像圧縮データの復号順序情報に対応付けたコメント情報の選択により、前記複数の部分画像圧縮データの復号順序の指示を行う、ことを特徴とする請求項３に記載の画像圧縮データ処理方法。
5. 前記画像圧縮データの画像データ伸長および表示処理を行う第１のデータ処理装置と、 前記画像圧縮データを格納する第２のデータ処理装置が通信回線で接続され、
   前記第２のデータ処理装置が前記第１のデータ処理装置からの前記複数の部分画像圧縮データの復号順序の要求に従い、個々の前記部分画像圧縮データの格納アドレス情報を用いて前記複数の部分画像圧縮データを読み出して前記第１のデータ処理装置へ送信し、
   前記第１のデータ処理装置において、個々の前記部分画像圧縮データを伸長した後に表示し、これを全ての部分画像圧縮データに対して繰り返し行う事により前記画像圧縮データを表示させる、ことを特徴とする請求項１乃至４のいずれか１つに記載の画像圧縮データ処理方法。
6. 前記複数の部分画像圧縮データの画像データ伸長および表示処理を行う前記第１のデータ処理装置において、
   前記複数の部分画像圧縮データの復号順序情報に従い、個々の前記部分画像圧縮データの格納アドレス情報を用いて個々の部分画像圧縮データを検索して読み出して伸長した後に表示し、これを全ての前記部分画像圧縮データに対して繰り返し行う事により前記画像圧縮データを表示させる、ことを特徴とする請求項５に記載の画像圧縮データ処理方法。
7. 要求された前記複数の部分画像圧縮データの復号順序情報に従い、前記複数の部分画像圧縮データの読み出しを行い、復号し、表示する処理を、全ての前記部分画像圧縮データに対して行うが、少なくとも１つの前記部分画像圧縮データの表示処理後に処理中止コマンドの有無をチェックし、前記処理中止コマンドがあれば前記の処理を中止する、ことを特徴とする請求項２または請求項５に記載の画像圧縮データ処理方法。
8. 前記複数の部分画像圧縮データの復号順序情報の統計情報を記憶し、最も頻度の多い複号順序で前記複数の部分画像圧縮データを並べた画像圧縮データを記憶し、配信或いは読み出し時に、前記最も頻度の多い復号順序を要求された場合、前記記憶した前記画像圧縮データをそのまま配信或いは読み出す、ことを特徴とする請求項５または請求項６に記載の画像圧縮データ処理方法。
9. 前記画像圧縮データ毎に前記複数の部分画像圧縮データの復号順序情報の統計情報を記憶し、前記最も頻度の多い復号順序で前記複数の部分画像圧縮データを並べた画像圧縮データを記憶する、ことを特徴とする請求項８に記載の画像圧縮データ処理方法。
10. 全ての画像圧縮データに対して復号順序情報の統計情報を記憶し、前記最も頻度の多い復号順序情報で前記複数の部分画像圧縮データを並べた画像圧縮データを記憶する、ことを特徴とする請求項８に記載の画像圧縮データ処理方法。
11. 前記最も頻度の多い復号順序情報で前記複数の部分画像圧縮データを並べた画像圧縮データを記憶する処理を行うか否かは、前記復号順序情報の偏りを閾値と比較を行い決定する、ことを特徴とする請求項９または請求項１０に記載の画像圧縮データ処理方法。
12. 前記複数の部分画像圧縮データを並べた画像圧縮データを記憶する際に、元の画像圧縮データと置き換えて記憶する、ことを特徴とする請求項９乃至１１のいずれか１つに記載の画像圧縮データ処理方法。
13. 前記複数の部分画像圧縮データを並べた画像圧縮データを記憶する際に、少なくとも１つの元の画像圧縮データを別途記憶する、ことを特徴とする請求項９乃至１１のいずれか１つに記載の画像圧縮データ処理方法。
14. 前記画像圧縮データを画像ＩＤ、および前記複数の部分画像圧縮データの復号順序情報とを対にしてメモリキャッシュに記憶し、画像圧縮データの要求が有る場合に、前記メモリキャッシュ内にある画像圧縮データの画像ＩＤとの比較を行い、該当する画像圧縮データが前記メモリキャッシュ内に有り、且つ要求された復号順序情報が前記メモリキャッシュ内の複数の部分画像圧縮データの復号順序情報と一致する場合、前記メモリキャッシュ内の該当する画像圧縮データを読み出す、ことを特徴とする請求項５乃至１３のいずれか１つに記載の画像圧縮データ処理方法。
15. 画像圧縮データの要求が有る場合、前記メモリキャッシュ内にある画像圧縮データの画像ＩＤと比較を行い、該当する画像圧縮データが前記メモリキャッシュ内に無い、或いは指定された復号順序が前記メモリキャッシュ内の複数の部分画像圧縮データの復号順序情報と一致しない場合、読み出した画像圧縮データと前記画像ＩＤおよび復号順序情報との対を前記メモリキャッシュに記憶する、ことを特徴とする請求項１４に記載の画像圧縮データ処理方法。
16. 配信或いは読み出した前記画像圧縮データのアクセス頻度情報を記憶し、最もアクセス頻度の低い画像圧縮データ、或いはアクセスが最も古い画像圧縮データを前記メモリキャッシュから削除する、ことを特徴とする請求項１４に記載の画像圧縮データ処理方法。
17. 画像圧縮データと、画像ＩＤおよび復号順序情報とを対にして前記メモリキャッシュに記憶しておき、画像圧縮データの要求が有る場合に、前記メモリキャッシュ内にある画像圧縮データの画像ＩＤと比較を行い、該当する画像圧縮データが前記メモリキャッシュ内に無い、或いは指定された復号順序が前記メモリキャッシュ内の画像圧縮データの復号順序情報と一致しない場合であって、さらに要求された復号順序が画像圧縮データの並びと合致している場合、前記要求された復号順序と一致する画像圧縮データをそのままのデータ並びで前記メモリキャッシュから読み出す、ことを特徴とする請求項８または請求項１４に記載の画像圧縮データ処理方法。
18. 画像圧縮データと、画像ＩＤおよび復号順序情報とを対にして前記メモリキャッシュに記憶しておき、画像圧縮データの要求が有る場合に、前記メモリキャッシュ内にある画像圧縮データの画像ＩＤと比較を行い、該当する画像圧縮データが前記メモリキャッシュ内に有り、且つ要求された復号順序がメモリキャッシュ内の画像圧縮データの復号順序の情報と一致しない場合であって、さらに要求された復号順序が画像圧縮データの並びと合致していない場合、前記画像ＩＤが該当する画像圧縮データを前記メモリキャッシュから読み出す、ことを特徴とする請求項１４に記載の画像圧縮データ処理方法。
19. 画像圧縮データを複数の部分画像圧縮データに分け、任意の順序で前記複数の部分画像圧縮データを記述し、
    画像内のオブジェクトにキーワードを付与し、
    キーワードの付されたオブジェクトに対応する部分画像圧縮データを優先して復号して表示するため、前記複数の画像圧縮データの復号優先順序をヒント情報として画像圧縮データ中、或いは画像圧縮データに対応付けた付加データ中に記述する、ことを特徴とする画像圧縮データ処理方法。
20. 前記画像圧縮データ中の個々の前記部分単位画像圧縮データの格納アドレス情報をヒント情報として前記画像圧縮データ中、或いは前記画像圧縮データに対応付けた付加データ中に記述する、ことを特徴とする請求項１９に記載の画像圧縮データ処理方法。
21. 前記複数の部分画像圧縮データの復号順序に対応付けたキーワードの選択により、前記複数の部分画像圧縮データの復号順序の指示を行う、ことを特徴とする請求項１９に記載の画像圧縮データ処理方法。
22. 検索用キーワード検索条件を指定し、前記検索用キーワード検索条件と前記画像圧縮データに付与したキーワードとを比較して画像検索を行い、ヒットした画像圧縮データを前記検索用キーワードに対応する前記複数の部分画像圧縮データの復号優先順序に基づいて表示する、ことを特徴とする請求項１９または請求項２１に記載の画像圧縮データ処理方法。
23. 前記検索用キーワード検索条件と、表示用キーワード条件を指定し、前記検索用キーワード検索条件と前記画像圧縮データに付与したキーワードとを比較して画像検索を行い、ヒットした画像圧縮データを前記表示用キーワードに対応する前記複数の部分画像圧縮データの復号優先順序に基づいて表示する、ことを特徴とする請求項１９または請求項２１記載の画像圧縮データ処理方法。
24. 前記表示用キーワードには、前記検索用キーワードに使用したキーワードを用いる、ことを特徴とする請求項２３に記載の画像圧縮データ処理方法。
25. 前記表示用キーワードが複数の場合、検索結果を優先表示する条件の優先度に基づき、その優先順位で前記複数の部分画像圧縮データの復号順序を合成し、統合した前記複数の部分画像圧縮データの復号優先順序とする、ことを特徴とする請求項２３または請求項２４に記載の画像圧縮データ処理方法。
26. 優先表示する条件に適合しない部分画像圧縮データに関しては、条件に適合する部分画像圧縮データの後に予めルール化された順序情報に従って復号順序を追記して合成する事により、ファイル検索の効率を考慮して統合した複数の部分画像圧縮データの復号優先順序を生成する、ことを特徴とする請求項２５に記載の画像圧縮データ処理方法。
27. 前記予めルール化された順序情報は、前記複数の部分画像圧縮データの昇順あるいは降順である、ことを特徴とする請求項２６に記載の画像圧縮データ処理方法。
28. 前記予めルール化された順序情報は、部分画像圧縮データ中の部分画像圧縮データの順序の昇順あるいは降順である、ことを特徴とする請求項２６の画像圧縮データ処理方法。
29. 前記予めルール化された順序情報は、画像表示の見栄えを考慮した単数、或いは複数の複合順序から選択した、ことを特徴とする請求項２６に記載の画像圧縮データ処理方法。
30. 前記複数の部分画像圧縮データの復号優先順序に基づいて表示する処理において、前記複数の部分画像圧縮データの読み出しを前記複数の部分画像圧縮データの格納アドレス情報を参照する事により行う、ことを特徴とする請求項２０、２２、２３のいずれか１つに記載の画像圧縮データ処理方法。
31. 前記複数の部分画像圧縮データの画像データ伸長および表示処理を行う第１のデータ処理装置と、前記複数の部分画像圧縮データを格納する第２のデータ処理装置とが通信回線で接続され、
    前記第２のデータ処理装置が、前記第１のデータ処理装置からの前記複数の部分画像圧縮データ復号順序の指示に従い、個々の前記部分画像圧縮データの格納アドレス情報を用いて前記複数の部分画像圧縮データを読み出して前記第１のデータ処理装置へ送信し、
    前記第１のデータ処理装置において、個々の前記部分画像圧縮データを伸長したあとに表示し、これを全ての前記部分画像圧縮データに対して繰り返し行う事により前記複数の部分画像圧縮データを表示させる、ことを特徴とする請求項１９乃至２１のいずれか１つに記載の画像圧縮データ処理方法。
32. 前記複数の部分画像圧縮データの画像データ伸長および表示処理を行う前記第１のデータ処理装置において、
    前記複数の部分画像圧縮データの復号順序情報に従い、前記複数の部分画像圧縮データの格納アドレス情報を用いて個々の前記部分画像圧縮データを検索して読み出し、伸長した後に表示し、これを全ての前記部分画像圧縮データに対して繰り返し行う事により前記画像圧縮データを表示させる、ことを特徴とする請求項３１に記載の画像圧縮データ処理方法。
33. 前記複数の部分画像圧縮データの復号順序の要求に従い、前記部分画像圧縮データの読み出しを行い、復号し表示する処理を全部の前記部分画像圧縮データに対して行うが、少なくとも１つの部分画像圧縮データの表示処理後に次の画像表示コマンドの有無をチェックし、前記次の画像表示コマンドがあれば処理を中止して次のヒット画像の表示に移る、ことを特徴とする請求項２２、２３、３１、３２のいずれか１つに記載の画像圧縮データ処理方法。
34. 前記部分画像圧縮データの復号順序の要求に従い、前記部分画像圧縮データの読み出しを行い、復号し表示する処理を全部の部分画像圧縮データに対して行うが、少なくとも１つの画像圧縮データの表示処理後に表示中止コマンドの有無をチェックし、前記表示中止コマンドがあれば現在表示処理中の画像圧縮データを残して前記の処理を中止する、ことを特徴とする請求項２２、２３、３１、３２のいずれか１つに記載の画像圧縮データ処理方法。
35. 画像圧縮データを複数の部分画像圧縮データに分け、任意の順序で前記複数の部分画像圧縮データを記述する手段と、
    前記画像圧縮データ中に、或いは前記画像圧縮データに対応付けた付加データ中に、前記複数の部分画像圧縮データの復号順序情報と前記画像圧縮データ中の個々の部分画像圧縮データの格納アドレス情報を記述する手段を備えた、ことを特徴とする画像圧縮データ処理装置。
36. 前記画像圧縮データの画像データ伸長および表示処理を行う第１のデータ処理装置と、前記第１のデータ処理装置と通信回線で接続され前記画像圧縮データを格納する第２のデータ処理装置と、を備え、
    前記第２のデータ処理装置は、前記第１のデータ処理装置からの部分画像圧縮データの復号順序の指示に従い、個々の部分画像圧縮データの前記格納アドレス情報を用いて部分画像圧縮データを読み出して前記第１のデータ処理装置へ送信し、
    前記第１のデータ処理装置は、受信した部分画像圧縮データを伸長した後に表示し、これを全ての部分画像圧縮データに対して繰り返し行う事により前記画像圧縮データを表示させる、ことを特徴とする画像圧縮データ処理装置。
37. 前記複数の部分画像圧縮データの復号順序情報の統計情報を記憶する手段と、
    最も頻度の多い前記複数の部分画像圧縮データの復号順序で並べた画像データを記憶する手段と、
    配信或いは読み出し時に、前記最も頻度の多い部分画像圧縮データの復号順序を要求された場合、前記記憶した画像圧縮データをそのまま配信或いは読み出す手段と、をさらに備えることを特徴とする請求項３５に記載の画像圧縮データ処理装置。
38. 前記画像圧縮データを画像ＩＤ、および前記複数の部分画像圧縮データの復号順序情報と対にしてメモリキャッシュに記憶する手段と、
    画像圧縮データの要求が有る場合に、前記メモリキャッシュ内にある前記画像圧縮データの画像ＩＤとの比較を行う手段と、
    該当する画像圧縮データが前記メモリキャッシュ内に有り、且つ要求された復号順序情報が前記メモリキャッシュ内の画像圧縮データの復号順序情報と一致する場合、前記メモリキャッシュ内の該当する画像圧縮データを読み出す手段と、をさらに備えることを特徴とする請求項３７に記載の画像圧縮データ処理装置。
39. 画像圧縮データを複数の部分画像圧縮データに分け、任意の順序で前記複数の部分画像圧縮データを記述する手段と、
    画像内のオブジェクトにキーワードを付与する手段と、
    前記キーワードの付された前記オブジェクトに対応する前記複数の部分画像圧縮データを優先して復号して表示するため、前記複数の部分画像圧縮データの復号優先順序をヒント情報として画像圧縮データ中、或いは画像圧縮データに対応付けた付加データ中に記述する手段を備える、ことを特徴とする画像圧縮データ処理装置。
40. 検索用キーワード検索条件を指定する手段と、
    前記検索用キーワード検索条件と画像圧縮データに付与した前記キーワードとを比較して画像検索を行う手段と、
    ヒットした画像圧縮データを前記検索用キーワードに対応する前記複数の部分画像圧縮データの復号優先順序に基づいて表示を行う手段と、をさらに備えることを特徴とする請求項３９に記載の画像圧縮データ処理装置。
41. 検索用キーワード検索条件と、表示用キーワード条件を指定する機能と、
    検索用キーワード検索条件と画像圧縮データに付与した前記キーワードとを比較して画像検索を行う機能と、
    ヒットした画像圧縮データを、前記表示用キーワードに対応する部分画像圧縮データの復号優先順序に基づいて表示を行う機能を更に有する、ことを特徴とする請求項３９に記載の画像圧縮データ処理装置。
42. 前記表示用キーワードが複数の場合、検索結果を優先表示する条件の優先度に基づき、その優先順位で前記複数の部分画像圧縮データの復号順序を合成し、統合した複数の部分画像圧縮データの復号優先順序とする手段と、をさらに備えることを特徴とする請求項４１に記載の画像圧縮データ処理装置。
43. 請求項１〜４のいずれかに記載の画像圧縮データ処理方法の各ステップを実行するためのプログラムが格納された記録媒体。
    

Images