JP7405568B2 - 符号化方法、復号方法、符号化装置、復号装置及びプログラム - Google Patents

Description

本発明は、符号化方法、復号方法、符号化装置、復号装置及びプログラムに関する。

近年、インフラ点検等の様々な分野で、撮影場所を示す位置情報や撮影条件等の付加情報を持つ静止画の利用が拡大している。また、撮影される画像数の増加に伴う伝送コストや蓄積コストを削減するため、複数の静止画を再符号化（トランスコード）し、アーカイブすることが行われている。

複数の静止画を再符号化及びアーカイブする際には、例えば、ＴＩＦＦ（非特許文献１）形式やＪＰＥＧ（非特許文献２）形式の静止画等を復号した上で、圧縮効率の高い動画像符号化方式で符号化し、ＺＩＰ形式等にアーカイブすることが行われている。また、この場合に元の静止画を取り出す際には、アーカイブを展開した上で、動画像を復号して各画像をＴＩＦＦ形式やＪＰＥＧ形式等に符号化することが行われている。

「Tagged Image File Format - Wikipedia」，インターネット＜ＵＲＬ：https://ja.wikipedia.org/wiki/Tagged_Image_File_Format＞ 「JPEG - Wikipedia」，インターネット＜ＵＲＬ：https://ja.wikipedia.org/wiki/JPEG＞

しかしながら、複数の静止画を再符号化及びアーカイブする際や、このアーカイブから元の静止画を取り出す際には、再符号化、アーカイブ、展開、復号毎にファイルへの書き出しが発生し、ディスクアクセスの回数が多くなる。このため、静止画数の増加に伴ってオーバーヘッドが大きくなっていた。

また、アーカイブにした場合、このアーカイブから任意の静止画を取り出したいときにもアーカイブを展開する必要があり、ランダムアクセス性が低下する。

本発明の実施形態は、上記の点に鑑みてなされたもので、複数の静止画を効率的かつランダムアクセス可能に符号化することを目的とする。

上記目的を達成するため、本実施形態に係る符号化方法は、付加情報がそれぞれ付加された複数の静止画像から前記付加情報を分離する分離手順と、前記付加情報が分離された複数の静止画像のそれぞれを、所定の動画像符号化方式により動画像に含まれるフレーム画像に符号化する動画像符号化手順と、前記静止画像毎に、該静止画像から分離された付加情報と前記フレーム画像を前記静止画像に復号する際に必要な情報とを含むデータを作成する作成手順と、をコンピュータが実行することを特徴とする。

複数の静止画を効率的かつランダムアクセス可能に符号化することができる。

本実施形態の全体構成の一例を示す 本実施形態に係る符号化処理部の機能構成の一例を示す図である。 付加情報ファイルの構成の一例を示す図である。 本実施形態に係る復号処理部の機能構成の一例を示す図である。 符号化及び送信処理の一例を示すフローチャートである。 符号化及び付加情報データの追加処理の一例を示すフローチャートである。 受信及び復号処理の一例を示すフローチャートである。 復号及び付加情報の追加処理の一例を示すフローチャートである。

以下、本発明の実施形態について説明する。本実施形態では、複数の静止画を効率的かつランダムアクセス可能に動画像として符号化することが可能な符号化装置１０と、この符号化装置１０によって符号化された動画象を復号することが可能な復号装置２０とについて説明する。

本実施形態に係る符号化装置１０は、付加情報が含まれ、ＴＩＦＦ形式やＪＰＥＧ形式等のファイル形式で表された各静止画ファイルに対して、当該静止画ファイルのファイル名の取得と、当該静止画ファイルが持つ付加情報の分離と、当該静止画ファイルの復号と、当該静止画ファイルが表す静止画の動画像への符号化（再符号化）とを繰り返し実行することで、複数の静止画を動画像として符号化する。そして、本実施形態に係る符号化装置１０は、動画像のファイル（動画ファイル）と各付加情報やファイル名等が含まれるファイル（付加情報ファイル）とを復号装置２０に送信する。なお、付加情報とは、例えば、Ｅｘｉｆ情報等のことである。

また、本実施形態に係る復号装置２０は、符号化装置１０から受信した付加情報ファイルに含まれる各付加情報に対して、動画像の復号と、当該動画像に含まれる画像に対する元のファイル形式への符号化と、当該符号化によって得られた静止画に対する付加情報の追加及びファイル名の付与とを繰り返し実行することで、動画ファイルから複数の静止画ファイルを復号する。

＜全体構成＞
まず、本実施形態の全体構成について、図１を参照しながら説明する。図１は、本実施形態の全体構成の一例を示す
図１に示すように、本実施形態では、符号化装置１０と復号装置２０とが任意の通信ネットワーク３０を介して通信可能に接続されている。なお、通信ネットワーク３０は、例えば、インターネット等である。

符号化装置１０は、複数の静止画を動画像として符号化するコンピュータである。符号化装置１０としては任意の機器又は装置等を用いることが可能であるが、例えば、スマートフォン、タブレット端末、ＰＣ（パーソナルコンピュータ）、ウェアラブルデバイス、遠隔操縦可能な車両や航空機（例えば、ドローン等）、ロボット等が挙げられる。

ここで、符号化装置１０は、符号化処理部１０１と、送信部１０２と、記憶部１０３とを有する。符号化処理部１０１及び送信部１０２は、例えば、符号化装置１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）等のプロセッサに実行させる処理により実現される。また、記憶部１０３は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の補助記憶装置を用いて実現可能である。

符号化処理部１０１は、記憶部１０３に記憶されている複数の静止画ファイル（付加情報が含まれる複数の静止画ファイル）から動画ファイルと付加情報ファイルとを作成する。送信部１０２は、符号化処理部１０１により作成された動画ファイルと付加情報ファイルとを復号装置２０に送信する。記憶部１０３は、付加情報が含まれる複数の静止画ファイル等を記憶している。これらの静止画ファイルは、例えば、符号化装置１０が備える撮影装置（又は符号化装置１０と接続された撮影装置）等により作成される。

復号装置２０は、符号化装置１０で符号化された動画ファイル及び付加情報ファイルを用いて、当該動画ファイルを復号するコンピュータである。符号化装置１０としては、例えば、静止画を蓄積等するサーバ装置等が挙げられる。

ここで、復号装置２０は、復号処理部２０１と、受信部２０２と、記憶部２０３とを有する。復号処理部２０１及び受信部２０２は、復号装置２０にインストールされた１以上のプログラムが、ＣＰＵ等のプロセッサに実行させる処理により実現される。また、記憶部２０３は、例えば、ＨＤＤやＳＳＤ等の補助記憶装置を用いて実現可能である。

受信部２０２は、動画ファイルと付加情報ファイルとを符号化装置１０から受信する。復号処理部２０１は、受信部２０２により受信された動画ファイルと付加情報ファイルとを用いて当該動画ファイルを復号し、複数の静止画ファイルを得る。記憶部２０３は、復号処理部２０１による復号によって得られた複数の静止画ファイルを記憶する。

なお、図１に示す全体構成は一例であって、他の構成であってもよい。例えば、図１に示す例では、或る１台の装置又は機器が符号化装置１０として機能し、他の１台の装置又は機器が復号装置２０として機能している場合を示したが、これに限られず、例えば、或る１台の装置又は機器が或る時点では符号化装置１０として機能し、他の時点では復号装置２０として機能してもよい。

＜機能構成＞
次に、本実施形態に係る符号化処理部１０１及び復号処理部２０１の機能構成について説明する。

≪符号化処理部１０１≫
本実施形態に係る符号化処理部１０１の機能構成について、図２を参照しながら説明する。図２は、本実施形態に係る符号化処理部１０１の機能構成の一例を示す図である。

図２に示すように、本実施形態に係る符号化処理部１０１には、ファイル読込部１１１と、静止画復号部１１２と、分割部１１３と、動画像符号化部１１４と、付加情報ファイル作成部１１５とが含まれる。

ファイル読込部１１１は、記憶部１０３に記憶されている複数の静止画ファイル（すなわち、付加情報が含まれる複数の静止画ファイル）のうち、１つの静止画ファイルを読み込む。また、ファイル読込部１１１は、当該静止画ファイルから付加情報を分離する。

静止画復号部１１２は、ファイル読込部１１１によって読み込まれた静止画ファイルを、この静止画ファイルのファイル形式に応じて復号する。なお、ファイル形式としては、例えば、ＴＩＦＦ形式、ＪＰＥＧ形式、ＪＰＥＧ－ＸＲ形式等が挙げられるが、本実施形態は特定のファイル形式に限定されず、任意のファイル形式の静止画ファイルに対して適用可能である。

分割部１１３は、静止画復号部１１２によって復号された静止画ファイルが表す画像について分割が必要か否かを判定し、分割が必要であると判定された場合は当該画像を複数の画像に分割する。ここで、分割部１１３は、例えば、当該静止画ファイルが表す画像の解像度が、動画像符号化部１１４が符号化する際の動画像符号化方式で規定されている解像度を超える場合に、当該画像を分割する。なお、以降では、分割部１１３によって分割された後の各画像を「分割画像」とも表す。

動画像符号化部１１４は、静止画復号部１１２によって復号された静止画ファイルが表す画像又は分割部１１３によって分割された分割画像を所定の動画像符号化方式で符号化する。動画像符号化部１１４によって符号化された後の画像（つまり、動画像を構成する１つのフレームを表す画像（フレーム画像））は、例えば、ストリーム形式の動画ファイル（エレメンタリストリームファイル）として記憶部１０３に保存される。これにより、複数のフレーム画像の列（これを「フレーム画像データ列」とも表す。）が含まれる動画ファイルが作成される。

なお、動画像符号化方式としては、例えば、Ｈ．２６５（又は、ＨＥＶＣ（High Efficiency Video Coding））等が挙げられるが、本実施形態は特定の動画像符号化方式に限定されず、任意の動画像符号化方式が適用可能である。ただし、Ｈ．２６５等の圧縮効率の高い動画像符号化方式を適用することで、動画ファイルの伝送量等を削減し、効率化することが可能となる。

付加情報ファイル作成部１１５は、ファイル読込部１１１によって読み込まれた静止画ファイルのファイル名や当該静止画ファイルから分離された付加情報等が含まれる付加情報データを作成し、この付加情報データで構成される付加情報ファイルを作成する。

≪付加情報ファイルの構成≫
ここで、付加情報ファイルの構成の一例について、図３を参照しながら説明する。図３は、付加情報ファイルの構成の一例を示す図である。

図３に示すように、付加情報ファイルには、各静止画ファイルに関する付加情報データが含まれている。また、各付加情報データには、例えば、ヘッダと、位置情報と、ファイル名と、フォーマット情報と、付加情報とが含まれる。

ヘッダは、付加情報ファイル内で各付加情報データの先行を示す情報である。ヘッダとしては予め決められた任意の情報を用いることが可能である。各付加情報データにヘッダが含まれることで、各付加情報データのランダムアクセスをする際に、付加情報ファイル内の各付加情報データを先頭から順に読み込むことなく、各付加情報データの先頭を見つけることが可能となる。

なお、各付加情報データが固定長である場合には、ヘッダを用いることなく各付加情報データの先頭を見つけることが可能であるため、ヘッダは不要である（つまり、この場合、各付加情報データにはヘッダが含まれていなくてもよい。）。

位置情報は、動画ファイル中（つまり、フレーム画像データ列の中）で、当該静止画ファイルに対応する画像（フレーム画像）の位置（つまり、当該静止画ファイルを復号し、所定の動画像符号化方式により符号化した画像の位置）を示す情報である。ここで、当該ファイルに対応する画像の位置とは、分割部１１３によって分割画像が作成された場合には、これらの分割画像の各々を所定の動画像符号化方式により符号化した複数のフレーム画像のうちの最初のフレーム画像の位置のことである。なお、複数のフレーム画像のうちの最初のフレーム画像とは動画として再生した場合に再生時刻が最も早いフレーム画像のことである。

これにより、分割部１１３によって分割画像が作成された場合であっても、１つの静止画ファイルに対応する１つ以上のフレーム画像を特定することが可能になる。なお、分割部１１３による分割が行われない場合には、位置情報は不要である。

ファイル名は、当該静止画ファイルのファイル名である。各付加情報データにファイル名が含まれることで、復号装置２０により動画ファイルから静止画ファイルを復号する際に、元のファイル名を当該静止画ファイルに付与することが可能となる。これは、静止画ファイルが表す画像を動画像中のフレーム画像として符号化する場合、ファイル名が失われるためである。

フォーマット情報は、当該静止画ファイルのファイル形式である。各付加情報データにファイル形式が含まれることで、復号装置２０により動画ファイルから静止画ファイルを復号する際に、当該静止画ファイルを元のファイル形式に符号化することが可能となる。なお、例えば、符号化装置１０で符号化の対象となる静止画ファイルのファイル形式が予め決められている場合（例えば、全ての静止画ファイルがＪＰＥＧ形式と予め決められている場合等）には、フォーマット情報は不要である。

付加情報は、ファイル読込部１１１によって静止画ファイルから分離された付加情報（つまり、例えば、Ｅｘｉｆ情報等）である。

なお、図３に示す付加情報ファイルの構成は一例であって、他の構成であってもよい。例えば、付加情報ファイルの各付加情報データには、分割部１１３による分割方法を示す情報として「分割方法情報」が含まれていてもよい。分割方法情報は、静止画復号部１１２によって復号された静止画ファイルが表す画像をどのように分割したかを示す情報であり、例えば、「縦横２分割」、「横に４分割」、「縦に４分割」等を表す情報である。これにより、例えば、記憶部１０３に記憶されている静止画ファイルが、８Ｋカメラを４台横に並べて撮影された画像である場合等には「横に４分割」したり、デジタルサイネージのような縦長ディスプレイに表示される静止画ファイルである場合には「縦に４分割」したりすることが可能になる。

また、各付加情報データに含まれる位置情報は、動画ファイル中で、当該静止画ファイルに対応するフレーム画像の位置を示す情報としたが、これに限られず、例えば、当該静止画ファイルに対応するフレーム画像の画像番号であってもよい。これにより、位置情報に必要なデータサイズを削減することが可能になる。ただし、この場合、該当の画像番号のフレーム画像をフレーム画像データ列から抽出する際、フレーム画像データ列を先頭から検索する必要がある。

≪復号処理部２０１≫
本実施形態に係る復号処理部２０１の機能構成について、図４を参照しながら説明する。図４は、本実施形態に係る復号処理部２０１の機能構成の一例を示す図である。

図４に示すように、本実施形態に係る復号処理部２０１には、付加情報データ抽出部２１１と、合成部２１２と、動画像復号部２１３と、静止画符号化部２１４と、付加情報追加部２１５と、保存部２１６とが含まれる。

付加情報データ抽出部２１１は、受信部２０２によって受信した付加情報ファイルに含まれる付加情報データのうち、１つの付加情報データを抽出する。

合成部２１２は、付加情報データ抽出部２１１によって抽出された付加情報データを用いて、この付加情報データに対応する静止画ファイルが表す画像が分割されたか否かを判定する。また、合成部２１２は、当該静止画ファイルが表す画像が分割されていると判定された場合、動画像復号部２１３によって復号された各分割画像を合成する。

動画像復号部２１３は、付加情報データ抽出部２１１により抽出された付加情報データに対応するフレーム画像（この付加情報データに対応する静止画ファイルが表す画像が分割されている場合は複数のフレーム画像）を所定の動画像符号化方式で復号する。

静止画符号化部２１４は、付加情報データ抽出部２１１によって抽出された付加情報データに含まれるフォーマット情報を用いて、動画像復号部２１３によって復号された画像を元のファイル形式に符号化する。これにより、付加情報が未だ付加されていない静止画ファイルが作成される。

付加情報追加部２１５は、付加情報データ抽出部２１１によって抽出された付加情報データに含まれる付加情報を用いて、静止画符号化部２１４により作成された静止画ファイルに付加情報を追加する。これにより、付加情報が含まれる静止画ファイルが作成される。

保存部２１６は、付加情報データ抽出部２１１によって抽出された付加情報データに含まれるファイル名を用いて、付加情報追加部２１５によって作成された静止画ファイルを当該ファイル名で記憶部２０３に保存する。これにより、元の静止画ファイルが得られる。

＜符号化装置１０が実行する処理＞
以降では、本実施形態に係る符号化装置１０によって複数の静止画ファイルを符号化して動画ファイルと付加情報ファイルとを復号装置２０に送信する処理について、図５を参照しながら説明する。図５は、符号化及び送信処理の一例を示すフローチャートである。

符号化処理部１０１のファイル読込部１１１は、記憶部１０３に記憶されている複数の静止画ファイルのうち、１つの静止画ファイルを読み込む（ステップＳ１０１）。なお、これらの複数の静止画ファイル（すなわち、符号化対象となる静止画ファイル）は、例えば、符号化装置１０のユーザ等によって指定されてもよいし、或る期間又は時間幅の間に記憶部１０３に保存された静止画ファイルとしてもよい。以降の図５及び図６では、本ステップでファイル読込部１１１によって読み込まれた静止画ファイルを「対象ファイル」とも表す。

次に、符号化処理部１０１のファイル読込部１１１は、上記のステップＳ１０１で読み込まれた対象ファイルのファイル名を取得する（ステップＳ１０２）。なお、ファイル読込部１１１は、ファイル名と共に、対象ファイルの拡張子等も取得する。

続いて、符号化処理部１０１は、上記のステップＳ１０１で読み込まれた対象ファイルを復号して動画に再符号化すると共に、当該対象ファイルの付加情報データを作成して付加情報ファイルに追加する（ステップＳ１０３）。このステップＳ１０３の詳細については後述する。このステップＳ１０３が繰り返し実行されることで、各対象ファイルに対応するフレーム画像データ列が含まれる動画ファイルと、各対象ファイルのファイル名や付加情報等が含まれる付加情報ファイルとが作成される。

次に、符号化処理部１０１は、全ての対象ファイル（すなわち、記憶部１０３に記憶されている複数の対象ファイル）を符号化したか否かを判定する（ステップＳ１０４）。本ステップで符号化していない対象ファイルが存在すると判定された場合、符号化処理部１０１は、ステップＳ１０１に戻る。これにより、全ての対象ファイルが符号化されるまで、各対象ファイルに対して上記のステップＳ１０１～ステップＳ１０３が繰り返し実行される。

一方で、上記のステップＳ１０４で全ての対象ファイルが符号化されたと判定された場合、送信部１０２は、上記のステップＳ１０３で作成された動画ファイルと付加情報ファイルとを復号装置２０に送信する（ステップＳ１０５）。

ここで、上記のステップＳ１０３の詳細について、図６を参照しながら説明する。図６は、符号化及び付加情報データの追加処理の一例を示すフローチャートである。なお、上記のステップＳ１０３は各対象ファイルに対して繰り返し実行される。そこで、以降では、或る対象ファイルに関して上記のステップＳ１０３が実行された場合について説明する。

まず、符号化処理部１０１のファイル読込部１１１は、対象ファイルから付加情報を分離する（ステップＳ２０１）。

次に、符号化処理部１０１の静止画復号部１１２は、対象ファイルのファイル形式を特定する（ステップＳ２０２）。なお、静止画復号部１１２は、例えば、図５のステップＳ１０２で取得された拡張子等からファイル形式（例えば、ＴＩＦＦ形式やＪＰＥＧ形式等）を特定すればよい。

次に、符号化処理部１０１の静止画復号部１１２は、上記のステップＳ２０２で特定されたファイル形式に応じて対象ファイルを復号する（ステップＳ２０３）。なお、以降では、本ステップで復号された対象ファイルを「復号後対象ファイル」とも表す。

次に、符号化処理部１０１の分割部１１３は、復号後対象ファイルが表す画像を分割する必要があるか否かを判定する（ステップＳ２０４）。上述したように、分割部１１３は、例えば、当該画像が、動画像符号化部１１４が符号化する際の動画像符号化方式で規定されている解像度を超える場合に、当該画像を分割する必要があると判定する。なお、このとき、分割方法が特定されてもよい。

上記のステップＳ２０４で分割する必要がないと判定された場合、符号化処理部１０１の動画像符号化部１１４は、復号後対象ファイルが表す画像を所定の動画像符号化方式（例えば、Ｈ．２６５等）で符号化する（ステップＳ２０５）。これにより、復号後対象ファイルが表す画像が符号化されたフレーム画像が含まれる動画ファイルが得られる。

一方で、上記のステップＳ２０４で分割する必要があると判定された場合、符号化処理部１０１の分割部１１３は、復号後対象ファイルが表す画像を複数の分割画像に分割する（ステップＳ２０６）。なお、上記のステップＳ２０４で分割方法が特定された場合には、分割部１１３は、この分割方法に従って当該画像を複数の分割画像に分割する。

次に、符号化処理部１０１の動画像符号化部１１４は、上記のステップＳ２０６で得られた複数の分割画像の各々を所定の動画像符号化方式（例えば、Ｈ．２６５等）で符号化する（ステップＳ２０７）。これにより、複数の分割画像の各々が符号化された複数のフレーム画像が含まれる動画ファイルが得られる。

ステップＳ２０５又はステップＳ２０７に続いて、符号化処理部１０１の付加情報ファイル作成部１１５は、対象ファイルに関する付加情報データを作成し、この付加情報データを付加情報ファイルに追加する（ステップＳ２０８）。これにより、付加情報ファイルが得られる。なお、付加情報ファイルが未だ作成されていない場合は、付加情報ファイル作成部１１５は、付加情報ファイルを作成した上で、付加情報データの作成及び追加を行う。

ここで、付加情報ファイル作成部１１５は、例えば、予め決められたヘッダと、上記のステップＳ２０５で得られたフレーム画像の動画ファイル中の位置情報又は上記のステップＳ２０６で得られた複数のフレーム画像のうちの最初のフレーム画像の動画ファイル中の位置情報と、図５のステップＳ１０２で取得されたファイル名と、上記のステップＳ２０２で特定されたファイル形式を示すフォーマット情報と、上記のステップＳ２０１で分離された付加情報とを含む付加情報データを作成する。なお、上記のステップＳ２０４で分割方法が特定され、かつ、上記のステップＳ２０６で当該分割方法に従って画像が分割された場合には、当該付加情報データには分割方法情報も含まれる。

なお、上記の付加情報データに含まれる位置情報は、上記のステップＳ２０６で得られた複数のフレーム画像のうちの最初のフレーム画像の動画ファイル中の位置情報に限られず、例えば、これら複数のフレーム画像全ての動画ファイル中の位置情報であってもよいし、最初のフレーム画像の位置情報と最後のフレーム画像の位置情報であってもよい。

＜復号装置２０が実行する処理＞
以降では、本実施形態に係る復号装置２０が動画ファイルと付加情報ファイルとを符号化装置１０から受信した場合に動画ファイルを復号する処理について、図７を参照しながら説明する。図７は、受信及び復号処理の一例を示すフローチャートである。

受信部２０２は、動画ファイルと付加情報ファイルとを符号化装置１０から受信する（ステップＳ３０１）。

復号処理部２０１の付加情報データ抽出部２１１は、上記のステップＳ３０１で受信した付加情報ファイルに含まれる付加情報データのうち、１つの付加情報データを抽出する（ステップＳ３０２）。なお、この付加情報データに対応する静止画ファイルが復号対象となる。以降の図７及び図８では、本ステップで抽出された付加情報データに対応する静止画ファイルを「対象ファイル」とも表す。

次に、復号処理部２０１は、上記のステップＳ３０１で受信した動画データに含まれる該当のフレーム画像を静止画に復号し、元のファイル形式に符号化すると共に、上記のステップＳ３０２で抽出された付加情報データに含まれる付加情報を追加して対象ファイルを得る（ステップＳ３０３）。このステップＳ３０３の詳細については後述する。このステップＳ３０３が繰り返し実行されることで、各付加情報データに対応する対象ファイルが得られる。

次に、復号処理部２０１の保存部２１６は、上記のステップＳ３０３で得られた対象ファイルに対して、上記のステップＳ３０２で抽出された付加情報データに含まれるファイル名を付与して記憶部２０３に保存する（ステップＳ３０４）。これにより、元の静止画ファイルが得られる。

次に、復号処理部２０１は、全ての対象ファイル（すなわち、付加情報ファイルに含まれる全ての付加情報データに対応する対象ファイル）が得られたか否かを判定する（ステップＳ３０５）。本ステップで全ての対象ファイルが得られたと判定された場合、復号処理部２０１は、処理を終了する。

一方で、上記のステップＳ３０５で得られていない対象ファイルが存在すると判定された場合、復号処理部２０１は、ステップＳ３０２に戻る。これにより、全ての対象ファイルが得られ、かつ、該当のファイル名が付与されて記憶部２０３に保存されるまで、各付加情報データに対して上記のステップＳ３０２～ステップＳ３０４が繰り返し実行される。

なお、図７では付加情報ファイルに含まれる全ての付加情報データに関して上記のステップＳ３０２～ステップＳ３０４を繰り返し実行する場合について説明したが、例えば、ユーザ等によって指定された或る特定の付加情報データに関してのみ上記のステップＳ３０２～ステップＳ３０４が実行されてもよい。

ここで、上記のステップＳ３０３の詳細について、図８を参照しながら説明する。図８は、復号及び付加情報の追加処理の一例を示すフローチャートである。なお、上記のステップＳ３０３は各付加情報データに対して繰り返し実行される。そこで、以降では、或る付加情報データに関して上記のステップＳ３０３が実行された場合について説明する。

まず、復号処理部２０１の合成部２１２は、符号化装置１０による符号化時に対象ファイルが表す画像が分割されているか否かを判定する（ステップＳ４０１）。合成部２１２は、例えば、図７のステップＳ３０２で抽出された付加情報データに含まれる位置情報や分割方法等を参照することで、対象ファイルが表す画像が分割されているか否かを判定すればよい。より具体的には、合成部２１２は、例えば、当該付加情報データに含まれる位置情報と当該付加情報データの次の付加情報データに含まれる位置情報とを参照して、動画ファイル中のこれらの位置情報の間に２以上のフレーム画像が含まれている場合には分割されていると判定すればよい。又は、合成部２１２は、例えば、当該付加情報データに分割方法が指定されている場合には分割されていると判定してもよいし、当該付加情報データに最初のフレーム画像の位置情報と最後のフレーム画像の位置情報とが含まれる場合には分割されていると判定してもよい。

上記のステップＳ４０１で分割されていないと判定された場合、復号処理部２０１の動画像復号部２１３は、動画ファイルに含まれるフレーム画像データ列中の該当のフレーム画像（例えば、図７のステップＳ３０２で抽出された付加情報データに含まれる位置情報が示す位置にあるフレーム画像）を所定の動画像符号化方式（例えば、Ｈ．２６５等）で復号する（ステップＳ４０２）。これにより、動画ファイルに含まれるフレーム画像データ列中の該当のフレーム画像を復号した静止画ファイルが得られる。

上記のステップＳ４０１で分割されていると判定された場合、復号処理部２０１の動画像復号部２１３は、動画ファイルに含まれるフレーム画像データ列中の該当の複数のフレーム画像（例えば、図７のステップＳ３０２で抽出された付加情報データに含まれる位置情報が示す位置から、この付加情報データの次の付加情報データに含まれる位置情報が示す位置の１つ前の位置までにある複数のフレーム画像）を所定の動画像符号化方式（例えば、Ｈ．２６５等）で復号する（ステップＳ４０３）。これにより、これら複数のフレーム画像の各々を復号した複数の分割画像が得られる。

次に、復号処理部２０１の合成部２１２は、上記のステップＳ４０３で得られた複数の分割画像を合成して、１つの静止画ファイルを作成する（ステップＳ４０４）。

ステップＳ４０２又はステップＳ４０４に続いて、復号処理部２０１の静止画符号化部２１４は、図７のステップＳ３０２で抽出された付加情報データに含まれるフォーマット情報から、対象ファイルのファイル形式（例えば、ＴＩＦＦ形式やＪＰＥＧ形式等）を特定する（ステップＳ４０５）。

次に、復号処理部２０１の静止画符号化部２１４は、上記のステップＳ４０５で特定されたファイル形式に応じて、上記のステップＳ４０２又は上記のステップＳ４０４で得られた静止画ファイルを符号化する（ステップＳ４０６）。

そして、復号処理部２０１の付加情報追加部２１５は、上記のステップＳ４０６で得られた符号化後の静止画ファイルに対して、図７のステップＳ３０２で抽出された付加情報データに含まれる付加情報を追加する（ステップＳ４０７）。これにより、対象ファイルが得られる（ただし、ファイル名は図７のステップＳ３０４で付与される。）。

＜まとめ＞
以上のように、本実施形態に係る符号化装置１０は、複数の静止画ファイルを動画像として符号化すると共に、これら複数の静止画ファイルのファイル名やファイル形式、付加情報、動画ファイル中の位置情報等が含まれる付加情報ファイルを作成する。これにより、本実施形態に係る符号化装置１０は複数の静止画ファイルを効率的に符号化することができると共に、付加情報ファイルを用いて復号装置２０がランダムアクセスして動画ファイルから所望の静止画ファイルのみを取得することが可能となる。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更、既存の技術との組み合わせ等が可能である。

１０ 符号化装置
２０ 復号装置
１０１ 符号化処理部
１０２ 送信部
１０３ 記憶部
１１１ ファイル読込部
１１２ 静止画復号部
１１３ 分割部
１１４ 動画像符号化部
１１５ 付加情報ファイル作成部
２０１ 復号処理部
２０２ 受信部
２０３ 記憶部
２１１ 付加情報データ抽出部
２１２ 合成部
２１３ 動画像復号部
２１４ 静止画符号化部
２１５ 付加情報追加部
２１６ 保存部

Claims (14)

1. 付加情報がそれぞれ付加された複数の静止画像から前記付加情報を分離する分離手順と、
   前記付加情報が分離された複数の静止画像のそれぞれを、所定の動画像符号化方式により動画像に含まれるフレーム画像に符号化する動画像符号化手順と、
   前記静止画像毎に、該静止画像から分離された付加情報と前記フレーム画像を前記静止画像に復号する際に必要な情報とを含むデータを作成する作成手順と、
   をコンピュータが実行することを特徴とする符号化方法。
2. 前記必要な情報には、前記静止画像が含まれるファイルのファイル名とファイル形式とが含まれる、ことを特徴とする請求項１に記載の符号化方法。
3. 前記データには、該データの先頭を表すヘッダが含まれる、ことを特徴とする請求項１又は２に記載の符号化方法。
4. 前記データには、前記静止画像に対応するフレーム画像の前記動画像における位置を示す情報が含まれる、ことを特徴とする請求項１乃至３の何れか一項に記載の符号化方法。
5. 前記符号化方法には、
   前記静止画像を複数の分割画像に分割する分割手順が含まれ、
   前記動画像符号化手順は、前記複数の分割画像のそれぞれを、前記フレーム画像に符号化し、
   前記データには、前記複数の分割画像のうち先頭の分割画像に対応するフレーム画像の前記動画像における位置を示す情報が含まれる、ことを特徴とする請求項１乃至４の何れか一項に記載の符号化方法。
6. 前記データには、前記分割手順による分割方法を示す情報が含まれる、ことを特徴とする請求項５に記載の符号化方法。
7. 付加情報がそれぞれ付加された複数の静止画像を所定の動画像符号化方式により符号化した動画像と、前記複数の静止画像のそれぞれに付加された付加情報がそれぞれ含まれる複数の付加情報データとを用いて、前記付加情報データ毎に、前記動画像に含まれるフレーム画像のうち、前記付加情報データに対応するフレーム画像を静止画像に復号する復号手順と、
   前記復号手順で復号された静止画像に対して、前記フレーム画像に対応する付加情報を付加する付加手順と、
   をコンピュータが実行することを特徴とする復号方法。
8. 前記付加情報データには、前記静止画像が含まれるファイルのファイル形式が含まれ、
   前記復号方法には、
   前記復号手順で復号された静止画像を前記ファイル形式に応じて符号化する符号化手順が含まれ、
   前記付加手順は、
   前記符号化手順で符号化された静止画像に対して、前記フレーム画像に対応する付加情報データに含まれる付加情報を付加する、ことを特徴とする請求項７に記載の復号方法。
9. 前記付加情報データには、前記静止画像が含まれるファイルのファイル名が含まれ、
   前記復号方法には、
   前記付加手順で付加情報が付加された静止画像に対して、前記ファイル名を付与して保存する保存手順が含まれる、ことを特徴とする請求項８に記載の復号方法。
10. 前記付加情報データには、前記付加情報に対応するフレーム画像の前記動画像における位置を示す位置情報が含まれ、
    前記復号手順は、
    前記付加情報データ毎に、前記動画像に含まれるフレーム画像のうち、前記付加情報データに含まれる位置情報が示す位置のフレーム画像を静止画像に復号する、ことを特徴とする請求項７乃至９の何れか一項に記載の復号方法。
11. 前記復号手順は、
    前記静止画像が符号化時に分割されている場合、前記静止画像が分割された複数の分割画像のそれぞれに対応する複数のフレーム画像を合成した合成画像を作成し、前記合成画像を静止画像に復号する、ことを特徴とする請求項７乃至１０の何れか一項に記載の復号方法。
12. 付加情報がそれぞれ付加された複数の静止画像から前記付加情報を分離する分離手段と、
    前記付加情報が分離された複数の静止画像のそれぞれを、所定の動画像符号化方式により動画像に含まれるフレーム画像に符号化する動画像符号化手段と、
    前記静止画像毎に、該静止画像から分離された付加情報と前記フレーム画像を前記静止画像に復号する際に必要な情報とを含むデータを作成する作成手段と、
    を有することを特徴とする符号化装置。
13. 付加情報がそれぞれ付加された複数の静止画像を所定の動画像符号化方式により符号化した動画像と、前記複数の静止画像のそれぞれに付加された付加情報がそれぞれ含まれる複数の付加情報データとを用いて、前記付加情報データ毎に、前記動画像に含まれるフレーム画像のうち、前記付加情報データに対応するフレーム画像を静止画像に復号する復号手段と、
    前記復号手段で復号された静止画像に対して、前記フレーム画像に対応する付加情報を付加する付加手段と、
    を有することを特徴とする復号装置。
14. 請求項１乃至６の何れか一項に記載の符号化方法に含まれる各手順又は請求項７乃至１１の何れか一項に記載の復号方法に含まれる各手順をコンピュータに実行させることを特徴とするプログラム。

Images