JP6249771B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラムに関する。

従来、画像処理置として、被写体を撮像して得られた画像データを静止画または動画として記録媒体に記録するデジタルカメラが知られている。これらの撮像装置の中には、たとえば特許文献１のように、静止画と動画を撮影し、同時に記録されたシーンを再生する撮像装置が提案されてきている。

特開平１０−２２４７２７号公報

しかしながら、特許文献１においては、動画のストリーム中に関連する静止画の情報を記録する方式であり、関連付けられた静止画を特定するために、動画のストリームを検索しなければならないため、動画が長いほど処理時間が長くなってしまうという課題があった。

そこで、本発明は、表示された静止画に関連する動画の存在を確認することができる画像処理装置を提供することを目的とする。

このような目的を達成するために、本発明の画像処理装置は、
記録媒体に記録された動画ファイルまたは静止画ファイルを読み出す読み出し手段と、読み出し手段により読み出された静止画ファイルに対応する画像を表示部に表示させる表示制御手段と、を有し、表示部に表示中の画像に対応する静止画ファイルに関連する動画ファイルのファイルサイズと、動画ファイルに含まれる参照情報に記述された動画ファイルのファイルサイズとが一致する場合に、表示制御手段は、静止画ファイルに対応する画像と共に、当該静止画ファイルに関連する動画ファイルの再生を指示するための表示アイテムを表示するようにことを特徴とする。

本発明によれば、静止画の表示中に、表示された静止画に関連する動画の存在を確認することができる。

本実施例の撮像装置の構成を示す図。 本実施例の動画静止画撮影モードの動作を示す図。 本実施例の動画静止画撮影モードの動作を示す図。 本実施例のストップモーション動画の表示例を示す図。 本実施例の動画静止画撮影モードで記録される情報を示す図。 本実施例の動画の付加情報を示す図。 本実施例の再生モードの動作を示す図。 本実施例の表示アイコンの例を示す図。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。

（実施例１）
本実施例では、音声処理装置の例として撮像装置を説明するが、動画と動画に関連付けられた静止画を再生することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。

本実施例の撮像装置は、記録媒体に記録された動画と静止画を再生することができ、動画に関連付けられた静止画を再生する場合に、その静止画に関連付けられた動画があることを示すことができる。また、動画が編集され、関連する動画の存在が不確かな状態になった場合には、表示された静止画に関連する動画があることを示す表示を行わないようにすることができる。

このような構成とすることで、本実施例の撮像装置は、表示された静止画に関連する動画の存在を容易に確認することができる。また、動画が編集されてしまった場合には、不確かな関連付け情報を表示しないようにして誤再生を防止することができる。以下、このような撮像装置について説明する。

＜全体構成＞
まず、図１を用いて、本実施例の撮像装置１００の構成を説明する。

本実施例の撮像装置１００は、図１に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、操作部１０４とを有する。また、撮像装置１００は、第１撮像部１１０と、画像処理部１１１と、第２撮像部１１２と、集音部１２０と、音声処理部１２１とを有する。また、撮像装置１００は、表示部１４０と、表示制御部１４１と、記録再生部１５０と、記録媒体１５１と、姿勢検出部１６０とを有する。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。

本実施例の撮像装置１００において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとしてＲＯＭ１０３に記録された各種プログラムをＲＡＭ１０２に展開し、プログラムに応じて撮像装置１００の各ブロックを制御する。操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタン、メニュー表示ボタン、モード切替スイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部１０４は、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。操作部１０４の各操作部材は、表示部に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部に表示される。利用者は、表示部に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。なお、操作部１０４は、表示部に対する接触を検知可能なタッチパネルであってもよい。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

第１撮像部１１０は、第２撮像部１１２は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換する。また第１撮像部１１０は、第２撮像部１１２は、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶する。画像処理部１１１は、記録時にはＲＡＭ１０２に記憶された画像データを処理し、再生時には、後述の記録媒体１５１から読みだされた画像データを処理する。画像処理部１１１は、画像データのホワイトバランス調整、ゲイン調整、色強調処理等様々な処理を行う。画像処理部１１１は処理した画像データを、表示制御部１４１に送信したり、記録再生部１５０や通信部に送信したりする。また、画像処理部１１１は、Ｈ．２６４／ＡＶＣやＭｏｔｉｏｎＪＰＥＧ２０００、Ｈ．２６５等の動画圧縮技術を用いて画像を動画として圧縮したり、ＪＰＥＧやＪＰＥＧ２０００等の静止画圧縮技術を用いて画像を静止画として圧縮したりすることもできる。圧縮形式はこれらの形式によらず他の方式を用いてもよい。

音声処理部１２１は、記録時には、集音部１２０により集音して得られた音声データを処理し、再生時には、後述の記録媒体１５１から読みだされた圧縮または非圧縮の音声データを処理する。たとえば、音声データのレベル調整処理、圧縮された音声データの伸張処理、音声データの圧縮処理等を行う。音声処理部１２１は、処理した音声データを、記録再生部１５０や通信部に送信したり、再生時にはスピーカに送信したりする。なお、集音部１２０は、たとえば、撮像装置１００のハウジング内に内蔵された複数の無指向性の音声を集音するマイクである。また、音声処理部１２１では音声圧縮方式として、たとえば、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いる。

表示部１４０は、例えば、液晶表示デバイス、または有機ＥＬ表示デバイスなどからなり、表示制御部１４１の制御により画像を表示する。表示部１４０は、ＬＥＤディスプレイなど、ユーザに画像を提供することができればどのようなものであっても良い。表示制御部１４１では、画像処理部１１１により処理された画像データに基づいて、表示部１４０に画像を表示する。また、表示制御部１４１は、表示部１４０に表示するデジタル画像信号に基づく映像信号に対し、マトリクス変換、ブライト調整、コントラスト調整、ガンマ調整、クロマゲイン調整、シャープネス調整等の画像信号処理を行ってもよい。

記録再生部１５０は、記録時においては、画像処理部１１１により処理された画像データや音声データを記録媒体１５１に記録し、再生時においては、記録媒体１５１に記録された画像データや音声データを再生する。記録再生部１５０は、記録時においては、画像データや音声データとともに、撮影日や、圧縮に関する情報、撮像部１１０の設定等の各種情報を記録媒体１５１に書き込む。なお、記録再生部１５０は、画像データや音声データを記録媒体１５１に記録する際は、たとえばＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形でファイルとして記録媒体に記録する。また、記録媒体１５１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１５０は、それらの取り外し可能な記録媒体を装着、排出するための機構を含む。

姿勢検出部１６０は、撮像装置１００の姿勢を検出するものであって、たとえば、角度センサや加速度センサなどである。本実施例の姿勢検出部１６０は、撮像装置１００の姿勢が、正位置であるか縦位置であるかを検出する。例えば撮像装置１００の第１撮像部１１０の光軸を中心とした回転姿勢角度（０度、９０度、１８０度、２７０度）を検出することができる。ここで、０度はいわゆる正位置（撮像装置１００の上面が上空方向を向いている状態）であり、１８０度は逆位置（撮像装置１００の上面が地面方向を向いている状態）である。９０度、２７０度とはいわゆる縦位置（撮像装置１００の左右面のいずれかが地面方向を向いている状態）である。

なお、本実施例の第１撮像部１１０（第１の撮像部）、第２撮像部１１２（第２の撮像部）はそれぞれ、異なる方向の被写体を撮像するものである。具体的には、第２の撮像部１１２は、撮影者（いわゆるカメラマン）を撮影するためのサブカメラであり、第１撮像部１１０は、撮影者が撮影しようとしている被撮影者（いわゆる被写体）を撮影するためのメインカメラである。したがって、たとえば、第１撮像部１１０と、第２撮像部１１２は、逆方向を撮影するものであるが、必ずしも逆方向でなくともよい。

ここで、画像処理部１１１、音声処理部１２１、表示制御部１４１、記録再生部１５０は、それぞれ、前述の各機能を実行するプログラムを搭載したマイクロコンピュータであってもよい。また、ＣＰＵ１０１がＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。

＜撮像装置１００の動作＞
続いて、本実施例の撮像装置１００の動作について説明する。

本実施例の撮像装置１００は、「静止画撮影モード」、「動画撮影モード」、「再生モード」のほかに、「動画静止画撮影モード」を有する。

各モードにおいて、ＣＰＵ１０１は、撮像装置１００の各ブロックを制御して以下の動作を行わせる。

「静止画撮影モード」、「動画撮影モード」では、撮影の指示が入力されるまでの間、第１撮像部１１０により得られた画像のみまたは、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した画像を表示部１４０に表示させる。すなわち、各撮像部により得られた画像を画像処理部１１１で処理し、表示部１４０に表示させるように表示制御部１４１を制御する。そして、撮影の指示が入力されると、画像処理部１１１に、各撮像部により得られた画像を動画または静止画として圧縮させ、圧縮した画像を順次記録媒体１５１に記録するように記録再生部１５０を制御する。「静止画撮影モード」の場合は撮影の指示に対応するタイミングで各撮像部により得られた画像を１枚または複数枚をたとえばＪＰＥＧを用いて圧縮するように画像処理部１１１を制御する。そして、圧縮された静止画データを記録媒体１５１に静止画ファイルとして記録するように記録再生部１５０を制御する。一方「動画撮影モード」においては、撮影の指示に対応するタイミングで各撮像部により得られた画像から順次得られる画像をフレーム画像とする動画をたとえばＨ．２６５を用いて圧縮するように画像処理部１１１を制御する。そして、圧縮された動画データを記録媒体１５１に動画ファイルとして記録するように記録再生部１５０を制御する。なお、「動画撮影モード」においては、撮影終了の指示が入力されるまでこの動作を継続する。また、「静止画撮影モード」、「動画撮影モード」において、静止画ファイル、動画ファイルには、各モードで撮影された画像に基づくサムネイル画像（静止画データ）が付加されて記録媒体１５１に記録される。

「動画静止画撮影モード」では、静止画記録の指示が入力されたときに、静止画撮影、静止画記録を行うとともに、静止画記録の指示が入力される直前の４秒間の動画データを記録媒体に記録する。そして、同じ日に、「動画静止画撮影モード」で、複数回の静止画記録の指示が入力された場合には、静止画記録の指示が入力される直前の４秒間の動画データを一つの動画ファイルに追記して記録する。このようにすることで、１日分の静止画撮影直前の動画データを一つの動画ファイルに格納し、閲覧性を向上させることができる。「動画静止画撮影モード」では、ＣＰＵ１０１は、撮影の指示が入力されるまでの間、第１撮像部１１０により得られた画像のみまたは、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した画像を表示部１４０に表示させる。すなわち、各撮像部により得られた画像を画像処理部１１１で処理し、表示部１４０に表示させるように表示制御部１４１を制御する。また、このとき、画像処理部１１１は、第１撮像部１１０により得られた画像のみまたは、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した画像を順次動画データとして圧縮し、ＲＡＭ１０２に一時的に記憶する。ＣＰＵ１０１は、ＲＡＭ１０２には、最新の４秒分の圧縮済みの動画データが常に保持されるようにＲＡＭ１０２の情報を管理する。たとえば最新の４秒以外の動画データは破棄してもよい。次に、静止画記録の指示が入力されると、指示に対応するタイミングで各撮像部により得られた画像を１枚または複数枚をたとえばＪＰＥＧを用いて圧縮するように画像処理部１１１を制御する。そして静止画として圧縮された静止画データを記録媒体１５１に記録するように記録再生部１５０を制御する。一方、静止画記録の指示に応じて、ＲＡＭ１０２に記憶されている最新の４秒の圧縮済みの動画データについても記録媒体１５１に記録するように記録再生部１５０を制御する。また静止画記録の指示により得られた画像を動画（ストップモーション）としても圧縮するように画像処理部１１１を制御し、最新の４秒の動画データの後に再生されるように記録媒体１５１に記録する。これにより、記録再生部１５０は、記録媒体に記録されている最新の４秒の動画データと同じ動画ファイルに静止画記録の指示により得られた画像の動画データが含まれる。

「再生モード」では、記録媒体１５１に記録されている動画ファイルまたは静止画ファイルのファイルリスト及びサムネイル画像を読み出すように記録再生部１５０を制御する。そして記録再生部１５０により再生された各ファイルのサムネイル画像を画像処理部１１１で伸張させ、伸張させたサムネイル画像を表示部１４０に表示するように表示制御部１４１を制御する。そして、ＣＰＵ１０１は、ユーザが操作部１０４を操作することで選択したサムネイル画像に対応する静止画ファイルまたは動画ファイルを画像処理部１１１に伸張させ、得られた画像を表示部１４０に表示するように表示制御部１４１を制御する。

ここで、本実施例の「動画静止画撮影モード」について、図２を用いて詳細に説明する。図２は、「動画静止画撮影モード」における撮像装置１００の動作を説明するためのフローチャートである。図２の処理はＣＰＵ１０１が撮像装置１００の各部ブロックを制御することにより実行される処理である。

（Ｓ２０１）
まず、ＣＰＵ１０１は、撮像装置１００の各ブロックの動作状態を取得する。つまり静止画記録の指示が入力される前の撮像装置１００の各ブロックの動作状態を取得する。たとえば、姿勢検出部１６０により検出された撮像装置１００の姿勢を取得する。他には、第１撮像部１１０におけるフォーカス動作に関する情報、ズーム動作に関する情報を取得する。フォーカス動作に関する情報とは、第１撮像部１１０のフォーカスレンズが駆動中であるか否かを示す情報であり、ズーム動作に関する情報とは、第１撮像部１１０のフォーカスレンズが駆動中であるか否かを示す情報である。これらの情報はＣＰＵ１０１により撮像部１１０から取得してもよいし、ＣＰＵ１０１自身が撮像部１１０の駆動を制御した履歴を保持していてもよい。また、このとき、第１撮像部１１０により得られた画像信号を画像処理部１１１に処理させている。ＣＰＵ１０１は、得られた画像を解析し、画像の中に人物または顔といった特徴画像が含まれているか否かをパターンマッチングにより判定し、さらに、顔が検出された場合には「笑顔度」を判定するように画像処理部１１１を制御する。なお、「笑顔度」は、顔画像中の目、口に該当する部分の画像を解析し目に当たる画像を結んだ線の方線と、口に該当する部分の画像の端部と中央部を結んだ線のなす角度が小さいほど「笑顔度」高いと判定し、なす角度が大きいほど「笑顔度」が低いと判定する。「笑顔度」の判定方法はこの方法に限定されない。ＣＰＵ１０１は、このようにして取得した情報を、たとえば１秒単位、０．５秒単位で、所定時間分保持する。これらの情報は後述する処理により、静止画記録の指示に対応する静止画データを含む静止画ファイルに付加情報として記録される。この付加情報は、たとえば、図６に示すようなテーブルデータとして記録される。

（Ｓ２０２）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶されている、第２撮像部１１２の設定情報を取得する。第２撮像部１１２の設定情報には、第２撮像部１１２の撮影が「有効」か「無効」かを示す情報や、第２撮像部１１２により取得された画像を、第１撮像部１１０により取得された画像に重畳して表示する際の「表示位置」や「表示サイズ」を示す情報が含まれる。

（Ｓ２０３）
次に、ＣＰＵ１０１は、Ｓ２０２で取得した第２撮像部１１２の設定情報に基づいて、第２撮像部１１２の撮影が「有効」になっているか否かを判定する。

（Ｓ２０４）
Ｓ２０３で、第２撮像部１１２の撮影が「有効」になっている場合（Ｓ２０３でＹｅｓ）、ＣＰＵ１０１は、第１撮像部により得られた画像と第２撮像部により得られた画像とを合成した画像を生成するように画像処理部１１１を制御する。

（Ｓ２０５）
Ｓ２０３で、第２撮像部１１２の撮影が「有効」になっていない場合（Ｓ２０３でＮｏ）、ＣＰＵ１０１は、第１撮像部により得られた画像を生成するように画像処理部１１１を制御する。

（Ｓ２０６）
Ｓ２０４、Ｓ２０５の後、ＣＰＵ１０１は、生成した画像を動画データとして圧縮するように画像処理部１１１を制御する。これにより、Ｓ２０４またはＳ２０５により生成された画像をフレーム画像とする動画データが生成される。そして、ＣＰＵ１０１は、圧縮された動画データをＲＡＭ１０２に一時的に記憶させる。なお、音声処理についても同様で、ＣＰＵ１０１は、集音部１２０により得られた音声信号を、音声処理部１２１に処理させ、動画データと対応付けてＲＡＭ１０２に一時的に記憶させる。なお、このとき、ＣＰＵ１０１は、Ｓ２０４またはＳ２０５により得られた画像のサイズ変更、ガンマ調整等をするように画像処理部１１１を制御し、得られた画像を表示部１４０に表示するように表示制御部１４１を制御する。これにより、静止画撮影指示が入力されるまでの間、各撮像部により得られた画像を動画データとして圧縮してＲＡＭ１０２にバッファするとともに、表示部１４０にその画像を表示することができる。

（Ｓ２０７）
次に、ＣＰＵ１０１は、操作部１０４を介して、「動画静止画撮影モード」以外のモードへの変更または、電源オフ等の指示が入力されたかを判定する。

（Ｓ２０８、Ｓ２０９）
Ｓ２０７で、モードの変更が入力された場合（Ｓ２０７でＹｅｓ）、ＣＰＵ１０１は、各撮像部により得られた画像を動画として圧縮する動作を停止するように画像処理部１１１を制御する。また、ＲＡＭ１０２に記憶した動画データ及び音声データと撮像装置１００の各ブロックの動作状態の情報とを消去し、「動画静止画撮影モード」の処理を終了する。

（Ｓ２１０）
Ｓ２０７で、モードの変更が入力されなかった場合（Ｓ２０７でＮｏ）、ＣＰＵ１０１は、撮像装置１００の各ブロックの動作状態に変化があったか、または、第２撮像部１１２の設定情報に変化があったかを判定する。なお、撮像装置１００の各ブロックの動作状態のうち一部の動作状態のみについて変化があったか判定を行ってもよいし、第２撮像部１１２の設定情報のうち一部の設定のみにについて変化があったかを判定してもよい。本実施例では、姿勢情報に変化があったか、および第２撮像部１１２の「有効」、「無効」かを示す情報に変化があったか、重畳して表示する際の「表示位置」や「表示サイズ」を示す情報に変化があったかを判定する。

（Ｓ２１１）
Ｓ２１０で、撮像装置１００の各ブロックの動作状態に変化があったか、または、第２撮像部１１２の設定情報に変化があった場合（Ｓ２１０でＹｅｓ）。ＣＰＵ１０１は、ＲＡＭ１０２に記憶した動画データ及び音声データと撮像装置１００の各ブロックの動作状態の情報とを消去する。そして、処理をＳ２０１に戻す。例えば、姿勢検出部１６０により検出された撮像装置の姿勢情報が「０度」から「９０度」に変化した場合にこのような動作を行う。また、第２撮像部１１２の設定を「有効」から「無効」に変更した場合にもこのような動作を行う。

（Ｓ２１２）
一方、Ｓ２１０で、撮像装置１００の各ブロックの動作状態に変化がなく、第２撮像部１１２の設定情報にも変化がない場合（Ｓ２１０でＮｏ）。ＣＰＵ１０１は、操作部１０４のシャッターボタンのＳＷ１がＯＮになったかを判定する。なお、本実施例の撮像装置１００のシャッターボタンは、一般的な撮像装置のシャッターボタンと同様に２段階スイッチになっている。シャッターボタンの半押し状態でＳＷ１がＯＮになり、シャッターボタンの全押し状態でＳＷ２がＯＮになる。すなわち、Ｓ２１２では、シャッターボタンが半押し状態になったか否かを判定する。ここで、操作部１０４のシャッターボタンのＳＷ１がＯＮになっていない場合（Ｓ２１２でＮｏ）、処理をＳ２０１に戻す。本実施例ではシャッターボタンのように２段階スイッチになっている構成を例に示したが、このＳＷ１、ＳＷ２は別々のボタンに割り当てられていてもよいし、タッチパネル上の異なるＵＩに対応するボタンに割り当てられていてもよい。

（Ｓ２１３）
一方、操作部１０４のシャッターボタンのＳＷ１がＯＮになっている場合（Ｓ２１２でＹｅｓ）、ＣＰＵ１０１は、静止画撮影のための動作を第１撮像部１１０に実行させる。その処理は、たとえばオートフォーカス（ＡＦ）処理、自動露出調整（ＡＥ）処理、オートホワイトバランス（ＡＷ）処理、ＡＦ補助光の発光処理等である。なお、本実施例の撮像装置１００は、ＳＷ１がＯＮである場合には、Ｓ２１０の判定を行わず、たとえば撮像装置１００の姿勢が変化したとしてもＲＡＭ１０２にバッファされた動画データ、音声データ、撮像装置１００の各ブロックの動作状態の情報とを消去しない。

（Ｓ２１４）
次に、ＣＰＵ１０１は、操作部１０４のシャッターボタンのＳＷ２がＯＮになったかを判定する。すなわち、Ｓ２１４では、シャッターボタンが全押し状態になったか否かを判定する。ここで、操作部１０４のシャッターボタンのＳＷ１がＯＮになっていない場合（Ｓ２１４でＮｏ）、処理をＳ２０１に戻す。

（Ｓ２１５）
一方、操作部１０４のシャッターボタンのＳＷ２がＯＮになっている場合（Ｓ２１４でＹｅｓ）、ＣＰＵ１０１は、静止画用の画像を取得するように、第１撮像部１１０および／または第２撮像部１１２を制御する。そして、ＣＰＵ１０１は、さらに、各撮像部により得られた画像を動画として圧縮する動作を停止するように画像処理部１１１を制御し、また表示部１４０の表示を一度ブラックアウトするように表示制御部１４１を制御する。

（Ｓ２１６）
次に、ＣＰＵ１０１は、撮影後の処理を実行する。撮影後の処理については図３を用いて説明する。図３の処理はＣＰＵ１０１が撮像装置１００の各部ブロックを制御することにより実行される処理である。

（Ｓ３０１）
ＣＰＵ１０１は、Ｓ２１５で各撮像部から取得した静止画用の画像を表示部１４０に表示するように表示制御部１４１を制御し、さらに、静止画データとして圧縮するように画像処理部１１１を制御する。そして、ＣＰＵ１０１は、画像処理部１１により生成された静止画データを記録媒体１５１に記録するように記録再生部１５０を制御する。なお、静止画データは静止画ファイルとして記録媒体１５１に記録される。なお、本実施例において、第１撮像部１１０、第２撮像部１１２のそれぞれにより得られた画像は、別々の静止画データとして圧縮するものとするが、これらを合成した状態で静止画データとして圧縮してもよい。

（Ｓ３０２）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶されている動画データが、ｔ０秒分以上の動画データであるか否かを判定する。

（Ｓ３０３）
ＲＡＭ１０２に記憶されている動画データが、ｔ０秒分以上の動画データである場合（Ｓ３０２でＹｅｓ）。ＣＰＵ１０１は、ＲＡＭ１０２に記憶されている動画データと音声データを記録媒体１５１に記録するように記録再生部１５０を制御する。なお、動画データと音声データは動画ファイルとして記録媒体１５１に記録される。また、このとき、ＣＰＵ１０１は、ＲＡＭ１０２に記憶されていた図６に示す撮像装置１００の各ブロックの動作状態を示す情報を対応する静止画ファイルのヘッダ部分に付加情報として格納する。これにより、記録媒体１５１に記録された動画データの撮影中の撮像装置１００の各ブロックの動作状態が、対応する静止画ファイルの付加情報として記録媒体１５１に記録されることになる。

（Ｓ３０４）
一方、ＲＡＭ１０２に記憶されている動画データが、ｔ０秒分より少ない動画データである場合（Ｓ３０２でＮｏ）。ＣＰＵ１０１は、ＲＡＭ１０２に記憶されている動画データと音声データ、および、撮像装置１００の各ブロックの動作状態を示す情報をＲＡＭ１０２から消去する。

（Ｓ３０５）
Ｓ３０３またはＳ３０４の処理の後、ＣＰＵ１０１は、第２撮像部１１２の設定が「有効」であるか「無効」であるかを判定する。なお、本実施例の撮像装置１００では、この後に生成する静止画記録の指示（ＳＷ２がＯＮ）に対応して第１撮像部１１０により得られた画像を動画として圧縮する際の生成方式がこの設定に応じて異なる。この動画はＳＷ２がＯＮになったことに応じて、第１撮像部１１０により得られた画像を所定フレーム連続して表示することができる動画であり、本実施例ではこの動画をストップモーションと呼ぶ。なお、本実施例においては、第２撮像部１１２により得られた画像についてはストップモーションとはせずに、第１撮像部１１０により得られた画像をプレビュー表示しているときに第２撮像部１１２により得られた画像を順次合成したものとする。第２撮像部１１２の設定が「有効」である場合には、ストップモーション動画を生成する。「無効」である場合には、ＳＷ２のＯＮになる前にＲＡＭ１０２に記憶された動画データがｔ０以上であり、ストップモーション設定が有効になっている場合には、ストップモーション動画データを生成する。一方、「無効」であった場合、ＳＷ２のＯＮになる前にＲＡＭ１０２に記憶された動画データがｔ０未満であったり、ストップモーション設定が無効になっていたりする場合には、ストップモーションデータを生成しない。

（Ｓ３０６）
Ｓ３０５で、第２撮像部１１２の設定が「有効」である場合（Ｓ３０５でＹｅｓ）、ＣＰＵ１０１は、ストップモーション動画を生成するように画像処理部１１１を制御する。この場合は、前述したように、ＳＷ２がＯＮになったときに第１撮像部１１０で得られた画像を表示部１４０にプレビュー表示しているときに第２撮像部１１２で得られた画像をストップモーション動画に合成する。すなわち、図４（ａ）のごとく、第１撮像部１１０により得られた画像のストップモーション４０１に対して、第２撮像部１１２により得られた画像が４０２のように動画として重畳されたストップモーション動画を生成する。そのためＳ３０６では、ＳＷ２がＯＮになったときに第１撮像部１１０により得られた画像をストップモーション動画用のサイズに変更する等の処理をするように画像処理部１１１を制御する。

（Ｓ３０７）
次に、ＣＰＵ１０１は、第２撮像部１１２により得られた画像をＳ３０６で生成したストップモーション用の画像に合成した画像を生成するように画像処理部１１１を制御する。

（Ｓ３０８）
次に、ＣＰＵ１０１は、Ｓ３０７で生成された合成画像を表示部１４０に表示するように表示制御部１４１を制御する。

（Ｓ３０９）
次に、ＣＰＵ１０１は、Ｓ３０７で生成された合成画像を動画の１つのフレームにして動画データとして圧縮するように画像処理部１１１を制御する。

（Ｓ３１０）
ＣＰＵ１０１は、Ｓ３０７からＳ３０９の処理をストップモーション動画の時間がｔ１秒になるまで続ける。この処理により、ｔ１秒分のストップモーション動画が生成されることになる。

（Ｓ３１１）
一方、Ｓ３０５で、第２撮像部１１２の設定が「無効」である場合（Ｓ３０５でＮｏ）、ＣＰＵ１０１は、Ｓ３０４によるＲＡＭ１０２に記憶された動画データの消去がされたか否かを判定する。動画データが消去されている場合（Ｓ３１１でＹｅｓ）、撮影後処理を終了する。すなわち、静止画記録の指示の直前の動画データもストップモーション動画の動画データも記録せずに処理を終了する。

（Ｓ３１２）
一方、動画データが消去されていない場合（Ｓ３１１でＮｏ）、ＣＰＵ１０１は、ストップモーション動画の設定が有効であるか否かを判定する。ストップモーション動画の設定が有効でない場合（Ｓ３１２でＮｏ）、ストップモーション動画の生成をせずに処理を終了する。

（Ｓ３１３）
一方、ストップモーション動画の設定が有効である場合（Ｓ３１２でＹｅｓ）、ＣＰＵ１０１は、ストップモーション動画を生成するように画像処理部１１１を制御する。Ｓ３１３では、ＳＷ２がＯＮになったときに第１撮像部１１０により得られた画像をストップモーション動画用のサイズに変更する等の処理をするように画像処理部１１１を制御する。

（Ｓ３１４）
次に、ＣＰＵ１０１は、Ｓ３１３で生成された合成画像を表示部１４０に表示するように表示制御部１４１を制御する。

（Ｓ３１５）
次に、ＣＰＵ１０１は、Ｓ３１３で生成された合成画像を動画の１つのフレームにして動画データとして圧縮するように画像処理部１１１を制御する。

（Ｓ３１６）
ＣＰＵ１０１は、Ｓ３１５の処理をストップモーション動画の時間がｔ２秒になるまで続ける。この処理により、ｔ２秒分のストップモーション動画が生成されることになる。

（Ｓ３１７）
Ｓ３１０、Ｓ３１６の後、ＣＰＵ１０１は、画像処理部１１１により生成されたストップモーション動画を記録媒体１５１に記録するように記録再生部１５０を制御する。なお、Ｓ３０３でＳＷ２がＯＮになる前の４秒分の動画データを記録媒体１５１に記録している場合には、その動画データが格納されている動画ファイルにストップモーション動画の動画データを追記する。

このようにして、Ｓ２１６の処理を終了する。なお、Ｓ２１６の処理終了後、基本的には、動画静止画撮影モードを終了せずＳ２０１から処理を継続する。

なお、本実施例においては、ｔ１＞ｔ２とする。これは、単にストップモーション動画を表示する場合は、ｔ２。ストップモーション動画に対応する画像を確認しているときのカメラマンの表情の変化をとらえた動画をストップモーション動画に合成している場合は、ｔ１。このようにカメラマンの表情の変化をとらえた動画を重畳するので、ｔ１の方が長くなるようにしている。

次に、動画静止画撮影モードにおいて、記録される静止画および動画について図５を用いて説明する。図５（ａ）は、動画静止画撮影モードにおいて、ＳＷ２がＯＮになったときタイミングと、記録される静止画と動画を示す概略図である。図５（ａ）では、以下の状況を示している。２０１３年１０月１０日に、１５時１６分２０秒にＳＷ２がＯＮされ（レリーズ１）、動画データＭ１（５０１）と、静止画データＰ１（５０２）が、記録される。更に、１５時３０分４５秒にＳＷ２がＯＮされ（レリーズ２）、動画データＭ２（５０３）と静止画データＰ２（５０４）が記録される。さらに、１５時４０分３０秒にＳＷ２がＯＮされ（レリーズ３）、動画データＭ３（５０５）と静止画データＰ３（５０６）が記録される。

図５（ｂ）は、記録媒体１５１に記録された動画ファイル、静止画ファイルの内容を示す概略図である。本実施例では、同じ日に記録されたデータを含むファイルは、１つのディレクトリ５１１（ディレクトリ名：１００＿１０１０）に格納される。ディレクトリ名及び各ファイル名はＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ Ｓｙｓｔｅｍ）に則って決定される。また、前述したように、同日に、動画静止画撮影モードで記録された動画データは、一つの動画ファイルに追記されていく。動画ファイル５１２（動画ファイル名：ＭＤＧ＿０００１．ＭＯＶ）には、図５（ａ）に示した同日に行われた、動画静止画撮影モードでの３回の撮影にそれぞれ対応した動画データが記録され、それぞれの動画データにはチャプタが設定される。すなわち、動画ファイルＭＤＧ＿０００１．ＭＯＶには、複数のシーンに対応する動画データが含まれている。それぞれのシーンは、同じフォルダに格納されている静止画ファイルＩＭＧ＿０００２．ＪＰＧ、ＩＭＧ＿０００３．ＪＰＧ、ＩＭＧ＿０００４．ＪＰＧにそれぞれ対応するシーンである。なお、通常の動画撮影モードで撮影された動画は、別の動画ファイルとして記録される。

チャプタ１（５１４）に対応する動画データは、静止画ファイルＩＭＧ＿０００２．ＪＰＧの撮影指示に対応する動画データであり、図５（ａ）の動画データＭ１である。チャプタ２（５１５）に対応する動画データは、静止画ファイルＩＭＧ＿０００３．ＪＰＧの撮影指示に対応する動画データであり、図５（ａ）の動画データＭ２及び、静止画データＰ２と同じ画像から生成されたストップモーション動画データである。チャプタ３（５１６）に対応する動画データは、静止画ファイルＩＭＧ＿０００３．ＪＰＧの撮影指示に対応する動画データであり、静止画データＰ２と同じ画像から生成されたストップモーション動画データである。チャプタ３（５１６）に対応する動画データに対応する動画データに図５（ａ）の動画データＭ３が含まれないのは、動画データＭ３がｔ０秒以下の動画データであるからである。

動画ファイルＭＤＧ＿０００１．ＭＯＶには、これらの複数の動画データを含む動画ファイルの「チャプタ参照情報」が、ヘッダ部分に記録される。このチャプタ情報は、動画静止画撮影モードで、動画データを記録媒体１５１に記録するたびに更新される。チャプタ参照情報について図５（ｃ）を用いて説明する。チャプタ参照情報は、動画ファイルのファイルサイズ（５２１）、動画ファイルに含まれる動画データのフレーム数（５２２）が含まれる。更に、設定されたチャプタ番号（５２３）と、チャプタに対応する動画データの撮影時刻（５２４）、チャプタに対応する動画データの先頭フレームの番号（５２５）、各チャプタに対応する動画データのフレーム数（５２６）が含まれる。更に、第２撮像部１１２の画像の合成位置（５２７）、チャプタに対応する動画データ中のストップモーション動画データの位置（５２８）が含まれる。

チャプタ番号（５２１）は、動画静止画撮影モードで、動画データが記録される度に追加される。動画データの撮影時刻（５２４）は、動画静止画撮影モードでＳＷ２がＯＮされた時刻および年、月、日である。すなわち、動画静止画撮影モードで記録された対応する静止画データの撮影時刻と同じである。このように各静止画データの撮影時刻と各チャプタの動画データの撮影時刻を同じにすることにより静止画データから対応するチャプタを識別することを容易にしている。

各チャプタの先頭のフレーム番号（５２５）は、動画ファイル５１２に記録された動画データ全体の中で、各チャプタの先頭フレームのフレーム番号であり、これを用いると各動画データの頭出し再生が容易に可能となる。第２撮像部１１２の画像の合成位置（５２７）は、第１撮像部１１０の画像の左上の座標を（Ｘ，Ｙ）＝（０，０）としたときに、重畳する第２撮像部１１２の画像の左上の座標Ｘ，Ｙと、第２撮像部１１２の画像の横幅Ｗ、縦幅Ｈからなる。チャプタ１では、第２撮像部１１２の画像の座標、横幅、縦幅の値が０である。この場合は、第２撮像部１１２の撮影設定が「無効」であることを示している。この第２撮像部１１２の画像の合成位置（５２７）の情報を用いることで、サブカメラの画像のみをトリミングして再生することも可能となる。

ストップモーション動画データの位置（５２８）は、各チャプタの動画データの先頭フレームを０としたときの、ストップモーション動画データ部分のフレーム番号を示す。チャプタ１の動画データでは、ストップモーション動画の部分は存在しない。そしてチャプタ２では、チャプタ２の動画データのフレーム数１８０のうち、後半の９０フレーム目から１７９フレーム目がストップモーション動画である。チャプタ３では、チャプタ３の動画データのフレーム数１８０のうちの全てがストップモーション動画である。ストップモーション動画データの位置がわかることで、各チャプタの動画データの中のストップモーション動画の部分のみを再生したり、ストップモーション動画以外の部分のみを再生したりすることが容易になる。

動画静止画撮影モードで記録されたそれぞれの静止画ファイルには、動画静止画撮影モードでＲＡＭ１０２に記憶していた、静止画記録の指示が入力される前の撮像装置１００の各ブロックの動作状態を示す付加情報が格納される（Ｓ３０３）。また、静止画ファイルにはその静止画の属性情報も格納されている。

静止画データの属性情報とは、具体的には、静止画データを記録した撮像装置のメーカ名や機種名、撮影日時、画像の白とびや黒つぶれを判断できる被写体輝度、オートフォーカスによる焦点合わせの精度を示す合焦度、撮影時のサブカメラの設定情報等である。また、ユーザにより付与された画像の優先度を示すお気に入り度や、撮影時にＡＦのためのＡＦ補助光を発光したかどうかの情報、ユーザにより設定された任意の文字列（イベント名）等の情報を付加して、属性情報として記録してもよい。また、静止画データを画像処理部１０９で解析することにより、静止画データに含まれる被写体やその数、被写体の位置、顔の大きさ等の情報を属性情報として記録してもよい。その他撮影時の設定やサムネイル画像も、静止画データの属性情報である。

一方、静止画記録の指示が入力される前の撮像装置１００の各ブロックの動作状態を示すこの付加情報は、図６に示すような情報である。図６に示すように、静止画記録の指示が入力される前の撮像装置１００の各ブロックの動作状態は、所定時間単位で取得され、その情報に基づいて、付加情報が生成される。時間軸はＳＷ２がＯＮになった時を０とし、その前の撮像装置１００の各ブロックの動作状態を４秒分保持している。図６には、カメラ１００の姿勢情報、第１撮像部１１０におけるＡＦ動作の有無の情報、及びズーム動作の有無の情報、被写体の情報としてメインカメラの被写体の笑顔度の情報が含まれる。撮像装置１００の各ブロックの動作状態として、これら以外の項目があってもよい。例えば、動画データを構成する各フレームを画像処理部１１１で解析することにより、動画データに含まれる被写体や、被写体の位置、顔の大きさ等が、撮像装置１００の各ブロックの動作状態の項目を含んでもよい。付加情報にはこのような情報が含まれる。

図６では、カメラ１００の姿勢情報は、静止画撮影までずっと横位置（０度）で保持されていたことがわかる。また、ＡＦ動作は静止画撮影の２秒前に動作したのみであり、ズーム動作は３秒前に動作したのみであることがわかる。また被写体の笑顔度は、静止画撮影の３秒前から徐々に高くなっていることが分かる。

次に、動画静止画撮影モードで記録した動画ファイル、静止画ファイルが再生される場合の動作について、図７を用いて説明する。図７の処理は、ＣＰＵ１０１が撮像装置１００の各ブロックを制御することにより実行される。

「再生モード」において、前述したように、ＣＰＵ１０１は、記録媒体１５１に記録されている動画ファイルまたは静止画ファイルのファイルリスト及びサムネイル画像を読み出すように記録再生部１５０を制御する。

（Ｓ７０１）
ＣＰＵ１０１は、指定された静止画ファイルの静止画データを読み出すように記録再生部１５０を制御し、読みだされた静止画データを画像処理部１１１に伸張させる。そして伸張させた画像を表示部１４０に表示するように表示制御部１４１を制御する。

（Ｓ７０２）
次に、ＣＰＵ１０１は、表示した静止画データに関連した動画データを検索する。ＣＰＵ１０１は、表示した静止画データの撮影時刻を静止画ファイルの属性情報に基づいて確認し、次に、同日に動画静止画撮影モードで記録された動画ファイルが、記録媒体１５１に記録されているかを判定する。動画静止画撮影モードで記録された動画ファイルには、ファイル名に「ＭＤＧ」という識別子が含まれるように記録されているため、静止画ファイルと同じ撮影日のファイル名に「ＭＤＧ」を含む動画ファイルが記録媒体１５１に記録されているかを判定する。静止画ファイルと同じ撮影日のファイル名に「ＭＤＧ」を含む動画ファイルが記録媒体１５１に記録されている場合、ＣＰＵ１０１は、表示中の静止画データに対応する動画データが、その動画ファイルに含まれているかを判定する。ＣＰＵ１０１は、特定された動画ファイルの「チャプタ参照情報」（図５（ｃ））を取得し、撮影時刻５２４の中に、表示中の静止画データの撮影時刻と一致するチャプタが存在するかを判定する。

（Ｓ７０３）
次に、ＣＰＵ１０１は、Ｓ７０２の検索の結果、表示中の静止画データの関連動画があるか否かを判定する。

（Ｓ７０４）
Ｓ７０３で、表示中の静止画データの関連動画がある場合（Ｓ７０３でＹｅｓ）、ＣＰＵ１０１は、表示中の静止画データに関連動画の存在を示すアイコンを表示部１４０に表示するように表示制御部１４１を制御する。このアイコンは関連動画の存在を示すだけでなく、アイコンが指定されたことで、関連動画を再生させるためのアイコンであってもよい。このアイコンは、たとえば図８（ａ）の関連動画全再生アイコン８０２であったり、対応動画再生アイコン８０３であったりする。関連動画全再生アイコン８０２は、表示中の静止画データの関連動画である動画ファイルの全動画データを再生する指示に対応するアイコンである。対応動画再生アイコン８０３は、表示中の静止画データの関連動画である動画ファイル中の、表示中の静止画データに関連するチャプタ（シーン）の動画データの再生の指示に対応するアイコンである。

（Ｓ７０５）
次に、ＣＰＵ１０１は、Ｓ７０４で表示したアイコンが選択されたかを判定する。

（Ｓ７０６）
Ｓ７０４で表示したアイコンが選択された場合（Ｓ７０５でＹｅｓ）、ＣＰＵ１０１は、対応する動画データを再生する。関連動画全再生アイコン８０２が選択された場合は、表示中の静止画データの関連動画である動画ファイルの全動画データを先頭から順番に読みだすように記録再生部１５０を制御し、読みだされた動画データを順次、画像処理部１１１で伸張させる。そして伸張された画像を表示部１４０に表示するように表示制御部１４１を制御する。一方、対応動画再生アイコン８０３が選択された場合は、表示中の静止画データの関連動画である動画ファイル中の、表示中の静止画データに関連するチャプタ（シーン）の動画データを読み出すように、記録再生部１５０を制御する。そして、読みだされた動画データを順次伸張するように画像処理部１１１を制御し、伸張された画像を表示部１４０に表示するように表示制御部１４１を制御する。この処理により関連する動画ファイルの全動画または関連するチャプタ（シーン）に対応する動画データをユーザは確認することができる。この処理が終了すると処理をＳ７０４に戻す。

（Ｓ７０７）
次に、Ｓ７０３で表示中の静止画データの関連動画がないと判定された場合（Ｓ７０３でＮｏ）、及びＳ７０５で、Ｓ７０４で表示したアイコンが選択されていない場合（Ｓ７０５でＮｏ）。ＣＰＵ１０１は、表示中の静止画を別の静止画ファイルの画像に変更する指示が入力されているか否かを判定する。表示中の静止画を別の静止画ファイルの画像に変更する指示が入力された場合は（Ｓ７０７でＹｅｓ）、処理をＳ７０１に戻す。

（Ｓ７０８）
一方、表示中の静止画を別の静止画ファイルの画像に変更する指示が入力されていない場合（Ｓ７０７でＮｏ）、ＣＰＵ１０１は、再生モード以外のモードへの変更指示やその他の処理の指示が入力されたかを判定する。ＣＰＵ１０１は、モードの変更やその他の処理の指示がない場合には、処理をＳ７０４へ戻し、モードの変更やその他の処理の指示がある場合は、本処理を終了する。

＜チャプタ参照情報について＞
なお、本実施例において、「チャプタ参照情報」は、動画静止画撮影モードで撮影が行われ、動画ファイルに追記が行われたときに、更新される。具体的には、動画ファイルのファイルサイズ（５２１）の情報、動画ファイルに含まれる動画データのフレーム数（５２２）の情報については、追記が行われるたびに変更する必要がある。また、撮像装置１００において、たとえば動画ファイル内の特定のチャプタの動画を削除したときには、該当するチャプタの情報を削除する。また編集時にも、上述の動画ファイルのファイルサイズ（５２１）の情報、動画ファイルに含まれる動画データのフレーム数（５２２）の情報については、編集後のファイルサイズ、フレーム数に基づいて変更する。

しかしながら、外部の編集装置により、動画静止画撮影モードで撮影された動画ファイルが編集された場合には、チャプタ参照情報が更新されない場合がある。そうすると、チャプタ参照情報を用いて、表示中の静止画データに関連するチャプタ（シーン）の動画データが特定できずに、他の動画データが再生されてしまったり、シーンが存在しないなどの不整合が発生したりする可能性がある。

そこで、本実施例の撮像装置１００は、Ｓ７０２において、ＣＰＵ１０１は、表示中の静止画データの関連動画である動画ファイルの記録媒体１５１におけるファイルサイズを取得するように、記録再生部１５０を制御する。記録媒体１５１におけるファイルサイズは、ファイルシステム上の該当する動画ファイルのファイルエントリから取得する。そしてチャプタ参照情報に格納されている動画ファイルのファイルサイズの情報と、記録媒体１５１におけるファイルサイズを比較し、これらが一致しているかを判定する。不一致である場合には、関連動画無し、と判定（Ｓ７０３でＮｏ）して、アイコンの表示を行わないようにする（図８（ｃ））。また関連動画全再生アイコン８０２のみを表示し、対応動画再生アイコン８０３は表示しないようにしてもよい（図８（ｂ））。このようにすることで、少なくとも、表示中の静止画データの関連動画である動画ファイル中の、表示中の静止画データに関連するチャプタ（シーン）の動画データの再生の指示をすることがなくなるので、無関係のチャプタ（シーン）の動画データを再生してしまうことがなくなる。

以上のように、本実施例の撮像装置１００は、表示された静止画に関連する動画の存在を確認することができる。また、表示された静止画に関連する動画の存在が不確かな状態になった場合には、表示された静止画に関連する動画があることを示す表示を行わないようにすることができる。

なお、本実施例では、撮像装置を例にとって説明したが、内蔵マイクを備え、外部マイクからの音声信号を取得することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

Claims (11)

1. 記録媒体に記録された動画ファイルまたは静止画ファイルを読み出す読み出し手段と、
   前記読み出し手段により読み出された静止画ファイルに対応する画像を表示部に表示させる表示制御手段と、を有し、
   前記表示部に表示中の画像に対応する静止画ファイルに関連する動画ファイルのファイルサイズと、前記動画ファイルに含まれる参照情報に記述された動画ファイルのファイルサイズとが一致する場合に、前記表示制御手段は、前記静止画ファイルに対応する画像と共に、当該静止画ファイルに関連する動画ファイルの再生を指示するための表示アイテムを表示するようにことを特徴とする画像処理装置。
2. 前記表示制御手段は、前記静止画ファイルの撮影日時情報に基づいて、当該静止画ファイルに関連する動画ファイルを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示アイテムは、前記動画ファイル中の前記静止画ファイルに関連するシーンのみの再生を指示するための表示アイテムであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記表示アイテムは、前記動画ファイル中の前記表示中の画像に対応する静止画ファイルに関連するシーンを含む動画データの再生を指示するための表示アイテムであることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記表示制御手段は、前記動画ファイル中の前記静止画ファイルに関連するシーンを、前記動画ファイルの参照情報に記載された各シーンの撮影日時情報と、前記静止画ファイルの撮影日時情報と、に基づいて決定することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 記録媒体に記録された動画ファイルおよび静止画ファイルを読み出す読み出しステップと、
   前記読み出しステップにより読み出された静止画ファイルに対応する画像を表示部に表示させる表示制御ステップと、を有し、
   前記表示制御ステップでは、前記表示部に表示中の画像に対応する静止画ファイルに関連する動画ファイルのファイルサイズと、前記動画ファイルに含まれる参照情報に記述された前記動画ファイルのファイルサイズとが一致する場合に、前記静止画ファイルに対応する画像と共に、当該静止画ファイルに関連する動画ファイルの再生を指示するための表示アイテムを表示することを特徴とする画像処理方法。
7. 前記表示中の画像に対応する静止画ファイルの撮影日時情報に基づいて、前記静止画ファイルに関連する動画ファイルを決定する動画ファイル決定ステップを有することを特徴とする請求項６に記載の画像処理方法。
8. 前記表示アイテムは、前記動画ファイル中の前記表示中の画像に対応する静止画ファイルに関連するシーンのみの再生を指示するための表示アイテムであることを特徴とする請求項６または７に記載の画像処理方法。
9. 前記表示アイテムは、前記動画ファイル中の前記表示中の画像に対応する静止画ファイルに関連するシーンを含む動画データの再生を指示するための表示アイテムであることを特徴とする請求項６または７に記載の画像処理方法。
10. 前記静止画ファイルに関連するシーンを、前記動画ファイルの参照情報に記述された各シーンの撮影日時情報と、前記静止画ファイルの撮影日時情報と、に基づいて決定するシーン決定ステップを有することを特徴とする請求項６ないし９のいずれか１項に記載の画像処理方法。
11. コンピュータに請求項６から１０のいずれか１項に記載の画像処理方法を実行させるためのプログラム。

Images