JP5784353B2 - 画像表示装置 - Google Patents

Description

本発明は、複数の撮像装置からフレーム画像を受信し、受信したフレーム画像を表示する画像表示装置に関する。

複数の映像を、ネットワークを経由して送受信する際の、ネットワーク上の情報量を削減する技術として、特許文献１に示される技術が開示されている。特許文献１に記載された表示制御システムでは、複数の信号源からの映像信号に基づく画像を画像表示装置の画面上における複数の表示領域にそれぞれ表示する際、各表示領域の画像表示属性情報と表示信号選択情報とが画像表示装置から各信号源に送信され、信号源側で受信した画像表示属性情報に付加されている表示領域の解像度を基に、予め情報量が削減された映像信号が各信号源から画像表示装置に送信される。これによって、ネットワーク上の情報量を削減することが可能である。

特開２００１−３５６７５３号公報

複数の映像を送受信する場合、送信される複数の映像の情報量が、受信側で処理可能な情報量を超えると、画像表示装置で表示される映像のフレームの欠落等が発生するため、送信される映像の情報量を削減し、受信側の処理負荷を低減することが望ましい。上記の表示制御システムは、画像表示装置の画面上における複数の表示領域の解像度を基に、信号源からの映像信号の情報量を削減していた。しかしながら、表示制御システムは、表示領域の解像度に基づいて信号源からの映像信号の情報量を削減するため、解像度の低い表示領域に表示する映像に関しては、表示制御システムの利用者が情報量を必要としている映像信号であっても、情報量が削減された映像しか表示できない問題があった。

本発明は、上述した課題に鑑みてなされたものであって、画像表示に係る処理負荷を低減すると共に、画像の優先度を反映した画像表示を行うことができる画像表示装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、複数の撮像装置のそれぞれから時系列的に送信されるフレーム画像を受信する通信部と、前記通信部によって受信された、前記複数の撮像装置のそれぞれからの前記フレーム画像を表示する表示部と、所定の期間内に処理可能な前記フレーム画像の量に関する処理可能情報を記憶すると共に、前記通信部によって受信された前記フレーム画像に関する撮影操作、撮影環境、又は撮影被写体の状態に対して予め決定された、前記フレーム画像の優先度を示す優先度情報を記憶する記憶部と、前記撮影操作、前記撮影環境、又は前記撮影被写体の状態を示す状態情報を前記撮像装置毎に取得する取得部と、前記記憶部に記憶されている前記処理可能情報及び前記優先度情報と、前記取得部が取得した前記状態情報とに基づいて、それぞれの前記撮像装置が所定の期間内に送信するフレーム画像のデータ量を決定する決定部と、前記決定部が決定したデータ量に対応する情報を前記複数の撮像装置のそれぞれに前記通信部から送信させる制御を行う制御部と、前記撮像装置に対して撮影操作を指示するリモート操作部と、を有し、前記取得部は、前記リモート操作部によって指示された撮影操作に基づいて前記状態情報を取得する画像表示装置である。

また、本発明の画像表示装置において、前記取得部はさらに、前記フレーム画像に付随して前記撮像装置から送信されるデータに基づいて前記状態情報を取得する。

また、本発明の画像表示装置は、前記撮像装置に対して撮影操作を指示するリモート操作部を更に有し、前記取得部はさらに、前記リモート操作部によって指示された撮影操作に基づいて前記状態情報を取得する。

また、本発明の画像表示装置は、前記フレーム画像に基づいて前記撮影被写体の変位量を解析する解析部を更に有し、前記取得部は、前記解析部による解析の結果に基づいて前記状態情報を取得する。

また、本発明の画像表示装置において、前記状態情報が、前記撮像装置のフレーミング動作に関する情報である。

また、本発明の画像表示装置において、前記状態情報が、前記撮像装置が検知した音量に関する情報である。

また、本発明の画像表示装置において、前記状態情報が、前記フレーム画像に存在する被写体を認識できたか否かに関する情報である。

また、本発明の画像表示装置において、前記状態情報が、前記フレーム画像に存在する被写体の、前記フレーム画像内における移動量に関する情報である。

本発明によれば、処理可能情報及び優先度情報と、状態情報とに基づいて、それぞれの撮像装置が所定の期間内に送信するフレーム画像のデータ量を決定することによって、画像表示に係る処理負荷を低減すると共に、画像の優先度を反映した画像表示を行うことができる。

本発明の一実施形態における制御方法を説明するためのシステム構成図である。 本発明の一実施形態における表示端末の構成を示すブロック図である。 本発明の一実施形態における撮像装置の構成を示すブロック図である。 本発明の一実施形態における表示端末の動作の手順を示すフローチャートである。 本発明の一実施形態におけるフレームレート情報のデータ形式を示す参考図である。 本発明の一実施形態におけるフレームレート変更情報のデータ形式を示す参考図である。 本発明の一実施形態における撮像装置変位データの記憶形式を示す参考図である。 本発明の一実施形態におけるフレームレートの決定方法を説明するための説明図である。 本発明の一実施形態におけるフレームレートの決定方法を説明するための参考図である。 本発明の一実施形態における優先度テーブルを示す参考図である。 本発明の一実施形態における撮像装置の動作の手順を示すフローチャートである。 本発明の一実施形態の第１の変形例における表示端末及び撮像装置の構成を示すブロック図である。 本発明の一実施形態の第２の変形例における表示端末の構成を示すブロック図である。 本発明の一実施形態の第３の変形例における表示端末の構成を示すブロック図である。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による撮像装置と表示端末（画像表示装置）を備えた表示制御システムにおける制御方法の一例を示している。図１において、表示端末１０１は、撮像装置１０２，１０３のそれぞれから送信されるリアルタイム映像を受信して表示する。本実施形態の制御方法は、フレームレートの変更指示を示すフレームレート変更情報に付加された撮像装置変位データと、表示端末１０１の最大処理可能量とに基づき、各撮像装置から表示端末１０１に対して送信されるリアルタイム映像のフレームレート（各撮像装置が１フレーム期間内に送信するフレーム画像のデータ量）を制御することで、表示端末１０１の負荷を低減するものである。

なお、本実施形態におけるフレームレート変更情報は、撮像装置１０２，１０３（以降、本実施形態において、特定の撮像装置を示す場合以外は、単に撮像装置と記す）から表示端末１０１に対して送信される情報であって、撮像装置変位データを少なくとも含む情報である。また、本実施形態における撮像装置変位データとは、各撮像装置の撮影状況や撮影環境の状態、撮像装置が捉えている被写体の状態を示すデータのことである。

また、本実施形態における撮像装置の撮影状況とは、パン・チルト，フォーカス，ズーム・ワイド操作等のフレーミング動作（撮影操作）の状況（状態）のことをいい、撮影環境の状態とは、周囲の音量の変位量等のことをいい、被写体の状態とは、被写体認識の可否（被写体を認識できたか否か）、及びフレーム画像内に存在する被写体の、フレーム画像内における移動量（変位量）等のことをいう。

また、本実施形態における最大処理可能量とは、表示端末１０１が所定期間に受信・表示処理可能なフレーム画像の最大数のことをいう。 また、本実施形態におけるリアルタイム映像とは、撮像装置の撮像部により撮像された映像であって、時系列順に生成された、フレーム毎のフレーム画像のデータで構成され、順次撮像装置の記憶部に記憶される映像のことをいう。

図１に示す例では、撮像装置の端末数と、表示端末１０１の最大処理可能量とに基づき、表示端末１０１により決定されたフレームレートで、撮像装置１０２，１０３から表示端末１０１へリアルタイム映像が送信されている状況における制御方法の一例が示されている。この状況において、撮像装置１０２でフレーミング動作が行われた場合に、撮像装置１０２から表示端末１０１に対して、フレームレート変更情報が送信される。撮像装置１０２から送信されたフレームレート変更情報に付加された撮像装置変位データと、最大処理可能量とに基づき、表示端末１０１により各撮像装置のフレームレートが再度決定される。再度決定された各撮像装置のフレームレートを示すフレームレート情報が表示端末１０１から撮像装置１０２，１０３に対して送信されることで、撮像装置１０２，１０３から表示端末１０１に送信されるリアルタイム映像のフレームレートが、フレームレート情報で示されるフレームレートに制御される。

なお、本実施形態におけるフレームレート情報とは、表示端末１０１から撮像装置１０２，１０３に対して送信される情報であって、撮像装置１０２，１０３から表示端末１０１に対して送信されるリアルタイム映像のフレームレートを指定する情報を少なくとも含む情報である。

図１（ａ）に示す例は、撮像装置の端末数と、表示端末１０１の最大処理可能量とに基づき、表示端末１０１により決定されたフレームレート情報が、表示端末１０１から撮像装置１０２，１０３に対して送信されている様子を示している。図１（ｂ）に示す例は、撮像装置１０２，１０３から表示端末１０１に対して、受信したフレームレート情報で示されるフレームレートでリアルタイム映像が送信されている様子を示している。図１（ｃ）に示す例は、撮像装置１０２でフレーミング動作が行われ、撮像装置１０２から表示端末１０１に対してフレームレート変更情報が送信されている様子を示している。

図１（ｄ）に示す例は、図１（ｃ）で受信したフレームレート変更情報に付加された撮像装置変位データに基づき、表示端末１０１により再度決定されたフレームレート情報が、表示端末１０１から撮像装置に対して送信されている様子を示している。図１（ｅ）に示す例は、撮像装置１０２，１０３から表示端末１０１に対して、再度受信したフレームレート情報で示されるフレームレートでリアルタイム映像が送信されている様子を示している。

また、図１に示す例では、撮像装置１０２のみでフレーミング動作が行われたため、撮像装置１０２のフレームレートが高く設定されているが、フレームレートが高く設定される撮像装置は一端末のみと限定されるものではない。例えば、複数の撮像装置でフレーミング動作がなされた場合は、フレームレートが高く設定される撮像装置が複数存在してもよく、またフレーミング動作がなされている撮像装置が存在しない場合は、図１（ｂ）の状態のまま維持されてもよいものとする。

また、図１に示す例では、撮像装置１０２のフレーミング動作が行われたことを条件として、撮像装置１０２から表示端末１０１に対してフレームレート変更情報が送信されるが、フレームレート変更情報が送信される条件は上記の条件に限定されるものではない。例えば、撮像装置における被写体認識の可否の変化，フレーム画像内に存在する被写体の、フレーム画像内における移動量，撮像装置が検知している音量の変化を条件としてフレームレート変更情報が送信されるようにしてもよい。

図２は、本実施形態における表示端末１０１の構成を示している。以下、本図を基に表示端末１０１の構成を説明する。本実施形態における表示端末１０１は、表示部２０１と、決定部２０２と、取得部２０３と、記憶部２０４と、処理部２０５（制御部）と、通信部２０６とを備える。

表示部２０１は、通信部２０６が受信したフレーム画像を表示する。決定部２０２は、最大処理可能量と、リアルタイム映像を送信する撮像装置の台数と、撮像装置変位データの一部，或いは全てと、撮像装置の優先度を決定するための優先度の情報とに基づき、各撮像装置のフレームレートを決定する。

取得部２０３は、通信部２０６が受信したフレームレート変更情報の解析を行い、撮像装置毎に撮像装置変位データを取得する。記憶部２０４は、フレーム画像，最大処理可能量，リアルタイム映像を送信する撮像装置の台数，フレームレート変更情報，フレームレート情報，及び優先度テーブルを記憶する。なお、本実施形態における優先度テーブルとは、撮像装置変位データを構成する各データに対して予め決定されている、フレーム画像の優先度の重みを示したテーブルのことをいう。処理部２０５は、表示端末１０１の動作を制御する。通信部２０６は撮像装置と通信を行う。

図３は、本実施形態における撮像装置の構成を示している。以下、本図を基に撮像装置の構成を説明する。本実施形態における撮像装置は、撮像部３０１と、処理部３０２と、取得部３０３と、記憶部３０４と、通信部３０５とを備える。

撮像部３０１は、被写体を撮像してフレーム画像を生成し、リアルタイム映像を取得する。処理部３０２は、撮像装置の動作を制御する。取得部３０３は、撮像装置変位データの取得、及びフレームレート変更情報の生成を行う。記憶部３０４は、リアルタイム映像，フレームレート情報，画像非送信回数，及び最大取得可能量を記憶する。通信部３０５は、表示端末１０１と通信を行う。なお、画像非送信回数とは、撮像装置から表示端末１０１に対して送信されるフレーム画像の送信処理をスキップした回数である。また、本実施形態における最大取得可能量とは、撮像装置が取得するリアルタイム映像のフレームレートを示す情報である。

図４は、本実施形態における表示端末１０１の動作を示している。以下、本図を基に表示端末１０１の動作を説明する。

処理部２０５は、リアルタイム映像表示開始命令を受け付けると、リアルタイム映像表示処理を開始する（ステップＳ４０１）。なお、本実施形態におけるリアルタイム映像表示開始命令とは、表示端末１０１にリアルタイム映像表示処理を開始させる命令であり、撮像装置と表示端末１０１が同じネットワークに所属したことを条件として発行される命令である。命令が発行される条件は上記の条件に限定されるものではなく、例えば、同じネットワークに所属している撮像装置から、通信部２０６を経由して、命令発行の指示に係る情報を受信することにより命令が発行される条件にしてもよいし、図２で示される表示端末の構成にユーザインターフェース部を更に具備し、ユーザの入力により命令が発行される条件にしてもよい。

処理部２０５は、リアルタイム映像表示処理を開始すると、最大処理可能量を決定し、記憶部２０４に記憶する（ステップＳ４０２）。処理部２０５は、最大処理可能量の記憶後、決定部２０２にフレームレート情報生成命令を発行する。

なお、本実施形態における最大処理可能量は、処理部２０５によって決定される値であるが、記憶部２０４に予め記憶されている情報を利用してもよい。また、本実施形態における最大処理可能量は、例えば通信速度をＸ、リアルタイム映像を構成するフレーム画像の１フレームのデータ量をＹとし、Ｘ／Ｙを計算することにより求めてもよい。また、本実施形態におけるフレームレート情報生成命令とは、処理部２０５から決定部２０２に対して発行される命令であり、決定部２０２にフレームレート情報を生成させる命令である。

決定部２０２は、処理部２０５からフレームレート情報生成命令を受け付けると、記憶部２０４に記憶されている、リアルタイム映像を送信する撮像装置の数と、最大処理可能量とに基づいて、各撮像装置から表示端末１０１に送信されるリアルタイム映像のフレームレートを決定し、決定したフレームレートをフレームレート情報として記憶部２０４に記憶する（ステップＳ４０３）。決定部２０２は、フレームレート情報の記憶後、処理部２０５に対し、フレームレート情報の記憶が完了したことを通知するフレームレート情報記憶完了通知を発行する。なお、リアルタイム映像を送信する撮像装置の数は、例えば撮像装置と表示端末１０１が同じネットワークに所属したことを条件として撮像装置から送信される情報（ビーコン等）から求めることが可能である。

また、フレームレート情報は、図５で示されるデータ形式で構成される情報である。フレームレート情報のデータ形式に関しては後述する。また、ステップＳ４０３におけるフレームレート決定方法に関しては後述する。

処理部２０５は、決定部２０２からフレームレート情報記憶完了通知を受け付けると、記憶部２０４に記憶されているフレームレート情報を、通信部２０６を経由して各撮像装置に送信する（ステップＳ４０４）。処理部２０５は、フレームレート情報の送信後、各撮像装置に対して、通信部２０６を経由して画像送信開始命令を送信する（ステップＳ４０５）。なお、本実施形態における画像送信開始命令とは、撮像装置に対してリアルタイム映像の送信を開始させる命令である。

処理部２０５は、画像送信開始命令の送信後、各撮像装置から送信されるフレーム画像の受信を待機する受信待機状態となる（ステップＳ４０６）。処理部２０５は、撮像装置から通信部２０６を経由してフレーム画像を受信すると、表示部２０１の所定の領域にフレーム画像を表示する（ステップＳ４０７）。処理部２０５は、フレーム画像の表示後、取得部２０３に対してフレームレート変更情報受信開始命令を発行する。なお、本実施形態におけるフレームレート変更情報受信開始命令とは、処理部２０５から取得部２０３に対して発行される命令であり、取得部２０３に対してフレームレート変更情報の受信処理を開始させる命令である。

取得部２０３は、フレームレート変更情報受信開始命令を受け付けると、フレームレート変更情報の受信を待機する受信待機状態となる（ステップＳ４０８）。取得部２０３は、フレームレート変更情報を一定時間未受信であった場合、ステップＳ４１１で示される処理を行い、通信部２０６を経由してフレームレート変更情報を受信した場合、受信したフレームレート変更情報から撮像装置変位データを取得し、記憶部２０４に記憶する。取得部２０３は、撮像装置変位データの記憶後、決定部２０２に対してフレームレート変更情報受信完了通知を発行する。なお、本実施形態におけるフレームレート変更情報受信完了通知とは、取得部２０３から決定部２０２に対して発行される通知であり、決定部２０２にフレームレート情報を再度決定させる通知である。

また、フレームレート変更情報は、図６で示されるデータ形式で構成される情報である。取得部２０３が撮像装置変位データを取得した後、図７のように、撮像装置変位データのみが記憶部２０４に記憶される。フレームレート変更情報のデータ形式と、撮像装置変位データの記憶方式に関しては後述する。

決定部２０２は、処理部２０５からフレームレート変更情報受信完了通知を受け付けると、記憶部２０４に記憶されている撮像装置変位データ，及び最大処理可能量に基づいて、各撮像装置から表示端末１０１に送信されるリアルタイム映像のフレームレートを再度決定し、決定したフレームレートをフレームレート情報として記憶部２０４に記憶する（ステップＳ４０９）。決定部２０２は、フレームレート情報の記憶後、処理部２０５に対してフレームレート情報記憶完了通知を発行する。なお、ステップＳ４０９におけるフレームレートの決定方法に関しては後述する。

処理部２０５は、フレームレート情報記憶完了通知を受け付けると、記憶部２０４に記憶されているフレームレート情報を、通信部２０６を経由して各撮像装置に送信する（ステップＳ４１０）。処理部２０５は、フレームレート情報の送信後，或いはステップＳ４０８でフレームレート変更情報を一定時間未受信であった場合、リアルタイム映像表示終了命令が発行されているか否かの判定を行う（ステップＳ４１１）。処理部２０５は、リアルタイム映像表示終了命令が発行されていた場合はステップＳ４１２で示される処理を行い、リアルタイム映像表示終了命令が発行されていない場合は、ステップＳ４０６で示されるフレーム画像の受信処理から再度処理を行う。

なお、本実施形態におけるリアルタイム映像表示終了命令とは、表示端末１０１が行っているリアルタイム映像表示処理を終了させる命令であり、撮像装置と処理部２０５が接続を切断する前に発行される命令である。命令が発行される条件は上記の条件に限定されるものではなく、例えば、リアルタイム映像を送信する撮像装置から、通信部２０６を経由して、命令発行の指示に係る情報を受信することにより命令が発行される条件にしてもよいし、図２で示される表示端末の構成にユーザインターフェース部を更に具備し、ユーザの入力により命令が発行される条件にしてもよい。

処理部２０５は、リアルタイム映像表示終了命令を受け付けると、各撮像装置に対して画像送信終了命令を送信し、ネットワークから離脱する（ステップＳ４１２）。なお、本実施形態における画像送信終了命令とは、表示端末１０１から各撮像装置に対して送信される命令であり、撮像装置に対してリアルタイム映像の送信を終了させる命令である。

ステップＳ４０３等で示される、フレームレート情報のデータ形式に関して、図５を基に説明する。フレームレート情報は、メッセージ種別５０１，データ長５０２，送信先ＩＰアドレス５０３，送信元ＩＰアドレス５０４，及びフレームレート指定値５０５で構成される情報である。

メッセージ種別５０１には、本情報がフレームレート情報であることを示すデータが格納される。データ長５０２には、本フレームレート情報のデータ長が格納される。送信先ＩＰアドレス５０３には、フレームレートを指定する撮像装置のＩＰアドレスが格納される。送信元ＩＰアドレス５０４には、本フレームレート情報を送信した表示端末１０１のＩＰアドレスが格納される。フレームレート指定値５０５には、撮像装置から表示端末１０１に送信されるフレーム画像のフレームレートの指定値が格納される。

ステップＳ４０８等で示される、フレームレート変更情報のデータ形式に関して、図６を基に説明する。フレームレート変更情報は、メッセージ種別６０１，データ長６０２，送信先ＩＰアドレス６０３，送信元ＩＰアドレス６０４，及び撮像装置変位データ６０５で構成される情報である。

メッセージ種別６０１には、本情報がフレームレート変更情報であることを示すデータが格納される。データ長６０２には、本フレームレート変更情報のデータ長が格納される。送信先ＩＰアドレス６０３には表示端末１０１のＩＰアドレスが格納される。送信元ＩＰアドレス６０４には、本フレームレート変更情報を送信した撮像装置のＩＰアドレスが格納される。撮像装置変位データ６０５には、送信元ＩＰアドレス６０４に該当する撮像装置の撮像変位データが格納される。

ステップＳ４０８で示される、撮像装置変位データの記憶方式に関して、図７を基に説明する。記憶部２０４に記憶される撮像装置変位データの情報は、撮像装置変位データ検索テーブル７０１，ＩＰアドレス７０２，及び撮像装置変位データ７０３で構成される。

撮像装置変位データ検索テーブル７０１には、記憶部２０４に保存されている撮像装置変位データ７０３を取得した撮像装置のＩＰアドレス７０２が関連付けられている。ＩＰアドレス７０２には、該当する撮像装置の撮像装置変位データ７０３が関連付けられている。撮像装置変位データ７０３には、パン・チルトやズーム等のフレーミング動作の状態や変位量，音量の変位量，被写体認識の状態等が含まれる。上記のように、撮像装置変位データ検索テーブル７０１は、撮像装置変位データ７０３が関連付けられたＩＰアドレス７０２が関連付けられた状態で記憶部２０４に記憶されている。

ステップＳ４０３で示される、フレームレートの決定方法に関して、図８を基に説明する。ステップＳ４０３における、各撮像装置のフレームレートの決定は、記憶部２０４に記憶されている、接続している撮像装置の数と、最大処理可能量とに基づき、各撮像装置に対してフレーム数を均一に割り当てることで行われる。例えば、図８において、表示端末１０１の最大処理可能量を３０ｆｐｓと仮定すると、撮像装置の数は、撮像装置８０２，８０３，８０４の３台であるため、各撮像装置のフレームレートの合計が表示端末１０１の最大処理可能量を超えないように、各撮像装置に１０ｆｐｓが割り当てられる。

ステップＳ４０９で示される、フレームレートの決定方法に関して、図８，図９，及び図１０を基に説明する。ステップＳ４０９における、各撮像装置のフレームレートの決定は、記憶部２０４に記憶されている最大処理可能量と、記憶部２０４に記憶されている撮像装置変位データから決定された各撮像装置の優先度とに基づき、各撮像装置に対してフレーム数を個別に割り当てることで行われる。

なお、本実施形態においては、各撮像装置の優先度は、各撮像装置変位データから予測された各撮像装置の撮影段階により決定されるものとする。或いは、各撮像装置の優先度は、各撮像装置変位データを、図１０で示される優先度テーブルに照合することにより決定されるものとする。

ステップＳ４０９における、各撮像装置の優先度の決定が、各撮像装置の撮影段階により決定される場合、各撮像装置変位データから各撮像装置の撮影段階が予測される。例えば、図８及び図９において、撮像装置８０２の撮像装置変位データ９０１から、撮像装置８０２は、被写体８０１が画角内に存在し、かつ変倍操作が行われている状況であることが判別できる。このため、撮像装置８０２は構図決定の段階であると予測される。

また、撮像装置８０３の撮像装置変位データ９０２から、撮像装置８０３は、被写体８０１が画角内に存在せず、かつパン・チルトが行われている状況であることが判別できる。このため、撮像装置８０３は、被写体８０１の捕捉を行っている段階であると予測される。また、撮像装置８０４の撮像装置変位データ９０３から、撮像装置８０４は、被写体８０１が画角内に存在し、かつフレーミング動作が行われていない状況であることが判別できる。このため、撮像装置８０４は、撮影可能な段階であると予測される。

各撮像装置の撮影段階の予測後、各撮像装置の優先度の決定が行われる。フレーミング動作が行われている状況では、パン・チルト等による撮像装置の動きによってリアルタイム映像内の被写体の動きが大きくなる。リアルタイム映像内の被写体の動きが大きく、且つリアルタイム映像のフレームレートが低い状況では、ユーザが被写体を追いづらくなり、フレーミング動作の微調整が困難になる。このため、フレーミング動作中、即ち被写体の捕捉を行っている段階ではフレームレートが高くなるように、優先度を高く決定することが考えられる。例えば、図８及び図９において、撮影可能な段階に最も遠い段階から優先度を高く決定すると、被写体の捕捉を行っている段階にある撮像装置８０３は高い優先度となり、構図決定の段階にある撮像装置８０２は通常の優先度となり、撮影可能な段階にある撮像装置８０４は低い優先度となる。

なお、各撮影段階と優先度との関係を示す情報（優先度情報）が予め記憶部２０４に格納されており、撮影段階の予測後、記憶部２０４に記憶されている情報に基づいて、撮影段階に対応した優先度が決定される。また、本実施形態においては、撮影可能な段階に最も遠い段階から優先度を高く決定したが、撮影段階に基づく優先度の決定方法は、上記の方法に限定されるものではない。例えば、撮影可能な段階に最も近い段階から優先度を高く決定する方法や、構図決定の段階にある撮像装置の優先度を高く決定する方法でもよい。

優先度の決定後、記憶部２０４に記憶されている最大処理可能量と、各撮像装置の優先度とに基づいて、各撮像装置のフレーム数の割り振りが行われる。なお、各撮像装置の撮影段階により優先度を決定する場合における優先度の重みは、優先度の低い撮像装置から順に自然数で割り当てられるものとし、フレーム数の割り振りは、最大処理可能量と優先度の重みに基づいて割り当てられるものとする。

例えば、図８及び図９において、低い優先度の撮像装置８０４は優先度１，通常の優先度の撮像装置８０２は優先度２，高い優先度の撮像装置８０３は優先度３となる。このため、表示端末１０１の最大処理可能量を３０ｆｐｓと仮定すると、各撮像装置のフレームレートの合計が表示端末１０１の最大処理可能量を超えないように、通常の優先度である撮像装置８０２には１０ｆｐｓ、高い優先度である撮像装置８０３には１５ｆｐｓ、低い優先度である撮像装置８０４には５ｆｐｓが割り当てられる。

一方、ステップＳ４０９における、各撮像装置の優先度の決定が、各撮像装置変位データを、図１０で示される優先度テーブル（優先度情報）に照合することで決定される場合は以下のようになる。図１０に示すように、優先度テーブルでは、撮像装置変位データを構成するデータの項目と、その項目に属する詳細情報と、その詳細情報に割り当てられた優先度とが関連付けられている。

撮像装置変位データを構成するデータの項目とは、フレーミング，被写体認識，及びその他である。フレーミングに属する詳細情報とは、パン，チルト，ズーム，ワイド，及びフォーカス等である。被写体認識に属する詳細情報とは、被写体を認識できなかったことを示す「認識不可」，被写体が移動中であることを示す「移動中」，及び被写体が静止中であることを示す「静止中」等である。その他とは、音量の変化量等である。

前述したように、フレーミング動作が行われている状況では、パン・チルト等による撮像装置の動きによってリアルタイム映像内の被写体の動きが大きくなり、フレーミング動作の微調整が困難になる。このため、パンやチルトに対する優先度は高い値に設定されている。また、変倍操作等によってもリアルタイム映像内の被写体に動きが発生するので、ズーム，ワイド，及びフォーカスに対する優先度は、パン・チルトに対する優先度の次に高い値に設定されている。

一方、被写体認識に関しては、被写体を認識できなかった場合にユーザが被写体を探しやすくするために、「認識不可」に対する優先度は高い値に設定されている。また、被写体が移動中である場合もユーザが被写体を探しやすくするために、「移動中」に対する優先度は、「認識不可」に対する優先度の次に高い値に設定されている。

優先度テーブルを利用した、各撮像装置の優先度の決定では、各撮像装置変位データと、優先度テーブルとの照合が行われ、優先度テーブルに示されている、撮像装置変位データに該当する項目の優先度の合計値が各撮像装置の優先度として決定される。優先度の決定後、記憶部２０４に記憶されている最大処理可能量と、各撮像装置の優先度とに基づいて、各撮像装置のフレーム数の割り振りが行われる。なお、優先度テーブルを利用して、各撮像装置の優先度を決定する場合、フレーム数の割り振りは、最大処理可能量と優先度の重みに基づいて割り当てられるものとする。

例えば、図８，図９，図１０において、各撮像装置変位データと優先度テーブルを照合すると、各撮像装置の優先度は以下のようになる。なお、撮像装置８０２と撮像装置変位データ９０１が対応し、撮像装置８０３と撮像装置変位データ９０２が対応し、撮像装置８０４と撮像装置変位データ９０３が対応するものとする。撮像装置８０２の優先度は７（＝５＋１＋１）、撮像装置８０３の優先度は２１（＝１０＋１＋１０）、撮像装置８０４の優先度は２（＝１＋１）となる。このため、表示端末１０１の最大処理可能量を３０ｆｐｓと仮定すると、各撮像装置のフレームレートの合計が表示端末１０１の最大処理可能量を超えないように、撮像装置８０２には７ｆｐｓ，撮像装置８０３には２１ｆｐｓ，撮像装置８０４には２ｆｐｓが割り当てられる。

なお、本実施形態における優先度テーブルには、図１０で示される優先度テーブルを利用したが、優先度テーブルは図１０に限定されるものではない。例えば、各フレーミング動作の変化量，被写体の移動量，音量の変化量等を加味し、各変化量に応じて優先度の重みが異なる優先度テーブルでもよい。

図１１は、本実施形態における撮像装置の動作を示している。以下、本図を基に撮像装置の動作を説明する。

処理部３０２は、画像送信処理開始命令を受け付けると、画像送信処理を開始する（ステップＳ１１０１）。なお、本実施形態における画像送信処理開始命令とは、撮像装置に画像送信処理を開始させる命令であり、表示端末１０１と撮像装置が同じネットワークに所属したことを条件として発行される命令である。命令が発行される条件は上記の条件に限定されるものではなく、例えば、同じネットワークに所属している表示端末１０１から、通信部３０５を経由して、命令発行の指示に係る情報を受信することにより命令が発行される条件にしてもよいし、図３で示される撮像装置の構成にユーザインターフェース部を更に具備し、ユーザの入力により命令が発行される条件にしてもよい。

処理部３０２は、画像送信処理の開始後、フレームレート情報の受信を待機する受信待機状態となる（ステップＳ１１０２）。処理部３０２は、通信部３０５を経由してフレームレート情報を受信すると、最大取得可能量を決定し、フレームレート情報と最大取得可能量を記憶部３０４に記憶する（ステップＳ１１０３）。処理部３０２は、フレームレート情報と最大取得可能量の記憶後、これら二つの情報に基づき、画像非送信回数の規定値を決定し、記憶部３０４に記憶する（ステップＳ１１０４）。

前述したように、最大取得可能量とは、撮像装置が取得するリアルタイム映像のフレームレートを示す情報である。また、画像非送信回数とは、撮像装置から表示端末１０１に対して送信されるフレーム画像の送信処理をスキップした回数である。なお、画像非送信回数の規定値とは、フレームレート情報に付加されているフレームレートの指定値と、最大取得可能量とに基づいて算出された値である。例えば、フレームレートの指定値を５ｆｐｓと仮定し、最大取得可能量を３０ｆｐｓと仮定した場合、３０ｆｐｓを５ｆｐｓに変更するには、６フレームに一度、フレーム画像を送信すればよいため、画像非送信回数の規定値は６と算出される。なお、記憶部３０４には、画像非送信回数の規定値とは別に画像非送信回数が記憶されており、この画像非送信回数にはクリア後の値が設定されている。

処理部３０２は、画像非送信回数の規定値の記憶後、画像送信開始命令の受信を待機する受信待機状態となる（ステップＳ１１０５）。処理部３０２は、通信部３０５を経由して画像送信開始命令を受信すると、撮像部が取得し、記憶部３０４に順次記憶しているリアルタイム映像の最新のフレーム画像を、表示端末１０１に対して、通信部３０５を経由して送信する（ステップＳ１１０６）。

処理部３０２は、ステップＳ１１０６におけるフレーム画像の送信後、記憶部３０４に記憶している画像非送信回数が、記憶部３０４に記憶している画像非送信回数の規定値と一致するか否かの判定を行う（ステップＳ１１０７）。処理部３０２は、画像非送信回数が画像非送信回数の規定値と一致した場合は、ステップＳ１１０８で示される処理を行い、一致しなかった場合は、ステップＳ１１１０で示される処理を行う。

処理部３０２は、ステップＳ１１０７の処理で画像非送信回数が画像非送信回数の規定値と一致した場合、記憶部３０４に記憶されているリアルタイム映像の最新のフレーム画像を、表示端末１０１に対して、通信部３０５を経由して送信し（ステップＳ１１０８）、画像非送信回数をクリアする（ステップＳ１１０９）。処理部３０２は、画像非送信回数のクリア後、取得部３０３に対して撮像装置変位データ取得命令を発行する。なお、本実施形態における撮像装置変位データ取得命令とは、処理部３０２から取得部３０３に対して発行される命令であり、取得部３０３に対して撮像装置の撮影状況や、撮影している被写体の変位量の取得を開始させる命令である。

一方、処理部３０２は、ステップＳ１１０７の処理で画像非送信回数が画像非送信回数の規定値と一致しなかった場合、画像非送信回数をカウントアップする（ステップＳ１１１０）。処理部３０２は、画像非送信回数のカウントアップ後、取得部３０３に対して撮像装置変位データ取得命令を発行する。

取得部３０３は、ステップＳ１１０９，或いはステップＳ１１１０において、処理部３０２から撮像装置変位データ取得命令を受け付けると、撮像装置変位データの取得を行い、取得した撮影状況，或いは被写体の変位量に変化があるか否かの判定を行う（ステップＳ１１１１）。なお、取得部３０３が取得した撮像装置変位データは記憶部３０４に記憶されており、ステップＳ１１１１では、最後に取得した撮像装置変位データから取得した撮影状況，或いは被写体の変位量と、最後に取得した撮像装置変位データの１回前に取得した撮像装置変位データから取得した撮影状況，或いは被写体の変位量とを比較することにより判定が行われる。

撮影状況，或いは被写体の変位量に変化がある場合、取得部３０３はフレームレート変更情報に撮像装置変位データを付加して記憶部３０４に記憶し、処理部３０２に対してフレームレート変更情報記憶完了通知を発行する。一方で、撮影状況にも被写体の変位量にも変化が無い場合、ステップＳ１１１５で示される処理が行われる。なお、本実施形態におけるフレームレート変更情報記憶完了通知は、取得部３０３から処理部３０２に対して発行される命令であり、処理部３０２に対してフレームレート変更情報の送信処理を行わせる命令である。

処理部３０２は、フレームレート変更情報記憶完了通知を受け付けると、記憶部３０４に記憶されているフレームレート変更情報を、表示端末１０１に対して、通信部３０５を経由して送信する（ステップＳ１１１２）。処理部３０２は、フレームレート変更情報の送信後、フレームレート情報の受信を待機する受信待機状態となる（ステップＳ１１１３）。通信部３０５を経由してフレームレート情報を受信すると、処理部３０２は、受信したフレームレート情報を記憶部３０４に記憶し、ステップＳ１１１４で示される処理を行う。

処理部３０２は、ステップＳ１１１３で受信したフレームレート情報の記憶後、ステップＳ１１１３で受信して記憶部３０４に記憶したフレームレート情報と、ステップＳ１１０３で記憶部３０４に記憶した最大取得可能量とに基づき、画像非送信回数の規定値を更新する（ステップＳ１１１４）。

処理部３０２は、ステップＳ１１１４における画像非送信回数の規定値の更新後，或いはステップＳ１１１１において撮影状況，被写体の変位量に変化が無いと判定された場合、表示端末１０１から画像送信終了命令を受信しているか否かの判定を行う（ステップＳ１１１５）。画像送信終了命令を受信していた場合、処理部３０２は、表示端末１０１に対するリアルタイム映像の送信を中止し、画像送信処理を終了する。一方、画像送信終了命令を未受信であった場合、処理部３０２は、ステップＳ１１０７で示される画像非送信回数の判定から再度処理を実行する。

（実施形態における効果）
以上が本発明の実施形態である。本実施形態によれば、各撮像装置から送信されるフレーム画像のデータ量（フレームレート）の合計が表示端末の最大処理可能量を超えないように、各撮像装置から送信されるフレーム画像のデータ量が決定されるので、表示端末における画像表示に係る処理負荷を低減することができる。また、フレーム画像に関する撮影操作，撮影環境，撮影被写体の状態を示す撮像装置変位データと、優先度に関する情報とに基づいて、ユーザが情報量を必要とするであろう状態にある撮像装置に優先的に高いデータ量を割り当てることによって、ユーザが情報量を必要とするであろう映像の情報量は削減されないように、画像の優先度を反映した画像表示を行うことができる。

また、撮像装置変位データに、撮像装置のフレーミング動作に関する情報が含まれるので、各撮像装置における、パン・チルト，ズーム・ワイド，フォーカス等のフレーミング動作に基づいて、各撮像装置から表示端末へ送信されるフレーム画像のデータ量を決定することができる。

また、撮像装置変位データに、撮像装置が検知した音量に関する情報が含まれるので、各撮像装置が検知した周囲の音量に基づいて、各撮像装置から表示端末へ送信されるフレーム画像のデータ量を決定することができる。

また、撮像装置変位データに、フレーム画像に存在する被写体を認識できたか否かに関する情報が含まれるので、フレーム画像に存在する被写体の認識の成否に基づいて、各撮像装置から表示端末へ送信されるフレーム画像のデータ量を決定することができる。

また、撮像装置変位データに、フレーム画像に存在する被写体の、フレーム画像内における移動量に関する情報が含まれるので、フレーム画像に存在する被写体の移動量に基づいて、各撮像装置から表示端末へ送信されるフレーム画像のデータ量を決定することができる。

（変形例）
本発明の実施形態の説明は以上であるが、本発明は上記の実施形態に限定されるものではない。

（第１の変形例）
例えば、図１２（ａ）で示されるように、表示端末１０１が、撮像装置における撮影状況を指示するリモート操作部１２０１を更に具備し、表示端末１０１から撮像装置の撮影状況を指示できる構成にしてもよい。リモート操作部１２０１は、ユーザから、撮影状況に係る操作を受け付けるように構成されており、処理部２０５は、リモート操作部１２０１がユーザから受け付けた撮影状況の情報を、撮像装置に対して、通信部２０６を経由して送信する。撮像装置において、処理部３０２は、表示端末１０１から送信された撮影状況の情報を、通信部３０５を経由して受信し、受信した撮影状況の情報に基づいて、撮像部３０１の状態を制御する。

また、第１の変形例で示されるシステムにおいては、図１２（ｂ）で示されるように、リモート操作部１２０１を取得部２０３の一部として扱い、リモート操作部１２０１を利用して行われる撮像装置の撮影状況の変化に基づき、表示端末１０１における各撮像装置のフレーム数の割り当てが行われるようにしてもよい。リモート操作部１２０１は、ユーザから、撮影状況に係る操作を受け付けるように構成されており、取得部２０３は、リモート操作部１２０１がユーザから受け付けた撮影状況の情報から撮像装置変位データを取得する。なお、表示端末１０１が図１２（ｂ）で示される構成の場合、撮像装置は取得部３０３を持たなくともよい。

（第２の変形例）
例えば、図１３で示されるように、表示端末１０１における取得部２０３が、撮像装置から送信されるフレーム画像の解析を行う映像解析部１３０１を更に具備し、映像解析部１３０１がフレーム画像の解析によって取得した被写体の変化量に基づき、表示端末１０１における各撮像装置のフレーム数の割り当てが行われるようにしてもよい。取得部２０３は、映像解析部１３０１がフレーム画像の解析によって取得した被写体の変化量から撮像装置変位データを取得する。なお、表示端末１０１が図１３で示される構成の場合、撮像装置は取得部３０３を持たなくともよい。

（第３の変形例）
例えば、図１４で示されるように、表示端末１０１における取得部２０３が、図１２で示されるリモート操作部１２０１と、図１３で示される映像解析部１３０１とを更に具備し、リモート操作部１２０１を利用して行われる撮像装置の撮影状況の変化と、映像解析部１３０１により解析された被写体の変化量とに基づき、表示端末１０１における各撮像装置のフレーム数の割り当てが行われるようにしてもよい。なお、表示端末１０１が図１４で示される構成の場合、撮像装置は取得部３０３を持たなくともよい。

以上のように、本発明の要旨を逸脱しない限りは、本発明における各装置の構成，及びシステムは、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１０１・・・表示端末、１０２，１０３，８０２，８０３，８０４・・・撮像装置、２０１・・・表示部、２０２・・・決定部、２０３，３０３・・・取得部、２０４，３０４・・・記憶部、２０５，３０２・・・処理部、２０６，３０５・・・通信部、３０１・・・撮像部、１２０１・・・リモート操作部、１３０１・・・映像解析部

Claims (7)

1. 複数の撮像装置のそれぞれから時系列的に送信されるフレーム画像を受信する通信部と、
   前記通信部によって受信された、前記複数の撮像装置のそれぞれからの前記フレーム画像を表示する表示部と、
   所定の期間内に処理可能な前記フレーム画像の量に関する処理可能情報を記憶すると共に、前記通信部によって受信された前記フレーム画像に関する撮影操作、撮影環境、又は撮影被写体の状態に対して予め決定された、前記フレーム画像の優先度を示す優先度情報を記憶する記憶部と、
   前記撮影操作、前記撮影環境、又は前記撮影被写体の状態を示す状態情報を前記撮像装置毎に取得する取得部と、
   前記記憶部に記憶されている前記処理可能情報及び前記優先度情報と、前記取得部が取得した前記状態情報とに基づいて、それぞれの前記撮像装置が所定の期間内に送信するフレーム画像のデータ量を決定する決定部と、
   前記決定部が決定したデータ量に対応する情報を前記複数の撮像装置のそれぞれに前記通信部から送信させる制御を行う制御部と、
   前記撮像装置に対して撮影操作を指示するリモート操作部と、
   を有し、前記取得部は、前記リモート操作部によって指示された撮影操作に基づいて前記状態情報を取得する画像表示装置。
2. 前記取得部はさらに、前記フレーム画像に付随して前記撮像装置から送信されるデータに基づいて前記状態情報を取得する請求項１に記載の画像表示装置。
3. 前記フレーム画像に基づいて前記撮影被写体の変位量を解析する解析部を更に有し、
   前記取得部はさらに、前記解析部による解析の結果に基づいて前記状態情報を取得する請求項１に記載の画像表示装置。
4. 前記状態情報が、前記撮像装置のフレーミング動作に関する情報である請求項１に記載の画像表示装置。
5. 前記状態情報が、前記撮像装置が検知した音量に関する情報である請求項１に記載の画像表示装置。
6. 前記状態情報が、前記フレーム画像に存在する被写体を認識できたか否かに関する情報である請求項１に記載の画像表示装置。
7. 前記状態情報が、前記フレーム画像に存在する被写体の、前記フレーム画像内における移動量に関する情報である請求項１に記載の画像表示装置。

Images