JP2005269276A

JP2005269276A - 画像サーバー及び画像サーバーシステム

Info

Publication number: JP2005269276A
Application number: JP2004079245A
Authority: JP
Inventors: Hirohide Yamashiro; 啓秀山城
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2004-03-18
Filing date: 2004-03-18
Publication date: 2005-09-29

Abstract

【課題】画像サーバーに接続されたモニター出力とは異なったマルチ画面表示をクライアント側にてできるようにすること。
【解決手段】画像サーバーにマルチ画面モニター出力画像と独立した画像配信出力を機能をもたせ、同一クライアントからの画像配信要求を同時に受付けて、クライアント側独自のマルチ画面表示ができるようにし、さらにクライアント側の優先順位を設けることにより配信速度の差を出すようにして画像配信の効率化を図る。
【選択図】図２

Description

ネットワークによるサーバー・クライアントシステムに関し、特に例えば画像配信機能に関する。

例えば複数の監視カメラからの映像をネットワークを介してクライアントに送信する従来方式のネットワーク画像配信において、クライアント側では監視対象の状態を確認するため、複数の監視カメラからの画像を見る必要があるが、そのときクライアント側のブラウザでは１枚の画像データすべてが送られてきた後に画像が更新される。すなわち１枚の画像データすべてを受け取らないと画像更新ができない。また、一度に複数の監視対象を確認するためにマルチ画面表示が用いられるが、クライアント側でマルチ画面を表示するにはサーバー側で画面を組み合わせてマルチ画面を作成し、その作成されたマルチ画面１枚をクライアント側に配信し、クライアント側が配信されたそのマルチ画面を表示する方式がとられている。
関連する先行技術文献は発見できず。

サーバー側でマルチ画面を作成して画像を配信すると、それぞれのチャンネル(監視カメラ毎)の画像の解像度が半分ないし１／３等の解像度の劣化がおこる。一方、チャンネル毎に1枚ずつ配信すると、クライアントが画像を受け取らないと次のチャンネル画像の要求をしないので、画像の更新速度が遅くなってしまう。

また、サーバー側でマルチ画面を作成して画像を配信することは、チャンネル毎のそれぞれの画像を記録する記録機器のモニターに出力するマルチ表示画面と同様のものであり、このマルチ画面をクライアントに配信することでネットワークでのクライアントもマルチ画面を表示することが可能であるものの、その画像は記録機器からの出力画像と同じものであるために記録機器の出力画面モードでの画像出力とネットワークでの画面出力が同じものとなってしまう。

さらに、従来のマルチユーザー管理では低いレベルのユーザー要求も高いレベルのユーザー要求もサーバー側では同等と扱われて画像配信されていたため、マルチユーザーアクセス時にレベルの低いユーザーの方が画像更新速度が速い場合があった。

クライアントからの要求に対しては同時に複数受けれるようにし、ネットワーク表示画面でのマルチ画面にはチャンネル毎の画面を並べて表示することで、本体の画面出力モードと異なるネットワークの画面出力が可能となる。

チャンネル毎の要求に対して排他制御およびメモリ管理をし、ユーザー毎の要求に対しても排他制御およびメモリ管理をすることで、効率的な画像更新とユーザー毎の画像更新速度の差異を表現することを可能とする。

クライアントのブラウザから複数の画像配信要求を受けられるようにし、さらにチャンネル毎専用の排他制御およびメモリ管理をすることによって、シーケンシャルにくる画像の配信要求に対して複数の要求チャンネルをチェックすることで効率的に画像を配信することで、画像更新の速度低下を防ぐことが出来る。また今回、チャンネル毎の画像を配信するので、本体の画面モードとネットワーク画面の画面モードが異なった出力が可能となる。さらに、ユーザー管理についても排他制御およびメモリ管理を別途設けることで、レベルの低いユーザーがレベルの高いユーザーよりも画像更新速度が速くなることは無くなる。

すなわち、本願発明を用いることで本体記録機器の画面モードと異なるネットワーク画面モード出力を可能とすることができ、クライアントからの複数のアクセスを許可したチャンネル毎の排他制御およびメモリ管理を行うことで、画像の更新速度の向上とマルチユーザー時の画像更新速度の差異を実現することができる。

以下本発明の一実施例について説明する。

図１は本実施例のサーバー側のブロック図である。

１は映像を撮影するカメラであり、デコーダー２はカメラ１からのアナログ画像信号をデジタル画像信号へ変換する。D1-I/F(IN)３はデコーダー２からの画像信号をデータバス８に適合する信号に変換する。SDRAMコントローラ４はMonitor Out用のSDRAM６をコントロールするSDRAMコントローラでD1-I/F(IN)３からの画像信号をSDRAM６へ書き込み、かつSDRAM６から画像信号を読み出してデータバス８へ出力し、SDRAMコントローラ５はRec Out用のSDRAM７をコントロールするSDRAMコントローラでD1-I/F(IN)３からの画像データをSDRAM７へ書き込み、かつSDRAM７からの画像信号を読み出してデータバス８へ出力する。

Monitor Out用SDRAM６は複数の記憶領域（バンク）を含んでおり、これらの複数の記憶領域に画像信号を保持し、Rec Out用SDRAM７は複数の記憶領域（バンク）を含んでおり、これらの複数の記憶領域に画像信号を保持する。

データバス８はD1-I/F(IN)３を介してデコーダー２が、SDRAMコントローラ４を介してMonitor Out用SDRAM６が、SDRAMコントローラ５を介してRec Out用SDRAM７が、D1-I/F(OUT)９およびD1-I/F(OUT)１０がそれぞれ接続され、D1-I/F(OUT)９はSDRAMコントローラ４を介してMonitor Out用SDRAM６より読み出された画像信号をD1-I/F(IN)１１へ出力され、D1-I/F(OUT)１０はSDRAMコントローラ５を介してRec Out用SDRAM７より読み出された画像信号をD1-I/F(IN)１２へ出力され、D1-I/F(IN1)１１はD1-I/F(OUT)９からの画像信号をデータバス２２に適合する信号に変換し、D1-I/F(IN2)１２はD1-I/F(OUT)１０からの画像信号をデータバス２２に適合する信号に変換し、IDE-I/F１３はCPU２１の指示を受け、HDD１４を制御する。

HDD１４はIDE-I/F１３の制御に応じてデータバス２２からの画像信号（JPEGファイル）等を記録し、かつ画像信号等を読み出してデータバス２２へ出力し、JPEGコーデック１５はD1-I/F(IN1)１２から入力され、データバス２２を介してSDRAM１７へ一旦保持された画像信号をJPEG方式に従って符号化し、符号化して得られた画像信号をデータバス２２に出力する。

また、データバス２２から入力される符号化画像信号をJPEG方式に従って復号化し、複合化して得られた画像信号をデータバス２２へ出力す、SDRAMコントローラ１６はSDRAM１７をコントロールするSDRAMコントローラでD1-I/F(IN)１１やD1-I/F(IN)１２からの画像信号をSDRAM１７へ書き込みやHDDからのデータを読み出しSDRAM１７へ書き込み、およびJPEGコーデックを介したJPEGコーデックを介した符号化および復号化された画像信号を書き込む。また、SDRAM１７から画像信号等を読み出してデータバス２２およびデータバス２３へ出力し、SDRAM１７は複数の記憶領域（バンク）を含んでおり、これらの複数の記憶領域に画像信号、JPEGデータ、HDDへの書き込み、読み込みデータ等をそれぞれ保持する。

拡張バスI/F１８はネットワークコントローラ１９とデータバス２３との間のデータのやり取りを仲介し、ネットワークコントローラ１９は外部からのネットワークアクセスの要求信号を受信する。また、CPU２１の指示を受け、SDRAM１７に保持されている画像信号等をネットワークへ送出する。

フラッシュメモリ２０にはCPU２１の処理手順を記述したプログラムが格納されており、CPU２１はフラッシュメモリ２０内のプログラムに従い、上記の各構成要素を制御する。これにより、録画や再生、JPEGファイルのネットワーク送信といった様々な処理が実現される。

データバス２２はD1-I/F(IN1)１１、D1-I/F(IN2)１２、IDE-I/F１３を介してHDD１４、JPEGコーデック１５、SDRAMコントローラ１６を介してSDRAM１７がそれぞれ接続され、データバス２３は拡張バスI/F１８を介してネットワークコントローラ１９、フラッシュメモリ２０、CPU２１、SDRAMコントローラ１６を介してSDRAM１７がそれぞれ接続される。

D1-I/F(OUT)２４はD1-I/F(IN2)１１より入力され、データバス２２を介してSDRAM１７へ一旦保持された画像信号を外部モニターへ出力し、また、HDD１４へ保持されたJPEGファイルをJPEGコーデック１５で復号化した画像信号を外部モニターへ出力する。

本画像配信装置は大きく分けて画像を加工するマルチプレクサ（ＭＰＸ）部と画像を記憶するデジタルビデオレコーダー（ＤＶＲ）部に分かれる。ＭＰＸ部は、複数の監視カメラが接続されており、各監視カメラの画像を所定のタイミングで取り込み加工を行い、記憶部であるＤＶＲ部に画像を出力するものである。本画像配信装置は監視カメラ等の外部からの映像を取り込み、記録用の出力（Rec Out）およびモニター出力（Monitor Out）をＭＰＸ部で作成し、その記録用の出力をＤＶＲ部で記録し、モニター出力をモニター用に出力している。なお、ＤＶＲ部の記録部は最大60fpsの速度まで記録可能である。また、モニター出力はＤＶＲ部にあるオンスクリーンディスプレイ（ＯＳＤ）をもちいてＭＰＸからのMonitor Outに記録時間やＲＥＣ表示等を画像に重畳させている。

従来ネットワークでのマルチ画面はMonitor Outパスを使用して実現していた。ここでMonitor Outパスとは、図１のブロック図で示すとおりＭＰＸ部からのMonitor OutはＤＶＲのＡＳＩＣ部にあるD1-I/F IN 1に入力される画像のＡＳＩＣの入力処理系統のことをいう。

しかし、このパスを使用すると本体のモニター出力画面とネットワークの画面が同一の画像出力となるために、本体モニター出力画面とネットワーク出力画面を異なる出力にすることは出来なかった。また、Monitor Outでのマルチ画面を1画面とするには、例えば4画面であれば各チャンネルの画像の解像度は1/2となる。本考案ではRec Outパスを使うことで、本体モニター出力とネットワークの画面モードの独立を実現すると同時に、Monitor Outで縮小された画像の解像度の劣化も防ぐ効果がある。

次に、図２は本実施例のシステム構成図を示したものである。Rec Outパスを使用してネットワークでのマルチ画面を構成すると、画像サイズおよび枚数が多くなるため、ネットワークでの画像更新速度に影響が出る。すなわち、従来のMonitor OUTからの入力をD1入力でうけると、入力された時点でMPXの画面モード（FULL画や4分割画やMULTI画）となっているので、マルチ画面表示するにはその入力をそのまま（720x240）出力することになる。しかし、今回の方式ではREC OUTを使用するので、入力された画像はそれぞれのチャンネルの画像であり、ネットワークでマルチ画面を作成するには各チャンネル画像を張り合わせることになり、４画面のマルチ画面を作るには画像は720x240を4枚必要とすることになり結果的に画像サイズと枚数が多くなってしまう。

この問題を防ぐために、現行ではクライアントからの要求は画像を1回要求すると画像を取得するまでは次の要求はしなかった。画像出力用のメモリを1枚分しか用意しておらず、配信中に次の要求を受けてしまうと配信中のメモリ内容を壊す可能性があるため、画像配信中にサーバーが受けた次の要求は排他制御を行い待たされる。

それに対して、本考案は複数の画像の同時要求を許可する。実現方法はチャンネル毎の排他制御とメモリ管理であり、同一チャンネルの画像要求以外は受け付ける。クライアントはチャンネル毎に制御され、要求チャンネルが取得できればブラウザ上に表示を行い、表示後にサーバーに対して次の画像を要求する。画像取得時間が掛かっている間にも、別のチャンネルは動作しており、１つのチャンネルの画像取得に時間がかかっても他のチャンネルの要求や処理が待たされることは無い。

図３は本実施例のサーバー側の動作を示すフローチャート図である。クライアントからの要求を受けるとネットワークのタスクが起床し（Ｓ１）、クライアントの要求チャンネルを取得後に（Ｓ２）、指定チャンネルの排他制御がなければ（Ｓ３）、画像要求を受け付けて（Ｓ４）、そのチャンネルの排他制御を開始する（Ｓ５）。その後Rec Outパスからの取得画像が要求チャンネルになるまで待ち（Ｓ６）、要求チャンネルと一致すると（Ｓ７）、JPEG圧縮を行い（Ｓ８）、要求チャンネル用のメモリに展開する（Ｓ９）。メモリ展開した後、クライアントにJPEGを送信する（Ｓ１０）。送信が終了すると（Ｓ１１）、要求チャンネル用の排他制御を開放して（Ｓ１２）、タスクを休止する（Ｓ１３）。

この間に存在する待ち時間にもクライアントからの要求を受付、同様にフローチャートの処理を動作できる。別チャンネルからの要求であれば排他制御にもかからずRec Outパスからのチャンネル一致を待つ結果となる。複数チャンネルの要求が同時にそれぞれの要求チャンネルの一致を待つことでチャンネル毎に待ち行列を作ることが出来、Rec Outパスのチャンネル画像の取得に無駄がなくなるようになる。このような効率的な画像取得、配信を行うことで画像更新速度を上げることが出来る。

図４は本実施例のチャンネル制御方式と従来方式のタイミング図である。ユーザーレベルの低いものはここでID1とする。またユーザーレベルの高いものはここでID2もしくはID3とする。ID1には従来方式の制御、ID2もしくはID3はチャンネル制御方式を行う。図中の画像CHはRec Outパスからの入力画像チャンネルを示している。図中のa,b,c各区間は図３のフローチャートのそれぞれS1〜S4、S4〜S8、S8〜S13を示している。図中のCH1、CH2、CH3等のパルス表示は立ち上がりエッジにてサーバーがクライアントから画像要求を受け付けたことを示し、立下りエッジにてサーバーがクライアントへ画像を配信終了したことを示している。チャンネル制御はチャンネルが異なればクライアントからの要求を受付、それぞれ処理動作を行う。それに対し、従来方式ではいずれかのチャンネルの画像要求があれば処理終了まで順に待たされて処理動作を行う。このようにユーザーレベルの低いID1では従来方式を用い、ユーザーレベルの高いID2もしくはID3ではチャンネル制御方式を用いることで効率的な画像取得、配信を行い、画像更新速度を上げており、さらにユーザー毎に制御方式を変えることでユーザー毎の画像更新速度の差異を表現することが可能となる。

本発明の一実施例のサーバー側の構成の一例を示すブロック図である。本発明の一実施例のサーバー側とクライアント側で構成されるシステム構成図である。本発明の一実施例のサーバー側の動作を示すフローチャート図である。本発明の一実施例のチャンネル制御方式と従来方式のタイミング図である。

符号の説明

１：カメラ、３：D1-I/F(IN)、４： SDRAMコントローラ、５：SDRAMコントローラ、6：SDRAM（Monitor Out用）、７：SDRAM（Monitor Out用）、９：D1-I/F(OUT)、１０：D1-I/F(OUT)、１１：D1-I/F(IN)、１２： D1-I/F(IN2)、１３：IDE-I/F、１５： JPEGコーデック、１６： SDRAMコントローラ、１７： SDRAM１７、１８：拡張バスI/F、１９：ネットワークコントローラ、20：フラッシュメモリ、２１： CPU、２１：D1-I/F(OUT)

Claims

複数チャンネルの画像が記憶される画像サーバーにおいて、該画像サーバーにネットワークを介して接続される１のクライアントから複数チャンネルの画像配信要求を同時に受けるとともに該画像配信要求を受けたチャンネル毎に画像を配信することを特徴とする画像サーバー。
画像サーバーに入力された画像のチャンネルとクライアントから要求があった画像のチャンネルが一致したときにクライアントに画像を配信するとともにチャンネルが一致しない間はチャンネル毎に配信待ちの画像行列を作ることを特徴とする請求項１記載の画像サーバー。
ネットワーク接続された複数チャンネルの画像が記憶される画像サーバーと該画像サーバーへ画像を要求するクライアントからなる画像サーバーシステムにおいて、前記クライアントから複数チャンネルの画像配信要求を同時に受けるとともに該クライアントは該配信要求によって配信された画像に基づいてマルチ画面を作成することを特徴とする画像サーバーシステム。
ＨＴＴＰサーバーに対するアクセスがマルチユーザー方式をとる画像サーバーにおいて、クライアントの優先順位の違いにより画像の更新速度に差異を持たすことを特徴とする画像サーバー。