JP6844480B2 - 映像データストリーミング監視装置、方法及びプログラム、並びに端末装置及び映像データストリーミング監視システム - Google Patents
映像データストリーミング監視装置、方法及びプログラム、並びに端末装置及び映像データストリーミング監視システム Download PDFInfo
- Publication number
- JP6844480B2 JP6844480B2 JP2017182272A JP2017182272A JP6844480B2 JP 6844480 B2 JP6844480 B2 JP 6844480B2 JP 2017182272 A JP2017182272 A JP 2017182272A JP 2017182272 A JP2017182272 A JP 2017182272A JP 6844480 B2 JP6844480 B2 JP 6844480B2
- Authority
- JP
- Japan
- Prior art keywords
- thumbnail image
- camera
- streaming
- distribution server
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 21
- 238000000034 method Methods 0.000 title claims description 18
- 238000012806 monitoring device Methods 0.000 claims description 39
- 230000005540 biological transmission Effects 0.000 claims description 26
- 239000000203 mixture Substances 0.000 description 8
- 239000002131 composite material Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
- H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、映像データストリーミングの監視技術に関する。
近年、業務用撮影カメラのＩＰ化が進展しており、撮影した映像データをストリーミングで配信するサービスが盛んになっている。このような中で、多数の業務用撮影カメラのストリーミングをクラウドで一元管理し、カメラやストリーミングの状況を監視することができるシステムが必要とされている。
例えば、特許文献１には、複数の監視地点のカメラから撮影した映像を地図データと並べて表示する監視システムが開示されている。特許文献２には、被災する可能性のある地域のカメラからの映像をリアルタイムでストリーミング符号化し、携帯端末に配信する同報ストリーミング配信システムが開示されている。
ストリーミング配信システムにおいてカメラが映像のストリーミングをしている間にカメラの映像を監視しようとすると、カメラにおいて符号化処理の負担が大きくなるという問題があった。
本発明はこうした状況に鑑みてなされたものであり、その目的は、カメラが映像のストリーミング中であってもカメラの映像を監視することのできる映像データストリーミング監視技術を提供することにある。
上記課題を解決するために、本発明のある態様の映像データストリーミング監視装置は、カメラから配信サーバにストリーミングされる映像データストリーミングを監視する装置であって、前記カメラから第１のサムネイル画像を取得する第１サムネイル画像取得部（１１０）と、前記配信サーバから第２のサムネイル画像を取得する第２サムネイル画像取得部（１００）と、前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を表示すべきサムネイル画像として選択するサムネイル画像選択部（１５０）と、前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得部（１３０）とを備える。前記サムネイル画像選択部（１５０）は、前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記第１のサムネイル画像を表示すべきサムネイル画像として選択する。
本発明の別の態様は、端末装置である。この装置は、カメラから配信サーバにストリーミングされる映像データストリーミングを監視する映像データストリーミング監視装置にネットワークを介して接続する端末装置であって、地図上のカメラの撮影位置に隣接してカメラ映像のサムネイル画像を地図に合成し、前記サムネイル画像に前記カメラから前記配信サーバにストリーミングする際の伝送品質または前記カメラのエラー情報を含む通知情報を付加して表示する合成部（１９０）を備える。前記サムネイル画像は、前記カメラがストリーミング中である場合、前記配信サーバから送信されたサムネイル画像であり、前記カメラがストリーミング中でない場合、前記カメラから送信されたサムネイル画像である。
本発明のさらに別の態様は、映像データストリーミング監視システムである。この映像データストリーミング監視システムは、カメラから配信サーバにストリーミングされる映像データストリーミングを監視する映像データストリーミング監視装置と、前記映像データストリーミング監視装置にネットワークを介して接続する端末装置とを含む映像データストリーミング監視システムであって、前記映像データストリーミング監視装置は、前記カメラから第１のサムネイル画像を取得する第１サムネイル画像取得部と、前記配信サーバから第２のサムネイル画像を取得する第２サムネイル画像取得部と、前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を表示すべきサムネイル画像として選択するサムネイル画像選択部と、前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得部とを備える。前記サムネイル画像選択部は、前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記第１のサムネイル画像を表示すべきサムネイル画像として選択し、前記端末装置は、地図上のカメラの撮影位置に隣接して前記サムネイル画像選択部により選択された前記第１のサムネイル画像または前記第２のサムネイル画像を地図に合成し、前記第１のサムネイル画像または前記第２のサムネイル画像に前記カメラから前記配信サーバにストリーミングする際の伝送品質または前記カメラのエラー情報を含む通知情報を付加して表示する合成部を備える。
本発明のさらに別の態様は、映像データストリーミング監視方法である。この方法は、カメラから配信サーバにストリーミングされる映像データストリーミングを監視する方法であって、前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得ステップと、前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記配信サーバから取得される第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記カメラから取得される第１のサムネイル画像を表示すべきサムネイル画像として選択するサムネイル画像選択ステップとを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、カメラが映像のストリーミング中であってもカメラの撮影映像を監視することができる。
図１は、実施の形態に係る映像データストリーミング監視システムの構成を説明する図である。映像データストリーミング監視システムは、カメラ１０００、１００１、ＧＰＳ機能搭載ルータ２０００、配信サーバ３０００、カメラ位置管理サーバ４０００、地図データ配信サーバ５０００、ストリーミング監視装置６０００、配信拠点７０００、７００１を含む。
カメラ１０００、１００１は、Ｗｉ−Ｆｉなどの無線ＬＡＮによりＧＰＳ機能搭載ルータ２０００に接続される。ここでは、カメラ１０００、１００１がＧＰＳ機能搭載ルータ２０００と無線ＬＡＮで接続される形態を説明するが、カメラ１０００、１００１はＵＳＢ等でＧＰＳ機能搭載ルータ２０００と接続されてもよく、カメラ１０００、１００１がＧＰＳ機能を内蔵してもよい。
ＧＰＳ機能搭載ルータ２０００は、配信サーバ３０００、カメラ位置管理サーバ４０００、およびストリーミング監視装置６０００にネットワークで接続される。配信サーバ３０００は、ストリーミング監視装置６０００および配信拠点７０００、７００１にネットワークで接続される。カメラ位置管理サーバ４０００は、ストリーミング監視装置６０００にネットワークで接続される。地図データ配信サーバ５０００は、ストリーミング監視装置６０００にネットワークで接続される。ストリーミング監視装置６０００は、配信サーバ３０００にネットワークで接続される。
カメラ１０００、１００１は、それぞれの撮影場所で撮影された映像を符号化してストリーミングデータをＧＰＳ機能搭載ルータ２０００を経由して配信サーバ３０００に送信する。ここでは、ストリーミングデータは画像サイズが１９２０画素×１０８０画素のフルＨＤ（High Definition）映像でフレームレートは３０ｆｐｓである。
配信サーバ３０００は、ＧＰＳ機能搭載ルータ２０００から送信されたストリーミングデータをトランスコードして１以上の配信拠点７０００、７００１に送信する。配信サーバ３０００は、配信拠点７０００、７００１毎に解像度やフレームレートの異なるストリーミングデータを配信してもよい。複数の配信拠点７０００、７００１は、複数の異なる放送局の受信装置であってもよく、一つの放送局における複数の受信装置であってもよい。
また、配信サーバ３０００はＧＰＳ機能搭載ルータ２０００から送信されたストリーミングデータをストリーミング監視装置６０００に配信することができる。
カメラ１０００、１００１は、撮影中の映像のサムネイル画像（「カメラサムネイル画像」と呼ぶ）をＧＰＳ機能搭載ルータ２０００を経由してストリーミング監視装置６０００に送信する。ここで、カメラサムネイル画像は、たとえばＱＶＧＡサイズの静止画である。また、カメラサムネイル画像は、ＪＰＥＧや、ＭＰＥＧなどの画像圧縮方式で画面内符号化（イントラフレーム）として圧縮されて送信されるものである。
配信サーバ３０００は、ＧＰＳ機能搭載ルータ２０００から送信されたトランスコード前のストリーミングデータのサムネイル画像（「ストリーミングサムネイル画像」と呼ぶ）またはトランスコード後のストリーミングデータのサムネイル画像（「配信サムネイル画像」と呼ぶ）をストリーミング監視装置６０００に送信する。
ＧＰＳ機能搭載ルータ２０００は、カメラ１０００、１００１の撮影位置情報として少なくとも緯度と経度を含むＧＰＳ情報をカメラ位置管理サーバ４０００に送信する。ここでは、ＧＰＳ機能搭載ルータ２０００とカメラ位置管理サーバ４０００がネットワークで接続される形態を説明するが、ＧＰＳ機能搭載ルータ２０００とカメラ位置管理サーバ４０００を一体化してＧＰＳ機能搭載ブリッジを構成してもよい。
カメラ位置管理サーバ４０００は、ＧＰＳ機能搭載ルータ２０００から入力されるＧＰＳ情報を記憶し、ＧＰＳ情報をカメラ位置情報としてストリーミング監視装置６０００に送信する。
地図データ配信サーバ５０００は地図データをストリーミング監視装置６０００に送信する。
ストリーミング監視装置６０００は、配信制御データを配信サーバ３０００に送信する。配信サーバ３０００は、配信制御データにもとづいてカメラ１０００、１００１から送信されるストリーミングデータを適宜トランスコードして配信拠点７０００、７００１に配信する。
配信拠点７０００、７００１は、配信サーバ３０００から配信されるストリーミングデータを受信し、ストリーミングデータを復号して利用する。ここで、配信拠点７０００、７００１は、各カメラ１０００、１００１から送信されたストリーミングデータを分離して利用することができる。
図２は、ストリーミング監視装置６０００の構成を説明する図である。
ストリーミング監視装置６０００は、配信サーバサムネイル画像取得部１００、カメラサムネイル画像取得部１１０、配信サーバ情報取得部１２０、カメラ情報取得部１３０、カメラ位置情報取得部１４０、サムネイル画像選択部１５０、通知情報生成部１６０、地図データ取得部１８０、画面合成部１９０、配信拠点制御部２００、及びモニタ２１０を含む。なお、配信サーバサムネイル画像取得部１００、カメラサムネイル画像取得部１１０、配信サーバ情報取得部１２０、カメラ情報取得部１３０、カメラ位置情報取得部１４０、サムネイル画像選択部１５０、通知情報生成部１６０、地図データ取得部１８０、画面合成部１９０、配信拠点制御部２００は、ＣＰＵ、ＲＡＭ又はＲＯＭによって構成され、またはこれらを組み合わせものによって構成される。
ここでは、配信サーバサムネイル画像取得部１００と配信サーバ情報取得部１２０を別個の構成としたが、配信サーバサムネイル画像取得部１００と配信サーバ情報取得部１２０を一体に構成してもよい。同様に、カメラサムネイル画像取得部１１０とカメラ情報取得部１３０を一体に構成してもよい。
ストリーミング監視装置６０００をサーバ−クライアントシステムとして構成してもよい。その場合、画面合成部１９０とモニタ２１０はクライアント側に設けられ、クライアントの画面合成部１９０がブラウザとして機能し、ネットワーク経由でサーバから地図データ、画像データ、通知情報を受信し、地図上に画像と通知情報を合成してモニタ２１０に表示する。また、ここでは、ストリーミング監視装置６０００が地図データ取得部１８０を含む構成を説明するが、外部サーバから地図データを受信する場合は、ストリーミング監視装置６０００が地図データ取得部１８０の構成を含まず、クライアントの画面合成部１９０がブラウザとして機能し、外部サーバから地図データを取得し、地図を画面に表示し、地図上に画像と通知情報を合成してもよい。さらに、配信サーバに処理負担を分散させる場合は、配信サーバサムネイル画像取得部１００、配信サーバ情報取得部１２０、サムネイル画像選択部１５０はクライアント側に設けてもよい。
端子１０は配信サーバ３０００に、端子２０はＧＰＳ機能搭載ルータ２０００に、端子３０はカメラ位置管理サーバ４０００に、端子４０は地図データ配信サーバ５０００に、端子５０は配信サーバ３０００にそれぞれ接続される。
配信サーバサムネイル画像取得部１００は、配信サーバ３０００に接続された端子１０から「ストリーミングサムネイル画像」または「配信サムネイル画像」を取得し、サムネイル画像選択部１５０に出力する。
配信サーバ情報取得部１２０は、配信サーバ３０００に接続された端子１０から配信サーバ情報を取得し、配信サーバ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する。
配信サーバ情報には、配信サーバ３０００がカメラ１０００、１００１のストリーミングデータを配信中であるか否かを示す「配信実行情報」、カメラ１０００、１００１のストリーミングデータのビットレート、遅延時間、パケットの損失と回復などストリーミングデータの伝送品質を示す「ストリーミング情報」が含まれる。パケット損失情報、パケット回復情報には、それぞれストリーミング開始時点から現時点までのパケット数の総和、直近の所定期間パケット数の総和が含まれる。なお、パケットの損失（以降は「パケット損失」）は、例えば、送信機側から送信されたパケットの数から受信機で受信されたパケットの数を減算することで求められる値である。
カメラサムネイル画像取得部１１０は、ＧＰＳ機能搭載ルータ２０００に接続された端子２０から「カメラサムネイル画像」を取得し、サムネイル画像選択部１５０に出力する。
カメラ情報取得部１３０は、ＧＰＳ機能搭載ルータ２０００に接続された端子２０からカメラ情報を取得し、カメラ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する。
カメラ情報には、カメラ１０００、１００１を識別するための「カメラ識別情報」、カメラ１０００、１００１がストリーミング中であるか否かを示す「ストリーミング実行情報」、カメラ１０００、１００１がストリーミング中である場合には、そのストリーミング先を示すＵＲＬである「ストリーミング対象情報」、及びカメラ１０００、１００１に記憶容量不足やバッテリ残量不足などを示す「カメラエラー情報」が含まれる。カメラ識別情報には、カメラ固有の番号であるシリアル番号や、ユーザが設定可能なカメラ名等が含まれる。ここでは、「ストリーミング対象情報」にはカメラ１０００、１００１を示すＵＬＲが記述されており、また配信サーバ３０００を示すＵＲＬが記述されているとする。
サムネイル画像選択部１５０は、カメラ情報取得部１３０から入力された「ストリーミング実行情報」を参照して、カメラ１０００、１００１がストリーミング中であるか否かを判定する。サムネイル画像選択部１５０は、カメラ１０００、１００１がストリーミング中である場合、配信サーバ情報取得部１２０から入力された「配信実行情報」を参照して、配信サーバ３０００がカメラ１０００、１００１のストリーミングデータを配信中であるか否かを判定する。
配信サーバ３０００がカメラ１０００、１００１のストリーミングデータを配信中である場合、サムネイル画像選択部１５０は、配信サーバサムネイル画像取得部１００から入力された「配信サムネイル画像」を画面に合成すべきサムネイル画像（「選択サムネイル画像」と呼ぶ）として選択し、選択サムネイル画像を画面合成部１９０に出力する。
配信サーバ３０００がカメラ１０００、１００１のストリーミングデータを配信中でない場合、サムネイル画像選択部１５０は、配信サーバサムネイル画像取得部１００から入力された「ストリーミングサムネイル画像」を画面に合成すべきサムネイル画像として選択し、選択サムネイル画像を画面合成部１９０に出力する。
カメラ１０００、１００１がストリーミング中でない場合、サムネイル画像選択部１５０は、カメラサムネイル画像取得部１１０から入力された「カメラサムネイル画像」を画面に合成すべきサムネイル画像として選択し、選択サムネイル画像を画面合成部１９０に出力する。
カメラ位置情報取得部１４０は、カメラ位置管理サーバ４０００に接続された端子３０からカメラ位置情報を取得し、カメラ位置情報を通知情報生成部１６０と画面合成部１９０に出力する。
地図データ取得部１８０は、地図データ配信サーバ５０００に接続された端子４０から地図データを取得し、地図データを画面合成部１９０に出力する。
通知情報生成部１６０は、配信サーバ情報取得部１２０から入力されるストリーミング情報、カメラ情報取得部１３０から入力されるカメラ情報、及びカメラ位置情報取得部１４０から入力されるカメラ位置情報を用いて、通知情報を生成し、通知情報をストリーミング情報、カメラ情報、カメラ位置情報とともに画面合成部１９０および配信拠点制御部２００に出力する。
画面合成部１９０は、地図データ取得部１８０から入力された地図データ上に、サムネイル画像選択部１５０から入力された選択サムネイル画像と、通知情報生成部１６０から入力された通知情報とを合成し、モニタ２１０に表示する。
配信拠点制御部２００は、通知情報生成部１６０から入力されたストリーミング情報を配信サーバ３０００に接続された端子５０に出力する。配信サーバ３０００はストリーミング情報を参照して、通信状況に応じて配信拠点７０００、７００１を選択する。
図３は、配信サーバ３０００の構成を説明する図である。
配信サーバ３０００は、受信部３００、トランスコード部４００、配信部５００、５０１、ストリーミングサムネイル画像送信部６００、ストリーミング情報送信部７００、及び配信サムネイル画像送信部８００を含む。
端子６１はＧＰＳ機能搭載ルータ２０００に、端子６２、端子６３、及び端子６４はストリーミング監視装置６０００に、端子６５は配信拠点７０００に、端子６６は配信拠点７００１にそれぞれ接続されている。
受信部３００は、ＧＰＳ機能搭載ルータ２０００に接続された端子６１から入力されるストリーミングデータをトランスコード部４００と配信部５０１に出力する。また、受信部３００は、必要に応じて受信したストリーミングデータから１フレーム分の静止画を抽出することでストリーミングサムネイル画像を生成し、ストリーミングサムネイル画像をストリーミングサムネイル画像送信部６００に出力する。ストリーミングサムネイル画像は、たとえばＱＶＧＡサイズの静止画である。なお、ストリーミングサムネイル画像は所定の期間ごとに生成されればよく、例えば３秒間隔で生成される。また、受信部３００は、ストリーミングデータのビットレート、遅延時間、パケット損失など伝送品質を示すストリーミング情報をストリーミング情報送信部７００に出力する。
トランスコード部４００は、受信部３００から入力されるビットレートＡのストリーミングデータをビットレートＢの符号化ストリームにトランスコードし、符号化ストリームを配信部５００に出力する。
配信部５００は、トランスコード部４００から入力される符号化ストリームを配信拠点７０００に接続された端子６５に出力する。また、配信部５００は、必要に応じて符号化ストリームから１フレーム分の静止画を抽出することで配信サムネイル画像を生成し、配信サムネイル画像を配信サムネイル画像送信部８００に出力する。配信サムネイル画像は、たとえばＱＶＧＡサイズの静止画である。なお、配信サムネイル画像は所定の期間ごとに生成されればよく、例えば３秒間隔で生成される。
配信部５０１は、受信部３００から入力されるストリーミングデータを必要に応じて配信拠点７００１に接続された端子６６に出力する。
ストリーミングサムネイル画像送信部６００は、受信部３００から入力されるストリーミングサムネイル画像をストリーミング監視装置６０００に接続された端子６２に出力する。
配信サムネイル画像送信部８００は、配信部５００から入力される配信サムネイル画像をストリーミング監視装置６０００に接続された端子６４に出力する。
配信サーバ３０００がストリーミングデータを配信中であれば、配信サムネイル画像送信部８００がトランスコード後の符号化ストリームの配信サムネイル画像をストリーミング監視装置６０００に提供する。配信サーバ３０００がストリーミングデータを配信していない場合は、ストリーミングサムネイル画像送信部６００がトランスコード前のストリーミングデータのストリーミングサムネイル画像をストリーミング監視装置６０００に提供する。
ストリーミング情報送信部７００は、ストリーミング情報をストリーミング監視装置６０００に接続された端子６３に出力する。
図４は、ストリーミング監視装置６０００によるストリーミングデータの管理手順を説明するフローチャートである。この管理手順は、各カメラ１０００、１００１について、それぞれたとえば３秒の更新間隔で実施される。以下、カメラ１０００の場合について説明する。
カメラ情報取得部１３０は、ＧＰＳ機能搭載ルータ２０００からカメラ１０００のカメラ情報を取得し、カメラ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する（Ｓ１００）。カメラ情報には、カメラ１０００の識別情報、カメラ１０００がストリーミング中であるか否かを示すストリーミング実行情報、及びカメラ１０００のエラー情報が含まれる。
配信サーバ情報取得部１２０は、配信サーバ３０００から配信サーバ情報を取得し、配信サーバ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する（Ｓ１１０）。配信サーバ情報には、配信サーバ３０００がカメラ１０００のストリーミングデータを配信中であるか否かを示す配信実行情報、ストリーミングデータの伝送品質を示すストリーミング情報が含まれる。
サムネイル画像選択部１５０は、ストリーミング実行情報がカメラ１０００はストリーミング中であるかことを示しているか否かを検査する（Ｓ１２０）。
ストリーミング実行情報がカメラ１０００はストリーミング中であることを示している場合（Ｓ１２０のＹＥＳ）、配信サーバ情報取得部１２０は、配信サーバ３０００からストリーミング情報を取得し、ストリーミング情報を通知情報生成部１６０に出力する（Ｓ１２５）。
次に、サムネイル画像選択部１５０は、配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示しているか否かを検査する（Ｓ１３０）。
配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示している場合（Ｓ１３０のＹＥＳ）、配信サーバサムネイル画像取得部１００は配信サーバ３０００から配信サムネイル画像を取得し、サムネイル画像選択部１５０は配信サムネイル画像を選択サムネイル画像として選択して画面合成部１９０に出力する（Ｓ１５０）。
配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示していない場合（Ｓ１３０のＮＯ）、配信サーバサムネイル画像取得部１００は配信サーバ３０００からストリーミングサムネイル画像を取得し、サムネイル画像選択部１５０はストリーミングサムネイル画像を選択サムネイル画像として選択して画面合成部１９０に出力する（Ｓ１４０）。
ストリーミング実行情報がカメラ１０００はストリーミング中であることを示していない場合（Ｓ１２０のＮＯ）、カメラサムネイル画像取得部１１０はカメラ１０００からカメラサムネイル画像を取得し、サムネイル画像選択部１５０はカメラサムネイル画像を選択サムネイル画像として選択して画面合成部１９０に出力する（Ｓ１６０）。
ステップＳ１４０、Ｓ１５０、またはＳ１６０に続いて、カメラ位置情報取得部１４０は、カメラ位置管理サーバ４０００からカメラ位置情報を取得し、カメラ位置情報を通知情報生成部１６０と画面合成部１９０に出力する（Ｓ１７０）。
地図データ取得部１８０は、地図データ配信サーバ５０００から地図データを取得し、地図データを画面合成部１９０に出力する（Ｓ１８０）。
通知情報生成部１６０は、配信サーバ情報取得部１２０から入力されるストリーミング情報、カメラ情報取得部１３０から入力されるカメラ情報、及びカメラ位置情報取得部１４０から入力されるカメラ位置情報を用いて、通知情報を生成し、通知情報をストリーミング情報、カメラ情報、カメラ位置情報とともに画面合成部１９０に出力する（Ｓ１９０）。
画面合成部１９０は、地図データを地図データ表示領域に表示して、カメラ位置情報に基づいて地図データ表示領域上に選択サムネイル画像と通知情報を合成して合成画面を生成し、合成画面をモニタ２１０に出力する（Ｓ２００）。モニタ２１０は合成画面を表示する。モニタの画面サイズは、一例として２５６０画素×１６００画素のＷＱＸＧＡ（Wide Quad eXtended Graphics Array）であり、地図データ表示領域は、一例として２０００画素×１２００画素である。
配信拠点制御部２００は、ストリーミング情報に基づいて配信拠点を制御する（Ｓ２１０）。ここで、配信拠点の制御について説明する。配信拠点制御部２００は、ストリーミング情報を配信サーバ３０００に送信し、配信サーバ３０００は、ストリーミング情報を参照して、通信状況に応じてストリーミングデータの配信先の配信拠点７０００、７００１を選択させる。たとえば、ストリーミング情報のパケット損失の総和値が所定値を超えた場合に、配信サーバ３０００は、これまで配信拠点７０００に配信されていたストリーミングデータを別の配信拠点７００１に配信するように切り替える。
以上のように、カメラ１０００、１００１がストリーミング中であれば配信サーバ３０００からサムネイル画像を取得し、カメラ１０００、１００１がストリーミング中でない、すなわちカメラ１０００、１００１がプレビューモードなどストリーミングのスタンバイ状態であればカメラ１０００、１００１からサムネイル画像を取得する。これにより、カメラ１０００、１００１がストリーミングデータのエンコードとサムネイル画像のエンコードを同時に処理する必要がないから、ストリーミング中のカメラ１０００、１００１の処理量を抑制しながら、ストリーミング監視装置６０００は、カメラの撮影映像を絶えず監視することができる。
ここでは、ストリーミング実行情報はカメラ情報に含まれるとしたが、ストリーミング実行情報を配信サーバ情報に含めてもよい。この場合、配信サーバ３０００は、ＧＰＳ機能搭載ルータ２０００からのストリーミングの受信状況を監視することによってストリーミングが実行されているかどうか判断し、ストリーミング実行情報を含めた配信サーバ情報を生成する。配信サーバ情報取得部１２０は、端子１０から配信サーバ情報を取得し、配信サーバ情報をサムネイル画像選択部１５０と通知情報生成部１６０に出力する。このような構成にすることで、カメラの処理負荷を低減させることができる。
ここでは、サムネイル画像の更新間隔は３秒としたが、所定の更新間隔でカメラ位置情報に基づいて地図データ表示領域上に選択サムネイル画像と通知情報を合成して表示できるのであれば、更新間隔はこれに限定されない。例えば、ストリーミングサムネイル画像と配信サムネイル画像を選択サムネイル画像とする場合は、カメラサムネイル画像を選択サムネイル画像とする場合よりも短い１秒の更新間隔とすることで、ストリーミング中のカメラの処理量を抑制しながらもより高精度に、カメラの撮影映像を監視することができる。
ここでは、サムネイル画像の画像サイズはＱＶＧＡとしたが、所定の更新間隔でカメラ位置情報に基づいて地図データ表示領域上に選択サムネイル画像と通知情報を合成して表示できるのであれば、サムネイル画像の画像サイズはこれに限定されない。例えば、配信サムネイル画像を選択サムネイル画像とする場合は、カメラサムネイル画像を選択サムネイル画像とする場合よりも大きな画像サイズであるＶＧＡとすることで、ストリーミング中のカメラの処理量を抑制しながらもより高精度に、カメラの撮影映像を監視することができる。
ここでは、配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示している場合（Ｓ１３０のＹＥＳ）、配信サーバサムネイル画像取得部１００は配信サーバ３０００から配信サムネイル画像を取得するとした（Ｓ１５０）。また、配信実行情報が配信サーバ３０００はカメラ１０００のストリーミングデータを配信中であることを示していない場合（Ｓ１３０のＮＯ）、配信サーバサムネイル画像取得部１００は配信サーバ３０００からストリーミングサムネイル画像を取得するとした（Ｓ１４０）。しかし、配信サーバサムネイル画像取得部１００が、配信サーバ３０００から配信サムネイル画像又はストリーミングサムネイル画像を取得できない場合も有り得る。例えば、通信状況が悪化したことにより、配信サーバ３０００から配信サムネイル画像又はストリーミングサムネイル画像を取得できない場合や、配信サムネイル画像又はストリーミングサムネイル画像を取得することができない配信サーバが選択された場合などである。
そこで、サムネイル画像選択部１５０は、記憶部（図示せず）を備える構成であってもよい。この記憶部は、予め定められた画像を記憶する。予め定められた画像とは、例えば、「サムネイル画像が取得できません」などのような警告を発する画面である。
このような構成であって、配信サーバサムネイル画像取得部１００は配信サーバ３０００から配信サムネイル画像を取得する場合であって（Ｓ１５０）、配信サーバ３０００から配信サムネイル画像を取得できなかったときには、配信サーバサムネイル画像取得部１００は記憶部から予め定められた画像を読み出し、予め定められた画像を選択サムネイル画像として選択してもよい。
配信サーバサムネイル画像取得部１００は配信サーバ３０００からストリーミングサムネイル画像を取得する場合であって（Ｓ１４０）、配信サーバ３０００からストリーミングサムネイル画像できなかったときには、配信サーバサムネイル画像取得部１００は記憶部から予め定められた画像を読み出し、予め定められた画像を選択サムネイル画像として選択してもよい。
さらには、サムネイル画像選択部１５０が上述の記憶部を備える場合では、配信サーバ３０００がストリーミングサムネイル画像送信部６００、配信サムネイル画像送信部８００を備えない配信サーバ３０００にも本実施の形態は適用できる。つまり、配信サーバを示すＵＲＬが含まれるストリーミング対象情報から、配信サーバを特定し、上述の配信サーバ３０００から配信サムネイル画像を取得できるか否かの判断は、特定されたサーバがストリーミングサムネイル画像送信部６００、配信サムネイル画像送信部８００を有するサーバであるか否かによって判断すればよい。ストリーミングサムネイル画像送信部６００、配信サムネイル画像送信部８００を有するサーバである場合には、ストリーミングサムネイル画像又は配信サムネイル画像を選択サムネイル画像として選択し、そうでない場合には予め定められた画像を選択サムネイル画像として選択すればよい。このような構成にすることにより、汎用性を高めることができる。
また、ここでは、予め定められた画像を記憶する記憶部を備える構成としたが、備えなくもよい。この場合には、Ｓ１４０又はＳ１５０にて配信サーバ３０００からストリーミングサムネイル画像又は配信サムネイル画像が取得できなかったときには、Ｓ２００にて、地図データ表示領域上に選択サムネイル画像の代わりとして、ストリーミング対象情報がわかる文字列、例えば、ストリーミング対象情報やストリーミング対象情報を短縮した文字列を、通知情報と合成して合成画面を生成し、合成画面をモニタ２１０に出力してもよい。
続いて、カメラ位置情報に基づいて地図データ上に選択サムネイル画像と通知情報を合成して表示する方法を詳細に説明する。
図５は、画面合成部１９０による合成表示の例を説明する図である。ここでは、地図データ９００上にカメラ位置情報に基づいてカメラ位置を示すカメラ位置マーカ９１０が表示される。カメラ位置マーカ９１０に隣接して選択サムネイル画像９２０が表示され、選択サムネイル画像９２０の外枠の周辺領域である通知情報表示領域９３０に通知情報が表示される。
ここで、通知情報について詳細に説明する。通知情報生成部１６０は、下記のような条件で通知情報を生成する。通知情報には、パケット損失エラー通知、パケット損失警告通知、パケット回復警告通知、カメラエラー通知、及びカメラ位置消失通知が含まれ、それぞれの通知は通知タイプで管理され、通知タイプにより判別可能である。
ストリーミング情報のパケット損失の直近の所定期間の総和値が所定閾値Ｔ１を超えた場合、パケット損失エラー通知を生成する。
ストリーミング情報のパケット損失の直近の所定期間の総和値が所定閾値Ｔ２（Ｔ２＜Ｔ１）を超えた場合、パケット損失警告通知を生成する。
ストリーミング情報のパケット回復のストリーミング開始時点から現時点までの総和値が所定閾値Ｔ３（Ｔ３＞Ｔ１）を超えた場合、パケット回復警告通知を生成する。
カメラエラー情報がエラーであることを示している場合、カメラエラー通知を生成する。カメラエラー情報には、バッテリの残量低下、メモリカードの残量低下、ストリーミングの失敗などが含まれる。
カメラ位置情報が取得できなかった場合やカメラ位置情報が不正値であった場合、カメラ位置消失通知を生成する。なお、カメラ位置情報が取得できなかった場合やカメラ位置情報が不正値であった場合のカメラ位置情報として、そのカメラのカメラ位置情報が取得できた最後の位置を利用する。また、カメラ位置情報が取得できなかった場合やカメラ位置情報が不正値であった場合のカメラ位置情報として、予め設定していた所定のカメラ位置を利用してもよい。
図５の通知情報表示領域９３０には、一例として通知タイプが文字列で表示され、背景色が付けられる。なお、通知情報がない場合には、通知情報表示領域９３０には何も表示されない。また、通知情報表示領域９３０に表示される文字列と背景色は通知タイプの重要度に応じて色が変化し、所定期間で明滅する。明滅する所定間隔を重要度に応じて変化させてもよい。背景色は、たとえば警告の場合は赤色、注意の場合は黄色にすることができる。これにより、地図上でどの場所のカメラにおいて問題が発生しているかを一目で把握することができる。
図５のサムネイル画像表示領域をクリックすると、クリックされた位置に表示されているサムネイル画像に関連付けられたカメラ識別情報にもとづいて、撮影中のカメラが特定され、特定されたカメラがストリーミングしている映像が画面上にストリーミング映像詳細確認画面としてポップアップ表示される。
ストリーミング映像詳細確認画面は、一例として画像サイズが１９２０画素×１０８０画素のフルＨＤであり、フレームレートは３０ｆｐｓで表示される。ストリーミング映像詳細確認画面はストリーミング中の映像を詳細に確認するために利用される。このようにストリーミングデータの画像サイズとフレームレートはサムネイル画像よりも画像サイズが大きく、フレームレートが高いが、例えば、６４０画素×４８０画素等にスケーリング表示することもできる。
また、ストリーミング映像詳細確認画面にはカメラ情報、カメラ位置情報、ストリーミング情報、及び通知情報を確認することができるように文字列で表示される。なお、通知情報には通知情報表示領域９３０に表示される文字列と関連付けて色を付加して表示する。
以上のように、カメラ位置情報に基づいて地図データ上にサムネイル画像と通知情報を合成して表示することで、カメラの位置、撮影画像、および通知情報を同時に監視することができる。
以上説明した各種の処理は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
１００ 配信サーバサムネイル画像取得部、 １１０ カメラサムネイル画像取得部、 １２０ 配信サーバ情報取得部、 １３０ カメラ情報取得部、 １４０ カメラ位置情報取得部、 １５０ サムネイル画像選択部、 １６０ 通知情報生成部、 １８０ 地図データ取得部、 １９０ 画面合成部、 ２００ 配信拠点制御部、 ２１０ モニタ、 ３００ 受信部、 ４００ トランスコード部、 ５００、５０１ 配信部、 ６００ ストリーミングサムネイル画像送信部、 ７００ ストリーミング情報送信部、 ８００ 配信サムネイル画像送信部、 ９００ 地図データ、 ９１０ カメラ位置マーカ、 ９２０ 選択サムネイル画像、 ９３０ 通知情報表示領域、 １０００、１００１ カメラ、 ２０００ ＧＰＳ機能搭載ルータ、 ３０００ 配信サーバ、 ４０００ カメラ位置管理サーバ、 ５０００ 地図データ配信サーバ、 ６０００ ストリーミング監視装置、 ７０００、７００１ 配信拠点。
Claims (8)
- カメラから配信サーバにストリーミングされる映像データストリーミングを監視する装置であって、
前記カメラから第１のサムネイル画像を取得する第１サムネイル画像取得部と、
前記配信サーバから第２のサムネイル画像を取得する第２サムネイル画像取得部と、
前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を表示すべきサムネイル画像として選択するサムネイル画像選択部と、
前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得部とを備え、
前記サムネイル画像選択部は、前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記第１のサムネイル画像を表示すべきサムネイル画像として選択することを特徴とする映像データストリーミング監視装置。 - 前記配信サーバが配信中であるか否かを示す配信実行情報を含む配信サーバ情報を取得する配信サーバ情報取得部をさらに備え、
前記サムネイル画像選択部は、前記配信実行情報にもとづいて、前記配信サーバが配信中である場合、トランスコード後の前記第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記配信サーバが配信中でない場合、トランスコード前の前記第２のサムネイル画像を表示すべきサムネイル画像として選択することを特徴とする請求項１に記載の映像データストリーミング監視装置。 - 前記カメラから前記配信サーバにストリーミングする際の伝送品質を示すストリーミング情報を含む配信サーバ情報を取得する配信サーバ情報取得部と、
前記ストリーミング情報にもとづいて、映像が配信される拠点を切り替える配信拠点制御部をさらに備えることを特徴とする請求項１に記載の映像データストリーミング監視装置。 - カメラから配信サーバにストリーミングされる映像データストリーミングを監視する映像データストリーミング監視装置にネットワークを介して接続する端末装置であって、
地図上のカメラの撮影位置に隣接してカメラ映像のサムネイル画像を地図に合成し、前記サムネイル画像に前記カメラから前記配信サーバにストリーミングする際の伝送品質または前記カメラのエラー情報を含む通知情報を付加して表示する合成部を備え、
前記サムネイル画像は、前記カメラがストリーミング中である場合、前記配信サーバから送信されたサムネイル画像であり、前記カメラがストリーミング中でない場合、前記カメラから送信されたサムネイル画像であることを特徴とする端末装置。 - カメラから配信サーバにストリーミングされる映像データストリーミングを監視する映像データストリーミング監視装置と、前記映像データストリーミング監視装置にネットワークを介して接続する端末装置とを含む映像データストリーミング監視システムであって、
前記映像データストリーミング監視装置は、
前記カメラから第１のサムネイル画像を取得する第１サムネイル画像取得部と、
前記配信サーバから第２のサムネイル画像を取得する第２サムネイル画像取得部と、
前記第１のサムネイル画像と前記第２のサムネイル画像のいずれか一方を表示すべきサムネイル画像として選択するサムネイル画像選択部と、
前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得部とを備え、
前記サムネイル画像選択部は、前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記第１のサムネイル画像を表示すべきサムネイル画像として選択し、
前記端末装置は、
地図上のカメラの撮影位置に隣接して前記サムネイル画像選択部により選択された前記第１のサムネイル画像または前記第２のサムネイル画像を地図に合成し、前記第１のサムネイル画像または前記第２のサムネイル画像に前記カメラから前記配信サーバにストリーミングする際の伝送品質または前記カメラのエラー情報を含む通知情報を付加して表示する合成部を備えることを特徴とする映像データストリーミング監視システム。 - カメラから配信サーバにストリーミングされる映像データストリーミングを監視する方法であって、
前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得ステップと、
前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記配信サーバから取得される第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記カメラから取得される第１のサムネイル画像を表示すべきサムネイル画像として選択するサムネイル画像選択ステップとを含むことを特徴とする映像データストリーミング監視方法。 - カメラから配信サーバにストリーミングされる映像データストリーミングを監視するプログラムであって、
前記カメラがストリーミング中であるか否かを示すストリーミング実行情報を含むカメラ情報を取得するカメラ情報取得ステップと、
前記ストリーミング実行情報にもとづいて、前記カメラがストリーミング中である場合、前記配信サーバから取得される第２のサムネイル画像を表示すべきサムネイル画像として選択し、前記カメラがストリーミング中でない場合、前記カメラから取得される第１のサムネイル画像を表示すべきサムネイル画像として選択するサムネイル画像選択ステップとをコンピュータに実行させることを特徴とする映像データストリーミング監視プログラム。 - カメラから配信サーバにストリーミングされる映像データストリーミングを監視するプログラムであって、
地図上のカメラの撮影位置に隣接してカメラ映像のサムネイル画像を地図に合成し、前記サムネイル画像に前記カメラから前記配信サーバにストリーミングする際の伝送品質または前記カメラのエラー情報を含む通知情報を付加して表示する表示ステップをコンピュータに実行させ、
前記サムネイル画像は、前記カメラがストリーミング中である場合、前記配信サーバから送信されたサムネイル画像であり、前記カメラがストリーミング中でない場合、前記カメラから送信されたサムネイル画像であることを特徴とする映像データストリーミング監視プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017182272A JP6844480B2 (ja) | 2017-09-22 | 2017-09-22 | 映像データストリーミング監視装置、方法及びプログラム、並びに端末装置及び映像データストリーミング監視システム |
| US16/059,076 US11010019B2 (en) | 2017-09-22 | 2018-08-09 | Video data streaming monitoring device, method, and program, and terminal device, and video data streaming monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017182272A JP6844480B2 (ja) | 2017-09-22 | 2017-09-22 | 映像データストリーミング監視装置、方法及びプログラム、並びに端末装置及び映像データストリーミング監視システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019057879A JP2019057879A (ja) | 2019-04-11 |
| JP6844480B2 true JP6844480B2 (ja) | 2021-03-17 |
Family
ID=65807547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017182272A Active JP6844480B2 (ja) | 2017-09-22 | 2017-09-22 | 映像データストリーミング監視装置、方法及びプログラム、並びに端末装置及び映像データストリーミング監視システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11010019B2 (ja) |
| JP (1) | JP6844480B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11757706B2 (en) * | 2019-07-19 | 2023-09-12 | Razberi Secure Technologies, Llc | Switch monitoring system and method of use |
| CN113438475A (zh) * | 2021-06-17 | 2021-09-24 | 青岛海信传媒网络技术有限公司 | 一种缩略图的检验方法及显示设备 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11102495A (ja) | 1997-09-29 | 1999-04-13 | Ntt Data Corp | 監視システムおよび方法 |
| US7177323B2 (en) * | 1998-03-13 | 2007-02-13 | Intel Corporation | Ensuring quality of service (QOS) for a multi-media calls through call associated individual media stream bandwidth control |
| JP2003134045A (ja) | 2001-10-24 | 2003-05-09 | Nec Corp | 同報ストリーミング配信システム及び同報ストリーミング配信方法 |
| JP2003244683A (ja) * | 2002-02-13 | 2003-08-29 | Toshiba Corp | 遠隔監視システム及びプログラム |
| JP2004272563A (ja) * | 2003-03-07 | 2004-09-30 | Fujitsu Ltd | 通信制御プログラム、コンテンツ配信プログラム、端末装置、およびコンテンツサーバ |
| JP2006352467A (ja) * | 2005-06-15 | 2006-12-28 | Canon Inc | 映像監視システム |
| JP2007142597A (ja) * | 2005-11-15 | 2007-06-07 | Canon Inc | 映像監視システム |
| JP5915484B2 (ja) * | 2012-09-28 | 2016-05-11 | 株式会社Ｊｖｃケンウッド | 撮像装置および撮像方法 |
| US9497424B2 (en) * | 2012-12-05 | 2016-11-15 | At&T Mobility Ii Llc | System and method for processing streaming media of an event captured by nearby mobile phones |
| JP6607433B2 (ja) * | 2014-06-23 | 2019-11-20 | パナソニックＩｐマネジメント株式会社 | 映像配信方法及びサーバ |
| US9883370B2 (en) * | 2014-07-28 | 2018-01-30 | Dan Kerning | Security and public safety application for a mobile device with enhanced incident reporting capabilities |
| US20160100329A1 (en) * | 2014-10-03 | 2016-04-07 | Qualcomm Incorporated | Techniques for dynamically adjusting the streaming of media content from a wireless device |
| US10187684B2 (en) * | 2015-06-23 | 2019-01-22 | Facebook, Inc. | Streaming media presentation system |
| US9973785B1 (en) * | 2015-12-28 | 2018-05-15 | Amazon Technologies, Inc. | Automatic failover for live video streaming |
| JP7022540B2 (ja) * | 2017-09-08 | 2022-02-18 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
-
2017
- 2017-09-22 JP JP2017182272A patent/JP6844480B2/ja active Active
-
2018
- 2018-08-09 US US16/059,076 patent/US11010019B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019057879A (ja) | 2019-04-11 |
| US20190095076A1 (en) | 2019-03-28 |
| US11010019B2 (en) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8934728B2 (en) | Image display system, image composing and re-encoding apparatus, image display apparatus, method of displaying image, and computer-readable storage medium having stored therein image composing and re-encoding program | |
| US10917604B2 (en) | Captured image display device, captured image display method, and captured image display program | |
| JP2007208458A (ja) | 通信システム、通信端末および通信方法 | |
| US20200288123A1 (en) | Image processing apparatus and image processing method | |
| US20150281691A1 (en) | Video image coding data transmitter, video image coding data transmission method, video image coding data receiver, and video image coding data transmission and reception system | |
| WO2013187033A1 (ja) | 制御装置、画像送信方法、及び制御プログラム | |
| JP2007325109A (ja) | 配信サーバ、ネットワークカメラ、配信方法及びプログラム | |
| JP2016051927A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP6844480B2 (ja) | 映像データストリーミング監視装置、方法及びプログラム、並びに端末装置及び映像データストリーミング監視システム | |
| CN111263192A (zh) | 视频处理方法及相关设备 | |
| JP4799191B2 (ja) | 通信端末、通信システムおよび通信方法 | |
| JP2010068189A (ja) | 監視システム | |
| KR101795958B1 (ko) | 실시간 네트워크 카메라에서의 적응적 영상 제공 방법, 장치 및 사용자 단말기 | |
| JP7234545B2 (ja) | 撮影画像表示装置、撮影画像表示方法、及び撮影画像表示プログラム | |
| WO2013017387A1 (en) | Methods for compressing and decompressing animated images | |
| US20170078355A1 (en) | Encoding device, decoding device, computer program product, and streaming system | |
| JP7006387B2 (ja) | 画像配信装置、方法及びプログラム | |
| KR101291559B1 (ko) | 실시간 다중 영상압축 장치 및 방법 | |
| JP6545205B2 (ja) | データ配信システム及びデータ配信方法 | |
| JP7037331B2 (ja) | データ配信システム及び配信制御装置 | |
| JPH11187383A (ja) | 映像監視システム及び映像監視方法 | |
| KR102101507B1 (ko) | 무손실 네트워크 영상 전송 방법 및 장치 | |
| JP7469545B1 (ja) | 情報処理装置、情報処理方法、及び情報処理システム | |
| JP6045051B1 (ja) | 動画像伝送装置及び動画像伝送方法 | |
| JP6946148B2 (ja) | データ配信システム及び配信制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200330 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210208 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6844480 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |