JP6359764B2 - 対話型ビデオ会議 - Google Patents
対話型ビデオ会議 Download PDFInfo
- Publication number
- JP6359764B2 JP6359764B2 JP2017511988A JP2017511988A JP6359764B2 JP 6359764 B2 JP6359764 B2 JP 6359764B2 JP 2017511988 A JP2017511988 A JP 2017511988A JP 2017511988 A JP2017511988 A JP 2017511988A JP 6359764 B2 JP6359764 B2 JP 6359764B2
- Authority
- JP
- Japan
- Prior art keywords
- roi
- local
- remote
- ptzf
- commands
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims description 42
- 230000004044 response Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 20
- 230000011664 signaling Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
- H04L65/4053—Arrangements for multi-party communication, e.g. for conferences without floor control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
- H04L65/1106—Call signalling protocols; H.323 and related
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
- H04L65/4046—Arrangements for multi-party communication, e.g. for conferences with distributed floor control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
Claims (27)
- リモートユーザ装置(UE)とビデオ会議を実行するように動作可能なローカルUEであって、1または複数のプロセッサを有する前記ローカルUEは、
前記ローカルUEで前記リモートUEのカメラの視野内の関心領域(ROI)を規定し、
前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングし、
リアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して、前記1または複数のPTZFコマンドを前記ローカルUEから前記リモートUEへ送信し、前記リモートUEは、前記1または複数のPTZFコマンドに基づき前記ROIを特定し、
前記ROI内の符号化ビデオを前記リモートUEから受信し、前記符号化ビデオは前記ROI内に複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、前記ROI内の前記符号化ビデオが前記ローカルUEにてレンダリングおよび表示されるのを可能にするべく規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含む
ローカルUE。 - リモートユーザ装置(UE)とビデオ会議を実行するように動作可能なローカルUEであって、1または複数のプロセッサを有する前記ローカルUEは、
前記ローカルUEで前記リモートUEのカメラの視野内の関心領域(ROI)を規定し、
前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングし、
少なくとも1つのリアルタイムトランスポートプロトコル(RTP)ヘッダ拡張に前記1または複数のPTZFコマンドを埋め込み、キャプチャされたローカルビデオを前記ローカルUEから前記リモートUEへ送信し、前記キャプチャされたローカルビデオは、前記1または複数のPTZFコマンドを有する前記RTPヘッダ拡張を含み、前記リモートUEは、前記1または複数のPTZFコマンドに基づき前記ROIを特定し、
前記ROI内の符号化ビデオを前記リモートUEから受信し、前記符号化ビデオは前記ROI内に複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、前記ROI内の前記符号化ビデオが前記ローカルUEにてレンダリングおよび表示されるのを可能にするべく規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含む
ローカルUE。 - リモートユーザ装置(UE)とビデオ会議を実行するように動作可能なローカルUEであって、1または複数のプロセッサを有する前記ローカルUEは、
前記ローカルUEで前記リモートUEのカメラの視野内の関心領域(ROI)を規定し、
前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングし、
前記1または複数のPTZFコマンドを前記ローカルUEから前記リモートUEへ送信し、前記リモートUEは、前記1または複数のPTZFコマンドに基づき前記ROIを特定し、
前記ROI内の符号化ビデオを前記リモートUEから受信し、前記符号化ビデオは前記ROI内に複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、前記ROI内の前記符号化ビデオが前記ローカルUEにてレンダリングおよび表示されるのを可能にするべく規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含み、
前記ローカルUEから送信された前記1または複数のPTZFコマンドを処理するべく前記リモートUEにて使用される、前記リモートUEからの1または複数のステップサイズを受信する
ローカルUE。 - 前記1または複数のステップサイズは、複数の専用リアルタイムトランスポートプロトコル(RTP)ヘッダ拡張属性としてシグナリングされる、
請求項3に記載のローカルUE。 - 前記1または複数のPTZFコマンドは、国際電気通信連合(ITU)H.281/H.224プロトコルに基づく、
請求項1から4のいずれか一項に記載のローカルUE。 - 前記1または複数のプロセッサは、前記1または複数のPTZFコマンドを単一伝送にて前記リモートUEへ送信する、
請求項1から5のいずれか一項に記載のローカルUE。 - 前記ROIは、前記ローカルUEと対話するユーザによって選択される、
請求項1から6のいずれか一項に記載のローカルUE。 - 前記符号化ビデオは、前記リモートUEの固定された非移動カメラを使用してキャプチャされる、
請求項1から7のいずれか一項に記載のローカルUE。 - 前記1または複数のPTZFコマンドは、遠端カメラ制御(FECC)プロトコルに従って前記リモートUEへ送信される、
請求項1から8のいずれか一項に記載のローカルUE。 - 前記1または複数のプロセッサはさらに、前記リモートUEが前記1または複数のPTZFコマンドを受信するための強化型遠端カメラ制御(FECC)プロトコルをサポートすることを示す、前記リモートUEからのセッション記述プロトコル(SDP)提供メッセージを受信する、
請求項1から9のいずれか一項に記載のローカルUE。 - 前記1または複数のプロセッサはさらに、前記ローカルUEが前記1または複数のPTZFコマンドを送信するための強化型遠端カメラ制御(FECC)プロトコルをサポートすることを確認するセッション記述プロトコル(SDP)応答メッセージを送信する、
請求項1から10のいずれか一項に記載のローカルUE。 - 前記1または複数のプロセッサは、前記1または複数のPTZFコマンドを前記リモートUEに送信し、前記リモートUEは、前記1または複数のPTZFコマンドに対応し前記ROI内のビデオを符号化するだけの前記ROI内の前記ビデオをキャプチャする、
請求項1から11のいずれか一項に記載のローカルUE。 - 前記1または複数のプロセッサはさらに、ROIベースの対話型ズーム機能をサポートする前記リモートUEでビデオ会議アプリケーションを動作させる、
請求項1から12のいずれか一項に記載のローカルUE。 - コンピュータに、
ローカルユーザ装置(UE)の少なくとも1つのプロセッサを使用して、リモートUEのカメラの視野内のユーザ規定の関心領域(ROI)を特定する手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングする手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEから前記リモートUEへリアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して、前記1または複数のPTZFコマンドを送信する手順であって、前記リモートUEは前記1または複数のPTZFコマンドに基づき前記ROIを特定する、手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記リモートUEから前記ROI内の符号化ビデオを受信する手順であって、前記符号化ビデオは前記ROI内の複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含む、手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEでのレンダリングおよび表示のために前記ROI内の前記符号化ビデオを提供する手順と
を実行させるプログラム。 - コンピュータに、
ローカルユーザ装置(UE)の少なくとも1つのプロセッサを使用して、リモートUEのカメラの視野内のユーザ規定の関心領域(ROI)を特定する手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングする手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、少なくとも1つのリアルタイムトランスポートプロトコル(RTP)ヘッダ拡張に前記1または複数のPTZFコマンドを埋め込む手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEから前記リモートUEへキャプチャされたローカルビデオを送信する手順であって、前記キャプチャされたローカルビデオは、前記1または複数のPTZFコマンドを有する前記RTPヘッダ拡張を含み、前記リモートUEは前記1または複数のPTZFコマンドに基づき前記ROIを特定する、手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記リモートUEから前記ROI内の符号化ビデオを受信する手順であって、前記符号化ビデオは前記ROI内の複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含む、手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEでのレンダリングおよび表示のために前記ROI内の前記符号化ビデオを提供する手順と
を実行させるプログラム。 - コンピュータに、
ローカルユーザ装置(UE)の少なくとも1つのプロセッサを使用して、リモートUEのカメラの視野内のユーザ規定の関心領域(ROI)を特定する手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングする手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEから前記リモートUEへ前記1または複数のPTZFコマンドを送信する手順であって、前記リモートUEは前記1または複数のPTZFコマンドに基づき前記ROIを特定する、手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記リモートUEから前記ROI内の符号化ビデオを受信する手順であって、前記符号化ビデオは前記ROI内の複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含む、手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEから送信された前記1または複数のPTZFコマンドを処理するべく前記リモートUEにて使用される、前記リモートUEからの1または複数のステップサイズを受信する手順であって、前記1または複数のステップサイズは、複数の専用リアルタイムトランスポートプロトコル(RTP)ヘッダ拡張属性としてシグナリングされる、手順と、
前記ローカルUEの前記少なくとも1つのプロセッサを使用して、前記ローカルUEでのレンダリングおよび表示のために前記ROI内の前記符号化ビデオを提供する手順と
を実行させるプログラム。 - 前記1または複数のPTZFコマンドは、国際電気通信連合(ITU)H.281/H.224プロトコルに基づく、
請求項14から16のいずれか一項に記載のプログラム。 - 前記プログラムはさらに前記コンピュータに、前記1または複数のPTZFコマンドを前記リモートUEへ単一伝送で送信する手順をさらに実行させる、
請求項14から17のいずれか一項に記載のプログラム。 - 前記1または複数のPTZFコマンドは、遠端カメラ制御(FECC)プロトコルに従って前記リモートUEに送信される、
請求項14から18のいずれか一項に記載のプログラム。 - リモートユーザ装置(UE)とビデオ会議を実行するように動作可能なローカルUEであって、前記ローカルUEは、
前記リモートUEのカメラの視野内に、ユーザ規定の関心領域(ROI)を特定するROIモジュールと、
前記ROIを1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドにマッピングするマッピングモジュールであって、前記1または複数のPTZFコマンドは、国際電気通信連合(ITU)H.281/H.224プロトコルに基づき規定される、マッピングモジュールと、
リアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して、前記1または複数のPTZFコマンドを前記ローカルUEから前記リモートUEへ単一伝送にて送信する通信モジュールであって、前記リモートUEは前記1または複数のPTZFコマンドに基づき前記ROIを特定し、前記ROI内の符号化ビデオを前記リモートUEから受信し、前記符号化ビデオは前記ROI内の複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含む、通信モジュールと、
前記ローカルUEでのレンダリングおよび表示のために前記ROI内の前記符号化ビデオを提供するように構成されるディスプレイモジュールと
を備えるローカルUE。 - 前記通信モジュールはさらに、前記リモートUEが前記1または複数のPTZFコマンドを受信するための強化型遠端カメラ制御(FECC)プロトコルをサポートすることを示す、前記リモートUEからのセッション記述プロトコル(SDP)提供メッセージを受信し、前記ローカルUEが前記1または複数のPTZFコマンドを送信するための強化型遠端カメラ制御(FECC)プロトコルをサポートすることを確認するセッション記述プロトコル(SDP)応答メッセージを送信する、
請求項20に記載のローカルUE。 - 前記通信モジュールはさらに、前記1または複数のPTZFコマンドを前記リモートUEに送信し、前記リモートUEは、前記1または複数のPTZFコマンドに対応し、前記ROI内のビデオを符号化するだけの前記ROI内の前記ビデオをキャプチャする、
請求項20または21に記載のローカルUE。 - ローカルユーザ装置(UE)とビデオ会議を実行するように動作可能なリモートUEであって、1または複数のプロセッサを有する前記リモートUEは、
リアルタイムトランスポート制御プロトコル(RTCP)フィードバックメッセージを使用して、1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドを前記ローカルUEから受信し、
前記リモートUEにて、前記1または複数のPTZFコマンドに基づく関心領域(ROI)を特定し、前記ROIは前記リモートUEのカメラの視野内に存在し、
前記ROI内に符号化ビデオを生成し、前記符号化ビデオは前記ROI内の複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含み、
前記ローカルUEが前記ROI内の前記符号化ビデオをレンダリングおよび表示するのを可能にするべく、前記ROI内の前記符号化ビデオを前記ローカルUEへ送信する、
リモートUE。 - ローカルユーザ装置(UE)とビデオ会議を実行するように動作可能なリモートUEであって、1または複数のプロセッサを有する前記リモートUEは、
1または複数のパン・チルト・ズーム・フォーカス(PTZF)コマンドを前記ローカルUEから受信し、
前記リモートUEにて、前記1または複数のPTZFコマンドに基づく関心領域(ROI)を特定し、前記ROIは前記リモートUEのカメラの視野内に存在し、
1または複数のステップサイズを前記ローカルUEへ送信し、前記1または複数のステップサイズは、前記1または複数のPTZFコマンドを処理するべく前記リモートUEで使用され、前記1または複数のステップサイズは、複数の専用リアルタイムトランスポートプロトコル(RTP)ヘッダ拡張属性としてシグナリングされ、
前記ROI内に符号化ビデオを生成し、前記符号化ビデオは前記ROI内の複数の領域を含み、前記ROI外の複数の領域を除き、前記符号化ビデオは、規定された品質レベルを実質的に維持しつつ、増大されたズームレベルで前記ROI内の前記複数の領域を含み、
前記ローカルUEが前記ROI内の前記符号化ビデオをレンダリングおよび表示するのを可能にするべく、前記ROI内の前記符号化ビデオを前記ローカルUEへ送信する、
リモートUE。 - 前記1または複数のPTZFコマンドは、国際電気通信連合(ITU)H.281/H.224プロトコルに基づく、
請求項23または24に記載のリモートUE。 - 前記1または複数のプロセッサは、前記1または複数のPTZFコマンドを単一伝送にて前記ローカルUEから受信する、
請求項23から25のいずれか一項に記載のリモートUE。 - 請求項14から19のいずれか一項に記載のプログラムを格納するコンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462059025P | 2014-10-02 | 2014-10-02 | |
US62/059,025 | 2014-10-02 | ||
US14/704,437 US9516220B2 (en) | 2014-10-02 | 2015-05-05 | Interactive video conferencing |
US14/704,437 | 2015-05-05 | ||
PCT/US2015/044351 WO2016053477A1 (en) | 2014-10-02 | 2015-08-07 | Interactive video conferencing |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018116662A Division JP2018186518A (ja) | 2014-10-02 | 2018-06-20 | 対話型ビデオ会議 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017536713A JP2017536713A (ja) | 2017-12-07 |
JP6359764B2 true JP6359764B2 (ja) | 2018-07-18 |
Family
ID=53879849
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017511988A Active JP6359764B2 (ja) | 2014-10-02 | 2015-08-07 | 対話型ビデオ会議 |
JP2018116662A Pending JP2018186518A (ja) | 2014-10-02 | 2018-06-20 | 対話型ビデオ会議 |
JP2020203978A Active JP7114684B2 (ja) | 2014-10-02 | 2020-12-09 | 対話型ビデオ会議 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018116662A Pending JP2018186518A (ja) | 2014-10-02 | 2018-06-20 | 対話型ビデオ会議 |
JP2020203978A Active JP7114684B2 (ja) | 2014-10-02 | 2020-12-09 | 対話型ビデオ会議 |
Country Status (7)
Country | Link |
---|---|
US (4) | US9516220B2 (ja) |
EP (1) | EP3202137B1 (ja) |
JP (3) | JP6359764B2 (ja) |
KR (2) | KR101936944B1 (ja) |
CN (1) | CN106797448A (ja) |
TW (2) | TWI630825B (ja) |
WO (1) | WO2016053477A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014175919A1 (en) * | 2013-04-26 | 2014-10-30 | Intel IP Corporation | Shared spectrum reassignment in a spectrum sharing context |
US9386275B2 (en) * | 2014-01-06 | 2016-07-05 | Intel IP Corporation | Interactive video conferencing |
US9516220B2 (en) | 2014-10-02 | 2016-12-06 | Intel Corporation | Interactive video conferencing |
US10021346B2 (en) | 2014-12-05 | 2018-07-10 | Intel IP Corporation | Interactive video conferencing |
US9706107B2 (en) * | 2015-07-13 | 2017-07-11 | Avaya Inc. | Camera view control using unique nametags and gestures |
US10257284B2 (en) | 2015-12-30 | 2019-04-09 | Samsung Electronics Co., Ltd. | Broadcasting local function templates to proximate mobile computing devices |
KR20170091913A (ko) * | 2016-02-02 | 2017-08-10 | 삼성전자주식회사 | 영상 서비스 제공 방법 및 장치 |
US20170237986A1 (en) * | 2016-02-11 | 2017-08-17 | Samsung Electronics Co., Ltd. | Video encoding method and electronic device adapted thereto |
US11553157B2 (en) | 2016-10-10 | 2023-01-10 | Hyperconnect Inc. | Device and method of displaying images |
KR102540459B1 (ko) * | 2016-12-22 | 2023-06-05 | 한화비전 주식회사 | Rtp/rtsp 표준을 따르는 서버와 클라이언트에서 실시간 영상 스트리밍 방법 |
EP3529982B1 (en) | 2017-01-31 | 2023-10-11 | Hewlett-Packard Development Company, L.P. | Video zoom controls based on received information |
GB2560029A (en) * | 2017-02-28 | 2018-08-29 | Nicholas Mcardell Roger | A system and a method for switching focus and a connector |
KR101932844B1 (ko) | 2017-04-17 | 2018-12-27 | 주식회사 하이퍼커넥트 | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 |
US20180352156A1 (en) | 2017-06-02 | 2018-12-06 | Apple Inc. | High-Quality Audio/Visual Conferencing |
WO2019035007A1 (en) | 2017-08-15 | 2019-02-21 | American Well Corporation | APPARATUS AND METHODS FOR REMOTE CAMERA CONTROL WITH INTENTION BASED COMMANDS AND AUTOMATIC LEARNING VISION STATUS MANAGEMENT |
KR102044242B1 (ko) * | 2017-12-27 | 2019-11-13 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말 및 서버 |
US20190215729A1 (en) * | 2018-03-15 | 2019-07-11 | Intel Corporation | Session description protocol mechanisms for signaling radio access network capabilities in multimedia telephony sessions |
US10887514B2 (en) * | 2018-12-21 | 2021-01-05 | Fuji Xerox Co., Ltd. | System and method of providing gaze and awareness for ultra wide and 360 cameras |
KR102282963B1 (ko) | 2019-05-10 | 2021-07-29 | 주식회사 하이퍼커넥트 | 단말기, 서버 및 그것의 동작 방법 |
US11848023B2 (en) * | 2019-06-10 | 2023-12-19 | Google Llc | Audio noise reduction |
US12113843B2 (en) * | 2019-07-26 | 2024-10-08 | Intel Corporation | Viewport indication during streaming of volumetric point cloud content |
KR102311603B1 (ko) | 2019-10-01 | 2021-10-13 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
KR102293422B1 (ko) | 2020-01-31 | 2021-08-26 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
KR20210115442A (ko) | 2020-03-13 | 2021-09-27 | 주식회사 하이퍼커넥트 | 신고 평가 장치 및 그것의 동작 방법 |
CN114615362B (zh) * | 2020-12-09 | 2023-07-11 | 华为技术有限公司 | 相机控制方法、装置和存储介质 |
WO2023122511A1 (en) * | 2021-12-21 | 2023-06-29 | Canon U.S.A., Inc. | Apparatus and method for controlling an online meeting |
US11900677B2 (en) | 2022-02-25 | 2024-02-13 | Cisco Technology, Inc. | User-selected multi-view videoconferencing |
TW202416066A (zh) | 2022-10-04 | 2024-04-16 | 倍利科技股份有限公司 | 遠端遙控顯微機具的系統及方法 |
Family Cites Families (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496607B1 (en) | 1998-06-26 | 2002-12-17 | Sarnoff Corporation | Method and apparatus for region-based allocation of processing resources and control of input image formation |
AU2001216956A1 (en) | 2000-10-09 | 2002-04-22 | Societe Europeenne Des Satellites S.A. | Internet broadcast system |
US7321384B1 (en) * | 2003-06-03 | 2008-01-22 | Cisco Technology, Inc. | Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference |
US7119829B2 (en) | 2003-07-31 | 2006-10-10 | Dreamworks Animation Llc | Virtual conference room |
WO2005071921A1 (en) | 2003-12-23 | 2005-08-04 | Nokia Corporation | Image data transfer sessions |
JP4763312B2 (ja) | 2004-04-23 | 2011-08-31 | 住友電気工業株式会社 | 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム |
US8427538B2 (en) | 2004-04-30 | 2013-04-23 | Oncam Grandeye | Multiple view and multiple object processing in wide-angle video camera |
JP4093226B2 (ja) * | 2004-11-08 | 2008-06-04 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
US8693537B2 (en) | 2005-03-01 | 2014-04-08 | Qualcomm Incorporated | Region-of-interest coding with background skipping for video telephony |
US8768084B2 (en) | 2005-03-01 | 2014-07-01 | Qualcomm Incorporated | Region-of-interest coding in video telephony using RHO domain bit allocation |
US8019175B2 (en) | 2005-03-09 | 2011-09-13 | Qualcomm Incorporated | Region-of-interest processing for video telephony |
US8977063B2 (en) | 2005-03-09 | 2015-03-10 | Qualcomm Incorporated | Region-of-interest extraction for video telephony |
CN101167365A (zh) | 2005-03-09 | 2008-04-23 | 高通股份有限公司 | 用于视频电话的感兴趣区域处理 |
WO2006106032A1 (en) * | 2005-04-05 | 2006-10-12 | Thomson Licensing | Method for locally adjusting a quantization step |
WO2006108917A1 (en) | 2005-04-13 | 2006-10-19 | Nokia Corporation | Coding, storage and signalling of scalability information |
US8019170B2 (en) | 2005-10-05 | 2011-09-13 | Qualcomm, Incorporated | Video frame motion-based automatic region-of-interest detection |
KR101329167B1 (ko) | 2005-10-12 | 2013-11-14 | 톰슨 라이센싱 | 관심 구역의 h.264 스케일러블 비디오 코딩 |
CN101473055B (zh) | 2006-07-06 | 2012-10-10 | 洛特斯合金有限公司 | 多孔体的制造方法 |
US20080095228A1 (en) | 2006-10-20 | 2008-04-24 | Nokia Corporation | System and method for providing picture output indications in video coding |
JP2008259000A (ja) | 2007-04-06 | 2008-10-23 | Sony Corp | テレビ会議装置、制御方法、およびプログラム |
US8446454B2 (en) | 2007-05-21 | 2013-05-21 | Polycom, Inc. | Dynamic adaption of a continuous presence videoconferencing layout based on video content |
US8289371B2 (en) | 2007-05-21 | 2012-10-16 | Polycom, Inc. | Smart cropping of video images in a videoconferencing session |
FR2918520A1 (fr) | 2007-07-03 | 2009-01-09 | Canon Kk | Procede et dispositif de transmission video |
KR101421587B1 (ko) | 2007-08-23 | 2014-07-22 | 삼성전자주식회사 | 무선 영상 전화 단말간의 선호 영상 규격을 결정하는 방법및 장치 |
CN101453639B (zh) | 2007-11-29 | 2012-05-30 | 展讯通信(上海)有限公司 | 支持roi区域的多路视频流的编码、解码方法和系统 |
US8570359B2 (en) | 2008-08-04 | 2013-10-29 | Microsoft Corporation | Video region of interest features |
CN101404726B (zh) | 2008-10-20 | 2012-05-02 | 华为终端有限公司 | 一种远端摄像机的控制方法、系统和装置 |
US20100118111A1 (en) | 2008-11-10 | 2010-05-13 | Nokia Corporation | Method and apparatus for remote camera control indications in video conferencing |
US8532414B2 (en) | 2009-03-17 | 2013-09-10 | Utc Fire & Security Corporation | Region-of-interest video quality enhancement for object recognition |
NO332170B1 (no) | 2009-10-14 | 2012-07-16 | Cisco Systems Int Sarl | Anordning og fremgangsmate for kamerakontroll |
US20110128288A1 (en) | 2009-12-02 | 2011-06-02 | David Petrou | Region of Interest Selector for Visual Queries |
US8502856B2 (en) | 2010-04-07 | 2013-08-06 | Apple Inc. | In conference display adjustments |
CN102215373B (zh) * | 2010-04-07 | 2014-12-24 | 苹果公司 | 会议中的显示调整 |
US8718245B2 (en) * | 2011-02-16 | 2014-05-06 | Justin Kahn | Methods and systems for online counseling sessions and clinics |
US8970653B2 (en) * | 2011-06-16 | 2015-03-03 | Vtel Products Corporation, Inc. | Video conference control system and method |
CN103858457B (zh) | 2011-08-01 | 2018-11-13 | 英特尔公司 | 用于身份提供商(IdP)漫游/代理的多跳单点登录(SSO) |
US9584819B2 (en) | 2011-10-24 | 2017-02-28 | Qualcomm Incorporated | Grouping of tiles for video coding |
US9042247B2 (en) | 2011-12-06 | 2015-05-26 | Wi-Lan Labs, Inc. | Systems and methods for preserving application identification information on handover in a communication network |
US9413941B2 (en) | 2011-12-20 | 2016-08-09 | Motorola Solutions, Inc. | Methods and apparatus to compensate for overshoot of a desired field of vision by a remotely-controlled image capture device |
US8854958B2 (en) | 2011-12-22 | 2014-10-07 | Cygnus Broadband, Inc. | Congestion induced video scaling |
US9213605B2 (en) | 2012-01-23 | 2015-12-15 | Intel Corporation | IP multimedia subsystem and method for MBMS file repair using HTTP servers |
EP2621171A1 (en) | 2012-01-27 | 2013-07-31 | Alcatel Lucent | System and method for sharing videos |
GB2499200B (en) | 2012-02-07 | 2014-12-17 | Canon Kk | Method and device for transitioning between an image of a first video sequence and an image for a second video sequence |
CN103384319B (zh) * | 2012-05-04 | 2018-06-15 | 中兴通讯股份有限公司 | 双流视频会议终端的图像缩放方法和系统 |
EP2688283B1 (en) | 2012-07-20 | 2020-03-18 | BlackBerry Limited | Dynamic region of interest adaptation and image capture device providing same |
US8935246B2 (en) | 2012-08-08 | 2015-01-13 | Google Inc. | Identifying textual terms in response to a visual query |
US8963988B2 (en) | 2012-09-14 | 2015-02-24 | Tangome, Inc. | Camera manipulation during a video conference |
US10771801B2 (en) | 2012-09-14 | 2020-09-08 | Texas Instruments Incorporated | Region of interest (ROI) request and inquiry in a video chain |
TWI620435B (zh) | 2012-09-18 | 2018-04-01 | Vid衡器股份有限公司 | 使用圖塊及圖塊組的感興趣區域視訊編碼的方法及裝置 |
CN103686056B (zh) * | 2012-09-24 | 2017-07-28 | 鸿富锦精密工业(深圳)有限公司 | 会议终端及该会议终端的视频处理方法 |
WO2014113197A1 (en) | 2013-01-17 | 2014-07-24 | Intel IP Corporation | Presence service using ims based dash service |
CN105027499B (zh) | 2013-04-04 | 2021-05-28 | 苹果公司 | 基于互联网协议(ip)多媒体子系统(ims)的对等(p2p)内容分发 |
CN104113766B (zh) | 2013-04-16 | 2018-01-02 | 华为技术有限公司 | 一种媒体流的传输带宽的调整方法及相关装置 |
WO2014175919A1 (en) | 2013-04-26 | 2014-10-30 | Intel IP Corporation | Shared spectrum reassignment in a spectrum sharing context |
EP3058747B1 (en) | 2013-10-15 | 2019-11-20 | Nokia Technologies Oy | Scalable video encoding and decoding using syntax element |
US9762533B2 (en) | 2013-12-20 | 2017-09-12 | Futurewei Technologies, Inc. | Method of IMS (SIP network) webRTC optimized P2P communication |
US9386275B2 (en) | 2014-01-06 | 2016-07-05 | Intel IP Corporation | Interactive video conferencing |
US9516220B2 (en) | 2014-10-02 | 2016-12-06 | Intel Corporation | Interactive video conferencing |
US10021346B2 (en) | 2014-12-05 | 2018-07-10 | Intel IP Corporation | Interactive video conferencing |
-
2015
- 2015-05-05 US US14/704,437 patent/US9516220B2/en active Active
- 2015-08-07 EP EP15751255.9A patent/EP3202137B1/en active Active
- 2015-08-07 CN CN201580047449.6A patent/CN106797448A/zh active Pending
- 2015-08-07 KR KR1020177006065A patent/KR101936944B1/ko active IP Right Grant
- 2015-08-07 JP JP2017511988A patent/JP6359764B2/ja active Active
- 2015-08-07 WO PCT/US2015/044351 patent/WO2016053477A1/en active Application Filing
- 2015-08-07 KR KR1020197000238A patent/KR102211546B1/ko active IP Right Grant
- 2015-08-31 TW TW106112611A patent/TWI630825B/zh active
- 2015-08-31 TW TW104128649A patent/TWI590664B/zh active
-
2016
- 2016-11-30 US US15/365,746 patent/US9832369B2/en active Active
-
2017
- 2017-11-01 US US15/801,100 patent/US10148868B2/en active Active
-
2018
- 2018-06-20 JP JP2018116662A patent/JP2018186518A/ja active Pending
- 2018-10-04 US US16/152,295 patent/US10791261B2/en active Active
-
2020
- 2020-12-09 JP JP2020203978A patent/JP7114684B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
TWI630825B (zh) | 2018-07-21 |
JP2017536713A (ja) | 2017-12-07 |
US20170085782A1 (en) | 2017-03-23 |
JP7114684B2 (ja) | 2022-08-08 |
KR101936944B1 (ko) | 2019-01-10 |
TW201633776A (zh) | 2016-09-16 |
US10791261B2 (en) | 2020-09-29 |
US10148868B2 (en) | 2018-12-04 |
US9832369B2 (en) | 2017-11-28 |
JP2021052415A (ja) | 2021-04-01 |
US20180054563A1 (en) | 2018-02-22 |
KR20170049512A (ko) | 2017-05-10 |
KR102211546B1 (ko) | 2021-02-02 |
US9516220B2 (en) | 2016-12-06 |
EP3202137B1 (en) | 2021-09-22 |
US20160100099A1 (en) | 2016-04-07 |
WO2016053477A1 (en) | 2016-04-07 |
TWI590664B (zh) | 2017-07-01 |
CN106797448A (zh) | 2017-05-31 |
JP2018186518A (ja) | 2018-11-22 |
BR112017004323A2 (pt) | 2017-12-05 |
US20190037131A1 (en) | 2019-01-31 |
TW201742447A (zh) | 2017-12-01 |
EP3202137A1 (en) | 2017-08-09 |
KR20190006069A (ko) | 2019-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7114684B2 (ja) | 対話型ビデオ会議 | |
US10165226B2 (en) | Interactive video conferencing | |
US10491861B2 (en) | Interactive video conferencing | |
TWI635751B (zh) | 可組配用於視訊注意區域(roi)傳信之以經由ims之多媒體電話服務(mtsi)為基礎的使用者設備(ue)(二) | |
BR112017004323B1 (pt) | Videoconferência interativa |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6359764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |