JP2010258724A - Camera, video transmitting apparatus, video receiving device and video communication system - Google Patents
Camera, video transmitting apparatus, video receiving device and video communication system Download PDFInfo
- Publication number
- JP2010258724A JP2010258724A JP2009105783A JP2009105783A JP2010258724A JP 2010258724 A JP2010258724 A JP 2010258724A JP 2009105783 A JP2009105783 A JP 2009105783A JP 2009105783 A JP2009105783 A JP 2009105783A JP 2010258724 A JP2010258724 A JP 2010258724A
- Authority
- JP
- Japan
- Prior art keywords
- attention area
- unit
- fade
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、撮像画像を注目領域と非注目領域に分割し、それら領域の画像データを符号化して送信する映像送信装置を備えたカメラに関し、また、カメラと映像受信装置で構成される映像通信システムに関する。 The present invention relates to a camera including a video transmission device that divides a captured image into a region of interest and a region of no interest, and encodes and transmits image data of these regions, and also includes video communication including the camera and a video reception device. About the system.
従来、映像をネットワーク経由で送信するカメラが提供されており、例えば、監視映像が送信される。この種の技術では、通信データ量を極力削減することが求められる。このような要求に応えるため、従来、撮像画像を注目領域と背景領域に分割し、背景領域の圧縮率を高めることが提案されている。例えば、被写体が動く領域が注目領域に設定され、被写体が静止した領域が背景領域に設定される。以下の説明では、注目領域、背景領域等の領域の画像（又は画像データ）のことを、適宜、単に領域という。 2. Description of the Related Art Conventionally, a camera that transmits video via a network has been provided. For example, a monitoring video is transmitted. With this type of technology, it is required to reduce the amount of communication data as much as possible. In order to meet such a demand, conventionally, it has been proposed to divide a captured image into a region of interest and a background region to increase the compression ratio of the background region. For example, an area where the subject moves is set as the attention area, and an area where the subject is stationary is set as the background area. In the following description, an image (or image data) of a region such as a region of interest or a background region is simply referred to as a region as appropriate.
図１０は、従来提案されている領域分割を使った圧縮技術の例を示している。図１０では、データ量削減のために、領域の注目度合いに基づき、空間的な画像品質だけでなく、時間的な画像品質をも変化させている。具体的には、図示のように、注目領域の画像データは、高画質、高フレームレートで伝送され、背景領域の画像データは、低画質、低フレームレートで伝送される。これにより、主観的な画像品質を維持しつつ、データの圧縮率を高めている（特許文献１）。 FIG. 10 shows an example of a compression technique that uses a conventionally proposed area division. In FIG. 10, in order to reduce the amount of data, not only the spatial image quality but also the temporal image quality is changed based on the attention degree of the region. Specifically, as shown in the figure, the image data of the attention area is transmitted at a high image quality and a high frame rate, and the image data of the background area is transmitted at a low image quality and a low frame rate. As a result, the data compression rate is increased while maintaining subjective image quality (Patent Document 1).
しかしながら、従来のカメラやその映像通信システムにおいては、ネットワーク状況をフィードバックして符号化を制御する場合に、以下のような問題が生じる。 However, the conventional camera and its video communication system have the following problems when controlling the encoding by feeding back the network status.
注目領域と背景領域では、注目領域の送信が優先される。ネットワークの通信状況が悪化し、帯域が狭い状態が続き、注目領域のデータのためにしか帯域を確保できず、背景領域が更新されなかったとする。この場合、映像受信側では、古い背景画像が表示され続ける。ところが、背景領域は元々変化の少ない領域であることが多い。そのため、ユーザが映像受信側の表示を見ても、実際の背景に変化が無いのか、ネットワーク状況が原因で背景情報を更新できていないのかを判別できないという問題がある。 In the attention area and the background area, transmission of the attention area has priority. It is assumed that the network communication status deteriorates, the bandwidth continues to be narrow, the bandwidth can be secured only for the data of the attention area, and the background area is not updated. In this case, the old background image continues to be displayed on the video receiving side. However, the background area is often an area with little change. Therefore, even if the user looks at the display on the video receiving side, there is a problem that it cannot be determined whether there is no change in the actual background or whether the background information has not been updated due to the network status.
例えば、監視カメラの映像をユーザに送信する場合、ユーザは、背景領域内の動きもある程度は知る必要がある。それ故、実際の背景が変化していないのか、背景情報が更新されていないのかを判断できないと不便である。そこで、ネットワーク状況が原因で背景領域を更新できていないことをユーザが把握可能にすることが望まれる。 For example, when the video of the surveillance camera is transmitted to the user, the user needs to know the movement in the background area to some extent. Therefore, it is inconvenient if it cannot be determined whether the actual background has changed or the background information has not been updated. Therefore, it is desired that the user can grasp that the background area has not been updated due to the network status.
また、従来は、上記のようにネットワーク状況が原因で背景領域が更新されない状態が続くと、注目領域と背景領域の境界部分のずれが大きくなり、画像が不自然になるという問題もある。 Conventionally, if the background area is not updated due to the network condition as described above, there is a problem that the boundary between the attention area and the background area becomes large and the image becomes unnatural.
ここでは、注目領域と背景領域への領域分割について説明した。背景領域は非注目領域に相当する。本明細書において、非注目領域とは、注目領域以外の領域である。 Here, the area division into the attention area and the background area has been described. The background area corresponds to the non-attention area. In this specification, the non-attention area is an area other than the attention area.
本発明は、従来の問題を解決するためになされたものであり、その目的は、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、かつ、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減できるカメラや映像通信システムを提供することにある。 The present invention was made to solve the conventional problems, the purpose of which can efficiently transmit video data according to the network status, it is possible to grasp the update status of the non-attention area due to the network status, It is another object of the present invention to provide a camera and a video communication system that can reduce a sense of incongruity due to a shift in the boundary between the attention area and the non-attention area even when the image of the non-attention area is not updated.
本発明のカメラは、被写体を撮像する撮像部と、前記撮像部により撮像された画像データを注目領域と非注目領域に分割する領域分割部と、前記注目領域及び前非注目領域の画像データを符号化する符号化部と、前記符号化部により符号化された符号化データをネットワークへ送出する通信部と、前記ネットワークの通信状態を監視して前記符号化部を制御する制御部と、を有し、前記制御部は、前記通信状態に応じて、前記非注目領域の更新を抑制し、前記非注目領域にフェードアウトが生じるように前記符号化部を制御する。 The camera of the present invention includes an imaging unit that images a subject, an area dividing unit that divides image data captured by the imaging unit into an attention area and a non-attention area, and image data of the attention area and the previous non-attention area. An encoding unit that performs encoding, a communication unit that transmits encoded data encoded by the encoding unit to a network, and a control unit that monitors the communication state of the network and controls the encoding unit. And the control unit controls the coding unit so as to suppress the update of the non-attention area and fade out in the non-attention area according to the communication state.
この構成により、ネットワークの通信状態が悪化し、帯域が狭くなると、非注目領域の更新が抑制されるとともに、非注目領域がフェードアウトする。非注目領域の更新を抑制するので、注目領域のための帯域を確保でき、注目領域の映像データを効率よく伝送し、復号できる。そして、非注目領域のフェードアウトにより、非注目領域が更新されていないことを把握可能である。また、注目領域と非注目領域の境界にずれが生じた場合でも、非注目領域をフェードアウトすることにより、ずれを目立たなくできる。このように、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、かつ、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減できる。 With this configuration, when the communication state of the network deteriorates and the bandwidth becomes narrow, the update of the non-attention area is suppressed and the non-attention area fades out. Since the update of the non-attention area is suppressed, a band for the attention area can be secured, and the video data of the attention area can be efficiently transmitted and decoded. Then, it is possible to grasp that the non-attention area has not been updated by fading out of the non-attention area. Further, even when a shift occurs in the boundary between the attention area and the non-focus area, the shift can be made inconspicuous by fading out the non-focus area. In this way, video data can be transmitted efficiently according to the network status, the update status of the non-attention area due to the network status can be grasped, and the attention area and the non-attention area even when the image of the non-attention area is not updated It is possible to reduce the uncomfortable feeling caused by the shift of the boundary portion.
また、本発明のカメラにおいて、前記制御部は、前記通信状態として前記ネットワークの通信速度を監視し、通信速度が所定レベル以下に低下したと判断される場合に前記非注目領域の更新を抑制する。 In the camera of the present invention, the control unit monitors the communication speed of the network as the communication state, and suppresses the update of the non-attention area when it is determined that the communication speed has decreased to a predetermined level or less. .
この構成により、ネットワーク状況に応じて符号化を好適に制御できる。通信速度は、例えば、通信部における送信バッファの空き容量で表される。帯域が小さくなり、通信速度が下がると、送信バッファの空き容量が低減する。空き容量が所定値以下になったことを通信部が制御部に通知してよく、これにより制御部は通信速度が所定レベル以下であると判断できる。 With this configuration, encoding can be suitably controlled according to network conditions. The communication speed is represented, for example, by the free capacity of the transmission buffer in the communication unit. When the bandwidth is reduced and the communication speed is reduced, the free capacity of the transmission buffer is reduced. The communication unit may notify the control unit that the free capacity is equal to or less than a predetermined value, so that the control unit can determine that the communication speed is equal to or less than a predetermined level.
本発明のカメラにおいて、前記符号化部は、重み付けした参照画像を用いる重み付け予測符号化を前記非注目領域に対して行い、該重み付け予測符号化における予測誤差を抑制することによりフェードアウト効果を生じさせる。 In the camera according to the aspect of the invention, the encoding unit performs weighted prediction encoding using a weighted reference image on the non-target region, and generates a fade-out effect by suppressing a prediction error in the weighted prediction encoding. .
この構成により、重み付け予測符号化を活用することにより、フェードアウト効果を得られる。したがって、標準のデコーダで通常のデコード処理を行うと、フェードアウト効果が得られる。フェードアウトを実現するためにフィルタ等を用いる必要がない。さらに、フェードアウトのために専用の情報を送信する必要もなく、符号化効率を下げずに済む。こうして、簡単な構成でもって、符号化効率の低下を避けつつ、非注目領域のフェードアウト効果を得ることができる。 With this configuration, a fade-out effect can be obtained by using weighted predictive coding. Therefore, when a normal decoding process is performed with a standard decoder, a fade-out effect can be obtained. There is no need to use a filter or the like in order to realize the fade-out. Furthermore, there is no need to transmit dedicated information for fading out, and the encoding efficiency does not need to be reduced. Thus, with a simple configuration, it is possible to obtain the fade-out effect of the non-attention area while avoiding a decrease in encoding efficiency.
また、本発明のカメラにおいて、前記制御部は、前記非注目領域の画像中に動きが無い場合に、前記非注目領域のフェードアウトを抑制する。 In the camera of the present invention, the control unit suppresses fade-out of the non-attention area when there is no movement in the image of the non-attention area.
この構成により、非注目領域に動きがあればフェードアウトが行われ、非注目領域に動きが無ければフェードアウトが行われない。したがって、フェードアウトするか否かによって非注目領域の動きの有無を把握できる。この構成は、フェードアウトを符号化側で行っていることを利用している。符号化側でフェードアウトを制御するので、上記のように非注目領域内の動きの有無に応じてフェードアウトを切り換えることができ、復号側に非注目領域内の動きの有無を把握させることができる。 With this configuration, if there is movement in the non-attention area, fade-out is performed, and if there is no movement in the non-attention area, fade-out is not performed. Therefore, the presence or absence of movement of the non-attention area can be grasped depending on whether or not to fade out. This configuration utilizes the fact that fading out is performed on the encoding side. Since the encoding side controls the fade-out, the fade-out can be switched according to the presence / absence of the motion in the non-target region as described above, and the decoding side can be made aware of the presence / absence of the motion in the non-target region.
また、本発明のカメラにおいて、前記制御部は、前記非注目領域における動きの大きさに応じて、前記フェードアウトの透過度を制御する。 In the camera according to the aspect of the invention, the control unit may control the transparency of the fade-out according to the magnitude of the movement in the non-attention area.
この構成により、非注目領域内の動きが大きいほど、より速く非注目領域がフェードアウトする。したがって、非注目領域の動きの程度も把握可能になる。上記の重み付け予測符号化を適用する場合、重み係数の変更により透過度を制御できる。 With this configuration, the greater the movement in the non-attention area, the faster the non-attention area fades out. Therefore, the degree of movement of the non-attention area can be grasped. When the above weighted predictive coding is applied, the transparency can be controlled by changing the weighting factor.
また、本発明のカメラにおいて、前記制御部は、前記非注目領域を構成するスライス単位で前記フェードアウトの透過度を制御する。 In the camera of the present invention, the control unit controls the transparency of the fade-out in units of slices that form the non-target area.
この構成により、非注目領域を構成するスライス毎に、動きの大きさに応じてフェードアウトの速さが制御される。したがって、非注目領域中で動きのある場所と動きの大きさを把握可能になる。 With this configuration, the fade-out speed is controlled in accordance with the magnitude of movement for each slice constituting the non-target region. Therefore, it is possible to grasp the place of movement and the magnitude of the movement in the non-attention area.
また、本発明の別の態様は映像送信装置であり、画像データを注目領域と非注目領域に分割する領域分割部と、前記注目領域及び前非注目領域の画像データを符号化する符号化部と、前記符号化部により符号化された符号化データをネットワークへ送出する通信部と、前記ネットワークの通信状態を監視して前記符号化部を制御する制御部と、を有し、前記制御部は、前記通信状態に応じて、前記非注目領域の更新を抑制し、前記非注目領域にフェードアウトが生じるように前記符号化部を制御する。この態様でも上述した本発明の利点が好適に得られる。映像送信装置はカメラに内蔵されてもよい。また、映像送信装置はカメラに接続されてもよい。また、映像送信装置は、記録された映像を送信してもよい。 Another aspect of the present invention is a video transmission device, an area dividing unit that divides image data into an attention area and a non-attention area, and an encoding section that encodes image data of the attention area and the previous non-attention area. A communication unit that transmits the encoded data encoded by the encoding unit to a network, and a control unit that monitors the communication state of the network and controls the encoding unit, and the control unit Controls the encoding unit so as to suppress the update of the non-attention area and fade out in the non-attention area according to the communication state. Also in this aspect, the above-described advantages of the present invention can be suitably obtained. The video transmission device may be built in the camera. The video transmission device may be connected to a camera. The video transmission device may transmit the recorded video.
また、本発明の別の態様は映像受信装置であり、注目領域及び非注目領域を含む画像の符号化データを受信する通信部と、前記符号化データを復号する復号化部と、復号された画像データにて前記非注目領域が更新されていない場合に、前記非注目領域のフェードアウト処理を行うフェードアウト部と、前記注目領域及び前記非注目領域の合成画像を表示する表示部と、を有する。 Another aspect of the present invention is a video reception device, which includes a communication unit that receives encoded data of an image including an attention area and a non-attention area, and a decoding unit that decodes the encoded data. A fade-out unit that performs a fade-out process on the non-attention area when the non-attention area is not updated in the image data; and a display unit that displays a composite image of the attention area and the non-attention area.
この態様では、映像受信装置にてフェードアウトが行われる。この態様でも、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減でき、本発明の利点が得られる。 In this aspect, the video receiving device performs fade-out. Even in this mode, video data can be efficiently transmitted according to the network status, the update status of the non-attention area due to the network status can be grasped, and the boundary between the attention area and the non-attention area even when the image of the non-attention area is not updated The uncomfortable feeling due to the shift of the part can be reduced and the advantages of the present invention can be obtained.
また、本発明の別の態様は、注目領域と非注目領域に分割された画像データを送信する映像送信装置と、ネットワークを介して前記映像送信装置から受信した前記注目領域及び前記非注目領域を合成した画像を表示する映像受信装置とを有する映像通信システムであって、前記ネットワークの通信状態を監視して、前記通信状態に応じて、前記非注目領域の更新を抑制する手段と、前記非注目領域の更新が抑制されているときに、前記非注目領域の画像をフェードアウトさせる手段とを有する。 According to another aspect of the present invention, there is provided a video transmission device that transmits image data divided into an attention region and a non-attention region, and the attention region and the non-attention region received from the video transmission device via a network. A video communication system having a video receiving device for displaying a synthesized image, wherein the network communication state is monitored, and the update of the non-attention area is suppressed according to the communication state; Means for fading out the image of the non-attention area when the update of the attention area is suppressed.
この態様では、フェードアウトが送信側で行われてもよく、受信側で行われてもよい。この態様でも、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減でき、本発明の利点が得られる。 In this aspect, the fade-out may be performed on the transmission side or the reception side. Even in this mode, video data can be efficiently transmitted according to the network status, the update status of the non-attention area due to the network status can be grasped, and the boundary between the attention area and the non-attention area even when the image of the non-attention area is not updated The uncomfortable feeling due to the shift of the part can be reduced, and the advantages of the present invention can be obtained.
また、本発明の別の態様は、画像データを注目領域と非注目領域に分割し、前記注目領域及び前記非注目領域の画像データを符号化し、符号化データをネットワークへ送出する映像送信方法であって、前記ネットワークの通信状態に応じて、前記非注目領域の更新を抑制するとともに、フェードアウトが生じるように前記非注目領域を符号化する。この態様でも、本発明の利点が好適に得られる。 Another aspect of the present invention is a video transmission method in which image data is divided into an attention area and a non-attention area, the image data of the attention area and the non-attention area is encoded, and the encoded data is transmitted to a network. In accordance with the communication state of the network, the non-attention area is encoded so that the update of the non-attention area is suppressed and fade-out occurs. Also in this aspect, the advantages of the present invention can be obtained suitably.
また、本発明の別の態様は、注目領域及び非注目領域を含む画像の符号化データを受信し、前記符号化データを復号して前記注目領域及び前記非注目領域の画像を取得し、前記注目領域及び前記非注目領域の画像を合成する映像受信方法であって、前記非注目領域が更新されていない場合に、前記非注目領域のフェードアウト処理を行う。この態様でも、本発明の利点が好適に得られる。 According to another aspect of the present invention, encoded data of an image including a region of interest and a non-region of interest is received, the encoded data is decoded to obtain images of the region of interest and the non-region of interest, A video receiving method for synthesizing an image of an attention area and an image of the non-attention area, and when the non-attention area has not been updated, fade-out processing of the non-attention area is performed. Also in this aspect, the advantages of the present invention can be obtained suitably.
本発明は、ネットワークの通信状態に応じて非注目領域の更新を抑制すると共に、非注目領域をフェードアウトさせる構成を設けることにより、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減できるという効果を有するカメラを提供できる。 The present invention suppresses the update of the non-attention area according to the communication state of the network and provides a configuration for fading out the non-attention area, so that the video data can be efficiently transmitted according to the network situation. It is possible to provide a camera that can grasp the update state of the attention area and can reduce the sense of incongruity due to the deviation of the boundary between the attention area and the non-attention area even when the image of the non-attention area is not updated.
以下、本発明の実施の形態のカメラとそれを備えた映像通信システムについて、図面を用いて説明する。 Hereinafter, a camera according to an embodiment of the present invention and a video communication system including the camera will be described with reference to the drawings.
本発明の第１の実施の形態のカメラを備えた映像通信システムを図１に示す。図１に示すように、映像通信システム１においては、カメラ１０１がネットワーク１０２を介して映像受信装置１０３と接続されている。 FIG. 1 shows a video communication system including the camera according to the first embodiment of the present invention. As shown in FIG. 1, in the video communication system 1, a camera 101 is connected to a video reception device 103 via a network 102.
カメラ１０１は、撮像部１１０、動き検出部１１１、領域分割部１１２、符号化部１１３、記憶部１１４、通信部１１５及び制御部１１６を有する。カメラ１０１には映像送信装置が組み込まれている。領域分割部１１２、符号化部１１３、記憶部１１４、通信部１１５及び制御部１１６が映像送信装置を構成してよい。 The camera 101 includes an imaging unit 110, a motion detection unit 111, a region division unit 112, an encoding unit 113, a storage unit 114, a communication unit 115, and a control unit 116. The camera 101 incorporates a video transmission device. The area dividing unit 112, the encoding unit 113, the storage unit 114, the communication unit 115, and the control unit 116 may constitute a video transmission device.
撮像部１１０は固体撮像素子を備え、被写体を撮像し、電気的な画像信号を生成する。動き検出部１１１は、撮像部１１０によって生成された画像データを処理して、画像中の動きを検出する。 The imaging unit 110 includes a solid-state imaging device, images a subject, and generates an electrical image signal. The motion detection unit 111 processes the image data generated by the imaging unit 110 and detects a motion in the image.
領域分割部１１２は、撮像部１１０により生成された画像データを注目領域と背景領域に分割する。背景領域は、注目領域以外の領域であり、本発明の非注目領域に相当する。 The area dividing unit 112 divides the image data generated by the imaging unit 110 into an attention area and a background area. The background area is an area other than the attention area, and corresponds to the non-attention area of the present invention.
注目領域は、ユーザにより指定されてよい。例えば、注目領域の位置が映像受信装置１０３に入力される。注目領域の位置情報は、映像受信装置１０３からカメラ１０１へと送信され、通信部１１５から制御部１１６を介して領域分割部１１２に供給される。領域分割部１１２は、指定された位置の画像を撮像画像から切り出して注目領域とし、残りの部分を背景領域とする。 The attention area may be designated by the user. For example, the position of the attention area is input to the video reception device 103. The position information of the attention area is transmitted from the video receiving apparatus 103 to the camera 101 and supplied from the communication section 115 to the area dividing section 112 via the control section 116. The area dividing unit 112 cuts out the image at the designated position from the captured image and sets it as the attention area, and sets the remaining part as the background area.
また、注目領域は、動き検出結果に基づいて決定されてよい。この場合、動き検出部１１１から制御部１１６へ動き検出結果が供給されてよい。制御部１１６は、移動物体の領域を注目領域に設定し、静止物体の領域を背景領域に設定する。注目領域及び背景領域が制御部１１６から領域分割部１１２へ指示され、領域分割部１１２は制御部１１６の指示に従って領域分割を行う。 The attention area may be determined based on the motion detection result. In this case, the motion detection result may be supplied from the motion detection unit 111 to the control unit 116. The control unit 116 sets the moving object area as the attention area, and sets the stationary object area as the background area. The attention area and the background area are instructed from the control unit 116 to the area dividing unit 112, and the area dividing unit 112 performs area division according to the instruction of the control unit 116.
符号化部１１３は、領域分割部１１２により生成された注目領域及び背景領域の画像データを符号化し、符号化データを生成する。本実施の形態では、符号化部１１３は、ＩＴＵ−Ｔ勧告のＨ．２６４（ＩＳＯ／ＩＥＣのＭＰＥＧ４ Ｐａｒｔ１０ ＡＶＣ）に準拠している。符号化部１１３は制御部１１６により制御される。記憶部１１４は、画像データ及び符号化データを記憶する。これらデータは、符号化部１１３における予測符号化に用いられる。 The encoding unit 113 encodes the image data of the attention area and the background area generated by the area dividing unit 112, and generates encoded data. In the present embodiment, the encoding unit 113 is an H.264 recommendation of the ITU-T recommendation. 264 (ISO / IEC MPEG4 Part 10 AVC). The encoding unit 113 is controlled by the control unit 116. The storage unit 114 stores image data and encoded data. These data are used for predictive encoding in the encoding unit 113.
通信部１１５は、ネットワーク１０２を介して映像受信装置１０３と通信する構成である。通信部１１５は、符号化部１１３により生成された符号化データを送信する。また、通信部１１５は、映像受信装置１０３から制御関連のデータを受信する。 The communication unit 115 is configured to communicate with the video reception device 103 via the network 102. The communication unit 115 transmits the encoded data generated by the encoding unit 113. In addition, the communication unit 115 receives control-related data from the video reception device 103.
制御部１１６は、カメラ１０１とその映像送信装置の全体を制御する構成であり、符号化部１１３の符号化も制御する。制御部１１６は、注目領域と背景領域とで符号量の割り当てを異ならせるために、符号化パラメータを制御する。符号化パラメータは例えば量子化ステップである。注目領域の量子化ステップが背景領域の量子化ステップよりも小さく設定される。これにより、背景領域と比べて、注目領域の圧縮率が小さくなり、画質が良くなる。 The control unit 116 is configured to control the camera 101 and the entire video transmission device, and also controls encoding of the encoding unit 113. The control unit 116 controls the encoding parameter in order to make the code amount assignment different between the attention area and the background area. The encoding parameter is, for example, a quantization step. The quantization step of the attention area is set smaller than the quantization step of the background area. As a result, the compression ratio of the attention area is smaller than that of the background area, and the image quality is improved.
また、制御部１１６は、ネットワークの通信状態を監視し、通信状態に応じて符号化部１１３を制御する。制御部１１６は、通信状態としてネットワークの通信速度を監視し、通信速度が所定レベル以下に低下したか否かを判断する。 The control unit 116 also monitors the communication state of the network and controls the encoding unit 113 according to the communication state. The control unit 116 monitors the communication speed of the network as the communication state, and determines whether or not the communication speed has dropped below a predetermined level.
通信速度の情報は、通信部１１５から制御部１１６へと通知される。通信部１１５は、通信速度のパラメータとして送信バッファの空き容量を用いる。送信バッファの空き容量は通信速度を間接的に表す。通信状況が悪化し、通信速度が低下すると、空き容量が少なくなる。そこで、通信部１１５は、送信バッファの空き容量を監視し、空き容量が所定値以下になると、制御部１１６に通知する。制御部１１６は、通信部１１５からの通知により、通信速度が所定レベル以下になったことを判断できる。 Information on the communication speed is notified from the communication unit 115 to the control unit 116. The communication unit 115 uses the free capacity of the transmission buffer as a parameter for the communication speed. The free capacity of the transmission buffer indirectly represents the communication speed. When the communication situation deteriorates and the communication speed decreases, the free capacity decreases. Therefore, the communication unit 115 monitors the free capacity of the transmission buffer, and notifies the control unit 116 when the free capacity falls below a predetermined value. The control unit 116 can determine from the notification from the communication unit 115 that the communication speed has become a predetermined level or less.
制御部１１６は、通信速度が所定レベル以下になると、符号化部１１３を制御し、背景領域の更新を抑制し、更に、背景領域にフェードアウトを生じさせるように符号化部１１３を制御する。本実施の形態では、実際にフェードアウト画像を生成する代わりに、ＩＴＵ−Ｔ勧告のＨ．２６４における重み付け予測符号化を利用して擬似的にフェードアウト効果を実現する。この点については後述にて詳細に説明する。 When the communication speed becomes equal to or lower than the predetermined level, the control unit 116 controls the encoding unit 113 to suppress the update of the background area, and further controls the encoding unit 113 to cause the background area to fade out. In this embodiment, instead of actually generating a fade-out image, H.264 of ITU-T recommendation. The fade-out effect is realized in a pseudo manner using the weighted predictive coding in H.264. This point will be described in detail later.
次に、映像受信装置１０３の構成を説明する。映像受信装置１０３は、通信部１３０、復号化部１３１、記憶部１３２、表示部１３３、操作部１３４及び制御部１３５を有する。 Next, the configuration of the video reception device 103 will be described. The video reception device 103 includes a communication unit 130, a decoding unit 131, a storage unit 132, a display unit 133, an operation unit 134, and a control unit 135.
通信部１３０は、カメラ１０１と通信する構成であり、カメラ１０１から符号化データを受信し、また、カメラ１０１へ制御関連のデータを送信する。復号化部１３１は、通信部１３０により受信された符号化データを復号し、注目領域と背景領域の画像を得る。記憶部１３２は、復号された画像を記憶する。記憶された画像は、復号化部１３１における復号処理に用いられる。本実施の形態では、フェードアウトのために、背景領域が重み付け予測によって符号化されている。この符号化データの復号においても、記憶部１３２の画像データが用いられる。 The communication unit 130 is configured to communicate with the camera 101, receives encoded data from the camera 101, and transmits control-related data to the camera 101. The decoding unit 131 decodes the encoded data received by the communication unit 130 to obtain images of the attention area and the background area. The storage unit 132 stores the decoded image. The stored image is used for the decoding process in the decoding unit 131. In the present embodiment, the background region is encoded by weighted prediction for fading out. Also in decoding of the encoded data, the image data in the storage unit 132 is used.
復号化部１３１は注目領域と背景領域の合成画像を表示部１３３に出力し、表示部１３３は、復号化部１３１から入力された合成画像を表示する。操作部１３４は、キーボードやポインティングデバイス等で構成されてよく、ユーザによる各種の指示を入力する。注目領域の指定も、操作部１３４から入力されてよい。 The decoding unit 131 outputs the combined image of the attention area and the background area to the display unit 133, and the display unit 133 displays the combined image input from the decoding unit 131. The operation unit 134 may be configured with a keyboard, a pointing device, and the like, and inputs various instructions from the user. The designation of the attention area may also be input from the operation unit 134.
制御部１３５は、映像受信装置１０３全体を制御する構成である。操作部１３４へ入力されたユーザの指示は、制御部１３５へ供給され、制御部１３５から通信部１３０を介してカメラ１０１へ送信され、カメラ１０１の制御部１１６へと伝達される。 The control unit 135 is configured to control the entire video reception device 103. A user instruction input to the operation unit 134 is supplied to the control unit 135, transmitted from the control unit 135 to the camera 101 via the communication unit 130, and transmitted to the control unit 116 of the camera 101.
次に、本実施の形態におけるＨ．２６４の重み付け予測を利用したフェードアウト処理について説明する。まず、重み付け予測符号化について説明し、それから、本実施の形態のフェードアウト処理について説明する。 Next, H. in this embodiment. A fade-out process using H.264 weighted prediction will be described. First, weighted predictive coding will be described, and then the fade-out processing of the present embodiment will be described.
図２は、Ｈ．２６４の重み付け予測を示している。重み付け予測は、明るさについて重み付けした参照画像を用いたフレーム間予測である。図示のように、符号化側では、記憶された前フレームの画像が重み付けされて、参照画像が作成される。ここでは、輝度値に重み係数（１未満）が掛けられる。入力画像と参照画像の差分が、予測誤差として求められる。復号処理では、重み係数と予測誤差が用いられる。前フレームの画像と重み係数から参照画像が得られ、参照画像に予測誤差値が加算され、元の入力画像が得られる。 FIG. H.264 weighted prediction is shown. Weighted prediction is interframe prediction using a reference image weighted with respect to brightness. As illustrated, on the encoding side, the stored image of the previous frame is weighted to create a reference image. Here, the luminance value is multiplied by a weighting factor (less than 1). A difference between the input image and the reference image is obtained as a prediction error. In the decoding process, a weight coefficient and a prediction error are used. A reference image is obtained from the image of the previous frame and the weighting coefficient, and a prediction error value is added to the reference image to obtain the original input image.
図３は、上記の重み付け予測を利用した本実施の形態のフェードアウト処理を示す。図示のように、本実施の形態では、重み付け予測の予測誤差が抑制される。本明細書において、予測誤差の抑制とは、誤差を実質的に無くす処理をいい、具体的な処理としては予測誤差が０に置き換えられる。 FIG. 3 shows a fade-out process of the present embodiment using the above weighted prediction. As shown in the figure, in this embodiment, the prediction error of weighted prediction is suppressed. In this specification, the suppression of the prediction error refers to a process of substantially eliminating the error, and the prediction error is replaced with 0 as a specific process.
予測誤差が０なので、復号処理では参照画像のみが得られる。参照画像では、過去のフレームのデータの輝度が重み付けにより低減されている。重み係数は徐々に小さくなるように設定される。したがって、復号に用いる画像は過去の画像と同様でありつつ、輝度が徐々に小さくなり、フェードアウト効果が得られる。 Since the prediction error is 0, only the reference image is obtained in the decoding process. In the reference image, the luminance of the data of the past frame is reduced by weighting. The weighting factor is set so as to gradually decrease. Therefore, the image used for decoding is the same as the past image, but the luminance gradually decreases, and a fade-out effect is obtained.
制御部１１６は、上記のフェードアウト処理を背景領域に対して行うように符号化部１１３に指示する。すなわち、制御部１１６は、背景領域と重み係数を符号化部１１３に指示して、背景領域の重み付け予測を行わせる。また、制御部１１６は、予測誤差を０に置き換えるように符号化部１１３に指示する。符号化部１１３は、制御部１１６の制御下で、記憶部１１４に記憶された背景領域の画像に対して輝度の重み付けを行って参照画像を作成し、通常の重み付け予測を行う。ただし、符号化部１１３は、予測誤差を０に置き換える。こうして作成された符号化データが、通信部１１５から映像受信装置１０３へ送信される。 The control unit 116 instructs the encoding unit 113 to perform the above fade-out process on the background area. That is, the control unit 116 instructs the encoding unit 113 to provide a background area and a weighting factor, and performs weighted prediction of the background area. In addition, the control unit 116 instructs the encoding unit 113 to replace the prediction error with 0. Under the control of the control unit 116, the encoding unit 113 weights the luminance of the background region image stored in the storage unit 114 to create a reference image, and performs normal weighted prediction. However, the encoding unit 113 replaces the prediction error with 0. The encoded data created in this way is transmitted from the communication unit 115 to the video reception device 103.
映像受信装置１０３では、復号化部１３１が、背景領域の画像に対して通常の重み付け予測の復号処理を行う。予測誤差が０なので、復号画像は参照画像のみになり、かつ、重み係数が徐々に小さくなる。したがって、表示部１３３では、同じ背景領域の画像（通信速度が低下する直前の背景領域の画像）が徐々に輝度を下げることになり、フェードアウトが好適に実現される。 In the video reception device 103, the decoding unit 131 performs a normal weighted prediction decoding process on the background region image. Since the prediction error is 0, the decoded image is only the reference image, and the weight coefficient is gradually reduced. Therefore, in the display unit 133, the image of the same background region (the image of the background region immediately before the communication speed decreases) gradually decreases in luminance, and the fade-out is preferably realized.
以上に本実施の形態に係る映像通信システム１の構成を説明した。次に、本実施の形態の動作を説明する。 The configuration of the video communication system 1 according to the present embodiment has been described above. Next, the operation of the present embodiment will be described.
図４は、カメラ１０１による背景領域に関する処理を示している。制御部１１６は、ネットワーク１０２の通信速度が低下したか否かを判定する（Ｓ１）。前述のように、送信バッファの空き容量が所定値以下になると、通信部１１５が制御部１１６に容量低下を通知する。この通知を受けると、ステップＳ１の判断がＹＥＳになる。 FIG. 4 shows processing related to the background area by the camera 101. The control unit 116 determines whether or not the communication speed of the network 102 has decreased (S1). As described above, when the free capacity of the transmission buffer becomes equal to or less than the predetermined value, the communication unit 115 notifies the control unit 116 of a decrease in capacity. When this notification is received, the determination in step S1 is YES.
ステップＳ１がＹＥＳの場合、制御部１１６は、符号化部１１３を制御し、背景領域の更新を抑制し（Ｓ２）、タイマを更新する（Ｓ３）。新たな画像から切り出した背景領域の符号化を行わないことにより、背景領域の更新が抑制される。タイマは、通信速度低下によって背景領域更新の抑制を開始してから経過した時間を計るために用いられる。 When step S1 is YES, the control part 116 controls the encoding part 113, suppresses the update of a background area (S2), and updates a timer (S3). By not encoding the background area cut out from the new image, the update of the background area is suppressed. The timer is used to measure the time that has elapsed since the start of suppression of background area update due to a decrease in communication speed.
制御部１１６は、タイマの計測時間が所定時間に到達したか否かを判定する（Ｓ４）。所定時間は、フェードアウト開始の閾時間である。ステップＳ４がＮＯであれば、制御部１１６はステップＳ６に進む。ステップＳ６では、符号化部１１３により符号化が行われる。 The control unit 116 determines whether or not the timer measurement time has reached a predetermined time (S4). The predetermined time is a threshold time for starting fade-out. If step S4 is NO, the control unit 116 proceeds to step S6. In step S6, the encoding unit 113 performs encoding.
ステップＳ４がＹＥＳであれば、制御部１１６は、フェードアウト開始を符号化部１１３に指示して（Ｓ５）、ステップＳ６に進む。本実施の形態では、重み付け予測の指示が、フェードアウトの指示に相当する。制御部１１６は、符号化部１１３に対し、重み付け係数を指示し、また、予測誤差を０に置き換えるように指示する。この指示に従い、ステップＳ６では、符号化部１１３が重み付け予測を行う。 If step S4 is YES, the control unit 116 instructs the encoding unit 113 to start fading out (S5), and proceeds to step S6. In the present embodiment, the weighted prediction instruction corresponds to a fade-out instruction. The control unit 116 instructs the encoding unit 113 to specify a weighting coefficient and to replace the prediction error with zero. In accordance with this instruction, in step S6, the encoding unit 113 performs weighted prediction.
一方、ステップＳ１がＮＯの場合、制御部１１６は、フェードアウト中であるか否かを判定する（Ｓ７）。ステップＳ７がＮＯであれば、制御部１１６は、タイマを初期化して（Ｓ９）、ステップＳ６に進む。 On the other hand, when step S1 is NO, the control part 116 determines whether it is fading out (S7). If step S7 is NO, the control unit 116 initializes the timer (S9) and proceeds to step S6.
また、ステップＳ７がＹＥＳであれば、制御部１１６は、フェードアウト解除を指示し（Ｓ８）、タイマを初期化して（Ｓ９）、ステップＳ６に進む。フェードアウト解除の指示は、本実施の形態では、重み付け予測を中止する指示である。これにより、フェードアウトが解除され、ステップＳ６では、符号化部１１３が、領域分割部１１２により新たな撮像画像から切り出された背景領域に対して符号化処理を行う。 If step S7 is YES, the control unit 116 instructs the fade-out cancellation (S8), initializes the timer (S9), and proceeds to step S6. In the present embodiment, the instruction to cancel the fade-out is an instruction to cancel the weighted prediction. Accordingly, the fade-out is canceled, and in step S6, the encoding unit 113 performs an encoding process on the background region cut out from the new captured image by the region dividing unit 112.
次に、映像通信システム１の全体の動作を説明する。まず、ネットワークの通信状態が良好であり、十分な通信速度が確保されていたとする。この場合、撮像部１１０が画像データを生成し、領域分割部１１２が画像データを注目領域と背景領域に分割し、符号化部１１３が注目領域と背景領域の画像データを符号化して、符号化データを生成する。符号化部１１３は、制御部１１６の制御下で、注目領域と背景領域への符号量の割り当てを異ならせる。通信状況が良好なので、図４のステップＳ１はＮＯであり、ステップＳ７もＮＯであり、フェードアウトのための重み付け予測は行われない。 Next, the overall operation of the video communication system 1 will be described. First, it is assumed that the communication state of the network is good and a sufficient communication speed is secured. In this case, the imaging unit 110 generates image data, the region dividing unit 112 divides the image data into a region of interest and a background region, and the encoding unit 113 encodes the image data of the region of interest and the background region. Generate data. Under the control of the control unit 116, the encoding unit 113 changes the code amount allocation to the attention area and the background area. Since the communication status is good, step S1 in FIG. 4 is NO, step S7 is also NO, and weighting prediction for fading out is not performed.
通信部１１５はネットワーク１０２を介して映像受信装置１０３へと符号化データを送信する。映像受信装置１０３では、符号化データが通信部１３０に受信され、復号化部１３１で復号される。復号化部１３１は、注目領域と背景領域の復号データを生成し、それらの合成画像を表示部１３３に出力し、表示部１３３が合成画像を表示する。 The communication unit 115 transmits the encoded data to the video reception device 103 via the network 102. In the video reception device 103, the encoded data is received by the communication unit 130 and decoded by the decoding unit 131. The decoding unit 131 generates decoded data of the attention area and the background area, outputs the combined image to the display unit 133, and the display unit 133 displays the combined image.
次に、ネットワークの通信状態が悪化し、通信速度が低下したとする。この場合、図４のステップＳ１がＹＥＳになり、制御部１１６は、背景領域の更新を抑制する。ここでは、新たな画像から得られた背景領域の符号化が抑制される。背景領域内のマクロブロックがスキップマクロブロックに設定されて、最低量の符号が割り当てられてよい。注目領域は、通信速度が低下する前と同様に符号化される。そして、符号化データが映像受信装置１０３へ送信される。 Next, it is assumed that the communication state of the network deteriorates and the communication speed decreases. In this case, step S1 in FIG. 4 becomes YES, and the control unit 116 suppresses the update of the background area. Here, the encoding of the background region obtained from the new image is suppressed. Macroblocks in the background area may be set as skip macroblocks and assigned the lowest amount of code. The attention area is encoded in the same manner as before the communication speed decreases. Then, the encoded data is transmitted to the video reception device 103.
映像受信装置１０３では、復号化部１３１が符号化データを復号することにより、注目領域のデータが得られる。復号化部１３１は、復号された注目領域の画像と、記憶部１３２に記憶された過去のフレームの背景領域の画像との合成画像を出力する。ここでは、背景領域にスキップマクロブロックが設定されているので、フレーム間差分が０になり、結果的に過去の背景領域が使用される。したがって、表示される画像においては、注目領域の画像のみが変化する。背景領域の画像は変化しなくなり、通信速度が低下する直前の画像と同じままになる。 In the video reception device 103, the decoding unit 131 decodes the encoded data, whereby the data of the attention area is obtained. The decoding unit 131 outputs a composite image of the decoded image of the attention area and the background area image of the past frame stored in the storage unit 132. Here, since the skip macroblock is set in the background area, the interframe difference becomes 0, and as a result, the past background area is used. Therefore, in the displayed image, only the image of the attention area changes. The image in the background area does not change and remains the same as the image immediately before the communication speed decreases.
図４のステップＳ１がＹＥＳになってから所定時間が経過すると、ステップＳ４がＹＥＳになり、フェードアウトが開始する。符号化部１１３は、背景領域に対して重み付け予測を行い、更に予測誤差を０に置き換える。注目領域は、通信速度が低下する前と同様に符号化される。そして、符号化データが映像受信装置１０３へ送信される。 When a predetermined time elapses after step S1 in FIG. 4 becomes YES, step S4 becomes YES and fade-out starts. The encoding unit 113 performs weighted prediction on the background region and further replaces the prediction error with zero. The attention area is encoded in the same manner as before the communication speed decreases. Then, the encoded data is transmitted to the video reception device 103.
映像受信装置１０３では、復号化部１３１が符号化データを復号する。復号化部１３１は、背景領域については重み付け予測の復号処理を行う。復号化部１３１は、注目領域と背景領域の合成画像を表示部１３３に供給し、表示部１３３が合成画像を表示する。合成画像において、注目領域の画像は、通信速度の低下前と同様であるが、背景領域の画像は、図３を参照して説明したようにフェードアウトする。 In the video reception device 103, the decoding unit 131 decodes the encoded data. The decoding unit 131 performs a weighted prediction decoding process on the background area. The decoding unit 131 supplies the combined image of the attention area and the background area to the display unit 133, and the display unit 133 displays the combined image. In the composite image, the image of the attention area is the same as that before the communication speed is lowered, but the image of the background area fades out as described with reference to FIG.
制御部１１６は、フェードアウトが開始してから所定時間が経過すると、フェードアウトを終了するように符号化部１１３を制御してよい。この所定時間は、フェードアウトで画像が十分な程度に消えるのに要する時間に予め設定される。この場合、制御部１１６は、重み付け予測の終了を符号化部１１３に指示する。符号化部１１３は、重み付け予測を行わず、背景領域の更新抑制のみを行う。すなわち、背景領域は、スキップマクロブロックに設定される。映像受信装置１０３では、背景領域の画像が表示されず、注目領域の画像のみが表示される。 The control unit 116 may control the encoding unit 113 to end the fade-out when a predetermined time elapses after the fade-out starts. This predetermined time is set in advance to a time required for the image to disappear to a sufficient extent by fading out. In this case, the control unit 116 instructs the encoding unit 113 to end weighted prediction. The encoding unit 113 does not perform weighted prediction, but only suppresses update of the background region. That is, the background area is set to a skip macroblock. In the video receiving apparatus 103, the image of the background area is not displayed, and only the image of the attention area is displayed.
また、通信状態が回復すると、背景領域の更新抑制及びフェードアウトは解除され、背景領域の符号化が再開し、注目領域と背景領域が映像受信装置１０３に送信され、表示される。 When the communication state is restored, the background area update suppression and fade-out are canceled, the background area encoding is restarted, and the attention area and the background area are transmitted to the video receiving apparatus 103 and displayed.
図５は、本実施の形態のフェードアウトの効果を示している。図では、ハッチングの密度（濃さ）がフェードアウトの程度を示しており、密度が高いほど、フェードアウト前の画像に近く、密度が低いほど、フェードアウトが進んで画像が消える（以下同様）。ユーザは、背景領域がフェードアウトするのを見て、ネットワーク状況により背景領域が更新されていないことを把握できる。ユーザは、背景領域の更新が必要と考えた場合には、操作部１３４を操作して、注目領域（サイズ、数等）を変更したり、圧縮率を変更して、符号化データ量を削減できる。ユーザの指示が操作部１３４から入力され、制御部１３５から通信部１３０を介してカメラ１０１に伝達され、カメラ１０１の処理に反映され、符号化データ量が低減する。これにより、通信部１１５の送信バッファの空き容量が増え、背景領域の更新が再開される。 FIG. 5 shows the effect of fade-out according to the present embodiment. In the figure, the density (darkness) of hatching indicates the degree of fading out. The higher the density, the closer to the image before fading out, and the lower the density, the fading out progresses and the image disappears (the same applies hereinafter). The user sees that the background area fades out, and can grasp that the background area is not updated according to the network status. When the user thinks that the background area needs to be updated, the user operates the operation unit 134 to change the attention area (size, number, etc.) or change the compression rate to reduce the amount of encoded data. it can. A user's instruction is input from the operation unit 134, is transmitted from the control unit 135 to the camera 101 via the communication unit 130, is reflected in the processing of the camera 101, and the amount of encoded data is reduced. As a result, the free space in the transmission buffer of the communication unit 115 increases, and the update of the background area is resumed.
図６は、本実施の形態におけるフェードアウトのもう一つの利点を示している。背景領域が更新されず、注目領域の被写体に動きがあると、図５に示されるように、注目領域と背景領域の境界部分にずれが生じる。過去の背景領域を使い続けると、注目領域と背景領域のずれが大きくなり、このずれは、注目領域と背景領域の合成画像を不自然にする。しかし、本実施の形態では、背景領域がフェードアウトするので、背景領域と注目領域のずれが目立たない。したがって、注目領域と背景領域のずれによる違和感を軽減できる。 FIG. 6 shows another advantage of fade-out in the present embodiment. If the background area is not updated and the subject in the attention area moves, the boundary between the attention area and the background area shifts as shown in FIG. If the past background area is continuously used, the shift between the attention area and the background area becomes large, and this shift makes the synthesized image of the attention area and the background area unnatural. However, in the present embodiment, since the background area fades out, the deviation between the background area and the attention area is not noticeable. Therefore, a sense of incongruity due to a shift between the attention area and the background area can be reduced.
次に、上記の実施の形態の変形例について説明する。上記の実施の形態において、符号化部１１３は、重み付け予測のために実際に参照画像を作成し、入力画像と参照画像の誤差を求め、それから誤差を０に置き換えてよい。しかし、符号化部１１３は、入力画像と参照画像の差分を求めなくてもよい。符号化部１１３は参照画像の作成さえも行わなくてもよい。符号化部１１３は、差分計算や参照画像作成を行うことなく、単に重み係数と予測誤差（＝０）を出力するように構成されてよい。 Next, a modification of the above embodiment will be described. In the above embodiment, the encoding unit 113 may actually create a reference image for weighted prediction, obtain an error between the input image and the reference image, and then replace the error with 0. However, the encoding unit 113 does not have to obtain the difference between the input image and the reference image. The encoding unit 113 may not even create a reference image. The encoding unit 113 may be configured to simply output a weighting coefficient and a prediction error (= 0) without performing difference calculation or reference image creation.
また、本実施の形態では、通信速度が低下すると背景領域の更新が抑制される。具体的な処理としては、送信バッファが閾値以下になると、背景領域の更新が抑制される。この閾値は、映像通信システム１の用途等に応じて適当に設定されてよい。閾値を大きくすれば、注目領域をより確実に送信し続けられる。閾値を小さくすれば、背景領域の更新を極力続けられる。本発明の範囲で、閾値が相当に小さく設定され、輻輳の発生が判断され、輻輳が生じたときに背景領域の更新が抑制されてもよい。 Further, in the present embodiment, when the communication speed decreases, the background area is suppressed from being updated. As a specific process, when the transmission buffer becomes equal to or less than the threshold value, the update of the background area is suppressed. This threshold value may be appropriately set according to the usage of the video communication system 1 or the like. If the threshold value is increased, the attention area can be transmitted more reliably. If the threshold is reduced, the background area can be updated as much as possible. Within the scope of the present invention, the threshold value may be set to be considerably small, the occurrence of congestion may be determined, and the update of the background area may be suppressed when congestion occurs.
また、本実施の形態では、通信速度が低下したときに、まず、背景領域の更新が抑制され、さらに所定時間が経ってからフェードアウトが開始した。背景領域の更新抑制とフェードアウト開始は、同時であってもよい。この点に関し、背景領域の更新抑制のため、上述の実施の形態では、背景領域にスキップマクロブロックが設定された。背景領域の更新抑制とフェードアウト開始が同時であれば、このような処理は行われなくてよい。重み付け予測の予測誤差を抑制することにより（予測誤差を０にすることにより）、背景領域の更新抑制効果が得られる。 In the present embodiment, when the communication speed decreases, the background area is first updated and fade-out starts after a predetermined time. The background region update suppression and the fade-out start may be performed at the same time. In this regard, in order to suppress the update of the background area, the skip macroblock is set in the background area in the above-described embodiment. If the background area update suppression and the fade-out start are simultaneous, such a process may not be performed. By suppressing the prediction error of the weighted prediction (by setting the prediction error to 0), the background region update suppression effect can be obtained.
また、本実施の形態では、注目領域と背景領域で符号量の割り当てが異なって設定された。さらに、注目領域と背景領域のフレームレートも異なって設定されてよい。 In the present embodiment, the code amount allocation is set differently for the attention area and the background area. Furthermore, the frame rates of the attention area and the background area may be set differently.
また、本実施の形態では、カメラ１０１に映像送信装置が内蔵されていた。しかし、映像送信装置がカメラと別体であり、カメラに接続されてよい。この場合、カメラは図１の撮像部１１０を有してよい。映像送信装置は、動き検出部１１１、領域分割部１１２、符号化部１１３、記憶部１１４、通信部１１５及び制御部１１６を有してよい。映像送信装置は、カメラから供給された画像を処理し、映像受信装置へ送信してよい。 In the present embodiment, the camera 101 has a built-in video transmission device. However, the video transmission device may be separate from the camera and connected to the camera. In this case, the camera may include the imaging unit 110 in FIG. The video transmission apparatus may include a motion detection unit 111, a region division unit 112, an encoding unit 113, a storage unit 114, a communication unit 115, and a control unit 116. The video transmission device may process the image supplied from the camera and transmit it to the video reception device.
以上に説明したように、本実施の形態によれば、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による背景領域の更新状況を把握可能であり、背景領域の画像が更新されない場合でも注目領域と背景領域の境界部分のずれによる違和感を低減できる。 As described above, according to the present embodiment, video data can be efficiently transmitted according to the network status, the update status of the background area can be grasped according to the network status, and the image of the background area is not updated However, it is possible to reduce a sense of incongruity due to a shift in the boundary between the attention area and the background area.
また、本実施の形態によれば、上記のように、重み付け予測符号化を活用することにより、擬似的にフェードアウト効果を得られる。具体的には、Ｈ．２６４の重み付け予測を適用し、予測誤差を制限することで、フェードアウトを実現できる。したがって、標準のデコーダで通常のデコード処理を行うと、フェードアウト効果が得られる。フェードアウトを実現するためにフィルタ等を用いる必要もない。さらに、フェードアウトのために専用の情報を送信する必要もなく、符号化効率を下げずに済む。こうして、簡単な構成でもって、符号化効率の低下を避けつつ、背景領域のフェードアウト効果を得ることができる。 Further, according to the present embodiment, as described above, the fade-out effect can be obtained in a pseudo manner by utilizing the weighted predictive coding. Specifically, H.C. By applying the H.264 weighted prediction and limiting the prediction error, fade-out can be realized. Therefore, when a normal decoding process is performed with a standard decoder, a fade-out effect can be obtained. There is no need to use a filter or the like in order to realize the fade-out. Furthermore, there is no need to transmit dedicated information for fading out, and the encoding efficiency does not need to be reduced. In this way, with a simple configuration, it is possible to obtain a fade-out effect of the background area while avoiding a decrease in encoding efficiency.
また、本実施の形態によれば、通信速度に基づいて符号化が制御され、これにより、ネットワーク状況に応じて符号化を好適に制御できる。 Further, according to the present embodiment, encoding is controlled based on the communication speed, and thereby encoding can be suitably controlled according to the network status.
次に、上記の実施の形態を更に改良した構成について説明する。 Next, a configuration obtained by further improving the above embodiment will be described.
「背景領域内の動きに応じたフェードアウトの切換え」
上記の実施の形態では、制御部１１６は、通信状況に基づいて背景領域のフェードアウトを符号化部１１３に指示した。ここでは、制御部１１６が、通信状況に加えて、背景領域内の動きの有無に応じてフェードアウトを符号化部１１３に指示する。制御部１１６は、背景領域に動きが有れば、フェードアウトを符号化部１１３に指示する。しかし、背景領域に動きが無ければ、制御部１１６はフェードアウトを符号化部１１３に指示しない。映像受信装置１０３では、同じ背景領域が、更新されることなく、フェードアウトすることもなく表示され続ける。
"Switching fade-out according to movement in the background area"
In the embodiment described above, the control unit 116 instructs the encoding unit 113 to fade out the background area based on the communication status. Here, the control unit 116 instructs the encoding unit 113 to fade out according to the presence / absence of movement in the background area in addition to the communication status. If there is a movement in the background area, the control unit 116 instructs the encoding unit 113 to fade out. However, if there is no movement in the background area, the control unit 116 does not instruct the encoding unit 113 to fade out. In the video receiving apparatus 103, the same background area is not updated and is continuously displayed without fading out.
制御部１１６は、背景領域の動きの有無を、フレーム間の背景領域の差分を用いて判断してよい。この場合、差分データが符号化部１１３から制御部１１６に供給されてよい。そして、制御部１１６は、背景領域の差分が所定値以上であれば、背景領域に動きがあると判定してよい。 The control unit 116 may determine the presence / absence of the movement of the background area using the difference of the background area between frames. In this case, difference data may be supplied from the encoding unit 113 to the control unit 116. Then, the control unit 116 may determine that there is movement in the background region if the difference between the background regions is equal to or greater than a predetermined value.
また、制御部１１６は、動き検出部１１１の動き検出結果に基づいて背景領域内の動きを判定してよい。この場合、制御部１１６は、動き検出部１１１から動き検出結果を取得する。制御部１１６は、動き検出結果から、背景領域に動きが無いと判断すると、フェードアウトを行わないように符号化部１１３を制御する。 In addition, the control unit 116 may determine the motion in the background area based on the motion detection result of the motion detection unit 111. In this case, the control unit 116 acquires a motion detection result from the motion detection unit 111. If the control unit 116 determines from the motion detection result that there is no motion in the background area, the control unit 116 controls the encoding unit 113 not to perform fade-out.
上記構成によれば、背景領域に動きがあった場合のみ背景領域がフェードアウトする。背景領域がフェードアウトしないということは、背景領域に動きが無いことを意味する。したがって、ユーザは、映像受信装置１０３での映像を見て、背景領域内の動きの有無を判断できる。そして、ユーザは必要に応じて注目領域を切り換えことができ、画像中の動く領域を注目領域とすることができる。 According to the above configuration, the background area fades out only when the background area moves. The fact that the background area does not fade out means that there is no movement in the background area. Therefore, the user can determine the presence or absence of movement in the background area by watching the video on the video receiving device 103. The user can switch the attention area as necessary, and the moving area in the image can be the attention area.
このように、本実施の形態によれば、背景領域のフェードアウトの有無によってユーザが背景領域内の動きの有無を把握できる。この構成は、符号化側で擬似的にフェードアウトを行っていることを活用している。符号化側でフェードアウトを制御するので、上記のように背景領域内の動きの有無に応じてフェードアウトを切り換えることができ、復号側に背景領域内の動きの有無を把握させることができる。 Thus, according to this embodiment, the user can grasp the presence / absence of movement in the background region based on the presence / absence of the fade-out of the background region. This configuration utilizes the fact that the encoding side performs pseudo fade-out. Since the fade-out is controlled on the encoding side, the fade-out can be switched according to the presence or absence of motion in the background area as described above, and the presence or absence of motion in the background area can be recognized on the decoding side.
「背景領域内の動きに応じた透過度の制御」
本実施の形態では、符号化部１１３が、背景領域内の動きの大きさに応じてフェードアウトの透過度を制御してよく、特に、スライス単位でフェードアウトを制御してよい。以下、この点について説明する。
"Controlling transparency according to movement in the background area"
In the present embodiment, encoding section 113 may control the fade-out transparency according to the magnitude of movement in the background area, and may control the fade-out in units of slices. Hereinafter, this point will be described.
本実施の形態では、背景領域が複数のスライスで構成される。制御部１１６は、各スライスの動き量を検出する。動き量のパラメータとしては、フレーム間差分が用いられてよい。この場合、制御部１１６は、スライス毎の差分値を符号化部１１３から取得してよい。差分値が大きいほど、スライスの変化が大きく、動き量が大きいと判断される。また、制御部１１６は、動き検出部１１１から動き検出結果を取得し、動き検出結果からスライス毎の動き量を求めてよい。 In the present embodiment, the background area is composed of a plurality of slices. The control unit 116 detects the amount of movement of each slice. An inter-frame difference may be used as the motion amount parameter. In this case, the control unit 116 may acquire a difference value for each slice from the encoding unit 113. It is determined that the greater the difference value, the greater the change in slice and the greater the amount of motion. In addition, the control unit 116 may acquire a motion detection result from the motion detection unit 111 and obtain a motion amount for each slice from the motion detection result.
制御部１１６は、フェードアウトの透過度を制御するために、重み付け予測の重み係数を変更する。フェードアウトにおいて、透過度は、ＲＧＢや色差の透明度である。透過度は、重み付け予測の重み係数と対応し、重み係数が小さいほど、重み付け予測の参照画像の輝度が小さくなり、透過度が大きくなる。そこで、制御部１１６は、重み付け係数を制御することで、透過度を制御できる。 The control unit 116 changes the weight coefficient of the weighted prediction in order to control the fade-out transparency. In the fade-out, the transparency is the transparency of RGB or color difference. The transparency corresponds to the weighting coefficient for weighted prediction, and the smaller the weighting coefficient, the smaller the luminance of the reference image for weighted prediction and the greater the transparency. Therefore, the control unit 116 can control the transmittance by controlling the weighting coefficient.
図７は、本実施の形態によるスライス毎の動き量に応じた透過度の制御を示している。図示のように、制御部１１６は、スライス画像の動きが大きいほど、該当スライスの重み係数を小さくし（０に近くし）、透過度を大きくする。逆に、動きが小さいほど、重み係数を大きくして、透過度を小さくする。動きが無い領域（変化無し）では、重み係数が１でもよく、この場合には、フェードアウト効果が現れず、同じ輝度のスライス画像が表示され続ける。 FIG. 7 shows control of transparency according to the amount of movement for each slice according to the present embodiment. As illustrated, the control unit 116 decreases the weight coefficient of the corresponding slice (closes to 0) and increases the transparency as the movement of the slice image increases. Conversely, the smaller the movement, the larger the weighting factor and the lower the transparency. In an area where there is no motion (no change), the weighting factor may be 1. In this case, a fade-out effect does not appear and a slice image having the same luminance is continuously displayed.
上記構成によれば、背景領域内の動きが大きいほど、より速く背景領域がフェードアウトする。したがって、背景領域内の動きの程度も把握可能になる。 According to the above configuration, the background area fades out faster as the movement in the background area increases. Therefore, it is possible to grasp the degree of movement in the background area.
また、上記構成によれば、背景領域のスライス毎に、動きの大きさに応じてフェードアウトの速さが制御される。したがって、背景領域中で動きのある場所と動きの大きさを把握可能になる。 Moreover, according to the said structure, the speed of fade-out is controlled according to the magnitude | size of a motion for every slice of a background area | region. Therefore, it is possible to grasp the place of movement and the magnitude of movement in the background area.
次に、本発明の第２の実施の形態について説明する。図８は、第２の実施の形態に係る映像通信システム１１の構成を示している。第２の実施の形態では、フェードアウト処理が映像受信装置１０３側で行われる。以下の説明において、第１の実施の形態と共通する事項の説明は省略する。 Next, a second embodiment of the present invention will be described. FIG. 8 shows the configuration of the video communication system 11 according to the second embodiment. In the second embodiment, the fade-out process is performed on the video reception device 103 side. In the following description, description of matters common to the first embodiment is omitted.
図８に示されるように、第２の実施の形態では、映像受信装置１０３がフェードアウト部１３６及び合成部１３７を備えている。フェードアウト部１３６は、フェードアウト用のフィルタで構成されており、記憶部１３２に記憶された背景領域の画像からフェードアウト画像を生成する。合成部１３７は、復号化部１３１により復号された注目領域の画像を、フェードアウト部１３６で処理された背景領域のフェードアウト画像と合成する。 As shown in FIG. 8, in the second embodiment, the video reception device 103 includes a fade-out unit 136 and a combining unit 137. The fade-out unit 136 includes a fade-out filter, and generates a fade-out image from the background area image stored in the storage unit 132. The combining unit 137 combines the image of the attention area decoded by the decoding unit 131 with the fade-out image of the background area processed by the fade-out unit 136.
次に、本実施の形態の動作を説明する。本実施の形態では、カメラ１０１は、通信状況に応じて背景領域の更新を抑制するが、フェードアウトのための処理は行わない。すなわち、制御部１１６は、通信部１１５からの通知によって通信速度が低下したと判断すると、背景領域の更新を抑制するように符号化部１１３を制御する。これにより、背景領域のマクロブロックがスキップマクロブロックに設定され、最低量の符号が割り当てられる。 Next, the operation of the present embodiment will be described. In the present embodiment, the camera 101 suppresses the update of the background area according to the communication status, but does not perform the process for fading out. That is, when determining that the communication speed has decreased due to the notification from the communication unit 115, the control unit 116 controls the encoding unit 113 to suppress the update of the background region. As a result, the macroblock in the background area is set as a skip macroblock, and the minimum amount of codes is assigned.
図９は、第２の実施の形態における映像受信装置１０３の動作を示している。復号化部１３１が符号化データを複合化すると（Ｓ３１）、制御部１３５は、復号データにおいて背景領域が更新されているか否かを判定する（Ｓ３２）。ステップＳ３２がＮＯであれば、制御部１３５はタイマを更新する（Ｓ３３）。タイマは、通信速度低下によって背景領域更新の抑制を開始してから経過した時間を計るために用いられる。 FIG. 9 shows the operation of the video receiving apparatus 103 in the second embodiment. When the decoding unit 131 combines the encoded data (S31), the control unit 135 determines whether the background area is updated in the decoded data (S32). If step S32 is NO, the control unit 135 updates the timer (S33). The timer is used to measure the time that has elapsed since the start of suppression of background area update due to a decrease in communication speed.
制御部１３５は、タイマの計測時間が所定時間に到達したか否かを判定する（Ｓ３４）。所定時間は、フェードアウト開始の閾時間である。ステップＳ３４がＮＯであれば、制御部１３５はステップＳ３１に進む。背景領域が更新されないので、復号化部１３１は、復号した注目領域と、記憶部１３２に記憶された過去の背景領域との合成画像を表示部１３３に出力し、合成画像が表示部１３３に表示される。 The control unit 135 determines whether or not the timer measurement time has reached a predetermined time (S34). The predetermined time is a threshold time for starting fade-out. If step S34 is NO, the control unit 135 proceeds to step S31. Since the background region is not updated, the decoding unit 131 outputs a composite image of the decoded attention region and the past background region stored in the storage unit 132 to the display unit 133, and displays the composite image on the display unit 133. Is done.
ステップＳ３４がＹＥＳであれば、制御部１３５は、フェードアウト開始をフェードアウト部１３６及び合成部１３７に指示する（Ｓ３５）。これにより、フェードアウト部１３６は、記憶部１３２に記憶された背景領域（更新されていない過去の背景領域）に対してフェードアウト処理を行い、背景領域のフェードアウト画像を生成する。ここでは、フィルタ処理により、記憶された背景領域の輝度が低減されて、フェードアウト画像が生成される。合成部１３７は、復号化部１３１により復号された注目領域の画像を、フェードアウト部１３６により生成された背景領域のフェードアウト画像と合成し、合成画像が表示部１３３に表示される。 If step S34 is YES, the control unit 135 instructs the fade-out unit 136 and the combining unit 137 to start fade-out (S35). Accordingly, the fade-out unit 136 performs a fade-out process on the background region (the past background region that has not been updated) stored in the storage unit 132, and generates a fade-out image of the background region. Here, the brightness of the stored background area is reduced by the filtering process, and a fade-out image is generated. The synthesizing unit 137 synthesizes the image of the attention area decoded by the decoding unit 131 with the fade-out image of the background area generated by the fade-out unit 136, and the synthesized image is displayed on the display unit 133.
一方、ステップＳ３２がＹＥＳの場合、制御部１３５は、フェードアウト中であるか否かを判定する（Ｓ３６）。ステップＳ３６がＮＯであれば、制御部１３５は、タイマを初期化して（Ｓ３８）、ステップＳ３１に進む。また、ステップＳ３６がＹＥＳであれば、制御部１３５は、フェードアウト解除をフェードアウト部１３６に指示し（Ｓ３７）、タイマを初期化して（Ｓ３８）、ステップＳ３１に進む。したがって、フェードアウト部１３６は、フェードアウト処理を中止する。表示部１３３は、復号化部１３１から供給される注目領域と背景領域の合成画像を表示する。 On the other hand, when Step S32 is YES, control part 135 judges whether it is fading out (S36). If step S36 is NO, the control unit 135 initializes the timer (S38), and proceeds to step S31. If step S36 is YES, the control unit 135 instructs the fade-out unit 136 to cancel the fade-out (S37), initializes the timer (S38), and proceeds to step S31. Therefore, the fade-out unit 136 stops the fade-out process. The display unit 133 displays the composite image of the attention area and the background area supplied from the decoding unit 131.
以上に本実施の形態の映像通信システム１１について説明した。本実施の形態では、フェードアウトが受信側で行われる。本実施の形態でも、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減でき、本発明の利点が得られる。 The video communication system 11 according to the present embodiment has been described above. In this embodiment, fade-out is performed on the receiving side. Also in this embodiment, video data can be efficiently transmitted according to the network status, the update status of the non-attention area due to the network status can be grasped, and the attention area and the non-attention area even when the image of the non-attention area is not updated The uncomfortable feeling due to the shift of the boundary portion can be reduced and the advantages of the present invention can be obtained.
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments, and it goes without saying that those skilled in the art can modify the above-described embodiments within the scope of the present invention.
以上のように、本発明にかかるカメラは、ネットワーク状況に応じて効率よく映像データを送信でき、ネットワーク状況による非注目領域の更新状況を把握可能であり、非注目領域の画像が更新されない場合でも注目領域と非注目領域の境界部分のずれによる違和感を低減できるという効果を有し、監視カメラ等として有用である。 As described above, the camera according to the present invention can efficiently transmit video data according to the network status, can grasp the update status of the non-attention area due to the network status, and even when the image of the non-attention area is not updated. This has the effect of reducing the sense of incongruity caused by the difference between the boundary between the attention area and the non-attention area, and is useful as a surveillance camera.
１ 映像通信システム
１０１ カメラ
１０２ ネットワーク
１０３ 映像受信装置
１１０ 撮像部
１１１ 動き検出部
１１２ 領域分割部
１１３ 符号化部
１１４ 記憶部
１１５ 通信部
１１６ 制御部
１３０ 通信部
１３１ 復号化部
１３２ 記憶部
１３３ 表示部
１３４ 操作部
１３５ 制御部
１３６ フェードアウト部
１３７ 合成部
DESCRIPTION OF SYMBOLS 1 Video communication system 101 Camera 102 Network 103 Video receiving apparatus 110 Imaging part 111 Motion detection part 112 Area division part 113 Coding part 114 Storage part 115 Communication part 116 Control part 130 Communication part 131 Decoding part 132 Storage part 133 Display part 134 Operation unit 135 Control unit 136 Fade-out unit 137 Composition unit
Claims (11)
前記撮像部により撮像された画像データを注目領域と非注目領域に分割する領域分割部と、
前記注目領域及び前非注目領域の画像データを符号化する符号化部と、
前記符号化部により符号化された符号化データをネットワークへ送出する通信部と、
前記ネットワークの通信状態を監視して前記符号化部を制御する制御部と、
を有し、前記制御部は、前記通信状態に応じて、前記非注目領域の更新を抑制し、前記非注目領域にフェードアウトが生じるように前記符号化部を制御することを特徴とするカメラ。 An imaging unit for imaging a subject;
An area dividing unit that divides image data captured by the imaging unit into an attention area and a non-attention area;
An encoding unit for encoding the image data of the attention area and the previous non-attention area;
A communication unit that transmits the encoded data encoded by the encoding unit to a network;
A control unit that monitors the communication state of the network and controls the encoding unit;
The control unit controls the encoding unit so as to suppress the update of the non-attention area and cause the non-attention area to fade out according to the communication state.
前記注目領域及び前非注目領域の画像データを符号化する符号化部と、
前記符号化部により符号化された符号化データをネットワークへ送出する通信部と、
前記ネットワークの通信状態を監視して前記符号化部を制御する制御部と、
を有し、前記制御部は、前記通信状態に応じて、前記非注目領域の更新を抑制し、前記非注目領域にフェードアウトが生じるように前記符号化部を制御することを特徴とする映像送信装置。 An area dividing unit for dividing the image data into an attention area and a non-attention area;
An encoding unit for encoding the image data of the attention area and the previous non-attention area;
A communication unit that transmits the encoded data encoded by the encoding unit to a network;
A control unit that monitors the communication state of the network and controls the encoding unit;
And the control unit controls the encoding unit so as to suppress the update of the non-target region and cause the non-target region to fade out according to the communication state. apparatus.
前記符号化データを復号する復号化部と、
復号された画像データにて前記非注目領域が更新されていない場合に、前記非注目領域のフェードアウト処理を行うフェードアウト部と、
前記注目領域及び前記非注目領域の合成画像を表示する表示部と、
を有することを特徴とする映像受信装置。 A communication unit that receives encoded data of an image including an attention area and a non-attention area;
A decoding unit for decoding the encoded data;
A fade-out unit for performing a fade-out process of the non-attention area when the non-attention area has not been updated in the decoded image data;
A display unit for displaying a composite image of the attention area and the non-attention area;
A video receiving apparatus comprising:
ネットワークを介して前記映像送信装置から受信した前記注目領域及び前記非注目領域を合成した画像を表示する映像受信装置とを有する映像通信システムであって、
前記ネットワークの通信状態を監視して、前記通信状態に応じて、前記非注目領域の更新を抑制する手段と、
前記非注目領域の更新が抑制されているときに、前記非注目領域の画像をフェードアウトさせる手段とを有することを特徴とする映像通信システム。 A video transmission device for transmitting image data divided into an attention area and a non-attention area;
A video communication system comprising: a video receiving apparatus that displays an image obtained by combining the attention area and the non-attention area received from the video transmission apparatus via a network;
Means for monitoring a communication state of the network and suppressing the update of the non-attention area according to the communication state;
And a means for fading out the image of the non-attention area when updating of the non-attention area is suppressed.
前記注目領域及び前記非注目領域の画像データを符号化し、
符号化データをネットワークへ送出する映像送信方法であって、
前記ネットワークの通信状態に応じて、前記非注目領域の更新を抑制するとともに、フェードアウトが生じるように前記非注目領域を符号化することを特徴とする映像送信方法。 Divide image data into attention and non-attention areas,
Encode the image data of the attention area and the non-attention area,
A video transmission method for transmitting encoded data to a network,
A video transmission method characterized by encoding the non-attention area so as to suppress the update of the non-attention area and fade out according to the communication state of the network.
前記符号化データを復号して前記注目領域及び前記非注目領域の画像を取得し、
前記注目領域及び前記非注目領域の画像を合成する映像受信方法であって、
前記非注目領域が更新されていない場合に、前記非注目領域のフェードアウト処理を行うことを特徴とする映像受信方法。 Receive encoded data of an image including a region of interest and a non-region of interest;
Decoding the encoded data to obtain images of the attention area and the non-attention area;
A video receiving method for synthesizing images of the attention area and the non-attention area,
A video receiving method comprising performing fade-out processing of the non-attention area when the non-attention area has not been updated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009105783A JP5254122B2 (en) | 2009-04-24 | 2009-04-24 | Camera, video transmission device, video reception device, and video communication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009105783A JP5254122B2 (en) | 2009-04-24 | 2009-04-24 | Camera, video transmission device, video reception device, and video communication system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010258724A true JP2010258724A (en) | 2010-11-11 |
| JP5254122B2 JP5254122B2 (en) | 2013-08-07 |
Family
ID=43319148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009105783A Expired - Fee Related JP5254122B2 (en) | 2009-04-24 | 2009-04-24 | Camera, video transmission device, video reception device, and video communication system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5254122B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016510525A (en) * | 2012-12-27 | 2016-04-07 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Reduction of display update time for near eye display |
| CN107809641A (en) * | 2017-11-13 | 2018-03-16 | 北京京东方光电科技有限公司 | Image data transfer method, processing method and image processing equipment, display device |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04286488A (en) * | 1991-03-15 | 1992-10-12 | Nec Corp | Moving picture signal encoder |
| JP2001309325A (en) * | 2000-04-19 | 2001-11-02 | Mitsubishi Electric Corp | Video telephone system |
| JP2003032688A (en) * | 2001-07-18 | 2003-01-31 | Nippon Telegr & Teleph Corp <Ntt> | Separation method of foreground and background regions for moving image, and moving image coding method by conditional pixel replenishment by using this method |
| JP2003117139A (en) * | 2001-10-15 | 2003-04-22 | Sophia Co Ltd | Game machine |
| JP2004193989A (en) * | 2002-12-11 | 2004-07-08 | Sony Corp | Coding transmitting system and method therefor |
| JP2005091225A (en) * | 2003-09-18 | 2005-04-07 | Denso Corp | Electronic apparatus with map-displaying function, and program thereof |
| JP2006014121A (en) * | 2004-06-29 | 2006-01-12 | Sanyo Electric Co Ltd | Image encoding method, image encoding apparatus, and imaging apparatus |
| JP2006267835A (en) * | 2005-03-25 | 2006-10-05 | Brother Ind Ltd | Karaoke system and program |
| JP2008005349A (en) * | 2006-06-23 | 2008-01-10 | Yamaha Corp | Video encoder, video transmission apparatus, video encoding method, and video transmission method |
| JP2008177834A (en) * | 2007-01-18 | 2008-07-31 | Nippon Hoso Kyokai <Nhk> | Coding device, and program |
-
2009
- 2009-04-24 JP JP2009105783A patent/JP5254122B2/en not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04286488A (en) * | 1991-03-15 | 1992-10-12 | Nec Corp | Moving picture signal encoder |
| JP2001309325A (en) * | 2000-04-19 | 2001-11-02 | Mitsubishi Electric Corp | Video telephone system |
| JP2003032688A (en) * | 2001-07-18 | 2003-01-31 | Nippon Telegr & Teleph Corp <Ntt> | Separation method of foreground and background regions for moving image, and moving image coding method by conditional pixel replenishment by using this method |
| JP2003117139A (en) * | 2001-10-15 | 2003-04-22 | Sophia Co Ltd | Game machine |
| JP2004193989A (en) * | 2002-12-11 | 2004-07-08 | Sony Corp | Coding transmitting system and method therefor |
| JP2005091225A (en) * | 2003-09-18 | 2005-04-07 | Denso Corp | Electronic apparatus with map-displaying function, and program thereof |
| JP2006014121A (en) * | 2004-06-29 | 2006-01-12 | Sanyo Electric Co Ltd | Image encoding method, image encoding apparatus, and imaging apparatus |
| JP2006267835A (en) * | 2005-03-25 | 2006-10-05 | Brother Ind Ltd | Karaoke system and program |
| JP2008005349A (en) * | 2006-06-23 | 2008-01-10 | Yamaha Corp | Video encoder, video transmission apparatus, video encoding method, and video transmission method |
| JP2008177834A (en) * | 2007-01-18 | 2008-07-31 | Nippon Hoso Kyokai <Nhk> | Coding device, and program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016510525A (en) * | 2012-12-27 | 2016-04-07 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Reduction of display update time for near eye display |
| US10514541B2 (en) | 2012-12-27 | 2019-12-24 | Microsoft Technology Licensing, Llc | Display update time reduction for a near-eye display |
| CN107809641A (en) * | 2017-11-13 | 2018-03-16 | 北京京东方光电科技有限公司 | Image data transfer method, processing method and image processing equipment, display device |
| US10540751B2 (en) | 2017-11-13 | 2020-01-21 | Boe Technology Group Co., Ltd. | Image data transmission method, image data processing method, image processing device and display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5254122B2 (en) | 2013-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4789265B2 (en) | Decoding method and apparatus enabling fast channel change of compressed video | |
| US10237549B2 (en) | Adaptive streaming of video data over a network | |
| US7953283B2 (en) | Portable terminal | |
| KR101809306B1 (en) | Low latency rate control system and method | |
| EP1170957A2 (en) | Video encoding and decoding apparatus | |
| KR102198120B1 (en) | Video encoding method, video encoding device, video decoding method, video decoding device, program, and video system | |
| JP3630590B2 (en) | Decoding device and transmission system | |
| MX2013010216A (en) | Video encoding device, video decoding device, video encoding method, and video decoding method. | |
| WO2014168897A1 (en) | Resource for encoding a video signal | |
| JP2016051927A (en) | Image processing apparatus, image processing method, and program | |
| US20110299605A1 (en) | Method and apparatus for video resolution adaptation | |
| JP5137687B2 (en) | Decoding device, decoding method, and program | |
| JP5254122B2 (en) | Camera, video transmission device, video reception device, and video communication system | |
| US20100046640A1 (en) | Decoding system for executing accelerated processing in real time and related methods | |
| JP2010206486A (en) | Moving picture stream decoding apparatus, control method thereof, program, and recording medium | |
| CN109951709B (en) | Method, controller and medium for adding comfort noise to video sequence | |
| JP2009290662A (en) | Image transmitting apparatus and image receiving apparatus | |
| JP6497874B2 (en) | Image processing apparatus, image processing method, and program | |
| JP3913726B2 (en) | Multipoint video conference control device and multipoint video conference system | |
| JP5182873B2 (en) | Surveillance video multi-screen display system and surveillance video multi-screen display method | |
| JP2007129318A (en) | Image decoder | |
| CN113873250B (en) | Data processing method, device, nonvolatile storage medium and processor | |
| JP6332039B2 (en) | Screen encoding device, screen decoding device, screen encoding transmission system | |
| JP3942611B2 (en) | Decoding device and transmission system | |
| JP2009296208A (en) | Dynamic image-reproducing device and dynamic image transmission system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120413 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130326 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130417 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160426 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |