JP2000151680A - Multimedia communication device - Google Patents
Multimedia communication deviceInfo
- Publication number
- JP2000151680A JP2000151680A JP32512298A JP32512298A JP2000151680A JP 2000151680 A JP2000151680 A JP 2000151680A JP 32512298 A JP32512298 A JP 32512298A JP 32512298 A JP32512298 A JP 32512298A JP 2000151680 A JP2000151680 A JP 2000151680A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- information
- udp
- terminal
- transmitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Small-Scale Networks (AREA)
- Communication Control (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、ＬＡＮ等のネット
ワーク上で動作するパーソナルコンピュータ，携帯情報
端末等の情報処理装置で実行されるアプリケーション間
通信に関し、特にパケットベースのプロトコル（ＴＣＰ
（ＵＤＰ）／ＩＰ）を使用してパケット通信を行うマル
チメディア通信装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to communication between applications executed by an information processing apparatus such as a personal computer and a portable information terminal operating on a network such as a LAN, and more particularly to a packet-based protocol (TCP).
The present invention relates to a multimedia communication device that performs packet communication using (UDP) / IP).
【０００２】[0002]
【従来の技術】従来、画像，音声あるいはこれらの同時
通信をパケット通信回線を用いて行う場合、国際標準Ｉ
ＴＵ−ＴＨ．３２３に準拠した通信を行う場合、通信プ
ロトコルＲＴＰ（A Transport Protocol for Real-Time
Applications）並びにＵＤＰを利用した通信を行う。
以下、図７を参照しながら画像伝送を行う場合について
説明する。2. Description of the Related Art Conventionally, when performing simultaneous communication of images and voices or their simultaneous communication using a packet communication line, the international standard I
TU-TH. When performing communication conforming to H.323, the communication protocol RTP (A Transport Protocol for Real-Time
Applications) and communication using UDP.
Hereinafter, the case of performing image transmission will be described with reference to FIG.
【０００３】まず、送信端末３では、画像入力部３０よ
り伝送する画像を取り込む。取り込まれた画像信号を画
像符号化部３１にて、通信に適当な圧縮・符号化等を行
った情報に変換する。この変換された情報は、送信部３
２へ渡される。送信部３２では、まず、ＲＴＰパケット
組立部３２１において、ＲＴＰプロトコルを使用して受
信端末４へ画像情報を伝送するために、画像情報に必要
なヘッダ等の情報を付与してＲＴＰパケットを生成す
る。生成されたＲＴＰパケットは、ＵＤＰパケット組立
部３２２にて、ヘッダ等の情報を付与してＵＤＰパケッ
トを生成する。生成されたＵＤＰパケットは、パケット
送信部３２３よりパケット通信回線５に送出される。[0005] First, a transmitting terminal 3 captures an image to be transmitted from an image input unit 30. The captured image signal is converted by an image encoding unit 31 into information that has been subjected to compression, encoding, and the like appropriate for communication. The converted information is transmitted to the transmitting unit 3
Handed over to 2. In the transmitting unit 32, first, in order to transmit the image information to the receiving terminal 4 using the RTP protocol, the RTP packet assembling unit 321 generates an RTP packet by adding information such as a header necessary to the image information. . The UDP packet assembling unit 322 adds information such as a header to the generated RTP packet to generate a UDP packet. The generated UDP packet is transmitted from the packet transmission unit 323 to the packet communication line 5.
【０００４】受信端末４では、パケット通信回線５より
到達したパケットを受信部４３にて受け取る。受信部内
では、まず、パケット受信部４３３が通信回線よりパケ
ットを受信する。次に、ＵＤＰパケット分解部４３２に
受信したＵＤＰパケットを渡し、ＵＤＰパケット内より
ＲＴＰパケットを抽出する。抽出されたＲＴＰパケット
は、ＲＴＰパケット分解部４３１において、画像情報の
みを取り出す。この情報を画像復号化部４２にて、符号
化・圧縮からの復元を行い、画像出力部４１より画像信
号が取り出される。以上のように、伝送する画像情報を
ＲＴＰパケット上に乗せ、さらにＲＴＰパケットをＵＤ
Ｐパケット上に乗せて、パケット通信回線上での伝送が
行われる。[0004] In the receiving terminal 4, the packet arriving from the packet communication line 5 is received by the receiving unit 43. In the receiving unit, first, the packet receiving unit 433 receives a packet from the communication line. Next, the received UDP packet is passed to the UDP packet decomposing unit 432, and an RTP packet is extracted from the UDP packet. From the extracted RTP packet, the RTP packet decomposing unit 431 extracts only image information. This information is restored from encoding and compression by the image decoding unit 42, and an image signal is extracted from the image output unit 41. As described above, the image information to be transmitted is put on the RTP packet, and the RTP packet is further
The transmission on the packet communication line is carried on the P packet.
【０００５】ここで、ＵＤＰ（User Datagram Protoco
l）は、信頼性よりも高速伝送を重視しているプロトコ
ルである。図５に、１からｎ個のＵＤＰパケットを伝送
する際の伝送手順を示す。図５のように、ＵＤＰではパ
ケットを相手端末に送りつけるのみで、再送など他の処
理をしないためスループットの高い伝送が行える。しか
し、送信するパケットが誤った場合でもパケットの再送
は行われない。このように、ＵＤＰは信頼性はないが高
速なデータの伝送が行えるといった利点があり、動画像
データのようなリアルタイム性が要求されるデータの伝
送に向いているため、従来方式では、画像並びに音声符
号化データの伝送にはＵＤＰが使用されている。Here, UDP (User Datagram Protocol)
l) is a protocol that emphasizes high-speed transmission over reliability. FIG. 5 shows a transmission procedure when transmitting 1 to n UDP packets. As shown in FIG. 5, in UDP, only a packet is sent to a partner terminal, and other processing such as retransmission is not performed, so that high-throughput transmission can be performed. However, even if the packet to be transmitted is incorrect, the packet is not retransmitted. As described above, UDP has the advantage of being unreliable but capable of high-speed data transmission, and is suitable for transmission of data requiring real-time properties such as moving image data. UDP is used for transmitting the voice encoded data.
【０００６】この信頼性の低さを改善するために、特開
平１０−５６４７９号公報においては、ＵＤＰパケット
のユーザデータ領域内にパケットの連続番号を付与し、
受信端末側で連続番号の不連続を検出すると、送信端末
に対して欠落情報を通知し、送信端末側に再送を要求す
る方法を採用している。この方法では、ＵＤＰプロトコ
ルの上位プロトコルは、同公報に記載されている独自の
プロトコルを実装し、これを実現する必要がある。In order to improve the low reliability, Japanese Patent Application Laid-Open No. Hei 10-56479 discloses a method of assigning a packet serial number to a user data area of a UDP packet.
When the receiving terminal detects the discontinuity of the serial number, a method of notifying the transmitting terminal of missing information and requesting the transmitting terminal to perform retransmission is adopted. In this method, it is necessary to implement and implement a unique protocol described in the publication as an upper protocol of the UDP protocol.
【０００７】[0007]
【発明が解決しようとする課題】パケット通信回線上で
は、回線内での輻輳、また回線内の無線区間においては
伝送誤りの発生等が原因でパケットの欠落が生じる。従
来の技術では、画像並びに音声をＵＤＰパケット化し、
これを相手に送信する。前記の通り、ＵＤＰは通信に関
しては非保障であり、俗にいう「送りっぱなし」な通信
プロトコルである。仮にパケットが損失する環境でユー
ザが「多少伝送に時間がかかっても良いから、正確に画
像を送信したい」という要望があったとしても実現する
ことができない。また、上記公報における実現方法も、
通常ＩＴＵ−Ｔ勧告Ｈ．３２３に準拠した画像あるいは
音声通信を行う場合は、ＵＤＰプロトコルの上位プロト
コルにはＲＴＰプロトコルを使用しており、ＲＴＰプロ
トコルの代わりに同公報で示されたプロトコルを採用す
ると、それぞれの端末間で相互の接続が保障されなくな
る。On a packet communication line, packets are lost due to congestion in the line and transmission errors in a wireless section of the line. In the conventional technology, images and sounds are converted into UDP packets,
Send this to the other party. As described above, UDP is non-guaranteed with respect to communication and is a so-called "keep sending" communication protocol. This cannot be achieved even if there is a request from a user in an environment where packets are lost that "it may take some time to transmit, so that it is desirable to transmit an image accurately". Also, the realization method in the above publication is
Usually, ITU-T Recommendation H. When performing image or voice communication conforming to H.323, the RTP protocol is used as the upper protocol of the UDP protocol, and if the protocol described in the publication is adopted instead of the RTP protocol, mutual communication between the terminals will occur. Connection is no longer guaranteed.
【０００８】[0008]
【課題を解決するための手段】上記の課題を解決するた
めに本発明では、パケット欠落が発生した際、送信側か
らはＵＤＰプロトコルでの伝送と並行して、信頼性のあ
るＴＣＰプロトコルでの伝送を行い、画像または音声を
送信する。受信側ではＵＤＰかＴＣＰのどちらかで受信
する。ここでＴＣＰ（Transmission Control Protoco
l）とは、信頼性の高い通信を可能にするプロトコルで
あり、受信側はパケットを受信するたびにＡＣＫを送信
側へ送り返し、送信側ではＡＣＫが送られてくるのを待
って次のパケットを送信する。仮に受信側で受信パケッ
トに誤りがあった場合には、ＮＡＣＫが送り返され再送
が行われる。図６に、１からｎ個のＴＣＰパケットを伝
送する際の伝送手順を示す。図６のように、ＴＣＰでは
データの伝送は保障されるが、ＵＤＰよりデータの伝送
に必要な手順が複雑になるため、リアルタイム性が要求
されるデータの伝送には比較的不向きとなる。また、受
信側では、ＵＤＰプロトコルのパケット欠落を監視する
機能を持たせて、送信側へ欠落情報を送信できるように
する。さらに、ＵＤＰプロトコルとＴＣＰプロトコルの
いずれかで画像あるいは音声情報を受信できるようにす
ることで、送信側が同時に２つのプロトコルで伝送した
情報を選択して受信することが可能となる。According to the present invention, in order to solve the above-mentioned problems, when a packet loss occurs, a transmitting side transmits a packet using a reliable TCP protocol in parallel with a UDP protocol. Perform transmission and transmit images or sounds. The receiving side receives either UDP or TCP. Here, TCP (Transmission Control Protocol)
l) is a protocol that enables highly reliable communication. The receiving side sends back an ACK to the transmitting side every time a packet is received, and the transmitting side waits for the ACK to be sent and then waits for the next packet. Send If there is an error in the received packet on the receiving side, NACK is sent back and retransmission is performed. FIG. 6 shows a transmission procedure when transmitting 1 to n TCP packets. As shown in FIG. 6, data transmission is guaranteed by TCP, but the procedure required for data transmission is more complicated than that of UDP, so that it is relatively unsuitable for data transmission that requires real-time properties. Also, the receiving side is provided with a function of monitoring packet loss of the UDP protocol so that the missing information can be transmitted to the transmitting side. Further, by enabling image or audio information to be received by either the UDP protocol or the TCP protocol, the transmitting side can simultaneously select and receive information transmitted by the two protocols.
【０００９】請求項１の発明は、画像情報あるいは音声
情報等のマルチメディア情報をパケットベース通信を行
うマルチメディア通信装置において、相手端末に送信す
る機能として、ＲＴＰパケットを作成する手段と、ＲＴ
ＰパケットよりＵＤＰパケットを作成する手段と、ＲＴ
ＰパケットよりＴＣＰパケットを作成する手段と、ＵＤ
ＰパケットあるいはＴＣＰパケットを通信回線に送出す
る手段と、相手端末より到来するパケット欠落情報を受
信する手段を有し、また相手端末から受信する機能とし
て、パケット通信回線より相手端末より送られてきたＵ
ＤＰパケットあるいはＴＣＰパケットを受信する手段
と、ＵＤＰパケットよりＲＴＰパケットを抽出する手段
と、ＴＣＰパケットよりＲＴＰパケットを抽出する手段
と、前記抽出されたＲＴＰパケットよりマルチメディア
情報を抽出する手段と、ＵＤＰパケットの欠落数を計数
する手段と、計数されたＵＤＰパケットの欠落数をパケ
ット欠落情報として相手端末へ送信する手段を有し、パ
ケット通信回線を介して、相互にマルチメディア情報を
通信するようにしたものである。According to a first aspect of the present invention, in a multimedia communication apparatus for performing packet-based communication of multimedia information such as image information or audio information, means for generating an RTP packet as a function of transmitting to a partner terminal,
Means for creating a UDP packet from a P packet;
Means for creating a TCP packet from P packets, and UD
It has a means for transmitting a P packet or a TCP packet to a communication line and a means for receiving packet loss information arriving from a partner terminal, and has a function of receiving from the partner terminal as a function of receiving from the partner terminal. U
A means for receiving a DP packet or a TCP packet, a means for extracting an RTP packet from a UDP packet, a means for extracting an RTP packet from a TCP packet, a means for extracting multimedia information from the extracted RTP packet, Means for counting the number of missing packets, and means for transmitting the counted number of missing UDP packets to the partner terminal as packet missing information, so that multimedia information can be mutually communicated via a packet communication line. It was done.
【００１０】請求項２の発明は、請求項１の発明におい
て、相手端末より到来したパケット欠落情報により、Ｕ
ＤＰパケットによるマルチメディア情報の送信と並行し
て、ＴＣＰパケットによる送信を行うようにしたもので
ある。[0010] According to a second aspect of the present invention, in the first aspect of the present invention, the packet loss information arriving from the partner terminal is used to determine whether
The transmission by the TCP packet is performed in parallel with the transmission of the multimedia information by the DP packet.
【００１１】請求項３の発明は、請求項１または２の発
明において、相手端末より同一の画像情報あるいは音声
情報等のマルチメディア情報を乗せたＵＤＰパケットあ
るいはＴＣＰパケットのうち、いずれかを選択して受信
する手段を設け、パケット欠落情報から受信するパケッ
トを決定し、マルチメディア情報を受信するようにした
ものである。According to a third aspect of the present invention, in the first or second aspect of the present invention, either the UDP packet or the TCP packet carrying the same multimedia information such as image information or audio information is selected from the other terminal. Means for receiving the multimedia information by determining a packet to be received from the packet loss information.
【００１２】請求項４の発明は、請求項１乃至３のいず
れかに記載のマルチメディア通信装置として、コンピュ
ータを機能させるためのプログラムを記録した、コンピ
ュータで読み取り可能な記録媒体に関する。According to a fourth aspect of the present invention, there is provided a computer-readable recording medium having recorded thereon a program for causing a computer to function, as the multimedia communication device according to any one of the first to third aspects.
【００１３】[0013]
【発明の実施の形態】本発明のマルチメディア通信装置
によれば、受信側で同一のデータを受信することが可能
となるため、画像あるいは音声情報を正確に受信したい
場合には、ＴＣＰプロトコルで運ばれた画像あるいは音
声情報を受信し、パケットの欠落が発生した場合には、
再送手段により受信端末側は確実に画像あるいは音声情
報を受信することが可能となる。また、ＩＴＵ−ＴＨ．
３２３に準拠した端末への画像あるいは音声情報の伝送
は、送信側がＵＤＰ／ＴＣＰの両方で画像あるいは音声
情報を送信しているため、ＵＤＰプロトコルで運ばれた
情報を受信すればよく、相互接続性も確保できる。DESCRIPTION OF THE PREFERRED EMBODIMENTS According to the multimedia communication apparatus of the present invention, the same data can be received on the receiving side. Therefore, when it is desired to accurately receive image or audio information, the TCP protocol must be used. If the image or audio information that was carried is received and a packet is lost,
The retransmission means enables the receiving terminal to reliably receive image or audio information. In addition, ITU-TH.
The transmission of image or audio information to a terminal conforming to H.323 requires the reception of information carried by the UDP protocol since the transmitting side transmits image or audio information in both UDP / TCP. Can also be secured.
【００１４】本発明の実施例の構成を説明する。図１
は、本発明の一実施例の通信接続形態を示す図である。
図２は、本発明の送信端末内送信部の一実施例のブロッ
ク構成図である。図３は、本発明の受信端末内受信部の
一実施例のブロック構成図である。本発明の実施例で
は、送信端末１から入力された画像をパケット通信回線
５を経由して、受信端末２へ伝送する場合を示す。以下
に本発明の実施例の動作について説明する。An embodiment of the present invention will be described. FIG.
FIG. 1 is a diagram showing a communication connection mode according to an embodiment of the present invention.
FIG. 2 is a block diagram showing one embodiment of the transmitting section in the transmitting terminal of the present invention. FIG. 3 is a block diagram of an embodiment of the receiving unit in the receiving terminal of the present invention. In the embodiment of the present invention, a case where an image input from the transmitting terminal 1 is transmitted to the receiving terminal 2 via the packet communication line 5 will be described. Hereinafter, the operation of the embodiment of the present invention will be described.
【００１５】まず、画像入力部１０より伝送する画像を
取り込む。取り込まれた画像信号を画像符号化部１１に
て通信に適当な圧縮・符号化等を行った情報に変換す
る。この変換された情報は、送信部１２へ渡される。送
信部１２では、まず、ＲＴＰパケット組立部１２１にお
いて、ＲＴＰプロトコルを使用して、受信端末側へ画像
情報を伝送するために、画像情報に必要なヘッダ等の情
報を付与して、ＲＴＰパケットを生成する。生成された
ＲＴＰパケットは、ＵＤＰパケット組立部１２２にて、
ヘッダ等の情報を付与してＵＤＰパケットを生成する。
生成されたＵＤＰパケットは、パケット送信部１２４よ
りパケット通信回線に送出される。First, an image transmitted from the image input unit 10 is captured. The captured image signal is converted by the image encoding unit 11 into information that has been subjected to compression, encoding, and the like suitable for communication. The converted information is passed to the transmission unit 12. In the transmitting unit 12, first, in the RTP packet assembling unit 121, in order to transmit the image information to the receiving terminal side by using the RTP protocol, necessary information such as a header is added to the image information, and the RTP packet is transmitted. Generate. The generated RTP packet is sent to the UDP packet assembling unit 122.
A UDP packet is generated by adding information such as a header.
The generated UDP packet is transmitted from the packet transmitting unit 124 to the packet communication line.
【００１６】受信端末２では、パケット通信回線５より
到達したパケットを受信部２２にて受け取る。受信部２
２内では、まず、パケット受信部２２１が通信回線より
パケットを受信する。次に、ＵＤＰパケット分解部２２
２に受信したＵＤＰパケットを渡し、ＵＤＰパケット内
よりＲＴＰパケットを抽出する。抽出されたＲＴＰパケ
ットは、ＲＴＰパケット分解部２２４において、画像情
報のみを取り出す。なお、通信開始時はＵＤＰパケット
により画像情報が伝送されてくるため、ＳＷ２２８はｂ
側に倒してある。取り出された情報は画像復号化部２１
にて、符号化・圧縮からの復元を行い画像出力部２０よ
り画像信号が取り出される。In the receiving terminal 2, the packet arriving from the packet communication line 5 is received by the receiving unit 22. Receiver 2
In 2, the packet receiving unit 221 first receives a packet from a communication line. Next, the UDP packet decomposing unit 22
The received UDP packet is passed to 2 and an RTP packet is extracted from the UDP packet. The RTP packet decomposing unit 224 extracts only the image information from the extracted RTP packet. At the start of communication, image information is transmitted by a UDP packet.
It has been knocked down to the side. The extracted information is transmitted to the image decoding unit 21.
Then, the image signal is extracted from the image output unit 20 by performing the restoration from the encoding and compression.
【００１７】ところが、受信端末側にて送信端末より送
信されたパケットが受信できない場合、ＵＤＰパケット
分解部２２２において検出し、受信できなかったパケッ
ト数をカウンタ２２７にて計数する。ここで、パケット
が受信できなかったことを検出する方法は、ＵＤＰパケ
ットのヘッダ内にパケットの連続番号が付与されてお
り、この番号をパケット受信毎に確認し、番号の不連続
が検出できた時点で受信できなかったパケットが存在す
ることを検出することができる。伝送制御部２２６で
は、このカウンタを常時監視し、ある一定間隔でカウン
タの値を欠落パケット数として欠落情報送信部２２５に
通知し、欠落情報送信部では、適当なタイミングで欠落
情報を送信端末側に送出する。一方、送信端末では、受
信端末より伝送された欠落情報を欠落情報受信部１２５
にて受信すると、受信内容を伝送制御部１２６に通知す
る。このようにして、両端末がパケットの欠落を知るこ
とができる。なお、欠落情報の通知手段は、ＲＴＰ制御
プロトコル（ＲＴＣＰ）を使用して実現することができ
る。However, when the receiving terminal cannot receive the packet transmitted from the transmitting terminal, the UDP packet decomposing unit 222 detects the packet, and the counter 227 counts the number of unreceived packets. Here, in the method of detecting that a packet has not been received, a serial number of the packet is given in the header of the UDP packet, and this number is checked every time a packet is received, and the discontinuity of the number can be detected. It is possible to detect the presence of a packet that could not be received at the time. The transmission control unit 226 constantly monitors the counter, notifies the value of the counter at a certain interval to the missing information transmitting unit 225 as the number of missing packets, and the missing information transmitting unit transmits the missing information at an appropriate timing to the transmitting terminal. To send to. On the other hand, the transmitting terminal transmits the missing information transmitted from the receiving terminal to the missing information receiving unit 125.
, And notifies the transmission control unit 126 of the received content. In this way, both terminals can know that a packet has been lost. Note that the means for notifying missing information can be realized using the RTP control protocol (RTCP).
【００１８】そこで、通信を開始する時点で、パケット
の欠落数の閾値を互いの端末間であらかじめ決定してお
き、受信端末側でパケット欠落が闘値を越えた時点でＳ
Ｗ２２８をｂ側からａ側へ切り替えることにより、送信
端末からＴＣＰパケットに乗せられて到来したＲＴＰパ
ケットを受信することができる。以降、パケット受信部
２２１で受信したパケットをＴＣＰパケット分解部２２
３へ送り、ヘッダ等を除去した後、ＳＷ２２８を経由し
てＲＴＰパケット分解部２２４へ抽出されたＲＴＰパケ
ットを引き渡す。一方、送信端末の側では、受信端末よ
り通知されたパケット欠落が闘値を越えたことを伝送制
御部１２６にて認識すると、ＳＷ１２７を閉じて１つの
ＲＴＰパケットをＵＤＰパケットとＴＣＰパケットの２
種類のパケットを使用して、受信端末側に送信する。Therefore, at the time of starting communication, a threshold value of the number of lost packets is determined in advance between the terminals, and when the number of lost packets exceeds the threshold on the receiving terminal side, S is determined.
By switching W228 from the b-side to the a-side, it is possible to receive the RTP packet arriving on the TCP packet from the transmitting terminal. Thereafter, the packet received by the packet receiving unit 221 is
3 and removes the header and the like, and delivers the extracted RTP packet to the RTP packet decomposing unit 224 via the SW 228. On the other hand, on the transmitting terminal side, when the transmission control unit 126 recognizes that the packet loss notified from the receiving terminal has exceeded the threshold value, it closes the SW 127 and divides one RTP packet into a UDP packet and a TCP packet.
The packet is transmitted to the receiving terminal using the type of packet.
【００１９】これにより、送信端末と受信端末の間でＵ
ＤＰプロトコルを使用して伝送していた画像情報を、Ｔ
ＣＰプロトコルに切り替えて伝送を行うことが可能とな
り、ＴＣＰプロトコルの再送機能による確実な伝送が行
われる。なお、受信端末側でパケット欠落の闘値を越え
た時点で、この時点以降もパケット欠落等が発生して
も、再送によるスループットの低下を避けて通信を継続
したい場合には、ＳＷをｂ側のままとしてＵＤＰプロト
コルによる伝送を継続させることも可能である。また、
受信端末側が、本発明にて示したＵＤＰ／ＴＣＰパケッ
ト受信の切り替えを行えない従来型受信端末４である場
合の接続図を図４に示す。この接続の場合には、パケッ
トの欠落が発生しても、受信端末４から送信端末１へパ
ケット欠落情報が通知されないため、ＵＤＰプロトコル
による通信を使用した伝送を行うことが可能である。Thus, the transmission terminal and the reception terminal have a U
The image information transmitted using the DP protocol is converted to T
Transmission can be performed by switching to the CP protocol, and reliable transmission is performed by the retransmission function of the TCP protocol. When the receiving terminal exceeds the threshold value for packet loss, and if packet loss or the like occurs after this point, if it is desired to continue communication while avoiding a decrease in throughput due to retransmission, switch SW to the b side. It is also possible to continue the transmission by the UDP protocol as it is. Also,
FIG. 4 shows a connection diagram in the case where the receiving terminal is the conventional receiving terminal 4 which cannot switch the UDP / TCP packet reception shown in the present invention. In the case of this connection, even if a packet loss occurs, the packet loss information is not notified from the receiving terminal 4 to the transmitting terminal 1, so that transmission using communication by the UDP protocol can be performed.
【００２０】[0020]
【発明の効果】本発明装置を使用した通信では、高精細
な画像または音声を送信並びに受信することができる。
また、画像あるいは音声情報をＵＤＰパケットでも送信
するので、相手が国際標準準拠の端末であっても、問題
なく通信できる。According to the communication using the apparatus of the present invention, high-definition images or sounds can be transmitted and received.
In addition, since image or audio information is also transmitted in a UDP packet, communication can be performed without problems even if the other party is a terminal that complies with international standards.
【図１】 本発明の一実施例の通信接続形態を表すブロ
ック図である。FIG. 1 is a block diagram illustrating a communication connection mode according to an embodiment of the present invention.
【図２】 本発明の送信部の一実施例を表すブロック構
成図である。FIG. 2 is a block diagram illustrating an embodiment of a transmission unit according to the present invention.
【図３】 本発明の受信部の一実施例を表すブロック構
成図である。FIG. 3 is a block diagram illustrating an embodiment of a receiving unit according to the present invention.
【図４】 本発明の他の実施例である従来型受信端末と
の通信接続形態を表すブロック構成図である。FIG. 4 is a block diagram showing a communication connection form with a conventional receiving terminal according to another embodiment of the present invention.
【図５】 ＵＤＰを用いた端末間通信を表すシーケンス
図である。FIG. 5 is a sequence diagram illustrating communication between terminals using UDP.
【図６】 ＴＣＰを用いた端末間通信を表すシーケンス
図である。FIG. 6 is a sequence diagram illustrating communication between terminals using TCP.
【図７】 従来のパケットによる画像通信を表すブロッ
ク図である。FIG. 7 is a block diagram illustrating a conventional image communication using packets.
１…送信端末、２…受信端末、３…従来型送信端末、４
…従来型受信端末、５…パケット通信回線、１０…画像
入力部、１１…画像符号化部、１２…送信部、２０…画
像出力部、２１…画像復号化部、２２…受信部、３０…
画像入力部、３１…画像符号化部、３２…送信部、４１
…画像出力部、４２…画像復号化部、４３…受信部、１
２１…ＲＴＰパケット組立部、１２２…ＵＤＰパケット
組立部、１２３…ＴＣＰパケット組立部、１２４…パケ
ット送信部、１２５…欠落情報受信部、１２６…伝送制
御部、１２７…ＳＷ、２２１…パケット受信部、２２２
…ＵＤＰパケット分解部、２２３…ＴＣＰパケット分解
部、２２４…ＲＴＰパケット分解部、２２５…欠落情報
送信部、２２６…伝送制御部、２２７…カウンタ、２２
８…ＳＷ、３２１…ＲＴＰパケット組立部、３２２…Ｕ
ＤＰパケット組立部、３２３…パケット送信部、４３１
…ＲＴＰパケット分解部、４３２…ＵＤＰパケット分解
部、４３３…パケット受信部。DESCRIPTION OF SYMBOLS 1 ... Transmission terminal, 2 ... Reception terminal, 3 ... Conventional transmission terminal, 4
... conventional receiving terminal, 5 ... packet communication line, 10 ... image input unit, 11 ... image encoding unit, 12 ... transmission unit, 20 ... image output unit, 21 ... image decoding unit, 22 ... reception unit, 30 ...
Image input unit, 31: image encoding unit, 32: transmission unit, 41
... image output unit, 42 ... image decoding unit, 43 ... receiving unit, 1
21 RTP packet assembling unit, 122 UDP packet assembling unit, 123 TCP packet assembling unit, 124 packet transmitting unit, 125 missing information receiving unit, 126 transmission control unit, 127 SW, 221 packet receiving unit 222
.., UDP packet decomposing unit, 223, TCP packet decomposing unit, 224, RTP packet decomposing unit, 225, missing information transmitting unit, 226, transmission control unit, 227, counter, 22
8 SW, 321 RTP packet assembling unit, 322 U
DP packet assembling section, 323... Packet transmitting section, 431
.., RTP packet decomposing unit, 432... UDP packet decomposing unit, 433.
Claims (4)
ディア情報をパケットベース通信を行うマルチメディア
通信装置において、相手端末に送信する機能として、Ｒ
ＴＰパケットを作成する手段と、ＲＴＰパケットよりＵ
ＤＰパケットを作成する手段と、ＲＴＰパケットよりＴ
ＣＰパケットを作成する手段と、ＵＤＰパケットあるい
はＴＣＰパケットを通信回線に送出する手段と、相手端
末より到来するパケット欠落情報を受信する手段を有
し、また相手端末から受信する機能として、パケット通
信回線より相手端末より送られてきたＵＤＰパケットあ
るいはＴＣＰパケットを受信する手段と、ＵＤＰパケッ
トよりＲＴＰパケットを抽出する手段と、ＴＣＰパケッ
トよりＲＴＰパケットを抽出する手段と、前記抽出され
たＲＴＰパケットよりマルチメディア情報を抽出する手
段と、ＵＤＰパケットの欠落数を計数する手段と、計数
されたＵＤＰパケットの欠落数をパケット欠落情報とし
て相手端末へ送信する手段を有し、パケット通信回線を
介して、相互にマルチメディア情報を通信することを特
徴とするマルチメディア通信装置。In a multimedia communication apparatus for performing packet-based communication of multimedia information such as image information or audio information, a function of transmitting R to a partner terminal is as follows.
Means for creating a TP packet, and
Means for creating a DP packet, and T
It has a means for creating a CP packet, a means for sending a UDP packet or a TCP packet to a communication line, and a means for receiving packet loss information coming from a partner terminal. Means for receiving a UDP packet or a TCP packet sent from the other terminal, means for extracting an RTP packet from the UDP packet, means for extracting an RTP packet from the TCP packet, and multimedia for extracting the RTP packet from the extracted RTP packet. Means for extracting information, means for counting the number of missing UDP packets, and means for transmitting the counted number of missing UDP packets to the partner terminal as packet missing information. Multimedia communication characterized by communicating multimedia information A communication device.
により、ＵＤＰパケットによるマルチメディア情報の送
信と並行して、ＴＣＰパケットによる送信を行うことを
特徴とする請求項１に記載のマルチメディア通信装置。2. The multimedia communication apparatus according to claim 1, wherein transmission of a TCP packet is performed in parallel with transmission of the multimedia information by a UDP packet, based on packet missing information arriving from a partner terminal.
声情報等のマルチメディア情報を乗せたＵＤＰパケット
あるいはＴＣＰパケットのうち、いずれかを選択して受
信する手段を有し、パケット欠落情報から受信するパケ
ットを決定し、マルチメディア情報を受信することを特
徴とする請求項１または２に記載のマルチメディア通信
装置。3. A device for selecting and receiving either a UDP packet or a TCP packet carrying multimedia information such as the same image information or audio information from a partner terminal, and receiving from the packet missing information. The multimedia communication device according to claim 1, wherein a packet is determined and multimedia information is received.
チメディア通信装置として、コンピュータを機能させる
ためのプログラムを記録した、コンピュータで読み取り
可能な記録媒体。4. A computer-readable recording medium in which a program for causing a computer to function is recorded as the multimedia communication device according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32512298A JP3426144B2 (en) | 1998-11-16 | 1998-11-16 | Multimedia communication equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32512298A JP3426144B2 (en) | 1998-11-16 | 1998-11-16 | Multimedia communication equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000151680A true JP2000151680A (en) | 2000-05-30 |
| JP3426144B2 JP3426144B2 (en) | 2003-07-14 |
Family
ID=18173339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32512298A Expired - Fee Related JP3426144B2 (en) | 1998-11-16 | 1998-11-16 | Multimedia communication equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3426144B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000063196A (en) * | 2000-05-08 | 2000-11-06 | 천두배 | Method of load distribution for video/audio meeting(chatting) with multiple users |
| WO2002035816A1 (en) * | 2000-10-26 | 2002-05-02 | Mitsubishi Denki Kabushiki Kaisha | Internet telephone network system, network access method and talking device adapter |
| JP2002328159A (en) * | 2001-04-27 | 2002-11-15 | Furuno Electric Co Ltd | Network system for marine apparatus |
| EP1379051A3 (en) * | 2002-07-03 | 2004-05-12 | Sony Corporation | Data sending/receiving system and method for a defect-free data transmission |
| US6940819B2 (en) * | 2000-04-12 | 2005-09-06 | Nec Corporation | Internet telephone apparatus and method for an internet telephone set |
| JP2007510363A (en) * | 2003-10-28 | 2007-04-19 | 株式会社エヌ・ティ・ティ・ドコモ | Method for supporting scalable and reliable multicast in TDMA / TDD systems using feedback suppression techniques |
| JP2008005390A (en) * | 2006-06-26 | 2008-01-10 | Toyota Infotechnology Center Co Ltd | Wireless communication apparatus, wireless communication method and program |
| CN100364258C (en) * | 2004-01-08 | 2008-01-23 | 索尼株式会社 | Reception apparatus and method, program and recording medium |
| US7769014B2 (en) | 2007-02-13 | 2010-08-03 | Seiko Epson Corporation | Transmitting and receiving system, transmitting apparatus, and receiving apparatus |
| US8214708B2 (en) | 2007-02-06 | 2012-07-03 | Canon Kabushiki Kaisha | Video transmitting apparatus, video receiving apparatus, and video transmission system |
| JP2015507857A (en) * | 2011-12-01 | 2015-03-12 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | Device that acquires content by selecting transport protocol according to available bandwidth |
-
1998
- 1998-11-16 JP JP32512298A patent/JP3426144B2/en not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6940819B2 (en) * | 2000-04-12 | 2005-09-06 | Nec Corporation | Internet telephone apparatus and method for an internet telephone set |
| KR20000063196A (en) * | 2000-05-08 | 2000-11-06 | 천두배 | Method of load distribution for video/audio meeting(chatting) with multiple users |
| WO2002035816A1 (en) * | 2000-10-26 | 2002-05-02 | Mitsubishi Denki Kabushiki Kaisha | Internet telephone network system, network access method and talking device adapter |
| JP2002328159A (en) * | 2001-04-27 | 2002-11-15 | Furuno Electric Co Ltd | Network system for marine apparatus |
| EP1379051A3 (en) * | 2002-07-03 | 2004-05-12 | Sony Corporation | Data sending/receiving system and method for a defect-free data transmission |
| JP2007510363A (en) * | 2003-10-28 | 2007-04-19 | 株式会社エヌ・ティ・ティ・ドコモ | Method for supporting scalable and reliable multicast in TDMA / TDD systems using feedback suppression techniques |
| US7995462B2 (en) | 2003-10-28 | 2011-08-09 | Ntt Docomo, Inc. | Method for supporting scalable and reliable multicast in TDMA/TDD systems using feedback suppression techniques |
| CN100364258C (en) * | 2004-01-08 | 2008-01-23 | 索尼株式会社 | Reception apparatus and method, program and recording medium |
| JP2008005390A (en) * | 2006-06-26 | 2008-01-10 | Toyota Infotechnology Center Co Ltd | Wireless communication apparatus, wireless communication method and program |
| US8214708B2 (en) | 2007-02-06 | 2012-07-03 | Canon Kabushiki Kaisha | Video transmitting apparatus, video receiving apparatus, and video transmission system |
| US7769014B2 (en) | 2007-02-13 | 2010-08-03 | Seiko Epson Corporation | Transmitting and receiving system, transmitting apparatus, and receiving apparatus |
| JP2015507857A (en) * | 2011-12-01 | 2015-03-12 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | Device that acquires content by selecting transport protocol according to available bandwidth |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3426144B2 (en) | 2003-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7545818B2 (en) | Method and system for detecting facsimile communication during a VoIP session | |
| US6987730B2 (en) | Transmission apparatus and method for changing data packets priority assignment depending on the reception feedback | |
| US7263644B2 (en) | Data transmitting/receiving system and method thereof | |
| US20050105471A1 (en) | Adapative control method in real-time communication | |
| KR20030045643A (en) | Data communication system, data transmission apparatus, data reception apparatus, data communication method, and computer program | |
| JP2008514126A (en) | Call setup in videophone networks | |
| WO2008032747A1 (en) | Communication device, communication method, and recording medium | |
| JP2000151680A (en) | Multimedia communication device | |
| JP3821740B2 (en) | Audio data transmitter / receiver | |
| US7191370B2 (en) | Data transmitter device, repeater device, data transmission/reception device, and data communication method | |
| JP4285111B2 (en) | COMMUNICATION DEVICE, METHOD, AND SYSTEM | |
| JP4124065B2 (en) | Data communication method and apparatus | |
| US7342938B1 (en) | Spectrally efficient approach to protection of key elements in a non-homogenous data stream | |
| JP2006304138A (en) | Selective retransmission type communication device | |
| JP3594185B2 (en) | Data transmission device and data transmission method | |
| JP4232553B2 (en) | COMMUNICATION DEVICE, ITS METHOD, AND PROGRAM | |
| JP3594196B1 (en) | Data transmission device and data transmission method | |
| JP3594195B2 (en) | Data transmission device and data transmission method | |
| KR100901031B1 (en) | Packetization method in video telephony system | |
| KR100720592B1 (en) | Method for Restoration Transport Error of Intra Frame | |
| JP2004120148A (en) | Transmitter and receiver for multimedia contents | |
| JPH0865278A (en) | Multimedia communication equipment | |
| JPH0799662A (en) | Dynamic image signal transmission method | |
| JP2004350318A (en) | Data transmission method | |
| JP2020136805A (en) | Communication device and communication method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080509 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090509 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |