[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR19990064087A - 화상 음성 복호화장치와 화상 음성 부호화장치 및 정보전송시스템 - Google Patents

화상 음성 복호화장치와 화상 음성 부호화장치 및 정보전송시스템 Download PDF

Info

Publication number
KR19990064087A
KR19990064087A KR1019980702566A KR19980702566A KR19990064087A KR 19990064087 A KR19990064087 A KR 19990064087A KR 1019980702566 A KR1019980702566 A KR 1019980702566A KR 19980702566 A KR19980702566 A KR 19980702566A KR 19990064087 A KR19990064087 A KR 19990064087A
Authority
KR
South Korea
Prior art keywords
image
information
decoding
encoding
priority
Prior art date
Application number
KR1019980702566A
Other languages
English (en)
Other versions
KR100465553B1 (ko
Inventor
다카오 야마구치
아키라 가모가와
구니오 노보리
Original Assignee
모리시타 요이찌
마츠시타 덴키 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모리시타 요이찌, 마츠시타 덴키 산교 가부시키가이샤 filed Critical 모리시타 요이찌
Publication of KR19990064087A publication Critical patent/KR19990064087A/ko
Application granted granted Critical
Publication of KR100465553B1 publication Critical patent/KR100465553B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

동시에 복수의 영상이나 음성의 복호, 합성을 행할 경우, 단말기의 처리상황에 따라 부호화량을 제어하는 것을 목적으로 하고, 본 복호화장치는, 정보를 수신하는 수신관리부(11)와, 그 수신 정보를 해석하고, 분리하는 분리부(12)와, 그 분리부(12)에서 분리된 화상의 처리의 우선도를 결정하는 우선도 결정부(14)와, 그 결정된 우선도에 따라 화상을 신장하는 화상 신장부(18)와, 그 신장된 화상을 기초로 화상 합성을 행하는 화상 합성부(19)와, 그 합성된 화상을 축적하는 합성결과 축적부(22)와, 재생을 개시할 시각을 관리하는 재생시각 관리부(23)와, 그 재생시각 관리부(23)의 정보에 따라 합성결과를 출력하는 출력부(24)를 구비한다.

Description

화상 음성 복호화장치와 화상 음성 부호화장치 및 정보 전송시스템
종래부터, 자기측 공간의 풍경의 화상 중에서, 예를 들면 인물 화상을 추출한 화상과, 상대측으로부터 전송된 인물 화상 및 미리 기억되어 있는 상대측과 공통적으로 표시하기 위한 가상적인 공간의 화상을 중첩하여 표시함으로써, 상대가 자기 앞에 있다는 실재감을 충족하고 현장감이 있는 영상통신을 목표로 한 것이 있다(일본국 특공평 4-24914호 공보, 「하이퍼미디어 시스템 퍼스널 컴퓨터 커뮤니케이션 시스템」(Fukuda, K., Tahara, T., Miyoshi, T. :“Hypermedia Personal Computer Communication System : Fujitsu Habitat”, FUJITSU Sci. Tech. J., 26, 3, pp.197-206(0ctober 1990).), 나카무라(中村) : 「네트워크 대응 가상현실감에 의한 분산 협동작업 지원」, 정보처리학회 오디오 비쥬얼 복합 정보처리 연구회(1993)). 특히, 종래의 기술에서는 화상 합성을 행하기 위한 고속화, 메모리를 저감하는 방법에 관한 발명이 행해지고 있다(예를 들면, 일본국 특공평 5-46592 : 화상 합성장치, 일본국 특개평 6-105226 : 화상 합성장치).
그렇지만, 종래의 기술에서는, 2차원의 정지화상이나 3차원의 CG 데이터를 합성하는 화상 합성시스템이 제안되었지만, 복수의 동화상이나 음성을 동시에 복호화(신장)하고, 합성하여 표시하는 시스템의 실현방법에 대해서는 논의되지 않았다. 특히, 복수의 영상, 음성을 동시에 복호, 합성, 표시할 수 있는 단말기 장치에 있어서, 단말기의 능력 부족이나 처리능력의 변동에 대하여 파탄을 가져오지 않는 영상이나 음성의 재생방법에 있어서는 논의되지 않았다. 또한, 부과금 상황에 따라 복수의 영상을 복호, 합성, 표시하는 방법에 대해서도 논의되지 않았다.
구체적으로는,
(1) 복수의 화상, 음성 정보, 복수의 화상과 음성의 관계를 기술한 정보 및 처리 결과의 정보를 관리하는 방법.
(2) 단말기의 처리상태가 과부하인 경우의 복수의 화상이나 음성의 복호, 합성, 표시의 우선도의 결정방법, 재생 및 부과금에 관한 방법.
또, 복수의 영상, 음성을 동시에 복호, 합성, 표시할 수 있는 환경하에서, 수신 단말기측의 상태나 수신 단말기에서의 복호, 합성, 표시의 우선도에 따라 화상의 압축방법을 변경하여, 부호화량을 제어하는 방법에 관해서는 고려되고 있지 않다.
본 발명은, 동시에 복수의 화상이나 음성의 복호화, 부호화 및 합성을 행하는 화상 음성 복호화장치와 화상 음성 부호화장치 및 정보 전송시스템에 관한 것이다.
도 1은 본 발명의 제 1 실시예에서의 화상 복호화 부호화장치의 개략 구성도.
도 2는 제 1 실시예에서의 별도의 예를 도시한 화상 음성 복호화 부호화장치의 개략 구성도.
도 3은 통신, 기록 포맷으로 우선도에 관한 정보를 부가하는 경우의 예를 설명하는 도면.
도 4는 본 발명의 구성을 소프트웨어로 나타낸 경우의 예를 설명하는 도면.
도 5는 정보의 구조에 대한 설명도.
도 6은 DEMUX 스레드의 동작에 대한 설명도.
도 7은 감시 스레드의 동작에 대한 설명도.
도 8은 디코드·프로세스의 동작에 대한 설명도.
도 9는 화상 합성 스레드의 동작에 대한 설명도.
도 10은 표시 감시 스레드의 동작에 대한 설명도.
도 11은 화상 합성장치의 사용자 인터페이스에 대한 설명도.
도 12는 수신측 단말기의 능력의 변동에 따른 화상 전송을 행하는 방법에 대한 설명도.
도 13은 본 발명의 제 1 실시예의 화상 압축장치에 대한 설명도.
도 14는 조작관리부가 관리하는 정보에 대한 설명도.
도 15는 광시야 화상을 작성하는 경우의 화상 압축장치를 설명하는 도면.
도 16은 송신단말기와 수신 단말기의 응답상황을 설명하는 도면.
* 도면의 주요부분에 대한 부호의 설명 *
11 : 수신관리부 12 : 분리부
13 : 송신관리부 14 : 우선도 결정부
17 : 시간 정보 관리부 18 : 화상 신장부
19 : 화상 합성부 20 : 음성 신장부
21 : 음성 합성부 31 : DEMUX 스레드
36 : 디코드·프로세스 37 : 감시 스레드
39 : 화상 합성 스레드 42 : 표시 감시 스레드
1204 : 조작관리부 1205 : 화상 압축부
1208 : 화상처리결정 제어수단 1401 : 우선도 결정제어부
1402 : 조작이력 관리부 1404 : 화상 합성부
1407 : 입력부
본 발명은, 종래의 이와 같은 과제를 고려하여, 동시에 복수의 영상이나 음성의 복호, 합성을 하는 경우, 단말기의 처리상황에 따라 부호화량을 제어할 수 있고, 또한, 부과금상황에 따라 복수의 영상이나 음성의 복호, 합성, 표시의 제어를 할 수 있는 화상 음성 복호화장치와 화상 음성 부호화장치 및 정보 전송시스템을 제공하는 것을 목적으로 하는 것이다.
본 발명은, 2차원의 화상합성만으로 한정되지 않는다. 2차원의 화상과 3차원의 화상을 조합한 표현형식이어도 되고, 광시야(廣視野) 화상(파노라마 화상)과 같이 복수의 화상을 인접시켜 화상 합성하는 화상 합성방법을 포함해도 된다.
본 발명에서 대상으로 하고 있는 통신형태는, 유선의 쌍방향 케이블 TV나 B-ISDN 뿐만이 아니다. 예를 들면, 중앙측 단말기에서 가정측 단말기로의 영상이나 음성의 전송은 전파(예를 들면, VHF대, UHF대), 위성방송으로, 가정측 단말기에서 중앙측 단말기로의 정보 발신은 아날로그의 전화회선이나 N-ISDN이어도 된다(영상, 음성, 데이터도 반드시 다중화되어 있을 필요는 없다). 또한, IrDA, PHS(Personal Handy Phone)나 무선 LAN과 같은 무선을 이용한 통신형태이어도 된다.
또한, 대상으로 하는 단말기는, 휴대정보 단말기와 같은 휴대형 단말기이거나, 세트 톱 BOX, 퍼스널 컴퓨터와 같은 탁상형 단말기이어도 된다.
청구항 1의 본 발명은, 화상 정보의 부호화를 행하는 화상 부호화수단 및, 그 부호화된 여러 가지 정보를 송신 또는 기록하는 송신 관리수단을 갖는 화상 부호화장치와, 부호화된 여러 가지 정보를 수신하는 수신 관리수단, 그 수신된 여러 가지 정보의 복호를 행하는 화상 복호수단, 그 복호된 하나 이상의 화상을 합성하는 화상 합성수단 및, 그 합성된 화상을 출력하는 출력수단을 갖는 화상 복호화장치를 구비한 화상 복호화 부호화장치이다.
청구항 2의 본 발명은, 음성 정보의 부호화를 행하는 음성 부호화수단 및, 그 부호화된 여러 가지 정보를 송신 또는 기록하는 송신 관리수단을 갖는 음성 부호화장치와, 부호화된 여러 가지 정보를 수신하는 수신 관리수단, 그 수신된 여러 가지 정보의 복호를 행하는 음성 복호수단, 그 복호된 하나 이상의 음성을 합성하는 음성 합성수단 및, 그 합성된 음성을 출력하는 출력수단을 갖는 음성 복호화장치를 구비한 음성 복호화 부호화장치이다.
청구항 16의 본 발명은, 화상을 입력하는 하나 이상의 화상 입력수단과, 그 화상 입력수단의 제어상태를 관리하는 화상 입력 관리수단과, 수신 단말기의 수신상황을 관리하는 타단말기 제어요구 관리수단과, 적어도 그 관리된 수신 단말기의 수신상황 또는 화상 입력수단의 제어상태에 따라, 화상의 부호화방법을 결정하는 부호처리 결정수단과, 그 부호처리 결정수단의 결정 결과에 따라서, 입력 화상을 부호화하는 화상 부호화수단과, 그 부호화된 화상을 출력하는 출력수단을 구비한 리얼타임 화상 부호화장치이다.
청구항 18의 본 발명은, 청구항 1의 화상 복호화 부호화장치 및 청구항 2에 기재된 음성 복호화 부호화장치 중 적어도 어느 하나를 수신 단말기로 하고, 청구항 1의 화상 복호화 부호화장치와 청구항 2에 기재된 음성 복호화 부호화 장치 및 청구항 16의 리얼타임 화상 부호화장치 중 적어도 어느 하나를 송신단말기로 하여, 그들 단말기 사이를 통신로로 접속한 정보 전송시스템으로서, 적어도 수신 단말기의 부하, 수신 단말기의 우선도 결정수단으로 결정된 처리대상으로 할 부호화된 정보의 우선도에 관한 정보, 수신 단말기에서의 프레임 스킵의 상황 중 어느 하나를 송신단말기로 송신함으로써, 송신단말기에 있어서 화상 또는 음성의 부호화의 유무, 부호화의 우선도, 부호화 방식, 부호화할 화상 사이즈, 양자화 단계의 값, 프레임 수, 수신 단말기의 과부하시의 처리의 우선도 중 어느 하나를 결정하는 정보 전송시스템이다.
이하에, 본 발명을 그 실시예를 도시한 도면에 기초하여 설명하기로 한다. 본 발명에서 사용하는 「화상」의 의미는 정지화상과 동화상의 양쪽을 포함한다. 또한, 대상으로 하는 화상은, 컴퓨터 그래픽(CG)과 같은 2차원 화상과 와이어 프레임 모델로 구성되는 3차원의 화상 데이터가 혼합한 것이어도 된다. 이 경우, 화상간의 관계는 와이어 프레임 모델에 상당한다. 기술하기 위한 스크립트 언어로서는 자바(JAVA)나 VRML 등을 들 수 있다.
도 1 및 도 2는, 본 발명의 제 1 실시예에서의 화상 복호화 부호화장치의 개략 구성도이다. 도 1은 음성의 재생기능을 갖지 않는 경우의 구성이고, 도 2는 화상과 음성의 재생기능을 갖는 경우의 구성이다. 당연한 일이지만 음성만의 경우도, 마찬가지로 구성할 수 있다.
도 1 또는 도 2에 도시한 본 장치는, 부호화장치 및 복호화장치로 구성되고, 도 1의 부호화장치는, 부호화된 화상의 과부하시의 처리의 우선도를 미리 정해진 기준으로 결정하고, 그 부호화 화상과 우선도를 대응시키는 우선도 부가부(101), 화상을 부호화하는 화상 부호화부(102), 우선도가 부가된 부호화 정보를 송신 또는 기록하는 송신관리부(103), 및 부호화된 정보를 수신하는 수신관리부(104)로 구성되어 있다. 또한, 도 2의 부호화장치는, 음성을 부호화하는 음성부호화부(105)가 추가로 설치된다.
한편, 복호화장치에 있어서, 정보를 수신하는 수신관리부(11)와 정보를 송신하는 송신관리부(13)는, 동축 케이블, 케이블 TV, LAN, 모뎀 등의 정보를 전송하는 수단이다. 단말기의 접속형태로서는, TV 전화나 TV 회의 시스템과 같이 단말기간에 쌍방향으로 영상 정보를 송수신하는 형태나, 위성방송이나 케이블 TV, 인터넷 상에서의 방송형(한쪽 방향) 영상방송의 형태를 들 수 있다. 본 발명에서는, 이러한 단말기의 접속형태에 대하여 고려하고 있다.
분리부(12)는, 부호화(압축)된 수신정보를 해석하고 분리하는 수단이다(압축장치의 경우는, 역조작으로 다중화부가 된다). 예를 들면, MPEG1이나 MPEG2, H.320 단말기(N-ISDN을 이용한 TV 전화/회의장치의 규약)에서는 H.221이, H.324 단말기(아날로그 전화회선을 이용한 TV 전화/회의장치의 규약)에서는 H.223이 비디오/음성/데이터를 다중화, 분리하는 규약이다. 본 발명은, 규약에 준한 구성으로 실현해도 되고, 규약에 준하지 않는 구성으로 실현해도 된다. 또한, H.323이나 인터넷에서 행해지고 있는 바와 같이, 영상과 음성은 각각 별도의 스트림으로 독립하여 전송해도 된다.
우선도 결정부(14)는, 분리부(12)로부터 얻어진 정보(예를 들면 영상, 음성 정보)를 이하의 방법으로, 단말기가 과부하인 경우의 복호(이후, 「신장」을 이용함)의 우선도를 결정하여 화상의 신장이나 음성의 신장을 행한다(처리의 우선도의 결정방법은, 미리 수신 단말기 장치로 정해두면 되고, 송신측 단말기(부호화장치)로 기록미디어나 송신패킷 등에, 아래의 방법으로 결정된 우선도에 관한 정보를 부가하여 전송, 기록포맷으로서 부가해도 된다. 우선도에 관한 표현방법으로서는, 우선도 「대」,「중」,「소」 라는 수치화하지 않는 표현이나 1, 2, 3과 같이 수치화한 표현이어도 된다).
복수의 화상 또는 음성 프레임으로 구성되는 스트림 단위에서의 데이터를 취급하기 위한 식별자를 이용하여, 송신측과 수신측에서 데이터의 송수신의 처리를 행하는 것으로, 수신측 버퍼의 관리나 송신측 데이터의 송신의 스케쥴링이 가능해진다. 요컨대, 필요에 따라 송신측에서 송부하는 스트림의 식별자를 통지하여 수신측의 입수상황을 조사하거나, 필요하지 않은 스트림의 식별자의 수신 단말기로의 통지, 수신측에서 필요한 스트림을 요구하거나 하는 것이 가능해진다.
부호화된 정보의 과부하기의 처리의 우선도를 전술한 기준으로 결정하여, 부호화된 정보와 결정된 우선도를 대응시키는 우선도 부가수단을 화상 부호화장치나 음성 부호화장치에 구비하여, 수신된 여러 가지 정보의 과부하시의 우선도에 따라서, 처리방법을 결정하는 우선도결정수단으로, 처리할 우선도의 화상 프레임이나 음성을 결정하여, 복호, 합성처리를 행한다. 한편, 화상 프레임에 대해서는, 프레임 스킵을 행할 수 있도록 프레임내 부호화(I 프레임)를 행한 프레임을 정기적으로 삽입해야 한다.
우선도를 부가하는 단위로서는, 영상이나 음성의 각 프레임 단위(프레임간의 우선도 비교), 복수의 프레임으로 구성되는 스트림 단위이어도 된다(스트림간의 우선도 비교).
화상의 특징에 착안한 방법으로서는, 화상의 압축형식(예를 들면, H.263과 실행길이라면 실행길이를 우선함), 화상의 크기(예를 들면, CIF와 QCIF면 QCIF를 우선함), 콘트라스트(예를 들면, 콘트라스트가 밝은 것을 우선함), 화상의 합성비율(예를 들면, 합성비율이 높은 것을 우선함), 양자화 단계(예를 들면, 양자화 단계의 작은 값을 우선함), 프레임간 부호화와 프레임내 부호화의 차이(예를 들면, 프레임내 부호화를 우선함), 표시위치(예를 들면, 표시위치가 중앙인 것을 우선함. 또한, 3차원 화상이면, 화상이 안에 배치되는 경우는, 우선도를 낮게, 앞에 표시되는 경우에는 우선도를 높게 설정함), 프레임 번호(제 1 프레임과 최종 프레임은 우선도를 높게 하고, 장면 변환의 프레임의 우선도를 높이는 등)나 프레임수(예를 들면, 재생할 프레임수가 적은 화상은 우선도를 높게 한다. 프레임 번호가 H.263의 경우, 임시·참조(TR)에 해당하여, TR의 값의 변화에 따라 판단하면 됨), 유음구간과 무음구간, 표시시간(PTS), 복호시간(DTS)에 기초하는 방법을 들 수 있다.
덧붙여, 프레임간 부호화된 P프레임이나 B프레임은 동일한 우선도를 할당한다. 또한, 프레임내 부호화된 화상에 복수 단계의 우선도를 할당함으로써, 스킵하는 빈도를 제어할 수 있다.
또한, 미디어의 차이에 착안한 예로서는, 음성의 신장을 화상의 신장보다 우선적으로 행하는 방법을 들 수 있다. 이에 따라, 음성을 도중에 끊지 않고 음성의 재생을 행할 수 있다.
또, 수신측 단말기에서 관리하고 있는 재생의 허가정보를 바탕으로, 신장할 정보(화상, 음성)의 결정을 행해도 되고, 송신측에서 제어정보로서 송신하는 재생허가의 정보를 바탕으로, 신장할 정보의 선택을 해도 된다. 재생허가의 정보는, 구체적으로는, 부과금에 관한 정보(예를 들면, 부과금이 행하여지고 있지 않으면, 신장, 합성, 표시 처리를 행하지 않음. 수신 단말기측에서, 부과금에 관한 정보를 관리해도 되고, 송신측에서 부과금 정보를 관리해도 됨), 서비스의 내용을 나타내는 정보(예를 들면, 성인취향의 방송으로 단말기측에서 재생의 허가가 나오지 않으면, 신장, 합성, 표시의 처리를 행하지 않음. 재생의 허가는 수신측 단말기에서 관리해도 되고, 송신측 단말기에서 관리해도 됨), 패스워드(예를 들면, 특정한 프로그램에는 패스워드를 입력하지 않으면, 신장, 합성, 표시를 행하지 않음. 패스워드는 수신측 단말기에서 관리해도 되고, 송신측 단말기에서 관리해도 됨), 이용자 코드(예를 들면, 허가가 부여되어 있는 이용자가 아니면, 신장, 합성, 표시는 행하지 않음. 이용자 코드는 수신측 단말기에서 관리해도 되고, 송신측 단말기에서 관리해도 됨), 국가별 코드(예를 들면, 나라에 따라, 신장, 합성, 표시할 화상이나 음성, 재생방법을 변경함. 국가별 코드는, 송신측에서 관리해도 되고, 수신측에서 관리해도 됨. 국가별 코드로 재생방법을 바꿈으로써 스크램블이 실현됨).
부과금에 관한 정보, 서비스의 내용을 나타내는 정보, 패스워드, 이용자 코드라는 화상이나 음성의 재생허가의 제한을 건 재생방법으로서는, 화상의 합성, 표시를 행할 때 고의로 위치나 화소를 비켜 놓거나, 화상의 확대·축소, 화상의 샘플링(예를 들면 로우패스를 거는 등)을 변경, 화소반전, 콘트라스트의 변경, 컬러 팔레트의 변경, 프레임의 스킵을 행하는 방법 등을 들 수 있다. 이들 화상의 재생방법(화상의 신장, 합성, 표시)은, 1 프레임마다 제약을 걸어도 된다. 또는, 화상 압축의 하나인 H.263으로 정의되는 1 프레임보다 작고, 독립하여 처리할 수 있는 단위인 GOB(Group of Block) 단위로, 화상의 신장, 합성, 표시방법에 제약을 가해도 되고, 이로써 종래부터 행해지는 화면 전체를 흐트리는 수법보다 유연한 제어가 가능해진다. 요컨대, GOB 단위로 처리함으로써, 화면의 일부분만큼 스크램블을 걸 수 있기 때문에, 화상 합성을 사용한 소프트웨어와 같이 인터랙티브한 소프트웨어에 대한 평가가 가능해진다.
마찬가지로, 소리의 재생방법으로서는, 소리의 크기를 변경시키고, 소리의 방향을 변경시키고, 소리의 주파수를 변경시키며, 소리의 샘플링을 변경시키는 다른 화상이나 음성을 삽입하는 방법을 들 수 있다(어느 쪽의 방법도, 미리 송신측에서 처리하는 방법과, 수신측에서 처리하는 방법을 들 수 있다).
화상과 음성의 재생방법으로서는, 화상과 소리의 동기를 빗나가게 하는 방법을 들 수 있다. 합성, 표시의 순위를 나타내는 정보(미리 표시할 순서를 수신측의 단말기에서 정해둠. 예를 들면 CIF나 정지화상을 우선하는 등, 또한 송신측에서 송신정보에 표시할 순서를 우선도에 관한 정보로서 부가해두는 방법도 들 수 있음), 신장의 순서를 나타내는 정보(미리 신장할 순서를 수신측의 단말기에서 정해둠. 예를 들면 QCIF나, 프레임내 부호화의 화상 데이터를 우선하는 방법 등, BGM보다 대화음을 우선하여 신장하는 방법 등을 들 수 있음. 마찬가지로, 송신측에서, 송신정보에 표시할 순서를 부가해두는 방법 등도 들 수 있다), 이용자의 지시(예를 들면, 이용자의 지시에 의해, 신장, 합성, 표시할 화상이나 음성 정보를 선택시키거나, 요망에 따라 선택한 정보를 바탕으로 신장, 합성, 표시할 화상이나 음성 정보를 결정함), 단말기의 처리능력(예를 들면, 현재 또는 과거의 일정기간의 CPU 처리의 점유시간을 계측함으로써, 처리시간이 걸리는 등의 화상이나 음성의 신장, 합성, 표시를 억제함. 처리시간의 추정방법으로서는, 압축을 행할 때 로컬·디코드에 걸린 시간이나, 압축에 걸린 시간을 압축한 화상정보와 동시에 대응시켜 관리함으로써, 신장, 합성, 표시의 유무, 우선도의 결정이 가능함), 재생시간(예를 들면, 재생시간을 넘긴 화상, 음성 정보의 신장, 합성, 표시는 중지)이나 복호시간에 의해, 신장할 화상이나 음성의 우선도, 유무를 결정해도 된다.
덧붙여, 특정한 화상이나 음성만이 우선적으로 신장, 표시되는 것을 막기 위한 방법으로서, 화상이나 음성의 신장, 합성, 표시의 처리를 행하는 실시율에 관한 정보에 따라, 신장, 합성, 표시할 화상의 순서나 유무를 결정할 수 있다. 예를 들면, 신장을 행하는 10회 중 1회는 CIF 크기의 화상의 신장을 하면 수신 단말기측에서 설정해 놓거나, 송신측에서 화상이나 음성의 신장, 합성, 표시의 실시율을 규정하여 그것에 기초하여 화상 정보나 음성 정보를 송신하는 방법을 생각할 수 있음. 실시율은 구체적으로는, I 프레임(프레임내 부호변한 프레임)의 삽입간격으로 정의할 수 있다. 이에 따라, 특정한 화상이나 음성 오브젝트만이 신장, 합성, 표시되는 일은 없어진다.
이들 신장, 합성, 표시를 제어하는 우선도에 관한 정보의 부가는 송신측의 장치뿐만 아니라, 중계를 행하는 장치에서 부가, 제어해도 된다. 또한, 수신 단말기의 복호장치의 우선도 결정부(14)에서 결정한 우선도에 관한 정보를, 송신관리부(13)를 통하여 송신장소로 송신하는 것으로, 우선도 결정부(14)의 결정상황에 따른 화상, 음성 전송을 행할 수 있게 된다(선택되기 어려운 화상 오브젝트의 ID를 송신측으로 송신함으로써, 필요없이 송신되는 일이 없어짐). 한편, 수신 단말기가 과부하인 경우의 처리의 우선도를 나타내는 정보는, 수신 단말기장치로 정해도 되고, 전송포맷으로서 전송해도 되며, CD-ROM이나 하드 디스크와 같은 기록미디어에 기록하기 위한 포맷으로서 MPEG2의 트랜스포트 스트림을 확장해도 되고, 표준화를 고려하지 않는 전송, 기록포맷형식이어도 된다. 또한, 미디어마다(영상, 음성, 영상과 음성의 관계를 기술한 정보) 각각의 스트림으로서, 다중화를 행하지 않고 전송, 기록해도 된다.
화상 복호수단으로서의 화상신장부(18)는 화상의 신장처리를 행하는 수단이고(이후, 부호화장치의 경우는 부호화수단), 화상 신장부(18)에서 다루는 화상 포맷으로서는 MPEG1이나 MPEG2, H.261, H.263 등을 들 수 있다. 화상의 신장은 1 프레임 단위로 행해도, H.263으로 규정되는 GOB 단위의 처리어도 된다. 1 프레임 단위로 처리하는 경우, 프레임간 부호화를 행하는 경우, 앞 프레임의 신장상태를 화상 신장부(18)에 기억해둘 필요가 있다. GOB 단위에서의 화상 신장을 행한 경우, 화상의 신장의 순서관계는 문제가 되지 않는다. 따라서, GOB 단위로 신장처리를 행하는 경우, 복수의 화상 신장부(18)를 수신장치에 가질 필요는 없고, 하나의 화상 신장부(18)에서 복수의 영상의 신장을 행할 수 있게 된다. 반면, 신장결과를 축적해 둘 필요가 있다.
도 2의 음성 복호수단으로서의 음성 신장부(20)는 음성의 신장을 행하는 수단이고, 음성 신장부(20)에서 다루는 음성포맷으로서는 G.721이나 G.723 등을 들 수 있다. 처리를 위한 방법으로서는, DSP나 범용 CPU에 의한 소프트웨어 처리나 전용 하드웨어에 의한 처리를 들 수 있다.
소프트웨어로 실현할 경우는, 화상 및 음성의 신장처리를 각각 하나의 프로세스 또는 스레드의 단위로 관리하여, 신장할 화상이나 음성이 동시에 복수 있는 경우, 처리할 수 있는 범위의 수의 프로세스 또는 스레드로 시분할하여 처리한다.
화상신장 관리부(15)는 화상의 신장상태를 관리하는 수단이다. 또한 음성신장 관리부(16)는 음성의 신장상태를 관리하는 수단이다. 예를 들면, 이들 관리부를, 소프트웨어로 실현할 경우는, 분리부(12)로부터 얻은 압축된 정보를 정해진 순서(예를 들면, 최초에 음성 신장부(20)로부터 실행하고, 다음에 화상 신장부(18)에서 실행함)로, 화상 신장부(18), 음성 신장부(20)에 인도하고, 신장의 상태를 감시한다. 모든 신장이 완료되면, 화상 합성부(19) 또는 음성 합성부(21)에, 신장된 정보를 인도한다. 소프트웨어로서는 공유 메모리와 세마포르를 이용하는 것으로, 인도하는 정보를 제한하거나, 신장처리가 종료한 것을 안다(상세한 사항에 대해서는 후술함).
시간 정보 관리부(17)는 시간에 관한 정보를 관리하는 수단이다. 예를 들면, 시스템을 퍼스널 컴퓨터로 실현할 경우에는, 시간정보는 퍼스널 컴퓨터의 타이머를 이용하여 실현하면 된다.
화상 합성부(19)는, 신장된 화상 데이터를 바탕으로 화상합성을 행한다. 복수의 화상을 합성하는 경우, 각각의 화상의 합성비율(α값)을 바탕으로 화상합성을 행한다. 예를 들면, 2개의 화상을 합성하는 경우, 전경 화상의 합성비율이 α인 경우, 배경 화상의 RCB값을 1-α, 전경 화상을 α의 비율로 혼합한다. 한편, 신장할 화상은 1 프레임 단위로 처리의 관리를 행함으로써, 표시시간을 이용하여 복수의 화상을 합성하는 경우에 시스템의 구성과 설치를 간단화할 수 있다. 또한, 화상 합성부(19) 또는 음성 합성부(21)에서, 송신측에서 신장결과를 파기하라는 지시가 올 때까지, 신장결과를 유지하여 관리, 이용하는 것으로, 송신측에서 동일 패턴의 정보를 반복 송신할 필요를 없앨 수 있다.
화상끼리나 음성끼리의 관계를 기술한 정보에 근거하여, 화상이나 음성을 합성할 때, 필요로 하는 복호된 화상이나 음성이 준비되어 있어 않아, 합성할 수 없는 화상이나 음성이 존재하는 것을 제시함으로써, 이용자는 합성의 상태를 알 수 있다. 그래서, 이용자가 필요한 화질을 선택하거나, 합성하고 싶은 화상을 미리 선택하는 등의 지시를 행하는 것으로, 필요한 정보를 놓치지 않고 합성할 수 있게 된다. 한편, 복호화된 화상이나 음성의 데이터를 버퍼에 축적, 관리하는 방법으로서는, 도착순서대로 오래된 것으로부터 차례로 소거하거나, 화상끼리, 음성끼리의 관계를 기술한 스크립트를 보아, 전체로서의 복호화된 화상이나 음성의 데이터의 사용상황을 보아 소거하는 방법을 생각할 수 있다.
음성신장 관리부(16)는, 적어도 하나 이상의 음성의 신장을 행하는 음성 신장부(20)의 신장상태를 관리한다.
음성 합성부(21)는, 신장된 정보를 바탕으로 음성합성을 행하는 수단이고, 합성결과 축적부(22)는, 화상 합성부(19)가 합성한 화상과 음성 합성부(21)가 합성한 음성을 축적하는 수단이다.
재생시간 관리부(23)는, 재생을 개시할 시간에 합성한 화상이나 음성을 재생하는 수단이다.
출력부(24)는 합성결과를 출력하는 수단(예를 들면, 디스플레이, 프린터 등), 입력부(25)는 정보를 입력하는 수단(예를 들면, 키보드, 마우스, 카메라, 비디오 등)이다. 단말기 제어부(26)는, 이들 각 부분을 관리하는 수단이다.
도 3은, 통신, 기록포맷으로 우선도에 관한 정보를 부가하는 경우의 예를 설명하는 도면이다.
도 3의 (a)의 예는, 완전히 모든 미디어(영상, 음성, 제어정보)를 다중화하고 있는 예이다. 제어정보로서, 과부하시의 처리를 결정하기 위한 우선도(본 발명에서 나타내는 우선도)나 표시의 순서를 나타내는 우선도가 표시되어 있다. 또한, 제어정보로서는 화상끼리, 음성끼리, 화상과 음성의 관계(시간적, 위치적인 것)에 관한 정보를 기술해도 된다. 도 3의 (a)의 예에서는, 예를 들면, MPEG1/2의 다중화, H.223과 같은 제어정보와 데이터(영상, 음성)를 혼재시키는 패킷 다중의 적용하게 되어 있다. 한편, 과부하시 처리의 우선도는 프레임 단위 또는 스트림 단위로 부가한다.
도 3의 (b)의 예는, 미디어마다 정보를 다중화하고 있는 예이다. 이 예에서는, 제어정보, 화상정보, 음성 정보는 각각의 통신포트로부터 송신된다. 화상끼리, 음성끼리, 화상과 음성의 관계에 관한 정보는 제어정보로서, 화상이나 음성과는 별도의 통신포트로부터 송신하면 된다. H.323이나 인터넷과 같이 복수의 통신포트를 동시에 확립할 수 있는 경우의 적용하게 되어 있고, 도 3의 (a)와 비교해서 다중화의 처리를 간략화할 수 있기 때문에, 단말기의 부하를 경감할 수 있다.
화상끼리와 음성끼리의 기술방법으로서, 자바, VRML이라는 기술언어 등으로 대응이 가능하다고 생각되지만, 스크립트의 기술언어의 규정이 하나로 정해지지 않은 상황도 생각할 수 있다. 그래서 화상끼리, 음성끼리의 관계(예를 들면, 위치적인 정보, 시간적인 정보(표시기간 등))를 기술한 정보의 기술방법을 식별하기 위한 식별자를 설치함으로써, 복수 종류의 기술방법에 대응할 수 있다. 정보의 기술방법을 식별하기 위한 식별자의 부가방법으로서는, 예를 들면, MPEG2에서는, MPEG2-TS의 스트림을 관리하는 프로그램·맵표에 설치하거나, 스크립트를 기술한 스트림에 설치함으로써 대응할 수 있다. 과부하시 처리의 우선도는 화상과 음성의 대응관계를 기술한 정보와 동시에 부가한다(제어정보). 한편, MPEG2에 있어서는, MPEG2-TS(트랜스포트·스트림)의 비디오·스트림, 오디오·스트림을 관계를 맺는 프로그램·맵표로 관리할 수 있도록, 화상과 음성의 대응관계 체결을 행하는 구조정보·스트림을 정의하여 관리하면, MPEG2라도 데이터로 독립하여 전송할 수 있다.
도 4는, 소프트웨어로 본 발명을 구성한 경우의 예를 설명하는 도면이다. 멀티태스크·오퍼레이션이 가능한 오퍼레이팅·시스템 상에서 본 발명을 실현한 경우, 도 1이나 도 2에서 설명한 각 처리는, 프로세스, 스레드라는 소프트웨어의 실행모듈 단위에 나누어지고, 각 프로세스, 스레드 사이는 공유 메모리에 의해 정보의 교환을 행하여, 세마포르(도 4의 예에서는, 실선으로 표시된 부분이 세마포르에 대응함)에 의해 공유하는 정보의 배타제어를 행한다. 이하에, 각 프로세스, 스레드의 기능에 대하여 설명하기로 한다.
DEMUX 스레드(31)는 네트워크나 디스크로부터 다중화된 정보(영상, 음성, 제어정보)를 판독하여, 음성, 영상 및, 음성과 영상의 대응관계와 재생시 사이에 관한 정보를 기술한 감시용표(상세한 사항은 후술하기로 함)로 분리한다. DEMUX 스레드(31)는 전술한 분리부(12)에 대응한다. DEMUX 스레드(31)로 분리된 정보는, 음성용 링 버퍼(32), 영상용 링 버퍼(33), 감시용 링 버퍼(34)에 각각 송출된다. 음성 정보인 경우, 링 버퍼(32)로 송출된 정보는, 음성 디코드 스레드(35)(전술한 음성 신장부(20)에 대응함)로 신장된다. 영상 정보인 경우, 링 버퍼(33)로 송출된 정보는, 디코드 프로세스(36)에서 신장된다.
감시용 표에 대해서는, 링 버퍼(34)로 송출되어, 영상을 신장하기 위한 순서를 결정하기 위해 감시 스레드(37)(전술한 단말기 제어부(26), 화상신장 관리부(15), 음성신장 관리부(16)에 대응함)로 이용된다. 또한, 같은 감시용 표가 화상 합성을 위해 화상합성 스레드(39)로 이용된다. 감시 스레드(37)로 이용된 감시용 표는, 모든 음성, 화상의 신장이 끝난 시점에서, 다음 표를 링 버퍼(34)로부터 판독한다. 디코드·프로세스(36)(전술한 화상 신장부(18)에 대응함)로 신장된 화상 정보는 영상용 싱글 버퍼(38)로 송출된다. 송출된 화상 정보가 갖춰진 시점에서, 화상 합성 스레드(39)(전술한 화상 합성부(19)에 대응함)로써, 감시용 표로 관리되는 화상 합성의 비율을 이용하여 화상 합성을 행한다. 합성결과는, 합성용 버퍼(41)(전술한 합성결과 축적부(22)에 대응함)에 축적되고, 표시감시 스레드(42)로 표시시간이 될 때까지 표시 대기상태로 대기한다(전술의 재생시간 관리부(23)에 대응함).
도 5는, 도 4의 구성에서 이용되는 정보의 구조에 대하여 설명하는 도면이다. 도 5의 예에서는, 디스크 또는 네트워크로부터 수신한 정보는 188바이트의 고정길이이다(B). DEMUX 스레드(31)로 분리된 음성 정보의 구조는, 패킷 동기용 코드, 재생시간, 재생할 음성의 길이를 나타내는 프레임길이, 음성 데이터로 이루어진(C). 영상 정보의 구조는, 패킷 동기용 코드, 화상을 식별하기 위한 프레임 번호, 화상 정보의 크기를 나타내는 프레임길이, 화상 데이터로 이루어진다(D). 본 발명은 1 프레임 단위에서의 처리일 필요는 없고, 매크로 블록 단위와 같은 작은 블록 단위에서의 처리를 행해도 상관없다.
감시용 표의 구조는, 화상의 표시시간, 1 프레임으로 표시(합성)할 화상의 수, 각 화상의 ID, 프레임 번호, 신장이나 표시를 행할 우선도, 프레임의 타입을 나타내는 식별자(I픽처, P픽처, B픽처), 표시의 수평위치, 표시의 수직위치, 합성의 비율을 나타내는 계층의 각 정보로 구성된다(E). 또, 화상의 합성비율과 음성의 합성비율을 대응시켜 변화시켜도 된다. 예를 들면, 화상, 2 종류가, 각각 음성2 종류에 대응하는 경우, 화상의 합성비율이 α:1-α인 경우, 대응하는 음성의 합성비율도 α:1-α로 대응시켜도 된다. 화상정보끼리의 관계뿐만 아니라, 음성끼리의 관계도 기술해도 된다(예를 들면, 방향, 종류(BGM, 대화음)).
도 6은, DEMUX 스레드의 동작에 대하여 설명하는 도면이다. 파일 또는, 네트워크로부터 188바이트의 고정길이의 데이터를 판독한다(5-1). 판독한 데이터를 분석하여, 전술한 음성, 영상, 감시용 표의 구조의 형태로 세트한다(5-2). 링 버퍼로의 기입이 가능하면, 음성, 영상, 감시용 표를 각각의 링 버퍼에 기입을 행한다. 화상 오브젝트 ID와 복수 있는 화상 신장수단의 대응관계를 취한다. 예에서는, 낮은 번호의 오브젝트 ID에서 낮은 링 버퍼 번호의 공유 메모리순으로 기입하기 시작한다(5-3). 기입한 버퍼의 라이트 포인터를 갱신한다(5-4). 감시용 표 하나분의 영상, 음성의 정보를 기입하면 감시 스레드 제어용 세마포르의 카운터를 진행시킨다(5-5). 이와 같이 DEMUX에 의해 감시 스레드의 제어를 행한다.
도 7은, 감시 스레드의 동작에 대하서 설명하는 도면이다. 감시용 표를 판독하여 리드 포인터를 진행시킨다(6-1). 과부하시 오브젝트의 우선도를 체크하여, 우선도가 높은 화상 프레임을 조사한다(6-2). 감시용 표의 내용을 합성측의 스레드로 넘긴다(6-3). DEMUX로부터의 감시용 표 하나분의 데이터의 작성을 대기한다(6-4). 처리의 우선도가 높은 순서로, 표시를 하는 화상의 프레임 번호를 디코드 프로세스에 기입하고(6-5), 현재의 시간과 표시할 시간을 비교하여, 시간을 맞추기 않으면 I 프레임을 스킵하지 않고, PB의 프레임만을 스킵한다(6-6). 대응하는 디코드·프로세스의 실행을 허가하여(6-7), 처리가 완료될 때까지 대기한다(6-8).
도 8은, 디코드·프로세스의 동작에 대하여 설명하는 도면이다. 감시 스레드로부터 실행이 허가될 때까지 대기한다(7-1). 입력 화상의 상태를 체크하고, 화상의 시리얼 번호, 입력되는 프레임이 스킵할 화상인지의 여부를 조사한다(7-2). 디코드할 화상 데이터가 링 버퍼에 머물 때까지 대기한다(7-3). 감시 스레드로부터 지시받은 화상의 시리얼 번호에 대응하는 화상 데이터가 없으면, 디코드를 스킵하여, 리드 포인터를 진행시킨다(7-4). 입력 화상의 스킵이 아니면, 디코드의 처리를 실행하여, 리드 포인터를 진행시킨다(7-5). 디코드의 결과를 출력하여 (7-6), 감시 스레드에 처리가 종료된 것을 통지한다(7-7).
같은 프로세스(스레드어도 된다. 하드웨어인 경우는 프로세서)를 이용하여 다른 종류의 화상 오브젝트를 신장할 경우, 디코드·프로세스에서 과거에 신장한 화상의 프레임 번호와 신장되기 전의 화상을 대응시켜서 관리함으로써, 동시에 많은 프로세스를 생성하여 이용할 필요가 없어진다(최저, 직전의 프레임에 관한 정보만이라도 된다. 또한, I, P, B와 같이 다른 타입의 프레임 화상이 존재할 경우는, 관리되는 순서와 출력되는 순서가 다르기 때문에 디코드·프로세스에서의 이러한 관리는 필요해진다).
도 9는, 화상 합성 스레드의 동작에 대하여 설명하는 도면이다. 감시 스레드로부터 감시용 표를 대기한다(8-1). 처리할 화상의 우선도를 체크한다(8-2). 우선도가 높은 순서로 디코드 결과의 화상을 기다린다(8-3). 표시위치에 맞춘 화상의 합성을 행한다(8-4). 합성결과를 합성용 버퍼에 기입한다(8-5). 표시를 행할 화상 정보의 선택은 화상 신장수단 또는 화상 합성수단으로 행할 수 있다. 표시하면 안되는 화상 오브젝트 ID를 스킵할 경우, 화상 합성수단으로는 신장결과를 출력할 수 없음을 통지해야 한다. 음성에 대해서도 재생할 음성 정보의 선택을 음성 신장수단 또는 음성 합성수단으로 행할 수 있다.
도 10은, 표시 감시 스레드의 동작에 대하여 설명하는 도면이다. 합성화상이 기입되는 것을 기다린다(9-1). 처음 표시인 경우, 표시를 개시한 시간을 취득하여(9-2), 표시를 행할 시간과의 대응관계를 관리한다. 표시시간에 달하지 않으면, 들 달하지 않은 시간만큼 대기하여, 합성 화상의 표시를 지연시킨다(9-3).
도 11을 이용하여 본 발명의 화상 합성장치의 사용자 인터페이스에 대하여 설명하기로 한다.
도 11의 예에서는, 배경 화상에, 전경 화상이 합성되어, 멀리 위치한 건물이 합성비율 0.5로 반투명하게 화상 합성되어 있다. 도 11에 나타낸 바와 같이, 사용하는 화상은 2차원 화상이 아니어도 된다. 전경에 3차원 화상으로서 헬리콥터와 기구가, 2차원 화상인 배경과 합성되어 있다. 또, 전경의 헬리콥터와 기구는 반드시 항상 3차원 화상일 필요는 없다. 멀리 위치하는 경우(화면 상에 2차원으로서 표시되는 크기로 정의해 두면 된다. 예를 들면 20도트×20도트의 크기보다 작으면 대상물은 멀리 존재하도록 정의해 두면 된다)에는, 2차원으로 표현한 간격, 가까이 위치할 경우에는 3차원으로 표현해도 된다. 또한, 3차원 화상의 와이어 프레임·모델에 맵핑하는 화상도 정지화상뿐 아니라, 동작 화상이어도 된다. 화질에 대해서는 중심부분의 화질은 좋고, 주변부로 갈수록 나쁘기 때문에, 사용자가 원하는 필요한 정보를 우선적으로, 선택하여 전송할 수 있다(이와 같이, 화상이 합성되는 위치에 따라, 화질을 변경하는 것으로 응답성의 향상을 기대할 수 있다). 또한, 3차원 화상인 경우, 멀리 표시되는 화상의 우선도는 낮게, 가까이 표시되는 화상의 우선도는 높게 설정하면 된다. 또, 화질의 제어에 대해서는 양자화 단계를 변경함으로써 실현할 수 있다.
도 12는, 수신측 단말기의 능력의 변동에 따른 화상 전송을 행하는 방법에 대하여 설명한 도면이다. 다음으로, 전송되는 화상이 많아짐으로써, 수신 단말기의 처리가 과부하가 되는 것을 막기 위해, 압축장치를 포함하여, 관리, 제어하는 방법에 대하여 설명한다. 예를 들면, 하드웨어로 실현되는 MPEG2 베이스의 비디오·o온·디멘드 시스템에서는, 송신측 단말기는 수신측 단말기의 성능(예를 들면, 화상압축할 수 있는 방식이나 크기, 통신 프로토콜)을, 영상 정보를 송신, 수신하기 전에 서로 확인한다. 이 때문에, 송신측 단말기에서는, 수신측 단말기의 처리능력이 거의 확정되어 있으므로, 수신측 단말기의 수신상황이나 재생의 상황을 순차, 모니터할 필요는 없다.
한편, 하드웨어로 화상의 압축과 신장을 실현하는 경우는, 단말기에서 화상의 압축과 신장을 행할 수 있는 개수는 고정되어 있다. 그러나, 소프트웨어로 화상의 압축과 신장을 실현하는 경우는, 단말기에서 화상의 압축과 신장을 행할 수 있는 개수를 동적으로 가변할 수 있다. 또한, 소프트웨어로 멀티태스크 환경하에서 화상의 압축과 신장을 행하는 경우, 화상 크기나, 화상 압축을 행하기 위한 양자화 패러미터, 대상으로 하는 화상(프레임내 부호화나 프레임간 부호화, 촬영된 화상의 내용) 등에 따라 크게 영향을 주고, 단말기로 처리(압축, 신장)할 수 있는 화상 크기, 동시에 처리할 수 있는 화상의 수는 시간적으로 변화한다. 또한, 이에 따라 송신측 단말기에서는, 순차, 수신측 단말기의 수신상황(예를 들면, 수신 버퍼의 용량이나 영상 재생의 우선도, 수신확인의 응답시간)에 따른 화상의 압축방법(화상 압축방식, 화상압축의 유무, 양자화 단계, 압축의 우선도, 압축할 화상 크기 등), 수신 단말기가 과부하시 우선도의 결정을 검토하지 않으면 수신측의 능력을 상회하고 파탄을 초래한다.
예를 들면, 도 12의 (b)에 도시한 바와 같이, 수신측 단말기의 수신 버퍼의 용량이 80%를 넘는 경우, 송신측으로 수신 버퍼가 넘칠 듯이 되어 있는 것을 통지하고, 화상 압축방식(예를 들면 MPEG1로부터 실행길이로 변화시켜, 압축 화상의 송출량을 줄인다, 화상 압축의 유무(화상 압축하여, 송신하는 것을 일시 중단시킴), 압축의 우선도 변경(압축할 프로세스가 복수 있는 경우, 압축하기 위한 우선도를 낮추어, 압축되는 압축 화상의 송출량을 줄임), 화상 크기의 변경(CIF로부터 QCIF로 압축할 크기를 작게 변경하여 압축 화상의 송출량을 줄임), 양자화 단계의 변경(화질의 변경에 의해 압축 화상의 송출량을 줄임)에 의한 송출량을 제한하는 방법, 프레임수를 조정하는 방법(처리를 행하는 프레임수를 줄임, 수신 단말기가 과부하시 우선도를 결정하는 방법을 적정, 선택, 조합하여 실시한다. 이로써 수신측 단말기 의 수신 버퍼의 오버플로우를 회피시킨다.
마찬가지로, 수신측의 수신 버퍼의 용량이 20%를 하회한 경우, 송신측의 단말기로 수신측 단말기의 수신 버퍼가 언더 플로우가 되어 있는 취지를 통지하여, 전술한 바와는 반대의 방법으로, 송신측 단말기에서, 화상 압축방식, 화상 압축의 유무, 화상 압축의 우선도, 화상의 크기, 양자화 단계, 프레임수를 적정, 선택, 조합하여 실시한다. 이와 같이 송출량을 증대시키는 방법을 실시함으로써, 수신측 단말기의 수신 버퍼의 언더 플로우를 회피시킬 수 있다.
수신 버퍼의 상태의 감시 이외에도, 수신측 단말기에서의 재생능력이 한정되고 있어, 재생할 화상이 복수 있는 경우, 수신측 단말기에서, 우선하여 재생할 화상을 이용자가 명시적으로 결정하거나, 단말기측에서, 우선하여 재생할 화상을 자동적으로 결정할 필요가 있다(미리, 이용자에 의해 우선하여 재생할 화상은 어느 것인 가를, 규칙으로서 수신 단말기에 등록해 놓을 필요가 있다. 예를 들면, 화상 크기가 작은 것은 우선한다거나, 배경 화상으로서 표시하는 것은 재생 간격은 크게해도 된다거나). 예를 들면, 수신측 단말기의 부하(예를 들면, 재생에 필요한 CPU의 점유시간)를 송신측의 단말기로 통지해 줌으로써, 간단하게 실현할 수 있다.
수신측 단말기의 재생의 부하가 단말기의 처리능력의 80%를 넘으면, 그 수신측 단말기가 과부하로 되는 것을 송신측으로 통지하여, 송신측에서는 그것을 받아, 상술한 바와 같은 방법으로, 수신측 단말기의 처리할 부하가 낮아지도록, 화상 압축방식(예를 들면, MPEG1로부터 실행길이로 변경시켜 처리량을 줄인다), 화상 압축의 유무(화상 압축하여, 송신하는 것을 일시 중단시킨다), 압축의 우선도의 변경(중요도가 낮은 화상에 대해서는, 압축하기 위한 우선도를 낮추고, 중요도가 높은 화상을 우선하여 압축하고 송출한다), 화상 크기의 변경(CIF에서 QCIF로 압축할 화상 크기를 변경하여, 재생측 부하를 줄임), 양자화 단계의 변경(화질의 변경에 의해 압축 화상의 송출량을 줄임) 방법, 프레임수를 조정하는 방법, 과부하시의 처리의 우선도에 따라 처리하는 방법을 적정, 선택 또는 조합하여 실시함으로써 수신측 단말기에서의 처리량을 경감시킨다.
반대로, 부하가 수신측 단말기의 처리능력의 20%를 하회한 경우는, 수신측 단말기의 처리능력에 여유가 있는 것으로 하여, 전술한 바와는 반대의 방법으로, 송신측 단말기에서, 화상 압축방식, 화상 압축의 유무, 화상 압축의 우선도, 화상의 크기, 양자화 단계, 프레임수를 적정, 선택, 조합함으로써, 고화질이고 프레임 간격이 짧은 화상을 수신측 단말기로 송출한다. 이에 따라, 수신측 단말기의 능력을 살린 화상 전송이 가능해진다.
마지막으로, 수신측 단말기의 처리상황을 아는 방법으로서는, 수신측 화상 합성장치로부터의 수신확인의 응답시간에 의해 알 수 있다. 예를 들면, 송신측 단말기에서 수신측 단말기로 화상 데이터를 송출한 경우, 수신측 단말기가 화상 데이터를 수신한 것이나 복호처리, 합성이나 표시처리가 완료된 것을 송신측 단말기로 응답하는 경우, 그 응답시간이, 예를 들면, 통상값으로서 1초 이내인 경우, 수신측 단말기의 부하의 증대에 의해, 그 응답시간은, 5초와 같이 길어진다(통상값은, 단말기 접속시 한번, 측정하더라도 되고, 통신시 정기적으로 측정해도 되며, 이용자가 지시해도 됨. 또한, 응답시간의 측정은 주기적으로 행해도 되고, 단말기의 부하나 전회의 응답시간의 결과에 관련시켜 측정 간격을 변화시켜도 됨). 이 응답시간의 변화에 의해, 전술한 화상 압축방식, 화상 압축의 유무, 화상 압축의 우선도, 화상의 크기, 양자화 단계를 적정, 선택, 조합함으로써, 수신 단말기로부터의 부하를 저감시킬 수 있으므로, 응답시간을 단축시킬 수 있다(도 16의 케이스 1 참조). 수신 단말기에서의 재생시각 또는 복호시각을 수신하여 상기와 같은 처리를 행해도 된다.
한편, 수신측 단말기의 상태를 고려한 방법으로서, 전술한 수신측 단말기의 수신 버퍼의 용량, 수신측 단말기의 부하, 수신측 단말기의 응답시간을 측정하는 방법을 각각 단독으로 이용하는 것은 아니고, 적정, 선택하여, 조합하여 이용해도 된다(음성에 대해서도 같은 방법을 적용할 수 있음). 또한, 수신측 단말기에서 우선도 정보에 따라 처리한 화상이나 음성에 관한 정보(복수의, 화상 스트림, 음성 스트림이 존재할 때, 수신측 단말기에서 실제로 처리된 화상, 음성 스트림은, 어느 스트림이고, 재생된 화상 스트림은 매초 어느 프레임이었는가의 정보)를, 통신로를 통하여 송신장소로 송신함으로써, 송신측에서 수신측의 단말기로의 화상 데이터 송신이, 수신 단말기의 처리량을 넘는 양이 되는 것을 미연에 막을 수 있다(도 16의 케이스 2 참조, 실제로 처리된 화상 데이터에 대하여 앎으로써, 송신측 양자화 패러미터, 화상 크기 등의 정보량을 조정할 수 있게 된다. 또, 이 예로서는, 프레임 단위로 처리의 피드백을 돌려주지만, 상술한 바와 같이, 예를 들면, H.263이면 GOB와 같이 독립하여 취급할 수 있는 화상 단위어도 된다). 이상의 방법은, 음성에 대해서도 마찬가지로 적용할 수 있다.
도 13은, 본 발명의 제 1 실시예의 화상 압축장치에 대하여 설명하는 도면이다. 또한, 본 실시예는, 화상에 대한 예를 설명하고 있지만, 음성의 압축에 대해서도 적용할 수 있다. 도 13의 예에서는, 화상 입력수단(1207)마다 양자화 단계를 변화시키거나, 화상 입력수단(l207)에 대한 제어에 의해 수신측 단말기에서의 수신상황이 변화한 경우, 양자화 단계를 추종하여 변화시킴으로써, 압축 화상의 발생량의 증대를 저감시키고자 하는 것이다. 도 13의 화상 압축장치는, 양자화 단계에 관한 정보를 관리하는 양자화 단계 관리부(1201), 화상 입력수단(1207)의 제어상태를 관리하는 화상 입력관리부(1202), 수신측 단말기장치의 수신 버퍼의 상황을 감시하는 타 단말기 제어요구 관리부(1203), 제어의 시간적인 추이를 기록, 관리하는 조작관리부(1204), 화상 압축을 행하는 수단인 화상 압축부(1205), 압축결과를 통신로나 기억장치로 출력하는 출력부(1206), 화상입력을 행하는 화상 입력수단(1207) 및, 이들 각 부분을 관리하고, 또한 관리하는 제어를 행하는 화상처리 결정 제어수단(1208)으로 구성된다.
한편, 화상 압축방법으로서는, JPEG, MPEG1/2, H.261, H.263과 같은 표준화되어 있는 방식으로 되고, 웨이브 레트나 프렉탈과 같은 표준화되어 있지 않은 방식이어도 된다. 화상 입력수단(1207)은 카메라나, 비디오, 옵티컬·디스크와 같은 기록장치어도 된다.
이 화상 압축장치의 이용방법으로서는, 화상 입력수단(1207)이 카메라인 경우, 수신측 단말기에 의해 송신측의 단말기의 카메라가 조작되었을 때나 송신측에서 카메라 조작이 행해졌을 때, 화질이 크게 변화하기 위해, 송출되는 부호화량은 변동한다. 예를 들면, 카메라의 콘트라스트를 올린 경우, 화상은 잘 보이게 되지만, 송출할 부호화량은 증가한다. 그래서, 콘트라스트의 향상과 동시에 상술한 바와 같이 부호화량을 저감시키기 위해, 화상 압축방식, 화상 압축의 유무, 화상 압축의 우선도, 화상의 크기, 양자화 단계, 프레임수를 적정, 선택, 조합함으로써, 부호화량을 억제할 수 있다.
여기에서 설명하는 카메라 조작은, 카메라를 이동시키는 방향(팬, 틸트, 줌), 콘트라스트, 포커스, 카메라 위치(예를 들면, 도면을 촬영하는 경우는 카메라를 아래쪽을 향하고, 인물을 촬영할 때는 수평으로 함)를 들 수 있다. 화상 압축방식을 변경하는 방법으로서는, 카메라를 아래쪽으로 향한 경우는, 문서 화상을 촬영하고 있는 것으로 판단하여, 실행길이로 화상을 전송하고, 카메라가 수평방향에 달한 경우는, 인물의 얼굴 모양을 촬영하는 것으로 하여, H.261로 촬영하여 화상 전송을 행하는 방법을 들 수 있다. 이에 따라, 불필요한 정보의 전송을 저감시킬 수 있게 된다.
또한, 복수의 카메라가 존재하고, 복수의 카메라로부터 얻어지는 영상을 전송할 필요가 있는 경우, 통신 용량이 한정되는 경우는, 이용자가 착안하는 카메라의 영상의 화질이나 프레임수를 많게 하여 잘 보이게 하고, 착안하지 않는 카메라의 화질이나 프레임수는 저감해 주는 방법을 생각할 수 있다. 착안하는 카메라로부터 얻어지는 영상의 화질이나 프레임수를 조작함으로써, 정보량이 증대하기 때문에, 그 따라 착안하지 않는 카메라로부터 얻어지는 영상을 제한하여 발생정보량을 조정할 필요가 있다. 발생하는 정보량을 조정하는 방법으로서는, 화상 크기, 양자화 단계의 값, 프레임수 등을 조정하는 방법을 들 수 있다. 한편, 복수의 카메라를 이용하여 광시야 화상을 작성하는 경우의 예에서는, 도 15를 이용하여 후술하기로 한다.
도 14는, 조작관리부(1204)가 관리하는 정보의 예이다. 도 14의 예에서는, 화상 크기, 카메라 제어, 타 단말기의 제어요구, 양자화 단계, 도시하지 않은 프레임수에 대하여 관리된다. 이들 관리정보에 따라, 수신측 단말기의 수신 버퍼가 오버 플로우하지 않도록, 양자화 단계와 카메라 조작의 관계를 이력정보로서 기록, 관리함으로써, 카메라 조작에 대한 제한을 이용자에게 가할 수 있다. 또한, 양자화 단계이나 화상 크기, 프레임수 등을 자동적으로 변경시킴으로써, 카메라 조작에 따른 수신측 단말기의 수신 버퍼의 오버 플로우나 언더 플로우를 미연에 방지할 수 있다.
도 15에, 상기 화상 압축장치를 광시야 화상을 작성하는 용도로 응용한 예를 나타낸다. 도 15도의 예에서는, 복수의 카메라로부터 입력된 화상을 입력부(1407)에서 취득한다. 그 얻어진 복수의 화상을 수신 단말기(1408)측에서 이음새없이 접합(합성)할 때, 수신 단말기(1408)가 과부하가 되면 단말기가 파탄을 초래하므로, 그것을 방지하기 위해, 수신 단말기에서의 과부하시의 처리를 행할 화상의 순서를 정의한 우선도를 화상에 부가한다. 이에 따라, 수신 단말기(1408)측이 과부하가 되는 것을 막을 수 있다.
도 15에 나타내는 화상 압축장치는, 복수의 카메라(N대)를 구비한 입력부(1407)와, 그 입력부(1407)에서 얻어진 각각의 화상에 대하여 우선도의 부가를 행하는 우선도 결정제어부(1401)와, 이용자가(특히, 착안하여 보고 싶다고 생각하여) 카메라를 지시, 조작한 조작이력을 관리하는 조작이력관리부(1402)와, 화상의 화질을 제어하는 화질제어부(1403)와, 카메라로부터 얻어진 화상을 우선도에 따라 합성하는 화상합성부(1404)(우선도가 낮은 화상은 합성하지 않아도 됨)와, 합성결과를 출력하는 출력부(1405)와, 그들 각 부분을 제어하는 압축제어부(1406)로 구성된다. 출력부(1405)는 통신로를 통해 수신 단말기(1408)에 접속되어 있다.
출력부(1405)의 출력장소는, 기록 장치나 통신로라도 된다. 또한, 화상의 합성은 반드시 송신측의 단말기에서 행할 필요는 없다. 우선도가 부가된 화상을 통신로를 통해, 수신측 단말기로 송신하여, 수신 단말기측에서 합성해도 된다. 또, 얻어진 복수의 화상을 송신측 단말기에서 합성하여, 수신측 단말기에서 재생을 행할 경우, 얻어진 화상을 송신측에서 수신 단말기로 필요해지는(표시의) 우선도가 높은 순서로 합성하여, 전송로를 사용하여 합성 화상을 수신 단말기장치로 전송한다.
우선도의 부가방법으로서는, 이용자가 지시한 카메라로 얻어진 화상, 과거에 지시가 많던 카메라에서 얻어진 화상으로부터 차례로 높은 우선도, 높은 화질이(예를 들면, 프레임수가 많고, 해상도가 높게) 되도록 하면 된다(반드시 높은 우선도의 화상을 고화질로 할 필요는 없음). 이에 따라 이용자의 착안 정도가 큰 화상이 고화질이고, 우선적으로 표시된다. 화상에 부가된 우선도에 따라 송신측 단말기부터의 화상 전송을 제어하거나, 수신측 단말기에서의 화상의 신장이나 표시를 제어함으로써, 이용자에서의 단말기의 응답성을 확보할 수 있다.
또한, 우선도, 화질이 높은 화상, 프레임 매수가 많은 화상으로부터 차례로, 인접하는 접합된 화상에 대하여 단계적으로, 우선도나 화질을 낮춘다(우선도의 관리는, 송신측 단말기에서 관리애도 되고, 수신측 단말기에서 관리해도 됨). 우선도의 결정방법으로서는, 반드시 카메라의 조작이력에 기초하는 것이 아니어도 된다. 상술한 바와 같이, 압축할 때 걸린 로컬·디코드의 시간에 따라 우선도의 결정을 행해도 되고, 우선도, 화질이 좋은 화상, 프레임 매수가 많은 화상으로부터 차례로, 주변의 화상에 대하여, 처리의 실시회수를 규정하는 실시율을 정의해도 된다. 또, 음성에 대해서도, 복수 있는 카메라마다 마이크를 설치하여, 음성 압축의 유무를 제어함으로써, 이용자가 착안하고 있는 방향의 화상에 대응하는 음성만을 합성할 수 있게 된다.
또한, 상술한 바와 같이, 송신측 단말기와 수신측 단말기의 사이에서의 응답시간을 참조하여, 양자화 단계나 프레임수를 결정해도 된다. 또한, 수신측 단말기에서 과부하시 우선도정보에 따라 처리된 화상에 관한 정보를, 통신로를 통하여 송신장소로 송신함으로써, 송신측에서 수신측 단말기로의 화상 데이터 송신을 수신 단말기의 처리량을 넘는 양이 되는 것을 미연에 방지할 수 있다. 또한, 수신 단말기에서의 프레임 스킵의 상태를 송신측으로 전송함으로써, 그 상태에 따라 데이터량을 조절할 수 있다.
또, 화상은 재송을 행하는 전송방법으로 전송하고, 음성은 재송을 하지 않은 전송방법으로 전송하여, 수신측 단말기이, 화상의 재송회수, 수신된 음성의 에러율, 폐기율에 관한 정보 중 어느 하나의 정보를 송신측 단말기에 전송하는 구성으로 한다. 그렇게 하여 송신측 단말기에서 화상의 압축방식, 양자화 단계의 값, 프레임수, 압축할 화상의 크기, 화상 압축의 유무 중 어느 하나를 결정함으로써, 화상이 흐트러지지 않고, 음성 전송의 지연을 작게하는 등의 제어가 가능해진다. 예를 들면, TCP/IP을 이용한 통신에서는, 화상의 전송은 TCP로, 음성의 전송은 UDP로 행함으로써 실현된다(영상과 음성은 물리적으로 같은 전송로에 있어도 되고, 없어도 된다). 또, 통신방식은 TCP/IP만으로 한정되지 않는다. 이 방식은, 복수의 영상이나 음성을 동시에 전송하는 경우, 각각의 음성마다 폐기율이나 에러율을 정의하여, 복수의 영상 압축방법이나 전송방법을 제어해도 된다.
마지막으로, 통상, 아날로그 전화회선을 이용한 저비트 레이트의 화상 전송이나, 화상의 내용이 크게 변동하는 경우, 화상에 큰 블록 노이즈, 물결무늬가 발생한다. 이러한 경우에 압축처리만으로 화상의 품질을 유지하는 것은 어렵다. 그래서, 화상의 출력측 모니터에 저역의 신호만을 투과시키는 필터(예를 들면, 화상처리에 의한 로우 패스·필터, 또는 물리적인 편광 필터)를 이용하면, 화상은 흐려진 느낌이 되기는 하지만, 노이즈나 물결무늬를 신경쓰지 않는 화상을 얻을 수 있다.
이상 설명한 것에서 명백하듯이 본 발명은, 동시에 복수의 영상이나 음성의 복호, 합성을 행하는 경우, 단말기의 부하상황에 따라 우선도에 기초하여 처리량을 제어할 수 있다는 장점을 갖는다.
또한, 본 발명은, 부과금상황에 따라 복수의 영상이나 음성을 합성할 수 있다는 이점이 있다.

Claims (23)

  1. 화상 정보의 부호화를 행하는 화상 부호화수단 및, 그 부호화된 여러 가지 정보를 송신 또는 기록하는 송신 관리수단을 갖는 화상 부호화장치와, 부호화된 여러 가지 정보를 수신하는 수신관리수단, 그 수신된 여러 가지 정보의 복호를 행하는 화상 복호수단, 그 복호된 하나 이상의 화상을 합성하는 화상 합성수단 및, 그 합성된 화상을 출력하는 출력수단을 갖는 화상 복호화장치를 구비한 것을 특징으로 하는 화상 복호화 부호화장치.
  2. 음성 정보의 부호화를 행하는 음성 부호화수단 및, 그 부호화된 여러 가지 정보를 송신 또는 기록하는 송신 관리수단을 갖는 음성 부호화장치와, 부호화된 여러 가지 정보를 수신하는 수신관리수단, 그 수신된 여러 가지 정보의 복호를 행하는 음성 복호수단, 그 복호된 하나 이상의 음성을 합성하는 음성 합성수단 및, 그 합성된 음성을 출력하는 출력수단을 갖는 음성 복호화장치를 구비한 것을 특징으로 하는 음성 복호화 부호화장치.
  3. 제 1항의 상기 화상 복호화 부호화장치와, 제 2항의 상기 음성 복호화 부호화장치를 구비하고, 상기 화상 부호화장치 및/또는 상기 음성 부호화장치는, 부호화된 정보의 과부하시의 처리의 우선도를 미리 정해진 기준으로 결정하여, 상기 부호화된 정보와 상기 결정된 우선도를 대응시키는 우선도 부가수단을 갖고, 상기 화상 복호화장치 및/또는 상기 음성 복호화장치는, 수신된 여러 가지 정보의 과부하시의 우선도에 따라서, 처리방법을 결정하는 우선도 결정수단을 갖는 것을 특징으로 하는 화상 음성 부호화 복호화장치.
  4. 제 3항에 있어서,
    상기 우선도 부가수단 및 상기 우선도 결정수단은,
    적어도 화상의 부호화방식, 화상의 크기, 콘트라스트, 화상의 합성비율, 양자화 단계, 프레임 번호, 프레임수, 프레임간 부호화와 프레임내 부호화의 차이, 표시장치, 표시시각, 유음구간과 무음구간의 차이 중 하나 이상의 정보에 기초하여, 부호화된 화상이나 음성의 복호, 합성, 표시의 순서, 유무의 처리방법을 결정하는 우선도의 부가방법을 결정하거나, 처리대상으로 할 우선도를 결정하는 것을 특징으로 하는 화상 음성 부호화 복호화장치.
  5. 제 3항에 있어서,
    상기 우선도 부가수단 및 상기 우선도 결정수단은,
    화상의 부호화시 복호에 걸린 시간이나, 부호화에 걸린 시간에 따라, 부호화된 정보에 부가하는 우선도를 결정하거나, 복호화시 처리대상으로 할 우선도를 결정하는 것을 특징으로 하는 화상 음성 부호화 복호화장치.
  6. 제 3항에 있어서,
    상기 우선도 부가수단 및 상기 우선도 결정수단은,
    화상의 복호, 합성, 표시의 처리를 행하는 실행회수를 규정하는 실시율을 정의하여, 그 실시율에 따라 부호화된 정보에 부가하는 우선도를 결정하거나, 복호화시 처리대상으로 할 우선도를 결정하는 것을 특징으로 하는 화상 음성 부호화 복호화장치.
  7. 제 4항에 있어서,
    적어도 프레임내 부호화의 프레임 또는, 1 프레임째나 최종 프레임, 또는 장면전환의 프레임의 과부하시의 처리의 우선도를 높게 설정하는 것을 특징으로 하는 화상 음성 부호화 복호화장치.
  8. 제 4항에 있어서,
    프레임간 부호화된 화상은 동일한 우선도를 할당하는 것을 특징으로 하는 화상 음성 부호화 복호화장치.
  9. 제 4항에 있어서,
    프레임내 부호화된 화상에 복수 단계의 우선도를 할당하는 것을 특징으로 하는 화상 음성 부호화 복호화장치.
  10. 제 1항에 있어서,
    상기 화상 복호수단은,
    1 프레임보다 작은 소정단위로 화상의 복호처리를 행하는 것을 특징으로 하는 화상 부호화 복호화장치.
  11. 제 1항의 상기 화상 복호화 부호화장치와, 제 2항의 상기 음성 복호화 부호화장치를 구비하고, 적어도 부과금에 관한 정보, 서비스의 내용을 나타내는 정보, 패스워드, 이용자 코드, 국가별 코드, 합성, 표시의 순위를 나타내는 정보, 복호의 순위를 나타내는 정보, 이용자의 지시, 단말기의 처리능력, 재생시간 중 하나 이상의 정보에 따라 복호, 합성, 표시할 화상이나 음성의 순서, 유무, 재생방법을 결정하는 것을 특징으로 하는 화상 음성 부호화 복호화장치.
  12. 제 1항의 상기 화상 복호화 부호화장치와, 제 2항의 상기 음성 복호화 부호화장치를 구비하고, 상기 수신관리수단은,
    상기 여러 가지 정보 중 화상 정보끼리, 음성 정보끼리의 관계를 기술한 정보를, 상기 화상 정보나 음성 정보와는 별도의 정보로서 독립하여 취급하는 것을 특징으로 하는 화상 음성 부호화 복호화장치.
  13. 제 12항에 있어서,
    상기 화상 정보끼리, 상기 음성 정보끼리의 관계를 기술하기 위한 기술방법을 식별하기 위한 식별자에 의해 기술방법을 식별하는 것을 특징으로 하는 화상 음성 부호화 복호화장치.
  14. 제 1항의 상기 화상 복호화 부호화장치와, 제 2항의 상기 음성 복호화 부호화장치를 구비하고, 상기 화상 합성수단 또는 상기 음성 합성수단은,
    송신측으로부터 복호결과를 파기하라는 지시를 받을 때까지, 복호결과를 유지하여 관리, 이용하는 것을 특징으로 하는 화상 음성 부호화 복호화장치.
  15. 제 1항의 상기 화상 복호화 부호화장치와, 제 2항의 상기 음성 복호화 부호화장치를 구비하고, 화상 정보 끼리나 음성 정보끼리의 관계를 기술한 정보에 기초하여, 화상이나 음성을 합성할 때, 필요로 하는 복호된 화상이나 음성이 준비되지 않아, 합성할 수 없는 화상이나 음성이 존재하는 것을 이용자에게 제시하는 것을 특징으로 하는 화상 음성 부호화 복호화장치.
  16. 화상을 입력하는 하나 이상의 화상 입력수단과, 그 화상 입력수단의 제어상태를 관리하는 화상 입력 관리수단과, 수신 단말기의 수신상황을 관리하는 타 단말기 제어요구 관리수단과, 적어도 그 관리된 수신 단말기의 수신상황 또는 상기 화상 입력수단의 제어상태에 따라, 화상의 부호화방법을 결정하는 부호처리 결정수단과, 그 부호처리 결정수단의 결정결과에 따라, 상기 입력 화상을 부호화하는 화상 부호화수단과, 그 부호화된 화상을 출력하는 출력수단을 구비한 것을 특징으로 하는 리얼타임 화상 부호화장치.
  17. 제 16항에 있어서,
    상기 부호처리 결정수단은,
    상기 화상 입력수단의 제어상태에 따라, 적어도 부호화하는 우선도, 과부하시의 처리의 우선도 정보, 부호화방식, 양자화 단계의 값, 프레임수, 부호화할 화상의 크기, 부호화의 유무 중 어느 하나를 결정하는 것을 특징으로 하는 리얼타임 화상 부호화장치.
  18. 제 1항의 상기 화상 복호화 부호화 장치 및 제 2항의 상기 음성 복호화 부호화장치 중 적어도 어느 하나를 수신 단말기로 하고, 제 1항의 상기 화상 복호화 부호화장치와 제 2항의 상기 음성 복호화 부호화 장치 및 제 16항의 상기 리얼타임 화상 부호화장치 중 적어도 어느 하나를 송신단말기로 하여, 그들 단말기 사이를 통신로로 접속한 정보 전송시스템에 있어서,
    적어도 상기 수신 단말기의 부하, 상기 수신 단말기의 상기 우선도 결정수단으로 결정된 처리대상으로 할 부호화된 정보의 우선도에 관한 정보, 상기 수신 단말기에서의 프레임 스킵의 상황 중 어느 하나를 상기 송신단말기에 송신함으로써, 상기 송신단말기에서, 화상 또는 음성 부호화의 유무, 부호화 우선도, 부호화 방식, 부호화할 화상 사이즈, 양자화 단계의 값, 프레임수, 수신 단말기의 과부하시의 처리의 우선도 중 어느 하나를 결정하는 것을 특징으로 하는 정보 전송시스템.
  19. 제 1항의 상기 화상 복호화 부호화장치 및 제 2항의 상기 음성 복호화 부호화장치를 수신 단말기로 하고, 제 1항의 상기 화상 복호화 부호화장치와 제 2항의 상기 음성 복호화 부호화장치 및 제 16항의 상기 리얼타임 화상 부호화장치를 송신단말기로 하여, 그들 단말기 사이를 통신로에서 접속한 정보 전송시스템에 있어서,
    화상의 전송은 재송을 행하는 전송방법으로 행하고, 음성의 전송은 재송을 행하지 않는 전송방법으로 행하여, 적어도 화상의 재송 회수, 수신된 정보의 에러율, 및 폐기율에 관한 어느 하나의 정보를 상기 송신단말기에 전송함으로써, 상기 부호화처리 결정수단은, 부호화방식, 양자화 단계의 값, 프레임수, 부호화할 화상의 크기, 부호화의 유무, 및 수신 단말기의 과부하시의 처리의 우선도의 적어도 어느 하나를 결정하는 것을 특징으로 하는 정보 전송시스템.
  20. 화상 정보의 부호화를 행하는 화상 부호화수단과,
    그 부호화된 여러 가지 정보를 송신 또는 기록하는 송신 관리수단을 구비하고,
    부호화된 여러 가지 정보를 수신하는 수신 관리수단과, 그 수신된 여러 가지 정보의 복호를 행하는 화상 복호수단과, 그 복호화된 화상을 출력하는 출력수단을 구비하는 화상 복호화장치에 상기 부호화된 여러 가지 정보를 출력하는 것을 특징으로 하는 화상 부호화장치.
  21. 화상 정보의 부호화를 행하는 화상 부호화수단과, 그 부호화된 여러 가지 정보를 송신 또는 기록하는 송신 관리수단을 갖는 화상 부호화장치로부터 송신되는 부호화된 여러 가지 정보를 수신하는 수신 관리수단과,
    그 수신된 여러 가지 정보의 복호를 행하는 화상 복호수단과,
    그 복호화된 화상을 출력하는 출력수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  22. 음성 정보의 부호화를 행하는 음성 부호화수단과,
    그 부호화된 여러 가지 정보를 송신 또는 기록하는 송신 관리수단을 구비하고,
    부호화된 여러 가지 정보를 수신하는 수신 관리수단과, 그 수신된 여러 가지 정보의 복호를 행하는 음성 복호수단과, 그 복호된 음성을 출력하는 출력수단을 갖는 음성 복호화장치에 상기 부호화된 여러 가지 정보를 출력하는 것을 특징으로 하는 음성 부호화장치.
  23. 음성 정보의 부호화를 행하는 음성 부호화수단과, 그 부호화된 여러 가지 정보를 송신 또는 기록하는 송신 관리수단을 갖는 음성 부호화장치로부터 송신되는 부호화된 여러 가지 정보를 수신하는 수신 관리수단과,
    그 수신된 여러 가지 정보의 복호를 행하는 음성 복호수단과,
    그 복호화된 음성을 출력하는 출력수단을 포함하는 것을 특징으로 하는 음성 복호화장치.
KR10-1998-0702566A 1996-08-07 1997-08-01 화상음성복호화장치와화상음성부호화장치및정보전송시스템 KR100465553B1 (ko)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP20814796 1996-08-07
JP96-208147 1996-08-07
JP???8-208147 1996-08-07
JP96-209942 1996-08-08
JP???8-209942 1996-08-08
JP20994296 1996-08-08
JP30155996 1996-11-13
JP???8-301559 1996-11-13
JP96-301559 1996-11-13
PCT/JP1997/002696 WO1998006222A1 (en) 1996-08-07 1997-08-01 Picture and sound decoding device, picture and sound encoding device, and information transmission system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7003433A Division KR100471176B1 (ko) 1996-08-07 1997-08-01 화상 복호화 장치와 음성 복호화 장치

Publications (2)

Publication Number Publication Date
KR19990064087A true KR19990064087A (ko) 1999-07-26
KR100465553B1 KR100465553B1 (ko) 2005-06-21

Family

ID=27328846

Family Applications (2)

Application Number Title Priority Date Filing Date
KR10-1998-0702566A KR100465553B1 (ko) 1996-08-07 1997-08-01 화상음성복호화장치와화상음성부호화장치및정보전송시스템
KR10-2004-7003433A KR100471176B1 (ko) 1996-08-07 1997-08-01 화상 복호화 장치와 음성 복호화 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR10-2004-7003433A KR100471176B1 (ko) 1996-08-07 1997-08-01 화상 복호화 장치와 음성 복호화 장치

Country Status (8)

Country Link
US (1) US7006575B2 (ko)
EP (1) EP0854652B1 (ko)
JP (1) JP4153995B2 (ko)
KR (2) KR100465553B1 (ko)
CN (1) CN1151683C (ko)
DE (1) DE69740053D1 (ko)
TW (1) TW357299B (ko)
WO (1) WO1998006222A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827802B1 (ko) * 2006-10-24 2008-05-07 삼성전자주식회사 휴대 단말기의 화상 통화 장치 및 화상 통화 송수신방법

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002142165A (ja) * 2000-11-01 2002-05-17 Asobous:Kk デジタルｔｖ送受信システムにおける映像のプレイバック方式
EP1213912A3 (en) * 2000-12-07 2005-02-02 Sony United Kingdom Limited Methods and apparatus for embedding data and for detecting and recovering embedded data
WO2002078351A1 (de) * 2001-03-27 2002-10-03 Voxar Ag Verfahren und vorrichtung zur übertragung von video- und/oder audiodaten
JP2003032639A (ja) * 2001-05-09 2003-01-31 Monolith Co Ltd 画像処理方法と装置およびそれらに利用可能なコンテンツ記録方法
JP2002359842A (ja) * 2001-05-31 2002-12-13 Monolith Co Ltd 画像符号化方法と装置および画像復号方法と装置
US20020194606A1 (en) * 2001-06-14 2002-12-19 Michael Tucker System and method of communication between videoconferencing systems and computer systems
ITMI20011309A1 (it) * 2001-06-21 2002-12-21 St Microelectronics Srl Metodo di memorizzazione di un file dati in particolare in formato cosiddetto mpeg
US20040264563A1 (en) * 2001-11-05 2004-12-30 Akino Inoue Terminal used in video transmission system
FR2832887B1 (fr) * 2001-11-28 2005-09-16 Medialive Methode pour acceder aux courriers electroniques video et multimedia
US7436885B2 (en) * 2002-10-09 2008-10-14 Hewlett-Packard Development Company, L.P. Method for presenting streaming media
FI116113B (fi) * 2002-11-29 2005-09-15 Jutel Oy Menetelmä ja järjestelmä radio-ohjelman lähettämiseksi
KR100503452B1 (ko) * 2002-12-27 2005-07-25 삼성전자주식회사 멀티미디어 데이터 기록장치
JP2004215021A (ja) * 2003-01-06 2004-07-29 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
NO319069B1 (no) * 2004-03-05 2005-06-13 Tandberg Telecom As Fremgangsmate for avbruddsfri konferansesamtale
WO2005096162A1 (ja) * 2004-03-18 2005-10-13 Matsushita Electric Industrial Co., Ltd. アービトレーション方法及び装置
CN101273536B (zh) * 2005-11-02 2011-02-16 三菱电机株式会社 数字播放接收机
JP2007133489A (ja) * 2005-11-08 2007-05-31 Sony Corp 仮想空間画像表示方法、装置、仮想空間画像表示プログラム及び記録媒体
JP5030495B2 (ja) * 2006-07-14 2012-09-19 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
JP2008040347A (ja) * 2006-08-09 2008-02-21 Toshiba Corp 画像表示装置、画像表示方法および画像表示プログラム
US7456760B2 (en) 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
JP2009044328A (ja) * 2007-08-07 2009-02-26 Seiko Epson Corp 会議システム、サーバ、画像表示方法、コンピュータプログラム及び記録媒体
US8117546B2 (en) * 2007-08-26 2012-02-14 Cyberlink Corp. Method and related display device for displaying pictures in digital picture slide show
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
EP2323384A4 (en) * 2008-08-28 2013-03-13 Sumitomo Electric Industries METHOD FOR DISTRIBUTING IMAGE DATA FROM MOVING IMAGES
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
JP5784353B2 (ja) * 2011-04-25 2015-09-24 オリンパス株式会社 画像表示装置
CN104681033A (zh) * 2013-12-02 2015-06-03 联想(北京)有限公司 一种信息编码、解码方法及电子设备
JP7420078B2 (ja) * 2018-11-06 2024-01-23 ソニーグループ株式会社 情報処理装置及び情報処理方法
JP7381285B2 (ja) 2019-10-15 2023-11-15 ファナック株式会社 補助電源装置及び産業機械
JPWO2023276279A1 (ko) 2021-07-02 2023-01-05

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3366804D1 (en) * 1982-07-23 1986-11-13 British Telecomm Improvements relating to data transmission
JPS621384A (ja) 1985-06-27 1987-01-07 Toshiba Corp 画像情報処理方式
JPS62231379A (ja) 1986-03-31 1987-10-09 Namuko:Kk 画像合成装置
JPH02195787A (ja) 1989-01-24 1990-08-02 A T R Tsushin Syst Kenkyusho:Kk 映像通信装置
JPH043684A (ja) 1990-04-20 1992-01-08 Matsushita Electric Ind Co Ltd 可変レート動画像符号化装置
JPH04145786A (ja) 1990-10-08 1992-05-19 Nec Corp 映像音声伝送装置
US5212742A (en) * 1991-05-24 1993-05-18 Apple Computer, Inc. Method and apparatus for encoding/decoding image data
JP2515643B2 (ja) 1991-08-15 1996-07-10 新日本製鐵株式会社 帯状体の蛇行挙動解析方法
JP3133113B2 (ja) 1991-10-28 2001-02-05 株式会社日立製作所 圧縮動画データ伸長再生システム
FR2684829A1 (fr) 1991-12-04 1993-06-11 Philips Electronique Lab Methodes de synthese de signaux de texture et de transmission et/ou stockage de tels signaux, ainsi que dispositifs et systemes pour leur mise en óoeuvre.
EP0547696B1 (fr) 1991-12-18 1999-04-21 Laboratoires D'electronique Philips S.A.S. Système de transmission et/ou stockage de signaux correspondant à des images texturées
US5325126A (en) * 1992-04-01 1994-06-28 Intel Corporation Method and apparatus for real time compression and decompression of a digital motion video signal
JPH06105226A (ja) 1992-09-17 1994-04-15 Nec Corp 画像合成装置
JPH06153198A (ja) 1992-11-12 1994-05-31 Matsushita Electric Ind Co Ltd 映像配信方法および映像配信装置
JP3261844B2 (ja) * 1993-01-13 2002-03-04 株式会社日立製作所 デジタルビデオ記録装置及び記録方法
US5377051A (en) * 1993-01-13 1994-12-27 Hitachi America, Ltd. Digital video recorder compatible receiver with trick play image enhancement
JP2606074B2 (ja) 1993-06-15 1997-04-30 日本電気株式会社 画像暗号化伝送方式
JPH07111647A (ja) 1993-10-14 1995-04-25 Matsushita Electric Ind Co Ltd 信号処理装置
KR100253473B1 (ko) 1993-10-12 2000-04-15 모리시타 요이찌 스크램블장치, 디스크램블장치 및 스크램블전송장치
JPH07336666A (ja) 1994-06-08 1995-12-22 Matsushita Electric Ind Co Ltd 信号処理装置
US5416520A (en) 1993-11-30 1995-05-16 Intel Corporation Multiple encoder output buffer apparatus for differential coding of video information
JPH07261776A (ja) 1994-03-24 1995-10-13 Brother Ind Ltd 映像再生装置
JPH07298258A (ja) * 1994-04-28 1995-11-10 Nippon Telegr & Teleph Corp <Ntt> 画像符号化復号化方法
US5510844A (en) 1994-11-18 1996-04-23 At&T Corp. Video bitstream regeneration using previously agreed to high priority segments
JPH08154219A (ja) 1994-11-29 1996-06-11 Matsushita Electric Ind Co Ltd テレビジョン装置
JPH08172616A (ja) 1994-12-19 1996-07-02 Matsushita Electric Ind Co Ltd スクランブル伝送方法およびスクランブル装置およびスクランブル信号再生方法およびデスクランブル装置およびスクランブル信号再生装置
JP2865016B2 (ja) 1995-04-14 1999-03-08 日本電気株式会社 画像再生装置
JP3283159B2 (ja) 1995-07-07 2002-05-20 日本電信電話株式会社 ソフトウェアによる画像符号化方法
US5905729A (en) * 1995-07-19 1999-05-18 Fujitsu Network Communications, Inc. Mapping a data cell in a communication switch
US6266327B1 (en) * 1998-03-20 2001-07-24 Lucent Technologies Inc. Non-conformance indicator for the guaranteed frame rate service

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827802B1 (ko) * 2006-10-24 2008-05-07 삼성전자주식회사 휴대 단말기의 화상 통화 장치 및 화상 통화 송수신방법
US8633959B2 (en) 2006-10-24 2014-01-21 Samsung Electronics Co., Ltd. Video telephony apparatus and signal transmitting/receiving method for mobile terminal

Also Published As

Publication number Publication date
KR100465553B1 (ko) 2005-06-21
EP0854652B1 (en) 2010-11-17
CN1205154A (zh) 1999-01-13
US7006575B2 (en) 2006-02-28
US20020154699A1 (en) 2002-10-24
JP4153995B2 (ja) 2008-09-24
KR100471176B1 (ko) 2005-03-14
EP0854652A4 (en) 2008-11-26
CN1151683C (zh) 2004-05-26
WO1998006222A1 (en) 1998-02-12
EP0854652A1 (en) 1998-07-22
TW357299B (en) 1999-05-01
DE69740053D1 (de) 2010-12-30
KR20040036936A (ko) 2004-05-03

Similar Documents

Publication Publication Date Title
KR100465553B1 (ko) 화상음성복호화장치와화상음성부호화장치및정보전송시스템
KR100557103B1 (ko) 데이터 처리방법 및 데이터 처리장치
JP3516585B2 (ja) データ処理装置及びデータ処理方法
US5550593A (en) Multiplex communication system using separated and multiplexed data
US6058122A (en) Device for splitting a screen in MPEG image signals at a completely compressed domain and the method thereof
KR100605935B1 (ko) 동영상 촬영 방법
JP2002077838A (ja) ビデオ伝送システムにおいて中断中に代替の視覚データを伝送する方法及びシステム
WO2022021519A1 (zh) 视频解码方法、系统、设备及计算机可读存储介质
US6526100B1 (en) Method for transmitting video images, a data transmission system and a multimedia terminal
US5861905A (en) Digital television system with artificial intelligence
JP2003169329A (ja) 画像音声符号化復号化装置
JP2003235041A (ja) リアルタイム画像符号化装置
JP4102223B2 (ja) データ処理装置及びデータ処理方法
JP3448047B2 (ja) 送信装置及び受信装置
KR100530919B1 (ko) 동화상 데이터의 처리 및 송수신 방법 및 장치
JP2003199061A (ja) デジタル放送配信方法及びデジタル放送配信システム、それを用いた課金方法
JP3519722B2 (ja) データ処理方法及びデータ処理装置
KR100713363B1 (ko) 이동통신 시스템에서 엠펙 전송 장치 및 방법
JP2007221826A (ja) 受信端末および受信方法
JPH10164565A (ja) 撮像制御方法と装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体
JP2006304309A (ja) 送信装置、受信装置および通信システム
KR20020008620A (ko) 데이터 송신량에 따른 비디오/오디오 합성률 제어 및하드웨어적 엠제이펙 변환을 이용한 실시간 멀티미디어전송 시스템
JPH06141320A (ja) 遠隔映像伝送装置
JPH08340521A (ja) 画像通信端末装置
JPH06141279A (ja) 画像蓄積処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111202

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20121203

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee