[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101410837B1 - Apparatus for managing image by monitoring video memory - Google Patents

Apparatus for managing image by monitoring video memory Download PDF

Info

Publication number
KR101410837B1
KR101410837B1 KR20130108649A KR20130108649A KR101410837B1 KR 101410837 B1 KR101410837 B1 KR 101410837B1 KR 20130108649 A KR20130108649 A KR 20130108649A KR 20130108649 A KR20130108649 A KR 20130108649A KR 101410837 B1 KR101410837 B1 KR 101410837B1
Authority
KR
South Korea
Prior art keywords
changed
display screen
image data
data
video memory
Prior art date
Application number
KR20130108649A
Other languages
Korean (ko)
Inventor
박경식
이주상
양경철
Original Assignee
이에스이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이에스이 주식회사 filed Critical 이에스이 주식회사
Priority to KR20130108649A priority Critical patent/KR101410837B1/en
Application granted granted Critical
Publication of KR101410837B1 publication Critical patent/KR101410837B1/en
Priority to CN201480061396.9A priority patent/CN105993176A/en
Priority to PCT/KR2014/008419 priority patent/WO2015037894A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Provided is an apparatus for processing an image by monitoring a video memory. The apparatus for processing the image includes a video memory for storing image data to be displayed with respect to an address corresponding to a divided area after a display screen is divided into a plurality of areas, and operates in a kernel mode. The apparatus for processing the image includes: a mirror driver for monitoring whether or not the image data stored with respect to the address of the video memory are changed; a changed data extracting unit for extracting image data for a changed area of the display screen from the video memory if the image data stored with respect to the address of the video memory are changed; and an encoding unit for encoding the extracted image data together with attribute information of the image data. The attribute information includes coordinates of the changed area of the display screen, a packet size through the encoding process, a resolution, a time stamp, a frame per second (FPS), and a unique ID (UID) of the display screen if a plurality of display screens are provided, so that an image processing rate can be increased.

Description

비디오 메모리의 모니터링을 이용한 영상 처리 장치{APPARATUS FOR MANAGING IMAGE BY MONITORING VIDEO MEMORY}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus,

본 출원은, 영상 처리에 관한 것이다.
This application relates to image processing.

일반적으로, 디스플레이 화면을 통해 디스플레이되는 많은 양의 영상 데이터를 효과적으로 전송하기 위해서는 MPEG. 4, H.264, JPEG와 같은 데이터 압축(인코딩) 알고리즘의 사용이 필수적이다.
Generally, in order to efficiently transmit a large amount of image data displayed on a display screen, The use of data compression (encoding) algorithms such as 4, H.264, and JPEG is essential.

특히, 동영상과 같이 실시간으로 화면이 변경되는 영상 데이터를 전송할 경우 전송하여야 할 데이터의 양이 상당하기 때문에, 효과적인 압축 및 전송 기술이 필수적이다.
Particularly, in case of transmitting image data in which the screen is changed in real time like a moving picture, the amount of data to be transmitted is considerable, so an effective compression and transmission technique is essential.

이를 위해 유저 모드(user mode)에서 동작하는 WIN32와 같은 그래픽 디바이스 인터페이스(Graphic Device Interface, GDI)는 디스플레이 화면이 변경되면, 이전의 디스플레이 화면과 변경된 디스플레이 화면을 비교한 후, 변경된 부분만을 알려주는 기능을 제공하고 있다.
To this end, a graphical device interface (GDI) such as a WIN 32 operating in a user mode is used to compare a previous display screen with a changed display screen, .

이를 구체적으로 설명하면, 윈도우 화면 변경 명령이 입력되면, 비디오 카드는 디스플레이 화면 중 변경될 영역에 대한 영상 데이터로 비디오 메모리를 업데이트하며, 업데이트된 영상 데이터는 비디오 포트를 통해 디스플레이 장치로 전송되어 디스플레이 화면상에 디스플레이된다. 이때, 유저 모드(user mode)에서 동작하는 WIN32와 같은 그래픽 디바이스 인터페이스(GDI)는 이전에 디스플레이된 화면과 현재 디스플레이된 화면을 비교한 후, 두 개의 디스플레이 화면 중 변경된 영역에 대한 정보를 제공하고 있으며, 이러한 정보만을 외부 장치로 전송한다.
More specifically, when the window screen change command is input, the video card updates the video memory with the video data of the area to be changed of the display screen, and the updated video data is transmitted to the display device through the video port, Lt; / RTI > At this time, the graphic device interface (GDI) such as WIN32 operating in the user mode compares the previously displayed screen with the currently displayed screen, and then provides information on the changed one of the two display screens , And only this information is transmitted to the external apparatus.

하지만, 이와 같은 종래 방식에 의할 경우 비디오 메모리에 저장된 영상 데이터가 디스플레이 화면에 디스플레이되고 난 후에야 변경된 영역에 대한 정보를 얻을 수 있기 때문에, 변경된 영역에 대한 정보를 얻기 위한 시간이 지연되며, 이로 인해 영상 처리 속도가 저해되는 문제점이 있다.
However, according to the conventional method, since the information on the changed area can be obtained only after the image data stored in the video memory is displayed on the display screen, the time for obtaining information on the changed area is delayed, There is a problem that the image processing speed is hindered.

본 출원은, 디스플레이 화면에 디스플레이되는 영상이 변경된 경우 변경된 영역에 대한 영상 데이터가 비디오 메모리에 저장되는 시점에서 캡처하여 전송함으로써, 영상 처리 속도를 증가시킬 수 있는 비디오 메모리의 모니터링을 이용한 영상 처리 장치를 제공한다.
The present invention relates to an image processing apparatus using monitoring of a video memory capable of increasing the image processing speed by capturing and transmitting image data for a changed area when the image displayed on the display screen is changed, to provide.

본 발명의 제1 실시 형태에 의하면, 디스플레이 화면을 다수의 영역으로 분할한 후, 분할된 영역별로 대응하는 어드레스에 디스플레이할 영상 데이터를 저장하는 비디오 메모리를 포함하며 커널 모드에서 동작하는 영상 처리 장치에 있어서, 상기 비디오 메모리의 어드레스에 저장된 영상 데이터의 변경 여부를 모니터링하는 미러 드라이버; 상기 비디오 메모리의 어드레스에 저장된 영상 데이터가 변경되면, 상기 비디오 메모리로부터 상기 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하는 변경 데이터 추출부; 및 상기 추출된 영상 데이터와 함께 상기 추출된 영상 데이터에 대한 속성 정보를 인코딩하는 인코딩부를 포함하며, 상기 속성 정보는, 상기 디스플레이 화면 중 상기 변경된 영역의 좌표, 상기 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS) 및 상기 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID)를 포함하는 영상 처리 장치를 제공한다.
According to the first embodiment of the present invention, there is provided an image processing apparatus including a video memory for dividing a display screen into a plurality of areas and storing video data to be displayed at corresponding addresses for each of the divided areas, A mirror driver for monitoring whether the image data stored in the address of the video memory is changed; A change data extracting unit for extracting image data for a changed area of the display screen from the video memory when image data stored in an address of the video memory is changed; And an encoding unit for encoding attribute information of the extracted image data together with the extracted image data, wherein the attribute information includes coordinates of the changed area of the display screen, a packet size based on the encoding, a resolution, a time And a unique identifier (UID) of a display screen when the display screen has a plurality of frames, a frame number, a frame number, a frame per second (FPS), and the like.

본 발명의 실시 형태에 의하면, 상기 인코딩부는, 상기 추출된 영상 데이터 및 상기 추출된 영상 데이터에 대한 속성 정보를 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 인코딩할 수 있다.
According to an embodiment of the present invention, the encoding unit may encode the extracted image data and attribute information of the extracted image data in a Joint Photographing Experts Group (JPEG) format.

본 발명의 실시 형태에 의하면, 상기 변경된 영역이 복수개인 경우, 상기 인코딩부는, 상기 복수개의 변경된 영역들 각각에 대하여, 인코딩할 수 있다.
According to the embodiment of the present invention, when there are a plurality of changed areas, the encoding unit can encode each of the plurality of changed areas.

삭제delete

본 발명의 실시 형태에 의하면, 상기 영상 처리 장치는, 커널 모드(Kernel Mode)에서 동작할 수 있다.
According to the embodiment of the present invention, the image processing apparatus can operate in a kernel mode.

본 발명의 제2 실시 형태에 의하면, 인코딩된 데이터를 수신하여 디스플레이하는 영상 처리 장치에 있어서, 상기 인코딩된 데이터를 수신하여 디코딩하는 디코딩부; 상기 인코딩된 데이터에 포함된 속성 정보에 기초하여, 비디오 메모리에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트하는 변경 데이터 업데이트부; 및 상기 비디오 메모리에 저장된 업데이트된 영상 데이터를 상기 디스플레이 화면 중 변경된 영역에 디스플레이하는 디스플레이 드라이버를 포함하며, 상기 인코딩된 데이터는, 상기 인코딩된 데이터를 송신하는 송신측 영상 처리 장치의 디스플레이 화면을 다수의 영역으로 분할한 후 분할된 영역별로 대응하는 어드레스에 디스플레이할 영상 데이터를 저장하는 비디오 메모리의 어드레스에 저장된 영상 데이터의 변경 여부를 모니터링하여 얻은 영상 데이터와 함께 상기 속성 정보를 인코딩한 데이터로, 상기 송신측 영상 처리 장치는 커널 모드에서 동작하며, 상기 속성 정보는, 상기 디스플레이 화면 중 상기 변경된 영역의 좌표, 상기 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS) 및 상기 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID)를 포함하는 영상 처리 장치를 제공한다.
According to a second aspect of the present invention, there is provided an image processing apparatus for receiving and displaying encoded data, the apparatus comprising: a decoding unit for receiving and decoding the encoded data; A change data update unit for updating the video data of the changed area of the display screen in the video memory based on the attribute information included in the encoded data; And a display driver for displaying updated video data stored in the video memory on a changed area of the display screen, wherein the encoded data includes a plurality of display screens of a transmitting-side image processing apparatus for transmitting the encoded data, Which is obtained by monitoring whether or not image data stored in an address of a video memory for storing image data to be displayed at a corresponding address is divided into regions, The side image processing apparatus operates in a kernel mode, and the attribute information includes at least one of a coordinate of the changed area of the display screen, a packet size by the encoding, a resolution, a time stamp, a frame per second (FPS) The display screen When multiple individuals provides an image processing apparatus including a unique identifier (Unique ID, UID) of the display screen.

본 발명의 실시 형태에 의하면, 상기 디코딩부는, 비디오 카드의 그래픽 프로세싱 유닛(Graphic Processing Unit, GPU)을 포함할 수 있다.
According to an embodiment of the present invention, the decoding unit may include a graphics processing unit (GPU) of a video card.

본 발명의 실시 형태에 의하면, 상기 인코딩된 데이터는, 제이피지(Joint Photograph coding Experts Group, JPEG) 형식일 수 있다.
According to an embodiment of the present invention, the encoded data may be in JPEG format (Joint Photographing Experts Group).

본 발명의 실시 형태에 의하면, 상기 변경된 영역이 복수개인 경우, 상기 인코딩된 데이터는, 상기 복수개의 변경된 영역들 각각에 대하여 인코딩된 데이터일 수 있다.
According to the embodiment of the present invention, when there are a plurality of changed areas, the encoded data may be encoded data for each of the plurality of changed areas.

삭제delete

본 발명의 일 실시 형태에 의하면, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 비디오 메모리를 실시간으로 모니터링하고, 모니터링 결과 디스플레이 화면상의 영상이 변경되는 경우에는 변경된 영역에 대한 영상 데이터만을 인코딩하여 전송함으로써, 영상 처리 속도를 증가시킬 수 있다.
According to an embodiment of the present invention, a video memory for storing video data to be displayed on a display screen is monitored in real time, and when a video on a monitoring result display screen is changed, only video data for a changed area is encoded and transmitted, The image processing speed can be increased.

도 1은 본 발명의 일 실시 형태에 따른 비디오 메모리의 모니터링을 이용한 영상 처리 장치의 구성도이다.
도 2는 본 발명의 일 실시 형태에 의한 변경된 영역에 대한 데이터의 추출 및 속성 정보 중 좌표를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 형태에 의해 비디오 메모리의 모니터링을 이용한 영상 처리 방법으로, 송신측 영상 처리 장치의 흐름을 설명하는 흐름도이다.
도 4는 본 발명의 일 실시 형태에 의해 비디오 메모리의 모니터링을 이용한 영상 처리 방법으로, 수신측 영상 처리 장치의 흐름을 설명하는 흐름도이다.1 is a configuration diagram of an image processing apparatus using monitoring of a video memory according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining coordinates of extracting data and attribute information for a changed area according to an embodiment of the present invention. FIG.
3 is a flowchart for explaining the flow of a transmission-side image processing apparatus, which is an image processing method using monitoring of a video memory according to an embodiment of the present invention.
4 is a flowchart for explaining the flow of a receiving-side image processing apparatus, which is an image processing method using monitoring of a video memory according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 그러나 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.
DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. However, the embodiments of the present invention can be modified into various other forms, and the scope of the present invention is not limited to the embodiments described below. The shape and the size of the elements in the drawings may be exaggerated for clarity and the same elements are denoted by the same reference numerals in the drawings.

도 1은 본 발명의 일 실시 형태에 따른 비디오 메모리의 모니터링을 이용한 영상 처리 장치의 구성도이며, 도 2는 본 발명의 일 실시 형태에 의한 변경된 영역에 대한 데이터를 추출 및 속성 정보 중 좌표를 설명하기 위한 도면이다.
FIG. 1 is a configuration diagram of an image processing apparatus using monitoring of a video memory according to an embodiment of the present invention. FIG. 2 is a view for explaining a method of extracting data on a changed area according to an embodiment of the present invention, Fig.

도 1에 도시된 바와 같이, 본 발명의 제1 실시 형태에 의한 영상 처리 장치(120)는, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 비디오 메모리(VM)(123)를 포함한 영상 처리 장치(120)에 있어서, 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 모니터링하는 미러 드라이버(MD)(124)와, 비디오 메모리(VM)(123)에 저장된 영상 데이터가 변경되면, 비디오 메모리(VM)(123)로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하는 변경 데이터 추출부(125)와, 추출된 영상 데이터와 함께 추출된 영상 데이터에 대한 속성 정보를 인코딩하는 인코딩부(126)를 포함할 수 있다.
1, the image processing apparatus 120 according to the first embodiment of the present invention includes an image processing apparatus 120 (FIG. 1) including a video memory (VM) 123 for storing image data to be displayed on a display screen A mirror driver (MD) 124 for monitoring whether the video data stored in the video memory (VM) 123 is changed or not; A change data extracting unit 125 for extracting image data for a changed area of the display screen from the VM 123, an encoding unit 126 for encoding attribute information of the extracted image data together with the extracted image data, . ≪ / RTI >

또한, 본 발명의 제2 실시 형태에 의한 영상 처리 장치(130)는, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 비디오 메모리(VM)(134)를 포함한 영상 처리 장치(130)에 있어서, 인코딩된 데이터를 디코딩하는 디코딩부(132)와, 인코딩된 데이터에 포함된 속성 정보에 기초하여, 비디오 메모리(134)에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트하는 변경 데이터 업데이트부(133)와, 비디오 메모리(134)에 저장된 업데이트된 영상 데이터를 디스플레이 화면 중 변경된 영역에 디스플레이하는 디스플레이 드라이버(235)를 포함하며, 인코딩된 데이터는, 비디오 메모리(134)로부터 얻은 디스플레이 화면 중 변경된 영역에 대한 영상 데이터와 함께 속성 정보를 인코딩한 데이터일 수 있다.
The video processing apparatus 130 according to the second embodiment of the present invention is a video processing apparatus 130 including a video memory (VM) 134 for storing video data to be displayed on a display screen, A change data updating unit 133 for updating the video data of the changed area of the display screen in the video memory 134 based on the attribute information included in the encoded data; And a display driver 235 for displaying the updated image data stored in the video memory 134 in the changed area of the display screen. The encoded data is converted into image data for the changed area of the display screen obtained from the video memory 134 And the attribute information may be encoded.

이하, 도 1 내지 도 2를 참조하여 본 발명의 일 실시 형태에 의한 비디오 메모리의 모니터링을 이용한 영상 처리 장치를 상세하게 설명한다. 송신측 장치는 디스플레이부(110)와 송신측 영상 처리 장치(120)로 구성되며, 수신측 장치는 수신측 영상 처리 장치(130)와 디스플레이부(140)를 포함할 수 있으며, 송신측 영상 처리 장치(120)와 수신측 영상 처리 장치(130)는 네트워크(NetWork, NW)를 통해 데이터를 송수신할 수 있다. 이하 송신측 장치와 수신측 장치를 구분하여 상세하게 설명한다.
Hereinafter, an image processing apparatus using monitoring of a video memory according to an embodiment of the present invention will be described in detail with reference to FIG. 1 to FIG. The transmitting-side apparatus includes a display unit 110 and a transmitting-side image processing apparatus 120. The receiving-side apparatus may include a receiving-side image processing apparatus 130 and a display unit 140, The apparatus 120 and the receiving-side image processing apparatus 130 can transmit and receive data through a network (NetWork, NW). Hereinafter, the transmission side apparatus and the reception side apparatus will be described in detail.

1. One. 송신측Transmitting side 장치(110, 120) Devices 110 and 120,

도 1을 참조하면, 디스플레이 장치(140)는, 모니터와 같은 디스플레이 화면을 구비한 복수의 디스플레이 장치(111 내지 11N)를 포함할 수 있다. 예를 들면, 월 컨트롤러와 같은 제어기에 의해 하나의 영상이 복수의 디스플레이 장치(111 내지 11N)를 통해서 적절히 분배되어 디스플레이되거나 또는 복수의 디스플레이 장치(111 내지 11N) 각각이 별개 영상을 디스플레이할 수 있다.
Referring to FIG. 1, the display device 140 may include a plurality of display devices 111 to 11N having a display screen such as a monitor. For example, one image may be appropriately distributed and displayed through a plurality of display devices 111 to 11N by a controller such as a wall controller, or each of the plurality of display devices 111 to 11N may display a separate image .

수신측 영상 처리 장치(130)는, 도 1에 도시된 바와 같이, 그래픽 엔진(Graphic Engine, GE)(121), 디스플레이 드라이버(Display Device, DD)(122), 비디오 메모리(Video Memory, VM)(123), 미러 드라이버(Mirror Diver, MD)(124), 변경 데이터 추출부(125), 인코딩부(126), 송신부(127) 및 비디오 포트(129)를 포함할 수 있다.
1, the receiving-side image processing apparatus 130 includes a graphic engine (GE) 121, a display device (DD) 122, a video memory (VM) A change data extracting unit 125, an encoding unit 126, a transmitting unit 127, and a video port 129. The video data output unit 123 may include a video data input unit 123, a mirror driver (MD) 124,

여기서, 그래픽 엔진(GE)(121)은, 화면 변경 명령이 입력되는지를 모니터링하며, 모니터링 결과 화면 변경 명령이 입력되면 이를 디스플레이 드라이버(DD)(122)로 전달할 수 있다. 여기서, 화면 변경 명령은 유저 모드(user mode)에서 실행되는 어플리케이션에 의해 입력되는 명령으로, 예컨대 현재 디스플레이 장치(110)의 디스플레이 화면에 디스플레이되는 영상의 전부 또는 일부 영역에 대한 변경 명령일 수 있다.
Here, the graphic engine (GE) 121 monitors whether a screen change command is input, and can transmit the monitor change screen change command to the display driver (DD) Here, the screen change command may be a command input by an application executed in a user mode, for example, a change command for all or a part of an image displayed on the display screen of the current display device 110.

디스플레이 드라이버(DD)(122)는, 그래픽 엔진(GE)(121)으로부터 화면 변경 명령이 입력되면, 입력된 화면 변경 명령에 따라 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 비디오 메모리(VM)(123)의 대응하는 영역에 저장할 수 있다. 이후 변경된 영역에 대한 영상 데이터가 디스플레이 화면에 디스플레이될 수 있도록 디스플레이 요청 명령을 그래픽 엔진(GE)(121)으로 전달할 수 있다. 그러면, 그래픽 엔진(GE)(121)은 디스플레이 요청 명령에 따라 변경된 영역에 대한 영상 데이터를 비디오 포트(128)를 통해 디스플레이 장치(110)로 전달하고, 전달된 영상 데이터는 디스플레이 장치(110)의 디스플레이 화면을 통해 디스플레이될 수 있다.
When a screen change instruction is input from the graphic engine (GE) 121, the display driver (DD) 122 outputs image data for the changed area of the display screen to the video memory (VM) 123 Lt; / RTI > The display request command may be transmitted to the graphic engine (GE) 121 so that the image data for the changed area can be displayed on the display screen. Then, the graphic engine (GE) 121 transmits the image data of the changed area to the display device 110 via the video port 128 according to the display request command, and the delivered image data is transmitted to the display device 110 Can be displayed on the display screen.

한편, 비디오 메모리(VM)(123)는, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 저장 매체이며, 하나의 디스플레이 화면을 다수의 영역으로 분할한 후, 영역별로 대응하는 어드레스에 영상 데이터를 저장할 수 있다. 분할된 각각의 영역은 프레임(frame)으로 지칭될 수 있으며, 이에 따라 비디오 메모리(VM)(123)는 프레임 버퍼(frame buffer)라고도 지칭될 수도 있다.
The video memory (VM) 123 is a storage medium for storing video data to be displayed on a display screen. The video memory (VM) 123 divides one display screen into a plurality of areas and then stores video data at corresponding addresses have. Each partitioned area may be referred to as a frame, and accordingly the video memory (VM) 123 may also be referred to as a frame buffer.

한편, 미러 드라이버(MD)(124)는, 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 모니터링하기 위한 것으로, 디스플레이 화면 중 변경된 영역에 대한 영상 데이터가 비디오 메모리(VM)(123)에 저장되면, 이를 감지한 후 비디오 메모리(VM)(123)의 일부 또는 전부가 변경되었음을 변경 데이터 추출부(125)에 알릴 수 있다.
On the other hand, the mirror driver (MD) 124 is for monitoring whether the video data stored in the video memory (VM) 123 has been changed. When the video data for the changed area in the display screen is stored in the video memory It is possible to inform the change data extraction unit 125 that a part or all of the video memory (VM) 123 has been changed.

그러면, 변경 데이터 추출부(125)는, 비디오 메모리(VM)(123)로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하고, 추출된 영상 데이터를 인코딩부(126)로 전달할 수 있다.
Then, the change data extracting unit 125 extracts image data for the changed area of the display screen from the video memory (VM) 123, and transmits the extracted image data to the encoding unit 126. [

인코딩부(126)는, 변경 데이터 추출부(125)에서 추출한 영상 데이터와 함께 추출된 영상 데이터에 대한 속성 정보를 인코딩할 수 있다. 인코딩된 데이터는 송신부(127)로 전달될 수 있다. 여기서, 인코딩부(126)는 추출된 영상 데이터 및 추출된 영상 데이터에 대한 속성 정보를 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 인코딩할 수 있다. 또한, 디스플레이 화면 중 동시에 2 이상의 영역에 대한 변경이 발생된 경우에, 인코딩부(126)는 변경된 영역들 각각에 대하여 인코딩을 수행할 수 있다.
The encoding unit 126 may encode the attribute information of the extracted image data together with the image data extracted by the change data extracting unit 125. [ The encoded data may be transmitted to the transmitter 127. Here, the encoding unit 126 may encode the extracted image data and the attribute information of the extracted image data in a Joint Photograph Coding Experts Group (JPEG) format. In addition, when two or more areas are simultaneously changed in the display screen, the encoding unit 126 may encode each of the changed areas.

여기서, 속성 정보는, 디스플레이 화면 중 변경된 영역의 (물리적) 좌표, 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS), 디스플레이 화면이 복수 개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID) 중 적어도 하나 이상을 포함할 수 있다. 본 발명의 일 실시 형태에 의하면, 속성 정보에는 타임 스탬프가 포함되어 있으며, 수신측 영상 처리 장치(130)에서는, 이러한 타임 스탬프를 이용함으로써, 각각 인코딩되어 전송된 2개 이상의 변경된 영역을 동시에 디스플레이할 수 있다.
Here, the attribute information includes at least one of (physical) coordinates of a changed area on a display screen, a packet size by encoding, a resolution, a time stamp, a frame transmission rate per second (FPS) And may include at least one of a unique ID (UID). According to the embodiment of the present invention, the attribute information includes a time stamp. In the receiving-side image processing apparatus 130, by using such a time stamp, two or more changed areas encoded and transmitted are simultaneously displayed .

통상 H.264와 같은 코덱의 경우 여러 개의 디스플레이 화면(하나의 디스플레이 화면 전체를 하나의 프레임이라고 정의한다면, 여러 개의 프레임)을 모아서 한꺼번에 인코딩하게 되므로, 그만큼 인코딩에 소요되는 연산 처리로 인해 부하가 많이 걸리게 되며, 하나의 디스플레이 화면 중 극히 일부 영역이 변경되는 경우라도 디스플레이 화면 전체를 인코딩하게 되므로, 영상 처리 속도가 그만큼 더 소요되게 된다.
In the case of a codec such as H.264, since a plurality of display screens (a plurality of frames if one entire display screen is defined as one frame) are collectively encoded at one time, And even if only a small part of one display screen is changed, the entire display screen is encoded, so that the image processing speed is further increased.

따라서, 본 발명의 일 실시 형태에 의하면, 추출된 영상 데이터 및 추출된 영상 데이터에 대한 속성 정보를 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 인코딩하여 전송함으로써, 전체적으로 영상 처리 속도를 증가시킬 수 있는 이점이 있다.
Therefore, according to an embodiment of the present invention, the extracted image data and attribute information about the extracted image data are encoded and transmitted in Joint Photograph Coding Experts Group (JPEG) format, thereby increasing the image processing speed as a whole There is an advantage to be able to.

도 2는 본 발명의 일 실시 형태에 의한 변경된 영역에 대한 데이터의 추출 및 속성 정보 중 좌표를 설명하기 위한 도면이다.FIG. 2 is a diagram for explaining coordinates of extracting data and attribute information for a changed area according to an embodiment of the present invention. FIG.

도 1 및 도 2에 도시된 바와 같이, 디스플레이 화면((a) 참조) 중 일부 영역(211, 212)이 변경되면((b) 참조), 디스플레이 드라이버(DD)(122)는 변경된 영역(211, 212)에 대한 영상 데이터를 추출한 후, 비디오 메모리(VM)(123)의 대응하는 영역에 각각 저장할 수 있다.
As shown in FIGS. 1 and 2, when some areas 211 and 212 of the display screen (see (a)) are changed (see (b)), the display driver (DD) And 212 in the video memory (VM) 123, and then store them in the corresponding areas of the video memory (VM) 123, respectively.

도 2에는, 하나의 디스플레이 화면상에서 2개 이상의 영역(211, 212)이 동일한 시점에 변경된 경우를 도시하고 있으며, 이 경우 각각의 변경된 영역(211, 212)에 대한 영상 데이터는 각각 인코딩되어 전송될 수 있다. 도 2의 (c)에서, 영역 211에 대한 (X, Y), (X+n, Y), (X, Y+n), (X+n, Y+n)은 속성 정보 중 변경된 영역의 디스플레이 화면상의 실제 좌표를 예시적으로 설명하고 있다.
FIG. 2 shows a case where two or more areas 211 and 212 are changed at the same time on one display screen. In this case, image data for each of the changed areas 211 and 212 is encoded and transmitted . (X, Y + n) and (X + n, Y + n) for the region 211 in FIG. 2 (c) The actual coordinates on the display screen are illustratively shown.

마지막으로, 송신부(127)는, 인코딩된 데이터를 네트워크(NW)를 통해 수신측 영상 처리 장치(130)의 수신부(131)로 전송할 수 있다.
Lastly, the transmitting unit 127 can transmit the encoded data to the receiving unit 131 of the receiving-side image processing apparatus 130 via the network NW.

상술한 바와 같이, 영상 처리 장치(120)는 유저 모드가 아닌 커널 모드(kernel Mode)에서 동작하기 때문에, 종래 기술에서 설명드린 바와 같은 유저 모드에서 동작하는 WIN32와 같은 그래픽 디바이스 인터페이스(GDI)에 비해 영상 처리 속도를 증가시킬 수 있는 기술적 효과가 있다.
As described above, since the image processing apparatus 120 operates in the kernel mode instead of the user mode, the image processing apparatus 120 can be compared with the graphic device interface (GDI) such as the WIN32 operating in the user mode as described in the related art There is a technical effect that the image processing speed can be increased.

2. 2. 수신측Receiving side 장치(130, 140) Devices 130 and 140,

우선, 도 1을 참조하면, 디스플레이 장치(140)는, 송신측 디스플레이 장치(110)와 마찬가지로, 모니터와 같은 디스플레이 화면을 구비한 복수의 디스플레이 장치(141 내지 14N)를 포함할 수 있다. 예를 들면, 월 컨트롤러와 같은 제어기에 의해 하나의 영상이 복수의 디스플레이 장치(141 내지 14N)를 통해서 적절히 분배되어 디스플레이되거나 또는 복수의 디스플레이 장치(141 내지 14N) 각각이 별개 영상을 디스플레이할 수 있다.
First, referring to FIG. 1, the display apparatus 140 may include a plurality of display apparatuses 141 to 14N having a display screen such as a monitor, like the transmitting-side display apparatus 110. For example, one image may be appropriately distributed and displayed through a plurality of display devices 141 to 14N by a controller such as a wall controller, or each of the plurality of display devices 141 to 14N may display a separate image .

수신측 영상 처리 장치(120)는, 도 1에 도시된 바와 같이, 수신부(131), 디코딩부(132), 변경 데이터 업데이트부(133), 비디오 메모리(VM)(134), 디스플레이 드라이버(DD)(135), 그래픽 엔진(GE)(136) 및 비디오 포트(137)를 포함할 수 있다.
1, the receiving-side image processing apparatus 120 includes a receiving unit 131, a decoding unit 132, a change data updating unit 133, a video memory (VM) 134, a display driver DD ) 135, a graphics engine (GE) 136, and a video port 137.

수신부(131)는, 네트워크(NW)를 통해 송신측 영상 처리 장치(120)로부터 인코딩된 데이터를 수신한 후, 이를 디코딩부(132)로 전달할 수 있다.
The receiving unit 131 may receive the encoded data from the transmitting-side image processing apparatus 120 via the network NW and may transmit the encoded data to the decoding unit 132. [

여기서, 인코딩된 데이터는, 송신측 영상 처리 장치(120)의 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 모니터링하여 얻은 디스플레이 화면 중 변경된 영역에 대한 영상 데이터와 함께 속성 정보를 인코딩한 데이터일 수 있다.
Here, the encoded data is encoded by encoding the attribute information together with the image data of the changed area of the display screen obtained by monitoring whether or not the image data stored in the video memory (VM) 123 of the transmission-side image processing apparatus 120 is changed Lt; / RTI >

본 발명의 일 실시 형태에 의하면, 송신측 영상 처리 장치(120)로부터 전송되는 인코딩된 데이터는 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 함으로써, 전체적으로 영상 처리 속도를 증가시킬 수 있다는 점은 상술한 바와 같다.
According to an embodiment of the present invention, the encoded data transmitted from the transmission-side image processing apparatus 120 is in the form of Joint Photograph Coding Experts Group (JPEG) As described above.

디코딩부(132)는, 수신부(131)로부터 인코딩된 데이터가 전달되면, 이를 디코딩한 후 변경 데이터 업데이트부(133)로 전달할 수 있다. 본 발명의 일 실시 형태에 의하면, 디코딩부(132)는 비디오 카드의 프로세서인 그래픽 프로세싱 유닛(Graphic Processing Unit, GPU)을 포함할 수 있다. 일반적으로, 인코딩된 영상 데이터는 퍼스널 컴퓨터의 중앙 처리 장치에서 디코딩이 수행되며, 비디오 카드에서는 디코딩된 영상 데이터를 수신하여 출력하게 된다. 따라서, 퍼스널 컴퓨터의 중앙 처리 장치에 많은 부하가 걸리게 된다. 따라서, 본 발명의 일 실시 형태에 의하면, 인코딩된 데이터를 수신하면, 이에 대한 디코딩은 비디오 카드의 프로세서에서 수행하도록 함으로써, 종래에 비해 처리 속도를 향상시킬 수 있다.
When the encoded data is received from the receiving unit 131, the decoding unit 132 may decode the encoded data and transmit the decoded data to the change data updating unit 133. [ According to one embodiment of the present invention, the decoding unit 132 may include a graphics processing unit (GPU) which is a processor of a video card. In general, the encoded image data is decoded in a central processing unit of a personal computer, and the decoded image data is received and output in a video card. Therefore, a large load is applied to the central processing unit of the personal computer. Therefore, according to the embodiment of the present invention, when the encoded data is received, the decoding of the encoded data is performed by the processor of the video card, so that the processing speed can be improved as compared with the conventional method.

한편, 변경 데이터 업데이트부(133)는, 디코딩부(132)로부터 디코딩된 데이터가 전달되면, 속성 정보에 기초하여 비디오 메모리(VM)(134)에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트할 수 있다.
On the other hand, when the decoded data is transferred from the decoding unit 132, the change data updating unit 133 updates the video data of the changed area of the display screen in the video memory (VM) 134 based on the attribute information .

여기서, 속성 정보는, 디스플레이 화면 중 변경된 영역의 좌표, 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS), 디스플레이 화면이 복수 개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID) 중 적어도 하나 이상을 포함할 수 있음은 상술한 바와 같다.
Here, the attribute information includes at least one of coordinates of a changed area of a display screen, a packet size by encoding, resolution, a time stamp, a frame per second (FPS), a unique identifier of a display screen ID, and UID) as described above.

또한, 본 발명의 일 실시 형태에 의하면, 속성 정보에는 타임 스탬프가 포함되어 있으며, 수신측 영상 처리 장치(130)에서는, 이러한 타임 스탬프를 이용함으로써, 각각 인코딩되어 전송된 2개 이상의 변경된 영역을 동시에 디스플레이할 수 있다.
According to an embodiment of the present invention, the attribute information includes a time stamp. In the receiving-side image processing apparatus 130, by using such a time stamp, two or more changed regions, Can be displayed.

비디오 메모리(VM)(134)는 디스플레이 장치(140)의 디스플레이 화면에 디스플레이할 영상 데이터를 저장하며, 특히 송신측 영상 처리 장치(120)로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터만이 업데이트될 수 있다.
The video memory (VM) 134 stores the image data to be displayed on the display screen of the display device 140, and in particular, only the image data of the changed area of the display screen from the transmission-side image processing apparatus 120 can be updated have.

그리고, 디스플레이 드라이버(DD)(135)는, 비디오 메모리(VM)(134)에 저장된 업데이트된 영상 데이터를 디스플레이 화면 중 변경된 영역에 대한 영상 데이터가 디스플레이 화면에 디스플레이될 수 있도록 디스플레이 요청 명령을 그래픽 엔진(GE)(121)으로 전달할 수 있다.
The display driver (DD) 135 converts the updated image data stored in the video memory (VM) 134 into a graphic request signal to display the changed image data on the display screen, (GE) 121, as shown in FIG.

그러면, 그래픽 엔진(GE)(136)은 디스플레이 요청 명령에 따라 변경된 영역에 대한 영상 데이터를 비디오 포트(137)를 통해 디스플레이 장치(140)로 전달하고, 전달된 영상 데이터는 디스플레이 화면을 통해 디스플레이될 수 있다.
Then, the graphics engine (GE) 136 transmits the image data for the changed area to the display device 140 via the video port 137 according to the display request command, and the transmitted image data is displayed on the display screen .

한편, 도 3은 본 발명의 일 실시 형태에 의해 비디오 메모리의 모니터링을 이용한 영상 처리 방법으로, 송신측 영상 처리 장치(120)의 흐름을 설명하는 흐름도이다.
On the other hand, Fig. 3 is a flowchart for explaining the flow of the transmission-side image processing apparatus 120 as an image processing method using monitoring of a video memory according to an embodiment of the present invention.

이하에서는 도 1 내지 도 3를 참조하여 본 발명의 일 실시 형태에 의한 송신측의 영상 처리 방법을 설명한다. 다만, 발명의 간명화를 위해 도 1 내지 도 2와 관련하여 설명된 사항과 중복된 부분에 대한 설명은 생략하기로 한다.
Hereinafter, a transmitting side image processing method according to an embodiment of the present invention will be described with reference to Figs. 1 to 3. Fig. However, for the sake of simplicity of the invention, the description of the overlapping parts with those described with reference to Figs. 1 and 2 will be omitted.

도 1 내지 도 3을 참조하면, 우선 미러 드라이버(MD)(124)는, 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 실시간으로 모니터링할 수 있다(S301).
1 to 3, the mirror driver (MD) 124 may monitor whether the video data stored in the video memory (VM) 123 is changed in real time (S301).

모니터링 결과, 메모리(VM)(123)가 변경되었음을 감지하면(S302), 변경 데이터 추출부(125)는 비디오 메모리(VM)(123)로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출할 수 있다(S303).
When the monitoring result indicates that the memory (VM) 123 has been changed (S302), the change data extracting unit 125 can extract the image data for the changed area of the display screen from the video memory (VM) (S303).

마지막으로, 인코딩부(126)는, 변경 데이터 추출부(125)에서 추출한 영상 데이터와 함께 추출된 영상 데이터에 대한 속성 정보를 인코딩할 수 있다(S304). 인코딩된 데이터는 송신부(127) 및 네트워크(NW)를 통해 수신측 영상 처리 장치(130)로 전송될 수 있다.
Finally, the encoding unit 126 may encode the attribute information of the extracted image data together with the image data extracted by the change data extracting unit 125 (S304). The encoded data may be transmitted to the reception-side image processing apparatus 130 via the transmission unit 127 and the network NW.

그리고, 도 4는 본 발명의 일 실시 형태에 의해 비디오 메모리의 모니터링을 이용한 영상 처리 방법으로, 수신측 영상 처리 장치의 흐름을 설명하는 흐름도이다.
4 is a flowchart for explaining the flow of a receiving-side image processing apparatus, which is an image processing method using monitoring of a video memory according to an embodiment of the present invention.

이하에서는 도 1 내지 도 2 및 도 4를 참조하여 본 발명의 일 실시 형태에 의한 수신측의 영상 처리 방법을 설명한다. 다만, 발명의 간명화를 위해 도 1 내지 도 2와 관련하여 설명된 사항과 중복된 부분에 대한 설명은 생략하기로 한다.
Hereinafter, a receiving side image processing method according to an embodiment of the present invention will be described with reference to Figs. 1 to 2 and Fig. However, for the sake of simplicity of the invention, the description of the overlapping parts with those described with reference to Figs. 1 and 2 will be omitted.

디코딩부(132)는, 수신부(131)로부터 인코딩된 데이터가 전달되면, 이를 디코딩한 후(S401) 이를 변경 데이터 업데이트부(133)로 전달할 수 있다. 본 발명의 일 실시 형태에 의하면, 디코딩부(132)는 비디오 카드의 프로세서인 그래픽 프로세싱 유닛(Graphic Processing Unit, GPU)을 포함할 수 있음은 상술한 바와 같다.
When the encoded data is received from the receiving unit 131, the decoding unit 132 decodes the encoded data (S401), and transmits the decoded data to the change data updating unit 133. [ According to one embodiment of the present invention, it is described that the decoding unit 132 may include a graphics processing unit (GPU) which is a processor of a video card.

또한, 인코딩된 데이터는, 송신측 영상 처리 장치(120)의 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 모니터링하여 얻은 디스플레이 화면 중 변경된 영역에 대한 영상 데이터와 함께 속성 정보를 인코딩한 데이터일 수 있다.
The encoded data is encoded by encoding the attribute information together with the image data of the changed area of the display screen obtained by monitoring whether or not the image data stored in the video memory (VM) 123 of the transmission-side image processing apparatus 120 is changed Lt; / RTI >

다음, 변경 데이터 업데이트부(133)는, 디코딩부(132)로부터 디코딩된 데이터가 전달되면, 속성 정보에 기초하여 비디오 메모리(VM)(134)에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트할 수 있다(S402).
Next, when the decoded data is transferred from the decoding unit 132, the change data updating unit 133 updates the video data of the changed area of the display screen in the video memory (VM) 134 based on the attribute information (S402).

여기서, 속성 정보는, 디스플레이 화면 중 변경된 영역의 좌표, 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS), 디스플레이 화면이 복수 개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID) 중 적어도 하나 이상을 포함할 수 있음은 상술한 바와 같다.
Here, the attribute information includes at least one of coordinates of a changed area of a display screen, a packet size by encoding, resolution, a time stamp, a frame per second (FPS), a unique identifier of a display screen ID, and UID) as described above.

또한, 본 발명의 일 실시 형태에 의하면, 속성 정보에는 타임 스탬프가 포함되어 있으며, 수신측 영상 처리 장치(130)에서는, 이러한 타임 스탬프를 이용함으로써, 각각 인코딩되어 전송된 2개 이상의 변경된 영역을 동시에 디스플레이할 수 있다.
According to an embodiment of the present invention, the attribute information includes a time stamp. In the receiving-side image processing apparatus 130, by using such a time stamp, two or more changed regions, Can be displayed.

마지막으로, 디스플레이 드라이버(DD)(135)는, 그래픽 엔진(GE)(121)을 제어하여 비디오 메모리(VM)(134)에 저장된 업데이트된 영상 데이터를 디스플레이 화면 중 변경된 영역에 디스플레이할 수 있다(S403)
Finally, the display driver (DD) 135 controls the graphics engine (GE) 121 to display the updated image data stored in the video memory (VM) 134 in the changed area of the display screen S403)

본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경할 수 있다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
The present invention is not limited to the above-described embodiments and the accompanying drawings. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It will be self-evident.

110: 디스플레이 장치(송신측) 120: 영상 처리 장치(송신측)
121: 그래픽 엔진(송신측) 122: 디스플레이 드라이버(송신측)
123: 비디오 메모리(송신측) 124: 미러 드라이버
125: 변경 데이터 추출부 126: 인코딩부
127: 송신부 128: 비디오 포트(송신측)
130: 영상 처리 장치(수신측) 131: 수신부
132: 디코딩부 133: 변경 데이터 업데이트부
134: 비디오 메모리(수신측) 135: 디스플레이 드라이버(수신측)
136: 그래픽 엔진(수신측) 137: 비디오 포트(수신측)
140: 디스플레이 장치(수신측) 211, 212: 변경된 영역110: display device (transmitting side) 120: image processing device (transmitting side)
121: graphic engine (transmitting side) 122: display driver (transmitting side)
123: Video memory (transmitting side) 124: Mirror driver
125: Change data extraction unit 126:
127: Transmitter 128: Video port (Transmitter)
130: image processing apparatus (receiving side) 131: receiving section
132: decoding unit 133:
134: Video memory (receiving side) 135: Display driver (receiving side)
136: Graphics Engine (Receiver) 137: Video Port (Receiver)
140: display device (receiving side) 211, 212: changed area

Claims (10)

디스플레이 화면을 다수의 영역으로 분할한 후, 분할된 영역별로 대응하는 어드레스에 디스플레이할 영상 데이터를 저장하는 비디오 메모리를 포함하며 커널 모드에서 동작하는 영상 처리 장치에 있어서,
상기 비디오 메모리의 어드레스에 저장된 영상 데이터의 변경 여부를 모니터링하는 미러 드라이버;
상기 비디오 메모리의 어드레스에 저장된 영상 데이터가 변경되면, 상기 비디오 메모리로부터 상기 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하는 변경 데이터 추출부; 및
상기 추출된 영상 데이터와 함께 상기 추출된 영상 데이터에 대한 속성 정보를 인코딩하는 인코딩부를 포함하며,
상기 속성 정보는, 상기 디스플레이 화면 중 상기 변경된 영역의 좌표, 상기 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS) 및 상기 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID)를 포함하는 영상 처리 장치.
There is provided an image processing apparatus including a video memory for dividing a display screen into a plurality of areas and storing video data to be displayed at corresponding addresses for each of the divided areas,
A mirror driver for monitoring whether the image data stored in the address of the video memory is changed;
A change data extracting unit for extracting image data for a changed area of the display screen from the video memory when image data stored in an address of the video memory is changed; And
And an encoding unit that encodes attribute information of the extracted image data together with the extracted image data,
Wherein the attribute information includes at least one of a coordinate of the changed area of the display screen, a packet size based on the encoding, a resolution, a time stamp, a frame transmission rate per second (FPS) And an identifier (Unique ID, UID).
제1항에 있어서,
상기 인코딩부는,
상기 추출된 영상 데이터 및 상기 추출된 영상 데이터에 대한 속성 정보를 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 인코딩하는 영상 처리 장치.
The method according to claim 1,
The encoding unit may include:
And encoding the extracted image data and attribute information of the extracted image data in a Joint Photographing Experts Group (JPEG) format.
제1항에 있어서,
상기 변경된 영역이 복수개인 경우,
상기 인코딩부는, 상기 복수개의 변경된 영역들 각각에 대하여, 인코딩하는 영상 처리 장치.
The method according to claim 1,
If there are a plurality of changed areas,
Wherein the encoding unit encodes each of the plurality of changed areas.
삭제delete 삭제delete 인코딩된 데이터를 수신하여 디스플레이하는 영상 처리 장치에 있어서,
상기 인코딩된 데이터를 수신하여 디코딩하는 디코딩부;
상기 인코딩된 데이터에 포함된 속성 정보에 기초하여, 비디오 메모리에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트하는 변경 데이터 업데이트부; 및
상기 비디오 메모리에 저장된 업데이트된 영상 데이터를 상기 디스플레이 화면 중 변경된 영역에 디스플레이하는 디스플레이 드라이버를 포함하며,
상기 인코딩된 데이터는, 상기 인코딩된 데이터를 송신하는 송신측 영상 처리 장치의 디스플레이 화면을 다수의 영역으로 분할한 후 분할된 영역별로 대응하는 어드레스에 디스플레이할 영상 데이터를 저장하는 비디오 메모리의 어드레스에 저장된 영상 데이터의 변경 여부를 모니터링하여 얻은 영상 데이터와 함께 상기 속성 정보를 인코딩한 데이터로, 상기 송신측 영상 처리 장치는 커널 모드에서 동작하며,
상기 속성 정보는, 상기 디스플레이 화면 중 상기 변경된 영역의 좌표, 상기 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS) 및 상기 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID)를 포함하는 영상 처리 장치.
An image processing apparatus for receiving and displaying encoded data,
A decoding unit for receiving and decoding the encoded data;
A change data update unit for updating the video data of the changed area of the display screen in the video memory based on the attribute information included in the encoded data; And
And a display driver for displaying updated video data stored in the video memory on a changed area of the display screen,
Wherein the encoded data is stored in an address of a video memory for storing image data to be displayed at a corresponding address in each divided region after dividing a display screen of a transmission side image processing apparatus transmitting the encoded data into a plurality of regions, Wherein the transmission-side image processing apparatus operates in a kernel mode with data obtained by encoding the attribute information together with image data obtained by monitoring whether the image data is changed,
Wherein the attribute information includes at least one of a coordinate of the changed area of the display screen, a packet size based on the encoding, a resolution, a time stamp, a frame transmission rate per second (FPS) And an identifier (Unique ID, UID).
제6항에 있어서,
상기 디코딩부는,
비디오 카드의 그래픽 프로세싱 유닛(Graphic Processing Unit, GPU)을 포함하는 영상 처리 장치.
The method according to claim 6,
The decoding unit,
An image processing apparatus comprising a graphics processing unit (GPU) of a video card.
제6항에 있어서,
상기 인코딩된 데이터는,
제이피지(Joint Photograph coding Experts Group, JPEG) 형식인 영상 처리 장치.
The method according to claim 6,
The encoded data may include:
Image processing apparatus in the form of Joint Photographing Experts Group (JPEG).
제6항에 있어서,
상기 변경된 영역이 복수개인 경우,
상기 인코딩된 데이터는, 상기 복수개의 변경된 영역들 각각에 대하여 인코딩된 데이터인 영상 처리 장치.
The method according to claim 6,
If there are a plurality of changed areas,
Wherein the encoded data is encoded data for each of the plurality of changed areas.
삭제delete
KR20130108649A 2013-09-10 2013-09-10 Apparatus for managing image by monitoring video memory KR101410837B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130108649A KR101410837B1 (en) 2013-09-10 2013-09-10 Apparatus for managing image by monitoring video memory
CN201480061396.9A CN105993176A (en) 2013-09-10 2014-09-05 Image processing apparatus using monitoring of video memory
PCT/KR2014/008419 WO2015037894A1 (en) 2013-09-10 2014-09-05 Image processing apparatus using monitoring of video memory

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130108649A KR101410837B1 (en) 2013-09-10 2013-09-10 Apparatus for managing image by monitoring video memory

Publications (1)

Publication Number Publication Date
KR101410837B1 true KR101410837B1 (en) 2014-06-24

Family

ID=51133783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130108649A KR101410837B1 (en) 2013-09-10 2013-09-10 Apparatus for managing image by monitoring video memory

Country Status (3)

Country Link
KR (1) KR101410837B1 (en)
CN (1) CN105993176A (en)
WO (1) WO2015037894A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160140012A (en) * 2015-05-29 2016-12-07 엔쓰리엔 주식회사 Image data transmission and reception method and apparatus
KR101839415B1 (en) * 2017-02-20 2018-03-16 엔쓰리엔 주식회사 Image data transmission and reception method and apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254805B (en) * 2016-07-28 2018-09-21 浙江大华技术股份有限公司 A kind of storage method of Video data, device and video recorder
CN111263198A (en) * 2020-02-16 2020-06-09 袁芳 Pirate tracking method of video resources

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020047978A (en) * 2000-12-15 2002-06-22 구자홍 Compression store method for digital video recording system
JP2007166013A (en) * 2005-12-09 2007-06-28 Ricoh Co Ltd Image processing system, image processing method, image processing program and recording medium bearing the same
KR20080006295A (en) * 2006-07-12 2008-01-16 엠텍비젼 주식회사 Method and apparatus for processing jpeg image, and record media recored program for realizing the same
KR20120091550A (en) * 2011-02-09 2012-08-20 주식회사 글로벌미디어테크 High speed encoding and decoding apparatus for image data using parallel processors on graphics processing unit and the method thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2880964B2 (en) * 1996-08-28 1999-04-12 日本電気フィールドサービス株式会社 Display area switching system
KR100713400B1 (en) * 2004-04-30 2007-05-04 삼성전자주식회사 H.263/mpeg video encoder for controlling using average histogram difference formula and its control method
JP5680283B2 (en) * 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program
CN101582046B (en) * 2009-06-26 2011-12-07 浪潮电子信息产业股份有限公司 High-available system state monitoring, forcasting and intelligent management method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020047978A (en) * 2000-12-15 2002-06-22 구자홍 Compression store method for digital video recording system
JP2007166013A (en) * 2005-12-09 2007-06-28 Ricoh Co Ltd Image processing system, image processing method, image processing program and recording medium bearing the same
KR20080006295A (en) * 2006-07-12 2008-01-16 엠텍비젼 주식회사 Method and apparatus for processing jpeg image, and record media recored program for realizing the same
KR20120091550A (en) * 2011-02-09 2012-08-20 주식회사 글로벌미디어테크 High speed encoding and decoding apparatus for image data using parallel processors on graphics processing unit and the method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160140012A (en) * 2015-05-29 2016-12-07 엔쓰리엔 주식회사 Image data transmission and reception method and apparatus
KR101710011B1 (en) * 2015-05-29 2017-03-08 엔쓰리엔 주식회사 Image data transmission and reception method and apparatus
KR101839415B1 (en) * 2017-02-20 2018-03-16 엔쓰리엔 주식회사 Image data transmission and reception method and apparatus

Also Published As

Publication number Publication date
WO2015037894A1 (en) 2015-03-19
CN105993176A (en) 2016-10-05

Similar Documents

Publication Publication Date Title
US11553222B2 (en) Low latency wireless virtual reality systems and methods
US9665332B2 (en) Display controller, screen transfer device, and screen transfer method
TWI569629B (en) Techniques for inclusion of region of interest indications in compressed video data
CN101047853B (en) Server apparatus and video transmission method
US20140094300A1 (en) Display system and display method for video wall
US11106422B2 (en) Method for processing display data
KR101698951B1 (en) System, apparatus and method for sharing a screen having multiple visual components
US10944991B2 (en) Prediction for matched patch index coding
US11310560B2 (en) Bitstream merger and extractor
KR101410837B1 (en) Apparatus for managing image by monitoring video memory
JP4116006B2 (en) Screen transfer device, screen transfer system, screen transfer method, and program
WO2018107338A1 (en) Image signal processing method and device
US20140218379A1 (en) Device, system and method for transferring network data
WO2013030166A2 (en) Method for transmitting video signals from an application on a server over an ip network to a client device
CN107318021B (en) Data processing method and system for remote display
CN107734278B (en) Video playback method and related device
JP2006246110A (en) Apparatus and system for transmitting video
CN107318020B (en) Data processing method and system for remote display
US20240244232A1 (en) Submesh coding for dynamic mesh coding
KR101251879B1 (en) Apparatus and method for displaying advertisement images in accordance with screen changing in multimedia cloud system
KR101231009B1 (en) Network video server and video control method thereof
JP2014192844A (en) Video distribution system, video distribution method, video distribution device and video display device
JP2014112373A (en) Screen relay device
CN116489132A (en) Virtual desktop data transmission method, server, client and storage medium
KR20150015941A (en) Method and apparatus for providing user interface of application

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190409

Year of fee payment: 6