[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101410837B1 - 비디오 메모리의 모니터링을 이용한 영상 처리 장치 - Google Patents

비디오 메모리의 모니터링을 이용한 영상 처리 장치 Download PDF

Info

Publication number
KR101410837B1
KR101410837B1 KR20130108649A KR20130108649A KR101410837B1 KR 101410837 B1 KR101410837 B1 KR 101410837B1 KR 20130108649 A KR20130108649 A KR 20130108649A KR 20130108649 A KR20130108649 A KR 20130108649A KR 101410837 B1 KR101410837 B1 KR 101410837B1
Authority
KR
South Korea
Prior art keywords
data
display screen
changed
video memory
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR20130108649A
Other languages
English (en)
Inventor
박경식
이주상
양경철
Original Assignee
이에스이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이에스이 주식회사 filed Critical 이에스이 주식회사
Priority to KR20130108649A priority Critical patent/KR101410837B1/ko
Application granted granted Critical
Publication of KR101410837B1 publication Critical patent/KR101410837B1/ko
Priority to PCT/KR2014/008419 priority patent/WO2015037894A1/ko
Priority to CN201480061396.9A priority patent/CN105993176A/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 메모리의 모니터링을 이용한 영상 처리 장치가 제공된다. 영상 처리 장치는, 디스플레이 화면을 다수의 영역으로 분할한 후, 분할된 영역별로 대응하는 어드레스에 디스플레이할 영상 데이터를 저장하는 비디오 메모리를 포함하며 커널 모드에서 동작하는 영상 처리 장치에 있어서, 비디오 메모리의 어드레스에 저장된 영상 데이터의 변경 여부를 모니터링하는 미러 드라이버와, 비디오 메모리의 어드레스에 저장된 영상 데이터가 변경되면, 비디오 메모리로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하는 변경 데이터 추출부와, 추출된 영상 데이터와 함께 추출된 영상 데이터에 대한 속성 정보를 인코딩하는 인코딩부를 포함하며, 속성 정보는, 디스플레이 화면 중 변경된 영역의 좌표, 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS) 및 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID)를 포함함으로써, 영상 처리 속도를 증가시킬 수 있다.

Description

비디오 메모리의 모니터링을 이용한 영상 처리 장치{APPARATUS FOR MANAGING IMAGE BY MONITORING VIDEO MEMORY}
본 출원은, 영상 처리에 관한 것이다.
일반적으로, 디스플레이 화면을 통해 디스플레이되는 많은 양의 영상 데이터를 효과적으로 전송하기 위해서는 MPEG. 4, H.264, JPEG와 같은 데이터 압축(인코딩) 알고리즘의 사용이 필수적이다.
특히, 동영상과 같이 실시간으로 화면이 변경되는 영상 데이터를 전송할 경우 전송하여야 할 데이터의 양이 상당하기 때문에, 효과적인 압축 및 전송 기술이 필수적이다.
이를 위해 유저 모드(user mode)에서 동작하는 WIN32와 같은 그래픽 디바이스 인터페이스(Graphic Device Interface, GDI)는 디스플레이 화면이 변경되면, 이전의 디스플레이 화면과 변경된 디스플레이 화면을 비교한 후, 변경된 부분만을 알려주는 기능을 제공하고 있다.
이를 구체적으로 설명하면, 윈도우 화면 변경 명령이 입력되면, 비디오 카드는 디스플레이 화면 중 변경될 영역에 대한 영상 데이터로 비디오 메모리를 업데이트하며, 업데이트된 영상 데이터는 비디오 포트를 통해 디스플레이 장치로 전송되어 디스플레이 화면상에 디스플레이된다. 이때, 유저 모드(user mode)에서 동작하는 WIN32와 같은 그래픽 디바이스 인터페이스(GDI)는 이전에 디스플레이된 화면과 현재 디스플레이된 화면을 비교한 후, 두 개의 디스플레이 화면 중 변경된 영역에 대한 정보를 제공하고 있으며, 이러한 정보만을 외부 장치로 전송한다.
하지만, 이와 같은 종래 방식에 의할 경우 비디오 메모리에 저장된 영상 데이터가 디스플레이 화면에 디스플레이되고 난 후에야 변경된 영역에 대한 정보를 얻을 수 있기 때문에, 변경된 영역에 대한 정보를 얻기 위한 시간이 지연되며, 이로 인해 영상 처리 속도가 저해되는 문제점이 있다.
본 출원은, 디스플레이 화면에 디스플레이되는 영상이 변경된 경우 변경된 영역에 대한 영상 데이터가 비디오 메모리에 저장되는 시점에서 캡처하여 전송함으로써, 영상 처리 속도를 증가시킬 수 있는 비디오 메모리의 모니터링을 이용한 영상 처리 장치를 제공한다.
본 발명의 제1 실시 형태에 의하면, 디스플레이 화면을 다수의 영역으로 분할한 후, 분할된 영역별로 대응하는 어드레스에 디스플레이할 영상 데이터를 저장하는 비디오 메모리를 포함하며 커널 모드에서 동작하는 영상 처리 장치에 있어서, 상기 비디오 메모리의 어드레스에 저장된 영상 데이터의 변경 여부를 모니터링하는 미러 드라이버; 상기 비디오 메모리의 어드레스에 저장된 영상 데이터가 변경되면, 상기 비디오 메모리로부터 상기 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하는 변경 데이터 추출부; 및 상기 추출된 영상 데이터와 함께 상기 추출된 영상 데이터에 대한 속성 정보를 인코딩하는 인코딩부를 포함하며, 상기 속성 정보는, 상기 디스플레이 화면 중 상기 변경된 영역의 좌표, 상기 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS) 및 상기 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID)를 포함하는 영상 처리 장치를 제공한다.
본 발명의 실시 형태에 의하면, 상기 인코딩부는, 상기 추출된 영상 데이터 및 상기 추출된 영상 데이터에 대한 속성 정보를 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 인코딩할 수 있다.
본 발명의 실시 형태에 의하면, 상기 변경된 영역이 복수개인 경우, 상기 인코딩부는, 상기 복수개의 변경된 영역들 각각에 대하여, 인코딩할 수 있다.
삭제
본 발명의 실시 형태에 의하면, 상기 영상 처리 장치는, 커널 모드(Kernel Mode)에서 동작할 수 있다.
본 발명의 제2 실시 형태에 의하면, 인코딩된 데이터를 수신하여 디스플레이하는 영상 처리 장치에 있어서, 상기 인코딩된 데이터를 수신하여 디코딩하는 디코딩부; 상기 인코딩된 데이터에 포함된 속성 정보에 기초하여, 비디오 메모리에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트하는 변경 데이터 업데이트부; 및 상기 비디오 메모리에 저장된 업데이트된 영상 데이터를 상기 디스플레이 화면 중 변경된 영역에 디스플레이하는 디스플레이 드라이버를 포함하며, 상기 인코딩된 데이터는, 상기 인코딩된 데이터를 송신하는 송신측 영상 처리 장치의 디스플레이 화면을 다수의 영역으로 분할한 후 분할된 영역별로 대응하는 어드레스에 디스플레이할 영상 데이터를 저장하는 비디오 메모리의 어드레스에 저장된 영상 데이터의 변경 여부를 모니터링하여 얻은 영상 데이터와 함께 상기 속성 정보를 인코딩한 데이터로, 상기 송신측 영상 처리 장치는 커널 모드에서 동작하며, 상기 속성 정보는, 상기 디스플레이 화면 중 상기 변경된 영역의 좌표, 상기 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS) 및 상기 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID)를 포함하는 영상 처리 장치를 제공한다.
본 발명의 실시 형태에 의하면, 상기 디코딩부는, 비디오 카드의 그래픽 프로세싱 유닛(Graphic Processing Unit, GPU)을 포함할 수 있다.
본 발명의 실시 형태에 의하면, 상기 인코딩된 데이터는, 제이피지(Joint Photograph coding Experts Group, JPEG) 형식일 수 있다.
본 발명의 실시 형태에 의하면, 상기 변경된 영역이 복수개인 경우, 상기 인코딩된 데이터는, 상기 복수개의 변경된 영역들 각각에 대하여 인코딩된 데이터일 수 있다.
삭제
본 발명의 일 실시 형태에 의하면, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 비디오 메모리를 실시간으로 모니터링하고, 모니터링 결과 디스플레이 화면상의 영상이 변경되는 경우에는 변경된 영역에 대한 영상 데이터만을 인코딩하여 전송함으로써, 영상 처리 속도를 증가시킬 수 있다.
도 1은 본 발명의 일 실시 형태에 따른 비디오 메모리의 모니터링을 이용한 영상 처리 장치의 구성도이다.
도 2는 본 발명의 일 실시 형태에 의한 변경된 영역에 대한 데이터의 추출 및 속성 정보 중 좌표를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 형태에 의해 비디오 메모리의 모니터링을 이용한 영상 처리 방법으로, 송신측 영상 처리 장치의 흐름을 설명하는 흐름도이다.
도 4는 본 발명의 일 실시 형태에 의해 비디오 메모리의 모니터링을 이용한 영상 처리 방법으로, 수신측 영상 처리 장치의 흐름을 설명하는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 그러나 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.
도 1은 본 발명의 일 실시 형태에 따른 비디오 메모리의 모니터링을 이용한 영상 처리 장치의 구성도이며, 도 2는 본 발명의 일 실시 형태에 의한 변경된 영역에 대한 데이터를 추출 및 속성 정보 중 좌표를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 제1 실시 형태에 의한 영상 처리 장치(120)는, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 비디오 메모리(VM)(123)를 포함한 영상 처리 장치(120)에 있어서, 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 모니터링하는 미러 드라이버(MD)(124)와, 비디오 메모리(VM)(123)에 저장된 영상 데이터가 변경되면, 비디오 메모리(VM)(123)로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하는 변경 데이터 추출부(125)와, 추출된 영상 데이터와 함께 추출된 영상 데이터에 대한 속성 정보를 인코딩하는 인코딩부(126)를 포함할 수 있다.
또한, 본 발명의 제2 실시 형태에 의한 영상 처리 장치(130)는, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 비디오 메모리(VM)(134)를 포함한 영상 처리 장치(130)에 있어서, 인코딩된 데이터를 디코딩하는 디코딩부(132)와, 인코딩된 데이터에 포함된 속성 정보에 기초하여, 비디오 메모리(134)에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트하는 변경 데이터 업데이트부(133)와, 비디오 메모리(134)에 저장된 업데이트된 영상 데이터를 디스플레이 화면 중 변경된 영역에 디스플레이하는 디스플레이 드라이버(235)를 포함하며, 인코딩된 데이터는, 비디오 메모리(134)로부터 얻은 디스플레이 화면 중 변경된 영역에 대한 영상 데이터와 함께 속성 정보를 인코딩한 데이터일 수 있다.
이하, 도 1 내지 도 2를 참조하여 본 발명의 일 실시 형태에 의한 비디오 메모리의 모니터링을 이용한 영상 처리 장치를 상세하게 설명한다. 송신측 장치는 디스플레이부(110)와 송신측 영상 처리 장치(120)로 구성되며, 수신측 장치는 수신측 영상 처리 장치(130)와 디스플레이부(140)를 포함할 수 있으며, 송신측 영상 처리 장치(120)와 수신측 영상 처리 장치(130)는 네트워크(NetWork, NW)를 통해 데이터를 송수신할 수 있다. 이하 송신측 장치와 수신측 장치를 구분하여 상세하게 설명한다.
1. 송신측 장치(110, 120)
도 1을 참조하면, 디스플레이 장치(140)는, 모니터와 같은 디스플레이 화면을 구비한 복수의 디스플레이 장치(111 내지 11N)를 포함할 수 있다. 예를 들면, 월 컨트롤러와 같은 제어기에 의해 하나의 영상이 복수의 디스플레이 장치(111 내지 11N)를 통해서 적절히 분배되어 디스플레이되거나 또는 복수의 디스플레이 장치(111 내지 11N) 각각이 별개 영상을 디스플레이할 수 있다.
수신측 영상 처리 장치(130)는, 도 1에 도시된 바와 같이, 그래픽 엔진(Graphic Engine, GE)(121), 디스플레이 드라이버(Display Device, DD)(122), 비디오 메모리(Video Memory, VM)(123), 미러 드라이버(Mirror Diver, MD)(124), 변경 데이터 추출부(125), 인코딩부(126), 송신부(127) 및 비디오 포트(129)를 포함할 수 있다.
여기서, 그래픽 엔진(GE)(121)은, 화면 변경 명령이 입력되는지를 모니터링하며, 모니터링 결과 화면 변경 명령이 입력되면 이를 디스플레이 드라이버(DD)(122)로 전달할 수 있다. 여기서, 화면 변경 명령은 유저 모드(user mode)에서 실행되는 어플리케이션에 의해 입력되는 명령으로, 예컨대 현재 디스플레이 장치(110)의 디스플레이 화면에 디스플레이되는 영상의 전부 또는 일부 영역에 대한 변경 명령일 수 있다.
디스플레이 드라이버(DD)(122)는, 그래픽 엔진(GE)(121)으로부터 화면 변경 명령이 입력되면, 입력된 화면 변경 명령에 따라 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 비디오 메모리(VM)(123)의 대응하는 영역에 저장할 수 있다. 이후 변경된 영역에 대한 영상 데이터가 디스플레이 화면에 디스플레이될 수 있도록 디스플레이 요청 명령을 그래픽 엔진(GE)(121)으로 전달할 수 있다. 그러면, 그래픽 엔진(GE)(121)은 디스플레이 요청 명령에 따라 변경된 영역에 대한 영상 데이터를 비디오 포트(128)를 통해 디스플레이 장치(110)로 전달하고, 전달된 영상 데이터는 디스플레이 장치(110)의 디스플레이 화면을 통해 디스플레이될 수 있다.
한편, 비디오 메모리(VM)(123)는, 디스플레이 화면에 디스플레이할 영상 데이터를 저장하는 저장 매체이며, 하나의 디스플레이 화면을 다수의 영역으로 분할한 후, 영역별로 대응하는 어드레스에 영상 데이터를 저장할 수 있다. 분할된 각각의 영역은 프레임(frame)으로 지칭될 수 있으며, 이에 따라 비디오 메모리(VM)(123)는 프레임 버퍼(frame buffer)라고도 지칭될 수도 있다.
한편, 미러 드라이버(MD)(124)는, 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 모니터링하기 위한 것으로, 디스플레이 화면 중 변경된 영역에 대한 영상 데이터가 비디오 메모리(VM)(123)에 저장되면, 이를 감지한 후 비디오 메모리(VM)(123)의 일부 또는 전부가 변경되었음을 변경 데이터 추출부(125)에 알릴 수 있다.
그러면, 변경 데이터 추출부(125)는, 비디오 메모리(VM)(123)로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하고, 추출된 영상 데이터를 인코딩부(126)로 전달할 수 있다.
인코딩부(126)는, 변경 데이터 추출부(125)에서 추출한 영상 데이터와 함께 추출된 영상 데이터에 대한 속성 정보를 인코딩할 수 있다. 인코딩된 데이터는 송신부(127)로 전달될 수 있다. 여기서, 인코딩부(126)는 추출된 영상 데이터 및 추출된 영상 데이터에 대한 속성 정보를 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 인코딩할 수 있다. 또한, 디스플레이 화면 중 동시에 2 이상의 영역에 대한 변경이 발생된 경우에, 인코딩부(126)는 변경된 영역들 각각에 대하여 인코딩을 수행할 수 있다.
여기서, 속성 정보는, 디스플레이 화면 중 변경된 영역의 (물리적) 좌표, 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS), 디스플레이 화면이 복수 개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID) 중 적어도 하나 이상을 포함할 수 있다. 본 발명의 일 실시 형태에 의하면, 속성 정보에는 타임 스탬프가 포함되어 있으며, 수신측 영상 처리 장치(130)에서는, 이러한 타임 스탬프를 이용함으로써, 각각 인코딩되어 전송된 2개 이상의 변경된 영역을 동시에 디스플레이할 수 있다.
통상 H.264와 같은 코덱의 경우 여러 개의 디스플레이 화면(하나의 디스플레이 화면 전체를 하나의 프레임이라고 정의한다면, 여러 개의 프레임)을 모아서 한꺼번에 인코딩하게 되므로, 그만큼 인코딩에 소요되는 연산 처리로 인해 부하가 많이 걸리게 되며, 하나의 디스플레이 화면 중 극히 일부 영역이 변경되는 경우라도 디스플레이 화면 전체를 인코딩하게 되므로, 영상 처리 속도가 그만큼 더 소요되게 된다.
따라서, 본 발명의 일 실시 형태에 의하면, 추출된 영상 데이터 및 추출된 영상 데이터에 대한 속성 정보를 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 인코딩하여 전송함으로써, 전체적으로 영상 처리 속도를 증가시킬 수 있는 이점이 있다.
도 2는 본 발명의 일 실시 형태에 의한 변경된 영역에 대한 데이터의 추출 및 속성 정보 중 좌표를 설명하기 위한 도면이다.
도 1 및 도 2에 도시된 바와 같이, 디스플레이 화면((a) 참조) 중 일부 영역(211, 212)이 변경되면((b) 참조), 디스플레이 드라이버(DD)(122)는 변경된 영역(211, 212)에 대한 영상 데이터를 추출한 후, 비디오 메모리(VM)(123)의 대응하는 영역에 각각 저장할 수 있다.
도 2에는, 하나의 디스플레이 화면상에서 2개 이상의 영역(211, 212)이 동일한 시점에 변경된 경우를 도시하고 있으며, 이 경우 각각의 변경된 영역(211, 212)에 대한 영상 데이터는 각각 인코딩되어 전송될 수 있다. 도 2의 (c)에서, 영역 211에 대한 (X, Y), (X+n, Y), (X, Y+n), (X+n, Y+n)은 속성 정보 중 변경된 영역의 디스플레이 화면상의 실제 좌표를 예시적으로 설명하고 있다.
마지막으로, 송신부(127)는, 인코딩된 데이터를 네트워크(NW)를 통해 수신측 영상 처리 장치(130)의 수신부(131)로 전송할 수 있다.
상술한 바와 같이, 영상 처리 장치(120)는 유저 모드가 아닌 커널 모드(kernel Mode)에서 동작하기 때문에, 종래 기술에서 설명드린 바와 같은 유저 모드에서 동작하는 WIN32와 같은 그래픽 디바이스 인터페이스(GDI)에 비해 영상 처리 속도를 증가시킬 수 있는 기술적 효과가 있다.
2. 수신측 장치(130, 140)
우선, 도 1을 참조하면, 디스플레이 장치(140)는, 송신측 디스플레이 장치(110)와 마찬가지로, 모니터와 같은 디스플레이 화면을 구비한 복수의 디스플레이 장치(141 내지 14N)를 포함할 수 있다. 예를 들면, 월 컨트롤러와 같은 제어기에 의해 하나의 영상이 복수의 디스플레이 장치(141 내지 14N)를 통해서 적절히 분배되어 디스플레이되거나 또는 복수의 디스플레이 장치(141 내지 14N) 각각이 별개 영상을 디스플레이할 수 있다.
수신측 영상 처리 장치(120)는, 도 1에 도시된 바와 같이, 수신부(131), 디코딩부(132), 변경 데이터 업데이트부(133), 비디오 메모리(VM)(134), 디스플레이 드라이버(DD)(135), 그래픽 엔진(GE)(136) 및 비디오 포트(137)를 포함할 수 있다.
수신부(131)는, 네트워크(NW)를 통해 송신측 영상 처리 장치(120)로부터 인코딩된 데이터를 수신한 후, 이를 디코딩부(132)로 전달할 수 있다.
여기서, 인코딩된 데이터는, 송신측 영상 처리 장치(120)의 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 모니터링하여 얻은 디스플레이 화면 중 변경된 영역에 대한 영상 데이터와 함께 속성 정보를 인코딩한 데이터일 수 있다.
본 발명의 일 실시 형태에 의하면, 송신측 영상 처리 장치(120)로부터 전송되는 인코딩된 데이터는 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 함으로써, 전체적으로 영상 처리 속도를 증가시킬 수 있다는 점은 상술한 바와 같다.
디코딩부(132)는, 수신부(131)로부터 인코딩된 데이터가 전달되면, 이를 디코딩한 후 변경 데이터 업데이트부(133)로 전달할 수 있다. 본 발명의 일 실시 형태에 의하면, 디코딩부(132)는 비디오 카드의 프로세서인 그래픽 프로세싱 유닛(Graphic Processing Unit, GPU)을 포함할 수 있다. 일반적으로, 인코딩된 영상 데이터는 퍼스널 컴퓨터의 중앙 처리 장치에서 디코딩이 수행되며, 비디오 카드에서는 디코딩된 영상 데이터를 수신하여 출력하게 된다. 따라서, 퍼스널 컴퓨터의 중앙 처리 장치에 많은 부하가 걸리게 된다. 따라서, 본 발명의 일 실시 형태에 의하면, 인코딩된 데이터를 수신하면, 이에 대한 디코딩은 비디오 카드의 프로세서에서 수행하도록 함으로써, 종래에 비해 처리 속도를 향상시킬 수 있다.
한편, 변경 데이터 업데이트부(133)는, 디코딩부(132)로부터 디코딩된 데이터가 전달되면, 속성 정보에 기초하여 비디오 메모리(VM)(134)에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트할 수 있다.
여기서, 속성 정보는, 디스플레이 화면 중 변경된 영역의 좌표, 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS), 디스플레이 화면이 복수 개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID) 중 적어도 하나 이상을 포함할 수 있음은 상술한 바와 같다.
또한, 본 발명의 일 실시 형태에 의하면, 속성 정보에는 타임 스탬프가 포함되어 있으며, 수신측 영상 처리 장치(130)에서는, 이러한 타임 스탬프를 이용함으로써, 각각 인코딩되어 전송된 2개 이상의 변경된 영역을 동시에 디스플레이할 수 있다.
비디오 메모리(VM)(134)는 디스플레이 장치(140)의 디스플레이 화면에 디스플레이할 영상 데이터를 저장하며, 특히 송신측 영상 처리 장치(120)로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터만이 업데이트될 수 있다.
그리고, 디스플레이 드라이버(DD)(135)는, 비디오 메모리(VM)(134)에 저장된 업데이트된 영상 데이터를 디스플레이 화면 중 변경된 영역에 대한 영상 데이터가 디스플레이 화면에 디스플레이될 수 있도록 디스플레이 요청 명령을 그래픽 엔진(GE)(121)으로 전달할 수 있다.
그러면, 그래픽 엔진(GE)(136)은 디스플레이 요청 명령에 따라 변경된 영역에 대한 영상 데이터를 비디오 포트(137)를 통해 디스플레이 장치(140)로 전달하고, 전달된 영상 데이터는 디스플레이 화면을 통해 디스플레이될 수 있다.
한편, 도 3은 본 발명의 일 실시 형태에 의해 비디오 메모리의 모니터링을 이용한 영상 처리 방법으로, 송신측 영상 처리 장치(120)의 흐름을 설명하는 흐름도이다.
이하에서는 도 1 내지 도 3를 참조하여 본 발명의 일 실시 형태에 의한 송신측의 영상 처리 방법을 설명한다. 다만, 발명의 간명화를 위해 도 1 내지 도 2와 관련하여 설명된 사항과 중복된 부분에 대한 설명은 생략하기로 한다.
도 1 내지 도 3을 참조하면, 우선 미러 드라이버(MD)(124)는, 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 실시간으로 모니터링할 수 있다(S301).
모니터링 결과, 메모리(VM)(123)가 변경되었음을 감지하면(S302), 변경 데이터 추출부(125)는 비디오 메모리(VM)(123)로부터 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출할 수 있다(S303).
마지막으로, 인코딩부(126)는, 변경 데이터 추출부(125)에서 추출한 영상 데이터와 함께 추출된 영상 데이터에 대한 속성 정보를 인코딩할 수 있다(S304). 인코딩된 데이터는 송신부(127) 및 네트워크(NW)를 통해 수신측 영상 처리 장치(130)로 전송될 수 있다.
그리고, 도 4는 본 발명의 일 실시 형태에 의해 비디오 메모리의 모니터링을 이용한 영상 처리 방법으로, 수신측 영상 처리 장치의 흐름을 설명하는 흐름도이다.
이하에서는 도 1 내지 도 2 및 도 4를 참조하여 본 발명의 일 실시 형태에 의한 수신측의 영상 처리 방법을 설명한다. 다만, 발명의 간명화를 위해 도 1 내지 도 2와 관련하여 설명된 사항과 중복된 부분에 대한 설명은 생략하기로 한다.
디코딩부(132)는, 수신부(131)로부터 인코딩된 데이터가 전달되면, 이를 디코딩한 후(S401) 이를 변경 데이터 업데이트부(133)로 전달할 수 있다. 본 발명의 일 실시 형태에 의하면, 디코딩부(132)는 비디오 카드의 프로세서인 그래픽 프로세싱 유닛(Graphic Processing Unit, GPU)을 포함할 수 있음은 상술한 바와 같다.
또한, 인코딩된 데이터는, 송신측 영상 처리 장치(120)의 비디오 메모리(VM)(123)에 저장된 영상 데이터의 변경 여부를 모니터링하여 얻은 디스플레이 화면 중 변경된 영역에 대한 영상 데이터와 함께 속성 정보를 인코딩한 데이터일 수 있다.
다음, 변경 데이터 업데이트부(133)는, 디코딩부(132)로부터 디코딩된 데이터가 전달되면, 속성 정보에 기초하여 비디오 메모리(VM)(134)에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트할 수 있다(S402).
여기서, 속성 정보는, 디스플레이 화면 중 변경된 영역의 좌표, 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS), 디스플레이 화면이 복수 개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID) 중 적어도 하나 이상을 포함할 수 있음은 상술한 바와 같다.
또한, 본 발명의 일 실시 형태에 의하면, 속성 정보에는 타임 스탬프가 포함되어 있으며, 수신측 영상 처리 장치(130)에서는, 이러한 타임 스탬프를 이용함으로써, 각각 인코딩되어 전송된 2개 이상의 변경된 영역을 동시에 디스플레이할 수 있다.
마지막으로, 디스플레이 드라이버(DD)(135)는, 그래픽 엔진(GE)(121)을 제어하여 비디오 메모리(VM)(134)에 저장된 업데이트된 영상 데이터를 디스플레이 화면 중 변경된 영역에 디스플레이할 수 있다(S403)
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니한다. 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경할 수 있다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
110: 디스플레이 장치(송신측) 120: 영상 처리 장치(송신측)
121: 그래픽 엔진(송신측) 122: 디스플레이 드라이버(송신측)
123: 비디오 메모리(송신측) 124: 미러 드라이버
125: 변경 데이터 추출부 126: 인코딩부
127: 송신부 128: 비디오 포트(송신측)
130: 영상 처리 장치(수신측) 131: 수신부
132: 디코딩부 133: 변경 데이터 업데이트부
134: 비디오 메모리(수신측) 135: 디스플레이 드라이버(수신측)
136: 그래픽 엔진(수신측) 137: 비디오 포트(수신측)
140: 디스플레이 장치(수신측) 211, 212: 변경된 영역

Claims (10)

  1. 디스플레이 화면을 다수의 영역으로 분할한 후, 분할된 영역별로 대응하는 어드레스에 디스플레이할 영상 데이터를 저장하는 비디오 메모리를 포함하며 커널 모드에서 동작하는 영상 처리 장치에 있어서,
    상기 비디오 메모리의 어드레스에 저장된 영상 데이터의 변경 여부를 모니터링하는 미러 드라이버;
    상기 비디오 메모리의 어드레스에 저장된 영상 데이터가 변경되면, 상기 비디오 메모리로부터 상기 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 추출하는 변경 데이터 추출부; 및
    상기 추출된 영상 데이터와 함께 상기 추출된 영상 데이터에 대한 속성 정보를 인코딩하는 인코딩부를 포함하며,
    상기 속성 정보는, 상기 디스플레이 화면 중 상기 변경된 영역의 좌표, 상기 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS) 및 상기 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID)를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 인코딩부는,
    상기 추출된 영상 데이터 및 상기 추출된 영상 데이터에 대한 속성 정보를 제이피지(Joint Photograph coding Experts Group, JPEG) 형식으로 인코딩하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 변경된 영역이 복수개인 경우,
    상기 인코딩부는, 상기 복수개의 변경된 영역들 각각에 대하여, 인코딩하는 영상 처리 장치.
  4. 삭제
  5. 삭제
  6. 인코딩된 데이터를 수신하여 디스플레이하는 영상 처리 장치에 있어서,
    상기 인코딩된 데이터를 수신하여 디코딩하는 디코딩부;
    상기 인코딩된 데이터에 포함된 속성 정보에 기초하여, 비디오 메모리에 디스플레이 화면 중 변경된 영역에 대한 영상 데이터를 업데이트하는 변경 데이터 업데이트부; 및
    상기 비디오 메모리에 저장된 업데이트된 영상 데이터를 상기 디스플레이 화면 중 변경된 영역에 디스플레이하는 디스플레이 드라이버를 포함하며,
    상기 인코딩된 데이터는, 상기 인코딩된 데이터를 송신하는 송신측 영상 처리 장치의 디스플레이 화면을 다수의 영역으로 분할한 후 분할된 영역별로 대응하는 어드레스에 디스플레이할 영상 데이터를 저장하는 비디오 메모리의 어드레스에 저장된 영상 데이터의 변경 여부를 모니터링하여 얻은 영상 데이터와 함께 상기 속성 정보를 인코딩한 데이터로, 상기 송신측 영상 처리 장치는 커널 모드에서 동작하며,
    상기 속성 정보는, 상기 디스플레이 화면 중 상기 변경된 영역의 좌표, 상기 인코딩에 의한 패킷 사이즈, 해상도, 타임 스탬프, 초당 프레임 전송수(Frame Per Second, FPS) 및 상기 디스플레이 화면이 복수개인 경우 디스플레이 화면의 고유 식별자(Unique ID, UID)를 포함하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 디코딩부는,
    비디오 카드의 그래픽 프로세싱 유닛(Graphic Processing Unit, GPU)을 포함하는 영상 처리 장치.
  8. 제6항에 있어서,
    상기 인코딩된 데이터는,
    제이피지(Joint Photograph coding Experts Group, JPEG) 형식인 영상 처리 장치.
  9. 제6항에 있어서,
    상기 변경된 영역이 복수개인 경우,
    상기 인코딩된 데이터는, 상기 복수개의 변경된 영역들 각각에 대하여 인코딩된 데이터인 영상 처리 장치.
  10. 삭제
KR20130108649A 2013-09-10 2013-09-10 비디오 메모리의 모니터링을 이용한 영상 처리 장치 Active KR101410837B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130108649A KR101410837B1 (ko) 2013-09-10 2013-09-10 비디오 메모리의 모니터링을 이용한 영상 처리 장치
PCT/KR2014/008419 WO2015037894A1 (ko) 2013-09-10 2014-09-05 비디오 메모리의 모니터링을 이용한 영상 처리 장치
CN201480061396.9A CN105993176A (zh) 2013-09-10 2014-09-05 利用视频存储器的监控的图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130108649A KR101410837B1 (ko) 2013-09-10 2013-09-10 비디오 메모리의 모니터링을 이용한 영상 처리 장치

Publications (1)

Publication Number Publication Date
KR101410837B1 true KR101410837B1 (ko) 2014-06-24

Family

ID=51133783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130108649A Active KR101410837B1 (ko) 2013-09-10 2013-09-10 비디오 메모리의 모니터링을 이용한 영상 처리 장치

Country Status (3)

Country Link
KR (1) KR101410837B1 (ko)
CN (1) CN105993176A (ko)
WO (1) WO2015037894A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160140012A (ko) * 2015-05-29 2016-12-07 엔쓰리엔 주식회사 영상 데이터 전송 및 수신 방법 및 장치
KR101839415B1 (ko) * 2017-02-20 2018-03-16 엔쓰리엔 주식회사 영상 데이터 전송 및 수신 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254805B (zh) * 2016-07-28 2018-09-21 浙江大华技术股份有限公司 一种录像数据的存储方法、装置及录像机
CN111263198A (zh) * 2020-02-16 2020-06-09 袁芳 一种视频资源的盗版追踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020047978A (ko) * 2000-12-15 2002-06-22 구자홍 디지털 영상 녹화 시스템의 압축저장방법
JP2007166013A (ja) * 2005-12-09 2007-06-28 Ricoh Co Ltd 画像処理方式、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体
KR20080006295A (ko) * 2006-07-12 2008-01-16 엠텍비젼 주식회사 제이펙 이미지 처리 방법, 이미지 처리 장치 및 이를구현하기 위한 프로그램이 기록된 기록매체
KR20120091550A (ko) * 2011-02-09 2012-08-20 주식회사 글로벌미디어테크 범용 그래픽 처리장치의 병렬 프로세서를 이용한 고속 영상 처리 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2880964B2 (ja) * 1996-08-28 1999-04-12 日本電気フィールドサービス株式会社 表示領域切換システム
KR100713400B1 (ko) * 2004-04-30 2007-05-04 삼성전자주식회사 평균 히스토그램 오차 방식을 이용한 ｈ．263/ｍｐｅｇ비디오 인코더 및 그 제어 방법
JP5680283B2 (ja) * 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
CN101582046B (zh) * 2009-06-26 2011-12-07 浪潮电子信息产业股份有限公司 一种高可用的系统状态监控、预测以及智能管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020047978A (ko) * 2000-12-15 2002-06-22 구자홍 디지털 영상 녹화 시스템의 압축저장방법
JP2007166013A (ja) * 2005-12-09 2007-06-28 Ricoh Co Ltd 画像処理方式、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体
KR20080006295A (ko) * 2006-07-12 2008-01-16 엠텍비젼 주식회사 제이펙 이미지 처리 방법, 이미지 처리 장치 및 이를구현하기 위한 프로그램이 기록된 기록매체
KR20120091550A (ko) * 2011-02-09 2012-08-20 주식회사 글로벌미디어테크 범용 그래픽 처리장치의 병렬 프로세서를 이용한 고속 영상 처리 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160140012A (ko) * 2015-05-29 2016-12-07 엔쓰리엔 주식회사 영상 데이터 전송 및 수신 방법 및 장치
KR101710011B1 (ko) * 2015-05-29 2017-03-08 엔쓰리엔 주식회사 영상 데이터 전송 및 수신 방법 및 장치
KR101839415B1 (ko) * 2017-02-20 2018-03-16 엔쓰리엔 주식회사 영상 데이터 전송 및 수신 방법 및 장치

Also Published As

Publication number Publication date
CN105993176A (zh) 2016-10-05
WO2015037894A1 (ko) 2015-03-19

Similar Documents

Publication Publication Date Title
US11553222B2 (en) Low latency wireless virtual reality systems and methods
CN104244088B (zh) 显示控制器、屏幕图像传送装置和屏幕图像传送方法
US10341650B2 (en) Efficient streaming of virtual reality content
TWI569629B (zh) 用於在壓縮視訊資料中包括感興趣區域指示之技術
CN103281539B (zh) 一种图像编、解码处理的方法、装置及终端
US20140094300A1 (en) Display system and display method for video wall
US20200112745A1 (en) Prediction for matched patch index coding
US10620903B2 (en) Method and device for processing display data
US11310560B2 (en) Bitstream merger and extractor
KR101698951B1 (ko) 복수의 시각적 요소를 가지는 스크린을 공유하는 시스템, 장치, 및 방법
KR101410837B1 (ko) 비디오 메모리의 모니터링을 이용한 영상 처리 장치
CN103533358B (zh) 自适用图像采集传输显示装置
US20240233190A1 (en) Partial decoding and reconstruction of submeshes
WO2018107338A1 (zh) 图像信号处理方法和装置
EP2563038A1 (en) Method for transmitting video signals from an application on a server over an IP network to a client device
CN105404487B (zh) 一种支持回显功能的拼接控制器及其控制方法
CN107734278B (zh) 一种视频回放方法及相关装置
WO2016154816A1 (zh) 数据处理方法及装置
CN107318021B (zh) 一种远程显示的数据处理方法及系统
CN116489132A (zh) 虚拟桌面数据传输方法、服务器、客户端和存储介质
CN107318020B (zh) 远程显示的数据处理方法及系统
JP5449241B2 (ja) 映像復号装置、映像送受信装置、映像復号方法、及び映像送受信方法
CN106412598A (zh) 基于cuda显卡编码的无线视频传输系统及其传输方法
US20240244232A1 (en) Submesh coding for dynamic mesh coding
US10025550B2 (en) Fast keyboard for screen mirroring

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130910

PA0201 Request for examination
A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20130926

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20130910

Patent event code: PA03021R01I

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140128

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20140415

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20140128

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20140415

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20140310

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20140602

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20140514

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20140415

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20140310

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140617

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140617

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20181018

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190409

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190409

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20200630

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210916

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20220712

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20230530

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240529

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20250527

Start annual number: 12

End annual number: 12