JP2024517702A - シングルストリームを利用して関心領域の高画質映像を提供する方法、コンピュータ装置、およびコンピュータプログラム - Google Patents
シングルストリームを利用して関心領域の高画質映像を提供する方法、コンピュータ装置、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2024517702A JP2024517702A JP2023565548A JP2023565548A JP2024517702A JP 2024517702 A JP2024517702 A JP 2024517702A JP 2023565548 A JP2023565548 A JP 2023565548A JP 2023565548 A JP2023565548 A JP 2023565548A JP 2024517702 A JP2024517702 A JP 2024517702A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- quality
- interest
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004590 computer program Methods 0.000 title claims abstract description 11
- 230000015654 memory Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
シングルストリームを利用して関心領域の高画質映像を提供する方法、コンピュータ装置、およびコンピュータプログラムを提供する。映像提供方法は、原本映像で関心領域を設定する段階、前記原本映像を利用して高画質映像と低画質映像を生成する段階、前記高画質映像と前記低画質映像を利用して前記関心領域と前記関心領域以外の残りの領域を再構成する段階、および再構成された前記関心領域と前記残りの領域をシングルストリームで配信する段階を含む。
Description
下の説明は、高画質映像サービスを提供する技術に関する。
超高速通信網の利用者の急増にともない、通信網を介した新規サービスの開発やサービスアイテムの多様化が急激に進んでいる。このような通信網を利用したサービスのうちでも最も一般的なサービスが動画サービスであると言える。
例えば、韓国登録特許第10-0827198号公報(登録日2008年4月25日)「動画リンクサービスを提供する装置およびその方法」には、携帯電話端末を利用してインターネット上でリンクされた動画を移動中に鑑賞することができる動画リンクサービスを提供する技術が開示されている。
クライアント-サーバ方式の動画サービスシステムは、エンコーダサーバからの動画ストリーミングをリアルタイムでクライアントに配信する構造であって、ライブ配信環境では、カメラなどに入力された映像をエンコードし、オーディオデータとともにリアルタイムでクライアントまで配信する方式が採用されている。
単一配信環境でシングルストリームを使用して関心領域に対して高画質を提供し、それ以外の残りの領域に対しては低画質を提供する方法およびシステムを提供する。
コンピュータ装置で実行される映像提供方法であって、前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成される少なくとも1つのプロセッサを含み、前記映像提供方法は、前記少なくとも1つのプロセッサにより、原本映像で関心領域を設定する段階、前記少なくとも1つのプロセッサにより、前記原本映像を利用して高画質映像と低画質映像を生成する段階、前記少なくとも1つのプロセッサにより、前記高画質映像と前記低画質映像を利用して前記関心領域と前記関心領域以外の残りの領域を再構成する段階、および前記少なくとも1つのプロセッサにより、再構成された前記関心領域と前記残りの領域をシングルストリームで配信する段階を含む、映像提供方法を提供する。
一側面によると、前記映像提供方法は、1台のカメラを利用した単一配信環境において前記高画質映像と前記低画質映像で再構成された映像を提供してよい。
他の側面によると、前記生成する段階は、配信映像の最大解像度を設定する段階、前記最大解像度に基づいて高画質解像度と低画質解像度を決定する段階、および前記原本映像のサイズ調整によって前記高画質解像度の映像と前記低画質解像度の映像を生成する段階を含んでよい。
また他の側面によると、前記再構成する段階は、前記高画質映像から前記関心領域に該当する部分である高画質グリッド領域を抽出する段階、前記低画質映像から前記残りの領域に該当する部分である低画質グリッド領域を抽出する段階、および前記高画質グリッド領域と前記低画質グリッド領域を配信映像として再構成する段階を含んでよい。
また他の側面によると、前記再構成する段階は、前記関心領域と前記残りの領域を区分するための座標情報を生成する段階をさらに含み、前記配信する段階は、前記再構成された映像と前記座標情報をプレイヤへの中継のためのエンコーダサーバに伝達する段階を含んでよい。
また他の側面によると、前記再構成された配信映像は、前記シングルストリームを受信したプレイヤで前記関心領域と前記残りの領域に分離され、同じ比率で再結合された後に再生されてよい。
また他の側面によると、前記設定する段階は、前記原本映像を、複数の領域に分割されたグリッド(grid)形態の映像であるグリッド映像として提供する段階、および前記グリッド映像から選択された特定の領域を前記関心領域として設定する段階を含んでよい。
また他の側面によると、前記提供する段階は、複数のグリッド形態のうちで、配信端管理者によって選択されたグリッド形態の映像を提供してよい。
また他の側面によると、前記グリッド形態は、前記原本映像のタイプまたは前記原本映像内のオブジェクトの数または位置に基づいて決定されてよい。
さらに他の側面によると、前記設定する段階は、前記原本映像に対する物体検出によって、予め定められたカテゴリや種類のオブジェクトを含む領域を前記関心領域として設定してよい。
前記映像提供方法を前記コンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを提供する。
コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成される少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、原本映像で関心領域を設定し、前記原本映像を利用して高画質映像と低画質映像を生成し、前記高画質映像と前記低画質映像を利用して前記関心領域と前記関心領域以外の残りの領域を再構成し、再構成された前記関心領域と前記残りの領域をシングルストリームで配信することを特徴とする、コンピュータ装置を提供する。
本発明の実施形態によると、単一配信環境においてシングルストリームを使用して関心領域に対して高画質を提供し、それ以外の残りの領域に対して低画質を提供することにより、比較的低いビットレートでも高画質映像をサービスすることができ、サービス品質(QoS)と体感品質(QoE)を保障することができる。
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。
本発明の実施形態は、高画質映像サービスを提供する技術に関する。
本明細書で具体的に開示される事項を含む実施形態は、シングルストリームを使用して関心領域に対して高画質を提供し、それ以外の残りの領域に対して低画質を提供することができる。
本発明の実施形態に係る映像提供システムは、少なくとも1つのコンピュータ装置によって実現されてよく、本発明の実施形態に係る映像提供方法は、映像提供システムに含まれる少なくとも1つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されたコンピュータプログラムの制御にしたがって、本発明の実施形態に係る映像提供方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合して映像提供方法をコンピュータに実行させるために、コンピュータ読み取り可能な記録媒体に記録されてよい。
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図1のネットワーク環境は、複数の電子機器110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような図1は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図1のように限定されることはない。また、図1のネットワーク環境は、本実施形態に適用可能な環境のうちの一例を説明したものに過ぎず、本実施形態に適用可能な環境が図1のネットワーク環境に限定されることはない。
複数の電子機器110、120、130、140は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器110、120、130、140の例としては、スマートフォン、携帯電話、ナビゲーション、PC(personal computer)、ノート型PC、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレットなどがある。一例として、図1では、電子機器110の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器110は、実質的に無線または有線通信方式を利用し、ネットワーク170を介して他の電子機器120、130、140および/またはサーバ150、160と通信することのできる多様な物理的なコンピュータ装置のうちの1つを意味してよい。
通信方式が限定されることはなく、ネットワーク170が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網)を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク170は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター-バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
サーバ150、160それぞれは、複数の電子機器110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する1つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ150は、ネットワーク170を介して接続した複数の電子機器110、120、130、140にサービス(一例として、映像サービス、コンテンツ提供サービス、グループ通話サービス、メッセージングサービス、メールサービス、ソーシャルネットワークサービス、地図サービス、翻訳サービス、検索サービスなど)を提供するシステムであってよい。
図2は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器110、120、130、140それぞれやサーバ150、160それぞれは、図2に示したコンピュータ装置200によって実現されてよい。
このようなコンピュータ装置200は、図2に示すように、メモリ210、プロセッサ220、通信インタフェース230、および入力/出力インタフェース240を含んでよい。メモリ210は、コンピュータ読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ROMやディスクドライブのような永続的大容量記録装置は、メモリ210とは区分される別の永続的記録装置としてコンピュータ装置200に含まれてもよい。また、メモリ210には、オペレーティングシステムと、少なくとも1つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ210とは別のコンピュータ読み取り可能な記録媒体からメモリ210にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース230を通じてメモリ210にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク170を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置200のメモリ210にロードされてよい。
プロセッサ220は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ210または通信インタフェース230によって、プロセッサ220に提供されてよい。例えば、プロセッサ220は、メモリ210のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信インタフェース230は、ネットワーク170を介してコンピュータ装置200が他の装置(一例として、上述した記録装置)と互いに通信するための機能を提供してよい。一例として、コンピュータ装置200のプロセッサ220がメモリ210のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース230の制御にしたがってネットワーク170を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク170を経てコンピュータ装置200の通信インタフェース230を通じてコンピュータ装置200に受信されてよい。通信インタフェース230を通じて受信された信号や命令、データなどは、プロセッサ220やメモリ210に伝達されてよく、ファイルなどは、コンピュータ装置200がさらに含むことのできる記録媒体(上述した永続的記録装置)に記録されてよい。
入力/出力インタフェース240は、入力/出力装置250とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力/出力インタフェース240は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置250は、コンピュータ装置200と1つの装置で構成されてもよい。
また、他の実施形態において、コンピュータ装置200は、図2の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置200は、上述した入力/出力装置250のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、データベースなどのような他の構成要素をさらに含んでもよい。
図3は、本発明の一実施形態における、映像サービスを提供する過程の一例を示した図である。
図3は、配信サーバ310、エンコーダサーバ320、およびプレイヤ330をそれぞれ示している。ここで、配信サーバ310およびエンコーダサーバ320は、映像サービスを提供するためにサーバ装置においてインストールされて実行されるソフトウェアモジュールであってよい。また、プレイヤ330は、動画再生のためにユーザの端末装置においてインストールされて実行されるソフトウェアモジュールであってよい。ここで、ソフトウェアモジュールは、コンピュータ装置200においてインストールされて実行されるコンピュータプログラムに対応してよい。
図4を参照すると、配信サーバ310は、映像配信の役割を担うサーバ装置であって、例えば、録画および配信のためのOBS(open broadcaster software)モジュールを含んでよい。配信サーバ310は、単一配信環境において1つのカメラ301を利用して実現されてよく、1台のカメラ301で撮影された映像を単一チャネルでエンコーダサーバ320に伝達してよい。
カメラとは関係なく、オーディオチャネルは、同じ入力を使用してよく、オーディオも単一チャンネルのオーディオを使用してよい。
特に、1台のカメラ301だけで実現される単一配信環境において比較的低いビットレートで高画質映像を提供するために、配信サーバ310は、配信しようとする映像に対して関心領域は高画質映像で構成し、残りの領域は低画質映像で構成する映像再構成を実行した後、再構成された映像をシングルストリームでエンコーダサーバ320に伝達してよい。エンコーダサーバ320への送信情報には、再構成された映像と高画質領域に対する座標情報が含まれてよい。
図5は、本発明の一実施形態における、映像提供方法の一例を示したフローチャートである。
本実施形態に係る映像提供方法は、上述した配信サーバ310を実現するコンピュータ装置200によって実行されてよい。この場合、コンピュータ装置200のプロセッサ220は、メモリ210に含まれるオペレーティングシステムのコードと、少なくとも1つのプログラムのコードとによる制御命令(instruction)を実行するように実現されてよい。ここで、プロセッサ220は、コンピュータ装置200に記録されたコードが提供する制御命令にしたがってコンピュータ装置200が図5の方法に含まれる段階510~540を実行するようにコンピュータ装置200を制御してよい。
段階510で、コンピュータ装置200は、単一カメラで撮影された原本映像で関心領域(ROI)を設定してよい。関心領域は、手動設定方法によって、配信サーバ310側の管理者、すなわち、配信者によって直接設定されてよい。実施形態によっては、カメラのフォーカシング位置に対応する一定サイズの領域を関心領域として自動設定してもよい。また他の例として、コンピュータ装置200は、物体検出(object detection)アルゴリズムを利用したオブジェクト検出結果に基づいて関心領域を自動設定することも可能である。例えば、事前に定められたカテゴリやタイプのオブジェクトを検出し、このオブジェクトを含む一定サイズの領域を関心領域として設定してよい。
段階520で、コンピュータ装置200は、原本映像を利用して高画質映像と低画質映像を生成してよい。コンピュータ装置200は、原本映像のサイズ調整(scaling)によって高画質映像と低画質映像をそれぞれ生成してよい。このとき、コンピュータ装置200は、配信映像の最大解像度に基づいて、第1解像度である高画質映像の解像度と第1解像度よりも低い第2解像度である低画質映像の解像度を決定してよい。コンピュータ装置200は、原本映像を第1解像度と第2解像度にそれぞれダウンスケーリング(downscaling)し、第1解像度の映像は高画質映像として、第2解像度の映像は低画質映像として利用してよい。
段階530で、コンピュータ装置200は、高画質映像と低画質映像を利用して原本映像を再構成してよい。コンピュータ装置200は、高画質映像から関心領域に該当する部分を抽出し、低画質映像から残りの領域に該当する部分を抽出して、1つの映像となるように再構成してよい。すなわち、コンピュータ装置200は、関心領域は高画質映像で、残りの領域は低画質映像で構成する方法によって映像再構成を実行してよい。
段階540で、コンピュータ装置200は、再構成された映像をシングルストリームで配信してよい。コンピュータ装置200は、単一配信環境においてシングルストリームを使用し、最終配信映像において関心領域だけが高画質で再構成された映像をエンコーダサーバ320に伝達してよい。
図6~9は、本発明の一実施形態における、映像再構成過程を説明するための例示図である。
図6を参照すると、コンピュータ装置200は、原本映像600を、複数の領域に分割されたグリッド(grid)形態の映像(以下、「グリッド映像」という)610で提供してよい。このとき、グリッド映像から選択された特定の領域を関心領域601として設定してよい。
コンピュータ装置200は、UI/UX的に部分領域の選択が可能なグリッド映像610を出力し、グリッド映像610において配信者が希望する領域を関心領域601として設定してよい。
グリッド映像610は、事前に定められたグリッド形態で提供されてよく、例えば、2分割された2-グリッド映像、4分割された4-グリッド映像、9分割された9-グリッド映像などで提供されてよい。
グリッド映像610を提供するためのグリッド形態は、デフォルト設定されていてもよいし、複数のグリッド形態のうちで送信者によって選択されたグリッド形態が適用されてもよい。
実施形態によっては、原本映像600に基づいてグリッド形態が決定されることも可能である。例えば、映像のタイプ、映像内のオブジェクトの数や位置などによってグリッド形態が異なるように適用されてよい。
コンピュータ装置200は、配信者によって選択された領域を基準とし、固定的または可変的に関心領域601を設定してよい。
コンピュータ装置200は、配信者が初期に選択した位置の領域、例えば、左下端領域を固定位置とし、カメラの移動とは関係なく、この位置の領域を関心領域601として設定してよい。すなわち、カメラの視線が移動したとしても、映像の左下端領域が関心領域601として設定されるようになる。
実施形態によっては、配信者が初期に選択した位置の領域内のオブジェクトを基準オブジェクトとし、カメラの移動にともなって基準オブジェクトを追跡しながら基準オブジェクトが位置する領域を関心領域601として設定してよい。例えば、配信者が、ブーケが位置する左下端領域を初期関心領域として設定した場合、その後のカメラの移動にともなってブーケが映像の右上端でキャッチされたとすると、これにともなって関心領域601が右上端領域に変更されてよい。
コンピュータ装置200は、関心領域601の設定が完了すると、原本映像600を利用して高画質映像と低画質映像を生成してよい。
原本映像600、すなわち、カメラで撮影された映像が4K(2160×3840)であると仮定する。
コンピュータ装置200は、配信映像の最大解像度を設定してよく、例えば、1080pを最大解像度として設定してよい。これは、最終配信映像として再構成された映像の解像度が、最大解像度1080pと同じであるか、最大解像度1080pよりも低くなければならないことを意味する。
コンピュータ装置200は、配信映像の最大解像度に基づいて、高画質映像の解像度と低画質映像の解像度を決定してよい。高画質映像の解像度は最大解像度1080p未満でなければならず、高画質領域がどれだけ割り当てられるかによって低画質映像の解像度が決定されてよい。
例えば、図6に示すように、4つの領域に分割されたグリッド映像610で左下端領域が関心領域601として設定された場合、高画質映像の解像度は1440×2560(グリッドサイズ720×1280)、低画質映像の解像度は960×1280(グリッドサイズ480×640)に決定されてよい。
図7に示すように、コンピュータ装置200は、解像度が2160×3840の原本映像600をダウンスケールして高画質解像度1440×2560の映像700を生成してよい。
同様に、図8に示すように、コンピュータ装置200は、解像度が2160×3840の原本映像600をダウンスケールして低画質解像度960×1280の映像800を生成してよい。
次に、図9を参照すると、コンピュータ装置200は、原本映像600から生成された高画質映像700と低画質映像800を利用した映像再構成(composition)によって最終配信映像900を生成してよい。
より詳しく説明すると、コンピュータ装置200は、高画質映像700をグリッド映像610と同じグリッド形態に分割し、関心領域(左下端領域)に該当する高画質グリッド領域を抽出する。
この後、コンピュータ装置200は、低画質映像800をグリッド映像610と同じグリッド形態に分割し、関心領域以外の残りの領域(左上端領域、右上端領域、右下端領域)に該当する低画質グリッド領域を抽出する。
コンピュータ装置200は、高画質映像700から抽出されたグリッド領域と低画質映像800から抽出されたグリッド領域を最終配信映像900として再構成してよい。
このとき、再構成された最終配信映像900の合計は最大解像度以下であり、残りの領域は黒色で塗りつぶされてよい。
すなわち、コンピュータ装置200は、最終配信映像900として関心領域だけが高画質で再構成された映像をエンコーダサーバ320に伝達してよい。
コンピュータ装置200は、再構成された最終配信映像900の座標情報、すなわち、高画質グリッド領域と低画質グリッド領域それぞれの座標情報を生成し、最終配信映像900とともにエンコーダサーバ320に伝達してよい。
このとき、コンピュータ装置200は、シングルストリームで高画質グリッド領域と低画質グリッド領域を同時に送信してよい。
図10~11は、本発明の一実施形態における、映像再生過程を説明するための例示図である。
エンコーダサーバ320は、配信サーバ310から伝達された最終配信映像900と座標情報をプレイヤ330に中継する役割を担う。
図10を参照すると、プレイヤ330は、エンコーダサーバ320から送信された最終配信映像900と座標情報を参照しながら、シングルストリームから高画質グリッド領域1001と低画質グリッド領域1002を分離してよい。
プレイヤ330は、エンコーダサーバ320から受信した最終配信映像900に対して、高画質グリッド領域1001と低画質グリッド領域1002を分離するための座標情報を利用して後処理(post processing)を実行してよい。映像を提供するプラットフォームに応じて多様なグラフィックエンジン、例えば、OpenGLなどを使用して最終配信映像900を後処理してよい。
プレイヤ330は、図11に示すように、シングルストリームから分離された高画質グリッド領域1001と低画質グリッド領域1002を同じ比率で再結合してよい。プレイヤ330は、高画質グリッド領域1001をダウンスケーリングし、低画質グリッド領域1002をアップスケーリング(upscaling)することにより、同じ比率で再結合された映像1100を再生してよい。
プレイヤ330は、再結合映像1100を再生するときに、ユーザが再生中の再結合映像1100において関心領域に設定された部分を拡大したとしても、この部分については高画質の映像を出力することができる。
このように、本発明の実施形態によると、単一配信環境においてシングルストリームを使用して関心領域に対して高画質を提供し、それ以外の残りの領域に対して低画質を提供することにより、比較的低いビットレートでも高画質の映像をサービスすることができ、サービス品質(QoS)と体感品質(QoE)を保障することができる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータによって実行可能なプログラムを継続して記録するものであってもよいし、実行またはダウンロードのために一時的に記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続させる媒体はもちろん、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD-ROM、DVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令が記録されるように構成されたものが挙げられる。また、他の媒体の例として、アプリケーションを流通するアプリストアや、その他の多様なソフトウェアを供給したり流通したりするサイト、サーバなどで管理する記録媒体や格納媒体も含まれる。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付の特許請求の範囲に属する。
Claims (20)
- コンピュータ装置で実行される映像提供方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成される少なくとも1つのプロセッサを含み、
前記映像提供方法は、
前記少なくとも1つのプロセッサにより、原本映像で関心領域を設定する段階、
前記少なくとも1つのプロセッサにより、前記原本映像を利用して高画質映像と低画質映像を生成する段階、
前記少なくとも1つのプロセッサにより、前記高画質映像と前記低画質映像を利用して前記関心領域と前記関心領域以外の残りの領域を再構成する段階、および
前記少なくとも1つのプロセッサにより、再構成された前記関心領域と前記残りの領域をシングルストリームで配信する段階
を含む、映像提供方法。 - 前記映像提供方法は、
1台のカメラを利用した単一配信環境において前記高画質映像と前記低画質映像で再構成された映像を提供すること
を特徴とする、請求項1に記載の映像提供方法。 - 前記生成する段階は、
配信映像の最大解像度を設定する段階、
前記最大解像度に基づいて高画質解像度と低画質解像度を決定する段階、および
前記原本映像のサイズ調整によって前記高画質解像度の映像と前記低画質解像度の映像を生成する段階
を含む、請求項1に記載の映像提供方法。 - 前記再構成する段階は、
前記高画質映像から前記関心領域に該当する部分である高画質グリッド領域を抽出する段階、
前記低画質映像から前記残りの領域に該当する部分である低画質グリッド領域を抽出する段階、および
前記高画質グリッド領域と前記低画質グリッド領域を配信映像として再構成する段階
を含む、請求項1に記載の映像提供方法。 - 前記再構成する段階は、
前記関心領域と前記残りの領域を区分するための座標情報を生成する段階
をさらに含み、
前記配信する段階は、
前記再構成された映像と前記座標情報をプレイヤへの中継のためのエンコーダサーバに伝達する段階
を含む、請求項4に記載の映像提供方法。 - 前記再構成された配信映像は、前記シングルストリームを受信したプレイヤで前記関心領域と前記残りの領域に分離され、同じ比率で再結合された後に再生されること
を特徴とする、請求項4に記載の映像提供方法。 - 前記設定する段階は、
前記原本映像を、複数の領域に分割されたグリッド(grid)形態の映像であるグリッド映像として提供する段階、および
前記グリッド映像から選択された特定の領域を前記関心領域として設定する段階
を含む、請求項1に記載の映像提供方法。 - 前記提供する段階は、
複数のグリッド形態のうちで配信端管理者によって選択されたグリッド形態の映像を提供すること
を特徴とする、請求項7に記載の映像提供方法。
を特徴とする映像提供方法。 - 前記グリッド形態は、
前記原本映像のタイプまたは前記原本映像内のオブジェクトの数や位置に基づいて決定されること
を特徴とする、請求項7に記載の映像提供方法。 - 前記設定する段階は、
前記原本映像に対する物体検出によって、事前に定められたカテゴリや種類のオブジェクトを含む領域を前記関心領域として設定すること
を特徴とする、請求項1に記載の映像提供方法。 - 請求項1~10のうちのいずれか一項に記載の映像提供方法を前記コンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラム。
- コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成される少なくとも1つのプロセッサ
を含み、
前記少なくとも1つのプロセッサは、
原本映像で関心領域を設定し、
前記原本映像を利用して高画質映像と低画質映像を生成し、
前記高画質映像と前記低画質映像を利用して前記関心領域と前記関心領域以外の残りの領域を再構成し、
再構成された前記関心領域と前記残りの領域をシングルストリームで配信すること
を特徴とする、コンピュータ装置。 - 前記少なくとも1つのプロセッサは、
1つのカメラを利用した単一配信環境において、前記高画質映像と前記低画質映像で再構成された映像を提供すること
を特徴とする、請求項12に記載のコンピュータ装置。 - 前記少なくとも1つのプロセッサは、
配信映像の最大解像度を設定し、
前記最大解像度に基づいて高画質解像度と低画質解像度を決定し、
前記原本映像のサイズ調整によって前記高画質解像度の映像と前記低画質解像度の映像を生成すること
を特徴とする、請求項12に記載のコンピュータ装置。 - 前記少なくとも1つのプロセッサは、
前記高画質映像から前記関心領域に該当する部分である高画質グリッド領域を抽出し、
前記低画質映像から前記残りの領域に該当する部分である低画質グリッド領域を抽出し、
前記高画質グリッド領域と前記低画質グリッド領域を配信映像として再構成することを特徴とする、
請求項12に記載のコンピュータ装置。 - 前記少なくとも1つのプロセッサは、
前記関心領域と前記残りの領域を区分するための座標情報を生成し、
前記再構成された映像と前記座標情報をプレイヤへの中継のためのエンコーダサーバに伝達すること
を特徴とする、請求項15に記載のコンピュータ装置。 - 前記再構成された配信映像は、前記シングルストリームを受信したプレイヤで前記関心領域と前記残りの領域に分離され、同じ比率で再結合された後に再生されること
を特徴とする、請求項15に記載のコンピュータ装置。 - 前記少なくとも1つのプロセッサは、
前記原本映像を、複数の領域に分割されたグリッド形態の映像であるグリッド映像として提供した後、前記グリッド映像から選択された特定の領域を前記関心領域として設定すること
を特徴とする、請求項12に記載のコンピュータ装置。 - 前記少なくとも1つのプロセッサは、
前記原本映像のタイプまたは前記原本映像内のオブジェクトの数または位置に基づいて前記グリッド形態を決定すること
を特徴とする、請求項18に記載のコンピュータ装置。 - 前記少なくとも1つのプロセッサは、
前記原本映像に対する物体検出によって、事前に定められたカテゴリや種類のオブジェクトを含む領域を前記関心領域として設定すること
を特徴とする、請求項12に記載のコンピュータ装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210053517A KR102516831B1 (ko) | 2021-04-26 | 2021-04-26 | 싱글 스트림을 이용하여 관심 영역 고화질 영상을 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 |
KR10-2021-0053517 | 2021-04-26 | ||
PCT/KR2022/005936 WO2022231267A1 (ko) | 2021-04-26 | 2022-04-26 | 싱글 스트림을 이용하여 관심 영역 고화질 영상을 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024517702A true JP2024517702A (ja) | 2024-04-23 |
Family
ID=83848368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023565548A Pending JP2024517702A (ja) | 2021-04-26 | 2022-04-26 | シングルストリームを利用して関心領域の高画質映像を提供する方法、コンピュータ装置、およびコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240056549A1 (ja) |
JP (1) | JP2024517702A (ja) |
KR (1) | KR102516831B1 (ja) |
WO (1) | WO2022231267A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102497227B1 (ko) * | 2022-11-11 | 2023-02-08 | (주)아이브리지닷컴 | 심리스 동영상 스트리밍 재생 장치 및 그 방법 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496607B1 (en) * | 1998-06-26 | 2002-12-17 | Sarnoff Corporation | Method and apparatus for region-based allocation of processing resources and control of input image formation |
JP2013229806A (ja) * | 2012-04-26 | 2013-11-07 | Toshiba Corp | 遠隔点検装置および監視装置 |
KR102520957B1 (ko) * | 2016-04-15 | 2023-04-12 | 삼성전자주식회사 | 인코딩 장치, 디코딩 장치 및 이의 제어 방법 |
KR101964126B1 (ko) * | 2017-10-26 | 2019-04-01 | 주식회사 이누씨 | 고화질 동영상의 스트리밍 전송 장치 및 방법 |
KR102558166B1 (ko) * | 2018-08-08 | 2023-07-24 | 삼성전자주식회사 | 복수의 객체들을 포함하는 이미지를 보정하는 전자 장치 및 그 제어 방법 |
WO2020189817A1 (ko) * | 2019-03-19 | 2020-09-24 | 전자부품연구원 | 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템 |
-
2021
- 2021-04-26 KR KR1020210053517A patent/KR102516831B1/ko active IP Right Grant
-
2022
- 2022-04-26 JP JP2023565548A patent/JP2024517702A/ja active Pending
- 2022-04-26 WO PCT/KR2022/005936 patent/WO2022231267A1/ko active Application Filing
-
2023
- 2023-10-24 US US18/493,416 patent/US20240056549A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20220146801A (ko) | 2022-11-02 |
US20240056549A1 (en) | 2024-02-15 |
WO2022231267A1 (ko) | 2022-11-03 |
KR102516831B1 (ko) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6249419B2 (ja) | ユーザー介入なくレイアウトに従った画像識別及び編成 | |
CN107888987B (zh) | 一种全景视频播放方法及装置 | |
US11197038B2 (en) | Systems and methods for synchronizing surface data management operations for virtual reality | |
US9172943B2 (en) | Dynamic modification of video content at a set-top box device | |
US10699749B2 (en) | Methods and systems for customizing virtual reality data | |
CN114245228B (zh) | 页面链接投放方法、装置及电子设备 | |
CN111314773A (zh) | 录屏方法、装置、电子设备和计算机可读存储介质 | |
US20240007510A1 (en) | METHOD, SYSTEM, AND NON-TRANSITORY COMPUTER-READABLE RECORD MEDIUM FOR SHARING CONTENT DURING VoIP-BASED CALL | |
US11223662B2 (en) | Method, system, and non-transitory computer readable record medium for enhancing video quality of video call | |
JP6342526B2 (ja) | 生中継データを共有する方法およびシステム | |
US10970904B1 (en) | Interface layout using relative positioning | |
JP2024517702A (ja) | シングルストリームを利用して関心領域の高画質映像を提供する方法、コンピュータ装置、およびコンピュータプログラム | |
US9082108B2 (en) | Real time collaboration for digital scene creation | |
JP7471510B2 (ja) | ピクチャのビデオへの変換の方法、装置、機器および記憶媒体 | |
KR102134250B1 (ko) | 스트리밍 콘텐츠의 재생 방법 및 시스템 | |
US20230217047A1 (en) | Method, system, and computer-readable recording medium for implementing fast-switching mode between channels in multi-live transmission environment | |
JP7312858B2 (ja) | 多重ライブ配信環境でチャンネルのシームレス切り替えモードを実現する方法、システム、およびコンピュータ読み取り可能な記録媒体 | |
CN116112617A (zh) | 演播画面的处理方法、装置、电子设备及存储介质 | |
CN116437153A (zh) | 虚拟模型的预览方法、装置、电子设备及存储介质 | |
CN113038225B (zh) | 视频播放方法、装置、计算设备以及存储介质 | |
KR20130077246A (ko) | 스마트디바이스 상에서 파노라마 동영상 재생시 cpu에 의한 과도 처리 경감방법 및 과도 처리 경감시스템 | |
KR102228375B1 (ko) | 다수의 스트리밍 콘텐츠들을 재생하는 방법 및 시스템 | |
CN117319735A (zh) | 屏幕录制方法、装置、电子设备及存储介质 | |
Fang et al. | Design of Tile-Based VR Transcoding and Transmission System for Metaverse | |
CN117729299A (zh) | 一种图像转场的方法、装置及计算设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231025 |