[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102030128B1 - 기계학습을 이용한 무선 백홀망 자원할당방법 및 자원할당 장치 - Google Patents

기계학습을 이용한 무선 백홀망 자원할당방법 및 자원할당 장치 Download PDF

Info

Publication number
KR102030128B1
KR102030128B1 KR1020180024400A KR20180024400A KR102030128B1 KR 102030128 B1 KR102030128 B1 KR 102030128B1 KR 1020180024400 A KR1020180024400 A KR 1020180024400A KR 20180024400 A KR20180024400 A KR 20180024400A KR 102030128 B1 KR102030128 B1 KR 102030128B1
Authority
KR
South Korea
Prior art keywords
small base
base stations
wireless backhaul
neural network
csi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180024400A
Other languages
English (en)
Other versions
KR20190103681A (ko
Inventor
조동호
지동진
이혁준
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180024400A priority Critical patent/KR102030128B1/ko
Priority to US16/286,844 priority patent/US10805931B2/en
Publication of KR20190103681A publication Critical patent/KR20190103681A/ko
Application granted granted Critical
Publication of KR102030128B1 publication Critical patent/KR102030128B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/02—Resource partitioning among network components, e.g. reuse partitioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/54—Allocation or scheduling criteria for wireless resources based on quality criteria
    • H04W72/542—Allocation or scheduling criteria for wireless resources based on quality criteria using measured or perceived quality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0619—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal using feedback from receiving side
    • H04B7/0621—Feedback content
    • H04B7/0626—Channel coefficients, e.g. channel state information [CSI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/24—Cell structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/24—Cell structures
    • H04W16/32—Hierarchical cell structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003—Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/51—Allocation or scheduling criteria for wireless resources based on terminal or device properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)

Abstract

기계학습을 이용한 무선 백홀망 자원할당방법은 자원할당장치가 복수의 소형 기지국에서 측정한 CSI(Channel State Information)를 기준으로 상기 복수의 소형 기지국의 위치를 추정하는 단계 및 상기 자원할당장치가 상기 위치를 입력으로 삼는 강화학습 신경망을 이용하여 무선 백홀망에서 상기 복수의 소형 기지국에 대한 자원을 할당하는 단계를 포함한다.

Description

기계학습을 이용한 무선 백홀망 자원할당방법 및 자원할당 장치{RESOURCE ALLOCATING METHOD FOR WIRELESS BACKHAUL NETWORK AND APPARATUS BASED ON MACHINE LEARNING}
이하 설명하는 기술은 무선 백홀망에서의 자원할당기법에 관한 것이다.
스마트폰과 IoT 디바이스 등 인터넷에 연결된 장비들의 수와 요구 대역폭이 폭발적으로 증가하고 있다. 이에 따라 복수의 소형 기지국이 각각 작은 범위를 서비스하여 총 용량을 바약적으로 증가시키는 밀집 네트워크(Dense Network)가 제안되었다.
복수의 소형 기지국에 대한 백홀(Backhaul)을 유선으로 설치하면 복잡도와 경제성에서의 문제가 있다. 따라서 복수의 소형 기지국을 하나의 강력한 초광역 무선 백홀망으로 지원하는 기술이 제안되었다. 초광역 무선 백홀망은 3단계 빔포밍을 통하여 그룹 빔, 세밀 빔과 이에 기반한 다중 스트림 무선 통신을 지원하는 기술이다. 아날로그 빔포밍을 이용하여 큰 그룹 빔을 형성하여, 그룹 빔 내부에서 디지털 빔포밍을 이용하여 세밀 빔을 형성하고, 각 세밀 빔을 이용하여 각 기지국과 다중 스트림 무선 통신을 지원하는 기술이다. 하지만, 디지털 빔포밍을 통해 그룹 빔 내에 세밀 빔을 형성할 때 어떤 방식으로 세밀 빔의 위치를 결정하고 자원을 배분할 지에 대한 방법이 존재하지 않는다.
고성원, 김효지, 이주용, 조동호, "대형 어레이 안테나 기반 초광역 무선 백홀망 시스템", 한국통신학회논문지 제40권 제7호, 2015.7, 1354-1362 페이지
모든 소형 기지국의 채널 상황을 고려하여 빔 포밍을 진행할 수 있다(Full digital beamforming). 하지만, 이러한 방식은 소형 기지국 중에 이동 기지국이 있어 채널 상황이 조금이라도 변화하거나 소형 기지국의 수가 많다면 문제를 발생시킨다.
이하 설명하는 기술은 초광역 무선 백홀망에서 이동 기지국이 포함된 복수의 소형 기지국에 대한 자원을 할당하는 기법을 제공하자고 한다.
기계학습을 이용한 무선 백홀망 자원할당방법은 자원할당장치가 복수의 소형 기지국에서 측정한 CSI(Channel State Information)를 기준으로 상기 복수의 소형 기지국의 위치를 추정하는 단계 및 상기 자원할당장치가 상기 위치를 입력으로 삼는 강화학습 신경망을 이용하여 무선 백홀망에서 상기 복수의 소형 기지국에 대한 자원을 할당하는 단계를 포함한다.
기계학습을 이용한 무선 백홀망 자원할당장치는 복수의 소형 기지국이 측정한 CSI(Channel State Information)를 수신하는 통신장치, 복수의 CSI를 이용하여 상기 복수의 소형 기지국의 위치를 추정하는 제1 신경망 및 추정된 상기 위치를 기준으로 강화학습을 이용하여 상기 복수의 소형 기지국에 대한 자원 할당을 결정하는 제2 신경망을 저장하는 저장장치 및 상기 CSI를 상기 제1 신경망에 입력하여 상기 복수의 소형 기지국의 위치를 추정하고, 상기 추정된 위치를 상기 제2 신경망에 입력하여 결정되는 현재 상태에 대한 보상을 기준으로 무선 백홀망에서 상기 복수의 소형 기지국에 대한 자원 할당을 결정하는 연산장치를 포함한다.
이하 설명하는 기술은 무선 백홀망 전체 안테나가 아닌 일부 안테나에 대한 부분적인 CSI(Channel State Information)를 이용하여 비교적 낮은 복잡도로 소형 기지국에 대한 정확한 위치를 추정한다. 이하 설명하는 기술은 신경망을 이용하여 CSI 기반으로 소형 기지국에 대한 위치를 정확하게 추정한다. 이하 설명하는 기술은 강화학습 기반의 Q 러닝(Deep Q-learning)을 이용하여 낮은 복잡도로 복수의 소형 기지국에 대한 자원을 할당한다.
도 1은 무선 백홀망을 이용한 복수의 소형 기지국에 대한 예이다.
도 2는 무선 백홀망을 이용한 자원할당방법에 대한 순서도의 예이다.
도 3은 소형 기지국 위치 추정을 위한 신경망 구성 과정에 대한 예이다.
도 4는 소형 기지국에서 측정하는 CSI에 대한 예이다.
도 5는 신경망을 이용하여 소형 기지국 위치를 추정하는 과정에 대한 순서도의 예이다.
도 6은 소형 기지국 위치 추정에 사용되는 신경망에 대한 예이다.
도 7은 강화학습 신경망을 이용한 자원할당에 대한 순서도의 예이다.
도 8은 강화학습에서 사용하는 상태에 대한 예이다.
도 9는 강화학습 신경망에 대한 예이다.
도 10은 자원할당장치의 구성을 도시한 블록도의 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
도 1은 무선 백홀망을 이용한 복수의 소형 기지국에 대한 예이다. 도 1은 무선 백홀장치(50)가 복수의 소형 기지국(11, 12, 13 및 14)에 무선 백홀망을 제공한다. 도 1은 복수의 소형 기지국 중 설명의 편의를 위해 4개를 도시하였다.
소형 기지국은 무선 백홀망으로부터 자원을 할당받아 커버리지에 위치하는 사용자(단말)에 네트워크 서비스를 제공한다. 소형 기지국은 소형셀(small cell)에 커버리지를 제공한다. 소형 기지국은 제공 가능한 커버리지 크기에 따라서 펨토셀, 피코셀 등 다양한 이름으로 불릴 수 있다. 소형 기지국은 고정된 기지국일 수도 있고, 이동하는 기지국일 수도 있다.
무선 백홀장치(50)는 특정 통신 방식에 따라 소형 기지국(11, 12, 13 및 14)에 무선 자원을 제공한다. 통신 방식은 LTE, 3G 등 다양할 수 있다. 무선 백홀장치(50)는 아날로그 빔포밍을 사용하여 큰 그룹 빔을 제공하고, 디지털 빔포밍을 이용하여 그룹 빔 내에서 세밀 빔을 형성할 수 있다. 다만 이하 설명하는 기술이 무선 백홀장치(50)가 제공하는 빔의 크기, 종류 등에 한정되지 않는다. 다만 설명의 편의를 위하여 도 1에서 소형 기지국(11, 12, 13 및 14)은 하나의 그룹 빔에 속한다고 가정한다. 따라서 이하 설명하는 기술은 디지털 빔포밍에 따른 세밀 빔으로 도 1에 도시한 소형 기지국에 자원을 제공한다고 가정한다.
도 1(A)는 무선 백홀장치(50)와 소형 기지국(11, 12, 13 및 14)만을 도시하였다. 도 1(A)에서 무선 백홀장치(50)가 소형 기지국(11, 12, 13 및 14)에 대한 자원할당을 관리할 수 있다. 도 1(B)는 무선 백홀 장치, 소형 기지국(11, 12, 13 및 14) 및 제어 장치(80)를 도시한다. 도 1(B)에서는 제어 장치(80)가 주어진 정보를 바탕으로 소형 기지국(11, 12, 13 및 14)에 대한 무선 자원을 할당할 수 있다. 제어 장치(80)는 코어망에 속한 장치일 수 있다. 또는 제어 장치(80)는 무선 백홀장치(50)에 부가된 개별 장치일 수도 있다. 이하 설명의 편의를 위하여 자원할당장치가 소형 기지국들에 대한 자원을 할당을 결정한다고 설명한다. 이하 설명하는 자원할당장치는 전술한 무선 백홀장치(50) 또는 제어 장치(80)일 수 있다. 자원할당장치는 소형 기지국의 위치 추정 및 자원할당을 위한 값 결정을 위하여 기계 학습 모델을 이용한다. 자원할당장치가 활용할 수 있는 기계 학습 모델은 다양할 수 있다. 예컨대, 자원할당장치는 신경망과 같은 학습 모델을 이용할 수 있다.
도 2는 무선 백홀망을 이용한 자원할당방법(100)에 대한 순서도의 예이다. 먼저 소형 기지국이 CSI를 측정한다(110). 복수의 소형 기지국은 각각 CSI를 측정한다. 소형 기지국은 측정하는 CSI는 두 가지 종류이다. 소형 기지국은 자신의 무선 백홀망에 대한 CSI(이하 제1 CSI)와 이웃하는 소형 기지국 사이의 CSI(이하 제2 CSI)를 측정한다.
자원할당장치는 소형 기지국에서 측정한 CSI에 기반하여 소형 기지국의 위치를 추정한다(120). 전술한 바와 같이 소형 기지국은 이동가능한 기지국일 수 있다. 이러한 경우를 고려하여 자원할당장치는 먼저 소형 기지국의 현재 위치를 추정한다. 후술하겠지만 자원할당장치는 사전에 학습된 신경망(Neural Network)을 이용하여 소형 기지국의 위치를 추정할 수 있다. 자원할당장치는 복수의 소형 기지국 각각에 대한 위치를 추정할 수 있다.
자원할당장치는 추정된 소형 기지국의 위치를 기반으로 복수의 소형 기지국에 세밀 빔 및 자원을 결정한다(130). 후술하겠지만 자원할당장치는 강화학습에 기반한 신경망을 이용하여 복수의 소형 기지국에 대한 자원을 할당할 수 있다. 강화학습에 사용되는 요소는 상태(state), 행동(action) 및 보상(reward)이다. 자원할당장치는 소형 기지국 위치를 기준으로 상태를 정의하고, 이에 따른 행동 및 행동에 따른 보상을 결정한다.
먼저 소형 기지국의 위치를 추정하는 과정에 대하여 살펴본다. 전술한 바와 같이 자원할당장치는 사전에 학습한 신경망을 이용하여 소형 기지국의 위치를 추정할 수 있다. 신경망을 마련하는 장치는 자원할당장치일 수도 있고, 다른 별도의 장치일 수 있다. 다만 설명의 편의를 위하여 자원할당장치가 신경망을 마련한다고 가정하고 설명한다. 도 3은 소형 기지국 위치 추정을 위한 신경망 구성 과정(200)에 대한 예이다.
자원할당장치는 CSI 정보 및 위치 정보를 포함하는 훈련 데이터를 신경망에 입력한다(210). CSI 정보는 신경망에 입력되는 정보이고, 위치 정보는 신경망이 출력하는 정보이다. 자원할당장치는 신경망에 CSI 정보를 입력하여 소형 기지국의 위치를 결정한다(220). 자원할당장치는 신경망에서 출력되는 위치와 훈련 데이터에 포함된 실제 위치를 비교하면서 신경망의 파라미터에 대한 가중치를 조절한다(230). 신경망의 가중치 조절은 다양한 기법이 활용될 수 있다. 예컨대, 자원할당장치는 확률 그라디언트 하강(Stochastic Gradient Descent)과 같은 기법을 사용하여 가중치를 조절할 수 있다. 확률 그라디언트 하강은 일부 입력 데이터를 샘플로 하여 그라디언트를 업데이트하는 방법이다.
자원할당장치는 신경망에서 출력되는 값의 에러율이 기준값 미만이라면 신경망 구축을 완료한다(예컨대, 에러율이 1% 미만). 신경망에서 출력되는 위치에 대한 에러율이 기준값 이상이라면 자원할당장치는 반복적으로 신경망을 학습하는 과정을 반복한다(240). 기준값은 자원할당을 위해서 필요한 정도의 위치 정확도를 확보할 수 있는 값에 해당한다.
종래의 무선 신호를 위한 위치 측정 시스템들은 일반적으로 RSSI (Received Signal Strength Indicator)를 사용하여 삼각 측량법을 사용하거나, MIMO 시스템의 경우 무선 신호의 AOA (Angle Of Arrival)을 이용해서 수신단의 위치를 측정하였다. 하지만, 종래 사용되고 있는 시스템들은 신호의 세기만을 이용하고 위상을 이용하지 않아 다중 경로(Multipath)의 특성을 모두 반영하고 있지 않으며, 그로 기인하여 위치 정확도가 떨어지게 된다.
이하 설명하는 자원할당장치는 두 가지 종류의 CSI 정보를 이용하여 소형 기지국의 위치를 추정한다. 다른 말로 하면 신경망은 두 가지 종류의 CSI 정보를 입력값으로 삼아 소형 기지국의 위치를 추정한다. 두 가지 종류의 CSI 정보는 무선 백홀망에 대한 CSI(제1 CSI)와 이웃 소형 기지국 사이의 CSI(제2 CSI)이다. 도 4는 소형 기지국에서 측정하는 CSI에 대한 예이다. 도 4(A)는 소형 기지국(11, 12, 13 및 14)이 자신의 무선 백홀망에 대한 제1 CSI를 측정하는 예이다. 소형 기지국(11, 12, 13 및 14) 각각은 백홀망에서 송신된 기준 신호를 기준으로 자신의 백홀망에 대한 제1 CSI를 계산한다. 다만 백홀망의 모든 안테나가 기준 신호를 송신한다면 CSI 측정을 위한 복잡도가 너무 높아질 수 있다. 따라서 무선 백홀 장치는 복잡도가 충분히 높지 않은 적절한 개수(예컨대, 5개)의 안테나를 통해서만 기준 신호를 송신할 수 있다. 기준 신호를 송신하는 안테나의 개수 등은 시스템 성능이나 통신 상황에 따라 동적으로 달라질 수 있다. 도 4(A)는 소형 기지국(11 및 12)이 무선 백홀 장치(50)에서 A 영역에 위치한 안테나로부터만 기준 신호를 수신하는 예를 도시한다. 또 도 4(A)는 소형 기지국(13 및 14)이 무선 백홀 장치(50)에서 B 영역에 위치한 안테나로부터만 기준 신호를 수신하는 예를 도시한다. 기준 신호를 송신하는 안테나는 특정 영역에 위치한 안테나 또는 랜덤한 특정 개수의 안테나일 수 있다. 결국 소형 기지국(11, 12, 13 및 14)은 무선 백홀망에 대한 부분적인 CSI를 측정한다고 할 수 있다.
또 소형 기지국(11, 12, 13 및 14)은 인접한 이웃 소형 기지국 사이의 제2 CSI를 측정한다. 도 4(B)는 소형 기지국(11, 12, 13 및 14)이 자신에 인접한 이웃 기지국과의 사이에서의 CSI(제2 CSI)를 측정하는 예이다. 이웃 소형 기지국의 범위(거리)는 설정에 따라 달라질 수 있다. 제2 CSI에 대한 충분한 정확도를 보장하면서, 일정한 시간 내에 CSI를 측정할 수 있는 범위가 바람직하다.
도 5는 신경망을 이용하여 소형 기지국 위치를 추정하는 과정(300)에 대한 순서도의 예이다. 소형 기지국 각각은 무선 백홀망의 일부 안테나가 송신하는 기준 신호를 이용하여 무선 백홀망에 대한 제1 CSI를 측정한다(310). 자원할당 대상이 되는 소형 기지국 모두에 대하여 제1 CSI가 측정되었는지 확인한다(320). 이때 제1 CSI가 측정되어야 하는 소형 기지국들은 하나의 그룹 빔에 속한 기지국일 수 있다. 소형 기지국들은 각각 이웃하는 다른 소형 기지국 사이의 제2 CSI를 측정한다(330). 도 5는 제1 CSI를 측정하고, 이후 제2 CSI를 측정한다고 도시하였지만, 제1 CSI와 제2 CSI 측정에 순서대로 되어야 하는 것은 아니다. 따라서 제2 CSI를 측정하고, 이후 제1 CSI를 측정해도 된다. 소형 기지국들은 각각 자신이 측정한 제1 CSI와 제2 CSI를 무선 백홀장치에 전송한다(340). 자원할당장치는 전달받은 제1 CSI와 제2 CSI를 사전에 학습한 신경망에 입력하여 소형 기지국(들)에 대한 위치를 추정한다(350).
도 6은 소형 기지국 위치 추정에 사용되는 신경망에 대한 예이다. 도 6은 RNN(Recurrent Neural Network)을 예로 도시하였다. 신경망은 다양한 형태( topology)를 사용할 수 있다. 특히 RNN은 CSI 정보 특성을 반영하기에 적당하다. RNN은 어떤 시점의 대상 기지국의 CSI정보를 입력받는다. 입력되는 CSI 정보는 전술한 제1 CSI와 제2 CSI를 포함한다. RNN의 특징 중 하나는 다른 인공 신경망들과는 다르게 이전의 상태에 대한 기억(데이터)이 존재한다는 점이다. 이는 도 6의 각 R 모듈 간의 화살표로 나타낼 수 있다. 예를 들어, 도 6에서 기지국이 특정 시점에 특정 지점에 위치할 때, 이후 RNN이 기지국의 다음 위치를 측정할 때 기지국의 전 위치에 대한 정보를 활용한다. 이러한 RNN 특징은 실시간으로 위치를 추적하는 현 상황에 매우 알맞다. 예를 들어, 소형 기지국이 특정 지점에 있다면 이후 인접한 시점에 해당 소형 기지국은 이전에 위치한 지점의 근처에 있을 확률이 높다. 따라서 이러한 특성을 반영한 RNN이 소형 기지국 위치 추정에 대한 정확도가 높을 수 있다.
한편 위치 추정에 사용되는 신경망을 이하 제1 신경망이라고 명명한다. 후술한 강화합습 기반의 신경망은 제2 신경망이라고 구분한다.
자원할당장치는 소형 기지국에 대한 추정된 위치를 이용하여 이후 각 소형 기지국에 대한 자원을 할당한다. 실제 통신 환경은 다양한 경우의 수가 있으며, 이 모든 경우의 수를 고려하여 휴리스틱(heuristic)한 방법을 찾는 것은 불가능에 가깝다. 따라서 자원할당장치는 각 상황에서 취할 수 있는 행동(action)과 그에 따른 보상(reward)을 학습하여 주어진 상황에 제일 적합한 결과값을 출력할 수 있는 강화 학습을 사용할 수 있다.
Q-학습(Q-learning)이란 기본적으로 환경(environment), 에이전트(agent), 상태(state), 행동(action), 보상(reward)으로 구성된 강화 학습 알고리즘이다. 먼저 에이전트(자원할당장치)가 행동을 취함으로서 에이전트는 새로운 상태를 생성할 수 있다. 에이전트가 취한 행동에 대해 환경으로부터 두 가지 보상(즉각 보상과 미래 보상)을 받게 된다. 즉각 보상은 에이전트가 취한 행동에 대해 발생하는 즉각적인 보상이고, 미래 보상은 행동으로 인해 나타나는 미래 환경에 대한 보상을 말한다. 결국 에이전트의 최종 목표는 두 가지 보상을 최대로 받을 수 있도록 Q (quality)값을 업데이트 하는 것이다. Q-학습에서 가장 중요한 것은 Q 값이다. 이 값은 현재 주어진 상황과 취할 행동에 대한 함수로, 주어진 상황에서 어떤 행동을 취하였을 때 그 행동의 가치의 정도를 나타낸다. 즉, 주어진 상황에서 Q값이 높은 행동은 최종적으로 더 큰 이득을 보는 것이다. Q-학습에서 가장 기본이 되는 Q값을 단계에 따라 갱신하는 식은 아래 수학식 1과 같다.
Figure 112018020731882-pat00001
여기서 Q는 각 상태의 퀄리티, s는 시간별 상태, a는 행동, r은 보상을 의미한다. s는 현재 소형 기지국의 분포 상황과 요구 통신량이 되고, a는 백홀망의 자원 배분 현황이 된다. Q값은 현재 분포 상황과 자원 배분 현황이 얼마나 잘 부합하는지에 대한 함수가 된다. γ는 discount factor로 0에서 1사이의 값을 가지며 0에 가까우면 현재, 1에 가까울수록 미래에 대한 보상의 중요성을 강조하게 된다. αt 는 학습율로 0에서 1사이의 값을 가지며 Q 값의 학습율을 결정한다. 예로 αt = 0 이면 에이전트 학습을 하지 않는다. αt = 1이면 가장 최근의 정보를 활용하여 에이전트가 학습한다. 에이전트는 과거 Q 값을 통해 학습을 해야하므로 αt = 1로 설정한다고 가정한다.
다만 종래의 Q-learning은 모든 가능한 상황에 대한 Q값을 저장해야 하는 특성이 있어, 가능한 상황이 무한히 많은 실제 통신 상황에 적용하기에는 어려움이 따른다. 실제 통신 상황은 다양한 기지국과 사용자, 요구되는 통신량 등이 있는데, 이러한 항목들이 변경되면 다른 상태가 된다. 이렇게 많은 상황에 대해 개별적으로 Q값을 저장한다면 저장 공간과 계산 복잡도가 지수함수적으로 증가하게 된다. 위 문제를 해결하기 위해 DQN(Deep Q-network)이라는 방법이 제안되었다. DQN은 Q-learning에서 각 상황 별 Q값을 저장하는 부분을 신경망으로 대체하는 방법이다. DQN은 Q-학습(learning) 기술에 가치 네트워크(value network)를 추가하여 더 넓은 상태 공간 상에서 강화 학습을 진행하는 알고리즘이다. DQN에 사용되는 신경망은 충분한 수의 계층(layer)을 가진다면 임의의 어떤 함수도 충분히 정확하게 근사할 수 있는 특징을 가진다. 즉, Q-학습에서 상황 별로 Q값을 저장하는 것이 아닌, 상황과 Q값 사이의 함수를 근사하는 방법을 통하여 Q값을 결정한다. 자원할당장치는 DQN을 이용하여 소형 기지국에 대한 자원을 할당한다. DQN은 전술한 제2 신경망에 해당한다.
도 7은 강화학습 신경망을 이용한 자원할당 과정(700)에 대한 순서도의 예이다. 도 7은 자원할당장치가 DQN을 사용하여 소형 기지국에 자원을 할당하는 개략적인 과정에 대한 예이다. 자원할당장치는 서비스 종류, 네트워크 상황 등에 맞는 적절한 보상 함수를 사전에 설정할 수 있다(410). 보상 함수에 대해서는 후술한다. 자원할당장치는 소형 기지국의 위치를 기준으로 현재 상태를 확인한다(420). 자원할당장치는 현재 상태를 사전에 학습한 DQN에 입력하여 Q 값을 획득한다(430). 자원할당장치는 Q 값에 따라 특정한 자원 할당이라는 행동을 결정한다(440). 이후 자원할당장치는 행동에 따른 보상을 연산한다(450). 자원할당장치는 현재 행동에 따른 보상이 이전에 연산된 보상(이전 행동에 대한 보상)을 비교한다(460). 자원할당장치는 현재 행동에 따른 보상이 이전 보상보다 큰 경우 소형 기지국에 할당되는 자원을 변경한다(470).
상태, 행동 및 보상을 설계하려면 초광역 무선 백홀망의 통신 상황을 고려할 필요가 있다. 통신 상황인 상태는 소형 기지국들의 분포와 요구 통신량이 될 수 있다. 행동은 자원과 세밀 빔의 배분(할당) 현황이 될 수 있다. 보상은 현 통신망의 용량이 될 수 있다. 나아가 보상 부분을 다른 요소를 고려하여 다양한 통신 환경에 맞는 서비스를 수행할 수도 있다.
도 8은 강화학습에서 사용하는 상태에 대한 예이다. 도 8은 소형 기지국 5개가 하나의 그룹 빔 내부에 분포한 상황을 보여준다. 이 때, 상태는 아래 수학식 2와 같이 각 소형 기지국의 분포 상황과 요구 용량으로 정해질 수 있다.
Figure 112018020731882-pat00002
수학식 2에서 X={x1,x2,x3…xn }, Y={y1,y2,y3…yn },Z={z1,z2,z3…zn}은 각각 그룹 빔 내 소형 기지국의 시간 t에서의 x,y,z 좌표이이다. C는 각 소형 기지국들의 요구 용량이다. 여기서 CSI를 사용하지 않은 이유는 이후 과정에서 세밀 빔을 할당한 후 소형 기지국의 위치가 변경되면 CSI도 변경되기 때문이다. 즉, 상태가 행동에 의해 변경되기 때문이다.
자원할당장치가 취하는 행동은 세밀 빔과 자원의 할당이다. 예를 들어, n개의 세밀 빔과 총 배분 가능한 자원 R이 있다면 시간 t에서 행동(A(t))은 아래 수학식 3과 같이 주어진다.
Figure 112018020731882-pat00003
한편 보상은 다양한 값을 기준으로 설계할 수 있다. 예컨대, 소형 기지국이 사용할 평균 용량을 증대하면서 다양한 변수들을 최적화 할 수 있는 보상을 설계할 수 있다. 아래 수학식 4는 보상 함수에 대한 예이다.
Figure 112018020731882-pat00004
여기서 Cavg는 네트워크 전체의 평균 용량, Iavg는 전체 소형 기지국들이 관측하는 평균 간섭 정도, Cmin%는 네트워크 사용량이 하위 min%인 기지국들의 평균 용량, Etot는 통신에 사용되는 총 에너지이다. Iavg는 빔 간의 간섭에 따른 값이다. Cmin%는 네트워크 사용이 일정한 기준 % 이하인 기지국들의 평균 용량을 의미한다. 예컨대, Cmin10%는 네트워크 사용이 하위 10%인 기지국들의 평균 용량에 해당한다. 이하 설명의 편의를 위해 기준값이 10%라고 가정한다.
α,β 및 γ는 가중치이다. α,β,γ는 각 변수들의 중요도를 정의하는 변수로서, 값이 클수록 뒤의 변수를 중요하게 고려한다. 예를 들어, α의 값이 크다면 간섭이 조금 있더라도 보상 값이 크게 줄게 되는데, 이는 평균 용량을 희생하더라도 간섭을 크게 줄인다. β의 경우는 네트워크 사용량이 하위 10% 기지국들의 용량에 대한 변수로서, β가 커질수록 네트워크의 용량의 편차를 줄이는 방향으로 자원을 배분한다는 뜻이 된다. γ의 경우는 총 소비 에너지에 대한 변수로서, γ가 커진다면 에너지를 최소한으로 사용하여 통신을 진행한다. 결국 자원할당장치는 보상 함수에서 α,β 및 γ 가중치의 값을 조절하여 서비스 성격이나 네트워크 상황에 맞는 자원할당을 할 수 있다.
DQN도 사전에 학습되어야 한다. 간략하게 설명하면 자원할당장치는 현재 상태 S(t)를 확인한다. 에이전트는 DQN을 이용하여 Q 값을 획득한다. 자원할당장치는 Q 값에 따라 할당한 자원 형태를 결정하는 행동을 선택한다. 자원할당장치는 이후 행동에 따른 보상을 관찰한다. 학습이 종료되지 않았다면 자원할당장치는 자신의 행동과 그에 따른 보상을 저장한다. 이 과정을 학습이 종료될 때까지 반복한다. 이 과정을 통해 자원할당장치는 자원할당을 위한 DQN을 마련한다. 자원할당장치는 실제 환경에서 자원을 할당 하면서 학습을 수행할 수 있다. 또한 자원할당장치는 사전에 학습을 하기 위해 일정한 샘플 데이터를 이용할 수 있다.
도 9는 강화학습 신경망에 대한 예이다. 도 9는 CNN(Convolutional Neural Network) 구조를 갖는 DQN에 대한 예이다. 도 9은 DQN에 대한 하나의 예이고, 다른 구조를 갖는 다양한 신경망이 이용될 수 있다. CNN은 몇 개의 컨볼루션 계층(convolutional layer)과 몇 개의 완전연결 계층(fully connected layer)으로 이루어진다. 컨볼루션 계층은 컨볼루션 마스크(mask)와 공유 가중치(shared weights)를 통해 관찰된 상태에서 특징을 추출해낸다. 컨볼루션 계층들을 중첩함으로써 더욱 더 복잡한 특징들을 찾아낼 수 있다. 이렇게 찾아낸 복잡한 특징들을 이용하여 완전연결 계층으로 Q 값을 도출할 수 있다.
도 9에서 첫 컨볼루션 계층는 현재 소형 기지국의 위치와 요구되는 통신 용량을 입력으로 받는다. 이 계층은 5*5의 컨볼루션 마스크를 사용하여 낮은 수준의 특징(low level feature)들을 찾아낸다. 낮은 수준의 특징은 예를 들어 어떤 두 AP 장치 사이의 단말 분포 및 밀도 등의 간단한 특징들을 뜻한다. 이후의 두 계층은 3*3의 컨볼루션 마스크를 사용하여 높은 수준의 특징(high level feature)들을 찾아낸다. 마지막 계층에서는 2*2 최대 풀링을 진행한다. 최대 풀링은 n*n 마스크 내에서 최대값 하나만을 남기는 작업인데, 이는 데이터를 줄여 정확도를 낮추는 작업으로 보일 수 있다. 이 계층 이후에는 모든 출력 값을 완전연결 계층에 입력하게 된다. 완전연결 계층은 첫 계층의 차원이 1000, 이후 100 그리고 10개의 차원을 가질 수 있다. 이는 점진적으로 뉴런의 출력 값의 개수를 줄여서 중요한 특징만을 남기기 위함이다. 마지막에는 복수의 출력값을 하나의 뉴런에 모아 Q값을 도출하게 된다.
도 10은 자원할당장치(500)의 구성을 도시한 블록도의 예이다. 전술한 바와 같이 무선 백홀장치(50) 또는 별도의 제어 장치(80)가 자원할당장치(500)가 될 수 있다. 자원할당장치(500)는 통신 장치(510), 저장 장치(520) 및 연산 장치(530)를 포함한다.
통신 장치(510)는 복수의 소형 기지국이 각각 측정한 CSI 정보를 수신한다. 여기서 CSI 정보는 제1 CSI 및 제2 CSI를 포함한다. 통신 장치(510)는 소형 기지국으로부터 직접 또는 다른 객체를 경유하여 CSI 정보를 수신할 수 있다. 통신 장치(510)는 CSI 정보를 전달받는 통신 방식에 따른 통신 모듈을 포함할 수 있다. 나아가 통신 장치(510)가 무선으로 CSI 정보를 수신하는 경우 안테나를 포함할 수도 있다.
저장 장치(520)는 전술한 제1 신경망 및 제2 신경망을 저장한다. 제1 신경망 및 제2 신경망은 각각 사전에 학습된 것이다. 제1 신경망은 소형 기지국이 측정한 CSI를 이용하여 소형 기지국의 위치를 추정한다. 제2 신경망은 추정된 상기 위치를 기준으로 강화학습을 이용하여 상기 복수의 소형 기지국에 대한 자원 할당을 결정한다. 나아가 저장 장치(520)는 수신한 CSI 정보, 소형 기지국의 위치, 소형 기지국에 대한 자원 할당에 대한 정보를 저장할 수 있다. 저장 장치(520)는 하드디스크, 플래시메모리 등과 같은 장치로 구현될 수 있다.
연산 장치(530)는 수신하는 정보 및 저장 장치(520)에 저장된 신경망을 이용하여 소형 기지국에 대한 자원 할당을 결정할 수 있다. 연산 장치(530)는 CSI를 제1 신경망에 입력하여 복수의 소형 기지국의 위치를 추정한다. 연산 장치(530)는 추정된 복수의 소형 기지국의 위치 기준으로 소형 기지국에 대한 상태와 행동을 결정한다. 행동은 소형 기지국에 대한 자원할당을 의미한다. 또 연산 장치(530)는 현재 상태 행동의 보상과 직전 보상을 비교하면서 소형 기지국에 대한 자원할당을 변경할 수 있다. 연산 장치(530)는 소형 기지국 위치 추정 및 자원 할당에 대한 프로그램을 저장하는 메모리, 데이터 및 정보 처리를 위한 프로세서를 포함할 수 있다.
또한, 상술한 바와 같은 무선 백홀망 자원할당방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
11, 12, 13, 14 : 소형 기지국
50 : 무선 백홀 장치
80 : 제어 장치
500 : 자원할당장치
510 : 통신 장치
520 : 저장 장치
530 : 연산 장치

Claims (15)

  1. 자원할당장치가 복수의 소형 기지국에서 측정한 CSI(Channel State Information)를 기준으로 상기 복수의 소형 기지국의 위치를 추정하는 단계; 및
    상기 자원할당장치가 상기 위치를 입력으로 삼는 강화학습 신경망을 이용하여 무선 백홀망에서 상기 복수의 소형 기지국에 대한 자원을 할당하는 단계를 포함하되,
    상기 자원할당장치는 상기 복수의 소형 기지국이 각각 측정한 제1 CSI 및 상기 복수의 소형 기지국 중 인접한 이웃 기지국 사이에서 측정한 제2 CSI를 사전에 학습한 제1 신경망에 입력하여 상기 위치를 추정하는 기계학습을 이용한 무선 백홀망 자원할당방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 신경망은 RNN(Recurrent Neural Network)인 기계학습을 이용한 무선 백홀망 자원할당방법.
  4. 제1항에 있어서,
    상기 제1 CSI는 상기 무선 백홀망의 안테나 중 일부 안테나에서 송신한 기준 신호를 이용하여 측정되는 기계학습을 이용한 무선 백홀망 자원할당방법.
  5. 제1항에 있어서,
    상기 강화학습 신경망은 상기 복수의 소형 기지국 각각의 위치 및 요구되는 통신 용량을 상태(state)로 정의하는 기계학습을 이용한 무선 백홀망 자원할당방법.
  6. 제1항에 있어서,
    상기 강화학습 신경망은 초광역 무선 백홀망에서 지원하는 복수의 세밀 빔 및 배분 가능한 자원을 상기 복수의 소형 기지국 중 적어도 하나에 할당하는 행동(action)을 갖는 기계학습을 이용한 무선 백홀망 자원할당방법.
  7. 제1항에 있어서,
    상기 강화학습 신경망은 네트워크 전체의 평균 용량, 복수의 소형 기지국에서 측정되는 평균 간섭 정도, 상기 복수의 소형 기지국에서 서비스 받는 사용자 일부의 평균 용량 및 통신에 사용되는 전체 에너지 중 적어도 하나를 기준으로 보상(reward)을 결정하는 기계학습을 이용한 무선 백홀망 자원할당방법.
  8. 제1항에 있어서,
    상기 자원할당장치는 아래 수학식을 사용하여 결정되는 보상(Rt+1)을 사용하여 상기 복수의 소형 기지국에 대한 자원을 할당하는 기계학습을 이용한 무선 백홀망 자원할당방법.
    Figure 112018020731882-pat00005

    (여기서 Cavg는 네트워크 전체의 평균 용량, Iavg는 전체 소형 기지국들이 관측하는 평균 간섭 정도, Cmin%는 네트워크 사용량이 하위 min%인 기지국들의 평균 용량, Etot는 통신에 사용되는 총 에너지, α,β 및 γ는 가중치)
  9. 복수의 소형 기지국이 측정한 CSI(Channel State Information)를 수신하는 통신장치;
    복수의 CSI를 이용하여 상기 복수의 소형 기지국의 위치를 추정하는 제1 신경망 및 추정된 상기 위치를 기준으로 강화학습을 이용하여 상기 복수의 소형 기지국에 대한 자원 할당을 결정하는 제2 신경망을 저장하는 저장장치; 및
    상기 CSI를 상기 제1 신경망에 입력하여 상기 복수의 소형 기지국의 위치를 추정하고, 상기 추정된 위치를 상기 제2 신경망에 입력하여 결정되는 현재 상태에 대한 보상을 기준으로 무선 백홀망에서 상기 복수의 소형 기지국에 대한 자원 할당을 결정하는 연산장치를 포함하는 기계학습을 이용한 무선 백홀망 자원할당장치.
  10. 제9항에 있어서,
    상기 제1 신경망은 RNN(Recurrent Neural Network)인 기계학습을 이용한 무선 백홀망 자원할당장치.
  11. 제9항에 있어서,
    상기 CSI는 상기 무선 백홀망에서 송신한 기준 신호를 이용하여 상기 복수의 소형 기지국이 각각 측정한 제1 CSI 및 상기 복수의 소형 기지국 중 인접한 이웃 기지국 사이에서 측정한 제2 CSI를 포함하는 기계학습을 이용한 무선 백홀망 자원할당장치.
  12. 제11항에 있어서,
    상기 제1 CSI는 상기 상기 무선 백홀망의 안테나 중 일부 안테나에서 송신한 기준 신호를 이용하여 측정되는 기계학습을 이용한 무선 백홀망 자원할당장치.
  13. 제9항에 있어서,
    상기 강화학습에서 사용되는 상태는 상기 복수의 소형 기지국 각각의 위치 및 요구되는 통신 용량으로 정의되는 기계학습을 이용한 무선 백홀망 자원할당장치.
  14. 제9항에 있어서,
    상기 연산 장치는 신경망은 네트워크 전체의 평균 용량, 복수의 소형 기지국에서 측정되는 평균 간섭 정도, 상기 복수의 소형 기지국에서 서비스 받는 사용자 일부의 평균 용량 및 통신에 사용되는 전체 에너지 중 적어도 하나를 기준으로 상기 보상을 결정하는 기계학습을 이용한 무선 백홀망 자원할당장치.
  15. 제9항에 있어서,
    상기 연산 장치는 직전 상태의 보상과 상기 현재 상태의 보상을 기준으로 초광역 무선 백홀망에서 지원하는 복수의 세밀 빔 및 배분 가능한 자원을 상기 복수의 소형 기지국 중 적어도 하나에 할당하는 기계학습을 이용한 무선 백홀망 자원할당장치.
KR1020180024400A 2018-02-28 2018-02-28 기계학습을 이용한 무선 백홀망 자원할당방법 및 자원할당 장치 Active KR102030128B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180024400A KR102030128B1 (ko) 2018-02-28 2018-02-28 기계학습을 이용한 무선 백홀망 자원할당방법 및 자원할당 장치
US16/286,844 US10805931B2 (en) 2018-02-28 2019-02-27 Resource allocation method and apparatus for wireless backhaul network based on reinforcement learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180024400A KR102030128B1 (ko) 2018-02-28 2018-02-28 기계학습을 이용한 무선 백홀망 자원할당방법 및 자원할당 장치

Publications (2)

Publication Number Publication Date
KR20190103681A KR20190103681A (ko) 2019-09-05
KR102030128B1 true KR102030128B1 (ko) 2019-11-08

Family

ID=67684933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180024400A Active KR102030128B1 (ko) 2018-02-28 2018-02-28 기계학습을 이용한 무선 백홀망 자원할당방법 및 자원할당 장치

Country Status (2)

Country Link
US (1) US10805931B2 (ko)
KR (1) KR102030128B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210138947A (ko) 2020-05-13 2021-11-22 한양대학교 에리카산학협력단 다중채널 자원할당 방법 및 시스템
WO2022145551A1 (ko) * 2020-12-29 2022-07-07 엘지전자 주식회사 지능적 신호 송수신 방법 및 이를 위한 장치
US20220417948A1 (en) * 2021-06-23 2022-12-29 Microsoft Technology Licensing, Llc Learned scheduler for flexible radio resource allocation to applications
US11576119B2 (en) 2020-05-25 2023-02-07 Samsung Electronics Co., Ltd. Method and apparatus for power control for network energy optimization
KR20230143329A (ko) 2022-04-05 2023-10-12 금오공과대학교 산학협력단 통신 자원 최적화를 위한 다층 강화 학습 양자 신경망
US12153953B2 (en) 2021-04-08 2024-11-26 International Business Machines Corporation Intelligent identification of an execution environment

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102174190B1 (ko) * 2019-09-09 2020-11-04 주식회사 맥데이타 5g 기반의 네트워크 성능 시각화 방법, 장치 및 시스템
US11678272B2 (en) * 2019-10-30 2023-06-13 University Of Ottawa System and method for joint power and resource allocation using reinforcement learning
EP4135438A4 (en) * 2020-04-10 2023-06-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Resource allocation method, device, apparatus, and storage medium
CN111464869B (zh) * 2020-04-21 2022-06-14 海信视像科技股份有限公司 一种运动位置检测方法、屏幕亮度调节方法及智能设备
CN111726811B (zh) * 2020-05-26 2023-11-14 国网浙江省电力有限公司嘉兴供电公司 一种用于认知无线网络的切片资源分配方法及系统
CN112165344B (zh) * 2020-09-16 2021-09-21 杭州电子科技大学 一种基于梯度下降法的混合预编码方法
US11910203B2 (en) * 2020-09-24 2024-02-20 Qualcomm Incorporated Radio (NR) adaptation of cellular network configuration in response to machine learning based weather prediction
CN114390580B (zh) * 2020-10-20 2024-10-15 维沃移动通信有限公司 波束上报方法、波束信息确定方法及相关设备
CN113242602B (zh) * 2021-05-10 2022-04-22 内蒙古大学 毫米波大规模mimo-noma系统资源分配方法及系统
KR102728319B1 (ko) * 2021-05-31 2024-11-07 포항공과대학교 산학협력단 순환신경망을 이용한 이종 네트워크 자원 할당 방법 및 장치
CN114079953B (zh) * 2021-10-28 2023-05-23 深圳大学 无线网络系统的资源调度方法、装置、终端及存储介质
KR102626094B1 (ko) * 2021-11-22 2024-01-16 아주대학교산학협력단 무선 통신을 위한 dqn 기반 자원관리 방법
KR102530179B1 (ko) * 2021-12-06 2023-05-10 홍익대학교 산학협력단 강화학습 기반 hvac 제어 방법
CN118975302A (zh) * 2022-04-01 2024-11-15 高通股份有限公司 用于至少部分地基于动态网络改变的机器学习方案改变的技术
CN115173922B (zh) * 2022-06-30 2024-03-15 深圳泓越信息科技有限公司 基于cmaddqn网络的多波束卫星通信系统资源分配方法
CN115460699B (zh) * 2022-07-18 2024-10-22 北京交通大学 一种基于深度强化学习的无线传输空时频资源配置方法
KR102561345B1 (ko) * 2023-02-02 2023-07-27 홍익대학교 산학협력단 Drqn 기반 hvac 제어 방법 및 장치
KR102733783B1 (ko) * 2023-02-03 2024-11-25 홍익대학교 산학협력단 Lstm을 이용한 hvac 제어 방법 및 장치
CN116193608B (zh) * 2023-02-22 2024-08-06 重庆理工大学 基于深度强化学习的6g密集组网无交叠干扰资源分配方法
CN119450501A (zh) * 2023-07-28 2025-02-14 北京三星通信技术研究有限公司 通信方法及对应的设备
CN117835441B (zh) * 2024-01-11 2024-10-18 阳光凯讯(北京)科技股份有限公司 一种基于深度强化学习的5g/6g无线资源智能分配方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042897A (ja) * 2006-07-13 2008-02-21 Nec Commun Syst Ltd 資源割当装置、集中制御装置、無線基地局、無線通信システム、資源割当方法及び資源割当プログラム
US20130143541A1 (en) * 2011-12-06 2013-06-06 At&T Mobility Ii Llc Centralized femtocell optimization
KR101415670B1 (ko) * 2012-07-03 2014-07-04 한국과학기술원 편파 특성을 이용한 빔/편파 자원 할당 시스템 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102958057B (zh) * 2011-08-25 2015-08-19 华为技术有限公司 一种动态频谱优化方法、装置及系统
DE112017006689T5 (de) * 2016-12-30 2019-09-12 Intel Corporation Verfahren und vorrichtungen zur funkkommunikation
US10375585B2 (en) * 2017-07-06 2019-08-06 Futurwei Technologies, Inc. System and method for deep learning and wireless network optimization using deep learning
WO2019098910A1 (en) * 2017-11-16 2019-05-23 Telefonaktiebolaget Lm Ericsson (Publ) Target link ranking in a wireless communication network
US11153229B2 (en) * 2018-01-19 2021-10-19 Ciena Corporation Autonomic resource partitions for adaptive networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008042897A (ja) * 2006-07-13 2008-02-21 Nec Commun Syst Ltd 資源割当装置、集中制御装置、無線基地局、無線通信システム、資源割当方法及び資源割当プログラム
US20130143541A1 (en) * 2011-12-06 2013-06-06 At&T Mobility Ii Llc Centralized femtocell optimization
KR101415670B1 (ko) * 2012-07-03 2014-07-04 한국과학기술원 편파 특성을 이용한 빔/편파 자원 할당 시스템 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210138947A (ko) 2020-05-13 2021-11-22 한양대학교 에리카산학협력단 다중채널 자원할당 방법 및 시스템
KR20220058509A (ko) 2020-05-13 2022-05-09 한양대학교 에리카산학협력단 다중채널 자원할당 방법 및 시스템
US11576119B2 (en) 2020-05-25 2023-02-07 Samsung Electronics Co., Ltd. Method and apparatus for power control for network energy optimization
WO2022145551A1 (ko) * 2020-12-29 2022-07-07 엘지전자 주식회사 지능적 신호 송수신 방법 및 이를 위한 장치
US12153953B2 (en) 2021-04-08 2024-11-26 International Business Machines Corporation Intelligent identification of an execution environment
US20220417948A1 (en) * 2021-06-23 2022-12-29 Microsoft Technology Licensing, Llc Learned scheduler for flexible radio resource allocation to applications
US12069704B2 (en) * 2021-06-23 2024-08-20 Microsoft Technology Licensing, LLP Learned scheduler for flexible radio resource allocation to applications
KR20230143329A (ko) 2022-04-05 2023-10-12 금오공과대학교 산학협력단 통신 자원 최적화를 위한 다층 강화 학습 양자 신경망

Also Published As

Publication number Publication date
US20190268894A1 (en) 2019-08-29
US10805931B2 (en) 2020-10-13
KR20190103681A (ko) 2019-09-05

Similar Documents

Publication Publication Date Title
KR102030128B1 (ko) 기계학습을 이용한 무선 백홀망 자원할당방법 및 자원할당 장치
JP7279856B2 (ja) 方法及び装置
WO2021171341A1 (ja) 通信品質を予測するシステム、装置、方法及びプログラム
Lunden et al. Multiagent reinforcement learning based spectrum sensing policies for cognitive radio networks
JP7511957B2 (ja) ビームインデックスマップに基づくインテリジェント反射面の通信ビーム選択方法
CN112738883B (zh) 一种空中基站位置确定方法及装置
Cao et al. Deep reinforcement learning for multi-user access control in UAV networks
CN112422346A (zh) 一种考虑多资源限制的变周期移动边缘计算卸载决策方法
CN116321434A (zh) 一种模型训练、上行资源占用方法、装置、设备及介质
JP6751069B2 (ja) 無線リソース設計装置、無線リソース設計方法、及びプログラム
JP2016136714A (ja) 無線通信利用状況測定方法
CN116261210B (zh) 功率控制参数的选择
KR20250020958A (ko) UAV 기반 IoT 네트워크에서의 D2D 스케쥴링 방법 및 그 장치
Van de Velde et al. Comparison of message passing algorithms for cooperative localization under NLOS conditions
JP6065011B2 (ja) 通信装置、通信方法、及び、プログラム
KR101475082B1 (ko) 가상 단말을 이용한 규칙 기반의 무선망 최적화 방법
JP7412381B2 (ja) 特徴量データ生成装置、無線利用予測システム、特徴量データ生成方法及びコンピュータプログラム
Ali Lodhi et al. Enhanced adaptive data rate strategies for energy‐efficient Internet of Things communication in LoRaWAN
JP2022018880A (ja) 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム
CN116017717B (zh) 一种无人系统集群网络中的混合式智能频谱管理方法
CN114697974B (zh) 网络覆盖优化方法、装置、电子设备及存储介质
CN119277469B (zh) 一种超视距自组网通信系统及方法
JP7534638B2 (ja) 端末制御システム、制御装置、端末制御方法、および、端末制御プログラム
US20250182633A1 (en) Method and system for utilizing traffic information in unmanned aerial vehicle communication system
CN103781164B (zh) 功率控制方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180228

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190317

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190925

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191001

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191001

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220922

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20231010

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20241002

Start annual number: 6

End annual number: 6