[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN117835259A - 波束管理方法、装置、电子设备及计算机可读存储介质 - Google Patents

波束管理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN117835259A
CN117835259A CN202311715679.8A CN202311715679A CN117835259A CN 117835259 A CN117835259 A CN 117835259A CN 202311715679 A CN202311715679 A CN 202311715679A CN 117835259 A CN117835259 A CN 117835259A
Authority
CN
China
Prior art keywords
receiving
reference signal
beams
receive
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311715679.8A
Other languages
English (en)
Inventor
张逸炎
王翯
沈嵩辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202311715679.8A priority Critical patent/CN117835259A/zh
Publication of CN117835259A publication Critical patent/CN117835259A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0408—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas using two or more beams, i.e. beam diversity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/318—Received signal strength
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/24—Cell structures
    • H04W16/28—Cell structures using beam steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0617—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal for beam forming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0684—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission using different training sequences per antenna
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0686—Hybrid systems, i.e. switching and simultaneous transmission
    • H04B7/0695—Hybrid systems, i.e. switching and simultaneous transmission using beam selection
    • H04B7/06952—Selecting one or more beams from a plurality of beams, e.g. beam training, management or sweeping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/08—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the receiving station
    • H04B7/0868—Hybrid systems, i.e. switching and combining
    • H04B7/088—Hybrid systems, i.e. switching and combining using beam selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/003—Arrangements for allocating sub-channels of the transmission path
    • H04L5/0048—Allocation of pilot signals, i.e. of signals known to the receiver
    • H04L5/0051—Allocation of pilot signals, i.e. of signals known to the receiver of dedicated pilots, i.e. pilots destined for a single user or terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Radio Transmission System (AREA)

Abstract

本申请涉及无线通信技术领域，公开了一种波束管理方法、装置、电子设备及计算机可读存储介质，其中，波束管理方法包括：用户设备UE通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；接着通过预定的机器学习模型对各个参考信号接收功率分别进行分析；接着根据分析结果，确定与发送波束相应的波束管理方式。本申请实施例的方法，使得用户设备可以及时追踪到当前的波束状态，极大提高当前波束失配检测的时效性及重新波束的准确性，确保UE无论在何种变化环境下都能够通过波束切换来维持良好的链路质量，极大降低UE所处环境对UE波束选择的影响。

Description

波束管理方法、装置、电子设备及计算机可读存储介质
本申请为申请号为201910407862.9，申请日为2019年05月16日，发明名称为“波束管理方法、装置、电子设备及计算机可读存储介质”的发明专利申请的分案申请。
技术领域
本申请涉及无线通信技术领域，具体而言，本申请涉及一种波束管理方法、装置、电子设备及计算机可读存储介质。
背景技术
在移动宽带无线通信系统中，为了提升系统的通信性能，在基站和移动台两端都会使用波束赋形的信号处理技术，通过空间复用，降低干扰等方法提升通信性能。在新一代蜂窝移动通信系统中(5G and beyond)，使用毫米波波段进行通信使得能够大幅提升发射接收信号功率的波束赋形技术得到了更广泛的应用。在毫米波通信中，由于其显著高于低频段载波的传播路径损耗的特征，使得波束赋形技术的使用几乎成为必然。
在毫米波中使用的波束赋形，由于成形的波束需要弥补高额传播损耗，成形的波束的具有方向性增益较高，而波束宽度较窄的特性。因而毫米波波束实际在的三维空间中可以工作的角度范围非常小，一旦离开特定的高功率增益范围，就无法提供必要的功率增益。因而，在通信的信号收发两端，都会使用复数个波束去尽可能的覆盖整个三维空间，以保证在任何可能的工作角度上都会有合适的波束产生较大的信号增益。在通信期间，收发信机都会根据当前的信道状态去选择并成形最合适的方向的波束。
考虑到移动通信的特性，用户设备(User Equipment，UE)的状态、位置以及周围的环境会不断发生变化，导致最优的用作通信的波束也会实时的不断变化。用户设备需要根据情况的变化及时的选择切换合适的波束以维持高质量的通信链路，否则就会造成链路中断，信号传输速度大幅降低甚至终止的可能。
波束管理即是为了解决波束赋形中出现的波束失去匹配，以及波束的重新选择等一系列问题的解决方案。波束管理算法可以及时发现或者预测到收发波束对失去匹配，并且为用户设备及时地重新进行最优波束的选择，以维持长时间的好的链路通信质量。
造成收发波束对失去匹配的主要原因可能有三个，包括用户设备自身的转动、所处位置的变化以及周围环境的变化(如障碍物的遮挡)。因此对于一般的移动设备在通常条件下，非常容易出现波束对的失配。此时，波束管理主要需要解决的问题是：尽早发现波束对的失配，并通过及时的最优波束的预测以及重选来降低链路中断的情况的概率。
目前解决此类问题的现有技术，为朴素的接收波束扫描。该方法会周期性的触发接收波束扫描，即依次遍历每一个接收波束，去测量接收发射波束上发出的参考信号的接收功率大小，根据测量到的接收功率大小，重新选择测量过的波束中，接收功率最大的波束作为当前数据传输的波束，并进行当前激活波束的切换。
然而，此种方法产生的效果并不理想，每次进行波束扫描的整个过程时间非常长，即使发现了波束对的失配也是在波束已经失配之后产生的，更重要的是由于扫描时间长，重选的波束在测量结束后，并不一定仍是最优波束，导致选择的准确率低、效果较差及依旧很可能造成链路的中断等。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案：
一方面，提供了一种波束管理方法，包括：
用户设备UE通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
通过预定的机器学习模型对各个参考信号接收功率分别进行分析；
根据分析结果，确定与发送波束相应的波束管理方式。
具体地，UE通过至少两个接收波束接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率，包括：
基于当前的波束形状及预定选取规则，确定至少两个接收波束；
通过至少两个接收波束接收多次参考信号，并确定相应的多个参考信号接收功率。
具体地，该至少两个接收波束包括第一接收波束以及覆盖第一接收波束的范围的第二接收波束。
具体地，第一接收波束包括UE的激活波束和/或预定的接收波束。
具体地，第一接收波束和第二接收波束的对应关系随UE的天线阵列配置变化而变化。
进一步地，UE通过至少两个接收波束分别接收发送波束发送的参考信号包括：
确定第一接收波束与第二接收波束的接收波束比例以及第一接收波束与第二接收波束的接收波束顺序；
依据接收波束比例及接收波束顺序，依次通过确定出的至少一个第一接收波束以及确定出的第二接收波束，接收相应的参考信号，并确定接收到的参考信号的参考信号接收功率。
进一步地，UE通过至少两个接收波束分别接收发送波束发送的参考信号包括：
交替通过第一接收波束以及第二接收波束，测量N1次参考信号，其中第一接收波束为激活波束；
当UE检测到其转动速度超出阈值时，交替通过第一接收波束以及第二接收波束，测量N2次参考信号，其中第一接收波束包括多个预定的接收波束；
当UE检测到其被遮挡时，通过第一接收波束以及对应的第二接收波束，测量N3次参考信号，其中，第一接收波束以及第二接收波束的测量比例为预定比例，第一接收波束包括多个预定的接收波束和激活波束；
N1、N2和N3均为正整数。
进一步地，分析结果包括以下至少一项：
UE每个接收波束的波束状态的预测值；
UE每个接收波束的评价值；
UE各个接收波束分别对应的排序结果；
最佳接收波束的候选集合；
接收波束为激活波束时的长期收益值；
待测量的波束以及测量的顺序；
待使用的波束赋形码本。
进一步地，在通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理之前，还包括：
根据预定排列方式对多个参考信号接收功率进行排列；以及，
对多个参考信号接收功率分别进行数据预处理。
进一步地，数据预处理包括以下至少一项：
增加偏置；第一预定比例的数据缩小；第二预定比例的数据放大；增加偏置和第一预定比例的数据缩小；增加偏置和第二预定比例的数据放大。
进一步地，预定的机器学习模型包括基于强化学习中的Q学习模型，其中Q函数使用人工神经网络模型，所述神经网络模型的隐层包括双向长短期记忆网络模型。
进一步地，机器学习模型的训练方法包括：
获取预定数量的原始数据；
基于预定的强化学习方法对原始数据进行处理，得到对应的训练数据；
基于训练数据对机器学习模型进行训练，得到训练后的机器学习模型。
进一步地，该方法还包括：
基于波束管理方式进行相应的波束管理；
基于波束管理的处理结果，对预定的机器学习模型的相应参数进行调整，以优化机器学习模型。
进一步地，确定与发送波束相应的波束管理方式，包括以下至少一项：
确定在预定时刻切换接收波束；
将当前接收波束切换到通过波束状态和/或评价值确定出的待切换接收波束；
保持当前接收波束不变；
是否切换波束；
通过波束状态和/或评价值确定下一个或多个测量周期的接收波束；
是否切换波束与编码码本。
进一步地，UE处于载波聚合状态，包括多个载波分量时，每一载波分量具有相对应的机器学习模型；
用户设备UE通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率，包括：
针对每一载波分量，UE通过与任一载波分量对应的至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理，包括：
通过任一载波分量相对应的机器学习模型，对各个参考信号接收功率分别进行分析处理。
进一步地，确定接收波束的方式，包括：
基于各个载波分量的码本，确定各个载波分量分别对应的波束形状；
基于确定出的确定各个载波分量分别对应波束形状及各个载波分量的预定选取规则，确定各个载波分量分别对应的至少两个接收波束。
进一步地，当UE接收多个发送波束上分别发送的多个参考信号时，
用户设备UE通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率，包括：
针对任一发送波束，UE通过至少两个接收波束分别接收任一发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理，包括：
针对任一发送波束，通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理；
根据分析处理结果，确定与发送波束相应的波束管理方式，包括：
针对任一发送波束，确定与任一发送波束相应的波束管理方式；
其中，该方法还包括：
当接收到来自任一发送波束的传输数据时，根据与任一发送波束相应的波束管理方式进行相应的波束管理。
进一步地，该方法还包括：
当检测到传输数据的发送波束发生切换时，基于切换后的传输数据的发送波束的波束管理方式进行相应的波束管理。
另一方面，提供了一种用户设备，包括：
处理模块，用于通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
分析模块，用于通过预定的机器学习模型对各个参考信号接收功率分别进行分析；
确定模块，用于根据分析结果，确定与发送波束相应的波束管理方式。
具体地，处理模块包括第一确定子模块与第二确定子模块；
第一确定子模块，用于基于当前的波束形状及预定选取规则，确定至少两个接收波束；
第二确定子模块，用于通过至少两个接收波束接收多次参考信号，并确定相应的多个参考信号接收功率。
具体地，至少两个接收波束包括第一接收波束以及覆盖第一接收波束的范围的第二接收波束。
具体地，第一接收波束包括UE的激活波束和/或预定的接收波束。
具体地，第一接收波束和第二接收波束的对应关系随UE的天线阵列配置变化而变化。
进一步地，处理模块包括第三确定子模块与第四确定子模块；
第三确定子模块，用于确定第一接收波束与第二接收波束的接收波束比例以及第一接收波束与第二接收波束的接收波束顺序；
第四确定子模块，用于依据接收波束比例及接收波束顺序，依次通过确定出的至少一个第一接收波束以及确定出的第二接收波束，接收相应的参考信号，并确定接收到的参考信号的参考信号接收功率。
进一步地，处理模块包括第一测量子模块、第二测量子模块与第三测量子模块；
第一测量子模块，用于交替通过第一接收波束以及第二接收波束，测量N1次参考信号，其中第一接收波束为激活波束；
第二测量子模块，用于当UE检测到其转动速度超出阈值时，交替通过第一接收波束以及第二接收波束，测量N2次参考信号，其中第一接收波束包括多个预定的接收波束；
第三测量子模块，用于当UE检测到其被遮挡时，通过第一接收波束以及对应的第二接收波束，测量N3次参考信号，其中，第一接收波束以及第二接收波束的测量比例为预定比例，第一接收波束包括多个预定的接收波束和激活波束；
N1、N2和N3均为正整数。
进一步地，分析结果包括以下至少一项：
UE每个接收波束的波束状态的预测值；
UE每个接收波束的评价值；
UE各个接收波束分别对应的排序结果；
最佳接收波束的候选集合；
接收波束为激活波束时的长期收益值；
待测量的波束以及测量的顺序；
待使用的波束赋形码本。
进一步地，该装置还包括排列模块与数据预处理模块；
排列模块，用于根据预定排列方式对多个参考信号接收功率进行排列；以及，
数据预处理模块，用于对多个参考信号接收功率分别进行数据预处理。
进一步地，数据预处理包括以下至少一项：
增加偏置；第一预定比例的数据缩小；第二预定比例的数据放大；增加偏置和第一预定比例的数据缩小；增加偏置和第二预定比例的数据放大。
进一步地，预定的机器学习模型包括基于强化学习中的Q学习模型，其中Q函数使用人工神经网络模型，所述神经网络模型的隐层包括双向长短期记忆网络模型。
进一步地，该装置还包括训练模块；
训练模块用于获取预定数量的原始数据；以及用于基于预定的强化学习方法对原始数据进行处理，得到对应的训练数据；以及用于基于训练数据对机器学习模型进行训练，得到训练后的机器学习模型。
进一步地，该装置还包括第一波束管理模块与调整模块；
第一波束管理模块，用于基于波束管理方式进行相应的波束管理；
调整模块，用于基于波束管理的处理结果，对预定的机器学习模型的相应参数进行调整，以优化机器学习模型。
进一步地，确定模块具体用于执行以下至少一项：
确定在预定时刻切换接收波束；
将当前接收波束切换到通过波束状态和/或评价值确定出的待切换接收波束；
保持当前接收波束不变；
是否切换波束；
通过波束状态和/或评价值确定下一个或多个测量周期的接收波束；
是否切换波束与编码码本。
进一步地，UE处于载波聚合状态，包括多个载波分量时，每一载波分量具有相对应的机器学习模型；
处理模块具体用于针对每一载波分量，UE通过与任一载波分量对应的至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
分析模块具体用于通过任一载波分量相对应的机器学习模型，对各个参考信号接收功率分别进行分析处理。
进一步地，处理模块具体用于基于各个载波分量的码本，确定各个载波分量分别对应的波束形状；以及用于基于确定出的确定各个载波分量分别对应波束形状及各个载波分量的预定选取规则，确定各个载波分量分别对应的至少两个接收波束。
进一步地，当UE接收多个发送波束上分别发送的多个参考信号时，处理模块具体用于针对任一发送波束，UE通过至少两个接收波束分别接收任一发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
分析模块具体用于针对任一发送波束，通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理；
确定模块具体用于针对任一发送波束，确定与任一发送波束相应的波束管理方式；
其中，该装置还包括第二波束管理模块；
第二波束管理模块，用于当接收到来自任一发送波束的传输数据时，根据与任一发送波束相应的波束管理方式进行相应的波束管理。
进一步地，该装置还包括第三波束管理模块；
第三波束管理模块，用于当检测到传输数据的发送波束发生切换时，基于切换后的传输数据的发送波束的波束管理方式进行相应的波束管理。
另一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述的波束管理方法。
另一方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的波束管理方法。
本申请实施例提供的波束管理方法，通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率，以及通过预定的机器学习模型对各个参考信号接收功率分别进行分析，来确定出与发送波束相应的波束管理方式，从而可以借助预定的机器学习模型，快速、准确地根据发送波束确定出相应的波束管理方式，使得用户设备可以及时追踪到当前的波束状态，极大提高当前波束失配检测的时效性及重选波束的准确性，确保UE无论在何种变化环境下，都能够通过不断的追踪并且切换到满足通信要求的波束，维持良好的通信链路的质量，极大降低UE所处环境对UE波束选择的影响。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例的波束处理方法的流程示意图；
图2为本申请实施例的收发波束及波束分布示意图；
图3为本申请实施例的UE在每个测量周期内通过一个波束接收基站发送的参考信号的示意图；
图4为本申请实施例的波束形状以及窄波束与宽波束之间的对应关系示意图；
图5为本申请实施例的用户设备在不同环境下的参考信号接收功率的测量示意图；
图6为本申请实施例的机器学习处理模型将输入数据映射为输出结果的示意图；
图7为本申请实施例的基于强化学习的Q函数的神经网络模型的示意图；
图8为本申请实施例的机器学习模块的训练过程、网络预测及波束管理决策之间的关系示意图；
图9为本申请实施例的用户设备接收多个发送波束发送的多个参考信号的示意图；
图10为本申请实施例用户设备基于多载波聚合接收发送波束的多个参考信号的示意图；
图11为本申请实施例的波束处理装置的基本结构示意图；
图12为本申请实施例的波束处理装置的详细结构示意图；
图13为本申请实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请的发明人在具体实现过程中发现，目前解决波束对失去匹配的现有技术，存在如下几个问题：
1.扫描波束的过程很长，取决于需要扫描波束的数量(目前，UE的波束可能有16、32、或64个等)以及发送的参考信号的频率，用户设备无法及时的追踪波束状态；
2.用户设备检测到波束失配的时间太晚，此时可能已经发生了链路中断；
3.即使进行了接收波束的重新选择，重选的波束为过去时刻的最优波束，并不适用于当前状态，选择的波束的准确率较低；
4.此方法无法针对不同的场景进行特定的优化，而且此方法流程严重的受到所处场景的影响，对于身处快速变化的环境的用户设
备，波束选择和维持良好链路质量的效果会更差。
本申请提供的波束管理方法、装置、电子设备及计算机可读存储介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请一个实施例提供了一种波束管理方法，如图1所示，该方法包括：步骤S110，用户设备UE通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；步骤S120，通过预定的机器学习模型对各个参考信号接收功率分别进行分析；步骤S130，根据分析结果，确定与发送波束相应的波束管理方式。
本申请实施例提供的波束管理方法，通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率，以及通过预定的机器学习模型对各个参考信号接收功率分别进行分析，来确定出与发送波束相应的波束管理方式，从而可以借助预定的机器学习模型，快速、准确地根据发送波束确定出相应的波束管理方式，使得用户设备可以及时追踪到当前的波束状态，极大提高当前波束失配检测的时效性及重选波束的准确性，确保UE无论在何种变化环境下，都能够通过不断的追踪并且切换到满足通信要求的波束，维持良好的通信链路的质量，极大降低UE所处环境对UE波束选择的影响。
在本申请一个实施例的一种可能的实现方式中，UE通过至少两个接收波束接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率，包括：
基于当前的波束形状及预定选取规则，确定至少两个接收波束；
通过至少两个接收波束接收多次参考信号，并确定相应的多个参考信号接收功率。
具体地，该至少两个接收波束包括第一接收波束以及覆盖第一接收波束的范围的第二接收波束。
具体地，第一接收波束包括UE的激活波束和/或预定的接收波束。
具体地，第一接收波束和第二接收波束的对应关系随UE的天线阵列配置变化而变化。
进一步地，UE通过至少两个接收波束分别接收发送波束发送的参考信号包括：
确定第一接收波束与第二接收波束的接收波束比例以及第一接收波束与第二接收波束的接收波束顺序；
依据接收波束比例及接收波束顺序，依次通过确定出的至少一个第一接收波束以及确定出的第二接收波束，接收相应的参考信号，并确定接收到的参考信号的参考信号接收功率。
进一步地，UE通过至少两个接收波束分别接收发送波束发送的参考信号包括：
交替通过第一接收波束以及第二接收波束，测量N1次参考信号，其中第一接收波束为激活波束；
当UE检测到其转动速度超出阈值时，交替通过第一接收波束以及第二接收波束，测量N2次参考信号，其中第一接收波束包括多个预定的接收波束；
当UE检测到其被遮挡时，通过第一接收波束以及对应的第二接收波束，测量N3次参考信号，其中，第一接收波束以及第二接收波束的测量比例为预定比例，第一接收波束包括多个预定的接收波束和激活波束；
N1、N2和N3均为正整数。
进一步地，分析结果包括以下至少一项：
UE每个接收波束的波束状态的预测值；
UE每个接收波束的评价值；
UE各个接收波束分别对应的排序结果；
最佳接收波束的候选集合；
接收波束为激活波束时的长期收益值；
待测量的波束以及测量的顺序；
待使用的波束赋形码本。
进一步地，在通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理之前，还包括：
根据预定排列方式对多个参考信号接收功率进行排列；以及，
对多个参考信号接收功率分别进行数据预处理。
进一步地，数据预处理包括以下至少一项：
增加偏置；第一预定比例的数据缩小；第二预定比例的数据放大；增加偏置和第一预定比例的数据缩小；增加偏置和第二预定比例的数据放大。
进一步地，预定的机器学习模型包括基于强化学习中的Q学习模型，其中Q函数使用人工神经网络模型，进一步地，神经网络模型的隐层主要为双向长短期记忆网络模型。
进一步地，机器学习模型的训练方法包括：
获取预定数量的原始数据；
基于预定的强化学习方法对原始数据进行处理，得到对应的训练数据；
基于训练数据对机器学习模型进行训练，得到训练后的机器学习模型。
进一步地，该方法还包括：
基于波束管理方式进行相应的波束管理；
基于波束管理的处理结果，对预定的机器学习模型的相应参数进行调整，以优化机器学习模型。
进一步地，确定与发送波束相应的波束管理方式，包括以下至少一项：
确定在预定时刻切换接收波束；
将当前接收波束切换到通过波束状态和/或评价值确定出的待切换接收波束；
保持当前接收波束不变；
是否切换波束；
通过波束状态和/或评价值确定下一个或多个测量周期的接收波束；
是否切换波束与编码码本。
进一步地，UE处于载波聚合状态，包括多个载波分量时，每一载波分量具有相对应的机器学习模型；
用户设备UE通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率，包括：
针对每一载波分量，UE通过与任一载波分量对应的至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理，包括：
通过任一载波分量相对应的机器学习模型，对各个参考信号接收功率分别进行分析处理。
进一步地，确定接收波束的方式，包括：
基于各个载波分量的码本，确定各个载波分量分别对应的波束形状；
基于确定出的确定各个载波分量分别对应波束形状及各个载波分量的预定选取规则，确定各个载波分量分别对应的至少两个接收波束。
进一步地，当UE接收多个发送波束上分别发送的多个参考信号时，
用户设备UE通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率，包括：
针对任一发送波束，UE通过至少两个接收波束分别接收任一发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理，包括：
针对任一发送波束，通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理；
根据分析处理结果，确定与发送波束相应的波束管理方式，包括：
针对任一发送波束，确定与任一发送波束相应的波束管理方式；
其中，该方法还包括：
当接收到来自任一发送波束的传输数据时，根据与任一发送波束相应的波束管理方式进行相应的波束管理。
进一步地，该方法还包括：
当检测到传输数据的发送波束发生切换时，基于切换后的传输数据的发送波束的波束管理方式进行相应的波束管理。
下面，通过如下具体实施例来对本申请上述实施例的波束管理方法进行全面详尽的介绍：
上述的步骤S110中，用户设备在接收波束和相应的参考接收波束上，接收基站的发送波束周期性发出的参考信号，进行参考信号的测量。在基站每一次发送参考信号时，用户设备会选择某一接收波束或参考接收波束作为接收参考信号的波束，并测量在该接收波束上得到的接收功率，例如，RSRP(Reference Signal Receiving Power，参考信号接收功率)。
其中，用户设备会测量多次参考信号的接收功率，按照一定的顺序来选择在每次测量时的接收波束，测量得到的功率(例如RSRP)即为该接收波束上的接收功率值。在测量若干次后，得到一组接收功率值，将该一组接收功率值组合成某种特定的格式，用作之后步骤S120中的数据输入。
在上述的步骤S120中，将步骤S110中得到的数据(即上述的接收功率值)通过预定的机器学习模型进行分析处理，根据目的或需求，得到相应的预测输出结果(即分析结果)。在将步骤S110中得到的数据输入该预定的机器学习模型之前，会根据所使用的具体机器学习模型，对该数据进行相对应的处理，以适应该模型的输入要求。所使用的机器学习模型，可能是经过预先的训练得到的，也可能是在使用该机器学习模型的过程中对其进行不断的训练和完善。其中，机器学习模型会根据具体的用户设备或者网络的目的或需求，输出关于接收波束的评估结果的预测(或者称作接收波束的预测结果)，该接收波束的评估结果的预测即为机器学习模型的输出结果。
在上述的步骤S130中，用户设备会根据在前述步骤S120中得到的预测结果，进行相应的波束管理的决定，即确定与发送波束相应的波束管理方式。其中，波束管理的决定包括但不限于：用户设备是否需要进行激活波束的切换、当需要进行波束切换时应该切换到哪一个波束、以及接下来选择用作测量的接收波束是哪些等等。
在本申请实施例中，包括但不仅限于上述三个步骤，该三个步骤依次进行，最终根据用户设备的测量结果去执行相应的波束管理的决定，使得用户设备通过不断的追踪并且切换满足通信要求的波束，维持良好的通信链路的质量。
对于上述的本申请实施例的内容，其中的一个具体的实施例，包括以下流程步骤：
步骤A：用户设备在N个周期内，通过第一接收波束(窄波束)和第二接收波束(宽波束)测量基站通过第一发送波束(例如，图2中的Tx#8)发送的参考信号，得到参考信号接收功率。
其中，在每个参考信号发送的周期内，用户设备在窄波束或宽波束中的某个接收波束上，测量参考信号接收功率。
步骤B：用户设备使用得到的参考信号接收功率，通过一个预定的机器学习的算法模型，得到相应的预测结果。
步骤C：根据预测结果，用户设备做出波束管理的决策，例如，是否切换当前激活波束，和/或，决定切换到哪一个波束上，其中，波束管理的决策即为与发送波束相应的波束管理方式。
下面对步骤A进行具体说明：
如图2所示，用户设备配置有多个窄波束(fine beams)，覆盖整个三维空间范围，用作和基站之间进行数据传输。同时，用户设备还配备有相应的参考波束，例如，宽波束(broad beam)，其中，每个宽波束的覆盖范围会包含数个窄波束。基站会选择某个波束作为发射波束(如图2中Tx#8)，用以向用户设备发射信号。
基站以一定的周期来传输数据，基站会在每个周期内的一段时间专门用来发送用作同步、测量等的参考信号，也就是说，基站会周期性地在这段时间内在发送波束上向用户设备发射参考信号。因此，UE可以在每个周期内通过一个接收波束来接收基站发送的参考信号。
如图3所示，步骤A具体可以包括以下的几个步骤：
步骤A1：UE在每个周期内通过一个接收波束来接收基站发送的参考信号，获得参考信号接收功率。
例如，在第一个参考信号的发送时间内，用户设备选择当前用作数据传输的激活波束(为窄波束)接收参考信号并测量参考信号接收功率；在第二个参考信号的发送时间内，用户设备选择使用激活波束对应的参考波束(宽波束)接收参考信号并测量参考信号接收功率；在后续的参考信号的发送时间内，用户设备会采用与上述的第一个参考信号、第二个参考信号相同的接收方式，依次分别使用激活波束(为窄波束)和参考波束(宽波束)进行参考信号的接收与参考信号接收功率的测量，直到完成最后第N个(例如，N＝8)参考信号的接收与参考信号接收功率的测量。这样的测量方法，有利于后续从参考信号接收功率的测量值中抽取用户设备的特征以及用户设备在这一段时间内的状态变化。
需要说明的是，虽然用户设备在每个周期内通过一个接收波束来接收基站发送的参考信号，并获得参考信号接收功率，但是对于多个周期的多次参考信号的接收来说，用户设备是通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率的，其中，用户设备基于当前的波束形状及预定选取规则，确定至少两个接收波束，并通过确定出的至少两个接收波束接收多次参考信号，以及确定相应的多个参考信号接收功率。
其中，波束形状(pattern)是通过波束赋形形成的波束形状，是由用户设备使用的所配置的天线阵列的规模、位置等天线阵列配置以及用户设备使用的波束成形码本来共同确定的。与用作接收参考信号的窄波束(第一接收波束)相对应的宽波束(第二接收波束)，是指覆盖了该窄波束的作用范围的宽波束。
其中，窄波束和宽波束的数量以及不同窄波束与宽波束之间的对应关系，都取决于用户设备所使用码本以及窄波束与宽波束之间的相对位置关系，换言之，第一接收波束和第二接收波束的对应关系随用户设备的天线阵列配置变化而变化。因此，对于不同类型的用户设备，宽窄波束之间的对应关系可能随之改变，如下图4所示。其中，这样测量窄波束和对应宽波束，有利于提取用户设备条件变化的特征。
进一步地，对于上述步骤A1中的测量方法也会根据用户设备的条件和所处的环境不同而不同，如图5所示。其中上述的测量方法包括测量的次数N、第一接收波束与第二接收波束依次测量的顺序(即第一接收波束与第二接收波束的接收波束顺序)、每次测量的接收波束选择以及接收波束和接收参考波束之间的比例(即第一接收波束与第二接收波束的接收波束比例)等等。其中：
在第一种情况下，如前述步骤A1中，测量选择的接收波束和接收波束顺序为间隔的测量窄波束和相应的宽波束，测量的次数为N＝8，窄波束与宽波束之间的测量比例为1：1，即交替通过第一接收波束以及第二接收波束，测量N1次参考信号，其中，第一接收波束为激活波束，N1为正整数。
在第二种情况下，当用户设备处于快速旋转的状态时，比如UE检测到其转动速度超出阈值时，测量选择的接收波束为固定的窄波束(即预定的窄波束)及其相应的宽波束，测量的接收波束顺序为间隔测量固定不变的窄波束和相应的宽波束，测量的次数N＝6，窄波束与宽波束之间的测量比例为1：1，即当UE检测到其转动速度超出阈值时，交替通过第一接收波束以及第二接收波束，测量N2次参考信号，其中，第一接收波束包括多个预定的接收波束，N2为正整数。
在第三种情况下，当用户设备可能处在周围有比较多的遮挡的状态时，比如UE检测到其被遮挡时，测量选择的接收波束为当前激活的窄波束(即激活波束)、固定的窄波束(即预定的窄波束)以及与当前选择的激活波束与预定的窄波束相应的宽波束，测量的接收波束顺序为间隔测量激活波束、固定的窄波束和宽波束，测量的次数N＝6，窄波束与宽波束之间的测量比例为2：1，即当UE检测到其被遮挡时，通过第一接收波束以及对应的第二接收波束，测量N3次参考信号，其中，第一接收波束以及第二接收波束的测量比例为2：1，第一接收波束包括多个预定的接收波束和激活波束，N3为正整数。
上述三种情况下的测量方法会在对应的条件和场合下带来更好的波束状态预测效果。需要说明的是，本申请实施例只是以上述三种情况为例，对波束管理方法进行介绍，但并不局限于上述三种情况，在实际应用环境中，也可以根据上述三种情况进行灵活调整。
另外，上述参考信号的测量次数N1、N2和N3，可以根据需要预先设定的，也可以是根据测量时间长度K1与基站传输数据的同期T计算得到的，比如K1为5ms(毫秒)、T为1ms，则测量次数为K1/T＝5，即测量5次，又比如K1为10ms、T为1ms，则测量次数为K1/T＝10，即测量10次。
步骤A2：根据预定排列方式对测量得到的多个参考信号接收功率进行排列，以及对测量得到的多个参考信号接收功率分别进行数据预处理。
具体地，对于在每一个周期测量得到的参考信号，都有相应的参考信号接收功率。可以根据后续使用的机器学习模型的需要，以预定排列方式对测量得到的多个参考信号接收功率进行排列，比如将测量得到的N个(N＝8)参考信号接收功率组成一个二行四列的矩阵形式，用作机器学习模型的输入，从而将参考信号接收功率排布成特定的形式，以满足后续机器学习模型对数据进行分析的需求。
具体地，用户设备测量得到的多个参考信号接收功率后，也会根据后续使用的机器学习模型的需求，对得到的多个参考信号接收功率进行相应的数据预处理，以增加模型映射数据的可靠性和准确率。其中，数据预处理包括增加偏置、第一预定比例的数据缩小、第二预定比例的数据放大、增加偏置和第一预定比例的数据缩小、以及增加偏置和第二预定比例的数据放大中的任一项，随后将经过数据预处理后的多个参考信号接收功率输入机器学习模型中。
如图6所示，上述步骤B中，通过预定的机器学习模型对各个参考信号接收功率分别进行分析的过程，具体可以为：
将以预定排列方式排列及数据预处理后的多个参考信号接收功率，分别输入到预定的机器学习模型中，通过该预定的机器学习模型对其进行分析，并输出相应的分析结果，该分析结果即为预定的机器学习模型的输出结果。
其中，输出结果的各个接收波束状态，即为在测量时间长度结束后的第K个(比如K＝1)时刻，UE的各个接收波束的波束状态的预测值(即各个接收波束的分析结果)。波束状态为当选择该接收波束作为激活波束进行数据传输时，可以得到长期收益值。其中，输出的长期收益值可以作为对接收波束进行评价的标准，作为后续确定与发送波束相应的波束管理方式的依据。
此外，根据实际应用过程中的其他需求，机器学习模型在测量结束后的第K个时刻的输出结果，可能为：UE每个接收波束的评价值、UE各个接收波束的评价值排名、最优接收波束的候选集合、接收波束为激活波束时的长期收益值等等。其中，K表示预测的时间长度，可以根据不同的需求进行改变，从而预测出在相应时间长度内的各个接收波束所需的结果，使得该方法能够适用不同情况和要求。
具体地，上述预定的机器学习模型包括基于强化学习中的Q函数的神经网络模型，该神经网络模型为双向长短期记忆网络模型。换言之，本申请实施例中使用的预定的机器学习模型可以为强化学习中的Q学习模型，如图7所示。其中，Q学习模型使用的Q函数，是人工神经网络模型进行输入到输出的映射函数。其中，该预定的机器学习模型的输入数据为经过预定排列方式排列及数据预处理后的多个参考信号接收功率，输出数据为选择不同接收波束作为激活波束时的长期收益值(或称作长期奖励)。需要说明的是，此时的输入数据与输出数据都是专门为该方法在此种情况下设计的。
其中，上述的人工神经网络模型，具体地可以为多隐层的双向长短期记忆网络，该人工神经网络模型能能够提取用户设备的无线电波到达角的变化特征，并根据反向关系强化这些特征，使之更准确。
进一步地，上述的人工神经网络模型，是通过的在线的或/和离线的训练得到的。其中，离线的训练过程是在用户设备使用前，预先根据用户设备的条件，比如天线阵列配置，波束方向等，对人工神经网络模型进行预先训练，得到训练后的人工神经网络模型；在线的训练过程，可以是根据用户设备的实际应用场景，进一步训练或者优化预先训练得到的人工神经网络模型，使其根据当前用户设备的使用习惯，所处的环境等，进一步优化性能和提升效果。
进一步地，人工神经网络模型的离线训练过程可以为：首先，用户设备生成(或采集)训练所需要的数据，制作成原始数据集，即用户设备获取预定数量的原始数据；接着，用户设备通过预定的强化学习方法，根据采集到的原始数据集，进一步制作训练数据集，即基于预定的强化学习方法对原始数据进行处理，得到对应的训练数据。其中，预定的强化学习方法是指将训练数据集输入至原始双向长短期记忆网络，通过不断优化和训练原始双向长短期记忆网络的网络参数，使其逐渐向目标双向长短期记忆网络逼近，来对原始双向长短期记忆网络进行训练。训练过程中二者网络的输入数据不同，分别当前状态信息和下一个时刻状态信息，目标网络的参数会以一定频率更新为当前训练网络的参数。其中所述的当前状态，当前动作，下一个时刻状态在本实施例中所表达的含义在之后会给出具体的定义。在逼近的过程中，使用反向传播算法进行训练网络的参数的更新，其中，二者网络(即原始双向长短期记忆网络与目标双向长短期记忆网络)之间的差距，可以借助贝尔曼函数进行衡量，当差距在一定误差允许范围内时，停止对原始双向长短期记忆网络的训练，即结束训练。
其中，上述的过程中，训练网络向目标网络逼近的过程可以使用如下数学公式表达，即：
其中，Q(s,a)表示在当前状态为s和用户设备动作为a时，得到长期奖励值Q；Q*所有可能的Q值的最大值；Es[x]表示x在s为某种随机变量时的期望；γ为训练时选择的常数系数；s’表示当前状态的下一个时刻的状态；maxa(x)表示选择最优的a使得到x的最大取值；a’为在下一个时刻s’的用户设备动作，符号|后为先决条件；←表示右侧数值试图向左侧逼近。此时，上述两者网络之间的差距可以使用如下数学公式表达，即：
其中，w1为目标网络的参数值；w2为当前网络的参数值。
其中，图8给出了人工神经网络的训练过程与网络预测和波束管理决策之间的关系。这种训练方式可以在满足用户设备需要的基础上，进一步根据具体用户设备的具体使用习惯和使用场景，进行网络参数的优化与调整，从而维持更好的链路效果。
进一步地，上述的训练数据集包含百万条数量级的训练数据。如图8所示，每一条训练数据，包含四个部分：当前状态(statet，即图8中的状态t)、用户设备动作(Actiont，即图8中的动作)、下一时刻状态(statet+1即图8中的状态t+1)及环境给予反馈奖励和/或惩罚(Reward，即图8中的反馈)。其中，上述的当前状态(statet)，即为前述用户设备测量得到的各个接收波束的参考信号接收功率组合成的矩阵形式；上述的用户设备动作(Actiont)，即为用户设备在测量完成后，进行接收波束的激活接收波束切换；上述的下一时刻状态(statet+1)，即为在切换完成后的接收波束的参考信号接收功率，形式依旧为与当前状态相同的矩阵形式；上述的环境给予反馈奖励和/或惩罚(Reward)，为切换后的接收波束的效果好或坏。
需要说明的是，在实际使用中进行波束状态的预测时，只需要上述的“当前状态”一个部分，作为预测的输入值即可，使用这样的数据进行训练或者作为预测的输入，可以得到每一种切换方法相应的长期评价值，以用作后续的波束管理的决策。
上述步骤C中，用户设备做出波束管理的决策，包括但不限于以下几种：(1)在测量后的第K个时刻时，应当保持当前的接收波束不变，即不进行波束切换；(2)切换到新的更好的接收波束上，以维持高质量链路。
其中，上述的波束管理的决策是根据预定的机器学习模型给出的预测结果进行判断的，比如，将预测的长期收益值最高的接收波束作为测量后的第K个时刻应当切换的接收波束，又比如，当待切换的接收波束与当前的接收波束具有相同的长期收益值时，则维持当前的接收波束，即不对接收波束进行切换，又比如，当待切换的接收波束的长期收益值明显高于当前接收波束的长期收益值时，则将当前接收波束切换至待切换的接收波束，即执行波束切换，并将待切换的接收波束作为当前接收波束。
需要说明的是，在实际应用中，根据不同用户设备的需求，在其他情况下，可能的波束管理的决策还包括：仅决定是否切换，或者维持当前的接收波束(可以根据预测的当前激活波束的评估状态与预定门限值的比较而定)，或者决定下一个测量周期需要测量的接收波束(可以根据输出结果提供的最优接收波束的候选集合去挑选等方法)，还可以是现有技术中其他的波束管理决策，本申请实施例不对其做限制。换言之，确定与发送波束相应的波束管理方式，包括以下任一项：确定在预定时刻切换接收波束；将当前接收波束切换到通过波束状态和/或评价值确定出的待切换接收波束；保持当前接收波束不变；是否切换波束；通过波束状态和/或所价值确定下一个或多个测量周期的接收波束。
本申请实施例的整体的流程为：将经过处理的用户设备确定出的各个接收波束的参考信号接收功率，输入到训练后的人工神经网络模型中去，并通过训练后的人工神经网络模型得到各个接收波束的参考信号接收功率的预测结果，并根据预测结果做出相应的波束管理的决策，以维持高质量通信链路。具体地：
1.用户设备在每个测量周期内，按照一定顺序依次在第一接收波束或第二接收波束上测量参考信号的参考信号接收功率，共测量多次，得到多个参考信号接收功率；
2.对得到的多个参考信号接收功率数据进行排列及数据预处理，作为预定的机器学习模型的输入数据；
3.机器学习模型在每次测量到足够的输入数据后，将前述的输入数据映射为相应的输出结果，其中，输出结果为预测的接收波束的波束状态；
4.用户设备根据预测结果进行相应的波束管理的决策；
5.用户设备在必要时及时重选并且切换当前用于传输数据的激活波束，尽量维持好的链路通信质量，避免链路中断。
通过本申请实施例的方法，可以根据有限数量的参考信号接收功率，高效的追踪用户设备最优的接收波束，可以提前预测可能发生的波束对失配，并提前进行最优波束的重选和切换。与现有技术相比，使用了更少的时间和无线资源，产生了高可靠性的时间预测，并且可以根据具体用户设备的使用情况进行优化和调整，不仅能够适用于周围环境快速变化的情况，还能为后续的接收波束的测量提供有效的建议。
本申请实施例提供了另一种可能的实现方式，在本实现方式中，基站根据需要配置了多个发送天线波束来发送多个参考信号，在这种情况下，用户设备接收多个发送波束上的多个参考信号，其中：
当UE接收多个发送波束上分别发送的多个参考信号时，用户设备UE通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率，包括：
针对任一发送波束，UE通过至少两个接收波束分别接收任一发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理，包括：
针对任一发送波束，通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理；
根据分析处理结果，确定与发送波束相应的波束管理方式，包括：
针对任一发送波束，确定与任一发送波束相应的波束管理方式；
其中，该方法还包括：
当接收到来自任一发送波束的传输数据时，根据与任一发送波束相应的波束管理方式进行相应的波束管理。
具体地，该方法还包括：当检测到传输数据的发送波束发生切换时，基于切换后的传输数据的发送波束的波束管理方式进行相应的波束管理。
具体地，在基站为该用户设备配置了多个参考信号在多个发送波束上时，用户设备的实施过程以及与前述实施例的差异如图9所示，具体为：
步骤一：执行如前述步骤A的测量过程，但方法有所不同。具体地，用户设备测量时不再只测量来自一个发送波束的参考信号，而是在一个周期内，同时测量多个来自不同发送波束的参考信号。例如，在第一个测量周期内，通过接收波束X测量发送波束Tx#8的参考信号，获得相应的参考信号接收功率(比如RSRP18)，通过接收波束X测量发送波束Tx#9的参考信号，获得相应的参考信号接收功率(比如RSRP19)；在第二个测量周期内，通过接收波束0测量发送波束Tx#8的参考信号，获得相应的参考信号接收功率(比如RSRP28)，通过接收波束0测量发送波束Tx#9的参考信号，获得相应的参考信号接收功率(比如RSRP29)；在第三个测量周期内，通过接收波束X测量发送波束Tx#8的参考信号，获得相应的参考信号接收功率(比如RSRP38)，通过接收波束X测量发送波束Tx#9的参考信号，获得相应的参考信号接收功率(比如RSRP39)；在第四个测量周期内，通过接收波束0测量发送波束Tx#8的参考信号，获得相应的参考信号接收功率(比如RSRP48)，通过接收波束0测量发送波束Tx#9的参考信号，获得相应的参考信号接收功率(比如RSRP49)，等等。
步骤二：执行如前述步骤B中预定的机器学习模型的预测过程，但方法有所不同。具体地，将上述分别测量得到的两个参考信号的参考信号接收功率，分别组成相应的输入数据并分别输入当前的机器学习模型中，得到各自的预测结果。比如，将接收到的发送波束Tx#8的参考信号RSRP18、RSRP28、RSRP38、RSRP48等等，组成相应的输入数据并输入当前的机器学习模型中，得到相应的预测结果P1；将接收到的发送波束Tx#9的参考信号RSRP19、RSRP29、RSRP39、RSRP49等等，组成相应的输入数据并输入当前的机器学习模型中，得到相应的预测结果P2。
步骤三：执行如前述步骤C的波束管理的决策过程，但方法有所不同。具体地，在上述得到的多个预测结果中，使用基站配置的传输数据的发送波束上的参考信号测量值得到的预测结果，进行后续的波束管理的决策过程。假如，基站根据需要配置了Tx#8与Tx#9两个发送天线波束，分别发送多个参考信号，并且用户设备基于Tx#8的参考信号接收功率测量得到的预测结果为P1，基于Tx#9的参考信号接收功率测量得到的预测结果为P2，则：(1)如果基站在Tx#8上发送参考信号并进行数据传输，在Tx#9上只进行参考信号的发送，并不进行数据传输，则用户设备根据预测结果P1进行具体的波束管理的决策。假如基站对传输数据的波束进行了切换；(2)如果基站传输数据的波束发生了切换，比如由Tx#8切换到了Tx#9，则用户设备根据预测结果P2进行具体的波束管理的决策。即，用户设备依据传输数据的发送波束的参考信号接收功率的预测结果，进行具体的波束管理的决策。
本申请实施例提供了另一种可能的实现方式，在本实现方式中，用户设备配置了多个载波分量的载波聚合，在这种情况下，每一载波分量具有相对应的机器学习模型，均执行如下处理：
用户设备UE通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率，包括：
针对每一载波分量，UE通过与任一载波分量对应的至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理，包括：
通过任一载波分量相对应的机器学习模型，对各个参考信号接收功率分别进行分析处理。
具体地，确定接收波束的方式，包括：
基于各个载波分量的码本，确定各个载波分量分别对应的波束形状；
基于确定出的确定各个载波分量分别对应波束形状及各个载波分量的预定选取规则，确定各个载波分量分别对应的至少两个接收波束。
具体地，用户设备的实施过程以及与前述实施例的差异如图10所示，具体为：
步骤四：执行如前述步骤A的测量过程，但方法有所不同。具体地，用户设备可能为不同的载波分量使用不同的码本，产生不同的波束覆盖形状(pattern)，并且通过根据各个载波分量分别对应的波束形状形成的接收波束进行参考信号功率的测量。比如载波分量CC1的波束覆盖形状为pattern1，载波分量CC2的波束覆盖形状为pattern2等，此时，用户设备在载波分量CC1上，根据pattern1进行接收波束的选择，用户设备在载波分量CC2上，根据pattern2进行接收波束的选择。
步骤五：执行如前述步骤B中预定的机器学习模型的预测过程，但方法有所不同。具体地，用户设备将为不同载波分量上的测量数据(即参考信号接收功率)配备不同的参数的机器学习模型，其中，各个机器学习模型的参数是根据该载波进行优化得到的，比如载波分量CC1对应的机器学习模型为mode1，载波分量CC2对应的机器学习模型为mode2等。每个载波分量的测量数据会被输入到各自对应的机器学习模型中进行相应的预测结果，比如，将载波分量CC1的各个参考信号接收功率输入到CC1对应的机器学习模型mode1中，得到针对CC1的预测结果R1，将载波分量CC2的各个参考信号接收功率输入到CC2对应的机器学习模型mode2中，得到针对CC2的预测结果R2。
步骤六：执行如前述步骤C的波束管理决策的过程，但方法有所不同。具体地，上述每个载波分量各自对应的机器学习模型得到的预测结果，作为用户设备在不同载波分量上的波束管理的决策。比如，用户设备依据CC1的预测结果R1确定CC1上的波束管理的决策，用户设备依据CC2的预测结果R2确定CC2上的波束管理的决策。
图11为本申请又一实施例提供的一种波束处理装置的结构示意图，如图11所示，该装置110可以包括处理模块1101、分析模块1102与确定模块1103，其中：
处理模块1101，用于通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
分析模块1102，用于通过预定的机器学习模型对各个参考信号接收功率分别进行分析；
确定模块1103，用于根据分析结果，确定与发送波束相应的波束处理方式。
具体地，处理模块1101包括第一确定子模块11011与第二确定子模块11012，如图12所示，其中：
第一确定子模块11011，用于基于当前的波束形状及预定选取规则，确定至少两个接收波束；
第二确定子模块11012，用于通过至少两个接收波束接收多次参考信号，并确定相应的多个参考信号接收功率。
具体地，至少两个接收波束包括第一接收波束以及覆盖第一接收波束的范围的第二接收波束。
具体地，第一接收波束包括UE的激活波束和/或预定的接收波束。
具体地，第一接收波束和第二接收波束的对应关系随UE的天线阵列信息变化而变化。
进一步地，处理模块1101包括第三确定子模块11013与第四确定子模块11014，如图12所示，其中：
第三确定子模块11013，用于确定第一接收波束与第二接收波束的接收波束比例以及第一接收波束与第二接收波束的接收波束顺序；
第四确定子模块11014，用于依据接收波束比例及接收波束顺序，依次通过确定出的至少一个第一接收波束以及确定出的第二接收波束，接收相应的参考信号，并确定接收到的参考信号的参考信号接收功率。
进一步地，处理模块1101包括第一测量子模块11015、第二测量子模块11016与第三测量子模块11017，如图12所示，其中：
第一测量子模块11015，用于交替通过第一接收波束以及第二接收波束，测量N1次参考信号，其中第一接收波束为激活波束；
第二测量子模块11016，用于当UE检测到其转动速度超出阈值时，交替通过第一接收波束以及第二接收波束，测量N2次参考信号，其中第一接收波束包括多个预定的接收波束；
第三测量子模块11017，用于当UE检测到其被遮挡时，通过第一接收波束以及对应的第二接收波束，测量N3次参考信号，其中，第一接收波束以及第二接收波束的测量比例为2：1，第一接收波束包括多个预定的接收波束和激活波束；
N1、N2和N3均为正整数。
进一步地，分析结果包括以下至少一项：
UE每个接收波束的波束状态的预测值；
UE每个接收波束的评价值；
UE各个接收波束分别对应的排序结果；
最佳接收波束的候选集合；
接收波束为激活波束时的长期收益值。
进一步地，该装置还包括排列模块1104与数据预处理模块1105，如图12所示，其中：
排列模块1104，用于根据预定排列方式对多个参考信号接收功率进行排列；以及，
数据预处理模块1105，用于对多个参考信号接收功率分别进行数据预处理。
进一步地，数据预处理包括以下任一项：
增加偏置；第一预定比例的数据缩小；第二预定比例的数据放大；增加偏置和第一预定比例的数据缩小；增加偏置和第二预定比例的数据放大。
进一步地，预定的机器学习模型包括基于强化学习中的Q函数的神经网络模型，神经网络模型为双向长短期记忆网络模型。
进一步地，该装置还包括训练模块1106，如图12所示，其中：
训练模块1106用于获取预定数量的原始数据；以及用于基于预定的强化学习方法对原始数据进行处理，得到对应的训练数据；以及用于基于训练数据对机器学习模型进行训练，得到训练后的机器学习模型。
进一步地，该装置还包括第一波束处理模块1107与调整模块1108，如图12所示，其中：
第一波束处理模块1107，用于基于波束处理方式进行相应的波束处理；
调整模块1108，用于基于波束处理的处理结果，对预定的机器学习模型的相应参数进行调整，以优化机器学习模型。
进一步地，确定模块1103具体用于执行以下任一项：
确定在预定时刻切换接收波束；
将当前接收波束切换到通过波束状态和/或评价值确定出的待切换接收波束；
保持当前接收波束不变；
是否切换波束；
通过波束状态和/或评价值确定下一测量周期的接收波束。
进一步地，UE包括多个载波聚合，每一载波聚合具有相对应的机器学习模型；
处理模块1101具体用于针对每一载波聚合，UE通过与任一载波聚合对应的至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
分析模块1102具体用于通过任一载波聚合相对应的机器学习模型，对各个参考信号接收功率分别进行分析处理。
进一步地，处理模块1101具体用于基于各个载波聚合的码本，确定各个载波聚合分别对应的波束形状；以及用于基于确定出的确定各个载波聚合分别对应波束形状及各个载波聚合的预定选取规则，确定各个载波聚合分别对应的至少两个接收波束。
进一步地，当UE接收多个发送波束上分别发送的多个参考信号时，处理模块1101具体用于针对任一发送波束，UE通过至少两个接收波束分别接收任一发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率；
分析模块1102具体用于针对任一发送波束，通过预定的机器学习模型对各个参考信号接收功率分别进行分析处理；
确定模块1103具体用于针对任一发送波束，确定与任一发送波束相应的波束处理方式；
其中，该装置还包括第二波束处理模块1109，如图12所示，其中：
第二波束处理模块1109，用于当接收到来自任一发送波束的传输数据时，根据与任一发送波束相应的波束处理方式进行相应的波束处理。
进一步地，该装置还包括第三波束处理模块1110，如图12所示，其中：
第三波束处理模块1110，用于当检测到传输数据的发送波束发生切换时，基于切换后的传输数据的发送波束的波束处理方式进行相应的波束处理。
本申请实施例提供的用户设备，通过至少两个接收波束分别接收发送波束发送的参考信号，并确定各个接收波束的参考信号接收功率，以及通过预定的机器学习模型对各个参考信号接收功率分别进行分析，来确定出与发送波束相应的波束处理方式，从而可以借助预定的机器学习模型，快速、准确地根据发送波束确定出相应的波束处理方式，使得用户设备可以及时追踪到当前的波束状态，极大提高当前波束失配检测的时效性及重选波束的准确性，确保UE无论在何种变化环境下，都能够通过不断的追踪并且切换到满足通信要求的波束，维持良好的通信链路的质量，极大降低UE所处环境对UE波束选择的影响。
本发明再一实施例提供了一种电子设备，包括：处理器；以及存储器，配置用于存储机器可读指令，指令在由处理器执行时，使得处理器执行上述的半静态调度方法。
图13示意性示出了根据本公开实施例的可用于实现本公开的用户设备的计算系统的框图。
如图13所示，计算系统1300包括处理器1310、计算机可读存储介质1320、输出接口1330、以及输入接口1340。该计算系统1300可以执行上面参考图1描述的方法，以进行波束处理。
具体地，处理器1310例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1310还可以包括用于缓存用途的板载存储器。处理器1310可以是用于执行参考图1描述的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质1320，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
计算机可读存储介质1320可以包括计算机程序，该计算机程序可以包括代码/计算机可执行指令，其在由处理器1310执行时使得处理器1310执行例如上面结合图1所描述的方法流程及其任何变形。
计算机程序可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序中的代码可以包括一个或多个程序模块，例如包括模块1、模块2、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器1310执行时，使得处理器1310可以执行例如上面结合图1所描述的方法流程及其任何变形。
根据本公开的实施例，处理器1310可以使用输出接口1330和输入接口1340来执行上面结合图1所描述的方法流程及其任何变形。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (21)

1.一种由用户设备UE执行的方法，其特征在于，包括：
确定第一接收波束与第二接收波束的接收波束比例；
通过使用所述第二接收波束和至少一个所述第一接收波束，根据接收波束比例与发送波束相对应的接收参考信号；
确定接收的参考信号的参考信号接收功率RSRP；
通过机器学习模型对所述RSRP进行分析；
根据分析结果，确定与所述发送波束相应的波束管理方式；
其中，所述第一接收波束覆盖第一范围，所述第二接收波束覆盖第二范围，所述第二范围包括所述第一接收波束的第一范围。
2.根据权利要求1所述的方法，其特征在于，接收参考信号，包括：
基于当前的波束形状及预定选取规则，确定所述第二接收波束和所述至少一个第一接收波束；
通过所述第二接收波束和所述至少一个第一接收波束接收多个参考信号；
确定接收的参考信号的参考信号接收功率，包括：
确定多个参考信号分别对应的RSRP。
3.根据权利要求1所述的方法，其特征在于，所述第一接收波束包括UE的激活波束和/或至少一个预定的接收波束。
4.根据权利要求1所述的方法，其特征在于，所述第一接收波束和所述第二接收波束的对应关系随所述UE的天线阵列配置变化而变化。
5.根据权利要求3所述的方法，其特征在于，接收参考信号，包括：
确定所述第一接收波束与所述第二接收波束的接收波束顺序；
通过依次使用所述第一接收波束和所述第二接收波束，根据所述接收波束比例及所述接收波束顺序接收相应的参考信号。
6.根据权利要求1所述的方法，其特征在于，接收参考信号，包括：交替地使用所述第一接收波束和所述第二接收波束对所述参考信号进行预定次数的测量。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述分析结果包括以下至少一项：
所述UE每个接收波束的波束状态的预测值；
所述UE每个接收波束的评价值；
所述UE各个接收波束分别对应的排序结果；
最佳接收波束的候选集合；
所述UE各个接收波束为激活波束时的长期收益值；
待测量的波束；
测量的顺序；
待使用的波束赋形码本。
8.根据权利要求1所述的方法，其特征在于，在所述通过机器学习模型对各个RSRP进行分析之前，还包括：
根据预定排列方式对多个RSRP进行排列，所述多个RSRP包括第一RSRP和第二RSRP；以及，
对所述多个RSRP分别进行数据预处理。
9.根据权利要求8所述的方法，其特征在于，所述数据预处理包括以下至少一项：
增加偏置；
第一预定比例的数据缩小；
第二预定比例的数据放大；
增加偏置和第一预定比例的数据缩小；
增加偏置和第二预定比例的数据放大。
10.根据权利要求1-6、8、9任一项所述的方法，其特征在于，所述机器学习模型包括基于强化学习的Q学习模型，其中，基于强化学习的Q学习模型的Q函数使用人工神经网络模型，且基于强化学习的Q学习模型的隐藏层包括双向长短期记忆网络模型。
11.根据权利要求1-6、8、9任一项所述的方法，其特征在于，所述机器学习模型的训练方法包括：
获取预定数量的原始数据；
基于预定的强化学习方法对所述原始数据进行处理，得到对应的训练数据；
基于所述训练数据对所述机器学习模型进行训练，得到训练后的机器学习模型。
12.根据权利要求1所述的方法，其特征在于，该方法还包括：
基于所述波束管理方式进行相应的波束管理；
基于所述波束管理的处理结果，对机器学习模型的相应参数进行调整，以优化所述机器学习模型。
13.根据权利要求1所述的方法，其特征在于，确定与所述发送波束相应的波束管理方式，包括以下至少一项：
确定切换接收波束；
将当前接收波束切换到基于波束状态和/或评价值确定的接收波束；
保持当前接收波束配置；
确定是否切换当前接收波束配置；
通过所述波束状态和/或所述评价值确定下一个或多个测量周期的接收波束；
确定是否切换接收波束以及是否改变波束赋形码本。
14.根据权利要求1所述的方法，其特征在于，所述UE在包括多个载波分量的载波聚合状态下操作，每一载波分量具有相对应的机器学习模型；
接收参考信号，包括：
针对每一载波分量，分别使用相应载波分量对应的所述第二接收波束和所述至少一个第一接收波束接收发送波束对应的参考信号；
所述通过机器学习模型对各个RSRP进行分析，包括：
通过每一载波分量相对应的机器学习模型，对各个RSRP分别进行分析处理。
15.根据权利要求14所述的方法，其特征在于，所述方法还包括：
基于多个载波分量中每一个载波分量的码本，确定多个载波分量中每一个载波分量对应的波束形状；
基于确定出的每一个载波分量对应的波束形状及预定选取规则，确定分别对应于多个载波分量中每一个载波分量的至少两个接收波束。
16.根据权利要求1所述的方法，其特征在于，当所述UE测量多个发送波束上分别发送的多个参考信号时，
接收参考信号，包括：
针对任一发送波束，所述UE通过至少两个接收波束分别接收所述任一发送波束发送的参考信号；
所述通过机器学习模型对各个RSRP进行分析，包括：
针对任一发送波束，通过机器学习模型对各个RSRP分别进行分析处理；
所述根据分析结果，确定与所述发送波束相应的波束管理方式，包括：
针对任一发送波束，确定与所述任一发送波束相应的波束管理方式；
其中，该方法还包括：
基于从多个发射波束中的任一发送波束接收到的传输数据，根据与所述任一发送波束相应的波束管理方式进行相应的波束管理。
17.根据权利要求16所述的方法，其特征在于，该方法还包括：
基于切换的传输数据的发送波束的波束管理方式进行相应的波束管理。
18.根据权利要求1所述的方法，其特征在于，该方法还包括：
基于UE的转动速度是否超过阈值确定接收波束顺序，其中，接收参考信号是根据接收波束顺序进行的。
19.根据权利要求1所述的方法，其特征在于，所述第二接收波束和所述至少一个第一接收波束还包括覆盖第三范围的第三接收波束，所述第二接收波束的第二范围包括所述第一接收波束的第一范围和所述第三接收波束的第三范围。
20.根据权利要求3所述的方法，其特征在于，接收参考信号，包括：
使用所述第一接收波束以及所述第二接收波束交替测量参考信号N1次，其中所述第一接收波束为激活波束；
监测UE的转动速度；
当UE检测到转动速度超出阈值时，使用所述第一接收波束以及所述第二接收波束交替测量参考信号N2次，其中，所述第一接收波束包括所述UE的多个预定的接收波束；
确定UE的信号是否被遮挡；
当UE检测到UE的信号被遮挡时，使用所述第一接收波束以及对应的所述第二接收波束交替测量参考信号N3次，其中，所述第一接收波束以及所述第二接收波束的测量比例为预定比例，所述第一接收波束包括所述UE的多个预定的接收波束和激活波束；
其中，N1、N2和N3均为正整数。
21.一种用户设备，其特征在于，包括：
收发器；和
至少一个处理器，被配置为执行权利要求1至20中任一项所述的方法。
CN202311715679.8A 2019-05-16 2019-05-16 波束管理方法、装置、电子设备及计算机可读存储介质 Pending CN117835259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311715679.8A CN117835259A (zh) 2019-05-16 2019-05-16 波束管理方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910407862.9A CN111954228B (zh) 2019-05-16 2019-05-16 波束管理方法、装置、电子设备及计算机可读存储介质
CN202311715679.8A CN117835259A (zh) 2019-05-16 2019-05-16 波束管理方法、装置、电子设备及计算机可读存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910407862.9A Division CN111954228B (zh) 2019-05-16 2019-05-16 波束管理方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN117835259A true CN117835259A (zh) 2024-04-05

Family

ID=73245201

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311715679.8A Pending CN117835259A (zh) 2019-05-16 2019-05-16 波束管理方法、装置、电子设备及计算机可读存储介质
CN201910407862.9A Active CN111954228B (zh) 2019-05-16 2019-05-16 波束管理方法、装置、电子设备及计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910407862.9A Active CN111954228B (zh) 2019-05-16 2019-05-16 波束管理方法、装置、电子设备及计算机可读存储介质

Country Status (5)

Country Link
US (1) US12113590B2 (zh)
EP (1) EP3925086B1 (zh)
KR (1) KR20200132735A (zh)
CN (2) CN117835259A (zh)
WO (1) WO2020231193A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11531080B2 (en) * 2019-07-24 2022-12-20 Cypress Semiconductor Corporation Leveraging spectral diversity for machine learning-based estimation of radio frequency signal parameters
US11968005B2 (en) * 2019-09-12 2024-04-23 Telefonaktiebolaget Lm Ericsson (Publ) Provision of precoder selection policy for a multi-antenna transmitter
US11451480B2 (en) * 2020-03-31 2022-09-20 Micron Technology, Inc. Lightweight artificial intelligence layer to control the transfer of big data
US11595102B2 (en) * 2020-04-24 2023-02-28 Qualcomm Incorporated Reporting quantized user equipment (UE) orientation for beam selection
KR20220083338A (ko) * 2020-12-11 2022-06-20 삼성전자주식회사 빔을 선택하기 위한 전자 장치 및 그의 동작 방법
US20220190990A1 (en) * 2020-12-16 2022-06-16 Qualcomm Incorporated Network-configured training procedure
EP4297465A4 (en) * 2021-02-22 2025-01-01 Beijing Xiaomi Mobile Software Co Ltd BEAM MEASURING METHOD, BEAM MEASURING APPARATUS, AND STORAGE MEDIUM
CN113300746B (zh) * 2021-05-24 2022-04-15 内蒙古大学 毫米波mimo天线与混合波束成形优化方法及系统
US11658708B2 (en) * 2021-07-02 2023-05-23 Qualcomm Incorporated Codebook embedding generation and processing
KR102648872B1 (ko) * 2021-10-22 2024-03-15 주식회사 케이티 기계적 방위각 및 기계적 경사각의 현행화 방법 및 장치
WO2023108464A1 (en) * 2021-12-15 2023-06-22 Qualcomm Incorporated Signaling enhancement for beam change predictions via modeling
US20240372600A1 (en) * 2021-12-23 2024-11-07 Intel Corporation Methods and devices for beam management operation
WO2023123127A1 (zh) * 2021-12-29 2023-07-06 Oppo广东移动通信有限公司 波束管理信息交互方法、装置、终端及介质
CN118661464A (zh) * 2022-01-18 2024-09-17 Oppo广东移动通信有限公司 基于机器学习的由ue发起的波束切换的方法和装置
CN118511565A (zh) * 2022-01-19 2024-08-16 高通股份有限公司 用于波束预测的参考信号索引和机器学习
CN116546579A (zh) * 2022-01-26 2023-08-04 大唐移动通信设备有限公司 波束切换方法、装置及处理器可读存储介质
US20250167871A1 (en) * 2022-02-22 2025-05-22 Telefonaktiebolaget Lm Ericsson (Publ) Ue-side beam selection procedure
CN116847368A (zh) * 2022-03-23 2023-10-03 维沃移动通信有限公司 人工智能模型的输入处理方法、装置及设备
US12213018B2 (en) * 2022-03-30 2025-01-28 Qualcomm Incorporated Techniques for sensor-assisted cell search management
WO2023184411A1 (en) * 2022-03-31 2023-10-05 Shenzhen Tcl New Technology Co., Ltd. Data collection method for beam management based on machine learning and wireless communication device
WO2023206056A1 (en) * 2022-04-26 2023-11-02 Huawei Technologies Co.,Ltd. Systems and methods for user equipment initiated link management
CN117322029A (zh) * 2022-04-27 2023-12-29 北京小米移动软件有限公司 Ai波束模型确定方法、装置
CN117041998A (zh) * 2022-04-28 2023-11-10 中兴通讯股份有限公司 波束管理方法、基站、用户装置、存储介质及程序产品
US12231183B2 (en) * 2022-04-29 2025-02-18 Qualcomm Incorporated Machine learning for beam predictions with confidence indications
US20250167905A1 (en) * 2022-05-06 2025-05-22 Qualcomm Incorporated Techniques for beam characteristic prediction using federated learning processes
US20250212019A1 (en) * 2022-05-07 2025-06-26 Qualcomm Incorporated Predictive resource management using user equipment information in a machine learning model
EP4537459A4 (en) * 2022-06-07 2025-07-02 Nec Corp METHOD, DEVICE AND COMPUTER COMMUNICATION STORAGE MEDIUM
CN119422357A (zh) * 2022-06-30 2025-02-11 Oppo广东移动通信有限公司 无线通信的方法、终端设备和网络设备
EP4548507A1 (en) * 2022-06-30 2025-05-07 Jio Platforms Limited System and method for generating a path loss propagation model through machine learning
CN117479209A (zh) * 2022-07-21 2024-01-30 华为技术有限公司 通信方法及装置
US20240039606A1 (en) * 2022-07-29 2024-02-01 Qualcomm Incorporated Transmit-beam prediction
WO2024040372A1 (en) * 2022-08-22 2024-02-29 Qualcomm Incorporated Beam prediction monitoring reference signals and associated protocols and signaling for artificial intelligence and machine learning model performance monitoring
CN117693021A (zh) * 2022-09-08 2024-03-12 华为技术有限公司 一种波束管理方法
KR20250076623A (ko) * 2022-09-30 2025-05-29 후아웨이 테크놀러지 컴퍼니 리미티드 트레이닝 데이터세트 획득 방법 및 장치
WO2024077460A1 (zh) * 2022-10-10 2024-04-18 北京小米移动软件有限公司 一种波束预测方法、装置、设备及存储介质
GB202216468D0 (en) * 2022-11-04 2022-12-21 Samsung Electronics Co Ltd Methods and apparatus relating to beam management
CN118055421A (zh) * 2022-11-10 2024-05-17 维沃移动通信有限公司 波束预测方法、装置、终端、网络侧设备及存储介质
WO2024113198A1 (en) * 2022-11-30 2024-06-06 Qualcomm Incorporated Techniques for beam management using model adaptation
US12308922B2 (en) * 2022-12-30 2025-05-20 United States Cellular Corporation Reinforcement learning machine learning-assisted beam pair selection for handover in radio access networks
WO2024216527A1 (en) * 2023-04-19 2024-10-24 Qualcomm Incorporated Beam prediction with burn-in cycles
CN118921743A (zh) * 2023-05-06 2024-11-08 索尼集团公司 用于无线通信的电子设备和方法及计算机可读存储介质
WO2025022332A1 (en) * 2023-07-26 2025-01-30 Nokia Technologies Oy Ue-initiated switch of pdcch link in single-dci scenario
EP4503467A1 (en) * 2023-08-04 2025-02-05 Samsung Electronics Co., Ltd. Electronic device for performing beam management based on neural network and operation method thereof

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101847400B1 (ko) * 2011-09-01 2018-04-10 삼성전자주식회사 무선 통신 시스템에서 최적의 빔을 선택하기 위한 장치 및 방법
CN105393467B (zh) * 2013-06-28 2019-04-02 财团法人中央大学校产学协力团 波束训练装置
US20150237510A1 (en) * 2014-02-17 2015-08-20 Magnolia Broadband Inc. Micro-steering beams in multi-beam communications systems
CN104955061A (zh) * 2014-03-28 2015-09-30 华为技术有限公司 波束选择方法及基站
US9590711B2 (en) 2015-05-11 2017-03-07 International Business Machines Corporation Managing beamformed signals to optimize transmission rates of sensor arrays
CN106374984A (zh) * 2015-07-20 2017-02-01 中兴通讯股份有限公司 一种波束更新的方法和装置
CN106851712B (zh) * 2015-12-03 2021-02-02 中兴通讯股份有限公司 一种消息处理的方法、基站及终端
US10069555B2 (en) 2016-04-13 2018-09-04 Qualcomm Incorporated System and method for beam management
US11012206B2 (en) * 2016-04-15 2021-05-18 Intel IP Corporation Triggering a beam refinement reference signal
US10412767B2 (en) * 2016-04-20 2019-09-10 Futurewei Technologies, Inc. System and method for initial attachment in a communications system utilizing beam-formed signals
US10784946B2 (en) * 2016-07-01 2020-09-22 Apple Inc. Communication device and method for selecting a beam direction
TWI660601B (zh) * 2016-08-12 2019-05-21 聯發科技股份有限公司 波束形成系統中的波束管理方法與使用者設備
CN107733513B (zh) * 2016-08-12 2022-12-20 大唐移动通信设备有限公司 一种下行接收波束训练信号的传输方法及装置
WO2018038653A1 (en) * 2016-08-24 2018-03-01 Telefonaktiebolaget Lm Ericsson (Publ) Identification of potentially neighboring network nodes in a wireless communication network
US10601492B2 (en) * 2017-01-05 2020-03-24 Futurewei Technologies, Inc. Device/UE-oriented beam recovery and maintenance mechanisms
US10560851B2 (en) * 2017-01-13 2020-02-11 Samsung Electronics Co., Ltd. Method and apparatus for uplink beam management in next generation wireless systems
WO2018135986A1 (en) * 2017-01-19 2018-07-26 Telefonaktiebolaget Lm Ericsson (Publ) Beam management using suplink reference signals
CN108574954A (zh) * 2017-03-08 2018-09-25 索尼公司 无线通信系统中的电子设备和方法
WO2018173163A1 (ja) * 2017-03-22 2018-09-27 株式会社Ｎｔｔドコモ ユーザ端末及び無線通信方法
CN110419174A (zh) * 2017-03-22 2019-11-05 瑞典爱立信有限公司 用于在采用波束成形时进行波束跟踪的方法、网络节点和无线终端
US10511370B2 (en) * 2017-05-05 2019-12-17 Mediatek Inc. Method for beam management for wireless communication system with beamforming
CN116707678A (zh) * 2017-05-30 2023-09-05 瑞典爱立信有限公司 用于波束选择的方法和设备
EP3469732B1 (en) * 2017-06-05 2021-10-13 Telefonaktiebolaget LM Ericsson (PUBL) Beam mangement systems and methods
US10686506B2 (en) * 2017-08-04 2020-06-16 Qualcomm Incorporated Subset based spatial quasi-colocation parameter indication using multiple beams
EP3665787B1 (en) * 2017-08-09 2021-10-20 Telefonaktiebolaget LM Ericsson (publ) System and method for antenna beam selection
US10673503B2 (en) * 2017-08-23 2020-06-02 Samsung Electronics Co., Ltd. Method and device for performing beam forming
US20190068262A1 (en) * 2017-08-23 2019-02-28 Mediatek Inc. Method for Uplink Beam Training and Determination for Wireless Communication System with Beamforming
KR102365184B1 (ko) * 2017-08-25 2022-02-18 삼성전자주식회사 빔 선택 방법 및 그 전자 장치
WO2019061253A1 (en) * 2017-09-29 2019-04-04 Qualcomm Incorporated BEAM MANAGEMENT TECHNIQUES IN WIRELESS COMMUNICATIONS
US10638482B2 (en) * 2017-12-15 2020-04-28 Qualcomm Incorporated Methods and apparatuses for dynamic beam pair determination
US11490313B2 (en) * 2018-03-08 2022-11-01 Telefonaktiebolaget Lm Ericsson (Publ) Managing communication in a wireless communications network
US10756784B2 (en) * 2018-04-03 2020-08-25 Qualcomm Incorporated Feedback of beam repetition and diversity mode
US11284409B2 (en) * 2018-04-30 2022-03-22 Qualcomm Incorporated Supporting multiple beams in wireless transmissions
CN110581725B (zh) * 2018-06-08 2023-08-22 华为技术有限公司 用于波束训练的方法和通信装置
EP3811658A4 (en) * 2018-06-25 2022-02-16 Telefonaktiebolaget Lm Ericsson (Publ) Handling beam pairs in a wireless network
EP3818641A1 (en) * 2018-07-03 2021-05-12 Telefonaktiebolaget LM Ericsson (publ) A network node and method in a wireless communications network
JP7153128B2 (ja) * 2018-08-22 2022-10-13 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 端末デバイスにより実行されるビームトレーニング
CN109379752B (zh) 2018-09-10 2021-09-24 中国移动通信集团江苏有限公司 Massive MIMO的优化方法、装置、设备及介质
EP3664310A1 (en) * 2018-12-05 2020-06-10 INTEL Corporation Methods and devices for wireless communications in device-to-device networks
US11152992B2 (en) * 2018-12-21 2021-10-19 Qualcomm Incorporated Beam switch related information feedback in wireless communications
CN113261354B (zh) * 2019-01-04 2023-11-10 华为技术有限公司 具有发射限制的波束管理系统和方法
CN113424459B (zh) * 2019-01-29 2022-11-08 华为技术有限公司 用于设备通信的波束管理方法和装置
US11695462B2 (en) * 2019-01-29 2023-07-04 Qualcomm Incorporated Techniques for coordinated beamforming in millimeter wave systems
US11405088B2 (en) * 2019-02-07 2022-08-02 Qualcomm Incorporated Beam management using channel state information prediction
US11483807B2 (en) * 2019-02-13 2022-10-25 Qualcomm Incorporated Beam training request techniques in beamformed wireless communications
US10666342B1 (en) * 2019-05-01 2020-05-26 Qualcomm Incorporated Beam management using adaptive learning
US11658726B2 (en) * 2019-05-08 2023-05-23 Apple Inc. Beam tracking using downlink data reception and motion sensing information
CN111918416B (zh) * 2019-05-10 2023-10-10 华为技术有限公司 通信方法和通信装置

Also Published As

Publication number Publication date
CN111954228B (zh) 2023-12-29
EP3925086A1 (en) 2021-12-22
US12113590B2 (en) 2024-10-08
US20200366340A1 (en) 2020-11-19
EP3925086A4 (en) 2022-04-20
EP3925086B1 (en) 2023-08-02
CN111954228A (zh) 2020-11-17
WO2020231193A1 (en) 2020-11-19
KR20200132735A (ko) 2020-11-25

Similar Documents

Publication Publication Date Title
CN117835259A (zh) 波束管理方法、装置、电子设备及计算机可读存储介质
Morais et al. Position-aided beam prediction in the real world: How useful GPS locations actually are?
US11096176B2 (en) Location-based beam prediction using machine learning
EP2930966B1 (en) Selecting beam-forming weighting vectors for antennae
CN112886996A (zh) 信号接收方法、用户设备、电子设备及计算机存储介质
Cousik et al. Deep learning for fast and reliable initial access in AI-driven 6G mmWave networks
KR102154273B1 (ko) 다중 안테나 적용 통신 시스템에서 부분 간섭 정렬 장치 및 방법
JP2024517892A (ja) インテリジェントサーフェス機器のビーム制御方法、装置及び電子機器
US11546033B2 (en) Method of performing beam training based on reinforcement learning and wireless communication device performing the same
CN114257280B (zh) 一种基于空间扫描的自适应毫米波波束搜索方法
Liu et al. Deep reinforcement learning based dynamic power and beamforming design for time-varying wireless downlink interference channel
US10601530B2 (en) Method for generating measurement result and device
CN115622596B (zh) 一种基于多任务学习的快速波束对齐方法
Krishnamurthi et al. Enhancing spectrum sharing efficiency in large-scale MIMO systems over integration of cognitive radio and reinforcement learning
Almutairi A Deep Learning Framework for Blockage Mitigation in mmWave Wireless
Bouazizi et al. A novel approach for inter-user distance estimation in 5G mmwave networks using deep learning
Wang et al. Fast MmWave Beam Alignment Method with Adaptive Discounted Thompson Sampling
Xu et al. Mobility-aware adaptive beam tracking for vehicles in MmWave communication networks
WO2024104070A1 (zh) 波束报告的发送方法、接收方法、装置及通信设备
Mäkelä et al. Performance of neural network handoff algorithm under varying mobile velocities
Nallagonda et al. Cooperative spectrum sensing with censoring of improved energy detector based cognitive radios in Rayleigh faded channel
Pjanić et al. Illuminating the Path: Attention-Assisted Beamforming and Predictive Insights in 5G NR Systems
Long et al. Deep Learning-Based Realization of Millimeter-Wave Beam Alignment with Non-Uniform Distribution of Users
Singh et al. Advanced Channel Sounding Techniques Using Phased Array Antennas
CN117997397A (zh) 资源配置方法、装置、通信设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination