[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2022098147A1 - 무선통신시스템에서 v2x 메시지에 기반하여 영상 처리하는 방법 및 이를 위한 장치 - Google Patents

무선통신시스템에서 v2x 메시지에 기반하여 영상 처리하는 방법 및 이를 위한 장치 Download PDF

Info

Publication number
WO2022098147A1
WO2022098147A1 PCT/KR2021/016029 KR2021016029W WO2022098147A1 WO 2022098147 A1 WO2022098147 A1 WO 2022098147A1 KR 2021016029 W KR2021016029 W KR 2021016029W WO 2022098147 A1 WO2022098147 A1 WO 2022098147A1
Authority
WO
WIPO (PCT)
Prior art keywords
message
information
image
vehicle
additional information
Prior art date
Application number
PCT/KR2021/016029
Other languages
English (en)
French (fr)
Inventor
황재호
김학성
서한별
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP21889612.4A priority Critical patent/EP4242938A4/en
Publication of WO2022098147A1 publication Critical patent/WO2022098147A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]

Definitions

  • a wireless communication system is a multiple access system that supports communication with multiple users by sharing available system resources (eg, bandwidth, transmission power, etc.).
  • Examples of the multiple access system include a code division multiple access (CDMA) system, a frequency division multiple access (FDMA) system, a time division multiple access (TDMA) system, an orthogonal frequency division multiple access (OFDMA) system, and a single carrier frequency (SC-FDMA) system.
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division multiple access
  • SC-FDMA single carrier frequency
  • a sidelink refers to a communication method in which a direct link is established between user equipment (UE), and voice or data is directly exchanged between terminals without going through a base station (BS).
  • SL is being considered as a method to solve the burden of the base station due to the rapidly increasing data traffic.
  • V2X vehicle-to-everything refers to a communication technology that exchanges information with other vehicles, pedestrians, and infrastructure-built objects through wired/wireless communication.
  • V2X can be divided into four types: vehicle-to-vehicle (V2V), vehicle-to-infrastructure (V2I), vehicle-to-network (V2N), and vehicle-to-pedestrian (V2P).
  • V2X communication may be provided through a PC5 interface and/or a Uu interface.
  • RAT radio access technology
  • MTC massive machine type communication
  • URLLC Ultra-Reliable and Low Latency Communication
  • a next-generation radio access technology in consideration of the like may be referred to as a new radio access technology (RAT) or a new radio (NR).
  • RAT new radio access technology
  • NR new radio
  • V2X vehicle-to-everything
  • 1 is a diagram for explaining by comparing V2X communication based on RAT before NR and V2X communication based on NR
  • V2X message may include location information, dynamic information, attribute information, and the like.
  • the UE may transmit a periodic message type CAM and/or an event triggered message type DENM to another UE.
  • the CAM may include basic vehicle information such as dynamic state information of the vehicle such as direction and speed, vehicle static data such as dimensions, external lighting conditions, and route details.
  • the UE may broadcast a CAM, and the CAM latency may be less than 100 ms.
  • the terminal may generate a DENM and transmit it to another terminal.
  • all vehicles within the transmission range of the terminal may receive the CAM and/or DENM.
  • the DENM may have a higher priority than the CAM.
  • V2X scenarios are being presented in NR.
  • various V2X scenarios may include vehicle platooning, advanced driving, extended sensors, remote driving, and the like.
  • vehicles can be dynamically grouped and moved together.
  • vehicles belonging to the group may receive periodic data from a leading vehicle.
  • the vehicles belonging to the group may reduce or widen the distance between the vehicles by using periodic data.
  • the vehicle can be semi-automated or fully automated.
  • each vehicle may adjust trajectories or maneuvers based on data obtained from local sensors of the proximate vehicle and/or proximate logical entity.
  • each vehicle may share driving intention with adjacent vehicles.
  • raw data or processed data obtained through local sensors, or live video data is a vehicle, a logical entity, a terminal of pedestrians and / or can be interchanged between V2X application servers.
  • the vehicle may recognize an environment that is improved over an environment that can be detected using its own sensor.
  • a remote driver or V2X application may operate or control the remote vehicle.
  • a route can be predicted such as in public transportation
  • cloud computing-based driving may be used to operate or control the remote vehicle.
  • access to a cloud-based back-end service platform may be considered for remote driving.
  • the problem to be solved is to specifically select an object matching the second device from among the objects in the first image obtained based on the V2X message additionally including additional information on the characteristics of the second device to the first image.
  • An object of the present invention is to provide a method and apparatus capable of greatly improving the performance and accuracy of image processing.
  • a method of processing an image based on a V2X message received by a first device learned in a wireless communication system includes: acquiring a first image for a specific region; receiving a first V2X message related to the specific region and matching an object corresponding to a second device that transmitted the first V2X message in the first image based on the first V2X message, wherein the first V2X message is in the first image Additional information about the characteristics of the second device for matching the second device may be included.
  • the additional information includes information on at least one of a shape, color, material, movement pattern, driving method, and attachment of the second device, and is characterized in that it is included in the AISupportContainer of the first V2X message.
  • the additional information may include two-dimensional pre-processed image information for indicating at least one of a shape, color, material, movement pattern, driving method, and attachment of the second device.
  • the first device specifies an object matching the second device from among a plurality of objects identified in the first image based on the additional information, the location of the specified object and the first V2X message It is characterized in that a correction value for correcting the position of the second device is calculated based on the position of the included second device.
  • the first device may transmit a message including the correction value to the second device.
  • the first device transmits a message for updating the additional information to the second device when there is a part in which the characteristic of the specified object differs from the characteristic of the second device in the additional information. do.
  • the first device is characterized in that it is learned based on the second image and the label information related to the third device that has transmitted the second V2X message.
  • the label information may provide information on the type of the third device.
  • the second V2X message is characterized in that it includes the label information.
  • VAM Vulnerable road user awareness message
  • CPM Collective Perception Message
  • BSM Basic Safety Message
  • PSM Pedestrian Safety message
  • a method for a second device to transmit a first message including additional information in a wireless communication system includes transmitting a first message including additional information related to image processing to a first device, and receiving, from a first device, a second message including matching information based on the image processing, wherein the additional information is for matching the second device with the first image acquired by the first device Information on the appearance of the device may be included, and the matching information may include a correction value for correcting the location of the second device.
  • the first learned apparatus for image processing based on the V2X message received in the wireless communication system includes a radio frequency (RF) transceiver and a processor connected to the RF transceiver, the processor for a specific area
  • RF radio frequency
  • a second device for transmitting a first message including additional information in a wireless communication system includes a radio frequency (RF) transceiver and a processor connected to the RF transceiver, wherein the processor controls the RF transceiver to transmit a first message including additional information related to image processing to the first device, and receive a second message including matching information based on the image processing from the first device, wherein the additional information is transmitted to the first device
  • the first image obtained by the device may include information on characteristics of the second device for matching the second device, and the matching information may include a correction value for correcting the position of the second device.
  • the learned chipset for image processing based on the V2X message received in the wireless communication system is operatively connected to at least one processor and the at least one processor, and when executed, the at least one processor operates and at least one memory to perform Matches an object corresponding to the second device that transmitted the first V2X message in the video, and the first V2X message is additional information on the characteristics of the second device for matching the second device in the first video may include.
  • a computer-readable storage medium including at least one computer program for image processing based on the V2X message received from the wireless communication system is at least one computer readable storage medium that causes the at least one processor to perform image processing.
  • a computer program and a computer readable storage medium storing the at least one computer program, wherein the operation acquires a first image for a specific area, receives a first V2X message related to the specific area, and the first Matches an object corresponding to the second device that transmitted the first V2X message in the first image based on the V2X message, and the first V2X message is the first V2X message for matching the second device in the first image 2 It may include additional information about the characteristics of the device.
  • an object matching the second device among objects in the first image obtained based on the V2X message additionally including additional information on the characteristics of the second device is specifically selected for the first image.
  • the performance and accuracy of image processing can be greatly improved.
  • the additional information may be updated or the location of the second device may be accurately corrected.
  • 1 is a diagram for explaining by comparing V2X communication based on RAT before NR and V2X communication based on NR
  • FIG 2 shows the structure of an LTE system.
  • 3 shows the structure of the NR system.
  • FIG. 4 shows the structure of a radio frame of NR.
  • 5 shows a slot structure of an NR frame.
  • FIG. 6 shows a radio protocol architecture for SL communication.
  • FIG. 7 shows a terminal performing V2X or SL communication.
  • FIG. 8 shows a resource unit for V2X or SL communication.
  • FIG. 9 is a diagram for explaining an ITS station reference architecture.
  • 10 is an exemplary structure of an ITS station that can be designed and applied based on a reference structure.
  • FIG. 11 and 12 are diagrams illustrating an operation of an RSU including an imaging device such as a camera.
  • FIG. 13 is a diagram of a first apparatus for learning using learning auxiliary information added to V2X.
  • FIG. 14 is a diagram for setting a message structure for a V2X message and a SoftV2X message including additional information and/or label information.
  • 16 and 17 are diagrams for explaining DF_StatoinShape and DF_StatoinShape included in the V2X message or SoftV2X message.
  • 18 and 19 are diagrams for explaining a method of generating and operating additional information through cooperation between a VRU and an RSU.
  • 20 and 21 are diagrams for explaining a method of generating and managing the additional information between the VRU and the vehicle through the SoftV2X server.
  • 22 to 25 are diagrams for explaining a method for an RSU to learn based on a V2X message based on various system structures.
  • 26 is a view for explaining a method of matching between the location information of the V2X device included in the V2X message and the object in the image obtained by the camera.
  • 27 is a diagram for explaining a method for a learned first device to perform image processing based on a first V2X message.
  • FIG. 28 is a diagram for explaining a method for a second device to transmit a first V2X message that can assist in image processing.
  • 29 illustrates a communication system applied to the present invention.
  • FIG. 30 illustrates a wireless device that can be applied to the present invention.
  • the wireless device may be implemented in various forms according to use-examples/services.
  • FIG. 32 illustrates a vehicle or an autonomous driving vehicle to which the present invention is applied.
  • the wireless communication system is a multiple access system that supports communication with multiple users by sharing available system resources (eg, bandwidth, transmission power, etc.).
  • Examples of the multiple access system include a code division multiple access (CDMA) system, a frequency division multiple access (FDMA) system, a time division multiple access (TDMA) system, an orthogonal frequency division multiple access (OFDMA) system, and a single carrier frequency (SC-FDMA) system.
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division multiple access
  • SC-FDMA single carrier frequency
  • a sidelink refers to a communication method in which a direct link is established between user equipment (UE), and voice or data is directly exchanged between terminals without going through a base station (BS).
  • the sidelink is being considered as one way to solve the burden of the base station due to the rapidly increasing data traffic.
  • V2X vehicle-to-everything refers to a communication technology that exchanges information with other vehicles, pedestrians, and infrastructure-built objects through wired/wireless communication.
  • V2X can be divided into four types: vehicle-to-vehicle (V2V), vehicle-to-infrastructure (V2I), vehicle-to-network (V2N), and vehicle-to-pedestrian (V2P).
  • V2X communication may be provided through a PC5 interface and/or a Uu interface.
  • the access technology may be referred to as new radio access technology (RAT) or new radio (NR). Even in NR, vehicle-to-everything (V2X) communication may be supported.
  • RAT new radio access technology
  • NR new radio
  • CDMA code division multiple access
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • OFDMA orthogonal frequency division multiple access
  • SC-FDMA single carrier frequency division multiple access
  • CDMA may be implemented with a radio technology such as universal terrestrial radio access (UTRA) or CDMA2000.
  • TDMA may be implemented with a radio technology such as global system for mobile communications (GSM)/general packet radio service (GPRS)/enhanced data rates for GSM evolution (EDGE).
  • GSM global system for mobile communications
  • GPRS general packet radio service
  • EDGE enhanced data rates for GSM evolution
  • OFDMA may be implemented with a wireless technology such as Institute of Electrical and Electronics Engineers (IEEE) 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802-20, and evolved UTRA (E-UTRA).
  • IEEE 802.16m is an evolution of IEEE 802.16e, and provides backward compatibility with a system based on IEEE 802.16e.
  • UTRA is part of the universal mobile telecommunications system (UMTS).
  • 3rd generation partnership project (3GPP) long term evolution (LTE) is a part of evolved UMTS (E-UMTS) that uses evolved-UMTS terrestrial radio access (E-UTRA), and employs OFDMA in downlink and SC in uplink -Adopt FDMA.
  • LTE-A (advanced) is an evolution of 3GPP LTE.
  • 5G NR is a successor technology of LTE-A, and is a new clean-slate type mobile communication system with characteristics such as high performance, low latency, and high availability. 5G NR can utilize all available spectrum resources, from low frequency bands below 1 GHz, to intermediate frequency bands from 1 GHz to 10 GHz, and high frequency (millimeter wave) bands above 24 GHz.
  • LTE-A or 5G NR is mainly described, but the technical spirit of the embodiment(s) is not limited thereto.
  • E-UTRAN Evolved-UMTS Terrestrial Radio Access Network
  • LTE Long Term Evolution
  • the E-UTRAN includes a base station (BS) 20 that provides a control plane and a user plane to the terminal 10 .
  • the terminal 10 may be fixed or mobile, and may be referred to by other terms such as a mobile station (MS), a user terminal (UT), a subscriber station (SS), a mobile terminal (MT), and a wireless device.
  • the base station 20 refers to a fixed station that communicates with the terminal 10, and may be called by other terms such as an evolved-NodeB (eNB), a base transceiver system (BTS), and an access point.
  • eNB evolved-NodeB
  • BTS base transceiver system
  • the base stations 20 may be connected to each other through an X2 interface.
  • the base station 20 is connected to an Evolved Packet Core (EPC) 30 through an S1 interface, more specifically, a Mobility Management Entity (MME) through S1-MME and a Serving Gateway (S-GW) through S1-U.
  • EPC Evolved Packet Core
  • the EPC 30 is composed of an MME, an S-GW, and a Packet Data Network-Gateway (P-GW).
  • the MME has access information of the terminal or information about the capability of the terminal, and this information is mainly used for mobility management of the terminal.
  • the S-GW is a gateway having E-UTRAN as an endpoint
  • the P-GW is a gateway having a PDN as an endpoint.
  • the layers of the Radio Interface Protocol between the terminal and the network are based on the lower three layers of the Open System Interconnection (OSI) standard model widely known in communication systems, L1 (Layer 1), It may be divided into L2 (second layer) and L3 (third layer).
  • OSI Open System Interconnection
  • the physical layer belonging to the first layer provides an information transfer service using a physical channel
  • the RRC (Radio Resource Control) layer located in the third layer is a radio resource between the terminal and the network. plays a role in controlling To this end, the RRC layer exchanges RRC messages between the terminal and the base station.
  • 3 shows the structure of the NR system.
  • the NG-RAN may include a gNB and/or an eNB that provides user plane and control plane protocol termination to the UE.
  • 7 illustrates a case in which only gNBs are included.
  • the gNB and the eNB are connected to each other through an Xn interface.
  • the gNB and the eNB are connected to the 5G Core Network (5GC) through the NG interface. More specifically, it is connected to an access and mobility management function (AMF) through an NG-C interface, and is connected to a user plane function (UPF) through an NG-U interface.
  • AMF access and mobility management function
  • UPF user plane function
  • FIG. 4 shows the structure of a radio frame of NR.
  • radio frames may be used in uplink and downlink transmission in NR.
  • the radio frame has a length of 10 ms and may be defined as two 5 ms half-frames (HF).
  • a half-frame may include 5 1ms subframes (Subframe, SF).
  • a subframe may be divided into one or more slots, and the number of slots in a subframe may be determined according to a subcarrier spacing (SCS).
  • SCS subcarrier spacing
  • Each slot may include 12 or 14 OFDM(A) symbols according to a cyclic prefix (CP).
  • CP cyclic prefix
  • each slot may include 14 symbols.
  • each slot may include 12 symbols.
  • the symbol may include an OFDM symbol (or a CP-OFDM symbol), a single carrier-FDMA (SC-FDMA) symbol (or a Discrete Fourier Transform-spread-OFDM (DFT-s-OFDM) symbol).
  • Table 1 below shows the number of symbols per slot ((N slot symb ), the number of slots per frame ((N frame, u slot ) and the number of slots per subframe according to the SCS configuration (u) when normal CP is used. ((N subframe,u slot ) is exemplified.
  • Table 2 illustrates the number of symbols per slot, the number of slots per frame, and the number of slots per subframe according to SCS when the extended CP is used.
  • OFDM(A) numerology eg, SCS, CP length, etc.
  • OFDM(A) numerology eg, SCS, CP length, etc.
  • an (absolute time) interval of a time resource eg, a subframe, a slot, or a TTI
  • a TU Time Unit
  • multiple numerology or SCS to support various 5G services may be supported. For example, when SCS is 15 kHz, wide area in traditional cellular bands can be supported, and when SCS is 30 kHz/60 kHz, dense-urban, lower latency) and a wider carrier bandwidth may be supported. For SCS of 60 kHz or higher, bandwidths greater than 24.25 GHz may be supported to overcome phase noise.
  • the NR frequency band may be defined as two types of frequency ranges.
  • the two types of frequency ranges may be FR1 and FR2.
  • the numerical value of the frequency range may be changed.
  • the two types of frequency ranges may be as shown in Table 3 below.
  • FR1 may mean "sub 6GHz range”
  • FR2 may mean “above 6GHz range”
  • mmW millimeter wave
  • FR1 may include a band of 410 MHz to 7125 MHz as shown in Table 4 below. That is, FR1 may include a frequency band of 6 GHz (or 5850, 5900, 5925 MHz, etc.) or higher. For example, a frequency band of 6GHz (or 5850, 5900, 5925 MHz, etc.) or higher included in FR1 may include an unlicensed band. The unlicensed band may be used for various purposes, for example, for communication for a vehicle (eg, autonomous driving).
  • 5 shows a slot structure of an NR frame.
  • a slot includes a plurality of symbols in the time domain.
  • one slot may include 14 symbols, but in the case of an extended CP, one slot may include 12 symbols.
  • one slot may include 7 symbols, but in the case of an extended CP, one slot may include 6 symbols.
  • a carrier wave includes a plurality of subcarriers in the frequency domain.
  • a resource block (RB) may be defined as a plurality of (eg, 12) consecutive subcarriers in the frequency domain.
  • BWP Bandwidth Part
  • P Physical Resource Block
  • a carrier wave may include a maximum of N (eg, 5) BWPs. Data communication may be performed through the activated BWP.
  • Each element may be referred to as a resource element (RE) in the resource grid, and one complex symbol may be mapped.
  • RE resource element
  • the wireless interface between the terminal and the terminal or the wireless interface between the terminal and the network may be composed of an L1 layer, an L2 layer, and an L3 layer.
  • the L1 layer may mean a physical layer.
  • the L2 layer may mean at least one of a MAC layer, an RLC layer, a PDCP layer, and an SDAP layer.
  • the L3 layer may mean an RRC layer.
  • V2X or SL (sidelink) communication will be described.
  • FIG. 6 shows a radio protocol architecture for SL communication. Specifically, FIG. 6(a) shows a user plane protocol stack of NR, and FIG. 6(b) shows a control plane protocol stack of NR.
  • SL synchronization signal Sidelink Synchronization Signal, SLSS
  • SLSS Segment Synchronization Signal
  • the SLSS is an SL-specific sequence and may include a Primary Sidelink Synchronization Signal (PSSS) and a Secondary Sidelink Synchronization Signal (SSSS).
  • PSSS Primary Sidelink Synchronization Signal
  • SSSS Secondary Sidelink Synchronization Signal
  • the PSSS may be referred to as a Sidelink Primary Synchronization Signal (S-PSS)
  • S-SSS Sidelink Secondary Synchronization Signal
  • S-SSS Sidelink Secondary Synchronization Signal
  • length-127 M-sequences may be used for S-PSS
  • length-127 Gold sequences may be used for S-SSS.
  • the terminal may detect an initial signal using S-PSS and may obtain synchronization.
  • the UE may acquire detailed synchronization using S-PSS and S-SSS, and may detect a synchronization signal ID.
  • PSBCH Physical Sidelink Broadcast Channel
  • PSBCH Physical Sidelink Broadcast Channel
  • the basic information is information related to SLSS, duplex mode (Duplex Mode, DM), TDD UL/DL (Time Division Duplex Uplink/Downlink) configuration, resource pool related information, type of application related to SLSS, It may be a subframe offset, broadcast information, or the like.
  • the payload size of PSBCH may be 56 bits including a CRC of 24 bits.
  • S-PSS, S-SSS, and PSBCH may be included in a block format supporting periodic transmission (eg, SL SS (Synchronization Signal)/PSBCH block, hereinafter S-SSB (Sidelink-Synchronization Signal Block)).
  • the S-SSB may have the same numerology (ie, SCS and CP length) as a Physical Sidelink Control Channel (PSCCH)/Physical Sidelink Shared Channel (PSSCH) in the carrier, and the transmission bandwidth is (pre)set SL Sidelink (BWP) BWP).
  • the bandwidth of the S-SSB may be 11 resource blocks (RBs).
  • the PSBCH may span 11 RBs.
  • the frequency position of the S-SSB may be set (in advance). Therefore, the UE does not need to perform hypothesis detection in frequency in order to discover the S-SSB in the carrier.
  • the transmitting terminal may transmit one or more S-SSBs to the receiving terminal within one S-SSB transmission period according to the SCS.
  • the number of S-SSBs that the transmitting terminal transmits to the receiving terminal within one S-SSB transmission period may be pre-configured or configured in the transmitting terminal.
  • the S-SSB transmission period may be 160 ms.
  • an S-SSB transmission period of 160 ms may be supported.
  • the transmitting terminal may transmit one or two S-SSBs to the receiving terminal within one S-SSB transmission period. For example, when the SCS is 30 kHz in FR1, the transmitting terminal may transmit one or two S-SSBs to the receiving terminal within one S-SSB transmission period. For example, when the SCS is 60 kHz in FR1, the transmitting terminal may transmit one, two or four S-SSBs to the receiving terminal within one S-SSB transmission period.
  • the transmitting terminal can transmit 1, 2, 4, 8, 16 or 32 S-SSBs to the receiving terminal within one S-SSB transmission period. there is.
  • the transmitting terminal sends 1, 2, 4, 8, 16, 32 or 64 S-SSBs to the receiving terminal within one S-SSB transmission period. can be transmitted.
  • the structure of the S-SSB transmitted from the transmitting terminal to the receiving terminal may be different according to the CP type.
  • the CP type may be a Normal CP (NCP) or an Extended CP (ECP).
  • NCP Normal CP
  • ECP Extended CP
  • the number of symbols for mapping the PSBCH in the S-SSB transmitted by the transmitting terminal may be 9 or 8.
  • the CP type is ECP
  • the number of symbols for mapping the PSBCH in the S-SSB transmitted by the transmitting terminal may be 7 or 6.
  • the PSBCH may be mapped to the first symbol in the S-SSB transmitted by the transmitting terminal.
  • the receiving terminal receiving the S-SSB may perform an automatic gain control (AGC) operation in the first symbol period of the S-SSB.
  • AGC automatic gain control
  • FIG. 7 shows a terminal performing V2X or SL communication.
  • terminal in V2X or SL communication may mainly refer to a user's terminal.
  • the base station may also be regarded as a kind of terminal.
  • terminal 1 may be the first apparatus 100
  • terminal 2 may be the second apparatus 200 .
  • UE 1 may select a resource unit corresponding to a specific resource from a resource pool indicating a set of a series of resources. And, UE 1 may transmit an SL signal using the resource unit.
  • terminal 2 which is a receiving terminal, may receive a resource pool configured for terminal 1 to transmit a signal, and may detect a signal of terminal 1 in the resource pool.
  • the base station may inform the terminal 1 of the resource pool.
  • another terminal informs terminal 1 of the resource pool, or terminal 1 may use a preset resource pool.
  • the resource pool may be composed of a plurality of resource units, and each terminal may select one or a plurality of resource units to use for its own SL signal transmission.
  • FIG. 8 shows a resource unit for V2X or SL communication.
  • the total frequency resources of the resource pool may be divided into NF, and the total time resources of the resource pool may be divided into NT. Accordingly, a total of NF * NT resource units may be defined in the resource pool. 8 shows an example in which the corresponding resource pool is repeated in a period of NT subframes.
  • one resource unit (eg, Unit #0) may appear periodically and repeatedly.
  • an index of a physical resource unit to which one logical resource unit is mapped may change in a predetermined pattern according to time.
  • the resource pool may mean a set of resource units that a terminal that wants to transmit an SL signal can use for transmission.
  • a resource pool can be subdivided into several types. For example, according to the content of the SL signal transmitted from each resource pool, the resource pool may be divided as follows.
  • Scheduling assignment is a location of a resource used by a transmitting terminal for transmission of an SL data channel, MCS (Modulation and Coding Scheme) or MIMO (Multiple Input Multiple Output) required for demodulation of other data channels ) may be a signal including information such as a transmission method and TA (Timing Advance).
  • SA may also be multiplexed and transmitted together with SL data on the same resource unit.
  • the SA resource pool may mean a resource pool in which SA is multiplexed with SL data and transmitted.
  • the SA may be referred to as an SL control channel.
  • SL data channel Physical Sidelink Shared Channel, PSSCH
  • PSSCH Physical Sidelink Shared Channel
  • SL data channel may be a resource pool used by the transmitting terminal to transmit user data. If SA is multiplexed and transmitted together with SL data on the same resource unit, only the SL data channel of the form excluding SA information may be transmitted from the resource pool for the SL data channel. In other words, REs (Resource Elements) used to transmit SA information on individual resource units in the SA resource pool may still be used to transmit SL data in the resource pool of the SL data channel.
  • the transmitting terminal may transmit by mapping the PSSCH to the continuous PRB.
  • the discovery channel may be a resource pool for the transmitting terminal to transmit information such as its ID. Through this, the transmitting terminal can allow the neighboring terminal to discover itself.
  • the transmission timing determining method of the SL signal eg, whether it is transmitted at the reception time of the synchronization reference signal or is transmitted by applying a certain timing advance at the reception time
  • resource Allocation method eg, whether the base station designates an individual signal transmission resource to an individual transmission terminal or whether an individual transmission terminal selects an individual signal transmission resource by itself within a resource pool
  • a signal format eg, each SL It may be divided into different resource pools again according to the number of symbols occupied by a signal in one subframe, or the number of subframes used for transmission of one SL signal), the signal strength from the base station, the transmission power strength of the SL terminal, and the like.
  • ITS Intelligent Transport System
  • V2X Vehicle-to-Everything
  • Access layer access layer
  • Network & Transport layer networking and transport layer
  • Facilities layer facility layer
  • Application layer application layer
  • Security security
  • Management Management
  • V2V Vehicle-to-vehicle communication
  • V2N vehicle-to-base station communication
  • V2RSU Vehicle-to-RSU (Road-Side Unit) communication
  • V2I, I2V vehicle-to-RSU communication
  • I2I vehicle-to-human communication
  • V2P, P2V vehicle-to-vehicle communication
  • ITS stations A vehicle, a base station, an RSU, a person, etc., which are the subject of vehicle communication, are referred to as ITS stations.
  • FIG. 9 is a diagram for explaining an ITS station reference architecture.
  • ITS station reference architecture (ITS station reference architecture), an access layer (Access layer), network & transport layer (Network & Transport layer), Facilities layer and an entity for security and management (Entity) and top level is composed of an application layer, and basically follows the layered OSI (layered OSI) model.
  • layered OSI layered OSI
  • an ITS station reference structure feature based on the OSI model is shown.
  • the access layer of the ITS station corresponds to OSI layer 1 (physical layer) and layer 2 (data link layer), and the network & transport layer of the ITS station is OSI layer 3 (network layer) and layer 4 (transport layer), and the facilities layer of the ITS station corresponds to OSI layer 5 (session layer), layer 6 (presentation layer) and layer 7 (application layer).
  • the application layer located at the top of the ITS station performs a support function by actually implementing a use-case, and can be selectively used according to the use-case.
  • the management entity serves to manage all layers including communication and operation of the ITS station.
  • a security entity provides a security service for all layers.
  • Each layer of the ITS station exchanges data transmitted or received through vehicle communication and additional information for various purposes through mutual interfaces. The following is an abbreviated description of the various interfaces.
  • MN Interface between management entity and networking & transport layer
  • MI Interface between management entity and access layer
  • 10 is an exemplary structure of an ITS station that can be designed and applied based on a reference structure.
  • the main concept of the reference structure of the ITS station is to allow the communication processing to be divided into layers with special functions possessed by each layer between two end vehicles/users composed of a communication network. That is, when a vehicle-to-vehicle message is generated, data is passed through each layer down one layer at a time in the vehicle and the ITS system (or other ITS-related terminals/systems), and on the other side, the vehicle receiving the message when the message arrives or ITS (or other ITS-related terminals/systems) is passed through one layer at a time.
  • the ITS system through vehicle communication and network is organically designed in consideration of various access technologies, network protocols, communication interfaces, etc. to support various use-cases, and the roles and functions of each layer described below may be changed according to circumstances. can The following briefly describes the main functions of each layer.
  • the application layer actually implements and supports various use-cases, and provides, for example, safety and efficient traffic information and other entertainment information.
  • the application layer controls the ITS station to which the application belongs in various forms, or transmits service messages through vehicle communication through the lower access layer, network & transport layer, and facilities layer to the end vehicle/user/infrastructure, etc. to provide.
  • the ITS application may support various use cases, and in general, these use-cases may be supported by grouping them into other applications such as road-safety, traffic efficiency, local services, and infotainment.
  • Application classification, use-case, etc. can be updated when a new application scenario is defined.
  • Layer management serves to manage and service information related to operation and security of the application layer, and related information includes MA (interface between management entity and application layer) and SA (interface between security entity and ITS- S applications) (or SAP: Service Access Point, eg MA-SAP, SA-SAP) is transmitted and shared in both directions.
  • MA interface between management entity and application layer
  • SA interface between security entity and ITS- S applications
  • SAP Service Access Point
  • the transfer of service messages and related information from the application layer to the facilities layer or from the facilities layer to the application layer is performed through FA (interface between facilities layer and ITS-S applications or FA-SAP).
  • the facility layer plays a role of effectively realizing various use-cases defined in the upper application layer, and may perform, for example, application support, information support, and session/communication support.
  • the facility layer basically supports the upper three layers of the OSI model, eg) the session layer, the presentation layer, the application layer, and functions. Specifically, for ITS, it provides facilities such as application support, information support, session/communication support, and the like.
  • the facility refers to a component that provides functionality, information, and data.
  • Application support facilities are facilities that support the operation of ITS applications (mainly ITS message generation, transmission/reception with lower layers, and management thereof).
  • the application support facility includes a Cooperative Awareness (CA) basic service and a Decentralized Environmental Notification (DEN) basic service.
  • CA Cooperative Awareness
  • DEN Decentralized Environmental Notification
  • a facility entity for new services such as Cooperative Adaptive Cruise Control (CACC), Platooning, Vulnerable Roadside User (VRU), and Collective Perception Service (CPS) and related messages may be further defined.
  • CACC Cooperative Adaptive Cruise Control
  • VRU Vulnerable Roadside User
  • CPS Collective Perception Service
  • Information support facilities are facilities that provide common data information or databases to be used by various ITS applications, such as Local Dynamic Map (LDM).
  • LDM Local Dynamic Map
  • Session/communication support facilities are facilities that provide services for communications and session management, such as addressing mode and session support.
  • the facilities may be divided into common facilities and domain facilities.
  • Common facilities are facilities that provide common services or functions required for various ITS applications and ITS station operations, such as time management, position management, and service managements.
  • Domain facilities are facilities that provide special services or functions required only for some (one or more) ITS applications, such as DEN basic service for Road Hazard Warning applications (RHW). Domain facilities are optional functions and are not used unless supported by the ITS station.
  • RHW Road Hazard Warning applications
  • Layer management plays a role in managing and servicing information related to the operation and security of the facilities layer, and the related information includes the MF (interface between management entity and facilities layer) and SF (interface between security entity and facilities layer) layers. ) (or MF-SAP, SF-SAP), it is transmitted and shared in both directions.
  • the transfer of service messages and related information from the application layer to the facilities layer or from the facilities layer to the application layer is done through FA (or FA-SAP), and the bidirectional service message and related information between the facilities layer and lower networking & transport layer Information is transmitted by NF (interface between networking & transport layer and facilities layer, or NF-SAP).
  • the vehicle network layer may be designed or configured depending on the technology used for the access layer (access layer technology-dependent), regardless of the technology used for the access layer (access layer technology-independent, access layer technology agnostic) can be configured.
  • the European ITS network & transport layer functions are as follows. Basically, the functions of the ITS network & transport layer are similar to or identical to those of the OSI layer 3 (network layer) and layer 4 (transport layer), and have the following characteristics.
  • the transport layer is a connection layer that delivers service messages and related information provided from upper layers (session layer, presentation layer, application layer) and lower layers (network layer, data link layer, physical layer). It plays a role in managing so that the data sent by the application of the ITS station arrives in the application process of the ITS station as the destination.
  • Transport protocols that can be considered in European ITS include TCP and UDP used as existing Internet protocols as shown in Figure OP5.1, for example, and there are transport protocols only for ITS such as BTS.
  • the network layer plays a role in determining a logical address and packet forwarding method/path, and adding information such as the logical address and forwarding path/method of the destination to the packet provided from the transport layer to the header of the network layer.
  • the packet method unicast (unicast), broadcast (broadcast), multicast (multicast), etc. between ITS stations may be considered.
  • a networking protocol for ITS can be considered in various ways, such as GeoNetworking, IPv6 networking with mobility support, and IPv6 over GeoNetworking.
  • the GeoNetworking protocol can apply various delivery routes or delivery ranges, such as forwarding using the location information of stations including vehicles or forwarding using the number of forwarding hops.
  • Layer management related to the network & transport layer performs a role of managing and servicing information related to the operation and security of the network & transport layer, and the related information is MN (interface between management entity) and networking & transport layer, or MN-SAP) and SN (interface between security entity and networking & transport layer, or SN-SAP) are transmitted and shared in both directions.
  • MN interface between management entity
  • MN-SAP networking & transport layer
  • SN interface between security entity and networking & transport layer, or SN-SAP
  • the bidirectional service message and related information transfer between the facilities layer and the networking & transport layer is accomplished by NF (or NF-SAP), and the exchange of service messages and related information between the networking & transport layer and the access layer is performed by IN (interface between access). layer and networking & transport layer, or IN-SAP).
  • North American ITS network & transport layer supports IPv6 and TCP/UDP to support existing IP data like Europe, and WSMP (WAVE Short Message Protocol) is defined as a protocol for ITS only.
  • the packet structure of WSM (WAVE Short Message) generated according to WSMP is composed of WSMP Header and WSM data through which the message is transmitted.
  • the WSMP header consists of version, PSID, WSMP header extension field, WSM WAVE element ID, and length.
  • Version is defined by the WsmpVersion field indicating the actual WSMP version of 4 bits and the reserved field of 4 bits.
  • PSID is a provider service identifier, which is allocated according to the application in the upper layer, and helps the receiver to determine the appropriate upper layer.
  • Extension fields are fields for extending the WSMP header, and information such as channel number, data-rate, and transmit power used is inserted.
  • WSMP WAVE element ID specifies the type of WAVE short message to be transmitted. Lenth designates the length of WSM data transmitted through the WSMLemgth field of 12 bits in octets, and the remaining 4 bits are reserved.
  • the LLC Header has a function that allows to transmit IP data and WSMP data separately, and is distinguished through the Ethertype of SNAP.
  • the structure of LLC header and SNAP header is defined in IEEE802.2.
  • Ethertype is set to 0x86DD to configure the LLC header.
  • WSMP is transmitted, Ethertype is set to 0x88DC to configure the LLC header.
  • the Ethertype is checked and, if it is 0x86DD, the packet is sent to the IP data path, and if the Ethertype is 0x88DC, the packet is uploaded and sent to the WSMP path.
  • the access layer plays a role in transmitting a message or data received from an upper layer through a physical channel.
  • ITS-G5 vehicle communication technology based on IEEE 802.11p, satellite/broadband wireless mobile communication technology, 2G/3G/4G (LTE (Long-Term Evolution), etc.)/5G wireless cellular ( cellular) communication technology, cellular-V2X vehicle-specific communication technology such as LTE-V2X and NR-V2X (New Radio), broadband terrestrial digital broadcasting technology such as DVB-T/T2/ATSC3.0, GPS technology, etc.
  • 2G/3G/4G LTE (Long-Term Evolution), etc.
  • 5G wireless cellular (cellular) communication technology cellular-V2X vehicle-specific communication technology such as LTE-V2X and NR-V2X (New Radio)
  • broadband terrestrial digital broadcasting technology such as DVB-T/T2/ATSC3.0, GPS technology, etc.
  • the data link layer is a layer that converts the normally noisy physical line between adjacent nodes (or between vehicles) into a communication channel without transmission errors so that the upper network layer can use it.
  • Transport/transmission function framing function to group data to be transmitted by dividing it into packets (or frames) as a transmission unit, flow control function to compensate for the speed difference between sender and receiver, (physical transmission medium Detects and corrects a transmission error or uses an ARQ (Automatic Repeat Request) method to detect a transmission error through a timer and ACK signal at the transmitting side and not receive it correctly. It performs a function of retransmitting packets that have not been received.
  • a function to assign a sequence number to a packet and an ACK signal and a function to control the establishment, maintenance, short circuit and data transmission of data links between network entities are also performed.
  • LLC Logical Link Control
  • RRC Radio Resource Control
  • PDCP Packet Data Convergence Protocol
  • RLC Radio Link Control
  • MAC Medium Access Control
  • MCO Multi -channel Operation
  • the LLC sub-layer enables the use of several different lower MAC sub-layer protocols, enabling communication regardless of network topology.
  • the RRC sub-layer performs cell system information broadcasting necessary for all terminals in the cell, delivery management of paging messages, RRC connection management between the terminal and E-UTRAN (setup/maintenance/release), mobility management (handover), and handover. It performs functions such as UE context transfer between eNodeBs, UE measurement report and control, UE capability management, cell ID temporary assignment to UE, security management including key management, and RRC message encryption.
  • the PDCP sub-layer can perform IP packet header compression through a compression method such as ROHC (Robust Header Compression), encryption of control messages and user data (Ciphering), data integrity (Data Integrity), and data loss prevention during handover perform functions such as
  • ROHC Robot Header Compression
  • Ciphering encryption of control messages and user data
  • Data Integrity data integrity
  • the RLC sub-layer transmits data by matching the packet from the upper PDCP layer to the allowable size of the MAC layer through packet segmentation/concatenation, and improves data transmission reliability and reception through transmission error and retransmission management It checks the order of data, rearranges it, and checks duplicates.
  • the MAC sub-layer controls the occurrence of collision/contention between nodes for the use of shared media by multiple nodes, and the function of matching the packets delivered from the upper layer to the physical layer frame format, the assignment and identification of sender/receiver addresses, carrier detection, It performs a role such as collision detection and detection of obstacles on the physical medium.
  • the MCO sub-layer makes it possible to effectively provide a variety of services using a plurality of frequency channels, and its main function is to effectively distribute the traffic load in a specific frequency channel to other channels between vehicles in each frequency channel. Minimize collision/contention of communication information.
  • the physical layer is the lowest layer in the ITS hierarchical structure and defines the interface between the node and the transmission medium, performs modulation, coding, and mapping of the transmission channel to the physical channel for bit transmission between data link layer entities, and performs carrier detection ( It performs a function of notifying the MAC sublayer of whether the wireless medium is in use (busy or idle) through Carrier Sense) and Clear Channel Assessment (CCA).
  • carrier detection It performs a function of notifying the MAC sublayer of whether the wireless medium is in use (busy or idle) through Carrier Sense) and Clear Channel Assessment (CCA).
  • SoftV2X system is V2X communication using UU interface
  • SoftV2X server receives VRU message or PSM (Personal Safety Message) from VRU (Vulnerable Road User) or V2X vehicle, and based on VRU message or PSM message, surrounding VRU or vehicle It is a system that transmits information on the vehicle or analyzes the road conditions on which the surrounding VRUs or vehicles move, and transmits a message informing the surrounding VRUs or vehicles of a collision warning, etc., based on the analyzed information.
  • VRU message or PSM Personal Safety Message
  • the VRU message or the PSM message is a message transmitted to the SoftV2X server through the UU interface, and may include mobility information about the VRU, such as the location, movement direction, movement path, and speed of the VRU. That is, the SoftV2X system receives mobility information of VRUs and/or vehicles related to V2X communication through the UU interface, and the softV2X server, such as a network, controls the driving path, VRU movement flow, etc. of the VRU based on the received mobility information. method. Alternatively, the SoftV2X system may be configured in relation to V2N communication.
  • VRU device User equipment or pedestrian equipment (VRU device) that is difficult to perform direct communication (PC5, DSRC) related to V2X communication can provide or receive driving information and mobility information to nearby vehicles or VRUs through the SoftV2X system based on the UU interface. . Through this, the user equipment or pedestrian equipment (VRU device) that is difficult to perform the direct communication (PC5, DSRC) can be protected from surrounding vehicles.
  • PC5, DSRC direct communication
  • V2X device that provides additional information for Soft RSU assistance
  • FIG. 11 and 12 are diagrams illustrating an operation of an RSU including an imaging device such as a camera.
  • the RSU 200 classifies a VRU and a vehicle using its AI image processing algorithm, and uses the classified information to transmit the classified information to the surrounding area through a V2X message (CAM, VAM, CPM, or Etc). It is transmitted to the ITS station.
  • V2X message CAM, VAM, CPM, or Etc.
  • the V2X message shares information defined with each other for vehicle-to-vehicle safety. Sharing sensor data also transmits information necessary for safety between both vehicles.
  • the conventional V2X message does not include information that helps to recognize a vehicle in the video device, such as a CCTV or a camera, and accordingly, the RSU 200 uses only its own camera information for AI-based image processing (eg, VRU in the image, or image processing to identify or specify the vehicle) must be performed. In this case, the RSU 200 may have an error in identifying each vehicle and the VRU in the image processing (or an error in measurement) or it may take a lot of time to process the image.
  • AI-based image processing eg, VRU in the image, or image processing to identify or specify the vehicle
  • the Smart RSU 200 in order to improve the performance and speed of image processing in the Smart RSU 200 , it is necessary to additionally receive information related to image processing from the vehicle and VRU, which are objects to be identified in the image. Alternatively, it is necessary for the Smart RSU 200 to receive information about the camera on which it is mounted and information from ITS devices (eg, V2X devices, VRU devices) around it to increase the performance of image processing in the camera information.
  • ITS devices eg, V2X devices, VRU devices
  • the Smart RSU may receive assistance in image processing through direct communication.
  • the vehicles 110 and the VRUs 310 and 320 may additionally transmit image processing assistance information to the RSU 200 through a V2X signal.
  • the RSU 200 may receive a V2X message including additional information (or auxiliary information) from the ITS station devices located in the reception coverage.
  • the Smart RSU may receive the assistance of image processing through the SoftV2X server (ie, the Uu interface).
  • the SioftV2X server 400 collects additional information for assistance in the image processing from all ITS stations 110, 120, 200, 310, 320, and of all ITS stations 110, 120, 310, 320
  • the aggregated additional information may be delivered to the RSUs in consideration of the progress direction.
  • the RSU 200 may receive information on all ITS stations 110, 120, 310, and 320 regardless of its coverage, and all ITS stations 110, 120, 310, 320 also It is not necessary to transmit the V2X message including the auxiliary information for each RSU.
  • the ITS stations 110 , 120 , 310 , and 320 only need to deliver the VRU message or V2X message including the additional information to the SoftV2X server at least once, the amount of transmission of the additional information can be minimized.
  • the RSU 200 needs to receive the additional information supporting image processing through a V2X message.
  • CAM or PSM
  • the existing CAM or PSM is used in the RSU 200 through the video device (camera, CCTV). It is not suitable for use as auxiliary information for processing the acquired image.
  • the V2X message does not include or share information that does not affect vehicle collision (vehicle color, sunroof presence, roof box presence, vehicle shape).
  • a new message type is defined in the CAM (or PSM), and methods for performing image processing based on the message type are required.
  • a video device camera, CCTV
  • it is not limited thereto, and it is a device that functions as an RSU installed around a road or a pedestrian road. The technology can be applied to sensors that can measure.
  • an ADAS vehicle or an RSU equipped with a video device to improve the performance of the AI network includes a device for self-running learning
  • the V2X device transmits an additional signal to assist it. can also be considered.
  • FIG. 13 is a diagram of a first apparatus for learning using learning auxiliary information added to V2X.
  • V2X devices vehicles, VRUs
  • V2X messages may additionally transmit their labels through V2X messages, and the RSU (ie, the first device) uses the label in a running learning algorithm based on the image. Supervisor learning used as correct answer information may be performed.
  • the RSU may include a V2X module 210 , a label matching block 220 , a camera 110 , a pre-processing block 120 , and an AI classification block 130 .
  • the AI classification block 130 may classify or extract an object from the features extracted in the pre-processing block.
  • the AI classification block 130 may classify and output the vehicle 110 and the pedestrians 120 and 130 from the image obtained from the camera 110 . However, it is necessary to distinguish between general pedestrians and construction workers among the Pedestrians.
  • the VRU devices related to the pedestrians may transmit a label that distinguishes a pedestrian (Pedestrian) and a construction worker (Roadworker) through a V2X message.
  • the RSU may extract the position of the object and the corresponding label through the V2X module 210, and the label matching block 220 compares the features extracted from the camera to perform label matching.
  • the AI learning algorithm block 230 may newly create or learn an AI network that distinguishes pedestrians from construction workers through the matching information provided by the label matching block, and provides this as the AI classification block 130 to pedestrians It can be updated to distinguish between and construction workers.
  • FIG. 14 is a diagram for setting a message structure for a V2X message and a SoftV2X message including additional information and/or label information.
  • the V2X message may be additionally included or configured AISupportConatiner in an extension manner. That is, AISupportConatiner may be used by being further extended to a V2X message (eg, BSM and/or CAM). Alternatively, AISupportContianer may be configured as a separate extension (optional field, or regional extension) or a new message. Alternatively, referring to FIG. 14 (b) , in the case of SoftV2X, the above-described AIsupportcontainer may be further included in the SoftV2X message related to the Uu interface.
  • AISupportConatiner may be used by being further extended to a V2X message (eg, BSM and/or CAM).
  • AISupportContianer may be configured as a separate extension (optional field, or regional extension) or a new message.
  • the above-described AIsupportcontainer may be further included in the SoftV2X message related to the Uu interface.
  • AISupportContainer added to SoftV2X message or V2X message is Header, StationFeature field containing additional information (or additional information) of vehicle for AI image processing assistance, StationShape field, and AI containing information for learning assistance (label information)
  • a LeaningAssistance Container or field may be included or configured.
  • stationFeature is a subfield or subContainer including a feature indicating the shape of vehicles (and/or VRUs).
  • DE_StationColor indicating the color of the vehicle
  • DE_Sunloof indicating the presence or absence of a sunroof
  • vehicle loop It is composed of DE_LoofBox indicating the structure installed in the
  • DE_bikeRack indicating whether or not the bicycle is mounted.
  • the subContainer may additionally provide vehicle information that cannot be expressed in the conventional V2X message.
  • message data suitable for the VRU may be used.
  • the V2X device or the VRU device continuously transmits information about the VRU, but the RSU video device (camera, CCTV) acquires only an image of an umbrella shape, not a human shape.
  • the V2X message may further include umbrella information available for image processing by a video device (camera, CCTV) in addition to the state of the VRU.
  • DE_Color may transmit the color of an umbrella
  • DE_VRUUmbrella may transmit information that an umbrella is being used to the video device (camera, CCTV).
  • the vehicle is a V2X message including additional information about its shape based on its preset shape (initial shape through the manufacturing process, for example, sunroof or color, etc.) can be created and transmitted.
  • the V2X device attached to the vehicle can generate additional information by appropriately reflecting the change due to the additional modification. None (i.e., it is impossible to continuously manage shape changes due to further modifications).
  • the V2X message or the SoftV2X message may be additionally configured or included in DF_StatoinShape.
  • the DF_StatoinShape may be updated in real time by linking the vehicle status and characteristics with the RSU. That is, the DF_StatoinShape may be set or configured based on information processed by an imaging device (camera, CCTV) included in the RSU, rather than a method selected from specified types.
  • 16 and 17 are diagrams for explaining DF_StatoinShape and DF_StatoinShape included in the V2X message or SoftV2X message.
  • the shape and characteristics of an object may be processed in the form of 2D preprocessed image information (eg, video coding for machine (VCM), bitmap, etc.). That is, the shape and characteristics of the object (vehicle or VRU) may be processed in the form of pre-processed image information or feature information that may be helpful in image processing based on artificial intelligence.
  • the image processed by the imaging device (camera, CCTV) included in the RSU may be expressed as two-dimensional pre-processed image information (eg, VCM , bitmap, etc.) for Top-View.
  • the two-dimensional preprocessed image information is expressed as 1,1 from the lower left on the X-axis and the y-axis.
  • Each pixel can be provided as a bitmap with dimensions defined as xUnit, yUnit.
  • the color and material of the vehicle may be indicated according to each coordinate.
  • the part with the x-axis of 1 becomes the front part of the vehicle.
  • the feature of the vehicle may be displayed through DF_StatoinShape in which the shape and characteristics of an object (vehicle or VRU) are displayed as two-dimensional preprocessed image information (eg, VCM , bitmap, etc.).
  • DF_StatoinShape may be composed of xUnit, yUnit, confidence, ColorBitmap, and TextureBitmap as shown in Table 6 below.
  • xUnit, yUnit can provide information about the unit length of the bitmap's x and y axes. For example, if xUnit and yUnit are set to 1cm, and a value of 10 is sent, the interval of one bitmap becomes 10cm. Confidence may indicate the reliability/accuracy of the corresponding 2D preprocessed image information (eg, VCM , bitmap, etc.) in %.
  • the method of expressing the shape and characteristics of the object transmits the image processing state of the camera in a bitmap format, but is not limited to the bitmap method.
  • Various types of two-dimensional pre-processed image information that are data can be shared.
  • the size of the vehicle corresponding to DF_StatoinShape may be specified as 2400x3400.
  • colors and materials may be expressed according to the coordinates of each bitmap (or various types of two-dimensional pre-processed image information that is data in a form suitable according to an artificial intelligence algorithm in the camera).
  • DF_StatoinShape corresponding to the bitmap shown in FIG. 16 may be expressed as shown in Table 7 below.
  • xUnit and yUnit set 20 and 30, which are values representing 20cm and 30cm, respectively, and set 90, which represents 90% of reliability.
  • each bitmap (or various types of two-dimensional pre-processed image information that is data in an appropriate format according to an artificial intelligence algorithm in the camera) is set to a corresponding value in order from 1 and 1.
  • AI Leaning Assistance Container a field for AI learning assistance, may consist of a header and a payload.
  • the header commonly applied or provided information is set.
  • the format of the following payload changes due to the MessageType configured in the header.
  • a VRU message or a V2X message is a non-payload message configuration in which only a header exists, and a signal (or message) or ACK signal (or message) requesting a specific signal or information.
  • MessageType 2
  • the VRU message or V2X message is a message having a label payload format, and the payload may include label information for distinguishing stations.
  • the MessageType is 3
  • the VRU message or the V2X message is a message in the Feature Payload mode, and the payload may include photo information (Feature) for image processing learning.
  • the VRU message or V2X message is a message in the URL Payload mode and can be used to bypass transmission of large-sized information that is difficult to be transmitted as a payload through the URL.
  • the VRU message or the V2X message is a message in AI Payload mode, and the payload may include information about the updated image processing network.
  • V2X message including additional information for object recognition in an image acquired from a video device (camera, CCTV) based on the message structure as described above will be described in detail.
  • 18 and 19 are diagrams for explaining a method of generating and operating additional information through cooperation between a VRU and an RSU.
  • a station may configure additional information in advance based on preset own information (information related to appearance or characteristics), but its own information may be changed due to a structural change or the like.
  • a V2X communication method between an RSU and a station (VRU device or vehicle) including an imaging device (camera, CCTV) for correction of own information according to such a structural change will be described.
  • the VRU device 110 for a pedestrian has a V2X device and is a device having a function of sending additional information to assist the RSUs 210 and 220 .
  • RSUs 210 and 220 equipped with cameras are installed around the road.
  • the VRU device 110 may transmit a V2X signal to the initial RSU 210 while the pedestrian is wearing an umbrella.
  • the initial RSU 210 may acquire an image of the top shape of the pedestrian's umbrella.
  • the initial RSU 210 tells the VRU device 110 a DF_StationFeature value that the pedestrian is wearing an umbrella based on the V2X message (including information on the location and movement direction) of the VRU device 110 and the image analyzed by itself.
  • the initial RSU 210 may transmit information on the set VRU feature (or a feature for a pedestrian who is a user of the VRU device) to the VRU device 110 as well as the surrounding vehicles 310 . Based on the set information on the VRU Feature, the VRU device 110 and the vehicle 310 may recognize that a pedestrian corresponding to the VRU device 110 is wearing an umbrella.
  • the VRU device 110 having the VRU characteristic information (or characteristic information about a pedestrian who is a user of the VRU device) generated through RSU cooperation can transmit its state information that it is wearing an umbrella to nearby RSUs and vehicles. there is. Through this, not only the image processing of the other RSU 220 can be helped, but also the vehicle can also help the image processing such as ADAS.
  • messages may be transmitted/received between a station (VRU device) and an RSU in a station feature generation period.
  • the VRU device transmits a V2X message (VAM, or PSM) to the RSU.
  • VAM V2X message
  • the initial RSU 210 may recognize the VRU device through image processing using a camera, and may transmit a CPM using the recognized information.
  • the VRU device may transmit a message (VAM) requesting additional information to the initial RSU when generating its own additional information.
  • VAM V2X message
  • the RSU may transmit some information obtained from the image processing to the VRU device as the additional information.
  • the VRU device may generate a V2X message (or VAM extension message) through the received additional information, and may transmit the generated V2X message (or VAM extension message) to the surroundings.
  • the initial RSU additionally measures or acquires the characteristic of the VRU device from the later acquired image, compares the additionally acquired characteristic of the VRU device with the VRU characteristic included in the VAM extension message, and the V2X It can be verified whether the VRU characteristics included in the message are correct.
  • a message may be transmitted/received between a station (VRU device or vehicle) and an RSU in a station feature operation period.
  • the station may periodically transmit a V2X message (or a VAM message) based on the additional information obtained in the Station feature generation period.
  • the VRU device may transmit additional information related to its appearance or movement pattern to the RSU and the V2X vehicle through the V2X message (or VAM message).
  • the RSU receiving this may use the additional information included in the V2X message (or VAM message) to increase the performance of the image processing algorithm.
  • the RSU may transmit a CPM including additional information on the object recognized through the image processing algorithm.
  • the VRU device may easily match itself with the object included in the CPM, and may correct its location based on information on the matched object. Alternatively, the VRU device may update its own additional information based on the information on the matched object.
  • VAM, CPM, etc. were used for explanation, but the proposed AISupportContainer DF can be used for various messages. (e.g. BSM, PSM, CAM, DENM, CPM, VAM,
  • 20 and 21 are diagrams for explaining a method of generating and managing the additional information between the VRU and the vehicle through the SoftV2X server.
  • the vehicle 110 or VRU device has a V2X device and sends a V2X message and/or a VRU message including additional information for assistance of an RSU video device (camera or CCTV) to a SoftV2X server 310 can be transmitted through communication with Smart RSUs (210, 220) are installed around the road.
  • the SmartRSU 210 performs the video with the vehicle 110 that has transmitted the received V2X message. Matching between the detected objects may be performed, and additional information about the matched object may be generated based on the matching result and the image.
  • the generated additional information (DF_StaionFeature, DF_StationShape value) may be downloaded to the vehicle 110 .
  • the vehicle 110 may transmit a V2X message including the additional information to the next RSU 220 based on the downloaded additional information.
  • the RSU 220 may perform the image processing based on the additional information included in the V2X message, and the vehicle 110 may receive position correction and safety services based on the image processing result in the RSU.
  • operations such as the matching operation of SmartRSU described above can be processed in the SoftRSU (210, 220), which is the terminal, and can be centrally processed in the SoftV2X server (310).
  • a vehicle or an ITS station, a VRU device, etc.
  • an RSU may perform an operation for station feature generation.
  • the vehicle may transmit a V2X message (CAM or BSM).
  • the RSU may recognize the vehicle through image processing using an image device (camera, CCTV), and may transmit a CPM using information recognized through image processing.
  • the vehicle receiving this may request the RSU to transmit the additional information when it is necessary to generate its own additional information corresponding to the recognized information.
  • the RSU may generate the additional information based on an object in an image matching the vehicle in response to the request and transmit it to the vehicle.
  • the vehicle may generate a V2X message (or CAM extended message, BSM extended message) based on the auxiliary information, and transmit the V2X message to surrounding vehicles and/or the RSU.
  • the RSU may compare and verify the auxiliary information included in the extended message with the image of the vehicle acquired after generating the auxiliary information to determine whether the auxiliary information included in the extended message is properly included.
  • a vehicle or, an ITS station, a VRU device, etc.
  • an RSU may perform operations for a station feature operation.
  • the vehicle may periodically transmit a V2X message (or BSM or CAM) including the additional information obtained through the operation of Station feature generation.
  • the vehicle may provide additional information to the surrounding RSU through a V2X message.
  • the neighboring RSU may obtain the additional information from the V2X message of the vehicle or receive additional information about the vehicle from another RSU.
  • the neighboring RSU may improve the performance of the image processing algorithm based on the additional information and the mobility information about the vehicle (included in the V2X message).
  • the surrounding RSU receives a message (or CPM for the detected objects) including a feature and/or position correction value for the vehicle based on an object matching the vehicle based on the image processing algorithm can be transmitted
  • the vehicle may correct its location or update additional information based on the message transmitted from the surrounding RSU.
  • the messages generated for current V2X safety lack information to help operate with the RSU equipped with a recent smart CCTV device, so a V2X message including the additional information was proposed.
  • the RSU equipped with the video device can significantly improve the performance and processing speed of video processing, and can enable accurate ITS operation.
  • the V2X transmission method may be performed through a direct communication method such as DSRC or PC-5, and the Uu Interface of a conventional cellular network.
  • a method of learning each for AI image processing and a method of learning collectively behind the network can be considered.
  • 22 to 25 are diagrams for explaining a method for an RSU to learn based on a V2X message based on various system structures.
  • the RSU 200 which is an AI image processing device, may perform learning based on each station (vehicle; 110, Pedestrian; 120 ) and the first system structure.
  • the first system architecture is a structure in which a V2X connection is used through DSRC or PC-5, and a device performing image processing directly learns.
  • the AI image processing device may be a vehicle having an RSU including an imaging device and/or an ADAS device having a learning function.
  • the station may periodically transmit a conventional V2X message (CAM, VAM).
  • a device performing AI image processing or an RSU, an ADAS vehicle, which is a device having a learning function
  • the station may transmit a V2X message additionally including label information for learning.
  • the device may update a new classification algorithm by performing learning by matching the label information included in the V2X message with the feature value of the object.
  • the device may provide a V2X service through an improved image processing algorithm to neighboring stations using the new algorithm.
  • the second system structure is a structure in which an image processing device is connected to a server 410 through direct communication, which is a V2X connection, for learning.
  • each station transmits a V2X message to the image processing apparatus 200 through DSRC or PC-5, and the image processing apparatus 200 includes the V2X message included in the V2X message.
  • the auxiliary information (or label information) and pre-processed feature information may be transmitted to the AI server 410 .
  • the AI server 410 may newly update the AI algorithm by performing learning based on the transmitted information, and may transmit the updated AI algorithm to the device or the image processing device 200 .
  • the image processing apparatus 200 may perform image processing based on the updated AI algorithm.
  • the image processing device 200 may be a vehicle including an RSU or an ADAS device having a learning function.
  • the station may periodically transmit a conventional V2X message (CAM, VAM).
  • the image processing device RSU, ADAS vehicle
  • the station may transmit the label information related to it by further including it in its message.
  • the image processing devices RSU, ADAS vehicle
  • the image processing devices may match the label information and the object, and transmit the matched label information and characteristics of the object to the AI server.
  • the AI server may perform learning based on the matching label information and information on the characteristics of the object, and may update a new classification algorithm based on the learning. Thereafter, the new algorithm may be transmitted to the image processing apparatuses.
  • the third system structure may be a structure in which an operation related to V2X connection is performed through a Uu interface, and the image processing apparatus learns directly.
  • each station (vehicle; 110, Pedestrian; 120) uses the Uu interface to perform AI image processing through the base station 320 and the SoftV2X server 310 RSU 200. and V2X communication can be performed.
  • the device may be a vehicle having an ADAS device with a learning function in addition to the RSU.
  • the station may periodically transmit a V2X message (CAM, VAM) through the Uu interface.
  • the SoftV2X server may receive the V2X message and transmit the received V2X message to a neighboring station.
  • a device with a learning function RSU, ADAS vehicle
  • RSU ADAS vehicle
  • the SoftV2X server may transmit a label request message to the station.
  • the stations can then send their messages containing the label information.
  • the SoftV2X device may collect label information.
  • the SoftV2X device may transmit only an original message (eg, an existing V2X message excluding label information) to neighboring stations, and may transmit a message including label information to an image processing device to be trained.
  • the image processing device matches the object (object in the acquired image) corresponding to the delivered label information, and updates a new classification algorithm by learning based on the matched label and feature values for the object. can Thereafter, the image processing apparatus may provide a V2X service to neighboring stations using the updated classification algorithm.
  • learning of the device may be performed based on the fourth system structure.
  • V2X connection is performed using the Uu interface of cellular communication
  • communication is performed with an image processing device that processes an image
  • information related to learning is collected and learned from an AI server connected to the image processing device.
  • each station vehicle; 110, Pedestrian; 120
  • the image processing device may be a vehicle having an ADAS device having a learning function in addition to the RSU.
  • the SoftV2X server may perform a function of assisting the learning of the AI server by delivering learning and related information (Feature, Label) to the AI server performing the learning.
  • the station may periodically transmit a V2X message (CAM, VAM).
  • SoftV2X server may deliver a message corresponding to the V2X message to neighboring stations based on the V2X message. If the AI server with the learning function transmits a label request message to the SoftV2X server, the SoftV2X server may transmit a label request message to the station and transmit a feature request message to the RSU (ie, the image processing device). Thereafter, the stations may transmit a V2X message further including label information to the SoftV2X server, and the RSU may transmit object information extracted from the acquired image and corresponding feature information to the SoftV2X server.
  • the RSU ie, the image processing device
  • the SoftV2X device may specify an object matching the label information based on the collected label information and feature information, and transmit the matched object and the value for the label information to the AI server.
  • the AI server learns an image processing algorithm based on information about various features and labels, and then can deliver the updated AI Networks information to the RSU through the SoftV2X server.
  • the RSU may provide a V2X service to neighboring stations using an improved image processing algorithm.
  • 26 is a view for explaining a method of matching between the location information of the V2X device included in the V2X message and the object in the image obtained by the camera.
  • the V2X device V1 may transmit a V2X message including location information for V1 including an error due to a GPS error.
  • the RSU may compare the received location information with the object locations (RV1, RV2, RV3) measured by the RSU. That is, the RSU may calculate the distance between the measured RVs based on the received V1 location. In this way, the RSU may calculate the Dis values in an ascending order as in Equation 1 based on the objects in the image and location information obtained from the V2X message. Specifically, the RSU may calculate the distance between RV1 and V1 having the shortest distance. When the calculated value is less than or equal to a specific threshold, it is possible to match the V2X vehicle and the measured vehicle as being the same vehicle.
  • Dis V1RV1 is a distance between RV1 and V1
  • Dis max is the specific threshold
  • ⁇ is a weight determined based on GPS reliability related to the location information of V1.
  • the specific threshold value is preset based on the measurement reliability of the camera
  • the weight ( ⁇ ) is the GPS reliability value related to the location information of V1 in the V2X message (or received from the V2X message) can be defined based on
  • the RSU may compare the smallest value of Dis V1RV1 with the next smaller value of Dis V1RV2 as shown in Equation 2 below. When it is less than the specific weight ( ⁇ ) ratio, the RSU may finally perform object matching that the object corresponding to the V1 is the RV1.
  • the RSU may calculate a value for correcting location information (ie, V1 location information) in the V2X device based on the matching result. That is, the V1 position obtained from the GPS may include an error value depending on the reliability of the GPS device, and the error value may be corrected or corrected through an RSU (or a ground station).
  • V1 location information ie, V1 location information
  • the RSU may perform object matching and position correction based on the additional information included in the V2X message.
  • the RSU matches an object in the image corresponding to V1 based on the characteristic information (ie, obtained through auxiliary information) corresponding to V1, and the V1 You can correct location information.
  • the V1 vehicle may be expressed in the form of a vehicle with a red sunroof as shown in the left bitmap.
  • the RSU may extract object information (position, feature) for the objects (RV1 and RV2) from the image it has acquired.
  • the V1 vehicle may be close to the RV1 vehicle due to a position error.
  • RV1 may be matched as an object corresponding to V1.
  • the RSU since the RSU can perform the object matching by additionally utilizing auxiliary information related to the characteristic (eg, appearance) of V1, the RSU is an object corresponding to the characteristic of V1 according to the auxiliary information.
  • RV2 can be specified or matched.
  • the RSU may calculate a value for correcting the position of the V1 through the equation shown in FIG. 26(b) based on the position between the position of the V1 and the RV1.
  • the RSU when performing image processing on V2X information collected from an imaging device (or camera, CCTV), the RSU additionally uses the auxiliary information to transmit an object in the image corresponding to the vehicle transmitting the V2X message. can be more accurately matched, and an error in the location information of the vehicle can be more accurately corrected through the matching result. Also, the RSU or the image processing apparatus may perform a more accurate image processing operation based on the auxiliary information.
  • the above-described technology eg, a method of transmitting information useful for image processing such as CCTV through V2X messages
  • 27 is a diagram for explaining a method for a learned first device to perform image processing based on a first V2X message.
  • the method of performing the image processing may be a method of performing image processing based on the V2X message as described with reference to FIGS. 11 to 26 .
  • the first device may acquire a first image for a specific area (eg, a photographing area, a detection area) based on an imaging device such as a camera or CCTV included in the first device (S201) ).
  • the specific area may be a road on which the first device is mounted or an area adjacent to the road. That is, the first device may acquire images of vehicles or VRU devices in a specific area that is a road and an area adjacent to the road.
  • the first device may be an RSU attached to a traffic light or road facility, or a vehicle including an ADAS device.
  • the first device may specify objects corresponding to the vehicle or VRU device from the first image, or extract features from the image of the objects.
  • the first device may detect or track the movement of the vehicle and VRU devices on the road and around the road based on the specified objects and/or the extracted feature.
  • the first device may receive the first V2X message from the second device (S203).
  • the second device may be a vehicle and/or a VRU device performing V2X communication.
  • the second device may periodically transmit the first V2X message.
  • the first V2X message may include location and/or mobility information for the second device as in the prior art.
  • the first V2X message may be a Cooperative Awareness Message (CAM), a Vulnerable road user awareness message (VAM), a Collective Perception Message (CPM), a Basic Safety Message (BSM), or a Pedestrian Safety message (PSM).
  • CAM Cooperative Awareness Message
  • VAM Vulnerable road user awareness message
  • CCM Collective Perception Message
  • BSM Basic Safety Message
  • PSM Pedestrian Safety message
  • the first V2X message may further include additional information for assisting image processing in the first device.
  • the additional information may include characteristic information (eg, appearance information, etc.) of the second device that helps the first device identify the second device from the first image acquired from the imaging device.
  • the characteristic information may be information on the shape, shape, color, material, roof top, etc. of the second device, movement pattern, driving method, and the like.
  • the characteristic information may be a shape, form, color, material, appearance and/or movement pattern of an exterior of the second device viewed from a specific direction, and a driving method.
  • the characteristic information may be information about an appearance and/or movement pattern and driving method seen from above of the second device.
  • the additional information may be included in the AISupportContainer of the first V2X message.
  • the additional information may include two-dimensional pre-processed image information (eg, pre-processed image information required for image processing using artificial intelligence, a bitmap) indicating features such as an appearance of the second device.
  • the 2D preprocessed image information may display information related to the characteristics of the second device.
  • the first device may match an object corresponding to the second device in the first image based on the additional information included in the first V2X message (S205). Specifically, the first device compares the characteristics of the second device included in the additional information with the characteristics of the objects extracted from the second image, and matches an object having a characteristic corresponding to the second device among the objects. can do it
  • the first device may extract features of objects such as the bitmap described with reference to FIGS. 15 and 16 through pre-processing of the first image.
  • the first device compares the features of the extracted objects with the features included in the additional information, and compares the features included in the additional information (that is, the appearance features of the displayed second device according to the bitmap included in the additional information).
  • An object having a characteristic similar to may be matched as an object corresponding to the second device.
  • the first device may calculate a position correction value for the second device based on the matching result.
  • the first device may specify an object for the second device through the matching.
  • the first device may calculate a correction value for correcting the position of the second device by comparing the position of the specified object with the position information included in the first V2X message.
  • the correction value may be calculated as described with reference to FIG. 26 .
  • the first device may transmit a message including the calculated correction value to the second device, and the second device may calibrate its own GPS based on the correction value included in the message and measure a position value. can be adjusted.
  • the first device may determine whether there is a partial difference between the second characteristic of the object matched by the additional information and the first characteristic of the second device according to the additional information. When there is a different part between the first characteristic and the second characteristic, the first device acquires correction information for the different part, and transmits the obtained correction information to the second device to add the second device You may request correction or update of information.
  • the first device may perform learning as shown in FIGS. 13 and 22 to 25 .
  • the first device may transmit a label request message to transmit the second V2X message including label information for map learning to the surrounding vehicle or VRU (hereinafter, referred to as a third device).
  • the first device may receive a second V2X message including label information for a vehicle or VRU that has transmitted the second V2X message from a neighboring vehicle or VRU.
  • the first device may acquire a second image that is an image related to a third device that has transmitted the second V2X message.
  • the first device may include label information included in the second V2X message.
  • the first device may train a classification model based on the label information and the feature of the object corresponding to the third device in the second image.
  • FIG. 28 is a diagram for explaining a method for a second device to transmit a first V2X message that can assist in image processing.
  • the method of transmitting the first V2X message may be a method of transmitting the first V2X message including auxiliary information and additional information as described with reference to FIGS. 11 to 26 , and the second device is shown in FIGS. 11 to 26 . As described in section 26, it is possible to correct its own position or update the additional information.
  • the second device may transmit a first V2X message to the first device.
  • the second device may be a vehicle and/or a VRU device performing V2X communication.
  • the second device may periodically transmit the first V2X message.
  • the first V2X message may include location and/or mobility information for the second device as in the prior art.
  • the first V2X message may be a Cooperative Awareness Message (CAM), a Vulnerable road user awareness message (VAM), a Collective Perception Message (CPM), a Basic Safety Message (BSM), or a Pedestrian Safety message (PSM).
  • CAM Cooperative Awareness Message
  • VAM Vulnerable road user awareness message
  • CCM Collective Perception Message
  • BSM Basic Safety Message
  • PSM Pedestrian Safety message
  • the first V2X message may further include additional information for assisting image processing in the first device.
  • the additional information may include characteristic information of the second device that helps the first device identify the second device from the first image acquired from the imaging device.
  • the characteristic information may be information on the shape, shape, color, material, roof top, etc. of the second device, movement pattern, driving method, and the like.
  • the characteristic information may be a shape, shape, color, material, attachment and/or movement pattern of the second device viewed from a specific direction, a driving method, and the like.
  • the external characteristic information may be characteristic information viewed from above of the second device (eg, external information regarding the gaze direction of the imaging device in the first device, which is the RSU).
  • the additional information may be included in the AISupportContainer of the first V2X message.
  • the additional information may include a bitmap indicating features such as an appearance of the second device.
  • the bitmap may display information related to the characteristic of the second device as described with reference to FIGS. 15 and 16 .
  • the second device may receive a message including matching information according to image processing from the first device (S303).
  • the matching information may include a position correction value calculated based on an object extracted from the first image matched with the second device or correction information for updating the additional information.
  • the first device may specify objects corresponding to the vehicle or VRU device from the first image, or extract features from the image of the objects.
  • the first device may detect or track the movement of the vehicle and VRU devices on the road and around the road based on the specified objects and/or the extracted feature.
  • the first device may match the object corresponding to the second device in the first image based on the additional information included in the first V2X message to obtain the matching information.
  • the first device compares the characteristics (and/or appearance) of the second device included in the additional information with the characteristics of the objects extracted from the second image, and compares the characteristics of the objects extracted from the second image with the characteristics corresponding to the second device among the objects. You can match objects with .
  • the first device may extract features of objects such as the 2D preprocessed image information described with reference to FIGS. 15 and 16 through pre-processing of the first image.
  • the first device compares the features of the extracted objects with the features included in the additional information, and compares the features included in the additional information (that is, related to the characteristics of the displayed second device according to the bitmap included in the additional information). Appearance characteristics) and an object having similar characteristics may be matched as an object corresponding to the second device.
  • the position correction value is a value calculated by the first device based on the position of the object in the first image matched to the second device and position information included in the first V2X message.
  • the position correction value (or correction value) may be calculated as described with reference to FIG. 26 .
  • the second device may adjust the measured position value by correcting its own GPS based on the correction value included in the message (S305). That is, the first device is a device attached to a fixed position, and can measure the absolute position of the object in the first image quite accurately, and the position correction value is calculated based on the accurately measured position of the object. can In this case, the second device may receive the position correction value calculated based on the exact absolute position from the first device, and may correct its own GPS based on the position correction value.
  • the correction information included in the matching information may be information on a partial difference between the second characteristic of the object matched by the additional information and the first characteristic of the second device according to the additional information.
  • the second device acquires correction information for the different part, and sends the obtained correction information to the second device It can be transmitted to request correction or update of the additional information of the second device.
  • the second device may receive a label request message from the first device.
  • the second device is a second V2X including label information (information about the type, type, characteristic, etc. of the second device in the classification algorithm for supervised learning) on the second device based on the receipt of the label request message
  • a message may be sent to the first device.
  • a first device for performing image processing or learning based on the above-described V2X message and a second transmitting a first V2X message and/or a second V2X message including the auxiliary information and/or additional information Describe the device in detail.
  • 29 illustrates a communication system applied to the present invention.
  • the communication system 1 applied to the present invention includes a wireless device, a base station, and a network.
  • the wireless device refers to a device that performs communication using a radio access technology (eg, 5G NR (New RAT), LTE (Long Term Evolution)), and may be referred to as a communication/wireless/5G device.
  • a radio access technology eg, 5G NR (New RAT), LTE (Long Term Evolution)
  • the wireless device may include a robot 100a, a vehicle 100b-1, 100b-2, an eXtended Reality (XR) device 100c, a hand-held device 100d, and a home appliance 100e. ), an Internet of Thing (IoT) device 100f, and an AI device/server 400 .
  • the vehicle may include a vehicle equipped with a wireless communication function, an autonomous driving vehicle, a vehicle capable of performing inter-vehicle communication, and the like.
  • the vehicle may include an Unmanned Aerial Vehicle (UAV) (eg, a drone).
  • UAV Unmanned Aerial Vehicle
  • XR devices include AR (Augmented Reality)/VR (Virtual Reality)/MR (Mixed Reality) devices, and include a Head-Mounted Device (HMD), a Head-Up Display (HUD) provided in a vehicle, a television, a smartphone, It may be implemented in the form of a computer, a wearable device, a home appliance, a digital signage, a vehicle, a robot, and the like.
  • the portable device may include a smart phone, a smart pad, a wearable device (eg, a smart watch, smart glasses), a computer (eg, a laptop computer), and the like.
  • Home appliances may include a TV, a refrigerator, a washing machine, and the like.
  • the IoT device may include a sensor, a smart meter, and the like.
  • the base station and the network may be implemented as a wireless device, and the specific wireless device 200a may operate as a base station/network node to other wireless devices.
  • the wireless devices 100a to 100f may be connected to the network 300 through the base station 200 .
  • AI Artificial Intelligence
  • the network 300 may be configured using a 3G network, a 4G (eg, LTE) network, or a 5G (eg, NR) network.
  • the wireless devices 100a to 100f may communicate with each other through the base station 200/network 300, but may also communicate directly (e.g. sidelink communication) without passing through the base station/network.
  • the vehicles 100b-1 and 100b-2 may perform direct communication (e.g. Vehicle to Vehicle (V2V)/Vehicle to everything (V2X) communication).
  • the IoT device eg, sensor
  • the IoT device may communicate directly with other IoT devices (eg, sensor) or other wireless devices 100a to 100f.
  • Wireless communication/connection 150a, 150b, and 150c may be performed between the wireless devices 100a to 100f/base station 200 and the base station 200/base station 200 .
  • the wireless communication/connection includes uplink/downlink communication 150a and sidelink communication 150b (or D2D communication), communication between base stations 150c (e.g. relay, IAB (Integrated Access Backhaul), etc.)
  • This can be done through technology (eg 5G NR)
  • Wireless communication/connection 150a, 150b, 150c allows the wireless device and the base station/radio device, and the base station and the base station to transmit/receive wireless signals to each other.
  • the wireless communication/connection 150a, 150b, and 150c may transmit/receive signals through various physical channels.
  • various signal processing processes eg, channel encoding/decoding, modulation/demodulation, resource mapping/demapping, etc.
  • resource allocation processes etc.
  • FIG. 30 illustrates a wireless device that can be applied to the present invention.
  • the first wireless device 100 and the second wireless device 200 may transmit/receive wireless signals through various wireless access technologies (eg, LTE, NR).
  • ⁇ first wireless device 100, second wireless device 200 ⁇ is ⁇ wireless device 100x, base station 200 ⁇ of FIG. 29 and/or ⁇ wireless device 100x, wireless device 100x) ⁇ can be matched.
  • the first wireless device 100 includes one or more processors 102 and one or more memories 104 , and may further include one or more transceivers 106 and/or one or more antennas 108 .
  • the processor 102 controls the memory 104 and/or the transceiver 106 and may be configured to implement the descriptions, functions, procedures, suggestions, methods, and/or operational flowcharts disclosed herein.
  • the processor 102 may process information in the memory 104 to generate first information/signal, and then transmit a wireless signal including the first information/signal through the transceiver 106 .
  • the processor 102 may receive the radio signal including the second information/signal through the transceiver 106 , and then store information obtained from signal processing of the second information/signal in the memory 104 .
  • the memory 104 may be connected to the processor 102 and may store various information related to the operation of the processor 102 .
  • memory 104 may provide instructions for performing some or all of the processes controlled by processor 102 , or for performing descriptions, functions, procedures, suggestions, methods, and/or operational flowcharts disclosed herein. may store software code including
  • the processor 102 and the memory 104 may be part of a communication modem/circuit/chipset designed to implement a wireless communication technology (eg, LTE, NR).
  • a wireless communication technology eg, LTE, NR
  • the transceiver 106 may be coupled to the processor 102 , and may transmit and/or receive wireless signals via one or more antennas 108 .
  • the transceiver 106 may include a transmitter and/or a receiver.
  • the transceiver 106 may be used interchangeably with a radio frequency (RF) unit.
  • the transceiver 106 may include a first antenna and a second antenna distributed by a preset distance.
  • a wireless device may refer to a communication modem/circuit/chipset.
  • the first wireless device 100 may be a first device that is an RSU having a V2X communication module.
  • the first wireless device 100 may include a processor 102 and a memory 104 connected to the RF transceiver.
  • the memory 104 may include at least one program capable of performing operations related to the embodiments described with reference to FIGS. 11 to 28 .
  • the processor 102 obtains a first image for a specific region, controls the transceiver 106 to receive a first V2X message related to the specific region, and based on the first V2X message, in the first image Matches an object corresponding to a second device that has transmitted the first V2X message, and the first V2X message includes additional information about the characteristics of the second device for matching the second device in the first image can
  • the processor 102 may perform operations related to image processing described with reference to FIGS. 11 to 28 based on a program included in the memory 104 .
  • the processor 102 and the memory 104 may be included in a chipset for image processing based on the received V2X message.
  • the chipset may include at least one processor and at least one memory that is operatively connected to the at least one processor and, when executed, causes the at least one processor to perform an operation.
  • the operation is to acquire a first image for a specific region, receive a first V2X message related to the specific region, and transmit the first V2X message in the first image based on the first V2X message. It may include an operation of matching an object corresponding to a device, and the first V2X message may include additional information about a characteristic of the second device for matching the second device in the first image.
  • the processor 102 may perform operations related to the image processing described with reference to FIGS. 11 to 28 based on a program included in the memory 104 .
  • a computer-readable storage medium comprising at least one computer program for image processing based on the V2X message received in the wireless communication system is at least one computer program for the at least one processor to perform an image processing operation and and a computer-readable storage medium storing the at least one computer program, wherein the operation acquires a first image for a specific area, receives a first V2X message related to the specific area, and responds to the first V2X message and matching an object corresponding to a second device that transmitted the first V2X message in the first image based on the first V2X message for matching the second device in the first image Additional information about the characteristics of the second device may be included.
  • the second wireless device 200 includes one or more processors 202 , one or more memories 204 , and may further include one or more transceivers 206 and/or one or more antennas 208 .
  • the processor 202 controls the memory 204 and/or the transceiver 206 and may be configured to implement the descriptions, functions, procedures, suggestions, methods, and/or flow charts disclosed herein.
  • the processor 202 may process the information in the memory 204 to generate third information/signal, and then transmit a wireless signal including the third information/signal through the transceiver 206 .
  • the processor 202 may receive the radio signal including the fourth information/signal through the transceiver 206 , and then store information obtained from signal processing of the fourth information/signal in the memory 204 .
  • the memory 204 may be connected to the processor 202 and may store various information related to the operation of the processor 202 .
  • the memory 204 may provide instructions for performing some or all of the processes controlled by the processor 202, or for performing the descriptions, functions, procedures, suggestions, methods, and/or operational flowcharts disclosed herein. may store software code including
  • the processor 202 and the memory 204 may be part of a communication modem/circuit/chip designed to implement a wireless communication technology (eg, LTE, NR).
  • the transceiver 206 may be coupled to the processor 202 and may transmit and/or receive wireless signals via one or more antennas 208 .
  • the transceiver 206 may include a transmitter and/or a receiver.
  • the transceiver 206 may be used interchangeably with an RF unit.
  • a wireless device may refer to a communication modem/circuit/chip.
  • the second wireless device 200 may be a second device that is an RSU device, a vehicle, and/or a V2X device.
  • the second device may include a processor 202 and a memory 204 coupled to the RF transceiver.
  • the memory 204 may include at least one program capable of performing operations related to the embodiments described with reference to FIGS. 11 to 28 .
  • the processor 202 controls the RF transceiver to transmit a first message including additional information related to image processing to a first device, and a second message including matching information based on the image processing from the first device 2 message is received, and the additional information includes information on characteristics of the second device for matching the second device in the first image acquired by the first device, and the matching information includes the second device.
  • the additional information includes information on characteristics of the second device for matching the second device in the first image acquired by the first device, and the matching information includes the second device.
  • one or more protocol layers may be implemented by one or more processors 102 , 202 .
  • one or more processors 102 , 202 may implement one or more layers (eg, functional layers such as PHY, MAC, RLC, PDCP, RRC, SDAP).
  • the one or more processors 102, 202 are configured to process one or more Protocol Data Units (PDUs) and/or one or more Service Data Units (SDUs) according to the description, function, procedure, proposal, method, and/or operational flowcharts disclosed herein.
  • PDUs Protocol Data Units
  • SDUs Service Data Units
  • One or more processors 102 , 202 may generate messages, control information, data, or information according to the description, function, procedure, proposal, method, and/or flow charts disclosed herein.
  • the one or more processors 102 and 202 generate a signal (eg, a baseband signal) including PDUs, SDUs, messages, control information, data or information according to the functions, procedures, proposals and/or methods disclosed herein. , to one or more transceivers 106 and 206 .
  • the one or more processors 102 , 202 may receive signals (eg, baseband signals) from one or more transceivers 106 , 206 , and may be described, functions, procedures, proposals, methods, and/or operational flowcharts disclosed herein.
  • PDUs, SDUs, messages, control information, data, or information may be acquired according to the fields.
  • One or more processors 102, 202 may be referred to as a controller, microcontroller, microprocessor, or microcomputer.
  • One or more processors 102 , 202 may be implemented by hardware, firmware, software, or a combination thereof.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • firmware or software may be implemented using firmware or software, and the firmware or software may be implemented to include modules, procedures, functions, and the like.
  • the descriptions, functions, procedures, suggestions, methods, and/or flow charts disclosed in this document provide that firmware or software configured to perform is contained in one or more processors 102 , 202 , or stored in one or more memories 104 , 204 . It may be driven by the above processors 102 and 202 .
  • the descriptions, functions, procedures, proposals, methods, and/or flowcharts of operations disclosed herein may be implemented using firmware or software in the form of code, instructions, and/or a set of instructions.
  • One or more memories 104 , 204 may be coupled with one or more processors 102 , 202 , and may store various forms of data, signals, messages, information, programs, code, instructions, and/or instructions.
  • the one or more memories 104 and 204 may be comprised of ROM, RAM, EPROM, flash memory, hard drives, registers, cache memory, computer readable storage media, and/or combinations thereof.
  • One or more memories 104 , 204 may be located inside and/or external to one or more processors 102 , 202 . Additionally, one or more memories 104 , 204 may be coupled to one or more processors 102 , 202 through various technologies, such as wired or wireless connections.
  • One or more transceivers 106 , 206 may transmit user data, control information, radio signals/channels, etc. referred to in the methods and/or operational flowcharts of this document to one or more other devices.
  • One or more transceivers 106, 206 may receive user data, control information, radio signals/channels, etc. referred to in the descriptions, functions, procedures, suggestions, methods and/or flow charts, etc. disclosed herein, from one or more other devices. there is.
  • one or more transceivers 106 , 206 may be coupled to one or more processors 102 , 202 and may transmit and receive wireless signals.
  • one or more processors 102 , 202 may control one or more transceivers 106 , 206 to transmit user data, control information, or wireless signals to one or more other devices.
  • one or more processors 102 , 202 may control one or more transceivers 106 , 206 to receive user data, control information, or wireless signals from one or more other devices.
  • one or more transceivers 106, 206 may be coupled to one or more antennas 108, 208, and the one or more transceivers 106, 206 may be coupled via one or more antennas 108, 208 to the descriptions, functions, and functions disclosed herein. , may be set to transmit and receive user data, control information, radio signals/channels, etc.
  • one or more antennas may be a plurality of physical antennas or a plurality of logical antennas (eg, antenna ports).
  • the one or more transceivers 106, 206 convert the received radio signal/channel, etc. from the RF band signal to process the received user data, control information, radio signal/channel, etc. using the one or more processors 102, 202. It can be converted into a baseband signal.
  • One or more transceivers 106 , 206 may convert user data, control information, radio signals/channels, etc. processed using one or more processors 102 , 202 from baseband signals to RF band signals.
  • one or more transceivers 106 , 206 may include (analog) oscillators and/or filters.
  • the wireless device 31 shows another example of a wireless device to which the present invention is applied.
  • the wireless device may be implemented in various forms according to use-examples/services (refer to FIG. 29 ).
  • wireless devices 100 and 200 correspond to wireless devices 100 and 200 of FIG. 30 , and various elements, components, units/units, and/or modules ) can be composed of
  • the wireless devices 100 and 200 may include a communication unit 110 , a control unit 120 , a memory unit 130 , and an additional element 140 .
  • the communication unit may include communication circuitry 112 and transceiver(s) 114 .
  • communication circuitry 112 may include one or more processors 102,202 and/or one or more memories 104,204 of FIG. 31 .
  • transceiver(s) 114 may include one or more transceivers 106 , 206 and/or one or more antennas 108 , 208 of FIG. 30 .
  • the control unit 120 is electrically connected to the communication unit 110 , the memory unit 130 , and the additional element 140 , and controls general operations of the wireless device. For example, the controller 120 may control the electrical/mechanical operation of the wireless device based on the program/code/command/information stored in the memory unit 130 . In addition, the control unit 120 transmits information stored in the memory unit 130 to the outside (eg, other communication device) through the communication unit 110 through a wireless/wired interface, or externally (eg, through the communication unit 110 ) Information received through a wireless/wired interface from another communication device) may be stored in the memory unit 130 .
  • the outside eg, other communication device
  • Information received through a wireless/wired interface from another communication device may be stored in the memory unit 130 .
  • the additional element 140 may be configured in various ways according to the type of the wireless device.
  • the additional element 140 may include at least one of a power unit/battery, an input/output unit (I/O unit), a driving unit, and a computing unit.
  • a wireless device may include a robot ( FIGS. 29 and 100a ), a vehicle ( FIGS. 29 , 100b-1 , 100b-2 ), an XR device ( FIGS. 29 and 100c ), a mobile device ( FIGS. 29 and 100d ), and a home appliance. (FIG. 29, 100e), IoT device (FIG.
  • digital broadcasting terminal digital broadcasting terminal
  • hologram device public safety device
  • MTC device medical device
  • fintech device or financial device
  • security device climate/environment device
  • It may be implemented in the form of an AI server/device ( FIGS. 29 and 400 ), a base station ( FIGS. 29 and 200 ), and a network node.
  • the wireless device may be mobile or used in a fixed location depending on the use-example/service.
  • various elements, components, units/units, and/or modules in the wireless devices 100 and 200 may be all interconnected through a wired interface, or at least some of them may be wirelessly connected through the communication unit 110 .
  • the control unit 120 and the communication unit 110 are connected by wire, and the control unit 120 and the first unit (eg, 130 , 140 ) are connected to the communication unit 110 through the communication unit 110 . It can be connected wirelessly.
  • each element, component, unit/unit, and/or module within the wireless device 100 , 200 may further include one or more elements.
  • the controller 120 may be configured with one or more processor sets.
  • control unit 120 may be configured as a set of a communication control processor, an application processor, an electronic control unit (ECU), a graphic processing processor, a memory control processor, and the like.
  • memory unit 130 may include random access memory (RAM), dynamic RAM (DRAM), read only memory (ROM), flash memory, volatile memory, and non-volatile memory. volatile memory) and/or a combination thereof.
  • the vehicle or autonomous driving vehicle may be implemented as a mobile robot, a vehicle, a train, an aerial vehicle (AV), a ship, and the like.
  • AV aerial vehicle
  • the vehicle or autonomous driving vehicle 100 includes an antenna unit 108 , a communication unit 110 , a control unit 120 , a driving unit 140a , a power supply unit 140b , a sensor unit 140c and autonomous driving. It may include a part 140d.
  • the antenna unit 108 may be configured as a part of the communication unit 110 .
  • Blocks 110/130/140a-140d correspond to blocks 110/130/140 of FIG. 31 , respectively.
  • the communication unit 110 may transmit/receive signals (eg, data, control signals, etc.) to and from external devices such as other vehicles, base stations (e.g., base stations, roadside units, etc.), servers, and the like.
  • the controller 120 may control elements of the vehicle or the autonomous driving vehicle 100 to perform various operations.
  • the controller 120 may include an Electronic Control Unit (ECU).
  • the driving unit 140a may cause the vehicle or the autonomous driving vehicle 100 to run on the ground.
  • the driving unit 140a may include an engine, a motor, a power train, a wheel, a brake, a steering device, and the like.
  • the power supply unit 140b supplies power to the vehicle or the autonomous driving vehicle 100 , and may include a wired/wireless charging circuit, a battery, and the like.
  • the sensor unit 140c may obtain vehicle status, surrounding environment information, user information, and the like.
  • the sensor unit 140c includes an inertial measurement unit (IMU) sensor, a collision sensor, a wheel sensor, a speed sensor, an inclination sensor, a weight sensor, a heading sensor, a position module, and a vehicle forward movement.
  • IMU inertial measurement unit
  • a collision sensor a wheel sensor
  • a speed sensor a speed sensor
  • an inclination sensor a weight sensor
  • a heading sensor a position module
  • a vehicle forward movement / may include a reverse sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor, a temperature sensor, a humidity sensor, an ultrasonic sensor, an illuminance sensor, a pedal position sensor, and the like.
  • the autonomous driving unit 140d includes a technology for maintaining a driving lane, a technology for automatically adjusting speed such as adaptive cruise control, a technology for automatically driving along a predetermined route, and a technology for automatically setting a route when a destination is set. technology can be implemented.
  • the communication unit 110 may receive map data, traffic information data, and the like from an external server.
  • the autonomous driving unit 140d may generate an autonomous driving route and a driving plan based on the acquired data.
  • the controller 120 may control the driving unit 140a to move the vehicle or the autonomous driving vehicle 100 along the autonomous driving path (eg, speed/direction adjustment) according to the driving plan.
  • the communication unit 110 may obtain the latest traffic information data from an external server non/periodically, and may acquire surrounding traffic information data from surrounding vehicles.
  • the sensor unit 140c may acquire vehicle state and surrounding environment information.
  • the autonomous driving unit 140d may update the autonomous driving route and driving plan based on the newly acquired data/information.
  • the communication unit 110 may transmit information about a vehicle location, an autonomous driving route, a driving plan, and the like to an external server.
  • the external server may predict traffic information data in advance using AI technology or the like based on information collected from the vehicle or autonomous vehicles, and may provide the predicted traffic information data to the vehicle or autonomous vehicles.
  • the wireless communication technology implemented in the wireless device (XXX, YYY) of the present specification may include a narrowband Internet of Things for low-power communication as well as LTE, NR, and 6G.
  • NB-IoT technology may be an example of LPWAN (Low Power Wide Area Network) technology, and may be implemented in standards such as LTE Cat NB1 and/or LTE Cat NB2, and is limited to the above-mentioned names. not.
  • the wireless communication technology implemented in the wireless device (XXX, YYY) of the present specification may perform communication based on the LTE-M technology.
  • the LTE-M technology may be an example of an LPWAN technology, and may be called various names such as enhanced machine type communication (eMTC).
  • eMTC enhanced machine type communication
  • LTE-M technology is 1) LTE CAT 0, 2) LTE Cat M1, 3) LTE Cat M2, 4) LTE non-BL (non-Bandwidth Limited), 5) LTE-MTC, 6) LTE Machine Type Communication, and/or 7) may be implemented in at least one of various standards such as LTE M, and is not limited to the above-described name.
  • the wireless communication technology implemented in the wireless device (XXX, YYY) of the present specification is at least one of ZigBee, Bluetooth, and Low Power Wide Area Network (LPWAN) in consideration of low-power communication. It may include any one, and is not limited to the above-mentioned names.
  • the ZigBee technology can create PAN (personal area networks) related to small/low-power digital communication based on various standards such as IEEE 802.15.4, and can be called by various names.
  • the embodiments of the present invention have been mainly described focusing on the signal transmission/reception relationship between the terminal and the base station.
  • This transmission/reception relationship extends equally/similarly to signal transmission/reception between a terminal and a relay or a base station and a relay.
  • a specific operation described in this document to be performed by a base station may be performed by an upper node thereof in some cases. That is, it is obvious that various operations performed for communication with the terminal in a network including a plurality of network nodes including the base station may be performed by the base station or other network nodes other than the base station.
  • the base station may be replaced by terms such as a fixed station, a Node B, an eNode B (eNB), and an access point.
  • the terminal may be replaced with terms such as User Equipment (UE), Mobile Station (MS), and Mobile Subscriber Station (MSS).
  • UE User Equipment
  • MS Mobile Station
  • MSS Mobile Subscriber Station
  • Embodiments according to the present invention may be implemented by various means, for example, hardware, firmware, software, or a combination thereof.
  • an embodiment of the present invention provides one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), FPGAs ( field programmable gate arrays), a processor, a controller, a microcontroller, a microprocessor, and the like.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • an embodiment of the present invention may be implemented in the form of a module, procedure, function, etc. that perform the functions or operations described above.
  • the software code may be stored in the memory unit and driven by the processor.
  • the memory unit may be located inside or outside the processor, and may transmit/receive data to and from the processor by various well-known means.
  • Embodiments of the present invention as described above can be applied to various mobile communication systems.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

다양한 실시예에 따른 학습된 제1 장치가 수신된 V2X 메시지에 기반하여 영상 처리하는 방법 및 이를 위한 장치가 개시된다. 특정 영역에 대한 제1 영상을 획득하는 단계, 상기 특정 영역과 관련된 제1 V2X 메시지를 수신 받는 단계, 및 상기 제1 V2X 메시지에 기반하여 상기 제1 영상에서 상기 제1 V2X 메시지를 전송한 제2 장치에 대응하는 객체를 매칭하는 단계를 포함하고, 상기 제1 V2X 메시지는 상기 제1 영상에서 상기 제2 장치를 매칭하기 위한 상기 제2 장치의 특성에 대한 부가 정보를 포함하는 방법 및 이를 위한 장치를 개시한다.

Description

무선통신시스템에서 V2X 메시지에 기반하여 영상 처리하는 방법 및 이를 위한 장치
무선통신시스템에서 학습된 제1 장치가 수신된 V2X 메시지에 기반하여 제1 영상에서의 객체들을 식별하는 영상 처리 방법 및 이를 위한 장치에 대한 것이다.
무선 통신 시스템은 가용한 시스템 자원(예를 들어, 대역폭, 전송 전력 등)을 공유하여 다중 사용자와의 통신을 지원하는 다중 접속(multiple access) 시스템이다. 다중 접속 시스템의 예로는 CDMA(code division multiple access) 시스템, FDMA(frequency division multiple access) 시스템, TDMA(time division multiple access) 시스템, OFDMA(orthogonal frequency division multiple access) 시스템, SC-FDMA(single carrier frequency division multiple access) 시스템, MC-FDMA(multi carrier frequency division multiple access) 시스템 등이 있다.
사이드링크(sidelink, SL)란 단말(User Equipment, UE)들 간에 직접적인 링크를 설정하여, 기지국(Base Station, BS)을 거치지 않고, 단말 간에 음성 또는 데이터 등을 직접 주고 받는 통신 방식을 말한다. SL는 급속도로 증가하는 데이터 트래픽에 따른 기지국의 부담을 해결할 수 있는 하나의 방안으로서 고려되고 있다.
V2X(vehicle-to-everything)는 유/무선 통신을 통해 다른 차량, 보행자, 인프라가 구축된 사물 등과 정보를 교환하는 통신 기술을 의미한다. V2X는 V2V(vehicle-to-vehicle), V2I(vehicle-to-infrastructure), V2N(vehicle-to- network) 및 V2P(vehicle-to-pedestrian)와 같은 4 가지 유형으로 구분될 수 있다. V2X 통신은 PC5 인터페이스 및/또는 Uu 인터페이스를 통해 제공될 수 있다.
한편, 더욱 많은 통신 기기들이 더욱 큰 통신 용량을 요구하게 됨에 따라, 기존의 무선 액세스 기술(Radio Access Technology, RAT)에 비해 향상된 모바일 광대역 (mobile broadband) 통신에 대한 필요성이 대두되고 있다. 이에 따라, 신뢰도(reliability) 및 지연(latency)에 민감한 서비스 또는 단말을 고려한 통신 시스템이 논의되고 있는데, 개선된 이동 광대역 통신, 매시브 MTC(Machine Type Communication), URLLC(Ultra-Reliable and Low Latency Communication) 등을 고려한 차세대 무선 접속 기술을 새로운 RAT(new radio access technology) 또는 NR(new radio)이라 칭할 수 있다. NR에서도 V2X(vehicle-to-everything) 통신이 지원될 수 있다.
도 1은 NR 이전의 RAT에 기반한 V2X 통신과 NR에 기반한 V2X 통신을 비교하여 설명하기 위한 도면이다
V2X 통신과 관련하여, NR 이전의 RAT에서는 BSM(Basic Safety Message), CAM(Cooperative Awareness Message), DENM(Decentralized Environmental Notification Message)과 같은 V2X 메시지를 기반으로, 안전 서비스(safety service)를 제공하는 방안이 주로 논의되었다. V2X 메시지는, 위치 정보, 동적 정보, 속성 정보 등을 포함할 수 있다. 예를 들어, 단말은 주기적인 메시지(periodic message) 타입의 CAM, 및/또는 이벤트 트리거 메시지(event triggered message) 타입의 DENM을 다른 단말에게 전송할 수 있다.
예를 들어, CAM은 방향 및 속도와 같은 차량의 동적 상태 정보, 치수와 같은 차량 정적 데이터, 외부 조명 상태, 경로 내역 등 기본 차량 정보를 포함할 수 있다. 예를 들어, 단말은 CAM을 방송할 수 있으며, CAM의 지연(latency)은 100ms보다 작을 수 있다. 예를 들어, 차량의 고장, 사고 등의 돌발적인 상황이 발행하는 경우, 단말은 DENM을 생성하여 다른 단말에게 전송할 수 있다. 예를 들어, 단말의 전송 범위 내에 있는 모든 차량은 CAM 및/또는 DENM을 수신할 수 있다. 이 경우, DENM은 CAM 보다 높은 우선 순위를 가질 수 있다.
이후, V2X 통신과 관련하여, 다양한 V2X 시나리오들이 NR에서 제시되고 있다. 예를 들어, 다양한 V2X 시나리오들은, 차량 플라투닝(vehicle platooning), 향상된 드라이빙(advanced driving), 확장된 센서들(extended sensors), 리모트 드라이빙(remote driving) 등을 포함할 수 있다.
예를 들어, 차량 플라투닝을 기반으로, 차량들은 동적으로 그룹을 형성하여 함께 이동할 수 있다. 예를 들어, 차량 플라투닝에 기반한 플라툰 동작들(platoon operations)을 수행하기 위해, 상기 그룹에 속하는 차량들은 선두 차량으로부터 주기적인 데이터를 수신할 수 있다. 예를 들어, 상기 그룹에 속하는 차량들은 주기적인 데이터를 이용하여, 차량들 사이의 간격을 줄이거나 넓힐 수 있다.
예를 들어, 향상된 드라이빙을 기반으로, 차량은 반자동화 또는 완전 자동화될 수 있다. 예를 들어, 각 차량은 근접 차량 및/또는 근접 로지컬 엔티티(logical entity)의 로컬 센서(local sensor)에서 획득된 데이터를 기반으로, 궤도(trajectories) 또는 기동(maneuvers)을 조정할 수 있다. 또한, 예를 들어, 각 차량은 근접한 차량들과 드라이빙 인텐션(driving intention)을 상호 공유할 수 있다.
예를 들어, 확장 센서들을 기반으로, 로컬 센서들을 통해 획득된 로 데이터(raw data) 또는 처리된 데이터(processed data), 또는 라이브 비디오 데이터(live video data)는 차량, 로지컬 엔티티, 보행자들의 단말 및/또는 V2X 응용 서버 간에 상호 교환될 수 있다. 따라서, 예를 들어, 차량은 자체 센서를 이용하여 감지할 수 있는 환경 보다 향상된 환경을 인식할 수 있다.
예를 들어, 리모트 드라이빙을 기반으로, 운전을 하지 못하는 사람 또는 위험한 환경에 위치한 리모트 차량을 위해, 리모트 드라이버 또는 V2X 애플리케이션은 상기 리모트 차량을 동작 또는 제어할 수 있다. 예를 들어, 대중 교통과 같이 경로를 예측할 수 있는 경우, 클라우드 컴퓨팅 기반의 드라이빙이 상기 리모트 차량의 동작 또는 제어에 이용될 수 있다. 또한, 예를 들어, 클라우드 기반의 백엔드 서비스 플랫폼(cloud-based back-end service platform)에 대한 액세스가 리모트 드라이빙을 위해 고려될 수 있다.
한편, 차량 플라투닝, 향상된 드라이빙, 확장된 센서들, 리모트 드라이빙 등 다양한 V2X 시나리오들에 대한 서비스 요구사항(service requirements)들을 구체화하는 방안이 NR에 기반한 V2X 통신에서 논의되고 있다.
해결하고자 하는 과제는 제2 장치의 특성에 대한 부가 정보를 추가적으로 포함하는 상기 V2X 메시지에 기초하여 획득한 제1 영상에서의 객체들 중에서 상기 제2 장치에 매칭되는 객체를 특정으로 상기 제1 영상에 대한 영상 처리의 성능 및 정확도를 크게 향상시킬 수 있는 방법 및 장치를 제공하는 것이다.
기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 측면에 따른 무선 통신 시스템에서 학습된 제1 장치가 수신된 V2X 메시지에 기반하여 영상 처리하는 방법은 특정 영역에 대한 제1 영상을 획득하는 단계, 상기 특정 영역과 관련된 제1 V2X 메시지를 수신 받는 단계, 및 상기 제1 V2X 메시지에 기반하여 상기 제1 영상에서 상기 제1 V2X 메시지를 전송한 제2 장치에 대응하는 객체를 매칭하는 단계를 포함하고, 상기 제1 V2X 메시지는 상기 제1 영상에서 상기 제2 장치를 매칭하기 위한 상기 제2 장치의 특성에 대한 부가 정보를 포함할 수 있다.
또는, 상기 부가 정보는 상기 제2 장치의 형태, 색상, 재질, 이동 패턴, 주행 방법 및 장착물 중 적어도 하나에 대한 정보를 포함하고, 상기 제1 V2X 메시지의 AISupportContainer에 포함되는 것을 특징으로 한다.
또는, 상기 부가 정보는 상기 제2 장치의 형태, 색상, 재질, 이동 패턴, 주행 방법 및 장착물 중 적어도 하나를 나타내기 위한 2차원 전처리 영상 정보를 포함하는 것을 특징으로 한다.
또는, 상기 제1 장치는 상기 부가 정보에 기초하여 상기 제1 영상에서 식별되는 복수의 객체들 중 상기 제2 장치에 매칭되는 객체를 특정하고, 상기 특정된 객체의 위치 및 상기 제1 V2X 메시지에 포함된 제2 장치의 위치에 기반하여 상기 제2 장치의 위치 보정을 위한 보정 값을 산출하는 것을 특징으로 한다.
또는, 상기 제1 장치는 상기 보정 값을 포함하는 메시지를 상기 제2 장치에 전송하는 것을 특징으로 한다.
또는 상기 제1 장치는 상기 특정된 객체의 특성이 상기 부가 정보에서의 제2 장치의 특성과 상이한 부분이 존재한 경우에 상기 부가 정보를 업데이트하기 위한 메시지를 상기 제2 장치에 전송하는 것을 특징으로 한다.
또는, 지도 학습 (Supervised Learning)을 위한 라벨 정보를 포함하는 제2 V2X 메시지를 수신하는 단계를 더 포함하는 것을 특징으로 한다.
또는, 상기 제1 장치는 상기 제2 V2X 메시지를 전송한 제3 장치과 관련된 제2 영상 및 상기 라벨 정보에 기초하여 학습된 것을 특징으로 한다.
또는, 상기 라벨 정보는 상기 제3 장치의 타입에 대한 정보를 제공하는 것을 특징으로 한다.
또는, 상기 제1 장치가 라벨 요청 메시지를 전송한 경우에만 상기 제2 V2X 메시지는 상기 라벨 정보를 포함하는 것을 특징으로 한다.
또는, 상기 제1 V2X 메시지는 CAM (Cooperative Awareness Message), VAM (Vulnerable road user awareness message), CPM (Collective Perception Message), BSM (Basic Safety Message) 및 PSM (Pedestrian Safety message) 중 어느 하나인 것을 특징으로 한다.
다른 측면에 따르면, 무선 통신 시스템에서 제2 장치가 부가 정보를 포함하는 제1 메시지를 전송하는 방법은 영상 처리와 관련된 부가 정보를 포함하는 제1 메시지를 제1 장치에 전송하는 단계, 및 상기 제1 장치로부터 상기 영상 처리에 기반한 매칭 정보를 포함하는 제2 메시지를 수신 받는 단계를 포함하고, 상기 부가 정보는 상기 제1 장치에서 획득한 제1 영상에서 상기 제2 장치를 매칭시키기 위한 상기 제2 장치의 외관에 대한 정보를 포함하고, 상기 매칭 정보는 상기 제2 장치의 위치를 보정하기 위한 보정 값을 포함할 수 있다.
다른 측면에 따르면, 무선 통신 시스템에서 수신된 V2X 메시지에 기반하여 영상 처리하는 학습된 제1 장치는 RF(Radio Frequency) 송수신기 및 상기 RF 송수신기와 연결되는 프로세서를 포함하고, 상기 프로세서는 특정 영역에 대한 제1 영상을 획득하고, 상기 RF 송수신기를 제어하여 상기 특정 영역과 관련된 제1 V2X 메시지를 수신 받고, 상기 제1 V2X 메시지에 기반하여 상기 제1 영상에서 상기 제1 V2X 메시지를 전송한 제2 장치에 대응하는 객체를 매칭하며, 상기 제1 V2X 메시지는 상기 제1 영상에서 상기 제2 장치를 매칭하기 위한 상기 제2 장치의 특성에 대한 부가 정보를 포함할 수 있다.
다른 측면에 따르면, 무선 통신 시스템에서 부가 정보를 포함하는 제1 메시지를 전송하는 제2 장치는 RF(Radio Frequency) 송수신기 및 상기 RF 송수신기와 연결되는 프로세서를 포함하고, 상기 프로세서는 상기 RF 송수신기를 제어하여 영상 처리와 관련된 부가 정보를 포함하는 제1 메시지를 제1 장치에 전송하고, 상기 제1 장치로부터 상기 영상 처리에 기반한 매칭 정보를 포함하는 제2 메시지를 수신 받고, 상기 부가 정보는 상기 제1 장치에서 획득한 제1 영상에서 상기 제2 장치를 매칭시키기 위한 상기 제2 장치의 특성에 대한 정보를 포함하고, 상기 매칭 정보는 상기 제2 장치의 위치를 보정하기 위한 보정 값을 포함할 수 있다.
다른 측면에 따른 무선통신시스템에서 수신된 V2X 메시지에 기반하여 영상 처리하는 학습된 칩 셋은 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서와 동작 가능하게 연결되고, 실행될 때, 상기 적어도 하나의 프로세서가 동작을 수행하도록 하는 적어도 하나의 메모리를 포함하며, 상기 동작은 특정 영역에 대한 제1 영상을 획득하고, 상기 특정 영역과 관련된 제1 V2X 메시지를 수신 받고, 상기 제1 V2X 메시지에 기반하여 상기 제1 영상에서 상기 제1 V2X 메시지를 전송한 제2 장치에 대응하는 객체를 매칭하며, 상기 제1 V2X 메시지는 상기 제1 영상에서 상기 제2 장치를 매칭하기 위한 상기 제2 장치의 특성에 대한 부가 정보를 포함할 수 있다.
다른 측면에 따르면, 무선통신시스템에서 수신된 V2X 메시지에 기반하여 영상 처리하는 적어도 하나의 컴퓨터 프로그램을 포함하는 컴퓨터 판독 가능한 저장 매체는 상기 적어도 하나의 프로세서가 영상 처리하는 동작을 수행하도록 하는 적어도 하나의 컴퓨터 프로그램 및 상기 적어도 하나의 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 포함하고, 상기 동작은 특정 영역에 대한 제1 영상을 획득하고, 상기 특정 영역과 관련된 제1 V2X 메시지를 수신 받고, 상기 제1 V2X 메시지에 기반하여 상기 제1 영상에서 상기 제1 V2X 메시지를 전송한 제2 장치에 대응하는 객체를 매칭하며, 상기 제1 V2X 메시지는 상기 제1 영상에서 상기 제2 장치를 매칭하기 위한 상기 제2 장치의 특성에 대한 부가 정보를 포함할 수 있다.
다양한 실시예들은 제2 장치의 특성에 대한 부가 정보를 추가적으로 포함하는 상기 V2X 메시지에 기초하여 획득한 제1 영상에서의 객체들 중에서 상기 제2 장치에 매칭되는 객체를 특정으로 상기 제1 영상에 대한 영상 처리의 성능 및 정확도를 크게 향상시킬 수 있다.
또한, 상기 특정된 객체에 기반하여 상기 부가 정보를 업데이트하거나 상기 제2 장치의 위치를 정확히 보정할 수 있다.
다양한 실시예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 도면은 본 발명에 대한 이해를 제공하기 위한 것으로서 본 발명의 다양한 실시형태들을 나타내고 명세서의 기재와 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1은 NR 이전의 RAT에 기반한 V2X 통신과 NR에 기반한 V2X 통신을 비교하여 설명하기 위한 도면이다
도 2은 LTE 시스템의 구조를 나타낸다.
도 3은 NR 시스템의 구조를 나타낸다.
도 4은 NR의 무선 프레임의 구조를 나타낸다.
도 5은 NR 프레임의 슬롯 구조를 나타낸다.
도 6은 SL 통신을 위한 무선 프로토콜 구조(radio protocol architecture)를 나타낸다.
도 7은 V2X 또는 SL 통신을 수행하는 단말을 나타낸다.
도 8는 V2X 또는 SL 통신을 위한 자원 단위를 나타낸다.
도 9은 ITS 스테이션 참조 구조 (ITS station reference architecture)를 설명하기 위한 도면이다.
도 10은 참조 구조에 기초하여 설계 및 적용 가능한 ITS 스테이션 (station)의 예시 구조이다.
도 11 및 도 12는 카메라 등 영상 장치를 포함하는 RSU의 동작을 나타낸 도면이다.
도 13은 V2X에 추가된 학습 보조 정보를 이용하여 학습하는 제1 장치에 관한 도면이다.
도 14는 부가 정보 및/또는 라벨 정보를 포함하는 V2X 메시지 및 SoftV2X 메시지에 대한 메시지 구조를 설정하기 위한 관한 도면이다.
도 15, 도 16 및 도 17은 상기 V2X 메시지 또는 SoftV2X 메시지에 포함된 DF_StatoinShape 및 DF_StatoinShape를 설명하기 위한 도면이다.
도 18 및 도 19는 VRU 및 RSU 간의 협력을 통해 부가 정보를 생성하고 운용하는 방법을 설명하기 위한 도면이다.
도 20 및 도 21은 SoftV2X 서버를 통해 VRU와 차량 간에 상기 부가 정보를 생성 및 관리하는 방법을 설명하기 위한 도면이다.
도 22 내지 도 25는 다양한 시스템 구조에 기반하여 RSU가 V2X 메시지에 기반하여 학습하는 방법을 설명하기 위한 도면이다.
도 26은 V2X 메시지에 포함된 V2X 장치의 위치 정보와 카메라를 획득한 영상에서의 객체 간을 매칭시키기는 방법을 설명하기 위한 도면이다.
도 27은 학습된 제1 장치가 제1 V2X 메시지에 기반하여 영상 처리를 수행하는 방법을 설명하기 위한 도면이다.
도 28은 영상 처리를 보조할 수 있는 제1 V2X 메시지를 제2 장치가 전송하는 방법을 설명하기 위한 도면이다.
도 29는 본 발명에 적용되는 통신 시스템을 예시한다.
도 30은 본 발명에 적용될 수 있는 무선 기기를 예시한다.
도 31은 본 발명에 적용되는 무선 기기의 다른 예를 나타낸다. 무선 기기는 사용-예/서비스에 따라 다양한 형태로 구현될 수 있다
도 32는 본 발명에 적용되는 차량 또는 자율 주행 차량을 예시한다.
무선 통신 시스템은 가용한 시스템 자원(예를 들어, 대역폭, 전송 파워 등)을 공유하여 다중 사용자와의 통신을 지원하는 다중 접속(multiple access) 시스템이다. 다중 접속 시스템의 예로는 CDMA(code division multiple access) 시스템, FDMA(frequency division multiple access) 시스템, TDMA(time division multiple access) 시스템, OFDMA(orthogonal frequency division multiple access) 시스템, SC-FDMA(single carrier frequency division multiple access) 시스템, MC-FDMA(multi carrier frequency division multiple access) 시스템 등이 있다.
사이드링크(sidelink)란 단말(User Equipment, UE)들 간에 직접적인 링크를 설정하여, 기지국(Base Station, BS)을 거치지 않고, 단말 간에 음성 또는 데이터 등을 직접 주고 받는 통신 방식을 말한다. 사이드링크는 급속도로 증가하는 데이터 트래픽에 따른 기지국의 부담을 해결할 수 있는 하나의 방안으로서 고려되고 있다.
V2X(vehicle-to-everything)는 유/무선 통신을 통해 다른 차량, 보행자, 인프라가 구축된 사물 등과 정보를 교환하는 통신 기술을 의미한다. V2X는 V2V(vehicle-to-vehicle), V2I(vehicle-to-infrastructure), V2N(vehicle-to- network) 및 V2P(vehicle-to-pedestrian)와 같은 4 가지 유형으로 구분될 수 있다. V2X 통신은 PC5 인터페이스 및/또는 Uu 인터페이스를 통해 제공될 수 있다.
한편, 더욱 많은 통신 기기들이 더욱 큰 통신 용량을 요구하게 됨에 따라, 기존의 무선 액세스 기술(Radio Access Technology, RAT)에 비해 향상된 모바일 광대역 (mobile broadband) 통신에 대한 필요성이 대두되고 있다. 이에 따라, 신뢰도(reliability) 및 지연(latency)에 민감한 서비스 또는 단말을 고려한 통신 시스템이 논의되고 있는데, 개선된 이동 광대역 통신, 매시브 MTC, URLLC(Ultra-Reliable and Low Latency Communication) 등을 고려한 차세대 무선 접속 기술을 새로운 RAT(new radio access technology) 또는 NR(new radio)이라 칭할 수 있다. NR에서도 V2X(vehicle-to-everything) 통신이 지원될 수 있다.
이하의 기술은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 등과 같은 다양한 무선 통신 시스템에 사용될 수 있다. CDMA는 UTRA(universal terrestrial radio access)나 CDMA2000과 같은 무선 기술로 구현될 수 있다. TDMA는 GSM(global system for mobile communications)/GPRS(general packet radio service)/EDGE(enhanced data rates for GSM evolution)와 같은 무선 기술로 구현될 수 있다. OFDMA는 IEEE(institute of electrical and electronics engineers) 802.11(Wi-Fi), IEEE 802.16(WiMAX), IEEE 802-20, E-UTRA(evolved UTRA) 등과 같은 무선 기술로 구현될 수 있다. IEEE 802.16m은 IEEE 802.16e의 진화로, IEEE 802.16e에 기반한 시스템과의 하위 호환성(backward compatibility)를 제공한다. UTRA는 UMTS(universal mobile telecommunications system)의 일부이다. 3GPP(3rd generation partnership project) LTE(long term evolution)은 E-UTRA(evolved-UMTS terrestrial radio access)를 사용하는 E-UMTS(evolved UMTS)의 일부로써, 하향링크에서 OFDMA를 채용하고 상향링크에서 SC-FDMA를 채용한다. LTE-A(advanced)는 3GPP LTE의 진화이다.
5G NR은 LTE-A의 후속 기술로서, 고성능, 저지연, 고가용성 등의 특성을 가지는 새로운 Clean-slate 형태의 이동 통신 시스템이다. 5G NR은 1GHz 미만의 저주파 대역에서부터 1GHz~10GHz의 중간 주파 대역, 24GHz 이상의 고주파(밀리미터파) 대역 등 사용 가능한 모든 스펙트럼 자원을 활용할 수 있다.
설명을 명확하게 하기 위해, LTE-A 또는 5G NR을 위주로 기술하지만 실시예(들)의 기술적 사상이 이에 제한되는 것은 아니다.
도 2은 적용될 수 있는 LTE 시스템의 구조를 나타낸다. 이는 E-UTRAN(Evolved-UMTS Terrestrial Radio Access Network), 또는 LTE(Long Term Evolution)/LTE-A 시스템이라고 불릴 수 있다.
도 2을 참조하면, E-UTRAN은 단말(10)에게 제어 평면(control plane)과 사용자 평면(user plane)을 제공하는 기지국(20; Base Station, BS)을 포함한다. 단말(10)은 고정되거나 이동성을 가질 수 있으며, MS(Mobile Station), UT(User Terminal), SS(Subscriber Station), MT(Mobile Terminal), 무선기기(Wireless Device) 등 다른 용어로 불릴 수 있다. 기지국(20)은 단말(10)과 통신하는 고정된 지점(fixed station)을 말하며, eNB(evolved-NodeB), BTS(Base Transceiver System), 액세스 포인트(Access Point) 등 다른 용어로 불릴 수 있다.
기지국(20)들은 X2 인터페이스를 통하여 서로 연결될 수 있다. 기지국(20)은 S1 인터페이스를 통해 EPC(Evolved Packet Core, 30), 보다 상세하게는 S1-MME를 통해 MME(Mobility Management Entity)와 S1-U를 통해 S-GW(Serving Gateway)와 연결된다.
EPC(30)는 MME, S-GW 및 P-GW(Packet Data Network-Gateway)로 구성된다. MME는 단말의 접속 정보나 단말의 능력에 관한 정보를 가지고 있으며, 이러한 정보는 단말의 이동성 관리에 주로 사용된다. S-GW는 E-UTRAN을 종단점으로 갖는 게이트웨이이며, P-GW는 PDN을 종단점으로 갖는 게이트웨이이다.
단말과 네트워크 사이의 무선인터페이스 프로토콜(Radio Interface Protocol)의 계층들은 통신시스템에서 널리 알려진 개방형 시스템간 상호접속(Open System Interconnection, OSI) 기준 모델의 하위 3개 계층을 바탕으로 L1 (제 1 계층), L2 (제 2 계층), L3(제 3 계층)로 구분될 수 있다. 이 중에서 제 1 계층에 속하는 물리 계층은 물리 채널(Physical Channel)을 이용한 정보전송서비스(Information Transfer Service)를 제공하며, 제 3 계층에 위치하는 RRC(Radio Resource Control) 계층은 단말과 네트워크 간에 무선 자원을 제어하는 역할을 수행한다. 이를 위해 RRC 계층은 단말과 기지국간 RRC 메시지를 교환한다.
도 3은 NR 시스템의 구조를 나타낸다.
도 3을 참조하면, NG-RAN은 단말에게 사용자 평면 및 제어 평면 프로토콜 종단(termination)을 제공하는 gNB 및/또는 eNB를 포함할 수 있다. 도 7에서는 gNB만을 포함하는 경우를 예시한다. gNB 및 eNB는 상호 간에 Xn 인터페이스로 연결되어 있다. gNB 및 eNB는 5세대 코어 네트워크(5G Core Network: 5GC)와 NG 인터페이스를 통해 연결되어 있다. 보다 구체적으로, AMF(access and mobility management function)과는 NG-C 인터페이스를 통해 연결되고, UPF(user plane function)과는 NG-U 인터페이스를 통해 연결된다.
도 4은 NR의 무선 프레임의 구조를 나타낸다.
도 4을 참조하면, NR에서 상향링크 및 하향링크 전송에서 무선 프레임을 사용할 수 있다. 무선 프레임은 10ms의 길이를 가지며, 2개의 5ms 하프-프레임(Half-Frame, HF)으로 정의될 수 있다. 하프-프레임은 5개의 1ms 서브프레임(Subframe, SF)을 포함할 수 있다. 서브프레임은 하나 이상의 슬롯으로 분할될 수 있으며, 서브프레임 내 슬롯 개수는 부반송파 간격(Subcarrier Spacing, SCS)에 따라 결정될 수 있다. 각 슬롯은 CP(cyclic prefix)에 따라 12개 또는 14개의 OFDM(A) 심볼을 포함할 수 있다.
노멀 CP(normal CP)가 사용되는 경우, 각 슬롯은 14개의 심볼을 포함할 수 있다. 확장 CP가 사용되는 경우, 각 슬롯은 12개의 심볼을 포함할 수 있다. 여기서, 심볼은 OFDM 심볼 (또는, CP-OFDM 심볼), SC-FDMA(Single Carrier - FDMA) 심볼 (또는, DFT-s-OFDM(Discrete Fourier Transform-spread-OFDM) 심볼)을 포함할 수 있다.
다음 표 1은 노멀 CP가 사용되는 경우, SCS 설정(u)에 따라 슬롯 별 심볼의 개수((Nslot symb), 프레임 별 슬롯의 개수((Nframe,u slot)와 서브프레임 별 슬롯의 개수((Nsubframe,u slot)를 예시한다.
SCS (15*2u) Nslot symb Nframe,u slot Nsubframe,u slot
15KHz (u=0) 14 10 1
30KHz (u=1) 14 20 2
60KHz (u=2) 14 40 4
120KHz (u=3) 14 80 8
240KHz (u=4) 14 160 16
표 2는 확장 CP가 사용되는 경우, SCS에 따라 슬롯 별 심볼의 개수, 프레임 별 슬롯의 개수와 서브프레임 별 슬롯의 개수를 예시한다.
SCS (15*2u) Nslot symb Nframe,u slot Nsubframe,u slot
60KHz (u=2) 12 40 4
NR 시스템에서는 하나의 단말에게 병합되는 복수의 셀들 간에 OFDM(A) 뉴머놀로지(numerology)(예, SCS, CP 길이 등)가 상이하게 설정될 수 있다. 이에 따라, 동일한 개수의 심볼로 구성된 시간 자원(예, 서브프레임, 슬롯 또는 TTI)(편의상, TU(Time Unit)로 통칭)의 (절대 시간) 구간이 병합된 셀들 간에 상이하게 설정될 수 있다.
NR에서, 다양한 5G 서비스들을 지원하기 위한 다수의 뉴머놀로지(numerology) 또는 SCS가 지원될 수 있다. 예를 들어, SCS가 15kHz인 경우, 전통적인 셀룰러 밴드들에서의 넓은 영역(wide area)이 지원될 수 있고, SCS가 30kHz/60kHz인 경우, 밀집한-도시(dense-urban), 더 낮은 지연(lower latency) 및 더 넓은 캐리어 대역폭(wider carrier bandwidth)이 지원될 수 있다. SCS가 60kHz 또는 그보다 높은 경우, 위상 잡음(phase noise)을 극복하기 위해 24.25GHz보다 큰 대역폭이 지원될 수 있다.
NR 주파수 밴드(frequency band)는 두 가지 타입의 주파수 범위(frequency range)로 정의될 수 있다. 상기 두 가지 타입의 주파수 범위는 FR1 및 FR2일 수 있다. 주파수 범위의 수치는 변경될 수 있으며, 예를 들어, 상기 두 가지 타입의 주파수 범위는 하기 표 3과 같을 수 있다. NR 시스템에서 사용되는 주파수 범위 중 FR1은 "sub 6GHz range"를 의미할 수 있고, FR2는 "above 6GHz range"를 의미할 수 있고 밀리미터 웨이브(millimeter wave, mmW)로 불릴 수 있다.
Frequency Range designation Corresponding frequency range Subcarrier Spacing (SCS)
FR1 450MHz - 6000MHz 15, 30, 60kHz
FR2 24250MHz - 52600MHz 60, 120, 240kHz
상술한 바와 같이, NR 시스템의 주파수 범위의 수치는 변경될 수 있다. 예를 들어, FR1은 하기 표 4와 같이 410MHz 내지 7125MHz의 대역을 포함할 수 있다. 즉, FR1은 6GHz (또는 5850, 5900, 5925 MHz 등) 이상의 주파수 대역을 포함할 수 있다. 예를 들어, FR1 내에서 포함되는 6GHz (또는 5850, 5900, 5925 MHz 등) 이상의 주파수 대역은 비면허 대역(unlicensed band)을 포함할 수 있다. 비면허 대역은 다양한 용도로 사용될 수 있고, 예를 들어 차량을 위한 통신(예를 들어, 자율주행)을 위해 사용될 수 있다.
Frequency Range designation Corresponding frequency range Subcarrier Spacing (SCS)
FR1 410MHz - 7125MHz 15, 30, 60kHz
FR2 24250MHz - 52600MHz 60, 120, 240kHz
도 5은 NR 프레임의 슬롯 구조를 나타낸다.
도 5을 참조하면, 슬롯은 시간 영역에서 복수의 심볼들을 포함한다. 예를 들어, 노멀 CP의 경우 하나의 슬롯이 14개의 심볼을 포함하나, 확장 CP의 경우 하나의 슬롯이 12개의 심볼을 포함할 수 있다. 또는 노멀 CP의 경우 하나의 슬롯이 7개의 심볼을 포함하나, 확장 CP의 경우 하나의 슬롯이 6개의 심볼을 포함할 수 있다.
반송파는 주파수 영역에서 복수의 부반송파들을 포함한다. RB(Resource Block)는 주파수 영역에서 복수(예를 들어, 12)의 연속한 부반송파로 정의될 수 있다. BWP(Bandwidth Part)는 주파수 영역에서 복수의 연속한 (P)RB((Physical) Resource Block)로 정의될 수 있으며, 하나의 뉴머놀로지(numerology)(예, SCS, CP 길이 등)에 대응될 수 있다. 반송파는 최대 N개(예를 들어, 5개)의 BWP를 포함할 수 있다. 데이터 통신은 활성화된 BWP를 통해서 수행될 수 있다. 각각의 요소는 자원 그리드에서 자원요소(Resource Element, RE)로 지칭될 수 있고, 하나의 복소 심볼이 맵핑될 수 있다.
한편, 단말과 단말 간 무선 인터페이스 또는 단말과 네트워크 간 무선 인터페이스는 L1 계층, L2 계층 및 L3 계층으로 구성될 수 있다. 본 개시의 다양한 실시 예에서, L1 계층은 물리(physical) 계층을 의미할 수 있다. 또한, 예를 들어, L2 계층은 MAC 계층, RLC 계층, PDCP 계층 및 SDAP 계층 중 적어도 하나를 의미할 수 있다. 또한, 예를 들어, L3 계층은 RRC 계층을 의미할 수 있다.
이하, V2X 또는 SL(sidelink) 통신에 대하여 설명한다.
도 6는 SL 통신을 위한 무선 프로토콜 구조(radio protocol architecture)를 나타낸다. 구체적으로, 도 6의 (a)는 NR의 사용자 평면 프로토콜 스택을 나타내고, 도 6의 (b)는 NR의 제어 평면 프로토콜 스택을 나타낸다.
이하, SL 동기 신호(Sidelink Synchronization Signal, SLSS) 및 동기화 정보에 대해 설명한다.
SLSS는 SL 특정적인 시퀀스(sequence)로, PSSS(Primary Sidelink Synchronization Signal)와 SSSS(Secondary Sidelink Synchronization Signal)를 포함할 수 있다. 상기 PSSS는 S-PSS(Sidelink Primary Synchronization Signal)라고 칭할 수 있고, 상기 SSSS는 S-SSS(Sidelink Secondary Synchronization Signal)라고 칭할 수 있다. 예를 들어, 길이-127 M-시퀀스(length-127 M-sequences)가 S-PSS에 대하여 사용될 수 있고, 길이-127 골드-시퀀스(length-127 Gold sequences)가 S-SSS에 대하여 사용될 수 있다. 예를 들어, 단말은 S-PSS를 이용하여 최초 신호를 검출(signal detection)할 수 있고, 동기를 획득할 수 있다. 예를 들어, 단말은 S-PSS 및 S-SSS를 이용하여 세부 동기를 획득할 수 있고, 동기 신호 ID를 검출할 수 있다.
PSBCH(Physical Sidelink Broadcast Channel)는 SL 신호 송수신 전에 단말이 가장 먼저 알아야 하는 기본이 되는 (시스템) 정보가 전송되는 (방송) 채널일 수 있다. 예를 들어, 상기 기본이 되는 정보는 SLSS에 관련된 정보, 듀플렉스 모드(Duplex Mode, DM), TDD UL/DL(Time Division Duplex Uplink/Downlink) 구성, 리소스 풀 관련 정보, SLSS에 관련된 어플리케이션의 종류, 서브프레임 오프셋, 방송 정보 등일 수 있다. 예를 들어, PSBCH 성능의 평가를 위해, NR V2X에서, PSBCH의 페이로드 크기는 24 비트의 CRC를 포함하여 56 비트일 수 있다.
S-PSS, S-SSS 및 PSBCH는 주기적 전송을 지원하는 블록 포맷(예를 들어, SL SS(Synchronization Signal)/PSBCH 블록, 이하 S-SSB(Sidelink-Synchronization Signal Block))에 포함될 수 있다. 상기 S-SSB는 캐리어 내의 PSCCH(Physical Sidelink Control Channel)/PSSCH(Physical Sidelink Shared Channel)와 동일한 뉴머놀로지(즉, SCS 및 CP 길이)를 가질 수 있고, 전송 대역폭은 (미리) 설정된 SL BWP(Sidelink BWP) 내에 있을 수 있다. 예를 들어, S-SSB의 대역폭은 11 RB(Resource Block)일 수 있다. 예를 들어, PSBCH는 11 RB에 걸쳐있을 수 있다. 그리고, S-SSB의 주파수 위치는 (미리) 설정될 수 있다. 따라서, 단말은 캐리어에서 S-SSB를 발견하기 위해 주파수에서 가설 검출(hypothesis detection)을 수행할 필요가 없다.
한편, NR SL 시스템에서, 서로 다른 SCS 및/또는 CP 길이를 가지는 복수의 뉴머놀로지가 지원될 수 있다. 이 때, SCS가 증가함에 따라서, 전송 단말이 S-SSB를 전송하는 시간 자원의 길이가 짧아질 수 있다. 이에 따라, S-SSB의 커버리지(coverage)가 감소할 수 있다. 따라서, S-SSB의 커버리지를 보장하기 위하여, 전송 단말은 SCS에 따라 하나의 S-SSB 전송 주기 내에서 하나 이상의 S-SSB를 수신 단말에게 전송할 수 있다. 예를 들어, 전송 단말이 하나의 S-SSB 전송 주기 내에서 수신 단말에게 전송하는 S-SSB의 개수는 전송 단말에게 사전에 설정되거나(pre-configured), 설정(configured)될 수 있다. 예를 들어, S-SSB 전송 주기는 160ms 일 수 있다. 예를 들어, 모든 SCS에 대하여, 160ms의 S-SSB 전송 주기가 지원될 수 있다.
예를 들어, SCS가 FR1에서 15kHz인 경우, 전송 단말은 하나의 S-SSB 전송 주기 내에서 수신 단말에게 1개 또는 2개의 S-SSB를 전송할 수 있다. 예를 들어, SCS가 FR1에서 30kHz인 경우, 전송 단말은 하나의 S-SSB 전송 주기 내에서 수신 단말에게 1개 또는 2개의 S-SSB를 전송할 수 있다. 예를 들어, SCS가 FR1에서 60kHz인 경우, 전송 단말은 하나의 S-SSB 전송 주기 내에서 수신 단말에게 1개, 2개 또는 4개의 S-SSB를 전송할 수 있다.
예를 들어, SCS가 FR2에서 60kHz인 경우, 전송 단말은 하나의 S-SSB 전송 주기 내에서 수신 단말에게 1개, 2개, 4개, 8개, 16개 또는 32개의 S-SSB를 전송할 수 있다. 예를 들어, SCS가 FR2에서 120kHz인 경우, 전송 단말은 하나의 S-SSB 전송 주기 내에서 수신 단말에게 1개, 2개, 4개, 8개, 16개, 32개 또는 64개의 S-SSB를 전송할 수 있다.
한편, SCS가 60kHz인 경우, 두 가지 타입의 CP가 지원될 수 있다. 또한, CP 타입에 따라서 전송 단말이 수신 단말에게 전송하는 S-SSB의 구조가 상이할 수 있다. 예를 들어, 상기 CP 타입은 Normal CP(NCP) 또는 Extended CP(ECP)일 수 있다. 구체적으로, 예를 들어, CP 타입이 NCP인 경우, 전송 단말이 전송하는 S-SSB 내에서 PSBCH를 맵핑하는 심볼의 개수는 9 개 또는 8 개일 수 있다. 반면, 예를 들어, CP 타입이 ECP인 경우, 전송 단말이 전송하는 S-SSB 내에서 PSBCH를 맵핑하는 심볼의 개수는 7 개 또는 6 개일 수 있다. 예를 들어, 전송 단말이 전송하는 S-SSB 내의 첫 번째 심볼에는, PSBCH가 맵핑될 수 있다. 예를 들어, S-SSB를 수신하는 수신 단말은 S-SSB의 첫 번째 심볼 구간에서 AGC(Automatic Gain Control) 동작을 수행할 수 있다.
도 7은 V2X 또는 SL 통신을 수행하는 단말을 나타낸다.
도 7을 참조하면, V2X 또는 SL 통신에서 단말이라는 용어는 주로 사용자의 단말을 의미할 수 있다. 하지만, 기지국과 같은 네트워크 장비가 단말 사이의 통신 방식에 따라 신호를 송수신하는 경우, 기지국 또한 일종의 단말로 간주될 수도 있다. 예를 들어, 단말 1은 제 1 장치(100)일 수 있고, 단말 2 는 제 2 장치(200)일 수 있다.
예를 들어, 단말 1은 일련의 자원의 집합을 의미하는 자원 풀(resource pool) 내에서 특정한 자원에 해당하는 자원 단위(resource unit)를 선택할 수 있다. 그리고, 단말 1은 상기 자원 단위를 사용하여 SL 신호를 전송할 수 있다. 예를 들어, 수신 단말인 단말 2는 단말 1이 신호를 전송할 수 있는 자원 풀을 설정 받을 수 있고, 상기 자원 풀 내에서 단말 1의 신호를 검출할 수 있다.
여기서, 단말 1이 기지국의 연결 범위 내에 있는 경우, 기지국이 자원 풀을 단말 1에게 알려줄 수 있다. 반면, 단말 1이 기지국의 연결 범위 밖에 있는 경우, 다른 단말이 단말 1에게 자원 풀을 알려주거나, 또는 단말 1은 사전에 설정된 자원 풀을 사용할 수 있다.
일반적으로 자원 풀은 복수의 자원 단위로 구성될 수 있고, 각 단말은 하나 또는 복수의 자원 단위를 선택하여 자신의 SL 신호 전송에 사용할 수 있다.
도 8는 V2X 또는 SL 통신을 위한 자원 단위를 나타낸다.
도 8를 참조하면, 자원 풀의 전체 주파수 자원이 NF개로 분할될 수 있고, 자원 풀의 전체 시간 자원이 NT개로 분할될 수 있다. 따라서, 총 NF * NT 개의 자원 단위가 자원 풀 내에서 정의될 수 있다. 도 8는 해당 자원 풀이 NT 개의 서브프레임의 주기로 반복되는 경우의 예를 나타낸다.
도 8에 나타난 바와 같이, 하나의 자원 단위(예를 들어, Unit #0)는 주기적으로 반복하여 나타날 수 있다. 또는, 시간 또는 주파수 차원에서의 다이버시티(diversity) 효과를 얻기 위해서, 하나의 논리적인 자원 단위가 맵핑되는 물리적 자원 단위의 인덱스가 시간에 따라 사전에 정해진 패턴으로 변화할 수도 있다. 이러한 자원 단위의 구조에 있어서, 자원 풀이란 SL 신호를 전송하고자 하는 단말이 전송에 사용할 수 있는 자원 단위들의 집합을 의미할 수 있다.
자원 풀은 여러 종류로 세분화될 수 있다. 예를 들어, 각 자원 풀에서 전송되는 SL 신호의 컨텐츠(content)에 따라, 자원 풀은 아래와 같이 구분될 수 있다.
(1) 스케쥴링 할당(Scheduling Assignment, SA)은 전송 단말이 SL 데이터 채널의 전송으로 사용하는 자원의 위치, 그 외 데이터 채널의 복조를 위해서 필요한 MCS(Modulation and Coding Scheme) 또는 MIMO(Multiple Input Multiple Output) 전송 방식, TA(Timing Advance)등의 정보를 포함하는 신호일 수 있다. SA는 동일 자원 단위 상에서 SL 데이터와 함께 멀티플렉싱되어 전송되는 것도 가능하며, 이 경우 SA 자원 풀이란 SA가 SL 데이터와 멀티플렉싱되어 전송되는 자원 풀을 의미할 수 있다. SA는 SL 제어 채널(control channel)로 불릴 수도 있다.
(2) SL 데이터 채널(Physical Sidelink Shared Channel, PSSCH)은 전송 단말이 사용자 데이터를 전송하는데 사용하는 자원 풀일 수 있다. 만약 동일 자원 단위 상에서 SL 데이터와 함께 SA가 멀티플렉싱되어 전송되는 경우, SA 정보를 제외한 형태의 SL 데이터 채널만이 SL 데이터 채널을 위한 자원 풀에서 전송 될 수 있다. 다시 말해, SA 자원 풀 내의 개별 자원 단위 상에서 SA 정보를 전송하는데 사용되었던 REs(Resource Elements)는 SL 데이터 채널의 자원 풀에서 여전히 SL 데이터를 전송하기 위해 사용될 수 있다. 예를 들어, 전송 단말은 연속적인 PRB에 PSSCH를 맵핑시켜서 전송할 수 있다.
(3) 디스커버리 채널은 전송 단말이 자신의 ID 등의 정보를 전송하기 위한 자원 풀일 수 있다. 이를 통해, 전송 단말은 인접 단말이 자신을 발견하도록 할 수 있다.
이상에서 설명한 SL 신호의 컨텐츠가 동일한 경우에도, SL 신호의 송수신 속성에 따라서 상이한 자원 풀을 사용할 수 있다. 일 예로, 동일한 SL 데이터 채널이나 디스커버리 메시지라 하더라도, SL 신호의 전송 타이밍 결정 방식(예를 들어, 동기 기준 신호의 수신 시점에서 전송되는지 아니면 상기 수신 시점에서 일정한 타이밍 어드밴스를 적용하여 전송되는지), 자원 할당 방식(예를 들어, 개별 신호의 전송 자원을 기지국이 개별 전송 단말에게 지정해주는지 아니면 개별 전송 단말이 자원 풀 내에서 자체적으로 개별 신호 전송 자원을 선택하는지), 신호 포맷(예를 들어, 각 SL 신호가 한 서브프레임에서 차지하는 심볼의 개수, 또는 하나의 SL 신호의 전송에 사용되는 서브프레임의 개수), 기지국으로부터의 신호 세기, SL 단말의 송신 전력 세기 등에 따라서 다시 상이한 자원 풀로 구분될 수도 있다.
Vehicular Communications for ITS
V2X (Vehicle-to-Everything, 차량 통신)을 활용하는 ITS (Intelligent Transport System)는 주요하게 Access layer (접속 계층), Network & Transport layer (네트워킹 및 트랜스포트 계층), Facilities layer (퍼실리티 계층), Application layer (어플리케이션 계층), Security (보안)와 Management (관리) Entity (엔터티) 등으로 구성될 수 있다. 차량 통신은, 차량 간 통신 (V2V), 차량과 기지국 간 통신 (V2N, N2V), 차량과 RSU (Road-Side Unit) 간 통신(V2I, I2V), RSU 간 통신 (I2I), 차량과 사람 간 통신 (V2P, P2V), RSU와 사람 간 통신 (I2P, P2I) 등 다양한 시나리에 적용될 수 있다. 차량 통신의 주체가 되는 차량, 기지국, RSU, 사람 등은 ITS station이라고 지칭된다.
도 9은 ITS 스테이션 참조 구조 (ITS station reference architecture)를 설명하기 위한 도면이다.
ITS 스테이션 참조 구조 (ITS station reference architecture)는, 액세스 계층 (Access layer), 네트워크&운송 계층 (Network & Transport layer), Facilities layer과 보안 (Security)과 관리 (Management)를 위한 엔티티 (Entity) 및 최상위에는 어플리케이션 계층 (Application layer)으로 구성되어 있으며, 기본적으로 layered OSI (계층 OSI) 모델을 따른다.
구체적으로, 도 9를 참조하면, OSI 모델을 기반한 ITS station 참조 구조 특징이 나타나 있다. ITS 스테이션 (station)의 액세스 (access) 계층은 OSI 계층 1 (physical 계층)과 계층 2 (data link 계층)에 상응하며, ITS 스테이션 (station)의 네트워크&운송 (network & transport) 계층은 OSI 계층 3 (network 계층)과 계층 4 (transport 계층)에 상응하고, ITS 스테이션 (station)의 facilities 계층은 OSI 계층 5 (session 계층), 계층 6 (presentation 계층) 및 계층 7 (application 계층)에 상응한다.
ITS 스테이션 (station)의 최상위에 위치한 어플리케이션 (application) 계층은 사용 케이스 (use-case)를 실제 구현하여 지원하는 기능을 수행하며 사용 케이스 (use-case)에 따라 선택적으로 사용될 수 있다. 관리 엔티티 (Management entity)는 ITS 스테이션 (station)의 통신 (communication) 및 동작을 비롯한 모든 계층을 관리하는 역할을 수행한다. 보안 엔티티 (Security entity)는 모든 계층에 대한 보안 서비스 (security service)를 제공한다. ITS 스테이션 (station)의 각 계층은 상호 간 interface (인터페이스)를 통해 차량 통신을 통해 전송할 혹은 수신한 데이터 및 다양한 목적의 부가 정보들을 교환한다. 다음은 다양한 인터페이스에 대한 약어 설명이다.
MA: Interface between management entity and application layer
MF: Interface between management entity and facilities layer
MN: Interface between management entity and networking & transport layer
MI: Interface between management entity and access layer
FA: Interface between facilities layer and ITS-S applications
NF: Interface between networking & transport layer and facilities layer
IN: Interface between access layer and networking & transport layer
SA: Interface between security entity and ITS-S applications
SF: Interface between security entity and facilities layer
SN: Interface between security entity and networking & transport layer
SI: Interface between security entity and access layer
도 10은 참조 구조에 기초하여 설계 및 적용 가능한 ITS 스테이션 (station)의 예시 구조이다.
ITS 스테이션 (station)의 참조 구조의 주된 개념은 통신 네트워크로 구성된 두 개의 종단 차량/이용자 사이에서, 통신 처리를 각 계층이 가지고 있는 특별한 기능을 가지고 계층별로 나눌 수 있도록 하는 것이다. 즉, 차량 간 메시지가 생성되면, 차량 및 ITS 시스템 (또는 기타 ITS 관련 단말기/시스템)에서 한 계층씩 아래로 각 층을 통과하여 데이터가 전달되고, 다른 쪽에서는 메시지가 도착할 때 메시지를 받는 차량 또는 ITS (또는 기타 ITS 관련 단말기/시스템)는 한 계층씩 위로 통과하여 전달된다.
차량 통신 및 네트워크를 통한 ITS 시스템은, 다양한 use-case 지원을 위해 다양한 접속 기술, 네트워크 프로토콜, 통신 인터페이스 등을 고려하여 유기적으로 설계되며, 하기 기술된 각 계층의 역할 및 기능은 상황에 따라 변경될 수 있다. 다음은 각 계층별 주요 기능에 간략히 기술한다.
어플리케이션 계층 (Application layer)는 다양한 use-case를 실제 구현하여 지원하는 역할을 수행하며, 예로서 안전 및 효율적 교통정보, 기타 오락 정보 등을 제공한다.
어플리케이션 (Application) 계층은 application이 속한 ITS Station을 다양한 형태로 제어하거나, 하위의 access 계층, network & transport 계층, facilities 계층을 통해 서비스 메시지를 차량 통신을 통해 종단 차량/이용자/인프라 등에 전달하여 서비스를 제공한다. 이때 ITS 어플리케이션은 다양한 use case를 지원할 수 있으며, 일반적으로 이러한 use-case들은 road-safety, traffic efficiency, local services, 그리고 infotainment 등 other application으로 grouping 되어 지원될 수 있다. application classification, use-case등은 새로운 application 시나리오가 정의되면 업데이트 (update) 될 수 있다. 계층 관리 (layer management)는 어플리케이션 계층의 운영 및 보안과 관련된 정보를 관리 및 서비스해 주는 역할을 수행하며, 관련 정보는 MA (interface between management entity and application 계층) 와 SA (interface between security entity and ITS-S applications) (또는 SAP: Service Access Point, 예 MA-SAP, SA-SAP)를 통해 양방향으로 전달 및 공유된다. Application 계층에서 facilities 계층으로의 request 또는 facilities 계층에서 application 계층으로의 서비스 메시지 및 관련정보의 전달은 FA (interface between facilities layer and ITS-S applications 또는 FA-SAP)를 통해 수행된다.
퍼실리티 계층 (Facilities layer)는 상위 어플리케이션 계층에서 정의된 다양한 use-case를 효과적으로 실현할 수 있도록 지원하는 역할을 수행하며, 예컨대, application support, information support, session/communication support를 수행할 수 있다.
퍼실리티 계층 (Facilities layer)은 기본적으로 OSI 모델의 상위 3개 계층, 예) session 계층, presentation 계층, application 계층, 기능을 지원한다. 구체적으로는, ITS를 위해 어플리케이션 지원 (Application support), 인포메이션 지원 (Information support), 세션/통신 지원 (Session/communication support) 등과 같은 퍼실리티 (facilities)를 제공한다. 여기서, 퍼실리티 (facilities)는 기능 (functionality), 정보 (information), 데이터 (data)를 제공하는 컴포넌트 (component)를 의미한다.
어플리케이션 지원 퍼실리티 (Application support facilities)는 ITS application의 동작을 (주로 ITS 용 메시지 생성 및 하위계층과의 송수신, 및 그에 대한 관리) 지원하는 퍼실리티이다. 상기 어플리케이션 지원 퍼실리티는 CA (Cooperative Awareness) basic service, DEN (Decentralized Environmental Notification) basic service 등이 있다. 향후에는 CACC (Cooperative Adaptive Cruise Control), Platooning, VRU (Vulnerable Roadside User), CPS (Collective Perception Service) 등 새로운 서비스를 위한 퍼실리티 엔티티 (facilities entity) 및 관련된 메시지가 추가 정의될 수 있다.
정보 지원 퍼실리티 (Information support facilities)는 다양한 ITS application에 의해 사용될 공통된 데이터 정보나 데이터베이스를 제공하는 퍼실리티 (facilities)로 Local Dynamic Map (LDM) 등이 있다.
세션/통신 지원 퍼실리티 (Session/communication support facilities)는 communications and session management를 위한 서비스를 제공하는 facilities로서 addressing mode와 session support 등이 있다.
또한, 퍼실리티 (facilities)는 공통 퍼실리티 (common facilities)와 도메인 퍼실리티 (domain facilities)로 나뉠 수 있다.
공통 퍼실리티 (common facilities)는 다양한 ITS application과 ITS station 동작에 필요한 공통적 서비스나 기능을 제공하는 facilities이며, 예로서 time management, position management, 그리고 services managements등이 있다.
도메인 퍼실리티 (domain facilities)는 일부 (하나 또는 복수의) ITS application에만 필요한 특별한 서비스나 기능을 제공하는 facilities이며, 예로서 Road Hazard Warning applications (RHW)를 위한 DEN basic service 등이 있다. Domain facilities는 optional 기능으로서 ITS station에 의해 지원되지 않으면 사용되지 않는다.
계층 관리 (layer management)는 facilities 계층의 운영 및 보안과 관련된 정보를 관리 및 서비스해 주는 역할을 수행하며, 관련정보는 MF (interface between management entity and facilities 계층) 와 SF (interface between security entity and facilities 계층) (또는 MF-SAP, SF-SAP)를 통해 양방향으로 전달 및 공유된다. Application 계층에서 facilities 계층으로의 request 또는 facilities 계층에서 application 계층으로의 서비스 메시지 및 관련정보의 전달은 FA (또는 FA-SAP)를 통해 이루어지며, facilities 계층과 하위 networking & transport 계층 간의 양방향 서비스 메시지 및 관련정보의 전달은 NF (interface between networking & transport 계층 and facilities 계층, 또는 NF-SAP)에 의해 이루어진다.
다양한 트랜스포트 프로토콜과 네트워크 프로토콜의 지원을 통해 동종 (Homogenous) 또는 이종 (Heterogeneous) 네트워크 간 차량 통신을 위한 네트워크를 구성하는 역할을 수행한다. 예로서 TCP/UDP+IPv6 등 인터넷 프로토콜을 이용한 인터넷 접속, 라우팅 및 차량 네트워크를 제공하며, BTP (Basic Transport Protocol)와 GeoNetworking 기반 프로토콜을 이용하여 차량 네트워크를 형성할 수 있다. 이때 지리적 위치 정보 (Geographical position)를 활용한 네트워킹도 지원될 수 있다. 차량 네트워크 계층은 access layer에 사용되는 기술에 의존적으로 (access layer technology-dependent) 설계되거나 구성될 수 있으며, access layer에 사용되는 기술에 상관 없이 (access layer technology-independent, access layer technology agnostic) 설계되거나 구성될 수 있다.
유럽 ITS 네트워크 & 트랜스포트 (network & transport) 계층 기능은 하기와 같다. 기본적으로 ITS 네트워크 & 트랜스포트 (network & transport) 계층의 기능은 OSI 3 계층 (network 계층)와 4 계층 (transport 계층)과 유사 또는 동일하며 다음과 같은 특징을 지닌다.
트랜스포트 계층 (transport layer)은 상위 계층 (session 계층, presentation 계층, application 계층)과 하위 계층 (network 계층, data link 계층, physical 계층)에서 제공받은 서비스 메시지와 관련정보를 전달하는 연결 계층으로서, 송신 ITS station의 application이 보낸 데이터가 목적지로 하는 ITS station의 application process에 정확하게 도착하도록 관리하는 역할을 한다. 유럽 ITS에서 고려될 수 있는 transport 프로토콜은 예로서 그림 OP5.1에서 보이듯 기존의 인터넷 프로토콜로 사용되는 TCP, UDP 등이 있으며, BTS 등 ITS 만을 위한 transport 프로토콜 등이 있다.
네트워크 계층은 논리적인 주소 및 패킷의 전달 방식/경로 등을 결정하고, transport 계층에서 제공받은 패킷에 목적지의 논리적인 주소 및 전달 경로/방식 등의 정보를 네트워크 계층의 헤더에 추가하는 역할을 한다. 패킷 방식의 예로서 ITS station 간 unicast (유니캐스트), broadcast (브로드캐스트), multicast (멀티캐스트) 등이 고려될 수 있다. ITS를 위한 networking 프로토콜은 GeoNetworking, IPv6 networking with mobility support, IPv6 over GeoNetworking 등 다양하게 고려 될 수 있다. GeoNetworking 프로토콜은 단순한 패킷 전송뿐만 아니라, 차량을 포함한 station의 위치정보를 이용한 forwarding (포워딩) 혹은 forwarding hop 개수 등을 이용한 forwarding 등의 다양한 전달 경로 혹은 전달 범위를 적용할 수 있다.
네트워크 & 트랜스포트 (network & transport) 계층과 관련된 계층 관리 (layer management)는 network & transport 계층의 운영 및 보안과 관련된 정보를 관리 및 서비스해 주는 역할을 수행하며, 관련정보는 MN (interface between management entity and networking & transport 계층, 또는 MN-SAP) 와 SN (interface between security entity and networking & transport 계층, 또는 SN-SAP)를 통해 양방향으로 전달 및 공유된다. Facilities 계층과 networking & transport 계층 간의 양방향 서비스메시지 및 관련정보의 전달은 NF (또는 NF-SAP)에 의해 이루어지며, networking & transport 계층과 access 계층 간의 서비스메시지 및 관련정보의 교환은 IN (interface between access layer and networking & transport 계층, 또는 IN-SAP)에 의해 이루어진다.
북미 ITS network & transport 계층은, 유럽과 마찬가지로 기존의 IP 데이터를 지원하기 위해 IPv6 와 TCP/UDP를 지원하고 있으며, ITS만을 위한 프로토콜로는 WSMP (WAVE Short Message Protocol)를 정의하고 있다.
WSMP에 따라 생성되는 WSM (WAVE Short Message)의 packet 구조은 WSMP Header 와 Message가 전송되는 WSM data로 구성된다. WSMP header는 version, PSID, WSMP header extension field, WSM WAVE element ID, length로 구성된다.
Version 은 4bits 의 실제 WSMP 버전을 나타내는 WsmpVersion 필드와 4bits 의 reserved 필드로 정의 된다. PSID 는 provider service identifier 로 상위 레이어에서 application 에 따라 할당 되며, 수신기 측에서 적절한 상위 계층을 결정하는데 도움을 준다. Extension fields 는 WSMP header 를 확장하기 위한 필드로 channel number, data-rate, transmit power used 와 같은 정보들이 삽입된다. WSMP WAVE element ID 는 전송되는 WAVE short message 의 타입을 지정하게 된다. Lenth 는 12bits 의 WSMLemgth 필드를 통해 전송되는 WSM data 의 길이를 octets 단위로 지정해주게 되며, 나머지 4bits는 reserved 되어 있다. LLC Header 는 IP data 와 WSMP data 를 구별하여 전송할 수 있게 해주는 기능을 하며, SNAP 의 Ethertype 을 통해 구별된다. LLC header 와 SNAP header 의 구조는 IEEE802.2 에서 정의 되어 있다. IP data 를 전송 하는 경우 Ethertype 은 0x86DD 로 설정하여 LLC header 를 구성한다. WSMP 를 전송하는 경우 Ethertype 은 0x88DC 로 설정하여 LLC header 를 구성한다. 수신기의 경우, Ethertype 을 확인 하고 0x86DD 인 경우 IP data path 로 packet 을 올려 보내고, Ethertype 이 0x88DC 인 경우 WSMP path로 올려 보내게 된다.
액세스 계층 (Access layer)은 상위 계층으로부터 받은 메시지나 데이터를 물리적 채널을 통해 전송하는 역할을 수행한다. 액세스 계층 (Access layer) 기술로서, IEEE 802.11p를 기반한 ITS-G5 차량 통신 기술, 위성/광대역 무선 이동 통신 기술, 2G/3G/4G (LTE (Long-Term Evolution)등)/5G 등 무선 셀룰러 (cellular) 통신 기술, LTE-V2X와 NR-V2X (New Radio)와 같은 cellular-V2X 차량 전용 통신 기술, DVB-T/T2/ATSC3.0등 광대역 지상파 디지털 방송 기술, GPS 기술 등이 적용될 수 있다
데이터 링크 계층 (Data link layer)은 일반적으로 잡음이 있는 인접 노드 간 (또는 차량 간) 물리적인 회선을 상위 네트워크계층이 사용할 수 있도록 전송 에러가 없는 통신 채널로 변환시키는 계층으로 3계층 프로토콜을 전송/운반/전달하는 기능, 전송할 데이터를 전송단위로서의 패킷(또는 프레임)으로 나누어 그룹화하는 프레이밍 (Framing) 기능, 보내는 측과 받는 측 간의 속도차를 보상하는 흐름제어 (Flow Control) 기능, (물리 전송 매체의 특징상 오류와 잡음이 랜덤하게 발생할 확률이 높으므로) 전송 오류를 검출하고 이것을 수정 또는 ARQ (Automatic Repeat Request)등의 방식으로 송신측에서 타이머와 ACK 신호를 통해 전송에러를 검출하고 정확하게 수신되지 않은 패킷들을 재전송하는 기능 등을 수행한다. 또한 패킷이나 ACK 신호를 혼동하는 것을 피하기 위해 패킷과 ACK 신호에 일련번호 (Sequence number)를 부여하는 기능, 그리고 네트워크 Entity 간 데이터 링크의 설정, 유지, 단락 및 데이터 전송 등을 제어하는 기능 등도 수행한다. 그림 OP6.1의 data link layer를 구성하는 LLC (Logical Link Control), RRC (Radio Resource Control), PDCP (Packet Data Convergence Protocol), RLC (Radio Link Control), MAC (Medium Access Control), MCO (Multi-channel Operation) 부계층 (sub-layer)에 대한 주요 기능은 다음과 같다.
LLC sub-layer는 여러 상이한 하위 MAC 부계층 프로토콜을 사용할 수 있게 하여 망의 토폴로지에 관계없는 통신이 가능토록 한다. RRC sub-layer는 셀 내 모든 단말에게 필요한 셀 시스템 정보 방송, 페이징 메시지의 전달 관리, 단말과 E-UTRAN 간의 RRC 연결 관리 (설정/유지/해제), 이동성 관리 (핸드오버), 핸드오버 시의 eNodeB 간의 UE 컨텍스트 전송, 단말 (UE) 측정 보고와 이에 대한 제어, 단말 (UE) 능력 관리, UE로의 셀 ID의 일시적 부여, 키 관리를 포함한 보안 관리, RRC 메시지 암호화 등의 기능을 수행한다. PDCP sub-layer는 ROHC (Robust Header Compression) 등의 압축 방식을 통한 IP 패킷 헤더 압축 수행할 수 있고, 제어 메시지 및 사용자 데이터의 암호화 (Ciphering), 데이터 무결성 (Data Integrity), 핸드오버 동안에 데이터 손실 방지 등의 기능을 수행한다. RLC sub-layer는 패킷의 분할(Segmentation)/병합(Concatenation)을 통해, 상위 PDCP 계층으로부터의 패킷을 MAC 계층의 허용 크기로 맞추어 데이터 전달하고, 전송 오류 및 재전송 관리를 통한 데이터 전송 신뢰성 향상, 수신 데이터들의 순서 확인, 재정렬, 중복확인 등을 수행한다. MAC sub-layer는 여러 노드들의 공유 매체 사용을 위해, 노드 간 충돌/경합 발생 제어 및 상위계층에서 전달된 패킷을 Physical layer 프레임 포맷에 맞추는 기능, 송신단/수신단 주소의 부여 및 식별 기능, 반송파 검출, 충돌 감지, 물리매체 상의 장해를 검출하는 등의 역할을 수행한다. MCO sub-layer는 복수개의 주파수 채널을 이용하여 다양한 서비스를 효과적으로 제공할 수 있도록 하며, 주요 기능은 특정 주파수 채널에서의 트래픽 가중 (traffic load)를 다른 채널로 효과적으로 분산하여 각 주파수 채널에서의 차량 간 통신 정보의 충돌/경합을 최소화한다.
물리 계층은 ITS 계층 구조상의 최하위 계층으로 노드와 전송매체 사이의 인터페이스를 정의하고, data link 계층 Entity 간의 비트 전송을 위해 변조, 코딩, 전송채널을 물리 채널로의 매핑 등을 수행하며, 반송파 감지 (Carrier Sense), 빈 채널 평가 (CCA: Clear Channel Assessment) 등을 통해 무선매체가 사용 중인지 여부(busy 또는 idle)를 MAC 부계층에게 알리는 기능을 수행한다.
한편, SoftV2X 시스템는 UU 인터페이스를 이용한 V2X 통신으로, SoftV2X 서버가 VRU (Vulnerable Road User) 또는 V2X 차량으로부터 VRU 메시지 또는 PSM (Personal Safety Message)을 수신하고, VRU 메시지 또는 PSM 메시지에 기반하여 주변 VRU 또는 차량의 정보를 전달해주거나, 주변 VRU 또는 차량들이 이동하는 도로 상황 등을 분석하고, 분석된 정보에 기반하여 주변 VRU 또는 차량에게 충돌 경고 등을 알리는 메시지를 전송하는 시스템이다. 여기서, VRU 메시지 또는 PSM 메시지는 UU 인터페이스로 상기 SoftV2X 서버에 전송되는 메시지로, VRU의 위치, 이동 방향, 이동 경로, 속도 등 상기 VRU에 대한 이동성 정보를 포함할 수 있다. 즉, SoftV2X 시스템은 UU 인터페이스를 통해 V2X 통신과 관련된 VRU 및/또는 차량들의 이동성 정보를 수신하고, 네트워크 등 softV2X 서버가 수신된 이동성 정보에 기초하여 VRU 등의 주행 경로, VRU 이동 흐름 등을 제어하는 방식이다. 또는, SoftV2X 시스템은 V2N 통신과 관련하여 구성될 수 있다.
V2X 통신과 관련된 다이렉트 통신 (PC5, DSRC)의 수행하기 어려운 사용자 장비 또는 보행자 장비 (VRU 장치)는 UU 인터페이스에 기반한 SoftV2X 시스템을 통해 주변 차량 또는 VRU에 주행 정보, 이동성 정보를 제공하거나 제공받을 수 있다. 이를 통해, 상기 다이렉트 통신 (PC5, DSRC)의 수행하기 어려운 사용자 장비 또는 보행자 장비 (VRU 장치)는 주변 차량들로부터 안전을 보호 받을 수 있다.
Soft RSU 보조를 위한 부가정보를 제공하는 V2X 장치
도 11 및 도 12는 카메라 등 영상 장치를 포함하는 RSU의 동작을 나타낸 도면이다.
도 11을 참조하면, RSU (200)는 자신의 AI 영상처리 알고리즘을 이용하여 VRU와 차량 (Vehicle)을 분류하고, 분류된 정보를 V2X 메시지(CAM, VAM, CPM, or Etc) 를 통해 주변의 ITS 스테이션 (station)에 전달하게 된다.
여기서, 상기 V2X 메시지는 자동차간 안전을 위해 서로 정의된 정보를 공유한다. 센서 데이터 공유 또한 양 차량간 안전을 위해 필요한 정보를 전달한다. 하지만, 종래의 V2X 메시지는 CCTV, 카메라 등 상기 영상 장치에서 차량 인지에 도움을 주는 정보가 포함되지 않았으며, 이에 따라 RSU (200)가 자신의 카메라 정보만을 이용하여 AI 기반의 영상처리 (예컨대, 영상에서의 VRU, 차량을 식별하는 또는 특정하는 영상 처리)를 수행해야 한다. 이 경우, RSU (200)는 상기 영상 처리에서 각 차량 및 VRU를 식별하는데 오차가 발생 (또는, 측정의 오차가 발생)하거나, 영상 처리에 많은 시간이 소요될 수 있다.
따라서, Smart RSU(200)에서의 영상 처리의 성능 향상 및 속도 증가를 위해서 상기 영상에서 식별될 객체인 차량 및 VRU로부터 영상 처리와 관련된 정보를 추가적으로 제공받을 필요가 있다. 또는, Smart RSU(200)는 자신이 장착된 카메라 정보 및 주변의 ITS 장치 (예컨대, V2X 장치, VRU 장치)들의 정보를 수신 받아 상기 카메라 정보에서의 영상처리의 성능을 높일 필요가 있다.
도 12 (a)를 참조하면, Smart RSU는 직접 통신 (Direct communication)을 통해 영상처리의 보조를 받을 수 있다. 기존 Stand-Alone 기술에서 차량들(110)과 VRU(310, 320)들은 RSU(200)에게 V2X 신호를 통해 영상처리 보조 정보를 추가로 전달할 수 있다. 이 경우, RSU (200)는 수신 커버리지에 위치하는 ITS 스테이션 장치들로부터 부가 정보 (또는, 보조 정보)를 포함하는 V2X 메시지를 수신 받을 수 있다.
또는, 도 12 (b)를 참조하면, Smart RSU는 SoftV2X 서버 (즉, Uu 인터페이스)을 통해 영상처리의 보조를 받을 수 있다. SioftV2X 서버 (400)는 모든 ITS 스테이션들 (110, 120, 200,, 310, 320)로부터 상기 영상 처리의 보조를 위한 부가 정보를 취합 하고, 모든 ITS 스테이션들 (110, 120, 310, 320)의 진행 방향을 고려하여 상기 취합된 부가 정보를 RSU들에게 전달할 수 있다. 이 경우, RSU(200)는 자신의 커버리지와 관계 없이 모든 ITS 스테이션들 (110, 120, 310, 320)에 대한 정보를 수신 받을 수 있으며, 모든 ITS 스테이션들 (110, 120, 310, 320)도 RSU 마다 정보를 상기 보조 정보를 포함하는 V2X 메시지를 전송하지 않아도 된다. 이 경우, ITS 스테이션들 (110, 120, 310, 320)은, 상기 부가 정보를 포함하는 VRU 메시지 또는 V2X 메시지를 최소 한번만 SoftV2X 서버에 전달하면 되므로, 상기 부가 정보의 전달량을 최소화할 수 있다.
상술한 도 12 (a) 및 (b)의 방법들을 지원하기 위해, RSU (200)는 V2X 메시지를 통해 영상 처리를 보조하는 상기 부가 정보를 수신 받아야 한다. 다만, CAM (or PSM)의 경우 차량간 통신을 기반으로 하고 있어 서로간 충돌을 방지하기 위해 최적화된 정보를 전달하므로, 기존 CAM 또는 PSM은 RSU (200)에서 영상 장치 (카메라, CCTV)를 통해 획득한 영상을 처리하기 위한 보조 정보로 사용하기에는 적합하지 않게 된다. 예컨대, V2X 통신에서 V2X 메시지는 차량의 충돌에 영향을 미치지 않는 정보 (차량색, 선루프 유무, 루프박스 유무, 차량 형태)를 포함 또는 공유되지 않는다.
따라서, RSU (200)에서 영상 장치 (카메라, CCTV)의 AI 영상처리를 보조하기 위한 데이터 (상기 부가 정보)를 V2X 통신을 통해 송수신될 필요가 있다. 이를 위해, CAM (또는 PSM)에 새로운 메시지 타입이 정의되며, 이와 같은 메시지 타입에 기초하여 영상 처리를 수행하는 방법들이 필요하다. 한편, 상기 RSU에 장치된 영상 장치 (카메라, CCTV)라고 명시하고 있으나, 이에 한정 되지 않고, 도로 주변이나 보행자 도로 주변에 설치된 RSU 기능을 하는 장치로 영상 장치 (카메라, CCTV) 이외에 차량 이나 보행자를 측정할 수 있는 센서들에 해당 기술이 적용될 수 있다.
또한, AI 네트워크의 성능향상을 위해 ADAS 차량이나 영상 장치 (카메라, CCTV)가 설치된 RSU 에서 스스로 운영 학습 (running Learning)하는 장치가 포함된 경우, V2X 장치는 이를 보조하기 위해 추가 신호를 전송하는 기술도 고려될 수 있다.
이하에서는, 기계 학습 (Machine Learning) 기술이 탑재된 RSU 시스템 및 이를 보조하는 V2X 신호의 운용하는 방법을 먼저 제안한다.
도 13은 V2X에 추가된 학습 보조 정보를 이용하여 학습하는 제1 장치에 관한 도면이다.
V2X 장치 (차량, VRU)들은 자신의 라벨 (Label)을 추가로 V2X 메시지를 통해 전송할 수 있고, 상기 RSU (즉, 제1 장치)는 영상을 기반으로 운영 학습(running Learning) 알고리즘에서 상기 라벨을 정답 정보로 사용되는 지도 (supervisor) 학습이 수행될 수 있다.
구체적으로, 도 13을 참조하면, RSU는 V2X 모듈 (210), 라벨 매칭 블록 (220), 카메라 (110), 사전 처리 블록 (120), AI 분류 블록 (130)을 포함할 수 있다. AI 분류 블록 (130)은 상기 사전처리 블록에서 추출된 특징들로부터 객체를 분류 또는 추출할 수 있다.
AI 분류 블록 (130)은 카메라 (110)으로부터 획득 영상으로부터 차량 (110)과 보행자들 (120, 130)를 분류하여 출력할 수 있다. 다만, 상기 보행자 (Pedestrian)들 중에 일반 보행자와 공사장 인부를 구별하고자 할 필요가 있다. 이 경우, 상기 보행자들과 관련된 VRU 장치들은 V2X 메시지를 통해 보행자 (Pedestrian) 및 공사장 인부 (Roadworker)를 구별하는 라벨을 전송할 수 있다. 이 때, RSU는 V2X 모듈(210)을 통해 객체의 위치 및 대응하는 라벨을 추출할 수 있고, 라벨 매칭 블록 (220)은 카메라에서 추출된 특징 (Feature) 들을 비교하여 라벨 매칭 (Label matching)을 수행할 수 있다. 이후, AI 학습 알고리즘 블록 (230)은 상기 라벨 매칭 블록에서 제공하는 매칭 정보를 통해 보행자와 공사장 인부를 구별하는 AI 네트워크를 새롭게 생성 또는 학습할 수 있고, 이를 AI 분류 블록 (130)으로 제공하여 보행자와 공사장 인부를 구별할 수 있도록 업데이트시킬 수 있다.
이하에서는, 상술한 부가 정보 및/또는 라벨 정보를 포함하는 V2X 메시지 및 SoftV2X 메시지에 대한 메시지 구조를 설명한다.
도 14는 부가 정보 및/또는 라벨 정보를 포함하는 V2X 메시지 및 SoftV2X 메시지에 대한 메시지 구조를 설정하기 위한 관한 도면이다.
도 14 (a)를 참조하면, 상기 V2X 메시지는 extension 방식으로 AISupportConatiner가 추가적으로 포함 또는 구성될 수 있다. 즉, AISupportConatiner는 V2X 메시지 (예컨대, BSM 및/또는 CAM)에 추가로 확장되어 사용될 수 있다. 또는, AISupportContianer는 별도의 extension (Optional field, 또는 Regional extension)이나 새로운 메시지로도 구성될 수 있다. 또는, 도 14 (b)를 참조하면, SoftV2X의 경우, Uu 인터페이스와 관련된 SoftV2X 메시지도 상술한 AIsupportcontainer가 더 포함될 수 있다.
SoftV2X 메시지 또는 V2X 메시지에 추가된 AISupportContainer은 Header, AI 영상처리 보조를 위한 차량의 추가 정보 (또는, 부가 정보)를 담고 있는 StationFeature 필드, StationShape 필드 및 학습 보조를 위한 정보 (라벨 정보)를 담고 있는 AI LeaningAssistance Container 또는 필드가 포함 또는 구성될 수 있다.
하기의 표 5에서 정의된 바와 같이, stationFeature는 차량 (및/또는 VRU)들의 형태를 나타내는 특징을 포함하는 서브 필드 또는 subContainer로써 차량의 색깔을 나타내는 DE_StationColor, 선루프의 유무를 알려주는 DE_Sunloof, 차량 루프에 설치된 구조물을 나타내는 DE_LoofBox, 자전거를 거치유무를 알려주는 DE_bikeRack 으로 구성된다. subContainer는 종래의 V2X 메시지에서 표현하지 못하는 차량 정보를 추가로 제공할 수 있다.
또는, VRU 인 경우, VRU에 맞는 메시지 데이터가 사용될 수 있다. 예컨대, 상기 VRU가 우산을 쓰고 있는 경우, V2X 장치 또는 VRU 장치는 VRU에 대한 정보를 지속적으로 송출하나, 상기 RSU의 영상 장치 (카메라, CCTV)는 사람형태가 아닌 우산 모양에 대한 영상만 획득할 수 있다. 이와 같은 점을 고려하여, 상기 V2X 메시지는 VRU의 상태와 더불어 추가로 영상 장치 (카메라, CCTV)가 영상처리에 이용 가능한 우산 정보를 더 포함할 수 있다. 예컨대, DE_Color 는 우산의 색을, DE_VRUUmbrella 에 우산을 쓰고 가고 있다는 정보를 상기 영상 장치 (카메라, CCTV)에 전달할 수 있다.
Figure PCTKR2021016029-appb-img-000001
한편, 상술한 방식들은 차량 (또는, VRU 장치)는 미리 설정된 자신의 형태 (제조 공정을 통한 초기 형태, 예컨대, 선루프나 색깔 등)에 기반하여 자신의 형태에 대한 부가 정보를 포함하는 V2X 메시지를 생성 및 전송할 수 있다. 그러나, 애프터마켓에서 상기 차량이 추가적인 개조(도색변경, 구조변경)로 상기 형태의 변경이 발생한 경우 상기 차량에 부착된 V2X 장치는 상기 추가적인 개조에 따른 변화를 적절하게 반영하여 부가 정보를 생성할 수 없다 (즉, 추가적인 개조에 따른 형태 변화를 지속적으로 관리하기 불가능 함).
이와 같은 문제점을 고려하여, 상기 V2X 메시지 또는 SoftV2X 메시지는 DF_StatoinShape가 추가적으로 구성 또는 포함될 수 있다. 상기 DF_StatoinShape는 차량의 상태와 특성을 RSU와 연동하여 실시간으로 업데이트될 수 있다. 즉, DF_StatoinShape는 지정된 타입 중에서 선택되는 방식이 아니라 상기 RSU에 포함된 영상 장치 (카메라, CCTV)에서 처리된 정보에 기초하여 설정 또는 구성될 수 있다.
도 15, 도 16 및 도 17은 상기 V2X 메시지 또는 SoftV2X 메시지에 포함된 DF_StatoinShape 및 DF_StatoinShape를 설명하기 위한 도면이다.
도 15를 참조하면, 객체 (차량 또는 VRU)의 형태와 특성은 2차원 전처리 영상 정보 (예컨대, VCM (video coding for machine), 비트맵 (bitmap) 등) 형태로 처리될 수 있다. 즉, 상기 객체 (차량 또는 VRU)의 형태와 특성은 인공 지능에 기반한 영상 처리에 도움이 될 수 있는 전처리 영상 정보 또는 특징 정보의 형태로 처리될 수 있다. 상기 RSU에 포함된 영상 장치 (카메라, CCTV)에서 처리된 영상은 Top-View에 대한 2차원 전처리 영상 정보 (예컨대, VCM , 비트맵 등)으로 표현될 수 있다.
예컨대, 2차원 전처리 영상 정보는 좌측 하단부터 1,1 로 X축과 y 축으로 표현하게 된다. 각각의 픽셀은 xUnit, yUnit 으로 크기로 정의된 비트맵으로써 제공될 수 있다. 또한, 각각의 좌표에 따라 차량의 색, 재질을 나타낼 수 있다. 차량의 방향은 x 축이 1인 부분이 차량의 전방 부분이 된다.
이와 같이 2 차원 전처리 영상 정보 (예컨대, VCM , 비트맵 등)로 객체 (차량 또는 VRU)의 형태와 특성이 표시된 DF_StatoinShape을 통해 차량의 Feature가 표시될 수 있다. DF_StatoinShape는 하기의 표 6과 같이 xUnit, yUnit, confidence, ColorBitmap, TextureBitmap 으로 구성될 수 있다. xUnit, yUnit 은 비트맵의 x, y축의 단위 길이에 대한 정보를 제공할 수 있다. 예컨대, xUnit, yUnit가 1cm 로 설정한 경우, 10으로 값을 보내게 되면 하나의 비트맵의 간격은 10cm가 된다. Confidence는 해당 2차원 전처리 영상 정보 (예컨대, VCM , 비트맵 등)의 신뢰도/정확도를 %로 나타낼 수 있다.
Figure PCTKR2021016029-appb-img-000002
한편, 상기 객체 (차량 또는 VRU)의 형태와 특성의 표현 방법은 Bitmap 형식으로 카메라의 영상처리 상태를 전달하게 되나, Bitmap 방식에만 국한되지 않고 AdditionalData 를 이용하여 카메라에서 인공지능 알고리즘에 따라 적합한 형태의 데이터인 다양한 타입의 2차원 전처리 영상 정보를 공유할 수 있다.
도 16을 참조하면, DF_StatoinShape에서 xUnit과 yUnit가 20cm, 30cm로 설정될 경우, DF_StatoinShape에 대응하는 차량의 사이즈는 2400x3400로 특정될 수 있다. 또한, 각 비트맵 (또는, 카메라에서 인공지능 알고리즘에 따라 적합한 형태의 데이터인 다양한 타입의 2차원 전처리 영상 정보)의 좌표를 따라 색깔과 재질이 표현될 수 있다.
구체적으로, 도 16에서 도시된 비트맵 (또는, 카메라에서 인공지능 알고리즘에 따라 적합한 형태의 데이터인 다양한 타입의 2차원 전처리 영상 정보)과 대응하는 DF_StatoinShape는 하기의 표 7과 같이 표현될 수 있다. xUnit 과 yUnit 은 각각 20cm, 30cm 를 나타내는 값인 20, 30을 설정하며, 신뢰도는 90%를 나타내는 90을 설정한다. 또한, 각각의 Bitmap (또는, 카메라에서 인공지능 알고리즘에 따라 적합한 형태의 데이터인 다양한 타입의 2차원 전처리 영상 정보) 은 1,1부터 순서대로 해당 값이 설정되게 된다.
Figure PCTKR2021016029-appb-img-000003
마지막으로 AI 학습 보조를 위한 필드인 AI Leaning Assistance Container (ALAContainer)는 헤더 및 페이로드 (Payload)로 구성될 수 있다. 헤더는 공통적으로 적용 또는 제공되는 정보가 설정된다. 특히, 헤더에 구성된 MessageType 으로 인해 뒤 따라오는 페이로드의 형식이 변화하게 된다.
도 17을 참조하면, MessageType이 1 인 경우, VRU 메시지 또는 V2X 메시지는 헤더만 존재하는 Non-payload 메시지 구성이며, 특정 신호 또는 정보를 요청하는 신호 (또는, 메시지) 또는 ACK 신호 (또는, 메시지)일 수 있다. MessageType이 2 인 경우, VRU 메시지 또는 V2X 메시지는 라벨 페이로드 형식을 갖는 메시지로, 페이로드에는 스테이션을 구별해주는 라벨 정보가 포함될 수 있다. MessageType이 3 인 경우, VRU 메시지 또는 V2X 메시지는 Feature Payload 모드의 메시지로써, 페이로드에는 영상처리 학습을 위한 사진 정보 (Feature)가 포함될 수 있다. MessageType이 4 인 경우, VRU 메시지 또는 V2X 메시지는 URL Payload모드의 메시지로써, 페이로드로 전송되기 어려운 크기가 큰 정보를 URL 을 통해 우회 전송을 할 때 사용될 수 있다. 마지막으로 MessageType이 5 인 경우, VRU 메시지 또는 V2X 메시지는 AI Payload 모드의 메시지로 페이로드에는 업데이트된 영상처리 네트워크에 대한 정보를 포함할 수 있다.
이하에서는, 상술한 바와 같은 메시지 구조에 기반하여 영상 장치 (카메라, CCTV)에서 획득한 영상에서 객체 인식을 위한 부가 정보를 포함하는 V2X 메시지를 자세히 설명한다.
도 18 및 도 19는 VRU 및 RSU 간의 협력을 통해 부가 정보를 생성하고 운용하는 방법을 설명하기 위한 도면이다.
스테이션 (차량 또는 VRU 장치)은 미리 설정된 자신의 정보 (외관 또는 특성과 관련된 정보)를 기반으로 부가 정보를 미리 구성할 수 있으나, 구조 변경 등으로 인해 상기 자신의 정보가 변경될 수 있다. 이와 같은 구조 변경 등에 따른 자신의 정보의 보정을 위한 영상 장치 (카메라, CCTV)를 포한하는 RSU 및 스테이션 (VRU 장치 또는 차량) 간 V2X 통신 방법을 설명한다.
보행자에 대한 VRU 장치 (110)는 V2X 장치를 가지고 있으며 RSU (210, 220)를 보조 위해 부가 정보를 보내는 기능을 가진 장치이다. 도로 주변에서는 카메라를 장착한 RSU (210, 220)가 설치되어 있다. VRU 장치(110)는 상기 보행자가 우산을 쓴 상태에서 초기 RSU (210)로 V2X 신호를 전송할 수 있다. 이 경우, 초기 RSU (210)는 상기 보행자의 우산의 상단 모양에 대한 영상을 획득할 수 있다. 초기 RSU (210)는 VRU 장치 (110)의 V2X 메시지 (위치와 이동 방향에 대한 정보를 포함하는)와 자신이 분석한 영상을 기반으로 VRU 장치 (110)에게 상기 보행자가 우산을 쓰고 있다는 DF_StationFeature값 및 자신이 분석한 영상 자료인 DF_StationShape을 세팅할 수 있다. 초기 RSU (210)는 상기 셋팅된 VRU Feature (또는 상기 VRU 장치의 사용자인 보행자에 대한 Feature)에 대한 정보를 VRU 장치 (110)뿐만 아니라 주변 차량(310)에 전송할 수 있다. 상기 셋팅된 VRU Feature에 대한 정보에 기초하여 VRU 장치 (110) 및 차량 (310)은 VRU 장치 (110)에 대응하는 보행자가 우산을 쓰고 있다는 것을 인식할 수 있다.
이후, RSU 협력으로 생성된 VRU 특징 정보 (또는 상기 VRU 장치의 사용자인 보행자에 대한 특징 정보)를 가지고 있는 VRU 장치(110)은 주변의 RSU와 차량에게 우산을 쓰고 있다는 자신의 상태 정보를 전달할 수 있다. 이를 통해, 다른 RSU (220)의 영상 처리에 도움을 줄 뿐만 아니라 차량에게도 ADAS와 같은 영상 처리에 도움을 줄 수 있다.
도 19 (a)를 참조하면, Station feature generation 구간에서 스테이션(VRU 장치) 및 RSU 간의 메시지 송수신할 수 있다. 구체적으로, VRU 장치는 V2X 메시지 (VAM, or PSM)를 상기 RSU에게 전송한다. 다음으로, 초기 RSU(210)은 카메라를 이용한 영상처리를 통해 VRU 장치를 인지하게 되고, 상기 인지된 정보를 이용하여 CPM을 전송할 수 있다. 이를 수신 받은 VRU 장치는 자신의 부가 정보를 생성하고자 하는 경우에 상기 초기 RSU에 부가 정보를 요청하는 메시지 (VAM)를 전송할 수 있다.
다음으로, RSU는 수신 받은 V2X 정보와 영상처리를 통해 획득한 VRU 장치와 매칭되는 경우에 상기 영상 처리로부터 획득한 일부 정보를 상기 부가 정보로써 상기 VRU 장치에 전달할 수 있다. VRU 장치는 상기 수신된 부가 정보를 통해 V2X 메시지 (또는, VAM 확장 메시지)를 생성하고, 생성된 V2X 메시지 (또는, VAM 확장 메시지)를 주변에 전송할 수 있다. 또한, 상기 초기 RSU는 추후 획득한 영상으로부터 상기 VRU 장치에 대한 특징을 추가적으로 측정 또는 획득하고, 상기 추가적으로 획득한 상기 VRU 장치에 대한 특징과 상기 VAM 확장 메시지에 포함된 VRU 특징을 비교하여, 상기 V2X 메시지에 포함된 VRU 특징이 정확한지 여부를 검증할 수 있다.
도 19 (b)를 참조하면, Station feature operation 구간에서 스테이션 (VRU 장치 또는 차량) 및 RSU 간의 메시지가 송수신될 수 있다. 상기 스테이션은 Station feature generation 구간에서 회득한 부가 정보에 기반하여 주기적으로 V2X 메시지 (또는, VAM 메시지)를 전송할 수 있다. 상기 VRU 장치는 상기 V2X 메시지 (또는, VAM 메시지)을 통해 자신 외관이나 이동 패턴 등과 관련된 부가 정보를 상기 RSU 및 V2X 차량에게 전달할 수 있다. 이를 수신 받은 RSU는 상기 V2X 메시지 (또는, VAM 메시지)에 포함된 상기 부가 정보를 이용하여 영상 처리 알고리즘의 성능을 높일 수 있다. 이후, 상기 RSU는 상기 영상 처리 알고리즘을 통해 인식된 객체에 대한 부가 정보를 포함하는 CPM을 전송할 수 있다. 상기 VRU 장치는 상기 CPM에 포함된 객체와 자신을 쉽게 매칭시킬 수 있고, 매칭된 객체에 대한 정보에 기초하여 자신의 위치를 보정할 수 있다. 또는, 상기 VRU 장치는 매칭된 객체에 대한 정보에 기초하여 자신의 부가 정보를 업데이트할 수 있다. 상기 실시예 에서는 설명을 위해 VAM, CPM 등을 이용하여 설명 하였으나, 제안한 AISupportContainer DF는 다양한 Message 에 사용 될 수 있다. (e.g. BSM, PSM, CAM, DENM, CPM, VAM, 쪋)
도 20 및 도 21은 SoftV2X 서버를 통해 VRU와 차량 간에 상기 부가 정보를 생성 및 관리하는 방법을 설명하기 위한 도면이다.
도 20을 참조하면, 차량 (110) 또는 VRU 장치는 V2X 장치를 구비하며 RSU의 영상 장치 (카메라 또는 CCTV)의 보조를 위한 부가 정보를 포함하는 V2X 메시지 및/또는 VRU 메시지를 SoftV2X 서버(310)와 통신을 통해 전송할 수 있다. 도로 주변에서는 Smart RSU (210, 220)가 설치되어 있다. 우선 상기 영상 장치로부터 획득한 영상에서의 객체와 상기 차량 (110)을 확실히 매칭 가능할 정도로 주변의 차량들이 적게 존재하는 경우, SmartRSU (210)는 수신된 V2X 메시지를 전송한 차량 (110)과 영상에서 감지된 객체 간의 매칭을 수행하고, 매칭 결과 및 영상에 기초하여 상기 매칭된 객체에 대한 부가정보를 생성할 수 있다. 상기 생성된 부가 정보 (DF_StaionFeature, DF_스테이션Shape 값)는 차량 (110)으로 다운로드될 수 있다.
차량(110)은 상기 다운로드된 부가 정보에 기반하여 다음 RSU (220)에 상기 부가 정보를 포함하는 V2X 메시지를 전달할 수 있다. 이 경우, RSU(220)는 상기 V2X 메시지에 포함된 부가 정보에 기반하여 상기 영상 처리를 수행할 수 있고, 차량 (110)은 RSU에서의 영상 처리 결과에 기초하여 위치 보정 및 안전 서비스를 제공받을 수 있다. 추가로 앞에서 설명한 SmartRSU 의 매칭 작업과 같은 동작은 말단인 SoftRSU (210, 220) 에서 처리 할 수 있으며, SoftV2X 서버(310) 에서 중앙 처리 될 수 있다.
도 21 (a)를 참조하면, 차량 (또는, ITS 스테이션, VRU 장치 등) 및 RSU는 Station feature generation을 위한 동작을 수행할 수 있다.
구체적으로, 상기 차량은 V2X 메시지(CAM 또는 BSM)를 전송할 수 있다. 상기 RSU는 영상 장치 (카메라, CCTV)를 이용한 영상 처리를 통해 상기 차량을 인지하게 되고, 영상 처리를 통해 인지된 정보를 이용하여 CPM을 전송할 수 있다. 이를 수신 받은 상기 차량은, 상기 인지된 정보에 대응하는 자신의 부가 정보를 생성할 필요가 있는 경우, 상기 RSU에 부가 정보의 전송을 요청할 수 있다. 상기 RSU는 상기 요청에 응답하여 상기 차량에 매칭되는 영상에서의 객체에 기반하여 상기 부가 정보를 생성하여 상기 차량에게 전달할 수 있다. 이 때, 상기 차량은 상기 보조 정보에 기초하여 V2X 메시지 (또는, CAM 확장 메시지, BSM 확장 메시지)를 생성할 수 있고, 상기 V2X 메지지를 주변 차량들 및/또는 상기 RSU에 전송하게 된다. 상기 RSU는 상기 확장 메시지에 포함된 보조 정보와 상기 보조 정보 생성 이후에 획득한 상기 차량에 대한 영상을 비교 검증하여 상기 확장 메시지에 포함된 보조 정보가 제대로 포함되었지 여부를 확인할 수 있다.
다음으로, 도 21 (b)를 참조하면, 차량 (또는, ITS 스테이션, VRU 장치 등) 및 RSU는 Station feature operation을 위한 동작들을 수행할 수 있다. 상기 차량은 Station feature generation의 동작을 통해 획득한 상기 부가 정보를 포함하는 V2X 메시지 (또는, BSM 또는 CAM)를 주기적으로 전송할 수 있다. 상기 차량은 V2X 메시지를 통해 주변 RSU에게 부가 정보를 제공할 수 있다. 상기 주변 RSU는 상기 차량의 V2X 메시지로부터 상기 부가 정보를 획득하거나 다른 RSU로부터 상기 차량에 대한 부가 정보를 전달 받을 수도 있다. 상기 주변 RSU는 상기 부가 정보 및 상기 차량에 대한 이동성 정보 (상기 V2X 메시지에 포함된)에 기초하여 영상처리 알고리즘의 성능을 높일 수 있다. 이후, 상기 주변 RSU는 상기 영상처리 알고리즘에 기초하여 상기 차량과 매칭되는 객체에 기반하여 상기 차량에 대한 특징 및/또는 위치 보정 값을 포함하는 메시지 (또는, 상기 감지된 객체들에 대한 CPM)을 전송할 수 있다. 상기 차량은 상기 주변 RSU에서 전송한 상기 메시지에 기반하여 자신의 위치를 보정하거나 부가 정보를 업데이트할 수 있다.
상술한 바와 같이, 현재 V2X 안전을 위해 생성한 메시지들은 최근 스마트 CCTV 장치를 장착한 RSU와 동작하는데 도움을 주기 위한 정보가 부족한바, 상기 부가 정보를 포함하는 V2X 메시지를 제안하였다. 상기 제안된 V2X 메시지에 기반하여 상기 영상 장치 (카메라, CCTV)가 장착된 RSU는 영상 처리의 성능 및 처리 속도를 크게 향상시킬 수 있고, 정확한 ITS 운용이 가능할 수 있다.
RSU 장치의 학습의 보조
이하에서는, V2X 부가 정보 전송을 통해 AI 학습 보조를 해주는 방법으로 상기 라벨 정보 (또는, 보조 정보)를 전송하는 방법 및 학습 서버의 위치에 따라 다양한 운용 방법들을 제안한다.
V2X 전송 방법은 DSRC나 PC-5와 같이 직접 통신 방식과, 종래의 셀룰러 (Cellular) 망의 Uu Interface 를 통해 수행될 수 있다. 뿐만 아니라, AI 영상처리를 위해 각각 학습하는 방법 및 네트워크 뒤에서 총괄적으로 학습하는 방법이 고려될 수 있다.
도 22 내지 도 25는 다양한 시스템 구조에 기반하여 RSU가 V2X 메시지에 기반하여 학습하는 방법을 설명하기 위한 도면이다.
도 22 (a)를 참조하면, AI 영상처리를 하는 장치인 RSU (200)는 각각의 스테이션 (차량; 110, Pedestrian; 120)과 제1 시스템 구조에 기반하여 학습이 수행될 수 있다. 여기서, 상기 제1 시스템 구조 (system Architecture)는 V2X 연결을 DSRC 나 PC-5를 통해을 이용하며, 영상 처리를 수행하는 장치가 직접 학습을 하는 구조이다. 상기 AI 영상처리를 하는 장치는 영상 장치를 포함하는 RSU 및/또는 학습 기능을 가진 ADAS 장치를 가진 차량일 수 있다.
도 22 (b)를 참조하면, 스테이션 (VRU or 차량)은 종래에 V2X 메시지 (CAM, VAM)를 주기적으로 전송할 수 있다. AI 영상처리를 하는 장치 (또는, 학습 기능을 가진 장치인 RSU, ADAS 차량)는 라벨 요청 (Label request) 메시지를 상기 스테이션에게 전송할 수 있다. 이 경우, 상기 스테이션은 학습을 위한 라벨 정보를 추가적으로 포함하는 V2X 메시지를 전송할 수 있다.
다음으로, 상기 장치는 상기 V2X 메시지에 포함된 라벨 정보와 객체에 대한 특징 값을 매칭시켜 학습을 수행하여 새로운 분류 알고리즘 (Classification algorithm)을 업데이트할 수 있다. 다음으로, 상기 장치는 상기 새로운 알고리즘을 이용하여 향상된 영상처리 알고리즘을 통한 V2X 서비스를 주변의 스테이션들에게 제공할 수 있다.
또는, 도 23 (a)를 참조하면, 제2 시스템 구조에 기반하여 상기 장치의 학습이 수행할 수 있다. 여기서, 상기 제2 시스템 구조는 V2X 연결인 다이렉트 (Direct) 통신을 통해 영상 처리를 하는 장치가 연결된 서버(410)에서 학습을 하는 구조이다.
구체적으로, 각각의 스테이션 (차량; 110, Pedestrian; 120)은 DSRC 나 PC-5를 통해 V2X 메시지 등을 영상 처리 장치(200)에 전송하며, 영상 처리 장치(200)는 상기 V2X 메시지에 포함된 보조 정보 (또는, 라벨 정보) 및 사전 처리한 특징 (Feature) 정보를 AI 서버(410)로 전달할 수 있다. AI 서버(410)는 상기 전달된 정보에 기초하여 학습을 수행하여 AI 알고리즘을 새롭게 업데이트할 수 있고, 상기 업데이트된 AI 알고리즘을 장치 또는 영상 처리 장치(200)에 전달할 수 있다. 영상처리 장치(200)는 상기 업데이트된 AI 알고리즘에 기반하여 영상 처리를 수행할 수 있다. 상술한 바와 같이, 영상처리 장치(200)는 RSU 또는 학습 기능을 가진 ADAS 장치를 포함하는 차량일 수 있다.
구체적으로, 도 23 (b)를 참조하면, 스테이션 (VRU or 차량)은 종래에 V2X 메시지 (CAM, VAM) 을 주기적으로 전송할 수 있다. 영상 처리 장치 (RSU, ADAS 차량)는 학습 기능을 가진 AI 서버 (server)로부터 AI 업데이트 요청 메시지가 수신되면, 라벨 요청 (Label request) 메시지를 상기 스테이션에게 전송할 수 있다. 이후 스테이션은 자신과 관련된 라벨 정보를 자신의 메시지에 더 포함시켜 전송할 수 있다. 영상처리 장치들(RSU, ADAS 차량)은 상기 라벨 정보 및 객체를 매칭시키고, 매칭되는 라벨 정보 및 객체에 대한 특징을 상기 AI 서버에 전달할 수 있다. 다음으로, AI 서버는 상기 매칭되는 라벨 정보 및 객체에 대한 특징에 대한 정보에 기반하여 학습을 수행할 수 있고, 상기 학습에 기반하여 새로운 분류 알고리즘 (Classification algorithm)을 업데이트할 수 있다. 이후 새로운 알고리즘은 상기 영상처리 장치들에 전달될 수 있다.
또는, 도 24 (a)를 참조하면, 제3 시스템 구조에 기반하여 상기 장치의 학습이 수행될 수 있다. 상기 제3 시스템 구조는 V2X 연결과 관련된 동작을 Uu interface를 통해 수행하고, 상기 영상 처리 장치가 직접 학습하는 구조일 수 있다. 구체적으로, 상기 제3 시스템 구조에서 각각의 스테이션 (차량; 110, Pedestrian; 120) 은 Uu 인터페이스를 이용하여 기지국(320) 및 SoftV2X 서버(310)를 통해 AI 영상처리를 하는 장치인 RSU (200)와 V2X 통신을 수행할 수 있다. 상기 장치는 RSU 외에도 학습 기능을 가진 ADAS 장치를 가진 차량일 수 있다.
구체적으로, 도 24 (b)를 참조하면, 상기 스테이션(VRU or 차량)은 V2X 메시지 (CAM, VAM)을 Uu 인터페이스를 통해 주기적으로 전송할 수 있다. SoftV2X 서버는 상기 V2X 메시지를 수신 받고, 수신된 상기 V2X 메시지를 주변 스테이션에 전송할 수 있다. 학습 기능을 가진 장치 (RSU, ADAS 차량)는 학습을 위한 라벨 정보의 전송을 요청하는 라벨 요청 메시지를 SoftV2X 서버에 전송할 수 있다. SoftV2X 서버는 상기 스테이션에 라벨 요청 메시지를 전송할 수 있다. 이후 스테이션들은 상기 라벨 정보를 포함하는 자신들의 메시지를 전송할 수 있다. 이를 수신한 SoftV2X 장치는 라벨 정보를 취합할 수 있다. 상기 SoftV2X 장치는 주변 스테이션들에게는 오리지널 메시지 (예컨대, 라벨 정보가 제외된 기존 V2X 메시지)만을 전송하고, 학습을 진행할 영상처리 장치에게는 라벨 정보를 포함하는 메시지를 전송할 수 있다. 상기 영상 처리장치는 상기 전달된 라벨 정보에 대응하는 객체 (획득한 영상에서의 객체)를 매칭시키고, 매칭된 라벨 및 객체에 대한 특징 값에 기반하여 학습하여 새로운 분류 알고리즘 (Classification algorithm)을 업데이트할 수 있다. 이후, 상기 영상 처리장치는 업데이트된 상기 분류 알고리즘을 이용하여 주변의 스테이션들에게 V2X 서비스를 제공할 수 있다.
또는, 도 25 (a)를 참조하면, 제4 시스템 구조에 기반하여 상기 장치의 학습이 수행될 수 있다. 상기 제4 시스템 구조는 셀룰러 통신의 Uu 인터페이스를 이용하여 V2X 연결이 수행되고, 영상처리를 하는 영상처리 장치와 통신이 수행되며, 영상처리 장치와 연결된 AI 서버에서 학습과 관련된 정보를 취합하여 학습하는 구조이다. 구체적으로, 각각의 스테이션 (차량; 110, Pedestrian; 120)은 Uu 인터페이스를 이용하여 기지국(320)과 SoftV2X 서버(310)를 통해 영상처리 장치인 RSU (200)과 V2X 통신을 수행할 수 있다. 상기 영상처리 장치는 RSU 이외에 학습 기능을 가진 ADAS 장치를 가진 차량 이 될 수 있다. 이후, SoftV2X 서버는 학습을 수행하는 AI 서버에 학습과 관련 정보 (Feature, Label)를 전달하여 상기 AI 서버의 학습을 보조하는 기능을 수행할 수 있다.
구체적으로, 도 25 (b)를 참조하면, 스테이션(VRU or 차량)은 V2X 메시지 (CAM, VAM)을 주기적으로 전송할 수 있다. SoftV2X 서버는 상기 V2X 메시지에 기반하여 주변 스테이션들에 상기 V2X 메시지에 대응하는 메시지를 전달할 수 있다. 만약 학습 기능을 가진 AI 서버에서 SoftV2X 서버로 라벨 요청 메시지를 전송할 경우, SoftV2X 서버는 스테이션에 라벨 요청 메시지를 전송하고, 상기 RSU (즉, 영상처리 장치)에게 특징 요청 메시지를 전송할 수 있다. 이후, 스테이션들은 라벨 정보를 더 포함하는 V2X 메시지를 상기 SoftV2X 서버에 전송할 수 있고, 상기 RSU는 획득한 영상으로부터 추출한 객체 정보 및 이에 대응하는 특징 정보를 상기 SoftV2X 서버로 전송할 수 있다. 이 경우, 상기 SoftV2X 장치는 취합된 라벨 정보 및 특징 정보에 기반하여 상기 라벨 정보에 매칭되는 객체를 특정하고, 상기 매칭된 객체 및 라벨 정보에 대한 값을 AI 서버에 전달할 수 있다. 이후 상기 AI 서버는 다양한 특징 및 라벨에 대한 정보에 기반하여 영상처리 알고리즘을 학습 시킨 후, 업데이트된 AI Networks 정보를 SoftV2X 서버를 통해 상기 RSU에 전달할 수 있다. 이후 RSU는 향상된 영상처리 알고리즘을 이용하여 주변의 스테이션들에게 V2X 서비스를 제공할 수 있다.
Object matching & 보정 기술
도 26은 V2X 메시지에 포함된 V2X 장치의 위치 정보와 카메라를 획득한 영상에서의 객체 간을 매칭시키기는 방법을 설명하기 위한 도면이다.
상술한 바와 같이, AI 인지 보조 및 학습 보조를 위해 V2X 장치와 카메라를 통해 감지된 객체 (Object)를 매칭시키는 동작이 필요하다. 즉, AI 인지 보조 및 학습 보조를 위해 상기 V2X 장치에서 전송한 V2X 메시지에 대응하는 영상에서의 객체를 매칭시키는 동작이 필요하다. 이하에서는, 상기 V2X 메시지에서의 V1의 위치와 영상에서의 객체 간을 매칭시키는 방법을 자세히 설명한다.
도 26 (a)을 참조하면, V2X 장치 (V1)는 GPS의 오차로 인하여 오차가 포함된 V1에 대한 위치 정보를 포함하는 V2X 메시지를 전송할 수 있다. 상기 RSU는 수신된 위치 정보와 자신이 측정한 객체 위치 (RV1, RV2, RV3)를 비교할 수 있다. 즉, 상기 RSU는 수신 받은 V1 위치를 기반으로 측정된 RV들 간 거리를 산출할 수 있다. 이와 같이, 상기 RSU는 영상에서의 객체들과 상기 V2X 메시지로부터 획득 위치 정보에 기반하여 수학식 1와 같이 Dis 값을 오름 차순으로 산출할 수 있다. 구체적으로, 상기 RSU는 가장 짧은 거리를 가지는 RV1과 V1 간 거리를 산출할 수 있다. 상기 산출된 값이 특정 임계값 이하 인 경우에 V2X 차량과 측정한 차량이 같은 차랑인 것으로 매칭시킬 수 있다.
Figure PCTKR2021016029-appb-img-000004
여기서, 상기 DisV1RV1은 RV1과 V1 간 거리이고, 상기 Dismax는 상기 특정 임계값이며, 상기 α는 상기 V1의 위치 정보와 관련된 GPS 신뢰도에 기반하여 결정된 가중치이다.
구체적으로, 상기 특정 임계 값은 카메라의 측정 신뢰도를 기반으로 미리 설정되며, 상기 가중치 (α)는 상기 V2X 메시지에서의 V1의 위치 정보와 관련된 (또는, 상기 V2X 메시지로부터 수신된) GPS의 신뢰도 값에 기반하여 정의될 수 있다.
다음으로, 주변에 가까운 객체가 존재하는지 추가적으로 비교하여 보다 정확한 객체 매칭을 수행할 수 있다. 이를 위해, 상기 RSU는 하기의 수학식 2와 같이 최소의 DisV1RV1 값과 다음으로 작은 DisV1RV2 값을 비교할 수 있다. 상기 특정 weight(β) 비율보다 작을 경우, 상기 RSU는 상기 V1에 대응하는 객체가 상기 RV1인 것으로 최종적으로 객체 매칭을 수행할 수 있다.
Figure PCTKR2021016029-appb-img-000005
추가로 상기 RSU는 상기 매칭 결과에 기초하여 상기 V2X 장치에서의 위치 정보 (즉, V1 위치 정보)를 보정하기 위한 값을 산출할 수 있다. 즉, 상기 GPS로부터 획득한 V1 위치는 GPS 장치의 신뢰도 등에 의해 오차 값이 포함될 수 있고, 상기 오차 값은 RSU (또는, 지상국)을 통해 보정 또는 정정될 수 있다.
또는, 상기 RSU는 상기 V2X 메시지에 포함된 부가 정보에 기초하여 객체 매칭 및 위치 보정을 수행할 수 있다. 도 26 (b)를 참조하면, 상술한 바와 같이 상기 RSU는 V1에 대응하는 특징 정보 (즉, 보조 정보를 통해 획득한)에 기반하여 상기 V1에 대응하는 영상에서의 객체를 매칭하고, 상기 V1 위치 정보를 보정할 수 있다. V1 차량은 왼쪽 비트맵과 같이 빨간색 선루프를 가진 차량의 형태로 표현될 수 있다. V1 차량이 상기 RSU의 영상 장치 (또는, CCTV) 아래로 주행할 경우, 상기 RSU는 자신이 획득한 영상에서 객체들 (RV1 및 RV2)에 대한 객체 정보 (위치, feature)를 추출할 수 있다.
이 경우, 상기 V1 차량은 위치 오차로 인해 RV1 차량에 가까이 있을 수 있다. 상기 수학식 1 및 2에 의해서만 객체 매칭이 수행될 경우, 상기 V1과 대응하는 객체로 RV1이 매칭될 수 있다. 그러나, 상술한 바와 같이 RSU가 상기 V1의 특성 (예컨대, 외관)과 관련된 보조 정보를 추가적으로 활용하여 상기 객체 매칭을 수행할 수 있으므로, 상기 RSU는 상기 보조 정보에 따른 V1의 특징과 대응하는 객체로 RV2를 특정 또는 매칭할 수 있다. 이 경우, 상기 RSU는 상기 V1의 위치와 상기 RV1 간의 위치에 기반하여 상기 도 26 (b)에 도시된 수학식을 통해 상기 V1의 위치를 보정하기 위한 값을 산출할 수 있다.
이와 같이, 영상 장치 (또는, 카메라, CCTV)로부터 취합된 V2X 정보에 대한 영상 처리를 수행할 경우, 상기 RSU는 상기 보조 정보를 추가적으로 이용하여 V2X 메시지를 전송한 차량에 대응하는 상기 영상에서의 객체를 보다 정확하게 매칭시킬 수 있고, 이와 같은 매칭 결과를 통해 상기 차량의 위치 정보의 오차를 보다 정확하게 보정할 수 있다. 또한, 상기 RSU 또는 영상 처리 장치는 상기 보조 정보에 기반하여 보다 정확한 영상 처리 동작을 수행할 수 있다. 상술한 기술 (예컨대, CCTV 등 영상 처리에 도움이 되는 정보를 V2X 메시지를 통해 전달하는 방식)은 통해 영상처리 성능을 높이는 방향으로 사용할 수 있으며, 영상처리의 속도 또한 크게 증가시킬 수 있다.
도 27은 학습된 제1 장치가 제1 V2X 메시지에 기반하여 영상 처리를 수행하는 방법을 설명하기 위한 도면이다.
여기서, 상기 영상 처리를 수행하는 방법은 도 11 내지 도 26에서 설명한 바와 같은 V2X 메시지에 기반하여 영상 처리를 수행하는 방법일 수 있다.
도 27을 참조하면, 상기 제1 장치는 상기 제1 장치에 포함된 카메라나 CCTV 등 영상 장치에 기반하여 특정 영역 (예컨대, 촬영 영역, 감지 영역)에 대한 제1 영상을 획득할 수 있다 (S201). 상기 특정 영역은 상기 제1 장치가 장착된 도로나 도로에 인접한 지역일 수 있다. 즉, 상기 제1 장치는 도로 및 도로에 인접한 영역인 특정 영역에서 차량이나 VRU 장치들에 대한 영상을 획득할 수 있다. 여기서, 상기 제1 장치는 신호등이나 도로 시설에 부착된 RSU이거나 ADAS 장치를 포함하는 차량일 수 있다.
또는, 상기 제1 장치는 상기 제1 영상으로부터 상기 차량이나 VRU 장치에 대응하는 객체들을 특정하거나, 상기 객체들에 대한 영상에서의 특징을 추출할 수 있다. 상기 제1 장치는 상기 특정된 객체들 및/또는 추출된 특징에 기반하여 상기 도로 및 도로 주변에서의 차량 및 VRU 장치들의 움직임을 감지하거나 추적할 수 있다.
다음으로, 상기 제1 장치는 제2 장치로부터 제1 V2X 메시지를 수신 받을 수 있다 (S203). 상기 제2 장치는 V2X 통신을 수행하는 차량 및/또는 VRU 장치일 수 있다. 상기 제2 장치는 상기 제1 V2X 메시지를 주기적으로 전송할 수 있다. 상기 제1 V2X 메시지는 종래와 같이 상기 제2 장치에 대한 위치 및/또는 이동성 정보를 포함할 수 있다. 또한, 상기 제1 V2X 메시지는 CAM (Cooperative Awareness Message), VAM (Vulnerable road user awareness message), CPM (Collective Perception Message), BSM (Basic Safety Message), PSM (Pedestrian Safety message)일 수 있다.
도 11 내지 도 26에서 설명한 바와 같이, 상기 제1 V2X 메시지는 상기 제1 장치에서 영상 처리를 보조하기 위한 부가 정보를 더 포함할 수 있다. 상기 부가 정보는 상기 제1 장치가 상기 영상 장치로부터 획득한 제1 영상에서 상기 제2 장치를 식별하는데 도움이 되는 상기 제2 장치의 특성 정보 (예컨대, 외관 정보 등)를 포함할 수 있다. 상기 특성 정보는 상기 제2 장치의 형상, 형태, 색상, 재질, 루프탑 등 장착물, 이동 패턴, 주행 방법 등에 대한 정보일 수 있다. 또는, 상기 특성 정보는 상기 제2 장치의 특정 방향에서 보이는 외관에 대한 형상, 형태, 색상, 재질, 장착물에 대한 외관 및/또는 이동 패턴, 주행 방법일 수 있다. 예컨대, 상기 특성 정보는 상기 제2 장치의 위쪽에서 보이는 외관 및/또는 이동 패턴, 주행 방법에 대한 정보일 수 있다. 또는, 상기 부가 정보는 상기 제1 V2X 메시지의 AISupportContainer에 포함될 수 있다.
또는, 상기 부가 정보는 상기 제2 장치의 외관 등의 특징을 표시하는 2차원 전처리 영상 정보 (예컨대, 인공 지능을 이용한 영상 처리에 필요한 전처리 영상 정보, 비트맵)을 포함할 수 있다. 상기 2차원 전처리 영상 정보는 도 15 및 도 16에 참조하여 설명한 바와 같이 상기 제2 장치의 특성과 관련된 정보를 표시할 수 있다.
다음으로, 상기 제1 장치는 상기 제1 V2X 메시지에 포함된 부가 정보에 기초하여 상기 제1 영상에서 상기 제2 장치에 대응하는 객체를 매칭할 수 있다 (S205). 구체적으로, 상기 제1 장치는 상기 부가 정보에 포함된 제2 장치의 특성과 상기 제2 영상에서 추출된 객체들의 특성을 비교하여 상기 객체들 중 상기 제2 장치와 대응하는 특성을 갖는 객체를 매칭시킬 수 있다.
예컨대, 상기 제1 장치는 상기 제1 영상에 대한 사전 처리를 통해 도 15 및 도 16에서 설명한 비트맵과 같은 객체들의 특징을 추출할 수 있다. 상기 제1 장치는 상기 추출된 객체들의 특징과 상기 부가 정보에 포함된 특징을 비교하여 상기 부가 정보에 포함된 특징 (즉, 상기 부가 정보에 포함된 비트맵에 따른 표시된 제2 장치의 외관 특징)과 유사한 특징을 갖는 객체를 상기 제2 장치에 대응하는 객체로 매칭시킬 수 있다.
또는, 상기 제1 장치는 상기 매칭 결과에 기초하여 상기 제2 장치에 대한 위치 보정 값을 산출할 수 있다. 상기 제1 장치는 상기 매칭을 통해 상기 제2 장치에 대한 객체를 특정할 수 있다. 상기 제1 장치는 특정된 객체의 위치와 상기 제1 V2X 메시지에 포함된 위치 정보를 비교하여 상기 제2 장치의 위치를 보정하기 위한 보정 값을 산출할 수 있다. 상기 보정 값은 도 26을 참조하여 설명한 바에 따라 산출될 수 있다. 상기 제1 장치는 상기 산출된 보정 값을 포함하는 메시지를 상기 제2 장치에 전송할 수 있고, 상기 제2 장치는 상기 메시지에 포함된 보정 값에 기초하여 자신의 GPS 등을 보정하여 측정된 위치 값을 조정할 수 있다.
또는, 상기 제1 장치는 상기 부가 정보에 의해 매칭된 객체의 제2 특징과 상기 부가 정보에 따른 상기 제2 장치의 제1 특징 간에 일부 차이가 존재한지 여부를 판단할 수 있다. 상기 제1 장치는 상기 제1 특징과 상기 제2 특징 간에 상이한 부분이 있는 경우 상기 상이한 부분에 대한 보정 정보를 획득하고, 상기 획득한 보정 정보를 상기 제2 장치에 전송하여 상기 제2 장치의 부가 정보의 정정 또는 업데이트를 요청할 수 있다.
또는, 상기 제1 장치는 도 13, 도 22 내지 도 25에서 도시된 바와 같이 학습을 수행할 수 있다. 구체적으로, 상기 제1 장치는 상기 주변 차량 또는 VRU (이하, 제3 장치)에게 지도 학습을 위한 라벨 정보를 포함하는 상기 제2 V2X 메시지를 전송하도록 라벨 요청 메시지를 전송할 수 있다. 상기 제1 장치는 주변 차량 또는 VRU로부터 상기 제2 V2X 메시지를 전송한 차량 또는 VRU에 대한 라벨 정보를 포함하는 제2 V2X 메시지를 수신 받을 수 있다. 또한, 상기 제1 장치는 상기 제2 V2X 메시지를 전송한 제3 장치와 관련된 영상인 제2 영상을 획득할 수 있다. 상기 제1 장치는 상기 제2 V2X 메시지에 포함된 라벨 정보를 포함시킬 수 있다. 예컨대, 상기 제1 장치는 상기 라벨 정보 및 상기 제2 영상에서 상기 제3 장치에 대응하는 객체의 특징에 기반하여 분류 모델을 학습시킬 수 있다.
도 28은 영상 처리를 보조할 수 있는 제1 V2X 메시지를 제2 장치가 전송하는 방법을 설명하기 위한 도면이다.
여기서, 상기 제1 V2X 메시지를 전송하는 방법은 도 11 내지 도 26에서 설명한 바와 같은 보조 정보, 부가 정보를 포함하는 제1 V2X 메시지를 전송하는 방법일 수 있고, 상기 제2 장치는 도 11 내지 도 26에서 설명한 바와 같이 자신의 위치 보정이나 상기 부가 정보의 업데이트를 수행할 수 있다.
도 28을 참조하면, 상기 제2 장치는 제1 V2X 메시지를 상기 제1 장치에게 전송할 수 있다. (S301). 상기 제2 장치는 V2X 통신을 수행하는 차량 및/또는 VRU 장치일 수 있다. 상기 제2 장치는 상기 제1 V2X 메시지를 주기적으로 전송할 수 있다. 상기 제1 V2X 메시지는 종래와 같이 상기 제2 장치에 대한 위치 및/또는 이동성 정보를 포함할 수 있다. 또한, 상기 제1 V2X 메시지는 CAM (Cooperative Awareness Message), VAM (Vulnerable road user awareness message), CPM (Collective Perception Message), BSM (Basic Safety Message), PSM (Pedestrian Safety message)일 수 있다.
도 11 내지 도 26에서 설명한 바와 같이, 상기 제1 V2X 메시지는 상기 제1 장치에서 영상 처리를 보조하기 위한 부가 정보를 더 포함할 수 있다. 상기 부가 정보는 상기 제1 장치가 상기 영상 장치로부터 획득한 제1 영상에서 상기 제2 장치를 식별하는데 도움이 되는 상기 제2 장치의 특성 정보를 포함할 수 있다. 상기 특성 정보는 상기 제2 장치의 형상, 형태, 색상, 재질, 루프탑 등 장착물, 이동 패턴, 주행 방법 등에 대한 정보일 수 있다.
또는, 상기 특성 정보는 상기 제2 장치의 특정 방향에서 보이는 외관에 대한 형상, 형태, 색상, 재질, 장착물 및/또는 이동 패턴, 주행 방법 등일 수 있다. 예컨대, 상기 외특성정보는 상기 제2 장치의 위쪽에서 보이는 특성 정보 (예컨대, 상기 RSU인 제1 장치에서의 영상 장치의 시선 방향에 대한 외관 정보)일 수 있다. 또는, 상기 부가 정보는 상기 제1 V2X 메시지의 AISupportContainer에 포함될 수 있다.
또는, 상기 부가 정보는 상기 제2 장치의 외관 등의 특징을 표시하는 비트맵을 포함할 수 있다. 상기 비트맵은 도 15 및 도 16에 참조하여 설명한 바와 같이 상기 제2 장치의 특성과 관련된 정보를 표시할 수 있다.
다음으로, 상기 제2 장치는 상기 제1 장치로부터 영상 처리에 따른 매칭 정보를 포함하는 메시지를 수신 받을 수 있다 (S303). 상기 매칭 정보는 상기 제2 장치와 매칭되는 제1 영상에서 추출된 객체에 기반하여 산출된 위치 보정 값 또는 상기 부가 정보의 업데이트를 위한 보정 정보를 포함할 수 있다.
구체적으로, 상기 제1 장치는 상기 제1 영상으로부터 상기 차량이나 VRU 장치에 대응하는 객체들을 특정하거나, 상기 객체들에 대한 영상에서의 특징을 추출할 수 있다. 상기 제1 장치는 상기 특정된 객체들 및/또는 추출된 특징에 기반하여 상기 도로 및 도로 주변에서의 차량 및 VRU 장치들의 움직임을 감지하거나 추적할 수 있다. 이 경우, 상기 제1 장치는 상기 매칭 정보를 획득하기 위해서 상기 제1 V2X 메시지에 포함된 부가 정보에 기초하여 상기 제1 영상에서 상기 제2 장치에 대응하는 객체를 매칭할 수 있다. 예컨대, 상기 제1 장치는 상기 부가 정보에 포함된 제2 장치의 특성 (및/또는 외관)과 상기 제2 영상에서 추출된 객체들의 특징을 비교하여 상기 객체들 중 상기 제2 장치와 대응하는 특징을 갖는 객체를 매칭시킬 수 있다. 예컨대, 상기 제1 장치는 상기 제1 영상에 대한 사전 처리를 통해 도 15 및 도 16에서 설명한 2차원 전처리 영상 정보와 같은 객체들의 특징을 추출할 수 있다. 상기 제1 장치는 상기 추출된 객체들의 특징과 상기 부가 정보에 포함된 특징을 비교하여 상기 부가 정보에 포함된 특징 (즉, 상기 부가 정보에 포함된 비트맵에 따른 표시된 제2 장치의 특성과 관련된 외관 특징)과 유사한 특징을 갖는 객체를 상기 제2 장치에 대응하는 객체로 매칭시킬 수 있다.
또는, 상기 위치 보정 값은 상기 제2 장치에 매칭된 상기 제1 영상에서의 객체의 위치와 상기 제1 V2X 메시지에 포함된 위치 정보에 기반하여 상기 제1 장치에서 산출되는 값이다. 상기 위치 보정 값 (또는, 보정 값)은 도 26을 참조하여 설명한 바에 따라 산출될 수 있다.
상기 제2 장치는 상기 메시지에 포함된 보정 값에 기초하여 자신의 GPS 등을 보정하여 측정된 위치 값을 조정할 수 있다 (S305). 즉, 상기 제1 장치는 고정된 위치에 부착된 장치로써, 상기 제1 영상에서의 객체의 절대 위치를 상당히 정확하게 측정할 수 있고, 상기 정확하게 측정된 객체 위치에 기반하여 상기 위치 보정 값이 산출될 수 있다. 이 경우, 상기 제2 장치는 상기 제1 장치에서 정확한 절대 위치를 기준으로 산출된 위치 보정 값을 수신 받을 수 있고, 상기 위치 보정 값에 기반하여 자신의 GPS 등을 보정할 수 있다.
또는, 상기 매칭 정보에 포함된 보정 정보는 상기 부가 정보에 의해 매칭된 객체의 제2 특징과 상기 부가 정보에 따른 상기 제2 장치의 제1 특징 간에 일부 차이에 대한 정보일 수 있다. 상기 제2 장치는 상기 보정 정보에 기초하여 자신의 상기 제1 특징과 상기 제2 특징 간에 상이한 부분이 있는 경우 상기 상이한 부분에 대한 보정 정보를 획득하고, 상기 획득한 보정 정보를 상기 제2 장치에 전송하여 상기 제2 장치의 부가 정보의 정정 또는 업데이트를 요청할 수 있다.
또는, 상기 제2 장치는 상기 제1 장치로부터 라벨 요청 메시지를 수신 받을 수 있다. 상기 제2 장치는 상기 라벨 요청 메시지의 수신에 기초하여 상기 제2 장치에 대한 라벨 정보 (지도 학습을 위해 분류 알고리즘에서의 제2 장치의 타입, 종류, 특성 등에 대한 정보)를 포함하는 제2 V2X 메시지를 상기 제1 장치에 전송할 수 있다.
이하에서는, 상술한 V2X 메시지에 기반하여 영상 처리를 수행하거나 학습을 수행하는 제1 장치 및 상기 보조 정보 및/또는 부가 정보를 포함하는 제1 V2X 메시지 및/또는 제2 V2X 메시지를 전송하는 제2 장치에 대해 자세히 설명한다.
발명이 적용되는 통신 시스템 예
이로 제한되는 것은 아니지만, 본 문서에 개시된 본 발명의 다양한 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 기기들간에 무선 통신/연결(예, 5G)을 필요로 하는 다양한 분야에 적용될 수 있다.
이하, 도면을 참조하여 보다 구체적으로 예시한다. 이하의 도면/설명에서 동일한 도면 부호는 다르게 기술하지 않는 한, 동일하거나 대응되는 하드웨어 블록, 소프트웨어 블록 또는 기능 블록을 예시할 수 있다.
도 29은 본 발명에 적용되는 통신 시스템을 예시한다.
도 29를 참조하면, 본 발명에 적용되는 통신 시스템(1)은 무선 기기, 기지국 및 네트워크를 포함한다. 여기서, 무선 기기는 무선 접속 기술(예, 5G NR(New RAT), LTE(Long Term Evolution))을 이용하여 통신을 수행하는 기기를 의미하며, 통신/무선/5G 기기로 지칭될 수 있다. 이로 제한되는 것은 아니지만, 무선 기기는 로봇(100a), 차량(100b-1, 100b-2), XR(eXtended Reality) 기기(100c), 휴대 기기(Hand-held device)(100d), 가전(100e), IoT(Internet of Thing) 기기(100f), AI기기/서버(400)를 포함할 수 있다. 예를 들어, 차량은 무선 통신 기능이 구비된 차량, 자율 주행 차량, 차량간 통신을 수행할 수 있는 차량 등을 포함할 수 있다. 여기서, 차량은 UAV(Unmanned Aerial Vehicle)(예, 드론)를 포함할 수 있다. XR 기기는 AR(Augmented Reality)/VR(Virtual Reality)/MR(Mixed Reality) 기기를 포함하며, HMD(Head-Mounted Device), 차량에 구비된 HUD(Head-Up Display), 텔레비전, 스마트폰, 컴퓨터, 웨어러블 디바이스, 가전 기기, 디지털 사이니지(signage), 차량, 로봇 등의 형태로 구현될 수 있다. 휴대 기기는 스마트폰, 스마트패드, 웨어러블 기기(예, 스마트워치, 스마트글래스), 컴퓨터(예, 노트북 등) 등을 포함할 수 있다. 가전은 TV, 냉장고, 세탁기 등을 포함할 수 있다. IoT 기기는 센서, 스마트미터 등을 포함할 수 있다. 예를 들어, 기지국, 네트워크는 무선 기기로도 구현될 수 있으며, 특정 무선 기기(200a)는 다른 무선 기기에게 기지국/네트워크 노드로 동작할 수도 있다.
무선 기기(100a~100f)는 기지국(200)을 통해 네트워크(300)와 연결될 수 있다. 무선 기기(100a~100f)에는 AI(Artificial Intelligence) 기술이 적용될 수 있으며, 무선 기기(100a~100f)는 네트워크(300)를 통해 AI 서버(400)와 연결될 수 있다. 네트워크(300)는 3G 네트워크, 4G(예, LTE) 네트워크 또는 5G(예, NR) 네트워크 등을 이용하여 구성될 수 있다. 무선 기기(100a~100f)는 기지국(200)/네트워크(300)를 통해 서로 통신할 수도 있지만, 기지국/네트워크를 통하지 않고 직접 통신(e.g. 사이드링크 통신(sidelink communication))할 수도 있다. 예를 들어, 차량들(100b-1, 100b-2)은 직접 통신(e.g. V2V(Vehicle to Vehicle)/V2X(Vehicle to everything) communication)을 할 수 있다. 또한, IoT 기기(예, 센서)는 다른 IoT 기기(예, 센서) 또는 다른 무선 기기(100a~100f)와 직접 통신을 할 수 있다.
무선 기기(100a~100f)/기지국(200), 기지국(200)/기지국(200) 간에는 무선 통신/연결(150a, 150b, 150c)이 이뤄질 수 있다. 여기서, 무선 통신/연결은 상향/하향링크 통신(150a)과 사이드링크 통신(150b)(또는, D2D 통신), 기지국간 통신(150c)(e.g. relay, IAB(Integrated Access Backhaul)과 같은 다양한 무선 접속 기술(예, 5G NR)을 통해 이뤄질 수 있다. 무선 통신/연결(150a, 150b, 150c)을 통해 무선 기기와 기지국/무선 기기, 기지국과 기지국은 서로 무선 신호를 송신/수신할 수 있다. 예를 들어, 무선 통신/연결(150a, 150b, 150c)은 다양한 물리 채널을 통해 신호를 송신/수신할 수 있다. 이를 위해, 본 발명의 다양한 제안들에 기반하여, 무선 신호의 송신/수신을 위한 다양한 구성정보 설정 과정, 다양한 신호 처리 과정(예, 채널 인코딩/디코딩, 변조/복조, 자원 매핑/디매핑 등), 자원 할당 과정 등 중 적어도 일부가 수행될 수 있다.
본 발명이 적용되는 무선 기기 예
도 30은 본 발명에 적용될 수 있는 무선 기기를 예시한다.
도 30을 참조하면, 제1 무선 기기(100)와 제2 무선 기기(200)는 다양한 무선 접속 기술(예, LTE, NR)을 통해 무선 신호를 송수신할 수 있다. 여기서, {제1 무선 기기(100), 제2 무선 기기(200)}은 도 29의 {무선 기기(100x), 기지국(200)} 및/또는 {무선 기기(100x), 무선 기기(100x)}에 대응할 수 있다.
제1 무선 기기(100)는 하나 이상의 프로세서(102) 및 하나 이상의 메모리(104)를 포함하며, 추가적으로 하나 이상의 송수신기(106) 및/또는 하나 이상의 안테나(108)을 더 포함할 수 있다. 프로세서(102)는 메모리(104) 및/또는 송수신기(106)를 제어하며, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(102)는 메모리(104) 내의 정보를 처리하여 제1 정보/신호를 생성한 뒤, 송수신기(106)을 통해 제1 정보/신호를 포함하는 무선 신호를 전송할 수 있다. 또한, 프로세서(102)는 송수신기(106)를 통해 제2 정보/신호를 포함하는 무선 신호를 수신한 뒤, 제2 정보/신호의 신호 처리로부터 얻은 정보를 메모리(104)에 저장할 수 있다. 메모리(104)는 프로세서(102)와 연결될 수 있고, 프로세서(102)의 동작과 관련한 다양한 정보를 저장할 수 있다. 예를 들어, 메모리(104)는 프로세서(102)에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 수행하기 위한 명령들을 포함하는 소프트웨어 코드를 저장할 수 있다. 여기서, 프로세서(102)와 메모리(104)는 무선 통신 기술(예, LTE, NR)을 구현하도록 설계된 통신 모뎀/회로/칩셋의 일부일 수 있다. 송수신기(106)는 프로세서(102)와 연결될 수 있고, 하나 이상의 안테나(108)를 통해 무선 신호를 송신 및/또는 수신할 수 있다. 송수신기(106)는 송신기 및/또는 수신기를 포함할 수 있다. 송수신기(106)는 RF(Radio Frequency) 유닛과 혼용될 수 있다. 또는, 송수신기(106)는 미리 설정된 거리로 분산된 제1 안테나 및 제2 안테나를 포함할 수 있다. 본 발명에서 무선 기기는 통신 모뎀/회로/칩셋을 의미할 수도 있다.
구체적으로, 제1 무선 기기(100)는 V2X 통신 모듈을 구비한 RSU인 제1 장치일 수 있다. 제1 무선 기기(100)는 상기 RF 송수신기와 연결되는 프로세서 (102)와 메모리(104)를 포함할 수 있다. 메모리(104)는 도 11 내지 도 28에서 설명된 실시예들과 관련된 동작을 수행할 수 있는 적어도 하나의 프로그램들이 포함될 수 있다.
프로세서(102)는 특정 영역에 대한 제1 영상을 획득하고, 송수신기 (106)를 제어하여 상기 특정 영역과 관련된 제1 V2X 메시지를 수신 받고, 상기 제1 V2X 메시지에 기반하여 상기 제1 영상에서 상기 제1 V2X 메시지를 전송한 제2 장치에 대응하는 객체를 매칭하며, 상기 제1 V2X 메시지는 상기 제1 영상에서 상기 제2 장치를 매칭하기 위한 상기 제2 장치의 특성에 대한 부가 정보를 포함할 수 있다. 프로세서 (102)는 메모리(104)에 포함된 프로그램에 기초하여 도 11 내지 도 28에서 설명한 영상 처리와 관련된 동작들을 수행할 수 있다.
또는, 프로세서 (102) 및 메모리(104)는 수신된 V2X 메시지에 기반하여 영상 처리하는 칩 셋에 포함될 수 있다. 상기 칩 셋은 적어도 하나의 프로세서 및 상기 적어도 하나의 프로세서와 동작 가능하게 연결되고, 실행될 때, 상기 적어도 하나의 프로세서가 동작을 수행하도록 하는 적어도 하나의 메모리를 포함할 수 있다. 상기 동작은 특정 영역에 대한 제1 영상을 획득하고, 상기 특정 영역과 관련된 제1 V2X 메시지를 수신 받고, 상기 제1 V2X 메시지에 기반하여 상기 제1 영상에서 상기 제1 V2X 메시지를 전송한 제2 장치에 대응하는 객체를 매칭하는 동작을 포함할 수 있고, 상기 제1 V2X 메시지는 상기 제1 영상에서 상기 제2 장치를 매칭하기 위한 상기 제2 장치의 특성에 대한 부가 정보를 포함할 수 있다. 프로세서 (102)는 메모리(104)에 포함된 프로그램에 기초하여 도 11 내지 도 28에서 설명한 상기 영상 처리와 관련된 동작들을 수행할 수 있다.
또는, 무선통신시스템에서 수신된 V2X 메시지에 기반하여 영상 처리하는 적어도 하나의 컴퓨터 프로그램을 포함하는 컴퓨터 판독 가능한 저장 매체는 상기 적어도 하나의 프로세서가 영상 처리하는 동작을 수행하도록 하는 적어도 하나의 컴퓨터 프로그램 및 상기 적어도 하나의 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 포함하고, 상기 동작은 특정 영역에 대한 제1 영상을 획득하고, 상기 특정 영역과 관련된 제1 V2X 메시지를 수신 받고, 상기 제1 V2X 메시지에 기반하여 상기 제1 영상에서 상기 제1 V2X 메시지를 전송한 제2 장치에 대응하는 객체를 매칭하는 동작을 포함하고, 상기 제1 V2X 메시지는 상기 제1 영상에서 상기 제2 장치를 매칭하기 위한 상기 제2 장치의 특성에 대한 부가 정보를 포함할 수 있다.
제2 무선 기기(200)는 하나 이상의 프로세서(202), 하나 이상의 메모리(204)를 포함하며, 추가적으로 하나 이상의 송수신기(206) 및/또는 하나 이상의 안테나(208)를 더 포함할 수 있다. 프로세서(202)는 메모리(204) 및/또는 송수신기(206)를 제어하며, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(202)는 메모리(204) 내의 정보를 처리하여 제3 정보/신호를 생성한 뒤, 송수신기(206)를 통해 제3 정보/신호를 포함하는 무선 신호를 전송할 수 있다. 또한, 프로세서(202)는 송수신기(206)를 통해 제4 정보/신호를 포함하는 무선 신호를 수신한 뒤, 제4 정보/신호의 신호 처리로부터 얻은 정보를 메모리(204)에 저장할 수 있다. 메모리(204)는 프로세서(202)와 연결될 수 있고, 프로세서(202)의 동작과 관련한 다양한 정보를 저장할 수 있다. 예를 들어, 메모리(204)는 프로세서(202)에 의해 제어되는 프로세스들 중 일부 또는 전부를 수행하거나, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들을 수행하기 위한 명령들을 포함하는 소프트웨어 코드를 저장할 수 있다. 여기서, 프로세서(202)와 메모리(204)는 무선 통신 기술(예, LTE, NR)을 구현하도록 설계된 통신 모뎀/회로/칩의 일부일 수 있다. 송수신기(206)는 프로세서(202)와 연결될 수 있고, 하나 이상의 안테나(208)를 통해 무선 신호를 송신 및/또는 수신할 수 있다. 송수신기(206)는 송신기 및/또는 수신기를 포함할 수 있다 송수신기(206)는 RF 유닛과 혼용될 수 있다. 본 발명에서 무선 기기는 통신 모뎀/회로/칩을 의미할 수도 있다.
구체적으로, 제2 무선 기기 (200)는 RSU 장치, 차량 및/또는 V2X 장치인 제2 장치일 수 있다. 상기 제2 장치는 상기 RF 송수신기와 연결되는 프로세서 (202)와 메모리(204)를 포함할 수 있다. 메모리(204)는 도 11 내지 도 28에서 설명된 실시예들과 관련된 동작을 수행할 수 있는 적어도 하나의 프로그램들이 포함될 수 있다.
프로세서(202)는 상기 프로세서는 상기 RF 송수신기를 제어하여 영상 처리와 관련된 부가 정보를 포함하는 제1 메시지를 제1 장치에 전송하고, 상기 제1 장치로부터 상기 영상 처리에 기반한 매칭 정보를 포함하는 제2 메시지를 수신 받고, 상기 부가 정보는 상기 제1 장치에서 획득한 제1 영상에서 상기 제2 장치를 매칭시키기 위한 상기 제2 장치의 특성에 대한 정보를 포함하고, 상기 매칭 정보는 상기 제2 장치의 위치를 보정하기 위한 보정 값을 포함할 수 있다.
이하, 무선 기기(100, 200)의 하드웨어 요소에 대해 보다 구체적으로 설명한다. 이로 제한되는 것은 아니지만, 하나 이상의 프로토콜 계층이 하나 이상의 프로세서(102, 202)에 의해 구현될 수 있다. 예를 들어, 하나 이상의 프로세서(102, 202)는 하나 이상의 계층(예, PHY, MAC, RLC, PDCP, RRC, SDAP와 같은 기능적 계층)을 구현할 수 있다. 하나 이상의 프로세서(102, 202)는 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 하나 이상의 PDU(Protocol Data Unit) 및/또는 하나 이상의 SDU(Service Data Unit)를 생성할 수 있다. 하나 이상의 프로세서(102, 202)는 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 메시지, 제어정보, 데이터 또는 정보를 생성할 수 있다. 하나 이상의 프로세서(102, 202)는 본 문서에 개시된 기능, 절차, 제안 및/또는 방법에 따라 PDU, SDU, 메시지, 제어정보, 데이터 또는 정보를 포함하는 신호(예, 베이스밴드 신호)를 생성하여, 하나 이상의 송수신기(106, 206)에게 제공할 수 있다. 하나 이상의 프로세서(102, 202)는 하나 이상의 송수신기(106, 206)로부터 신호(예, 베이스밴드 신호)를 수신할 수 있고, 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들에 따라 PDU, SDU, 메시지, 제어정보, 데이터 또는 정보를 획득할 수 있다.
하나 이상의 프로세서(102, 202)는 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 마이크로 컴퓨터로 지칭될 수 있다. 하나 이상의 프로세서(102, 202)는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합에 의해 구현될 수 있다. 일 예로, 하나 이상의 ASIC(Application Specific Integrated Circuit), 하나 이상의 DSP(Digital Signal Processor), 하나 이상의 DSPD(Digital Signal Processing Device), 하나 이상의 PLD(Programmable Logic Device) 또는 하나 이상의 FPGA(Field Programmable Gate Arrays)가 하나 이상의 프로세서(102, 202)에 포함될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 펌웨어 또는 소프트웨어를 사용하여 구현될 수 있고, 펌웨어 또는 소프트웨어는 모듈, 절차, 기능 등을 포함하도록 구현될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 수행하도록 설정된 펌웨어 또는 소프트웨어는 하나 이상의 프로세서(102, 202)에 포함되거나, 하나 이상의 메모리(104, 204)에 저장되어 하나 이상의 프로세서(102, 202)에 의해 구동될 수 있다. 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도들은 코드, 명령어 및/또는 명령어의 집합 형태로 펌웨어 또는 소프트웨어를 사용하여 구현될 수 있다.
하나 이상의 메모리(104, 204)는 하나 이상의 프로세서(102, 202)와 연결될 수 있고, 다양한 형태의 데이터, 신호, 메시지, 정보, 프로그램, 코드, 지시 및/또는 명령을 저장할 수 있다. 하나 이상의 메모리(104, 204)는 ROM, RAM, EPROM, 플래시 메모리, 하드 드라이브, 레지스터, 캐쉬 메모리, 컴퓨터 판독 저장 매체 및/또는 이들의 조합으로 구성될 수 있다. 하나 이상의 메모리(104, 204)는 하나 이상의 프로세서(102, 202)의 내부 및/또는 외부에 위치할 수 있다. 또한, 하나 이상의 메모리(104, 204)는 유선 또는 무선 연결과 같은 다양한 기술을 통해 하나 이상의 프로세서(102, 202)와 연결될 수 있다.
하나 이상의 송수신기(106, 206)는 하나 이상의 다른 장치에게 본 문서의 방법들 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 전송할 수 있다. 하나 이상의 송수신기(106, 206)는 하나 이상의 다른 장치로부터 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 수신할 수 있다. 예를 들어, 하나 이상의 송수신기(106, 206)는 하나 이상의 프로세서(102, 202)와 연결될 수 있고, 무선 신호를 송수신할 수 있다. 예를 들어, 하나 이상의 프로세서(102, 202)는 하나 이상의 송수신기(106, 206)가 하나 이상의 다른 장치에게 사용자 데이터, 제어 정보 또는 무선 신호를 전송하도록 제어할 수 있다. 또한, 하나 이상의 프로세서(102, 202)는 하나 이상의 송수신기(106, 206)가 하나 이상의 다른 장치로부터 사용자 데이터, 제어 정보 또는 무선 신호를 수신하도록 제어할 수 있다. 또한, 하나 이상의 송수신기(106, 206)는 하나 이상의 안테나(108, 208)와 연결될 수 있고, 하나 이상의 송수신기(106, 206)는 하나 이상의 안테나(108, 208)를 통해 본 문서에 개시된 설명, 기능, 절차, 제안, 방법 및/또는 동작 순서도 등에서 언급되는 사용자 데이터, 제어 정보, 무선 신호/채널 등을 송수신하도록 설정될 수 있다. 본 문서에서, 하나 이상의 안테나는 복수의 물리 안테나이거나, 복수의 논리 안테나(예, 안테나 포트)일 수 있다. 하나 이상의 송수신기(106, 206)는 수신된 사용자 데이터, 제어 정보, 무선 신호/채널 등을 하나 이상의 프로세서(102, 202)를 이용하여 처리하기 위해, 수신된 무선 신호/채널 등을 RF 밴드 신호에서 베이스밴드 신호로 변환(Convert)할 수 있다. 하나 이상의 송수신기(106, 206)는 하나 이상의 프로세서(102, 202)를 이용하여 처리된 사용자 데이터, 제어 정보, 무선 신호/채널 등을 베이스밴드 신호에서 RF 밴드 신호로 변환할 수 있다. 이를 위하여, 하나 이상의 송수신기(106, 206)는 (아날로그) 오실레이터 및/또는 필터를 포함할 수 있다.
본 발명이 적용되는 무선 기기 활용 예
도 31은 본 발명에 적용되는 무선 기기의 다른 예를 나타낸다. 무선 기기는 사용-예/서비스에 따라 다양한 형태로 구현될 수 있다 (도 29 참조).
도 31을 참조하면, 무선 기기(100, 200)는 도 30의 무선 기기(100,200)에 대응하며, 다양한 요소(element), 성분(component), 유닛/부(unit), 및/또는 모듈(module)로 구성될 수 있다. 예를 들어, 무선 기기(100, 200)는 통신부(110), 제어부(120), 메모리부(130) 및 추가 요소(140)를 포함할 수 있다. 통신부는 통신 회로(112) 및 송수신기(들)(114)을 포함할 수 있다. 예를 들어, 통신 회로(112)는 도 31의 하나 이상의 프로세서(102,202) 및/또는 하나 이상의 메모리(104,204) 를 포함할 수 있다. 예를 들어, 송수신기(들)(114)는 도 30의 하나 이상의 송수신기(106,206) 및/또는 하나 이상의 안테나(108,208)을 포함할 수 있다. 제어부(120)는 통신부(110), 메모리부(130) 및 추가 요소(140)와 전기적으로 연결되며 무선 기기의 제반 동작을 제어한다. 예를 들어, 제어부(120)는 메모리부(130)에 저장된 프로그램/코드/명령/정보에 기반하여 무선 기기의 전기적/기계적 동작을 제어할 수 있다. 또한, 제어부(120)는 메모리부(130)에 저장된 정보를 통신부(110)을 통해 외부(예, 다른 통신 기기)로 무선/유선 인터페이스를 통해 전송하거나, 통신부(110)를 통해 외부(예, 다른 통신 기기)로부터 무선/유선 인터페이스를 통해 수신된 정보를 메모리부(130)에 저장할 수 있다.
추가 요소(140)는 무선 기기의 종류에 따라 다양하게 구성될 수 있다. 예를 들어, 추가 요소(140)는 파워 유닛/배터리, 입출력부(I/O unit), 구동부 및 컴퓨팅부 중 적어도 하나를 포함할 수 있다. 이로 제한되는 것은 아니지만, 무선 기기는 로봇(도 29, 100a), 차량(도 29, 100b-1, 100b-2), XR 기기(도 29, 100c), 휴대 기기(도 29, 100d), 가전(도 29, 100e), IoT 기기(도 29, 100f), 디지털 방송용 단말, 홀로그램 장치, 공공 안전 장치, MTC 장치, 의료 장치, 핀테크 장치(또는 금융 장치), 보안 장치, 기후/환경 장치, AI 서버/기기(도 29, 400), 기지국(도 29, 200), 네트워크 노드 등의 형태로 구현될 수 있다. 무선 기기는 사용-예/서비스에 따라 이동 가능하거나 고정된 장소에서 사용될 수 있다.
도 31에서 무선 기기(100, 200) 내의 다양한 요소, 성분, 유닛/부, 및/또는 모듈은 전체가 유선 인터페이스를 통해 상호 연결되거나, 적어도 일부가 통신부(110)를 통해 무선으로 연결될 수 있다. 예를 들어, 무선 기기(100, 200) 내에서 제어부(120)와 통신부(110)는 유선으로 연결되며, 제어부(120)와 제1 유닛(예, 130, 140)은 통신부(110)를 통해 무선으로 연결될 수 있다. 또한, 무선 기기(100, 200) 내의 각 요소, 성분, 유닛/부, 및/또는 모듈은 하나 이상의 요소를 더 포함할 수 있다. 예를 들어, 제어부(120)는 하나 이상의 프로세서 집합으로 구성될 수 있다. 예를 들어, 제어부(120)는 통신 제어 프로세서, 어플리케이션 프로세서(Application processor), ECU(Electronic Control Unit), 그래픽 처리 프로세서, 메모리 제어 프로세서 등의 집합으로 구성될 수 있다. 다른 예로, 메모리부(130)는 RAM(Random Access Memory), DRAM(Dynamic RAM), ROM(Read Only Memory), 플래시 메모리(flash memory), 휘발성 메모리(volatile memory), 비-휘발성 메모리(non-volatile memory) 및/또는 이들의 조합으로 구성될 수 있다.
본 발명이 적용되는 차량 또는 자율 주행 차량 예
도 32는 본 발명에 적용되는 차량 또는 자율 주행 차량을 예시한다. 차량 또는 자율 주행 차량은 이동형 로봇, 차량, 기차, 유/무인 비행체(Aerial Vehicle, AV), 선박 등으로 구현될 수 있다.
도 32를 참조하면, 차량 또는 자율 주행 차량(100)은 안테나부(108), 통신부(110), 제어부(120), 구동부(140a), 전원공급부(140b), 센서부(140c) 및 자율 주행부(140d)를 포함할 수 있다. 안테나부(108)는 통신부(110)의 일부로 구성될 수 있다. 블록 110/130/140a~140d는 각각 도 31의 블록 110/130/140에 대응한다.
통신부(110)는 다른 차량, 기지국(e.g. 기지국, 노변 기지국(Road Side unit) 등), 서버 등의 외부 기기들과 신호(예, 데이터, 제어 신호 등)를 송수신할 수 있다. 제어부(120)는 차량 또는 자율 주행 차량(100)의 요소들을 제어하여 다양한 동작을 수행할 수 있다. 제어부(120)는 ECU(Electronic Control Unit)를 포함할 수 있다. 구동부(140a)는 차량 또는 자율 주행 차량(100)을 지상에서 주행하게 할 수 있다. 구동부(140a)는 엔진, 모터, 파워 트레인, 바퀴, 브레이크, 조향 장치 등을 포함할 수 있다. 전원공급부(140b)는 차량 또는 자율 주행 차량(100)에게 전원을 공급하며, 유/무선 충전 회로, 배터리 등을 포함할 수 있다. 센서부(140c)는 차량 상태, 주변 환경 정보, 사용자 정보 등을 얻을 수 있다. 센서부(140c)는 IMU(inertial measurement unit) 센서, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 스티어링 센서, 온도 센서, 습도 센서, 초음파 센서, 조도 센서, 페달 포지션 센서 등을 포함할 수 있다. 자율 주행부(140d)는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등을 구현할 수 있다.
일 예로, 통신부(110)는 외부 서버로부터 지도 데이터, 교통 정보 데이터 등을 수신할 수 있다. 자율 주행부(140d)는 획득된 데이터를 기반으로 자율 주행 경로와 드라이빙 플랜을 생성할 수 있다. 제어부(120)는 드라이빙 플랜에 따라 차량 또는 자율 주행 차량(100)이 자율 주행 경로를 따라 이동하도록 구동부(140a)를 제어할 수 있다(예, 속도/방향 조절). 자율 주행 도중에 통신부(110)는 외부 서버로부터 최신 교통 정보 데이터를 비/주기적으로 획득하며, 주변 차량으로부터 주변 교통 정보 데이터를 획득할 수 있다. 또한, 자율 주행 도중에 센서부(140c)는 차량 상태, 주변 환경 정보를 획득할 수 있다. 자율 주행부(140d)는 새로 획득된 데이터/정보에 기반하여 자율 주행 경로와 드라이빙 플랜을 갱신할 수 있다. 통신부(110)는 차량 위치, 자율 주행 경로, 드라이빙 플랜 등에 관한 정보를 외부 서버로 전달할 수 있다. 외부 서버는 차량 또는 자율 주행 차량들로부터 수집된 정보에 기반하여, AI 기술 등을 이용하여 교통 정보 데이터를 미리 예측할 수 있고, 예측된 교통 정보 데이터를 차량 또는 자율 주행 차량들에게 제공할 수 있다.
여기서, 본 명세서의 무선 기기(XXX, YYY)에서 구현되는 무선 통신 기술은 LTE, NR 및 6G뿐만 아니라 저전력 통신을 위한 Narrowband Internet of Things를 포함할 수 있다. 이때, 예를 들어 NB-IoT 기술은 LPWAN(Low Power Wide Area Network) 기술의 일례일 수 있고, LTE Cat NB1 및/또는 LTE Cat NB2 등의 규격으로 구현될 수 있으며, 상술한 명칭에 한정되는 것은 아니다. 추가적으로 또는 대체적으로, 본 명세서의 무선 기기(XXX, YYY)에서 구현되는 무선 통신 기술은 LTE-M 기술을 기반으로 통신을 수행할 수 있다. 이때, 일 예로, LTE-M 기술은 LPWAN 기술의 일례일 수 있고, eMTC(enhanced Machine Type Communication) 등의 다양한 명칭으로 불릴 수 있다. 예를 들어, LTE-M 기술은 1) LTE CAT 0, 2) LTE Cat M1, 3) LTE Cat M2, 4) LTE non-BL(non-Bandwidth Limited), 5) LTE-MTC, 6) LTE Machine Type Communication, 및/또는 7) LTE M 등의 다양한 규격 중 적어도 어느 하나로 구현될 수 있으며 상술한 명칭에 한정되는 것은 아니다. 추가적으로 또는 대체적으로, 본 명세서의 무선 기기(XXX, YYY)에서 구현되는 무선 통신 기술은 저전력 통신을 고려한 지그비(ZigBee), 블루투스(Bluetooth) 및 저전력 광역 통신망(Low Power Wide Area Network, LPWAN) 중 적어도 어느 하나를 포함할 수 있으며, 상술한 명칭에 한정되는 것은 아니다. 일 예로 ZigBee 기술은 IEEE 802.15.4 등의 다양한 규격을 기반으로 소형/저-파워 디지털 통신에 관련된 PAN(personal area networks)을 생성할 수 있으며, 다양한 명칭으로 불릴 수 있다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 문서에서 본 발명의 실시예들은 주로 단말과 기지국 간의 신호 송수신 관계를 중심으로 설명되었다. 이러한 송수신 관계는 단말과 릴레이 또는 기지국과 릴레이간의 신호 송수신에도 동일/유사하게 확장된다. 본 문서에서 기지국에 의해 수행된다고 설명된 특정 동작은 경우에 따라서는 그 상위 노드(upper node)에 의해 수행될 수 있다. 즉, 기지국을 포함하는 복수의 네트워크 노드들(network nodes)로 이루어지는 네트워크에서 단말과의 통신을 위해 수행되는 다양한 동작들은 기지국 또는 기지국 이외의 다른 네트워크 노드들에 의해 수행될 수 있음은 자명하다. 기지국은 고정국(fixed station), Node B, eNode B(eNB), 억세스 포인트(access point) 등의 용어에 의해 대체될 수 있다. 또한, 단말은 UE(User Equipment), MS(Mobile Station), MSS(Mobile Subscriber Station) 등의 용어로 대체될 수 있다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
상술한 바와 같은 본 발명의 실시형태들은 다양한 이동통신 시스템에 적용될 수 있다.

Claims (15)

  1. 무선 통신 시스템에서 학습된 제1 장치가 수신된 V2X 메시지에 기반하여 영상 처리하는 방법에 있어서,
    특정 영역에 대한 제1 영상을 획득하는 단계;
    상기 특정 영역과 관련된 제1 V2X 메시지를 수신 받는 단계; 및
    상기 제1 V2X 메시지에 기반하여 상기 제1 영상에서 상기 제1 V2X 메시지를 전송한 제2 장치에 대응하는 객체를 매칭하는 단계를 포함하고,
    상기 제1 V2X 메시지는 상기 제1 영상에서 상기 제2 장치를 매칭하기 위한 상기 제2 장치의 특성에 대한 부가 정보를 포함하는, 방법.
  2. 제 1항에 있어서,
    상기 부가 정보는 상기 제2 장치의 형태, 색상, 재질, 이동 패턴, 주행 방법, 및 장착물 중 적어도 하나에 대한 정보를 포함하고, 상기 제1 V2X 메시지의 AISupportContainer에 포함되는 것을 특징으로 하는, 방법.
  3. 제1항에 있어서,
    상기 부가 정보는 상기 제2 장치의 형태, 색상 이동 패턴, 주행 방법, 및 장착물 중 적어도 하나를 나타내기 위한 2차원 전처리 영상 정보를 포함하는 것을 특징으로 하는, 방법.
  4. 제1항에 있어서,
    상기 제1 장치는 상기 부가 정보에 기초하여 상기 제1 영상에서 식별되는 복수의 객체들 중 상기 제2 장치에 매칭되는 객체를 특정하고, 상기 특정된 객체의 위치 및 상기 제1 V2X 메시지에 포함된 제2 장치의 위치에 기반하여 상기 제2 장치의 위치 보정을 위한 보정 값을 산출하는 것을 특징으로 하는, 방법.
  5. 제4항에 있어서,
    상기 제1 장치는 상기 보정 값을 포함하는 메시지를 상기 제2 장치에 전송하는 것을 특징으로 하는, 방법.
  6. 제4항에 있어서,
    상기 제1 장치는 상기 특정된 객체의 특성이 상기 부가 정보에서의 제2 장치의 특성과 상이한 부분이 존재한 경우에 상기 부가 정보를 업데이트하기 위한 메시지를 상기 제2 장치에 전송하는 것을 특징으로 하는, 방법.
  7. 제1항에 있어서,
    지도 학습 (Supervised Learning)을 위한 라벨 정보를 포함하는 제2 V2X 메시지를 수신하는 단계;를 더 포함하는 것을 특징으로 하는, 방법.
  8. 제7항에 있어서,
    상기 제1 장치는 상기 제2 V2X 메시지를 전송한 제3 장치과 관련된 제2 영상 및 상기 라벨 정보에 기초하여 학습된 것을 특징으로 하는, 방법.
  9. 제7항에 있어서,
    상기 라벨 정보는 상기 제3 장치의 타입에 대한 정보를 제공하는 것을 특징으로 하는, 방법.
  10. 제1항에 있어서,
    상기 제1 V2X 메시지는 CAM (Cooperative Awareness Message), VAM (Vulnerable road user awareness message), CPM (Collective Perception Message), BSM (Basic Safety Message) 및 PSM (Pedestrian Safety message) 중 어느 하나인 것을 특징으로 하는, 방법.
  11. 무선 통신 시스템에서 제2 장치가 부가 정보를 포함하는 제1 메시지를 전송하는 방법에 있어서,
    영상 처리와 관련된 부가 정보를 포함하는 제1 메시지를 제1 장치에 전송하는 단계; 및
    상기 제1 장치로부터 상기 영상 처리에 기반한 매칭 정보를 포함하는 제2 메시지를 수신 받는 단계를 포함하고,
    상기 부가 정보는 상기 제1 장치에서 획득한 제1 영상에서 상기 제2 장치를 매칭시키기 위한 상기 제2 장치의 특성에 대한 정보를 포함하고,
    상기 매칭 정보는 상기 제2 장치의 위치를 보정하기 위한 보정 값을 포함하는, 방법.
  12. 무선 통신 시스템에서 수신된 V2X 메시지에 기반하여 영상 처리하는 학습된 제1 장치에 있어서,
    RF(Radio Frequency) 송수신기; 및
    상기 RF 송수신기와 연결되는 프로세서를 포함하고,
    상기 프로세서는 특정 영역에 대한 제1 영상을 획득하고, 상기 RF 송수신기를 제어하여 상기 특정 영역과 관련된 제1 V2X 메시지를 수신 받고, 상기 제1 V2X 메시지에 기반하여 상기 제1 영상에서 상기 제1 V2X 메시지를 전송한 제2 장치에 대응하는 객체를 매칭하며,
    상기 제1 V2X 메시지는 상기 제1 영상에서 상기 제2 장치를 매칭하기 위한 상기 제2 장치의 특성에 대한 부가 정보를 포함하는, 제1 장치.
  13. 무선 통신 시스템에서 부가 정보를 포함하는 제1 메시지를 전송하는 제2 장치에 있어서,
    RF(Radio Frequency) 송수신기; 및
    상기 RF 송수신기와 연결되는 프로세서를 포함하고,
    상기 프로세서는 상기 RF 송수신기를 제어하여 영상 처리와 관련된 부가 정보를 포함하는 제1 메시지를 제1 장치에 전송하고, 상기 제1 장치로부터 상기 영상 처리에 기반한 매칭 정보를 포함하는 제2 메시지를 수신 받고,
    상기 부가 정보는 상기 제1 장치에서 획득한 제1 영상에서 상기 제2 장치를 매칭시키기 위한 상기 제2 장치의 특성에 대한 정보를 포함하고, 상기 매칭 정보는 상기 제2 장치의 위치를 보정하기 위한 보정 값을 포함하는, 제2 장치.
  14. 무선통신시스템에서 수신된 V2X 메시지에 기반하여 영상 처리하는 학습된 칩 셋에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 동작 가능하게 연결되고, 실행될 때, 상기 적어도 하나의 프로세서가 동작을 수행하도록 하는 적어도 하나의 메모리를 포함하며, 상기 동작은:
    특정 영역에 대한 제1 영상을 획득하고, 상기 특정 영역과 관련된 제1 V2X 메시지를 수신 받고, 상기 제1 V2X 메시지에 기반하여 상기 제1 영상에서 상기 제1 V2X 메시지를 전송한 제2 장치에 대응하는 객체를 매칭하며,
    상기 제1 V2X 메시지는 상기 제1 영상에서 상기 제2 장치를 매칭하기 위한 상기 제2 장치의 특성에 대한 부가 정보를 포함하는, 칩셋.
  15. 무선통신시스템에서 수신된 V2X 메시지에 기반하여 영상 처리하는 적어도 하나의 컴퓨터 프로그램을 포함하는 컴퓨터 판독 가능한 저장 매체에 있어서,
    상기 적어도 하나의 프로세서가 영상 처리하는 동작을 수행하도록 하는 적어도 하나의 컴퓨터 프로그램; 및
    상기 적어도 하나의 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 포함하고,
    상기 동작은 특정 영역에 대한 제1 영상을 획득하고, 상기 특정 영역과 관련된 제1 V2X 메시지를 수신 받고, 상기 제1 V2X 메시지에 기반하여 상기 제1 영상에서 상기 제1 V2X 메시지를 전송한 제2 장치에 대응하는 객체를 매칭하며,
    상기 제1 V2X 메시지는 상기 제1 영상에서 상기 제2 장치를 매칭하기 위한 상기 제2 장치의 특성에 대한 부가 정보를 포함하는, 컴퓨터 판독 가능한 저장 매체.
PCT/KR2021/016029 2020-11-05 2021-11-05 무선통신시스템에서 v2x 메시지에 기반하여 영상 처리하는 방법 및 이를 위한 장치 WO2022098147A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP21889612.4A EP4242938A4 (en) 2020-11-05 2021-11-05 METHOD FOR PROCESSING AN IMAGE BASED ON A V2X MESSAGE IN A WIRELESS COMMUNICATIONS SYSTEM AND DEVICE THEREFOR

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0146925 2020-11-05
KR20200146977 2020-11-05
KR20200146925 2020-11-05
KR10-2020-0146977 2020-11-05

Publications (1)

Publication Number Publication Date
WO2022098147A1 true WO2022098147A1 (ko) 2022-05-12

Family

ID=81457282

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016029 WO2022098147A1 (ko) 2020-11-05 2021-11-05 무선통신시스템에서 v2x 메시지에 기반하여 영상 처리하는 방법 및 이를 위한 장치

Country Status (2)

Country Link
EP (1) EP4242938A4 (ko)
WO (1) WO2022098147A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115472004A (zh) * 2022-08-04 2022-12-13 阿波罗智联(北京)科技有限公司 路侧点位与车辆驾驶行为关联方法、装置及存储介质
WO2024175215A1 (de) * 2023-02-21 2024-08-29 Volkswagen Aktiengesellschaft Verfahren und fahrzeug für die qualitätsmessung eines verkehrsinfrastrukturelements

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140273A1 (en) * 2015-11-18 2017-05-18 Video Inform Ltd System and method for automatic selection of deep learning architecture
KR20180062058A (ko) * 2016-11-30 2018-06-08 현대자동차주식회사 차량 위치 인식 장치 및 방법
KR20180065196A (ko) * 2016-12-07 2018-06-18 한국전자통신연구원 비신호 교차로 자율주행 정보 제공 장치 및 그 방법
KR20200063320A (ko) * 2018-11-20 2020-06-05 현대자동차주식회사 차량의 객체 인식 장치, 시스템 및 방법
KR20200077004A (ko) * 2018-12-20 2020-06-30 전자부품연구원 V2x 기지국에서 생성한 도로 레이더 정보를 이용한 도로 객체 지도 생성 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11100680B2 (en) * 2018-11-08 2021-08-24 Toyota Jidosha Kabushiki Kaisha AR/VR/MR ride sharing assistant

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140273A1 (en) * 2015-11-18 2017-05-18 Video Inform Ltd System and method for automatic selection of deep learning architecture
KR20180062058A (ko) * 2016-11-30 2018-06-08 현대자동차주식회사 차량 위치 인식 장치 및 방법
KR20180065196A (ko) * 2016-12-07 2018-06-18 한국전자통신연구원 비신호 교차로 자율주행 정보 제공 장치 및 그 방법
KR20200063320A (ko) * 2018-11-20 2020-06-05 현대자동차주식회사 차량의 객체 인식 장치, 시스템 및 방법
KR20200077004A (ko) * 2018-12-20 2020-06-30 전자부품연구원 V2x 기지국에서 생성한 도로 레이더 정보를 이용한 도로 객체 지도 생성 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4242938A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115472004A (zh) * 2022-08-04 2022-12-13 阿波罗智联(北京)科技有限公司 路侧点位与车辆驾驶行为关联方法、装置及存储介质
WO2024175215A1 (de) * 2023-02-21 2024-08-29 Volkswagen Aktiengesellschaft Verfahren und fahrzeug für die qualitätsmessung eines verkehrsinfrastrukturelements

Also Published As

Publication number Publication date
EP4242938A1 (en) 2023-09-13
EP4242938A4 (en) 2024-10-09

Similar Documents

Publication Publication Date Title
WO2019240548A1 (en) Method and apparatus for performing sidelink communication by ue in nr v2x
WO2019240544A1 (en) Method and apparatus for performing sidelink communication by ue in nr v2x
WO2019240550A1 (en) Method and apparatus for reporting cast type by ue in nr v2x
WO2020197310A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 안전 메시지를 전송하는 방법 및 이를 위한 장치
WO2021040352A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 장치가 cpm을 송수신하는 방법 및 이를 위한 장치
WO2021141448A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 장치가 cpm을 전송하는 방법 및 이를 위한 장치
WO2021246539A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 vru가 안전 메시지를 전송하는 방법 및 이를 위한 장치
WO2020242162A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 ue가 메시지를 전송하는 방법 및 이를 위한 장치
WO2021150089A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 v2x 차량이 가상 v2x 메시지를 전송하는 방법 및 이를 위한 장치
WO2021150087A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 제1 장치가 차량 주행을 제어하는 방법 및 이를 위한 장치
WO2021182935A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 softv2x 서버가 vru의 이동 경로와 관련된 vru 경로 맵을 생성하는 방법 및 이를 위한 장치
WO2022098147A1 (ko) 무선통신시스템에서 v2x 메시지에 기반하여 영상 처리하는 방법 및 이를 위한 장치
WO2021221404A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 제1 장치가 위치를 보정하는 방법 및 이를 위한 장치
WO2021230401A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 ue가 협력 통신을 수행하는 방법 및 이를 위한 장치
WO2021182912A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 네트워크가 vru 메시지를 병합하여 전송하는 방법 및 이를 위한 장치
WO2022075769A1 (ko) 무선 통신 시스템에서 제1 서버가 제2 메시지를 전송하는 방법 및 이를 위한 장치
WO2020241988A1 (ko) 무선 통신 시스템에서 차량이 네트워크와 통신하는 방법 및 이를 위한 차량
WO2021182934A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 vru가 이동 경로를 예측하는 방법 및 이를 위한 장치
WO2021002651A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 단말이 제1 메시지를 전송하는 방법 및 이를 위한 장치
WO2022154590A1 (ko) 무선통신시스템에서 v2x 단말이 메시지를 전송하는 방법 및 이를 위한 장치
WO2020242156A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 ue가 사이드링크 신호를 전송하는 방법 및 이를 위한 장치
WO2021221401A1 (ko) 사이드링크를 지원하는 무선통신시스템에서 제1 장치가 제1 메시지를 전송하는 방법 및 이를 위한 장치
WO2020241989A1 (ko) 무선 통신 시스템에서 단말이 신호를 수신하는 방법 및 이를 위한 단말
WO2023075463A1 (ko) 무선 통신 시스템에서 제1 장치가 제1 메시지를 전송하는 방법 및 이를 위한 장치
WO2022146129A1 (ko) 무선 통신 시스템에서 자원 할당을 위한 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21889612

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021889612

Country of ref document: EP

Effective date: 20230605