[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20210056632A - 메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치 - Google Patents

메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치 Download PDF

Info

Publication number
KR20210056632A
KR20210056632A KR1020190143325A KR20190143325A KR20210056632A KR 20210056632 A KR20210056632 A KR 20210056632A KR 1020190143325 A KR1020190143325 A KR 1020190143325A KR 20190143325 A KR20190143325 A KR 20190143325A KR 20210056632 A KR20210056632 A KR 20210056632A
Authority
KR
South Korea
Prior art keywords
image
message
electronic device
processor
various embodiments
Prior art date
Application number
KR1020190143325A
Other languages
English (en)
Inventor
조형탁
이제현
조기호
주종성
최아름
최인영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190143325A priority Critical patent/KR20210056632A/ko
Priority to PCT/KR2020/015701 priority patent/WO2021096195A1/ko
Priority to US17/298,710 priority patent/US11823464B2/en
Publication of KR20210056632A publication Critical patent/KR20210056632A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H04N5/23206—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/091—Traffic information broadcasting
    • G08G1/094—Hardware aspects; Signal processing or signal properties, e.g. frequency bands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 문서에 개시된 다양한 실시예에 따른 전자 장치는 V2X 통신을 지원하는 제1 통신 회로, 프로세서 및 메모리를 포함하며, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 제1 통신 회로를 통해 적어도 하나의 V2X 메시지를 수신하고, 상기 적어도 하나의 V2X 메시지에 기초하여, 영상 촬영 여부를 결정하고, 영상을 촬영하는 것으로 결정한 것에 대한 응답으로, 상기 적어도 하나의 V2X 메시지에 기초하여 관심 영역을 결정하고, 상기 전자 장치와 전기적으로 연결된 적어도 하나의 카메라를 통해 상기 결정한 관심 영역을 포함하는 영상을 획득하고, 상기 획득한 영상에 포함된 객체를 식별하고, 상기 식별한 객체와 상기 적어도 하나의 V2X 메시지를 매칭하고, 상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하도록 하는 인스트럭션들을 저장할 수 있다. 이 밖의 다양한 실시예가 가능하다.

Description

메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치{METHOD FOR IMAGE PROCESSING BASED ON MESSAGE AND ELECTRONIC DEVICE IMPLEMENTING THE SAME}
본 문서에 개시된 다양한 실시예들은, 메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치에 관한 것이다.
전자 장치는 통신의 발달을 통해 운행 중인 차량과 관련된 정보를 처리하는 통신도 발달하고 있다.
차량 내 영상 촬영 장치를 통해 교통 상황에서 발생하는 이벤트를 녹화하여 분석하는 기술이 발달하고 있다.
또한 차량 사물 통신으로 불리는 V2X(vehicle to everything) 기술이 연구되고 있으며, 차량을 중심으로 유무선망을 통해 정보를 제공하는 기술이 발달하고 있다.
V2X 기술은 차량 간의 통신(vehicle to vehicle, V2V), 차량과 도로 인프라와의 통신(vehicle to infrastructure, V2I), 차량과 클라우드 간의 통신(vehicle to network, V2N) 또는 차량과 이동단말 간 통신(vehicle to pedestrian, V2P)을 포함할 수 있다.
차량 내 영상 촬영 장치를 이용하여 교통 상황을 촬영하고 분석하는 방법의 경우, 외부 차량에 대한 운행 정보를 정확히 확인할 수 없기 때문에 교통 상황에 대한 정확한 분석이 어려울 수 있다.
V2X 통신 기반의 V2X 메시지를 통하여 교통 상황을 분석하는 방법의 경우, GNSS 정보 기반하기 때문에 메시지의 신뢰도가 낮아질 수 있어서 교통 상황에 대한 정확한 분석이 어려울 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치는 V2X 통신을 지원하는 제1 통신 회로, 상기 제1 통신 회로와 작동적으로 연결된 프로세서 및 상기 프로세서와 작동적으로 연결된 메모리를 포함하며, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 제1 통신 회로를 통해 적어도 하나의 V2X 메시지를 수신하고, 상기 적어도 하나의 V2X 메시지에 기초하여, 영상 촬영 여부를 결정하고, 영상을 촬영하는 것으로 결정한 것에 대한 응답으로, 상기 적어도 하나의 V2X 메시지에 기초하여 관심 영역을 결정하고, 상기 전자 장치와 전기적으로 연결된 적어도 하나의 카메라를 통해 상기 결정한 관심 영역을 포함하는 영상을 획득하고, 상기 획득한 영상에 포함된 객체를 식별하고, 상기 식별한 객체와 상기 적어도 하나의 V2X 메시지를 매칭하고, 상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하도록 하는 인스트럭션들을 저장할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치의 영상 처리 방법은, 적어도 하나의 V2X 메시지를 수신하는 동작, 상기 적어도 하나의 V2X 메시지에 기초하여, 영상 촬영 여부를 결정하는 동작, 영상을 촬영하는 것으로 결정한 것에 응답으로, 상기 적어도 하나의 V2X 메시지에 기초하여 관심 영역을 결정하는 동작, 상기 전자 장치와 전기적으로 연결된 적어도 하나의 카메라를 통해 상기 결정한 관심 영역을 포함하는 영상을 획득하는 동작, 상기 획득한 영상에 포함된 객체를 식별하는 동작, 상기 식별한 객체와 상기 적어도 하나의 V2X 메시지를 매칭하는 동작 및 상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하는 동작을 포함할 수 있다.
본 개시의 다양한 실시예에 따른 전자 장치는 V2X 메시지를 분석한 정보와 영상을 분석한 정보를 비교하여 매칭을 수행하고, V2X 메시지에 포함된 정보가 결합된 영상을 생성함으로써, 교통 상황에서 발생하는 다양한 이벤트를 정확히 분석할 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다
도 2a 내지 도 2c는 다양한 실시예들에 따른 전자 장치의 블록도이다.
도 3은 다양한 실시예에 따른 전자 장치의 블록도이다.
도 4는 다양한 실시예에 따른 전자 장치가 영상을 획득하는 모습을 간략하게 도시한 도면이다.
도 5는 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
도 6은 다양한 실시예에 따른 전자 장치가 영상 촬영 여부를 결정하고, 관심 영역을 추출하는 방법을 도시한 도면이다.
도 7은 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
도 8은 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
도 9는 다양한 실시예에 따른 영상 촬영 시작 시점 및 종료 시점을 도시한 도면이다.
도 10은 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
도 11은 다양한 실시예에 따른 적어도 하나의 V2X 메시지를 분석하여 외부 장치의 정보를 계산하는 방법을 도시한 도면이다.
도 12는 다양한 실시예에 따른 영상을 분석하여 식별한 객체에 관한 정보를 계산하는 방법을 도시한 도면이다.
도 13은 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
도 14 및 도 15는 다양한 실시예에 따른 전자 장치가 적어도 하나의 V2X 메시지가 결합된 영상을 표시하는 도면이다.
도 16은 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2a 내지 도 2c는 다양한 실시예들에 따른 전자 장치의 블록도이다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트 폰), 차량용 전장 장치를 포함할 수 있으며 차량 자체에 해당할 수도 있다. 전자 장치가 휴대용 통신 장치인 경우 차량에 설치 또는 부착되어 사용될 수 있다.
다양한 실시예에 따르면, 전자 장치는 활발한 이동성을 갖는 차량 환경에서 높은 속도 및 낮은 지연 특성을 갖는 무선 통신 시스템을 포함할 수 있다. 다양한 실시예에 따른 전자 장치는 V2X 통신을 지원하는 전자 장치일 수 있다.
다양한 실시예에서 전자 장치(201)는, 예를 들어, 활발한 이동성을 갖는 차량 환경에서 높은 속도, 짧은 범위 및 낮은 지연 특성을 가지는 무선 통신 시스템을 필요로 할 수 있다. 이를 위해 전자 장치(201)는 WAVE(wireless access in vehicular environment) 통신 규격을 따르며 WAVE 통신 규격은 IEEE(institute of electrical and electronics engineers) 802.11p 및 IEEE 1609 표준을 포함할 수 있다.
도 2a를 참조하면, 전자 장치(201)(예: 도 1의 전자 장치(101))는, AP(application processor)(211), 디스플레이(display)(212), 오디오 모듈(audio module)(312), 카메라(camera)(214), PMIC(215), USB 인터페이스(216), 배터리(battery)(217), 센서 허브(sensor hub)(218), 가속도 센서(acceleration sensor)(219), 자이로 센서(gyroscope sensor)(220), 지자계 센서(magnetic sensor)(221), GNSS 모듈(231), GNSS 용 안테나(232), RFIC(233), RFIC 용 안테나(234), V2X 모듈(235), V2X 용 안테나(236), 보안 모듈(security chip)(237), 또는 메모리(memory)(240)를 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치(201)는 V2X 통신을 지원 가능하도록 하는 V2X 통신 모듈(210)을 포함할 수 있다. 상기 V2X 통신 모듈(210)은 V2X 모듈(235) 및 security chip(237)을 포함할 수 있다.
다양한 실시예에 따른 V2X 통신은, 예를 들어, 셀룰러 통신 기반의 V2X 통신인 C-V2X 통신을 포함할 수 있다. C-V2X 통신은 3GPP 표준 규격을 따를 수 있다. C-V2X 통신의 경우 기존의 이동 통신사 기지국을 이용하여 통신을 수행할 수 있다.
다양한 실시예에 따른 V2X 통신은, 예를 들어, DSRC(dedicated short range communication) 기반의 WAVE(wireless access in vehicle) 통신을 포함할 수 있다. WAVE 통신은 IEEE 802.11p 및 IEEE 1609 표준 규격을 따를 수 있다. WAVE 통신의 경우, 와이파이(Wi-Fi)에 기반하므로 전용 노변 기지국(RSU, roadside unit)을 설치하여 통신을 수행할 수 있다.
AP(211)(예: 도 1의 메인 프로세서(121))는, 전자 장치(201)의 전반적인 동작을 수행하도록 제어할 수 있다. 예를 들어, 메모리(240)(예: 도 1의 메모리(130))에 저장된 명령이 수행됨에 따라서, 명령에 대응하는 동작을 수행하도록 적어도 하나의 하드웨어를 제어할 수 있다. AP(211)는, 수면(sleep, 슬립) 상태 또는 자동 활성화(wake-up, 웨이크 업) 상태 중 어느 하나의 상태를 가질 수 있다. 수면(sleep, 슬립) 상태인 경우에는, AP(211)는 별다른 동작을 수행하지 않을 수 있으며, 이에 따라 AP(211)에 의한 배터리(217) 소모는 작아질 수 있다. AP(211)는, 다양한 조건을 트리거로 자동 활성화(wake-up, 웨이크 업) 상태로 전환할 수도 있거나, 또는 전자 장치(201)의 다양한 상태 중 어느 하나의 상태로 전환할 수도 있다. 상기 다양한 상태는, PSM 또는 BSM 중 적어도 하나의 송신 또는 수신 중 적어도 하나와 연관된 상태일 수 있다. 자동 활성화(wake-up, 웨이크 업) 상태에서, AP(211)는 메모리(240)에 저장된 명령에 따라 작동할 수 있다. AP(211)는, 가속도 센서(219), 자이로 센서(220), 또는 지자계 센서(221) 등의 다양한 센서로부터의 데이터, GNSS 모듈(231)로부터의 데이터, 카메라(214)에 의하여 획득된 이미지 분석 결과 등의 다양한 정보를 획득할 수 있다. AP(211)는, 상기 획득한 정보를 포함한 통신 신호를 송신하도록 V2X 모듈(235) 및 V2X 용 안테나(236)를 제어할 수 있다. 도시되지는 않았지만, V2X 모듈(235) 및 V2X 용 안테나(236) 사이에는 FEM(front end module)이 연결될 수도 있다.
다양한 실시예에 따르면 V2X 모듈(235)은 C-V2X 통신을 지원하는 경우, 셀룰러 기반의 V2X(cellular V2X, C-V2X) 데이터 처리와 차량 안전과 연관된 데이터 처리를 모두 수행할 수 있는 칩 셋으로 구현될 수 있다. 상기의 경우, 예를 들어, V2X 모듈(235)은, 3GPP 표준 규격에 의한 데이터를 처리할 수 있도록 제작된 칩 셋으로 구현될 수 있다. 3GPP의 Release 14에서는 C-V2X 다이렉트 통신 및 C-V2X 네트워크 통신을 가능하게 하는 2가지 전송 모드에 관한 표준 규격을 정의하고 있다. V2X 용 안테나(236)는, C-V2X 용 통신 신호의 송수신 및 차량 안전과 연관된 통신 신호(예: LTE-V2X 통신 신호, 5G-V2X 통신 신호, NR-V2X 통신 신호)의 송수신을 수행할 수 있다. C-V2X 용 통신 신호는 5GHz의 중심 주파수의 주파수 대역을 이용할 수 있을 뿐만 아니라 상용 주파수 대역을 활용할 수 있다. V2X 용 안테나(236)는 하나의 안테나인 것과 같이 도시되어 있지만, 이는 단순히 예시적인 것으로, 통신 표준에서 요구되는 바에 따라 복수 개의 안테나로 구현될 수 있다. 보안 모듈(237)에는 C-V2X 용 데이터 처리에 요구되는 정보가 저장될 수 있으며, V2X 모듈(235)은 저장된 정보를 이용하여 C-V2X 용 데이터를 처리할 수 있다.
다양한 실시예에 따르면 V2X 모듈(235)은 WAVE 통신을 지원하는 경우, Wi-Fi용 데이터 처리와 차량 안전과 연관된 데이터(예: WAVE용 데이터) 처리를 모두 수행할 수 있는 칩 셋으로 구현될 수 있다. 상기의 경우, 예를 들어, V2X 모듈(235)은, IEEE 802.11 a/c/n/p에 의한 데이터를 처리할 수 있도록 제작된 칩 셋으로 구현될 수 있다. 아울러, V2X 용 안테나(236)는, Wi-Fi용 통신 신호의 송수신 및 차량 안전과 연관된 통신 신호(예: WAVE용 통신 신호)의 송수신을 수행할 수 있다. 예를 들어, Wi-Fi용 통신 신호는 5GHz의 중심 주파수의 주파수 대역을 이용할 수 있으며, WAVE용 통신 신호는, Wi-Fi용 주파수 대역과 차이가 비교적 작은 5.8GHz의 중심 주파수의 주파수 대역을 이용할 수 있어, V2X 용 안테나(236)가 두 통신 신호의 송수신을 모두 수행할 수 있다. 보안 모듈(237)에는 WAVE용 데이터 처리에 요구되는 정보가 저장될 수 있으며, V2X 모듈(235)은 저장된 정보를 이용하여 WAVE용 데이터를 처리할 수 있다. 예를 들어, 보안 모듈(237)에는 WAVE 변/복조에 이용되는 정보, 암호화/해독에 이용되는 정보, 메시지를 처리하는데 이용되는 정보 등의 다양한 정보가 저장될 수 있다. 보안 모듈(237)은 V2X 모듈(235), AP(211) 또는 센서 허브(218)가 직접 또는 간접적으로 접근(access)할 수 있다. 보안 모듈(237)은, 구현에 따라 메모리(240)와 일체형으로 구현될 수도 있거나, 또는 상이한 하드웨어로 구현될 수도 있다. V2X 모듈(235)은 AP(211)로부터 데이터를 수신하여, 이를 처리하여 WAVE용 통신 신호에 대응되는 전기적인 신호를 생성하여 V2X 용 안테나(236)로 제공할 수 있다. 또는, V2X 모듈(235)은 센서 허브(218)로부터 데이터를 수신하여, 이를 처리하여 WAVE용 통신 신호에 대응되는 전기적인 신호를 생성하여 V2X 용 안테나(236)로 제공할 수도 있다. 예를 들어, AP(211)가 자동 활성화(wake-up, 웨이크 업) 상태인 경우에는, V2X 모듈(235)은 AP(211) 또는 센서 허브(218) 중 적어도 하나로부터 데이터를 수신할 수 있다. AP(211)가 수면(sleep, 슬립) 상태인 경우에는, V2X 모듈(235)은 센서 허브(218)로부터 데이터를 수신할 수 있다. 센서 허브(218)(예: 예: 도 1의 보조 프로세서(123))는 센서들(예: 가속도 센서(219), 자이로 센서(220), 또는 지자계 센서(221)) 또는 GNSS 모듈(231) 중 적어도 하나로부터의 데이터를 획득하여 처리할 수 있는 처리 회로 또는 이를 일시적 또는 비일시적으로 저장할 수 있는 저장 회로 중 적어도 하나를 포함할 수 있다. V2X 모듈(235)은 WAVE용 통신 신호를 처리할 수 있는 처리 회로, 통신 신호를 송신할 수 있는 송신 회로, 또는 통신 신호를 수신할 수 있는 수신 회로 중 적어도 하나를 포함할 수 있다. V2X 모듈(235)은, 지정된 주기마다 통신 신호를 수신하기 위해 스캔(scan)할 수 있으며, 이를 분석할 수 있고, AP(211)가 수면(sleep, 슬립) 상태인 경우에도 작동할 수 있다. V2X 모듈(235)은, 통신 신호를 수신하여, 통신 신호에 포함된 데이터가 지정된 조건을 만족하면, AP(211)를 자동 활성화(wake-up, 웨이크 업) 시킬 수도 있다. 일반적인 Wi-Fi 동작에서 AP(211)가 수면(sleep, 슬립) 상태인 경우, 이전에 한번이라도 연결하였거나, 지정된 조건의 접근점(access point)으로부터 통신 신호가 수신되는 경우 AP(211)를 자동 활성화(wake-up, 웨이크 업)할 수 있다. 지정된 조건이나 연결하였던 접근점에 대한 정보가 갱신될 수 있으므로, 갱신이 필요한 경우 AP(211)에 의하여 V2X 모듈(235)의 저장소의 정보가 변경될 수 있으며, V2X 모듈(235)은 변경된 정보에 의하여 작동할 수 있다. V2X 모듈(235)은, 통신 신호를 송신하기 위한 송신 회로 및 다른 전자 장치로부터의 통신 신호를 처리하기 위한 수신 회로를 포함할 수 있다. 전자 장치(201)는, 송신 회로 또는 수신 회로를 선택적으로 활성화할 수 있다. 예를 들어, 송신 회로는 비활성화하고 수신 회로를 활성화하여, 통신 신호를 송신하지 않으면서도 다른 개체로부터의 통신 신호를 스캔 할 수도 있다. 본 문서에서, 통신을 수행하기 위한 임의의 모듈은 통신 회로로 명명될 수도 있다.
AP(211) 또는 센서 허브(218)는, 전자 장치(201)의 현재 위치가 위험 지역에 대응되는 것으로 판단되고, 전자 장치(201)가 운송 수단의 외부에 위치하는 것으로 판단되면, 이에 대응하여 V2X 모듈(235)의 송신 회로를 활성화하고, 활성화된 송신 회로를 통하여 획득한 데이터를 포함한 통신 신호(예: PSM을 포함한 통신 신호)를 송신하도록 제어할 수 있다. AP(211) 또는 센서 허브(218)는, 지정된 지역에 대한 지리적 정보의 적어도 일부를 이용하여 통신 신호를 송신하도록 제어할 수도 있다. 예를 들어, 전자 장치(201)가 지정된 지역에 진입하면, 노변 기지국(예: 노변 기지국) 또는 서버를 통하여 지정된 지역에 대한 지리적 정보를 수신하여 메모리(240)에 저장할 수 있다. 본 발명의 다양한 실시예에서, 메모리(240)에는 위험 지역에 대한 정보가 저장될 수 있다. 본 발명의 다양한 실시예에 따른 지리적 정보는, 지정된 위도, 경도 또는 고도 중 적어도 하나와 관련된 수치로 표현되는 데이터이거나, 또는 이미지 형태의 데이터일 수도 있다. AP(211) 또는 센서 허브(218)는, GNSS 모듈(231)을 통하여 확인되는 전자 장치(201)의 위치 정보가, 지정된 위치(예: 위험 지역 등)에 속한다고 판단되면, 통신 신호를 송신하도록 V2X 모듈(235)을 제어할 수도 있다. AP(211)가 수면(sleep, 슬립) 상태인 경우에는, 센서 허브(218)는, 메모리(240)로부터 지정된 지역에 대한 지리적 정보 중 적어도 일부만을 수신하여 저장하고, 저장된 지리적 정보와 GNSS 모듈(231)을 통하여 확인되는 전자 장치(201)의 현재 위치를 비교할 수 있다. 센서 허브(218)는 비교 결과에 기초하여 통신 신호를 송신할지 여부를 판단할 수 있다.
디스플레이(212)(예: 도 1의 표시 장치(160))는, 차량 안전과 연관되는 다양한 그래픽 오브젝트(예: GUI(graphic user interface))를 표시할 수 있다. 본 발명의 다양한 실시예에서, 디스플레이(212)는 V2X 메시지를 송수신할지 여부를 활성화할 수 있는 그래픽 오브젝트를 표시할 수도 있으며, AP(211)는 사용자로부터 입력에 따라 V2X 메시지를 송수신할 수도 있다. 오디오 모듈(213)(예: 도 1의 오디오 모듈(170))은, 차량 관련 경고 음성을 출력할 수 있다. 카메라(214)(예: 도 1의 카메라 모듈(180))는 이미지를 촬영할 수 있으며, AP(211)는 카메라(214)로부터 수신한 이미지를 이용하여 V2X 메시지 송수신 활성화 여부를 판단할 수도 있다. PMIC(215)(예: 도 1의 전력 관리 모듈(188))는 배터리(217)(예: 도 1의 배터리(189))로부터의 전력의 전압 또는 전류 중 적어도 하나를 각 하드웨어에 적합한 수치로 제어하여 공급할 수 있다. USB 인터페이스(216)(예: 도 1의 인터페이스(177))를 통하여 유선 전력 송신을 위한 케이블이 연결될 수도 있으며, 전자 장치(201)는 USB 인터페이스(216)(예: 인터페이스(177))를 통하여 전력을 수신할 수도 있다. RFIC(233)는, 예를 들어 데이터 통신을 위한 칩 셋으로 구현될 수도 있으며, AP(211)로부터의 데이터에 기초하여 데이터 통신용 신호에 대응하는 전기적인 신호를 생성하여 RFIC용 안테나(234)로 제공할 수 있다. 가속도 센서(219)는, 전자 장치(201)의 가속도를 확인할 수 있으며, 자이로 센서(220)는 회전 정보를 확인할 수 있으며, 지자계 센서(221)는 지자계 정보를 확인할 수 있다. AP(211) 또는 센서 허브(218)는, 각종 센서들(예: 가속도 센서(219), 자이로 센서(220), 또는 지자계 센서(221)) 또는 GNSS 모듈(231)로부터의 데이터를 이용하여 V2X 모듈(235)을 통하여 송신할 통신 신호(예: PSM을 포함하는 통신 신호 등)에 정보를 포함시킬 수 있다.
본 발명의 다양한 실시예에서, 전자 장치(201)는 센서 허브(218)를 포함하지 않을 수도 있다. 이 경우에는, AP(211)가 항상 자동 활성화(wake-up, 웨이크 업) 상태이거나, 또는 주기적으로 자동 활성화(wake-up, 웨이크 업)하여, 통신 신호를 송신할지 여부를 판단할 수도 있다.
본 발명의 다양한 실시예에서, AP(211) 또는 센서 허브(218)는 VRU 안전 어플리케이션(vulnerable road user safety application)을 실행할 수 있다. VRU 안전 어플리케이션은 상술한 BSM 또는 PSM을 생성할 수 있는 어플리케이션일 수 있다. VRU 안전 어플리케이션은 GNSS 모듈(231)로부터의 데이터, BLE 측위 시스템으로부터 획득된 데이터, 다양한 센서들(예: 가속도 센서(219), 자이로 센서(220), 또는 지자계 센서(221))로부터 수집한 데이터를 적어도 일부에 기반하여, 전자 장치(201)의 위치, 방향, 속력, 시간, 또는 다른 개체들과의 상대적인 위치를 판단할 수 있다. VRU 안전 어플리케이션은 감지되는 이벤트에 따라 PSM을 생성하거나 또는 해당 PSM을 송신하는 시점을 결정할 수 있다.
본 발명의 다양한 실시예에서, AP(211) 또는 센서 허브(218)는, 전자 장치(201)의 다양한 상태 중 어느 하나를 선택할 수 있으며, 이에 대응하여 PSM 또는 BSM의 송신 또는 수신 모드를 결정할 수 있다. AP(211) 또는 센서 허브(218)는, 결정된 송수신 모드에 따라서, V2X 모듈(235)의 송수신 모드를 제어할 수 있다.
도 2b를 참조하면, 전자 장치(201)는 V2X 통신을 지원하는 외부 전자 장치(250) 간의 통신을 통해 V2X 통신을 수행할 수 있다. 상기 외부 전자 장치(250)는 동글 형태의 V2X 통신 모듈일 수 있다. 외부 전자 장치(250)는 기저 대역 제어기(baseband controller)(251), 트랜시버(tranceiver)(252), 및/또는 상기 트랜시버(tranceiver)(252)에 연결된 RF fronted(253, 254)를 포함할 수 있다.
일 실시예에서, 기저 대역 제어기(baseband controller)(251)는 지정된 반송파를 변조하기 위해 사용되는 모든 신호에 의해 얻어지는 주파수 대역을 제어하는 역할을 수행할 수 있다.
일 실시예에서, 트랜시버(tranceiver)(252), 상기 트랜시버(tranceiver)(252)에 연결된 RF fronted(253, 254)는 기저 대역 제어기(baseband controller)(251)의 제어 하에 V2X 통신 규격에 따라 V2X 통신을 수행할 수 있다. 예를 들어, 3GPP 통신 표준 규격에 따라 C-V2X 통신을 수행할 수도 있고, IEEE 통신 표준 규격에 따라 WAVE 통신을 수행할 수도 있다.
이에 한정하는 것은 아니며, 외부 전자 장치(250)는 전자 장치(201) 및 외부 전자 장치(250)를 연결하는 예컨대, USB 커넥터(USB connector)(미도시), 외부 전자 장치(250)에 전력을 공급하는 파워 서플라이(power supply)(255), 및/또는 SPI(serial peripheral interface) FLASH 메모리를 포함하는 메모리(256)를 포함할 수 있다.
도 2c는 다양한 실시예에 따른 V2X 통신을 지원하는 차량용 전장 장치 형태의 전자 장치의 블록도이다.
도 2c를 참조하면, 다양한 실시예에 따른 전자 장치(201)는, 어플리케이션 프로세서(261)(예: 도 1의 메인 프로세서(121)), 통신 프로세서(263)(예: 도 1의 보조 프로세서(123)), 센서 모듈(271)(예: 도 1의 센서 모듈(176)), 센서 데이터 처리 모듈(273), 디스플레이(265)(예: 도 1의 표시 장치(160)), 메모리(267)(예: 도 1의 메모리(130)), 적어도 하나의 통신 회로(291, 293, 295, 297, 299)(예: 도 1의 통신 모듈(190)), 전자 제어 장치(281)(electronic control unit, ECU) 또는 차량 진단 모듈(293)(on-board diagnostics, OBD)을 포함할 수 있다. 도 2c에 도시된 구성 중 일부가 생략 또는 치환되더라도 본 문서에 개시된 다양한 실시예를 구현함에는 지장이 없을 것이며 도 1 및 도 2a에 도시된 구성요소 중 일부가 추가되더라도 본 문서에 개시된 다양한 실시예를 구현함에는 지장이 없을 것이다. 도 2a에서 설명한 내용과 중복되는 내용은 생략하기로 한다.
다양한 실시예에 따른 통신 프로세서(263)는, 데이터 통신망에서 데이터 링크의 관리, 프로토콜의 변환을 수행하는 보조 프로세서일 수 있다. 다양한 실시예에 따른 통신 프로세서(263)는 메인 프로세서(261)와 별도로 구성될 수도 있고, 메인 프로세서(261)와 하나의 프로세서로 구현될 수도 있다.
다양한 실시예에 따른 복수의 전자 제어 장치(281)(electronic control unit, ECU)는 차량의 상태를 제어하는 장치일 수 있다. ECU(281)는, 예를 들어, 자동차의 엔진, 자동변속기, ABS의 상태를 제어할 수 있다. 다양한 실시예에 따른 차량 진단 모듈(283)(on-board diagnostics, OBD) 차량의 기관 제어 시스템이 집적되어 있는 진단/감시 시스템일 수 있다. OBD(283)는, 예를 들어, 차량의 배기 가스 또는 증발 가스와 관련된 시스템을 감시할 수 있다.
다양한 실시예에 따른 전자 장치(201)는, 전자 장치(201)에 설치 또는 부착된 적어도 하나의 카메라와 전기적으로 연결될 수 있다. 전자 장치(201)는, 예를 들어, 상기 전기적으로 연결된 적어도 하나의 카메라를 통해 영상을 획득할 수 있다.
다양한 실시예에 따른 적어도 하나의 통신 회로는, 셀룰러 통신 회로(291), BT/Wi-Fi 통신 회로(293), GNSS 모듈(295), C-V2X 통신 회로(297) 또는 DSRC 통신 기반의 WAVE 통신 회로(299)를 포함할 수 있다.
다양한 실시예에 따른 셀룰러 통신 회로(291)는, 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성될 수 있다.
다양한 실시예에 따른 BT/Wi-Fi 통신 회로(293)는, 근거리 통신(예: Bluetooth, Bluetooth Low Energy(BLE), Wi-Fi)을 이용해 외부 장치와 데이터를 송수신할 수 있도록 구성될 수 있다.
다양한 실시예에 따른 GNSS 모듈(295)은, 위성에서 보내는 신호를 수신하여 전자 장치의 위치를 계산하는 센서일 수 있다. GNSS(global navigation satellite system)란 인공 위성을 이용하여 지상물의 위치, 고도 또는 속도에 관한 정보를 제공하는 시스템을 의미할 수 있다. GNSS 모듈(295)은, 예를 들어, 지피에스(global positioning system, GPS), 글로나스(global navigation satellite system, GLONASS), 갈릴레오(europian satellite navigation system, GALILEO), 베이더우(beidou), 준텐초 또는 IRNSS(indian regional navigation satellite system)을 포함할 수 있다.
다양한 실시예에 따른 C-V2X 통신 회로(297)는, 3GPP 표준 규격을 따르는 C-V2X 통신을 통해 V2X 메시지를 송수신하도록 구성될 수 있다.
다양한 실시예에 따른 DSRC 통신 기반의 WAVE 통신 회로(299)는, IEEE 802.11p 및 IEEE 1609 표준 규격을 따르는 WAVE 통신을 통해 V2X 메시지를 송수신하도록 구성될 수 있다.
도 3은 다양한 실시예에 따른 전자 장치의 블록도이다. 도 3은 다양한 실시예에 따른 전자 장치의 하드웨어 모듈 및 소프트웨어 모듈을 도시한 블록도이다.
도 3을 참조하면, 다양한 실시예에 따른 전자 장치(201)(예: 도 1의 전자 장치(101))는 어플리케이션 프로세서(310)(예: 도 1의 메인 프로세서(121), 도 2a의 어플리케이션 프로세서(211), 도 2c의 어플리케이션 프로세서(261)), 통신 프로세서(320)(예: 도 1의 보조 프로세서(123), 도 2c의 통신 프로세서(263)), 셀룰러 통신 회로(331)(예: 도 1의 통신 모듈(190), 도 2c의 셀룰러 통신 회로(291)), V2X 통신 회로(333)(예: 도 2a의 V2X 통신 모듈(210)), 적어도 하나의 카메라(340)(예: 도 1의 카메라 모듈(180)), 인코더(350), 메모리(360)(예: 도 1의 메모리(130), 도 2a의 메모리(240), 도 2c의 메모리(267)), 디스플레이(370)(예: 도 1의 표시 장치(160), 도 2a의 디스플레이(212), 도 2c의 디스플레이(265)), 또는 센서 모듈(380)(예: 도 1의 센서 모듈(176))을 포함할 수 있다. 도 3에 도시된 구성 중 일부가 생략 또는 치환되더라도 본 문서에 개시된 다양한 실시예를 구현함에는 지장이 없을 것이며 도 1, 도 2a 내지 도 2c에 도시된 구성요소 중 일부가 추가되더라도 본 문서에 개시된 다양한 실시예를 구현함에는 지장이 없을 것이다. 도 2a 내지 도 2c에서 설명한 내용과 중복되는 내용은 생략하기로 한다.
다양한 실시예에 따르면, 어플리케이션 프로세서(310)는 전자 장치(201)의 각 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있다. 다양한 실시예에 따른 어플리케이션 프로세서(310) 및 통신 프로세서(320)는 하나의 프로세서로 구현될 수 있다. 본 문서에 개시된 다양한 실시예에서는 어플리케이션 프로세서(310)와 통신 프로세서(320)가 하나의 프로세서로 구현된 것으로 가정하여 설명하겠다.
다양한 실시예에 따른 셀룰러 통신 회로(331)는 셀룰러 망을 사용하는 통신 사업자의 라이선스 주파수 대역을 사용하여 LTE 또는 5G 통신을 수행하도록 구성될 수 있다. 예를 들어, 어플리케이션 프로세서(310)는, 셀룰러 통신 회로(331)를 통해, 영상을 MEC(mobile edge cloud 또는 multi-access edge cloud) 서버로 전송할 수 있다. MEC 서버는, 예를 들어, 클라우드를 통해 어플리케이션 서비스를 수행할 때 발생할 수 있는 레이턴시를 줄이기 위하여 네트워크 에지(edge)에 클라우드 서버를 배치하여 특정 어플리케이션을 위한 컴퓨팅/스토리지/네트워킹 기능을 수행하는 서버일 수 있다.
다양한 실시예에 따른 V2X 통신 회로(333)는, C-V2X 통신 또는 WAVE 통신을 통하여 적어도 하나의 V2X 메시지를 송수신하도록 구성될 수 있다.
다양한 실시예에 따른 통신 프로세서(320)는, V2X 정보 수집 모듈 또는 V2X 정보 생성 모듈을 포함할 수 있다. 상기 모듈들은 소프트웨어 모듈일 수 있다. 다양한 실시예에 따른 V2X 정보 수집 모듈은 V2X 통신 회로(333)를 통해 외부 장치(예: 외부 차량, 인프라, 사용자 단말)로부터 수신되는 적어도 하나의 V2X 메시지 분석하여 V2X 데이터를 수집할 수 있다. 다양한 실시예에 따른 V2X 정보 생성 모듈은 전자 장치의 속도, 위치, 방향, 시간 또는 차량 경로 중 적어도 하나의 정보를 포함하는 V2X 정보를 생성할 수 있다. 다양한 실시예에 따른 통신 프로세서(320)는 생성한 V2X 정보를 포함하는 V2X 메시지를 V2X 통신 회로를 통해 외부 장치로 브로드캐스팅할 수 있다. 이하 본 문서에 개시된 다양한 실시예에서는 통신 프로세서(320)가 어플리케이션 프로세서(310)와 함께 하나의 프로세서로 구현된 것으로 가정하여 설명하겠다.
다양한 실시예에 따른 적어도 하나의 카메라(340)는, 정지 영상 및 동영상을 촬영하여 촬영된 영상에 관한 원시 데이터(raw data)를 생성할 수 있다. 다양한 실시예에 따른 적어도 하나의 카메라(340)는 전자 장치(201)에 내장된 카메라일 수도 있고, 전자 장치(201)와 전기적으로 연결되어 차량의 일 측면(예: 차량의 전면, 후면 또는 측면)에 설치 또는 부착된 카메라일 수도 있다.
다양한 실시예에 따르면 어플리케이션 프로세서(310)는 차량 인식 모듈(311) 및 관심 영역 생성 모듈(313)을 포함할 수 있다. 상기 모듈은 소프트웨어 모듈일 수 있다.
다양한 실시예에 따른 차량 인식 모듈(311)은 적어도 하나의 카메라(340)를 통해 획득한 영상의 원시 데이터를 분석하여 전자 장치(201) 외부의 차량 객체를 인식할 수 있다.
다양한 실시예에 따른 어플리케이션 프로세서(310)는 V2X 통신 회로(333)를 통해 적어도 하나의 V2X 메시지를 수신할 수 있다.
V2X 메시지는, 예를 들어, V2V 통신을 통해 외부 차량으로부터 수신하는 BSM(basic safety message) 또는 V2I 통신을 통해 인프라로부터 수신하는 RSA(road side alert)을 포함할 수 있다.
BSM은 코어 데이터(core data), 차량 안전 정보(vehicle safety extensions), 특별 차량 정보(special vehicle extensions) 및 보충 차량 정보(supplemental vehicle extensions)를 포함할 수 있다. 코어 데이터는, 예를 들어, 순서 정보, 임시 ID, 시간, 위치(예: 위도, 경도, 고도) 정보, 정확도, 변속 장치 정보, 속도, 방향, 조향각, 3축 가속도, 각속도, 브레이크 상태 또는 차량의 크기 정보 중 적어도 하나를 포함할 수 있다. 차량 안전 정보는, 예를 들어, 차량 이벤트 정보, 경로 정보, 외부등(exterior lights) 정보 중 적어도 하나를 포함할 수 있다. 특별 차량 정보는, 예를 들어, 경고등(light bar in use) 정보, 부가 이벤트 정보 또는 공사 차선에 관한 정보 중 적어도 하나를 포함할 수 있다. 보충 차량 정보는, 예를 들어, 차 유형(type) 또는 차 분류(class)에 관한 정보 중 적어도 하나를 포함할 수 있다.
RSA는, 예를 들어, 순서 정보, RSA 유형 정보(예: 이벤트 종류 정보), 방향(heading), 위치(예: 경도, 위도, 고도), 고유 ID 및 환경 정보를 포함할 수 있다. 환경 정보는, 예를 들어, 온도, 습도, 감속 기준 정보(deceleration standard), 제한 속도 정보 또는 도로 폭 정보 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면 인프라는 발생한 이벤트의 구체적인 종류를 파악하기 위하여 영상 촬영이 가능한 차량에게 영상 촬영 요청 파라미터를 송신하여, 해당 차량이 영상 촬영을 수행하도록 제어할 수 있다. 상기 영상 촬영 파라미터는 RSA 메시지 프레임 내의 리저브(reserved) 영역에 포함될 수 있다.
다양한 실시예에 따른 어플리케이션 프로세서(310)는 적어도 하나의 V2X 메시지를 분석하여 적어도 하나의 카메라(340)를 통해 영상을 촬영할 지 여부를 결정할 수 있다.
어플리케이션 프로세서(310)는, 예를 들어, 수신한 적어도 하나의 V2X 메시지를 분석하여, 이벤트 발생 여부를 판단할 수 있다. 어플리케이션 프로세서(310)는, 예를 들어, 외부 장치(예: 외부 차량)가 브로드캐스팅 한 적어도 하나의 V2X 메시지를 수신할 수 있고, 수신한 V2X 메시지를 분석하여 이벤트(예: 교통 사고) 발생 여부를 판단할 수 있다. 어플리케이션 프로세서(310)는, 예를 들어, 특정 이벤트가 발생한 것에 대한 응답으로 영상을 촬영하는 것으로 결정할 수 있다.
다양한 실시예에 따른 어플리케이션 프로세서(310)는, 수신한 적어도 하나의 V2X 메시지에 기초하여 영상 촬영 여부를 결정할 수 있다.
다양한 실시예에 따른 어플리케이션 프로세서(310)는, 영상을 촬영하는 것으로 결정한 것에 대한 응답으로, 적어도 하나의 V2X 메시지에 기초하여 관심 영역을 결정할 수 있다. 예를 들어, 어플리케이션 프로세서(310)는 이벤트가 발생한 위치를 포함하는 일정 영역을 관심 영역으로 결정할 수 있다.
다양한 실시예에 따른 어플리케이션 프로세서(310)는, 전자 장치(201)와 전기적으로 연결된 적어도 하나의 카메라(340)를 통해 결정한 관심 영역을 포함하는 영상을 획득할 수 있다. 예를 들어, 어플리케이션 프로세서(310)는 적어도 하나의 카메라(340) 중 결정한 관심 영역을 촬영할 수 있는 카메라를 선택하고, 선택한 카메라를 제어하여 결정한 관심 영역을 포함하는 영상을 획득할 수 있다.
다양한 실시예에 따른 어플리케이션 프로세서(310)는 획득한 영상을 분석하여, 획득한 영상에 포함된 객체를 식별할 수 있다. 어플리케이션 프로세서(310)는, 예를 들어, 획득한 영상을 분석하여 상기 관심 영역에 대응하는 영역을 결정할 수 있다. 어플리케이션 프로세서(310)는 관심 영역에 대응하는 영역 내에 포함된 객체를 식별할 수 있다.
다양한 실시예에 따른 어플리케이션 프로세서(310)는 영상 내 식별한 객체와 수신한 적어도 하나의 V2X 메시지를 매칭할 수 있다.
예를 들어, 어플리케이션 프로세서(310)는 수신한 적어도 하나의 V2X 메시지를 분석하여, 상기 적어도 하나의 V2X 메시지를 전송한 외부 장치에 관한 정보를 계산할 수 있다. 예를 들어, 어플리케이션 프로세서(310)는 상기 적어도 하나의 V2X 메시지를 전송한 외부 장치의 위치, 전자 장치(201)로부터 상기 외부 장치까지의 거리, 전자 장치(201)의 이동 방향으로부터 상기 외부 장치까지의 각도, 상기 외부 장치의 크기 또는 상기 외부 장치의 종류 중 적어도 하나의 정보를 계산할 수 있다. 다양한 실시예에 따른 어플리케이션 프로세서(310)는, 적어도 하나의 V2X 메시지를 분석하여 계산한 정보를 테이블 형태로 데이터베이스화 하여 저장할 수 있다.
예를 들어, 어플리케이션 프로세서(310)는 획득한 영상을 분석하여, 식별한 객체에 관한 정보를 계산할 수 있다. 예를 들어, 어플리케이션 프로세서(310)는 상기 적어도 하나의 V2X 메시지를 전송한 외부 장치의 위치, 전자 장치(201)로부터 상기 외부 장치까지의 거리, 전자 장치(201)의 이동 방향으로부터 상기 외부 장치까지의 각도, 상기 외부 장치의 크기 또는 상기 외부 장치의 종류 중 적어도 하나의 정보를 계산할 수 있다. 다양한 실시예에 따른 어플리케이션 프로세서(310)는, 영상을 분석하여 계산한 정보를 테이블 형태로 데이터베이스화 하여 저장할 수 있다.
다양한 실시예에 따른 어플리케이션 프로세서(310)는 적어도 하나의 V2X 메시지를 분석하여 계산한 정보와 영상을 분석하여 계산한 정보를 비교하여, 영상 내 식별한 객체와 적어도 하나의 V2X 메시지를 매칭할 수 있다.
다양한 실시예에 따른 어플리케이션 프로세서(310)는 인코더(350)를 통해 적어도 하나의 V2X 메시지가 결합된 영상을 생성할 수 있다. 인코더(350)는, 예를 들어, 적어도 하나의 V2X 메시지를 획득한 영상에 결합하고, 디지털 압축하여 최종 영상을 생성할 수 있다.
다양한 실시예에 따른 디스플레이(370)는 생성한 영상과 동시에 식별한 객체에 매칭되는 V2X 정보를 표시할 수 있다.
도 4는 다양한 실시예에 따른 전자 장치가 영상을 획득하는 모습을 간략하게 도시한 도면이다.
도 4를 참조하면, 다양한 실시예에 따른 전자 장치(201)가 내장 또는 부착된 차량(400)은 전자 장치(201)와 전기적으로 연결된 적어도 하나의 카메라(340)를 통해 영상을 획득할 수 있다. 적어도 하나의 카메라(340)는, 전면 카메라, 후면 카메라 또는 측면 카메라를 포함할 수 있다. 다양한 실시예에 따르면, 차량(400)은 주변 사물 또는 환경을 인지 하기 위하여 전면 센서, 후면 센서 또는 측면 센서를 포함할 수 있다.
다양한 실시예에 따른 전자 장치(201)의 어플리케이션 프로세서(310)는 차량(400)의 이동 방향(진행 방향) 전면(410)에 이벤트가 발생하였다고 판단하는 경우, 전면 카메라를 통해 전면(410)에 관한 영상을 획득할 수 있으며, 차량(400)의 이동 방향 우측면(430)에서 이벤트가 발생하였다고 판단하는 경우, 우측면 카메라를 통해 우측면(430)에 관한 영상을 획득할 수 있다.
도 5는 다양한 실시예에 따른 전자 장치의 동작 흐름도이다.
동작 흐름도 500을 참조하면, 다양한 실시예에 따른 프로세서(310)는, 동작 501에서, V2X 통신 회로(333)를 통해 적어도 하나의 V2X 메시지를 수신할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 503에서, 적어도 하나의 V2X 메시지에 기초하여 영상 촬영 여부를 결정할 수 있다. 프로세서(310)는, 예를 들어, 적어도 하나의 V2X 메시지를 분석하여, 영상 촬영이 필요한 것으로 기 설정된 이벤트가 발생하였는 지 여부에 따라 영상 촬영 여부를 결정할 수 있다. 영상 촬영 여부를 결정하는 구체적인 프로세서(310)는 이하 도 7에서 구체적으로 설명하기로 한다.
다양한 실시예에 따른 프로세서(310)는, 동작 505에서, 영상을 촬영하는 것으로 결정한 것에 응답하여 관심 영역을 설정할 수 있다. 프로세서(310)는, 예를 들어, 적어도 하나의 V2X 메시지를 분석하여 이벤트가 발생하였다고 판단한 경우, 상기 이벤트가 발생한 위치를 포함하는 일정 영역을 관심 영역으로 결정할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 507에서, 전자 장치(201)와 전기적으로 연결된 적어도 하나의 카메라(340)를 통해, 결정한 관심 영역을 포함하는 영상을 획득할 수 있다. 프로세서(310)는, 예를 들어, 전자 장치(201)와 전기적으로 연결된 적어도 하나의 카메라(340) 중 상기 관심 영역을 촬영하기 위한 카메라를 선택하고, 선택된 카메라를 제어하여 결정한 관심 영역을 포함하는 영상을 획득할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 509에서, 획득한 영상을 분석하여, 획득한 영상에 포함된 객체를 식별할 수 있다. 프로세서(310)는, 예를 들어, 획득한 영상을 분석하여 관심 영역에 대응하는 영역을 결정(또는 추출)할 수 있고, 관심 영역에 대응하는 영역 내에 포함된 객체를 식별할 수 있다. 상기 결정한 영역 내에 복수의 객체가 포함되어 있는 경우, 복수의 객체 각각을 식별할 수도 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 511에서, 영상 내 식별한 객체와 적어도 하나의 V2X 메시지를 매칭할 수 있다. 프로세서(310)는, 예를 들어, 적어도 하나의 V2X 메시지를 분석하여, 적어도 하나의 V2X 메시지를 송신한 외부 장치에 관한 정보를 계산할 수 있다. 프로세서(310)는, 예를 들어, 영상을 분석하여 식별한 객체에 관한 정보를 계산할 수 있다. 프로세서(310)는, 적어도 하나의 V2X 메시지를 분석하여 계산한 정보와 영상을 분석하여 계산한 정보를 비교하여, 매칭을 시도할 수 있다. 프로세서(310)는, 비교한 결과 적어도 하나의 V2X 메시지를 송신한 외부 장치와 상기 영상 내 식별한 객체가 서로 동일한 객체로 판단한 경우, 상기 적어도 하나의 V2X 메시지를 상기 식별한 객체에 매칭할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 513에서, 식별한 객체와 매칭되는 적어도 하나의 V2X 메시지가 결합된 영상을 생성할 수 있다. 프로세서(310)는, 예를 들어, 영상의 타임 스탬프에 상기 식별한 객체와 매칭되는 V2X 정보 및 발생한 이벤트의 종류를 마킹(marking)하여, 식별한 객체와 적어도 하나의 V2X 메시지가 결합된 영상을 생성할 수 있다.
도 6은 다양한 실시예에 따른 전자 장치가 영상 촬영 여부를 결정하고, 관심 영역을 추출하는 방법을 도시한 도면이다.
도 6을 참조하면, 전자 장치(201)가 내장 또는 부착된 차량(610)이 도로를 주행할 때, V2X 통신을 지원하는 외부 차량들(621, 623, 633)로부터 적어도 하나의 V2X 메시지를 수신할 수 있다. 예를 들어, 차량의 전자 장치(201)는 제1 외부 차량(621), 제2 외부 차량(623) 및 제3 외부 차량(633)으로부터 적어도 하나의 V2X 메시지를 수신할 수 있다. 예를 들어, 전자 장치(201)는 제1 외부 차량(621), 제2 외부 차량(623), 제3 외부 차량(633) 각각으로부터 위치 정보(예: GPS 정보), 임시 ID 정보, 이벤트 정보 또는 차선 정보 중 적어도 하나의 V2X 정보를 포함하는 V2X 메시지를 수신할 수 있다.
다양한 실시예에 따른 전자 장치(201)의 프로세서(310)는, 수신한 적어도 하나의 V2X 메시지에 기초하여, 영상 촬영 여부를 결정할 수 있다. 예를 들어, 프로세서(310)는 수신한 적어도 하나의 V2X 메시지를 분석하여, 영상 촬영이 필요하다고 기 설정된 이벤트가 발생 하였는지 여부를 판단할 수 있다. 예를 들어 프로세서(310)는 수신한 적어도 하나의 V2X 메시지를 분석한 결과, 제1 외부 차량(621) 및 제2 외부 차량(623)이 서로 충돌하여 충돌 사고 이벤트가 발생하였음을 판단할 수 있다. 충돌 사고 이벤트가 영상 촬영이 필요한 이벤트인 경우, 프로세서(310)는 영상을 촬영하는 것으로 결정할 수 있다. 예를 들어 프로세서(310)는 수신한 적어도 하나의 V2X 메시지를 분석한 결과, 제3 외부 차량(633)에서 급감속 이벤트가 발생하였음을 확인할 수 있다. 급감속 이벤트가 영상 촬영이 필요하지 않은 이벤트인 경우 프로세서(310)는 영상을 촬영하지 않는 것으로 결정할 수 있다.
다양한 실시예에 따른 프로세서(310)는 영상을 촬영한 것으로 결정한 것에 대한 응답으로 관심 영역(630)을 결정할 수 있다. 예를 들어 프로세서(310)는, 충돌 사고 이벤트가 발생하였음을 확인하여 영상 촬영을 결정한 경우, 충돌 사고 이벤트가 발생한 위치를 포함하는 일정 크기의 영역을 관심 영역(630)으로 결정할 수 있다.
다양한 실시예에 따른 프로세서(310)는 전자 장치(201)와 전기적으로 연결된 적어도 하나의 카메라(611a, 611b, 611c, 611d)(예: 도 3의 카메라(340))를 통해 결정된 관심 영역(630)을 포함하는 영상을 획득할 수 있다. 프로세서(310)는 결정된 관심 영역(630)을 포함하는 영상을 획득하기 위하여 적어도 하나의 카메라(611a, 611b, 611c, 611d) 중 촬영을 개시할 카메라를 결정할 수 있다. 예를 들어, 전자 장치(201)가 설치 또는 부착된 차량의 전면에 2개의 카메라(611a, 611b), 후면에 2개의 카메라(611c, 611d)가 설치되어 있다고 가정하자. 프로세서(310)는 적어도 하나의 V2X 메시지를 분석한 결과, 결정한 관심 영역(630)의 위치가 전자 장치(201)의 이동 방향의 좌측 정면에 있음을 확인할 수 있다. 상기의 경우 프로세서(310)는 차량의 2개의 전면 카메라(611a, 611b) 중 좌측에 설치된 제1 전면 카메라(611a)와 2개의 후면 카메라(611c, 611d) 중 좌측에 설치된 제1 후면 카메라(611c)를 촬영을 개시할 카메라로 선택할 수 있다. 다양한 실시예에 따른 프로세서(310)는 제1 전면 카메라(611a) 및 제1 후면 카메라(611c)를 통해 상기 관심 영역(630)을 포함하는 영상을 획득할 수 있다
도 7은 다양한 실시예에 따른 전자 장치의 동작 흐름도 이다. 구체적으로 도 7은 영상 촬영 여부를 결정하는 방법에 관한 동작 흐름도이다.
동작 흐름도 700을 참조하면, 다양한 실시예에 따른 프로세서(310)는, 동작 701에서, V2X 통신 회로(333)를 통해 적어도 하나의 V2X 메시지를 수신할 수 있다. V2X 메시지는, 예를 들어, BSM(basic safety message) 또는 RSA(road side alert)를 포함할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 703에서 적어도 하나의 V2X 메시지에 기초하여 이벤트 발생 여부를 판단할 수 있다. 예를 들어, 프로세서(310)는 적어도 하나의 V2X 메시지를 분석하여, 기 설정된 이벤트가 발생 하였는지 여부를 판단할 수 있다. 기 설정된 이벤트가 발생하지 않은 경우, 동작 701로 다시 분기하여 적어도 하나의 V2X 메시지를 수신할 수 있다. 기 설정된 이벤트가 발생한 경우, 동작 705로 분기하여 수신한 적어도 하나의 V2X 메시지에 영상 촬영 요청 파라미터가 존재하는 지 여부를 판단할 수 있다.
예를 들어, 수신한 V2X 메시지가 BSM인 경우, 프로세서(310)는 BSM의 차량 안전 정보를 통해 이벤트 발생 여부를 판단하고, 발생한 이벤트의 종류를 식별할 수 있다. 프로세서(310)는 발생한 이벤트의 종류에 기초하여 영상 촬영 여부를 결정할 수 있다. 예를 들어 프로세서(310)는, 발생한 이벤트가 영상 촬영이 필요하다고 기 설정된 이벤트인 경우 영상을 촬영하는 것으로 결정할 수 있다.
하기의 표 1은 영상 촬영이 필요한 이벤트의 종류에 대한 일 예시를 나타낸다. 다양한 실시예에 따르면 하기에 포함된 이벤트에는 영상 촬영 요청 파라미터가 포함되어 있고, 프로세서(310)는 영상 촬영 요청 파라미터가 포함된 이벤트가 발생한 것에 대한 응답으로 영상 촬영을 수행하는 것으로 결정할 수 있다. 다양한 실시예에 따르면, 이벤트의 우선 순위에 따라 영상 촬영 여부를 결정하는 가중치가 기 설정되어 있고, 프로세서(310)는 상기 가중치 값에 따라서 영상 촬영 여부를 결정할 수도 있다.
하기의 표 1에 도시된 항목들은 예시적인 것이다.
순번 이벤트 종류
1 ABS
2 Hard Breaking
3 Airbag
4 TractionControl loss
5 Stability Control activated
6 FlatTire
7 DiableVehicle
8 Roadwork
수신한 V2X 메시지가 RSA인 경우, RSA는 인프라에서 프로세싱을 통해 판단된 정보를 포함할 수 있다. RSA는, 예를 들어, 각각의 차량에서 전송되는 메시지 및 도로 상에 설치된 감지기를 통해서 수집된 정보에 기초하여 도로 상의 이벤트에 관한 정보를 필터링 하여 포함할 수 있다.
프로세서(310)는 RSA의 RSA 유형 정보를 통해 이벤트 발생 여부를 판단하고, 발생한 이벤트의 종류를 식별할 수 있다.
하기의 표 2는 영상 촬영이 필요한 이벤트의 종류에 대한 일 예시를 나타낸다. 다양한 실시예에 따르면, 하기의 표 2에 포함된 이벤트가 발생하는 경우, 프로세서(310)는 영상 촬영을 수행하는 것으로 결정할 수 있다. 다양한 실시예에 따르면, 이벤트의 우선 순위에 따라 영상 촬영 여부를 결정하는 가중치가 기 설정되어 있고, 프로세서(310)는 상기 가중치 값에 따라서 영상 촬영 여부를 결정할 수도 있다. 다양한 실시예에 따르면 RSA의 리저브 영역에 영상 촬영 요청 파라미터가 존재하는 경우, 프로세서(310)는 영상 촬영을 수행하는 것으로 결정할 수 있다.
하기의 표 2에 도시된 항목들은 예시적인 것이다.
순번 이벤트 종류
1 장애물
2 정체
3 사고
4 긴급차량
5 정지차량
6 장애물
7 보행자
8 동물
9 역주행
10 서행차량
다양한 실시예에 따르면, 수신한 적어도 하나의 V2X 메시지에 영상 촬영 요청 파라미터가 존재하는 경우, 동작 709로 분기하여, 프로세서(310)는 영상을 촬영하는 것으로 결정할 수 있다.
다양한 실시예에 따르면, 수신한 적어도 하나의 V2X 메시지에 영상 촬영 요청 파라미터가 존재하지 않는 경우, 동작 707로 분기하여, 프로세서(310)는 영상 촬영의 필요성이 존재하는 지 여부를 판단할 수 있다.
예를 들어, BSM 또는 RSA에 정의되지 않은 이벤트(예를 들어, 센서 고장 발생 이벤트)가 발생할 수 있다. 상기의 경우 프로세서(310)는, 2대 이상의 차량의 BSM을 스케줄링을 할 수 있고, 환경 정보를 참조하여 영상 촬영의 필요성이 존재하는 지 여부를 판단할 수 있다.
예를 들어, 프로세서(310)는 RSA의 환경 정보를 확인할 수 있고, 각 정보 별로 기 설정된 가중치를 사용하여 발생한 이벤트에 대한 가중치 및 환경 정보에 대한 가중치의 정량화를 수행하고, 상기 정량화된 가중치 값이 영상 촬영을 위한 임계 값을 초과하는 지 여부에 기초하여 영상 촬영 여부를 결정할 수 있다.
하기의 표 3은 환경 변수에 관한 정보를 도시한다. 다양한 실시예에 따르면, 환경 정보의 우선 순위에 따라 영상 촬영 여부를 결정하는 가중치가 기 설정되어 있고, 프로세서(310)는 상기 가중치 값에 따라서 영상 촬영 여부를 결정할 수도 있다.
순번 환경 변수
1 사고 발생 빈번 지역
2 사고 발생 빈번 시각
3 수막
4 적설
5 결빙
6 침수
7 눈보라
8 강설
9 우박
10 강우
11 강풍
12 온습도
13 안개
다양한 실시예에 따른 프로세서(310)는 영상 촬영의 필요성이 존재한다고 판단한 경우, 동작 709로 분기하여 영상을 촬영하는 것으로 결정할 수 있다.
도 8은 다양한 실시예에 따른 전자 장치의 동작 흐름도이다. 구체적으로 도 8은 영상을 촬영하는 것으로 결정한 이후 획득할 영상의 품질을 결정하는 방법을 도시한 도면이다.
동작 흐름도 800을 참조하면, 다양한 실시예에 따른 프로세서(310)는, 동작 810에서, 적어도 하나의 V2X 메시지에 기초하여 영상을 촬영하는 것으로 결정한 것으로 가정하자.
다양한 실시예에 따른 프로세서(310)는, 동작 820에서, 적어도 하나의 V2X 메시지에 기초하여 획득할 영상의 품질을 결정할 수 있다. 프로세서(310)는, 예를 들어, 적어도 하나의 V2X 메시지를 분석하여, 발생한 이벤트의 종류, 환경 정보 또는 외부 장치와의 상대 속도 중 하나의 정보를 확인할 수 있다. 프로세서(310)는 발생한 이벤트의 종류, 환경 정보 또는 외부 장치와의 상대 속도 중 적어도 하나의 정보에 기초하여 획득할 영상의 품질을 결정할 수 있다.
예를 들어, 전자 장치(201)가 최종적으로 생성한 영상은 V2I 통신을 통해 인프라(예: 전용 노변 기지국(roadside unit, RSU))로 전송될 수 있다. 고품질의 영상을 생성하여 일괄적으로 인프라로 전송하는 경우 대역폭과 트래픽에 문제가 발생할 수 있다. 또는 저품질의 영상을 생성하여 일괄적으로 인프라로 전송하는 경우, 발생한 이벤트를 구체적으로 분석하기 힘들 수 있다. 다양한 실시예에 따른 프로세서(310)는 적어도 하나의 V2X 메시지에 기초하여 획득할 영상의 품질을 차등하게 설정할 수 있다.
다양한 실시예에 따르면, 프로세서(310)는, 동작 830에서, 결정한 품질의 영상을 획득하기 위하여, 획득할 영상의 해상도 또는 프레임 레이트 중 적어도 하나를 조정할 수 있다. 예를 들어 프로세서(310)는, 전자 장치(201)에 전기적으로 연결된 적어도 하나의 카메라(340)의 해상도 또는 프레임 레이트 중 적어도 하나를 조정하도록 제어할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 840에서, 적어도 하나의 카메라(340)로부터 상기 결정된 품질을 갖는 영상을 획득할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 해상도 또는 프레임 레이트 중 적어도 하나가 조정된 영상을 서버(예: MEC 서버)로 전송할 수 있다. 다양한 실시예에 따른 프로세서(310)는, 서버로부터 원본 영상을 전송해달라는 요청을 수신한 경우, 원본 품질의 영상을 서버로 전송할 수도 있다.
도 9는 다양한 실시예에 따른 영상 촬영 시작 시점 및 종료 시점을 도시한 도면이다.
다양한 실시예에 따른 전자 장치(201)의 프로세서(310)는 적어도 하나의 V2X 메시지에 기초하여 영상 촬영 시작 시점 및 종료 시점을 결정할 수 있다.
다양한 실시예에 따른 전자 장치(201)의 프로세서(310)는 수신한 적어도 하나의 V2X 메시지를 분석하여, 전자 장치(201)의 위치로부터 상기 적어도 하나의 V2X 메시지를 전송한 외부 장치의 위치까지의 거리 및 상기 전자 장치의 이동 방향으로부터 상기 외부 장치의 위치까지의 각도를 계산할 수 있다.
도 9를 참조하면, 전자 장치(201)가 설치 또는 부착되어 있는 차량(610)이 화살표 방향으로 진행하여, 제1 위치(610a)에서 제2 위치(610b)로 이동한다고 가정하자.
전자 장치(201)의 프로세서(310)는 제1 외부 차량(621) 및 제2 외부 차량(623)으로부터 적어도 하나의 V2X 메시지를 수신할 수 있고, 상기 수신한 적어도 하나의 V2X 메시지를 분석하여 차량 충돌 이벤트가 발생하였다고 판단할 수 있으며, 차량 충돌 이벤트가 발생한 것에 응답으로 영상 촬영을 수행하는 것으로 결정할 수 있다. 프로세서(310)는 차량 충돌 이벤트가 발생한 제1 외부 차량(621) 및 제2 외부 차량(623)의 위치를 포함하는 일정 영역을 관심 영역(630)으로 결정할 수 있다.
상기의 경우, 프로세서(310)는 수신한 적어도 하나의 V2X 메시지를 통해 제1 외부 차량(621) 및 제2 외부 차량(623)의 위치를 확인할 수 있다. 프로세서(310)는 전자 장치(201)가 설치 또는 부착된 차량(610)의 V2X 정보를 통해 차량(610)의 위치, 이동 속도 및 이동 방향을 확인할 수 있다. 예를 들어, 차량(610)의 위치는 V2X 메시지에 포함된 차량(610)의 GPS 정보를 통해 확인할 수 있고, 차량(610)의 이동 방향은 V2X 메시지에 포함된 차량(610)의 heading 정보를 통해 확인할 수 있다.
프로세서(310)는 상기 확인한 정보들을 이용하여, 차량(610)의 위치로부터 제1 외부 차량(621) 및 제2 외부 차량(623)까지의 위치를 계산할 수 있다. 프로세서(310)는 상기 확인한 정보들을 이용하여 차량(610)의 이동 방향(도 9의 화살표 방향)으로부터 제1 외부 차량(621) 및 제2 외부 차량(623)까지의 각도를 계산할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 상기 계산한 거리 및 각도가 기 설정된 범위에 해당하는 경우 결정한 관심 영역(630)에 대한 영상 촬영을 시작하도록 적어도 하나의 카메라(340)를 제어할 수 있다.
예를 들어, 프로세서(310)는 차량(610)과 제1 외부 차량(621) 및 제2 외부 차량(623)까지의 거리가 10m 이내이고, 차량(610)의 이동 방향으로부터 제1 외부 차량(621) 및 제2 외부 차량(623)까지의 각도가 45도 이상 135도 미만인 경우, 영상 촬영을 수행하는 구간으로 설정할 수 있다. 영상 촬영을 수행하는 구간은, 이벤트의 종류 또는 차량 주변의 환경 정보에 기초하여 설정될 수 있다. 도 9에서 프로세서(310)는 선 910을 영상 촬영을 시작하는 지점으로 결정할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 차량(610)이 상기 기 설정된 범위를 벗어나는 경우, 영상 촬영을 종료하도록 적어도 하나의 카메라(340)를 제어할 수 있다. 도 9에서 프로세서(310)는 선 920을 영상 촬영을 종료하는 지점으로 결정할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 영상 촬영이 시작된 때로부터 기 설정된 시간이 경과한 것에 응답하여 영상 촬영을 종료할 수도 있다. 예를 들어, 이벤트가 발생한 차량이 전자 장치(201)가 설치된 차량과 비슷한 이동 속도로 같은 방향으로 이동하고 있는 경우, 기 설정된 거리 및 각도 범위를 벗어나지 않을 수도 있으므로, 프로세서(310)는 영상 촬영 시간이 기 설정된 시간을 경과하는 경우 영상 촬영을 종료할 수도 있다.
도 10은 다양한 실시예에 따른 전자 장치의 동작 흐름도이다. 구체적으로 도 10은 다양한 실시예에 따른 전자 장치가 영상 촬영 시작 시점 및 종료 시점을 결정하는 방법에 관한 동작 흐름도 이다.
동작 흐름도 1000을 참조하면, 다양한 실시예에 따른 프로세서(310)는, 동작 1001에서, 적어도 하나의 V2X 메시지에 기초하여 영상을 촬영하는 것으로 결정할 수 있다. 프로세서(310)는 적어도 하나의 V2X 메시지를 분석하여 기 설정된 이벤트가 발생 하였는 지 여부를 판단하여 영상 촬영 여부를 결정할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1003에서, 발생한 이벤트에 관한 객체와 적어도 하나의 V2X 메시지를 전송한 외부 장치를 매칭할 수 있다. 예를 들어, 프로세서(310)는 적어도 하나의 V2X 메시지에 포함된 임시 ID 정보를 확인하여 외부 장치를 식별할 수 있고, 임시 ID 정보 및 적어도 하나의 V2X 메시지에 포함된 순서 정보에 기초하여 동일한 외부 장치에서 발생되는 메시지를 데이터 매칭할 수 있다. 예를 들어, 발생한 이벤트에 관한 객체의 임시 아이디(temporary ID)를 통해 해당 객체를 식별하고, V2X 메시지의 MSG ID 및 MSG count를 통해서 동일한 객체에서 발생되는 메시지를 데이터 매칭할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1005에서, 임시 ID 정보가 변경될 경우, 외부 차량의 이동 경로 히스토리 정보를 통해 외부 장치의 위치 및 이동 경로를 추적할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1007에서, 적어도 하나의 V2X 메시지에 기초하여 외부 장치와의 거리 및 각도를 계산할 수 있다. 프로세서(310)는 적어도 하나의 V2X 메시지를 분석하여, 전자 장치(201)의 위치로부터 외부 장치까지의 거리 및 전자 장치(201)의 이동 방향으로부터 외부 장치까지의 각도를 계산할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1009에서, 계산된 거리 및 각도가 영상 촬영을 수행하도록 기 설정된 범위에 해당하는 지 여부를 판단할 수 있다. 프로세서(310)는 발생한 이벤트 종류 또는 전자 장치(201) 주변의 환경 정보에 기초하여 영상 촬영을 수행할 범위를 결정할 수 있다.
다양한 실시예에 따르면, 계산한 거리 및 각도가 기 설정된 범위에 해당하지 않는 경우, 영상 촬영을 시작하지 않고, 동작 1003으로 분기할 수 있다.
다양한 실시예에 따르면, 계산한 거리 및 각도가 기 설정된 범위에 해당하는 경우, 동작 1011로 분기하여, 영상 촬영을 시작하도록 전자 장치(201)와 전기적으로 연결된 적어도 하나의 카메라(340)를 제어할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1013에서, 결정한 관심 영역을 포함하는 영상을 획득할 수 있다.
다양한 실시예에 따른 프로세서(310)는 동작 1015에서, 적어도 하나의 V2X 메시지에 기초하여, 외부 장치와의 거리 및 각도를 계산할 수 있다. 프로세서(310)는, 적어도 하나의 V2X 메시지를 주기적으로(또는 연속적으로) 분석하여, 외부 장치와의 거리 및 각도를 주기적으로 계산할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1017에서, 계산된 거리 및 각도가 기 설정된 범위를 벗어 났는지 여부를 판단할 수 있다.
다양한 실시예에 따르면, 계산된 거리 및 각도가 기 설정된 범위를 벗어난 경우, 동작 1019로 분기하여, 프로세서(310)는 영상 촬영을 종료하도록 적어도 하나의 카메라(340)를 제어할 수 있다.
다양한 실시예에 따르면, 계산된 거리 및 각도가 기 설정된 범위를 벗어나지 않은 경우, 동작 1021로 분기하여, 프로세서(310)는 영상 촬영 시간이 기 설정된 시간을 초과 하였는지 여부를 판단할 수 있다. 프로세서(310)는, 영상 촬영을 시작한 때로부터 기 설정된 시간이 경과 하였는지 여부를 판단할 수 있다.
영상 촬영 시간이 기 설정된 시간을 초과하지 않은 경우, 동작 1013으로 다시 분기하여 영상을 획득할 수 있다.
영상 촬영 시간이 기 설정된 시간을 초과한 경우, 프로세서(310)는, 동작 1019로 분기하여, 영상 촬영을 종료할 수 있다.
도 11은 다양한 실시예에 따른 적어도 하나의 V2X 메시지를 분석하여 외부 장치의 정보를 계산하는 방법을 도시한 도면이다. 도 12는 다양한 실시예에 따른 영상을 분석하여 식별한 객체에 관한 정보를 계산하는 방법을 도시한 도면이다.
도 11을 참조하면, 다양한 실시예에 따른 프로세서(310)는 적어도 하나의 V2X 메시지를 분석하여 외부 장치의 정보를 계산할 수 있다. 예를 들어, 프로세서(310)는 적어도 하나의 V2X 메시지를 전송한 외부 장치에 관한 정보를 계산할 수 있다. 다양한 실시예에 따른 프로세서(310)는 복수의 외부 장치 각각에 관한 정보를 계산하여 테이블 형태로 저장할 수 있다. 예를 들어 프로세서(310)는 적어도 하나의 V2X 메시지에 기초하여 관심 영역(1120)을 결정할 수 있다. 프로세서(310)는, 적어도 하나의 V2X 메시지를 분석하여 관심 영역에 포함된 외부 장치에 관한 정보를 계산할 수 있다. 예를 들어 관심 영역(1120) 내의 제1 외부 장치(1111) 및 제2 외부 장치 (1113)에 관한 정보를 계산할 수 있다.
다양한 실시예에 따른 프로세서(310)는 전자 장치(201)가 설치 또는 부착된 차량(1101)의 위치, 속도, 이동 방향, 시간, 경로 정보, 차량 종류 또는 차량 크기 중 적어도 하나를 포함하는 V2X 정보를 생성할 수 있다.
다양한 실시예에 따른 프로세서(310)는 V2X 통신 회로(333)를 통해 적어도 하나의 V2X 메시지를 수신할 수 있다. 프로세서(310)는, 예를 들어, 수신한 적어도 하나의 V2X 메시지를 분석하여, 외부 장치의 위치, 속도, 이동 방향, 시간, 경로 정보, 차량 종류 또는 차량 크기 중 적어도 하나를 포함하는 V2X 정보를 계산할 수 있다.
다양한 실시예에 따른 프로세서(310)는 전자 장치(201)의 위치 정보와 외부 장치의 위치 정보를 비교하여 전자 장치(201)로부터 외부 장치까지의 거리를 계산할 수 있다. 프로세서(310)는 전자 장치(201)로부터 외부 장치까지의 상대적인 거리를 실시간으로 계산할 수 있다. 예를 들어, 프로세서(310)는 V2X 메시지에 포함된 전자 장치(201)의 GPS 값과 외부 장치의 GPS 값을 비교하여 전자 장치와 외부 장치 간의 상대적인 거리를 계산할 수 있다.
다양한 실시예에 따른 프로세서(310)는 전자 장치(201)의 이동 방향 정보와 외부 장치의 이동 방향 정보를 비교하여, 전자 장치(201)의 이동 방향으로부터 외부 장치까지의 각도를 계산할 수 있다. 예를 들어, 프로세서(310)는 V2X 메시지에 포함된 전자 장치(201)의 heading 값과 외부 장치의 heading 값을 비교하여 전자 장치(201)의 정면 방향과 외부 장치의 정면 방향 간의 각도를 계산할 수 있다.
다양한 실시예에 따른 프로세서(310)는 적어도 하나의 V2X 메시지를 분석하여, 관심 영역(1120)을 결정할 수 있고, 결정된 관심 영역(1120) 내에 포함된 외부 장치들에 대해서, 전자 장치(201)의 위치로부터 외부 장치까지의 거리 및 전자 장치(201)의 이동 방향으로부터 외부 장치까지의 각도를 계산할 수 있다.
다양한 실시예에 따른 프로세서(310)는 복수의 외부 장치가 존재하는 경우, 복수의 외부 장치 각각에 대해서, 전자 장치(201)의 위치로부터 외부 장치까지의 거리 및 전자 장치(201)의 이동 방향으로부터 외부 장치까지의 각도를 계산할 수 있다.
다양한 실시예에 따른 프로세서(310)는 복수의 외부 장치 각각에 대한 전자 장치(201)로부터의 거리 정보, 전자 장치(201)의 이동 방향으로부터의 각도 정보, 위치 정보, 차량 종류 또는 차량 크기 정보를 테이블 형태로 데이터베이스화할 수 있다.
예를 들어, 도 11의 관심 영역(1120) 내에 9개의 외부 장치가 포함된다고 가정하자. 상기의 경우, 프로세서(310)는 9개의 외부 장치 각각에 대해서 전자 장치(201)로부터의 상대적인 거리 및 전자 장치(201)의 이동 방향으로부터의 상대적인 각도 정보를 계산할 수 있다. 프로세서(310)는, 예를 들어, 9개의 외부 장치 각각에 대해서 계산한 거리 정보, 각도 정보, 위치 정보, 차량 종류 또는 차량 크기 정보를 테이블 형태로 데이터화하여 저장할 수 있다.
도 12를 참조하면, 다양한 실시예에 따른 프로세서(310)는 전자 장치(201)와 전기적으로 연결된 적어도 하나의 카메라(340)를 통해 영상을 획득할 수 있다. 예를 들어, 프로세서(310)는 적어도 하나의 카메라(340)로부터 결정한 관심 영역을 포함하는 원시적인 영상 데이터를 획득할 수 있다.
다양한 실시예에 따른 프로세서(310)는 영상을 분석하여 관심 영역에 대응하는 영역(1221, 1223, 1225)을 결정할 수 있다. 프로세서(310)는, 예를 들어, 영상을 분석하여, 영상 내에 적어도 하나의 V2X 메시지를 분석하여 결정한 관심 영역에 대응하는 영역(1221, 1223, 1225)을 추출할 수 있다. 예를 들어 프로세서(310)는 영상 내에 이벤트가 발생한 위치를 포함하는 일정 크기의 영역을 결정한 관심 영역에 대응하는 영역(1221, 1223, 1225)으로 결정할 수 있다. 다양한 실시예에 따른 관심 영역에 대응하는 영역(1221, 1223, 1225)의 크기 또는 개수는 가변적일 수 있다. 예를 들어, 관심 영역에 대응하는 영역(1221, 1223, 1225)의 크기는 신뢰도(또는 정확도)와 반비례할 수 있고, 연산 처리 시간과 비례할 수 있다. 예를 들어, 영역 1(1221) 내에 포함된 객체를 식별하여 식별한 객체에 관한 정보를 계산하는 동작은, 영역 3(1225) 내에 포함된 객체를 식별하여 식별한 객체에 관한 정보를 계산하는 동작에 비해 연산 처리 시간이 오래 걸릴 수 있다. 영역 1(1221) 내에 포함된 객체가 적어도 하나의 V2X 메시지를 송신한 외부 장치와 매칭될 정확도는, 영역 3(1225) 내에 포함된 객체가 적어도 하나의 V2X 메시지를 송신한 외부 장치와 매칭될 정확도보다 높을 수 있다. 관심 영역에 대응하는 영역(1221, 1223, 1225)는 도면 상에서 x 좌표 및 y 좌표 값을 갖는 직사각형 모양으로 도시되었으나, 직사각형 모양 이외의 다양한 모양으로 결정될 수 있음은 물론이다.
다양한 실시예에 따른 프로세서(310)는 영상을 분석하여 결정한 영역 내에 포함된 객체를 식별할 수 있다. 영상 전체에 포함된 객체들을 모두 분석하지 않고, 결정한 영역 내에 포함된 객체만을 분석하는 경우, 프로세서(310)의 연산량을 대폭 감소시킬 수 있어서, 적어도 하나의 V2X 메시지와 영상 내 식별한 객체를 매칭하는 매칭 속도를 향상시킬 수 있다.
다양한 실시예에 따른 프로세서(310)는 식별한 객체에 대한 정보를 계산할 수 있다. 프로세서(310)는, 예를 들어, 영상을 분석하여 프레임 데이터로부터 식별한 객체의 차량 크기(예: 차량의 높이, 가로 길이, 세로 길이) 또는 차량 종류(예: 승용차, 버스)를 계산할 수 있다. 프로세서(310)는, 예를 들어, 영상을 분석하여 전자 장치(201)와 식별한 객체 사이의 상대적인 거리 또는 전자 장치(201)의 이동 방향으로부터 식별한 객체까지의 상대적인 각도를 계산할 수 있다.
다양한 실시예에 따른 프로세서(310)는 결정한 영역 내에 복수의 객체가 포함되는 경우, 복수의 객체 각각을 식별하고, 복수의 객체 각각에 대한 정보를 계산할 수 있다. 예를 들어, 프로세서(310)는 결정한 영역 내의 복수의 객체 각각에 대하여, 전자 장치(201)와의 각도, 상대적인 거리, 차량 종류 또는 차량 종류 중 적어도 하나에 관한 정보를 저장할 수 있다. 프로세서(310)는 복수의 객체들 간의 상대적인 거리를 계산하여 저장할 수도 있다.
예를 들어, 결정한 영역 내에 3대의 객체(제1 외부 차량, 제2 외부 차량, 제3 외부 차량)가 포함되는 경우를 가정하자. 프로세서(310)는 영상을 분석하여, 제1 외부 차량, 제2 외부 차량 및 제3 외부 차량 각각에 대한 정보를 계산하여 저장할 수 있다. 제1 외부 차량에 대한 정보는, 예를 들어, 전자 장치(201)와 제1 외부 차량이 이루는 각도, 제1 외부 차량의 크기, 제1 외부 차량의 종류, 전자 장치(201)로부터 제1 외부 차량까지의 상대적인 거리, 제2 외부 차량으로부터 제1 외부 차량까지의 상대적인 거리, 제3 외부 차량으로부터 제1 외부 차량까지의 상대적인 거리를 계산할 수 있다. 마찬가지로 프로세서(310)는 제2 외부 차량에 대한 정보 및 제3 외부 차량에 대한 정보를 각각 계산하여 저장할 수 있다.
다양한 실시예에 따른 프로세서(310)는 영상을 분석하여 획득한 식별한 객체에 대한 정보를 테이블 형태로 데이터베이스화하여 저장할 수 있다. 다양한 실시예에 따르면, 영상을 분석하여 계산한 정보는 절대적인 값이 아닌 상대적인 값으로써 실제 값과의 오차를 최소화하기 위하여 가중치를 적용하여 저장될 수 있다.
도 13은 다양한 실시예에 따른 전자 장치의 동작 흐름도이다. 구체적으로 도 13은 적어도 하나의 V2X 메시지와 영상 내에 식별한 객체를 매칭하는 방법을 도시한 동작 흐름도이다.
동작 흐름도 1300을 참조하면, 다양한 실시예에 따른 프로세서(310)는, 동작 1301에서, 영상을 촬영한 것으로 결정한 것에 응답하여, 적어도 하나의 V2X 메시지에 기초하여 관심 영역을 결정할 수 있다. 예를 들어, 프로세서(310)는 적어도 하나의 V2X 메시지를 분석하여, 이벤트 발생 여부를 판단하고, 이벤트가 발생한 위치를 포함하는 일정 크기의 영역을 관심 영역으로 결정할 수 있다.
다양한 실시예에 따른 프로세서(310)는 관심 영역을 결정한 이후, 동작 1303으로 분기하여, 적어도 하나의 V2X 메시지의 분석을 시작할 수 있다. 다양한 실시예에 따른 프로세서(310)는 관심 영역을 결정한 이후, 동작 1307로 분기하여 관심 영역을 포함하는 영상을 획득하여 획득한 영상의 분석을 시작할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1303에서, 적어도 하나의 V2X 메시지에 기초하여, 전자 장치(201)의 위치로부터 외부 장치까지의 거리 및 전자 장치(201)의 이동 방향으로부터 외부 장치까지의 각도를 계산할 수 있다. 예를 들어, 프로세서(310)는 적어도 하나의 V2X 메시지를 분석하여, 전자 장치(201)의 위치 및 외부 장치의 위치를 확인할 수 있다. 프로세서(310)는, 예를 들어, 계산한 전자 장치(201)의 위치 및 외부 장치의 위치를 통해 전자 장치(201)의 위치로부터 외부 장치까지의 거리를 계산할 수 있다. 다양한 실시예에 따른 프로세서(310)는 적어도 하나의 V2X 메시지를 분석하여 전자 장치(201)의 이동 방향 및 외부 장치의 이동 방향을 확인할 수 있다. 프로세서(310)는 예를 들어, 전자 장치(201)의 이동 방향으로부터 외부 장치까지의 각도를 계산할 수 있다. 다양한 실시예에 따른 프로세서(310)는 전자 장치(201)로부터 외부 장치까지의 거리 및 각도 정보 외에도, 적어도 하나의 V2X 메시지를 분석하여, 차량 종류 또는 차량 크기 정보를 확인할 수도 있다. 다양한 실시예에 따른 프로세서(310)는, 동작 1305에서, 적어도 하나의 V2X 메시지에 기초하여 계산한 외부 장치에 관한 정보를 데이터베이스화할 수 있다. 프로세서(310)는, 예를 들어, 적어도 하나의 V2X 메시지에 기초하여 계산한 외부 장치에 관한 정보를 데이터화하여 테이블 형태로 저장할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1307에서, 관심 영역을 결정한 것에 대한 응답으로, 적어도 하나의 카메라(340)를 제어하여 관심 영역을 포함하는 영상을 획득할 수 있다. 다양한 실시예에 따른 프로세서(310)는, 동작 1309에서, 획득한 영상을 분석하여, 관심 영역에 대응하는 영역을 결정할 수 있다. 다양한 실시예에 따른 프로세서(310)는, 동작 1311에서 결정한 영역 내에 포함된 객체를 식별할 수 있다. 다양한 실시예에 따른 프로세서(310)는, 동작 1313에서, 영상을 분석하여 전자 장치(201)의 위치로부터 식별한 객체까지의 거리 및 전자 장치(201)의 이동 방향으로부터 식별한 객체까지의 각도를 계산할 수 있다. 다양한 실시예에 따른 프로세서(310)는, 동작 1315에서, 영상을 분석하여 계산한 식별한 객체에 관한 정보를 데이터베이스화할 수 있다. 프로세서(310)는, 예를 들어, 영상을 분석하여 계산한 식별한 객체에 관한 정보를 데이터화하여 테이블 형태로 저장할 수 있다. 영상을 분석하여 계산한 정보는 절대적인 값이 아닌 상대적인 값으로써 실제 값과의 오차를 최소화하기 위하여 가중치를 적용하여 저장될 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1317에서, 적어도 하나의 V2X 메시지를 분석하여 계산한 데이터와 영상을 분석하여 계산한 데이터를 비교 분석하여, 영상 내 식별한 객체와 적어도 하나의 V2X 메시지에 포함된 V2X 정보를 매칭할 수 있다.
예를 들어, 프로세서(310)는 영상을 분석하여 계산한 식별한 객체에 관한 데이터 값과, 적어도 하나의 V2X 메시지를 분석하여 계산한 외부 장치에 관한 데이터 값의 차이가 최소인 값을 서로 매칭할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1319에서, 식별한 객체와 매칭되는 적어도 하나의 V2X 메시지가 결합된 영상을 생성할 수 있다. 예를 들어, 프로세서(310)는 식별한 객체와 매칭되는 적어도 하나의 V2X 메시지에 포함된 V2X 정보를, 영상의 타임 스탬프에 마킹하여 최종적인 영상을 생성할 수 있다.
예를 들어, 프로세서(310)는 적어도 하나의 카메라를 통해 획득한 영상의 타임 스탬프에 식별한 객체와 매칭되는 V2X 정보 및 발생한 이벤트의 종류를 마킹하여, 적어도 하나의 V2X 메시지가 결합된 영상을 생성할 수 있다.
상기 생성된 영상은, 이벤트의 종류가 마킹되어 있으므로 이벤트의 종류에 따라 영상을 분석할 수 있고, 적어도 하나의 메시지에 포함된 V2X 정보가 마킹되어 있으므로 V2X 정보에 기반한 영상 분석이 가능할 수 있다.
다양한 실시예에 따른 프로세서(310)는 생성한 영상을 디스플레이(370)를 통해 표시할 수 있다. 다양한 실시예에 따른 프로세서(310)는 생성한 영상을 서버(예: MEC 서버)로 전송할 수 있다.
도 14 및 도 15는 다양한 실시예에 따른 전자 장치가 적어도 하나의 V2X 메시지가 결합된 영상을 표시하는 도면이다. 도 14 및 도 15는 다양한 실시예에 따른 전자 장치가 차량 내에 부착된 스마트 폰인 경우를 가정하였다.
도 14를 참조하면, 다양한 실시예에 따른 전자 장치(201)는, 디스플레이(예: 도 3의 디스플레이(370))를 통해 V2X 메시지가 결합된 영상을 포함하는 제1 사용자 인터페이스를 표시할 수 있다.
다양한 실시예에 따르면, 제1 사용자 인터페이스의 제1 영역(1401)에는 생성한 영상을 표시할 수 있다.
다양한 실시예에 따르면, 제1 사용자 인터페이스의 제2 영역(1403)에는 적어도 하나의 V2X 메시지를 분석하여 획득한 외부 장치들에 관한 정보를 표시할 수 있다.
다양한 실시예에 따르면, 이벤트가 발생한 외부 장치의 경우, 제1 영역(1401)에서 상기 외부 장치에 대응하는 객체(1410)를 하이라이트 할 수 있다. 제2 영역(1403)에서도 상기 외부 장치(1420)를 하이라이트 할 수 있다.
다양한 실시예에 따르면 제1 영역(1401) 내의 객체(1410) 또는 제2 영역(1403) 내의 외부 장치(1420)를 선택하는 사용자 입력을 수신하는 경우, 선택된 외부 장치로 안전 메시지를 전송할 수 있다.
도 15를 참조하면, 다양한 실시예에 따른 프로세서(310)는 적어도 하나의 V2X 메시지가 결합된 영상을 포함하는 제2 사용자 인터페이스를 표시할 수 있다.
다양한 실시예에 따른 제2 사용자 인터페이스는 인덱스 기반의 검색이 가능할 수 있다. 예를 들어, 제2 사용자 인터페이스는 이벤트 발생 시간, 발생 위치, 이벤트 종류 또는 환경 정보에 기초한 검색이 가능할 수 있다. 예를 들어, 제2 사용자 인터페이스는 하이라이트 된 관심 영역 또는 객체의 선택을 통한 검색이 가능할 수 있다.
다양한 실시예에 따르면 프로세서(310)는 제2 사용자 인터페이스의 제1 영역(1501)에 생성한 영상을 표시할 수 있다. 프로세서(310)는 제2 사용자 인터페이스의 제2 영역(1503)에는 인덱스 검색을 위한 항목을 표시할 수 있다.
다양한 실시예에 따르면, 제2 사용자 인터페이스의 제1 영역(1501)의 일부에는 영상의 타임스탬프(1520)를 표시할 수 있다. 타임스탬프(1520)에는 적어도 하나의 V2X 메시지에 포함된 V2X 정보 및 이벤트의 종류가 마킹될 수 있다. 다양한 실시예에 따르면 제2 사용자 인터페이스의 제1 영역(1501)에 표시되는 영상에는, 각 객체 별로 매칭되는 V2X 정보가 함께 표시될 수 있다. 예를 들어, 각 객체 별로 매칭되는 임시 ID 정보, 위치, 속도 또는 차선 정보 중 적어도 하나를 포함하는 V2X 정보를 영상과 함께 표시할 수 있다.
도 16은 다양한 실시예에 따른 전자 장치의 동작 흐름도이다. 구체적으로 도 16은 영상의 용도에 기초하여 생성한 영상을 송신할 통신 수단을 결정하는 방법을 도시한 도면이다.
동작 흐름도 1600을 참조하면, 다양한 실시예에 따른 프로세서(310)는, 동작 1610에서, 적어도 하나의 V2X 메시지에 기초하여 영상의 용도를 결정할 수 있다. 예를 들어, 영상을 생성하는 목적이 공공의 목적의 성격을 갖는 지 여부를 판단할 수 있다. 예를 들어, 적어도 하나의 V2X 메시지를 분석하여 발생한 이벤트의 종류를 판단하고, 발생한 이벤트의 종류에 기초하여 영상의 용도를 결정할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1620에서, 결정한 영상의 용도에 기초하여 획득할 영상의 품질을 결정할 수 있다. 영상의 용도가 공공의 목적을 갖는 경우, V2X 통신 주파수 대역에서 영상을 전송할 필요성이 있으므로, V2X 통신의 한정적인 자원과 쓰루풋을 고려하여 낮은 품질의 영상을 생성하도록 결정할 수 있다. 영상의 용도가 공공의 목적을 갖지 않는 경우(예를 들어, 영상 스트리밍 용도인 경우), 높은 품질의 영상을 생성하도록 결정할 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1630에서, 결정된 품질을 갖는 영상을 생성할 수 있다. 상기 생성된 영상은 적어도 하나의 V2X 메시지가 결합된 영상일 수 있다.
다양한 실시예에 따른 프로세서(310)는, 동작 1640에서, 생성할 영상을 전송할 통신 수단을 결정할 수 있다. 프로세서(310)는, 동작 1650에서, 결정한 통신 수단을 이용하여 생성한 영상을 외부로 전송할 수 있다.
예를 들어, 프로세서(310)는 결정한 영상의 용도에 기초하여, 통신 수단을 결정할 수 있다. 예를 들어, 영상의 용도가 공공의 목적을 갖는 경우, V2X 통신 회로(333)를 통하여 전용 노변 기지국(RSU)로 생성한 영상을 전송할 수 있다. 상기의 경우, 전자 장치(201)는 V2I의 역할을 수행할 수 있다.
예를 들어, 영상의 용도가 공공의 목적을 갖지 않는 경우, 셀룰러 통신 회로(331)(예: 5G 통신 회로)를 통하여 서버(예: MEC 서버)로 생성한 영상을 전송할 수 있다. 상기의 경우, 전자 장치(201)는 V2N 역할을 수행할 수 있다.
다양한 실시예에 따르면, 프로세서(310)는 고품질의 영상 및 저품질의 영상을 모두 생성할 수도 있고, 고품질의 영상은 셀룰러 통신 회로를 통해 서버로 전송하고, 저품질의 영상은 V2X 통신 회로를 통해 RSU로 전송하는 동작을 같이 수행할 수도 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)는, V2X 통신을 지원하는 제1 통신 회로(예: 도 3의 V2X 통신 회로(333)), 상기 제1 통신 회로와 작동적으로 연결된 프로세서(310) 및 상기 프로세서(310)와 작동적으로 연결된 메모리(360)를 포함하며, 상기 메모리(360)는, 실행 시에, 상기 프로세서(310)가, 상기 제1 통신 회로를 통해 적어도 하나의 V2X 메시지를 수신하고, 상기 적어도 하나의 V2X 메시지에 기초하여, 영상 촬영 여부를 결정하고, 영상을 촬영하는 것으로 결정한 것에 대한 응답으로, 상기 적어도 하나의 V2X 메시지에 기초하여 관심 영역을 결정하고, 상기 전자 장치(201)와 전기적으로 연결된 적어도 하나의 카메라(340)를 통해 상기 결정한 관심 영역을 포함하는 영상을 획득하고, 상기 획득한 영상에 포함된 객체를 식별하고, 상기 식별한 객체와 상기 적어도 하나의 V2X 메시지를 매칭하고, 상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하도록 하는 인스트럭션들을 저장할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은, 상기 프로세서(310)가 상기 획득한 영상을 분석하여 상기 관심 영역에 대응하는 영역을 결정하고, 상기 결정한 영역 내에 포함된 객체를 식별하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은 상기 프로세서(310)가, 상기 적어도 하나의 V2X 메시지에 기초하여 이벤트 발생 여부를 판단하고, 상기 이벤트가 발생한 것으로 판단한 것에 응답하여, 상기 발생한 이벤트의 종류를 식별하고, 상기 발생한 이벤트의 종류에 기초하여, 영상 촬영 여부를 결정하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은, 상기 프로세서(310)가 상기 적어도 하나의 V2X 메시지에 기초하여, 환경 정보를 식별하고, 상기 발생한 이벤트의 종류 및 상기 환경 정보에 기초하여, 영상 촬영 여부를 결정하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은, 상기 프로세서(310)가 상기 획득한 영상을 분석하여, 상기 전자 장치(201)의 위치로부터 상기 식별한 객체까지의 거리 및 상기 전자 장치(201)의 이동 방향으로부터 상기 식별한 객체까지의 각도를 계산하고, 상기 적어도 하나의 V2X 메시지를 분석하여, 상기 전자 장치(201)의 위치로부터 상기 적어도 하나의 V2X 메시지를 전송한 외부 장치까지의 거리 및 상기 전자 장치(201)의 이동 방향으로부터 상기 외부 장치까지의 각도를 계산하고, 상기 획득한 영상을 통해 계산한 거리 및 각도와 상기 적어도 하나의 V2X 메시지를 통해 계산한 거리 및 각도를 비교하고, 상기 비교한 결과에 기초하여, 상기 식별한 객체와 상기 적어도 하나의 V2X 메시지를 매칭하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은, 상기 프로세서(310)가 상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하기 위하여, 상기 획득한 영상의 타임 스탬프에 상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지에 포함된 V2X 정보 및 상기 발생한 이벤트의 종류를 마킹하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)는 디스플레이(370)를 더 포함할 수 있다. 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은, 상기 프로세서(310)가 상기 디스플레이(370)를 통하여 상기 생성한 영상을 표시하고, 상기 생성한 영상에 포함된 객체를 선택하는 사용자 입력에 응답하여, 상기 객체에 매칭되는 V2X 정보를 표시할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은, 상기 프로세서(310)가 상기 영상을 촬영하는 것으로 결정한 것에 응답하여, 상기 발생한 이벤트의 종류, 상기 환경 정보 또는 상기 적어도 하나의 V2X 메시지를 전송한 외부 장치와의 상대 속도 중 적어도 하나에 기초하여, 영상의 품질을 결정하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은, 상기 프로세서(310)가 해상도 또는 프레임 레이트 중 적어도 하나를 조정하여 영상의 품질을 조정하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)는 셀룰러 통신을 지원하는 제2 통신 회로(예: 도 3의 셀룰러 통신 회로(331))를 더 포함할 수 있다. 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은, 상기 프로세서(310)가 상기 적어도 하나의 V2X 메시지에 기초하여, 생성할 영상의 용도를 결정하고, 상기 결정된 영상의 용도에 기초하여 생성할 영상의 품질을 결정하고, 상기 결정한 품질을 갖는 기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하고, 상기 영상의 용도에 기초하여, 상기 생성한 영상을 전송할 통신 회로를 결정하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은, 상기 프로세서(310)가 상기 적어도 하나의 V2X 메시지를 주기적으로 분석하여, 상기 관심 영역의 크기 및 위치를 업데이트하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은, 상기 프로세서(310)가 상기 적어도 하나의 V2X 메시지에 기초하여, 상기 전자 장치(201)의 위치로부터 상기 적어도 하나의 V2X 메시지를 전송한 외부 장치의 위치까지의 거리 및 상기 전자 장치(201)의 이동 방향으로부터 상기 외부 장치의 위치까지의 각도를 계산하고, 상기 계산한 거리 및 각도가 기 설정된 범위에 해당하는 경우, 상기 결정한 관심 영역에 대한 영상 촬영을 시작하도록 상기 적어도 하나의 카메라(340)를 제어하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은, 상기 프로세서(310)가 상기 계산한 거리 및 각도가 상기 기 설정된 범위를 벗어난 경우, 상기 영상 촬영을 종료하도록 상기 적어도 하나의 카메라(340)를 제어하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)에서 상기 인스트럭션들은, 상기 프로세서(310)가 상기 영상 촬영이 시작된 때로부터 기 설정된 시간이 경과한 것에 응답하여, 상기 영상 촬영을 종료하도록 상기 적어도 하나의 카메라(340)를 제어하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)의 영상 처리 방법은, 적어도 하나의 V2X 메시지를 수신하는 동작, 상기 적어도 하나의 V2X 메시지에 기초하여, 영상 촬영 여부를 결정하는 동작, 영상을 촬영하는 것으로 결정한 것에 응답으로, 상기 적어도 하나의 V2X 메시지에 기초하여 관심 영역을 결정하는 동작, 상기 전자 장치(201)와 전기적으로 연결된 적어도 하나의 카메라(340)를 통해 상기 결정한 관심 영역을 포함하는 영상을 획득하는 동작, 상기 획득한 영상에 포함된 객체를 식별하는 동작, 상기 식별한 객체와 상기 적어도 하나의 V2X 메시지를 매칭하는 동작 및 상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)의 영상 처리 방법에서, 상기 식별하는 동작은, 상기 획득한 영상을 분석하여, 상기 관심 영역에 대응하는 영역을 결정하는 동작 및 상기 결정한 영역 내에 포함된 객체를 식별하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)의 영상 처리 방법에서 상기 영상 촬영 여부를 결정하는 동작은, 상기 적어도 하나의 V2X 메시지에 기초하여 이벤트 발생 여부를 판단하는 동작, 상기 이벤트가 발생한 것으로 판단한 것에 응답하여, 상기 발생한 이벤트의 종류를 식별하는 동작 및 상기 발생한 이벤트의 종류에 기초하여, 영상 촬영 여부를 결정하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)의 영상 처리 방법에서 상기 매칭하는 동작은, 상기 획득한 영상을 분석하여, 상기 전자 장치(201)의 위치로부터 상기 식별한 객체까지의 거리 및 상기 전자 장치(201)의 이동 방향으로부터 상기 식별한 객체까지의 각도를 계산하는 동작, 상기 적어도 하나의 V2X 메시지를 분석하여, 상기 전자 장치(201)의 위치로부터 상기 적어도 하나의 V2X 메시지를 전송한 외부 장치까지의 거리 및 상기 전자 장치(201)의 이동 방향으로부터 상기 외부 장치까지의 각도를 계산하는 동작, 상기 획득한 영상을 통해 계산한 거리 및 각도와 상기 적어도 하나의 V2X 메시지를 통해 계산한 거리 및 각도를 비교하는 동작 및 상기 비교한 결과에 기초하여, 상기 식별한 객체와 상기 적어도 하나의 V2X 메시지를 매칭하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)의 영상 처리 방법에서 상기 생성하는 동작은, 상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하기 위하여, 상기 획득한 영상의 타임 스탬프에 상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지에 포함된 V2X 정보 및 상기 발생한 이벤트의 종류를 마킹하는 동작을 더 포함할 수 있다.
본 문서에 개시된 다양한 실시예에 따른 전자 장치(201)의 영상 처리 방법에서 상기 영상 처리 방법은, 디스플레이(370)를 통하여 상기 생성한 영상을 표시하는 동작, 상기 생성한 영상에 포함된 객체를 선택하는 사용자의 입력에 응답하여, 상기 객체에 매칭되는 V2X 정보를 표시하는 동작을 더 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나” 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    V2X 통신을 지원하는 제1 통신 회로;
    상기 제1 통신 회로와 작동적으로 연결된 프로세서; 및
    상기 프로세서와 작동적으로 연결된 메모리를 포함하며,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 제1 통신 회로를 통해 적어도 하나의 V2X 메시지를 수신하고,
    상기 적어도 하나의 V2X 메시지에 기초하여, 영상 촬영 여부를 결정하고,
    영상을 촬영하는 것으로 결정한 것에 대한 응답으로, 상기 적어도 하나의 V2X 메시지에 기초하여 관심 영역을 결정하고,
    상기 전자 장치와 전기적으로 연결된 적어도 하나의 카메라를 통해 상기 결정한 관심 영역을 포함하는 영상을 획득하고,
    상기 획득한 영상에 포함된 객체를 식별하고,
    상기 식별한 객체와 상기 적어도 하나의 V2X 메시지를 매칭하고,
    상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하도록 하는 인스트럭션들을 저장하는, 전자 장치.
  2. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가
    상기 획득한 영상을 분석하여 상기 관심 영역에 대응하는 영역을 결정하고,
    상기 결정한 영역 내에 포함된 객체를 식별하도록 구성된, 전자 장치.
  3. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가
    상기 적어도 하나의 V2X 메시지에 기초하여 이벤트 발생 여부를 판단하고,
    상기 이벤트가 발생한 것으로 판단한 것에 응답하여, 상기 발생한 이벤트의 종류를 식별하고,
    상기 발생한 이벤트의 종류에 기초하여, 영상 촬영 여부를 결정하도록 구성된, 전자 장치.
  4. 제3항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가
    상기 적어도 하나의 V2X 메시지에 기초하여, 환경 정보를 식별하고,
    상기 발생한 이벤트의 종류 및 상기 환경 정보에 기초하여, 영상 촬영 여부를 결정하도록 구성된, 전자 장치.
  5. 제3항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가
    상기 획득한 영상을 분석하여, 상기 전자 장치의 위치로부터 상기 식별한 객체까지의 거리 및 상기 전자 장치의 이동 방향으로부터 상기 식별한 객체까지의 각도를 계산하고,
    상기 적어도 하나의 V2X 메시지를 분석하여, 상기 전자 장치의 위치로부터 상기 적어도 하나의 V2X 메시지를 전송한 외부 장치까지의 거리 및 상기 전자 장치의 이동 방향으로부터 상기 외부 장치까지의 각도를 계산하고,
    상기 획득한 영상을 통해 계산한 거리 및 각도와 상기 적어도 하나의 V2X 메시지를 통해 계산한 거리 및 각도를 비교하고,
    상기 비교한 결과에 기초하여, 상기 식별한 객체와 상기 적어도 하나의 V2X 메시지를 매칭하도록 구성된, 전자 장치.
  6. 제5항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가
    상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하기 위하여, 상기 획득한 영상의 타임 스탬프에 상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지에 포함된 V2X 정보 및 상기 발생한 이벤트의 종류를 마킹하도록 구성된, 전자 장치.
  7. 제6항에 있어서,
    디스플레이를 더 포함하고,
    상기 인스트럭션들은, 상기 프로세서가
    상기 디스플레이를 통하여 상기 생성한 영상을 표시하고,
    상기 생성한 영상에 포함된 객체를 선택하는 사용자 입력에 응답하여, 상기 객체에 매칭되는 V2X 정보를 표시하는, 전자 장치.
  8. 제4항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가
    상기 영상을 촬영하는 것으로 결정한 것에 응답하여, 상기 발생한 이벤트의 종류, 상기 환경 정보 또는 상기 적어도 하나의 V2X 메시지를 전송한 외부 장치와의 상대 속도 중 적어도 하나에 기초하여, 영상의 품질을 결정하도록 구성된, 전자 장치.
  9. 제8항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가
    해상도 또는 프레임 레이트 중 적어도 하나를 조정하여 영상의 품질을 조정하도록 구성된, 전자 장치.
  10. 제1항에 있어서,
    셀룰러 통신을 지원하는 제2 통신 회로를 더 포함하고,
    상기 인스트럭션들은, 상기 프로세서가
    상기 적어도 하나의 V2X 메시지에 기초하여, 생성할 영상의 용도를 결정하고,
    상기 결정된 영상의 용도에 기초하여 생성할 영상의 품질을 결정하고,
    상기 결정한 품질을 갖는 기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하고,
    상기 영상의 용도에 기초하여, 상기 생성한 영상을 전송할 통신 회로를 결정하도록 구성된, 전자 장치.
  11. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가
    상기 적어도 하나의 V2X 메시지를 주기적으로 분석하여, 상기 관심 영역의 크기 및 위치를 업데이트하도록 구성된, 전자 장치.
  12. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가
    상기 적어도 하나의 V2X 메시지에 기초하여, 상기 전자 장치의 위치로부터 상기 적어도 하나의 V2X 메시지를 전송한 외부 장치의 위치까지의 거리 및 상기 전자 장치의 이동 방향으로부터 상기 외부 장치의 위치까지의 각도를 계산하고,
    상기 계산한 거리 및 각도가 기 설정된 범위에 해당하는 경우, 상기 결정한 관심 영역에 대한 영상 촬영을 시작하도록 상기 적어도 하나의 카메라를 제어하도록 구성된, 전자 장치.
  13. 제12항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가
    상기 계산한 거리 및 각도가 상기 기 설정된 범위를 벗어난 경우, 상기 영상 촬영을 종료하도록 상기 적어도 하나의 카메라를 제어하도록 구성된, 전자 장치.
  14. 제13항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가
    상기 영상 촬영이 시작된 때로부터 기 설정된 시간이 경과한 것에 응답하여, 상기 영상 촬영을 종료하도록 상기 적어도 하나의 카메라를 제어하도록 구성된, 전자 장치.
  15. 전자 장치의 영상 처리 방법에 있어서,
    적어도 하나의 V2X 메시지를 수신하는 동작;
    상기 적어도 하나의 V2X 메시지에 기초하여, 영상 촬영 여부를 결정하는 동작;
    영상을 촬영하는 것으로 결정한 것에 응답으로, 상기 적어도 하나의 V2X 메시지에 기초하여 관심 영역을 결정하는 동작;
    상기 전자 장치와 전기적으로 연결된 적어도 하나의 카메라를 통해 상기 결정한 관심 영역을 포함하는 영상을 획득하는 동작;
    상기 획득한 영상에 포함된 객체를 식별하는 동작;
    상기 식별한 객체와 상기 적어도 하나의 V2X 메시지를 매칭하는 동작; 및
    상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하는 동작을 포함하는, 영상 처리 방법.
  16. 제15항에 있어서,
    상기 식별하는 동작은,
    상기 획득한 영상을 분석하여, 상기 관심 영역에 대응하는 영역을 결정하는 동작; 및
    상기 결정한 영역 내에 포함된 객체를 식별하는 동작을 포함하는, 영상 처리 방법.
  17. 제15항에 있어서,
    상기 영상 촬영 여부를 결정하는 동작은,
    상기 적어도 하나의 V2X 메시지에 기초하여 이벤트 발생 여부를 판단하는 동작;
    상기 이벤트가 발생한 것으로 판단한 것에 응답하여, 상기 발생한 이벤트의 종류를 식별하는 동작; 및
    상기 발생한 이벤트의 종류에 기초하여, 영상 촬영 여부를 결정하는 동작을 포함하는, 영상 처리 방법.
  18. 제17항에 있어서,
    상기 매칭하는 동작은,
    상기 획득한 영상을 분석하여, 상기 전자 장치의 위치로부터 상기 식별한 객체까지의 거리 및 상기 전자 장치의 이동 방향으로부터 상기 식별한 객체까지의 각도를 계산하는 동작;
    상기 적어도 하나의 V2X 메시지를 분석하여, 상기 전자 장치의 위치로부터 상기 적어도 하나의 V2X 메시지를 전송한 외부 장치까지의 거리 및 상기 전자 장치의 이동 방향으로부터 상기 외부 장치까지의 각도를 계산하는 동작;
    상기 획득한 영상을 통해 계산한 거리 및 각도와 상기 적어도 하나의 V2X 메시지를 통해 계산한 거리 및 각도를 비교하는 동작; 및
    상기 비교한 결과에 기초하여, 상기 식별한 객체와 상기 적어도 하나의 V2X 메시지를 매칭하는 동작을 포함하는, 영상 처리 방법.
  19. 제18항에 있어서,
    상기 생성하는 동작은,
    상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지가 결합된 영상을 생성하기 위하여, 상기 획득한 영상의 타임 스탬프에 상기 식별한 객체와 매칭되는 상기 적어도 하나의 V2X 메시지에 포함된 V2X 정보 및 상기 발생한 이벤트의 종류를 마킹하는 동작을 더 포함하는, 영상 처리 방법.
  20. 제19항에 있어서,
    상기 영상 처리 방법은,
    디스플레이를 통하여 상기 생성한 영상을 표시하는 동작;
    상기 생성한 영상에 포함된 객체를 선택하는 사용자의 입력에 응답하여, 상기 객체에 매칭되는 V2X 정보를 표시하는 동작을 더 포함하는, 영상 처리 방법.
KR1020190143325A 2019-11-11 2019-11-11 메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치 KR20210056632A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190143325A KR20210056632A (ko) 2019-11-11 2019-11-11 메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치
PCT/KR2020/015701 WO2021096195A1 (ko) 2019-11-11 2020-11-10 메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치
US17/298,710 US11823464B2 (en) 2019-11-11 2020-11-10 Message-based image processing method and electronic device implementing same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190143325A KR20210056632A (ko) 2019-11-11 2019-11-11 메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20210056632A true KR20210056632A (ko) 2021-05-20

Family

ID=75912178

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190143325A KR20210056632A (ko) 2019-11-11 2019-11-11 메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치

Country Status (3)

Country Link
US (1) US11823464B2 (ko)
KR (1) KR20210056632A (ko)
WO (1) WO2021096195A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12134356B2 (en) 2021-06-10 2024-11-05 Firstech, LLC Vehicle camera and event notification
DE102021119952A1 (de) * 2021-08-02 2023-02-02 Harman Becker Automotive Systems Gmbh Telematikeinheit
CN116074615B (zh) * 2023-03-07 2023-09-08 荣耀终端有限公司 摄像头控制方法、装置及终端设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5786753B2 (ja) 2012-02-15 2015-09-30 株式会社デンソー 車両用装置、及び車両用システム
KR101995054B1 (ko) * 2012-11-01 2019-07-01 현대모비스 주식회사 Ｖ２ｖ 통신을 이용한 카메라 영상 출력 및 저장 시스템 및 구현 방법
KR101499502B1 (ko) * 2013-02-26 2015-03-06 남서울대학교 산학협력단 인접차량과의 상대속도의 변화에 따라 리코딩 영상의 프레임 레이트 조정 방법 및 이를 이용한 블랙박스 장치
KR20160097838A (ko) 2015-02-10 2016-08-18 주식회사 케이에스에스이미지넥스트 녹화 영상 수집 방법 및 시스템
KR101755944B1 (ko) 2015-12-15 2017-07-26 한양대학교 산학협력단 Gps, uwb 및 v2x를 접목하여 차량의 위치를 결정하는 자율 주행 방법 및 시스템
KR101951035B1 (ko) 2016-01-29 2019-05-10 한국전자통신연구원 차량의 자율 주행 시스템 및 그 방법
KR102485323B1 (ko) * 2016-11-10 2023-01-06 현대자동차주식회사 차량 검출 장치, 그를 포함한 시스템 및 그 방법
KR20180062738A (ko) 2016-12-01 2018-06-11 현대자동차주식회사 차량단말 및 그의 사고 영상 수집 방법
KR102402639B1 (ko) 2017-11-24 2022-05-26 삼성전자주식회사 전자 장치 및 그의 통신 방법
US10867510B2 (en) * 2018-04-05 2020-12-15 Toyota Jidosha Kabushiki Kaisha Real-time traffic monitoring with connected cars
US10696257B2 (en) * 2018-07-17 2020-06-30 Denso International America, Inc. Automatic crowd sensing and reporting system for road incidents
US11113969B2 (en) * 2019-03-07 2021-09-07 Toyota Jidosha Kabushiki Kaisha Data-to-camera (D2C) based filters for improved object detection in images based on vehicle-to-everything communication

Also Published As

Publication number Publication date
US11823464B2 (en) 2023-11-21
US20220051029A1 (en) 2022-02-17
WO2021096195A1 (ko) 2021-05-20

Similar Documents

Publication Publication Date Title
KR102325049B1 (ko) 보행자의 안전과 연관된 통신 신호를 송신하는 전자 장치 및 그 동작 방법
KR102263395B1 (ko) 외부 이동 수단의 움직임과 관련된 데이터에 기반하여, 식별 정보가 변경된 외부 이동 수단을 확인하는 전자 장치 및 그 동작 방법
US10470131B2 (en) Electronic device for controlling communication circuit based on identification information received from external device and operation method thereof
US11881030B2 (en) Method for detecting vehicle and device for executing the same
JP6468062B2 (ja) 物体認識システム
KR20210063134A (ko) V2x 메시지를 처리하기 위한 전자 장치 및 그의 동작 방법
CN110164135B (zh) 一种定位方法、定位装置及定位系统
US11823464B2 (en) Message-based image processing method and electronic device implementing same
JP2009083815A (ja) ドライブレコーダ装置および事故解析シミュレーション装置
EP3996063A1 (en) Safety performance evaluation device, safety performance evaluation method, information processing device, and information processing method
CN111243314A (zh) 信息提供系统、服务器、移动终端、非暂时性存储介质和信息提供方法
US20200100120A1 (en) Communication apparatus, communication device, vehicle, and method of transmitting
US10733461B2 (en) Information processing device, information providing system, and information providing method
US11140522B2 (en) Method and electronic device for transmitting group message
US11689797B2 (en) Camera, method, non-transitory computer-readable medium, and system
WO2019044456A1 (en) INFORMATION PROCESSING DEVICE, VEHICLE, AND ROAD EDGE UNIT
JP7449206B2 (ja) 通信制御装置、車両、プログラム、及び通信制御方法
KR102067547B1 (ko) 이동통신단말 및 건물 cctv카메라 간의 통신연결 및 영상분석 기반의 주변차량 위험상황 감지 및 방법
EP4307177A1 (en) Information processing device, information processing system, information processing method, and recording medium
JP7415849B2 (ja) 車両用システム及び物標識別プログラム
WO2023145404A1 (ja) 車両用装置、情報統合方法
US20230171829A1 (en) Communication system
US11303815B2 (en) Imaging apparatus and imaging method