KR102542972B1

KR102542972B1 - Method and apparatus for generating three-dimensional blood vessel structure

Info

Publication number: KR102542972B1
Application number: KR1020220081985A
Authority: KR
Inventors: 권지훈; 강민영; 김현우; 송교석; 김영학
Original assignee: 재단법인 아산사회복지재단; 울산대학교 산학협력단; 주식회사 메디픽셀
Priority date: 2022-07-04
Filing date: 2022-07-04
Publication date: 2023-06-15
Also published as: KR102542972B9

Abstract

The present invention relates to a method and apparatus for generating a three-dimensional blood vessel structure. The method for generating a three-dimensional blood vessel structure performed by a processor performed by a processor according to one embodiment of the present invention may comprise: a step of acquiring a plurality of two-dimensional blood vessel images related to a target blood vessel; a step of selecting two or more two-dimensional blood vessel images based on the determination of whether each of the plurality of two-dimensional blood vessel images can be matched; a step of determining a plurality of candidate matching frames from the selected two or more two-dimensional blood vessel images; a step of evaluating a combination composed of the plurality of determined candidate matching frames; a step of determining candidate matching frames that compose the selected combination as target matching frames based on a result of the evaluation; and a step of generating a three-dimensional blood vessel structure related to a target blood vessel based on the determined target matching frames.

Description

METHOD AND APPARATUS FOR GENERATING THREE-DIMENSIONAL BLOOD VESSEL STRUCTURE}

이하, 3차원 혈관 구조를 생성하는 방법에 관한 기술이 제공된다.Hereinafter, a description of a method for generating a three-dimensional vascular structure is provided.

심혈관, 뇌혈관, 말초혈관을 치료하기 위해 카테터를 이용하여 스텐트 등을 삽입하는 중재적 시술이 널리 보급되어 있다. 관상동맥 중재시술을 진행하기 전에 환자의 질환 여부를 평가하고 치료여부를 진단하기 위하여 2차원 전사 영상기법인 심혈관 조영술이 활용된다. 병변으로 인한 혈관 내강의 형태적 변형은 정량적관상동맥조영술(Quantitative Cornary Angiography, QCA)을 활용하여 평가하게 된다. 정량적관상동맥조영술에 따르면, 2차원 혈관 영상 내의 혈관 영역을 검출하여 혈관의 직경을 추정하고, 추정된 혈관의 직경이 직경 추세선으로부터 벗어난 정도를 판단하여 혈관 내의 병변이 분석될 수 있다. 정량적 평가에 앞서 2차원 혈관 영상 내에서 혈관 영역의 검출이 먼저 요구되며, 최근에는 딥러닝 기반의 혈관 영역의 검출 방법들이 많이 개발되고 있다.An interventional procedure in which a stent is inserted using a catheter to treat cardiovascular, cerebrovascular, and peripheral blood vessels is widely spread. Cardiovascular angiography, a two-dimensional transcriptional imaging technique, is used to evaluate the patient's disease and diagnose the treatment before proceeding with coronary intervention. Morphological changes in the vascular lumen due to lesions are evaluated using Quantitative Cornary Angiography (QCA). According to quantitative coronary angiography, the diameter of a blood vessel is estimated by detecting a blood vessel area in a 2D blood vessel image, and lesions in a blood vessel may be analyzed by determining a degree of deviation of the estimated vessel diameter from a diameter trend line. Prior to quantitative evaluation, the detection of a blood vessel region in a 2D blood vessel image is first required, and recently, many methods for detecting a blood vessel region based on deep learning have been developed.

일 실시예에 따르면, 프로세서에 의해 수행되는 3차원 혈관 구조를 생성하는 방법은, 대상 혈관에 관한 복수의 2차원 혈관 영상들을 획득하는 단계, 상기 복수의 2차원 혈관 영상들 각각의 정합 가능 여부의 판단에 기초하여, 둘 이상의 2차원 혈관 영상들을 선택하는 단계, 상기 선택된 둘 이상의 2차원 혈관 영상들로부터 둘 이상의 정합 후보 프레임들을 결정하는 단계, 상기 결정된 둘 이상의 정합 후보 프레임들로 구성된 조합을 평가하는 단계, 상기 평가 결과에 기초하여 선택된 조합을 구성하는 정합 후보 프레임들을 정합 대상 프레임들로 결정하는 단계, 및 상기 결정된 정합 대상 프레임들에 기초하여 상기 대상 혈관에 관한 3차원 혈관 구조를 생성하는 단계를 포함할 수 있다.According to an embodiment, a method for generating a 3D blood vessel structure performed by a processor includes acquiring a plurality of 2D blood vessel images of a target blood vessel, determining whether each of the plurality of 2D blood vessel images can be matched. Selecting two or more 2D blood vessel images based on the determination, determining two or more matching candidate frames from the selected two or more 2D blood vessel images, and evaluating a combination composed of the determined two or more matching candidate frames. The step of determining matching candidate frames constituting the selected combination based on the evaluation result as matching target frames, and generating a 3D vascular structure of the target blood vessel based on the determined matching target frames. can include

상기 둘 이상의 2차원 혈관 영상들을 선택하는 단계는, 상기 복수의 2차원 혈관 영상들 각각에 대하여, 해당 2차원 혈관 영상이 대상 사용자 정보 및 대상 날짜 정보를 갖는 영상인 지 여부를 판단하고, 상기 해당 2차원 혈관 영상에서 검출되는 대상 혈관의 형태에 기초하여 상기 해당 2차원 혈관 영상이 상기 대상 혈관을 촬영한 영상인 지 여부를 판단하는 단계를 포함할 수 있다.The selecting of two or more 2D blood vessel images may include determining whether a corresponding 2D blood vessel image has target user information and target date information for each of the plurality of 2D blood vessel images; The method may include determining whether the corresponding 2D blood vessel image is an image of the target blood vessel based on a shape of the target blood vessel detected in the 2D blood vessel image.

상기 둘 이상의 2차원 혈관 영상들을 선택하는 단계는, 상기 복수의 2차원 혈관 영상들 각각에 대하여, 해당 2차원 혈관 영상에서 완전폐색병변(chronic total occlusion, CTO), 불완전한 조영제 투입(incomplete filling), 매우 작은 혈관(diminutive vessel), 혈관의 심각한 겹침(severe overlap), 및 의료기기와 혈관과의 겹침 중 적어도 하나가 감지되는 지 여부를 판단하는 단계를 포함할 수 있다.The selecting of two or more 2D blood vessel images may include, for each of the plurality of 2D blood vessel images, a chronic total occlusion (CTO), an incomplete filling of a contrast agent in the corresponding 2D blood vessel image, The method may include determining whether at least one of a diminutive vessel, a severe overlap of a vessel, and an overlap between a medical device and a blood vessel is detected.

상기 둘 이상의 정합 후보 프레임들을 결정하는 단계는, 상기 둘 이상의 2차원 혈관 영상들 각각으로부터, 심전도(electrocardiogram, ECG) 신호의 위상(phase), 카테터(catheter)의 위치, 상기 대상 혈관에 대응하는 영역의 형태, 및 혈관 영역의 크기 중 적어도 하나 또는 둘 이상의 조합에 기초하여 적어도 하나의 정합 후보 프레임을 추출하는 단계, 및 상기 추출된 정합 후보 프레임 중 상기 둘 이상의 정합 후보 프레임들을 결정하는 단계를 포함할 수 있다.The determining of the two or more matched candidate frames may include, from each of the two or more 2D blood vessel images, a phase of an electrocardiogram (ECG) signal, a catheter position, and a region corresponding to the target blood vessel. extracting at least one matching candidate frame based on at least one or a combination of two or more of the shape of the blood vessel region and the size of the blood vessel region; and determining the two or more matching candidate frames among the extracted matching candidate frames. can

상기 적어도 하나의 정합 후보 프레임을 추출하는 단계는, 상기 둘 이상의 2차원 혈관 영상들 각각에 대하여, 해당 2차원 혈관 영상에 포함된 이미지 프레임들 중 촬영 조건이 변화하는 시간 구간에 대응하는 이미지 프레임을 상기 해당 2차원 혈관 영상에서 추출되는 정합 후보 프레임으로부터 배제시키는 단계를 포함할 수 있다.The extracting of the at least one matched candidate frame may include, for each of the two or more 2D blood vessel images, an image frame corresponding to a time interval in which an imaging condition changes, among image frames included in the corresponding 2D blood vessel image. The method may include excluding from matching candidate frames extracted from the corresponding 2D blood vessel image.

상기 둘 이상의 정합 후보 프레임들을 결정하는 단계는, 상기 둘 이상의 2차원 혈관 영상들 각각으로부터 추출된 동일한 심전도 신호의 위상을 갖는 이미지 프레임을 상기 둘 이상의 정합 후보 프레임들로 결정하는 단계를 포함할 수 있다.The determining of the two or more matching candidate frames may include determining image frames having the same phase of the electrocardiogram signal extracted from each of the two or more 2D blood vessel images as the two or more matching candidate frames. .

상기 둘 이상의 정합 후보 프레임들을 결정하는 단계는, 상기 둘 이상의 2차원 혈관 영상들 각각에 대하여, 해당 2차원 혈관 영상에 포함된 이미지 프레임들 각각에서 검출되는 카테터의 위치에 기초하여 해당 이미지 프레임에 대응하는 심전도 신호의 위상을 예측하는 단계, 및 상기 둘 이상의 2차원 혈관 영상들 각각으로부터 동일한 심전도 신호의 위상을 갖는 것으로 예측된 이미지 프레임을 상기 둘 이상의 정합 후보 프레임들로 결정하는 단계를 포함할 수 있다.The determining of the two or more matching candidate frames may correspond to the corresponding image frame based on the position of the catheter detected in each of the image frames included in the corresponding 2D blood vessel image, with respect to each of the two or more 2D blood vessel images. predicting a phase of an electrocardiogram signal that is predicted to have the same electrocardiogram signal phase, and determining image frames predicted to have the same phase of the electrocardiogram signal from each of the two or more 2D blood vessel images as the two or more matching candidate frames. .

상기 결정된 둘 이상의 정합 후보 프레임들로 구성된 조합을 평가하는 단계는, 직경 분포의 일치도, 대상 혈관의 중심선의 이격도, 및 혈관 영역으로부터 추출된 분지 지점이나 병변 지점을 포함하는 특징점들(feature points)의 일치도 중 적어도 하나 또는 둘 이상의 조합에 기초하여 상기 결정된 둘 이상의 정합 후보 프레임들 간의 조합을 평가하는 단계를 포함할 수 있다.The step of evaluating a combination composed of the determined two or more matched candidate frames includes the degree of agreement of the diameter distribution, the degree of separation of the center line of the target blood vessel, and feature points including branch points or lesion points extracted from the blood vessel area. and evaluating a combination between the determined two or more matching candidate frames based on at least one or a combination of two or more of the degree of matching.

상기 결정된 둘 이상의 정합 후보 프레임들로 구성된 조합을 평가하는 단계는, 상기 결정된 둘 이상의 정합 후보 프레임들 각각에 대응하는 직경 분포의 일치도를 동적 시간 왜곡(dynamic time warping, DTW) 알고리즘을 이용하여 산출하는 단계를 포함할 수 있다.The step of evaluating the combination composed of the determined two or more matching candidate frames may include calculating a degree of consistency of a diameter distribution corresponding to each of the determined two or more matching candidate frames using a dynamic time warping (DTW) algorithm. steps may be included.

상기 결정된 둘 이상의 정합 후보 프레임들로 구성된 조합을 평가하는 단계는, 상기 결정된 둘 이상의 정합 후보 프레임들을 이용하여 3차원 모델인 의사 모델(pseudo model)을 생성하는 단계, 및 상기 생성된 의사 모델을 평가하는 단계를 포함할 수 있다.The step of evaluating the combination composed of the determined two or more matching candidate frames may include generating a pseudo model that is a 3D model using the determined two or more matching candidate frames, and evaluating the generated pseudo model. steps may be included.

상기 의사 모델을 생성하는 단계는, 상기 결정된 둘 이상의 정합 후보 프레임들 각각의 직경 분포에 기초하여 상기 대상 혈관에 대한 직경 추세선을 산출하고, 상기 대상 혈관이 상기 산출된 직경 추세선에 대응하는 직경을 갖도록 상기 의사 모델을 생성하는 단계를 포함할 수 있다.The generating of the pseudo model may include calculating a diameter trend line for the target blood vessel based on the diameter distribution of each of the determined two or more matching candidate frames, and making the target blood vessel have a diameter corresponding to the calculated diameter trend line. A step of generating the pseudo model may be included.

상기 생성된 의사 모델을 평가하는 단계는, 상기 생성된 의사 모델에서 분지로 분할되는 혈관 세그먼트(segment)의 길이, 혈관 단면의 가로 세로 비율, 및 혈관의 곡률(tortuosity) 중 적어도 하나 또는 둘 이상의 조합에 기초하여 상기 생성된 의사 모델을 평가하는 단계를 포함할 수 있다.Evaluating the generated pseudo model may include at least one or a combination of two or more of a length of a blood vessel segment divided into branches, an aspect ratio of a blood vessel cross section, and a tortuosity of a blood vessel in the generated pseudo model. It may include evaluating the generated pseudo model based on.

상기 생성된 의사 모델을 평가하는 단계는, 상기 생성된 의사 모델을 상기 결정된 둘 이상의 정합 후보 프레임들 각각과 대응하는 각도로 투사(project)하고, 상기 투사에 의해 생성된 이미지들 각각을 상기 결정된 둘 이상의 정합 대상 프레임들 중 대응하는 정합 대상 프레임과 비교하는 것에 기초하여 상기 의사 모델을 평가하는 단계를 포함할 수 있다.The step of evaluating the generated pseudo model may include projecting the generated pseudo model at an angle corresponding to each of the determined two or more matching candidate frames, and projecting each of the images generated by the projection into the determined two or more matching candidate frames. The method may include evaluating the pseudo model based on comparison with a matching target frame among the matching target frames.

상기 의사 모델을 평가하는 단계는, 상기 생성된 이미지들 각각에 대하여, 해당 이미지로부터 추출된 혈관 영역과 상기 해당 이미지와 대응하는 정합 대상 프레임으로부터 추출된 혈관 영역을 비교함으로써 상기 의사 모델을 평가하는 단계를 포함할 수 있다.The evaluating of the simulated model may include evaluating the simulated model by comparing a blood vessel region extracted from the corresponding image with a blood vessel region extracted from a matching target frame corresponding to the corresponding image with respect to each of the generated images. can include

일 실시예에 따른 전자 장치는, 대상 혈관에 관한 복수의 2차원 혈관 영상들을 획득하고, 상기 복수의 2차원 혈관 영상들 각각의 정합 가능 여부의 판단에 기초하여, 둘 이상의 2차원 혈관 영상들을 선택하며, 상기 선택된 둘 이상의 2차원 혈관 영상들로부터 둘 이상의 정합 후보 프레임들을 결정하고, 상기 결정된 둘 이상의 정합 후보 프레임들로 구성된 조합을 평가하며, 상기 평가 결과에 기초하여 선택된 조합을 구성하는 정합 후보 프레임들을 정합 대상 프레임들로 결정하고, 상기 결정된 정합 대상 프레임들에 기초하여 상기 대상 혈관에 관한 3차원 혈관 구조를 생성하는 프로세서를 포함할 수 있다.An electronic device according to an embodiment acquires a plurality of 2D blood vessel images of a target blood vessel, and selects two or more 2D blood vessel images based on a determination of whether each of the plurality of 2D blood vessel images can be matched. and determining two or more matching candidate frames from the selected two or more 2D vascular images, evaluating a combination composed of the determined two or more matching candidate frames, and matching candidate frames constituting the selected combination based on the evaluation result. and a processor that determines them as matching target frames and generates a 3D vascular structure of the target blood vessel based on the determined matching target frames.

도 1은 일 실시예에 따른 전자 장치가 대상 혈관에 관한 3차원 혈관 구조를 생성하는 동작을 설명하는 흐름도이다.
도 2는 일 실시예에 따른 전자 장치가 복수의 2차원 혈관 영상들의 정합 가능 여부를 판단하는 동작을 설명하는 흐름도이다.
도 3a는 혈관의 심각한 겹침이 감지되는 이미지 프레임을 예시적으로 도시한다.
도 3b는 의료기기가 검출되는 복수의 이미지 프레임들을 예시적으로 도시한다.
도 4는 일 실시예에 따른 전자 장치가 선택된 둘 이상의 2차원 혈관 영상들로부터 둘 이상의 정합 후보 프레임들을 결정하는 과정을 설명하는 흐름도이다.
도 5는 이미지 프레임에서 검출되는 카테터의 위치에 기초하여 이미지 프레임에 대응하는 심전도 신호의 위상을 예측하는 과정을 설명하는 도면이다.
도 6은 결정된 둘 이상의 정합 후보 프레임들로 구성된 조합을 평가하는 과정을 설명하는 흐름도이다.
도 7은 정합 후보 프레임들 간의 직경 분포의 일치도를 산출하는 방법을 설명하는 도면이다.
도 8은 결정된 둘 이상의 정합 후보 프레임들을 이용하여 3차원 모델을 나타내는 의사 모델을 생성한 예시를 도시한다.
도 9는 일 실시예에 따른 전자 장치가 생성된 의사 모델을 평가하는 과정을 설명하는 도면이다.
도 10은 일 실시예에 따른 전자 장치의 구조를 설명하는 블록도이다.1 is a flowchart illustrating an operation of generating a 3D vascular structure of a target blood vessel by an electronic device according to an exemplary embodiment.
2 is a flowchart illustrating an operation of determining whether an electronic device can match a plurality of 2D blood vessel images according to an exemplary embodiment.
FIG. 3A illustratively shows an image frame in which severe overlapping of blood vessels is detected.
3B illustratively illustrates a plurality of image frames in which medical devices are detected.
4 is a flowchart illustrating a process of determining two or more matching candidate frames from two or more selected 2D blood vessel images by an electronic device according to an exemplary embodiment.
5 is a diagram explaining a process of predicting a phase of an ECG signal corresponding to an image frame based on a position of a catheter detected in the image frame.
6 is a flowchart illustrating a process of evaluating a combination composed of two or more determined matching candidate frames.
7 is a diagram explaining a method of calculating the degree of agreement of diameter distributions between matching candidate frames.
8 illustrates an example of generating a pseudo model representing a 3D model using two or more determined matching candidate frames.
9 is a diagram explaining a process of evaluating a generated pseudo model by an electronic device according to an exemplary embodiment.
10 is a block diagram illustrating a structure of an electronic device according to an exemplary embodiment.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for illustrative purposes only, and may be changed and implemented in various forms. Therefore, the form actually implemented is not limited only to the specific embodiments disclosed, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical idea described in the embodiments.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various components, such terms should only be construed for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, but one or more other features or numbers, It should be understood that the presence or addition of steps, operations, components, parts, or combinations thereof is not precluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this specification, it should not be interpreted in an ideal or excessively formal meaning. don't

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, the same reference numerals are given to the same components regardless of reference numerals, and overlapping descriptions thereof will be omitted.

도 1은 일 실시예에 따른 전자 장치가 대상 혈관에 관한 3차원 혈관 구조를 생성하는 동작을 설명하는 흐름도이다.1 is a flowchart illustrating an operation of generating a 3D vascular structure of a target blood vessel by an electronic device according to an exemplary embodiment.

2차원 혈관 영상은 3차원 혈관 구조의 그림자를 관찰하는 것과 같기 때문에 혈관의 깊이(depth)는 예측하기 어렵다. 2차원 혈관 영상에서는 혈관 영상의 촬영 시 촬영 중심에서 멀리 떨어져 있는 혈관의 길이가 짧게 나타나고, 이는 3차원 구조의 생성시 오류를 일으키는 원인 중 하나로 알려져 있다. 2차원 혈관 영상의 한계를 극복하기 위하여, 복수의 2차원 혈관 영상들을 정합하여 3차원 혈관 구조를 생성할 수 있다.Since a 2D blood vessel image is like observing a shadow of a 3D blood vessel structure, it is difficult to predict the depth of a blood vessel. In a 2D blood vessel image, when a blood vessel image is captured, the length of a blood vessel far from the imaging center appears short, and this is known as one of the causes of errors when generating a 3D structure. To overcome the limitations of 2D blood vessel images, a 3D blood vessel structure can be created by matching a plurality of 2D blood vessel images.

동작(110)에서, 일 실시예에 따른 전자 장치는 대상 혈관(target vessel)에 관한 복수의 2차원 혈관 영상들(blood vessel images)을 획득할 수 있다. 예를 들어, 외부 장치(예를 들어, 의료 촬영 기기)는 대상 혈관을 상이한 각도로 촬영하여 복수의 2차원 혈관 영상을 생성할 수 있고, 전자 장치로 생성된 복수의 2차원 혈관 영상을 전송할 수 있다. 전자 장치는 상이한 각도에서 촬영된 대상 혈관에 관한 복수의 2차원 혈관 영상들을 획득할 수 있다. 여기서, 2차원 혈관 영상은 대상 혈관을 촬영한 영상으로, 대상 혈관만을 포함하는 영상 또는 대상 혈관 외에 다른 혈관들도 함께 포함하는 영상일 수 있다.In operation 110, the electronic device according to an embodiment may acquire a plurality of 2D blood vessel images of a target vessel. For example, an external device (eg, a medical imaging device) may generate a plurality of 2D blood vessel images by photographing a target blood vessel at different angles, and may transmit the plurality of 2D blood vessel images generated by an electronic device. there is. The electronic device may acquire a plurality of 2D blood vessel images of a target blood vessel photographed from different angles. Here, the 2D blood vessel image is an image of a target blood vessel, and may be an image including only the target blood vessel or an image including other blood vessels in addition to the target blood vessel.

일 실시예에 따르면, 대상 혈관은 주혈관(major vessel)을 나타낼 수 있다. 예를 들어, 주혈관은 우관상동맥(right coronary artery, RCA), 좌전하행지(left anterior descending, LAD), 좌선회관상동맥(left circumflex artery, LCX)일 수 있다. 예를 들어, 2차원 혈관 영상은 우관상동맥(RCA)을 촬영한 영상, 좌전하행지(LAD)를 촬영한 영상, 좌선회관상동맥(LCX)을 촬영한 영상일 수 있다. 다른 예를 들어, 2차원 혈관 영상은 좌관상동맥(coronary artery, LCA)을 촬영한 영상을 나타낼 수 있다. 좌관상동맥(LCA)은 좌전하행지(LAD)와 좌선회관상동맥(LCX)로 구분될 수 있다.According to one embodiment, the target vessel may represent a major vessel. For example, the main blood vessel may be a right coronary artery (RCA), a left anterior descending (LAD), or a left circumflex artery (LCX). For example, the 2D blood vessel image may be a right coronary artery (RCA) image, a left anterior descending artery (LAD) image, or a left circumferential coronary artery (LCX) image. As another example, the 2D blood vessel image may represent an image of a left coronary artery (LCA). The left coronary artery (LCA) can be divided into the left anterior descending artery (LAD) and the left circumferential coronary artery (LCX).

동작(120)에서, 전자 장치는 복수의 2차원 혈관 영상들 각각의 정합 가능 여부의 판단에 기초하여, 둘 이상의 2차원 혈관 영상들을 선택할 수 있다. 일 실시예에 따르면, 전자 장치는 복수의 2차원 혈관 영상들 각각에 대하여 대상 혈관에 관한 3차원 혈관 구조의 생성에 적합한 지 여부를 판단할 수 있다. 전자 장치는 복수의 2차원 혈관 영상들 중 3차원 혈관 구조의 생성에 적합한 둘 이상의 2차원 혈관 영상들을 선택할 수 있다.In operation 120, the electronic device may select two or more 2D blood vessel images based on the determination of whether each of the plurality of 2D blood vessel images can be matched. According to an embodiment, the electronic device may determine whether each of the plurality of 2D blood vessel images is suitable for generating a 3D vascular structure of a target blood vessel. The electronic device may select two or more 2D blood vessel images suitable for generating a 3D blood vessel structure from among a plurality of 2D blood vessel images.

동작(130)에서, 전자 장치는 선택된 둘 이상의 2차원 혈관 영상들로부터 둘 이상의 정합 후보 프레임들을 결정할 수 있다. 전자 장치는 선택된 둘 이상의 2차원 혈관 영상들 각각으로부터 적어도 하나 이상의 정합 후보 프레임을 추출할 수 있다. 전자 장치는 선택된 둘 이상의 2차원 혈관 영상들 각각에서 3차원 혈관 구조의 생성에 사용 가능한 이미지 프레임을 정합 후보 프레임으로 추출할 수 있다. 전자 장치는 둘 이상의 2차원 혈관 영상들로부터 추출된 복수의 정합 후보 프레임들 중 둘 이상의 정합 후보 프레임들을 결정할 수 있다. 예를 들어, 전자 장치는 둘 이상의 2차원 혈관 영상들 각각으로부터 최대 하나의 정합 후보 프레임을 결정할 수 있다.In operation 130, the electronic device may determine two or more matching candidate frames from the selected two or more 2D blood vessel images. The electronic device may extract at least one matching candidate frame from each of the selected two or more 2D blood vessel images. The electronic device may extract an image frame usable for generating a 3D vascular structure from each of the selected two or more 2D vascular images as a matched candidate frame. The electronic device may determine two or more matching candidate frames among a plurality of matching candidate frames extracted from two or more 2D blood vessel images. For example, the electronic device may determine at most one matched candidate frame from each of two or more 2D blood vessel images.

동작(140)에서, 전자 장치는 결정된 둘 이상의 정합 후보 프레임들로 구성된 조합을 평가할 수 있다. 여기서, 정합 후보 프레임들로 구성된 조합을 평가하는 것은 결정된 둘 이상의 정합 후보 프레임들에 기초하여 생성한 대상 혈관에 관한 3차원 혈관 구조를 평가하는 것을 나타낼 수 있다.In operation 140, the electronic device may evaluate a combination composed of the determined two or more matching candidate frames. Here, evaluating a combination composed of matching candidate frames may indicate evaluating a 3D vascular structure of a target blood vessel generated based on the determined two or more matching candidate frames.

동작(150)에서, 전자 장치는 평가 결과에 기초하여 선택된 조합을 구성하는 정합 후보 프레임들을 정합 대상 프레임들로 결정할 수 있다. 전자 장치는 둘 이상의 2차원 혈관 영상들로부터 추출된 복수의 정합 후보 프레임들 중 둘 이상의 정합 후보 프레임들로 구성된 복수의 조합들을 생성할 수 있다. 전자 장치는 생성된 복수의 조합들을 평가함으로써 하나의 조합을 선택할 수 있다. 일 실시예에 따르면, 전자 장치는 생성된 조합들 중 평가 결과가 가장 높은 조합을 선택할 수 있다. 다른 일 실시예에 따르면, 전자 장치는 생성된 조합들 중 평가 결과가 임계 점수(score) 이상인 하나의 조합을 선택할 수도 있다. 전자 장치는 선택된 조합을 구성하는 정합 후보 프레임들을 대상 혈관에 관한 3차원 혈관 구조의 생성에 사용할 정합 대상 프레임들로 결정할 수 있다.In operation 150, the electronic device may determine matching candidate frames constituting the selected combination as matching target frames based on the evaluation result. The electronic device may generate a plurality of combinations composed of two or more matching candidate frames among a plurality of matching candidate frames extracted from two or more 2D blood vessel images. The electronic device may select one combination by evaluating a plurality of generated combinations. According to an embodiment, the electronic device may select a combination having the highest evaluation result among generated combinations. According to another embodiment, the electronic device may select one combination whose evaluation result is equal to or greater than a critical score among the generated combinations. The electronic device may determine matching candidate frames constituting the selected combination as matching target frames to be used in generating a 3D vascular structure of the target blood vessel.

동작(160)에서, 전자 장치는 결정된 정합 대상 프레임들에 기초하여 대상 혈관에 관한 3차원 혈관 구조를 생성할 수 있다.In operation 160, the electronic device may generate a 3D blood vessel structure of the target blood vessel based on the determined matching target frames.

도 2는 일 실시예에 따른 전자 장치가 복수의 2차원 혈관 영상들의 정합 가능 여부를 판단하는 동작을 설명하는 흐름도이다.2 is a flowchart illustrating an operation of determining whether an electronic device can match a plurality of 2D blood vessel images according to an exemplary embodiment.

먼저, 동작(221)에서 전자 장치는 복수의 2차원 혈관 영상들 각각에 대하여, 2차원 혈관 영상의 표지 정보 및 2차원 혈관 영상에서 검출되는 대상 혈관의 형태에 기초하여 2차원 혈관 영상의 정합 가능 여부를 판단할 수 있다. First, in operation 221, the electronic device may match the 2D blood vessel images with each of the plurality of 2D blood vessel images based on the label information of the 2D blood vessel image and the shape of a target blood vessel detected in the 2D blood vessel image. can determine whether

일 실시예에 따르면, 전자 장치는 2차원 혈관 영상이 대상 사용자 정보 및 대상 날짜 정보를 갖는 영상인 지 여부를 판단함으로써 2차원 혈관 영상의 정합 가능 여부를 판단할 수 있다. 표지 정보는 2차원 혈관 영상을 촬영한 사용자에 관한 정보(이하, '사용자 정보') 및 혈관 영상을 촬영한 날짜에 관한 정보(이하, '날짜 정보')를 포함할 수 있다. 사용자 정보는, 예를 들어, 사용자의 이름, 성별, 나이 등에 관한 정보를 포함할 수 있다. 2차원 혈관 영상은 표지 정보를 포함할 수 있고, 전자 장치는 2차원 혈관 영상에 대응하는 표지 정보를 확인함으로써 해당 2차원 혈관 영상이 대상 사용자 정보 및 대상 날짜 정보를 갖는 영상인 지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 외부 사용자(예를 들어, 전자 장치를 제어하는 사용자)로부터 대상 사용자 정보 및 대상 날짜 정보를 수신할 수 있다. 전자 장치는 복수의 2차원 혈관 영상들 중 대상 사용자 정보 및 대상 날짜 정보와 일치하는 사용자 정보 및 날짜 정보를 갖는 2차원 혈관 영상을 정합 가능한 것으로 판단할 수 있다. 전자 장치는 복수의 2차원 혈관 영상들 중 대상 사용자 정보 및 대상 날짜 정보와 적어도 하나라도 일치하지 않는 사용자 정보 및 날짜 정보를 갖는 2차원 혈관 영상은 정합 가능하지 않은 것으로 판단할 수 있다.According to an embodiment, the electronic device may determine whether matching of the 2D blood vessel images is possible by determining whether the 2D blood vessel image is an image having target user information and target date information. The label information may include information on a user who captured the 2D blood vessel image (hereinafter referred to as 'user information') and information regarding a date when the blood vessel image was captured (hereinafter referred to as 'date information'). User information may include, for example, information about the user's name, gender, age, and the like. The 2D blood vessel image may include label information, and the electronic device can determine whether the corresponding 2D blood vessel image is an image having target user information and target date information by checking the label information corresponding to the 2D blood vessel image. can For example, the electronic device may receive target user information and target date information from an external user (eg, a user who controls the electronic device). The electronic device may determine that a 2D blood vessel image having user information and date information matching the target user information and target date information among the plurality of 2D blood vessel images can be matched. The electronic device may determine that a 2D blood vessel image having user information and date information that does not match at least one of the target user information and target date information among the plurality of 2D blood vessel images is not matchable.

일 실시예에 따르면, 전자 장치는 2차원 혈관 영상에서 검출되는 대상 혈관의 형태에 기초하여 2차원 혈관 영상이 대상 혈관을 촬영한 영상인 지 여부를 판단함으로써 2차원 혈관 영상의 정합 가능 여부를 판단할 수 있다. According to an embodiment, the electronic device determines whether matching of the 2D blood vessel images is possible by determining whether the 2D blood vessel image is an image of a target blood vessel based on the shape of the target blood vessel detected in the 2D blood vessel image. can do.

전자 장치는 2차원 혈관 영상에 포함된 적어도 하나의 이미지 프레임으로부터 대상 혈관에 대응하는 영역을 검출할 수 있다. 전자 장치는 검출된 대상 혈관에 대응하는 영역의 형태에 기초하여 대상 혈관에 대응하는 영역이 대상 혈관을 지시하는 지 여부를 판단할 수 있다. 다시 말해, 전자 장치는 2차원 혈관 영상으로부터 검출된 대상 혈관에 대응하는 영역과 대상 혈관과의 일치 여부를 판단할 수 있다. 여기서, 대상 혈관에 대응하는 영역과 대상 혈관과의 일치 여부를 판단한다는 것은 대상 혈관에 대응하는 영역의 형태에 대상 혈관의 특징(feature)이 존재하는지 혹은 대상 혈관이 갖지 않는 특징이 존재하는지 여부를 판단하는 것을 포함할 수 있다. 예를 들어, 전자 장치는 2차원 혈관 영상에 포함된 복수의 이미지 프레임들 각각으로부터 대상 혈관에 대응하는 영역을 검출하여 대상 혈관과의 일치 여부를 판단할 수도 있다. 전자 장치는 2차원 혈관 영상에서 검출된 대상 혈관에 대응하는 영역이 대상 혈관과 일치하지 않은 것으로 판단하는 경우, 2차원 혈관 영상을 정합 가능하지 않은 것으로 판단할 수 있다. 전자 장치는 2차원 혈관 영상에서 검출된 대상 혈관에 대응하는 영역이 대상 혈관과 일치하는 것으로 판단하는 경우, 해당 2차원 혈관 영상을 정합 가능한 것으로 판단할 수 있다.The electronic device may detect a region corresponding to the target blood vessel from at least one image frame included in the 2D blood vessel image. The electronic device may determine whether the region corresponding to the target blood vessel indicates the target blood vessel based on the shape of the region corresponding to the detected target blood vessel. In other words, the electronic device may determine whether a region corresponding to the target blood vessel detected from the 2D blood vessel image matches the target blood vessel. Here, determining whether the region corresponding to the target blood vessel matches the target blood vessel means whether a feature of the target blood vessel exists in the shape of the region corresponding to the target blood vessel or a feature that the target blood vessel does not have. may include judgment. For example, the electronic device may detect a region corresponding to the target blood vessel from each of a plurality of image frames included in the 2D blood vessel image, and determine whether the region corresponds to the target blood vessel. When the electronic device determines that a region corresponding to the target blood vessel detected in the 2D blood vessel image does not match the target blood vessel, the electronic device may determine that the 2D blood vessel image cannot be matched. When the electronic device determines that the region corresponding to the target blood vessel detected in the 2D blood vessel image matches the target blood vessel, the electronic device may determine that the corresponding 2D blood vessel image can be matched.

일 실시예에 따르면, 전자 장치는 제1 기계 학습 모델(machine learning model)에 기초하여 2차원 혈관 영상이 대상 혈관을 촬영한 영상인 지 여부를 판단할 수 있다. 제1 기계 학습 모델은 2차원 혈관 영상의 입력에 응답하여 2차원 혈관 영상에서 검출되는 대상 혈관에 대응하는 영역이 대상 혈관과 일치하는 지 여부를 판단하도록 설계된 기계 학습 구조를 갖는 하나 이상의 모델로서, 예를 들어, 뉴럴 네트워크(neural network)를 포함할 수 있다. 예를 들어, 제1 기계 학습 모델의 출력 데이터는 대상 혈관에 대응하는 영역이 대상 혈관일 가능성(예를 들어, 확률)에 대응하는 스코어(score)를 포함할 수 있다. 참고로, 뉴럴 네트워크는 딥 뉴럴 네트워크(DNN, deep neural network)를 포함할 수 있다. DNN은 완전 연결 네트워크(fully connected network), 딥 컨볼루셔널 네트워크(deep convolutional network) 및 리커런트 뉴럴 네트워크(recurrent neural network) 등을 포함할 수 있다. 뉴럴 네트워크는 딥 러닝에 기반하여 비선형적 관계에 있는 입력 데이터 및 출력 데이터를 서로 매핑함으로써 객체 분류, 객체 인식, 및 레이더 이미지 인식 등을 수행할 수 있다. 딥 러닝은 빅 데이터 세트로부터 객체 인식과 같은 문제를 해결하기 위한 기계 학습 기법으로 지도식(supervised) 또는 비지도식(unsupervised) 학습을 통해 입력 데이터 및 출력 데이터를 서로 매핑할 수 있다. 지도식 학습의 경우, 상술한 기계 학습 모델은 트레이닝 입력(예를 들어, 트레이닝을 위한 혈관 영상) 및 해당 트레이닝 입력에 매핑된 트레이닝 출력(예를 들어, 트레이닝을 위한 혈관 영상에 대해 전문가 등에 의해 대상 혈관으로 분할된 참값(ground truth) 영상)의 쌍을 포함하는 트레이닝 데이터에 기초하여 트레이닝될 수 있다. 예를 들어, 기계 학습 모델은 트레이닝 입력으로부터 트레이닝 출력을 출력하도록 트레이닝될 수 있다. 트레이닝 중의 기계 학습 모델(이하, '임시 모델')은 트레이닝 입력에 응답하여 임시 출력을 생성할 수 있고, 임시 출력 및 트레이닝 출력(예를 들어, 참값) 간의 손실이 최소화되도록 트레이닝될 수 있다. 트레이닝 과정 동안 기계 학습 모델의 파라미터(예를 들어, 뉴럴 네트워크에서 노드들/레이어들 간의 연결 가중치)가 손실에 따라 업데이트될 수 있다.According to an embodiment, the electronic device may determine whether the 2D blood vessel image is an image of a target blood vessel based on a first machine learning model. The first machine learning model is one or more models having a machine learning structure designed to determine whether a region corresponding to a target blood vessel detected in the 2D blood vessel image matches the target blood vessel in response to an input of the 2D blood vessel image, For example, it may include a neural network. For example, the output data of the first machine learning model may include a score corresponding to a probability (eg, probability) that a region corresponding to the target blood vessel is the target blood vessel. For reference, the neural network may include a deep neural network (DNN). A DNN may include a fully connected network, a deep convolutional network, a recurrent neural network, and the like. The neural network may perform object classification, object recognition, and radar image recognition by mapping input data and output data having a non-linear relationship to each other based on deep learning. Deep learning is a machine learning technique for solving problems such as object recognition from big data sets, and input data and output data can be mapped to each other through supervised or unsupervised learning. In the case of supervised learning, the above-described machine learning model is composed of training inputs (eg, blood vessel images for training) and training outputs mapped to the corresponding training inputs (eg, blood vessel images for training, targeted by experts, etc.) It can be trained based on training data including pairs of ground truth images segmented into blood vessels. For example, a machine learning model can be trained to output a training output from a training input. A machine learning model during training (hereinafter referred to as 'temporary model') may generate temporal outputs in response to training inputs, and may be trained such that the loss between the temporal outputs and training outputs (eg, true values) is minimized. During the training process, parameters of the machine learning model (eg, connection weights between nodes/layers in the neural network) may be updated according to the loss.

동작(222)에서, 전자 장치는 복수의 2차원 혈관 영상들 각각에 대하여, 해당 2차원 혈관 영상에서 정합에 불리한 영역이 감지되는지 여부에 기초하여 해당 2차원 혈관 영상의 정합 가능 여부를 판단할 수 있다.In operation 222, the electronic device may determine whether registration of the corresponding 2D blood vessel image is possible based on whether a region unfavorable to registration is detected in the corresponding 2D blood vessel image, with respect to each of the plurality of 2D blood vessel images. there is.

일 실시예에 따르면, 전자 장치는 복수의 2차원 혈관 영상들 각각에 대하여, 해당 2차원 혈관 영상에서 완전폐색병변(chronic total occlusion, CTO), 불완전한 조영제 투입(incomplete filling), 매우 작은 혈관(diminutive vessel), 혈관의 심각한 겹침(severe overlap), 및 의료기기와 혈관과의 겹침 중 적어도 하나가 감지되는 지 여부를 판단할 수 있다.According to an embodiment, the electronic device determines, for each of the plurality of 2D blood vessel images, a chronic total occlusion (CTO), incomplete filling, and diminutive blood vessels in the corresponding 2D blood vessel image. vessel), severe overlap of blood vessels, and overlapping of medical devices and blood vessels, it may be determined whether at least one is detected.

일 실시예에 따르면, 전자 장치는 2차원 혈관 영상의 적어도 하나의 부분에서 완전폐색병변이 감지되는 경우에는 2차원 혈관 영상이 정합 가능하지 않은 것으로 판단할 수 있다. 완전폐색병변은 혈전 등에 의해 혈관이 막혀 혈류가 흐르지 못하는 증상을 나타낼 수 있다. 2차원 혈관 영상의 촬영시 혈관 영역의 검출을 위해 조영제가 투입되고, 완전폐색병변에 의해 혈관이 막혀 조영제가 혈류에 흐르지 못하면 2차원 혈관 영상에서는 혈관 영역의 일부가 잘린 것처럼 나타날 수 있고, 이러한 2차원 혈관 영상을 3차원 혈관 구조의 생성에 사용하는 것은 부적합할 수 있다.According to an embodiment, the electronic device may determine that the 2D blood vessel image is not matchable when a complete occlusion lesion is detected in at least one portion of the 2D blood vessel image. Complete occlusion lesions may show symptoms in which blood vessels are blocked by blood clots and the like, preventing blood flow. When taking a 2D blood vessel image, a contrast medium is injected to detect the blood vessel region, and if the contrast medium cannot flow into the bloodstream because the blood vessel is blocked by a complete occlusion lesion, a part of the blood vessel region may appear cut off in the 2D blood vessel image. It may be inappropriate to use 3D vascular images to generate 3D vascular structures.

일 실시예에 따르면, 전자 장치는 2차원 혈관 영상에서 불완전한 조영제 투입이 감지되는 경우에는 2차원 혈관 영상이 정합 가능하지 않은 것으로 판단할 수 있다. 불완전한 조영제 투입이란 혈관의 관찰을 위한 조영제가 충분히 투입되지 않아 2차원 혈관 영상에서 혈관 영역이 충분히 검출되지 않는 경우를 나타낼 수 있다. 예를 들어, 전자 장치는 2차원 혈관 영상으로부터 혈관에 대응하는 영역(이하, '혈관 영역')을 검출할 수 있고, 혈관 영역에 대응하는 픽셀들의 인텐시티(intensity)에 기초하여 혈관 영상의 불완전한 조영제 투입을 판단할 수 있다. 전자 장치는 2차원 혈관 영상의 혈관 영역에 대응하는 픽셀들의 평균 인텐시티가 제1 임계 인텐시티 이하인 경우에는 불완전한 조영제 투입을 감지할 수 있다. 다른 예를 들어, 전자 장치는 2차원 혈관 영상으로부터 검출되는 혈관 영역의 크기가 제1 임계 영역 크기 이하인 경우에 응답하여 불완전한 조영제 투입을 감지할 수 있다.According to an embodiment, the electronic device may determine that the 2D blood vessel image is not matchable when incomplete injection of the contrast agent is detected in the 2D blood vessel image. Incomplete injection of the contrast agent may refer to a case in which a blood vessel region is not sufficiently detected in a 2D blood vessel image because a contrast agent is not sufficiently injected for blood vessel observation. For example, the electronic device may detect a region corresponding to a blood vessel (hereinafter referred to as a 'vascular region') from a 2D blood vessel image, and an incomplete contrast agent of the blood vessel image based on the intensities of pixels corresponding to the blood vessel region. input can be assessed. The electronic device may detect incomplete injection of the contrast agent when the average intensity of pixels corresponding to the blood vessel region of the 2D blood vessel image is less than or equal to the first threshold intensity. For another example, the electronic device may detect incomplete injection of the contrast agent in response to a case where the size of the blood vessel region detected from the 2D blood vessel image is equal to or less than the size of the first threshold region.

일 실시예에 따르면, 전자 장치는 2차원 혈관 영상에서 매우 작은 혈관이 감지되는 경우에는 2차원 혈관 영상이 정합 가능하지 않은 것으로 판단할 수 있다. 여기서, 매우 작은 혈관이란 혈관 영상에서 혈관으로 검출되는 혈관 영역의 너비(width)가 매우 작은 것을 나타낼 수 있다. 예를 들어, 2차원 혈관 영상에서 매우 작은 혈관은 혈관에 충분한 조영제가 투입되지 않는 경우에 감지될 수 있다. 일 실시예에 따르면, 전자 장치는 2차원 혈관 영상에서 검출되는 혈관 영역 중 매우 작은 혈관으로 감지되는 영역의 크기가 제2 임계 영역 크기를 초과하는 경우에는 2차원 혈관 영상이 정합 가능하지 않은 것으로 판단할 수 있다.According to an embodiment, when a very small blood vessel is detected in the 2D blood vessel image, the electronic device may determine that the 2D blood vessel image is not matchable. Here, a very small blood vessel may indicate a very small width of a blood vessel region detected as a blood vessel in a blood vessel image. For example, in a 2D blood vessel image, a very small blood vessel may be detected when sufficient contrast medium is not injected into the blood vessel. According to an embodiment, the electronic device determines that the 2D blood vessel image is not matchable when the size of a region detected as a very small blood vessel among blood vessel regions detected in the 2D blood vessel image exceeds the size of the second threshold region. can do.

일 실시예에 따르면, 전자 장치는 2차원 혈관 영상에서 혈관의 심각한 겹침을 감지하는 경우에는 2차원 혈관 영상이 정합 가능하지 않은 것으로 판단할 수 있다.According to an embodiment, the electronic device may determine that the 2D blood vessel image is not matchable when detecting a serious overlap of blood vessels in the 2D blood vessel image.

일 실시예에 따르면, 전자 장치는 2차원 혈관 영상에 포함된 적어도 하나의 이미지 프레임에서 혈관의 심각한 겹침이 감지되면 2차원 혈관 영상이 정합 가능하지 않은 것으로 판단할 수 있다. 도 3a는 혈관의 심각한 겹침이 감지되는 이미지 프레임(301)을 예시적으로 도시한다. 여기서, 혈관의 심각한 겹침이란 이미지 프레임 내에서 혈관 영상에서 혈관의 겹침이 나타남으로써 이미지 프레임에서 겹쳐진 혈관들의 구분이 어려운 것을 나타낼 수 있다. 전자 장치는 2차원 혈관 영상의 이미지 프레임을 구성하는 픽셀들의 인텐시티에 기초하여 혈관의 심각한 겹침이 감지되는지 여부를 판단할 수 있다. 전자 장치는 2차원 혈관 영상의 이미지 프레임에서 제2 임계 인텐시티를 초과하는 픽셀들을 검출할 수 있다. 예를 들어, 전자 장치는 2차원 혈관 영상의 이미지 프레임에서 제2 임계 인텐시티를 초과하는 픽셀들이 임계 개수 이상인 경우에 혈관의 심각한 겹침이 감지되는 것으로 판단할 수 있다. 다른 예를 들어, 전자 장치는 2차원 혈관 영상의 이미지 프레임에서 제2 임계 인텐시티를 초과하는 픽셀들이 구성하는 적어도 하나의 블롭(blob) 중 제3 임계 영역 크기를 초과하는 블롭이 적어도 하나 존재하는 경우에 혈관의 심각한 겹침이 감지되는 것으로 판단할 수 있다. 여기서, 블롭이란 픽셀들이 연결되어 이루는 하나의 영역을 나타낼 수 있다.According to an embodiment, the electronic device may determine that the 2D blood vessel image is not matchable when a serious overlapping of blood vessels is detected in at least one image frame included in the 2D blood vessel image. 3A illustratively illustrates an image frame 301 in which severe overlapping of blood vessels is detected. Here, the serious overlapping of blood vessels may indicate that it is difficult to distinguish overlapping blood vessels in the image frame because blood vessels overlap in the blood vessel image within the image frame. The electronic device may determine whether a serious blood vessel overlap is detected based on the intensities of pixels constituting an image frame of the 2D blood vessel image. The electronic device may detect pixels exceeding a second threshold intensity in an image frame of a 2D blood vessel image. For example, the electronic device may determine that a serious blood vessel overlap is detected when the number of pixels exceeding the second threshold intensity in the image frame of the 2D blood vessel image is greater than or equal to a threshold number. For another example, the electronic device may be configured when at least one blob exceeding the size of the third threshold region exists among at least one blob composed of pixels exceeding the second threshold intensity in the image frame of the 2D blood vessel image. It can be judged that serious overlapping of blood vessels is detected. Here, a blob may represent one area formed by connecting pixels.

다른 일 실시예에 따르면, 전자 장치는 2차원 혈관 영상에 포함된 복수의 이미지 프레임들 중 일부의 이미지 프레임에서 혈관의 심각한 겹침이 감지되더라도 다른 일부의 이미지 프레임에서 혈관의 심각한 겹침이 감지되지 않는 경우에는 2차원 혈관 영상이 정합 가능한 것으로 판단할 수 있다. 이러한 경우, 전자 장치는 2차원 혈관 영상에 포함된 복수의 이미지 프레임들 중 혈관의 심각한 겹침이 감지되지 않는 이미지 프레임으로부터 정합 후보 프레임을 추출할 수 있다.According to another embodiment, the electronic device detects serious overlapping of blood vessels in some image frames among a plurality of image frames included in a 2D blood vessel image, but does not detect serious overlapping of blood vessels in other image frames. , it can be determined that 2D blood vessel images can be matched. In this case, the electronic device may extract a matched candidate frame from an image frame in which a serious blood vessel overlap is not detected among a plurality of image frames included in the 2D blood vessel image.

일 실시예에 따르면, 전자 장치는 2차원 혈관 영상에 포함된 적어도 하나의 이미지 프레임에서 의료기기와 혈관과의 겹침이 감지되면 2차원 혈관 영상이 정합 가능하지 않은 것으로 판단할 수 있다. 도 3b는 의료기기가 검출되는 복수의 이미지 프레임들(302, 303)을 예시적으로 도시한다. 여기서, 의료기기와 혈관과의 겹침이란 이미지 프레임 내에서 의료기기(예를 들어, 와이어(wire), 페이스메이커(pacemaker), 니들(needle) 등)가 검출되고, 의료기기에 대응하는 영역이 혈관 영역과 겹치는 것을 나타낼 수 있다. 이미지 프레임(302)은 의료기기인 와이어(331)가 검출되지만, 와이어(331)에 대응하는 영역이 혈관 영역과 겹치지 않는 예시적인 이미지 프레임을 나타낸다. 이미지 프레임(303)은 의료기기인 와이어(332)가 검출되면서, 와이어(332)에 대응하는 영역이 혈관 영역과 겹치는 예시적인 이미지 프레임이다. 예를 들어, 전자 장치는 2차원 혈관 영상의 이미지 프레임에서 의료기기에 대응하는 영역과 혈관 영역이 겹치는 영역의 크기가 제4 임계 영역의 크기를 초과하는 경우에 해당 이미지 프레임에서 의료기기와 혈관과의 겹침이 감지되는 것으로 판단할 수 있다.According to an embodiment, the electronic device may determine that the 2D blood vessel image is not matchable when an overlap between a medical device and a blood vessel is detected in at least one image frame included in the 2D blood vessel image. 3B illustratively illustrates a plurality of image frames 302 and 303 in which medical devices are detected. Here, the overlap between the medical device and the blood vessel means that the medical device (eg, wire, pacemaker, needle, etc.) is detected within the image frame, and the area corresponding to the medical device is a blood vessel. may indicate an overlap with an area. The image frame 302 represents an exemplary image frame in which a wire 331, which is a medical device, is detected, but a region corresponding to the wire 331 does not overlap with a blood vessel region. The image frame 303 is an exemplary image frame in which a region corresponding to the wire 332 overlaps a blood vessel region when the wire 332, which is a medical device, is detected. For example, when the size of an overlapping region between a region corresponding to a medical device and a blood vessel region in an image frame of a 2D blood vessel image exceeds a size of a fourth critical region, the electronic device may detect medical devices and blood vessels in the corresponding image frame. It can be determined that the overlap of is detected.

다른 일 실시예에 따르면, 전자 장치는 2차원 혈관 영상에 포함된 복수의 이미지 프레임들 중 일부의 이미지 프레임에서 의료기기와 혈관과의 겹침이 감지되더라도 다른 일부의 이미지 프레임에서 의료기기와 혈관과의 겹침이 감지되지 않는 경우에는 2차원 혈관 영상이 정합 가능한 것으로 판단할 수 있다. 이러한 경우, 전자 장치는 2차원 혈관 영상에 포함된 복수의 이미지 프레임들 중 의료기기와 혈관과의 겹침이 감지되지 않는 이미지 프레임으로부터 정합 후보 프레임을 추출할 수 있다.According to another embodiment, the electronic device detects an overlap between a medical device and a blood vessel in some of a plurality of image frames included in a 2D blood vessel image, but detects an overlap between a medical device and a blood vessel in other image frames. When overlapping is not detected, it may be determined that the 2D blood vessel images can be matched. In this case, the electronic device may extract a matched candidate frame from an image frame in which an overlap between the medical device and the blood vessel is not detected among a plurality of image frames included in the 2D blood vessel image.

일 실시예에 따르면, 전자 장치는 제2 기계 학습 모델에 기초하여 2차원 혈관 영상 내에서 정합에 불리한 영역이 감지되는지 여부를 판단할 수 있다. 제2 기계 학습 모델은 2차원 혈관 영상의 입력에 응답하여 2차원 혈관 영상에서 완전폐색병변, 불완전한 조영제 투입, 매우 작은 혈관, 및 혈관의 심각한 겹침 중 적어도 하나가 감지되는지 여부를 판단하도록 설계된 기계 학습 구조를 갖는 하나 이상의 모델로서, 뉴럴 네트워크를 포함할 수 있다. 다른 일 실시예에 따르면, 전자 장치는 2차원 혈관 영상에서 완전폐색병변, 불완전한 조영제 투입, 매우 작은 혈관, 및 혈관의 심각한 겹침이 감지되는 지 각각을 개별적으로 판단하기 위하여 개별 기계 학습 모델들을 사용할 수도 있다.According to an embodiment, the electronic device may determine whether a region unfavorable to registration is detected in the 2D blood vessel image based on the second machine learning model. The second machine learning model is designed to determine whether at least one of complete occlusion, incomplete contrast agent injection, very small vessels, and severe overlapping of blood vessels is detected in the 2-dimensional vessel image in response to input of the 2-dimensional vessel image. As one or more models having a structure, it may include a neural network. According to another embodiment, the electronic device may use individual machine learning models to individually determine whether complete occlusion, incomplete contrast agent injection, very small blood vessels, and severe overlapping of blood vessels are detected in the 2D blood vessel image. there is.

도 4는 일 실시예에 따른 전자 장치가 선택된 둘 이상의 2차원 혈관 영상들로부터 둘 이상의 정합 후보 프레임들을 결정하는 과정을 설명하는 흐름도이다.4 is a flowchart illustrating a process of determining two or more matching candidate frames from two or more selected 2D blood vessel images by an electronic device according to an exemplary embodiment.

동작(431)에서, 일 실시예에 따른 전자 장치는 선택된 둘 이상의 2차원 혈관 영상들 각각으로부터, 심전도(electrocardiogram, ECG) 신호의 위상(phase), 카테터(catheter)의 위치, 대상 혈관에 대응하는 영역의 형태, 및 혈관 영역의 크기 중 적어도 하나 또는 둘 이상의 조합에 기초하여 적어도 하나의 정합 후보 프레임을 추출할 수 있다.In operation 431, the electronic device according to an embodiment determines a phase of an electrocardiogram (ECG) signal, a position of a catheter, and a corresponding blood vessel from each of the selected two or more 2D blood vessel images. At least one matched candidate frame may be extracted based on at least one or a combination of two or more of the shape of the region and the size of the blood vessel region.

일 실시예에 따르면, 전자 장치는 선택된 둘 이상의 2차원 혈관 영상들 각각으로부터, 2차원 혈관 영상에 포함된 복수의 이미지 프레임들 중 심전도 신호의 위상에 기초하여 선택된 적어도 하나의 이미지 프레임을 2차원 혈관 영상에 대한 정합 후보 프레임으로 추출할 수 있다. 2차원 혈관 영상은 복수의 이미지 프레임들을 포함할 수 있다. 예를 들어, 이미지 프레임이 해당 이미지 프레임과 대응되는 심전도 신호의 위상에 관한 정보를 포함하는 것을 가정한다. 이러한 경우, 전자 장치는 2차원 혈관 영상에 포함된 이미지 프레임들 중 대상 위상의 심전도 신호에 대응하는 이미지 프레임을 정합 후보 프레임으로 추출할 수 있다. 예를 들어, 전자 장치는 2차원 혈관 영상에 포함된 이미지 프레임들 중 심장의 이완기에 대응하는 심전도 신호의 위상을 갖는 이미지 프레임을 정합 후보 프레임으로 추출할 수 있다.According to an embodiment, the electronic device transmits at least one image frame selected based on the phase of an electrocardiogram signal among a plurality of image frames included in the 2D blood vessel image, from each of the selected two or more 2D blood vessel images. It can be extracted as a matching candidate frame for an image. A 2D blood vessel image may include a plurality of image frames. For example, it is assumed that an image frame includes information about a phase of an ECG signal corresponding to the corresponding image frame. In this case, the electronic device may extract an image frame corresponding to an ECG signal of a target phase from among image frames included in the 2D blood vessel image as a matched candidate frame. For example, the electronic device may extract an image frame having a phase of an ECG signal corresponding to a diastolic phase of the heart from among image frames included in the 2D blood vessel image as a matched candidate frame.

일 실시예에 따르면, 전자 장치는 둘 이상의 2차원 혈관 영상들 각각으로부터, 2차원 혈관 영상에 포함된 복수의 이미지 프레임들 중 카테터의 위치에 기초하여 선택된 적어도 하나의 이미지 프레임을 2차원 혈관 영상에 대한 정합 후보 프레임으로 추출할 수 있다. 예를 들어, 이미지 프레임이 해당 이미지 프레임과 대응되는 심전도 신호의 위상에 관한 정보를 포함하지 않는 것을 가정한다. 이러한 경우, 전자 장치는 이미지 프레임에서 검출되는 카테터의 위치에 기초하여 해당 이미지 프레임에 대응하는 심전도 신호의 위상을 예측할 수 있다.According to an embodiment, the electronic device transmits at least one image frame selected based on the position of a catheter among a plurality of image frames included in the 2D blood vessel image, from each of the two or more 2D blood vessel images, to the 2D blood vessel image. can be extracted as a matching candidate frame for For example, it is assumed that an image frame does not include information about a phase of an ECG signal corresponding to the corresponding image frame. In this case, the electronic device may predict the phase of the ECG signal corresponding to the corresponding image frame based on the position of the catheter detected in the image frame.

도 5는 이미지 프레임에서 검출되는 카테터의 위치에 기초하여 이미지 프레임에 대응하는 심전도 신호의 위상을 예측하는 과정을 설명하는 도면이다. 도 5의 예시에서는 하나의 2차원 혈관 영상에 포함된 동일한 심전도 신호의 위상을 갖는 복수의 이미지 프레임들(511, 512, 513)이 도시된다. 복수의 이미지 프레임들(511, 512, 513) 각각으로부터 카테터들(521, 522, 523)이 검출될 수 있다. 도 5에 도시된 바와 같이, 복수의 이미지 프레임들(511, 512, 513) 각각으로부터 검출되는 카테터들(521, 522, 523)은 유사한 위치에서 검출될 수 있다. 다시 말해, 이미지 프레임에서 검출되는 카테터의 위치와 이미지 프레임에 대응하는 심전도 신호의 위상은 서로 대응될 수 있다. 카테터는 혈관 내부로 삽입되며 심장 박동에 의한 혈관의 움직임에 따라 카테터는 함께 움직일 수 있다. 예를 들어, 심장의 이완기에는 심장의 수축기와 비교하여 혈관에 삽입된 카테터의 위치가 상대적으로 위로 이동할 수 있다. 즉, 카테터의 움직임과 심장 박동에 따른 혈관의 움직임이 서로 유사하기 때문에, 이미지 프레임에서 검출되는 카테터의 위치로부터 이미지 프레임에 대응하는 심전도 신호의 위상을 예측할 수 있다. 심전도 신호는 심장을 박동하게 하는 전기 신호의 간격과 강도를 기록하는 신호이기 때문이다.5 is a diagram explaining a process of predicting a phase of an ECG signal corresponding to an image frame based on a position of a catheter detected in the image frame. In the example of FIG. 5 , a plurality of image frames 511, 512, and 513 having the same phase of the ECG signal included in one 2D blood vessel image are shown. Catheters 521 , 522 , and 523 may be detected from each of the plurality of image frames 511 , 512 , and 513 . As shown in FIG. 5 , catheters 521 , 522 , and 523 detected from each of the plurality of image frames 511 , 512 , and 513 may be detected at similar positions. In other words, the position of the catheter detected in the image frame and the phase of the ECG signal corresponding to the image frame may correspond to each other. The catheter is inserted into the blood vessel, and the catheter can move along with the movement of the blood vessel by the heartbeat. For example, when the heart is diastolic, the position of the catheter inserted into the blood vessel may move relatively upward compared to when the heart is systolic. That is, since the movement of the catheter and the movement of the blood vessel according to the heartbeat are similar to each other, the phase of the ECG signal corresponding to the image frame can be predicted from the position of the catheter detected in the image frame. This is because the electrocardiogram signal is a signal that records the interval and intensity of electrical signals that make the heart beat.

전자 장치는 2차원 혈관 영상에 포함된 이미지 프레임들 중 카테터의 위치에 기초하여 심장의 이완기와 대응하는 심전도 신호의 위상을 갖는 것으로 예측된 이미지 프레임을 2차원 혈관 영상에 대한 정합 후보 프레임으로 추출할 수 있다.The electronic device extracts an image frame predicted to have a phase of an electrocardiogram signal corresponding to a diastole of a heart based on a catheter position among image frames included in the 2D blood vessel image as a matching candidate frame for the 2D blood vessel image. can

일 실시예에 따르면, 전자 장치는 둘 이상의 2차원 혈관 영상들 각각으로부터, 2차원 혈관 영상에 포함된 복수의 이미지 프레임들 중 대상 혈관에 대응하는 영역의 형태에 기초하여 선택된 적어도 하나의 이미지 프레임을 해당 2차원 혈관 영상에 대한 정합 후보 프레임으로 추출할 수 있다. 심장의 이완기에는 심장의 수축기와 비교하여 대상 혈관이 상대적으로 넓게 퍼지고 대상 혈관이 확장될 수 있다. 따라서, 심장의 이완기에 대응하는 이미지 프레임에서 검출되는 대상 혈관에 대응하는 영역의 크기 및 너비는 심장의 수축기와 비교하여 클 것으로 이해될 수 있다. 대상 혈관에 대응하는 영역의 형태는 대상 혈관에 대응하는 영역의 너비 및 크기를 포함할 수 있다. 전자 장치는 2차원 혈관 영상 내에 포함된 이미지 프레임들에서 대상 혈관에 대응하는 영역의 형태에 기초하여 이미지 프레임에 대응하는 심전도 신호의 위상을 예측할 수 있다. 예를 들어, 전자 장치는 2차원 혈관 영상에 포함된 이미지 프레임들 중 대상 혈관에 대응하는 영역의 형태에 기초하여 심장의 이완기와 대응하는 심전도 신호의 위상을 갖는 것으로 예측된 이미지 프레임을 2차원 혈관 영상에 대한 정합 후보 프레임으로 추출할 수 있다.According to an embodiment, the electronic device selects at least one image frame from each of two or more 2D blood vessel images based on a shape of a region corresponding to a target blood vessel among a plurality of image frames included in the 2D blood vessel image. It may be extracted as a matched candidate frame for the corresponding 2D blood vessel image. In the diastole of the heart, compared to the systole of the heart, target blood vessels may spread relatively widely and the target blood vessels may dilate. Accordingly, it may be understood that the size and width of the region corresponding to the target blood vessel detected in the image frame corresponding to the diastole of the heart is greater than that of the systole of the heart. The shape of the region corresponding to the target blood vessel may include the width and size of the region corresponding to the target blood vessel. The electronic device may predict a phase of an ECG signal corresponding to an image frame based on a shape of a region corresponding to a target blood vessel in image frames included in a 2D blood vessel image. For example, the electronic device converts an image frame predicted to have a phase of an electrocardiogram signal corresponding to a heart diastole based on a shape of a region corresponding to a target blood vessel among image frames included in a 2D blood vessel image, to a 2D blood vessel image. It can be extracted as a matching candidate frame for an image.

일 실시예에 따르면, 전자 장치는 둘 이상의 2차원 혈관 영상들 각각으로부터, 2차원 혈관 영상에 포함된 복수의 이미지 프레임들 중 혈관 영역의 크기에 기초하여 선택된 적어도 하나의 이미지 프레임을 정합 후보 프레임으로 추출할 수 있다. 심장의 이완기에 대응하는 이미지 프레임에서 검출되는 혈관 영역의 크기는 심장의 수축기와 비교하여 클 것으로 이해될 수 있다. 전자 장치는 2차원 혈관 영상 내에 포함된 이미지 프레임들에서 혈관 영역의 크기에 기초하여 이미지 프레임에 대응하는 심전도 신호의 위상을 예측할 수 있다. 예를 들어, 전자 장치는 2차원 혈관 영상에 포함된 이미지 프레임들 중 혈관 영역의 크기에 기초하여 심장의 이완기와 대응하는 심전도 신호의 위상을 갖는 것으로 예측된 이미지 프레임을 2차원 혈관 영상에 대한 정합 후보 프레임으로 추출할 수 있다.According to an embodiment, the electronic device selects at least one image frame selected based on the size of a blood vessel region among a plurality of image frames included in the 2D blood vessel image, from each of the two or more 2D blood vessel images, as a matched candidate frame. can be extracted. It may be understood that the size of a blood vessel region detected in an image frame corresponding to a diastolic phase of the heart is greater than that of a systolic phase of the heart. The electronic device may predict a phase of an ECG signal corresponding to an image frame based on a size of a blood vessel region in image frames included in a 2D blood vessel image. For example, the electronic device matches an image frame predicted to have a phase of an electrocardiogram signal corresponding to a diastole of the heart based on a size of a blood vessel region among image frames included in the 2D blood vessel image to the 2D blood vessel image. It can be extracted as a candidate frame.

일 실시예에 따르면, 전자 장치는 2차원 혈관 영상에 대해 추출된 적어도 하나의 정합 후보 프레임 각각을 기준으로 바로 이전 시점의 이미지 프레임 및 바로 이후 시점의 이미지 프레임을 2차원 혈관 영상에 대한 정합 후보 프레임으로 추가할 수 있다.According to an embodiment, the electronic device sets an image frame of an immediately previous view and an image frame of an immediately following view based on each of the at least one matched candidate frame extracted from the 2D blood vessel image to a matching candidate frame for the 2D blood vessel image. can be added as

일 실시예에 따르면, 전자 장치는 2차원 혈관 영상에 포함된 이미지 프레임들 중 촬영 조건이 변화하는 시간 구간에 대응하는 이미지 프레임을 2차원 혈관 영상에서 추출되는 정합 후보 프레임으로부터 배제시킬 수 있다. 여기서, 2차원 혈관 영상의 촬영 조건이 변화하는 것은 2차원 혈관 영상의 촬영 시 카메라의 촬영 각도가 변경되거나 촬영 대상이 되는 사용자가 위치하는 테이블(table)의 위치가 변경되는 것 등을 포함할 수 있다. 촬영 조건이 변화하는 시간 구간에 대응하는 이미지 프레임으로는 정확한 혈관 구조의 예측이 어렵기 때문에, 전자 장치는 촬영 조건이 변화하는 시간 구간에 대응하는 이미지 프레임은 정합 후보 프레임으로부터 배제시킬 수 있다. 일 실시예에 따르면, 전자 장치는 제3 기계 학습 모델에 기초하여 이미지 프레임 내에서 촬영 조건이 변화하고 있는지 여부를 판단할 수 있다. 제3 기계 학습 모델은 2차원 혈관 영상의 입력에 응답하여, 2차원 혈관 영상에 포함된 이미지 프레임들 중 촬영 조건이 변화하는 이미지 프레임을 판단하도록 설계된 기계 학습 구조를 갖는 하나 이상의 모델로서, 뉴럴 네트워크를 포함할 수 있다. 예를 들어, 제3 기계 학습 모델의 출력 데이터는 이미지 프레임에 대하여 촬영 조건이 변화되고 있을 가능성(예를 들어, 확률)에 대응하는 스코어를 포함할 수 있다. 전자 장치는 2차원 혈관 영상을 제3 기계 학습 모델에 입력함으로써 촬영 조건이 변화하고 있는 이미지 프레임과 촬영 조건이 변화하고 있지 않은 이미지 프레임을 구분할 수 있다.According to an embodiment, the electronic device may exclude an image frame corresponding to a time section in which a photographing condition changes among image frames included in a 2D blood vessel image from a matched candidate frame extracted from the 2D blood vessel image. Here, changing the photographing condition of the 2D blood vessel image may include a change in the photographing angle of a camera or a change in the position of a table where a user to be photographed is located when capturing a 2D blood vessel image. there is. Since it is difficult to accurately predict a blood vessel structure using an image frame corresponding to a time interval in which imaging conditions change, the electronic device may exclude an image frame corresponding to a time interval in which imaging conditions change from matching candidate frames. According to an embodiment, the electronic device may determine whether a photographing condition is changing within an image frame based on a third machine learning model. The third machine learning model is one or more models having a machine learning structure designed to determine an image frame in which a photographing condition changes among image frames included in a 2D blood vessel image in response to an input of a 2D blood vessel image, and includes a neural network can include For example, the output data of the third machine learning model may include a score corresponding to a possibility (eg, probability) that photographing conditions are changing with respect to the image frame. The electronic device may discriminate between image frames in which imaging conditions are changing and image frames in which imaging conditions are not changing by inputting the 2D blood vessel image to the third machine learning model.

동작(432)에서, 전자 장치는 선택된 둘 이상의 2차원 혈관 영상들로부터 추출된 복수의 정합 후보 프레임들 중 둘 이상의 정합 후보 프레임들을 결정할 수 있다.In operation 432, the electronic device may determine two or more matching candidate frames among a plurality of matching candidate frames extracted from the selected two or more 2D blood vessel images.

일 실시예에 따르면, 전자 장치는 둘 이상의 2차원 혈관 영상들 각각으로부터 추출된 동일한 심전도 신호의 위상을 갖는 이미지 프레임을 둘 이상의 정합 후보 프레임들로 결정할 수 있다. 예를 들어, 전자 장치는 둘 이상의 2차원 혈관 영상들 각각으로부터 추출된 심장의 이완기와 대응하는 심전도 신호의 위상을 갖는 이미지 프레임을 둘 이상의 정합 후보 프레임들로 결정할 수 있다. According to an embodiment, the electronic device may determine image frames having the same phase of the ECG signal extracted from each of the two or more 2D blood vessel images as two or more matching candidate frames. For example, the electronic device may determine an image frame having a phase of an ECG signal corresponding to a diastole of a heart extracted from each of two or more 2D blood vessel images as two or more matching candidate frames.

일 실시예에 따르면, 전자 장치는 둘 이상의 2차원 혈관 영상들로부터 동일한 심전도 신호의 위상을 갖는 것으로 예측된 이미지 프레임을 둘 이상의 정합 후보 프레임들로 결정할 수 있다. 예를 들어, 전자 장치는 둘 이상의 2차원 혈관 영상들 각각으로부터 추출된 심장의 이완기와 대응하는 심전도 위상을 갖는 것으로 예측된 이미지 프레임을 둘 이상의 정합 후보 프레임들로 결정할 수 있다. 전술한 바와 같이, 전자 장치는 2차원 혈관 영상에 포함된 이미지 프레임들 별로 카테터의 위치, 대상 혈관에 대응하는 영역의 형태, 또는 혈관 영역의 크기에 기초하여 이미지 프레임에 대응하는 심전도 신호의 위상을 예측할 수 있다.According to an embodiment, the electronic device may determine image frames predicted to have the same ECG signal phase from two or more 2D blood vessel images as two or more matching candidate frames. For example, the electronic device may determine an image frame predicted to have an electrocardiogram phase corresponding to a diastole of the heart extracted from each of two or more 2D blood vessel images as two or more matching candidate frames. As described above, the electronic device determines the phase of the ECG signal corresponding to the image frame based on the catheter position, the shape of the region corresponding to the target blood vessel, or the size of the blood vessel region for each image frame included in the 2D blood vessel image. Predictable.

도 6은 결정된 둘 이상의 정합 후보 프레임들로 구성된 조합을 평가하는 과정을 설명하는 흐름도이다.6 is a flowchart illustrating a process of evaluating a combination composed of two or more determined matching candidate frames.

동작(641)에서, 일 실시예에 따른 전자 장치는 직경 분포의 일치도, 대상 혈관의 중심선의 이격도, 및 혈관 영역으로부터 추출된 분지 지점이나 병변 지점을 포함하는 특징점들(feature points)의 일치도 중 적어도 하나 또는 둘 이상의 조합에 기초하여 결정된 둘 이상의 정합 후보 프레임들 간의 조합을 평가할 수 있다.In operation 641, the electronic device according to an embodiment performs at least one of the degree of consistency of the diameter distribution, the degree of separation of the center line of the target blood vessel, and the degree of coincidence of feature points including branch points or lesion points extracted from the blood vessel area. A combination between two or more matching candidate frames determined based on one or a combination of two or more may be evaluated.

일 실시예에 따르면, 전자 장치는 결정된 둘 이상의 정합 후보 프레임들 간의 조합을 결정된 둘 이상의 정합 후보 프레임들의 직경 분포 일치도에 기초하여 평가할 수 있다. 직경 분포 그래프의 일치도가 높을수록 둘 이상의 정합 후보 프레임들 간의 조합이 높게 평가될 수 있다. 일 실시예에 따르면, 전자 장치는 결정된 둘 이상의 정합 후보 프레임들 각각에 대응하는 직경 분포의 일치도를 동적 시간 왜곡(dynamic time warping, DTW) 알고리즘을 이용하여 산출할 수 있다. 이미지 프레임들이 동일한 대상 혈관을 촬영하였다 하더라도, 이미지 프레임들 각각에 대응하는 직경 분포는 전체적으로 크게 차이가 날 수 있기 때문에 단순 비교가 아닌 동적 시간 왜곡 알고리즘을 이용하여 직경 분포의 일치도를 산출할 수 있다. 이하에서는, 설명의 편의를 위하여, 두 정합 후보 프레임들 간의 직경 분포의 일치도를 산출하는 방법을 설명한다.According to an embodiment, the electronic device may evaluate a combination between the determined two or more matching candidate frames based on the matching degree of diameter distributions of the determined two or more matching candidate frames. As the degree of agreement of the diameter distribution graph increases, a combination between two or more matching candidate frames may be highly evaluated. According to an embodiment, the electronic device may calculate the matching degree of the diameter distribution corresponding to each of the determined two or more matching candidate frames using a dynamic time warping (DTW) algorithm. Even if the same target blood vessel is captured in the image frames, the diameter distribution corresponding to each of the image frames may differ greatly as a whole. Therefore, the degree of conformity of the diameter distribution may be calculated using a dynamic time distortion algorithm rather than a simple comparison. Hereinafter, for convenience of description, a method of calculating the degree of agreement of diameter distributions between two matching candidate frames will be described.

도 7은 정합 후보 프레임들 간의 직경 분포의 일치도를 산출하는 방법을 설명하는 도면이다. 도 7의 그래프(701)는, 제1 정합 후보 프레임에서 추출되는 대상 혈관에 대하여, 대상 혈관의 근위 지점(proximal point)에서부터 대상 혈관의 직경(diameter)을 나타낸 그래프이다. 도 7의 그래프(702)는, 제2 정합 후보 프레임에서 추출되는 대상 혈관에 대하여, 대상 혈관의 근위 지점에서부터 대상 혈관의 직경을 나타낸 그래프이다. 참고로, 도 7은 그래프들(701, 702)이 유사한 추세를 갖도록 그래프들(701, 702)을 수평(좌 또는 우)으로 이동시켜 매칭된 것을 도시한다. 예를 들어, 전자 장치는 그래프들(701, 702) 별로 특징점들(예를 들어, 피크 지점(peak point) 또는 밸리 지점(valley point))을 검출하고, 각 그래프에서 검출된 특징점들이 서로 대응되는 위치에 최대한 배치되도록 그래프들(701, 702)을 수평으로 이동시켜 매칭시킬 수 있다.7 is a diagram explaining a method of calculating the degree of agreement of diameter distributions between matching candidate frames. A graph 701 of FIG. 7 is a graph showing the diameter of a target blood vessel from a proximal point of the target blood vessel extracted from the first matching candidate frame. A graph 702 of FIG. 7 is a graph showing the diameter of a target blood vessel from a point proximal to the target blood vessel with respect to the target blood vessel extracted from the second matching candidate frame. For reference, FIG. 7 shows that the graphs 701 and 702 are matched by moving the graphs 701 and 702 horizontally (left or right) so that they have a similar trend. For example, the electronic device detects feature points (eg, peak points or valley points) for each of the graphs 701 and 702, and detects feature points detected in each graph. The graphs 701 and 702 may be horizontally moved and matched so as to be placed at the maximum position.

그리고, 전자 장치는 DTW 알고리즘에 따라, 두 그래프들(701, 702)에 대해 논리 연산을 수행함으로써 그래프들(701, 702) 각각에서 검출된 일부 피크들끼리 서로 연결시키고 두 그래프들(701, 702) 각각에서 검출된 밸리들끼리 서로 연결시킬 수 있다. 예를 들어, 도 7에서는, DTW 알고리즘에 따라 그래프(701)에서 검출된 피크(711)와 그래프(702)에서 검출된 피크(731)를 서로 연결시키고, 그래프(701)에서 검출된 밸리(721)와 그래프(702)에서 검출된 밸리(741)를 서로 연결시키는 예시가 도시된다. DTW 알고리즘에 의하면, 연결된 피크들의 쌍 및 연결된 밸리들의 쌍의 총합이 많을수록 두 정합 후보 프레임들 간의 직경 분포의 일치도가 높게 나타난다. 참고로, 그래프(703)는 제1 정합 후보 프레임에서 대상 혈관의 직경에 대응하는 그래프(701) 및 제2 정합 후보 프레임에서 대상 혈관의 직경에 대응하는 그래프(702)를 서로 매칭시키고, 상기 매칭에 기초하여 산출되는 대상 혈관에 대한 직경 추세선(trend line)을 나타낸다. 다시 말해, 대상 혈관에 대한 직경 추세선 그래프(703)는 매칭 이후의 그래프(701) 및 그래프(702)에 대한 추세선을 나타낼 수 있다.Then, the electronic device connects some peaks detected in each of the graphs 701 and 702 to each other by performing a logic operation on the two graphs 701 and 702 according to the DTW algorithm, and connects the two graphs 701 and 702 to each other. ) Valleys detected in each can be connected to each other. For example, in FIG. 7, the peak 711 detected in the graph 701 and the peak 731 detected in the graph 702 are connected to each other according to the DTW algorithm, and the valley 721 detected in the graph 701 ) and the valley 741 detected in the graph 702 are connected to each other. According to the DTW algorithm, the greater the sum of pairs of connected peaks and pairs of connected valleys, the higher the degree of agreement in diameter distribution between two matching candidate frames. For reference, in the graph 703, a graph 701 corresponding to the diameter of a target blood vessel in a first matching candidate frame and a graph 702 corresponding to a diameter of a target blood vessel in a second matching candidate frame are matched with each other, and the matching A diameter trend line for the target blood vessel calculated based on is shown. In other words, the diameter trend line graph 703 for the target blood vessel may indicate trend lines for the graphs 701 and 702 after matching.

일 실시예에 따르면, 전자 장치는 결정된 둘 이상의 정합 후보 프레임들 간의 조합을 결정된 둘 이상의 정합 후보 프레임들 각각에 대응하는 혈관 중심선의 이격도에 기초하여 평가할 수 있다. 혈관 중심선의 이격도가 낮을수록 둘 이상의 정합 후보 프레임들 간의 조합이 높게 평가될 수 있다.According to an embodiment, the electronic device may evaluate a combination of the determined two or more matching candidate frames based on a degree of separation of a blood vessel centerline corresponding to each of the determined two or more matching candidate frames. A combination between two or more matching candidate frames may be highly evaluated as the separation between the vessel centerlines is low.

일 실시예에 따르면, 전자 장치는 결정된 둘 이상의 정합 후보 프레임들 간의 조합을 결정된 둘 이상의 정합 후보 프레임들 각각에 대응하는 특징점들의 일치도에 기초하여 평가할 수 있다. 여기서, 특징점은 분지 지점(branch point)이나 병변 지점(lesion point)을 포함할 수 있다. 분지 지점은 둘 이상의 혈관 분지가 합쳐지는 지점 및/또는 복수의 혈관 분지들로 나눠지는 지점을 나타낼 수 있다. 예를 들어, 병변 지점은 기계 학습 모델에 의해 검출될 수 있다. 예를 들어, 전자 장치는 혈관 영역에 대응하는 픽셀들의 평균 인텐시티 보다 높은 인텐시티를 갖는 픽셀에 대응하는 지점을 병변 지점으로 검출할 수 있다. 예를 들어, 전자 장치는 정합 후보 프레임들 각각에 대응하는 특징점들의 위치 또는 개수를 서로 비교함으로써 일치도를 산출할 수 있다.According to an embodiment, the electronic device may evaluate a combination between the determined two or more matching candidate frames based on a degree of agreement of feature points corresponding to each of the determined two or more matching candidate frames. Here, the feature point may include a branch point or a lesion point. The branching point may represent a point at which two or more blood vessel branches merge and/or a point at which a plurality of blood vessel branches are divided. For example, lesion sites can be detected by machine learning models. For example, the electronic device may detect a point corresponding to a pixel having an intensity higher than an average intensity of pixels corresponding to a blood vessel region as a lesion point. For example, the electronic device may calculate the degree of agreement by comparing the positions or numbers of feature points corresponding to each of the matching candidate frames.

동작(642)에서, 전자 장치는 결정된 둘 이상의 정합 후보 프레임들을 이용하여 3차원 모델을 나타내는 의사 모델(pseudo model)을 생성하고, 생성된 의사 모델을 평가함으로써 결정된 둘 이상의 정합 후보 프레임들 간의 조합을 평가할 수 있다.In operation 642, the electronic device generates a pseudo model representing a 3D model using the determined two or more matching candidate frames, evaluates the generated pseudo model, and determines a combination between the determined two or more matching candidate frames. can be evaluated

도 8은 결정된 둘 이상의 정합 후보 프레임들을 이용하여 3차원 모델을 나타내는 의사 모델(810)을 생성한 예시를 도시한다.8 illustrates an example of generating a pseudo model 810 representing a 3D model using two or more determined matching candidate frames.

일 실시예에 따르면, 전자 장치는 결정된 둘 이상의 정합 후보 프레임들 각각의 직경 분포를 이용하여 의사 모델(810)을 생성할 수 있다. 전자 장치는 결정된 둘 이상의 정합 후보 프레임들 각각의 직경 분포에 기초하여 대상 혈관에 대한 직경 추세선(trend line)을 산출할 수 있다. 일 실시예에 따르면, 전자 장치는 산출된 직경 추세선에 대응하는 직경을 갖도록 대상 혈관에 관한 3차원 혈관 구조를 모델링함으로써 의사 모델(810)을 생성할 수 있다. 이때, 전자 장치는 대상 혈관에 병변이 없는 상태를 가정하여 의사 모델(810)을 생성할 수 있다. 예를 들어, 전자 장치는 대상 혈관의 특정 지점에서의 직경을, 직경 추세선에서의 대상 혈관의 근위 지점으로부터 떨어진 거리에 대응하는 직경으로 결정함으로써 의사 모델(810)을 생성할 수 있다.According to an embodiment, the electronic device may generate the pseudo model 810 using the determined diameter distribution of each of the two or more matching candidate frames. The electronic device may calculate a diameter trend line for the target blood vessel based on the diameter distribution of each of the determined two or more matching candidate frames. According to an embodiment, the electronic device may generate the pseudo model 810 by modeling a 3D blood vessel structure of a target blood vessel to have a diameter corresponding to the calculated diameter trend line. In this case, the electronic device may generate the doctor model 810 by assuming a state in which there is no lesion in the target blood vessel. For example, the electronic device may generate the pseudo model 810 by determining a diameter at a specific point of the target blood vessel as a diameter corresponding to a distance away from a proximal point of the target blood vessel on a diameter trend line.

도 9는 일 실시예에 따른 전자 장치가 생성된 의사 모델을 평가하는 과정을 설명하는 도면이다.9 is a diagram explaining a process of evaluating a generated pseudo model by an electronic device according to an exemplary embodiment.

일 실시예에 따르면, 전자 장치는 생성된 의사 모델에서 구현된 혈관의 특징에 기초하여 생성된 의사 모델을 평가할 수 있다. 일 실시예에 따르면, 전자 장치는 생성된 의사 모델로부터 분지로 분할되는 혈관 세그먼트(segment)의 길이, 혈관 단면의 가로 세로 비율, 및 혈관의 곡률(tortuosity) 중 적어도 하나 또는 둘 이상의 조합에 기초하여 생성된 의사 모델을 평가할 수 있다.According to an embodiment, the electronic device may evaluate the generated artificial model based on the characteristics of blood vessels implemented in the generated artificial model. According to an embodiment, the electronic device is configured to determine at least one or a combination of two or more of a length of a blood vessel segment divided into branches from a generated pseudo model, an aspect ratio of a cross section of a blood vessel, and a tortuosity of a blood vessel. The generated pseudo model can be evaluated.

일 실시예에 따르면, 전자 장치는 생성된 의사 모델에서 가로 세로 비율이 임계 비율을 초과하는 혈관 단면이 존재하는지 여부를 판단할 수 있다. 전자 장치는 가로 세로 비율이 임계 비율을 초과하는 혈관 단면이 많이 검출될수록 생성된 의사 모델의 평가를 낮출 수 있다. 예를 들어, 전자 장치는 의사 모델 별로 스코어를 부여할 수 있다. 전자 장치는 가로 세로 비율이 임계 비율을 초과하는 혈관 단면이 많이 검출될수록 의사 모델의 스코어를 낮출 수 있다.According to an embodiment, the electronic device may determine whether a cross section of a blood vessel having an aspect ratio exceeding a critical ratio exists in the generated pseudo model. The electronic device may lower the evaluation of the generated pseudo model as more blood vessel cross-sections having an aspect ratio exceeding a critical ratio are detected. For example, the electronic device may assign a score for each pseudo model. The electronic device may lower the score of the pseudo model as more blood vessel sections having an aspect ratio exceeding a critical ratio are detected.

일 실시예에 따르면, 전자 장치는 생성된 의사 모델에서 혈관의 곡률을 측정함으로써 생성된 의사 모델을 평가할 수 있다. 전자 장치는 생성된 의사 모델에서 혈관의 중심선을 산출할 수 있다. 전자 장치는 산출된 중심선에서 각 지점별로 곡률을 산출할 수 있고, 임계 곡률을 초과하는 지점이 존재하는지 여부를 판단할 수 있다. 예를 들어, 전자 장치는 임계 곡률을 초과하는 지점이 많이 검출될수록, 생성된 의사 모델의 평가를 낮출 수 있다. 다른 예를 들어, 전자 장치는 임계 곡률을 초과하는 지점이 검출되는 경우, 의사 모델에 대응하는 정합 대상 프레임들로 구성된 조합을 대상 혈관에 관한 3차원 혈관 구조의 생성에 사용하지 않을 수 있다.According to an embodiment, the electronic device may evaluate the generated pseudo model by measuring a curvature of a blood vessel in the generated pseudo model. The electronic device may calculate the center line of the blood vessel from the generated pseudo model. The electronic device may calculate the curvature for each point on the calculated center line, and determine whether a point exceeding a threshold curvature exists. For example, the electronic device may lower the evaluation of the generated pseudo model as more points exceeding the threshold curvature are detected. For another example, when a point exceeding a threshold curvature is detected, the electronic device may not use a combination of matching target frames corresponding to the pseudo model to generate a 3D vascular structure of the target blood vessel.

일 실시예에 따르면, 전자 장치는 생성된 의사 모델을 의사 모델에 대응하는 둘 이상의 정합 대상 프레임들에 기초하여 평가할 수 있다. 일 실시예에 따르면, 전자 장치는 생성된 의사 모델을 둘 이상의 정합 대상 프레임들 각각과 대응하는 각도로 투사(project)하고, 투사에 의해 생성된 이미지들 각각을 결정된 둘 이상의 정합 대상 프레임들 중 대응하는 정합 대상 프레임과 비교하는 것에 기초하여 의사 모델을 평가할 수 있다. 여기서, 정합 대상 프레임과 대응하는 각도로 투사한다는 것은 정합 대상 프레임의 촬영 시의 각도로 의사 모델을 투사한다는 것을 나타낼 수 있다.According to an embodiment, the electronic device may evaluate the generated pseudo model based on two or more matching target frames corresponding to the pseudo model. According to an embodiment, the electronic device projects the generated pseudo model at an angle corresponding to each of the two or more matching target frames, and sets each of the images generated by the projection to a corresponding one of the determined two or more matching target frames. The pseudo model can be evaluated based on comparison with the matching target frame. Here, projecting at an angle corresponding to the matching target frame may indicate that the pseudo model is projected at an angle when the matching target frame is photographed.

일 실시예예 따르면, 전자 장치는 투사에 의해 생성된 이미지들 각각에 대하여, 이미지로부터 추출된 혈관 영역과 이미지와 대응하는 정합 대상 프레임으로부터 추출된 혈관 영역을 서로 비교함으로써 의사 모델을 평가할 수 있다. 도 9에서는 2개의 정합 대상 프레임들(예를 들어, 제1 정합 대상 프레임, 제2 정합 대상 프레임)로부터 생성된 의사 모델(910)이 도시된다. 비교 결과(921)는 의사 모델(910)을 제1 정합 대상 프레임에 대응하는 각도로 투사하여 생성된 제1 이미지와 제1 정합 대상 프레임을 오버랩한 결과를 나타낸다. 영역(931)은 제1 이미지에서는 혈관 영역으로 검출되나 제1 정합 대상 프레임에서는 혈관 영역으로 검출되지 않는 영역이고, 영역(941)은 제1 이미지에서는 혈관 영역으로 검출되지 않으나 제1 정합 대상 프레임에서는 혈관 영역으로 검출되는 영역이다. 마찬가지로, 비교 결과(922)는 의사 모델(910)을 제2 정합 대상 프레임에 대응하는 각도로 투사하여 생성된 제2 이미지와 제2 정합 대상 프레임을 오버랩한 결과를 나타낸다. 영역(932)은 제2 이미지에서는 혈관 영역으로 검출되나 제2 정합 대상 프레임에서는 혈관 영역으로 검출되지 않는 영역이고, 영역(942)은 제2 이미지에서는 혈관 영역으로 검출되지 않으나 제2 정합 대상 프레임에서는 혈관 영역으로 검출되는 영역을 나타낸다. 예를 들어, 전자 장치는 의사 모델을 의사 모델과 두 정합 대상 프레임들의 혈관 영역을 서로 비교함으로써 평가하는 경우, 비교차영역(예를 들어, 영역(931), 영역(932), 영역(941), 영역(942))의 크기가 클수록 의사 모델의 평가를 낮출 수 있다.According to an embodiment, the electronic device may evaluate the pseudo model by comparing a blood vessel region extracted from the image with a blood vessel region extracted from a matching object frame corresponding to the image with respect to each of the images generated by the projection. In FIG. 9 , a pseudo model 910 generated from two matching object frames (eg, a first matching object frame and a second matching object frame) is shown. The comparison result 921 represents a result of overlapping the first image generated by projecting the pseudo model 910 at an angle corresponding to the first matching target frame and the first matching target frame. Region 931 is a region detected as a blood vessel region in the first image but not detected as a blood vessel region in the first matching target frame, and region 941 not detected as a blood vessel region in the first image but not detected as a blood vessel region in the first matching target frame. This is an area detected as a blood vessel area. Similarly, the comparison result 922 represents a result of overlapping the second image generated by projecting the pseudo model 910 at an angle corresponding to the second matching object frame and the second matching object frame. Region 932 is a region detected as a blood vessel region in the second image but not detected as a blood vessel region in the second matching target frame, and region 942 not detected as a blood vessel region in the second image but not detected as a blood vessel region in the second matching target frame. Indicates an area detected as a blood vessel area. For example, when the electronic device evaluates a pseudo model by comparing the pseudo model with blood vessel regions of two matching target frames, non-intersecting regions (eg, region 931 , region 932 , region 941 ) , As the size of the region 942 increases, the evaluation of the pseudo model may be lowered.

도 10은 일 실시예에 따른 전자 장치의 구조를 설명하는 블록도이다.10 is a block diagram illustrating a structure of an electronic device according to an exemplary embodiment.

일 실시예에 따른 전자 장치(1000)는 영상 수신부(1010) 및 프로세서(1020)를 포함할 수 있다. 영상 수신부(1010)는 대상 혈관에 관한 복수의 2차원 혈관 영상들을 획득할 수 있다. 영상 수신부(1010)는 유무선 데이터 통신을 통해 복수의 2차원 혈관 영상들을 획득할 수 있다. 프로세서(1020)는 복수의 2차원 혈관 영상들 각각의 정합 가능 여부의 판단에 기초하여, 둘 이상의 2차원 혈관 영상들을 선택할 수 있다. 프로세서(1020)는 선택된 둘 이상의 2차원 혈관 영상들로부터 둘 이상의 정합 후보 프레임들을 결정할 수 있다. 프로세서(1020)는 결정된 둘 이상의 정합 후보 프레임들로 구성된 조합을 평가하며, 평가 결과에 기초하여 선택된 조합을 구성하는 정합 후보 프레임들을 정합 대상 프레임들로 결정할 수 있다. 프로세서(1020)는 결정된 정합 대상 프레임들에 기초하여 대상 혈관에 관한 3차원 혈관 구조를 생성할 수 있다.An electronic device 1000 according to an embodiment may include an image receiver 1010 and a processor 1020. The image receiving unit 1010 may acquire a plurality of 2D blood vessel images of a target blood vessel. The image receiving unit 1010 may acquire a plurality of 2D blood vessel images through wired/wireless data communication. The processor 1020 may select two or more 2D blood vessel images based on determining whether each of the plurality of 2D blood vessel images can be matched. The processor 1020 may determine two or more matching candidate frames from the selected two or more 2D blood vessel images. The processor 1020 may evaluate a combination composed of the determined two or more matching candidate frames, and determine matching candidate frames constituting the selected combination as matching target frames based on the evaluation result. The processor 1020 may generate a 3D blood vessel structure of the target blood vessel based on the determined matching target frames.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic units (PLUs), microprocessors, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on computer readable media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination, and the program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in the art of computer software. may be Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.

위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware device described above may be configured to operate as one or a plurality of software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can apply various technical modifications and variations based on this. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

Claims

A method for generating a three-dimensional vascular structure performed by a processor, comprising:
acquiring a plurality of 2D blood vessel images of a target blood vessel;
selecting two or more 2D blood vessel images based on the determination of whether each of the plurality of 2-dimensional blood vessel images can be matched;
determining two or more matching candidate frames from the selected two or more 2D blood vessel images;
evaluating a combination composed of the determined two or more matching candidate frames;
determining matching candidate frames constituting the selected combination as matching target frames based on the evaluation result; and
generating a 3D vascular structure of the target blood vessel based on the determined matching target frames;
including,
The step of evaluating a combination composed of the determined two or more matching candidate frames,
At least one or a combination of two or more of the matching degree of the diameter distribution between the determined two or more matching candidate frames, the degree of separation of the center line of the target blood vessel, and the degree of coincidence of feature points including branch points or lesion points extracted from the blood vessel region. Evaluating a combination between the determined two or more matching candidate frames based on
A method for generating a three-dimensional vascular structure comprising a.

According to claim 1,
The step of selecting the two or more 2D blood vessel images,
For each of the plurality of 2D blood vessel images, it is determined whether the corresponding 2D blood vessel image is an image having target user information and target date information, based on the shape of the target blood vessel detected in the corresponding 2D blood vessel image. determining whether the corresponding 2D blood vessel image is an image obtained by photographing the target blood vessel
A method for generating a three-dimensional vascular structure comprising a.

According to claim 1,
The step of selecting the two or more 2D blood vessel images,
For each of the plurality of 2D blood vessel images, chronic total occlusion (CTO), incomplete filling of contrast agent, diminutive vessel, severe overlap of blood vessels in the corresponding 2D blood vessel image ( severe overlap), and determining whether at least one of overlapping medical devices and blood vessels is detected
A method for generating a three-dimensional vascular structure comprising a.

According to claim 1,
Determining the two or more matching candidate frames,
At least one of the phase of an electrocardiogram (ECG) signal, the position of a catheter, the shape of a region corresponding to the target blood vessel, and the size of a blood vessel region, from each of the two or more 2D blood vessel images; or extracting matching candidate frames based on a combination of two or more; and
Determining the two or more matching candidate frames among the extracted matching candidate frames
A method for generating a three-dimensional vascular structure comprising a.

According to claim 4,
The step of extracting the matching candidate frame,
For each of the two or more 2D blood vessel images, among the image frames included in the corresponding 2D blood vessel image, an image frame corresponding to a time interval in which a photographing condition changes is selected from a matched candidate frame extracted from the corresponding 2D blood vessel image. step of exclusion
A method for generating a three-dimensional vascular structure comprising a.

According to claim 1,
Determining the two or more matching candidate frames,
Determining image frames having the same phase of the electrocardiogram signal extracted from each of the two or more 2D blood vessel images as the two or more matching candidate frames.
A method for generating a three-dimensional vascular structure comprising a.

According to claim 1,
Determining the two or more matching candidate frames,
predicting a phase of an electrocardiogram signal corresponding to a corresponding image frame based on a position of a catheter detected in each of the image frames included in the two or more 2D blood vessel images; and
Determining image frames predicted to have the same phase of the electrocardiogram signal from each of the two or more 2D blood vessel images as the two or more matching candidate frames.
A method for generating a three-dimensional vascular structure comprising a.

delete

According to claim 1,
The step of evaluating a combination composed of the determined two or more matching candidate frames,
Calculating the degree of consistency of the diameter distribution corresponding to each of the determined two or more matching candidate frames using a dynamic time warping (DTW) algorithm.
A method for generating a three-dimensional vascular structure comprising a.

According to claim 1,
The step of evaluating a combination composed of the determined two or more matching candidate frames,
generating a pseudo model that is a 3D model using the determined two or more matching candidate frames; and
Evaluating the generated pseudo model
A method for generating a three-dimensional vascular structure comprising a.

According to claim 10,
The step of generating the pseudo model,
calculating a diameter trend line for the target blood vessel based on the diameter distribution of each of the determined two or more matching candidate frames, and generating the simulated model so that the target blood vessel has a diameter corresponding to the calculated diameter trend line;
A method for generating a three-dimensional vascular structure comprising a.

According to claim 10,
Evaluating the generated pseudo model,
Evaluating the generated pseudo model based on at least one or a combination of two or more of a length of a blood vessel segment divided into branches, an aspect ratio of a cross section of a blood vessel, and a curvature of a blood vessel in the generated pseudo model.
A method for generating a three-dimensional vascular structure comprising a.

According to claim 10,
Evaluating the generated pseudo model,
The generated pseudo model is projected at an angle corresponding to each of the determined two or more matching candidate frames, and each of the images generated by the projection is a corresponding matching target frame among the determined two or more matching target frames. Evaluating the pseudo model based on comparing with
A method for generating a three-dimensional vascular structure comprising a.

According to claim 13,
The step of evaluating the pseudo model,
Evaluating the simulated model by comparing a blood vessel region extracted from the corresponding image with a blood vessel region extracted from a matching target frame corresponding to the corresponding image with respect to each of the generated images.
A method for generating a three-dimensional vascular structure comprising a.

A computer program stored in a computer readable recording medium in order to execute the method of any one of claims 1 to 7 and 9 to 14 in combination with hardware.

In electronic devices,
an image receiving unit acquiring a plurality of 2D blood vessel images of a target blood vessel; and
Based on the determination of whether each of the plurality of 2D blood vessel images can be matched, two or more 2D blood vessel images are selected, two or more matching candidate frames are determined from the selected two or more 2D blood vessel images, and the determined A combination composed of two or more matching candidate frames is evaluated, matching candidate frames constituting the selected combination are determined as matching target frames based on the evaluation result, and information about the target blood vessel is determined based on the determined matching target frames. Processor to generate 3D vascular structures
including,
the processor,
At least one or a combination of two or more of the matching degree of the diameter distribution between the determined two or more matching candidate frames, the degree of separation of the center line of the target blood vessel, and the degree of coincidence of feature points including branch points or lesion points extracted from the blood vessel region. Evaluating a combination between the determined two or more matching candidate frames based on
electronic device.