[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR100438212B1 - 전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치 - Google Patents

전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치 Download PDF

Info

Publication number
KR100438212B1
KR100438212B1 KR10-2002-0047200A KR20020047200A KR100438212B1 KR 100438212 B1 KR100438212 B1 KR 100438212B1 KR 20020047200 A KR20020047200 A KR 20020047200A KR 100438212 B1 KR100438212 B1 KR 100438212B1
Authority
KR
South Korea
Prior art keywords
displacement
dimensional
pixel
image
electron microscope
Prior art date
Application number
KR10-2002-0047200A
Other languages
English (en)
Other versions
KR20040014034A (ko
Inventor
오칠환
문종섭
김민기
Original Assignee
학교법인고려중앙학원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인고려중앙학원 filed Critical 학교법인고려중앙학원
Priority to KR10-2002-0047200A priority Critical patent/KR100438212B1/ko
Priority to PCT/KR2003/001164 priority patent/WO2004015633A1/en
Priority to AU2003243021A priority patent/AU2003243021A1/en
Priority to US10/462,596 priority patent/US6771418B2/en
Priority to DE10329250.0A priority patent/DE10329250B4/de
Publication of KR20040014034A publication Critical patent/KR20040014034A/ko
Application granted granted Critical
Publication of KR100438212B1 publication Critical patent/KR100438212B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical, image processing or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/226—Image reconstruction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/2611—Stereoscopic measurements and/or imaging

Landscapes

  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법 및 그 장치를 개시한다.
본 발명에 의하면, 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법에 있어서, 물체가 XYZ 직각 좌표계에서 X축에 수직인 평면, Y축에 수직인 평면 및 Y-Z 평면에서 Z축으로부터 45도의 각을 이루는 평면으로 각각 투영된 2차원 좌표들을 센싱하며, 각 2차원 좌표들로 구성되는 3개의 화면이 겹치는 부분 각각을 좌/우 영상의 디지털화된 데이터 중 한 픽셀의 데이터를 중심으로 다른 화면의 동일 픽셀을 찾는 대응점을 구하고 이를 바탕으로 변위(disparity)를 산출하고, 산출된 변위를 이용하여 상대적인 거리인 물체의 3차원적 깊이 정보를 추출하여 픽셀별로 3차원 좌표를 추출하여 상기 물체의 3차원 공간상의 위치를 결정함으로 해서, 전자현미경으로 볼 수 있는 미세한 물체까지도 3차원적으로 분석할 수 있어, 세포를 연구하거나 각종 질환을 연구할 수 있는 기반이 되며, 각종 산업에 이용하여 정밀 산업을 더욱 활성화시킬 수 있다.

Description

전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법 및 그 장치{Extraction method for 3-dimensional spacial data with electron microscope and apparatus thereof}
본 발명은 물체의 상태 측정에 관한 것으로서, 전자현미경으로 관찰하는 물체의 3차원 공간 데이터를 추출하는 방법 및 그 장치에 관한 것이다.
전자현미경 특히 주사전자현미경(Scanning Electron Microscope, 이하 'SEM'이라 함)은 반도체 산업, 의학, 생물학 등 여러 분야에서 활용되는 장비이다. 현재 많은 주사전자현미경의 수요가 있으나 현재 국내외에서 사용하는 대부분의 SEM 장비는 사용의 복잡화 및 유지보수의 문제점으로 인해 SEM을 이용하는 비율이 매우 낮은 실정이다.
특히 3차원적인 구조물을 직접 관찰하면서 계측할 수 있는 SEM은 그 활용도가 넓은데, 전자 현미경에서 추출된 데이터는 원시(raw) 데이터이다. 이러한 원시 데이터에 대한 일반적인 후처리 과정은 눈으로 판독할 수 있는 2차원적인 데이터를 추출하여, 3차원적인 공간을 가진 데이터로 변환하는 것이다.
일반적인 표면 정량화 파라미터는 2차원적인 데이터이다. 그런데 물체를 입체적으로 관측하기 위해 3차원 공간 데이터를 이용한, 여러 종류의 3차원 파라미터를 정량화하여 3차원 측정이 가능한 SEM 장비를 개발하면 세포표면의 구조물의 길이나, 직경, 각도와 세포 내 구조물의 세포 소기관의 크기와 거리를 측정할 수 있을 것이나 아직은 활발하게 구현되지 못하고 있다.
종래의 SEM에서 관찰되는 이미지로는 구조물의 상호관계를 정성적으로만 판단할 수 있고 입체 구조물의 계측은 실제적으로 불가능하다. 따라서 필요함에도 불구하고 3차원적인 데이터로 변환된 이미지를 사용하여 구조물의 상호관계를 정량적으로 분석할 수 있는, SEM과 같은 전자현미경을 사용한 3차원적 구조를 계측할 수있는 방법이나 그 장치가 없는 실정이다.
또한 종래의 SEM은 아날로그적으로 화상을 처리하였으며, 분석을 위한 영상을 구할 때에 1축에서 관측한 자료를 이용하였다. 따라서 정밀한 결과를 얻을 수 없는 문제가 있었다.
본 발명이 이루고자 하는 기술적인 과제는, 상기의 문제점들을 해결하기 위해, 종래의 SEM과는 다르게 화상 처리를 디지털 방식으로 하며, 종래의 하나의 축 방향으로만 구한 자료를 이용해서 영상을 만드는 것이 아닌 3축 방향의 자료를 이용해서 입체적인 구조를 계측하는 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법 및 그 장치를 제공하는데 있다.
도 1은 본 발명에 따라 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법의 흐름을 도시한 것이다.
도 2는 본 발명에 따라 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 장치의 구성을 블록으로 도시한 것이다.
도 3은 과 3차원 공간상의 한 점은 왼쪽, 오른쪽 영상 위의 각각 다른 위치에 비추어진 모습을 도시한 것이다.
도 4는 본 발명에 따른 센서부의 위치를 도시한 것이다.
도 5는 본 발명에 따른 3개의 각 센서들이 추출한 데이터가 겹치는 1/8 반구 부분의 영역을 도시한 것이다.
도 6은 본 발명에 따른 3개의 센서가 센싱하여 추출한 부분에서 서로 겹치는 부분을 도시한 것이다.
상기 기술적 과제를 해결하기 위한 본 발명에 의한, 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법은, (a) 물체가 XYZ 직각 좌표계에서 X축에 수직인 평면, Y축에 수직인 평면 및 Y-Z 평면에서 Z축으로부터 45도의 각을 이루는 평면으로 각각 투영된 2차원 좌표들을 센싱하는 단계; (b) 상기 각 2차원 좌표들로 구성되는 3개의 화면이 겹치는 부분 각각을 좌/우 영상의 디지털화된 데이터 중 한 픽셀의 데이터를 중심으로 다른 화면의 동일 픽셀을 찾는 대응점을 구하고 이를 바탕으로 변위(disparity)를 산출하는 단계; 및 (c) 상기 산출된 변위를 이용하여 상대적인 거리인 물체의 3차원적 깊이 정보를 추출하여 픽셀별로 3차원 좌표를 추출하여 상기 물체의 3차원 공간상의 위치를 결정하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 의한, 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 장치는, 물체가 XYZ 직각 좌표계에서 X축에 수직인 평면, Y축에 수직인 평면 및 Y-Z 평면에서 Z축으로부터 45도의 각을 이루는 평면으로 각각 투영된 2차원 좌표들을 감지하는 센서부; 상기 센서부를 통해 감지된 각 2차원 좌표들로 구성되는 3개의 화면이 겹치는 부분 각각을 좌/우 영상의 디지털화된 데이터 중 한 픽셀의 데이터를 중심으로 다른 화면의 동일 픽셀을 찾는 대응점을 구하고 이를 바탕으로 변위(disparity)를 산출하는 변위결정부; 및 상기 변위결정부에서 결정된 변위를 이용하여 상대적인 거리인 물체의 3차원적 깊이 정보를 추출하여 픽셀별로 3차원 좌표를 추출하여 상기 물체의 3차원 공간상의 위치를 결정하는 3차원데이타추출부를 포함하는 것을 특징으로 한다.
이하에서 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세히 설명한다.
도 1은 본 발명에 따라 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법의 흐름을 도시한 것이다.
물체가 XYZ 직각 좌표계에서 X축에 수직인 평면, Y축에 수직인 평면 및 Y-Z 평면에서 Z축으로부터 45도의 각을 이루는 평면으로 각각 투영된 2차원 좌표들을 센싱(sensing)하고(100 단계), 상기 각 2차원 좌표들로 구성되는 3개의 화면이 겹치는 부분 각각을 좌/우 영상의 디지털화된 데이터 중 한 픽셀의 데이터를 중심으로 다른 화면의 동일 픽셀을 찾는 대응점을 구하고 이를 바탕으로 변위(disparity)를 산출하며(110 단계), 상기 산출된 변위를 이용하여 상대적인 거리인 물체의 3차원적 깊이 정보를 추출하여 픽셀별로 3차원 좌표를 추출하여 상기 물체의 3차원 공간상의 위치를 결정한다(120 단계).
도 2는 본 발명에 따라 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 장치의 구성을 블록으로 도시한 것이다.
이 장치는 물체가 XYZ 직각 좌표계에서 X축에 수직인 평면, Y축에 수직인 평면 및 Y-Z 평면에서 Z축으로부터 45도의 각을 이루는 평면으로 각각 투영된 2차원 좌표들을 감지하는 센서부(200), 센서부(200)를 통해 감지된 각 2차원 좌표들로 구성되는 3개의 화면이 겹치는 부분 각각을 좌/우 영상의 디지털화된 데이터 중 한 픽셀의 데이터를 중심으로 다른 화면의 동일 픽셀을 찾는 대응점을 구하고 이를 바탕으로 변위(disparity)를 산출하는 변위결정부(210) 및 변위결정부(210)에서 결정된 변위를 이용하여 상대적인 거리인 물체의 3차원적 깊이 정보를 추출하여 픽셀별로 3차원 좌표를 추출하여 상기 물체의 3차원 공간상의 위치를 결정하는 3차원데이터추출부(220)를 포함한다.
상기와 같은 본 발명에 따른 장치에서 추출된 데이터는 3가지인데, X 축상에서 추출된 값, Y 축에서 추출된 값, Y-Z 평면의 Z축에서 45도 위치에서 추출된 값이 그것이다. 이런 값을 이용하셔 물체의 3차원 데이터 추출한다. 만일 공간의 한점 (X,Y,Z)이 있을 때, 이 공간의 위치는 위에서 언급된 각 값에 2차원 값으로 투영된다.
본 발명의 발명자는 다음의 논문에서, 2개의 카메라를 이용한 3차원 데이터추출과 피부 표면의 측정에 적합한 3차원 파라미터 개발을 하였고, 그 중에서 3차원 좌표 추출과 관련된 기술은 스테레오 매칭 기술이다.
- 오칠환, 김민기, 문종섭, "stereoimage를 이용한 Skin Furrow에 관한 연구", 보건복지부 보고서., 1998년
- Oh, C. H, Kim, M. G. Moon, J. S, "Evaluation of skin furrows in aging process using stereoimage." Skin Research and Technology. 1997.3(3).202
다음의 설명들은 본 발명에서 사용되는 기술적인 바탕으로 상기의 논문들에 기재된 기술에 대한 것이다. 이런 기술에 대해 필요한 부분에 대해서만 간략하게 소개한다.
3차원 데이터 추출의 내용과 방법에 있어서, 스테레오 매칭 기술은 다음의 방법들을 이용한다.
1. 특징 추출: 물체의 좌, 우 영상에 대한 Zero Mean Normalized Cross Covariance (ZNCC) 방법 사용, 특징 추출
주어진 점을 중심으로 하는 일정한 크기의 창(window)에 속하는 화소들의 밝기 값의 공분산을 유사성의 척도로 사용한다. 즉, 아래의 수학식과 같이 각 노드에서 그 창에 속하는 화소들의 밝기 값의 평균과 분산으로 Covariance 값을 구한다. 이에 대해서는 W.G.Lee, Y.S.Kim, K.H.Do, and Y.H.Ha: "정합 일치성을 이용한 반복 이완 정합 알고리즘": 전자공학회논문지 제 32권 B편 제 1호, 1995에 기재되어 있다.
이때에과은 좌,우 영상의 상관관계 창틀 내의 화소들의 평균값이며, 초기값은 0이다.
2. 좌, 우 영상 매칭.
도 3과 같이 3차원 공간상의 한 점은 왼쪽, 오른쪽 영상 위의 각각 다른 위치에 비추어지고 오른쪽 이미지 상의 점 P'의 위치는 왼쪽 이미지의 P점을 벡터 v의 크기 만큼의 수평이동의 결과에 해당되고 이 두 점은 극상선(epipolar line)이라고 하는 하나의 수평선상에 위치한다. 즉 극상선은 좌/우의 영상의 대응하는 점을 이은 선이다. 도 3과 같은 구성을 하는 것은 예를 들면 2개의 카메라 혹은 센싱 수단을 통해 물체를 좌/우의 스테레오 영상으로 보는 경우이다. 즉 하나의 물체(도면에서는 P 문자)를 볼 때를 나타낸 것이다.
도 3에서 점 P와 P'의 수평선상의 거리 차이를 변위(disparity)라 한다. 원근법에 따르면 깊이의 간격은 변위의 간격과 일치한다. 그래서 본 발명에서는 여기서 깊이 대신 변위의 간격을 사용한다. 이때에 이하의 설명에서는 물체표면을 투영한 이미지상의 한 영역이 w라는 임의의 크기를 가지는 영역 내에 투영되었다고 가정한다.
본 발명에 따라 전자 현미경을 이용한 3차원 공간 좌표 추출을 설명한다.
도 4는 본 발명에 따른 센서부의 위치를 도시한 것이다. 전자현미경의 내부에 위치할 센서부(200)를 이용해서 물체에 대한 데이터를 감지한다(100 단계). 도 4에서 센서부(200)는 X축 방향의 센서(202), Y축 방향의 센서(204) 및 YZ 평면상에 Z축으로부터 45도의 각도를 이룬 센서(204)로 구성된다. 즉 X 축 위, Y 축 위, Y-Z 평면 위의 Z축으로부터 45도 위치에서 데이터가 센싱(sensing)되어 추출된다.
각 센서들의 위치에서 추출된 데이터들이 공동으로 겹치는 부분은 X 축의 센서(202)와 Y 축의 센서(204) 그리고, Y-Z 평면의 센서(206)가 연결되는 부분의 안쪽이다. 즉 도 5에 도시된 바와 같은 1/8 반구 부분이 각 센서들이 추출한 데이터가 겹치는 영역인 것이다.
도 6은 본 발명에 따른 3개의 센서가 센싱하여 추출한 부분에서 서로 겹치는 부분을 도시한 것이다. 이때 X축 위의 센서(202)가 잡는 부분의 1/8 과 Y축 위의 센서(204)가 잡는 부분의 1/8 그리고 Y-Z 평면 위의 센서(206)가 잡는 부분의 1/8은 서로 겹치게 되어 도 5와 같은 입체적인 모습은 이루게 된다.
따라서 3차원 데이터를 추출하는 것은 상기과 같이 3개의 센서를 이용하여 추출한 3개의 화면이 겹치는 부분을 서로 매칭하여, 각각의 대응점을 찾아내는 것이다. 이것은 종래에 두 개의 데이터로부터 3차원 데이터를 추출하는 방법보다 훨씬 정밀하다. 매칭되는 3점을 찾게 되면, 다음에 설명하는 방법에 따라 3차원 공간상의 위치를 결정할 수 있다.
변위결정부(210)에서 변위를 추출하는 과정에 대해 설명한다.
변일는 다음과 같다. 이때, 평행 광축일 경우 해상도위도의 깊이 해상도를 최소간 변위차가 1일 때의 실제 깊이차라고 정의하면, 카메라로부터 물체까지의 거리가 다음의 수학식으로 결정된다.
여기서 b는 카메라는는와 같다. 단위 길이 당 화소의 수로서 시각 범위(field of view)의 반에 해당되는 각이고 사이의 거리인 기준선(baseline) 거리의 크기이며, N은 영상에서 가로 방향 화소의 개수이다.
위 식로부터 평행 광축인 경우 깊이 해상도는 기준선 거리와 초점 거리가 클수록, 또 센싱 수단인 각 센서로부터 물체까지의 거리가 작을수록 커지는 것을 알 수 있다.
깊이 해상도를 높이기 위해 기준선을 늘이거나 물체를 카메라에 가까이 가져오게 되면 정합 할 때에 오정합이 생길 확률이 높아진다. 즉 정합의 정확성과 변위도 해상도의 조밀성 사이에는 트레이드오프(tradeoff)가 존재한다. 따라서 세 개의 센서를 사용하면, 높은 해상도의 깊이 정보를 추출하면서 동시에 정합의 정확성을 높아진다.
이때에 효율적인 정합을 위한 세 개의 센서로 추출하는 데이터를 보정할 필요가 있다. 전자 현미경은 높은 해상도를 가지고 있기 때문에 공통 영역이 적어지게 된다. 따라서 물체의 폐색(occlusion) 영역이 증가하여, 물체의 경계 부근에는 변위 정보가 많이 손실되는 경우가 발생하게 된다. 공통 영역을 증가시키기 위해세 개의 데이터의 극상선을 같게 하는 것이 바람직하다.
이하에서는 변위결정부(210)가 세 개의 센서를 이용해서 얻어진 2차원 좌표들로 구성된 3개의 영상 화면에서 다중스테레오 정합 MPC_MBS를 구하는 방법을 설명한다.
예를 들면 얼굴에 대한 모델을 구하기 위해서는 충분한 깊이 해상도를 갖도록 센싱하는 수단인 카메라를 배치해야 한다. 본 발명에 따른 MPC_MBS 정합 방법은 정합의 정확성이 나빠지지 않는 효과를 나타내기 위한 방법이다. 본 발명에서는 해상도가 높은 깊이 정보가 필요하므로 센서들의 기준선 거리의 크기를 크게 해야 하고 따라서 정합의 정확성이 나빠지지 않도록 한다.
종래의 정합 방법으로는 SAD(Sum of Absolute Distance), SSD(Sum of Squared Distance), NCC(Normalized Correlation Coefficient)등이 있는데, 이러한 유사도 측정 방법은 정합 창 내에서 한 화소가 유사도에 미치는 영향이 화소의 밝기 값에 따라 다르기 때문에 화소간의 밝기 변화가 큰 영역이 작은 영역으로 변위의 경계선이 연장되는 바운더리 오버리치(Boundary Overreach) 현상이 생기고, 이 때문에 경계 부분에서 잘못된 결과를 나타낸다.
본 발명에서 사용되는 3차원 깊이 정보를 얻는 방법은 김남규, 이광도, 김형곤, 차균현, "저해상도 변위 히스토그앰을 이용한 고성능 변위 정보 추출 알고리즘," 전자공학회, 제 3권 제 3호, pp. 131-143, 1998년 3월호에서 제안된 유사도를 구하는 MPC 정합 방법에 기반하고 있다.
MPC 정합 방법은 한 화소가 유사도에 미치는 영향을 밝기 값에 관계없이 동일하게 함으로써 경계 부분에서도 좋은 결과를 얻을 수 있다. Wr, Wc 가 정합창의 수직 수평 길이, wr, wc가 창의 중심으로부터 창의 수직 수평 거리를 나타낸다면, 기준 영상에서의 위치가 (x, y)인 화소가 탐색 영상에서 d 변위 만큼 떨어진 화소와의 MPC는 다음의 수학식과 같다.
여기서 W는 윈도우의 크기, Rx,y, Lx,y는 (x,y)위치에서의 좌우 영상의 화소의 밝기 값을 나타낸다. T(x,y,d)는 (x, y : x+d, y)에서의 화소 밝기가 비슷하면 1, 비슷하지 않으면 0의 값을 갖는다. Th는 미리 정의된 문턱값이다.
(x, y) 위치에서의 변위 D(x, y)는 MPC(x,y,d) 값이 최대일 때의 인자(argument)인 d로서 다음과 같이 나타낼 수 있다.
MPC_MBS에서는 탐색 영상은 기준 영상의 좌우 두 영상이 되고, 이때 유사도 값은 그 점의 좌 탐색 영상의 MPC 값과 우 탐색 영상의 MPC 값의 합으로 결정된다. 기준 영상에서 (x, y)에 위치한 화소와 탐색 영상에는 변위 d만큼 떨어진 화소와의 MPC_MBS 는 다음 식으로 나타낼 수 있다.
여기서 Mx,y, Rx,y, Lx,y는 각각 가운데, 오른쪽, 왼쪽 영상에서 (x,y) 위치의 화소 밝기값을 나타낸다.
기준 영상 (x,y)에서 변위 D(x,y) 다음과 같다.
3차원데이터추출부(220)는 상기의 산출된 변위를 이용해서 상대적인 거리인 물체의 3차원적 깊이 정보를 추출하여 픽셀별로 3차원 좌표를 추출하여 상기 물체의 3차원 공간상의 위치를 결정한다(120 단계).
이때에 MPC_MBS를 구하는데 있어 중복 계산을 제거함으로써 연산 시간이 정합 창의 크기에 영향을 받지 않도록 하는 것이 바람직하다.
영상의 해상도를에을로 줄일 수 있다.
본 발명에서는 영상을 세 가지만 사용하므로 N의 값은 3이 된다. V가 정합 창의 높이에 해당하는 W, 크기의 수직선간의 정합을, MPC는 정합창 블록 사이의 정합을 나타낸다면 중복 연산을 제거한 MPC_MBS 연산 방법은 다음과 같이 표시할 수 있다. 우선 기준 영상과 좌 영상의 중복 연산 제거는 다음과 같다. 정합 창 크기에 영향을 받지 않는 비례한다. 중복 계산을 제거함으로써 MPC_MBS 정합에서 탐색 범위를 Sr, 영상의 개수를 N이라면, MPC_MBS 정합 방법의 전체 계산량은, 정합 창의 크기를
마찬가지로 기준 영상과 우 영상 사이의 중복 연산 제거는 다음과 같이 쓸 수 있다.
정합에 나타나는 중복 연산의 종류는 정합 창이 한 화소를 이동할 때는 언제나 생기는 블록간의 중복 연산과 정합 창이 수직으로 이동 할 때 생기는 수직선간의 중복 연산이 있다. 블록간의 중복 연산과, 수직선간의 중복 연산은 수학식 7과 8에 의해 제거 할 수 있다.
3차원데이터추출부(220)는 상기의 산출된 변위를 이용해서 상대적인 거리인 물체의 3차원적 깊이 정보를 추출하여 픽셀별로 3차원 좌표를 추출하여 상기 물체의 3차원 공간상의 위치를 결정할 때에, 일단 변위도가 구해지면 최대 유사도를 갖는 화소를 기준으로 유사도를 2차 함수로 근사화하고 다시 극점을 대응점으로 하여 보간함으로써 연속적인 변위를 가진 변위도를 구하는 것이 바람직하다.
변위도 개선에 사용되는 2차 함수의 식은 다음과 같다.
(x,y)위치의 화소가 변위 dmax에서 최대의 유사도 Mx,y(dmax)를 가진다고 하면, dmax 주변의 값들에 수학식 7을 근사화한다. 이것을 행렬로 표현하면 다음과 같다.
여기서,
x는 Pseudo-Inverse 방법으로 다음과 같이 구할 수 있다.
2차 함수의 정확한 극점인가 소수점 정확도의 변위값이 된다. 소수점 화소 단위까지 변위도의 해상도를 높임으로써 수학식 2에 나와있는 깊이 해상도에 의해 양자화 되어 있는 표면 깊이 정보를 좀더 자연스럽게 만들 수 있다.
2차원과 달리 3차원은 Z축으로 데이터가 존재하고, 이들이 상호 연관성이 가지고 있기 때문에 2차원 파라미터들보다, 훨씬 연관성이 많은 상관 관계를 제공할 때가 많다. 본 발명에서 사용할 수 있는 3차원 파라미터들의 예는 다음과 같은 것이다.
1. Sq(Root-mean-Square Deviation)
주어진 구간 안에서 분산 값이다. 3차원 파라미터로써 많이 사용된다. 구간의 간격에는 민감하지 않으나, 구간의 크기에는 상당히 민감하다.
2. Sz(Ten points Height of the Surface)
이 파라미터는 2차원에서 Rz(표면 불규칙도)에서 해당하는 것으로 구간을 3차원으로 확대한 것이다. 여기서 구간은 X, Y를 가지는 직사각형 구간이다. 수식은 다음과 같다.
3. Ssk(Skewness of Surface Height Distribution)
이 파라미터는 표면의 산의 분포양상을 묘사하는데 아주 유용한 파라미터이다.
4. TSa(Three dimensional Surface Area)
3차원 공간의 두 점 P1(X1, Y1, Z1)과 P2(X2, Y2, Z2)간의 거리는이다. 이를 바탕으로 3차원 공간에서 3점이 (0,0,a), (0,1,a), (1,0,b) 일 때 각 점간의 거리 s1, s2, s3 는 각각이다. 이때 S=(s1+s2+s3)/2 이라면 이 세 점을 꼭지점으로 하는 삼각형의 면적은가 된다. 따라서 전구간의 표면적은 모든 x, y가 각각 1씩 변할 때 3점의 좌표를 이용한 삼각형의 넓이의 합이 된다.
5. TV(Three Dimensional Volume)
기준면을 중심으로 기준면의 위의 모든 체적과 기준면의 밑의 모든 체적을 합한 값이다. 즉 기준면보다 높은 곳은가 되며 x, y 각각의 점은 주어진 범위 내에서의 일정한 간격(여기서는 1)으로 주어 졌을 때 Z값 또한 정수 값이 된다. 따라서 체적이란 x, y기 각각 1인 영역에서 Zc높이로 이루어진 2개의 삼각기둥의 합이 된다. 3개의 점의 위치가(0,0,1), (1,0,b), (0,1,c) 일 때의 체적은 다음과 같이 계산된다. (0,0,a), (1,0,b), (0,1,c)를 지나는 평면 방정식은 (a-b)x+(a-c)y+z=a, 단이다. 그러므로
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 본 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 상기의 설명에 포함된 예들은 본 발명에 대한 이해를 위해 도입된 것이며, 이 예들은 본 발명의 사상과 범위를 한정하지 않는다. 상기의 예들 외에도 본 발명에 따른 다양한 실시 태양이 가능하다는 것은, 본 발명이 속한 기술 분야에 통상의 지식을 가진 사람에게는 자명할 것이다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
또한 본 발명에 따른 상기의 각 단계는 일반적인 프로그래밍 기법을 이용하여 소프트웨어적으로 또는 하드웨어적으로 다양하게 구현할 수 있다는 것은 이 분야에 통상의 기술을 가진 자라면 용이하게 알 수 있는 것이다.
그리고 본 발명의 일부 단계들은, 또한, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, CD-RW, 자기 테이프, 플로피디스크, HDD, 광 디스크, 광자기 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
본 발명에 의하면, 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법에 있어서, 물체가 XYZ 직각 좌표계에서 X축에 수직인 평면, Y축에 수직인 평면 및 Y-Z 평면에서 Z축으로부터 45도의 각을 이루는 평면으로 각각 투영된 2차원 좌표들을 센싱하며, 각 2차원 좌표들로 구성되는 3개의 화면이 겹치는 부분 각각을 좌/우 영상의 디지털화된 데이터 중 한 픽셀의 데이터를 중심으로 다른 화면의 동일 픽셀을 찾는 대응점을 구하고 이를 바탕으로 변위(disparity)를 산출하고, 산출된 변위를 이용하여 상대적인 거리인 물체의 3차원적 깊이 정보를 추출하여 픽셀별로 3차원 좌표를 추출하여 상기 물체의 3차원 공간상의 위치를 결정함으로 해서, 전자현미경으로 볼 수 있는 미세한 물체까지도 3차원적으로 분석할 수 있어, 세포를 연구하거나 각종 질환을 연구할 수 있는 기반이 되며, 각종 산업에 이용하여 정밀 산업을 더욱 활성화시킬 수 있다.
세포나 조직의 내부 혹은 표면 미세구조를 3차원적으로 재구성하는 것은 세포의 기능 이해에 필수적으로 요구되는 정보이나, 종래에는 광학 및 투과전자현미경수준에서 연속절편으로부터 얻어진 화상을 3차원적으로 구축하는 방법을 사용하였으나 시료 제작 및 관찰이 어렵고 분석 방법에 따라 오차가 컸다.
3차원적 이미지를 현미경으로 직접 관찰하면서 세포 표면에 존재하는 구조물의 길이나, 직경, 각도와 세포속 구조물의 세포소기관의 크기와 상호관계를 직접 측정하여 궁극적으로 세포의 기능을 이해하는 데 목적이 있으나 종래의 주사전자현미경을 사용한 삼차원 구조물의 구축은 기존의 주사전자현미경 데이터를 컴퓨터로 삼차원적 구조물로 변환시키는 초보적인 단계에 있다.
그러나 본 발명에 의해 고도의 정밀기기인 주사전자현미경을 개발하게 되면 정밀기기의 생산 기술개발에 기여하게 되며, 특히, 3차원 주사전자현미경은 아직 제품화가 시도되거나 발명이 진행된 바 없어 세계 최초로 개발하게 됨으로써 기술파급의 효과가 클 것이다.
세포표면변화가 중요한 각종 질환의 진단에 응용함으로써 보다 정확한 진단이 가능해질 수 있으며, 각종 의학 연구에 필수적인 세포의 미세 구조적 변화를 3차원적으로 이해하게 됨으로써 이 분야 학문 발전에 기여하게 될 뿐만 아니라, 반도체, 정밀 기계 등의 산업 분야에 활용하게 되면 막대한 경제적인 효과를 얻을 수 있게 된다.

Claims (11)

  1. 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법에 있어서,
    (a) 물체가 XYZ 직각 좌표계에서 X축에 수직인 평면, Y축에 수직인 평면 및 Y-Z 평면에서 Z축으로부터 45도의 각을 이루는 평면으로 각각 투영된 2차원 좌표들을 센싱하는 단계;
    (b) 상기 각 2차원 좌표들로 구성되는 3개의 화면이 겹치는 부분 각각을 좌/우 영상의 디지털화된 데이터 중 한 픽셀의 데이터를 중심으로 다른 화면의 동일 픽셀을 찾는 대응점을 구하고 이를 바탕으로 변위(disparity)를 산출하는 단계; 및
    (c) 상기 산출된 변위를 이용하여 상대적인 거리인 물체의 3차원적 깊이 정보를 추출하여 픽셀별로 3차원 좌표를 추출하여 상기 물체의 3차원 공간상의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법.
  2. 제1항에 있어서, 상기 (b) 단계에서 변위를 산출할 때에 물체의 경계 부근에서 변위 정보가 손실되는 것을 줄이기 위해 상기 3개의 화면상의 서로 대응하는 픽셀들간의 극상선(epipolar line)을 동일한 것으로 유지하는 것을 특징으로 하는 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법.
  3. 제1항에 있어서, 상기 (b) 단계에서, 영상에서 위치가 (x,y)인 화소 픽셀이 탐색 영상으로부터 d 변위만큼 떨어졌을 때에, Wr, Wc 가 정합창의 수직 수평 길이, wr, wc가 창의 중심으로부터 창의 수직 수평 거리이며, W는 윈도우의 크기, Rx,y, Lx,y는 (x,y)위치에서의 좌우 영상의 화소의 밝기 값이며, Th는 미리 정의된소정의 문턱값일 때에, 기준 영상에서의 위치가 (x,y)인 화소가 탐색 영상에서 d 변위 만큼 떨어진 화소와의 정합도 MPC(Matching Pixel Count)는 다음과 같으며,
    (x,y) 위치에서의 변위 D(x,y)는 MPC(x,y,d) 값이 최대일 때의 인자(argument)가 d인,로 결정되는 것을 특징으로 하는 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법.
  4. 제3항에 있어서,
    탐색 영상은 기준 영상의 좌우 두 영상이 되고, 이때 유사도 값은 그 점의 좌 탐색 영상의 정합도 MPC 값과 우 탐색 영상의 정합도 MPC 값의 합으로 결정되어,
    Mx,y, Rx,y, Lx,y는 각각 기준 영상을 중심으로 가운데, 오른쪽, 왼쪽 영상에서 (x,y) 위치의 화소 밝기 값일 때에, 기준 영상에서 (x, y)에 위치한 화소와 탐색 영상에는 변위 d만큼 떨어진 화소와의 다중스테레오 정합도 MPC_MBS(MatchingPixel Count Multiple Baseline Stereo) 값은,
    로 표시되며,
    이때에, 기준 영상 (x,y)에서 변위 D(x,y)는
    로 결정됨을 특징으로 하는 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법.
  5. 제3항 또는 제4항에 있어서, 상기 (c) 단계에서,
    소정의 방법에 따라 기준 영상과 좌 혹은 우 영상의 중복되는 영역과 영상의 정합을 위한 창이 이동할 때에 수직선간의 중복되는 부분에 대한 계산을 하지 않아 중복되는 연산을 제거하는 것을 특징으로 하는 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법.
  6. 제3항 또는 제4항에 있어서, 상기 (c) 단계에서,
    변위를 구한 후에, 최대의 유사도를 가지는 픽셀을 기준으로 다중스테레오 정합도를 2차 함수로 근사화하고 다시 극점을 대응점으로 하여 변위를 보간함으로써 연속적인 변위를 가지도록 하는 개선하는 것을 특징으로 하는 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 방법.
  7. 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 장치에 있어서,
    물체가 XYZ 직각 좌표계에서 X축에 수직인 평면, Y축에 수직인 평면 및 Y-Z 평면에서 Z축으로부터 45도의 각을 이루는 평면으로 각각 투영된 2차원 좌표들을 감지하는 센서부;
    상기 센서부를 통해 감지된 각 2차원 좌표들로 구성되는 3개의 화면이 겹치는 부분 각각을 좌/우 영상의 디지털화된 데이터 중 한 픽셀의 데이터를 중심으로 다른 화면의 동일 픽셀을 찾는 대응점을 구하고 이를 바탕으로 변위(disparity)를 산출하는 변위결정부; 및
    상기 변위결정부에서 결정된 변위를 이용하여 상대적인 거리인 물체의 3차원적 깊이 정보를 추출하여 픽셀별로 3차원 좌표를 추출하여 상기 물체의 3차원 공간상의 위치를 결정하는 3차원데이타추출부를 포함하는 것을 특징으로 하는 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 장치.
  8. 제7항에 있어서, 상기 변위결정부는 영상에서 위치가 (x,y)인 화소 픽셀이 탐색 영상으로부터 d 변위만큼 떨어졌을 때에, Wr, Wc 가 정합창의 수직 수평 길이, wr, wc가 창의 중심으로부터 창의 수직 수평 거리이며, W는 윈도우의 크기,Rx,y, Lx,y는 (x,y)위치에서의 좌우 영상의 화소의 밝기 값이며, Th는 미리 정의된 소정의 문턱값일 때에, 기준 영상에서의 위치가 (x,y)인 화소가 탐색 영상에서 d 변위 만큼 떨어진 화소와의 정합도 MPC는 다음과 같이 결정하며,
    (x,y) 위치에서의 변위 D(x,y)는 MPC(x,y,d) 값이 최대일 때의 인자(argument)가 d인,로 결정되는 것을 특징으로 하는 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 장치.
  9. 제8항에 있어서, 상기 변위결정부는,
    탐색 영상은 기준 영상의 좌우 두 영상이 되고, 이때 유사도 값은 그 점의 좌 탐색 영상의 MPC 값과 우 탐색 영상의 MPC 값의 합으로 결정하여,
    Mx,y, Rx,y, Lx,y는 각각 기준 영상을 중심으로 가운데, 오른쪽, 왼쪽 영상에서 (x,y) 위치의 화소 밝기 값일 때에, 기준 영상에서 (x, y)에 위치한 화소와탐색 영상에는 변위 d만큼 떨어진 화소와의 다중스테레오 정합도 MPC_MBS 는,
    로 결정하며,
    이때에, 기준 영상 (x,y)에서 변위 D(x,y)는
    로 결정됨을 특징으로 하는 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 장치.
  10. 제8항 내지 제9항의 어느 한 항에 있어서, 상기 3차원데이타추출부는,
    소정의 방법에 따라 기준 영상과 좌 혹은 우 영상의 중복되는 영역과 영상의 정합을 위한 창이 이동할 때에 수직선간의 중복되는 부분에 대한 계산을 하지 않아 중복되는 연산을 제거하는 것을 특징으로 하는 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 장치.
  11. 제8항 내지 제9항의 어느 한 항에 있어서, 상기 3차원데이타추출부는,
    변위를 구한 후에, 최대의 유사도를 가지는 픽셀을 기준으로 다중스트레오 정합도를 2차 함수로 근사화하고 다시 극점을 대응점으로 하여 변위를 보간함으로써 연속적인 변위를 가지도록 하는 개선하는 것을 특징으로 하는 전자현미경을 사용해서 물체의 3차원 공간 데이터를 추출하는 장치.
KR10-2002-0047200A 2002-08-09 2002-08-09 전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치 KR100438212B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-2002-0047200A KR100438212B1 (ko) 2002-08-09 2002-08-09 전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치
PCT/KR2003/001164 WO2004015633A1 (en) 2002-08-09 2003-06-13 Method and apparatus for extracting three-dimensional spacial data of object using electron microscope
AU2003243021A AU2003243021A1 (en) 2002-08-09 2003-06-13 Method and apparatus for extracting three-dimensional spacial data of object using electron microscope
US10/462,596 US6771418B2 (en) 2002-08-09 2003-06-17 Method and apparatus for extracting three-dimensional spacial data of object using electron microscope
DE10329250.0A DE10329250B4 (de) 2002-08-09 2003-06-24 Verfahren und Vorrichtung zum Extrahieren dreidimensionaler räumlicher Daten eines Objektes unter Verwendung eines Elektronenmikroskops

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0047200A KR100438212B1 (ko) 2002-08-09 2002-08-09 전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20040014034A KR20040014034A (ko) 2004-02-14
KR100438212B1 true KR100438212B1 (ko) 2004-07-01

Family

ID=31185813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0047200A KR100438212B1 (ko) 2002-08-09 2002-08-09 전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치

Country Status (5)

Country Link
US (1) US6771418B2 (ko)
KR (1) KR100438212B1 (ko)
AU (1) AU2003243021A1 (ko)
DE (1) DE10329250B4 (ko)
WO (1) WO2004015633A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100556930B1 (ko) * 2004-06-19 2006-03-03 엘지전자 주식회사 3차원 사물 인식장치와 방법 및 이를 이용한 게임 장치
GB0709796D0 (en) * 2007-05-22 2007-06-27 Phase Focus Ltd Three dimensional imaging
JP6160187B2 (ja) * 2013-04-09 2017-07-12 ソニー株式会社 分析装置、分析プログラム及び分析システム
CN103793937A (zh) * 2013-12-10 2014-05-14 中山大学深圳研究院 一种基于密度聚类的三维几何模型的简化方法及其装置
KR101622344B1 (ko) * 2014-12-16 2016-05-19 경북대학교 산학협력단 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템
JP2019185972A (ja) * 2018-04-06 2019-10-24 株式会社日立ハイテクノロジーズ 走査電子顕微鏡システム及びパターンの深さ計測方法
CN111381357B (zh) * 2018-12-29 2021-07-20 中国科学院深圳先进技术研究院 图像三维信息提取方法、对象成像方法、装置及系统
CN110118791B (zh) * 2019-05-21 2020-03-03 山东省分析测试中心 用于获取裂纹/晶界三维信息的ebsd设备样品台及方法
CN111508807B (zh) * 2020-04-26 2022-11-25 北京工业大学 一种扫描电镜立体成像系统
CN112102391A (zh) * 2020-08-31 2020-12-18 北京市商汤科技开发有限公司 测量方法及装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63266748A (ja) * 1987-04-24 1988-11-02 Hitachi Ltd 走査電子顕微鏡
KR970023940A (ko) * 1995-10-17 1997-05-30 김주용 반도체 소자의 검사용 전자 현미경 장치
KR19990038513A (ko) * 1997-11-06 1999-06-05 후지와라 키쿠오 주사식 검사 현미경용 입체 표시 방법
JPH11231228A (ja) * 1998-02-12 1999-08-27 Nikon Corp 顕微鏡システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715334A (en) * 1994-03-08 1998-02-03 The University Of Connecticut Digital pixel-accurate intensity processing method for image information enhancement
US5563962A (en) * 1994-03-08 1996-10-08 The University Of Connecticut Two dimensional digital hysteresis filter for smoothing digital images
US5671085A (en) * 1995-02-03 1997-09-23 The Regents Of The University Of California Method and apparatus for three-dimensional microscopy with enhanced depth resolution
JP3304681B2 (ja) * 1995-04-25 2002-07-22 株式会社日立製作所 電子顕微鏡及び３次元原子配列観察方法
EP0928433A1 (fr) * 1996-09-27 1999-07-14 Vincent Lauer Microscope generant une representation tridimensionnelle d'un objet
US6098031A (en) * 1998-03-05 2000-08-01 Gsi Lumonics, Inc. Versatile method and system for high speed, 3D imaging of microscopic targets
KR100286434B1 (ko) * 1999-03-31 2001-03-15 채문식 입체적 형태 및 색체 분석을 위한 표면상태 측정 장치 및 그 방법
US6505140B1 (en) * 2000-01-18 2003-01-07 Intelligent Automation, Inc. Computerized system and method for bullet ballistic analysis
JP3664987B2 (ja) * 2001-03-14 2005-06-29 シャープ株式会社 電子顕微鏡観察用試料の作成方法及び半導体装置の解析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63266748A (ja) * 1987-04-24 1988-11-02 Hitachi Ltd 走査電子顕微鏡
KR970023940A (ko) * 1995-10-17 1997-05-30 김주용 반도체 소자의 검사용 전자 현미경 장치
KR19990038513A (ko) * 1997-11-06 1999-06-05 후지와라 키쿠오 주사식 검사 현미경용 입체 표시 방법
JPH11231228A (ja) * 1998-02-12 1999-08-27 Nikon Corp 顕微鏡システム

Also Published As

Publication number Publication date
US20040026619A1 (en) 2004-02-12
DE10329250A1 (de) 2004-02-26
AU2003243021A1 (en) 2004-02-25
DE10329250B4 (de) 2016-03-03
US6771418B2 (en) 2004-08-03
WO2004015633A1 (en) 2004-02-19
KR20040014034A (ko) 2004-02-14

Similar Documents

Publication Publication Date Title
US8803943B2 (en) Formation apparatus using digital image correlation
US20190311497A1 (en) Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
CN106485735A (zh) 基于立体视觉技术的人体目标识别与跟踪方法
CN106503605A (zh) 基于立体视觉技术的人体目标识别方法
CN105205858A (zh) 一种基于单个深度视觉传感器的室内场景三维重建方法
CN103988226A (zh) 用于估计摄像机运动以及用于确定实境三维模型的方法
KR100438212B1 (ko) 전자현미경을 사용해서 물체의 3차원 공간 데이터를추출하는 방법 및 그 장치
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
EP2372652A1 (en) Method for estimating a plane in a range image and range image camera
CN112967312A (zh) 一种面向野外刚体目标的实时鲁棒位移监测方法及系统
Svoboda et al. Matching in catadioptric images with appropriate windows, and outliers removal
CN114065650B (zh) 基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法
CN102798380B (zh) 线阵图像中目标运动参数的测量方法
CN110517323A (zh) 基于机械手单相机多目视觉的三维定位系统及方法
Rodriguez et al. Optical analysis of strength tests based on block‐matching techniques
CN111998834B (zh) 一种裂缝监测方法及系统
Maas Contributions of digital photogrammetry to 3-D PTV
Shao et al. 3D displacement measurement using a single-camera and mesh deformation neural network
CN108510553A (zh) 一种基于机器视觉的运动装置标定方法及其装置
CN115049784A (zh) 一种基于双目粒子图像的三维速度场重建方法
JP2018032144A (ja) 画像処理装置、画像処理方法およびプログラム。
Liu et al. Calibration of a stereo microscope based on non-coplanar feature points with iteratively weighted radial alignment constraint
Servi et al. Comparative Evaluation of Intel RealSense D415, D435i, D455 and Microsoft Azure Kinect DK Sensors for 3D Vision Applications
Simon et al. Asserting the precise position of 3D and multispectral acquisition systems for multisensor registration applied to cultural heritage analysis
CN113446986B (zh) 一种基于观测高度改变的目标深度测量方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130405

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20140304

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20170622

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 16