[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102509581B1 - 영상 판단 장치 및 그 판단 방법 - Google Patents

영상 판단 장치 및 그 판단 방법 Download PDF

Info

Publication number
KR102509581B1
KR102509581B1 KR1020200155756A KR20200155756A KR102509581B1 KR 102509581 B1 KR102509581 B1 KR 102509581B1 KR 1020200155756 A KR1020200155756 A KR 1020200155756A KR 20200155756 A KR20200155756 A KR 20200155756A KR 102509581 B1 KR102509581 B1 KR 102509581B1
Authority
KR
South Korea
Prior art keywords
image
deep learning
learning algorithm
synthesized
defect
Prior art date
Application number
KR1020200155756A
Other languages
English (en)
Other versions
KR20220068705A (ko
Inventor
김회율
김민수
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020200155756A priority Critical patent/KR102509581B1/ko
Publication of KR20220068705A publication Critical patent/KR20220068705A/ko
Application granted granted Critical
Publication of KR102509581B1 publication Critical patent/KR102509581B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615—Inspecting patterns on the surface of objects using a comparative method with stored comparision signal

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 판단 장치 및 그 판단 방법에 대한 것으로서, 보다 상세하게는 영상을 통해 피사체에 결함이 있는지 여부를 판단할 수 있는 장치 및 그 판단 방법에 대한 것이다. 본 발명의 일 실시 예에 따른 영상 판단 장치는, 프로세서, 및 프로세서에 연결되고, 하나 이상의 원본결함영상, 제1 딥러닝 알고리즘 및 제2 딥러닝 알고리즘을 저장하는 메모리를 포함하며, 메모리는 프로세서에 의해 실행 가능한, 제1 딥러닝 알고리즘을 이용하여 원본결함영상으로 합성영상을 생성하고, 합성영상과 원본결함영상을 비교하여 제1 딥러닝 알고리즘을 학습시키며, 합성영상을 이용하여 제2 딥러닝 알고리즘을 학습시키는 프로그램 명령어들을 저장할 수 있다. 본 발명에 따르면, 실제 결함 영상에서 합성 결함 영상을 생성한 뒤, 이를 이용하여 학습한 딥러닝 알고리즘을 통해 피사체의 결함 유무를 판단하는 동작을 통해 피사체의 결함 유무를 정확하게 검출할 수 있는 카메라 시스템을 제공할 수 있다.

Description

영상 판단 장치 및 그 판단 방법{Image judgment device and method thereof}
본 발명은 영상 판단 장치 및 그 판단 방법에 대한 것으로서, 보다 상세하게는 영상을 통해 피사체에 결함이 있는지 여부를 판단할 수 있는 장치 및 그 판단 방법에 대한 것이다.
최근들어 다양한 용도로 카메라 시스템에 대한 수요가 증가하고 있다. 예를 들어, CCTV 시스템이 설치된 장소가 증가하고 있고, 야구, 농구, 테니스 등과 같은 스포츠 분야에서도 카메라 시스템이 활발하게 사용되고 있으며, 반도체 공장 등과 같은 공장에서도 공정 중 발생될 수 있는 각종 오류를 검출하기 위해 카메라 시스템이 활발하게 사용되고 있다.
일반적으로 카메라 시스템은 카메라에서 촬영된 영상을 감시자가 모니터링하는 방법으로 사용된다. 하지만, 방대한 양의 영상을 감시자가 실시간으로 모니터링하는 것은 어렵고 지루하며 오류 발생 가능성이 높다. 즉, 감시자들이 무수히 많은 영상들을 일일이 모니터링할 수 없으며, 할 수 있다고 해도 오류가 발생될 가능성이 매우 많을 수 밖에 없다. 또한, 실시간으로 모니터링의 결과를 반영하여야 하는 경우에도 감시자가 촬영되는 영상 전부를 실시간으로 모니터링할 수는 없는 일이다.
특히, 반도체 소자의 제조 시 웨이퍼의 결함 패턴을 파악하는 기술은 결함의 원인을 추적하기 위한 가장 중요한 기술 중 하나이고, 이를 위하여 카메라로 웨이퍼를 촬영하여 생성된 영상을 분석하는 방법이 공개되었다. 당해 방법의 경우에도 역시 상술한 문제점이 그대로 발생될 수 있으므로 이를 통해 분류된 결과는 신뢰도가 떨어진다.
본 발명은 딥러닝 기술로 영상을 분석하여 피사체의 결함 유무를 정확하게 판단할 수 있는 카메라 시스템을 제공하고자 한다.
본 발명의 일 실시 예에 따른 영상 판단 장치는, 프로세서; 및 상기 프로세서에 연결되고, 하나 이상의 원본결함영상, 제1 딥러닝 알고리즘 및 제2 딥러닝 알고리즘을 저장하는 메모리;를 포함하며, 상기 메모리는 상기 프로세서에 의해 실행 가능한, 상기 제1 딥러닝 알고리즘을 이용하여 상기 원본결함영상으로 합성영상을 생성하고, 상기 합성영상과 상기 원본결함영상을 비교하여 상기 제1 딥러닝 알고리즘을 학습시키며, 상기 합성영상을 이용하여 상기 제2 딥러닝 알고리즘을 학습시키는 프로그램 명령어들을 저장할 수 있다.
실시예에 따라, 상기 메모리는, 상기 제1 딥러닝 알고리즘을 이용하여 상기 원본결함영상으로 합성정상영상 및 합성결함영상을 생성하고, 상기 합성정상영상 및 상기 합성결함영상으로 상기 제2 딥러닝 알고리즘을 학습시키는 프로그램 명령어들을 저장할 수 있다.
실시예에 따라, 상기 메모리는, 상기 합성결함영상과 상기 원본결함영상을 비교한 결과를 이용하여 상기 제1 딥러닝 알고리즘을 학습시키는 프로그램 명령어들을 저장할 수 있다.
실시예에 따라, 상기 메모리는, 입력된 대상영상을 상기 제2 딥러닝 알고리즘에 입력시켜 상기 대상영상의 피사체 결함 여부를 확인하는 프로그램 명령어들을 저장할 수 있다.
본 발명의 다른 실시예에 따르면, 원본결함영상이 저장된 영상 판단 장치에서 수행되는 영상 판단 방법에 있어서, 구비된 제1 딥러닝 알고리즘을 이용하여 상기 원본결함영상으로 합성영상을 생성하는 단계; 상기 합성영상과 상기 원본결함영상을 비교하여 상기 제1 딥러닝 알고리즘을 학습시키는 단계; 및 상기 합성영상을 이용하여 상기 제2 딥러닝 알고리즘을 학습시키는 단계;를 포함하는, 영상 판단 방법이 개시된다.
실시예에 따라, 상기 합성영상을 생성하는 단계는, 상기 제1 딥러닝 알고리즘을 이용하여 상기 원본결함영상으로 합성정상영상 및 합성결함영상을 생성하는 단계;를 포함하고, 상기 제2 딥러닝 알고리즘을 학습시키는 단계는, 상기 합성정상영상 및 상기 합성결함영상으로 상기 제2 딥러닝 알고리즘을 학습시키는 단계;를 포함할 수 있다.
실시예에 따라, 상기 제1 딥러닝 알고리즘을 학습시키는 단계는, 상기 합성결함영상과 상기 원본결함영상을 비교한 결과를 이용하여 상기 제1 딥러닝 알고리즘을 학습시키는 단계;를 포함할 수 있다.
실시예에 따라, 상기 영상 판단 방법은, 입력된 대상영상을 상기 제2 딥러닝 알고리즘에 입력시켜 상기 대상영상의 피사체 결함 여부를 확인하는 단계;를 더 포함할 수 있다.
본 발명에 따르면, 실제 결함 영상에서 합성 결함 영상을 생성한 뒤, 이를 이용하여 학습한 딥러닝 알고리즘을 통해 피사체의 결함 유무를 판단하는 동작을 통해 피사체의 결함 유무를 정확하게 검출할 수 있는 카메라 시스템을 제공할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명에 따른 카메라 시스템에 대한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 판단 장치에 대한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 영상 판단 장치의 동작 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 영상 판단 장치에서 수행되는 영상 판단 방법에 대한 순서도이다.
도 5는 원본결함영상에 대한 예시 사진이고, 도 6은 합성결함영상의 예시 사진이며, 도 7은 합성정상영상에 대한 예시 사진이다.
본 발명의 기술적 사상에 따른 예시적인 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 더욱 완전하게 설명하기 위하여 제공되는 것으로, 아래의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 기술적 사상의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역, 층들, 부위 및/또는 구성 요소들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들, 부위 및/또는 구성 요소들은 이들 용어에 의해 한정되어서는 안 됨은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역, 부위, 또는 구성 요소를 다른 부재, 영역, 부위 또는 구성 요소와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역, 부위 또는 구성 요소는 본 발명의 기술적 사상의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역, 부위 또는 구성 요소를 지칭할 수 있다. 예를 들면, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명의 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것이다.
여기에서 사용된 '및/또는' 용어는 언급된 부재들의 각각 및 하나 이상의 모든 조합을 포함한다.
이하에서는 첨부한 도면들을 참조하여 본 발명의 기술적 사상에 의한 실시예들에 대해 상세히 설명한다.
도 1은 본 발명에 따른 카메라 시스템에 대한 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 카메라 시스템(100)은 카메라(110) 및 영상 판단 장치(120)를 포함할 수 있다.
카메라(110)는 구비된 렌즈의 촬영 범위 내의 피사체(130)를 촬영하여 영상을 생성할 수 있다. 여기서 영상은 단일 프레임(Frame)의 사진 및 여러 프레임으로 구성된 동영상을 포함하는 개념일 수 있다.
카메라(110)에서 생성된 영상은 영상 판단 장치(120)로 전송될 수 있다. 예를 들어, 카메라(110)와 영상 판단 장치(120)가 유선 및/또는 무선으로 연결된 경우, 카메라(110)는 생성된 영상을 영상 판단 장치(120)로 전송할 수 있을 것이다. 다른 예를 들어, 카메라(110)와 영상 판단 장치(120)가 연결되지 않은 별개의 장치들인 경우, 카메라(110)에서 생성된 영상은 별도의 저장 매체(예를 들어, USB 메모리 장치 또는 웹서버와 같은 중간 매체 등)를 통해 영상 판단 장치(120)로 전송될 수 있을 것이다. 즉, 카메라(110)는 인터넷(Internet)으로 연결된 별개 서버(미도시)로 영상을 전송할 수 있고, 영상 판단 장치(120)는 당해 서버(미도시)에 접속하여 당해 영상을 수신할 수 있을 것이다.
도 `1에서는 카메라(110)와 영상 판단 장치(120)가 별개의 장치인 것처럼 예시되었으나, 카메라(110)는 영상 판단 장치(120)에 포함된 개별 모듈로 형성될 수도 있음은 자명하다.
영상 판단 장치(120)는 수신된 영상을 분석하여 영상의 피사체(130)가 결함이 있는지 여부를 자동으로 판단할 수 있다. 이하, 영상 판단 장치(120)가 피사체(130)의 결함 유무를 판단하는 동작에 대해 구체적으로 설명한다. 이때 피사체(130)는 반도체 웨이퍼(wafer)이고, 영상 판단 장치(120)에 저장된 영상은 반도체 웨이퍼가 촬영된 영상으로서, 특히 '결함이 있는 반도체 웨이퍼가 피사체'인 영상(이하, '원본결함영상'이라 칭함)인 경우를 가정하고 설명한다.
도 2는 본 발명의 일 실시예에 따른 영상 판단 장치에 대한 블록 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 판단 장치(120)는 모뎀(MODEM, 210), 프로세서(PROCESSOR, 220) 및 메모리(MEMORY, 230)를 포함할 수 있다. 상술한 바와 같이, 영상 판단 장치(120)는 카메라 모듈을 포함하여 직접 원본결함영상을 생성할 수도 있으나, 이하에서는 카메라(110)가 외부의 장치로 형성된 경우를 가정하여 설명한다.
모뎀(210)은 카메라(110)와 연결될 수 있는 통신 장치일 수 있다. 예를 들어, 모뎀(210)은 카메라(110)에서 수신된 이미지들, 특히 원본결함영상을 프로세서(220)로 출력할 수 있다. 원본결함영상은 카메라(110)가 반도체 웨이퍼 등과 같은 피사체(130)를 직접 촬영하여 생성한 영상으로서, 미리 설정된 공정에 따라 생성된 피사체(130)에 결함이 있는 경우에 상응할 수 있다. 도 5에는 4개의 원본결함영상이 예시되어 있다.
프로세서(220)는 영상 판단 장치(120)의 전반적인 동작을 제어할 수 있는 구성일 수 있다. 특히, 프로세서(220)는 원본결함영상이 메모리(230)에 저장되도록 제어할 수 있다. 또한 프로세서(220)는 원본결함영상을 이용하여 메모리(230)에 저장된 각종 프로그램 명령어 및/또는 딥러닝 알고리즘을 학습시키고, 학습된 딥러닝 알고리즘이 판단 대상이 되는 영상(이하, '대상영상'이라 칭함)을 분석하여 피사체가 결함이 있는지 여부를 판단하도록 제어할 수 있다.
메모리(230)는 영상 판단 장치(120)의 동작에 필요한 각종 정보들이 저장되는 저장 매체로서, SSD(Solid State Drive, 하드 디스크(Hard disc) 등일 수 있다. 특히 메모리(230)는 프로세서(220)에 의해 실행가능하고, 대상영상을 분석하여 대상영상의 피사체에 결함이 있는지 여부를 판단하기 위한 프로그램 명령어들, 딥러닝 알고리즘 및 각종 정보(예를 들어, 원본결함영상, 미리 설정된 임계값 등)를 저장할 수 있다.
이하, 프로세서(220)가 원본결함영상을 이용하여 대상영상 피사체의 결함 유무를 판단하는 동작에 대해 설명한다.
도 3은 본 발명의 일 실시예에 따른 영상 판단 장치의 동작 흐름도이다.
도 3을 참조하면, 프로세서(220)는 먼저 원본결함영상을 수신할 수 있다(Original Data Gathering, 310). 예를 들어, 영상 판단 장치(120) 내외부의 카메라(110)는 반도체 웨이퍼의 결함이 있는 부분을 촬영하여 원본결함영상을 생성할 수 있고, 원본결함영상은 프로세서(220)에 의해 메모리(230)에 저장될 수 있다. 하나 이상의 원본결함영상이 메모리(230)에 저장될 수 있을 것이다.
프로세서(220)는 메모리(230)에 저장된 제1 딥러닝 알고리즘을 이용하여 합성영상을 생성할 수 있다(Synthetic Data Generating, 320). 여기서 제1 딥러닝 알고리즘은 메모리(230)에 기저장된 딥러닝 알고리즘으로서 입력된 하나 이상의 원본결함영상을 이용하여 합성영상(Synthetic Data)을 생성하고, 생성된 합성영상과 원본결함영상(들)을 비교한 값을 이용하여 스스로 학습하는 딥러닝 알고리즘일 수 있다.
예를 들어, 제1 딥러닝 알고리즘은 생성적 적대 신경망(Generative Adversarial Network, GAN)에 상응할 수 있다. 따라서 제1 딥러닝 알고리즘은 원본결함영상(들)을 입력값으로 하여 합성영상을 생성할 수 있고(Generator), 자신이 생성한 합성영상을 통해 스스로 학습하여 합성영상이 원본결함영상과 얼마나 유사한지 판단(Discriminator)할 수 있을 것이다. 또한 제1 딥러닝 알고리즘은 판단 결과에 따라 스스로 학습하여 점점 원본결함영상과 유사한 합성영상을 생성할 수 있을 것이다.
한편, 제1 딥러닝 알고리즘은 합성영상을 생성할 때, 결함이 있는 합성영상(이하 '합성결함영상'이라 칭함) 및/또는 결함이 없는 합성영상(이하 '합성정상영상'이라 칭함)을 생성할 수 있다.
제1 딥러닝 알고리즘은 원본결함영상(들)에 유사하도록 합성결함영상을 생성할 수 있고, 합성결함영상과 원본결함영상을 비교하여 합성결함영상을 더욱 잘 생성하도록 개선될 수 있다. 도 6에는 4개의 합성결함영상이 예시되어 있다.
또한, 제1 딥러닝 알고리즘은 원본결함영상(들)을 이용하여 합성정상영상을 생성할 수 있고, 합성정상영상과 원본결함영상을 비교하여 합성정상영상을 더욱 잘 생성하도록 개선될 수 있다. 도 7에는 4개의 합성정상영상이 예시되어 있다.
이후 프로세서(220)는 메모리(230)에 저장된 제2 딥러닝 알고리즘을 학습시키되, 합성정상영상 및/또는 합성결함영상을 이용하여 학습시킬 수 있다(Deep Learning Algorithm Learning, 330). 여기서 제2 딥러닝 알고리즘은 메모리(230)에 기저장된 딥러닝 알고리즘으로서 입력된 합성정상영상 및/또는 합성결함영상을 이용하여 피사체의 결함 여부를 판단할 수 있도록 학습할 수 있다. 합성정상영상은 결함이 없는 피사체에 상응하는 영상이고, 합성결함영상은 결함이 있는 피사체에 상응하는 영상이므로, 제2 딥러닝 알고리즘은 이들 영상을 레이블링된 자료로 이용하여 지도 학습(Supervised Learning)을 수행할 수 있을 것이다.
또한, 프로세서(220)는 판단의 대상이 되는 대상영상이 입력되면 이를 제2 딥러닝 알고리즘의 입력값으로 하여, 제2 딥러닝 알고리즘이 대상영상의 피사체에 결함이 있는지 여부를 판단하도록 할 수 있다(Error Determination, 340). 대상영상은 카메라(110)에서 생성되어 모뎀(210)을 통해 입력된 영상으로서, 피사체는 반도체 웨이퍼 등일 수 있고, 피사체의 결함 유무는 대해 판단되기 전일 수 있다. 제2 딥러닝 알고리즘은 합성정상영상 및/또는 합성결함영상을 이용하여 지도 학습된 것이므로, 대상영상의 피사체의 결함 유무를 자동으로 판단할 수 있을 것이다.
도 4는 본 발명의 일 실시예에 따른 영상 판단 장치에서 수행되는 영상 판단 방법에 대한 순서도이다.
이하 도 4를 참조하여 본 발명의 일 실시예에 다른 영상 판단 장치(120)에서 수행되는 대상 영상 내 피사체의 결함 유무를 영상 판단 방법에 대해 설명한다. 이하에서 설명될 각 단계들은 도 2를 참조하여 설명한 영상 판단 장치(120)의 각 구성요소들에 의해 수행되는 단계들일 수 있으나, 이해와 설명의 편의를 위해 영상 판단 장치(120)에서 수행되는 것으로 통칭하여 설명한다.
단계 S410에서, 영상 판단 장치(120)는 카메라(110)로 원본결함영상을 수신하여 구비된 메모리(230)에 저장할 수 있다.
단계 S420에서, 영상 판단 장치(120)는 메모리(230)에 저장된 제1 딥러닝 알고리즘을 이용하여 합성영상을 생성할 수 있다. 제1 딥러닝 알고리즘은 메모리(230)에 기저장된 딥러닝 알고리즘으로서 입력된 하나 이상의 원본결함영상을 이용하여 합성영상(Synthetic Data)을 생성하고, 생성된 합성영상과 원본결함영상(들)을 비교한 값을 이용하여 스스로 학습하는 생성적 적대 신경망(Generative Adversarial Network, GAN)에 상응할 수 있다. 또한, 제1 딥러닝 알고리즘은 합성영상을 생성할 때, 결함이 있는 합성결함영상 및/또는 결함이 없는 합성정상영상을 생성할 수 있다.
단계 S430에서, 영상 판단 장치(120)의 메모리(230)에 저장된 제1 딥러닝 알고리즘은 원본결함영상(들)에 유사하도록 합성결함영상을 생성할 수 있고, 합성결함영상과 원본결함영상을 비교하여 합성결함영상을 더욱 잘 생성하도록 개선될 수 있다. 또한, 제1 딥러닝 알고리즘은 원본결함영상(들)을 이용하여 합성정상영상을 생성할 수 있고, 합성정상영상과 원본결함영상을 비교하여 합성정상영상을 더욱 잘 생성하도록 개선될 수 있다.
단계 S440에서, 영상 판단 장치(120)는 메모리(230)에 저장된 제2 딥러닝 알고리즘을 학습시키되, 합성정상영상 및/또는 합성결함영상을 이용하여 학습시킬 수 있다. 합성정상영상은 결함이 없는 피사체에 상응하는 영상이고, 합성결함영상은 결함이 있는 피사체에 상응하는 영상이므로, 제2 딥러닝 알고리즘은 이들 영상을 레이블링된 자료로 이용하여 지도 학습(Supervised Learning)을 수행할 수 있을 것이다.
단계 S450 내지 S460에서, 영상 판단 장치(120)는 판단의 대상이 되는 대상영상이 입력되면 이를 제2 딥러닝 알고리즘의 입력값으로 하여, 제2 딥러닝 알고리즘이 대상영상의 피사체에 결함이 있는지 여부를 판단하도록 할 수 있다. 제2 딥러닝 알고리즘은 합성정상영상 및/또는 합성결함영상을 이용하여 지도 학습된 것이므로, 대상영상의 피사체의 결함 유무를 자동으로 판단할 수 있을 것이다.
상술한 바와 같이, 본 발명에 따르면 실제 결함 영상에서 합성 결함 영상을 생성한 뒤, 이를 이용하여 학습한 딥러닝 알고리즘을 통해 피사체의 결함 유무를 판단하는 동작을 통해 피사체의 결함 유무를 자동으로 정확하게 검출할 수 있다.
이상, 본 발명을 바람직한 실시 예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시 예에 한정되지 않고, 본 발명의 기술적 사상 및 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다.
100 : 카메라 시스템
110 : 카메라
120 : 영상 판단 장치
130 : 피사체

Claims (8)

  1. 프로세서; 및
    상기 프로세서에 연결되고, 하나 이상의 원본결함영상, 제1 딥러닝 알고리즘 및 제2 딥러닝 알고리즘을 저장하는 메모리;
    를 포함하며,
    상기 메모리는 상기 프로세서에 의해 실행 가능한,
    상기 제1 딥러닝 알고리즘을 이용하여 상기 원본결함영상으로 합성정상영상 및 합성결함영상을 생성하고, 상기 합성결함영상과 상기 원본결함영상을 비교하여 상기 제1 딥러닝 알고리즘을 학습시키고, 상기 합성정상영상 및 상기 합성결함영상을 이용하여 상기 제2 딥러닝 알고리즘을 학습시키며, 입력된 대상영상을 상기 제2 딥러닝 알고리즘에 입력시켜 상기 대상영상의 피사체 결함 여부를 확인하는 프로그램 명령어들을 저장하는, 영상 판단 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 원본결함영상이 저장된 영상 판단 장치에서 수행되는 영상 판단 방법에 있어서,
    구비된 제1 딥러닝 알고리즘을 이용하여 상기 원본결함영상으로 합성정상영상 및 합성결함영상을 생성하는 단계;
    상기 합성결함영상과 상기 원본결함영상을 비교하여 상기 제1 딥러닝 알고리즘을 학습시키는 단계;
    상기 합성정상영상 및 합성결함영상을 이용하여 제2 딥러닝 알고리즘을 학습시키는 단계; 및
    입력된 대상영상을 상기 제2 딥러닝 알고리즘에 입력시켜 상기 대상영상의 피사체 결함 여부를 확인하는 단계;
    를 포함하는, 영상 판단 방법.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020200155756A 2020-11-19 2020-11-19 영상 판단 장치 및 그 판단 방법 KR102509581B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200155756A KR102509581B1 (ko) 2020-11-19 2020-11-19 영상 판단 장치 및 그 판단 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200155756A KR102509581B1 (ko) 2020-11-19 2020-11-19 영상 판단 장치 및 그 판단 방법

Publications (2)

Publication Number Publication Date
KR20220068705A KR20220068705A (ko) 2022-05-26
KR102509581B1 true KR102509581B1 (ko) 2023-03-13

Family

ID=81809151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200155756A KR102509581B1 (ko) 2020-11-19 2020-11-19 영상 판단 장치 및 그 판단 방법

Country Status (1)

Country Link
KR (1) KR102509581B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3944075B2 (ja) 2002-12-27 2007-07-11 株式会社東芝 試料検査方法及び検査装置
JP2017151813A (ja) 2016-02-25 2017-08-31 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2019087044A (ja) * 2017-11-07 2019-06-06 オムロン株式会社 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム
JP2019109563A (ja) * 2017-12-15 2019-07-04 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810733B2 (en) * 2016-05-24 2020-10-20 Hitachi High-Tech Corporation Defect classification apparatus and defect classification method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3944075B2 (ja) 2002-12-27 2007-07-11 株式会社東芝 試料検査方法及び検査装置
JP2017151813A (ja) 2016-02-25 2017-08-31 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2019087044A (ja) * 2017-11-07 2019-06-06 オムロン株式会社 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム
JP2019109563A (ja) * 2017-12-15 2019-07-04 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム

Also Published As

Publication number Publication date
KR20220068705A (ko) 2022-05-26

Similar Documents

Publication Publication Date Title
KR101910542B1 (ko) 객체 검출을 위한 영상분석 서버장치 및 방법
US11468261B2 (en) Information processing apparatus, image processing method, and computer-readable recording medium recording image processing program
KR102002812B1 (ko) 객체 검출을 위한 영상분석 서버장치 및 방법
US11580629B2 (en) System and method for determining situation of facility by imaging sensing data of facility
US10181088B2 (en) Method for video object detection
US11521312B2 (en) Image processing apparatus, image processing method, and storage medium
EP2919153A1 (en) Event detection apparatus and event detection method
US20100141810A1 (en) Bad Pixel Detection and Correction
KR102008503B1 (ko) 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법
US20190320519A1 (en) Method and system for vision-based automatic fault notification and classification of system lighting
KR101804358B1 (ko) 영상 분석을 이용한 설비 감시 시스템
KR20070053358A (ko) 감시 시스템을 위한 타깃 속성 맵
US20150116543A1 (en) Information processing apparatus, information processing method, and storage medium
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
KR20190079110A (ko) 자가학습 기반의 모니터링 영상 분석 장치 및 방법
KR102509581B1 (ko) 영상 판단 장치 및 그 판단 방법
KR101982258B1 (ko) 오브젝트 검출 방법 및 오브젝트 검출 장치
US20220114837A1 (en) Image processing apparatus, image processing method, image input apparatus, image processing system, and program
US11508143B2 (en) Automated salience assessment of pixel anomalies
US11398091B1 (en) Repairing missing frames in recorded video with machine learning
JP6406886B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
KR102214454B1 (ko) 승강기 제어반 유지 보수 방법 및 장치
KR20200071839A (ko) 영상 분석 장치 및 그 방법
US20210326654A1 (en) Method and device for training image analysis neural network model and intelligent image capturing apparatus employing the same
KR102646871B1 (ko) 축사 감시 카메라를 이용한 환경 변화 탐지 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant