[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2023277589A1 - 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 - Google Patents

활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 Download PDF

Info

Publication number
WO2023277589A1
WO2023277589A1 PCT/KR2022/009356 KR2022009356W WO2023277589A1 WO 2023277589 A1 WO2023277589 A1 WO 2023277589A1 KR 2022009356 W KR2022009356 W KR 2022009356W WO 2023277589 A1 WO2023277589 A1 WO 2023277589A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eye
edema
prediction model
eyelid
Prior art date
Application number
PCT/KR2022/009356
Other languages
English (en)
French (fr)
Inventor
신규보
박재민
김종찬
Original Assignee
주식회사 타이로스코프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210085542A external-priority patent/KR102379061B1/ko
Application filed by 주식회사 타이로스코프 filed Critical 주식회사 타이로스코프
Priority to CN202280059381.3A priority Critical patent/CN117897780A/zh
Priority to JP2023571557A priority patent/JP7525851B2/ja
Priority to EP22760860.1A priority patent/EP4134980A4/en
Priority claimed from KR1020220079770A external-priority patent/KR102477694B1/ko
Priority to US17/939,040 priority patent/US11663719B2/en
Publication of WO2023277589A1 publication Critical patent/WO2023277589A1/ko
Priority to US18/094,064 priority patent/US11748884B2/en
Priority to US18/222,271 priority patent/US20230360204A1/en
Priority to JP2024110365A priority patent/JP2024138393A/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4227—Evaluating particular parts, e.g. particular organs endocrine glands, i.e. thyroid, adrenals, hypothalamic, pituitary
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4824—Touch or pain perception evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4869—Determining body composition
    • A61B5/4875—Hydration status, fluid retention of the body
    • A61B5/4878—Evaluating oedema
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a method for guiding visits to the hospital for treatment of active thyroid ophthalmopathy and a system for performing the same.
  • Ophthalmic diseases are diseases that occur in the eyeball and the periphery surrounding it. Since eye diseases are occurring to many people around the world and cause great inconvenience in daily life, such as causing visual impairment in serious cases, it is necessary to monitor the occurrence or degree of eye diseases.
  • an eye disease may be one of several complications caused by other diseases.
  • thyroid ophthalmopathy as a complication caused by abnormal thyroid function.
  • thyroid eye disease becomes severe, it is very important to diagnose thyroid eye disease early because the eyeball protrudes and cannot be treated without surgery.
  • thyroid ophthalmopathy is difficult to diagnose early because there are no clear prognostic symptoms.
  • the clinical activity score (CAS), which has been proposed since 1989, is used to evaluate thyroid ophthalmopathy at an early stage. Efforts are being made to diagnose.
  • a total of 7 items are considered in determining the clinical activity score for thyroid ophthalmopathy, and a total of 7 items are considered: 1) Spontaneous retrobulbar pain, 2) Pain on attempted eye movement upward or downward gaze), 3) Redness of eyelid, 4) Redness of conjunctiva, 5) Swelling of eyelid, 6) Swelling of conjunctiva, and 7) Swelling of lacrimal caruncle.
  • a doctor's medical examination and visual observation are essential. For example, spontaneous pain in the posterior part of the mouth and pain during eye movement can be confirmed through a doctor's medical examination, and eyelid redness, conjunctival congestion, eyelid edema, conjunctival edema, and lacrimal edema can be visually observed by a doctor. can be confirmed by This method of visual examination and interview with a doctor for confirming the clinical activity score requires a direct visit of the patient to the hospital for the diagnosis of thyroid eye disease as a prerequisite, so there was difficulty in diagnosing thyroid eye disease at an early stage.
  • the problem to be solved by the contents disclosed by this application is the learning used to predict the clinical activity score related to thyroid eye disease using images obtained with a digital camera that can be used by the general public rather than a professional medical diagnostic device. to provide a model.
  • Another problem to be solved by the contents disclosed by this application is to provide a method and system that can continuously monitor clinical activity scores related to thyroid ophthalmia without the help of doctors and without direct visits to hospitals.
  • Another problem to be solved by the contents disclosed by the present application is to provide a method for recommending a hospital visit for treatment of active thyroid eye disease according to a monitoring result of a clinical activity score and a system for performing the same.
  • a computer-executable method for predicting thyroid eye disease includes preparing a conjunctival hyperemia prediction model, a conjunctival edema prediction model, a tear hill edema prediction model, an eyelid erythema prediction model, and an eyelid edema prediction model, obtaining a face image of a subject, and a first processed image from the face image.
  • Obtaining a (first processed image) and a second processed image, where the first processed image is different from the second processed image, and the first processed image as the conjunctival congestion Prediction values for conjunctival hyperemia, conjunctival edema, and lacrimal edema are input to the prediction model, the conjunctival edema prediction model, and the tear hill edema prediction model, respectively, and the second processed image is used as the eyelid erythema prediction model and the eyelid edema prediction model.
  • the first processed image is based on positional information of pixels corresponding to the outline of the eye and positional information of pixels corresponding to the outline of the iris included in the eye, outside and outside the outline of the eye.
  • location information of pixels corresponding to the outline of the eye and location information of pixels corresponding to the outline of the iris included in the eye may be obtained by a segmentation model.
  • the first processed image includes a first processed left eye image and a first processed right eye image
  • the second processed image includes a first processed left eye image and a first processed right eye image.
  • the image may include a second processed left eye image and a second processed right eye image.
  • the conjunctival edema prediction model includes a left eye conjunctival edema prediction model and a right eye conjunctival edema prediction model
  • the conjunctival edema prediction model includes a left eye conjunctival edema prediction model and a right eye conjunctival edema prediction model
  • the The lacrimal edema prediction model includes a left eye lacrimal edema prediction model and a right eye lacrimal edema prediction model
  • the eyelid redness prediction model includes a left eye eyelid redness prediction model and a right eye eyelid redness prediction model
  • the eyelid edema prediction model comprises: A left eye eyelid edema prediction model and a right eye eyelid edema prediction model may be included.
  • the predicted value for the conjunctival hyperemia is a result obtained by inputting the first preprocessed left eye image to the left eye conjunctival hyperemia model and inputting the first preprocessed right eye image to the right eye conjunctival hyperemia model.
  • the predicted value for the eyelid erythema is determined based on a result obtained by inputting the second preprocessed left eye image into the left eye eyelid erythema model and the second It is determined based on a result obtained by inputting the preprocessed right eye image into the right eye eyelid edema model, and the predicted value for the eyelid edema is determined based on a result obtained by inputting the second preprocessed left eye image into the left eye eyelid edema model. It may be determined based on a result obtained by inputting the second preprocessed right eye image to the right eye eyelid edema model.
  • the method performs left-right reversal processing of one of the first processed left eye image and the first processed right eye image, and the second processed right eye image.
  • the method may further include horizontally inverting one of the second processed left eye image and the second processed right eye image.
  • the predicted value for the conjunctival congestion is determined based on result values obtained by inputting the horizontally inverted image and the left-right inverted image to the conjunctival congestion model, respectively, and the conjunctiva
  • the predicted value for edema is determined based on result values obtained by inputting the left-right inverted image and the non-left-right reversed image to the conjunctival edema model, respectively, and the predicted value for the tear hill edema is It is determined based on result values obtained by inputting the inverted image and the non-left-right inverted image to the tear hill edema model, respectively, and the predicted value for the eyelid redness is the left-right inverted image and the left-right inversion process.
  • the prediction value for the eyelid edema is determined based on the result values obtained by inputting the non-reversed image into the eyelid edema model, respectively, and the predicted value for the eyelid edema is obtained by combining the horizontally inverted image and the left-right inverted image into the eyelid edema model. It may be determined based on the result values obtained by inputting each.
  • the method resizes the first processed left eye image and the first processed right eye image, and the second processed left eye image. Resizing the second processed left eye image and the second processed right eye image may be further included.
  • the general public can continuously monitor the clinical activity score for thyroid eye disease without the help of a doctor and without a direct visit to the hospital, and, if necessary, receive a recommendation to visit a hospital. be able to
  • FIG. 1 is a diagram illustrating a system for predicting a clinical activity score related to thyroid eye disease according to an embodiment disclosed by the present application.
  • FIG. 2 is a block diagram of a user terminal provided by the present application.
  • FIG. 3 is a block diagram of a server disclosed by the present application.
  • FIG. 4 is a diagram for explaining an eye exposed to the outside and its surrounding tissue so that it can be captured by a camera when a face is photographed using a camera.
  • 5 is a view for explaining an eyeball exposed to the outside.
  • 6 is a diagram for explaining the outline of an eye.
  • FIG. 7 is a view for explaining the cornea exposed to the outside.
  • FIG. 9 is a diagram for explaining a face image and a binocular image.
  • FIG. 10 is a diagram for explaining a left eye image and a right eye image.
  • FIG. 11 is a diagram illustrating X max , X min , Y max , and Y min of outline pixels.
  • FIG. 12 is a diagram illustrating a determined second cropped area.
  • FIG. 13 is an exemplary diagram of a second cropped image.
  • FIG. 14 is an exemplary diagram of a third cropped image.
  • 15 and 16 are diagrams for explaining iris segmentation.
  • 17 is a diagram for explaining eye outline segmentation.
  • 18 is an exemplary diagram of a first masking image.
  • 19 is an exemplary diagram of a second masking image.
  • 20 to 22 are diagrams illustrating various examples of an original image and a horizontally reversed image.
  • 23 is a flowchart for explaining a method for predicting conjunctival congestion.
  • 24 is a flowchart for explaining a method for predicting conjunctival edema.
  • 25 is a flowchart illustrating a method for predicting tear hill edema.
  • 26 is a flowchart for explaining a method for predicting eyelid redness.
  • 27 is a flowchart for explaining a method for predicting eyelid edema.
  • 28 is a diagram for explaining a method for predicting clinical activity scores related to thyroid ophthalmopathy.
  • 29 is a view for explaining a method for continuously monitoring clinical activity scores related to thyroid eye disease and a method for recommending a hospital visit based thereon.
  • a method for predicting thyroid ophthalmopathy that can be performed with putero. The method includes preparing a conjunctival hyperemia prediction model, a conjunctival edema prediction model, a tear hill edema prediction model, an eyelid erythema prediction model, and an eyelid edema prediction model, obtaining a face image of a subject, and a first processed image from the face image.
  • Obtaining a (first processed image) and a second processed image, where the first processed image is different from the second processed image, and the first processed image as the conjunctival congestion Prediction values for conjunctival hyperemia, conjunctival edema, and lacrimal edema are input to the prediction model, the conjunctival edema prediction model, and the tear hill edema prediction model, respectively, and the second processed image is used as the eyelid erythema prediction model and the eyelid edema prediction model.
  • the first processed image is based on positional information of pixels corresponding to the outline of the eye and positional information of pixels corresponding to the outline of the iris included in the eye, outside and outside the outline of the eye.
  • location information of pixels corresponding to the outline of the eye and location information of pixels corresponding to the outline of the iris included in the eye may be obtained by a segmentation model.
  • the first processed image includes a first processed left eye image and a first processed right eye image
  • the second processed image includes a first processed left eye image and a first processed right eye image.
  • the image may include a second processed left eye image and a second processed right eye image.
  • the conjunctival edema prediction model includes a left eye conjunctival edema prediction model and a right eye conjunctival edema prediction model
  • the conjunctival edema prediction model includes a left eye conjunctival edema prediction model and a right eye conjunctival edema prediction model
  • the The lacrimal edema prediction model includes a left eye lacrimal edema prediction model and a right eye lacrimal edema prediction model
  • the eyelid redness prediction model includes a left eye eyelid redness prediction model and a right eye eyelid redness prediction model
  • the eyelid edema prediction model comprises: A left eye eyelid edema prediction model and a right eye eyelid edema prediction model may be included.
  • the predicted value for the conjunctival hyperemia is a result obtained by inputting the first preprocessed left eye image to the left eye conjunctival hyperemia model and inputting the first preprocessed right eye image to the right eye conjunctival hyperemia model.
  • the predicted value for the eyelid erythema is determined based on a result obtained by inputting the second preprocessed left eye image into the left eye eyelid erythema model and the second It is determined based on a result obtained by inputting the preprocessed right eye image into the right eye eyelid edema model, and the predicted value for the eyelid edema is determined based on a result obtained by inputting the second preprocessed left eye image into the left eye eyelid edema model. It may be determined based on a result obtained by inputting the second preprocessed right eye image to the right eye eyelid edema model.
  • the method performs left-right reversal processing of one of the first processed left eye image and the first processed right eye image, and the second processed right eye image.
  • the method may further include horizontally inverting one of the second processed left eye image and the second processed right eye image.
  • the predicted value for the conjunctival congestion is determined based on result values obtained by inputting the horizontally inverted image and the left-right inverted image to the conjunctival congestion model, respectively, and the conjunctiva
  • the predicted value for edema is determined based on result values obtained by inputting the left-right inverted image and the non-left-right reversed image to the conjunctival edema model, respectively, and the predicted value for the tear hill edema is It is determined based on result values obtained by inputting the inverted image and the non-left-right inverted image to the tear hill edema model, respectively, and the predicted value for the eyelid redness is the left-right inverted image and the left-right inversion process.
  • the prediction value for the eyelid edema is determined based on the result values obtained by inputting the non-reversed image into the eyelid edema model, respectively, and the predicted value for the eyelid edema is obtained by combining the horizontally inverted image and the left-right inverted image into the eyelid edema model. It may be determined based on the result values obtained by inputting each.
  • the method resizes the first processed left eye image and the first processed right eye image, and the second processed left eye image. Resizing the second processed left eye image and the second processed right eye image may be further included.
  • a system for predicting a user's clinical activity score (Clinical Activity Score, CAS) for thyroid eye disease and providing guidance on the need for a user's visit to a hospital based thereon is disclosed.
  • FIG. 1 is a diagram illustrating a system for predicting a clinical activity score related to thyroid eye disease according to an embodiment disclosed by the present application.
  • the system 1 includes a plurality of user terminals 10 and a server 20 .
  • the plurality of user terminals 10 transmit information to the server 20 through various networks and also receive information from the server 20 .
  • the plurality of user terminals 10 are images of the user's upper and lower eyelids and eyeballs exposed to the outside by the upper and lower eyelids (hereinafter referred to as eye images). ) may be obtained, and necessary processing of the obtained eye image may be performed, or the obtained eye image or the processed eye image may be transmitted to the server 20 .
  • the plurality of user terminals 10 may receive, from the server 20 , prediction results related to clinical activity scores processed by the server 20 .
  • the server 20 transmits information to the plurality of user terminals 10 through various networks and also receives information from the plurality of user terminals 10 .
  • the server 20 may receive the eye image from the plurality of user terminals 10 . At this time, the server 20 may process the eye image. Alternatively, the server 20 may receive the processed eye image.
  • the server 20 may obtain a prediction result for a clinical activity score related to the user's thyroid eye disease based on the processed eye image.
  • the server 20 may transmit the prediction result for the clinical activity score to the plurality of user terminals 10 .
  • terminal software needs to be installed in the plurality of user terminals 10, and server software needs to be installed in the server 20. need to be
  • Various pre-processing algorithms may be used to perform the necessary pre-processing of the eye image.
  • a plurality of learning models for predicting a clinical activity score based on the preprocessed eye image may be used.
  • the plurality of preprocessing algorithms may be driven by terminal software installed in the user terminals 10 or may be driven by software installed in the server 20 . Alternatively, some of the plurality of pre-processing algorithms may be executed by the user terminals 10 and other parts may be executed by the server 20 .
  • the plurality of learning models may be driven by software installed in the server 20 .
  • the plurality of learning models may be driven by terminal software installed in the user terminals 10 .
  • some of the plurality of learning models may be executed by the user terminals 10 , and other portions may be executed by the server 20 .
  • FIG. 2 is a block diagram of a user terminal disclosed by the present application.
  • a user terminal 10 disclosed by the present application includes an output unit 110 , a communication unit 120 , a memory 130 , a camera 140 and a controller 150 .
  • the output unit 110 outputs various types of information according to the control command of the controller 150 .
  • the output unit 110 may include a display 112 that visually outputs information to a user.
  • a speaker that aurally outputs information to the user and a vibration motor that tactilely outputs information to the user may be included.
  • the communication unit 120 may include a wireless communication module and/or a wired communication module.
  • the wireless communication module may include a Wi-Fi communication module, a cellular communication module, and the like.
  • the memory 130 stores execution codes that can be read by the controller 150, processed result values, and necessary data.
  • the memory 130 may include a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, and the like.
  • the memory 130 may store the aforementioned terminal software and may store execution codes for implementing various preprocessing algorithms and/or learning models described above. Furthermore, the memory 130 may store the eye image obtained through the camera 140 and the preprocessed eye image.
  • the camera 140 is a digital camera and may include an image sensor and an image processing unit.
  • An image sensor is a device that converts an optical image into an electrical signal, and may be composed of a chip in which a plurality of photo diodes are integrated.
  • the image sensor may include a Charge Coupled Device (CCD), Complementary Metal Oxide Semiconductor (CMOS), and the like.
  • the image processing unit may generate image information by processing a photographed result.
  • the controller 150 may include at least one processor. At this time, each processor may execute a predetermined operation by executing at least one command stored in the memory 130 . Specifically, the controller 150 may process information according to terminal software, a preprocessing algorithm, and/or a learning model driven in the user terminal 10 . Meanwhile, the controller 150 controls overall operations of the user terminal 10 .
  • the user terminal 10 may include a user input unit.
  • the user terminal 10 can receive input from a user through the user input unit for various information necessary for the operation of the user terminal 10 .
  • FIG. 3 is a block diagram of a server disclosed by the present application.
  • a server 20 disclosed by the present application includes a communication unit 210 , a memory 220 and a controller 230 .
  • the communication unit 210 may include a wireless communication module and/or a wired communication module.
  • the wireless communication module may include a Wi-Fi communication module, a cellular communication module, and the like.
  • the memory 220 stores execution codes that can be read by the controller 230, processed result values, and necessary data.
  • the memory 220 may include a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, and the like.
  • the memory 220 may store the above-described server software and may store execution codes for implementing the above-described various preprocessing algorithms and/or learning models. Furthermore, the memory 220 may store the eye image received from the user terminal 10 and the preprocessed eye image.
  • the controller 230 may include at least one processor. At this time, each processor may execute a predetermined operation by executing at least one command stored in the memory 220 . Specifically, the controller 230 may process information according to server software running in the server 20, a preprocessing algorithm, and/or a learning model. Meanwhile, the controller 230 controls overall operations of the server 20 .
  • FIG. 4 is a diagram for explaining an eye exposed to the outside and its surrounding tissue so that it can be captured by a camera when a face is photographed using a camera.
  • the eye or eyeball is larger than shown in FIG. 4 .
  • the eyeball is protected from the outside by tissues such as the upper and lower eyelids, and accordingly, only a part of the eyeball is exposed to the outside even when the person's eyes are open.
  • conjunctiva generally corresponds to the position of the white of the eye
  • conjunctiva and white of the eye may be used interchangeably.
  • the terms cornea and iris may be used interchangeably.
  • the term 'iris' is used to include the pupil area.
  • the upper eyelid is called the upper eyelid, and the lower eyelid is called the lower eyelid.
  • the outer surface is made of skin, and the inner surface is made of conjunctiva. In between, there are muscles that move the eyelids and tissue that contains meibomian glands, which maintain the shape of the eyelids. there is.
  • the eyelids protect the eyeball and at the same time clean the eyeball with tears by blinking or make the cornea shiny and transparent.
  • Eyebrows are hairs that grow in an arch along the bony prominence above the eye.
  • eyeballs exposed to the outside means a part that is not covered by the upper eyelid, the lower eyelid and the tear hill, that is, the part exposed to the outside by the upper eyelid, the lower eyelid and the tear hill when the person's eyes are open.
  • the inside of the dotted line shown in FIG. 5 is referred to as “the eyeball exposed to the outside”.
  • eye outline refers to the outline of a portion including both the eyeball and the tear hill region exposed to the outside when a person's eyes are open. That is, the outline of the area where the eyeball exposed to the outside and the tear hill are combined is referred to as the “eye outline”. For example, the dotted line shown in Fig. 6 is referred to as "eye outline”.
  • exposed cornea refers to a portion of the cornea that is not covered by the upper and lower eyelids when the person's eyes are open, that is, a portion of the cornea exposed to the outside by the upper and lower eyelids.
  • exposed cornea the inside of the dotted line shown in FIG. 7 is referred to as “exposed cornea”.
  • conjunctiva exposed to the outside refers to the part of the conjunctiva that is not covered by the upper eyelid, the lower eyelid, and the tear hill, that is, the part of the conjunctiva exposed to the outside by the upper eyelid, the lower eyelid, and the tear hill, when the person's eyes are open. it means.
  • the inside of the dotted line shown in FIG. 8 is referred to as “exposed conjunctiva".
  • One object of the present application is to provide a learning model capable of predicting a clinical activity score related to thyroid eye disease by using images acquired by a digital camera usable by the general public rather than a professional medical diagnostic device.
  • an image that the general public can easily acquire about the eyeball and tissues around the eyeball should be used.
  • digital images obtained by digital cameras that can be easily used by ordinary people or built-in smartphones should be used for image analysis, rather than digital images obtained by specialized medical devices that can be used in medical institutions. do.
  • Images used to predict the clinical activity score for thyroid ophthalmopathy should include the left and right eyes and their surrounding areas.
  • both eyes images are captured.
  • both eyes image including both eyes (left eye/right eye) from an image in which the entire face acquired by the user is captured (hereinafter, face image).
  • a binocular image cropping or first cropping For example, as shown in FIG. 9(b) from the face image obtained by the user shown in FIG.
  • a binocular image cropping or first cropping For example, as shown in FIG. 9(b) from the face image obtained by the user shown in FIG.
  • a binocular image cropping or first cropping For example, as shown in FIG. 9(b) from the face image obtained by the user shown in FIG.
  • the inventors of the present application have tried to build a system for predicting scores for 5 items related to thyroid eye disease using the prediction models to be described later using the first cropped image (both eyes image) described above, but the accuracy of prediction is poor. It was confirmed that it is not high.
  • the inventors of the present application have determined that the reason for the low prediction accuracy is that there are many areas unnecessary for analysis even in the binocular image, and thus it is necessary to secure a more detailed cropped image. That is, as shown in (a) of FIG. 10, rather than using a binocular image in which the left eye and the right eye are included in one image, as shown in (b) of FIG. 10, the left eye image and the right eye image are respectively secured. It was decided that using it would be more effective.
  • an eye-outline-based crop (second crop) will be described.
  • the second cropping can be applied to both the right eye image and the left eye image, but for convenience of explanation, it will be described based on securing the right eye cropped image.
  • the purpose of the second crop is a model for predicting redness of conjunctiva, a model for predicting swelling of conjunctiva, and a swelling of conjunctiva among prediction models to be described later.
  • lacrimal caruncle has the purpose of generating an image to be used as an input image to a model for predicting whether or not, and to generate an image in which information on the cornea and tear hill is maximized and information on other areas is minimized. It has a purpose.
  • the second cropping may be applied to the face image or may be applied to the binocular image (first cropped image).
  • pixels corresponding to the boundary between the upper eyelid and the eyeball and the boundary between the lower eyelid and the eyeball may be detected.
  • pixels corresponding to points where the upper and lower eyelids meet each other may be detected.
  • pixels corresponding to the tear hill may be detected.
  • outline pixels corresponding to the outermost periphery of the eye outline may be detected using an eye outline segmentation model to be described later.
  • the maximum value of X coordinate values (X max ), the minimum value of X coordinate values (X min ), the maximum value of Y coordinate values (Y max ), and the minimum value of Y coordinate values (Y min ) are checked. do.
  • FIG. 11 is a diagram illustrating X max , X min , Y max , and Y min of outline pixels.
  • a rectangle having the following four points as vertices is created, and an area included inside the rectangle is determined as a cropped area. .
  • FIG. 12 is a diagram illustrating a determined second cropped area.
  • the second cropped area may be determined in the same way for the left eye.
  • Two cropped images (a second cropped right eye image and a second cropped left eye image) may be generated.
  • second cropped right eye image may be used interchangeably with the term “right eye outline cropped image”
  • second left eye cropped image may be interchanged with the term “left eye cropped outline image”.
  • second cropped image may mean either one of a second right eye cropped image and a second left eye cropped image, or both depending on the context. there is.
  • the second cropped image means an image cropped based on the 'eye outline', and even if it is a cropped image generated according to a method different from the above method, the uppermost and lowermost sides of the 'eye outline' , rightmost, and leftmost pixels are generated to be included in the cropped area, it should be referred to as a second cropped image (outline cropped image).
  • the terms maximum value and minimum value should be understood in a relative sense, not in an absolute sense. It won't. That is, as the position of the origin of the coordinate system is changed, the maximum value of the above-described X coordinate value may be the minimum value of the X coordinate value in the coordinate system whose origin is changed, and the minimum value of the X coordinate value is the X coordinate value in the coordinate system whose origin is changed. It may be the maximum value of coordinate values. This can also be applied to the Y coordinate value in the same way.
  • the third crop can be applied to both the right eye image and the left eye image, but for convenience of explanation, it will be described based on securing the right eye cropped image.
  • the purpose of the third crop is an image to be used as an input image for a model for predicting redness of eyelids and a model for predicting swelling of eyelids among prediction models to be described later. It has the purpose of generating, and the purpose is to allow information about the eyelid to be included in the image. At this time, it may be better to generate a cropped image so that all pixels included in the eye outline may be included rather than cropping only with pixels corresponding to the eyelid. This is because color values must be inferred and determined in order to predict redness of the eyelids, and at this time, color values of pixels corresponding to the iris and/or the white of the eye can be utilized.
  • the third cropping may be applied to the face image or may be applied to the binocular image (first cropped image).
  • the eye outline detection method described in the second crop may be applied as it is, outline pixels corresponding to the outermost periphery of the eye outline may be detected, and the detected pixels may be checked to determine the X coordinate.
  • the maximum value of values (X max ), the minimum value of X coordinate values (X min ), the maximum value of Y coordinate values (Y max ), and the minimum value of Y coordinate values (Y min ) can be checked.
  • the third cropped area may be determined similarly to the above-described method for determining the second cropped area.
  • a rectangle having the following four points as vertexes may be created, and an area included in the rectangle may be determined as the third cropping area.
  • the third cropped area is determined in this way, more pixels corresponding to the upper and lower eyelids can be included in the image compared to the second cropped area.
  • first extension value and the second extension value may be equal to each other, but do not necessarily have to be equal to each other.
  • the criteria for determining the first extension value and the second extension value may be the same, but do not necessarily have to be the same.
  • the first extension value and the second extension value may be determined based on the size of the second crop area.
  • the first extension value and the second extension value may be determined by calculating lengths obtained by multiplying the horizontal length of the second cropped region by an extension ratio, and determining the number of pixels corresponding to the calculated lengths.
  • the first extension value and the second extension value may be determined by calculating lengths obtained by multiplying the extension ratio to the vertical length of the second cropped area, and determining the number of pixels corresponding to the calculated lengths.
  • the specific ratio is 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60% can be one
  • An expansion ratio used when determining the first expansion value and an expansion ratio used when determining the second expansion value may be the same, but may not necessarily be the same or may be different from each other.
  • the horizontal length of the second crop area is used when determining the first extension value
  • the horizontal length may also be used when determining the second extension value, but is not limited thereto, and determines the second extension value.
  • the vertical length can be used.
  • a first width expansion value (X we ) is determined according to a predetermined criterion
  • a second horizontal expansion value (X we ') is determined according to a predetermined criterion.
  • a first vertical expansion value (Y he ) determined according to a predetermined criterion is determined, and a second vertical expansion value (Y he ) is determined according to a predetermined criterion. ') to determine
  • a value obtained by adding the first horizontal expansion value (X we ) to an X max value, a value obtained by subtracting the second horizontal expansion value (X we ') from an X min value, and a value obtained by subtracting the Y max value from the first vertical expansion value (Y he ) and a value obtained by subtracting the second vertical expansion value (Y he ') from the Y min value, the third cropped area may be determined similarly to the above-described method for determining the second cropped area.
  • a rectangle having the following four points as vertexes may be created, and an area included in the rectangle may be determined as the third cropping area.
  • the third cropped area is determined in this way, more pixels corresponding to the upper and lower eyelids can be included in the image compared to the second cropped area.
  • pixels can be included in the cropped image in the left and right than in the cropped image by the "determination of crop area #1" method.
  • more information about the upper and lower eyelids can be included in the cropped image. Because the widths of the upper and lower eyelids are generally wider than the widths of the eyeballs exposed to the outside, pixels corresponding to the upper and lower eyelids are increased through not only vertical expansion but also left and right expansion.
  • first horizontal extension value and the second horizontal extension value may be equal to each other, but do not necessarily have to be equal to each other.
  • criteria for determining the first vertical expansion value and the second vertical expansion value may be the same, but do not necessarily have to be the same.
  • the first horizontal expansion value and the second horizontal expansion value may be determined based on the size of the second cropped area.
  • the first horizontal expansion value and the second horizontal expansion value may be determined by calculating a length obtained by multiplying the horizontal length of the second cropped area by an expansion ratio, and determining the number of pixels corresponding to the calculated length. there is.
  • the first horizontal expansion value and the second horizontal expansion value may be determined by calculating a length obtained by multiplying the expansion ratio to the vertical length of the second cropped region, and determining the number of pixels corresponding to the calculated length. there is.
  • the specific ratio is 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60% can be
  • An expansion ratio used when determining the first horizontal expansion value and an expansion ratio used when determining the second horizontal expansion value may be the same, but may be different from each other.
  • the horizontal length of the second crop area is used when determining the first horizontal expansion value
  • the horizontal length may also be used when determining the second horizontal expansion value, but is not limited thereto, and the second expansion value When determining , the vertical length may be used.
  • a method of determining the first and second vertical extension values is the same as the method of determining the first extension value and the second extension value, and thus a detailed description thereof will be omitted.
  • the third crop area is determined, as shown in FIG. 14 , based on the determined third crop area, pixels included in the second crop area determined as described above from the facial image or the both eyes image are used to generate the third crop area.
  • Three cropped images (a third cropped right eye image and a third cropped left eye image) may be generated.
  • FIG. 14 is a third cropped image cropped by the method of 'determining crop area #1' described above, and (b) of FIG. 14 is a method of 'determining crop area #2' described above. This is the third cropped image cropped by
  • third right eye cropped image may be used interchangeably with the term “right eyelid-included-cropped image”
  • third left eye cropped image may be interchanged with the term “left eyelid-included-cropped image”.
  • third cropped image may refer to either a third right eye cropped image or a third left eye cropped image, or both depending on the context.
  • the third cropped image means an image generated so that information about the eyelid is included in the image, and even if the cropped image is generated according to a method different from the above method, the cropped area so that pixels corresponding to the eyelid can be additionally included If the boundary of is determined, it should be referred to as a third cropped image (an eyelid-included cropped image).
  • Iris segmentation may be performed by a model that distinguishes a region corresponding to the iris or cornea from an image of the eyeball and its surroundings.
  • iris segmentation as shown in FIG. 15 , it is possible to infer pixels corresponding to an iris in an image.
  • iris segmentation as shown in FIG. 16 , it is possible to infer pixels corresponding to an externally exposed iris in an image.
  • the model for iris segmentation receives a face image as input data, outputs '1' for pixels inferred to be pixels corresponding to the iris in the face image, and outputs '0' for other pixels. can be printed out.
  • the iris segmentation model may be learned using training data including a face image and an image in which the pixel value of a pixel corresponding to the iris in the face image is '1' and the pixel value of the remaining pixels is '0'.
  • iris segmentation is performed by receiving a face image as input data
  • Eye outline segmentation may be performed by a model that distinguishes a region corresponding to the inside of the eye outline from an image of the eye and its surroundings.
  • the model for eye outline segmentation receives a face image as input data, outputs '1' for pixels inferred to be pixels corresponding to the inside of the eye outline in the face image, and outputs '1' for other pixels. For , '0' can be output.
  • the eye outline segmentation model uses training data including a face image and an image in which the pixel value of a pixel corresponding to the inside of the eye outline in the face image is '1' and the pixel value of the remaining pixels is '0'. so it can be learned.
  • the first masking means leaving pixels corresponding to the conjunctiva and the tear hill in the image and removing information reflected in pixel values corresponding to other regions.
  • the meaning of removing information reflected in pixel values may mean changing pixel values of pixels whose information is to be removed to predetermined specific values. For example, pixel values of pixels whose information is to be removed may all be changed to 0.
  • the first masking may be performed before inputting an image to a model for predicting symptoms related to the conjunctiva and lacrimal hill among prediction models for predicting a clinical activity score related to thyroid ophthalmopathy.
  • the second masking means leaving pixels corresponding to the externally exposed cornea (externally exposed iris) in the image and removing information reflected in pixel values corresponding to other regions. do.
  • the second masking may be performed before the image is input to a model for predicting symptoms related to the eyelids (upper and lower eyelids) among prediction models for predicting the clinical activity score related to thyroid ophthalmopathy.
  • the first masking may be performed on a first masking target image selected from any one of a face image, a first cropped image (both eyes image), and a second cropped image (outline cropped image).
  • a first masking image may be generated based on the first masking target image, the eye outline segmentation result, and the iris segmentation result. For example, values of pixels other than pixels corresponding to the inside of the eye outline and pixels corresponding to iris (or iris exposed to the outside) from the first masking target image are removed. can do.
  • 18 is an exemplary diagram of a first masking image.
  • Second masking may be performed on a second masking target image selected from any one of a face image, a first cropped image (both eyes image), and a third cropped image (eyelid-included cropped image).
  • a second masking image may be generated based on the second masking target image, the eye outline segmentation result, and the iris segmentation result. For example, pixel values of pixels corresponding to the inside of the eye outline and the iris (or the iris exposed to the outside) may be removed from the second masking target image.
  • 19 is an exemplary diagram of a second masking image.
  • the first masking has been described as leaving pixels corresponding to the conjunctiva and the tear hill and removing all pixel values of pixels corresponding to other regions, but if necessary, pixels corresponding to the cornea (iris) Pixel values of may not be removed.
  • the color of the iris may have different colors depending on race, it may be advantageous for faster learning and higher accuracy to remove pixel values of pixels corresponding to the iris.
  • the second masking has been described as removing all pixel values of pixels corresponding to the iris, but the second masking may not be performed at all.
  • the color of the iris may have different colors according to race, it may be advantageous for faster learning and higher accuracy to remove pixel values of pixels corresponding to the iris by performing the second masking.
  • cropped images for each of the left and right eyes are used instead of using images of both eyes.
  • the outline of the eye is asymmetrical. For example, based on the right eye, there is a tear hill at the left end of the right eye, but there is a point where the upper and lower eyelids naturally meet at the right end of the right eye.
  • the first pixel value corresponds to the a+ ⁇ , Y) pixel
  • the second pixel value corresponds to the (a- ⁇ , Y) pixel
  • the pixel value of (a+ ⁇ , Y) is subtracted from the first pixel value. It means changing to 2 pixel values and changing the pixel value of (a- ⁇ , Y) from the second pixel value to the first pixel value.
  • an image for which both masking and cropping (second cropping or third cropping) has been completed may be horizontally reversed, but an image in which only cropping is completed and masking is not completed may be horizontally reversed.
  • 20 to 22 are diagrams illustrating various examples of an original image and a horizontally reversed image.
  • the left-right reversal preprocessing can be omitted.
  • each person has a different eye size, so the cropped image has a different size for each person.
  • the left eye cropped image and the right eye cropped image of the same person are different from each other due to a size difference between the left eye and the right eye.
  • Standard sizes corresponding to the first to fifth prediction models may be different from each other.
  • Standard sizes corresponding to prediction models using the second cropped image as an input image may be the same.
  • Standard sizes corresponding to prediction models using the third cropped image as an input image may be the same.
  • a standard size corresponding to prediction models using the second cropped image as an input image may be different from a standard size corresponding to prediction models using the third cropped image as an input image.
  • all standard sizes corresponding to the first to fifth prediction models may be the same.
  • the width or height of the image to be resized is greater than the width or height of the standard size, the width or height of the image to be resized may be increased.
  • the width or height of the image to be resized is smaller than the width or height of the standard size, the width or height of the image to be resized may be reduced.
  • an aspect ratio of an image before resizing may be different from an aspect ratio of an image after resizing.
  • the first predictive model is a model for predicting whether or not conjunctiva is congested.
  • the first predictive model may receive an eye image as input data and output a probability value that the conjunctiva captured in the input eye image is congested.
  • the first predictive model includes a first left eye predictive model and a first right eye predictive model
  • the first left eye predictive model receives a left eye image and outputs a probability value that the conjunctiva captured in the left eye image is congested, and the first predictive model outputs a probability value.
  • the right eye prediction model may receive a right eye image and output a probability value that the conjunctiva captured in the right eye image is congested.
  • the first predictive model When the first predictive model is not binary but implemented as a single model, the first predictive model receives one of the right eye image and the left eye image and outputs a probability value that the conjunctiva captured in the input image is congested, and the other one A probability value that the conjunctiva captured in the input image is congested may be output.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithms.
  • the eye image may be an image preprocessed according to the second cropping.
  • the eye image may be a preprocessed image including second cropping and resizing.
  • the eye image may be a preprocessed image including second cropping, first masking, and resizing.
  • the eye image may be a preprocessed image including second cropping, first masking, horizontal reversal, and resizing.
  • the first prediction model may be referred to as a conjunctival congestion prediction model.
  • the training data set may include an eye image and an evaluation value for conjunctival congestion captured in the eye image.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithm.
  • the eye image may be a preprocessed image including second cropping, first masking, and resizing.
  • an artificial intelligence model may be prepared.
  • the artificial intelligence model may be a Support Vector Machine (SVM), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet, and Vision Transformer.
  • SVM Support Vector Machine
  • Random Forest Random Forest
  • Gradient Boosting Algorithm ResNet
  • VGG GoogLeNet
  • MobileNet MobileNet
  • Vision Transformer Vision Transformer
  • eye images included in a plurality of training data sets prepared for the artificial intelligence model may be input, and learning may be performed using an evaluation value corresponding to each of the input eye images and an output value output from the artificial intelligence model.
  • the plurality of learning data sets for learning the first left eye prediction model are the left eye image and congestion of the conjunctiva captured in the left eye image
  • the plurality of training data sets for training the second right eye prediction model may include a right eye image and an evaluation value regarding congestion of the conjunctiva captured in the right eye image.
  • the plurality of learning data sets for learning the first left eye prediction model may include a left-right inverted right eye image and an evaluation value for conjunctival congestion captured in the right eye image.
  • the plurality of training data sets for learning the first right eye prediction model may include a left eye image processed by inverting left and right and evaluation values of conjunctival congestion captured in the left eye image.
  • the plurality of training data sets include a right eye image and an evaluation value for conjunctival congestion captured in the right eye image, or a left and right inverted left eye image and an evaluation value of congestion of the conjunctiva captured in the left eye image.
  • the plurality of training data sets may include a left eye image and an evaluation value for conjunctival congestion captured in the left eye image, or a left-right inverted right eye image and an evaluation value for conjunctival congestion captured in the right eye image.
  • the right eye image, the left and right inverted right eye image, the left eye image and the left and right inverted left eye All images can be used as training data for training one model.
  • a plurality of training data sets for learning the first left eye prediction model include a left eye image and the conjunctiva captured in the left eye image may include an evaluation value for congestion of the right eye image, a left and right inverted right eye image, and an evaluation value for congestion of the conjunctiva captured in the right eye image
  • a plurality of training data sets for training the first right eye predictive model include the right eye image and An evaluation value for conjunctival congestion captured in the right eye image, a left-right inverted left eye image, and an evaluation value for conjunctival congestion captured in the left eye image may be included.
  • the plurality of training data sets are the right eye image and the evaluation value of the conjunctival congestion captured in the right eye image, the left and right inverted right eye image, and the right eye
  • An evaluation value for conjunctival congestion captured in an image, a left eye image and an evaluation value for conjunctival congestion captured in the left eye image, and a left-right inverted left eye image and an evaluation value for conjunctival congestion captured in the left eye image can include
  • the second predictive model is a model for predicting whether or not the conjunctiva is edematous.
  • the second predictive model may receive an eye image as input data and output a probability value of existence of edema in the conjunctiva captured in the input eye image.
  • the second predictive model includes the second left eye predictive model and the second right eye predictive model
  • the second left eye predictive model receives the left eye image and outputs a probability value that edema exists in the conjunctiva captured in the left eye image
  • the right eye prediction model may receive a right eye image and output a probability value of the presence of edema in the conjunctiva captured in the right eye image.
  • the second predictive model When the second predictive model is not binary but implemented as a single model, the second predictive model receives one of the right eye image and the left eye image and outputs a probability value of the existence of edema in the conjunctiva captured in the input image, and other It is possible to receive one input again and output a probability value of the presence of edema in the conjunctiva captured in the input image.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithms.
  • the eye image may be an image preprocessed according to the second cropping.
  • the eye image may be a preprocessed image including second cropping and resizing.
  • the eye image may be a preprocessed image including second cropping, first masking, and resizing.
  • the eye image may be a preprocessed image including second cropping, first masking, horizontal reversal, and resizing.
  • the second prediction model may be referred to as a conjunctival edema prediction model.
  • the training data set may include an eye image and an evaluation value regarding whether edema exists in the conjunctiva captured in the eye image.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithm.
  • the eye image may be a preprocessed image including second cropping, first masking, and resizing.
  • an artificial intelligence model may be prepared.
  • the artificial intelligence model may be a Support Vector Machine (SVM), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet, and Vision Transformer.
  • SVM Support Vector Machine
  • Random Forest Random Forest
  • Gradient Boosting Algorithm ResNet
  • VGG GoogLeNet
  • MobileNet MobileNet
  • Vision Transformer Vision Transformer
  • eye images included in a plurality of training data sets prepared for the artificial intelligence model may be input, and learning may be performed using an evaluation value corresponding to each of the input eye images and an output value output from the artificial intelligence model.
  • the plurality of learning data sets for learning the second left eye prediction model are the left eye image and swelling in the conjunctiva captured in the left eye image may include an evaluation value for whether there is edema in the right eye image and the conjunctiva captured in the right eye image
  • the plurality of learning data sets for learning the second right eye prediction model may include an evaluation value for whether edema exists
  • a plurality of training data sets for learning the second left eye predictive model evaluates the presence of edema in the right eye image and the conjunctiva captured in the right eye image
  • the plurality of training data sets for learning the second right eye prediction model may include a left eye image processed in a left-right inversion process and an evaluation value regarding whether edema is present in the conjunctiva captured in the left eye image.
  • the plurality of training data sets include the right eye image and an evaluation value for whether or not edema exists in the conjunctiva captured in the right eye image, or invert left and right and an evaluation value regarding whether edema exists in the conjunctiva captured in the left eye image and the left eye image.
  • the plurality of learning data sets include a left eye image and an evaluation value regarding whether or not edema is present in the conjunctiva captured in the left eye image, or a left and right inverted right eye image and whether edema exists in the conjunctiva captured in the right eye image.
  • An evaluation value may be included.
  • the second predictive model in order to be able to predict whether or not the conjunctiva is edema without distinguishing between the right eye image and the left eye image, the right eye image, the left and right inverted right eye image, the left eye image and the left and right inverted left eye All images can be used as training data for training one model.
  • the plurality of learning data sets for learning the second left eye prediction model include the left eye image and the conjunctiva captured in the left eye image may include an evaluation value for edema of the left and right inverted right eye image and an evaluation value for edema of the conjunctiva captured in the right eye image
  • a plurality of training data sets for training the second right eye prediction model may include the right eye image and An evaluation value for conjunctival edema captured in the right eye image, a left-right inverted left eye image, and an evaluation value for conjunctival edema captured in the left eye image may be included.
  • the plurality of learning data sets are the right eye image and the evaluation value of conjunctival edema captured in the right eye image, the left and right inverted right eye image, and the right eye
  • An evaluation value for the edema of the conjunctiva captured in the image, an evaluation value for the edema of the conjunctiva captured in the left eye image and the left eye image, and an evaluation value for the edema of the conjunctiva captured in the left and right inverted left eye image and the left eye image can include
  • the third predictive model is a model for predicting whether or not the tear hill is edematous.
  • the third predictive model may receive an eye image as input data and output a probability value of existence of edema in the tear hill captured in the input eye image.
  • the third predictive model includes a third left eye predictive model and a third right eye predictive model
  • the third left eye predictive model receives a left eye image and outputs a probability value that edema exists in the tear hill captured in the left eye image
  • the third right eye predictive model may receive a right eye image and output a probability value of existence of edema in the tear hill captured in the right eye image.
  • the third predictive model When the third predictive model is not binary but implemented as a single model, the third predictive model receives one of the right eye image and the left eye image and outputs a probability value of the presence of edema in the tear hill captured in the input image, Another input is received again, and a probability value of the presence of edema in the tear hill captured in the input image may be output.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithms.
  • the eye image may be an image preprocessed according to the second cropping.
  • the eye image may be a preprocessed image including second cropping and resizing.
  • the eye image may be a preprocessed image including second cropping, first masking, and resizing.
  • the eye image may be a preprocessed image including second cropping, first masking, horizontal reversal, and resizing.
  • the third prediction model may be referred to as a tear hill edema prediction model.
  • the training data set may include an eye image and an evaluation value regarding whether edema exists in the tear hill captured in the eye image.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithm.
  • the eye image may be a preprocessed image including second cropping, first masking, and resizing.
  • an artificial intelligence model may be prepared.
  • the artificial intelligence model may be a Support Vector Machine (SVM), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet, and Vision Transformer.
  • SVM Support Vector Machine
  • Random Forest Random Forest
  • Gradient Boosting Algorithm ResNet
  • VGG GoogLeNet
  • MobileNet MobileNet
  • Vision Transformer Vision Transformer
  • eye images included in a plurality of training data sets prepared for the artificial intelligence model may be input, and learning may be performed using an evaluation value corresponding to each of the input eye images and an output value output from the artificial intelligence model.
  • the plurality of training data sets for learning the third left eye prediction model are the left eye image and the tear hill captured in the left eye image. It may include an evaluation value regarding whether edema exists, and the plurality of learning data sets for training the third right eye prediction model evaluates whether edema exists in the right eye image and the tear hill captured in the right eye image.
  • a plurality of training data sets for learning the third left eye prediction model are the left and right inverted right eye image and the evaluation value of whether edema exists in the tear hill captured in the right eye image
  • the plurality of training data sets for learning the third right eye prediction model may include a left eye image processed in a left-right inversion process and an evaluation value regarding whether edema exists in the tear hill captured in the left eye image.
  • the plurality of learning data sets may include the right eye image and an evaluation value regarding whether or not edema exists in the tear hill captured in the right eye image, or An inverted left eye image and an evaluation value regarding whether edema exists in the tear hill captured in the left eye image may be included.
  • the plurality of training data sets include an evaluation value for whether edema exists in the left eye image and the tear hill captured in the left eye image, or whether there is edema in the right eye image and the tear hill captured in the right eye image. may include an evaluation value for
  • the right eye image, the left-right inverted right-eye image, the left-eye image, and the left-right inverted image are used to predict whether the tear hill is edema without distinguishing between the right eye image and the left eye image. All of the left eye images may be used as training data for training one model.
  • the plurality of training data sets for learning the third left eye prediction model include a left eye image and tears captured in the left eye image.
  • the plurality of learning data sets for training the third right eye prediction model may include an evaluation value for swelling of the hill, a left-right inverted right eye image, and an evaluation value for swelling of the tear hill captured in the right eye image. It may include an image and an evaluation value for swelling of the tear hill captured in the right eye image, a left-right inverted left eye image, and an evaluation value for swelling of the tear hill captured in the left eye image.
  • the plurality of training data sets are the right eye image and the evaluation value of the edema of the tear hill captured in the right eye image, the left and right inverted right eye image, and the right eye image. Evaluation values for edema of the tear hills captured in the right eye image, evaluation values for the edema of the tear hills captured in the left eye image and the left eye image, and left and right inverted left eye images and edema of the tear hills captured in the left eye image evaluation values may be included.
  • the fourth predictive model is a model for predicting whether the eyelids are red.
  • the fourth predictive model may receive an eye image as input data and output a probability value of eyelid redness captured in the input eye image.
  • the fourth prediction model includes a fourth left eye prediction model and a fourth right eye prediction model
  • the fourth left eye prediction model receives a left eye image and outputs a probability value of eyelid redness captured in the left eye image.
  • the right eye prediction model may receive a right eye image and output a probability value of eyelid redness captured in the right eye image.
  • the fourth predictive model receives one of the right eye image and the left eye image and outputs a probability value of eyelid redness captured in the input image, It is possible to output a probability value of eyelid redness captured in the input image by receiving input again.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithms.
  • the eye image may be an image preprocessed according to the third crop.
  • the eye image may be a preprocessed image including third cropping and resizing.
  • the eye image may be a preprocessed image including third cropping, horizontal reversal, and resizing.
  • the eye image may be a preprocessed image including third cropping, second masking, and resizing.
  • the eye image may be a preprocessed image including third cropping, second masking, horizontal reversal, and resizing.
  • the fourth prediction model may be referred to as an eyelid redness prediction model.
  • the training data set may include eye images and evaluation values of eyelid redness captured in the eye images.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithm.
  • the eye image may be a preprocessed image including second cropping, first masking, and resizing.
  • an artificial intelligence model may be prepared.
  • the artificial intelligence model may be a Support Vector Machine (SVM), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet, and Vision Transformer.
  • SVM Support Vector Machine
  • Random Forest Random Forest
  • Gradient Boosting Algorithm ResNet
  • VGG GoogLeNet
  • MobileNet MobileNet
  • Vision Transformer Vision Transformer
  • eye images included in a plurality of training data sets prepared for the artificial intelligence model may be input, and learning may be performed using an evaluation value corresponding to each of the input eye images and an output value output from the artificial intelligence model.
  • the plurality of learning data sets for learning the fourth left eye prediction model are the left eye image and the redness of the eyelid captured in the left eye image
  • the plurality of training data sets for training the second right eye prediction model may include a right eye image and an evaluation value for redness of the eyelid captured in the right eye image.
  • the plurality of learning data sets for learning the fourth left eye prediction model may include a right eye image processed in a left-right inversion process and an evaluation value for redness of the eyelid captured in the right eye image.
  • the plurality of training data sets for learning the fourth right eye prediction model may include a left eye image processed by inverting the left eye and an evaluation value of redness of the eyelid captured in the left eye image.
  • the plurality of training data sets include the right eye image and the evaluation value of the redness of the eyelid captured in the right eye image, or the left and right inverted left eye image and an evaluation value of redness of the eyelid captured in the left eye image.
  • the plurality of training data sets may include a left eye image and an evaluation value for redness of the eyelid captured in the left eye image, or may include an inverted right eye image and an evaluation value for redness of the eyelid captured in the right eye image.
  • the right eye image, the left-right inverted right-eye image, the left-eye image, and the left-right inverted left eye in order to be able to predict the redness of the eyelid without distinguishing between the right eye image and the left eye image. All images can be used as training data for training one model.
  • a plurality of learning data sets for learning the fourth left eye prediction model include a left eye image and an eyelid captured in the left eye image may include an evaluation value for redness of the right eye image, a left and right inverted right eye image, and an evaluation value for redness of the eyelid captured in the right eye image
  • the plurality of training data sets for training the fourth right eye prediction model include the right eye image and An evaluation value for redness of the eyelid captured in the right eye image, a left eye image inverted left and right, and an evaluation value for redness of the eyelid captured in the left eye image may be included.
  • the plurality of training data sets are the right eye image and the evaluation value of redness of the eyelid captured in the right eye image, the left and right inverted right eye image, and the right eye
  • An evaluation value for redness of the eyelids captured in an image, an evaluation value for redness of the eyelids captured in the left eye image and the left eye image, and an evaluation value for redness of the eyelids captured in the left-right inverted left eye image and the left eye image can include
  • the fifth prediction model is a model for predicting whether or not the eyelid is edematous.
  • the fifth predictive model may receive an eye image as input data and output a probability value of existence of edema in the eyelid captured in the input eye image.
  • the fifth predictive model includes a fifth left eye predictive model and a fifth right eye predictive model
  • the fifth left eye predictive model receives a left eye image and outputs a probability value of existence of edema in the eyelid captured in the left eye image
  • the right eye prediction model may receive a right eye image and output a probability value of the existence of edema in the eyelid captured in the right eye image.
  • the fifth predictive model When the fifth predictive model is not binary but implemented as a single model, the fifth predictive model receives one of the right eye image and the left eye image and outputs a probability value of the presence of edema in the eyelid captured in the input image, and the other It is possible to receive one input again and output a probability value of the existence of edema in the eyelid captured in the input image.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithms.
  • the eye image may be an image preprocessed according to the third crop.
  • the eye image may be a preprocessed image including third cropping and resizing.
  • the eye image may be a preprocessed image including third cropping, horizontal reversal, and resizing.
  • the eye image may be a preprocessed image including third cropping, second masking, and resizing.
  • the eye image may be a preprocessed image including third cropping, second masking, horizontal reversal, and resizing.
  • the fifth prediction model may be referred to as an eyelid edema prediction model.
  • the training data set may include an eye image and an evaluation value regarding whether edema exists in the eyelid captured in the eye image.
  • the eye image may be an image pre-processed by the above-described pre-processing algorithm.
  • the eye image may be a preprocessed image including third cropping, second masking, and resizing.
  • an artificial intelligence model may be prepared.
  • the artificial intelligence model may be a Support Vector Machine (SVM), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet, and Vision Transformer.
  • SVM Support Vector Machine
  • Random Forest Random Forest
  • Gradient Boosting Algorithm ResNet
  • VGG GoogLeNet
  • MobileNet MobileNet
  • Vision Transformer Vision Transformer
  • eye images included in a plurality of training data sets prepared for the artificial intelligence model may be input, and learning may be performed using an evaluation value corresponding to each of the input eye images and an output value output from the artificial intelligence model.
  • the plurality of learning data sets for learning the fifth left eye prediction model are the left eye image and swelling on the eyelid captured in the left eye image
  • the plurality of training data sets for learning the fifth right eye prediction model may include an evaluation value regarding whether edema exists in the right eye image and the eyelid captured in the right eye image.
  • a plurality of training data sets for learning the fifth left eye prediction model are the left and right inverted right eye image and the evaluation value of whether edema exists in the eyelid captured in the right eye image
  • the plurality of training data sets for learning the fifth right eye prediction model may include a left eye image processed by inverting the left eye and an evaluation value regarding whether edema is present in the eyelid captured in the left eye image.
  • the plurality of training data sets include the right eye image and the evaluation value of whether or not edema exists in the eyelid captured in the right eye image, or invert left and right and an evaluation value regarding whether edema exists in the eyelid captured in the left eye image and the left eye image.
  • the plurality of training data sets include a left eye image and an evaluation value regarding whether edema exists in the eyelid captured in the left eye image, or a right eye image reversed left and right and whether edema exists in the eyelid captured in the right eye image.
  • An evaluation value may be included.
  • the right eye image, the left-right inverted right-eye image, the left-eye image, and the left-right inverted left eye in order to be able to predict the edema of the eyelid without distinguishing between the right eye image and the left eye image. All images can be used as training data for training one model.
  • the fifth prediction model includes a fifth left eye prediction model and a fifth right eye prediction model
  • the plurality of learning data sets for learning the fifth left eye prediction model include a left eye image and an eyelid captured in the left eye image may include an evaluation value for edema, a right-left inverted right eye image, and an evaluation value for edema of the eyelid captured in the right eye image
  • the plurality of training data sets for training the fifth right eye prediction model include the right eye image and An evaluation value for eyelid edema captured in the right eye image, a left-right inverted left eye image, and an eyelid edema evaluation value captured in the left eye image may be included.
  • the plurality of training data sets are the right eye image and the evaluation value of the eyelid edema captured in the right eye image, the left and right inverted right eye image, and the right eye
  • An evaluation value for the edema of the eyelid captured in the image, an evaluation value for the edema of the eyelid captured in the left eye image and the left eye image, and an evaluation value for the edema of the eyelid captured in the left and right inverted left eye image and the left eye image can include
  • Learning of the predictive models may be performed by an electronic device, and in particular, may be performed by the server 20 described above.
  • the meaning that the predictive models are learned by the electronic device or the server 20 means a series of processes that make the output value of the predictive model for the input data output a value similar to the output value labeled for the input data, ,
  • the electronic device or the server 20 may change the weight value of each node included in the prediction model using the difference between the output value of the prediction model and the labeling values.
  • the electronic device or the server 20 may determine the amount of change in the weight value of each node using various feedback functions.
  • an eye image is preprocessed through the above-described system (1), and the preprocessed eye image is input to the above-described prediction model to predict each symptom related to the thyroid ophthalmopathy clinical activity score, and each symptom
  • a method of predicting the clinical activity score based on the prediction result of the clinical activity score, and furthermore, a method of monitoring the prediction result of the clinical activity score and guiding or recommending the user to visit a hospital to receive a checkup according to the monitoring result will be described.
  • the conjunctival congestion prediction method disclosed by the present application may be performed by the server 20 .
  • 23 is a flowchart for explaining a method for predicting conjunctival congestion.
  • the server 20 acquires a face image (S100), pre-processes the acquired face image (S110), and converts the pre-processed image to the above-described first prediction model (conjunctival congestion prediction model). input (S120), and an output value of the first predictive model is obtained (S130).
  • first prediction model conjunctival congestion prediction model
  • the server 20 obtains a face image (S100).
  • the server 20 may acquire the face image from the user terminal 10 .
  • the server 20 may pre-process the acquired face image (S110).
  • the server 20 may perform the aforementioned iris segmentation, eye outline segmentation, masking, cropping, and resizing on the acquired face image.
  • the server 20 performs the iris segmentation and the eye outline segmentation, and according to the result, it is possible to identify pixels corresponding to the iris and pixels corresponding to the inside of the eye outline in the acquired face image.
  • the server 20 may check coordinate values of pixels corresponding to the iris and coordinate values of pixels corresponding to the inside of the eye outline.
  • the server 20 may process the first masking on the face image based on the information about the identified pixels.
  • the server 20 may remove pixel values of pixels included in the face image except for pixels corresponding to the externally exposed conjunctiva and tear hill through the first masking process. Accordingly, pixel values of pixels corresponding to the conjunctiva and lacrimal hill of the left eye and the conjunctiva and lacrimal hill of the right eye may be maintained as original pixel values, but the iris (or cornea) of the left eye and the iris of the right eye may be maintained. (or the cornea), pixel values of pixels corresponding to outside the outline of the left eye and outside the outline of the right eye may be removed or changed to other values.
  • the server 20 may crop the masked face image.
  • the server 20 may generate a left eye cropped image and a right eye cropped image by cropping the masked face image.
  • the server 20 may use the second cropping (eye outline cropping) method among the two cropping methods described above. Since the second cropping method has already been described in detail, a detailed description thereof will be omitted.
  • the server 20 may resize the left eye cropped image and the right eye cropped image to a predetermined size.
  • the server 20 may horizontally invert one of the left-eye cropped image and the right-eye cropped image as described above.
  • the server 20 does not horizontally invert the other of the left eye cropped image and the right eye cropped image.
  • the criterion for determining which of the left-eye image and the left-eye image is to be reversed is determined by the same criterion as the criterion applied when training the first prediction model. That is, when learning the first prediction model, if the left eye image is inverted and the right eye image is not inverted, the server 20 inverts the left eye image and does not invert the right eye image.
  • the server 20 may not perform left-right reversal processing.
  • the server 20 may input the preprocessed image to the first prediction model (S120).
  • the server 20 sequentially inputs the right eye preprocessing image and the left eye preprocessing image inverted to the left into the first prediction model.
  • the server 20 inputs the left eye preprocessing image to the first left eye prediction model, and the right eye preprocessing An image is input to the first right eye prediction model.
  • the server 20 inputs the left eye preprocessing image to the first left eye prediction model, inputs the left-right inverted left eye preprocessing image to the first right eye prediction model, and inputs the right eye preprocessing image to the first right eye prediction model.
  • a model, and the left-right inverted right-eye preprocessing image may be input to the first left-eye prediction model.
  • the server (20) may input the left eye preprocessing image and the right eye preprocessing image to the first predictive model without horizontal reversal.
  • the server 20 may input the left eye pre-processing image, the left-right inverted left-eye pre-processing image, the right-eye pre-processing image, and the left-right inverted right eye pre-processing image to the first prediction model.
  • the server 20 may obtain a result value output from the first predictive model (S130).
  • the resulting value may be a predicted probability value that the conjunctiva captured in the image is congested.
  • the server 20 determines that the conjunctiva is congested if the predicted probability value is greater than or equal to the threshold value based on a predetermined threshold value, and if the predicted probability value is less than the threshold value, the conjunctiva is congested. It can be judged that this is not congested.
  • the server 20 may obtain both prediction results for the left eye and prediction results for the right eye.
  • the server 20 inputs the left eye preprocessing image to the first left eye prediction model, inputs the horizontally inverted left eye preprocessing image to the first right eye prediction model, and inputs the right eye preprocessing image to the first right eye prediction model
  • the server 20 inputs the left eye preprocessing image to the first left eye prediction model and obtains the result and the A prediction result for the left eye may be obtained by considering all results obtained by inputting the left-right inverted left eye preprocessing image to the first right eye prediction model.
  • the server 20 considers both the result obtained by inputting the right eye preprocessing image to the first right eye prediction model and the result obtained by inputting the left and right inverted right eye preprocessing image to the first left eye prediction model.
  • a prediction result for the right eye may be obtained.
  • the server 20 is an average value of a result obtained by inputting the left eye preprocessing image to the first left eye prediction model and a result obtained by inputting the left-right inverted left eye preprocessing image to the first right eye prediction model.
  • a prediction result for the left eye may be obtained based on whether is greater than or equal to the threshold value.
  • the server 20 may select a result obtained by inputting the left eye preprocessing image into the first left eye prediction model and a result obtained by inputting the left/right inverted left eye preprocessing image into the first right eye prediction model. If any one value is equal to or greater than the aforementioned threshold value, it can be predicted that the conjunctiva of the left eye is congested.
  • the server 20 may input a result obtained by inputting the left eye preprocessing image to the first left eye prediction model and a result obtained by inputting the left and right inverted left eye preprocessing image to the first right eye prediction model. If all of them are above the above-mentioned threshold value, it can be predicted that the conjunctiva of the left eye is congested.
  • the server 20 calculates a prediction result for the left eye by considering both a result obtained by inputting the left eye preprocessing image to the first prediction model and a result obtained by inputting the left-right inverted left eye preprocessing image to the first prediction model.
  • the server 20 considers both a result obtained by inputting the right eye pre-processing image to the first prediction model and a result obtained by inputting the right-left inverted right eye pre-processing image to the first prediction model, and then the right eye A prediction result for can be obtained.
  • the server 20 calculates an average value of a result obtained by inputting the left eye preprocessing image into the first prediction model and a result obtained by inputting the left/right inverted left eye preprocessing image into the first prediction model.
  • a prediction result for the left eye may be obtained based on whether the value is greater than or equal to a threshold value.
  • the server 20 may select one of a result obtained by inputting the left eye preprocessing image to the first prediction model and a result obtained by inputting the left and right inverted left eye preprocessing image to the first prediction model. If the value of is greater than or equal to the above threshold value, it can be predicted that the conjunctiva of the left eye is congested.
  • the server 20 may determine both a result obtained by inputting the left eye preprocessing image to the first prediction model and a result obtained by inputting the left/right inverted left eye preprocessing image to the first prediction model. If it is greater than the above-mentioned threshold value, it can be predicted that the conjunctiva of the left eye is congested.
  • the above method can be similarly applied to determining whether the conjunctiva of the right eye is congested.
  • the conjunctival edema prediction method disclosed by the present application may be performed by the server 20 .
  • 24 is a flowchart for explaining a method for predicting conjunctival edema.
  • the server 20 acquires a face image (S200), pre-processes the acquired face image (S210), and converts the pre-processed image to the aforementioned second prediction model (conjunctival edema prediction model). input (S220), and an output value of the second predictive model is obtained (S230).
  • the conjunctival edema prediction method is the same as the conjunctival congestion prediction method, except that the second predictive model is used instead of the first predictive model, and the finally obtained result is a predictive value for whether or not there is edema in the conjunctiva. Since they are very similar, a detailed description will be omitted.
  • the tear hill edema prediction method disclosed by the present application may be performed by the server 20 .
  • 25 is a flowchart illustrating a method for predicting tear hill edema.
  • the server 20 acquires a face image (S300), pre-processes the obtained face image (S310), and uses the pre-processed image as the above-mentioned third prediction model (tear hill edema prediction model). (S320), and an output value of the third predictive model is obtained (S330).
  • the method for predicting conjunctival edema is the same as or very similar to the method for predicting conjunctival congestion, except that the third predictive model is used instead of the first predictive model, a detailed description thereof will be omitted.
  • the image preprocessing methods used in the method for predicting conjunctival congestion, the method for predicting conjunctival edema, and the method for predicting tear hill edema are the same, only the prediction models into which the preprocessed images are input are different. Therefore, after image pre-processing as described above, the image can be input to different predictive models.
  • a preprocessed image may be used.
  • a pre-processed image may be used that is cropped so that a part of the iris and a tear hill are included in the image.
  • a preprocessed image cropped so that the iris is not included but the tear hill and the tear hill are included in the image may be used.
  • the eyelid redness prediction method disclosed by this application may be performed by the server 20 .
  • 26 is a flowchart for explaining a method for predicting eyelid redness.
  • the server 20 acquires a face image (S400), pre-processes the acquired face image (S410), and converts the pre-processed image to the aforementioned fourth prediction model (eyelid redness prediction model). input (S420), and an output value of the fourth predictive model is obtained (S430).
  • the server 20 obtains a face image (S400).
  • the server 20 may acquire the face image from the user terminal 10 .
  • the server 20 may pre-process the acquired face image (S410).
  • the server 20 may perform the aforementioned iris segmentation, eye outline segmentation, masking, cropping, and resizing on the acquired face image.
  • the server 20 performs the iris segmentation and the eye outline segmentation, and according to the result, it is possible to identify pixels corresponding to the iris and pixels corresponding to the inside of the eye outline in the acquired face image.
  • the server 20 may check coordinate values of pixels corresponding to the iris and coordinate values of pixels corresponding to the inside of the eye outline.
  • iris segmentation must be performed. However, if a separate masking process is not performed, it is not necessary to perform iris segmentation.
  • the server 20 may process the second masking on the face image based on the information about the identified pixels.
  • the server 20 may remove pixel values of pixels corresponding to an externally exposed iris (cornea) among pixels included in the face image through the second masking process. Accordingly, pixel values of pixels corresponding to regions other than the iris (cornea) of the left eye and the iris (cornea) of the right eye may be maintained as original pixel values, but the iris (or cornea) of the left eye, Pixel values of pixels corresponding to the iris (or cornea) of the right eye may be removed or changed to other values.
  • performing preprocessing of masking the iris has advantages in various aspects, but it is okay not to mask the iris.
  • the server 20 may crop the masked face image.
  • the server 20 may generate a left eye cropped image and a right eye cropped image by cropping the masked face image.
  • the server 20 may use a third cropping method (cropping including eyelids) among the two cropping methods described above. Since the third cropping method has already been described in detail, a detailed description thereof will be omitted.
  • the server 20 may resize the left eye cropped image and the right eye cropped image to a predetermined size.
  • the server 20 may horizontally invert one of the left-eye cropped image and the right-eye cropped image as described above.
  • the server 20 does not horizontally invert the other of the left eye cropped image and the right eye cropped image.
  • the criterion for determining which of the left eye image and the left eye image is to be reversed is determined based on the same criterion applied when training the fourth predictive model. That is, when learning the fourth predictive model, if the left eye image is inverted and the right eye image is not inverted, the server 20 inverts the left eye image and does not invert the right eye image.
  • the server 20 may not perform left-right reversal processing.
  • the server 20 may input the preprocessed image to the first prediction model (S420).
  • the server 20 sequentially inputs the right eye preprocessing image and the left eye preprocessing image inverted to the left into the fourth prediction model.
  • the server 20 inputs the left eye preprocessing image to the fourth left eye prediction model, and the right eye preprocessing An image is input to the fourth right eye predictive model.
  • the server 20 inputs the left eye preprocessing image to the fourth left eye prediction model, inputs the horizontally inverted left eye preprocessing image to the fourth right eye prediction model, and inputs the right eye preprocessing image to the fourth right eye prediction model.
  • model, and the left-right inverted right-eye preprocessing image may be input to the fourth left-eye prediction model.
  • the server (20) may input the left eye preprocessing image and the right eye preprocessing image to the fourth predictive model without horizontal reversal.
  • the server 20 may input the left eye pre-processing image, the left-right inverted left-eye pre-processing image, the right-eye pre-processing image, and the left-right inverted right eye pre-processing image to the fourth predictive model.
  • the server 20 may obtain a result value output from the fourth predictive model (S430).
  • the resulting value may be a predicted probability value of redness on the eyelid captured in the image.
  • the server 20 determines that there is redness on the eyelid if the predicted probability value is greater than or equal to the threshold value based on a predetermined threshold value, and if the predicted probability value is less than the threshold value, the eyelid It can be judged that there is no redness in .
  • the server 20 may obtain both prediction results for the left eye and prediction results for the right eye.
  • the server 20 inputs the left eye preprocessing image to the fourth left eye prediction model, inputs the horizontally inverted left eye preprocessing image to the fourth right eye prediction model, and inputs the right eye preprocessing image to the fourth right eye prediction model
  • the server 20 inputs the left eye preprocessed image to the fourth left eye prediction model and obtains the result and the A prediction result for the left eye may be obtained by considering all results obtained by inputting the left-right inverted left-eye preprocessing image to the fourth right-eye prediction model.
  • the server 20 considers both the result obtained by inputting the right eye preprocessing image to the fourth right eye prediction model and the result obtained by inputting the left and right inverted right eye preprocessing image to the fourth left eye prediction model.
  • a prediction result for the right eye may be obtained.
  • the server 20 is an average value of a result obtained by inputting the left eye preprocessing image to the fourth left eye prediction model and a result obtained by inputting the left and right inverted left eye preprocessing image to the fourth right eye prediction model.
  • a prediction result for the left eye may be obtained based on whether is greater than or equal to the threshold value.
  • the server 20 may select a result obtained by inputting the left eye preprocessing image to the fourth left eye prediction model and a result obtained by inputting the left/right inverted left eye preprocessing image to the fourth right eye prediction model. If any one value is equal to or greater than the aforementioned threshold value, it can be predicted that the conjunctiva of the left eye is congested.
  • the server 20 inputs the left eye preprocessing image to the fourth left eye prediction model and obtains the obtained result and the left-right inverted left eye preprocessing image to the fourth right eye prediction model. If all of them are above the above-mentioned threshold value, it can be predicted that the conjunctiva of the left eye is congested.
  • the server 20 calculates a prediction result for the left eye by considering both a result obtained by inputting the left eye preprocessing image to the fourth prediction model and a result obtained by inputting the horizontally inverted left eye preprocessing image to the fourth prediction model.
  • the server 20 considers both a result obtained by inputting the right eye pre-processing image to the fourth prediction model and a result obtained by inputting the left-right inverted right eye pre-processing image to the fourth prediction model, and then the right eye A prediction result for can be obtained.
  • the server 20 calculates an average value of a result obtained by inputting the left eye preprocessing image into the fourth prediction model and a result obtained by inputting the left/right inverted left eye preprocessing image into the fourth prediction model.
  • a prediction result for the left eye may be obtained based on whether the value is greater than or equal to a threshold value.
  • the server 20 may select one of a result obtained by inputting the left eye preprocessing image to the fourth prediction model and a result obtained by inputting the left and right inverted left eye preprocessing image to the fourth prediction model. If the value of is greater than or equal to the above-mentioned threshold, it can be predicted that there is redness in the eyelid of the left eye.
  • the server 20 may determine both a result obtained by inputting the left eye preprocessing image to the fourth prediction model and a result obtained by inputting the left/right inverted left eye preprocessing image to the fourth prediction model. If it is above the above-mentioned threshold value, it can be predicted that there is redness in the eyelid of the left eye.
  • the above method can be similarly applied to determining whether the right eye has redness of the eyelid.
  • the eyelid edema prediction method disclosed by the present application may be performed by the server 20 .
  • 27 is a flowchart for explaining a method for predicting eyelid edema.
  • the server 20 acquires a face image (S500), pre-processes the acquired face image (S510), and converts the pre-processed image to the aforementioned fifth prediction model (eyelid edema prediction model). input (S520), and an output value of the fifth predictive model is obtained (S530).
  • the eyelid edema prediction method is the same as the eyelid edema prediction method or Since they are very similar, a detailed description will be omitted.
  • the pre-processing method of the image used in the eyelid edema prediction method and the eyelid edema prediction method are identical to each other, except that the prediction models into which the pre-processed images are input are different. Therefore, after image pre-processing as described above, the image can be input to different predictive models.
  • 28 is a diagram for explaining a method for predicting clinical activity scores related to thyroid ophthalmopathy.
  • the server 20 may obtain a face image.
  • the server 20 performs two different types of pre-processing on one face image.
  • the first preprocessing (hereinafter referred to as first preprocessing) includes iris segmentation, eye outline segmentation, first masking, second cropping (eye outline cropping), resizing, and left/right inversion
  • the second preprocessing (hereinafter referred to as second preprocessing). includes iris segmentation, eye outline segmentation, second masking, third crop (including eyelid crop), resizing, and horizontal flipping.
  • iris segmentation and second masking may be omitted.
  • the server 20 performs a first pre-processing on the obtained face image to obtain a first pre-processed image, and the first pre-processed image includes a first left eye pre-processed image and a first right eye pre-processed image. At this time, one of the first left eye preprocessing image and the first right eye preprocessing image is a horizontally inverted image.
  • the first preprocessing image is an image obtained using the second crop, the number of pixels corresponding to the eyelid in the first preprocessing image is minimized and the conjunctiva exposed to the outside. and pixels corresponding to the tear hill.
  • the first preprocessing image is an image obtained using the first masking, pixel values of pixels corresponding to the iris (or cornea) and eyelids (upper eyelid, lower eyelid) are removed, but the exposed conjunctiva and Pixel values of pixels corresponding to the tear hill are maintained.
  • the server 20 obtains a second pre-processed image by performing second pre-processing on the obtained face image, and the second pre-processed image includes a second left eye pre-processed image and a second right eye pre-processed image.
  • one of the first left eye preprocessing image and the second right eye preprocessing image is a horizontally reversed image.
  • the second pre-processed image is an image obtained by using the third crop, the second pre-processed image sufficiently includes pixels corresponding to the eyelid.
  • the second preprocessing image is obtained, if the second masking method is used, pixel values of pixels corresponding to the iris (or cornea) and the eyelids (upper eyelid, lower eyelid) may be removed.
  • the server 20 sequentially inputs the first preprocessed images (first left eye preprocessed image and first right eye preprocessed image) to the first prediction model.
  • the server 20 obtains a result value (probability value) of the first predictive model for the first pre-processed image of the left eye, and based on it, determines whether or not the conjunctiva of the left eye is congested.
  • the server 20 obtains a result value (probability value) of the first predictive model for the first right eye preprocessing image, and determines whether or not conjunctival congestion in the right eye is congested based on the result value (probability value).
  • the server 20 synthesizes the judgment result for the left eye and the judgment result for the right eye, and finally determines whether the conjunctiva is congested in both eyes. For example, when it is determined that conjunctival congestion exists in at least one of the left eye and the right eye, the server 20 finally determines that conjunctival congestion exists.
  • the server 20 sequentially inputs the first preprocessed images (first left eye preprocessed image and first right eye preprocessed image) to the second predictive model.
  • the server 20 obtains a result value (probability value) of the second predictive model for the first pre-processed image of the left eye, and determines whether or not the conjunctival edema of the left eye is present based on the result value (probability value).
  • the server 20 obtains a result value (probability value) of the second predictive model for the first right eye pre-processed image, and determines whether or not conjunctival edema is present in the right eye based on the result value (probability value).
  • the server 20 synthesizes the judgment result for the left eye and the judgment result for the right eye, and finally determines whether the conjunctiva is edema in both eyes. For example, when it is determined that at least one of the left eye and the right eye has conjunctival edema, the server 20 finally determines that there is conjunctival edema.
  • the server 20 sequentially inputs the first preprocessed images (first left eye preprocessed image and first right eye preprocessed image) to the third predictive model.
  • the server 20 obtains a result value (probability value) of the third predictive model for the first pre-processed image of the left eye, and based on it, determines whether or not the tear hill is edematous for the left eye.
  • the server 20 obtains a result value (probability value) of the third predictive model for the first right eye pre-processed image, and based on it, determines whether or not the tear hill is edematous for the right eye.
  • the server 20 synthesizes the judgment result for the left eye and the judgment result for the right eye, and finally determines whether the tear hill is edematous for both eyes. For example, when it is determined that at least one of the left eye and the right eye has edema of the lacrimal hill, the server 20 finally determines that there is edema of the lacrimal hill.
  • the server 20 sequentially inputs the second preprocessed images (the second left eye preprocessed image and the second right eye preprocessed image) to the fourth predictive model.
  • the server 20 obtains a result value (probability value) of the fourth predictive model for the second left eye pre-processed image, and based on it, determines whether or not eyelid redness is present in the left eye.
  • the server 20 obtains a result value (probability value) of the fourth predictive model for the second right eye preprocessing image, and based on it, determines whether the right eye has redness of the eyelid.
  • the server 20 synthesizes the judgment result for the left eye and the judgment result for the right eye, and finally determines whether the eyelids are red for both eyes. For example, when it is determined that there is redness of the eyelids for at least one of the left eye and the right eye, the server 20 finally determines that there is redness of the eyelids.
  • the server 20 sequentially inputs the second preprocessed images (the second left eye preprocessed image and the second right eye preprocessed image) to the fifth predictive model.
  • the server 20 obtains a result value (probability value) of the fifth predictive model for the second left eye preprocessing image, and determines whether or not eyelid edema for the left eye is present based on the result value (probability value).
  • the server 20 obtains a result value (probability value) of the fifth predictive model for the second right eye pre-processed image, and determines whether or not eyelid edema for the right eye is based on the result value (probability value).
  • the server 20 synthesizes the judgment result for the left eye and the judgment result for the right eye, and finally determines whether eyelid edema is present in both eyes. For example, when it is determined that there is eyelid edema in at least one of the left eye and the right eye, the server 20 finally determines that there is eyelid edema.
  • the server 20 may assign a predetermined score (eg, 1 point) to the corresponding symptom, and the server determines the results of the five predictive models. Accordingly, scores can be given for each of the five symptoms, and a value obtained by adding all of these scores can be obtained.
  • a predetermined score eg, 1 point
  • the method for predicting the thyroid ophthalmopathy clinical activity score disclosed by the above-described present application is performed by the server 20 .
  • the above method may also be performed in the user terminal 10 .
  • preprocessing may be performed in the user terminal 10 and determination of each symptom may be performed by a server. That is, the above-described steps may be appropriately distributed and implemented in the user terminal 10 and the server 20 .
  • 29 is a diagram for explaining a method for continuously monitoring clinical activity scores related to thyroid eye disease and a method for recommending a hospital visit based on the method disclosed by the present application.
  • the user terminal 10 may output a guide for obtaining a face image through the display 112 (S600).
  • the user terminal 10 may output an image captured in real time through the camera 140 (eg, an image reflecting the user's face) through the display 112, and at this time, the guide may be output together.
  • the camera 140 eg, an image reflecting the user's face
  • the guide may be output together.
  • the user terminal 10 may obtain a facial image of the user's face through the camera 140 (S610).
  • the user terminal 10 may transmit the acquired face image to the server 20 (S620).
  • the user terminal 10 selects spontaneous retrobulbar pain and pain during eye movement (Pain on attempted upward or downward gaze) among a total of seven items considered in determining the clinical activity score for thyroid ophthalmopathy.
  • a graphical user interface (GUI) for receiving a user input may be output through the display. Subsequently, the user terminal 10 may receive a user's response to the above two items (S630). The user terminal 10 may assign a predetermined score (eg, 1 point) to each item based on the input user response.
  • the user terminal 10 may assign 1 point to the corresponding item, and if the user inputs that there is pain during eyeball movement, the user terminal 10 may assign 1 point to the corresponding item. The user terminal 10 may assign 1 point to the corresponding item.
  • the user terminal 10 based on the acquired face image, selects conjunctival congestion (redness of conjunctiva) and conjunctival swelling (swelling) among a total of seven items considered in determining the clinical activity score for thyroid eye disease. of conjunctiva), swelling of lacrimal caruncle, redness of eyelids and swelling of eyelids, or a sum score for these received from the server 20 It can be done (S640).
  • the user terminal 10 calculates the final clinical activity score for thyroid eye disease based on the score determined by the user input and the score received from the server 20 or the score determined based on the judgment result received from the server. It can (S650).
  • the user terminal 10 determines the time at which the user's face image is obtained, the time at which the final calculated value of the clinical activity score for thyroid eye disease is obtained, or a time corresponding thereto (hereinafter, measurement time, yy/mm/dd, hh:mm) may be stored in the memory 130 together with the calculated clinical activity score.
  • the user terminal 10 may transmit the above-described measurement time and the corresponding clinical activity score to the server 20 .
  • the server 20 may store the measurement time and clinical activity points corresponding to the user terminal 10 or the user (S660).
  • the measurement time includes information on a date.
  • the measurement time may have both information about the date and information about the hour and / or minute, and the measurement time has only information about the date, and the time ( hour or minute information may not be included.
  • the user terminal 10 may output, through the display 112 , information recommending the user to visit a hospital and undergo a detailed examination based on the calculated clinical activity score (S670).
  • the user terminal 10 may output information indicating that there is no risk of thyroid eye disease through the display 112 .
  • the user terminal 10 When the calculated clinical activity score is 3 or 4, the user terminal 10 selectively outputs information indicating that there is no risk of thyroid eye disease through the display 112 or prompts the user to visit a hospital and visit a hospital. Information recommending a detailed examination may be output through the display 112 .
  • the user terminal 10 may output, through the display 112 , information recommending the user to visit a hospital and undergo a detailed examination when the calculated clinical activity score is 5 points or more.
  • the calculated clinical activity score is 3 or 4 points
  • the clinical activity score measured before a predetermined period eg, 1 week
  • the corresponding period hereinafter referred to as monitoring period
  • the user terminal 10 outputs information recommending that the user visit a hospital and receive a detailed examination through the display 112, and during the monitoring period
  • the score has never been 3 or 4
  • the user terminal 10 outputs information to the effect that there is no risk of thyroid eye disease through the display 112 .
  • the user terminal 10 provides information recommending the user to visit a hospital and undergo a detailed examination through the display 112 without additional judgment on the past history. can be printed out.
  • the continuous monitoring method of the clinical activity score related to thyroid eye disease and the method of recommending a hospital visit based thereon disclosed by the above-described present application are performed by the user terminal 10 .
  • each step of the above-described method may be properly distributed and implemented in the user terminal 10 and the server 20 .
  • determining whether there are 3 points or 4 points in the monitoring section may be performed by the server 20.
  • Each face image is an image including both the left eye and the right eye, and is an image captured according to a predetermined photographing composition.
  • 1,020 pieces were randomly divided into a learning data set, a validation set, and a verification set 30 times, and accordingly, the first to 30th training data set groups were generated.
  • the first cropping process (eye outline cropping) was performed on the left eye and the right eye, respectively, to secure a first left eye preprocessing image and a first right eye preprocessing image.
  • the first right eye preprocessing image used a horizontally inverted image
  • the first left eye preprocessing image used an image that was not horizontally inverted.
  • both the first left eye preprocessing image and the first right eye preprocessing image are images subjected to the above-described first masking process.
  • the second cropping process (including eyelid cropping) was performed on the left eye and the right eye in the above-described manner to secure a second left eye preprocessing image and a second right eye preprocessing image.
  • the left-right inverted image was used as the second right eye preprocessing image
  • the left-right reversed image was used as the second left eye preprocessing image.
  • both the second left eye preprocessing image and the second right eye preprocessing image are images without masking processing.
  • the first to fifth predictive models were trained using the secured first preprocessed images, the secured labeling information, and the secured second preprocessed images and the secured labeling information.
  • each prediction model was trained by integrating the left eye prediction model and the right eye prediction model into one model without separating them.
  • Prediction results were obtained using the verification data sets for the first to fifth predictive models that were learned.
  • the right-eye image was a left-right inverted preprocessing image
  • the left-eye image was a left-right inverted preprocessing image.
  • the first cropping process (eye outline cropping) was performed on each of the left and right eyes in the above-described manner to secure first pre-processed images.
  • all of the first left eye preprocessing image that is not horizontally inverted, the first left eye preprocessing image that is horizontally inverted, the first right eye preprocessing image that is not horizontally inverted, and the first right eye preprocessing image that is horizontally inverted are all secured, used for learning.
  • both the first left eye preprocessing image and the first right eye preprocessing image are images subjected to the first masking process.
  • the second cropping process (cropping including the eyelid) was performed on the left eye and the right eye in the above-described manner to secure second pre-processed images.
  • a second left eye preprocessing image that is not horizontally inverted, a second left eye preprocessing image that is horizontally inverted, a second right eye preprocessing image that is not horizontally inverted, and a second right eye preprocessing image that is not horizontally inverted are all secured, and these are obtained. used for learning.
  • both the second left eye preprocessing image and the second right eye preprocessing image are images without masking processing.
  • the first to fifth predictive models were trained using the secured first preprocessed images, the secured labeling information, and the secured second preprocessed images and the secured labeling information.
  • each prediction model was trained by dividing it into a left-eye prediction model and a right-eye prediction model.
  • a left eye preprocessing image that is not horizontally inverted and a right eye preprocessing image that is reversed are used. was used.
  • Prediction results were obtained using the verification data sets for the first to fifth predictive models that were learned.
  • the prediction result for the right eye was acquired by inputting the right eye preprocessing image that was not horizontally inverted to each right eye prediction model
  • the prediction result for the left eye was obtained by inputting the left eye preprocessing image that was not horizontally inverted to each of the left eye prediction models.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Quality & Reliability (AREA)
  • Urology & Nephrology (AREA)
  • Physiology (AREA)
  • Endocrinology (AREA)
  • Hospice & Palliative Care (AREA)
  • Pain & Pain Management (AREA)
  • Psychiatry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Dermatology (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 출원에 의하면, 퓨터로 실행가능한 갑상선 안병증의 예측방법이 개시된다. 상기 방법은, 결막 충혈 예측 모델, 결막 부종 예측 모델, 눈물언덕 부종 예측 모델, 눈꺼풀 발적 예측 모델 및 눈꺼풀 부종 예측 모델을 준비하고, 대상의 얼굴 이미지를 획득하고, 상기 얼굴 이미지로부터 제1 처리된 이미지(first processed image) 및 제2 처리된 이미지(second processed image)를 획득하고 - 이때, 상기 제1 처리된 이미지는 상기 제2 처리된 이미지와 상이함 -, 상기 제1 처리된 이미지를 상기 결막 충혈 예측 모델, 상기 결막 부종 예측 모델 및 상기 눈물언덕 부종 예측 모델에 입력하여 결막 충혈, 결막 부종 및 눈물언덕 부종 각각에 대한 예측값들을 획득하고, 상기 제2 처리된 이미지를 상기 눈꺼풀 발적 예측 모델 및 상기 눈꺼풀 부종 예측 모델에 입력하여 눈꺼풀 발적 및 눈꺼풀 부종 각각에 대한 예측값들을 획득하고, 상기 결막 충혈에 대한 상기 예측값, 상기 결막 부종에 대한 상기 예측값, 상기 눈물언덕 부종에 대한 상기 예측값, 상기 눈꺼풀 발적에 대한 상기 예측값 및 상기 눈꺼풀 부종에 대한 상기 예측값에 기초하여, 상기 대상이 갑상선 안병증 (thyroid eye disease)을 가지고 있을 가능성(possibility)을 판단하는 것을 포함한다.

Description

활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
본 발명은 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템에 관한 것이다.
안질환은 안구 및 이를 둘러싸고 있는 주변부에 발생하는 질병이다. 안질환은 전 세계적으로 많은 사람들에게 발병되고 있으며, 심각한 경우 시력 손상을 유발하는 등 생활에 큰 불편함을 야기하는 질병이므로, 안질환의 발생 여부 또는 정도에 대한 모니터링이 필요하다.
한편, 안질환은 다른 질병으로 인해 유발되는 여러 합병증 중 하나일 수 있다. 예컨대, 갑상선 기능 이상으로 인해 유발되는 합병증으로 갑상선 눈병증이 있다.
갑상선 안병증이 심해지는 경우, 안구가 돌출되어 수술을 하지 않으면 치료를 할 수 없게 되어 조기에 갑상선 안병증을 진단하는 것이 갑상선 안병증의 치료에 매우 중요하다. 그러나, 갑상선 안병증은 전조증상이 뚜렷하게 나타나지 않아 조기 진단에 어려움이 있어, 의학계에서는 1989년부터 제안되어 온 임상활동점수(Clinical Activity Score, CAS)를 통해 평가하는 방법을 통해 갑상선 안병증은 조기에 진단하기 위한 노력을 기울이고 있다.
갑상선 안병증에 대한 임상활동점수를 판단함에 있어서 총 7가지 항목이 고려되며, 고려되는 총 7가지 항목은 1) 구후부의 자발적인 통증 (Spontaneous retrobulbar pain), 2) 안구운동 시 통증 (Pain on attempted upward or downward gaze), 3) 눈꺼풀의 발적 (Redness of eyelid), 4) 결막의 충혈 (Redness of conjunctiva), 5) 눈꺼풀의 부종 (Swelling of eyelid), 6) 결막의 부종 (Swelling of conjunctiva), 및 7) 눈물언덕의 부종 (Swelling of lacrimal caruncle)이다.
이러한 임상활동점수를 판단하기 위해서는, 개인이 직접 병원 또는 클리닉에 방문하고, 의사의 문진 및 육안 관찰에 의한 검진이 필수적이다. 예를 들어, 구후부의 자발적인 통증 및 안구 운동 시 통증은 의사의 문진을 통해서 확인될 수 있고, 눈꺼풀의 발적, 결막의 충혈, 눈꺼풀의 부종, 결막의 부종 및 눈물언덕의 부종은 의사의 육안 관찰에 의해 확인될 수 있다. 이와 같은 임상활동점수의 확인을 위한 의사 육안 검진 및 문진 방식은 갑상선 안병증의 진단을 위해 환자의 병원 직접 방문을 선결조건으로 하는 바, 갑상선 안병증을 조기에 진단하는 데에 어려움이 있었다.
이에, 병원 직접 방문 없이도, 개개인이 보다 간편하고 신속하게 안질환 위험도를 확인함으로써 지속적인 모니터링이 수행될 수 있도록 함과 더불어, 필요한 경우 안질환의 위험을 안내하여 환자의 내원을 유도하는 방법의 개발이 요구되고 있다.
본 출원에 의해 개시되는 내용들이 해결하고자 하는 과제는 전문적인 의학 진단 기기가 아닌 일반인들이 사용할 수 있는 디지털 카메라로 획득된 이미지를 활용하여 갑상선 안병증에 관한 임상활동점수를 예측하는 데에 사용되는 학습 모델을 제공하는 것이다.
본 출원에 의해 개시되는 내용들이 해결하고자 하는 다른 과제는 일반인들이, 의사의 도움없이 그리고 병원 직접 방문 없이, 지속적으로 갑상선 안병증에 관한 임상활동점수를 모니터링할 수 있는 방법 및 시스템을 제공하는 것이다.
본 출원에 의해 개시되는 내용들이 해결하고자 하는 또 다른 과제는, 임상활동점수의 모니터링 결과에 따라서 활동성 갑상선 안병증 진료를 위한 병원 방문을 추천하는 방법 및 이를 수행하는 시스템을 제공하는 것이다.
본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원에 의해 개시되는 기술이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 양태에 의하면, 컴퓨터로 실행가능한 갑상선 안병증의 예측방법이 개시된다. 상기 방법은, 결막 충혈 예측 모델, 결막 부종 예측 모델, 눈물언덕 부종 예측 모델, 눈꺼풀 발적 예측 모델 및 눈꺼풀 부종 예측 모델을 준비하고, 대상의 얼굴 이미지를 획득하고, 상기 얼굴 이미지로부터 제1 처리된 이미지(first processed image) 및 제2 처리된 이미지(second processed image)를 획득하고 - 이때, 상기 제1 처리된 이미지는 상기 제2 처리된 이미지와 상이함 -, 상기 제1 처리된 이미지를 상기 결막 충혈 예측 모델, 상기 결막 부종 예측 모델 및 상기 눈물언덕 부종 예측 모델에 입력하여 결막 충혈, 결막 부종 및 눈물언덕 부종 각각에 대한 예측값들을 획득하고, 상기 제2 처리된 이미지를 상기 눈꺼풀 발적 예측 모델 및 상기 눈꺼풀 부종 예측 모델에 입력하여 눈꺼풀 발적 및 눈꺼풀 부종 각각에 대한 예측값들을 획득하고, 상기 결막 충혈에 대한 상기 예측값, 상기 결막 부종에 대한 상기 예측값, 상기 눈물언덕 부종에 대한 상기 예측값, 상기 눈꺼풀 발적에 대한 상기 예측값 및 상기 눈꺼풀 부종에 대한 상기 예측값에 기초하여, 상기 대상이 갑상선 안병증 (thyroid eye disease)을 가지고 있을 가능성(possibility)을 판단하는 것을 포함한다. 이때, 상기 제1 처리된 이미지는 상기 눈의 아웃라인에 대응되는 픽셀들의 위치 정보 및 상기 눈에 포함된 홍채의 아웃라인에 대응되는 픽셀들의 위치정보에 기초하여, 상기 눈의 아웃라인의 외부 및 상기 홍채의 아웃라인의 내부에 대응되는 영역들을 마스킹하고 상기 눈의 아웃라인을 포함하는 제1 영역을 따라서 크로핑된 이미지이며, 상기 제2 처리된 이미지는 상기 눈의 아웃라인에 대응되는 픽셀들의 위치 정보 및 상기 눈에 포함된 홍채의 아웃라인에 대응되는 픽셀들의 위치정보에 기초하여, 상기 제1 영역 보다 더 넓게 확장된 제2 영역을 따라서 크로핑된 이미지이다.
몇몇 실시예들에 있어서, 상기 눈의 아웃라인에 대응되는 픽셀들의 위치정보 및 상기 눈에 포함된 홍채의 아웃라인에 대응되는 픽셀들의 위치정보는 세그멘테이션 모델에 의해 획득될 수 있다.
몇몇 실시예들에 있어서, 상기 제1 처리된 이미지는 제1 처리된 좌안 이미지(first processed left eye image) 및 제1 처리된 우안 이미지(first processed right eye image)를 포함하며, 상기 제2 처리된 이미지는 제2 처리된 좌안 이미지(second processed left eye image) 및 제2 처리된 우안 이미지(second processed right eye image)를 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 결막 충혈 예측 모델은 좌안 결막 충혈 예측 모델 및 우안 결막 충혈 예측 모델을 포함하고, 상기 결막 부종 예측 모델은 좌안 결막 부종 예측 모델 및 우안 결막 부종 예측 모델을 포함하며, 상기 눈물언덕 부종 예측 모델은 좌안 눈물언덕 부종 예측 모델 및 우안 눈물언덕 부종 예측 모델을 포함하고, 상기 눈꺼풀 발적 예측 모델은 좌안 눈꺼풀 발적 예측 모델 및 우안 눈꺼풀 발적 예측 모델을 포함하며, 상기 눈꺼풀 부종 예측 모델은 좌안 눈꺼풀 부종 예측 모델 및 우안 눈꺼풀 부종 예측 모델을 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 결막 충혈에 대한 상기 예측값은 상기 제1 전처리된 좌안 이미지를 상기 좌안 결막 충혈 모델에 입력하여 획득한 결과와 상기 제1 전처리된 우안 이미지를 상기 우안 결막 충혈 모델에 입력하여 획득한 결과에 기초하여 결정되고, 상기 결막 부종에 대한 상기 예측값은 상기 제1 전처리된 좌안 이미지를 상기 좌안 결막 부종 모델에 입력하여 획득한 결과와 상기 제1 전처리된 우안 이미지를 상기 우안 결막 부종 모델에 입력하여 획득한 결과에 기초하여 결정되고, 상기 눈물언덕 부종에 대한 상기 예측값은 상기 제1 전처리된 좌안 이미지를 상기 좌안 눈물언덕 부종 모델에 입력하여 획득한 결과와 상기 제1 전처리된 우안 이미지를 상기 우안 눈물언덕 부종 모델에 입력하여 획득한 결과에 기초하여 결정되고, 상기 눈꺼풀 발적에 대한 상기 예측값은 상기 제2 전처리된 좌안 이미지를 상기 좌안 눈꺼풀 발적 모델에 입력하여 획득한 결과와 상기 제2 전처리된 우안 이미지를 상기 우안 눈꺼풀 발적 모델에 입력하여 획득한 결과에 기초하여 결정되며, 상기 눈꺼풀 부종에 대한 상기 예측값은 상기 제2 전처리된 좌안 이미지를 상기 좌안 눈꺼풀 부종 모델에 입력하여 획득한 결과와 상기 제2 전처리된 우안 이미지를 상기 우안 눈꺼풀 부종 모델에 입력하여 획득한 결과에 기초하여 결정될 수 있다.
몇몇 실시예들에 있어서, 상기 방법은 상기 제1 처리된 좌안 이미지(first processed left eye image) 및 상기 제1 처리된 우안 이미지(first processed right eye image) 중 하나를 좌우 반전 처리하고, 상기 제2 처리된 좌안 이미지(second processed left eye image) 및 상기 제2 처리된 우안 이미지(second processed right eye image) 중 하나를 좌우 반전 처리하는 것을 더 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 결막 충혈에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 결막 충혈 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되고, 상기 결막 부종에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 결막 부종 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되고, 상기 눈물언덕 부종에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 눈물언덕 부종 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되고, 상기 눈꺼풀 발적에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 눈꺼풀 발적 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되고, 상기 눈꺼풀 부종에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 눈꺼풀 부종 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정될 수 있다.
몇몇 실시예들에 있어서, 상기 방법은 상기 제1 처리된 좌안 이미지(first processed left eye image) 및 상기 제1 처리된 우안 이미지(first processed right eye image)를 리사이징하고, 상기 제2 처리된 좌안 이미지(second processed left eye image) 및 상기 제2 처리된 우안 이미지(second processed right eye image)를 리사이징하는 것을 더 포함할 수 있다.
본 출원에 의하여 개시되는 내용에 의하면, 전문적인 의학 진단 기기가 아닌 일반인들이 사용할 수 있는 디지털 카메라로 획득된 이미지를 활용하여 갑상선 안병증에 관한 임상활동점수를 예측할 수 있다.
또한, 본 출원에 의하여 개시되는 내용에 의하면, 일반인들이, 의사의 도움없이 그리고 병원 직접 방문 없이, 지속적으로 갑상선 안병증에 관한 임상활동점수를 모니터링할 수 있고, 필요한 경우 병원에 대한 방문을 추천받을 수 있게 된다.
도 1은 본 출원에 의해 개시되는 일실시예에 따른 갑상선 안병증에 관한 임상활동점수를 예측하기 위한 시스템을 도시하는 도면이다.
도 2는 본 출원에 의해 제공되는 사용자 단말기의 블록도이다.
도 3은 본 출원에 의해 개시되는 서버의 블록도이다.
도 4는 카메라를 이용하여 얼굴을 촬영하였을 때 카메라에 의해 캡쳐될 수 있도록 외부로 노출되어 있는 눈 및 그 주변 조직을 설명하기 위한 도면이다.
도 5는 외부로 노출된 안구를 설명하기 위한 도면이다.
도 6은 눈의 아웃라인을 설명하기 위한 도면이다.
도 7은 외부로 노출된 각막을 설명하기 위한 도면이다.
도 8은 외부로 노출된 결막을 설명하기 위한 도면이다.
도 9는 얼굴 이미지와 양안 이미지를 설명하기 위한 도면이다.
도 10은 좌안 이미지와 우안 이미지를 설명하기 위한 도면이다.
도 11은 아웃라인 픽셀들의 Xmax, Xmin, Ymax, Ymin을 도식화한 도면이다.
도 12는 결정된 제2 크롭 영역을 도시한 도면이다.
도 13는 제2 크롭 이미지에 대한 예시적인 도면이다.
도 14는 제3 크롭 이미지에 대한 예시적인 도면이다.
도 15 및 도 16은 홍채 세그멘테이션을 설명하기 위한 도면들이다.
도 17은 눈 아웃라인 세그멘테이션을 설명하기 위한 도면이다.
도 18은 제1 마스킹 이미지에 대한 예시적인 도면이다.
도 19는 제2 마스킹 이미지에 대한 예시적인 도면이다.
도 20 내지 도 22는 원본 이미지와 좌우 반전 이미지의 다양한 예시를 도시하는 도면들이다.
도 23은 결막 충혈 예측 방법을 설명하기 위한 흐름도이다.
도 24는 결막 부종 예측 방법을 설명하기 위한 흐름도이다.
도 25는 눈물언덕 부종 예측 방법을 설명하기 위한 흐름도이다.
도 26은 눈꺼풀 발적 예측 방법을 설명하기 위한 흐름도이다.
도 27는 눈꺼풀 부종 예측 방법을 설명하기 위한 흐름도이다.
도 28은 갑상선 안병증에 관한 임상활동점수의 예측방법을 설명하기 위한 도면이다.
도 29는 갑상선 안병증에 관한 임상활동점수의 지속적인 모니터링 방법 및 이에 기초한 병원 방문 추천 방법을 설명하기 위한 도면이다.
본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.
본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다. 예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.
본 출원의 일 양태에 의하면, 퓨터로 실행가능한 갑상선 안병증의 예측방법이 개시된다. 상기 방법은, 결막 충혈 예측 모델, 결막 부종 예측 모델, 눈물언덕 부종 예측 모델, 눈꺼풀 발적 예측 모델 및 눈꺼풀 부종 예측 모델을 준비하고, 대상의 얼굴 이미지를 획득하고, 상기 얼굴 이미지로부터 제1 처리된 이미지(first processed image) 및 제2 처리된 이미지(second processed image)를 획득하고 - 이때, 상기 제1 처리된 이미지는 상기 제2 처리된 이미지와 상이함 -, 상기 제1 처리된 이미지를 상기 결막 충혈 예측 모델, 상기 결막 부종 예측 모델 및 상기 눈물언덕 부종 예측 모델에 입력하여 결막 충혈, 결막 부종 및 눈물언덕 부종 각각에 대한 예측값들을 획득하고, 상기 제2 처리된 이미지를 상기 눈꺼풀 발적 예측 모델 및 상기 눈꺼풀 부종 예측 모델에 입력하여 눈꺼풀 발적 및 눈꺼풀 부종 각각에 대한 예측값들을 획득하고, 상기 결막 충혈에 대한 상기 예측값, 상기 결막 부종에 대한 상기 예측값, 상기 눈물언덕 부종에 대한 상기 예측값, 상기 눈꺼풀 발적에 대한 상기 예측값 및 상기 눈꺼풀 부종에 대한 상기 예측값에 기초하여, 상기 대상이 갑상선 안병증 (thyroid eye disease)을 가지고 있을 가능성(possibility)을 판단하는 것을 포함한다. 이때, 상기 제1 처리된 이미지는 상기 눈의 아웃라인에 대응되는 픽셀들의 위치 정보 및 상기 눈에 포함된 홍채의 아웃라인에 대응되는 픽셀들의 위치정보에 기초하여, 상기 눈의 아웃라인의 외부 및 상기 홍채의 아웃라인의 내부에 대응되는 영역들을 마스킹하고 상기 눈의 아웃라인을 포함하는 제1 영역을 따라서 크로핑된 이미지이며, 상기 제2 처리된 이미지는 상기 눈의 아웃라인에 대응되는 픽셀들의 위치 정보 및 상기 눈에 포함된 홍채의 아웃라인에 대응되는 픽셀들의 위치정보에 기초하여, 상기 제1 영역 보다 더 넓게 확장된 제2 영역을 따라서 크로핑된 이미지이다.
몇몇 실시예들에 있어서, 상기 눈의 아웃라인에 대응되는 픽셀들의 위치정보 및 상기 눈에 포함된 홍채의 아웃라인에 대응되는 픽셀들의 위치정보는 세그멘테이션 모델에 의해 획득될 수 있다.
몇몇 실시예들에 있어서, 상기 제1 처리된 이미지는 제1 처리된 좌안 이미지(first processed left eye image) 및 제1 처리된 우안 이미지(first processed right eye image)를 포함하며, 상기 제2 처리된 이미지는 제2 처리된 좌안 이미지(second processed left eye image) 및 제2 처리된 우안 이미지(second processed right eye image)를 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 결막 충혈 예측 모델은 좌안 결막 충혈 예측 모델 및 우안 결막 충혈 예측 모델을 포함하고, 상기 결막 부종 예측 모델은 좌안 결막 부종 예측 모델 및 우안 결막 부종 예측 모델을 포함하며, 상기 눈물언덕 부종 예측 모델은 좌안 눈물언덕 부종 예측 모델 및 우안 눈물언덕 부종 예측 모델을 포함하고, 상기 눈꺼풀 발적 예측 모델은 좌안 눈꺼풀 발적 예측 모델 및 우안 눈꺼풀 발적 예측 모델을 포함하며, 상기 눈꺼풀 부종 예측 모델은 좌안 눈꺼풀 부종 예측 모델 및 우안 눈꺼풀 부종 예측 모델을 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 결막 충혈에 대한 상기 예측값은 상기 제1 전처리된 좌안 이미지를 상기 좌안 결막 충혈 모델에 입력하여 획득한 결과와 상기 제1 전처리된 우안 이미지를 상기 우안 결막 충혈 모델에 입력하여 획득한 결과에 기초하여 결정되고, 상기 결막 부종에 대한 상기 예측값은 상기 제1 전처리된 좌안 이미지를 상기 좌안 결막 부종 모델에 입력하여 획득한 결과와 상기 제1 전처리된 우안 이미지를 상기 우안 결막 부종 모델에 입력하여 획득한 결과에 기초하여 결정되고, 상기 눈물언덕 부종에 대한 상기 예측값은 상기 제1 전처리된 좌안 이미지를 상기 좌안 눈물언덕 부종 모델에 입력하여 획득한 결과와 상기 제1 전처리된 우안 이미지를 상기 우안 눈물언덕 부종 모델에 입력하여 획득한 결과에 기초하여 결정되고, 상기 눈꺼풀 발적에 대한 상기 예측값은 상기 제2 전처리된 좌안 이미지를 상기 좌안 눈꺼풀 발적 모델에 입력하여 획득한 결과와 상기 제2 전처리된 우안 이미지를 상기 우안 눈꺼풀 발적 모델에 입력하여 획득한 결과에 기초하여 결정되며, 상기 눈꺼풀 부종에 대한 상기 예측값은 상기 제2 전처리된 좌안 이미지를 상기 좌안 눈꺼풀 부종 모델에 입력하여 획득한 결과와 상기 제2 전처리된 우안 이미지를 상기 우안 눈꺼풀 부종 모델에 입력하여 획득한 결과에 기초하여 결정될 수 있다.
몇몇 실시예들에 있어서, 상기 방법은 상기 제1 처리된 좌안 이미지(first processed left eye image) 및 상기 제1 처리된 우안 이미지(first processed right eye image) 중 하나를 좌우 반전 처리하고, 상기 제2 처리된 좌안 이미지(second processed left eye image) 및 상기 제2 처리된 우안 이미지(second processed right eye image) 중 하나를 좌우 반전 처리하는 것을 더 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 결막 충혈에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 결막 충혈 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되고, 상기 결막 부종에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 결막 부종 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되고, 상기 눈물언덕 부종에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 눈물언덕 부종 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되고, 상기 눈꺼풀 발적에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 눈꺼풀 발적 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되고, 상기 눈꺼풀 부종에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 눈꺼풀 부종 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정될 수 있다.
몇몇 실시예들에 있어서, 상기 방법은 상기 제1 처리된 좌안 이미지(first processed left eye image) 및 상기 제1 처리된 우안 이미지(first processed right eye image)를 리사이징하고, 상기 제2 처리된 좌안 이미지(second processed left eye image) 및 상기 제2 처리된 우안 이미지(second processed right eye image)를 리사이징하는 것을 더 포함할 수 있다.
본 출원에 의하면, 사용자의 갑상선 안병증에 대한 임상활동점수(Clinical Activity Score, CAS)를 예측하고, 이에 기초하여 사용자의 병원 방문 필요성에 대한 안내를 하기 위한 시스템이 개시된다.
1. 전체 시스템
(1) 시스템의 하드웨어적 구성
도 1은 본 출원에 의해 개시되는 일실시예에 따른 갑상선 안병증에 관한 임상활동점수를 예측하기 위한 시스템을 도시하는 도면이다.
도 1을 참조하면, 상기 시스템(1)은 복수의 사용자 단말기들(10) 및 서버(20)를 포함한다.
이하에서는, 상기 복수의 사용자 단말기들(10) 및 상기 서버(20)에 대해 보다 구체적으로 설명한다.
(2) 사용자 단말기의 기능
상기 복수의 사용자 단말기들(10)은 각종 네트워크를 통해 상기 서버(20)에 정보를 전송하고, 또 상기 서버(20)로부터 정보를 수신한다.
상기 복수의 사용자 단말기들(10)은 사용자의 상안검(upper eyelid), 하안검(lower eyelid) 및 상기 상안검 및 하안검 등에 의해 외부로 노출되는 안구(exposed eyeball)에 관한 이미지(이하, 눈 이미지, eye image)를 획득할 수 있으며, 상기 획득된 눈 이미지에 대한 필요한 처리를 하거나 혹은 상기 획득된 눈 이미지 또는 처리된 눈 이미지를 상기 서버(20)로 전송할 수 있다.
상기 복수의 사용자 단말기들(10)은 상기 서버(20)에 의해 처리된 임상활동점수에 관한 예측결과를 상기 서버(20)로부터 수신할 수 있다.
(3) 서버의 기능
상기 서버(20)는 각종 네트워크를 통해 상기 복수의 사용자 단말기들(10)에 정보를 전송하고, 또 상기 복수의 사용자 단말기들(10)로부터 정보를 수신한다.
상기 서버(20)는 상기 복수의 사용자 단말기들(10)로부터 상기 눈 이미지를 수신할 수 있다. 이때, 상기 서버(20)는 상기 눈 이미지를 처리할 수 있다. 또는 상기 서버(20)는 처리된 눈 이미지를 수신할 수 있다.
상기 서버(20)는 상기 처리된 눈 이미지에 기초하여 사용자의 갑상선 안병증에 관한 임상활동점수에 대한 예측결과를 획득할 수 있다.
상기 서버(20)는 상기 임상활동점수에 대한 예측결과를 상기 복수의 사용자 단말기들(10)로 전송할 수 있다.
(4) 시스템의 소프트웨어적 구성
상기 시스템(1)이 동작하기 위하여, 몇몇 소프트웨어적 구성들이 필요하다.
상기 사용자 단말기들(10)과 상기 서버(20) 사이의 통신을 수행하기 위하여, 상기 복수의 사용자 단말기들(10)에 단말기 소프트웨어가 설치될 필요가 있으며, 상기 서버(20)에 서버 소프트웨어가 설치될 필요가 있다.
상기 눈 이미지에 필요한 전처리(pre-processing)를 수행하기 위하여, 다양한 전처리 알고리즘들이 사용될 수 있다.
상기 전처리된 눈 이미지에 기초하여 임상활동점수를 예측하기 위한 복수의 학습모델들이 사용될 수 있다.
상기 복수의 전처리 알고리즘들은 상기 사용자 단말기들(10)에 설치되는 단말기 소프트웨어에 의해 구동될 수도 있고, 상기 서버(20)에 설치되는 소프트웨어에 의해 구동될 수도 있다. 또는 상기 복수의 전처리 알고리즘들의 일부는 상기 사용자 단말기들(10)에 의해 실행되고, 나머지 일부는 상기 서버(20)에 의해 실행될 수 있다.
상기 복수의 학습모델들은 상기 서버(20)에 설치되는 소프트웨어에 의해 구동될 수도 있다. 또는 상기 복수의 학습모델들은 상기 사용자 단말기들(10)에 설치되는 단말기 소프트웨어에 의해 구동될 수 있다. 또는 상기 복수의 학습모델들의 일부는 상기 사용자 단말기들(10)에 의해 실행되고, 나머지 일부는 상기 서버(20)에 의해 실행될 수 있다.
(5) 사용자 단말기의 구성요소
도 2는 본 출원에 의해 개시되는 사용자 단말기의 블록도이다.
도 2를 참조하면, 본 출원에 의해 개시되는 사용자 단말기(10)는 출력부(110), 통신부(120), 메모리(130), 카메라(140) 및 컨트롤러(150)를 포함한다.
출력부(110)는 컨트롤러(150)의 제어 명령에 따라 각종 정보를 출력한다. 일 실시예에 따르면, 출력부(110)는 사용자에게 정보를 시각적으로 출력하는 디스플레이(112)를 포함할 수 있다. 또는, 도면에 도시하지는 않았지만, 사용자에게 정보를 청각적으로 출력하는 스피커, 사용자에게 정보를 촉각적으로 출력하는 진동모터를 포함할 수 있다.
통신부(120)는 무선 통신 모듈 및/또는 유선 통신 모듈을 포함할 수 있다. 여기서, 무선 통신 모듈은 와이파이(Wi-Fi) 통신 모듈, 셀룰러 통신 모듈 등을 포함할 수 있다.
메모리(130)는 컨트롤러(150)에 의해 읽힐 수 있는 실행 코드, 처리된 결과값 및 필요한 데이터 등을 저장한다. 상기 메모리(130)는 HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM 등을 포함할 수 있다. 메모리(130)는 전술한 단말기 소프트웨어를 저장할 수 있고, 전술한 다양한 전처리 알고리즘 및/또는 학습모델들을 구현하기 위한 실행코드들을 저장할 수 있다. 나아가, 메모리(130)는 상기 카메라(140)를 통해 획득되는 눈 이미지 및 상기 전처리된 눈 이미지 등을 저장할 수 있다.
카메라(140)는 디지털 카메라로, 이미지 센서와 영상처리부를 포함할 수 있다. 이미지 센서는 광학 영상(image)을 전기적 신호로 변환하는 장치로, 다수개의 광 다이오드(photo diode)가 집적된 칩으로 구성될 수 있다. 예시적으로, 이미지 센서는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등을 포함할 수 있다. 한편, 영상처리부는 촬영된 결과를 영상 처리하여, 영상 정보를 생성할 수 있다.
컨트롤러(150)는 적어도 하나의 프로세서를 포함할 수 있다. 이때, 각각의 프로세서는 메모리(130)에 저장된 적어도 하나의 명령어를 실행시킴으로써, 소정의 동작을 실행할 수 있다. 구체적으로, 컨트롤러(150)는 상기 사용자 단말기(10)에서 구동되는 단말기 소프트웨어, 전처리 알고리즘 및/또는 학습모델에 따라 정보를 처리할 수 있다. 한편, 상기 컨트롤러(150)는 상기 사용자 단말기(10)의 전반적인 동작을 제어한다.
도면에 도시하지는 않았지만, 상기 사용자 단말기(10)는 사용자 입력부를 포함할 수 있다. 상기 사용자 단말기(10)는 상기 사용자 입력부를 통해 사용자 단말기(10)의 동작에 필요한 여러 정보를 사용자로부터 입력 받을 수 있다.
(6) 서버의 구성요소
도 3은 본 출원에 의해 개시되는 서버의 블록도이다.
도 3을 참조하면, 본 출원에 의해 개시되는 서버(20)는 통신부(210), 메모리(220) 및 컨트롤러(230)를 포함한다.
통신부(210)는 무선 통신 모듈 및/또는 유선 통신 모듈을 포함할 수 있다. 여기서, 무선 통신 모듈은 와이파이(Wi-Fi) 통신 모듈, 셀룰러 통신 모듈 등을 포함할 수 있다.
메모리(220)는 컨트롤러(230)에 의해 읽힐 수 있는 실행 코드, 처리된 결과값 및 필요한 데이터 등을 저장한다. 상기 메모리(220)는 HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM 등을 포함할 수 있다. 메모리(220)는 전술한 서버 소프트웨어를 저장할 수 있고, 전술한 다양한 전처리 알고리즘 및/또는 학습모델들을 구현하기 위한 실행코드들을 저장할 수 있다. 나아가, 메모리(220)는 상기 사용자 단말기(10)로부터 수신한 눈 이미지 및 상기 전처리된 눈 이미지 등을 저장할 수 있다.
컨트롤러(230)는 적어도 하나의 프로세서를 포함할 수 있다. 이때, 각각의 프로세서는 메모리(220)에 저장된 적어도 하나의 명령어를 실행시킴으로써, 소정의 동작을 실행할 수 있다. 구체적으로, 컨트롤러(230)는 상기 서버(20)에서 구동되는 서버 소프트웨어, 전처리 알고리즘 및/또는 학습모델에 따라 정보를 처리할 수 있다. 한편, 상기 컨트롤러(230)는 상기 서버(20)의 전반적인 동작을 제어한다.
이하에서는, 본 출원에 의해 개시되는 기술을 보다 더 명확하고 용이하게 이해하기 위하여 눈(eye), 안구(eyeball) 및 상안검(upper eyelid), 하안검(lower eyelid) 및 눈물언덕(lacrimal caruncle)을 포함하는 안구 주변의 조직들에 대해 간략하게 설명하고, 본 명세서에 사용되는 눈과 그 주변에 관한 용어들을 정의한다.
2. 눈의 구성 및 용어의 정의
(1) 안구 및 그 주변 조직
도 4는 카메라를 이용하여 얼굴을 촬영하였을 때 카메라에 의해 캡쳐될 수 있도록 외부로 노출되어 있는 눈 및 그 주변 조직을 설명하기 위한 도면이다.
도 4에는, 눈꺼풀(상안검, upper eyelid), 하안검(lower eyelid), 눈물언덕(lacrimal caruncle), 그리고 상기 상안검, 하안검 및 눈물언덕에 의해 일부는 가려지고 일부만 노출되어 있는 결막(conjunctiva) 및 각막(cornea)가 도시되어 있다.
일반적으로 눈(eye) 또는 안구(eyeball)는 도 4에 도시된 것보다 더 크다. 그러나, 안구는 상안검, 하안검과 같은 조직에 의해 외부로부터 보호되고 있고, 이에 따라, 사람이 눈을 뜨고 있을 때에도 안구의 일부만 외부로 노출된다.
(2) 용어의 정의
결막, 흰자위
이하에서는, 결막은 일반적으로 흰자위(the white of the eye)의 위치에 대응되므로, 결막과 흰자위라는 용어가 혼용될 수 있다.
각막, 홍채
이하에서는, 각막은 일반적으로 홍채(the iris of the eye)의 위치에 대응되므로, 각막과 홍채라는 용어가 혼용될 수 있다. 한편, 본 명세서에서는 용어 '홍채'는 동공영역도 포함하는 의미로 사용된다.
눈꺼풀
안구의 앞 부분을 덮고 있는 아래위 2장의 주름있는 피부이다. 안검(眼瞼)이라고도 한다. 안구의 윗부분에 있는 눈꺼풀을 상안검, 안구의 아래부분에 있는 눈꺼풀을 하안검이라 한다. 외면은 피부로 되어 있고, 내면은 결막으로 되어 있으며, 그 사이에는 눈꺼풀을 움직이게 하는 근육과, 분비선인 마이봄선[瞼板腺]을 품고 있는 검판(瞼板)조직이 있어서 눈꺼풀의 형태를 유지하고 있다. 눈꺼풀은 안구를 보호함과 동시에, 눈을 깜박임으로서 눈물로 안구를 청정하게 하거나 각막을 윤기 있고 투명하게 하는 일을 한다.
눈썹(eyebrow)
눈썹은 눈 위의 뼈가 융기한 부분을 따라 활 모양으로 자란 털을 말한다.
속눈썹(eyelash)
아래위의 눈꺼풀 가장자리에 나 있는 길이 10mm 정도의 털을 말한다.
외부로 노출된 안구
이하에서, "외부로 노출된 안구"는, 사람이 눈을 뜨고 있을 때, 상안검, 하안검 및 눈물언덕에 의해 가려지지 않은 부분, 즉 상안검, 하안검 및 눈물언덕에 의해 외부로 노출된 부분을 의미한다. 예를 들어, 도 5에 도시된 점선의 내부를 "외부로 노출된 안구"라고 일컫는다.
눈의 아웃라인(outline of eye)
이하에서는, "눈의 아웃라인"은, 사람이 눈을 뜨고 있을 때, 외부로 노출된 안구와 눈물언덕 영역을 모두 포함하는 부분의 아웃라인을 의미한다. 즉, 외부로 노출된 안구와 눈물 언덕을 합한 영역의 아웃라인을 "눈의 아웃라인"이라고 일컫는다. 예를 들어, 도 6에 도시된 점선을 "눈의 아웃라인"이라고 한다.
외부로 노출된 각막(외부로 노출된 홍채)
이하에서, "외부로 노출된 각막"은, 사람이 눈을 뜨고 있을 때, 상안검 및 하안검에 의해 가려지지 않은 각막 부분, 즉 상안검, 하안검에 의해 외부로 노출된 각막 부분을 의미한다. 예를 들어, 도 7에 도시된 점선의 내부를 "외부로 노출된 각막"이라고 일컫는다.
외부로 노출된 결막(외부로 노출된 흰자위)
이하에서, "외부로 노출된 결막"은, 사람이 눈을 뜨고 있을 때, 상안검, 하안검 및 눈물언덕에 의해 가려지지 않은 결막 부분, 즉 상안검, 하안검 및 눈물언덕에 의해 외부로 노출된 결막 부분을 의미한다. 예를 들어, 도 8에 도시된 점선의 내부를 "외부로 노출된 결막"이라고 일컫는다.
이하에서는, 본 출원에 의해 개시되는 이미지 전처리를 수행하는 다양한 이미지 전처리 알고리즘에 대해 설명한다.
3. 이미지 전처리 알고리즘
(1) 이미지 전처리의 필요성
본 출원의 일 목적은 전문적인 의학 진단 기기가 아닌 일반인들이 사용할 수 있는 디지털 카메라로 획득된 이미지를 활용하여 갑상선 안병증에 관한 임상활동점수를 예측할 수 있는 학습 모델을 제공하는 것에 있다.
이를 위해서는, 갑상선 안병증에 관한 임상활동점수를 예측함에 있어서, 일반인들이 안구 및 안구 주변의 조직에 대하여 손쉽게 획득할 수 있는 이미지가 사용되어야 한다. 예를 들어, 의료기관 등에서 활용될 수 있는 전문화된 의료기기 등으로 획득되는 디지털 이미지가 아닌 일반인들이 손쉽게 활용할 수 있는 디지털 카메라 혹은 스마트폰 등에 내장되어 있는 카메라에 의해 획득되는 디지털 이미지가 이미지 분석에 사용되어야 한다.
이러한 환경 하에서, 사용자 등에 의해 획득되는 디지털 이미지는 정형화되거나, 표준화되기에 어려움이 있으며, 사용자 등에 의해서 획득된 디지털 이미지를 보다 더 정확하고 빠르게 인식하기 위해서는, 획득된 이미지에 대한 여러가지 전처리가 되어야 할 필요가 있다.
(2) 제1 크롭 (양안 이미지 크롭)
갑상선 안병증에 관한 임상활동점수를 예측에 사용되는 이미지는 좌안과 우안 및 그 주변 영역들을 포함되어 있어야 한다.
다만, 더 빠르고 정확한 분석을 위해서는, 얼굴 전체가 캡쳐된 이미지(이하, 얼굴 이미지) 보다는 이미지 분석에 불필요한 여러 영역들(예를 들어, 코, 입, 이마 등에 대응되는 영역들)은 포함되어 있지 않고, 양안 및 그 주변 영역만 캡쳐된 이미지(이하, 양안 이미지)를 사용하는 것이 더 효과적이다.
따라서, 사용자에 의해서 획득된 얼굴 전체가 캡쳐된 이미지(이하, 얼굴 이지미)로부터 양안(좌안/우안)을 포함하되, 이미지(이하, 양안 이미지)를 잘라낼 필요가 있다.
예를 들어, 도 9의 (a)에 도시된 사용자에 의해 획득된 얼굴 이미지로부터 도 9의 (b)에 도시된 바와 같이 양안 이미지(점선으로 표시된 사각형의 내부 영역)가 획득될 수 있다. 이하에서는, 이렇게 사용자에 의해 획득된 얼굴 이미지로부터 양안 이미지를 획득하는 것을 양안 이미지 크롭 또는 제1 크롭이라고 한다.
(3) 추가 크롭 방식 적용의 필요성
본 출원의 발명자들은 전술한 제1 크롭 이미지(양안 이미지)를 이용하여 나중에 후술할 예측모델들을 이용하여 갑상선 안병증에 관한 5가지 항목에 대한 점수들을 예측하는 시스템을 구축하여 보았으나 예측의 정확도가 높지 않음을 확인하였다.
이에, 본 출원의 발명자들은 낮은 예측 정확도의 이유가 양안 이미지 내에도 분석에 불필요한 영역이 많기 때문이라고 판단하였고, 이에 보다 더 세밀한 크롭 이미지를 확보할 필요성이 있다고 판단하였다. 즉, 도 10의 (a)에 도시된 바와 같이 좌안과 우안이 하나의 이미지에 포함되어 있는 양안 이미지를 활용하는 것보다는 도 10의 (b)에 도시된 바와 같이 좌안 이미지와 우안 이미지를 각각 확보하여 활용하는 것이 더 효과적일 것이라고 판단하였다.
(4) 서로 다른 크롭 방식 적용의 필요성
갑상선 안병증에 관한 임상활동점수를 평가하기 위한 7가지 항목들 중 5가지 항목은 사용자의 안구 및 그 주변영역에 대한 의사의 육안 관찰에 따라 평가되는 항목임을 이미 설명한 바 있다. 상기 5가지 항목들은 다음과 같다.
1) 결막의 충혈 (Redness of conjunctiva),
2) 결막의 부종 (Swelling of conjunctiva),
3) 눈물언덕의 부종 (Swelling of lacrimal caruncle),
4) 눈꺼풀의 발적 (Redness of eyelid), 및
5) 눈꺼풀의 부종 (Swelling of eyelid),
이하에서, 후술하겠지만, 본 출원에 의해 제공되는 갑상선 안병증에 관한 임상활동점수를 평가하기 위하여, 상기 5가지의 증상에 대해 서로 독립적인 예측 모델을 적용하였다.
이에, 5개의 독립적인 예측 모델에 서로 다른 크롭 방식이 적용된 이미지를 활용하는 방법도 있을 수 있으나, 본 출원의 발명자들은 결막과 눈물언덕을 분석하기 위한 이미지 크롭 방식과 눈꺼풀을 분석하기 위한 이미지 크롭 방식을 적용하면 충분한 예측 정확성이 나올 수 있을 것이라고 판단하였다.
(5) 제2 크롭 (눈 아웃라인 베이스 크롭)
이하에서, 눈 아웃라인 베이스 크롭(eye-outline-based crop)(제2 크롭)에 대해 설명한다. 제2 크롭은 우안 이미지와 좌안 이미지 모두에 대해서 적용될 수 있는 것이지만, 설명의 편의를 위하여, 우안 크롭 이미지를 확보하는 것을 기준으로 설명하도록 한다.
제2 크롭의 목적
제2 크롭의 목적은 후술할 예측모델들 중 결막의 충혈 (Redness of conjunctiva) 여부를 예측하기 위한 모델, 결막의 부종 (Swelling of conjunctiva) 여부를 예측하기 위한 모델, 및 눈물언덕의 부종 (Swelling of lacrimal caruncle) 여부를 예측하기 위한 모델에 인풋 이미지로 사용하기 위한 이미지를 생성하는 목적을 가지는 것으로, 각막과 눈물언덕에 관한 정보가 최대화되고, 그 외의 영역에 대한 정보가 최소화된 이미지를 생성하는 것에 그 목적이 있다.
입력 이미지
제2 크롭은 얼굴 이미지에 대해 적용될 수도 있고, 양안 이미지(제1 크롭 이미지)에 대해 적용될 수도 있다.
눈의 아웃라인 검출
일 실시예에 따르면, 우안의 아웃라인을 검출하기 위하여, 상안검과 안구의 경계, 하안검과 안구의 경계에 대응되는 픽셀들을 검출할 수 있다. 또한, 우안의 아웃라인을 검출하기 위하여, 상안검과 하안검이 서로 만나는 지점에 대응되는 픽셀들을 검출할 수 있다. 나아가, 우안의 아웃라인을 검출하기 위하여, 눈물언덕에 대응되는 픽셀들을 검출할 수 있다.
다른 실시예에 따르면, 후술할 눈 아웃라인 세그멘테이션 모델을 활용하여 눈 아웃라인의 최외곽에 대응되는 아웃라인 픽셀들을 검출할 수 있다.
아웃라인 픽셀들의 X,Y 좌표의 최대값, 최소값 확인
검출된 픽셀들을 확인하여, X 좌표값들의 최대값(Xmax), X 좌표값들의 최소값(Xmin), Y 좌표값들의 최대값(Ymax) 및 Y 좌표값들의 최소값(Ymin)을 확인한다.
도 11은 아웃라인 픽셀들의 Xmax, Xmin, Ymax, Ymin을 도식화한 도면이다.
크롭 영역 결정
확인된 아웃라인 픽셀들의 Xmax, Xmin, Ymax, Ymin에 기초하여, 다음과 같은 4개의 점들을 꼭지점으로 하는 사각형을 생성하고, 해당 사각형의 내부에 포함되는 영역을 크롭 영역으로 결정한다.
(Xmin, Ymax),
(Xmax, Ymax),
(Xmax, Ymin), 및
(Xmin, Ymin)
도 12는 결정된 제2 크롭 영역을 도시한 도면이다.
전술한 바와 같이, 상기 제2 크롭 영역은 좌안에 대해서도 동일한 방식으로 결정될 수 있다.
제2 크롭 이미지의 생성
제2 크롭 영역이 결정되면, 결정된 제2 크롭 영역에 기초하여, 도 13에 도시된 바와 같이, 얼굴 이미지 또는 양안 이미지로부터 전술한 바와 같이 결정된 제2 크롭 영역의 내부에 포함된 픽셀들을 이용하여 제2 크롭 이미지들(제2 우안 크롭 이미지, 제2 좌안 크롭 이미지)이 생성될 수 있다.
이하에서, 용어 "제2 우안 크롭 이미지"는 용어 "우안 아웃라인 크롭 이미지"와 혼용될 수 있으며, 용어 "제2 좌안 크롭 이미지"는 용어 "좌안 아웃라인 크롭 이미지"와 혼용될 수 있다.
아울러, 이하에서 특별한 언급없이, 용어 "제2 크롭 이미지(또는 아웃라인 크롭 이미지)"는 제2 우안 크롭 이미지 및 제2 좌안 크롭 이미지 중 어느 하나를 의미하거나 또는 맥락에 따라 둘 모두를 의미할 수 있다.
제2 크롭 이미지는 '눈의 아웃라인'을 기준으로 크롭된 이미지를 의미하는 것으로, 전술한 방식과 상이한 방식에 따라 생성된 크롭 이미지라고 하여도, '눈의 아웃라인'의 최상측, 최하측, 최우측, 및 최좌측의 픽셀들이 크롭 영역에 포함되도록 생성된 것이라면, 제2 크롭 이미지(아웃라인 크롭 이미지)라 하여야 할 것이다.
한편, 본 출원에서 말하는 X 좌표값와 Y 좌표값은 기준점에 대한 상대적인 위치에 따라서 그 크기와 방향이 달라지기 때문에, 최대값과 최소값이라는 용어는 상대적인 의미로 이해되어야 할 것이지, 절대적인 의미로 해석되어서는 안될 것이다. 즉, 좌표계의 원점의 위치가 변경됨에 따라서, 전술한 X 좌표값의 최대값은 원점이 변경된 좌표계에서의 X 좌표값의 최소값이 될 수도 있으며, X 좌표값의 최소값은 원점이 변경된 좌표계에서의 X 좌표값의 최대값이 될 수도 있다. 이는 Y좌표값에 대해서도 동일하게 적용될 수 있다.
(6) 제3 크롭 (눈꺼풀을 포함하는 크롭)
이하에서, 눈꺼풀 포함 크롭 (eyelid-included crop)(제3 크롭)에 대해 설명한다. 제3 크롭은 우안 이미지와 좌안 이미지 모두에 대해서 적용될 수 있는 것이지만, 설명의 편의를 위하여, 우안 크롭 이미지를 확보하는 것을 기준으로 설명하도록 한다.
제3 크롭의 목적
제3 크롭의 목적은 후술할 예측모델들 중 눈꺼풀의 발적 (Redness of eyelid) 여부를 예측하기 위한 모델 및 눈꺼풀의 부종 (Swelling of eyelid) 여부를 예측하기 위한 모델에 대한 인풋 이미지로 사용하기 위한 이미지를 생성하는 목적을 가지는 것으로, 눈꺼풀에 관한 정보가 상기 이미지 내에 포함될 수 있도록 하는 것에 그 목적이 있다. 이때, 눈꺼풀에 대응되는 픽셀들만으로 크롭을 하는 것보다는 눈의 아웃라인 내에 포함되어 있는 픽셀들도 모두 포함될 수 있도록 크롭 이미지를 생성하는 것이 더 좋을 수 있다. 왜냐하면, 눈꺼풀의 발적 여부를 예측하기 위해서는 컬러값에 대한 추론 및 판단이 이루어져야 하는데, 이 때 홍채 및/또는 흰자위에 대응되는 픽셀들의 컬러값이 활용될 수 있기 때문이다.
입력 이미지
제3 크롭은 얼굴 이미지에 대해 적용될 수도 있고, 양안 이미지(제1 크롭 이미지)에 대해 적용될 수도 있다.
눈의 아웃라인 검출 및 아웃라인 픽셀들의 X,Y 좌표의 최대값, 최소값 확인
일 실시예에 따르면, 제2 크롭에서 설명한 눈의 아웃라인 검출 방식이 그대로 적용될 수 있으며, 눈 아웃라인의 최외곽에 대응되는 아웃라인 픽셀들이 검출될 수 있으며, 검출된 픽셀들을 확인하여, X 좌표값들의 최대값(Xmax), X 좌표값들의 최소값(Xmin), Y 좌표값들의 최대값(Ymax) 및 Y 좌표값들의 최소값(Ymin)을 확인할 수 있다.
크롭 영역 결정 #1
확인된 Ymax값 및 Ymin값에 기초하여, 미리 정해진 기준에 따라 결정되는 제1 확장값 (expansion value, Ye)을 Ymax값에 더하고, 미리 정해진 기준에 따라 결정되는 제2 확장값(Ye')을 Ymin값에서 뺀 후, 전술한 제2 크롭 영역 결정방법과 유사하게 제3 크롭 영역을 결정할 수 있다.
즉, 다음과 같은 4개의 점들을 꼭지점으로 하는 사각형을 생성하고, 해당 사각형의 내부에 포함되는 영역을 제3 크롭 영역으로 결정할 수 있다.
(Xmin, Ymax+Ye),
(Xmax, Ymax+Ye),
(Xmax, Ymin-Ye') 및
(Xmin, Ymin-Ye')
이와 같이 제3 크롭 영역을 결정하게 되면, 제2 크롭 영역에 비하여 상안검 및 하안검에 대응되는 픽셀이 이미지 내에 보다 더 많이 포함될 수 있게 된다.
이때, 상기 제1 확장값과 상기 제2 확장값은 서로 동일할 수 있으나, 반드시 서로 동일하여야 하는 것은 아니다.
한편, 상기 제1 확장값과 상기 제2 확장값을 결정하는 기준은 서로 동일할 수 있으나, 반드시 동일하여야 하는 것은 아니다.
상기 제1 확장값 및 상기 제2 확장값은 상기 제2 크롭 영역의 크기에 기초하여 결정될 수 있다. 예를 들어, 상기 제1 확장값 및 상기 제2 확장값은 상기 제2 크롭 영역의 가로 길이에 대한 확장 비율을 곱한 길이를 산출하고, 상기 산출된 길이에 대응되는 픽셀의 개수로 결정될 수 있다. 다른 예를 들어, 제1 확장값 및 상기 제2 확장값은 상기 제2 크롭 영역의 세로 길이에 대한 확장 비율을 곱한 길이를 산출하고, 상기 산출된 길이에 대응되는 픽셀의 개수로 결정될 수 있다.
이때, 상기 특정 비율은 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60% 중 어느 하나일 수 있다.
상기 제1 확장값을 결정할 때 사용되는 확장 비율과 상기 제2 확장값을 결정할 때 사용되는 확장 비율은 서로 동일할 수 있으나, 반드시 동일하여야 하는 것은 아니면, 서로 다를 수도 있다.
상기 제1 확장값을 결정할 때 상기 제2 크롭 영역의 가로길이가 사용되었다면, 상기 제2 확장값을 결정할 때도 상기 가로길이가 사용될 수 있으나, 반드시 이에 한정되지는 않고, 상기 제2 확장값을 결정할 때는 상기 세로길이가 사용될 수 있다.
크롭 영역 결정 #2
확인된 Xmax값 및 Xmin값에 기초하여, 미리 정해진 기준에 따라 제1 가로 확장값(width expansion value, Xwe)을 결정하고, 미리 정해진 기준에 따라 제2 가로 확장값(Xwe')을 결정한다.
확인된 Ymax값 및 Ymin값에 기초하여, 미리 정해진 기준에 따라 결정되는 제1 세로 확장값 (height expansion value, Yhe)을 결정하고, 미리 정해진 기준에 따라 제2 세로 확장값(Yhe')을 결정한다.
Xmax값에 상기 제1 가로 확장값(Xwe)을 더한 값, Xmin값에 상기 제2 가로 확장값(Xwe')을 뺀 값, Ymax값에 상기 제1 세로 확장값(Yhe)을 더한 값 및 Ymin값에 상기 제2 세로 확장값(Yhe')을 뺀 값에 기초하여, 전술한 제2 크롭 영역 결정방법과 유사하게 제3 크롭 영역을 결정할 수 있다.
즉, 다음과 같은 4개의 점들을 꼭지점으로 하는 사각형을 생성하고, 해당 사각형의 내부에 포함되는 영역을 제3 크롭 영역으로 결정할 수 있다.
(Xmin-Xwe', Ymax+Yhe),
(Xmax+Xwe, Ymax+Yhe),
(Xmax+Xwe, Ymin-Yhe') 및
(Xmin-Xwe', Ymin-Yhe')
이와 같이 제3 크롭 영역을 결정하게 되면, 제2 크롭 영역에 비하여 상안검 및 하안검에 대응되는 픽셀이 이미지 내에 보다 더 많이 포함될 수 있게 된다.
나아가, "크롭 영역 결정 #1" 방법에 의해 크롭된 이미지 보다 좌우로 보다 더 많은 픽셀들이 크롭된 이미지 내에 포함될 수 있게 된다. 그 결과, 상안검 및 하안검에 대한 정보가 더 많이 크롭된 이미지 내에 포함될 수 있다. 왜냐하면, 상안검과 하안검의 폭은 외부로 노출된 안구의 폭보다 더 넓은 것이 일반적이기 때문에, 상하로의 확장 뿐만 아니라 좌우로의 확장을 통해 상안검 및 하안검에 대응되는 픽셀들이 더 많아지게 된다.
이때, 상기 제1 가로 확장값과 상기 제2 가로 확장값은 서로 동일할 수 있으나, 반드시 서로 동일하여야 하는 것은 아니다.
한편, 상기 제1 세로 확장값과 상기 제2 세로 확장값을 결정하는 기준은 서로 동일할 수 있으나, 반드시 동일하여야 하는 것은 아니다.
상기 제1 가로 확장값 및 상기 제2 가로 확장값은 상기 제2 크롭 영역의 크기에 기초하여 결정될 수 있다. 예를 들어, 상기 제1 가로 확장값 및 상기 제2 가로 확장값은 상기 제2 크롭 영역의 가로 길이에 대한 확장 비율을 곱한 길이를 산출하고, 상기 산출된 길이에 대응되는 픽셀의 개수로 결정될 수 있다. 다른 예를 들어, 제1 가로 확장값 및 상기 제2 가로 확장값은 상기 제2 크롭 영역의 세로 길이에 대한 확장 비율을 곱한 길이를 산출하고, 상기 산출된 길이에 대응되는 픽셀의 개수로 결정될 수 있다.
이때, 상기 특정 비율은 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60% 중 어느 하나일 수 있다.
상기 제1 가로 확장값을 결정할 때 사용되는 확장 비율과 상기 제2 가로 확장값을 결정할 때 사용되는 확장 비율은 서로 동일할 수 있으나, 반드시 동일하여야 하는 것은 아니면, 서로 다를 수도 있다.
상기 제1 가로 확장값을 결정할 때 상기 제2 크롭 영역의 가로길이가 사용되었다면, 상기 제2 가로 확장값을 결정할 때도 상기 가로길이가 사용될 수 있으나, 반드시 이에 한정되지는 않고, 상기 제2 확장값을 결정할 때는 상기 세로길이가 사용될 수 있다.
한편, 제1 세로 확장값과 제2 세로 확장값을 결정하는 방법은 전술한 제1 확장값 및 제2 확장값을 결정하는 방법과 동일하므로 이에서는 자세한 설명을 생략한다.
제3 크롭 이미지의 생성
제3 크롭 영역이 결정되면, 결정된 제3 크롭 영역에 기초하여, 도 14에 도시된 바와 같이, 얼굴 이미지 또는 양안 이미지로부터 전술한 바와 같이 결정된 제2 크롭 영역의 내부에 포함된 픽셀들을 이용하여 제3 크롭 이미지들(제3 우안 크롭 이미지, 제3 좌안 크롭 이미지)이 생성될 수 있다.
참고로, 도 14의 (a)는 전술한 '크롭 영역 결정 #1'의 방식에 의해 크롭된 제3 크롭 이미지이고, 도 14의 (b)는 전술한 '크롭 영역 결정 #2'의 방식에 의해 크롭된 제3 크롭 이미지이다.
이하에서, 용어 "제3 우안 크롭 이미지"는 용어 "우안 눈꺼풀-포함 크롭 이미지 (right eyelid-included-cropped image)"와 혼용될 수 있으며, 용어 "제3 좌안 크롭 이미지"는 용어 "좌안 눈꺼풀-포함 크롭 이미지 (left eyelid-included-cropped image)"와 혼용될 수 있다.
아울러, 이하에서 특별한 언급없이, 용어 "제3 크롭 이미지(또는 눈꺼풀-포함 크롭 이미지)"는 제3 우안 크롭 이미지 및 제3 좌안 크롭 이미지 중 어느 하나를 의미하거나 또는 맥락에 따라 둘 모두를 의미할 수 있다.
제3 크롭 이미지는 이미지 내에 눈꺼풀에 대한 정보가 포함되도록 생성된 이미지를 의미하는 것으로, 전술한 방식과 상이한 방식에 따라 생성된 크롭 이미지라고 하여도, 눈꺼풀에 대응되는 픽셀들이 추가적으로 포함될 수 있도록 크롭 영역의 경계가 결정된 것이라면, 제3 크롭 이미지(눈꺼풀-포함 크롭 이미지)라 하여야 할 것이다.
(7) 홍채 세그멘테이션
이하에서는, 홍채 세그멘테이션에 대해 설명한다.
홍채 세그멘테이션은 안구 및 그 주변에 관한 이미지로부터 홍채 혹은 각막에 대응되는 영역을 구별해내는 모델에 의해 수행될 수 있다.
홍채 세그멘테이션을 활용하면, 도 15에 도시된 바와 같이, 이미지 내에서 홍채에 대응되는 픽셀들을 추론해낼 수 있다.
홍채 세그멘테이션을 활용하면, 도 16에 도시된 바와 같이, 이미지 내에서 외부로 노출된 홍채에 대응되는 픽셀들을 추론해낼 수 있다.
상기 홍채 세그멘테이션을 위한 모델은 얼굴 이미지를 입력 데이터로 입력받고, 얼굴 이미지 내에서 홍채에 대응되는 픽셀들이라고 추론된 픽셀들에 대해서는 '1'을 출력하고, 그 외의 픽셀들에 대해서는 '0'을 출력할 수 있다.
상기 홍채 세그멘테이션 모델은 얼굴 이미지 및 얼굴 이미지 내에서 홍채에 대응되는 픽셀의 픽셀값은 '1'이고, 나머지 픽셀들의 픽셀값은 '0'인 이미지를 포함하는 학습 데이터를 이용하여 학습될 수 있다.
다만, 얼굴 이미지를 입력 데이터로 입력받아 홍채 세그멘테이션을 하는 것으로 설명하였으나, 전술한 양안 이미지를 입력 데이터로 활용하여 홍채 세그멘테이션을 수행하는 것도 가능하다.
(8) 눈 아웃라인 (outline of eye) 세그멘테이션
이하에서는, 눈의 아웃라인 세그멘테이션에 대해 설명한다.
눈 아웃라인 세그멘테이션은 안구 및 그 주변에 관한 이미지로부터 눈의 아웃라인의 내부에 대응되는 영역을 구별해내는 모델에 의해 수행될 수 있다.
눈 아웃라인 세그멘테이션을 활용하면, 도 17에 도시된 바와 같이, 이미지 내에서 눈의 아웃라인의 내부에 대응되는 픽셀들을 추론해낼 수 있다.
상기 눈 아웃라인 세그멘테이션을 위한 모델은 얼굴 이미지를 입력 데이터로 입력받고, 얼굴 이미지 내에서 눈 아웃라인의 내부에 대응되는 픽셀들이라고 추론된 픽셀들에 대해서는 '1'을 출력하고, 그 외의 픽셀들에 대해서는 '0'을 출력할 수 있다.
상기 눈 아웃라인 세그멘테이션 모델은 얼굴 이미지 및 얼굴 이미지 내에서 눈 아웃라인의 내부에 대응되는 픽셀의 픽셀값은 '1'이고, 나머지 픽셀들의 픽셀값은 '0'인 이미지를 포함하는 학습 데이터를 이용하여 학습될 수 있다.
(9) 마스킹
제1 마스킹
본 출원에 있어서, 제1 마스킹은 이미지 내에서 결막과 눈물 언덕에 대응되는 픽셀들을 남기고 그 외의 영역들에 대응되는 픽셀값들에 반영되어 있는 정보는 제거하는 것을 의미한다.
픽셀값들에 반영되어 있는 정보를 제거한다는 것의 의미는 정보를 제거하고자 하는 픽셀들의 픽셀값들을 미리 결정된 특정값으로 변경하는 것을 의미할 수 있다. 예를 들어, 정보를 제거하고자 하는 픽셀들의 픽셀값들이 모두 0으로 변경될 수 있다.
제1 마스킹은 전술한 갑상선 안병증에 관한 임상활동점수를 예측하기 위한 예측모델들 중 결막 및 눈물언덕과 관련된 증상을 예측하기 위한 모델에 이미지를 입력하기 전에 수행될 수 있다.
제2 마스킹
본 출원에 있어서, 제2 마스킹은 이미지 내에서 외부로 노출된 각막(외부로 노출된 홍채)에 대응되는 픽셀들을 남기고 그 외의 영역들에 대응되는 픽셀값들에 반영되어 있는 정보는 제거하는 것을 의미한다.
제2 마스킹은 전술한 갑상선 안병증에 관한 임상활동점수를 예측하기 위한 예측모델들 중 눈꺼풀(상안검 및 하안검)과 관련된 증상을 예측하기 위한 모델에 이미지를 입력하기 전에 수행될 수 있다.
제1 마스킹의 방법
제1 마스킹은 얼굴 이미지, 제1 크롭 이미지(양안 이미지), 제2 크롭 이미지(아웃라인 크롭 이미지) 중 어느 하나에서 선택되는 제1 마스킹 대상 이미지에 대해 수행될 수 있다.
상기 제1 마스킹 대상 이미지, 상기 눈 아웃라인 세그멘테이션 결과 및 상기 홍채 세그멘테이션 결과에 기초하여, 제1 마스킹 이미지가 생성될 수 있다. 예를 들어, 상기 제1 마스킹 대상 이미지로부터 상기 눈 아웃라인의 내부에 대응되는 픽셀들을 제외한 나머지 픽셀들의 값 및 홍채(또는 외부로 노출된 홍채)에 대응되는 픽셀들에 대응되는 픽셀들의 값을 제거할 수 있다.
도 18은 제1 마스킹 이미지에 대한 예시적인 도면이다.
제2 마스킹의 방법
제2 마스킹은 얼굴 이미지, 제1 크롭 이미지(양안 이미지), 제3 크롭 이미지(눈꺼풀-포함 크롭 이미지) 중 어느 하나에서 선택되는 제2 마스킹 대상 이미지에 대해 수행될 수 있다.
상기 제2 마스킹 대상 이미지, 상기 눈 아웃라인 세그멘테이션 결과 및 상기 홍채 세그멘테이션 결과에 기초하여, 제2 마스킹 이미지가 생성될 수 있다. 예를 들어, 상기 제2 마스킹 대상 이미지로부터 상기 눈 아웃라인의 내부에 대응되면서 동시에 상기 홍채(또는 외부로 노출된 홍채)에 대응되는 픽셀들의 픽셀값들을 제거할 수 있다.
도 19는 제2 마스킹 이미지에 대한 예시적인 도면이다.
제1 마스킹의 다른 실시예
전술한 설명에 의하면, 제1 마스킹은 결막과 눈물언덕에 대응되는 픽셀들을 남기고 그 외의 영역들에 대응되는 픽셀들의 픽셀값들을 모두 제거하는 것으로 설명하였으나, 필요에 따라 각막(홍채)에 대응되는 픽셀들의 픽셀값들은 제거하지 않을 수 있다.
다만, 홍채의 색상은 인종에 따라 서로 다른 색상을 가질 수 있기 때문에 홍채에 대응되는 픽셀들의 픽셀값을 제거하는 것이 보다 더 빠른 학습 및 보다 더 높은 정확도를 위해 유리할 수 있다.
제2 마스킹의 선택성
전술한 설명에 의하면, 제2 마스킹은 홍채에 대응되는 픽셀들의 픽셀값들을 모두 제거하는 것으로 설명하였으나, 제2 마스킹은 아예 수행하지 않아도 무방할 수 있다.
다만, 홍채의 색상은 인종에 따라 서로 다른 색상을 가질 수 있기 때문에 제2 마스킹을 수행하여 홍채에 대응되는 픽셀들의 픽셀값을 제거하는 것이 보다 더 빠른 학습 및 보다 더 높은 정확도를 위해 유리할 수 있다.
(10) 좌우 반전
좌우 반전의 필요성
본 출원에 의해 제공되는 갑상선 안병증에 관한 임상활동점수를 예측하는 방법에 의하면, 양안 이미지를 사용하는 대신 좌안과 우안 각각에 대하여 크롭된 크롭 이미지를 사용한다.
한편, 눈의 아웃라인은 비대칭적이다. 예를 들어, 우안을 기준으로 하면, 우안의 왼쪽 끝에는 눈물언덕이 있지만 우안의 오른쪽 끝에는 상안검과 하안검이 자연스럽게 만나는 지점이 존재한다.
이에 따라서, 보다 더 빠른 학습 및 보다 더 정확한 예측을 위하여, 우안을 기준으로 학습한 학습모델과 좌안을 기준으로 학습한 학습모델을 구별하여 사용하는 것이 보다 더 효과적이다.
그러나, 좌안과 우안의 선대칭성에 기인하여, 좌안을 우안으로 반전하게 되면 우안과 좌안의 형상적 특징이 서로 유사해지게 된다.
이에 따라, 본 출원의 일 실시예에 따르면, 우안과 좌안 중 어느 하나는 좌우반전을 시키지 않은 채로 사용하고, 다른 하나는 좌우반전을 시켜서 사용하면 하나의 학습모델만 사용할 수 있게 된다.
좌우 반전의 방법
이미지를 좌우 반전시킨다(converting left and right of image)는 것은, 반전시키고자하는 이미지를 상하로 가로지르면서 이미지를 좌우로 반으로 나누고 있는 좌우 기준선이 X=a라 할 때, 이미지 내에서의 (a+△, Y) 픽셀에 제1 픽셀값이 대응되어 있고 (a-△, Y) 픽셀에 제2 픽셀값이 대응되어 있는 경우, (a+△, Y)의 픽셀값을 제1 픽셀값에서 제2 픽셀값으로 변경하고, (a-△, Y)의 픽셀값을 제2 픽셀값에서 제1 픽셀값으로 변경하는 것을 의미한다.
좌우 반전 대상 이미지
좌안에 관한 이미지와 우안에 관한 이미지 중 어느 하나의 이미지만 좌우 반전을 시키면 충분하다. 좌안 이미지와 우안 이미지 중 어느 이미지를 좌우반전 시킬 것인지는 후술할 예측모델들의 학습 시에 좌안 이미지와 우안 이미지 중 어느 이미지를 기준으로 학습되었는지 여부에 따라 결정된다.
한편, 마스킹과 크롭(제2 크롭 또는 제3 크롭)이 모두 완료된 이미지를 좌우반전시킬 수도 있으나, 크롭만 완료되고 마스킹은 완료되지 않은 이미지를 좌우반전시킬 수도 있다.
도 20 내지 도 22는 원본 이미지와 좌우 반전 이미지의 다양한 예시를 도시하는 도면들이다.
좌우 반전의 선택성
다만, 좌우 반전은 전술한 바와 같이, 좌안에 대한 예측모델과 우안에 대한 예측모델을 일원화시키기 위하여 도입되는 것이기 때문에, 만약 좌안에 대한 예측모델과 우안에 대한 예측모델을 서로 다른 모델로 구현하는 경우, 좌우 반전 전처리는 생략될 수 있다.
(11) 리사이징
리사이징의 필요성
전술한 바와 같이, 눈의 아웃라인을 기준으로 이미지를 크롭하여 사용하게 되는 경우, 사람마다 눈의 크기가 서로 달라서, 크롭된 이미지는 사람마다 서로 다른 크기를 가지게 된다.
한편, 좌안 이미지와 우안 이미지를 독립적으로 크롭하여 획득하게 되는 경우, 좌안과 우안의 크기 차이로 인해 동일한 사람의 좌안 크롭 이미지와 우안 크롭 이미지가 서로 다르다.
이러한 이유로, 후술할 예측모델에 눈 이미지를 입력하기 전에, 눈 이미지의 크기를 각 예측모델에 대응되는 표준 크기로 리사이징할 필요가 있다.
예측모델별 표준 크기
제1 예측모델 내지 제5 예측모델들 각각에 대응되어 있는 표준 크기는 서로 다를 수 있다.
제2 크롭 이미지를 인풋이미지로 사용하는 예측모델들에 대응되어 있는 표준 크기는 서로 동일할 수 있다.
제3 크롭 이미지를 인풋이미지로 사용하는 예측모델들에 대응되어 있는 표준 크기는 서로 동일할 수 있다.
제2 크롭 이미지를 인풋이미지로 사용하는 예측모델들에 대응되어 있는 표준 크기는 제3 크롭 이미지를 인풋이미지로 사용하는 예측모델들에 대응되어 있는 표준 크기와 다를 수 있다.
또는, 제1 예측모델 내지 제5 예측모델들 각각에 대응되어 있는 표준 크기는 모두 동일할 수 있다.
리사이징의 방법
리사이징 대상 이미지의 크기를 표준 크기로 조절한다.
리사이징 대상 이미지의 너비 또는 높이가 표준 크기의 너비 또는 높이 보다 더 큰 경우, 상기 리사이징 대상 이미지의 너비 또는 높이를 늘일 수 있다.
리사이징 대상 이미지의 너비 또는 높이가 표준 크기의 너비 또는 높이 보다 더 작은 경우, 상기 리사이징 대상 이미지의 너비 또는 높이를 줄일 수 있다.
리사이징 시에, 리사이징 전 이미지의 종횡비(aspect ratio)는 리사이징 후 이미지의 종횡비와 다를 수 있다.
4. 예측 모델
(1) 제1 예측모델
제1 예측모델의 목적 및 동작
제1 예측모델은 결막의 충혈 여부를 예측하기 위한 모델이다.
제1 예측모델은 눈 이미지를 입력 데이터로 받고 입력된 눈 이미지에 캡쳐된 결막이 충혈되었을 확률값을 출력할 수 있다.
제1 예측모델이 제1 좌안 예측모델 및 제1 우안 예측모델을 포함하는 경우, 상기 제1 좌안 예측모델은 좌안 이미지를 입력받아 좌안 이미지에 캡쳐된 결막이 충혈되었을 확률값을 출력하고, 상기 제1 우안 예측모델은 우안 이미지를 입력받아 우안 이미지에 캡쳐된 결막이 충혈되었을 확률값을 출력할 수 있다.
제1 예측모델이 이원화되어 있지 않고 하나의 모델로 구현된 경우, 상기 제1 예측모델은 우안 이미지와 좌안 이미지 중 하나를 입력받아 입력된 이미지에 캡쳐된 결막이 충혈되었을 확률값을 출력하고, 다른 하나를 다시 입력받아 입력된 이미지에 캡쳐된 결막이 충혈되었을 확률값을 출력할 수 있다.
상기 눈 이미지는 전술한 전처리 알고리즘들에 의해 전처리가 된 이미지일 수 있다.
예를 들어, 상기 눈 이미지는 제2 크롭에 따른 전처리가 된 이미지일 수 있다.
다른 예를 들어, 상기 눈 이미지는 제2 크롭 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제2 크롭, 제1 마스킹 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제2 크롭, 제1 마스킹, 좌우 반전 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
본 명세서에서, 제1 예측모델은 결막 충혈 예측 모델이라고 할 수 있다.
제1 예측모델의 학습
제1 예측모델을 학습시키기 위하여, 복수의 학습 데이터 셋들을 준비할 수 있다. 학습 데이터 셋은 눈 이미지 및 상기 눈 이미지에 캡쳐된 결막의 충혈에 관한 평가값을 포함할 수 있다. 상기 눈 이미지는 전술한 전처리 알고리즘에 의해 전처리가 된 이미지일 수 있다. 예를 들어, 상기 눈 이미지는 제2 크롭, 제1 마스킹 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
제1 예측모델을 학습시키기 위하여, 인공지능 모델을 준비할 수 있다.
상기 인공지능 모델은 SVM(Support Vector Machine), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet 및 Vision Transformer 등일 수 있다.
이어서, 상기 인공지능 모델에 준비된 복수의 학습 데이터 셋들에 포함된 눈 이미지들을 입력하고, 입력된 눈 이미지들 각각에 대응되는 평가값과 상기 인공지능 모델에서 출력되는 출력값을 이용하여 학습시킬 수 있다.
만약, 제1 예측모델이 제1 좌안 예측모델 및 제1 우안 예측모델을 포함하는 경우, 제1 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막의 충혈에 관한 평가값을 포함할 수 있고, 제2 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막의 충혈에 관한 평가값을 포함할 수 있다. 한편, 학습 데이터 셋들의 수를 늘리기 위하여, 제1 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막의 충혈에 관한 평가값을 포함할 수 있으며, 제1 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막의 충혈에 관한 평가값을 포함할 수 있다.
만약, 제1 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막의 충혈에 관한 평가값을 포함하거나 또는 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막의 충혈에 관한 평가값을 포함할 수 있다. 또는 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막의 충혈에 관한 평가값을 포함하거나 또는 좌우반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막의 충혈에 관한 평가값을 포함할 수 있다.
한편, 상기 제1 예측모델을 학습시킴에 있어서, 우안 이미지와 좌안 이미지의 구별없이 결막의 충혈 여부에 대한 예측을 할 수 있도록 하기 위하여 우안 이미지, 좌우 반전된 우안 이미지, 좌안 이미지 및 좌우 반전된 좌안 이미지를 모두 하나의 모델을 학습시키기 위한 학습데이터로 사용될 수 있다.
예를 들어, 제1 예측모델이 제1 좌안 예측모델 및 제1 우안 예측모델을 포함하는 경우, 제1 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막의 충혈에 관한 평가값, 좌우반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막의 충혈에 관한 평가값을 포함할 수 있고, 제1 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막의 충혈에 관한 평가값, 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막의 충혈에 관한 평가값을 포함할 수 있다.
만약, 제1 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막의 충혈에 관한 평가값, 좌우 반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막의 충혈에 관한 평가값, 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막의 충혈에 관한 평가값, 그리고 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막의 충혈에 관한 평가값을 포함할 수 있다.
(2) 제2 예측모델
제2 예측모델의 목적 및 동작
제2 예측모델은 결막의 부종 여부를 예측하기 위한 모델이다.
제2 예측모델은 눈 이미지를 입력 데이터로 받고 입력된 눈 이미지에 캡쳐된 결막에 부종이 존재할 확률값을 출력할 수 있다.
제2 예측모델이 제2 좌안 예측모델 및 제2 우안 예측모델을 포함하는 경우, 상기 제2 좌안 예측모델은 좌안 이미지를 입력받아 좌안 이미지에 캡쳐된 결막에 부종이 존재할 확률값을 출력하고, 상기 제2 우안 예측모델은 우안 이미지를 입력받아 우안 이미지에 캡쳐된 결막에 부종이 존재할 확률값을 출력할 수 있다.
제2 예측모델이 이원화되어 있지 않고 하나의 모델로 구현된 경우, 상기 제2 예측모델은 우안 이미지와 좌안 이미지 중 하나를 입력받아 입력된 이미지에 캡쳐된 결막에 부종이 존재할 확률값을 출력하고, 다른 하나를 다시 입력받아 입력된 이미지에 캡쳐된 결막에 부종이 존재할 확률값을 출력할 수 있다.
상기 눈 이미지는 전술한 전처리 알고리즘들에 의해 전처리가 된 이미지일 수 있다.
예를 들어, 상기 눈 이미지는 제2 크롭에 따른 전처리가 된 이미지일 수 있다.
다른 예를 들어, 상기 눈 이미지는 제2 크롭 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제2 크롭, 제1 마스킹 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제2 크롭, 제1 마스킹, 좌우 반전 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
본 명세서에서, 제2 예측모델은 결막 부종 예측 모델이라고 할 수 있다.
제2 예측모델의 학습
제2 예측모델을 학습시키기 위하여, 복수의 학습 데이터 셋들을 준비할 수 있다. 학습 데이터 셋은 눈 이미지 및 상기 눈 이미지에 캡쳐된 결막에 부종이 존재하는지에 관한 평가값을 포함할 수 있다. 상기 눈 이미지는 전술한 전처리 알고리즘에 의해 전처리가 된 이미지일 수 있다. 예를 들어, 상기 눈 이미지는 제2 크롭, 제1 마스킹 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
제2 예측모델을 학습시키기 위하여, 인공지능 모델을 준비할 수 있다.
상기 인공지능 모델은 SVM(Support Vector Machine), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet 및 Vision Transformer 등일 수 있다.
이어서, 상기 인공지능 모델에 준비된 복수의 학습 데이터 셋들에 포함된 눈 이미지들을 입력하고, 입력된 눈 이미지들 각각에 대응되는 평가값과 상기 인공지능 모델에서 출력되는 출력값을 이용하여 학습시킬 수 있다.
만약, 제2 예측모델이 제2 좌안 예측모델 및 제2 우안 예측모델을 포함하는 경우, 제2 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막에 부종이 존재하는지에 관한 평가값을 포함할 수 있고, 제2 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막에 부종이 존재하는지에 관한 평가값을 포함할 수 있다. 한편, 학습 데이터 셋들의 수를 늘리기 위하여, 제2 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막에 부종이 존재하는지에 관한 평가값을 포함할 수 있으며, 제2 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막에 부종이 존재하는지에 관한 평가값을 포함할 수 있다.
만약, 제2 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막에 부종이 존재하는지에 관한 평가값을 포함하거나 또는 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막에 부종이 존재하는지에 관한 평가값을 포함할 수 있다. 또는 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막에 부종이 존재하는지에 관한 평가값을 포함하거나 또는 좌우반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막에 부종이 존재하는지에 관한 평가값을 포함할 수 있다.
한편, 상기 제2 예측모델을 학습시킴에 있어서, 우안 이미지와 좌안 이미지의 구별없이 결막의 부종 여부에 대한 예측을 할 수 있도록 하기 위하여 우안 이미지, 좌우 반전된 우안 이미지, 좌안 이미지 및 좌우 반전된 좌안 이미지를 모두 하나의 모델을 학습시키기 위한 학습데이터로 사용될 수 있다.
예를 들어, 제2 예측모델이 제2 좌안 예측모델 및 제2 우안 예측모델을 포함하는 경우, 제2 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막의 부종에 관한 평가값, 좌우반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막의 부종에 관한 평가값을 포함할 수 있고, 제2 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막의 부종에 관한 평가값, 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막의 부종에 관한 평가값을 포함할 수 있다.
만약, 제2 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막의 부종에 관한 평가값, 좌우 반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 결막의 부종에 관한 평가값, 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막의 부종에 관한 평가값, 그리고 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 결막의 부종에 관한 평가값을 포함할 수 있다.
(3) 제3 예측모델
제3 예측모델의 목적 및 동작
제3 예측모델은 눈물언덕의 부종 여부를 예측하기 위한 모델이다.
제3 예측모델은 눈 이미지를 입력 데이터로 받고 입력된 눈 이미지에 캡쳐된 눈물언덕에 부종이 존재할 확률값을 출력할 수 있다.
제3 예측모델이 제3 좌안 예측모델 및 제3 우안 예측모델을 포함하는 경우, 상기 제3 좌안 예측모델은 좌안 이미지를 입력받아 좌안 이미지에 캡쳐된 눈물언덕에 부종이 존재할 확률값을 출력하고, 상기 제3 우안 예측모델은 우안 이미지를 입력받아 우안 이미지에 캡쳐된 눈물언덕에 부종이 존재할 확률값을 출력할 수 있다.
제3 예측모델이 이원화되어 있지 않고 하나의 모델로 구현된 경우, 상기 제3 예측모델은 우안 이미지와 좌안 이미지 중 하나를 입력받아 입력된 이미지에 캡쳐된 눈물언덕에 부종이 존재할 확률값을 출력하고, 다른 하나를 다시 입력받아 입력된 이미지에 캡쳐된 눈물언덕에 부종이 존재할 확률값을 출력할 수 있다.
상기 눈 이미지는 전술한 전처리 알고리즘들에 의해 전처리가 된 이미지일 수 있다.
예를 들어, 상기 눈 이미지는 제2 크롭에 따른 전처리가 된 이미지일 수 있다.
다른 예를 들어, 상기 눈 이미지는 제2 크롭 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제2 크롭, 제1 마스킹 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제2 크롭, 제1 마스킹, 좌우 반전 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
본 명세서에서, 제3 예측모델은 눈물언덕 부종 예측 모델이라고 할 수 있다.
제3 예측모델의 학습
제3 예측모델을 학습시키기 위하여, 복수의 학습 데이터 셋들을 준비할 수 있다. 학습 데이터 셋은 눈 이미지 및 상기 눈 이미지에 캡쳐된 눈물언덕에 부종이 존재하는지에 관한 평가값을 포함할 수 있다. 상기 눈 이미지는 전술한 전처리 알고리즘에 의해 전처리가 된 이미지일 수 있다. 예를 들어, 상기 눈 이미지는 제2 크롭, 제1 마스킹 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
제3 예측모델을 학습시키기 위하여, 인공지능 모델을 준비할 수 있다.
상기 인공지능 모델은 SVM(Support Vector Machine), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet 및 Vision Transformer 등일 수 있다.
이어서, 상기 인공지능 모델에 준비된 복수의 학습 데이터 셋들에 포함된 눈 이미지들을 입력하고, 입력된 눈 이미지들 각각에 대응되는 평가값과 상기 인공지능 모델에서 출력되는 출력값을 이용하여 학습시킬 수 있다.
만약, 제3 예측모델이 제3 좌안 예측모델 및 제3 우안 예측모델을 포함하는 경우, 제3 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈물언덕에 부종이 존재하는지에 관한 평가값을 포함할 수 있고, 제3 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈물언덕에 부종이 존재하는지에 관한 평가값을 포함할 수 있다. 한편, 학습 데이터 셋들의 수를 늘리기 위하여, 제3 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈물언덕에 부종이 존재하는지에 관한 평가값을 포함할 수 있으며, 제3 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈물언덕에 부종이 존재하는지에 관한 평가값을 포함할 수 있다.
만약, 제3 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈물언덕에 부종이 존재하는지에 관한 평가값을 포함하거나 또는 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈물언덕에 부종이 존재하는지에 관한 평가값을 포함할 수 있다. 또는 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈물언덕에 부종이 존재하는지에 관한 평가값을 포함하거나 또는 좌우반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈물언덕에 부종이 존재하는지에 관한 평가값을 포함할 수 있다.
한편, 상기 제3 예측모델을 학습시킴에 있어서, 우안 이미지와 좌안 이미지의 구별없이 눈물언덕의 부종 여부에 대한 예측을 할 수 있도록 하기 위하여 우안 이미지, 좌우 반전된 우안 이미지, 좌안 이미지 및 좌우 반전된 좌안 이미지를 모두 하나의 모델을 학습시키기 위한 학습데이터로 사용될 수 있다.
예를 들어, 제3 예측모델이 제3 좌안 예측모델 및 제3 우안 예측모델을 포함하는 경우, 제3 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈물언덕의 부종에 관한 평가값, 좌우반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈물언덕의 부종에 관한 평가값을 포함할 수 있고, 제3 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈물언덕의 부종에 관한 평가값, 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈물언덕의 부종에 관한 평가값을 포함할 수 있다.
만약, 제3 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈물언덕의 부종에 관한 평가값, 좌우 반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈물언덕의 부종에 관한 평가값, 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈물언덕의 부종에 관한 평가값, 그리고 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈물언덕의 부종에 관한 평가값을 포함할 수 있다.
(4) 제4 예측모델
제4 예측모델의 목적 및 동작
제4 예측모델은 눈꺼풀의 발적 여부를 예측하기 위한 모델이다.
제4 예측모델은 눈 이미지를 입력 데이터로 받고 입력된 눈 이미지에 캡쳐된 눈꺼풀 발적이 있을 확률값을 출력할 수 있다.
제4 예측모델이 제4 좌안 예측모델 및 제4 우안 예측모델을 포함하는 경우, 상기 제4 좌안 예측모델은 좌안 이미지를 입력받아 좌안 이미지에 캡쳐된 눈꺼풀 발적이 있을 확률값을 출력하고, 상기 제4 우안 예측모델은 우안 이미지를 입력받아 우안 이미지에 캡쳐된 눈꺼풀 발적이 있을 확률값을 출력할 수 있다.
제4 예측모델이 이원화되어 있지 않고 하나의 모델로 구현된 경우, 상기 제4 예측모델은 우안 이미지와 좌안 이미지 중 하나를 입력받아 입력된 이미지에 캡쳐된 눈꺼풀 발적이 있을 확률값을 출력하고, 다른 하나를 다시 입력받아 입력된 이미지에 캡쳐된 눈꺼풀 발적이 있을 확률값을 출력할 수 있다.
상기 눈 이미지는 전술한 전처리 알고리즘들에 의해 전처리가 된 이미지일 수 있다.
예를 들어, 상기 눈 이미지는 제3 크롭에 따른 전처리가 된 이미지일 수 있다.
다른 예를 들어, 상기 눈 이미지는 제3 크롭 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제3 크롭, 좌우 반전 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제3 크롭, 제2 마스킹 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제3 크롭, 제2 마스킹, 좌우 반전 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다
본 명세서에서, 제4 예측모델은 눈꺼풀 발적 예측 모델이라고 할 수 있다.
제4 예측모델의 학습
제4 예측모델을 학습시키기 위하여, 복수의 학습 데이터 셋들을 준비할 수 있다. 학습 데이터 셋은 눈 이미지 및 상기 눈 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값을 포함할 수 있다. 상기 눈 이미지는 전술한 전처리 알고리즘에 의해 전처리가 된 이미지일 수 있다. 예를 들어, 상기 눈 이미지는 제2 크롭, 제1 마스킹 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
제4 예측모델을 학습시키기 위하여, 인공지능 모델을 준비할 수 있다.
상기 인공지능 모델은 SVM(Support Vector Machine), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet 및 Vision Transformer 등일 수 있다.
이어서, 상기 인공지능 모델에 준비된 복수의 학습 데이터 셋들에 포함된 눈 이미지들을 입력하고, 입력된 눈 이미지들 각각에 대응되는 평가값과 상기 인공지능 모델에서 출력되는 출력값을 이용하여 학습시킬 수 있다.
만약, 제4 예측모델이 제4 좌안 예측모델 및 제4 우안 예측모델을 포함하는 경우, 제4 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값을 포함할 수 있고, 제2 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값을 포함할 수 있다. 한편, 학습 데이터 셋들의 수를 늘리기 위하여, 제4 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값을 포함할 수 있으며, 제4 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값을 포함할 수 있다.
만약, 제4 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값을 포함하거나 또는 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값을 포함할 수 있다. 또는 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값을 포함하거나 또는 좌우반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값을 포함할 수 있다.
한편, 상기 제1 예측모델을 학습시킴에 있어서, 우안 이미지와 좌안 이미지의 구별없이 눈꺼풀의 발적 여부에 대한 예측을 할 수 있도록 하기 위하여 우안 이미지, 좌우 반전된 우안 이미지, 좌안 이미지 및 좌우 반전된 좌안 이미지를 모두 하나의 모델을 학습시키기 위한 학습데이터로 사용될 수 있다.
예를 들어, 제4 예측모델이 제4 좌안 예측모델 및 제4 우안 예측모델을 포함하는 경우, 제4 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값, 좌우반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값을 포함할 수 있고, 제4 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값, 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값을 포함할 수 있다.
만약, 제4 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값, 좌우 반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값, 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값, 그리고 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀의 발적에 관한 평가값을 포함할 수 있다.
(5) 제5 예측모델
제5 예측모델의 목적 및 동작
제5 예측모델은 눈꺼풀의 부종 여부를 예측하기 위한 모델이다.
제5 예측모델은 눈 이미지를 입력 데이터로 받고 입력된 눈 이미지에 캡쳐된 눈꺼풀에 부종이 존재할 확률값을 출력할 수 있다.
제5 예측모델이 제5 좌안 예측모델 및 제5 우안 예측모델을 포함하는 경우, 상기 제5 좌안 예측모델은 좌안 이미지를 입력받아 좌안 이미지에 캡쳐된 눈꺼풀에 부종이 존재할 확률값을 출력하고, 상기 제5 우안 예측모델은 우안 이미지를 입력받아 우안 이미지에 캡쳐된 눈꺼풀에 부종이 존재할 확률값을 출력할 수 있다.
제5 예측모델이 이원화되어 있지 않고 하나의 모델로 구현된 경우, 상기 제5 예측모델은 우안 이미지와 좌안 이미지 중 하나를 입력받아 입력된 이미지에 캡쳐된 눈꺼풀에 부종이 존재할 확률값을 출력하고, 다른 하나를 다시 입력받아 입력된 이미지에 캡쳐된 눈꺼풀에 부종이 존재할 확률값을 출력할 수 있다.
상기 눈 이미지는 전술한 전처리 알고리즘들에 의해 전처리가 된 이미지일 수 있다.
예를 들어, 상기 눈 이미지는 제3 크롭에 따른 전처리가 된 이미지일 수 있다.
다른 예를 들어, 상기 눈 이미지는 제3 크롭 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제3 크롭, 좌우 반전 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제3 크롭, 제2 마스킹 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
또 다른 예를 들어, 상기 눈 이미지는 제3 크롭, 제2 마스킹, 좌우 반전 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
본 명세서에서, 제5 예측모델은 눈꺼풀 부종 예측 모델이라고 할 수 있다.
제5 예측모델의 학습
제5 예측모델을 학습시키기 위하여, 복수의 학습 데이터 셋들을 준비할 수 있다. 학습 데이터 셋은 눈 이미지 및 상기 눈 이미지에 캡쳐된 눈꺼풀에 부종이 존재하는지에 관한 평가값을 포함할 수 있다. 상기 눈 이미지는 전술한 전처리 알고리즘에 의해 전처리가된 이미지일 수 있다. 예를 들어, 상기 눈 이미지는 제3 크롭, 제2 마스킹 및 리사이징을 포함하는 전처리가 된 이미지일 수 있다.
제5 예측모델을 학습시키기 위하여, 인공지능 모델을 준비할 수 있다.
상기 인공지능 모델은 SVM(Support Vector Machine), Random Forest, Gradient Boosting Algorithm, ResNet, VGG, GoogLeNet, MobileNet 및 Vision Transformer 등일 수 있다.
이어서, 상기 인공지능 모델에 준비된 복수의 학습 데이터 셋들에 포함된 눈 이미지들을 입력하고, 입력된 눈 이미지들 각각에 대응되는 평가값과 상기 인공지능 모델에서 출력되는 출력값을 이용하여 학습시킬 수 있다.
만약, 제5 예측모델이 제5 좌안 예측모델 및 제5 우안 예측모델을 포함하는 경우, 제5 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀에 부종이 존재하는지에 관한 평가값을 포함할 수 있고, 제5 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀에 부종이 존재하는지에 관한 평가값을 포함할 수 있다. 한편, 학습 데이터 셋들의 수를 늘리기 위하여, 제5 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀에 부종이 존재하는지에 관한 평가값을 포함할 수 있으며, 제5 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌우반전 처리된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀에 부종이 존재하는지에 관한 평가값을 포함할 수 있다.
만약, 제5 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀에 부종이 존재하는지에 관한 평가값을 포함하거나 또는 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀에 부종이 존재하는지에 관한 평가값을 포함할 수 있다. 또는 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀에 부종이 존재하는지에 관한 평가값을 포함하거나 또는 좌우반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀에 부종이 존재하는지에 관한 평가값을 포함할 수 있다.
한편, 상기 제5 예측모델을 학습시킴에 있어서, 우안 이미지와 좌안 이미지의 구별없이 눈꺼풀의 부종 여부에 대한 예측을 할 수 있도록 하기 위하여 우안 이미지, 좌우 반전된 우안 이미지, 좌안 이미지 및 좌우 반전된 좌안 이미지를 모두 하나의 모델을 학습시키기 위한 학습데이터로 사용될 수 있다.
예를 들어, 제5 예측모델이 제5 좌안 예측모델 및 제5 우안 예측모델을 포함하는 경우, 제5 좌안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀의 부종에 관한 평가값, 좌우반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀의 부종에 관한 평가값을 포함할 수 있고, 제5 우안 예측모델을 학습시키기 위한 복수의 학습 데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀의 부종에 관한 평가값, 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀의 부종에 관한 평가값을 포함할 수 있다.
만약, 제5 예측모델을 이원화시키지 않고 하나의 모델로 구현하고자 하는 경우, 복수의 학습데이터 셋들은 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀의 부종에 관한 평가값, 좌우 반전된 우안 이미지 및 상기 우안 이미지에 캡쳐된 눈꺼풀의 부종에 관한 평가값, 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀의 부종에 관한 평가값, 그리고 좌우반전된 좌안 이미지 및 상기 좌안 이미지에 캡쳐된 눈꺼풀의 부종에 관한 평가값을 포함할 수 있다.
예측모델들의 학습은 전자기기에 의해 수행될 수 있으며, 특히 전술한 서버(20)에 의해 수행될 수 있다. 아울러, 전자기기 또는 서버(20)에 의해 예측모델들이 학습된다는 것의 의미는 입력 데이터에 대한 예측모델의 출력값이 해당 입력 데이터에 대해 라벨링되어 있는 출력값과 유사한 값을 출력하도록 만드는 일련의 과정들을 의미하며, 이를 위해 전자기기 또는 서버(20)는 예측모델의 출력값과 라벨링값들의 차이를 이용하여 예측모델에 포함되어 있는 각 노드들의 가중치(weight value)를 변경할 수 있다. 이 때, 전자기기 또는 서버(20)는 여러가지 피드백 함수들을 사용하여 각 노드들의 가중치 값의 변경량 등을 결정할 수 있다.
이하에서는, 전술한 시스템(1)을 통해서, 눈 이미지를 전처리하고, 전처리된 눈 이미지를 전술한 예측모델에 입력하여, 갑상선 안병증 임상활동점수에 관련된 각 증상에 대해 예측하는 방법, 각 증상에 대한 예측결과에 기초하여 임상활동점수를 예측하는 방법, 나아가 임상활동점수의 예측 결과를 모니터링하여 모니터링 결과에 따라 사용자에게 병원에 방문하여 검진을 받을 수 있도록 안내하거나 혹은 추천하는 방법에 대해서 설명한다.
5. 결막 충혈 예측방법
본 출원에 의해 개시되는 결막 충혈 예측 방법은 서버(20)에 의해 수행될 수 있다.
도 23은 결막 충혈 예측 방법을 설명하기 위한 흐름도이다.
도 23을 참고하면, 서버(20)는 얼굴 이미지를 획득하고(S100), 상기 획득된 얼굴 이미지를 전처리하고(S110), 상기 전처리된 이미지를 전술한 제1 예측모델(결막 충혈 예측모델)에 입력하고(S120), 상기 제1 예측모델의 출력값을 획득한다(S130).
얼굴 이미지의 획득
상기 서버(20)는 얼굴 이미지를 획득한다(S100). 상기 서버(20)는 상기 얼굴 이미지를 상기 사용자 단말기(10)로부터 획득할 수 있다.
얼굴 이미지의 전처리
상기 서버(20)는 상기 획득된 얼굴 이미지를 전처리할 수 있다(S110). 상기 서버(20)는 상기 획득된 얼굴 이미지에 전술한 홍채 세그멘테이션, 눈 아웃라인 세그멘테이션, 마스킹, 크롭 및 리사이징을 할 수 있다.
세그멘테이션 처리
상기 서버(20)는 상기 홍채 세그멘테이션 및 눈 아웃라인 세그멘테이션을 수행하고, 그 결과에 따라 상기 획득된 얼굴 이미지 내에서 홍채에 대응되는 픽셀들과 눈 아웃라인의 내부에 대응되는 픽셀들을 확인할 수 있다. 상기 서버(20)는 상기 홍채에 대응되는 픽셀들의 좌표값들 및 상기 눈 아웃라인의 내부에 대응되는 픽셀들의 좌표값들을 확인할 수 있다.
마스킹 처리
상기 서버(20)는 상기 확인된 픽셀들에 관한 정보에 기초하여, 상기 얼굴 이미지에 상기 제1 마스킹을 처리할 수 있다. 상기 서버(20)는 상기 제1 마스킹 처리를 통해 상기 얼굴 이미지에 포함된 픽셀들 중 외부로 노출된 결막 및 눈물언덕에 대응되는 픽셀들을 제외한 나머지 픽셀들의 픽셀값들을 제거할 수 있다. 이에 따라, 좌안의 결막 및 눈물언덕, 그리고 우안의 결막 및 눈물언덕에 대응되는 픽셀들의 픽셀값은 원래 픽셀값(original pixel value)으로 유지될 수 있으나, 좌안의 홍채(또는 각막), 우안의 홍채(또는 각막), 그리고 좌안의 아웃라인 외부 및 우안의 아웃라인 외부에 대응되는 픽셀들의 픽셀값은 제거되거나 다른 값으로 변경될 수 있다.
크롭 처리
상기 서버(20)는 상기 마스킹된 얼굴 이미지를 크롭할 수 있다. 상기 서버(20)는 상기 마스킹된 얼굴 이미지를 크롭하여 좌안 크롭 이미지 및 우안 크롭 이미지를 생성할 수 있다. 결막 충혈 예측 방법을 수행할 때, 상기 서버(20)는 전술한 2가지의 크롭 방법들 중 제2 크롭(눈 아웃라인 크롭) 방법을 사용할 수 있다. 제2 크롭 방법에 관해서는 이미 상세히 설명한 바 있으므로 여기서는 자세한 설명을 생략한다.
리사이징 처리 및 좌우 반전 처리
상기 서버(20)는 상기 좌안 크롭 이미지 및 상기 우안 크롭 이미지의 크기를 미리 정해진 사이즈로 리사이징 할 수 있다.
한편, 상기 제1 예측모델을 이원화시키지 않고 하나의 모델로 구현한 경우, 상기 서버(20)는 상기 좌안 크롭 이미지 및 상기 우안 크롭 이미지 중 하나를 전술한 바와 같이 좌우 반전시킬 수 있다. 상기 서버(20)는 상기 좌안 크롭 이미지 및 상기 우안 크롭 이미지 중 다른 하나는 좌우 반전시키지 않는다. 이때, 좌안 이미지와 좌안 이미지 중 어느 이미지를 좌우반전시킬지를 결정하는 기준은 상기 제1 예측모델을 학습시킬 때 적용하였던 기준과 동일한 기준으로 결정한다. 즉, 제1 예측 모델을 학습시킬 때, 좌안 이미지를 반전시키고 우안 이미지를 반전시키지 않은 경우, 이와 동일하게 상기 서버(20)는 좌안 이미지를 반전시키고 우안 이미지를 반전시키지 않는다.
만약, 전술한 바와 같이, 제1 예측모델을 구현함에 있어서, 제1 좌안 예측모델 및 제1 우안 예측모델로 이원화한 경우, 상기 서버(20)는 좌우 반전 처리를 수행하지 않을 수 있다.
한편, 전처리를 수행함에 있어서, 세그멘테이션, 마스킹 처리, 크롭 처리, 리사이징 처리, 좌우 반전 처리를 하는 것으로 설명하였으나, 각 전처리들의 순서는 본 출원에 의해 개시되는 결막 충혈 예측방법의 목적을 달성할 수 있는 범위 내에서 변경될 수 있다.
전처리된 이미지의 입력
상기 서버(20)는 상기 전처리된 이미지를 상기 제1 예측모델에 입력할 수 있다(S120).
상기 서버(20)는, 상기 제1 예측모델을 이원화시키지 않고 하나의 모델로 구현한 경우, 상기 우안 전처리 이미지 및 좌우 반전된 좌안 전처리 이미지를 순차적으로 상기 제1 예측모델에 입력한다.
만약, 제1 예측모델을 구현함에 있어서 제1 좌안 예측모델 및 제1 우안 예측모델로 이원화한 경우, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하고, 상기 우안 전처리 이미지를 상기 제1 우안 예측모델에 입력한다. 또는 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하고, 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 우안 예측모델에 입력하고, 상기 우안 전처리 이미지를 상기 제1 우안 예측모델에 입력하고, 상기 좌우 반전된 우안 전처리 이미지를 상기 제1 좌안 예측모델에 입력할 수 있다.
만약, 제1 예측모델을 구현함에 있어서, 제1 예측모델을 이원화시키지 않고 하나의 모델로 구현하면서 동시에 좌안 이미지와 우안 이미지를 구별하지 않고 결막의 충혈 여부를 판단할 수 있도록 학습된 경우, 상기 서버(20)는 상기 좌안 전처리 이미지 및 상기 우안 전처리 이미지를, 좌우반전 없이, 상기 제1 예측모델에 입력할 수 있다. 또는 상기 서버(20)는 상기 좌안 전처리 이미지, 상기 좌우 반전된 좌안 전처리 이미지, 상기 우안 전처리 이미지 및 상기 좌우 반전된 우안 전처리 이미지를 상기 제1 예측모델에 입력할 수 있다.
결막 충혈 예측 결과
상기 서버(20)는 상기 제1 예측모델로부터 출력되는 결과값을 획득할 수 있다(S130). 상기 결과값은 이미지에 캡쳐된 결막이 충혈되어있을 예측되는 확률값일 수 있다. 상기 서버(20)는 미리 정해진 쓰레숄드값(threshold value)을 기준으로 상기 예측되는 확률값이 상기 쓰레숄드값 이상이면 결막이 충혈되어 있는 것으로 판단하고, 상기 예측되는 확률값이 상기 쓰레숄드값 미만이면 결막이 충혈되어 있지 않은 것으로 판단할 수 있다.
상기 서버(20)는 좌안에 대한 예측결과와 우안에 대한 예측 결과를 모두 획득할 수 있다.
만약, 상기 서버(20)가 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하고, 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 우안 예측모델에 입력하고, 상기 우안 전처리 이미지를 상기 제1 우안 예측모델에 입력하고, 상기 좌우 반전된 우안 전처리 이미지를 상기 제1 좌안 예측모델에 입력한 경우, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 우안 예측모델에 입력하여 획득한 결과를 모두 고려하여 상기 좌안에 대한 예측 결과를 획득할 수 있다. 이때, 상기 서버(20)는 상기 우안 전처리 이미지를 상기 제1 우안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 우안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하여 획득한 결과를 모두 고려하여 상기 우안에 대한 예측 결과를 획득할 수 있다.
예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 우안 예측모델에 입력하여 획득한 결과의 평균값이 상기 쓰레숄드값 이상인지 여부에 기초하여 상기 좌안에 대한 예측 결과를 획득할 수 있다.
다른 예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 우안 예측모델에 입력하여 획득한 결과 중 어느 하나의 값이 전술한 쓰레숄드값 이상인 경우, 상기 좌안의 결막이 충혈되었다고 예측할 수 있다.
또 다른 예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 좌안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 우안 예측모델에 입력하여 획득한 결과 모두가 전술한 쓰레숄드값 이상인 경우, 상기 좌안의 결막이 충혈되었다고 예측할 수 있다.
만약, 상기 서버(20)는 상기 좌안 전처리 이미지, 상기 좌우 반전된 좌안 전처리 이미지, 상기 우안 전처리 이미지 및 상기 좌우 반전된 우안 전처리 이미지를 이원화되지 않은 상기 제1 예측모델에 입력한 경우, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과를 모두 고려하여 상기 좌안에 대한 예측 결과를 획득할 수 있다. 이때, 상기 서버(20)는 상기 우안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 우안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과를 모두 고려하여 상기 우안에 대한 예측 결과를 획득할 수 있다.
예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과의 평균값이 상기 쓰레숄드값 이상인지 여부에 기초하여 상기 좌안에 대한 예측 결과를 획득할 수 있다.
다른 예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과 중 어느 하나의 값이 전술한 쓰레숄드값 이상인 경우, 상기 좌안의 결막이 충혈되었다고 예측할 수 있다.
또 다른 예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제1 예측모델에 입력하여 획득한 결과 모두가 전술한 쓰레숄드값 이상인 경우, 상기 좌안의 결막이 충혈되었다고 예측할 수 있다.
전술한 방식은 우안의 결막 충혈 여부를 판단하는 데에도 유사하게 적용될 수 있다.
6. 결막 부종 예측방법
본 출원에 의해 개시되는 결막 부종 예측 방법은 서버(20)에 의해 수행될 수 있다.
도 24는 결막 부종 예측 방법을 설명하기 위한 흐름도이다.
도 24를 참고하면, 서버(20)는 얼굴 이미지를 획득하고(S200), 상기 획득된 얼굴 이미지를 전처리하고(S210), 상기 전처리된 이미지를 전술한 제2 예측모델(결막 부종 예측모델)에 입력하고(S220), 상기 제2 예측모델의 출력값을 획득한다(S230).
상기 결막 부종 예측방법은 제1 예측모델 대신 제2 예측모델을 사용한다는 점, 그리고 최종적으로 획득되는 결과값이 결막에 부종이 있는지 여부에 대한 예측값이라는 점을 제외하면, 결막 충혈 예측방법과 동일하거나 매우 유사하기 때문에, 자세한 설명은 생략하기로 한다.
7. 눈물언덕 부종 예측방법
본 출원에 의해 개시되는 눈물언덕 부종 예측 방법은 서버(20)에 의해 수행될 수 있다.
도 25는 눈물언덕 부종 예측 방법을 설명하기 위한 흐름도이다.
도 25를 참고하면, 서버(20)는 얼굴 이미지를 획득하고(S300), 상기 획득된 얼굴 이미지를 전처리하고(S310), 상기 전처리된 이미지를 전술한 제3 예측모델(눈물언덕 부종 예측모델)에 입력하고(S320), 상기 제3 예측모델의 출력값을 획득한다(S330).
상기 결막 부종 예측방법은 제1 예측모델 대신 제3 예측모델을 사용한다는 점을 제외하면, 결막 충혈 예측방법과 동일하거나 매우 유사하기 때문에, 자세한 설명은 생략하기로 한다.
전술한 바와 같이, 결막 충혈 예측방법, 결막 부종 예측방법 및 눈물언덕 부종 예측방법에서 사용되는 이미지의 전처리 방법은 서로 동일하고, 다만 전처리된 이미지가 입력되는 예측모델들이 서로 다를 뿐이다. 따라서, 전술한 바와 같은 이미지 전처리를 한 후, 그 이미지가 서로 다른 예측모델들에 입력될 수 있다.
다만, 본 눈물언덕 부종에 대해서는 결막 충혈 및 결막 부종의 예측방법에서 사용하는 이미지 전처리 방식과 동일한 방식이 적용되는 것으로 설명하고 있으나, 경우에 따라서는, 눈물언덕 부종을 예측하는 방법에 있어서, 다른 방식으로 전처리된 이미지가 사용될 수도 있다. 예를 들어, 홍채의 일부와 눈물언덕이 이미지에 포함되도록 크롭된 전처리 이미지를 사용할 수도 있다. 혹은 홍채는 포함되지 않고 눈물언덕과 눈물언덕이 이미지에 포함되도록 크롭된 전처리 이미지를 사용할 수도 있다.
8. 눈꺼풀 발적 예측방법
본 출원에 의해 개시되는 눈꺼풀 발적 예측 방법은 서버(20)에 의해 수행될 수 있다.
도 26은 눈꺼풀 발적 예측 방법을 설명하기 위한 흐름도이다.
도 26을 참고하면, 서버(20)는 얼굴 이미지를 획득하고(S400), 상기 획득된 얼굴 이미지를 전처리하고(S410), 상기 전처리된 이미지를 전술한 제4 예측모델(눈꺼풀 발적 예측모델)에 입력하고(S420), 상기 제4 예측모델의 출력값을 획득한다(S430).
얼굴 이미지의 획득
상기 서버(20)는 얼굴 이미지를 획득한다(S400). 상기 서버(20)는 상기 얼굴 이미지를 상기 사용자 단말기(10)로부터 획득할 수 있다.
얼굴 이미지의 전처리
상기 서버(20)는 상기 획득된 얼굴 이미지를 전처리할 수 있다(S410). 상기 서버(20)는 상기 획득된 얼굴 이미지에 전술한 홍채 세그멘테이션, 눈 아웃라인 세그멘테이션, 마스킹, 크롭 및 리사이징을 할 수 있다.
세그멘테이션 처리
상기 서버(20)는 상기 홍채 세그멘테이션 및 눈 아웃라인 세그멘테이션을 수행하고, 그 결과에 따라 상기 획득된 얼굴 이미지 내에서 홍채에 대응되는 픽셀들과 눈 아웃라인의 내부에 대응되는 픽셀들을 확인할 수 있다. 상기 서버(20)는 상기 홍채에 대응되는 픽셀들의 좌표값들 및 상기 눈 아웃라인의 내부에 대응되는 픽셀들의 좌표값들을 확인할 수 있다.
다만, 눈꺼풀 발적 예측방법을 수행함에 있어서, 후술하는 바와 같이, 별도의 마스킹 처리를 하는 경우에는 홍채 세그멘테이션을 수행하여야 하지만, 만약 별도의 마스킹 처리를 하지 않는 경우에는 홍채 세그멘테이션을 수행하지 않아도 무방하다.
마스킹 처리
상기 서버(20)는 상기 확인된 픽셀들에 관한 정보에 기초하여, 상기 얼굴 이미지에 상기 제2 마스킹을 처리할 수 있다. 상기 서버(20)는 상기 제2 마스킹 처리를 통해 상기 얼굴 이미지에 포함된 픽셀들 중 외부로 노출된 홍채(각막)에 대응되는 픽셀들의 픽셀값들을 제거할 수 있다. 이에 따라, 좌안의 홍채(각막), 그리고 우안의 홍채(각막)을 제외한 영역에 대응되는 픽셀들의 픽셀값은 원래 픽셀값(original pixel value)으로 유지될 수 있으나, 좌안의 홍채(또는 각막), 우안의 홍채(또는 각막)에 대응되는 픽셀들의 픽셀값은 제거되거나 다른 값으로 변경될 수 있다.
다만, 눈꺼풀 발적 예측방법을 수행함에 있어서, 홍채(각막)을 마스킹하는 전처리를 수행하는 것이 여러가지 측면에서 장점이 있으나, 홍채의 마스킹을 하지 않아도 무방하다.
크롭 처리
상기 서버(20)는 상기 마스킹된 얼굴 이미지를 크롭할 수 있다. 상기 서버(20)는 상기 마스킹된 얼굴 이미지를 크롭하여 좌안 크롭 이미지 및 우안 크롭 이미지를 생성할 수 있다. 결막 충혈 예측 방법을 수행할 때, 상기 서버(20)는 전술한 2가지의 크롭 방법들 중 제3 크롭(눈꺼풀을 포함하는 크롭)방법을 사용할 수 있다. 제3 크롭 방법에 관해서는 이미 상세히 설명한 바 있으므로 여기서는 자세한 설명을 생략한다.
리사이징 처리 및 좌우 반전 처리
상기 서버(20)는 상기 좌안 크롭 이미지 및 상기 우안 크롭 이미지의 크기를 미리 정해진 사이즈로 리사이징 할 수 있다.
한편, 상기 제4 예측모델을 이원화시키지 않고 하나의 모델로 구현한 경우, 상기 서버(20)는 상기 좌안 크롭 이미지 및 상기 우안 크롭 이미지 중 하나를 전술한 바와 같이 좌우 반전시킬 수 있다. 상기 서버(20)는 상기 좌안 크롭 이미지 및 상기 우안 크롭 이미지 중 다른 하나는 좌우 반전시키지 않는다. 이때, 좌안 이미지와 좌안 이미지 중 어느 이미지를 좌우반전시킬지를 결정하는 기준은 상기 제4 예측모델을 학습시킬 때 적용하였던 기준과 동일한 기준으로 결정한다. 즉, 제4 예측 모델을 학습시킬 때, 좌안 이미지를 반전시키고 우안 이미지를 반전시키지 않은 경우, 이와 동일하게 상기 서버(20)는 좌안 이미지를 반전시키고 우안 이미지를 반전시키지 않는다.
만약, 전술한 바와 같이, 제4 예측모델을 구현함에 있어서, 제4 좌안 예측모델 및 제4 우안 예측모델로 이원화한 경우, 상기 서버(20)는 좌우 반전 처리를 수행하지 않을 수 있다.
한편, 전처리를 수행함에 있어서, 세그멘테이션, 마스킹 처리, 크롭 처리, 리사이징 처리, 좌우 반전 처리를 하는 것으로 설명하였으나, 각 전처리들의 순서는 본 출원에 의해 개시되는 눈꺼풀 발적 예측방법의 목적을 달성할 수 있는 범위 내에서 변경될 수 있다.
전처리된 이미지의 입력
상기 서버(20)는 상기 전처리된 이미지를 상기 제1 예측모델에 입력할 수 있다(S420).
상기 서버(20)는, 상기 제4 예측모델을 이원화시키지 않고 하나의 모델로 구현한 경우, 상기 우안 전처리 이미지 및 좌우 반전된 좌안 전처리 이미지를 순차적으로 상기 제4 예측모델에 입력한다.
만약, 제4 예측모델을 구현함에 있어서 제4 좌안 예측모델 및 제4 우안 예측모델로 이원화한 경우, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제4 좌안 예측모델에 입력하고, 상기 우안 전처리 이미지를 상기 제4 우안 예측모델에 입력한다. 또는 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제4 좌안 예측모델에 입력하고, 상기 좌우 반전된 좌안 전처리 이미지를 상기 제4 우안 예측모델에 입력하고, 상기 우안 전처리 이미지를 상기 제4 우안 예측모델에 입력하고, 상기 좌우 반전된 우안 전처리 이미지를 상기 제4 좌안 예측모델에 입력할 수 있다.
만약, 제4 예측모델을 구현함에 있어서, 제4 예측모델을 이원화시키지 않고 하나의 모델로 구현하면서 동시에 좌안 이미지와 우안 이미지를 구별하지 않고 결막의 충혈 여부를 판단할 수 있도록 학습된 경우, 상기 서버(20)는 상기 좌안 전처리 이미지 및 상기 우안 전처리 이미지를, 좌우반전 없이, 상기 제4 예측모델에 입력할 수 있다. 또는 상기 서버(20)는 상기 좌안 전처리 이미지, 상기 좌우 반전된 좌안 전처리 이미지, 상기 우안 전처리 이미지 및 상기 좌우 반전된 우안 전처리 이미지를 상기 제4 예측모델에 입력할 수 있다.
눈꺼풀 발적 예측 결과
상기 서버(20)는 상기 제4 예측모델로부터 출력되는 결과값을 획득할 수 있다(S430). 상기 결과값은 이미지에 캡쳐된 눈꺼풀에 발적이 있을 예측되는 확률값일 수 있다. 상기 서버(20)는 미리 정해진 쓰레숄드값(threshold value)을 기준으로 상기 예측되는 확률값이 상기 쓰레숄드값 이상이면 눈꺼풀에 발적이 있는 것으로 판단하고, 상기 예측되는 확률값이 상기 쓰레숄드값 미만이면 눈꺼풀에 발적이 있지 않은 것으로 판단할 수 있다.
상기 서버(20)는 좌안에 대한 예측결과와 우안에 대한 예측 결과를 모두 획득할 수 있다.
만약, 상기 서버(20)가 상기 좌안 전처리 이미지를 상기 제4 좌안 예측모델에 입력하고, 상기 좌우 반전된 좌안 전처리 이미지를 상기 제4 우안 예측모델에 입력하고, 상기 우안 전처리 이미지를 상기 제4 우안 예측모델에 입력하고, 상기 좌우 반전된 우안 전처리 이미지를 상기 제4 좌안 예측모델에 입력한 경우, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제4 좌안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제4 우안 예측모델에 입력하여 획득한 결과를 모두 고려하여 상기 좌안에 대한 예측 결과를 획득할 수 있다. 이때, 상기 서버(20)는 상기 우안 전처리 이미지를 상기 제4 우안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 우안 전처리 이미지를 상기 제4 좌안 예측모델에 입력하여 획득한 결과를 모두 고려하여 상기 우안에 대한 예측 결과를 획득할 수 있다.
예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제4 좌안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제4 우안 예측모델에 입력하여 획득한 결과의 평균값이 상기 쓰레숄드값 이상인지 여부에 기초하여 상기 좌안에 대한 예측 결과를 획득할 수 있다.
다른 예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제4 좌안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제4 우안 예측모델에 입력하여 획득한 결과 중 어느 하나의 값이 전술한 쓰레숄드값 이상인 경우, 상기 좌안의 결막이 충혈되었다고 예측할 수 있다.
또 다른 예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제4 좌안 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제4 우안 예측모델에 입력하여 획득한 결과 모두가 전술한 쓰레숄드값 이상인 경우, 상기 좌안의 결막이 충혈되었다고 예측할 수 있다.
만약, 상기 서버(20)는 상기 좌안 전처리 이미지, 상기 좌우 반전된 좌안 전처리 이미지, 상기 우안 전처리 이미지 및 상기 좌우 반전된 우안 전처리 이미지를 이원화되지 않은 상기 제4 예측모델에 입력한 경우, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제4 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제4 예측모델에 입력하여 획득한 결과를 모두 고려하여 상기 좌안에 대한 예측 결과를 획득할 수 있다. 이때, 상기 서버(20)는 상기 우안 전처리 이미지를 상기 제4 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 우안 전처리 이미지를 상기 제4 예측모델에 입력하여 획득한 결과를 모두 고려하여 상기 우안에 대한 예측 결과를 획득할 수 있다.
예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제4 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제4 예측모델에 입력하여 획득한 결과의 평균값이 상기 쓰레숄드값 이상인지 여부에 기초하여 상기 좌안에 대한 예측 결과를 획득할 수 있다.
다른 예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제4 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제4 예측모델에 입력하여 획득한 결과 중 어느 하나의 값이 전술한 쓰레숄드값 이상인 경우, 상기 좌안의 눈꺼풀에 발적이 있다고 예측할 수 있다.
또 다른 예를 들어, 상기 서버(20)는 상기 좌안 전처리 이미지를 상기 제4 예측모델에 입력하여 획득한 결과와 상기 좌우 반전된 좌안 전처리 이미지를 상기 제4 예측모델에 입력하여 획득한 결과 모두가 전술한 쓰레숄드값 이상인 경우, 상기 좌안의 눈꺼풀에 발적이 있다고 예측할 수 있다.
전술한 방식은 우안의 눈꺼풀 발적 여부를 판단하는 데에도 유사하게 적용될 수 있다.
9. 눈꺼풀 부종 예측방법
본 출원에 의해 개시되는 눈꺼풀 부종 예측 방법은 서버(20)에 의해 수행될 수 있다.
도 27는 눈꺼풀 부종 예측 방법을 설명하기 위한 흐름도이다.
도 27을 참고하면, 서버(20)는 얼굴 이미지를 획득하고(S500), 상기 획득된 얼굴 이미지를 전처리하고(S510), 상기 전처리된 이미지를 전술한 제5 예측모델(눈꺼풀 부종 예측모델)에 입력하고(S520), 상기 제5 예측모델의 출력값을 획득한다(S530).
상기 눈꺼풀 부종 예측방법은 제4 예측모델 대신 제5 예측모델을 사용한다는 점, 그리고 최종적으로 획득되는 결과값이 눈꺼풀에 부종이 있는지 여부에 대한 예측값이라는 점을 제외하면, 눈꺼풀 발적 예측방법과 동일하거나 매우 유사하기 때문에, 자세한 설명은 생략하기로 한다.
전술한 바와 같이, 눈꺼풀 발적 예측방법 및 눈꺼풀 부종 예측방법에서 사용되는 이미지의 전처리 방법은 서로 동일하고, 다만 전처리된 이미지가 입력되는 예측모델들이 서로 다를 뿐이다. 따라서, 전술한 바와 같은 이미지 전처리를 한 후, 그 이미지가 서로 다른 예측모델들에 입력될 수 있다.
10. 갑상선 안병증에 관한 임상활동점수 예측방법
이하에서는, 본 출원에 의해 개시되는 갑상선 안병증에 관한 임상활동점수의 예측방법에 대해 설명한다.
도 28은 갑상선 안병증에 관한 임상활동점수의 예측방법을 설명하기 위한 도면이다.
서버(20)는 얼굴 이미지를 획득할 수 있다.
서버(20)는 하나의 얼굴 이미지에 대해 2가지의 서로 다른 전처리를 수행한다. 첫번째 전처리(이하, 제1 전처리)는 홍채 세그멘테이션, 눈 아웃라인 세그멘테이션, 제1 마스킹, 제2 크롭(눈 아웃라인 크롭), 리사이징 및 좌우 반전하는 것을 포함하며, 두번째 전처리(이하, 제2 전처리)는 홍채 세그멘테이션, 눈 아웃라인 세그멘테이션, 제2 마스킹, 제3 크롭(눈꺼풀 포함 크롭), 리사이징 및 좌우 반전하는 것을 포함한다. 다만, 눈꺼풀 발적 예측방법에서 설명한 바와 같이, 홍채 세그멘테이션 및 제2 마스킹은 생략될 수 있다.
서버(20)는 상기 획득된 얼굴 이미지에 대해 제1 전처리를 수행하여 제1 전처리 이미지를 획득하며, 상기 제1 전처리 이미지는 제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지를 포함한다. 이 때, 제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지 중 하나는 좌우반전처리된 이미지이다. 또한, 이미 상세하게 설명한 바와 같이, 상기 제1 전처리 이미지는 제2 크롭을 이용하여 획득되는 이미지이기 때문에, 상기 제1 전처리 이미지 내에서 눈꺼풀에 대응되는 픽셀들의 수는 최소화되어 있고 외부로 노출된 결막 및 눈물언덕에 대응되는 픽셀들이 포함되어 있다. 또한, 상기 제1 전처리 이미지는 제1 마스킹을 이용하여 획득되는 이미지이기 때문에, 홍채(또는 각막) 및 눈꺼풀(상안검, 하안검)에 대응되는 픽셀들의 픽셀값은 제거되어 있으나, 외부로 노출된 결막 및 눈물언덕에 대응되는 픽셀들의 픽셀값은 유지되어 있다.
또한, 서버(20)는 상기 획득된 얼굴 이미지에 대해 제2 전처리를 수행하여 제2 전처리 이미지를 획득하며, 상기 제2 전처리 이미지는 제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지를 포함한다. 이 때, 상기 제1 좌안 전처리 이미지 및 제2 우안 전처리 이미지 중 하나는 좌우반전처리된 이미지이다. 또한, 이미 상세하게 설명한 바와 같이, 상기 제2 전처리 이미지는 제3 크롭을 이용하여 획득되는 이미지이기 때문에, 상기 제2 전처리 이미지는 눈꺼풀에 대응되는 픽셀들을 충분히 포함하고 있다. 또한, 상기 제2 전처리 이미지를 획득할 때, 제2 마스킹 방법이 이용된 경우, 홍채(또는 각막) 및 눈꺼풀(상안검, 하안검)에 대응되는 픽셀들의 픽셀값은 제거되어있을 수 있다.
서버(20)는 상기 제1 전처리 이미지(제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지)를 제1 예측모델에 순차적으로 입력한다. 서버(20)는 제1 좌안 전처리 이미지에 대한 제1 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 왼쪽 눈에 대한 결막 충혈 여부에 대해서 판단한다. 아울러, 서버(20)는 제1 우안 전처리 이미지에 대한 제1 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 오른쪽 눈에 대한 결막 충혈 여부에 대해서 판단한다.
서버(20)는 왼쪽 눈에 대한 판단결과와 오른쪽 눈에 대한 판단결과를 종합하여, 최종적으로 양쪽 눈에 대한 결막 충혈여부를 판단한다. 예를 들어, 왼쪽 눈과 오른쪽 눈 중 하나 이상에 대해 결막 충혈이 있다고 판단된 경우, 서버(20)는 최종적으로 결막 충혈이 있다고 판단한다.
이어서, 서버(20)는 서버(20)는 상기 제1 전처리 이미지(제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지)를 제2 예측모델에 순차적으로 입력한다. 서버(20)는 제1 좌안 전처리 이미지에 대한 제2 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 왼쪽 눈에 대한 결막 부종 여부에 대해서 판단한다. 아울러, 서버(20)는 제1 우안 전처리 이미지에 대한 제2 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 오른쪽 눈에 대한 결막 부종 여부에 대해서 판단한다.
서버(20)는 왼쪽 눈에 대한 판단결과와 오른쪽 눈에 대한 판단결과를 종합하여, 최종적으로 양쪽 눈에 대한 결막 부종 여부를 판단한다. 예를 들어, 왼쪽 눈과 오른쪽 눈 중 하나 이상에 대해 결막 부종이 있다고 판단된 경우, 서버(20)는 최종적으로 결막 부종이 있다고 판단한다.
계속하여, 서버(20)는 서버(20)는 상기 제1 전처리 이미지(제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지)를 제3 예측모델에 순차적으로 입력한다. 서버(20)는 제1 좌안 전처리 이미지에 대한 제3 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 왼쪽 눈에 대한 눈물언덕 부종 여부에 대해서 판단한다. 아울러, 서버(20)는 제1 우안 전처리 이미지에 대한 제3 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 오른쪽 눈에 대한 눈물언덕 부종 여부에 대해서 판단한다.
서버(20)는 왼쪽 눈에 대한 판단결과와 오른쪽 눈에 대한 판단결과를 종합하여, 최종적으로 양쪽 눈에 대한 눈물언덕 부종 여부를 판단한다. 예를 들어, 왼쪽 눈과 오른쪽 눈 중 하나 이상에 대해 눈물언덕 부종이 있다고 판단된 경우, 서버(20)는 최종적으로 눈물언덕 부종이 있다고 판단한다.
서버(20)는 상기 제2 전처리 이미지(제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지)를 제4 예측모델에 순차적으로 입력한다. 서버(20)는 제2 좌안 전처리 이미지에 대한 제4 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 왼쪽 눈에 대한 눈꺼풀 발적 여부에 대해서 판단한다. 아울러, 서버(20)는 제2 우안 전처리 이미지에 대한 제4 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 오른쪽 눈에 대한 눈꺼풀 발적 여부에 대해서 판단한다.
서버(20)는 왼쪽 눈에 대한 판단결과와 오른쪽 눈에 대한 판단결과를 종합하여, 최종적으로 양쪽 눈에 대한 눈꺼풀 발적 여부를 판단한다. 예를 들어, 왼쪽 눈과 오른쪽 눈 중 하나 이상에 대해 눈꺼풀 발적이 있다고 판단된 경우, 서버(20)는 최종적으로 눈꺼풀 발적이 있다고 판단한다.
서버(20)는 상기 제2 전처리 이미지(제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지)를 제5 예측모델에 순차적으로 입력한다. 서버(20)는 제2 좌안 전처리 이미지에 대한 제5 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 왼쪽 눈에 대한 눈꺼풀 부종 여부에 대해서 판단한다. 아울러, 서버(20)는 제2 우안 전처리 이미지에 대한 제5 예측모델의 결과값(확률값)을 획득하고, 그에 기초하여 오른쪽 눈에 대한 눈꺼풀 부종 여부에 대해서 판단한다.
서버(20)는 왼쪽 눈에 대한 판단결과와 오른쪽 눈에 대한 판단결과를 종합하여, 최종적으로 양쪽 눈에 대한 눈꺼풀 부종 여부를 판단한다. 예를 들어, 왼쪽 눈과 오른쪽 눈 중 하나 이상에 대해 눈꺼풀 부종이 있다고 판단된 경우, 서버(20)는 최종적으로 눈꺼풀 부종이 있다고 판단한다.
서버(20)는 예측모델에 의해서 증상이 있다고 판단된 경우에는, 해당 증상에 대해 미리 정해진 점수(예를 들어, 1점)을 부여할 수 있고, 서버는 5개의 예측모델들에 대한 판단 결과에 따라 5가지 증상 각각에 대한 점수를 부여할 수 있고, 또한 이 점수들을 모두 더한 값을 획득할 수 있다.
전술한 본 출원에 의해 개시되는 갑상선 안병증 임상활동점수 예측방법은 서버(20)에 의해서 수행되는 것으로 설명하였다. 그러나, 전술한 방법은 사용자 단말기(10)에서 수행될 수도 있다. 또는 전술한 방법들 중 전처리는 사용자 단말기(10)에서 수행되고 각 증상들에 대한 판단은 서버에 의해 수행될 수도 있다. 즉, 전술한 단계들은 사용자 단말기(10)와 서버(20)에 적절하게 분산되어 실시될 수 있다.
11. 갑상선 안병증에 관한 임상활동점수의 지속적인 모니터링에 기초한 병원 방문 추천 방법
이하에서는, 본 출원에 의해 개시되는 갑상선 안병증에 관한 임상활동점수의 지속적인 모니터링 방법 및 이에 기초한 병원 방문 추천 방법에 대해 설명한다.
도 29는 본 출원에 의해 개시되는 갑상선 안병증에 관한 임상활동점수의 지속적인 모니터링 방법 및 이에 기초한 병원 방문 추천 방법을 설명하기 위한 도면이다.
사용자 단말기(10)는 디스플레이(112)를 통해 얼굴 이미지 획득을 위한 가이드를 출력할 수 있다(S600).
사용자 단말기(10)는 카메라(140)를 통해 실시간으로 캡쳐되는 이미지(예를 들어, 사용자의 얼굴을 반영하는 이미지)를 상기 디스플레이(112)를 통해 출력할 수 있으며, 이때 상기 가이드를 함께 출력할 수 있다.
사용자 단말기(10)는 카메라(140)를 통해 사용자의 얼굴에 대한 얼굴 이미지를 획득할 수 있다(S610).
사용자 단말기(10)는 상기 획득된 얼굴 이미지를 상기 서버(20)로 전송할 수 있다(S620).
사용자 단말기(10)는 갑상선 안병증에 대한 임상활동점수를 판단함에 있어서 고려되는 총 7가지의 항목들 중 구후부의 자발적인 통증 (Spontaneous retrobulbar pain) 및 안구운동 시 통증 (Pain on attempted upward or downward gaze)에 대한 사용자 입력을 받기 위한 그래피컬 유저 인터페이스(graphical user interface, GUI)를 상기 디스플레이를 통해 출력할 수 있다. 이어서, 사용자 단말기(10)는 상기 2가지 항목에 대한 사용자의 응답을 입력받을 수 있다(S630). 사용자 단말기(10)는 상기 입력된 사용자의 응답에 기초하여, 각 항목들에 대해 미리 정해진 점수(예를 들어, 1점)을 부여할 수 있다. 예를 들어, 사용자가 구후부의 자발적인 통증이 있다고 입력한 경우, 상기 사용자 단말기(10)는 해당 항목에 대해 1점을 부여할 수 있으며, 또한 사용자가 안구운동 시 통증이 있다고 입력한 경우, 상기 사용자 단말기(10)는 해당 항목에 대해 1점을 부여할 수 있다.
사용자 단말기(10)는 상기 획득된 얼굴 이미지에 기초하여, 갑상선 안병증에 대한 임상활동점수를 판단함에 있어서 고려되는 총 7가지의 항목들 중 결막의 충혈 (Redness of conjunctiva), 결막의 부종 (Swelling of conjunctiva), 눈물언덕의 부종 (Swelling of lacrimal caruncle), 눈꺼풀의 발적 (Redness of eyelid) 및 눈꺼풀의 부종 (Swelling of eyelid)에 대한 판단결과 또는 이들에 대한 합산 점수를 상기 서버(20)로부터 수신할 수 있다(S640).
사용자 단말기(10)는 사용자 입력에 의해 결정된 점수와 서버(20)로부터 수신한 점수 또는 서버로부터 수신한 판단결과에 기초하여 결정된 점수에 기초하여, 최종적인 갑상선 안병증에 대한 임상활동점수를 산출할 수 있다(S650).
사용자 단말기(10)는 상기 사용자의 얼굴 이미지를 획득한 시각 또는 상기 최종적인 갑상선 안병증에 대한 임상활동점수의 산출값이 획득된 시각 또는 이에 준하는 시각(이하, 측정 시각, yy/mm/dd, hh:mm)을 상기 산출된 임상활동점수와 함께 메모리(130)에 저장할 수 있다. 또는 사용자 단말기(10)는 전술한 측정 시각과 그에 대응되는 임상활동점수를 상기 서버(20)에 전송할 수 있다. 이때, 서버(20)는 상기 측정 시각 및 임상활동점수를 상기 사용자 단말기(10) 또는 상기 사용자에 대응하여 저장할 수 있다(S660).
한편, 상기 측정 시각은 일자(date)에 대한 정보를 포함한다. 상기 측정 시각은 일자(date)에 대한 정보와 시(hour) 및/또는 분(minute)에 관한 정보를 모두 가지고 있을 수도 있고, 상기 측정 시각은 일자(date)에 대한 정보만을 가지고 있고, 시(hour) 또는 분(minute)에 관한 정보는 포함하고 있지 않을 수도 있다.
사용자 단말기(10)는 상기 산출된 임상활동점수에 기초하여, 사용자에게 병원 방문 및 정밀 검진을 받을 것을 추천하는 정보를 상기 디스플레이(112)를 통해 출력할 수 있다(S670).
사용자 단말기(10)는 상기 산출된 임상활동점수가 3점 미만인 경우에는, 갑상선 안병증에 대한 위험이 없다는 취지의 정보를 상기 디스플레이(112)를 통해 출력할 수 있다.
사용자 단말기(10)는 상기 산출된 임상활동점수가 3점 또는 4점인 경우에는, 선택적으로 갑상선 안병증에 대한 위험이 없다는 취지의 정보를 상기 디스플레이(112)를 통해 출력하거나 또는 사용자에게 병원 방문 및 정밀 검진을 받을 것을 추천하는 정보를 상기 디스플레이(112)를 통해 출력할 수 있다.
사용자 단말기(10)는 상기 산출된 임상활동점수가 5점이상인 경우에는, 사용자에게 병원 방문 및 정밀 검진을 받을 것을 추천하는 정보를 상기 디스플레이(112)를 통해 출력할 수 있다.
상기 산출된 임상활동점수가 3점 또는 4점인 경우에는, 해당 시점을 기준으로 미리 정해진 기간(예를 들어, 1주일) 이전에 측정된 임상활동점수를 확인하고, 해당 구간(이하, 모니터링 구간) 동안 임상활동점수가 3점 또는 4점이었던 적이 있는지 여부가 확인될 수 있다. 이때, 만약 모니터링 구간 동안 3점 또는 4점이었던 적이 한번 이상인 경우, 사용자 단말기(10)는 사용자에게 병원 방문 및 정밀 검진을 받을 것을 추천하는 정보를 상기 디스플레이(112)를 통해 출력하며, 모니터링 구간 동안 3점 또는 4점이었던 적이 없는 경우, 사용자 단말기(10)는 갑상선 안병증에 대한 위험이 없다는 취지의 정보를 상기 디스플레이(112)를 통해 출력한다.
다만, 사용자 단말기(10)는 상기 산출된 임상활동점수가 3점 이상인 경우에는, 과거 이력에 대한 추가 판단 없이, 사용자에게 병원 방문 및 정밀 검진을 받을 것을 추천하는 정보를 상기 디스플레이(112)를 통해 출력할 수 있다.
전술한 바에 의하면, 상기 사용자 단말기(10)를 통해 사용자에게 정보를 출력함에 있어서, 디스플레이(112)를 통해 시각적으로 정보를 출력하는 것을 예시하여 설명하였으나, 경우에 따라서 상기 정보는 스피커 등을 통해 청각적으로 출력될 수 있다.
아울러, 전술한 본 출원에 의해 개시되는 갑상선 안병증에 관한 임상활동점수의 지속적인 모니터링 방법 및 이에 기초한 병원 방문 추천 방법은 사용자 단말기(10)에 의해서 수행되는 것으로 설명하였다. 그러나, 전술한 방법의 각 단계들은 사용자 단말기(10)와 서버(20)에 적절하게 분산되어 실시될 수 있다. 예를 들어, 측정 시각 및 임상활동점수가 서버(20)에 전송되어 저장되어 있는 경우, 모니터링 구간에 3점 또는 4점이 있었는지 여부를 판단하는 것은 서버(20)에 의해 수행될 수 있다.
12. 실험예 #1
(1) 얼굴 이미지의 준비
1,020 장의 얼굴 이미지를 준비하였다. 얼굴 이미지 각각은 좌안과 우안을 모두 포함하는 이미지이며, 미리 정해진 촬영 구도에 따라서 촬영된 이미지이다.
(2) 얼굴 이미지에 대한 라벨링 정보 확보
1,020 장의 얼굴 이미지 각각에 대하여, 좌안에 대한 결막 충혈, 결막 부종, 눈물언덕 부종, 눈꺼풀 발적 및 눈꺼풀 부종에 대한 정보 및 우안에 대한 결막 충혈, 결막 부종, 눈물언덕 부종, 눈꺼풀 발적 및 눈꺼풀 부종에 대한 정보를 확보하였고, 이 데이터들을 라벨링 데이터로 활용하였다.
1,020개의 데이터세트들 중 714개를 학습데이터 세트(training set)로, 102개를 밸리데이션 세트(validation set)로, 204개를 검증 세트(test set)로 사용하였다.
또한, 1,020개를 학습데이터 세트, 밸리데이션 세트, 검증 세트로 나누는 것을 랜덤하게 30번을 수행하였으며, 이에 따라, 제1 학습데이터 세트 그룹 내지 제30 학습데이터 세트 그룹이 생성되었다.
(3) 얼굴 이미지에 대한 제1 전처리 이미지 및 제2 전처리 이미지 확보
1,020 장의 얼굴 이미지 각각에 대하여, 좌안과 우안 각각에 대하여 전술한 방식으로 제1 크롭 처리(눈 아웃라인 크롭)를 하여, 제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지를 확보하였다. 이때, 제1 우안 전처리 이미지는 좌우반전된 이미지를 사용하였고, 제1 좌안 전처리 이미지는 좌우반전되지 않은 이미지를 사용하였다. 한편, 이때 제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지는 모두 전술한 제1 마스킹 처리를 한 이미지들이었다.
1,020 장의 얼굴 이미지 각각에 대하여, 좌안과 우안 각각에 대하여 전술한 방식으로 제2 크롭 처리(눈꺼풀 포함 크롭)를 하여, 제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지를 확보하였다. 이때, 제2 우안 전처리 이미지는 좌우반전된 이미지를 사용하였고, 제2 좌안 전처리 이미지는 좌우반전되지 않은 이미지를 사용하였다. 한편, 이때 제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지는 모두 마스킹처리를 하지 않은 이미지들이었다.
(4) 실험예 #1에 따른 제1 내지 제5 예측모델들의 학습
확보된 제1 전처리 이미지들 및 이들에 대해 확보된 라벨링 정보들, 그리고 확보된 제2 전처리 이미지들 및 이들에 대해 확보된 라벨링 정보들을 이용하여 제1 내지 제5예측모델들의 학습을 수행하였다.
예측모델은 전술한 ViT을 백본 아키텍쳐로 사용한 모델을 사용하였으며, 각 예측모델들은 좌안 예측모델과 우안 예측모델을 분리하지 않고 하나의 모델로 일원화하여 학습시켰다.
(5) 예측모델들을 이용한 각 증상에 대한 예측 결과의 획득
학습된 제1 내지 제5 예측모델들에 대해 검증 데이터 세트들을 이용하여 예측 결과를 획득하였다. 이때, 우안 이미지는 좌우반전 시킨 전처리 이미지를 사용하였고, 좌안 이미지는 좌우반전되지 않은 전처리 이미지를 사용하였다.
(6) 실험예 #1에 따른 눈꺼풀 발적 예측모델의 정확도, 민감도(Sensitivity), 특이도(Specificity), 양성 예측도(Positive Predictive Value, PPV) 및 음성 예측도(Negative Predictive Value, NPV)
[표1]에 나타낸 값들은 전술한 실험예 #1에 따라 30개의 데이터세트 그룹들 각각에 대해 학습한 제1 내지 제5 예측모델들에 대해 측정된 정확도, 민감도, 특이도, PPV, NPV의 평균값들이다.
정확도(%) 민감도(%) 특이도(%) PPV(%) NPV(%)
결막 충혈
(제1 예측 모델)		 80.80 86.84 76.40 73.58 89.10
결막 부종
(제2 예측모델)		 89.12 42.18 94.82 50.39 93.15
눈물언덕 부종
(제3 예측모델)		 88.14 55.54 92.52 53.14 93.96
눈꺼풀 발적
(제4 예측모델)		 72.42 73.94 71.55 59.10 84.17
눈꺼풀 부종
(제5 예측모델)		 81.29 86.38 53.52 91.16 43.59
13. 실험예 #2
(1) 얼굴 이미지의 준비
실험예 #1에서 사용한 얼굴 이미지를 그대로 사용하였다.
(2) 얼굴 이미지에 대한 라벨링 정보 확보
실험예 #1에서 사용한 얼굴 이미지에 대한 라벨링 정보들을 그대로 활용하였다.
(3) 얼굴 이미지에 대한 제1 전처리 이미지 및 제2 전처리 이미지 확보
1,020 장의 얼굴 이미지 각각에 대하여, 좌안과 우안 각각에 대하여 전술한 방식으로 제1 크롭 처리(눈 아웃라인 크롭)를 하여, 제1 전처리 이미지들을 확보하였다. 실험예 #1과 달리, 좌우반전 되지 않은 제1 좌안 전처리 이미지, 좌우반전된 제1 좌안 전처리 이미지, 좌우반전 되지 않은 제1 우안 전처리 이미지 및 좌우반전된 제1 우안 전처리 이미지를 모두 확보하고, 이들을 학습하는 데에 사용하였다. 이때 제1 좌안 전처리 이미지 및 제1 우안 전처리 이미지는 모두 전술한 제1 마스킹 처리를 한 이미지들이었다.
1,020 장의 얼굴 이미지 각각에 대하여, 좌안과 우안 각각에 대하여 전술한 방식으로 제2 크롭 처리(눈꺼풀 포함 크롭)를 하여, 제2 전처리 이미지들을 확보하였다. 실험예 #1과 달리, 좌우반전 되지 않은 제2 좌안 전처리 이미지, 좌우반전된 제2 좌안 전처리 이미지, 좌우반전 되지 않은 제2 우안 전처리 이미지 및 좌우반전된 제2 우안 전처리 이미지를 모두 확보하고, 이들을 학습하는 데에 사용하였다. 이때 제2 좌안 전처리 이미지 및 제2 우안 전처리 이미지는 모두 마스킹처리를 하지 않은 이미지들이었다.
(4) 실험예 #2에 따른 제1 내지 제5 예측모델들의 학습
확보된 제1 전처리 이미지들 및 이들에 대해 확보된 라벨링 정보들, 그리고 확보된 제2 전처리 이미지들 및 이들에 대해 확보된 라벨링 정보들을 이용하여 제1 내지 제5예측모델들의 학습을 수행하였다.
예측모델은 전술한 ViT을 백본 아키텍쳐로 사용한 모델을 사용하였으며, 각 예측모델들은 좌안 예측모델과 우안 예측모델로 이원화 하여 학습시켰다. 특히, 좌안 예측모델들을 학습시킬 때, 좌우반전되지 않은 좌안 전처리 이미지와 좌우반전된 우안 전처리 이미지를 사용하였고, 우안 예측모델들을 학습시킬 때, 좌우반전되지 않은 우안 전처리 이미지와 좌우반전된 좌안 전처리 이미지를 사용하였다.
(5) 예측모델들을 이용한 각 증상에 대한 예측 결과의 획득
학습된 제1 내지 제5 예측모델들에 대해 검증 데이터 세트들을 이용하여 예측 결과를 획득하였다. 이때, 우안에 대한 예측 결과는 각 우안 예측모델들에 좌우반전 하지 않은 우안 전처리 이미지를 입력하여 획득하였고, 좌안에 대한 예측 결과는 각 좌안 예측모델들에 좌우반전하지 않은 좌안 전처리 이미지를 입력하여 획득하였다.
(6) 실험예 #2에 따른 눈꺼풀 발적 예측모델의 정확도, 민감도(Sensitivity), 특이도(Specificity), 양성 예측도(Positive Predictive Value, PPV) 및 음성 예측도(Negative Predictive Value, NPV)
[표2]에 나타낸 값들은 전술한 실험예 #2에 따라 30개의 데이터세트 그룹들 각각에 대해 학습한 제1 내지 제5 예측모델들에 대해 측정된 정확도, 민감도, 특이도, PPV, NPV의 평균값들이다.
정확도(%) 민감도(%) 특이도(%) PPV(%) NPV(%)
결막 충혈
(제1 예측 모델)		 79.54 87.26 73.99 71.84 89.19
결막 부종
(제2 예측모델)		 89.22 45.04 94.61 52.53 93.48
눈물언덕 부종
(제3 예측모델)		 88.35 49.51 93.70 55.48 93.20
눈꺼풀 발적
(제4 예측모델)		 76.13 70.65 79.08 64.63 83.86
눈꺼풀 부종
(제5 예측모델)		 81.47 86.51 54.44 91.22 44.62
1: 시스템
10: 사용자 단말기
20: 서버

Claims (8)

  1. 결막 충혈 예측 모델, 결막 부종 예측 모델, 눈물언덕 부종 예측 모델, 눈꺼풀 발적 예측 모델 및 눈꺼풀 부종 예측 모델을 준비하고,
    대상의 얼굴 이미지를 획득하고,
    상기 얼굴 이미지로부터 제1 처리된 이미지(first processed image) 및 제2 처리된 이미지(second processed image)를 획득하고 - 이때, 상기 제1 처리된 이미지는 상기 제2 처리된 이미지와 상이함 -,
    상기 제1 처리된 이미지를 상기 결막 충혈 예측 모델, 상기 결막 부종 예측 모델 및 상기 눈물언덕 부종 예측 모델에 입력하여 결막 충혈, 결막 부종 및 눈물언덕 부종 각각에 대한 예측값들을 획득하고,
    상기 제2 처리된 이미지를 상기 눈꺼풀 발적 예측 모델 및 상기 눈꺼풀 부종 예측 모델에 입력하여 눈꺼풀 발적 및 눈꺼풀 부종 각각에 대한 예측값들을 획득하고,
    상기 결막 충혈에 대한 상기 예측값, 상기 결막 부종에 대한 상기 예측값, 상기 눈물언덕 부종에 대한 상기 예측값, 상기 눈꺼풀 발적에 대한 상기 예측값 및 상기 눈꺼풀 부종에 대한 상기 예측값에 기초하여, 상기 대상이 갑상선 안병증 (thyroid eye disease)을 가지고 있을 가능성(possibility)을 판단하는 것을 포함하고,
    상기 제1 처리된 이미지는 상기 눈의 아웃라인에 대응되는 픽셀들의 위치 정보 및 상기 눈에 포함된 홍채의 아웃라인에 대응되는 픽셀들의 위치정보에 기초하여, 상기 눈의 아웃라인의 외부 및 상기 홍채의 아웃라인의 내부에 대응되는 영역들을 마스킹하고 상기 눈의 아웃라인을 포함하는 제1 영역을 따라서 크로핑된 이미지이며,
    상기 제2 처리된 이미지는 상기 눈의 아웃라인에 대응되는 픽셀들의 위치 정보 및 상기 눈에 포함된 홍채의 아웃라인에 대응되는 픽셀들의 위치정보에 기초하여, 상기 제1 영역 보다 더 넓게 확장된 제2 영역을 따라서 크로핑된 이미지인
    컴퓨터로 실행가능한 갑상선 안병증의 예측방법.
  2. 제1항에 있어서,
    상기 눈의 아웃라인에 대응되는 픽셀들의 위치정보 및 상기 눈에 포함된 홍채의 아웃라인에 대응되는 픽셀들의 위치정보는 세그멘테이션 모델에 의해 획득되는
    컴퓨터로 실행가능한 갑상선 안병증의 예측방법.
  3. 제1항에 있어서,
    상기 제1 처리된 이미지는 제1 처리된 좌안 이미지(first processed left eye image) 및 제1 처리된 우안 이미지(first processed right eye image)를 포함하며,
    상기 제2 처리된 이미지는 제2 처리된 좌안 이미지(second processed left eye image) 및 제2 처리된 우안 이미지(second processed right eye image)를 포함하는
    컴퓨터로 실행가능한 갑상선 안병증의 예측방법.
  4. 제3항에 있어서,
    상기 결막 충혈 예측 모델은 좌안 결막 충혈 예측 모델 및 우안 결막 충혈 예측 모델을 포함하고,
    상기 결막 부종 예측 모델은 좌안 결막 부종 예측 모델 및 우안 결막 부종 예측 모델을 포함하며,
    상기 눈물언덕 부종 예측 모델은 좌안 눈물언덕 부종 예측 모델 및 우안 눈물언덕 부종 예측 모델을 포함하고,
    상기 눈꺼풀 발적 예측 모델은 좌안 눈꺼풀 발적 예측 모델 및 우안 눈꺼풀 발적 예측 모델을 포함하며,
    상기 눈꺼풀 부종 예측 모델은 좌안 눈꺼풀 부종 예측 모델 및 우안 눈꺼풀 부종 예측 모델을 포함하는
    컴퓨터로 실행가능한 갑상선 안병증의 예측방법.
  5. 제4항에 있어서,
    상기 결막 충혈에 대한 상기 예측값은 상기 제1 전처리된 좌안 이미지를 상기 좌안 결막 충혈 모델에 입력하여 획득한 결과와 상기 제1 전처리된 우안 이미지를 상기 우안 결막 충혈 모델에 입력하여 획득한 결과에 기초하여 결정되고,
    상기 결막 부종에 대한 상기 예측값은 상기 제1 전처리된 좌안 이미지를 상기 좌안 결막 부종 모델에 입력하여 획득한 결과와 상기 제1 전처리된 우안 이미지를 상기 우안 결막 부종 모델에 입력하여 획득한 결과에 기초하여 결정되고,
    상기 눈물언덕 부종에 대한 상기 예측값은 상기 제1 전처리된 좌안 이미지를 상기 좌안 눈물언덕 부종 모델에 입력하여 획득한 결과와 상기 제1 전처리된 우안 이미지를 상기 우안 눈물언덕 부종 모델에 입력하여 획득한 결과에 기초하여 결정되고,
    상기 눈꺼풀 발적에 대한 상기 예측값은 상기 제2 전처리된 좌안 이미지를 상기 좌안 눈꺼풀 발적 모델에 입력하여 획득한 결과와 상기 제2 전처리된 우안 이미지를 상기 우안 눈꺼풀 발적 모델에 입력하여 획득한 결과에 기초하여 결정되며,
    상기 눈꺼풀 부종에 대한 상기 예측값은 상기 제2 전처리된 좌안 이미지를 상기 좌안 눈꺼풀 부종 모델에 입력하여 획득한 결과와 상기 제2 전처리된 우안 이미지를 상기 우안 눈꺼풀 부종 모델에 입력하여 획득한 결과에 기초하여 결정되는
    컴퓨터로 실행가능한 갑상선 안병증의 예측방법.
  6. 제3항에 있어서,
    상기 제1 처리된 좌안 이미지(first processed left eye image) 및 상기 제1 처리된 우안 이미지(first processed right eye image) 중 하나를 좌우 반전 처리하고,
    상기 제2 처리된 좌안 이미지(second processed left eye image) 및 상기 제2 처리된 우안 이미지(second processed right eye image) 중 하나를 좌우 반전 처리하는 것을 더 포함하는
    컴퓨터로 실행가능한 갑상선 안병증의 예측방법.
  7. 제6항에 있어서,
    상기 결막 충혈에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 결막 충혈 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되고,
    상기 결막 부종에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 결막 부종 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되고,
    상기 눈물언덕 부종에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 눈물언덕 부종 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되고,
    상기 눈꺼풀 발적에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 눈꺼풀 발적 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되고,
    상기 눈꺼풀 부종에 대한 상기 예측값은 상기 좌우 반전 처리된 이미지와 좌우 반전 처리되지 않은 이미지를 상기 눈꺼풀 부종 모델에 각각 입력하여 획득한 결과값들에 기초하여 결정되는
    컴퓨터로 실행가능한 갑상선 안병증의 예측방법.
  8. 제3항에 있어서,
    상기 제1 처리된 좌안 이미지(first processed left eye image) 및 상기 제1 처리된 우안 이미지(first processed right eye image)를 리사이징하고,
    상기 제2 처리된 좌안 이미지(second processed left eye image) 및 상기 제2 처리된 우안 이미지(second processed right eye image)를 리사이징하는 것을 더 포함하는
    컴퓨터로 실행가능한 갑상선 안병증의 예측방법.
PCT/KR2022/009356 2021-06-30 2022-06-29 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템 WO2023277589A1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN202280059381.3A CN117897780A (zh) 2021-06-30 2022-06-29 用于活动期甲状腺眼病医疗的医院就诊指导方法及其执行系统
JP2023571557A JP7525851B2 (ja) 2021-06-30 2022-06-29 活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム
EP22760860.1A EP4134980A4 (en) 2021-06-30 2022-06-29 VISIT GUIDANCE METHOD FOR EXAMINATION OF ACTIVE THYROID EYE DISEASE AND SYSTEM FOR IMPLEMENTING THE SAME
US17/939,040 US11663719B2 (en) 2021-06-30 2022-09-07 Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same
US18/094,064 US11748884B2 (en) 2021-06-30 2023-01-06 Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same
US18/222,271 US20230360204A1 (en) 2021-06-30 2023-07-14 Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same
JP2024110365A JP2024138393A (ja) 2021-06-30 2024-07-09 活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020210085542A KR102379061B1 (ko) 2021-06-30 2021-06-30 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치
KR10-2021-0085542 2021-06-30
KR10-2022-0079770 2022-06-29
KR1020220079770A KR102477694B1 (ko) 2022-06-29 2022-06-29 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/939,040 Continuation US11663719B2 (en) 2021-06-30 2022-09-07 Method for hospital visit guidance for medical treatment for active thyroid eye disease, and system for performing same

Publications (1)

Publication Number Publication Date
WO2023277589A1 true WO2023277589A1 (ko) 2023-01-05

Family

ID=84690441

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009356 WO2023277589A1 (ko) 2021-06-30 2022-06-29 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템

Country Status (3)

Country Link
US (3) US11663719B2 (ko)
JP (2) JP7525851B2 (ko)
WO (1) WO2023277589A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210035301A1 (en) * 2019-07-31 2021-02-04 Nikon Corporation Information processing system, information processing apparatus, recording medium, and information processing method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016032587A (ja) * 2014-07-31 2016-03-10 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法
KR20190082149A (ko) * 2017-12-29 2019-07-09 주식회사 피디젠 녹내장 발생 예측 방법
US20190370959A1 (en) * 2018-05-30 2019-12-05 Viswesh Krishna Techniques for identifying blepharoptosis from an image
WO2020023959A1 (en) * 2018-07-27 2020-01-30 University Of Miami System and method for ai-based eye condition determinations
KR20200077461A (ko) * 2018-12-20 2020-06-30 옵토스 피엘씨 안구 이미지에서 병리의 검출
KR102379061B1 (ko) * 2021-06-30 2022-04-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101477182B1 (ko) 2007-06-01 2014-12-29 삼성전자주식회사 단말 및 그의 이미지 촬영 방법
US9854970B2 (en) * 2012-02-21 2018-01-02 Massachusetts Eye & Ear Infirmary Calculating conjunctival redness
KR102092571B1 (ko) 2013-01-04 2020-04-14 삼성전자 주식회사 카메라를 구비하는 장치의 인물 촬영장치 및 방법
KR102093647B1 (ko) 2013-02-22 2020-03-26 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 촬영장치 및 방법
KR20140108417A (ko) 2013-02-27 2014-09-11 김민준 영상정보를 이용한 건강 진단 시스템
KR101569268B1 (ko) 2014-01-02 2015-11-13 아이리텍 잉크 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
KR102420100B1 (ko) 2014-03-14 2022-07-13 삼성전자주식회사 건강 상태 정보를 제공하는 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US20220142484A1 (en) 2014-10-29 2022-05-12 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US20180289253A1 (en) 2015-05-22 2018-10-11 Indiana University Research & Technology Corporation Methods and systems for patient specific identification and assessmentof ocular disease risk factors and treatment efficacy
WO2017222997A1 (en) 2016-06-20 2017-12-28 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
JP7030317B2 (ja) 2016-12-19 2022-03-07 国立大学法人静岡大学 瞳孔検出装置及び瞳孔検出方法
EP3381351A1 (en) 2017-03-29 2018-10-03 Vivior AG System for assessing a health condition of a user
US20190191995A1 (en) 2017-07-28 2019-06-27 Pupilscan Corporation Systems and Methods for Capturing and Analyzing Pupil Images to Determine Toxicology and Neurophysiology
KR102469720B1 (ko) 2017-10-31 2022-11-23 삼성전자주식회사 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
KR102047237B1 (ko) 2017-12-13 2019-12-02 (주)엔텔스 영상 데이터를 분석하는 인공 지능을 이용한 질병 진단 방법 및 진단 시스템
US10952604B2 (en) * 2018-03-06 2021-03-23 Texas Tech University System Diagnostic tool for eye disease detection using smartphone
KR102531009B1 (ko) 2018-07-05 2023-05-16 십일번가 주식회사 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치
CN110909561A (zh) 2018-09-14 2020-03-24 虹软科技股份有限公司 眼睛状态检测系统及眼睛状态检测系统的操作方法
CN109543728A (zh) 2018-11-07 2019-03-29 湖北工业大学 一种基于迁移学习的甲状腺相关性眼病检测方法
KR102216051B1 (ko) 2019-03-12 2021-02-15 연세대학교 원주산학협력단 안과 질환 모니터링 장치 및 방법
KR102058883B1 (ko) 2019-04-11 2019-12-24 주식회사 홍복 당뇨병 및 전조 증상을 진단하기 위해 홍채 영상 및 망막 영상을 인공지능으로 분석하는 방법
KR102293824B1 (ko) 2019-05-21 2021-08-24 (의) 삼성의료재단 이동통신 단말기에서의 안면 인식을 이용한 관련 질환 모니터링 방법 및 시스템
KR102295426B1 (ko) 2019-07-05 2021-08-30 순천향대학교 산학협력단 인공지능 기반의 안구질병 검출장치 및 방법
US11779222B2 (en) * 2019-07-10 2023-10-10 Compal Electronics, Inc. Method of and imaging system for clinical sign detection
CN110246158B (zh) 2019-07-19 2021-10-22 上海交通大学医学院附属第九人民医院 眼疾检测装置、方法、电子终端、及存储介质
KR102250694B1 (ko) 2019-08-30 2021-05-11 서울대학교병원 안구 영상 내 혈관 분할을 이용한 자동 질환 판단 장치 및 그 방법
CN111839455A (zh) 2020-08-11 2020-10-30 上海鹰瞳医疗科技有限公司 甲状腺相关眼病的眼部体征识别方法及设备
US20230230232A1 (en) * 2020-11-02 2023-07-20 Google Llc Machine Learning for Detection of Diseases from External Anterior Eye Images
US20220313077A1 (en) * 2021-04-01 2022-10-06 CorneaCare Inc. Method of and system for automated machine-assisted detection of ocular disease conditions in human eyes captured using visible illumination light sources and digital camera systems
KR102347551B1 (ko) 2021-04-29 2022-01-06 디몬나인 주식회사 얼굴 이미지 분석에 기반한 얼굴 상태 정보 제공 방법, 장치 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016032587A (ja) * 2014-07-31 2016-03-10 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法
KR20190082149A (ko) * 2017-12-29 2019-07-09 주식회사 피디젠 녹내장 발생 예측 방법
US20190370959A1 (en) * 2018-05-30 2019-12-05 Viswesh Krishna Techniques for identifying blepharoptosis from an image
WO2020023959A1 (en) * 2018-07-27 2020-01-30 University Of Miami System and method for ai-based eye condition determinations
KR20200077461A (ko) * 2018-12-20 2020-06-30 옵토스 피엘씨 안구 이미지에서 병리의 검출
KR102379061B1 (ko) * 2021-06-30 2022-04-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치

Also Published As

Publication number Publication date
US20230153999A1 (en) 2023-05-18
US20230360204A1 (en) 2023-11-09
JP7525851B2 (ja) 2024-07-31
JP2024138393A (ja) 2024-10-08
US11663719B2 (en) 2023-05-30
US11748884B2 (en) 2023-09-05
US20230005144A1 (en) 2023-01-05
JP2024522469A (ja) 2024-06-21

Similar Documents

Publication Publication Date Title
WO2019039912A1 (ko) 진단 보조 시스템 및 그 제어 방법
WO2018143707A1 (ko) 메이크업 평가 시스템 및 그의 동작 방법
WO2021132851A1 (ko) 전자 장치, 두피 케어 시스템 및 그들의 제어 방법
WO2022039521A1 (en) Method for determining whether medication has been administered and server using same
WO2016017997A1 (en) Wearable glasses and method of providing content using the same
WO2018016837A1 (en) Method and apparatus for iris recognition
WO2019088555A1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
WO2019125026A1 (ko) 심혈관 질병 진단 보조 방법 및 장치
WO2022182156A1 (ko) 생체 지수 측정 방법
WO2016204496A1 (en) System and method of providing information of peripheral device
WO2023277589A1 (ko) 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
EP3440593A1 (en) Method and apparatus for iris recognition
WO2020050497A1 (ko) 가상현실 기반의 시야검사 방법 및 시스템
WO2012005501A2 (ko) 아바타 생성 방법 및 장치
WO2024035131A1 (ko) 갑상선 안질환 상태 모니터링 방법 및 이를 수행하는 시스템
WO2023182727A1 (en) Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
WO2021040156A1 (ko) 신체 측정 디바이스 및 그 제어 방법
WO2023277622A1 (ko) 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
WO2021040078A1 (ko) 렌즈 결정 방법 및 이를 이용하는 장치
WO2020159077A1 (ko) 동공 중심간 거리를 측정하는 장치 및 방법
WO2020050496A1 (ko) 검안용 헤드 마운티드 디스플레이 장치 및 이를 이용한 안과검사방법
WO2022103236A1 (ko) 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템
WO2022039357A1 (ko) 용접 정보 제공 장치
WO2023008938A1 (ko) 대상에 대한 갑상선기능이상증의 예측방법 및 시스템
WO2022182081A1 (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022760860

Country of ref document: EP

Effective date: 20220906

ENP Entry into the national phase

Ref document number: 2023571557

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202280059381.3

Country of ref document: CN