[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2022225037A1 - 検査システム、検査装置、検査方法、および検査プログラム - Google Patents

検査システム、検査装置、検査方法、および検査プログラム Download PDF

Info

Publication number
WO2022225037A1
WO2022225037A1 PCT/JP2022/018515 JP2022018515W WO2022225037A1 WO 2022225037 A1 WO2022225037 A1 WO 2022225037A1 JP 2022018515 W JP2022018515 W JP 2022018515W WO 2022225037 A1 WO2022225037 A1 WO 2022225037A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
inspection
image
camera
display
Prior art date
Application number
PCT/JP2022/018515
Other languages
English (en)
French (fr)
Inventor
大治郎 竹
善弘 大下
和夫 白石
真由巳 岸本
Original Assignee
参天製薬株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 参天製薬株式会社 filed Critical 参天製薬株式会社
Priority to CN202280029134.9A priority Critical patent/CN117177703A/zh
Priority to JP2023515530A priority patent/JPWO2022225037A1/ja
Publication of WO2022225037A1 publication Critical patent/WO2022225037A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to an inspection system, an inspection apparatus, an inspection method, and an inspection program for inspecting the moisture level of eyes.
  • the present disclosure also relates to a testing system, testing device, testing method, and testing program for testing the stability of the tear film.
  • the present disclosure relates to an inspection system, an inspection apparatus, an inspection method, and an inspection program for inspecting for the presence or absence of dry eye.
  • Dry eye is a disease in which tears are not evenly distributed over the surface of the eye (for example, the cornea) due to insufficient tear volume or an imbalance in tear quality. Patients with dry eye may experience eye discomfort, impaired visual function, and damage to the surface of the eye.
  • Patent Document 1 discloses an ophthalmologic apparatus capable of diagnosing dry eye.
  • the ophthalmologic apparatus disclosed in Japanese Patent Application Laid-Open No. 7-136120 captures an interference pattern formed by light reflected on the surface of the eye with a camera. A user can examine the presence or absence of dry eye by observing the interference pattern captured by the camera of the ophthalmologic apparatus.
  • the ophthalmologic apparatus disclosed in Japanese Patent Application Laid-Open No. 7-136120 is an apparatus specialized for users such as ophthalmologists who have enough knowledge to determine the presence or absence of dry eye.
  • ophthalmologists who have enough knowledge to determine the presence or absence of dry eye.
  • the present disclosure has been made to solve the above problems, and aims to provide an inspection system, an inspection apparatus, an inspection method, and an inspection program that enable self-checking of the eyes.
  • the present disclosure relates to an inspection system that inspects the moisture level of eyes.
  • the inspection system includes an inspection unit that inspects the degree of moisture in the eye based on a camera, a photographed image obtained by photographing the eye by the camera, and an estimation model including a neural network, and displays the inspection result by the inspection unit. and a display.
  • the estimation model is trained to test the moisture level of the eye from the captured image, based on learning data including the captured image and test results of the moisture level of the eye.
  • the captured images include a first still image immediately after blinking and a second still image after a predetermined time has passed since blinking.
  • each of the first still image and the second still image is extracted from a moving image obtained by photographing the eye with a camera.
  • each of the first still image and the second still image is an image of a face including at least eyes.
  • the eye image is extracted from the face image included in each of the first still image and the second still image.
  • the inspection unit inspects the moisture level of the eye based on the degree of fluctuation of the eye image extracted from the first still image and the degree of fluctuation of the eye image extracted from the second still image. do.
  • the display further displays an eye image included in the captured image.
  • the display further displays information regarding recommended eye drops.
  • the display also outputs information about the eye clinic.
  • the information about the ophthalmological clinic includes at least one of information prompting medical care by the ophthalmic clinic, information about medical care at the ophthalmic clinic, and information about the recommended ophthalmic clinic.
  • the display displays test results based on the check result of at least one of the subjective symptoms related to the eye and the possibility that the eye has an ophthalmic disease, and the test by the test unit.
  • the inspection system further includes an inspection device and a server device capable of communicating with the inspection device.
  • the inspection device includes a camera and a display.
  • the server device includes an inspection unit.
  • the present disclosure relates to an inspection device that inspects the moisture level of eyes.
  • the inspection device has an inspection unit that inspects the degree of moisture in the eye based on a camera, a photographed image obtained by photographing the eye by the camera, and an estimation model including a neural network, and displays the inspection result by the inspection unit. and a display.
  • the present disclosure relates to an inspection device that inspects the moisture level of eyes.
  • the inspection device comprises a camera, a communication device for communicating with a server device comprising an estimation model including a neural network, and a display.
  • the communication device transmits a captured moving image obtained by capturing an image of the eye with the camera to the server device.
  • the communication device receives the test result of the moisture level of the eye obtained by the server device based on the captured image of the eye extracted from the captured moving image and the estimated model.
  • a display shows the test results.
  • the present disclosure relates to an inspection method for inspecting the degree of moisture in eyes by computer.
  • the inspection method includes steps of inputting a photographed image obtained by photographing the eye with a camera, inspecting the moisture level of the eye based on the photographed image and an estimation model including a neural network, and inspecting and outputting an inspection result obtained by the step.
  • the present disclosure relates to an inspection program for inspecting the degree of moisture in the eyes.
  • the inspection program includes a step of inputting a photographed image obtained by photographing the eye with a camera into a computer, and a step of examining the moisture level of the eye based on the photographed image and an estimation model including a neural network. , and a step of outputting the result of inspection by the step of inspecting.
  • the present disclosure relates to an inspection system that inspects the stability of the tear film.
  • the inspection system includes an inspection unit that inspects the stability of the tear film based on a camera, a photographed image obtained by photographing the eye by the camera, and an estimation model including a neural network, and an inspection result by the inspection unit. and a display for displaying.
  • the present disclosure relates to an inspection system that inspects for the presence or absence of dry eye.
  • the inspection system includes an inspection unit that inspects for the presence or absence of dry eye based on a camera, a photographed image obtained by photographing the eye by the camera, and an estimation model including a neural network, and displays the inspection result by the inspection unit. and a display.
  • the user can perform an eye self-check.
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a diagram showing a user interface screen displayed on the display of the inspection device during self-check;
  • FIG. 10 is a flowchart related to eye moisture degree inspection processing executed by a server device;
  • FIG. It is a figure for demonstrating the test
  • the term “eye” is used as a term that includes not only the eyeball but also tissues around the eyeball, such as the eyelid, inner corner, and outer corner of the eye.
  • the term “eye” is primarily used to describe the human eyeball.
  • the term “pupil” is mainly used as a term to describe the iris of the human eye.
  • the “moisture level of the eye” is not limited to the “moisture level of the eyeball”, but also includes the “moisture level of the pupil” or the “moisture level of the iris”.
  • FIG. 1 is a diagram for explaining an eye moisture level test using the test apparatus 1 according to the present embodiment.
  • Eyes with dry eye disease may have poorer tear production than normal eyes, or may produce adequate tear quality but may evaporate more quickly due to poor tear quality. Unstable. Therefore, in the case of dry eye, even if the state of tears is stable immediately after blinking, the state of tears becomes unstable after a lapse of time without blinking.
  • the user 10 starts an application program (hereinafter also referred to as a "self-check application”) for performing an eye self-check using the examination apparatus 1, and conducts an examination according to the self-check application.
  • an application program hereinafter also referred to as a "self-check application”
  • self-check application for performing an eye self-check using the examination apparatus 1, and conducts an examination according to the self-check application.
  • the inspection apparatus 1 includes a camera 16 as shown in FIG.
  • the lens of the camera 16 is arranged on the back side of the inspection device 1 (the side opposite to the side where the display 15 is arranged).
  • the inspection device 1 captures a moving image of the face of the user 10 with the camera 16 .
  • a moving image obtained by shooting with the camera 16 (hereinafter also referred to as a “shot moving image”) includes a plurality of face still images obtained in time series.
  • the inspection device 1 is communicably connected to a server device 2, which will be described later.
  • the inspection device 1 transmits data of the moving image obtained by the camera 16 to the server device 2 .
  • the server device 2 extracts a plurality of still images from the captured moving image acquired from the inspection device 1 .
  • the server device 2 uses image recognition by AI (Artificial Intelligence) to extract eye parts from each of the plurality of still images, and specifies changes in the time series of the extracted eye images. By doing so, the moisture level of the eyes of the user 10 is inspected.
  • the server device 2 transmits the inspection result to the inspection device 1 .
  • the inspection device 1 displays the inspection results acquired from the server device 2 on the display 15 .
  • the user 10 can objectively inspect the moisture level of his or her own eyes by inspecting the state (stability) of tears in his/her own eyes using the inspection device 1 . In this manner, the user 10 can easily perform an eye self-check using the examination apparatus 1 without depending on his or her level of knowledge.
  • test results output by the test device 1 are not limited to the determination results of the moisture level of the eye, and include the determination results of the stability of the tear layer (tear film) that covers the surface of the eye. Furthermore, the test results output by the test apparatus 1 include the presence or absence of dry eye, that is, the determination result of dry eye or not, or the determination result of suspicion of dry eye.
  • the eye (pupil) moisture level means the degree to which the surface of the eye is moistened with tears. The lower the moisture level, the more unstable the tear condition and the unevenness of the tear film.
  • the lens of the camera 16 may be arranged on the side where the display 15 of the inspection device 1 is arranged. In this case, the user 10 should turn the display 15 side of the inspection device 1 toward the front of the user 10 and photograph the moving image of the face.
  • FIG. 2 is a diagram showing the configuration of an inspection system 1000 according to this embodiment.
  • the inspection system 1000 can communicate with a plurality of inspection devices 1 (in the example of FIG. 2, inspection device 1A, inspection device 1B, and inspection device 1C) and each of the plurality of inspection devices 1. and a connected server device 2 .
  • the inspection device 1 is configured according to a general-purpose computer architecture.
  • a portable terminal such as a smart phone that can be carried by the user 10 is exemplified as the inspection device 1 .
  • the inspection device 1 may be a device other than a smart phone, such as a desktop computer, a laptop computer, and a tablet computer.
  • the inspection device 1 includes a processor 11, a communication device 12, a memory 13, an input interface 14, a display 15, and a camera 16.
  • the processor 11 is a computing entity (computer) that executes various processes according to various programs.
  • the processor 11 is composed of, for example, at least one of a CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), GPU (Graphics Processing Unit), and MPU (Multi Processing Unit). Note that the processor 11 may be configured by a processing circuit.
  • the communication device 12 transmits and receives data (information) to and from the server device 2 through wired connection or wireless connection.
  • the communication device 12 transmits and receives data (information) to and from the communication device 22 of the server device 2 by wireless communication via the network 5 .
  • the communication device 12 transmits a captured moving image including the captured image of the eye acquired by the camera 16 to the server device 2 via the network 5 during the self-check.
  • the communication device 12 receives data including the test result of the degree of moisture in the eyes from the server device 2 via the network 5 during the self-check.
  • the memory 13 is composed of volatile memory such as DRAM (Dynamic Random Access Memory) and SRAM (Static Random Access Memory), or non-volatile memory such as ROM (Read Only Memory).
  • the memory 13 stores various programs and data such as a self-check application 131 for performing an eye self-check.
  • the self-check application 131 is an application program for the user 10 to personally check the moisture level of his or her eyes, and includes a program for photographing the eyes with the camera 16 .
  • the input interface 14 is an interface that accepts input from the user 10, such as buttons and a touch panel.
  • the input interface 14 outputs signals to the processor 11 based on user input.
  • the display 15 is a display device such as a liquid crystal display, a plasma display, an organic EL (Electro Luminescence) display, etc., and displays a predetermined screen based on the control of the processor 11 .
  • a display device such as a liquid crystal display, a plasma display, an organic EL (Electro Luminescence) display, etc.
  • the camera 16 shoots a moving image of the shooting target.
  • Moving image data 236 of the captured moving image obtained by the camera 16 is transmitted to the server device 2 via the network 5 .
  • the server device 2 is configured according to a general-purpose computer architecture.
  • the server device 2 is owned by a manufacturer that provides the user 10 with a self-check application 131 for testing the degree of moisture in the eyes.
  • the server device 2 includes a processor 21 , a communication device 22 and a memory 23 .
  • the processor 21 is an example of an "inspection unit".
  • the processor 21 is a computing entity that executes various processes (for example, an inspection process to be described later) according to various programs (for example, an inspection program 231 to be described later).
  • the processor 21 is composed of, for example, at least one of a CPU, FPGA, GPU, and MPU. Note that the processor 21 may be configured by an arithmetic circuit.
  • the communication device 22 transmits and receives data (information) to and from each of the plurality of inspection devices 1 through wired connection or wireless connection.
  • the communication device 22 transmits and receives data (information) to and from the communication device 12 of the inspection device 1 by wireless communication via the network 5 .
  • the communication device 22 receives, from the inspection device 1 via the network 5, the captured moving image including the captured image of the eye acquired by the camera 16 during the self-check.
  • the communication device 22 transmits data including the test results of the degree of moisture in the eyes to the test device 1 via the network 5 during the self-check.
  • the memory 23 is composed of volatile memory such as DRAM and SRAM, or non-volatile memory such as ROM.
  • the memory 23 stores an inspection program 231 for inspecting the moisture level of the eye, an estimation model 232 used for inspecting the moisture level of the eye, eye drop information 233 including information on eye drops, and eye clinic information including information on an eye clinic. 234, user information 235 including information about each user 10 of a plurality of inspection devices 1, moving image data 236 of captured moving images acquired by the camera 16 of the inspection device, and calculating the score used when determining the result of the self-check.
  • Various programs and data such as a calculation table 237 for
  • the inspection program is a program for inspecting the moisturizing degree of the eye by analyzing the photographed moving image of the eye acquired from the inspection apparatus 1 by AI.
  • FIG. 3 is a diagram for explaining learning of the estimation model 232 in the learning phase.
  • the learning phase is a pre-learning phase in which the estimation model 232 is trained before the self-check application 131 is provided to the inspection device 1 of the user 10 .
  • the estimation model 232 is trained by the learning device 31 to test the moisture level of the eye from the photographed image of the eye.
  • the learning device 31 makes the estimation model 232 learn by supervised learning using the learning data 4 .
  • the learning data 4 is prepared in advance for learning the estimation model 232, and includes a captured video of the eye and test results of the moisture level of the eye.
  • the designer of the inspection program 231 shoots a video of the eyes of a plurality of people with different eye moisture levels, and prepares the obtained captured images of the eyes and the inspection results (correct data) of the moisture levels of the eyes.
  • Data 4 for learning is associated with these data.
  • a designer prepares a plurality of such learning data 4 in advance.
  • the estimation model 232 includes a neural network 2321 and parameters 2322 used by the neural network 2321.
  • the neural network 2321 is a convolution neural network (CNN: Convolution Neural Network), a recurrent neural network (RNN: Recurrent Neural Network), or an LSTM network (Long Short Term Memory Network) for image recognition by deep learning.
  • CNN Convolution Neural Network
  • RNN Recurrent Neural Network
  • LSTM Long Short Term Memory Network
  • the estimation model 232 performs deep learning by using the neural network 2321 as described above.
  • Parameters 2322 include weighting factors and the like used in calculations by neural network 2321 . Note that the estimation model 232 is not limited to learning by deep learning using a neural network, and may be learned by other machine learning.
  • the learning device 31 accepts an input of the photographed image of the eye from the learning data 4 .
  • the learning device 31 executes processing for examining the moisture level of the eye represented by the captured eye image based on the input captured image of the eye and the estimation model 232 including the neural network 2321 .
  • the learning device 31 acquires a still image immediately after blinking and a still image after a predetermined time (for example, 5 seconds) has passed since blinking.
  • Each of the two acquired still images is a still image including at least an eye image.
  • the learning device 31 inputs the acquired two still images to the estimation model 232 .
  • the estimation model 232 estimates the moisture level of the eyes of the user 10 by identifying changes in the time series of the two eye images through image recognition.
  • the learning device 31 acquires the estimation result of the eye moisture level obtained by the estimation model 232 .
  • the learning device 31 may estimate the degree of moisture in the eyes based on a plurality of still images obtained from immediately after blinking until a predetermined time (for example, 5 seconds) has elapsed. For example, the learning device 31 acquires all still images obtained for each frame from immediately after blinking until a predetermined time (for example, 5 seconds) elapses, and changes the acquired eye images in time series. By specifying, the user's 10 eye moisture level may be estimated.
  • the learning device 31 learns the estimation model 232 based on the result of estimating the moisturizing degree of the eye and the correct data included in the learning data 4 (the result of pre-measuring the moisturizing degree of the eye represented by the photographed image). . Specifically, the learning device 31 adjusts the parameter 2322 (for example, the weighting factor) so that the estimation result of the eye moisture degree obtained by the estimation model 232 approaches the correct data. to learn
  • FIG. 4 is a diagram showing the configuration of the inspection device 1 in the operation phase.
  • the operation phase is a phase in which the eye moisture level is estimated using the estimation model 232 after the self-check application 131 is provided to the examination apparatus 1 of the user 10 .
  • the server device 2 stores the estimation model 232 learned by the learning device 31 shown in FIG.
  • the server device 2 acquires the estimated model 232 from the learning device 31 and stores the acquired estimated model 232 in the memory 23 .
  • the learning device 31 may be the server device 2
  • the functions of the learning device 31 described above may be functions of the processor 21 of the server device 2 .
  • the processor 21 of the server device 2 includes an input section 211 , a processing section 212 and an output section 213 .
  • the input unit 211 receives an input of a captured moving image including a captured image obtained by capturing the eye of the user 10 with the camera 16 of the inspection device 1 .
  • the processing unit 212 performs processing for inspecting the moisture level of the eye represented by the captured image based on the captured image extracted from the captured moving image input from the input unit 211 and the estimation model 232 including the neural network 2321. to run.
  • the estimation model 232 is not limited to learning by deep learning using a neural network, and may be learned by other machine learning.
  • the processing unit 212 acquires a still image of the eye immediately after blinking and a still image of the eye after a predetermined time (for example, 5 seconds) has passed since the blink.
  • a still image of an eye immediately after blinking is an example of a "first still image.”
  • a still image of the eye after a predetermined period of time (for example, 5 seconds) has elapsed since blinking is an example of a "second still image.”
  • Each of the two acquired still images is a still image including at least an eye image.
  • the processing unit 212 inputs the two acquired still images to the estimation model 232 .
  • the estimation model 232 estimates the moisture level of the eyes of the user 10 by identifying changes in the time series of the two eye images through image recognition.
  • the processing unit 212 acquires the estimation result of the eye moisture level obtained by the estimation model 232 .
  • the processing unit 212 may estimate the moisture level of the eye based on a plurality of still images obtained from immediately after blinking until a predetermined time (for example, 5 seconds) has elapsed. For example, the processing unit 212 acquires all still images obtained for each frame from immediately after blinking until a predetermined time (for example, 5 seconds) has elapsed, and changes the acquired eye images in time series. By specifying, the user's 10 eye moisture level may be estimated.
  • the output unit 213 outputs the inspection results obtained by the processing unit 212 to the inspection device 1 .
  • the display 15 of the inspection device 1 provides the user 10 with the test results of the moisture level of the eyes by displaying a screen showing the obtained test results of the moisture level of the eyes.
  • FIG. 5 to 15 are diagrams showing user interface screens displayed on the display 15 of the inspection apparatus 1 during self-check.
  • the user can operate icons displayed on the display 15 by using the input interface 14 .
  • the user interface screens shown in FIGS. 5 to 15 are examples, and can be changed as appropriate by the designer of the self-check application 131 or the like.
  • the self-examination of the eyes by the user 10 using the self-check application 131 is also referred to as "self-check.”
  • a login screen is displayed on the display 15. As shown in FIG. 5A, when the user 10 activates the self-check application 131 using the inspection device 1, a login screen is displayed on the display 15. As shown in FIG. 5A, when the user 10 activates the self-check application 131 using the inspection device 1, a login screen is displayed on the display 15. As shown in FIG. 5A, when the user 10 activates the self-check application 131 using the inspection device 1, a login screen is displayed on the display 15. As shown in FIG.
  • the login screen includes fields for entering an ID and a password for identifying the user 10.
  • User 10 acquires an ID and a password from server device 2 by registering information (for example, name, gender, age, telephone number, e-mail address, etc.) of user 10 on server device 2 . Note that the user 10 may be able to set a desired ID and password.
  • Information registered in the server device 2 by the user 10 is stored in the memory 23 as user information 235 .
  • the inspection device 1 transmits the ID and password to the server device 2 .
  • the inspection device 1 displays a menu screen on the display 15 as shown in FIG. 5(B).
  • the menu screen includes an icon 151 for starting a self-check, an icon 152 for browsing the history of past self-checks, and an icon 153 for making various settings.
  • the inspection apparatus 1 displays a risk check screen for the user 10 to perform a risk check on the display 15, as shown in FIGS. 5(C) and 5(D).
  • a risk check is a check for examining the possibility that the user 10 has an ophthalmic disease.
  • the risk check includes the sex, age, usage time of a PC and smartphone per day, presence or absence of stiff shoulders, presence or absence of headache, wearing contact lenses, use of eye drops, and past Includes multiple check items such as whether or not dry eye is diagnosed.
  • the inspection device 1 displays a selection screen on the display 15 as shown in FIG. 6(E).
  • the selection screen includes an icon 148 for browsing tutorials and an icon 149 for shooting.
  • the inspection apparatus 1 displays a tutorial screen on the display 15 as shown in FIGS. 6(F1) to 7(F6).
  • the tutorial screen includes images for explaining to the user 10 how to photograph the eyes for self-check.
  • the inspection apparatus 1 displays on the display 15 a message such as "Look outside and rest your eyes.” to display. Furthermore, the inspection apparatus 1 displays a message on the display 15 to inform the user 10 that natural light will be used for moving image shooting, such as "Photographing will be performed using natural light during the daytime.”
  • the inspection apparatus 1 displays a moving image such as "Please stand in front of the window, approach the distance of one arm, face the window, and shoot.”
  • a message is displayed on the display 15 to notify the user 10 of the standing position at the time of photographing.
  • the inspection apparatus 1 communicates with the user 10 during video shooting such as "Please check the shooting distance. Make a good mark with your hand and hold your thumb as straight as possible.”
  • a message for notifying the user 10 of the positional relationship with the camera 16 is displayed on the display 15. - ⁇
  • the inspection apparatus 1 makes a motion between the user 10 and the camera 16 at the time of shooting a moving image, such as "Put your thumb lightly on your cheekbone and put your little finger on the back of the terminal.”
  • a message is displayed on the display 15 to notify the user 10 of the positional relationship.
  • the inspection device 1 displays on the display 15 an image diagram when the thumb is lightly placed correctly on the cheekbone.
  • the inspection apparatus 1 displays on the display 15 an image diagram when the thumb is lightly placed on the cheekbone by mistake.
  • the display 15 displays an example in which the lower eyelid is pulled by the thumb placed on the cheekbone.
  • the inspection apparatus 1 displays a self-check screen on the display 15 as shown in FIGS. 8(G1) to 9(G8).
  • the self-check screen includes an image for allowing the user 10 to shoot a moving image of the eye using the camera 16 and for measuring the moisture level of the eye based on the obtained shot moving image.
  • the inspection apparatus 1 says, "Blink slowly and shoot a video for about 5 seconds immediately after that. Please refrain from blinking during shooting.”
  • a message is displayed on the display 15 prompting the user 10 to photograph the face with the thumb lightly on the cheekbone.
  • the user 10 uses the camera 16 to shoot a moving image of his/her face including his/her eyes for 5 seconds while viewing the scenery outside using natural light during the day.
  • the inspection apparatus 1 displays an image being captured by the camera 16 on the display 15.
  • the inspection apparatus 1 displays a message such as "imaging completed” on the display 15 to notify the user 10 that the imaging is completed, as shown in FIG. 8 (G3).
  • the inspection apparatus 1 displays an image immediately after the start of imaging on the display 15 after the imaging is completed.
  • the inspection apparatus 1 detects the pupil (black eye) based on the still image immediately after the start of photography, and extracts an image of the peripheral portion of the eye (for example, the eye portion) including the pupil.
  • the inspection device 1 indicates the extracted image portion by a framework.
  • the user 10 can adjust so that at least the image portion of the eye is within the frame by moving or enlarging or reducing the frame.
  • the icon 147 the user 10 can cut out the portion of the image within the framework and extract at least the captured image of the eye.
  • the user 10 can retake the image by selecting the icon 146 .
  • the inspection apparatus 1 displays on the display 15 the message "Please confirm whether the image is suitable for inspection.”
  • the inspection apparatus 1 displays on the display 15 the photographed image of the eye when 5 seconds have passed since the photographing.
  • the inspection apparatus 1 provides an example of a photographed image of the eye when the detection and focusing of the pupil (black eye) is appropriate, and an example of a photographed image of the eye when the detection and focusing of the pupil (black eye) are not appropriate. is displayed on the display 15.
  • the inspection apparatus 1 sends a message asking the user 10 whether an image suitable for inspection has been acquired, such as "Is the image suitable for inspection?"
  • the display 15 displays an icon 154 indicating that an image suitable for the examination has been acquired, and an icon 155 indicating that the moving image of the eye should be retaken.
  • the inspection apparatus 1 displays on the display 15 a message such as "AI determination in progress” to inform the user 10 that the determination is in progress. Furthermore, the examination apparatus 1 displays on the display 15 an icon 156 for the user 10 to check the subjective symptoms along with a message such as "click here for the subjective symptom check” prompting the user 10 to check the subjective symptoms related to the eyes. .
  • the examination apparatus 1 displays a plurality of subjective symptom check screens on the display 15 step by step, as shown in FIGS. 10(H1) and (H2).
  • the examination apparatus 1 checks the subjective symptoms of the user 10 related to eyes, such as "my eyes feel dry” and "my eyes tend to get tired", as a subjective symptom check. 12 items of questions are displayed on the display 15. The user 10 can input a subjective symptom check result by checking items with subjective symptoms. In addition, as shown in FIG. 10 (H1), the user 10 can also take over the subjective symptom check results input in the past.
  • the examination apparatus 1 displays a message such as "Thank you for your reply! Image examination results have been obtained.”
  • an icon 157 for viewing the test results is displayed on the display 15 together with a message informing the user 10 that the test results of the self-check have been obtained.
  • the inspection device 1 displays a plurality of inspection result screens showing the inspection results of the self-check step by step on the display 15, as shown in FIGS.
  • FIG. 12 shows test results when the user 10 has a low eye moisture level.
  • the examination apparatus 1 displays an image 1511 showing the comprehensive evaluation of the examination result, an image 1521 showing the check result of the tear quality, and an image 1531 showing the enlarged eye portion. is displayed on the display 15.
  • the image 1511 displays a message indicating that the user 10 has a low level of moisturization in the eye, such as "Your eye's moisturizing level is low”. You may find out the 'true' cause of the decrease in the moisture level of the pupil.”
  • Image 1521 includes a diagram that informs user 10 that the quality of user's tears is unstable.
  • An image 1531 includes a magnified image of the eye of the user 10 used for self-check. Furthermore, in this magnified image, the part of the eye that was subject to image recognition in the self-check is shown. Thereby, the user 10 can confirm the image of his own eye used for the self-check on the display 15 .
  • the inspection device 1 displays on the display 15 an image 1541 showing the inspection results of the self-check based on the subjective symptom check shown in FIG. 12 (J2)
  • the image 1541 includes a message that informs the user 10 of the result of the subjective symptom check, such as "You have 5 or more items and your tears may be unstable.”
  • FIG. 13 shows the test results when the user 10 has a moderate level of moisture in the eyes.
  • the examination apparatus 1 displays an image 1512 showing the comprehensive evaluation of the examination result, an image 1522 showing the tear quality check result, and an image 1532 showing the enlarged eye portion. is displayed on the display 15.
  • the image 1512 displays a message indicating that the user 10's eye moisture level is moderate, such as "your eye moisture level is moderate", and an overall evaluation of "care with drug store eye drops". If you are concerned about your symptoms, please consult an ophthalmologist.”, which prompts the user 10 to perform self-care including the use of eye drops.
  • Image 1522 includes a diagram that informs user 10 that the quality of user's tears is generally normal.
  • An image 1532 includes a magnified image of the eye of the user 10 used for self-check. Furthermore, in this magnified image, the part of the eye that was subject to image recognition in the self-check is shown. Thereby, the user 10 can confirm the image of his own eye used for the self-check on the display 15 .
  • the inspection device 1 displays on the display 15 an image 1542 showing the inspection results of the self-check based on the subjective symptom check shown in FIG.
  • the image 1542 includes a message that informs the user 10 of the result of the subjective symptom check, such as "You have two items and your tears may be unstable.”
  • the inspection apparatus 1 displays on the display 15 an image 1543 showing the inspection results of the self-check based on the risk checks shown in FIGS. 5(C) and 5(D).
  • An image 1543 shows that the risk of dry eye increases when the risk of dry eye falls among the items subject to the risk check, such as "If the following items are met, the risk of dry eye is high, so be careful.” Contains a message that informs the user 10 of the item.
  • the inspection apparatus 1 displays an icon 158 on the display 15 for viewing measures based on the inspection result on the inspection result screen.
  • test apparatus 1 When the user 10 operates the icon 158 on the test result screen (the test result screen of FIG. 12 (J1)) when the user 10 has low eye moisture level, the test apparatus 1 is displayed as shown in FIG. 15 (M1). displays on the display 15 a coping method screen showing coping methods based on the inspection results.
  • the countermeasure screen for the case where the user 10's eye moisture level is low includes, as the information on the ophthalmological clinic, at least one of the following information: Contains any one.
  • the term "medical care” is used as a term including "diagnosis” and "treatment”. That is, the information about the ophthalmology clinic is at least one of information prompting medical care (diagnosis or treatment) by the ophthalmology clinic, information about medical care (diagnosis or treatment) at the ophthalmology clinic, and information about the recommended ophthalmology clinic. may contain
  • the coping method screen for the case where the user 10's eye moisture level is low is displayed by an ophthalmologist's clinic, such as "First, we recommend that you see an ophthalmologist.”
  • a message prompting the user 10 to undergo medical treatment and information on medical treatment at an ophthalmological clinic are provided to the user 10, such as "Dry eye will be diagnosed by examining the quality of tears while confirming symptoms through medical interviews.” message is displayed on the display 15.
  • the examination apparatus 1 displays an icon 159 on the display 15 for notifying the user 10 of the nearest ophthalmological clinic to the user 10 as information on the recommended ophthalmic clinic.
  • the examination apparatus 1 acquires information on the ophthalmic clinic closest to the user 10 from the server device 2 via the network 5 and displays the acquired information on the display 15 .
  • the examination apparatus 1 may search for an ophthalmological clinic closest to the user 10 by connecting to the Internet via the network 5 and display the search results on the display 15 .
  • the inspection device 1 may search for the nearest eye clinic to the user 10 based on the location information held by the inspection device 1 .
  • the inspection device 1 may search for the nearest ophthalmic clinic of the user 10 based on the information input by the user 10 (for example, the address of the user 10).
  • the inspection apparatus 1 provides the information regarding the ophthalmology clinic, information regarding the examination by the ophthalmology clinic, information regarding the examination at the ophthalmology clinic, and information regarding the recommended ophthalmology clinic to the user. 10. This prompts the user 10 to go to the ophthalmologist's office, and allows the user 10 to acquire information about the nearest ophthalmologist's office.
  • the inspection apparatus 1 displays all of the information on the ophthalmological clinic, information on prompting medical treatment by the ophthalmic clinic, information on medical treatment at the ophthalmic clinic, and information on the recommended ophthalmic clinic. 15, or at least one of the information regarding these eye clinics may be displayed on the display 15.
  • FIG. 15 (M1) the inspection apparatus 1 displays all of the information on the ophthalmological clinic, information on prompting medical treatment by the ophthalmic clinic, information on medical treatment at the ophthalmic clinic, and information on the recommended ophthalmic clinic. 15, or at least one of the information regarding these eye clinics may be displayed on the display 15.
  • FIG. 15 (M1) the inspection apparatus 1 displays all of the information on the ophthalmological clinic, information on prompting medical treatment by the ophthalmic clinic, information on medical treatment at the ophthalmic clinic, and information on the recommended ophthalmic clinic. 15, or at least one of the information regarding these eye clinics may be displayed on the display 15.
  • FIG. 15 (M1) the inspection apparatus 1 displays
  • the examination apparatus 1 displays, as information related to ophthalmology clinics, information prompting medical care by an ophthalmology clinic, information related to medical care at an ophthalmology clinic, and recommended at least any one of the information about the ophthalmological clinic may be displayed on the display 15 .
  • the examination apparatus 1 can prompt the user 10 to undergo medical treatment by an ophthalmologist just in case, even if the moisture level of the user's 10 eye is medium or high.
  • the inspection apparatus 1 displays on the display 15 a countermeasure screen indicating a countermeasure based on the inspection result.
  • the coping screen for the user 10 whose eyes are moderately moist includes information on recommended eye drops.
  • the coping method screen for the case where the eye moisture level of the user 10 is moderate includes recommended eye drops such as "over-the-counter drugs recommended for self-care.” to the user 10 and a message for introducing the function of the recommended eye drops to the user 10, such as ⁇ eye drops with a high water-retaining function for those who want to keep their eyes moist''.
  • recommended eye drops such as "over-the-counter drugs recommended for self-care.”
  • the inspection device 1 displays an icon 160 on the display 15 for informing the user 10 of detailed information on the recommended eye drops.
  • the examination device 1 acquires detailed information on recommended eye drops from the server device 2 via the network 5 and displays the acquired information on the display 15 .
  • the examination apparatus 1 may search for detailed information on recommended eye drops by connecting to the Internet via the network 5 and display the search results on the display 15 .
  • the eye drops recommended by the inspection device 1 may be eye drops or eye ointment.
  • the inspection device 1 provides the user 10 with information on recommended eye drops based on the inspection results of the self-check. This allows the user 10 to obtain information on the optimum eye drops for self-care of the eyes.
  • the examination apparatus 1 may display information on recommended eye drops on the display 15 on the countermeasure screen for when the user 10 has low eye moisture level. In this way, when the user 10's eyes have a low degree of moisture, the user 10 is urged to undergo medical treatment at an ophthalmologist's office, and the user 10 is provided with information on eye drops that are optimal for self-care of the eyes.
  • FIG. 16 is a flowchart relating to eye moisture degree inspection processing executed by the server device 2 .
  • the inspection process shown in FIG. 16 is performed by the processor 21 of the server device 2 executing the inspection program 231 .
  • the server device 2 executes the inspection process shown in FIG. 16 on condition that a predetermined start condition is satisfied.
  • a start condition as shown in FIG. 5B, the user 10 has operated an icon 151 for starting the self-check.
  • "S" is used as an abbreviation for "STEP".
  • the server device 2 acquires the risk check result (S1). Specifically, the server device 2 acquires the risk check result of the user 10 input from the inspection device 1 via the network 5 .
  • the server device 2 determines whether or not a captured moving image including a captured image of the eye of the user 10 obtained by the camera 16 of the inspection device 1 has been input (S2).
  • the shot video of the eye includes a still image of the eye immediately after blinking and a still image of the eye after a predetermined time (for example, 5 seconds) has passed since blinking.
  • the server apparatus 2 repeats the process of S2 when the captured moving image is not input (NO in S2).
  • the server device 2 selects from the captured moving image a still image of the eye immediately after blinking and a still image of the eye after a predetermined time (for example, 5 seconds) has elapsed since the blink. A still image is extracted (S3).
  • the server device 2 extracts the fluctuation degree of each of the two eye images by image recognition (S4).
  • the server device 2 examines the moisture level of the eye based on the time-series change in the degree of fluctuation in the two eye images (S5).
  • FIG. 17 is a diagram for explaining an eye moisture level test.
  • the inspection apparatus 1 uses the camera 16 to start photographing at timing t1 immediately after blinking, and then finishes photographing at timing t2 five seconds later.
  • the inspection device 1 transmits the captured video data to the server device 2 .
  • the server device 2 acquires a still image at timing t1 immediately after blinking (an example of a "first still image”) and a predetermined time after blinking.
  • a still image (an example of a "second still image”) at timing t2 after (5 seconds in the example of FIG. 17) has been extracted (processing corresponding to S3 in FIG. 16).
  • FIG. 8 (G2) each of these two still images includes an image of user 10's face.
  • the server device 2 extracts an eye image 301 from the still image at timing t1 and extracts an eye image 302 from the still image at timing t2 by image recognition.
  • the server device 2 extracts the degree of fluctuation of the eye image 301 at timing t1, and extracts the degree of fluctuation of the eye image 302 at timing t2 (process corresponding to S4 in FIG. 16).
  • the state of tears becomes unstable after a period of time without blinking. Therefore, in the case of dry eye, the image of the eye after a lapse of time without blinking has a greater degree of fluctuation than the image of the eye immediately after blinking. That is, the greater the degree of fluctuation of the eye image, the more unstable the tear state, and such an eye image indicates that the eye has a low moisturizing degree and/or suffers from dry eye. or that you may be suffering from dry eye.
  • the outside scenery (the background of the city in this example) projected on the surface of the eye (for example, the cornea) is generally clearly represented.
  • the outside scenery background of the city reflected on the surface of the eye (cornea) is represented in a blurred manner.
  • the “fluctuation degree of eye image” means the degree of blurring, blurring, or fluctuation of an object projected on the surface of the eye (for example, the cornea) shown in the image.
  • the server device 2 compares the eye image 301 at the timing t1 and the eye image 302 at the timing t2, and observes the change in the degree of fluctuation as described above.
  • the moisture level of the eye is inspected (process corresponding to S5 in FIG. 16).
  • timing t2 is not limited to the timing five seconds after blinking, and may be any timing as long as it is the timing at which the eye moisture degree can be tested based on the change in the degree of fluctuation of the eye image. good too.
  • the eye image 302 to be compared with the eye image 301 immediately after blinking is not limited to one, and may be multiple.
  • the server device 2 extracts the eye image 301 at timing t1 immediately after blinking, then extracts the eye image 302 at timing t2 after the first predetermined time (for example, 5 seconds) has elapsed, and further extracts the eye image 302. , Extracting eye images at timing t3 after a second predetermined time (for example, 7 seconds) has elapsed, and observing changes in the degree of fluctuation in these multiple eye images to inspect the moisture level of the eyes. You may In this way, the server device 2 can inspect the moisture level of the eye based on a plurality of eye images extracted at each of a plurality of timings that have elapsed immediately after blinking. can be inspected.
  • the inspection apparatus 1 is not limited to the process of extracting a plurality of eye images from a moving image of a face (eyes).
  • the inspection apparatus 1 acquires the first still image (photograph) by photographing the face of the user 10 at timing t1 immediately after blinking, and then at a timing after a predetermined time (for example, 5 seconds) has passed.
  • a second still image (picture) may be acquired by photographing the face of the user 10 at t2.
  • the server device 2 may extract an eye image from each of the plurality of still images acquired in this manner.
  • the server device 2 acquires the subjective symptom check result (S6). Specifically, the server device 2 acquires the subjective symptom check result of the user 10 input from the examination device 1 via the network 5 .
  • the server device 2 calculates the score used when determining the final self-check result (S7).
  • a predetermined score is assigned to the result of the eye moisture degree check using an image, and a predetermined score is assigned to each item of the subjective symptom check. Predetermined points are assigned to each risk check item.
  • the server device 2 refers to the calculation table, and calculates points in a point-adding system based on the results of the eye moisturizing degree check using images, the subjective symptom check results, and the risk check results. For example, when the user 10 checks the item "I feel dry eyes" in the subjective symptom check, the server device 2 adds a predetermined score, and in the risk check, "use of eye drops".
  • the server device 2 acquires the total score based on the results of the eye moistness level check using images, the results of the subjective symptom check, and the results of the risk check.
  • the server device 2 extracts a judgment message as a self-check result based on the score obtained by referring to the calculation table and a predetermined reference value.
  • the server device 2 displays the message "Your eye's moisture level is low” and the message “We recommend that you see an ophthalmologist as soon as possible,” as shown in FIG.
  • the “true” cause of the decrease in the moisture level of the pupil may be known.”, and the result is output to the inspection device 1.
  • the server device 2 generates a final result in consideration of the test result of the eye moisture degree using the image, the risk check result, and the subjective symptom check result.
  • the result of the self-check can be output with higher accuracy than generating the final result based only on the results of the inspection.
  • the server device 2 determines whether or not the score calculated in S7 is equal to or greater than the reference value (S8). If the score is equal to or higher than the reference value, that is, if the degree of moisture in the eye is low (YES in S8), the server device 2 acquires information about the ophthalmology clinic as shown in FIG. Include (S9).
  • the server device 2 determines whether the recommended eye drops shown in FIG. 15 (M2) Information is acquired and included in the inspection result (S10).
  • the server device 2 may acquire information on recommended eye drops as shown in FIG. 15 (M2) and include it in the test results even when the degree of moisture in the eyes is low.
  • the server device 2 may acquire information about the ophthalmological clinic as shown in FIG. 15 (M1) and include it in the examination results even if the moisture level of the eyes is medium or high.
  • the server device 2 is not limited to generating the final result based on the subjective symptom check result, the risk check result, and the test result of the moisture level of the eyes using the image.
  • the server device 2 may generate a final result based on at least one of the subjective symptom check result and the risk check result, and the test result of the eye moisture level using the image.
  • the server device 2 outputs the generated inspection result to the inspection device 1 (S11). As a result, inspection results as shown in FIGS. 13 to 15 are displayed on the display 15 of the inspection apparatus 1. FIG. After that, the server device 2 terminates this process.
  • the server device 2 executes the examination process according to the examination program 231, so that the user 10 can easily perform an eye self-check using the examination device 1.
  • the server apparatus 2 executes the inspection process to inspect the moisture level of the user's 10 eyes. You may inspect the moisture degree of.
  • FIG. 18 is a diagram showing the configuration of an inspection system 1000a according to another embodiment.
  • inspection apparatus 1a stores inspection program 231, estimation model 232, eye drop information 233, ophthalmology clinic information 234, and calculation table 237 included in server apparatus 2 shown in FIG. may be stored.
  • the processor 11 of the inspection device 1a inspects the moisture level of the eye based on the photographed image included in the photographed moving image obtained by photographing the eye with the camera 16 and the estimation model 232 including the neural network 2321.
  • the test results may be displayed on the display 15 as the final test results together with the eye drops information 233 or the eye clinic information 234 . That is, the inspection device 1a may execute the processing corresponding to the inspection processing of the server device 2 shown in FIG.
  • the inspection device 1 can inspect the moisture level of the eye based on the change in the degree of fluctuation of the image of the eye.
  • a large degree of fluctuation of the image of the eye means that the stability of the tear film is lowered (dry eye). Therefore, the inspection device 1 can also inspect the stability of the tear film (dry eye) based on the change in the degree of fluctuation of the image of the eye.
  • the stability of the tear film can also be measured by measuring the time from opening the eye until the tear layer on the surface of the eye breaks down (also called Break Up Time or BUT). evaluated.
  • the inspection device 1 can also measure BUT and evaluate the stability of the tear film based on changes in the degree of fluctuation of the image of the eye.
  • the test device 1 can also measure the non-invasive tear break-up time (NIBUT) to assess tear film stability.
  • NEBUT non-invasive tear break-up time
  • test system 1000 the test device 1, the test method, and the test program for testing the degree of moisture in the eye are described as the test system, the test device, the test method, and the test system for testing the stability of the tear film. It is applicable to each of the inspection programs.
  • descriptions of the inspection system 1000, the inspection apparatus 1, the inspection method, and the inspection program for inspecting the degree of moisture in the eye are the respective descriptions of the inspection system, the inspection apparatus, the inspection method, and the inspection program for inspecting the presence or absence of dry eye. applicable to
  • the present disclosure relates to a test system 1000 for testing eye moisture (tear film stability, presence or absence of dry eye).
  • the inspection system 1000 performs an eye examination based on the camera 16, the captured image obtained by the camera 16 capturing an image of the eye, and an estimation model 232 including a neural network 2321.
  • a processor 21 (examination unit) that examines the moisture level (stability of the tear film, presence or absence of dry eye), and a display 15 that displays the examination results by the processor 21 are provided.
  • the user 10 objectively inspects the moisture level of his or her eyes (stability of the tear film, presence or absence of dry eye) by photographing his/her own eyes using the camera 16 of the inspection device 1. be able to.
  • the user 10 can easily perform an eye self-check using the examination apparatus 1 .
  • the term “captured image” refers to either a “still image” (so-called photo) captured by camera shooting or a “still image” included in a “captured moving image” captured by camera shooting. good too.
  • the test unit is configured to test the degree of moisturization of the eye (stability of the tear film, presence or absence of dry eye) based on at least a "still image” (image contained in a photograph or video).
  • the estimation model 232 is based on the learning data 4 including the photographed images and test results of the degree of moisture in the eye (stability of the tear film, presence or absence of dry eye). It is trained to test the degree of moisture in the eye (tear film stability, presence or absence of dry eye) from images.
  • the inspection system 1000 can use the learned estimation model 232 to inspect the moisture level of the eye of the user 10 (stability of the tear film, presence or absence of dry eye) from the captured image.
  • the captured images are a first still image at timing t1 immediately after blinking, and a second still image at timing t2 after a predetermined time (for example, 5 seconds) has passed since blinking. and still images of
  • the inspection system 1000 compares the still image immediately after blinking with the still image after a predetermined time (for example, 5 seconds) has passed since blinking to determine the degree of moisture in the user's 10 eyes (tears). liquid layer stability, presence or absence of dry eye) can be tested.
  • a predetermined time for example, 5 seconds
  • each of the first still image and the second still image is extracted from a moving image obtained by camera 16 photographing the eye.
  • the user 10 can capture a moving image of his/her own eye using the camera 16, and the inspection system 1000 extracts two still images from the captured moving image and compares the two images.
  • the user's 10 eye moisture level can be tested. Therefore, the user 10 does not need to shoot a still image immediately after blinking and a still image after a predetermined time (for example, 5 seconds) has passed since blinking with the camera 16. (tear film stability, presence or absence of dry eye) can be tested.
  • each of the first still image and the second still image is an image of a face including at least eyes.
  • the eye image is extracted from the face image included in each of the first still image and the second still image.
  • the inspection system 1000 extracts an image of the eye portion from each of the two still images and compares the two to determine the degree of moisture in the eye of the user 10 (stability of the tear film, dry eye). presence or absence) can be inspected. Therefore, the user 10 does not need to photograph only the eye portion with the camera 16, and can inspect the moisture level of the eye (stability of the tear film, presence or absence of dry eye) as easily as possible.
  • the processor 21 calculates the degree of fluctuation of the eye image extracted from the first still image and the degree of fluctuation of the eye image extracted from the second still image. Based on the degree of fluctuation, the degree of moisture in the eye (stability of the tear film, presence or absence of dry eye) is examined.
  • the inspection system 1000 compares the degree of fluctuation of the eye image extracted from each of the two still images, thereby determining the moisture level of the eye of the user 10 (stability of the tear film, presence or absence of dry eye). ) can be inspected. Therefore, the inspection system 1000 can more accurately inspect the moisture level of the eye (stability of the tear film, presence or absence of dry eye).
  • the display 15 further displays an eye image included in the captured image.
  • the user 10 can confirm the image of his own eye used for the self-check on the display 15.
  • the eye image displayed on the display 15 may be the second still image at the timing t2 shown in FIG.
  • the display 15 further displays information on recommended eye drops, as shown in FIG. 15 (M2).
  • the user 10 can obtain information on the optimum eye drops for self-care of the eyes.
  • the display 15 further outputs information regarding ophthalmic clinics.
  • the user 10 can be prompted to go to the ophthalmologist's office and further obtain information about the ophthalmologist's office.
  • the information about the ophthalmic clinic includes at least one of information prompting medical treatment by the ophthalmic clinic, information about medical treatment at the ophthalmic clinic, and information about the recommended ophthalmic clinic. including one.
  • the user 10 is prompted to go to an ophthalmologist's office, and can obtain information on recommended ophthalmologist's offices.
  • the display 15 displays at least one check result of subjective eye symptoms and the possibility that the eye has an ophthalmologic disease, and the examination by the processor 11. Display test results based on
  • the user 10 can acquire the result of examining the moisture level of the eye (stability of the tear film, presence or absence of dry eye) in consideration of at least one of the subjective symptom check result and the risk check result. can do.
  • the inspection system 1000 further includes an inspection device 1 and a server device 2 capable of communicating with the inspection device 1, as shown in FIG.
  • Inspection device 1 includes camera 16 and display 15 .
  • the server device 2 includes a processor 21 (inspection unit).
  • the user 10 can use the inspection device 1 and the server device 2 included in the inspection system 1000 to easily perform an eye self-check.
  • the present disclosure relates to an inspection device 1a that inspects the degree of moisture in the eye (tear film stability, presence or absence of dry eye).
  • the inspection apparatus 1a uses the camera 16, the photographed image obtained by photographing the eye with the camera 16, and the estimation model 232 including the neural network 2321, based on the degree of moistness of the eye (
  • a processor 11 examination unit for examining the stability of the tear film and the presence or absence of dry eye) and a display 15 for displaying the examination results by the processor 11 are provided.
  • the user 10 objectively inspects the moisture level of his/her eyes (stability of the tear film, presence or absence of dry eye) by photographing his/her own eyes using the camera 16 of the inspection device 1a. be able to.
  • the user 10 can easily perform an eye self-check using the inspection device 1a.
  • the present disclosure relates to an inspection device 1 that inspects the degree of moisture in the eye (tear film stability, presence or absence of dry eye).
  • the inspection device 1 comprises a camera 16 , a communication device 12 for communicating with a server device 2 comprising an estimation model 232 including a neural network 2321 , and a display 15 .
  • the communication device 12 transmits to the server device 2 the captured moving image obtained by the camera 16 capturing an image of the eye.
  • the communication device 12 receives the test result of the moisture level of the eye (stability of the tear film, presence or absence of dry eye) obtained by the server device 2 based on the captured image of the eye extracted from the captured moving image and the estimation model 232. do.
  • the display 15 displays inspection results.
  • the user 10 objectively inspects the moisture level of his or her eyes (stability of the tear film, presence or absence of dry eye) by photographing his/her own eyes using the camera 16 of the inspection device 1. be able to.
  • the user 10 can easily perform an eye self-check using the examination apparatus 1 .
  • the present disclosure relates to an inspection method for inspecting the moisture level of the eye (tear film stability, presence or absence of dry eye) by the processor 21 (computer).
  • the inspection method includes a step of inputting a photographed image obtained by photographing the eye with the camera 16 (S2 in FIG. 16), and based on the photographed image and an estimation model 232 including a neural network 2321, the moisture content of the eye. 16), and a step of outputting the results of the examination (S11 in FIG. 16).
  • the user 10 objectively inspects the moisture level of his or her eyes (stability of the tear film, presence or absence of dry eye) by photographing his/her own eyes using the camera 16 of the inspection device 1. be able to.
  • the user 10 can easily perform an eye self-check using the examination apparatus 1 .
  • the present disclosure relates to an inspection program 231 that inspects the degree of moisture in the eye (tear film stability, presence or absence of dry eye).
  • the inspection program 231 includes a step (S2 in FIG. 16) of inputting the photographed image obtained by photographing the eye with the camera 16 to the processor 21 (computer), and an estimation model including the photographed image and the neural network 2321.
  • the user 10 objectively inspects the moisture level of his or her eyes (stability of the tear film, presence or absence of dry eye) by photographing his/her own eyes using the camera 16 of the inspection device 1. be able to.
  • the user 10 can easily perform an eye self-check using the examination apparatus 1 .

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

検査システム（１０００）は、カメラ（１６）と、カメラ（１６）が眼を撮影することによって得られた撮影画像と、ニューラルネットワーク（２３２１）を含む推定モデル（２３２）とに基づき、眼のうるおい度を検査するプロセッサ（２１）と、プロセッサ（２１）による検査結果を表示するディスプレイ（１５）とを備える。

Description

検査システム、検査装置、検査方法、および検査プログラム
　本開示は、眼のうるおい度を検査する検査システム、検査装置、検査方法、および検査プログラムに関する。また、本開示は、涙液層の安定性を検査する検査システム、検査装置、検査方法、および検査プログラムに関する。さらに、本開示は、ドライアイの有無を検査する検査システム、検査装置、検査方法、および検査プログラムに関する。
　近年、高齢化、エアコンの使用による部屋の乾燥、パソコンの使用、およびコンタクトレンズの装着などの影響により、眼の不快感を訴える人が増加している。このような眼科疾患には、たとえば、ドライアイがある。
　ドライアイは、涙の量が不足したり、涙の質のバランスが崩れたりすることによって、眼の表面（たとえば、角膜）に涙が均等に行きわたらなくなる疾患である。ドライアイの患者は、眼に不快感を抱いたり、視覚機能に異常を生じたり、眼の表面が傷ついたりすることがある。
　特開平７－１３６１２０号公報（特許文献１）は、ドライアイの診断を行うことができる眼科装置を開示する。
特開平７－１３６１２０号公報
　特開平７－１３６１２０号公報に開示された眼科装置は、眼の表面で反射した光によって形成される干渉模様をカメラで撮影する。ユーザは、眼科装置のカメラによって撮影された干渉模様を観察することで、ドライアイの有無を検査することができる。
　しかしながら、特開平７－１３６１２０号公報に開示された眼科装置は、眼科医師など、ドライアイの有無を判定することができる程の知識を有するユーザに特化した装置である。その一方で、眼科疾患に関する知識に乏しい一般生活者または患者が、より簡便に自身の眼をセルフチェックすることができる技術が求められている。
　本開示は、上記の問題を解決するためになされたものであって、眼のセルフチェックを可能とする、検査システム、検査装置、検査方法、および検査プログラムを提供することを目的とする。
　本開示は、眼のうるおい度を検査する検査システムに関する。検査システムは、カメラと、カメラが眼を撮影することによって得られた撮影画像と、ニューラルネットワークを含む推定モデルとに基づき、眼のうるおい度を検査する検査部と、検査部による検査結果を表示するディスプレイとを備える。
　好ましくは、推定モデルは、撮影画像と眼のうるおい度の検査結果とを含む学習用データに基づき、撮影画像から眼のうるおい度を検査するように学習されている。
　好ましくは、撮影画像は、まばたき直後の第１の静止画像と、まばたきしてから所定時間が経過したときの第２の静止画像とを含む。
　好ましくは、第１の静止画像および第２の静止画像の各々は、カメラが眼を撮影することによって得られた動画から抽出される。
　好ましくは、第１の静止画像および第２の静止画像の各々は、少なくとも眼を含む顔の画像である。眼の画像は、第１の静止画像および第２の静止画像の各々に含まれる顔の画像から抽出される。
　好ましくは、検査部は、第１の静止画像から抽出された眼の画像の揺らぎ度合いと、第２の静止画像から抽出された前記眼の画像の揺らぎ度合いとに基づき、眼のうるおい度を検査する。
　好ましくは、ディスプレイは、撮影画像に含まれる眼の画像をさらに表示する。
　好ましくは、ディスプレイは、推奨の目薬に関する情報をさらに表示する。
　好ましくは、ディスプレイは、眼科医院に関する情報をさらに出力する。
　好ましくは、眼科医院に関する情報は、眼科医院による診療を促す情報と、眼科医院における診療に関する情報と、推奨の眼科医院に関する情報とのうち、少なくともいずれか１つを含む。
　好ましくは、ディスプレイは、眼に関する自覚症状および眼が眼科疾患を有することの可能性のうちの少なくともいずれか１つのチェック結果と、検査部による検査とに基づく検査結果を表示する。
　好ましくは、検査システムは、検査装置と、検査装置と通信可能なサーバ装置とをさらに備える。検査装置は、カメラと、ディスプレイとを含む。サーバ装置は、検査部を含む。
　本開示は、眼のうるおい度を検査する検査装置に関する。検査装置は、カメラと、カメラが眼を撮影することによって得られた撮影画像と、ニューラルネットワークを含む推定モデルとに基づき、眼のうるおい度を検査する検査部と、検査部による検査結果を表示するディスプレイとを備える。
　本開示は、眼のうるおい度を検査する検査装置に関する。検査装置は、カメラと、ニューラルネットワークを含む推定モデルを備えるサーバ装置と通信するための通信装置と、ディスプレイとを備える。通信装置は、カメラが眼を撮影することによって得られた撮影動画をサーバ装置に送信する。通信装置は、サーバ装置が撮影動画から抽出される眼の撮影画像と推定モデルとに基づき取得した眼のうるおい度の検査結果を受信する。ディスプレイは、検査結果を表示する。
　本開示は、コンピュータによる眼のうるおい度を検査する検査方法に関する。検査方法は、カメラが眼を撮影することによって得られた撮影画像が入力されるステップと、撮影画像と、ニューラルネットワークを含む推定モデルとに基づき、眼のうるおい度を検査するステップと、検査するステップによる検査結果を出力するステップとを含む。
　本開示は、眼のうるおい度を検査する検査プログラムに関する。検査プログラムは、コンピュータに、カメラが眼を撮影することによって得られた撮影画像が入力されるステップと、撮影画像と、ニューラルネットワークを含む推定モデルとに基づき、眼のうるおい度を検査するステップと、検査するステップによる検査結果を出力するステップとを実行させる。
　本開示は、涙液層の安定性を検査する検査システムに関する。検査システムは、カメラと、カメラが眼を撮影することによって得られた撮影画像と、ニューラルネットワークを含む推定モデルとに基づき、涙液層の安定性を検査する検査部と、検査部による検査結果を表示するディスプレイとを備える。
　本開示は、ドライアイの有無を検査する検査システムに関する。検査システムは、カメラと、カメラが眼を撮影することによって得られた撮影画像と、ニューラルネットワークを含む推定モデルとに基づき、ドライアイの有無を検査する検査部と、検査部による検査結果を表示するディスプレイとを備える。
　本開示の検査システム、検査装置、検査方法、および検査プログラムによれば、ユーザは、眼のセルフチェックを行うことができる。
本実施形態に係る検査装置を用いた眼のうるおい度の検査を説明するための図である。 本実施の形態に係る検査システムの構成を示す図である。 学習フェーズにおける推定モデルの学習を説明するための図である。 運用フェーズにおける検査システムの構成を示す図である。 セルフチェック時に検査装置のディスプレイに表示されたユーザインターフェース画面を示す図である。 セルフチェック時に検査装置のディスプレイに表示されたユーザインターフェース画面を示す図である。 セルフチェック時に検査装置のディスプレイに表示されたユーザインターフェース画面を示す図である。 セルフチェック時に検査装置のディスプレイに表示されたユーザインターフェース画面を示す図である。 セルフチェック時に検査装置のディスプレイに表示されたユーザインターフェース画面を示す図である。 セルフチェック時に検査装置のディスプレイに表示されたユーザインターフェース画面を示す図である。 セルフチェック時に検査装置のディスプレイに表示されたユーザインターフェース画面を示す図である。 セルフチェック時に検査装置のディスプレイに表示されたユーザインターフェース画面を示す図である。 セルフチェック時に検査装置のディスプレイに表示されたユーザインターフェース画面を示す図である。 セルフチェック時に検査装置のディスプレイに表示されたユーザインターフェース画面を示す図である。 セルフチェック時に検査装置のディスプレイに表示されたユーザインターフェース画面を示す図である。 サーバ装置が実行する眼のうるおい度の検査処理に関するフローチャートである。 眼のうるおい度の検査を説明するための図である。 別の実施形態に係る検査システムの構成を示す図である。
　以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。本開示においては、「目」という用語は、眼球に加えて、まぶた、目頭、および目じりなど、眼球の周辺の組織を含めた用語として用いられる。「眼」という用語は、主に人間の眼球を表す用語として用いられる。「瞳」という用語は、主に人間の黒目を表す用語として用いられる。「眼のうるおい度」とは、「眼球のうるおい度」に限らず、「瞳のうるおい度」または「黒目のうるおい度」も含まれる。
　［眼のうるおい度の検査の概要］
　図１は、本実施の形態に係る検査装置１を用いた眼のうるおい度の検査を説明するための図である。ドライアイの疾患を有する眼は、正常な眼よりも涙の分泌量が不足したり、分泌量は十分であるが涙の質の低下により涙がすぐに蒸発したりするなど、涙の状態が不安定である。このため、ドライアイの場合、まばたき直後は涙の状態が安定していても、その後、まばたきすることなく時間が経過した後は涙の状態が不安定になる。
　上述したような眼の不快感を訴える人が自身の眼をセルフチェックすることができれば、そのような技術は、眼科の受診または目薬の購入などの意欲を高め、眼科疾患の早期発見、予防、および治療へと導くことができる。
　そこで、本実施の形態においては、ユーザ１０は、検査装置１を用いて眼のセルフチェックを行うためのアプリケーションプログラム（以下、「セルフチェックアプリ」とも称する。）を起動し、セルフチェックアプリに従って検査装置１を操作することで、客観的な眼（瞳）のうるおい度の検査結果を得ることができる。
　具体的には、図１に示されるように、検査装置１は、カメラ１６を備える。カメラ１６のレンズは、検査装置１の背面側（ディスプレイ１５が配置された側の反対側）に配置されている。検査装置１は、カメラ１６によってユーザ１０の顔を動画で撮影する。カメラ１６の撮影によって得られた動画（以下、「撮影動画」とも称する。）は、時系列で得られた複数枚の顔の静止画像を含む。検査装置１は、後述するサーバ装置２と通信可能に接続されている。検査装置１は、カメラ１６によって得られた撮影動画のデータをサーバ装置２に送信する。サーバ装置２は、検査装置１から取得した撮影動画から複数枚の静止画像を抽出する。さらに、サーバ装置２は、ＡＩ（人工知能：Artificial　Intelligence）による画像認識によって、複数枚の静止画像の各々から眼の部分を抽出し、抽出した複数枚の眼の画像の時系列における変化を特定することで、ユーザ１０の眼のうるおい度を検査する。サーバ装置２は、検査結果を検査装置１に送信する。検査装置１は、サーバ装置２から取得した検査結果をディスプレイ１５に表示する。
　これにより、ユーザ１０は、検査装置１を用いて自身の眼の涙の状態（安定性）を検査することで、自身の眼のうるおい度を客観的に検査することができる。このように、ユーザ１０は、自身の知見のレベルに依存することなく、検査装置１を用いて眼のセルフチェックを簡便に行うことができる。
　なお、検査装置１によって出力される検査結果は、眼のうるおい度の判定結果に限らず、眼の表面を覆う涙の層（涙液層）の安定性の判定結果を含む。さらに、検査装置１によって出力される検査結果は、ドライアイの有無、すなわち、ドライアイであるか否かの判定結果、または、ドライアイが疑われることの判定結果を含む。ここで、眼（瞳）のうるおい度とは、眼の表面が涙でうるおっている度合いを意味する。うるおい度が低ければ低いほど、涙の状態が不安定になり、涙液層にムラが生じる。一方、うるおい度が高ければ高いほど、眼の表面が常に涙でうるおい、涙の成分が不足することなく涙の状態、すなわち涙液層が安定する。また、カメラ１６のレンズは、検査装置１のディスプレイ１５が配置された側に配置されてもよい。この場合、ユーザ１０は、検査装置１のディスプレイ１５側を自身の正面に向けて顔の動画を撮影すればよい。
　［検査システムの構成］
　図２は、本実施の形態に係る検査システム１０００の構成を示す図である。図２に示されるように、検査システム１０００は、複数の検査装置１（図２の例では、検査装置１Ａ、検査装置１Ｂ、検査装置１Ｃ）と、複数の検査装置１の各々と通信可能に接続されたサーバ装置２とを備える。
　検査装置１は、汎用的なコンピュータアーキテクチャに従って構成される。本実施の形態においては、検査装置１として、ユーザ１０が携帯可能なスマートフォンなどの携帯端末が例示される。なお、検査装置１は、デスクトップ型コンピュータ、ラップトップ型コンピュータ、およびタブレット型コンピュータなど、スマートフォン以外の装置であってもよい。
　検査装置１は、プロセッサ１１と、通信装置１２と、メモリ１３と、入力インターフェース１４と、ディスプレイ１５と、カメラ１６とを備える。
　プロセッサ１１は、各種のプログラムに従って各種の処理を実行する演算主体（コンピュータ）である。プロセッサ１１は、たとえば、ＣＰＵ（Central　Processing　Unit）、ＦＰＧＡ（Field　Programmable　Gate　Array）、ＧＰＵ（Graphics　Processing　Unit）、およびＭＰＵ（Multi　Processing　Unit）のうちの少なくともいずれか１つで構成されている。なお、プロセッサ１１は、演算回路（Processing　Circuitry）で構成されてもよい。
　通信装置１２は、有線接続または無線接続によって、サーバ装置２との間でデータ（情報）の送受信を行う。本実施の形態においては、通信装置１２は、ネットワーク５を介した無線通信によって、サーバ装置２の通信装置２２との間でデータ（情報）の送受信を行う。具体的には、通信装置１２は、セルフチェック時に、カメラ１６によって取得した眼の撮影画像を含む撮影動画を、ネットワーク５を介してサーバ装置２に送信する。通信装置１２は、セルフチェック時に、眼のうるおい度の検査結果を含むデータを、ネットワーク５を介してサーバ装置２から受信する。
　メモリ１３は、ＤＲＡＭ（Dynamic　Random　Access　Memory）およびＳＲＡＭ（Static　Random　Access　Memory）などの揮発性メモリ、または、ＲＯＭ（Read　Only　Memory）などの不揮発性メモリで構成されている。メモリ１３は、眼のセルフチェックを行うためのセルフチェックアプリ１３１など、各種のプログラムおよびデータなどを格納する。セルフチェックアプリ１３１は、ユーザ１０が自ら眼のうるおい度を検査するためのアプリケーションプログラムであり、カメラ１６によって眼を撮影するためのプログラムを含む。
　入力インターフェース１４は、ボタンおよびタッチパネルなど、ユーザ１０による入力を受け付けるインターフェースである。入力インターフェース１４は、ユーザの入力に基づく信号をプロセッサ１１に出力する。
　ディスプレイ１５は、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro　Luminescence）ディスプレイなどの表示装置であり、プロセッサ１１の制御に基づき所定の画面を表示する。
　カメラ１６は、撮影対象を動画で撮影する。カメラ１６によって得られた撮影動画の動画データ２３６は、ネットワーク５を介してサーバ装置２に送信される。
　サーバ装置２は、汎用的なコンピュータアーキテクチャに従って構成される。本実施の形態においては、サーバ装置２は、ユーザ１０に眼のうるおい度を検査するためのセルフチェックアプリ１３１を提供するメーカが所有するサーバ装置である。サーバ装置２は、プロセッサ２１と、通信装置２２と、メモリ２３とを備える。
　プロセッサ２１は、「検査部」の一例である。プロセッサ２１は、各種のプログラム（たとえば、後述する検査プログラム２３１）に従って各種の処理（たとえば、後述する検査処理）を実行する演算主体である。プロセッサ２１は、たとえば、ＣＰＵ、ＦＰＧＡ、ＧＰＵ、およびＭＰＵのうちの少なくともいずれか１つで構成されている。なお、プロセッサ２１は、演算回路で構成されてもよい。
　通信装置２２は、有線接続または無線接続によって、複数の検査装置１の各々との間でデータ（情報）の送受信を行う。本実施の形態においては、通信装置２２は、ネットワーク５を介した無線通信によって、検査装置１の通信装置１２との間でデータ（情報）の送受信を行う。具体的には、通信装置２２は、セルフチェック時に、カメラ１６によって取得された眼の撮影画像を含む撮影動画を、ネットワーク５を介して検査装置１から受信する。通信装置２２は、セルフチェック時に、眼のうるおい度の検査結果を含むデータを、ネットワーク５を介して検査装置１に送信する。
　メモリ２３は、ＤＲＡＭおよびＳＲＡＭなどの揮発性メモリ、または、ＲＯＭなどの不揮発性メモリで構成されている。メモリ２３は、眼のうるおい度を検査するための検査プログラム２３１、眼のうるおい度を検査するために用いられる推定モデル２３２、目薬に関する情報を含む目薬情報２３３、眼科医院に関する情報を含む眼科医院情報２３４、複数の検査装置１の各々のユーザ１０に関する情報を含むユーザ情報２３５、検査装置のカメラ１６によって取得された撮影動画の動画データ２３６、およびセルフチェックの結果を割り出す際に用いられる得点を計算するための計算テーブル２３７など、各種のプログラムおよびデータなどを格納する。ここで、検査プログラムは、検査装置１から取得した眼の撮影動画をＡＩによって解析することで、眼のうるおい度を検査するためのプログラムである。
　［学習フェーズにおける推定モデルの学習］
　図３は、学習フェーズにおける推定モデル２３２の学習を説明するための図である。学習フェーズとは、セルフチェックアプリ１３１をユーザ１０の検査装置１に提供する前に推定モデル２３２を学習させる事前学習フェーズである。図３に示されるように、推定モデル２３２は、学習装置３１によって、眼の撮影画像から当該眼のうるおい度を検査するように学習されている。
　推定モデル２３２を学習させるための学習アルゴリズムには、教師あり学習、教師なし学習、および強化学習などの公知のアルゴリズムを用いることができる。本実施の形態においては、学習装置３１は、学習用データ４を用いた教師あり学習によって、推定モデル２３２を学習させる。
　学習用データ４は、推定モデル２３２の学習のために予め準備されており、眼の撮影動画と、当該眼のうるおい度の検査結果とを含む。たとえば、検査プログラム２３１の設計者は、眼のうるおい度が異なる複数の人の眼を動画で撮影し、得られた眼の撮影画像と、当該眼のうるおい度の検査結果（正解データ）とを関連付けて、学習用データ４とする。設計者は、このような学習用データ４を予め複数用意する。
　推定モデル２３２は、ニューラルネットワーク２３２１と、ニューラルネットワーク２３２１によって用いられるパラメータ２３２２とを含む。ニューラルネットワーク２３２１は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution　Neural　Network）、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ：Recurrent　Neural　Network）、またはＬＳＴＭネットワーク（Long　Short　Term　Memory　Network）など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークが適用される。推定モデル２３２は、上述したようなニューラルネットワーク２３２１を用いることで、ディープラーニングを行う。パラメータ２３２２は、ニューラルネットワーク２３２１による計算に用いられる重み付け係数などを含む。なお、推定モデル２３２は、ニューラルネットワークを用いたディープラーニングによって学習するものに限らず、他の機械学習によって学習するものであってもよい。
　学習装置３１は、学習用データ４のうち、眼の撮影画像の入力を受け付ける。学習装置３１は、入力された眼の撮影画像と、ニューラルネットワーク２３２１を含む推定モデル２３２とに基づき、眼の撮影画像で表される眼のうるおい度を検査するための処理を実行する。
　具体的には、学習装置３１は、まばたき直後の静止画像と、まばたきしてから所定時間（たとえば、５秒間）が経過したときの静止画像とを取得する。取得した２枚の静止画像は、各々、少なくとも眼の画像を含む静止画像である。学習装置３１は、取得した２枚の静止画像を推定モデル２３２に入力する。推定モデル２３２は、画像認識によって、２枚の眼の画像の時系列における変化を特定することで、ユーザ１０の眼のうるおい度を推定する。学習装置３１は、推定モデル２３２によって得られた眼のうるおい度の推定結果を取得する。
　なお、学習装置３１は、まばたき直後から所定時間（たとえば、５秒間）が経過するまでに得られた複数の静止画像とに基づき眼のうるおい度を推定してもよい。たとえば、学習装置３１は、まばたき直後から所定時間（たとえば、５秒間）が経過するまでに１フレームごとに得られる全ての静止画像を取得し、取得した複数の眼の画像の時系列における変化を特定することで、ユーザ１０の眼のうるおい度を推定してもよい。
　学習装置３１は、眼のうるおい度の推定結果と、学習用データ４に含まれる正解データ（撮影画像で表される眼のうるおい度を予め測定した結果）とに基づき、推定モデル２３２を学習させる。具体的には、学習装置３１は、推定モデル２３２によって得られた眼のうるおい度の推定結果が、正解データに近づくように、パラメータ２３２２（たとえば、重み付け係数）を調整することで、推定モデル２３２を学習させる。
　［運用フェーズにおける検査装置の構成］
　図４は、運用フェーズにおける検査装置１の構成を示す図である。運用フェーズとは、セルフチェックアプリ１３１をユーザ１０の検査装置１に提供した後に推定モデル２３２を用いて眼のうるおい度を推定するフェーズである。図４に示されるように、サーバ装置２は、図３に示す学習装置３１によって学習された推定モデル２３２をメモリ２３に格納する。たとえば、サーバ装置２は、学習装置３１から推定モデル２３２を取得し、取得した推定モデル２３２をメモリ２３に格納する。なお、学習装置３１は、サーバ装置２であってもよく、上述した学習装置３１の機能は、サーバ装置２のプロセッサ２１が有する機能であってもよい。
　サーバ装置２のプロセッサ２１は、入力部２１１と、処理部２１２と、出力部２１３とを備える。
　入力部２１１は、検査装置１のカメラ１６がユーザ１０の眼を撮影することによって得られた撮影画像を含む撮影動画の入力を受け付ける。処理部２１２は、入力部２１１から入力される撮影動画から抽出される撮影画像と、ニューラルネットワーク２３２１を含む推定モデル２３２とに基づき、撮影画像で表される眼のうるおい度を検査するための処理を実行する。なお、上述したように、推定モデル２３２は、ニューラルネットワークを用いたディープラーニングによって学習するものに限らず、他の機械学習によって学習するものであってもよい。
　具体的には、処理部２１２は、まばたき直後の眼の静止画像と、まばたきしてから所定時間（たとえば、５秒間）が経過したときの眼の静止画像とを取得する。まばたき直後の眼の静止画像は、「第１の静止画像」の一例である。まばたきしてから所定時間（たとえば、５秒間）が経過したときの眼の静止画像は、「第２の静止画像」の一例である。取得した２枚の静止画像は、各々、少なくとも眼の画像を含む静止画像である。処理部２１２は、取得した２枚の静止画像を推定モデル２３２に入力する。推定モデル２３２は、画像認識によって、２枚の眼の画像の時系列における変化を特定することで、ユーザ１０の眼のうるおい度を推定する。処理部２１２は、推定モデル２３２によって得られた眼のうるおい度の推定結果を取得する。
　なお、処理部２１２は、まばたき直後から所定時間（たとえば、５秒間）が経過するまでに得られた複数の静止画像とに基づき眼のうるおい度を推定してもよい。たとえば、処理部２１２は、まばたき直後から所定時間（たとえば、５秒間）が経過するまでに１フレームごとに得られる全ての静止画像を取得し、取得した複数の眼の画像の時系列における変化を特定することで、ユーザ１０の眼のうるおい度を推定してもよい。
　出力部２１３は、処理部２１２によって得られた検査結果を検査装置１に出力する。検査装置１のディスプレイ１５は、得られた眼のうるおい度の検査結果を示す画面を表示することで、ユーザ１０に眼のうるおい度の検査結果を提供する。
　［眼のセルフチェックの具体例］
　図２、および図５～図１５を参照しながら、ユーザ１０が検査装置１を用いて眼のセルフチェックを行うことの具体例について説明する。図５～図１５は、セルフチェック時に検査装置１のディスプレイ１５に表示されたユーザインターフェース画面を示す図である。ユーザは、入力インターフェース１４を用いることで、ディスプレイ１５に表示されたアイコンを操作するなどを行うことができる。なお、図５～図１５に示されるユーザインターフェース画面は、一例であって、セルフチェックアプリ１３１の設計者などによって、適宜に変更可能である。以下では、セルフチェックアプリ１３１を用いてユーザ１０が自ら眼の検査を行うことを「セルフチェック」とも称する。
　図５（Ａ）に示されるように、ユーザ１０が検査装置１を用いてセルフチェックアプリ１３１を起動すると、ディスプレイ１５にログイン画面が表示される。
　ログイン画面は、ユーザ１０を識別するためのＩＤおよびパスワードを入力するための欄を含む。ユーザ１０は、サーバ装置２に自身の情報（たとえば、名前、性別、年齢、電話番号、メールアドレスなど）を登録することで、サーバ装置２からＩＤおよびパスワードを取得する。なお、ユーザ１０は、所望のＩＤおよびパスワードを設定可能であってもよい。ユーザ１０がサーバ装置２に登録した情報は、ユーザ情報２３５としてメモリ２３に格納される。
　ログイン画面において、ユーザ１０がＩＤおよびパスワードを入力すると、検査装置１は、ＩＤおよびパスワードをサーバ装置２に送信する。サーバ装置２がＩＤおよびパスワードに基づきユーザ１０を認証すると、図５（Ｂ）に示されるように、検査装置１は、メニュー画面をディスプレイ１５に表示する。メニュー画面は、セルフチェックを開始するためのアイコン１５１と、過去に行われたセルフチェックの履歴を閲覧するためのアイコン１５２と、各種設定を行うためのアイコン１５３とを含む。
　ユーザ１０がアイコン１５１を操作すると、図５（Ｃ）、（Ｄ）に示されるように、検査装置１は、ユーザ１０がリスクチェックを行うためのリスクチェック画面をディスプレイ１５に表示する。リスクチェックとは、ユーザ１０が眼科疾患を有することの可能性を調べるためのチェックである。本実施形態においては、リスクチェックは、ユーザ１０の性別、年代、１日のＰＣおよびスマートフォンなどの使用時間、肩こりの有無、頭痛の有無、コンタクトレンズの装着有無、目薬の使用有無、および過去のドライアイの診断有無など、複数のチェック項目を含む。
　ユーザ１０がリスクチェックを完了すると、図６（Ｅ）に示されるように、検査装置１は、選択画面をディスプレイ１５に表示する。選択画面は、チュートリアルを閲覧するためのアイコン１４８と、撮影を行うためのアイコン１４９とを含む。
　ユーザ１０がアイコン１４８を操作すると、図６（Ｆ１）～図７（Ｆ６）に示されるように、検査装置１は、チュートリアル画面をディスプレイ１５に表示する。チュートリアル画面は、ユーザ１０にセルフチェックのための眼の撮影方法を説明するための画像を含む。
　図６（Ｆ１）に示されるように、検査装置１は、「外を見て目を休めて下さい。」といったように、動画撮影を行うにあたって目を休めることをユーザ１０に促すメッセージをディスプレイ１５に表示する。さらに、検査装置１は、「日中に自然光を用いて撮影します。」といったように、動画撮影に自然光を用いることをユーザ１０に知らせるメッセージをディスプレイ１５に表示する。
　図６（Ｆ２）に示されるように、検査装置１は、「窓の正面に立ち、腕１本分の距離まで近づいて、窓の方を向いて撮影して下さい。」といったように、動画撮影時の立ち位置などをユーザ１０に知らせるメッセージをディスプレイ１５に表示する。
　図７（Ｆ３）に示されるように、検査装置１は、「撮影距離を確かめて下さい。手でグッドマークを作り、親指をできる限りピンと立てる。」といったように、動画撮影時におけるユーザ１０とカメラ１６との位置関係をユーザ１０に知らせるメッセージをディスプレイ１５に表示する。
　図７（Ｆ４）に示されるように、検査装置１は、「親指を頬骨に軽く添え、小指側を端末の背面につけて下さい。」といったように、動画撮影時におけるユーザ１０とカメラ１６との位置関係をユーザ１０に知らせるメッセージをディスプレイ１５に表示する。
　図７（Ｆ５）に示されるように、検査装置１は、正しく親指を頬骨に軽く添えた場合のイメージ図をディスプレイ１５に表示する。
　図７（Ｆ６）に示されるように、検査装置１は、間違って親指を頬骨に軽く添えた場合のイメージ図をディスプレイ１５に表示する。具体的には、頬骨に添えられた親指によって下瞼が引っ張られているような例がディスプレイ１５に表示される。
　図６（Ｅ）の選択画面において、ユーザ１０がアイコン１４９を操作すると、図８（Ｇ１）～図９（Ｇ８）に示されるように、検査装置１は、セルフチェック画面をディスプレイ１５に表示する。セルフチェック画面は、カメラ１６を用いてユーザ１０に眼の動画を撮影させるとともに、得られた撮影動画に基づき眼のうるおい度を測定するための画像を含む。
　図８（Ｇ１）に示されるように、検査装置１は、「ゆっくり瞬きをして、その直後から５秒程度動画を撮影して下さい。撮影中、瞬きを我慢して下さい。」といったように、親指を頬骨に軽く添えた状態で顔を撮影することをユーザ１０に促すメッセージをディスプレイ１５に表示する。これにより、ユーザ１０は、日中に自然光を用いて外の景色を見ながら、カメラ１６を用いて５秒間にわたって自身の眼を含む顔を動画で撮影する。
　図８（Ｇ２）に示されるように、検査装置１は、カメラ１６によって撮影中の画像をディスプレイ１５に表示する。カメラ１６による撮影が完了すると、図８（Ｇ３）に示されるように、検査装置１は、「撮影完了」といったように、撮影が完了したことをユーザ１０に知らせるメッセージをディスプレイ１５に表示する。
　図８（Ｇ４）に示されるように、検査装置１は、撮影が完了した後、撮影開始直後の画像をディスプレイ１５に表示する。このとき、検査装置１は、撮影開始直後の静止画像に基づき、瞳（黒目）を検知し、瞳を含む眼の周辺部分（たとえば、目の部分）の画像を抽出する。検査装置１は、抽出した画像部分を枠組みによって示す。ユーザ１０は、この枠組みを移動または拡大、縮小することによって、少なくとも眼の画像部分が枠組みの中に入るように調整することができる。ユーザ１０は、アイコン１４７を選択することで、枠組みの中にある画像部分を切り取り、少なくとも眼の撮影画像を抽出することができる。一方、ユーザ１０は、アイコン１４６を選択することで、撮影し直すことができる。
　図９（Ｇ５）に示されるように、検査装置１は、「検査に適切な画像であるかを確認してください。」というメッセージをディスプレイ１５に表示する。図９（Ｇ６）に示されるように、検査装置１は、撮影後、５秒間が経過した時点における眼の撮影画像をディスプレイ１５に表示する。さらに、検査装置１は、瞳（黒目）の検知およびピント合わせが適切である場合の眼の撮影画像の例と、瞳（黒目）の検知およびピント合わせが適切でない場合の眼の撮影画像の例とをディスプレイ１５に表示する。
　図９（Ｇ７）に示されるように、検査装置１は、「検査に適切な画像ですか？」といったように、検査に適切な画像が取得されているか否かをユーザ１０に問うようなメッセージとともに、検査に適切な画像が取得されていることを示すアイコン１５４と、眼の動画を撮り直すことを示すアイコン１５５とをディスプレイ１５に表示する。
　ユーザがアイコン１５４を操作すると、ＡＩによる眼のうるおい度の測定が開始される。図９（Ｇ８）に示されるように、セルフチェック中において、検査装置１は、「ＡＩ判定中」といったように、判定中であることをユーザ１０に知らせるメッセージをディスプレイ１５に表示する。さらに、検査装置１は、「自覚症状チェックはこちら」といったように、眼に関する自覚症状のチェックをユーザ１０に促すメッセージとともに、ユーザ１０が自覚症状チェックを行うためのアイコン１５６をディスプレイ１５に表示する。
　ユーザ１０がアイコン１５６を操作すると、図１０（Ｈ１）、（Ｈ２）に示されるように、検査装置１は、複数の自覚症状チェック画面をディスプレイ１５に段階的に表示する。
　図１０（Ｈ１）、（Ｈ２）に示されるように、検査装置１は、自覚症状チェックとして、「目が乾いた気がする」および「目が疲れやすい」など、眼に関するユーザ１０の自覚症状を問うような１２項目の質問をディスプレイ１５に表示する。ユーザ１０は、自覚症状のある項目をチェックすることで、自覚症状チェック結果を入力することができる。なお、図１０（Ｈ１）に示されるように、ユーザ１０は過去に入力した自覚症状チェック結果を引き継ぐことも可能である。
　ユーザ１０が全ての自覚症状チェックに対する入力を完了すると、図１１（Ｈ３）に示されるように、検査装置１は、「ご回答ありがとうございます！画像による検査結果が出ました。」といったように、セルフチェックの検査結果が得られたことをユーザ１０に知らせるメッセージとともに、検査結果を閲覧するためのアイコン１５７をディスプレイ１５に表示する。
　ユーザ１０がアイコン１５７を操作すると、図１２および図１３に示されるように、検査装置１は、セルフチェックの検査結果を示す複数の検査結果画面をディスプレイ１５に段階的に表示する。
　図１２は、ユーザ１０の眼のうるおい度のレベルが低い場合の検査結果を示す。図１２（Ｊ１）に示されるように、検査装置１は、検査結果の総合評価を示す画像１５１１と、涙の質のチェック結果を示す画像１５２１と、拡大された眼の部分を示す画像１５３１とを、ディスプレイ１５に表示する。
　画像１５１１は、「あなたの瞳のうるおい度「低」」といったように、ユーザ１０の眼のうるおい度のレベルが低いことを示すメッセージとともに、総合評価として、「早めの眼科受診をお勧めします。瞳のうるおい度を低下させている“真”の原因が分かるかもしれません。」といったように、眼科医院を受診することをユーザ１０に促すメッセージを含む。
　画像１５２１は、ユーザ１０の涙の質が不安定であることをユーザ１０に知らせるような図を含む。
　画像１５３１は、セルフチェックに用いられたユーザ１０の眼の拡大画像を含む。さらに、この拡大画像においては、セルフチェックにおいて画像認識の対象となった眼の部分が示される。これにより、ユーザ１０は、セルフチェックに用いられた自身の眼の画像をディスプレイ１５によって確認することができる。
　図１２（Ｊ２）に示されるように、検査装置１は、図１０に示された自覚症状チェックに基づくセルフチェックの検査結果を示す画像１５４１をディスプレイ１５に表示する。
　画像１５４１は、「あなたは５項目以上で、涙が不安定である可能性があります。」といったように、自覚症状チェックの結果をユーザ１０に知らせるようなメッセージを含む。
　図１３は、ユーザ１０の眼のうるおい度のレベルが中程度である場合の検査結果を示す。図１３（Ｋ１）に示されるように、検査装置１は、検査結果の総合評価を示す画像１５１２と、涙の質のチェック結果を示す画像１５２２と、拡大された眼の部分を示す画像１５３２とを、ディスプレイ１５に表示する。
　画像１５１２は、「あなたの瞳のうるおい度「中」」といったように、ユーザ１０の眼のうるおい度のレベルが中程度であることを示すメッセージとともに、総合評価として、「ドラッグストアの目薬でケアをされてはいかがでしょうか。症状が気になるようであれば眼科でご相談ください。」といったように、目薬の使用を含むセルフケアをユーザ１０に促すメッセージを含む。
　画像１５２２は、ユーザ１０の涙の質が概ね正常であることをユーザ１０に知らせるような図を含む。
　画像１５３２は、セルフチェックに用いられたユーザ１０の眼の拡大画像を含む。さらに、この拡大画像においては、セルフチェックにおいて画像認識の対象となった眼の部分が示される。これにより、ユーザ１０は、セルフチェックに用いられた自身の眼の画像をディスプレイ１５によって確認することができる。
　図１３（Ｋ２）に示されるように、検査装置１は、図１０に示された自覚症状チェックに基づくセルフチェックの検査結果を示す画像１５４２をディスプレイ１５に表示する。
　画像１５４２は、「あなたは２項目で、涙が不安定である可能性があります。」といったように、自覚症状チェックの結果をユーザ１０に知らせるようなメッセージを含む。
　図１４（Ｌ）に示されるように、検査装置１は、図５（Ｃ）、（Ｄ）に示されたリスクチェックに基づくセルフチェックの検査結果を示す画像１５４３をディスプレイ１５に表示する。
　画像１５４３は、「以下の項目に該当するとドライアイのリスクが高いとされているので注意しよう」といったように、リスクチェックの対象となった項目のうち、該当することでドライアイのリスクが高まる項目をユーザ１０に知らせるようなメッセージを含む。
　図１２（Ｊ１）および図１３（Ｋ１）に示されるように、検査装置１は、検査結果画面において、検査結果に基づく対処法を閲覧するためのアイコン１５８をディスプレイ１５に表示する。
　ユーザ１０の眼のうるおい度が低い場合の検査結果画面（図１２（Ｊ１）の検査結果画面）において、ユーザ１０がアイコン１５８を操作すると、図１５（Ｍ１）に示されるように、検査装置１は、検査結果に基づく対処法を示す対処法画面をディスプレイ１５に表示する。
　ユーザ１０の眼のうるおい度が低い場合の対処法画面は、眼科医院に関する情報として、眼科医院による診療を促す情報と、眼科医院における診療に関する情報と、推奨の眼科医院に関する情報とのうち、少なくともいずれか１つを含む。なお、本開示においては、「診療」という用語は、「診断」および「治療」を含めた用語として用いられる。すなわち、眼科医院に関する情報は、眼科医院による診療（診断または治療）を促す情報と、眼科医院における診療（診断または治療）に関する情報と、推奨の眼科医院に関する情報とのうち、少なくともいずれか１つを含んでいてもよい。
　具体的には、図１５（Ｍ１）に示されるように、ユーザ１０の眼のうるおい度が低い場合の対処法画面は、「まずは眼科受診をおススメします。」といったように、眼科医院による診療をユーザ１０に促すメッセージと、「問診により症状を確認しながら、涙の質の検査などを行い、ドライアイを診断します。」といったように、眼科医院における診療に関する情報をユーザ１０に知らせるメッセージとをディスプレイ１５に表示する。
　さらに、検査装置１は、推奨の眼科医院に関する情報として、ユーザ１０の最寄りの眼科医院をユーザ１０に知らせるためのアイコン１５９をディスプレイ１５に表示する。ユーザ１０がアイコン１５９を操作すると、たとえば、検査装置１は、ネットワーク５を介してサーバ装置２からユーザ１０の最寄りの眼科医院の情報を取得し、取得した情報をディスプレイ１５に表示する。なお、検査装置１は、ネットワーク５を介したインターネット接続により、ユーザ１０の最寄りの眼科医院を検索し、その検索結果をディスプレイ１５に表示してもよい。検査装置１は、検査装置１が有する位置情報に基づき、ユーザ１０の最寄りの眼科医院を検索してもよい。検査装置１は、ユーザ１０によって入力された情報（たとえば、ユーザ１０の住所）に基づき、ユーザ１０の最寄りの眼科医院を検索してもよい。
　このように、検査装置１は、セルフチェックの検査結果に基づき、眼科医院に関する情報として、眼科医院による診療を促す情報と、眼科医院における診療に関する情報と、推奨の眼科医院に関する情報とを、ユーザ１０に提供する。これにより、ユーザ１０は、眼科医院に行くことを促され、さらに、最寄りの眼科医院に関する情報を取得することができる。
　なお、図１５（Ｍ１）に示されるように、検査装置１は、眼科医院に関する情報として、眼科医院による診療を促す情報、眼科医院における診療に関する情報、および推奨の眼科医院に関する情報の全てをディスプレイ１５に表示してもよいし、これら眼科医院に関する情報のうちの少なくともいずれか１つをディスプレイ１５に表示してもよい。
　さらに、検査装置１は、ユーザ１０の眼のうるおい度が中程度または高い場合の対処法画面において、眼科医院に関する情報として、眼科医院による診療を促す情報と、眼科医院における診療に関する情報と、推奨の眼科医院に関する情報とのうち、少なくともいずれか１つをディスプレイ１５に表示してもよい。このようにすれば、検査装置１は、ユーザ１０の眼のうるおい度が中程度または高い場合であっても、念のために、眼科医院による診療をユーザ１０に促すことができる。
　ユーザ１０の眼のうるおい度が中程度である場合の検査結果画面（図１３（Ｋ１）の検査結果画面）において、ユーザ１０がアイコン１５８を操作すると、図１５（Ｍ２）に示されるように、検査装置１は、検査結果に基づく対処法を示す対処法画面をディスプレイ１５に表示する。
　ユーザ１０の眼のうるおい度が中程度である場合の対処法画面は、推奨の目薬に関する情報を含む。
　具体的には、図１５（Ｍ２）に示されるように、ユーザ１０の眼のうるおい度が中程度である場合の対処法画面は、「セルフケアにオススメの一般医薬品」といったように、推奨の目薬をユーザ１０に紹介するメッセージと、「目の潤いを持続させたい方には高い保水機能の目薬」といったように、推奨の目薬の機能をユーザ１０に紹介するメッセージとをディスプレイ１５に表示する。
　さらに、検査装置１は、推奨の目薬の詳細情報をユーザ１０に知らせるためのアイコン１６０をディスプレイ１５に表示する。ユーザ１０がアイコン１６０を操作すると、たとえば、検査装置１は、ネットワーク５を介してサーバ装置２から推奨の目薬の詳細情報を取得し、取得した情報をディスプレイ１５に表示する。なお、検査装置１は、ネットワーク５を介したインターネット接続により、推奨の目薬の詳細情報を検索し、その検索結果をディスプレイ１５に表示してもよい。なお、検査装置１によって推奨される目薬は、点眼液であってもよいし、眼軟膏であってもよい。
　このように、検査装置１は、セルフチェックの検査結果に基づき、推奨の目薬に関する情報をユーザ１０に提供する。これにより、ユーザ１０は、眼のセルフケアのために最適な目薬に関する情報を取得することができる。
　なお、検査装置１は、ユーザ１０の眼のうるおい度が低い場合の対処法画面において、推奨の目薬に関する情報をディスプレイ１５に表示してもよい。このようにすれば、ユーザ１０の眼のうるおい度が低い場合において、眼科医院による診療をユーザ１０に促すとともに、眼のセルフケアのために最適な目薬に関する情報をユーザ１０に提供することができる。
　［眼のうるおい度の検査処理］
　図１６は、サーバ装置２が実行する眼のうるおい度の検査処理に関するフローチャートである。図１６に示される検査処理は、サーバ装置２のプロセッサ２１が検査プログラム２３１を実行することで行われる。サーバ装置２は、所定の開始条件が成立したことを条件に、図１６に示される検査処理を実行する。開始条件としては、図５（Ｂ）に示されるように、ユーザ１０がセルフチェックを開始するためのアイコン１５１を操作したことなどが挙げられる。なお、図１６において、「Ｓ」は「ＳＴＥＰ」の略称として用いられる。
　図１６に示されるように、サーバ装置２は、リスクチェック結果を取得する（Ｓ１）。具体的には、サーバ装置２は、検査装置１から入力されたユーザ１０のリスクチェック結果を、ネットワーク５を介して取得する。サーバ装置２は、検査装置１のカメラ１６によって得られたユーザ１０の眼の撮影画像を含む撮影動画が入力されたか否かを判定する（Ｓ２）。眼の撮影動画は、まばたき直後の眼の静止画像と、まばたきしてから所定時間（たとえば、５秒間）が経過したときの眼の静止画像とを含む。サーバ装置２は、撮影動画が入力されていない場合（Ｓ２でＮＯ）、Ｓ２の処理を繰り返す。
　サーバ装置２は、撮影動画が入力された場合（Ｓ２でＹＥＳ）、撮影動画から、まばたき直後の眼の静止画像と、まばたきしてから所定時間（たとえば、５秒間）が経過したときの眼の静止画像とを抽出する（Ｓ３）。サーバ装置２は、画像認識によって、２枚の眼の画像の各々の揺らぎ度合いを抽出する（Ｓ４）。サーバ装置２は、２枚の眼の画像における揺らぎ度合いの時系列における変化に基づき、眼のうるおい度を検査する（Ｓ５）。
　ここで、図１７を参照しながら、撮影動画に基づき眼のうるおい度を検査するための処理について説明する。図１７は、眼のうるおい度の検査を説明するための図である。
　図１７に示されるように、検査装置１は、カメラ１６を用いて、まばたき直後のタイミングｔ１において撮影を開始した後、その後５秒経過したタイミングｔ２において撮影を終了する。検査装置１は、撮影動画のデータをサーバ装置２に送信する。
　サーバ装置２は、検査装置１から取得した撮影動画に含まれる複数の静止画像のうち、まばたき直後のタイミングｔ１における静止画像（「第１の静止画像」の一例）と、まばたきしてから所定時間（図１７の例では５秒間）が経過したタイミングｔ２における静止画像（「第２の静止画像」の一例）とを抽出する（図１６のＳ３に対応する処理）。図８（Ｇ２）に示されるように、これら２枚の静止画像の各々は、ユーザ１０の顔の画像を含む。
　サーバ装置２は、画像認識によって、タイミングｔ１の静止画像から眼の画像３０１を抽出するとともに、タイミングｔ２の静止画像から眼の画像３０２を抽出する。サーバ装置２は、タイミングｔ１における眼の画像３０１の揺らぎ度合いを抽出するとともに、タイミングｔ２における眼の画像３０２の揺らぎ度合いを抽出する（図１６のＳ４に対応する処理）。
　ドライアイの場合、まばたき直後は涙の状態が安定していても、その後、まばたきすることなく時間が経過した後は涙の状態が不安定になる。このため、ドライアイの場合、まばたきすることなく時間が経過した後の眼の画像は、まばたき直後の眼の画像よりも、揺らぎ度合いが大きくなる。すなわち、眼の画像の揺らぎ度合いが大きければ大きいほど、涙の状態が不安定であり、このような眼の画像は、眼のうるおい度が低いこと、および／または、ドライアイに罹患していること、あるいは、ドライアイに罹患している可能性があることを示唆している。
　たとえば、タイミングｔ１における眼の画像３０１には、眼の表面（たとえば、角膜）に映し出された外の景色（この例では街の背景）が概ね明確に表されているが、タイミングｔ２における眼の画像３０２には、眼の表面（角膜）に映し出された外の景色（街の背景）がにじむような態様で表されている。「眼の画像の揺らぎ度合い」とは、画像に示された眼の表面（たとえば、角膜）に映し出されたオブジェクトがぼやけている度合い、にじんでいる度合い、または揺らいでいる度合いなどを意味する。
　サーバ装置２は、推定モデル２３２を用いて、タイミングｔ１における眼の画像３０１と、タイミングｔ２における眼の画像３０２とを比較し、上述したような揺らぎ度合いの変化を観察することで、ユーザ１０の眼のうるおい度を検査する（図１６のＳ５に対応する処理）。
　なお、タイミングｔ２は、まばたき直後から５秒間経過したタイミングに限らず、眼の画像の揺らぎ度合いの変化に基づき眼のうるおい度の検査を行うことができるタイミングであれば、いずれのタイミングであってもよい。
　さらに、まばたき直後の眼の画像３０１と比較する対象となる眼の画像３０２は、１枚に限らず、複数枚であってもよい。たとえば、サーバ装置２は、まばたき直後のタイミングｔ１で眼の画像３０１を抽出し、その後、第１所定時間（たとえば、５秒間）が経過した後のタイミングｔ２で眼の画像３０２を抽出し、さらに、第２所定時間（たとえば、７秒間）が経過した後のタイミングｔ３で眼の画像を抽出し、これら複数枚の眼の画像において揺らぎ度合いの変化を観察することで、眼のうるおい度を検査してもよい。このようにすれば、サーバ装置２は、まばたき直後から経過した複数のタイミングの各々で抽出した複数の眼の画像に基づき眼のうるおい度を検査することができるため、より精度良く眼のうるおい度を検査することができる。
　さらに、検査装置１は、顔（眼）の動画から複数の眼の画像を抽出する処理に限らない。たとえば、検査装置１は、まばたき直後のタイミングｔ１でユーザ１０の顔を撮影することで第１の静止画像（写真）を取得し、その後、所定時間（たとえば、５秒間）が経過した後のタイミングｔ２でユーザ１０の顔を撮影することで第２の静止画像（写真）を取得してもよい。サーバ装置２は、このようにして取得された複数の静止画像の各々から、眼の画像を抽出してもよい。
　図１６に戻り、Ｓ５の処理の後、サーバ装置２は、自覚症状チェック結果を取得する（Ｓ６）。具体的には、サーバ装置２は、検査装置１から入力されたユーザ１０の自覚症状チェック結果を、ネットワーク５を介して取得する。
　サーバ装置２は、最終的なセルフチェック結果を割り出す際に用いられる点数を計算する（Ｓ７）。
　ここで、セルフチェック結果を割り出す際に用いられる点数の計算について説明する。点数計算用の計算テーブル（図示は省略する）には、画像を用いた眼のうるおい度のチェック結果に対して予め決められた点数が割り当てられ、自覚症状チェックの各項目に対して予め決められた点数が割り当てられ、リスクチェックの各項目に対して予め決められた点数が割り当てられている。サーバ装置２は、計算テーブルを参照して、画像を用いた眼のうるおい度のチェック結果と、自覚症状チェック結果と、リスクチェック結果とに基づき、加点方式で点数を計算する。たとえば、サーバ装置２は、自覚症状チェックにおいて、「目が乾いた気がする」という項目にユーザ１０がチェックした場合は、予め定められた点数を加算し、リスクチェックにおいて、「目薬の使用」という項目でユーザ１０が「あり」を選択した場合は、予め定められた点数を加算する。このようにして、サーバ装置２は、画像を用いた眼のうるおい度のチェック結果と、自覚症状チェック結果と、リスクチェック結果とに基づき、合計点を取得する。
　サーバ装置２は、計算テーブルを参照して得られた点数と、予め決められた基準値とに基づき、セルフチェックの結果として判定メッセージを抽出する。
　たとえば、サーバ装置２は、得点が基準値以上であれば、図１２に示したように、「あなたの瞳のうるおい度「低」」というメッセージと、「早めの眼科受診をお勧めします。瞳のうるおい度を低下させている“真”の原因が分かるかもしれません。」というメッセージとを抽出し、その結果を検査装置１に出力する。
　このように、サーバ装置２は、画像を用いた眼のうるおい度の検査結果、リスクチェック結果、および自覚症状チェック結果を考慮して最終的な結果を生成するため、画像を用いた眼のうるおい度の検査結果のみに基づき最終的な結果を生成するよりも、より精度良くセルフチェックの結果を出力することができる。
　図１６に戻り、サーバ装置２は、Ｓ７で計算した点数が基準値以上であるか否かを判定する（Ｓ８）。サーバ装置２は、点数が基準値以上である場合、すなわち、眼のうるおい度が低い場合（Ｓ８でＹＥＳ）、図１５（Ｍ１）に示されるような眼科医院に関する情報を取得し、検査結果に含ませる（Ｓ９）。
　サーバ装置２は、Ｓ７で計算した点数が基準値未満である場合、すなわち、眼のうるおい度が中程度または高い場合（Ｓ８でＮＯ）、図１５（Ｍ２）に示されるような推奨の目薬に関する情報を取得し、検査結果に含ませる（Ｓ１０）。
　なお、サーバ装置２は、眼のうるおい度が低い場合であっても、図１５（Ｍ２）に示されるような推奨の目薬に関する情報を取得し、検査結果に含ませてもよい。サーバ装置２は、眼のうるおい度が中程度または高い場合であっても、図１５（Ｍ１）に示されるような眼科医院に関する情報を取得し、検査結果に含ませてもよい。さらに、サーバ装置２は、自覚症状チェック結果およびリスクチェック結果と、画像を用いた眼のうるおい度の検査結果とに基づき最終的な結果を生成するものに限らない。サーバ装置２は、自覚症状チェック結果およびリスクチェック結果のうちの少なくともいずれか１つと、画像を用いた眼のうるおい度の検査結果とに基づき最終的な結果を生成してもよい。
　サーバ装置２は、生成した検査結果を検査装置１に出力する（Ｓ１１）。これにより、図１３～図１５に示されるような検査結果が検査装置１のディスプレイ１５に表示される。その後、サーバ装置２は、本処理を終了する。
　このように、サーバ装置２は、検査プログラム２３１に従って検査処理を実行することで、ユーザ１０は、検査装置１を用いて簡便に眼のセルフチェックを行うことができる。
　［別の実施形態］
　本実施形態においては、サーバ装置２が検査処理を実行することで、ユーザ１０の眼のうるおい度を検査するものであったが、検査装置１が検査処理を実行することで、ユーザ１０の眼のうるおい度を検査してもよい。
　図１８は、別の実施形態に係る検査システム１０００ａの構成を示す図である。図１８に示されるように、検査装置１ａは、図２に示すサーバ装置２が備えていた検査プログラム２３１、推定モデル２３２、目薬情報２３３、眼科医院情報２３４、および計算テーブル２３７を、メモリ１３に格納してもよい。そして、検査装置１ａのプロセッサ１１は、カメラ１６が眼を撮影することによって得られた撮影動画に含まれる撮影画像と、ニューラルネットワーク２３２１を含む推定モデル２３２とに基づき、眼のうるおい度を検査してもよい。さらに、その検査結果は、目薬情報２３３または眼科医院情報２３４とともに、最終的な検査結果としてディスプレイ１５に表示されてもよい。すなわち、図１６に示したサーバ装置２の検査処理に対応する処理を、検査装置１ａが実行するものであってもよい。
　上述の通り、検査装置１は、眼の画像の揺らぎ度合いの変化に基づき、眼のうるおい度を検査することができる。ここで、眼の画像の揺らぎ度合いが大きいことは涙液層の安定性が低下した状態（ドライアイ）であることを意味する。よって、検査装置１は、眼の画像の揺らぎ度合いの変化に基づき、涙液層の安定性（ドライアイ）の検査を行うこともできる。
　さらに、涙液層の安定性は目を開いてから眼の表面の涙の層が破壊されるまでの時間（涙液層破壊時間（Break　Up　TimeまたはBUTとも称する。））を測定することでも評価される。本開示において、検査装置１は、眼の画像の揺らぎ度合いの変化に基づき、ＢＵＴを測定し、涙液層の安定性を評価することもできる。特に、蛍光色素を用いない場合、検査装置１は、非侵襲的涙液層破壊時間（ＮＩＢＵＴ）を測定し、涙液層の安定性を評価することもできる。
　このように、眼のうるおい度を検査する検査システム１０００、検査装置１、検査方法、および検査プログラムのそれぞれの説明は、涙液層の安定性を検査する検査システム、検査装置、検査方法、および検査プログラムのそれぞれに適用可能である。
　さらに、眼のうるおい度を検査する検査システム１０００、検査装置１、検査方法、および検査プログラムのそれぞれの説明は、ドライアイの有無を検査する検査システム、検査装置、検査方法、および検査プログラムのそれぞれに適用可能である。
　［まとめ］
　本開示は、眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査する検査システム１０００に関する。図２および図４に示されるように、検査システム１０００は、カメラ１６と、カメラ１６が眼を撮影することによって得られた撮影画像と、ニューラルネットワーク２３２１を含む推定モデル２３２とに基づき、眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査するプロセッサ２１（検査部）と、プロセッサ２１による検査結果を表示するディスプレイ１５とを備える。
　これにより、ユーザ１０は、検査装置１のカメラ１６を用いて自身の眼を撮影することで、自身の眼のうるおい度（涙液層の安定性、ドライアイの有無）を客観的に検査することができる。このように、ユーザ１０は、検査装置１を用いて眼のセルフチェックを簡便に行うことができる。
　なお、「撮影画像」という文言は、カメラ撮影によって取得された「静止画像」（所謂、写真）、および、カメラ撮影によって取得された「撮影動画」に含まれる「静止画像」のいずれを指してもよい。検査部は、少なくとも「静止画像」（写真または動画に含まれる画像）に基づき眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査するように構成されている。
　好ましくは、図３に示されるように、推定モデル２３２は、撮影画像と眼のうるおい度（涙液層の安定性、ドライアイの有無）の検査結果とを含む学習用データ４に基づき、撮影画像から眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査するように学習されている。
　これにより、検査システム１０００は、学習済みの推定モデル２３２を用いて、撮影画像からユーザ１０の眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査することができる。
　好ましくは、図１７に示されるように、撮影画像は、まばたき直後のタイミングｔ１における第１の静止画像と、まばたきしてから所定時間（たとえば、５秒間）が経過したときのタイミングｔ２における第２の静止画像とを含む。
　これにより、検査システム１０００は、まばたき直後の静止画像と、まばたきしてから所定時間（たとえば、５秒間）が経過したときの静止画像とを比較することで、ユーザ１０の眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査することができる。
　好ましくは、第１の静止画像および第２の静止画像の各々は、カメラ１６が眼を撮影することによって得られた動画から抽出される。
　これにより、ユーザ１０は、カメラ１６を用いて自身の眼を動画で撮影すればよく、検査システム１０００は、得られた撮影動画から２枚の静止画像を抽出して両者を比較することで、ユーザ１０の眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査することができる。よって、ユーザ１０は、まばたき直後の静止画像と、まばたきしてから所定時間（たとえば、５秒間）が経過したときの静止画像とをカメラ１６で撮影する必要がなく、極力簡単に眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査することができる。
　好ましくは、第１の静止画像および第２の静止画像の各々は、少なくとも眼を含む顔の画像である。眼の画像は、第１の静止画像および第２の静止画像の各々に含まれる顔の画像から抽出される。
　これにより、検査システム１０００は、２枚の静止画像の各々から眼の部分の画像を抽出して両者を比較することで、ユーザ１０の眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査することができる。よって、ユーザ１０は、眼の部分のみをカメラ１６で撮影する必要がなく、極力簡単に眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査することができる。
　好ましくは、図１６のＳ４およびＳ５に示されるように、プロセッサ２１は、第１の静止画像から抽出された眼の画像の揺らぎ度合いと、第２の静止画像から抽出された前記眼の画像の揺らぎ度合いとに基づき、眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査する。
　これにより、検査システム１０００は、２枚の静止画像の各々から抽出された眼の画像の揺らぎ度合いを比較することで、ユーザ１０の眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査することができる。よって、検査システム１０００は、より精度良く眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査することができる。
　好ましくは、図１２（Ｊ１）および図１３（Ｋ１）に示されるように、ディスプレイ１５は、撮影画像に含まれる眼の画像をさらに表示する。
　これにより、ユーザ１０は、セルフチェックに用いられた自身の眼の画像をディスプレイ１５によって確認することができる。なお、ディスプレイ１５に表示される眼の画像は、図１７に示されるタイミングｔ２における第２の静止画像であってもよい。
　好ましくは、図１５（Ｍ２）に示されるように、ディスプレイ１５は、推奨の目薬に関する情報をさらに表示する。
　これにより、ユーザ１０は、眼のセルフケアのために最適な目薬に関する情報を取得することができる。
　好ましくは、図１５（Ｍ１）に示されるように、ディスプレイ１５は、眼科医院に関する情報をさらに出力する。
　これにより、ユーザ１０は、眼科医院に行くことを促され、さらに、眼科医院に関する情報を取得することができる。
　好ましくは、図１５（Ｍ１）に示されるように、眼科医院に関する情報は、眼科医院による診療を促す情報と、眼科医院における診療に関する情報と、推奨の眼科医院に関する情報とのうち、少なくともいずれか１つを含む。
　これにより、ユーザ１０は、眼科医院に行くことを促され、さらに、推奨の眼科医院に関する情報を取得することができる。
　好ましくは、図１２および図１３に示されるように、ディスプレイ１５は、眼に関する自覚症状および眼が眼科疾患を有することの可能性のうちの少なくともいずれか１つのチェック結果と、プロセッサ１１による検査とに基づく検査結果を表示する。
　これにより、ユーザ１０は、自覚症状チェック結果およびリスクチェック結果のうちの少なくともいずれか１つを考慮して眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査した結果を取得することができる。
　好ましくは、図２に示されるように、検査システム１０００は、検査装置１と、検査装置１と通信可能なサーバ装置２とをさらに備える。検査装置１は、カメラ１６と、ディスプレイ１５とを含む。サーバ装置２は、プロセッサ２１（検査部）を含む。
　これにより、ユーザ１０は、検査システム１０００に含まれる検査装置１およびサーバ装置２を利用して、眼のセルフチェックを簡便に行うことができる。
　本開示は、眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査する検査装置１ａに関する。図１８に示されるように、検査装置１ａは、カメラ１６と、カメラ１６が眼を撮影することによって得られた撮影画像と、ニューラルネットワーク２３２１を含む推定モデル２３２とに基づき、眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査するプロセッサ１１（検査部）と、プロセッサ１１による検査結果を表示するディスプレイ１５とを備える。
　これにより、ユーザ１０は、検査装置１ａのカメラ１６を用いて自身の眼を撮影することで、自身の眼のうるおい度（涙液層の安定性、ドライアイの有無）を客観的に検査することができる。このように、ユーザ１０は、検査装置１ａを用いて眼のセルフチェックを簡便に行うことができる。
　本開示は、眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査する検査装置１に関する。図２に示されるように、検査装置１は、カメラ１６と、ニューラルネットワーク２３２１を含む推定モデル２３２を備えるサーバ装置２と通信するための通信装置１２と、ディスプレイ１５とを備える。通信装置１２は、カメラ１６が眼を撮影することによって得られた撮影動画をサーバ装置２に送信する。通信装置１２は、サーバ装置２が撮影動画から抽出される眼の撮影画像と推定モデル２３２とに基づき取得した眼のうるおい度（涙液層の安定性、ドライアイの有無）の検査結果を受信する。ディスプレイ１５は、検査結果を表示する。
　これにより、ユーザ１０は、検査装置１のカメラ１６を用いて自身の眼を撮影することで、自身の眼のうるおい度（涙液層の安定性、ドライアイの有無）を客観的に検査することができる。このように、ユーザ１０は、検査装置１を用いて眼のセルフチェックを簡便に行うことができる。
　本開示は、プロセッサ２１（コンピュータ）による眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査する検査方法に関する。検査方法は、カメラ１６が眼を撮影することによって得られた撮影画像が入力されるステップ（図１６のＳ２）と、撮影画像と、ニューラルネットワーク２３２１を含む推定モデル２３２とに基づき、眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査するステップ（図１６のＳ５）と、検査するステップによる検査結果を出力するステップ（図１６のＳ１１）とを含む。
　これにより、ユーザ１０は、検査装置１のカメラ１６を用いて自身の眼を撮影することで、自身の眼のうるおい度（涙液層の安定性、ドライアイの有無）を客観的に検査することができる。このように、ユーザ１０は、検査装置１を用いて眼のセルフチェックを簡便に行うことができる。
　本開示は、眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査する検査プログラム２３１に関する。検査プログラム２３１は、プロセッサ２１（コンピュータ）に、カメラ１６が眼を撮影することによって得られた撮影画像が入力されるステップ（図１６のＳ２）と、撮影画像と、ニューラルネットワーク２３２１を含む推定モデル２３２とに基づき、眼のうるおい度（涙液層の安定性、ドライアイの有無）を検査するステップ（図１６のＳ５）と、検査するステップによる検査結果を出力するステップ（図１６のＳ１１）とを実行させる。
　これにより、ユーザ１０は、検査装置１のカメラ１６を用いて自身の眼を撮影することで、自身の眼のうるおい度（涙液層の安定性、ドライアイの有無）を客観的に検査することができる。このように、ユーザ１０は、検査装置１を用いて眼のセルフチェックを簡便に行うことができる。
　今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１，１Ａ，１Ｂ，１Ｃ，１ａ　検査装置、２　サーバ装置、４　学習用データ、５　ネットワーク、１０　ユーザ、１１，２１　プロセッサ、１２，２２　通信装置、１３，２３　メモリ、１４　入力インターフェース、１５　ディスプレイ、１６　カメラ、３１　学習装置、１３１　セルフチェックアプリ、１４６，１４７，１４８，１４９，１５１，１５２，１５３，１５４，１５５，１５６，１５７，１５８，１５９，１６０　アイコン、２１１　入力部，２１２　処理部、２１３　出力部、２３１　検査プログラム、２３２　推定モデル、２３３　目薬情報、２３４　眼科医院情報、２３５　ユーザ情報、２３６　動画データ、３０１，３０２，１５１１，１５１２，１５２１，１５２２，１５３１，１５３２，１５４１，１５４２，１５４３　画像、１０００，１０００ａ　検査システム、２３２１　ニューラルネットワーク、２３２２　パラメータ。

Claims (18)

  1. 　眼のうるおい度を検査する検査システムであって、
    　カメラと、
    　前記カメラが眼を撮影することによって得られた撮影画像と、ニューラルネットワークを含む推定モデルとに基づき、前記眼のうるおい度を検査する検査部と、
    　前記検査部による検査結果を表示するディスプレイとを備える、検査システム。
  2. 　前記推定モデルは、前記撮影画像と前記眼のうるおい度の検査結果とを含む学習用データに基づき、前記撮影画像から前記眼のうるおい度を検査するように学習されている、請求項１に記載の検査システム。
  3. 　前記撮影画像は、まばたき直後の第１の静止画像と、まばたきしてから所定時間が経過したときの第２の静止画像とを含む、請求項１または請求項２に記載の検査システム。
  4. 　前記第１の静止画像および前記第２の静止画像の各々は、前記カメラが前記眼を撮影することによって得られた動画から抽出される、請求項３に記載の検査システム。
  5. 　前記第１の静止画像および前記第２の静止画像の各々は、少なくとも前記眼を含む顔の画像であり、
    　前記眼の画像は、前記第１の静止画像および前記第２の静止画像の各々に含まれる前記顔の画像から抽出される、請求項４に記載の検査システム。
  6. 　前記検査部は、前記第１の静止画像から抽出された前記眼の画像の揺らぎ度合いと、前記第２の静止画像から抽出された前記眼の画像の揺らぎ度合いとに基づき、前記眼のうるおい度を検査する、請求項５に記載の検査システム。
  7. 　前記ディスプレイは、前記撮影画像に含まれる前記眼の画像をさらに表示する、請求項１～請求項６のいずれか１項に記載の検査システム。
  8. 　前記ディスプレイは、推奨の目薬に関する情報をさらに表示する、請求項１～請求項７のいずれか１項に記載の検査システム。
  9. 　前記ディスプレイは、眼科医院に関する情報をさらに出力する、請求項１～請求項８のいずれか１項に記載の検査システム。
  10. 　眼科医院に関する情報は、眼科医院による診療を促す情報と、眼科医院における診療に関する情報と、推奨の眼科医院に関する情報とのうち、少なくともいずれか１つを含む、請求項９に記載の検査システム。
  11. 　前記ディスプレイは、前記眼に関する自覚症状および前記眼が眼科疾患を有することの可能性のうちの少なくともいずれか１つのチェック結果と、前記検査部による検査とに基づく検査結果を表示する、請求項１～請求項１０のいずれか１項に記載の検査システム。
  12. 　検査装置と、
    　前記検査装置と通信可能なサーバ装置とをさらに備え、
    　前記検査装置は、前記カメラと、前記ディスプレイとを含み、
    　前記サーバ装置は、前記検査部を含む、請求項１～請求項１１のいずれか１項に記載の検査システム。
  13. 　眼のうるおい度を検査する検査装置であって、
    　カメラと、
    　前記カメラが眼を撮影することによって得られた撮影画像と、ニューラルネットワークを含む推定モデルとに基づき、前記眼のうるおい度を検査する検査部と、
    　前記検査部による検査結果を表示するディスプレイとを備える、検査装置。
  14. 　眼のうるおい度を検査する検査装置であって、
    　カメラと、
    　ニューラルネットワークを含む推定モデルを備えるサーバ装置と通信するための通信装置と、
    　ディスプレイとを備え、
    　前記通信装置は、
    　前記カメラが眼を撮影することによって得られた撮影動画を前記サーバ装置に送信し、
    　前記サーバ装置が前記撮影動画から抽出される前記眼の撮影画像と前記推定モデルとに基づき取得した前記眼のうるおい度の検査結果を受信し、
    　前記ディスプレイは、前記検査結果を表示する、検査装置。
  15. 　コンピュータによる眼のうるおい度を検査する検査方法であって、
    　カメラが眼を撮影することによって得られた撮影画像が入力されるステップと、
    　前記撮影画像と、ニューラルネットワークを含む推定モデルとに基づき、前記眼のうるおい度を検査するステップと、
    　前記検査するステップによる検査結果を出力するステップとを含む、検査方法。
  16. 　眼のうるおい度を検査する検査プログラムであって、
    　コンピュータに、
    　カメラが眼を撮影することによって得られた撮影画像が入力されるステップと、
    　前記撮影画像と、ニューラルネットワークを含む推定モデルとに基づき、前記眼のうるおい度を検査するステップと、
    　前記検査するステップによる検査結果を出力するステップとを実行させる、検査プログラム。
  17. 　涙液層の安定性を検査する検査システムであって、
    　カメラと、
    　前記カメラが眼を撮影することによって得られた撮影画像と、ニューラルネットワークを含む推定モデルとに基づき、前記涙液層の安定性を検査する検査部と、
    　前記検査部による検査結果を表示するディスプレイとを備える、検査システム。
  18. 　ドライアイの有無を検査する検査システムであって、
    　カメラと、
    　前記カメラが眼を撮影することによって得られた撮影画像と、ニューラルネットワークを含む推定モデルとに基づき、前記ドライアイの有無を検査する検査部と、
    　前記検査部による検査結果を表示するディスプレイとを備える、検査システム。
PCT/JP2022/018515 2021-04-23 2022-04-22 検査システム、検査装置、検査方法、および検査プログラム WO2022225037A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280029134.9A CN117177703A (zh) 2021-04-23 2022-04-22 检查系统、检查装置、检查方法及检查程序
JP2023515530A JPWO2022225037A1 (ja) 2021-04-23 2022-04-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-073136 2021-04-23
JP2021073136 2021-04-23

Publications (1)

Publication Number Publication Date
WO2022225037A1 true WO2022225037A1 (ja) 2022-10-27

Family

ID=83723055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018515 WO2022225037A1 (ja) 2021-04-23 2022-04-22 検査システム、検査装置、検査方法、および検査プログラム

Country Status (3)

Country Link
JP (1) JPWO2022225037A1 (ja)
CN (1) CN117177703A (ja)
WO (1) WO2022225037A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043929A (ja) * 2013-08-29 2015-03-12 学校法人慶應義塾 知覚測定評価装置、知覚測定評価方法、及びプログラム
US20170188805A1 (en) * 2015-12-31 2017-07-06 Anantha Pradeep System and method for analyzing eye and contact lens condition
JP2019025257A (ja) * 2017-08-04 2019-02-21 エルライズ株式会社 眼科測定装置、及び眼科測定システム
WO2019109122A1 (en) * 2017-12-08 2019-06-13 Beyond 700 Pty Ltd Methods based on tear film behaviour
WO2020023959A1 (en) * 2018-07-27 2020-01-30 University Of Miami System and method for ai-based eye condition determinations
KR20210020318A (ko) * 2019-08-14 2021-02-24 한국과학기술원 안구 건강 모니터링 방법 및 이를 이용한 안구 건강 모니터링용 디바이스

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043929A (ja) * 2013-08-29 2015-03-12 学校法人慶應義塾 知覚測定評価装置、知覚測定評価方法、及びプログラム
US20170188805A1 (en) * 2015-12-31 2017-07-06 Anantha Pradeep System and method for analyzing eye and contact lens condition
JP2019025257A (ja) * 2017-08-04 2019-02-21 エルライズ株式会社 眼科測定装置、及び眼科測定システム
WO2019109122A1 (en) * 2017-12-08 2019-06-13 Beyond 700 Pty Ltd Methods based on tear film behaviour
WO2020023959A1 (en) * 2018-07-27 2020-01-30 University Of Miami System and method for ai-based eye condition determinations
KR20210020318A (ko) * 2019-08-14 2021-02-24 한국과학기술원 안구 건강 모니터링 방법 및 이를 이용한 안구 건강 모니터링용 디바이스

Also Published As

Publication number Publication date
CN117177703A (zh) 2023-12-05
JPWO2022225037A1 (ja) 2022-10-27

Similar Documents

Publication Publication Date Title
KR101785255B1 (ko) 형상 구별 시력 평가 및 추적 시스템
Pieczynski et al. The role of telemedicine, in-home testing and artificial intelligence to alleviate an increasingly burdened healthcare system: Diabetic retinopathy
CN109285602B (zh) 用于自我检查用户眼睛的主模块、系统和方法
JP2014530730A (ja) 目の症状を特定するためのシステムおよび方法
JP7166473B2 (ja) 眼検査
CN111344222A (zh) 执行眼睛检查测试的方法
JP2020018704A (ja) 眼振解析システム
WO2022225037A1 (ja) 検査システム、検査装置、検査方法、および検査プログラム
WO2020116351A1 (ja) 診断支援装置、および診断支援プログラム
KR102208508B1 (ko) 복합적인 안과 진료를 수행하는 시스템 및 방법
US20220230749A1 (en) Systems and methods for ophthalmic digital diagnostics via telemedicine
EP4325517A1 (en) Methods and devices in performing a vision testing procedure on a person
JP7570208B2 (ja) 涙液角結膜状態検査装置、涙液角結膜状態検査方法、及びプログラム
WO2020178826A1 (en) Method and device for non-invasive measurement of an intraocular pressure
US12042224B2 (en) Method and device for determining at least one astigmatic effect of at least one eye
US20240312610A1 (en) Virtual eye disease progression monitoring and diagnostics
WO2024057942A1 (ja) 眼底画像処理装置および眼底画像処理プログラム
WO2023140064A1 (ja) 眼科情報処理装置及び眼科情報処理プログラム
JP7315501B2 (ja) 視覚検査装置、視覚検査プログラムおよび視覚検査方法
US20240177873A1 (en) Systems and methods for assisting individuals to access eye health examinations
Menolotto Artifact removal in digital retinal images
Wong et al. The Role of Telemedicine in Strabismus Assessment: A Narrative Review and Meta-Analysis
Dhayanithi et al. Enhanced Detection of Eye Coloboma through Global Attention U-Net (GA-UNet) for Accurate Ophthalmic Image Segmentation
JP2023107639A (ja) 眼科情報処理装置及び眼科情報処理プログラム
WO2024095261A1 (en) System and method for diagnosis and treatment of various movement disorders and diseases of the eye

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22791808

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023515530

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22791808

Country of ref document: EP

Kind code of ref document: A1