[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2022162922A1 - 距離測定装置及び距離測定方法 - Google Patents

距離測定装置及び距離測定方法 Download PDF

Info

Publication number
WO2022162922A1
WO2022162922A1 PCT/JP2021/003432 JP2021003432W WO2022162922A1 WO 2022162922 A1 WO2022162922 A1 WO 2022162922A1 JP 2021003432 W JP2021003432 W JP 2021003432W WO 2022162922 A1 WO2022162922 A1 WO 2022162922A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
unit
measuring device
distance measuring
image
Prior art date
Application number
PCT/JP2021/003432
Other languages
English (en)
French (fr)
Inventor
一輝 千田
Original Assignee
株式会社ニコンビジョン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコンビジョン filed Critical 株式会社ニコンビジョン
Priority to PCT/JP2021/003432 priority Critical patent/WO2022162922A1/ja
Priority to JP2022577994A priority patent/JPWO2022162922A1/ja
Priority to US18/274,797 priority patent/US20240118418A1/en
Publication of WO2022162922A1 publication Critical patent/WO2022162922A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/28Measuring arrangements characterised by the use of optical techniques for measuring areas
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Definitions

  • the present invention relates to a distance measuring device and a distance measuring method.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2001-304855
  • the distance measuring device may be a distance measuring device that measures the distance to an object by projecting light.
  • the distance measuring device may include a control section that controls the light projection state based on the detection result of the target.
  • the distance measuring device may include a light projecting section that projects light controlled by the control section onto the object.
  • the distance measuring device may include a processing unit that determines the distance to the object based on the reflected light detection result.
  • the distance measuring device may include an imaging section that captures an image of the object.
  • the control unit may detect the object based on the imaging result obtained by the imaging unit.
  • the light projecting section may project light onto the object via the optical system.
  • the imaging unit may capture an image of the object via an optical system or an imaging optical system different from the optical system.
  • the light projecting section may include a light source section that emits light.
  • the control unit may control the light projection state by controlling either one of the light source unit and the optical system.
  • the light projection state may include any one of the light irradiation direction and the light intensity.
  • the imaging unit may further detect reflected light from the object.
  • the distance measuring device may include a detector that detects reflected light from the object.
  • the distance measuring device may include an analysis section that analyzes the imaging result obtained by the imaging section. The analysis unit may analyze the image of the object in the imaging result to identify the object.
  • the analysis unit may analyze the image of the object based on a machine learning model.
  • the machine learning model may be constructed in advance by performing machine learning using an image of an object whose distance is to be measured as teacher data.
  • the analysis unit may analyze the image of the object by an image processing method. Image processing methods may include at least edge detection methods.
  • the control unit may control any one of the optical system, the imaging optical system different from the optical system, and the imaging unit so that the object analyzed by the analysis unit is imaged in the center of the imaging area of the imaging unit.
  • the analysis unit may identify the object at the center of the image.
  • the imaging unit may image the object multiple times at different timings.
  • the analysis unit may identify the object from image differences between the plurality of images.
  • the analysis unit may detect the resolution of the image.
  • the controller may control the optical system based on the resolution detection result to enlarge or reduce the image of the object.
  • the analysis unit may analyze the image of the object to identify the center or center of gravity of the object.
  • the control unit may control any one of the light projecting unit and the optical system to project the light onto the center of the specified object.
  • the analysis unit may analyze the image of the object to identify the object.
  • the controller may control the light to scan the identified object with the light.
  • the processing unit may determine the distance to the object based on the relationship between the position of the object scanned by the light and the detection result of the reflected light.
  • the distance measuring device may further include a display section for displaying the image of the object obtained by the imaging section on the display screen.
  • the display may display an object showing the location on the object where the light is projected, or the object for which the distance was determined, superimposed on the image of the object.
  • the display unit may display the image of the object obtained by the imaging unit so that the place on the object onto which the light is projected is positioned at the center of the screen.
  • the display screen may include a touch detection sensor that detects a touch operation by the user.
  • the control unit may control the light to project the light to the at least one place when at least one place included in the image is selected by a touch operation on the display screen.
  • a distance measuring device calculates distances to multiple locations or distances and/or areas between multiple locations when multiple locations included in an image are selected by touch operation on the display screen. A part may be further provided.
  • the optical system may include corrective optical elements of at least one of lens elements, prisms, and mirrors.
  • the controller may drive at least one corrective optical element.
  • the light projecting unit may project light onto the object after the imaging unit has captured an image of the object.
  • the controller may control the optical system or the imaging optical system to correct the blurring of the distance measuring device.
  • the distance measurement method may control the light projection state based on the detection result of the object.
  • the distance measuring method may project controlled light onto the object in the controlling step.
  • the distance measurement method may determine the distance to the object based on the reflected light detection result.
  • FIG. 1 shows the configuration of a distance measuring device according to this embodiment.
  • Fig. 4 shows the deflection of light by a mirror; 4 shows the deflection of light by a corrective lens; An example of an object that can be specified from a captured image is shown.
  • 2 shows an object specified from a captured image. It shows the detected deviation from the reference axis for the identified object.
  • Fig. 3 shows deblurring for identified objects;
  • An example of display on the display screen is shown.
  • 4 shows another example of a display on a display screen.
  • An example of display operation when a touch operation on the display screen is detected is shown.
  • An example of display operation when a touch operation on the display screen is detected is shown.
  • An example of a display operation when multiple touch operations are detected on a display screen is shown.
  • FIG. 10 shows another example of display operation when multiple touch operations are detected on the display screen.
  • FIG. 4 shows a flow of a distance measurement method according to the embodiment; 4 shows the configuration of a distance measuring device according to a first modified example; FIG. 11 shows the configuration of a distance measuring device according to a second modified example; FIG. An example of control of the correction lens is shown.
  • FIG. 1 shows the configuration of a distance measuring device 100 according to this embodiment.
  • the distance measuring device 100 is a device that measures the distance to an object by projecting light B3 . Note that measuring the distance is simply referred to as distance measurement, and the operation by the distance measurement device 100 is also referred to as distance measurement operation.
  • the direction in which the light projecting unit 10 emits the light B3 along the reference axis L10 (that is, the left direction in the drawing is the front), and the opposite direction (that is, the right direction in the drawing) is the rear.
  • the orientation (also referred to as direction) of the reference axis L10 is uniquely determined by the orientation of the body of the distance measuring device 100 (that is, the housing that accommodates the components).
  • the distance measuring device 100 includes a light projection section 10 , a detection section 20 , an imaging section 30 , an analysis section 51 , a control section 52 , a processing section 61 , a display section 70 and a calculation section 62 .
  • the analysis unit 51, the control unit 52, the processing unit 61, and the calculation unit 62 are functional units that are realized when an arithmetic processing unit (not shown) executes a dedicated program.
  • the light projecting unit 10 is a unit that projects light B3 controlled by a control unit 52 ( to be described later) onto an object via a light projecting observation optical system (an example of an optical system) 12 .
  • the light projection unit 10 includes a light source 11 and a light projection observation optical system 12 .
  • the light source 11 generates pulsed light B1 at a constant cycle and enters the projection observation optical system 12 .
  • the light source 11 for example, a semiconductor laser that oscillates infrared rays can be employed.
  • the light B 1 is emitted a predetermined number of times, eg, 320 times, at a constant cycle, eg, a cycle of 500 to 700 ⁇ s, in one ranging operation.
  • the light source 11 may have a driving device (not shown), and the control unit 52 may control the driving device to tilt the light source 11 . In this case, the emission direction of the light B1 emitted from the light source 11 is changed, and the light B1 can be deflected toward the object.
  • the projection observation optical system 12 is an optical system composed of a plurality of optical elements that shape and direct the light B1 , and includes a mirror 13, a correction lens 14, and an objective lens 15 as an example. These optical elements are arranged along the reference axis L 10 of the projection observation optical system 12 .
  • the mirror 13 is a mirror device that reflects or transmits light according to its wavelength, and has a dichroic reflecting surface 13a and a driving device 13b.
  • the dichroic reflecting surface 13a is a mirror element that reflects light in the infrared band and transmits light in the visible band.
  • the dichroic reflecting surface 13a is arranged on the reference axis L10, reflects the light B1 emitted from the light source 11 , forwards the light B1 along the reference axis L10, and forwards the light B1 from the front of the distance measuring device 100 through the objective lens 15. It transmits the visible light A1 entering through it and sends it out toward the imaging unit 30 arranged behind .
  • the driving device 13b has driving elements such as an actuator and an electric motor, and is controlled by the control unit 52 based on the detection result of the inclination of the dichroic reflecting surface 13a by a rotation sensor (not shown) or the like. Tilt 13a. As shown in FIG. 2A, the dichroic reflecting surface 13a is tilted with respect to the reference axis L10 by the driving device 13b , so that the emission direction of the light B3 can be changed from an object moving with respect to the fuselage or from the reference axis L10 . It can be deflected towards stray objects.
  • the correction lens 14 is a lens device that deflects the light B2 and has a lens element 14a and a drive device 14b.
  • Lens element 14 a is an internal focus lens as an example and is arranged on reference axis L 10 between mirror 13 and objective lens 15 .
  • the driving device 14b has a driving element such as a voice coil motor or a piezoelectric motor, and is controlled by the control unit 52 based on the detection result of the displacement of the lens element 14a by a displacement sensor (not shown) or the like to drive the lens element 14a. is displaced in a direction intersecting the reference axis L10 (in the present embodiment, two axial directions perpendicular to each other in a plane perpendicular to the reference axis L10 ). As shown in FIG.
  • the driving device 14b displaces the lens element 14a with respect to the reference axis L10 , thereby deflecting the light B3 (tilting it with respect to the reference axis L10 ).
  • the correcting lens 14 may be a vari-angle prism that is controlled by the control unit 52 and deforms asymmetrically with respect to the central axis.
  • the objective lens 15 collimates the light B2 that is output from the light source 11 and enters via the mirror 13 and the correcting lens 14 and sends it to the front of the distance measuring device 100 as light B3 , and also enters the distance measuring device 100 from the front. It is an optical element that collimates incoming visible light A1 and sends it backwards.
  • the objective lens 15 may consist of a plurality of optical elements including at least one lens element. The focal position may be moved back and forth by displacing the objective lens 15 or an optical element constituting the objective lens 15 along the reference axis L10.
  • the projection observation optical system 12 may include a prism (not shown) in place of or in combination with the mirror 13 .
  • the prism is an optical element that forwards the light B1 emitted from the light source 11 and forwards the visible light A1 entering through the objective lens 15 from the front of the distance measuring device 100.
  • a roof prism, a Porro prism, or the like is adopted. can do.
  • the prism has a drive device for driving its holding frame, which displaces and/or rotates the prism with respect to the reference axis L10 , thereby changing the direction of emission of the light B3 to an object that moves relative to the fuselage. Can be deflected towards objects.
  • the mirror 13 , correction lens 14 , and prism are examples of correction optical elements, and at least one of them may be included in the projection observation optical system 12 .
  • the detection unit 20 is a unit that detects reflected light from an object generated by projecting the light B3 .
  • the detection section 20 includes a light receiving lens 21 and a detection element 22 .
  • the light receiving lens 21 is an optical element that collects the reflected light C1 from the object.
  • the reflected light C1 condensed by the light receiving lens 21 is sent to the detection element 22 as the reflected light C2 .
  • the light receiving lens 21 has a reference axis L 20 different from that of the objective lens 15 (light projecting observation optical system 12) of the light projecting section 10 .
  • the detection element 22 is an element that receives the reflected light C2 and outputs a detection signal corresponding to its intensity.
  • the detection element 22 can employ, for example, a photodiode, a phototransistor , or the like that is sensitive to the band of light B3.
  • the detector element 22 may include a bandpass filter on or in front of its detection surface that transmits light in a narrow band including the reflected light C2 and blocks or attenuates light in other bands.
  • the detection signal is converted into a digital signal and supplied to the processing section 61 .
  • reflected light C 1 reflected (or scattered) from an object positioned in front of the distance measuring device 100 enters the light receiving lens 21 .
  • the reflected light C1 is collected by the light receiving lens 21 and detected by the detection element 22 as the reflected light C2 .
  • the detection signal is output to the processing section 61 .
  • the imaging unit 30 is a unit that images an object through the projection observation optical system 12 .
  • the imaging unit 30 has, for example, a CMOS image sensor , and performs surface detection of visible light A3 entering from the front of the aircraft via the projection observation optical system 12 .
  • a filter element that transmits visible light and cuts light (infrared light) may be provided on the light receiving surface of the image sensor.
  • the detection result that is, the captured image of the object is transmitted to the analysis section 51 and the display section 70 . Since the optical axis of the light B3 emitted forward of the aircraft and the optical axis of the visible light A1 entering from the front of the aircraft coincide on the reference axis L10, the image captured by the imaging unit 30 Light B3 can be projected onto the object on the center.
  • the analysis unit 51 is a unit that analyzes the imaging result obtained by the imaging unit 30, that is, the captured image of the object.
  • the analysis unit 51 analyzes the captured image of the target based on, for example, a machine learning model, and identifies the target from the captured image.
  • the machine learning model may be, for example, a multi-layer neural network (DNN) constructed by deep learning. It is constructed by machine learning as
  • the number of specified objects is not limited to one, and may be plural.
  • a plurality of types of target objects may be machine-learned in advance so that the user can select which type of target object to specify during distance measurement.
  • FIG. 3 shows an example of a target object that can be specified from the captured image 200 by the analysis unit 51.
  • a user who is a golf player uses the distance measuring device 100 to measure the distance to the pin flag 202 as an object in order to know the distance to the cup 201 on the green 210 on the golf course.
  • the analysis unit 51 uses a machine learning model to identify the pin flag 202 from the captured image 200 of the object obtained by the imaging unit 30, and the image center (that is, the reference axis L 10 of the projection observation optical system 12). Calculate the deviation.
  • the target object is not limited to the pin flag 202, and may be combined with an object positioned near the cup 201, such as the green 210, a pin (supporting the flag of the pin flag 202), or the like. As a result, the accuracy of target object identification by the machine learning model is improved. Also, when using an object positioned near the cup 201, which is the target object, color information specific to the object (for example, green for green 210) may be used.
  • FIG. 4A shows an object identified from the captured image 200.
  • the analysis unit 51 identifies the object on the reference axis L10.
  • the analysis unit 51 identifies the pin flag 202 based on the machine learning model.
  • the analysis unit 51 identifies the center or the center of gravity from the shape of the pin flag 202 .
  • the pin flag 202 is imaged a plurality of times at different timings by the imaging unit 30, and the center or the center of gravity of the pin flag 202 is specified from the image difference between the plurality of images (the offset between the images with the smallest pixel value difference). can also
  • an image of an object may be registered in the machine in advance, and a suitable machine learning model may be automatically selected according to the situation when the machine is operated. For example, if the situation in which the aircraft is operated is a golf game, when the user selects the golf game, the flag may be automatically selected as the machine learning (completed) model. Alternatively, the user may pick up an image of an object and register it in the machine during the first ranging operation or the like, and set such that the registered machine learning (completed) model is automatically selected during subsequent operations.
  • FIG. 4B shows the detected deviation from the reference axis L10 for the identified object.
  • the object is off the image center (reference axis L 10 ).
  • the analysis unit 51 recognizes the target object at an arbitrary position in the captured image 200 and identifies the target object relative to the image center corresponding to the position of the reference axis L10 .
  • a deviation S of an object (center coordinates of an object with respect to the center coordinates at the center of the image in the display screen 71a) is detected.
  • a detection result of the deviation S is transmitted to the control unit 52 .
  • the center of the image in the display screen 71a is also the intersection of the reference axis L10 of the detection element 22 and the detection element 22.
  • the captured image of the target object may be analyzed by an image processing method.
  • Image processing methods include edge detection methods that detect the contours of objects in captured images. As a result, it is possible to detect various objects existing on the golf course in the captured image 200 shown in FIG. 3, such as bunkers 220, forests 230, and other hazards.
  • the analysis unit 51 detects the resolution of the captured image of the object when the object cannot be detected, and the control unit 52 controls the projection observation optical system 12 based on the detection result of the resolution. may be used to enlarge or reduce the image of the object. Image analysis by the analysis unit 51 will be further described later.
  • the control section 52 is a unit that controls the projection state of the light B 3 based on the imaging result obtained by the imaging section 30 .
  • the control unit 52 controls the light projection unit 10 and/or the light projection observation optical system 12 to tilt the mirror 13 with respect to the reference axis L10, displace the correction lens 14 from the reference axis L10, and control the prism (indirect ) and/or tilting the light source 11 with respect to the reference axes B1 and B2 deflects the light B3 in a direction determined by the offset S (and the distance to the object).
  • the light B3 continues to irradiate the pin flag 202, which is the object identified by the analysis unit 51, particularly its center or center of gravity.
  • the deflection angle ⁇ and the angle of view of the display screen 71a determined by the magnification of the optical system are in a corresponding relationship.
  • control unit 52 may control the light projecting unit 10 and/or the light projecting observation optical system 12 to deflect the light B3 so as to scan the light B3. Further, the control unit 52 may control the projection state of the light B3 by changing not only the projection direction of the light B3 but also the intensity thereof. For example, when the reflectance of the object is low (or high) and the intensity of the reflected light C1 detected by the detector 20 is weak (strong) , the intensity of the light B3 may be increased (decreased). Also, when scanning an object with the light B3 , the object may be scanned across the object, that is, the object and its surrounding area may be scanned, or only the area of the object may be scanned. .
  • control unit 52 controls the light projecting unit 10 and/or the light projecting observation optical system 12 as described above, so that the object analyzed by the analysis unit 51 is captured at the center of the image capturing area of the image capturing unit 30. make it By imaging the object in the center of the imaging area in this manner, the detection accuracy is improved.
  • the processor 61 is a unit that determines the distance to the object based on the detection result of the reflected light C1 by the detector 20 .
  • the detection time T may be determined by averaging the results obtained for multiple irradiations of the measurement light.
  • the processing unit 61 may determine the distance to the object by scanning the object with the light B3 .
  • the analysis unit 51 analyzes the captured image of the object to identify the object
  • the control unit 52 controls the light projection unit 10 and/or the light projection observation optical system 12 to emit the light B3 .
  • the detection unit 20 detects the reflected light C1 at the same time as the object identified using the to determine the distance to the object.
  • the distance is determined for the scan position of the object where the detected intensity of the reflected light C1 is maximum, or for all scan positions within the object A distance can be determined and the average or minimum distance taken as the distance to the object.
  • the processing unit 61 may determine the distance to the object by scanning the entire deflection range or the entire field angle range of the captured image with the light B3 .
  • the control unit 52 controls the projection observation optical system 12 to scan the deflection range or the field angle range of the captured image using the light B3 , and at the same time the detection unit 20 detects the reflected light C1.
  • the processing unit 61 detects an object based on the relationship between the scanning position of the light B3 and the detection result of the reflected light C1, and determines the distance to the object.
  • the processing unit 61 based on the relationship between the scanning position and the detection result of the reflected light C1, the processing unit 61 identifies the target at, for example, the scanning position where the detection intensity of the reflected light C1 is maximum, and determines the distance of the target from the target. may be determined. Further, based on the relationship between the scan position and the detection result of the detection time T, for example, the target may be specified at the position where the detection time T is the minimum, and the distance of the target may be determined.
  • the processing unit 61 supplies the determined distance to the object to the display unit 70 .
  • the processing unit 61 may store the determined distance to the object in a storage device (not shown).
  • the display unit 70 is a unit that displays the captured image of the object obtained by the imaging unit 30 and the distance to the object determined by the processing unit 61 , and has a display device 71 and a touch detection sensor 72 .
  • the display device 71 may be an electronic viewfinder or liquid crystal display having a display screen exposed on the aircraft.
  • a liquid crystal display is adopted as the display device 71 because the touch detection sensor 72 is adopted together with the display device 71 .
  • the touch detection sensor 72 is, for example, a capacitance sensor, is arranged on the display screen 71a of the display device 71, and detects a user's touch operation and a touched place on the display screen 71a.
  • the calculation unit 62 calculates the distances of the one or more locations and the distances between the plurality of locations. and/or a unit for calculating area. These calculations will be described later.
  • FIG. 5A shows an example of a display displayed on the display screen 71a by the display unit 70.
  • the display unit 70 displays the captured image 200 on the display screen 71a and a mark 240 that indicates the location on the object where the light B3 is projected (or the distance is displayed).
  • the display unit 70 displays the captured image 200 of the object obtained by the imaging unit 30 on the pin flag 202 on which the light B3 is projected , that is, the mark 240 .
  • the determined distance "385y (yards)" to the object is displayed.
  • the mark 240 may be displayed so as to be positioned at the center of the screen.
  • the object showing the distance is highlighted or the object showing the distance
  • An object (for example, a mark or an arrow) may be superimposed on the .
  • FIG. 5B shows an example of display operation when the touch detection sensor 72 of the display unit 70 detects a user's touch operation on the display screen 71a.
  • a pin flag 202 is displayed as an object on the display screen 71a of the display unit.
  • the touch detection sensor 72 detects the location (coordinates) on the display screen 71a touched by the user.
  • the deviation S from is calculated , and the deflection angle ⁇ of the light B3 directed toward the object is calculated.
  • the control unit 52 directs and projects the light B3 toward the pin flag 202 at the deflection angle ⁇ calculated by controlling the light projecting unit 10 and/or the light projecting observation optical system 12, and calculates the distance to the pin flag 202. .
  • FIG. 6A and 6B show an example of display operation when the touch detection sensor 72 of the display unit 70 detects a user's touch operation on the display screen 71a.
  • the distance measuring device 100 identifies the pin flag 202 which is the object in the captured image 200, locks onto it, projects the light B3 , and continuously measures the distance to the pin flag 202.
  • FIG. are measuring. In this state, assume that the user selects the banker 220 included in the captured image 200 by performing a touch operation with a finger or the like on the display screen 71a.
  • the display unit 70 detects the location on the display screen 71a touched by the user with the touch detection sensor 72, and displays the mark 242 on the banker 220, which is the selected location, superimposed on the captured image 200.
  • the analysis unit 51 detects the deviation S from the pin flag 202, which is the target object previously specified or selected, to the bunker 220, which is the selected place, and the control unit 52 detects the deviation S based on the detection result of the deviation S
  • the light B3 is directed to the selected bunker 220 and projected by controlling the light projecting section 10 and/or the light projecting observation optical system 12 . As a result, as shown in FIG.
  • the display unit 70 displays a mark 242 indicating the location on the bunker 220 where the captured image 200 and the light B3 are projected on the display screen 71a. to be displayed. Also, the determined distance "373y (yards)" to the bunker 220 is displayed.
  • FIG. 7A shows an example of the display operation when the touch detection sensor 72 of the display unit 70 detects a plurality of touch operations by the user on the display screen 71a.
  • the user captures an image of a cup 201 on the green 210 as an object using the distance measuring device 100, and the captured image 200 is displayed on the display screen 71a.
  • the user touches the display screen 71a with a finger or the like to select the location of the cup 201 on the green 210 and the forest 230 behind the green 210 included in the captured image 200 .
  • the display unit 70 detects the location on the display screen 71a touched by the user with the touch detection sensor 72, displays the marks 246 at the selected two locations superimposed on the captured image 200, and displays the mark 246 on the selected two locations.
  • 52 controls the projection observation optical system 12 so that the light B3 is projected onto each location
  • the processing unit 61 determines the distance to each location
  • the calculation unit 62 calculates the distance to the determined two locations. and the angle of view between the two locations to calculate the distance between them.
  • the distance "150y" to the cup 201 and the determined distance "170y” to the forest 230 are displayed on the display screen 71a, and the calculated distance "30y” between the cup 201 and the forest 230 is displayed. Displayed on the display screen 71a, the user can evaluate the risk of going out of bounds if the shot goes over the green 210 from the distance from the cup 201 to the forest 230.
  • FIG. 7B shows another example of the display operation when the touch detection sensor 72 of the display unit 70 detects a plurality of touch operations by the user on the display screen 71a.
  • the user takes an image of the green 210 as the object with the distance measuring device 100, and the captured image 200 is displayed on the display screen 71a.
  • the user touches the display screen 71a with a finger or the like to select a plurality (four in this example) of locations along the outline of the green 210 included in the captured image 200 .
  • the display unit 70 detects the location on the display screen 71a touched by the user with the touch detection sensor 72, displays the marks 242 at the selected four locations superimposed on the captured image 200, and displays the marks 242 on the selected four locations.
  • 62 calculates the area of area 244 bounded by the four locations. The calculation result of the area of the area 244 is displayed on the display screen 71a, and the user can know the approximate size of the green 210. FIG.
  • FIG. 8 shows the flow of the distance measurement method according to this embodiment.
  • the ranging operation is started when the user presses an operation button (not shown) provided on the body of the distance measuring device 100 .
  • an operation button not shown
  • a user who is a golf player uses the distance measuring device 100 to find the distance to the cup 201 on the green 210 on the golf course as shown in FIG.
  • step S102 the imaging unit 30 captures an image of the object through the projection observation optical system 12. As shown in FIG. 3, the pin flag 202, which is the object, and the surrounding green 210, etc., are imaged. The captured image is displayed on the display screen 71 a of the display device 71 by the display unit 70 .
  • step S102 the projection state of the light B3 is controlled based on the imaging result obtained in step S102. Specifically, the following steps S104 to S110 are executed.
  • step S104 the analysis unit 51 analyzes the captured image of the object obtained in step S102. It should be noted that at the time of the first ranging operation or the like, as shown in FIG. 4A, the user swings the aircraft up, down, left, and right to move the pin flag 202, which is the object, onto the reference axis L10 (that is, the image displayed on the display screen 71a). center), the analysis unit 51 identifies the pin flag 202 . After this, the analysis unit 51 can specify the pin flag 202 at any position within the captured image.
  • step S106 the analysis unit 51 determines whether or not an object has been detected. If the pin flag 202 does not exist in the captured image, the analysis unit 51 cannot detect the pin flag 202, determines that the object has not been detected, and returns to step S102. Therefore, the user moves the aircraft to position the pin flag 202 within the captured image. By doing so, the analysis unit 51 detects the pin flag 202 in the captured image, determines that the object has been detected, and proceeds to step S108.
  • step S108 the analysis unit 51 identifies the center of the pin flag 202, which is the object. As described above, the analysis unit 51 identifies the center of the pin flag 202 from the shape center of the object or the image difference between a plurality of images, and as shown in FIG. A deviation S of an object (center coordinates of an object with respect to the center coordinates at the center of the image in the display screen 71a) is detected.
  • step S110 the controller 52 controls at least one correction optical element included in the projection observation optical system 12 based on the analysis result of the object image obtained in step S108.
  • the control of the correction optical element is as described above. This allows the light B3 to illuminate the center of the pin flag 202 as indicated by the arrow in FIG. 4C.
  • step S112 the distance to the object is measured.
  • the light projecting unit 10 projects light B3 onto the center of the pin flag 202 via the light projecting observation optical system 12 .
  • the detector 20 detects the reflected light C1 from the pin flag 202 caused by the projection of the light B3.
  • the processing unit 61 determines the distance D to the pin flag 202 based on the detection result of the reflected light C1. The details of projecting the light B3, detecting the reflected light C1, and determining the distance D are as described above.
  • the imaging unit 30 captures an image of the object in step S102
  • the light B3 is projected onto the object by the light projecting unit 10 in step S112. Let's shift the timing. As a result, it is possible to prevent the reflected light C1 generated by projecting the light B3 onto the object from being detected by the imaging unit 30 when the object is imaged in step S102.
  • step S114 the display unit 70 displays the pin flag 202 obtained in step S102 and the captured image 200 around it, as well as the distance "385y (yards)" to the object determined in step S112. It is displayed on the display screen 71a.
  • step S116 it is determined whether or not to end the ranging operation. If the operation button (not shown) is pressed again by the user, it is determined that the ranging operation should be continued, and the process returns to step S102.
  • the light projecting section 10 projects the light B3 onto the object through the projection observation optical system 12, and the object is projected through the projection observation optical system 12.
  • An imaging unit 30 that takes an image
  • an analysis unit 51 that analyzes the image of the object obtained by the imaging unit 30, and a control unit 52 that controls the projection observation optical system 12 based on the analysis result of the analysis unit 51.
  • the object is imaged through the projection observation optical system 12 through which the light projected onto the object passes, the captured image of the object obtained thereby is analyzed, and the projection observation is performed based on the analysis result.
  • the optical system 12 By controlling the optical system 12, it is possible to accurately project light onto an object and determine the distance to the object.
  • the target since the user does not need to collimate the area including the target and visually recognize the target, the target can be easily recognized.
  • the distance measuring device 100 has a configuration in which the imaging unit 30 captures an image of an object, and the detection unit 20 projects the light B3 , thereby detecting the reflected light C1 from the object generated.
  • the imaging unit 30 captures an image of the object and also detects the reflected light C1 from the object generated by projecting the light B3.
  • FIG. 9 shows the configuration of the distance measuring device 110 according to the first modified example.
  • the distance measuring device 110 includes a light projection section 10 , an imaging section 30 d , an analysis section 51 , a control section 52 , a processing section 61 , a display section 70 and a calculation section 62 .
  • Units other than the imaging unit 30d are configured in the same manner as those in the distance measuring device 100 described above.
  • the imaging unit 30d captures an image of an object via the light projecting observation optical system 12d, and captures reflected light (infrared light) C1 from the object generated by projecting light B3 from the light projecting unit 10 . It is the unit that detects.
  • the imaging unit 30 can employ an image sensor having sensitivity in the visible light band and the infrared band, such as a CMOS image sensor.
  • a captured image of the object obtained by receiving the visible light A1 is supplied to the analysis unit 51 and the display unit 70 .
  • a detection signal of the reflected light (infrared light) C 3 from the object derived from the light B 3 is converted into a digital signal and supplied to the processing unit 61 .
  • the processing unit 61 determines the distance to the object based on the detection result of the reflected light (infrared light) C3 by the imaging unit 30d. The details are as described above.
  • the imaging unit 30 captures an image of the object and also detects the reflected light C1 from the object generated by projecting the light B3. Since functions can be shared, costs can be reduced.
  • the configuration in which the light projection unit 10 and the imaging unit 30 share one optical system is adopted.
  • a configuration in which the optical units 10 each have an independent optical system may be employed.
  • FIG. 10 shows the configuration of a distance measuring device 120 according to a second modified example.
  • the distance measuring device 120 includes a light projecting section 10d, a detecting section 20d, an imaging section 30, an analyzing section 51, a control section 52, a processing section 61, a display section 70, and a calculating section 62.
  • Units other than the light projecting unit 10d and the detecting unit 20d are configured in the same manner as those in the distance measuring device 100 described above.
  • the light projecting unit 10d is a unit that projects light B3 onto an object via a light projecting optical system (an example of a first optical system) 12dd .
  • the light projecting section 10d includes a light source 11 and a light projecting optical system 12dd.
  • the light source 11 generates pulsed light B1 at a constant cycle and enters the light projecting optical system 12dd.
  • the projection optical system 12dd is an optical system composed of a plurality of optical elements for shaping and directing the light B1, and includes a correction lens 14 and an objective lens 15 as an example. These optical elements are arranged along the reference axis L10 of the projection optical system 12dd .
  • the correction lens 14 is a lens device that deflects the light B1 and has a lens element 14a and a drive device 14b. Their configurations are as described above.
  • the objective lens 15 is an optical element that collimates the light B 1 that is output from the light source 11 and enters through the correction lens 14 and sends the collimated light B 3 to the front of the distance measuring device 100 .
  • the configuration of the objective lens 15 is as described above.
  • the detection unit 20d is a unit that detects reflected light C1 from an object generated by projecting light B3 through a detection observation optical system (an example of a second optical system) 22d.
  • the detection section 20 includes a light receiving lens 21 , a correction lens 23 , a mirror 24 and a detection element 22 .
  • the light receiving lens 21 is an optical element that collects the reflected light C1 from the object. Reflected light C 1 condensed by the light receiving lens 21 is sent to the correcting lens 23 .
  • the correcting lens 23 is a lens device that changes the light receiving angle of the reflected light C2 , and has a lens element 23a and a driving device 23b.
  • the lens element 23 a is, for example, an internal focus lens and is arranged on the reference axis L 20 between the light receiving lens 21 and the mirror 24 .
  • the drive device 23b has a drive element such as a voice coil motor or a piezoelectric motor, and is controlled by the control unit 52 based on the detection result of displacement of the lens element 23a by a displacement sensor (not shown) or the like to drive the lens element 23a. is displaced in a direction intersecting the reference axis L20 ( in this embodiment, two axial directions perpendicular to each other in a plane perpendicular to the reference axis L20 ).
  • the mirror 24 is a mirror device that reflects or transmits light according to its wavelength, and has a dichroic reflecting surface 24a.
  • the dichroic reflecting surface 24a is a mirror element that reflects light in the infrared band and transmits light in the visible band.
  • the dichroic reflecting surface 24a is arranged on the reference axis L20 , reflects the reflected light (infrared light) C2 , sends it to the detection element 22, and transmits it to the light receiving lens 21 and the distance measuring device 100 together with the reflected light C1.
  • the visible light A2 entering via the correcting lens 14 is transmitted and sent out toward the imaging unit 30 arranged behind.
  • the detection element 22 is an element that receives the reflected light C3 and outputs a detection signal corresponding to its intensity.
  • the sensing element 22 is configured as previously described.
  • the detection signal is converted into a digital signal and supplied to the processing section 61 .
  • the imaging unit 30 captures an image of the object by receiving the visible light A3 via the detection/observation optical system 22d.
  • the analysis unit 51 analyzes the image of the object obtained by the imaging unit 30 and identifies the object from the captured image. The details of the analysis of the captured image are as described above.
  • the control unit 52 controls the correction lens 14 included in the projection optical system 12dd and the correction lens 23 included in the detection/observation optical system 22d based on the analysis result by the analysis unit 51 .
  • FIG. 11 shows an example of control of the correction lenses 14 and 23.
  • the analysis unit 51 detects the shift S of the object with respect to the image center (reference axis L 10 ) (the center coordinates of the object with respect to the center coordinates of the image center in the display screen 71a)
  • the control unit 52 causes the driving device 14b to
  • the lens element 14a is displaced with respect to the reference axis L10 .
  • the light B 3 is deflected (tilted with respect to the reference axis L 10 ).
  • the controller 52 displaces the lens element 23a with respect to the reference axis L20 by the drive device 23b.
  • the light receiving angle of the reflected light C 1 (and visible light A 1 ) is tilted with respect to the reference axis L 20 .
  • the deviation of the deflection angle of the light B3 and the displacement of the acceptance angle of the reflected light C1 (and the visible light A1 ) are equally controlled. Therefore , it is possible to irradiate the object with the light B3 and receive the reflected light C1 generated from the object.
  • the deflection angle control of the light B3 and the light receiving angle control of the reflected light C1 (and visible light A1 ) can be performed simultaneously, so that the processing time can be shortened.
  • control unit 52 controls the detection/observation optical system 22 d as described above so that the object analyzed by the analysis unit 51 is imaged in the center of the imaging area of the imaging unit 30 .
  • the detection accuracy is improved.
  • the correction lenses 14 and 23 may be variangle prisms that are controlled by the control unit 52 and deform asymmetrically with respect to the central axis.
  • the imaging unit 30 captures an image of the object, and the detection unit 22 detects the reflected light C1 from the object generated by projecting the light B3 .
  • the imaging unit 30 captures an image of the object and also detects the reflected light C1 from the object generated by projecting the light B3.
  • the correcting lenses 14 and 23 may be used for controlling camera shake correction of the body.
  • the imaging unit 30 may be controlled to be positioned at the center of the image by shifting the imaging unit 30 in a plane orthogonal to the reference axis L10 using a driving device (not shown).
  • Display unit 71 Display device 71a Display screen 72 Touch detection sensor 100, 110, 120 Distance measuring device 200 Captured image 201 Cup 202 Pin flag 210 Green 220 Banker 230 Forest 240 , 242, 246... marks, 244... areas, A1, A2 , A3... visible light, B1 , B2 , B3 ... light, C1, C2 , C3 ... reflected light, L10 , L 20 . . . Reference axis.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

距離測定装置100であって、対象物の検出結果に基づいて、光B3の投射状態を制御する制御部52、制御部により制御された光を対象物に投射する投光部10、反射光の検出結果に基づいて、対象物までの距離を決定する処理部61を備える。これによれば、対象物の検出結果に基づいて光B3の投射状態を制御して対象物に投射し、反射光の検出結果に基づいて、対象物までの距離を決定することにより、正確に、光を対象物に投射して対象物までの距離を決定することが可能となる。

Description

距離測定装置及び距離測定方法
 本発明は、距離測定装置及び距離測定方法に関する。
 AFエリアセンサの出力に基づいて被写体の輪郭を抽出し、広範囲な測距エリアのうちで輪郭内について重点的に測距を行い、その測距データに基づいてフォーカシングすることで、背景に影響されることなく主要被写体にピントをあわせて撮像するカメラ装置が知られている(例えば、特許文献1参照)。
 特許文献1 特開2001-304855号公報
一般的開示
(項目1)
 光を投射して対象物までの距離を測定する距離測定装置であってよい。
 距離測定装置は、対象物の検出結果に基づいて、光の投射状態を制御する制御部を備えてよい。
 距離測定装置は、制御部により制御された光を対象物に投射する投光部を備えてよい。
 距離測定装置は、反射光の検出結果に基づいて、対象物までの距離を決定する処理部を備えてよい。
(項目2)
 距離測定装置は、対象物を撮像する撮像部を備えてよい。
 制御部は、撮像部により得られた撮像結果に基づいて対象物を検出してよい。
(項目3)
 投光部は、光学系を介して光を対象物に投射してよい。
(項目4)
 撮像部は、光学系、又は、光学系と異なる撮像光学系を介して対象物を撮像してよい。
(項目5)
 投光部は光を射出する光源部を含んでよい。
 制御部は、光源部及び光学系のいずれか1つを制御して光の投射状態を制御してよい。
(項目6)
 光の投射状態は、光の照射方向及び光の強度のいずれか1つを含んでよい。
(項目7)
 撮像部は、更に対象物からの反射光を検出してよい。
(項目8)
 距離測定装置は、対象物からの反射光を検出する検出部を備えてよい。
(項目9)
 距離測定装置は、撮像部により得られた撮像結果を解析する解析部を備えてよい。
 解析部は、撮像結果における対象物の画像を解析して対象物を特定してよい。
(項目10)
 解析部は、機械学習モデルに基づいて対象物の画像を解析してよい。
 機械学習モデルは、予め、距離を測定する対象となる対象物の画像を教師データとして機械学習することで構築されていてよい。
(項目11)
 解析部は、画像処理法により対象物の画像を解析してよい。
 画像処理法は、少なくともエッジ検出法を含んでよい。
(項目12)
 制御部は、解析部が解析した対象物が撮像部の撮像領域の中央で撮像されるように光学系、光学系と異なる撮像光学系、及び撮像部のいずれか1つを制御してよい。
(項目13)
 解析部は、対象物を画像中心にて特定してよい。
(項目14)
 撮像部は、対象物を異なるタイミングで複数回、撮像してよい。
 解析部は、複数の画像間の画像差から対象物を特定してよい。
(項目15)
 解析部は、画像の解像度を検出してよい。
 制御部は、解像度の検出結果に基づいて光学系を制御して、対象物の像を拡大又は縮小してよい。
(項目16)
 解析部は、対象物の画像を解析して対象物の中心又は重心を特定してよい。
 制御部は、投光部及び光学系のいずれか1つを制御して、光を特定された対象物の中心に投射してよい。
(項目17)
 解析部は、対象物の画像を解析して対象物を特定してよい。
 制御部は、光を制御して、光を用いて特定された対象物をスキャンしてよい。
 処理部は、光による対象物のスキャン位置と反射光の検出結果との関係に基づいて対象物までの距離を決定してよい。
(項目18)
 距離測定装置は、撮像部により得られた対象物の画像を表示画面上に表示する表示部をさらに備えてよい。
(項目19)
 表示部は、光が投射されている対象物上の場所、又は、距離を決定した対象物を示すオブジェクトを対象物の画像に重ねて表示してよい。
(項目20)
 表示部は、撮像部により得られた対象物の画像を、光が投射されている対象物上の場所を画面中心に位置するよう表示してよい。
(項目21)
 表示画面は、ユーザによるタッチ操作を検出するタッチ検出センサを含んでよい。
 制御部は、表示画面上でタッチ操作により画像に含まれる少なくとも1つの場所が選択された場合に、光を制御して、少なくとも1つの場所に光を投射してよい。
(項目22)
 距離測定装置は、表示画面上でタッチ操作により画像に含まれる複数の場所が選択された場合に、複数の場所までの距離、又は、複数の場所の間の距離及び/又は面積を算出する算出部をさらに備えてよい。
(項目23)
 光学系は、レンズ素子、プリズム、及びミラーのうちの少なくとも1つの補正用光学素子を含んでよい。
 制御部は、少なくとも1つの補正用光学素子を駆動してよい。
(項目24)
 投光部は、撮像部が対象物を撮像した後に光を対象物に投射してよい。
(項目25)
 制御部は、光学系又は撮像光学系を制御して距離測定装置のブレを補正してよい。
(項目26)
 光を投射して対象物までの距離を測定する距離測定方法であってよい。
 距離測定方法は、対象物の検出結果に基づいて、光の投射状態を制御してよい。
 距離測定方法は、制御する段階で制御された光を対象物に投射してよい。
 距離測定方法は、反射光の検出結果に基づいて、対象物までの距離を決定してよい。
 なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る距離測定装置の構成を示す。 ミラーによる光の偏向を示す。 補正レンズによる光の偏向を示す。 撮像画像から特定可能な対象物の一例を示す。 撮像画像から特定される対象物を示す。 特定された対象物について検出される基準軸からのずれを示す。 特定された対象物に対するブレ補正を示す。 表示画面上の表示の一例を示す。 表示画面上の表示の別の例を示す。 表示画面上でのタッチ操作を検出した場合の表示動作の一例を示す。 表示画面上でのタッチ操作を検出した場合の表示動作の一例を示す。 表示画面上での複数のタッチ操作を検出した場合の表示動作の一例を示す。 表示画面上での複数のタッチ操作を検出した場合の表示動作の別の例を示す。 本実施形態に係る距離測定方法のフローを示す。 第1の変形例に係る距離測定装置の構成を示す。 第2の変形例に係る距離測定装置の構成を示す。 補正レンズの制御の一例を示す。
 以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
 図1は、本実施形態に係る距離測定装置100の構成を示す。距離測定装置100は、光Bを投射して対象物までの距離を測定する装置である。なお、距離を測定することを単に測距、距離測定装置100によるその動作を測距動作とも呼ぶ。投光部10が基準軸L10に沿って光Bを射出する方向(すなわち、図面左方向を前方)、その逆方向(すなわち、図面右方向)を後方とする。ここで、基準軸L10の向き(方向とも呼ぶ)は、距離測定装置100の機体(すなわち、構成各部を収容する筐体)の向きより一意に定まる。距離測定装置100は、投光部10、検出部20、撮像部30、解析部51、制御部52、処理部61、表示部70、及び算出部62を備える。なお、解析部51、制御部52、処理部61、及び算出部62は、演算処理装置(不図示)が専用プログラムを実行することで発現する機能部である。
 投光部10は、後述する制御部52により制御された光Bを、投光観察光学系(光学系の一例)12を介して対象物に投射するユニットである。投光部10は、光源11及び投光観察光学系12を含む。
 光源11は、一定の周期でパルス状の光Bを生成し、投光観察光学系12に入れる。光源11として、たとえば、赤外線を発振する半導体レーザを採用することができる。光Bは、一回の測距動作において、予め定められた数、例えば320回、一定の周期、例えば500~700μ秒の周期で射出される。なお、光源11が駆動装置(不図示)を有し、制御部52が駆動装置を制御して光源11を傾動させてもよい。この場合、光源11から射出される光Bの射出方向が変わり、対象物に向けて光Bを偏向させることができる。
 投光観察光学系12は、光Bを成形及び指向する複数の光学素子から構成される光学系であり、一例としてミラー13、補正レンズ14、及び対物レンズ15を含む。これらの光学素子は、投光観察光学系12の基準軸L10に沿って配列される。
 ミラー13は、光をその波長に応じて反射又は透過するミラー装置であり、ダイクロイック反射面13a及び駆動装置13bを有する。ダイクロイック反射面13aは、赤外帯域の光を反射し、可視光帯域の光を透過するミラー素子である。ダイクロイック反射面13aは基準軸L10上に配置されて、光源11から出射する光Bを反射して基準軸L10に沿って前方に送り、距離測定装置100の前方から対物レンズ15を介して入る可視光Aを透過して、後方に配置される撮像部30に向けて送り出す。駆動装置13bは、アクチュエータ、電動モータ等の駆動素子を有し、回転センサ(不図示)等によるダイクロイック反射面13aの傾斜の検出結果に基づいて制御部52により制御されることで、ダイクロイック反射面13aを傾動する。図2Aに示すように、駆動装置13bによりダイクロイック反射面13aが基準軸L10に対して傾動することにより、光Bの射出方向を、機体に対して動く対象物や、基準軸L10から外れた対象物に向けて偏向することができる。
 補正レンズ14は、光Bを偏向するレンズ装置であり、レンズ素子14a及び駆動装置14bを有する。レンズ素子14aは、一例として内焦レンズであり、ミラー13と対物レンズ15との間の基準軸L10上に配置される。駆動装置14bは、例えばボイスコイルモータ、圧電モータ等の駆動素子を有し、変位センサ(不図示)等によるレンズ素子14aの変位の検出結果に基づいて制御部52により制御されて、レンズ素子14aを基準軸L10に交差する方向(本実施形態では基準軸L10に直交する面内で互いに直交する2軸方向)に変位する。図2Bに示すように、駆動装置14bによりレンズ素子14aが基準軸L10に対して変位することで、光B3を偏向する(基準軸L10に対して傾ける)。なお、補正レンズ14は、制御部52により制御されて中心軸に対して非対象に変形するバリアングルプリズムであってもよい。
 対物レンズ15は、光源11から出力され、ミラー13及び補正レンズ14を介して入る光Bをコリメートして光Bとして距離測定装置100の前方に送るとともに、距離測定装置100の前方から入ってくる可視光Aをコリメートして後方に送る光学素子である。対物レンズ15は、少なくとも1つのレンズ素子を含む複数の光学素子から構成してもよい。対物レンズ15又はこれを構成する光学素子を基準軸L10に沿って変位させることで、焦点位置を前後に駆動するよう構成してもよい。
 なお、投光観察光学系12は、ミラー13に代えて又はこれに組み合わせてプリズム(不図示)を含んでもよい。プリズムは、光源11から出射する光Bを前方に送り、距離測定装置100の前方から対物レンズ15を介して入る可視光Aを後方に送る光学であり、例えばダハプリズム、ポロプリズム等を採用することができる。プリズムは、その保持枠を駆動する駆動装置を有し、これによりプリズムを基準軸L10に対して変位及び/又は回動することで、光Bの射出方向を、機体に対して動く対象物に向けて偏向することができる。
 ミラー13、補正レンズ14、プリズム(不図示)は補正用光学素子の例であり、これらのうちの少なくとも1つが投光観察光学系12に含まれればよい。
 検出部20は、光Bを投射することにより発生する対象物からの反射光を検出するユニットである。検出部20は、受光レンズ21及び検出素子22を含む。
 受光レンズ21は、対象物からの反射光Cを集光する光学素子である。受光レンズ21により集光された反射光Cは、反射光Cとして検出素子22に送られる。なお、受光レンズ21は、投光部10の対物レンズ15(投光観察光学系12)と異なる基準軸L20を有する。
 検出素子22は、反射光Cを受光して、その強度に対応する検出信号を出力する素子である。検出素子22は、例えば光Bの帯域に対して感度を有するフォトダイオード、フォトトランジスタ等を採用することができる。なお、検出素子22は、その検出面上又はその前に、反射光Cを含む狭い帯域の光を透過し、他の帯域の光を遮断又は減衰する帯域透過フィルタを含んでもよい。検出信号は、デジタル信号に変換されて、処理部61に供給される。
 上述の構成の検出部20において、距離測定装置100の前方に位置する対象物から反射(又は散乱)された反射光Cが受光レンズ21に入射する。反射光Cは受光レンズ21により集光され、反射光Cとして検出素子22により検出される。その検出信号は処理部61に出力される。
 撮像部30は、投光観察光学系12を介して対象物を撮像するユニットである。撮像部30は、一例としてCMOSイメージセンサを有し、機体の前方から投光観察光学系12を介して入る可視光Aを面検出する。なお、イメージセンサの受光面上に、可視光を透過し、光(赤外光)をカットするフィルタ素子を設けてもよい。その検出結果、すなわち対象物の撮像画像は、解析部51及び表示部70に送信される。なお、機体の前方に射出する光Bの光軸と機体の前方から入る可視光Aの光軸とが基準軸L10上で一致することから、撮像部30により撮像されて得られる画像中心上の対象物に光Bを投射することができる。
 解析部51は、撮像部30により得られた撮像結果、すなわち対象物の撮像画像を解析するユニットである。解析部51は、例えば機械学習モデルに基づいて対象物の撮像画像を解析して、撮像画像の中から対象物を特定する。ここで、機械学習モデルは、例えば深層学習(ディープラーニング)により構築される多層ニューラルネットワーク(DNN)であってよく、予め、距離を測定する対象となる対象物の位置又は複数の画像を教師データとして機械学習することで構築される。ここで、特定する対象物は1つに限らず、複数であってもよい。予め複数の種類の対象物を機械学習し、測距時にいずれの種類の対象物を特定するかユーザが選択できるようにしてもよい。
 図3に、解析部51により撮像画像200の中から特定可能な対象物の一例を示す。本例では、ゴルフプレーヤであるユーザが、ゴルフコースにおいて、グリーン210上のカップ201までの距離を知るために、距離測定装置100を用いてピンフラグ202を対象物としてそこまでの距離を測定する。解析部51は、機械学習モデルにより、撮像部30により得られた対象物の撮像画像200の中からピンフラグ202を特定し、画像中心(すなわち、投光観察光学系12の基準軸L10)に対するずれを算出する。なお、対象物は、ピンフラグ202に限らず、例えばグリーン210、(ピンフラグ202のフラグを支持する)ピン等、対象物であるカップ201の近辺に位置する物体と組み合わせてもよい。それにより、機械学習モデルによる対象物の特定精度が向上する。また、対象物であるカップ201の近辺に位置する物体を用いる場合は、その物体固有の色情報(例えばグリーン210であれば緑色)を用いてもよい。
 図4Aに、撮像画像200から特定される対象物を示す。解析部51は、基準軸L10上で対象物を特定する。ユーザが、機体を対象物の方向に向けて、対象物であるピンフラグ202を表示画面71aの内)に位置決めすると、解析部51が機械学習モデルに基づいてピンフラグ202を特定する。ここで、通常、ピンフラグ202の形状は定まっていることから、解析部51は、ピンフラグ202の形状からその中心又は重心を特定する。また、撮像部30によりピンフラグ202を異なるタイミングで複数回撮像し、それらの複数の画像間の画像差(画素値の差が最も小さくなる画像間のオフセット)からピンフラグ202の中心又は重心を特定することもできる。
 また、ユーザが機体を動かして対象物が表示画面71aの画面中心付近に位置するように位置決めすると、対象物の特定精度を更に向上させることができる。また、対象物の画像を予め機体に登録しておき、機体操作時のシチュエーションに応じてそれに適した機械学習モデルが自動選択されるように設定してもよい。例えば、機体を操作するシチュエーションがゴルフ競技である場合、ユーザがゴルフ競技を選択すると、機械学習(済)モデルとしてフラッグが自動選択されるようにしてもよい。また、ユーザが初回の測距動作時等に対象物を撮像して機体に登録し、次回以降の操作時に登録した機械学習(済)モデルが自動選択されるように設定してもよい。
 図4Bに、特定された対象物について検出される基準軸L10からのずれを示す。この例では、対象物が画像中心(基準軸L10)から外れてしまっている。上述のように一度撮像画像200から対象物が特定されると、解析部51は、撮像画像200内の任意の位置で対象物を認識し、基準軸L10の位置に対応する画像中心に対する対象物のずれS(表示画面71a内の画像中心における中心座標に対する対象物の中心座標)を検出する。ずれSの検出結果は制御部52に送信される。なお、表示画面71a内の画像中心は、検出素子22における基準軸L10と検出素子22との交点でもある。
 なお、機械学習モデルを使用することに代えて、画像処理法により対象物の撮像画像を解析することとしてもよい。画像処理法は、撮像画像内の対象物の輪郭を検出するエッジ検出法を含む。それにより、図3に示す撮像画像200内のゴルフコース上に存在する様々な物、例えばバンカ220、森林230、その他のハザードなども検出することが可能となる。
 なお、解析部51は、対象物を検出できなかった場合などにおいて、対象物の撮像画像の解像度を検出し、制御部52は、解像度の検出結果に基づいて投光観察光学系12を制御して、対象物の像を拡大又は縮小してもよい。解析部51による画像解析についてはさらに後述する。
 制御部52は、撮像部30により得られた撮像結果に基づいて、光Bの投射状態を制御するユニットである。制御部52は、投光部10及び/又は投光観察光学系12を制御してミラー13を基準軸L10に対して傾動する、補正レンズ14を基準軸L10から変位する、プリズム(不図示)を変位及び/回動する、及び/又は光源11を基準軸B1及びB2に対して傾動することで、ずれS(及び対象物までの距離)から定まる方向に光Bを偏向する。それにより、図4Cに矢印を用いて示すように、光Bが解析部51により特定された対象物であるピンフラグ202、特にその中心又は重心に照射され続けることとなる。
 なお、光Bを偏向するときの偏向角度Θと光学系の倍率により定まる表示画面71aの画角とは対応関係にあることから、表示画面71aの画像中心の中心座標(画素)からの対象物の中心又は重心座標(画素)のずれ量をあらわす、ずれSをもとめることで、対象物に向ける光Bの偏向角度Θを算出することができる。
 なお、制御部52は、投光部10及び/又は投光観察光学系12を制御して光Bをスキャンするように光Bを偏向させてもよい。また、制御部52は、光Bの投射方向だけでなく強度を変更して光Bの投射状態を制御してもよい。例えば、対象物の反射率が低く(又は高く)、検出部20により検出される反射光Cの強度が弱い(強い)場合に光Bの強度を上げ(下げ)てもよい。また、光Bにより対象物をスキャンする場合、対処物を横切るように、すなわち対象物とその周辺領域を含むようにスキャンしてもよいし、対象物の領域内のみをスキャンしてもよい。
 また、制御部52は、上記のように投光部10及び/又は投光観察光学系12を制御することで、解析部51が解析した対象物が撮像部30の撮像領域の中央で撮像されるようにする。このように対象物が撮像領域の中央で撮像されることで、検出精度が向上する。
 処理部61は、検出部20による反射光Cの検出結果に基づいて対象物までの距離を決定するユニットである。対象物までの距離Dは、投光部10による光Bの照射から検出部20により反射光Cが検出されるまでの検出時間Tを決定することで、光速cを用いてD=T×c/2より算出される。ここで、測定光が発せられた測定位置から対象物までの往復に相当する距離を光が移動するのに要した時間が検出時間Tであるので、検出時間Tの2分の1に光速を掛けることになる。なお、検出時間Tは、測定光の複数回の照射に対してそれぞれ得られた結果を平均して決定してもよい。
 なお、処理部61は、光Bにより対象物をスキャンして対象物までの距離を決定してもよい。斯かる場合、解析部51により、対象物の撮像画像を解析して対象物を特定し、制御部52により投光部10及び/又は投光観察光学系12を制御して、光Bを用いて特定された対象物をスキャンすると同時に検出部20により反射光Cを検出し、処理部61は、光Bによる対象物のスキャン位置と反射光Cの検出結果との関係に基づいて対象物までの距離を決定する。ここで、対象物のスキャン位置と反射光の検出結果との関係より、反射光Cの検出強度が最大となる対象物のスキャン位置について距離を決定する、又は対象物内の全スキャン位置について距離を決定し、その平均又は最小距離を対象物までの距離とすることができる。
 なお、処理部61は、光Bによりその偏向範囲の全体又は撮像画像の画角範囲の全体をスキャンして対象物までの距離を決定してもよい。斯かる場合、制御部52により投光観察光学系12を制御して、光Bを用いてその偏向範囲又は撮像画像の画角範囲をスキャンすると同時に検出部20により反射光Cを検出し、処理部61は、光Bによるスキャン位置と反射光Cの検出結果との関係に基づいて対象物を検出し、その対象物までの距離を決定する。ここで、処理部61は、スキャン位置と反射光Cの検出結果との関係より、例えば反射光Cの検出強度が最大となるスキャン位置にて対象物を特定し、その対象物について距離を決定してもよい。また、スキャン位置と検出時間Tの検出結果との関係により、例えば、検出時間Tが最小となる位置にて対象物を特定し、その対象物について距離を決定してもよい。
 処理部61は、決定した対象物までの距離を表示部70に供給する。処理部61は、決定した対象物までの距離を記憶装置(不図示)に記憶してもよい。
 表示部70は、撮像部30により得られた対象物の撮像画像及び処理部61により決定された対象物までの距離を表示するユニットであり、表示装置71及びタッチ検出センサ72を有する。表示装置71は、機体上に露出する表示画面を有する電子ビューファインダ或いは液晶ディスプレイであってよい。なお、本実施形態では、表示装置71と併せてタッチ検出センサ72を採用するため、表示装置71として液晶ディスプレイを採用することとする。タッチ検出センサ72は、例えば静電容量センサであり、表示装置71の表示画面71a上に配設されて、ユーザによるタッチ操作及びタッチした表示画面71a上の場所を検出する。
 算出部62は、表示画面71a上でタッチ操作により撮像画像に含まれる単一又は複数の場所が選択された場合に、単一又は複数の場所の距離、及び、それら複数の場所の間の距離及び/又は面積を算出するユニットである。それらの算出については後述する。
 図5Aに、表示部70により表示画面71a上に表示される表示の一例を示す。表示部70は、表示画面71a上に撮像画像200及びこれに重ねて光Bが投射されている(又は距離を表示している)対象物上の場所を示すマーク240を表示する。ここで、表示部70は、撮像部30により得られた対象物の撮像画像200を、光Bが投射されているピンフラグ202上の場所、すなわちマーク240を表示する。また、決定された対象物までの距離「385y(ヤード)」が表示されている。なお、マーク240が画面中心に位置するように表示してもよい。また、光Bが投射されている対象物上の場所を示すマーク240を表示する代わりに、距離を表示している対象物をハイライトで表示する、又は、距離を表示している対象物にオブジェクト(例えばマークや矢印)を重ねて表示してもよい。
 図5Bに、表示部70がタッチ検出センサ72によりユーザによる表示画面71a上でのタッチ操作を検出した場合の表示動作の一例を示す。図5Bでは、表示部の表示画面71a上に対象物としてピンフラグ202が表示されている。ユーザが、表示画面71a上で手指等でタッチ操作して撮像画像200に含まれるピンフラグ202を選択したとする。それにより、タッチ位置を示すマーク246がピンフラグ202に重ねて表示される。タッチ検出センサ72は、ユーザがタッチ操作した表示画面71a上の場所(座標)を検出し、解析部51は、表示画面71aのタッチ操作した場所(座標)の表示画面71aの画像中心の中心座標からのずれSを算出し、対象物に向ける光Bの偏向角度Θを算出する。制御部52は、投光部10及び/又は投光観察光学系12を制御して算出した偏向角度Θにて光Bをピンフラグ202に指向し、投射し、ピンフラグ202までの距離を算出する。
 図6A及び図6Bに、表示部70がタッチ検出センサ72によりユーザによる表示画面71a上でのタッチ操作を検出した場合の表示動作の一例を示す。図6Aに示される状態では、距離測定装置100は撮像画像200内において対象物であるピンフラグ202を特定し、これにロックオンして光Bを投射し、継続してピンフラグ202までの距離を測定している。この状態において、ユーザが、表示画面71a上で手指等でタッチ操作して撮像画像200に含まれるバンカ220を選択したとする。斯かる場合、表示部70は、タッチ検出センサ72によりユーザがタッチ操作した表示画面71a上の場所を検出し、撮像画像200に重ねて選択された場所であるバンカ220上にマーク242を表示し、解析部51は、先に特定又は選択された対象物であるピンフラグ202に対する選択された場所であるバンカ220までのずれSを検出し、制御部52は、そのずれSの検出結果に基づいて投光部10及び/又は投光観察光学系12を制御して光Bを選択したバンカ220に指向し、投射する。それにより、図6Bに示すように、表示部70は、表示画面71a上に撮像画像200及び光Bが投射されているバンカ220上の場所を示すマーク242を、そのマークが画面中心に位置するよう表示する。また、決定されたバンカ220までの距離「373y(ヤード)」が表示される。
 図7Aに、表示部70がタッチ検出センサ72によりユーザによる表示画面71a上で複数のタッチ操作を検出した場合の表示動作の一例を示す。この例では、ユーザはグリーン210上のカップ201を対象物として距離測定装置100により撮像し、その撮像画像200が表示画面71a上に表示されている。この状態において、ユーザが、表示画面71a上で手指等でタッチ操作して撮像画像200に含まれるグリーン210上のカップ201及びグリーン210奥の森林230の場所を選択したとする。斯かる場合、表示部70は、タッチ検出センサ72によりユーザがタッチ操作した表示画面71a上の場所を検出し、撮像画像200に重ねて選択された2つの場所にマーク246を表示し、制御部52は各場所に光Bが投射されるように投光観察光学系12を制御し、処理部61はそれぞれの場所までの距離を決定し、算出部62は、決定された2つの場所までの距離及び2つの場所間の画角に基づいてそれらの間の距離を算出する。それにより、決定されたカップ201までの距離「150y」及び森林230までの距離「170y」が表示画面71a上に表示されるとともに、カップ201及び森林230の間の距離の算出結果「30y」が表示画面71a上に表示され、ユーザは、カップ201から森林230までの距離からショットがグリーン210をオーバーした場合にOBになるリスクを評価することができる。
 図7Bに、表示部70がタッチ検出センサ72によりユーザによる表示画面71a上で複数のタッチ操作を検出した場合の表示動作の別の例を示す。この例では、ユーザはグリーン210を対象物として距離測定装置100により撮像し、その撮像画像200が表示画面71a上に表示されている。この状態において、ユーザが、表示画面71a上で手指等でタッチ操作して撮像画像200に含まれるグリーン210の輪郭に沿った複数(本例では4)の場所を選択したとする。斯かる場合、表示部70は、タッチ検出センサ72によりユーザがタッチ操作した表示画面71a上の場所を検出し、撮像画像200に重ねて選択された4つの場所にマーク242を表示し、算出部62は、4つの場所で囲まれるエリア244の面積を算出する。エリア244の面積の算出結果が表示画面71a上に表示され、ユーザはグリーン210のおおよその広さを知ることができる。
 図8に、本実施形態に係る距離測定方法のフローを示す。測距動作は、ユーザが距離測定装置100の機体に設けられた操作ボタン(不図示)を押下することにより開始される。本例では、ゴルフプレーヤであるユーザが、図3に示されるようなゴルフコースにおいて、グリーン210上のカップ201までの距離を知るために、距離測定装置100を用いてピンフラグ202を対象物としてそこまでの距離を測定するとする。
 ステップS102では、撮像部30により、投光観察光学系12を介して対象物を撮像する。図3に示すように、対象物であるピンフラグ202及びその周囲のグリーン210等が撮像される。撮像画像は、表示部70により、表示装置71の表示画面71aに表示される。
 次いで、ステップS102で得られた撮像結果に基づいて、光Bの投射状態を制御する。具体的に、次のステップS104からS110を実行する。
 ステップS104では、解析部51により、ステップS102で得られた対象物の撮像画像を解析する。なお、初回の測距動作時等において、図4Aに示すように、ユーザが機体を上下左右に振って対象物であるピンフラグ202を基準軸L10上(すなわち、表示画面71aに表示される画像中心)に位置決めすると、解析部51がピンフラグ202を特定する。これ以降、解析部51は撮像画像内の任意の位置においてピンフラグ202を特定することができるようになる。
 ステップS106では、解析部51により、対象物を検出したか否か判断する。ピンフラグ202が撮像画像内にない場合、解析部51はピンフラグ202を検出できず、対象物を検出しなかったと判断してステップS102に戻る。そこで、ユーザは、機体を動かしてピンフラグ202を撮像画像内に位置決めする。そうすることで解析部51は撮像画像内にピンフラグ202を検出し、対象物を検出した判断してステップS108に進む。
 ステップS108では、解析部51により、対象物であるピンフラグ202の中心を特定する。解析部51は、先述のとおり対象物の形状中心又は複数の画像間の画像差からピンフラグ202の中心を特定し、図4Bに示すように、基準軸L10の位置に対応する画像中心に対する対象物のずれS(表示画面71a内の画像中心における中心座標に対する対象物の中心座標)を検出する。
 ステップS110では、制御部52により、ステップS108で得られた対象物の画像の解析結果に基づいて、投光観察光学系12に含まれる少なくとも1つの補正用光学素子を制御する。補正用光学素子の制御については先述のとおりである。それにより、図4Cに矢印を用いて示すように、光Bがピンフラグ202の中心に照射可能となる。
 ステップS112では、対象物までの距離が測定される。投光部10は、投光観察光学系12を介してピンフラグ202の中心に光Bを投射する。次いで、検出部20が、光Bの投射によって生じるピンフラグ202からの反射光Cを検出する。最後に、処理部61が、反射光Cの検出結果に基づいてピンフラグ202までの距離Dを決定する。光Bの投射、反射光Cの検出、及び距離Dを決定の詳細は先述のとおりである。
 なお、ステップS102で撮像部30により対象物を撮像した後に、ステップS112で投光部10により光Bを対象物に投射するように、ステップS102の撮像とステップS112の光Bの投射のタイミングをずらすこととする。それにより、ステップS102で対象物の撮像する際に、光Bを対象物に投射することで発生する反射光Cが撮像部30により検出されるのを防ぐことができる。
 ステップS114では、表示部70により、図5Aに示すように、ステップS102で得られたピンフラグ202及びその周囲の撮像画像200とともにステップS112で決定された対象物までの距離「385y(ヤード)」が表示画面71a上に表示される。
 ステップS116では、測距動作を終了するか否か判断される。ユーザにより操作ボタン(不図示)が再度押下されると測距動作を継続すると判断されてステップS102に戻り、押下がない場合、測距動作を終了すると判断されてフローを終了する。
 本実施形態に係る距離測定装置100によれば、光Bを、投光観察光学系12を介して対象物に投射する投光部10と、投光観察光学系12を介して対象物を撮像する撮像部30と、撮像部30により得られた対象物の画像を解析する解析部51と、解析部51による解析結果に基づいて、投光観察光学系12を制御する制御部52とを備える。これによれば、対象物に投射する光が通る投光観察光学系12を介して対象物を撮像し、それにより得られる対象物の撮像画像を解析し、その解析結果に基づいて投光観察光学系12を制御することにより、正確に、光を対象物に投射して対象物までの距離を決定することが可能となる。また、ユーザが対象物を含む領域を視準して対象物を視認する必要がないことから、対象物を認識することが容易になる。
 なお、本実施形態に係る距離測定装置100では、撮像部30により対象物を撮像し、検出部20により光Bを投射することで発生する対象物からの反射光Cを検出する構成を採用したが、これに代えて、撮像部30が対象物を撮像するとともに、光Bを投射することで発生する対象物からの反射光Cも検出する構成を採用してもよい。
 図9に、第1の変形例に係る距離測定装置110の構成を示す。距離測定装置110は、投光部10、撮像部30d、解析部51、制御部52、処理部61、表示部70、及び算出部62を備える。なお、撮像部30dを除く他のユニットは、先述の距離測定装置100におけるそれらと同様に構成される。
 撮像部30dは、投光観察光学系12dを介して対象物を撮像するとともに、投光部10により光Bを投射することで発生する対象物からの反射光(赤外光)Cを検出するユニットである。撮像部30は、CMOSイメージセンサ等、可視光帯域及び赤外帯域において感度を有するイメージセンサを採用することができる。可視光Aを受光することで得られる対象物の撮像画像は、解析部51及び表示部70に供給される。光Bに由来する対象物からの反射光(赤外光)Cの検出信号はデジタル信号に変換されて、処理部61に供給される。
 処理部61は、撮像部30dによる反射光(赤外光)Cの検出結果に基づいて対象物までの距離を決定する。その詳細は、先述のとおりである。
 上述の構成の距離測定装置110によれば、撮像部30が対象物を撮像するとともに、光Bを投射することで発生する対象物からの反射光Cも検出する構成となり、撮像と検出機能を共通化できるためコストダウンを図ることが可能になる。
 なお、上述の距離測定装置100では、投光部10及び撮像部30が1つの光学系(投光観察光学系12)を共用する構成を採用したが、これに代えて、撮像部30と投光部10がそれぞれ独立の光学系を有する構成を採用してもよい。
 図10に、第2の変形例に係る距離測定装置120の構成を示す。距離測定装置120は、投光部10d、検出部20d、撮像部30、解析部51、制御部52、処理部61、表示部70、及び算出部62を備える。なお、投光部10d及び検出部20dを除く他のユニットは、先述の距離測定装置100におけるそれらと同様に構成される。
 投光部10dは、光Bを、投光光学系(第1光学系の一例)12ddを介して対象物に投射するユニットである。投光部10dは、光源11及び投光光学系12ddを含む。
 光源11は、先述のとおり、一定の周期でパルス状の光Bを生成し、投光光学系12ddに入れる。
 投光光学系12ddは、光Bを成形及び指向する複数の光学素子から構成される光学系であり、一例として補正レンズ14及び対物レンズ15を含む。これらの光学素子は、投光光学系12ddの基準軸L10に沿って配列される。
 補正レンズ14は、光Bを偏向するレンズ装置であり、レンズ素子14a及び駆動装置14bを有する。それらの構成は先述のとおりである。
 対物レンズ15は、光源11から出力され、補正レンズ14を介して入る光Bをコリメートして光Bとして距離測定装置100の前方に送る光学素子である。対物レンズ15の構成は先述のとおりである。
 検出部20dは、光Bを投射することで発生する対象物からの反射光Cを、検出観察光学系(第2光学系の一例)22dを介して検出するユニットである。検出部20は、受光レンズ21、補正レンズ23、ミラー24、及び検出素子22を含む。
 受光レンズ21は、対象物からの反射光Cを集光する光学素子である。受光レンズ21により集光された反射光Cは、補正レンズ23に送られる。
 補正レンズ23は、反射光Cの受光角度を変更するレンズ装置であり、レンズ素子23a及び駆動装置23bを有する。レンズ素子23aは、一例として内焦レンズであり、受光レンズ21とミラー24との間の基準軸L20上に配置される。駆動装置23bは、例えばボイスコイルモータ、圧電モータ等の駆動素子を有し、変位センサ(不図示)等によるレンズ素子23aの変位の検出結果に基づいて制御部52により制御されて、レンズ素子23aを基準軸L20に交差する方向(本実施形態では基準軸L20に直交する面内で互いに直交する2軸方向)に変位する。
 ミラー24は、光をその波長に応じて反射又は透過するミラー装置であり、ダイクロイック反射面24aを有する。ダイクロイック反射面24aは、赤外帯域の光を反射し、可視光帯域の光を透過するミラー素子である。ダイクロイック反射面24aは基準軸L20上に配置されて、反射光(赤外光)Cを反射して検出素子22に送り、反射光Cとともに距離測定装置100の前方から受光レンズ21及び補正レンズ14を介して入る可視光Aを透過して、後方に配置される撮像部30に向けて送り出す。
 検出素子22は、反射光Cを受光して、その強度に対応する検出信号を出力する素子である。検出素子22は、先述のとおり構成される。検出信号は、デジタル信号に変換されて、処理部61に供給される。
 上述の構成の距離測定装置120において、撮像部30は、検出観察光学系22dを介して可視光Aを受光することで対象物を撮像する。解析部51は、撮像部30により得られた対象物の画像を解析して、撮像画像の中から対象物を特定する。その撮像画像の解析の詳細は先述のとおりである。制御部52は、解析部51による解析結果に基づいて、投光光学系12ddに含まれる補正レンズ14及び検出観察光学系22dに含まれる補正レンズ23を制御する。
 図11に、補正レンズ14,23の制御の一例を示す。解析部51により画像中心(基準軸L10)に対する対象物のずれS(表示画面71a内の画像中心における中心座標に対する対象物の中心座標)が検出されると、制御部52は駆動装置14bによりレンズ素子14aを基準軸L10に対して変位する。それにより、光Bが偏向する(基準軸L10に対して傾く)。これと同時に、制御部52は、駆動装置23bによりレンズ素子23aを基準軸L20に対して変位する。それにより、反射光C(及び可視光A)の受光角が基準軸L20に対して傾く。ここで、光Bの偏向角と反射光C(及び可視光A)の受光角の変位は等しく制御される。従って、光Bが対象物に照射されるとともに、それにより対象物から生じる反射光Cを受光することが可能となる。また、本実施形態により、光Bの偏向角制御と反射光C(及び可視光A)の受光角の制御を同時に行うことができるため、処理時間を短縮することができる。
 また、制御部52は、上記のように検出観察光学系22dを制御することで、解析部51が解析した対象物が撮像部30の撮像領域の中央で撮像されるようにする。このように対象物が撮像領域の中央で撮像されることで、検出精度が向上する。
 なお、補正レンズ14,23は、制御部52により制御されて中心軸に対して非対象に変形するバリアングルプリズムであってもよい。
 なお、第2の変形例に係る距離測定装置120では、撮像部30により対象物を撮像し、検出部22により光Bを投射することで発生する対象物からの反射光Cを検出する構成を採用したが、これに代えて、撮像部30が対象物を撮像するとともに、光Bを投射することで発生する対象物からの反射光Cも検出する構成を採用してもよい。
 また、補正レンズ14,23を機体の手振れ補正の制御に用いてもよい。
 また、撮像部30を駆動装置(図示しない)を用いて、基準軸L10に直交する面内でシフトさせることで、対象物が画像中心に位置するように制御してもよい。
 以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
 請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
 10…投光部、10d…投光部、11…光源、12,12d…投光観察光学系、12dd…投光光学系、13…ミラー、13a…ダイクロイック反射面、13b…駆動装置、14…補正レンズ、14a…レンズ素子、14b…駆動装置、15…対物レンズ、20,20d…検出部、21…受光レンズ、22…検出素子、22d…検出観察光学系、23…補正レンズ、23a…レンズ素子、23b…駆動装置、24…ミラー、24a…ダイクロイック反射面、30,30d…撮像部、51…解析部、52…制御部、61…処理部、62…算出部、70…表示部、71…表示装置、71a…表示画面、72…タッチ検出センサ、100,110,120…距離測定装置、200…撮像画像、201…カップ、202…ピンフラグ、210…グリーン、220…バンカ、230…森林、240,242,246…マーク、244…エリア、A,A,A…可視光、B,B,B…光、C,C,C…反射光、L10,L20…基準軸。

Claims (26)

  1.  光を投射して対象物までの距離を測定する距離測定装置であって、
     前記対象物の検出結果に基づいて、前記光の投射状態を制御する制御部と、
     前記制御部により制御された前記光を前記対象物に投射する投光部と、
     反射光の検出結果に基づいて、前記対象物までの距離を決定する処理部と、
    を備える距離測定装置。
  2.  前記対象物を撮像する撮像部を備え、前記制御部は、前記撮像部により得られた撮像結果に基づいて前記対象物を検出する、請求項1に記載の距離測定装置。
  3.  前記投光部は、光学系を介して前記光を対象物に投射する、請求項2に記載の距離測定装置。
  4.  前記撮像部は、前記光学系、又は、前記光学系と異なる撮像光学系を介して前記対象物を撮像する、請求項3に記載の距離測定装置。
  5.  前記投光部は前記光を射出する光源部を含み、前記制御部は、前記光源部及び前記光学系のいずれか1つを制御して光の投射状態を制御する、請求項3又は4に記載の距離測定装置。
  6.  前記光の投射状態は、前記光の照射方向及び前記光の強度のいずれか1つを含む、請求項3から5のいずれか一項に記載の距離測定装置。
  7.  前記撮像部は、更に前記対象物からの反射光を検出する、請求項3から6のいずれか一項に記載の距離測定装置。
  8.  前記対象物からの反射光を検出する検出部を備える、請求項3から6のいずれか一項に記載の距離測定装置。
  9.  前記撮像部により得られた前記撮像結果を解析する解析部を備え、
     前記解析部は、前記撮像結果における前記対象物の画像を解析して前記対象物を特定する、請求項3から8のいずれか一項に記載の距離測定装置。
  10.  前記解析部は、機械学習モデルに基づいて前記対象物の画像を解析し、
     前記機械学習モデルは、予め、距離を測定する対象となる対象物の画像を教師データとして機械学習することで構築されている、請求項9に記載の距離測定装置。
  11.  前記解析部は、画像処理法により前記対象物の画像を解析し、
     前記画像処理法は、少なくともエッジ検出法を含む、
     請求項9に記載の距離測定装置。
  12.  前記制御部は、前記解析部が解析した前記対象物が前記撮像部の撮像領域の中央で撮像されるように前記光学系、前記光学系と異なる撮像光学系、及び前記撮像部のいずれか1つを制御する、請求項9から11のいずれか一項に記載の距離測定装置。
  13.  前記解析部は、前記対象物を画像中心にて特定する、請求項11又は12に記載の距離測定装置。
  14.  前記撮像部は、前記対象物を異なるタイミングで複数回、撮像し、
     前記解析部は、複数の前記画像間の画像差から前記対象物を特定する、
    請求項9から13のいずれか一項に記載の距離測定装置。
  15.  前記解析部は、前記画像の解像度を検出し、
     前記制御部は、前記解像度の検出結果に基づいて前記光学系を制御して、前記対象物の像を拡大又は縮小する、請求項9から14のいずれか一項に記載の距離測定装置。
  16.  前記解析部は、前記対象物の画像を解析して前記対象物の中心又は重心を特定し、
     前記制御部は、前記投光部及び前記光学系のいずれか1つを制御して、前記光を特定された前記対象物の中心に投射する、請求項9から15のいずれか1つに記載の距離測定装置。
  17.  前記解析部は、前記対象物の画像を解析して前記対象物を特定し、
     前記制御部は、前記光を制御して、前記光を用いて特定された前記対象物をスキャンし、
     前記処理部は、前記光による前記対象物のスキャン位置と前記反射光の検出結果との関係に基づいて前記対象物までの距離を決定する、請求項9から16のいずれか一項に記載の距離測定装置。
  18.  前記撮像部により得られた前記対象物の画像を表示画面上に表示する表示部をさらに備える、請求項3から17のいずれか一項に記載の距離測定装置。
  19.  前記表示部は、前記光が投射されている前記対象物上の場所、又は、前記距離を決定した対象物を示すオブジェクトを前記対象物の画像に重ねて表示する、請求項18に記載の距離測定装置。
  20.  前記表示部は、前記撮像部により得られた前記対象物の画像を、前記光が投射されている前記対象物上の場所を画面中心に位置するよう表示する、請求項18に記載の距離測定装置。
  21.  前記表示画面は、ユーザによるタッチ操作を検出するタッチ検出センサを含み、
     前記制御部は、前記表示画面上でタッチ操作により前記画像に含まれる少なくとも1つの場所が選択された場合に、前記光を制御して、前記少なくとも1つの場所に前記光を投射する、請求項18から20のいずれか一項に記載の距離測定装置。
  22.  前記表示画面上でタッチ操作により前記画像に含まれる複数の場所が選択された場合に、前記複数の場所までの距離、又は、前記複数の場所の間の距離及び/又は面積を算出する算出部をさらに備える、請求項21に記載の距離測定装置。
  23.  前記光学系は、レンズ素子、プリズム、及びミラーのうちの少なくとも1つの補正用光学素子を含み、
     前記制御部は、前記少なくとも1つの補正用光学素子を駆動する、請求項3から22のいずれか一項に記載の距離測定装置。
  24.  前記投光部は、前記撮像部が前記対象物を撮像した後に前記光を前記対象物に投射する、請求項3から23のいずれか一項に記載の距離測定装置。
  25.  前記制御部は、前記光学系又は撮像光学系を制御して前記距離測定装置のブレを補正する、請求項3から24のいずれか一項に記載の距離測定装置。
  26.  光を投射して対象物までの距離を測定する距離測定方法であって、
     前記対象物の検出結果に基づいて、前記光の投射状態を制御する段階と、
     前記制御する段階で制御された前記光を前記対象物に投射する段階と、
     反射光の検出結果に基づいて、前記対象物までの距離を決定する段階と、
    を備える距離測定方法。
PCT/JP2021/003432 2021-01-29 2021-01-29 距離測定装置及び距離測定方法 WO2022162922A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/003432 WO2022162922A1 (ja) 2021-01-29 2021-01-29 距離測定装置及び距離測定方法
JP2022577994A JPWO2022162922A1 (ja) 2021-01-29 2021-01-29
US18/274,797 US20240118418A1 (en) 2021-01-29 2021-01-29 Distance measuring device and distance measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/003432 WO2022162922A1 (ja) 2021-01-29 2021-01-29 距離測定装置及び距離測定方法

Publications (1)

Publication Number Publication Date
WO2022162922A1 true WO2022162922A1 (ja) 2022-08-04

Family

ID=82653215

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/003432 WO2022162922A1 (ja) 2021-01-29 2021-01-29 距離測定装置及び距離測定方法

Country Status (3)

Country Link
US (1) US20240118418A1 (ja)
JP (1) JPWO2022162922A1 (ja)
WO (1) WO2022162922A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188870A (ja) * 1997-09-05 1999-03-30 Tokai Rika Co Ltd 監視システム
JP2001124544A (ja) * 1999-10-25 2001-05-11 Asahi Optical Co Ltd 測距装置
JP2005156356A (ja) * 2003-11-26 2005-06-16 Matsushita Electric Ind Co Ltd 被写体距離測定表示装置および携帯端末装置
JP2009192415A (ja) * 2008-02-15 2009-08-27 Toyota Central R&D Labs Inc 対象物測距装置及びプログラム
JP2012186538A (ja) * 2011-03-03 2012-09-27 Nikon Corp 電子カメラ、画像表示装置、プログラム及び記録媒体
WO2015008587A1 (ja) * 2013-07-16 2015-01-22 富士フイルム株式会社 撮影装置及び3次元計測装置
WO2016030925A1 (ja) * 2014-08-27 2016-03-03 株式会社ニコンビジョン 測距計および測距方法
JP2018096709A (ja) * 2016-12-08 2018-06-21 富士通株式会社 距離測定装置および距離測定方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188870A (ja) * 1997-09-05 1999-03-30 Tokai Rika Co Ltd 監視システム
JP2001124544A (ja) * 1999-10-25 2001-05-11 Asahi Optical Co Ltd 測距装置
JP2005156356A (ja) * 2003-11-26 2005-06-16 Matsushita Electric Ind Co Ltd 被写体距離測定表示装置および携帯端末装置
JP2009192415A (ja) * 2008-02-15 2009-08-27 Toyota Central R&D Labs Inc 対象物測距装置及びプログラム
JP2012186538A (ja) * 2011-03-03 2012-09-27 Nikon Corp 電子カメラ、画像表示装置、プログラム及び記録媒体
WO2015008587A1 (ja) * 2013-07-16 2015-01-22 富士フイルム株式会社 撮影装置及び3次元計測装置
WO2016030925A1 (ja) * 2014-08-27 2016-03-03 株式会社ニコンビジョン 測距計および測距方法
JP2018096709A (ja) * 2016-12-08 2018-06-21 富士通株式会社 距離測定装置および距離測定方法

Also Published As

Publication number Publication date
JPWO2022162922A1 (ja) 2022-08-04
US20240118418A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
JP6777987B2 (ja) 測定装置
JP4057200B2 (ja) 座標入力装置および座標入力装置の記録媒体
EP2846187B1 (en) Projection system with infrared monitoring
CN109313263B (zh) 用于运行激光距离测量仪的方法
US7633602B2 (en) Measurement apparatus and measurement method
US20080291179A1 (en) Light Pen Input System and Method, Particularly for Use with Large Area Non-Crt Displays
TW201411272A (zh) 影像感測器定位裝置及方法
JP2018132328A (ja) 測量機
US12025468B2 (en) Optical sensor with overview camera
US20080074650A1 (en) Measurement apparatus and measurement method
EP3945283B1 (en) Surveying instrument
EP3812700A1 (en) Surveying instrument
CN109470201B (zh) 用于运行手持式激光测距仪的方法和手持式激光测距仪
JP2018179918A (ja) 形状計測システム、及び、形状計測方法
US7301617B2 (en) Surveying apparatus
US20220229182A1 (en) Surveying Instrument
WO2022162922A1 (ja) 距離測定装置及び距離測定方法
JP2015108582A (ja) 3次元計測方法と装置
CN115720619A (zh) 测定装置
JP6972311B2 (ja) 距離検出装置、光学機器、及び距離検出装置の姿勢検出方法
US20210199800A1 (en) Method for measuring distance of image displayed on television camera
JP4349937B2 (ja) 眼科装置
JPH076775B2 (ja) 三次元形状データ取込み装置
WO2024210090A1 (ja) 測量装置
JP7266151B2 (ja) 指示位置検出装置、指示位置検出方法、指示位置検出プログラム、及び投影システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21922936

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022577994

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18274797

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25.10.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21922936

Country of ref document: EP

Kind code of ref document: A1