[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021130950A1 - 水中生物撮影支援装置、水中生物撮影支援方法および記憶媒体 - Google Patents

水中生物撮影支援装置、水中生物撮影支援方法および記憶媒体 Download PDF

Info

Publication number
WO2021130950A1
WO2021130950A1 PCT/JP2019/051082 JP2019051082W WO2021130950A1 WO 2021130950 A1 WO2021130950 A1 WO 2021130950A1 JP 2019051082 W JP2019051082 W JP 2019051082W WO 2021130950 A1 WO2021130950 A1 WO 2021130950A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
fish
underwater
aquatic
organism
Prior art date
Application number
PCT/JP2019/051082
Other languages
English (en)
French (fr)
Inventor
準 小林
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021566676A priority Critical patent/JP7435625B2/ja
Priority to PCT/JP2019/051082 priority patent/WO2021130950A1/ja
Priority to US17/784,225 priority patent/US20230045358A1/en
Publication of WO2021130950A1 publication Critical patent/WO2021130950A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G01B11/043—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving for measuring length
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0002—Arrangements for supporting, fixing or guiding the measuring instrument or the object to be measured
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Definitions

  • the present invention relates to an aquatic organism photographing support device or the like that photographs aquatic organisms in order to estimate the size of the aquatic organisms.
  • Patent Document 1 discloses a technique for estimating the length of a fish.
  • Patent Document 2 discloses a technique for automatically tracking a school of fish.
  • Patent Document 1 specifies an individual fish body in a rectangular region in an image in which a plurality of fish are photographed, specifies spatial coordinates of characteristic parts (head and tail of the fish body) in the specified fish body, and obtains the said.
  • Patent Document 2 discloses a technique in which an underwater monitoring device automatically tracks a school of fish to be monitored when a user views an underwater monitoring image and sets a monitoring target.
  • neither of them discloses how to take an image of a fish suitable for estimating the size.
  • the present disclosure has been made in view of the above problems, and an object of the present disclosure is to provide an aquatic organism photographing support device or the like for taking an image of a fish suitable for the estimation in estimating the size of an aquatic organism. Let it be one.
  • the aquatic organism imaging support device which is the first aspect of the present disclosure, is A detection means that detects underwater organisms from images acquired from a camera, A determination means for determining the positional relationship between the aquatic organism and the camera detected by the detection means, and An output means for outputting auxiliary information for moving the camera so that the side surface of the aquatic organism and the imaging surface of the camera face each other based on the positional relationship is provided.
  • the underwater biological imaging system which is the second aspect of the present disclosure, is With the aquatic organism photography support device described above, With a camera that shoots underwater It is provided with a display device that displays auxiliary information for photographing the side surface of the aquatic organism, which is output by the aquatic organism photographing support device.
  • the method for supporting underwater biological photography which is the third aspect of the present disclosure, is Detects underwater organisms from images acquired from the camera and Judging the positional relationship between the detected aquatic organism and the camera, Based on the positional relationship, auxiliary information for moving the camera so that the side surface of the aquatic organism and the imaging surface of the camera face each other is output.
  • the underwater biological photography program which is the fourth aspect of the present disclosure, is Detects underwater organisms from images acquired from the camera and Judging the positional relationship between the detected aquatic organism and the camera, Based on the positional relationship, the computer is made to output auxiliary information for moving the camera so that the side surface of the aquatic organism and the imaging surface of the camera face each other.
  • the underwater biological photography program may be stored in a non-temporary storage medium that can be read and written by a computer.
  • an aquatic organism photographing support device or the like capable of photographing an image of a fish suitable for the estimation.
  • aquatic organisms that live in the sea and rivers are difficult to observe, but they may need to be observed underwater.
  • observation of fish in a cage during cultivation and estimation of size are necessary for determining the landing time and the amount of feeding.
  • the aquatic organism refers to an organism that lives in water such as fish and crustaceans, but in each of the following embodiments, a fish will be described as an example.
  • What is important in estimating the size of a fish in water is to take an image of the side surface of the fish including the feature points required for estimating the size in the longitudinal direction of the fish, such as the mouth and the base of the tail fin, with a camera. ..
  • a feature point eg, mouth
  • another end eg, the base of the tail fin
  • the position of the camera is adjusted so that a face-to-face image of the side surface of the fish can be taken, that is, the side surface of the fish and the image pickup surface of the camera face each other or substantially face to face.
  • the position and orientation of the camera are adjusted until the optical axis of the camera and the side surface of the fish intersect vertically or substantially vertically.
  • the position and orientation of the camera are adjusted until the direction of the optical axis of the camera and the direction in which the fish faces intersect vertically or substantially vertically. At this time, it is preferable that the entire side surface of the fish is included in the captured image of the camera.
  • the position and posture of the camera can be adjusted.
  • the size of the fish in the cage can be estimated. Sufficient image data can be obtained.
  • the size estimation model created by learning based on the images of these sides it is possible to estimate the size of the fish in the water with higher accuracy.
  • FIG. 1 is a diagram showing a schematic configuration of an underwater biological photography system 100.
  • the underwater biological photography system 100 includes a server device 1, a terminal 2, a stereo camera 3, an adjustment unit 4, a camera position control unit 5, and a camera support unit 7.
  • the adjusting unit 4 includes a camera position adjusting unit 6 and a crane unit 8. Wired communication or wireless communication is possible between the server device 1 and the terminal 2 and between the server device 1 and the stereo camera 3.
  • the stereo camera 3 captures an image of a fish underwater.
  • the server device 1 acquires an image of a fish from the stereo camera 3 and generates auxiliary information for the side surface of the fish and the imaging surface of the camera to face each other.
  • the auxiliary information is information that presents an instruction for moving the stereo camera 3 so that the side surface of the fish and the image pickup surface of the stereo camera 3 face each other to the user (controller) of the stereo camera 3.
  • the user (controller) of the stereo camera 3 is a person who operates the stereo camera 3, a person who operates the crane unit 8 for photographing, a person who operates the adjusting unit 4 of the camera, and the like. These may be the same person or different people.
  • the auxiliary information shall include the information in either case.
  • An underwater drone equipped with a stereo camera 3 may be used to move underwater, and the posture of the stereo camera 3 may be appropriately adjusted to photograph fish.
  • the auxiliary information shall include information presented to the person operating the underwater drone or information output to the computer operating the underwater drone.
  • the server device 1 transmits a fish image and auxiliary information to the terminal 2.
  • the terminal 2 is a mobile communication terminal provided by a user who photographs a fish, and when a fish image and auxiliary information are received from the server device 1, they are displayed on the display unit 2a.
  • the user moves the stereo camera 3 up / down / left / right or adjusts the posture at a position where the side surface of the fish and the image pickup surface of the camera face each other while viewing the displayed image of the fish and auxiliary information. This process is repeated until the side surface of the fish and the imaging surface of the camera face each other.
  • the server device 1 receives the face-to-face image.
  • the size estimation process is started based on the captured image data.
  • the size estimation process may be executed by a server device other than the server device 1.
  • the size estimation process may be executed at the same time as the image data is photographed, or may be executed at any time after the image data is photographed.
  • the server device 1 is arranged on the ship in FIG. 1, it may be arranged at another place where wired or wireless communication is possible.
  • the terminal 2 may have all or a part of the functions of the server device 1. That is, the terminal 2 may acquire an image of the fish from the stereo camera 3, generate auxiliary information so that the side surface of the fish and the image pickup surface of the camera face each other, and display these. Further, the terminal 2 may display the fish size estimation result on the display unit 2a.
  • the stereo camera 3 is a camera that acquires an image of a fish underwater, and also has a function as a distance sensor.
  • the stereo camera 3 simultaneously captures a subject (three-dimensional object) from two different directions using two lenses arranged at a predetermined distance, and obtains the position information of pixels in the image captured by each camera.
  • Information such as the depth distance from the camera to the subject is calculated based on the triangular survey method.
  • a camera other than the stereo camera 3 may be used as long as it can acquire the depth distance to the subject. Further, a camera that acquires image information and a sensor that can acquire information such as depth distance may be separately provided.
  • the stereo camera 3 includes an adjustment unit 4 (crane unit 8 and camera position adjustment unit 6).
  • the adjusting unit 4 is at least one of vertical or substantially vertical movement of the stereo camera 3 with respect to the water surface, horizontal or substantially horizontal movement with respect to the water surface, horizontal or substantially horizontal rotation with respect to the water surface, and vertical or substantially vertical rotation with respect to the water surface under the water surface.
  • the crane unit 8 performs vertical or substantially vertical movement of the stereo camera 3 with respect to the water surface and horizontal or substantially horizontal movement with respect to the water surface.
  • the camera position adjusting unit 6 executes horizontal or substantially horizontal rotation with respect to the water surface and vertical or substantially vertical rotation with respect to the water surface.
  • the stereo camera 3 is attached to the camera support 7 and is submerged in water.
  • the camera support portion 7 is a support material for arranging the stereo camera 3 at a predetermined position in water for a predetermined time.
  • the camera support portion 7 is preferably one that is not easily affected by waves, such as a metal rod or a rope having a certain degree of hardness and thickness.
  • the camera support portion 7 is provided with a fixture for fixing the stereo camera 3.
  • the crane unit 8 is equipped with equipment for moving the camera support unit 7 in the vertical direction or the horizontal direction.
  • equipment for moving the camera support unit 7 for example, if the camera support portion 7 is a rope, a reel mechanism for raising and lowering the rope is provided. If the camera support portion 7 is a metal rod, it is provided with a mechanism for moving it in the vertical direction.
  • the crane portion 8 is a mechanism for moving the camera support portion 7 in a horizontal (substantially horizontal) shape or a semicircular (elliptical) shape, for example, a mechanism for horizontally moving, rotating, or rotating the neck or foot of the crane portion 8. May be provided. Horizontal movement and semicircular movement can also be realized by moving the ship carrying the crane unit 8.
  • the crane unit 8 is controlled by a user and includes a lever, a button (not shown), and the like for control. In the case of a small stereo camera, the user may directly operate the camera instead of the crane unit 8.
  • the camera position adjusting unit 6 adjusts the posture of the stereo camera 3 underwater, that is, the horizontal angle (horizontal direction) and the vertical angle (vertical direction) of the stereo camera 3.
  • the camera position adjusting unit 6 is a mechanism that is attached between the stereo camera 3 and the camera support unit 7 and is capable of left-right rotation and up-down rotation.
  • the camera position adjusting unit 6 may be an electric gear mechanism for adjusting the up / down / left / right angle, or may be a piano wire attached to the stereo camera 3 to adjust the left / right / up / down angle.
  • the camera position control unit 5 is a mechanism for the user to control the movement of the camera position adjustment unit 6 on the ship.
  • the camera position adjusting unit 6 is an electric gear mechanism
  • the position of the piano wire attached to the left, right, top and bottom is adjusted, such as a lever or button for adjusting the underwater gear mechanism from the ship. It is a reel mechanism or a motor for doing so.
  • the camera position control unit 5 may be provided with a communication function, and the camera position control unit 5 and the terminal 2 may be connected by wired or wireless communication.
  • the camera position control unit 5 may receive a user's instruction from the terminal 2 via the display unit 2a and control the camera position adjustment unit 6.
  • the server device 1 is installed between the stereo camera 3 and the terminal 2 and is communicably connected to both. As shown in FIG. 2, the server device 1 includes an input unit 11, a detection unit 12, a determination unit 13, a generation unit 14, an output unit 15, a size estimation unit 16, and a storage unit 17.
  • the input unit 11 acquires an underwater image taken from the stereo camera 3.
  • the input unit 11 delivers the acquired image to the detection unit 12.
  • the input unit 11 may deliver the acquired image to the output unit 15, and the output unit 15 may first transmit the image to the terminal 2.
  • the detection unit 12 detects underwater organisms from the image acquired from the camera.
  • the detection unit 12 learns the image of the fish in the water and uses the learning model created to determine the reflection of the fish in the acquired image.
  • the learning model is a model created by learning an image of a fish taken in water as teacher data, and can detect a fish appearing in the image.
  • the detection unit 12 determines, for example, whether or not a predetermined size or more and a predetermined number or more of fish are captured in the image. Specifically, the detection unit 12 determines, for example, that the area occupancy in the image of a specific fish is a predetermined value (for example, 20%) or more and a predetermined number (for example, one fish) or more.
  • the detection unit 12 similarly determines the reflection of the fish and detects each fish.
  • the state in which a plurality of fish are shown includes a state in which a school of fish is shown in the image.
  • the detection unit 12 further detects the feature points of the fish appearing in the acquired image by using the learning model created by learning the image of the feature points of the fish.
  • the detection unit 12 detects the feature point P1 indicating the position of the mouth tip of the fish as the feature point of the fish, and the feature point P2 indicating the position of the base of the tail fin as the feature point corresponding to P1. Further, the detection unit 12 may detect a feature point P3 indicating the front base position of the dorsal fin as a feature point of the fish and a feature point P4 indicating the front base position of the dorsal fin as a feature point corresponding to P3.
  • the detection unit 12 reads the representative coordinates (for example, the center point) of the feature points obtained from the image for each fish body by the left and right lenses, and calculates the three-dimensional coordinates in the three-dimensional space of each feature point. For the calculation, a technique of converting to known three-dimensional coordinates such as the DLT (Direct Linear Transformation) method is used. In the DLT method, a calibration coefficient representing the relationship between the coordinates of a point in the captured image and the actual two-dimensional and three-dimensional coordinates is calculated in advance, and this coefficient is used to create a three-dimensional space from the point in the captured image. Find the coordinates. The detection unit 12 may detect the feature point when it is determined that the fish is reflected in the acquired image.
  • DLT Direct Linear Transformation
  • the above method is an example of detection by the detection unit 12, and the detection unit 12 may use a known method for detecting the feature points of the fish in the image acquired from the stereo camera 3. Further, when a plurality of fish are shown in the image, the detection unit 12 may detect a feature point for each of the detected fish.
  • the determination unit 13 uses the depth distance from the stereo camera 3 to the fish acquired from the stereo camera 3 to connect the fish to the stereo camera 3. Judge the positional relationship.
  • the positional relationship refers to the detected direction of the fish with respect to the imaging surface of the stereo camera 3 and the distance between the fish and the stereo camera 3.
  • the determination unit 13 determines whether the side surface of the fish (side surface of the fish body) and the imaging surface of the stereo camera 3 are facing each other based on the positional relationship.
  • the determination unit 13 may determine that the side surface of the fish and the imaging surface of the stereo camera 3 are in a position facing each other.
  • the determination unit 13 determines that the fish and the imaging surface of the stereo camera 3 face each other when the difference in distance between each of the corresponding feature points detected with respect to the fish and the stereo camera 3 is within a predetermined range. You may. Specifically, the determination unit 13 calculates the distance between each feature point of the fish detected by the detection unit 12 and the stereo camera 3, and whether the difference between the distances at the corresponding feature points is within a predetermined range. To judge. For example, in the determination unit 13, the difference between the distance between the feature point P1 indicating the tip position of the fish mouth and the stereo camera 3 and the distance between the feature point P2 indicating the position of the base of the tail fin and the stereo camera 3 is within a predetermined range. Determine if it fits.
  • the determination unit 13 may determine whether the detected fish is within the optimum imaging range.
  • the optimum imaging range is the imaging range of the stereo camera 3 that is suitable for estimating the size of fish.
  • the determination unit 13 may determine whether the detected fish is within the optimum imaging range, for example, whether the distance between the fish and the stereo camera 3 is within a predetermined range. Even if this distance is small (the stereo camera 3 and the fish are too close to each other), even if it is large (the stereo camera 3 and the fish are too far apart), the image will not be suitable for size estimation, so it is optimal in advance. It is preferable to set a distance at which a large image can be taken (for example, a range of 50 cm to 2 meters from the camera).
  • the determination unit 13 may determine whether or not the fish is within a predetermined vertical distance range of the stereo camera 3.
  • the vertical distance refers to the distance that the stereo camera 3 has moved up or down in the vertical direction.
  • the predetermined vertical distance range refers to, for example, a range within 1 m directly above and within 1 m directly below the camera as a starting point if the vertical distance is within 1 m.
  • This is a learning model created by the detection unit 12 learning by associating an image of a fish taken from the upper surface or an image taken from the lower surface with the vertical distance between the stereo camera 3 and the detected fish in each image. Is possible by using. That is, in addition to the detection unit 12 detecting the fish in the image, the determination unit 13 can determine whether or not there is a fish within a predetermined vertical distance range of the stereo camera 3.
  • the detection unit 12 sets the elevation angle of the fish position as a threshold value (for example, the elevation angle 10) when the optical axis position of the lens is 0 °. It may be determined whether it is within °).
  • the elevation angle can be measured by using the stereo vision function of the stereo camera 3 (a measurement function that restores the position and distance of a three-dimensional object from an image based on triangulation). In this case, after roughly grasping the position of the fish detected by using the learning model in the vertical direction with respect to the stereo camera 3, the accurate position is measured by using the stereo vision function.
  • the direction (up or down) and distance of the stereo camera 3 to be moved vertically may be calculated.
  • the determination unit 13 determines the positional relationship between the detected plurality of fish and the stereo camera 3. Based on the positional relationship between the plurality of fish and the stereo camera 3, the determination unit 13 determines that the fish school and the stereo camera when the side surfaces of a predetermined number or more of the fish among the plurality of fish face the imaging surface of the stereo camera 3. It may be determined that the image pickup surface of No. 3 faces the image plane. Specifically, the determination unit 13 calculates the distance between each feature point of the fish and the stereo camera 3 for each detected fish, and the difference between the distances at the corresponding feature points (for example, feature points P1 and P2).
  • the determination unit 13 determines whether or not the side surface of each fish faces the image pickup surface of the stereo camera 3 depending on whether or not the fish is within a predetermined range. Then, when the determination unit 13 determines that the fishes of a predetermined number or more are facing each other, the determination unit 13 determines that the school of fish and the stereo camera 3 are facing each other.
  • the predetermined number may be a predetermined number (for example, 5 or more).
  • the determination unit 13 may determine that the fish school and the imaging surface of the stereo camera 3 face each other when the average of the differences obtained for each of the plurality of fish (fish schools) is within a predetermined range.
  • the determination unit 13 captures images of the school of fish and the stereo camera 3 when the side surfaces of a predetermined number or more of the fish in the school of fish and the imaging surface of the stereo camera 3 face each other based on the positional relationship between the school of fish and the stereo camera 3. You may judge that the faces are facing each other.
  • the determination unit 13 may determine whether the fish school and the imaging surface of the stereo camera 3 face each other based on the average of the positional relationships between the detected plurality of fish and the stereo camera 3. Specifically, the determination unit 13 calculates the average of the detected plurality of fish for the difference of each distance at the corresponding feature points of the fish, and determines whether the calculated average is within a predetermined range. It may be determined whether the school of fish faces the imaging surface of the stereo camera 3. For example, the determination unit 13 calculates the difference between the distance between the feature point P1 and the stereo camera 3 and the distance between the feature point P2 and the stereo camera 3 in a certain fish for each of the plurality of detected fish, and the average thereof is Determine if it is within the specified range.
  • the determination unit 13 may weight the information of the fish in the optimum imaging range in the area imaged by the stereo camera 3. .. Further, the positional relationship and weighting between the plurality of detected fish and the stereo camera 3 may be performed by using a vector (such as a space vector) representing the direction in which the fish is facing. Further, as a judgment of the positional relationship, the orientation of the fish (fish school) may be classified into, for example, either left or right.
  • the detection process by the detection unit 12, the determination process by the determination unit 13, and the output process by the output unit 15 may be repeated until the determination unit 13 determines that the side surface of the fish or the school of fish and the imaging surface of the stereo camera 3 face each other. ..
  • the detection unit 12 does not detect the fish and outputs the detection result to the output unit 15.
  • the detection unit 12 detects that the fish is photographed, but the fish is not well reflected due to the distance from the fish, and the fish I haven't taken the whole picture (the image of the fish is cut off in the middle). Therefore, the detection unit 12 determines that the fish to be photographed is not reflected in the image, and outputs the determination as a detection result to the output unit 15.
  • the detection unit 12 determines that the fish is reflected in the image.
  • FIG. 6 is an image of the fish looking down from above, and the position of the fish is lower than the stereo camera 3 by a threshold value or more (a dip angle of about 60 °). Therefore, the detection unit 12 determines that the position of the fish is equal to or greater than the threshold value below the stereo camera 3 and that the fish to be photographed is not reflected in the image, and outputs the determination as a detection result to the output unit. To do. At this time, the detection unit 12 simultaneously outputs information as auxiliary information that the position of the stereo camera 3 should be vertically lowered, how far the fish is, that is, in what direction and how much the stereo camera 3 should be moved. It may be output to unit 15.
  • the detection unit 12 detects that the fish is being photographed, and the detection result is transmitted to the determination unit 13. Output.
  • the determination unit 13 determines the positional relationship between the fish and the stereo camera 3, but in the case of the image shown in FIG. 7, the image is taken from the ventral side of the fish and is not a face-to-face image of the side surface of the fish. Therefore, the determination unit 13 determines that the side surface of the fish and the image pickup surface of the camera do not face each other, and outputs the determination result to the generation unit 14.
  • the image is taken within the optimum imaging range from the position of the stereo camera 3 with the side surface of the fish facing the imaging surface of the camera.
  • the determination unit 13 determines that the image acquired from the stereo camera 3 is an image suitable for size estimation. Then, the determination unit 13 outputs the determination result of starting recording to the stereo camera 3, the stereo camera 3 starts recording, and stores the image recorded for a predetermined time in the storage unit 17. Further, the determination unit 13 may output to the output unit 15 that recording has started, or may output to the output unit 15 that the stereo camera 3 does not need to be moved. The recording may be started after waiting for an instruction from the user who has been notified via the output unit 15. Further, it may be determined in parallel whether the side surface of the fish and the image pickup surface of the camera face each other and the recording is performed.
  • the generation unit 14 When the determination unit 13 determines that the side surface of the fish does not face the image pickup surface of the camera, the generation unit 14 provides information for moving the stereo camera 3 to a position where the side surface of the fish and the image pickup surface of the camera face each other. Generate as auxiliary information.
  • the generation unit 14 may generate auxiliary information for moving the camera based on the orientation of the fish (fish school) determined by the determination unit 13. Specifically, even if the generation unit 14 generates auxiliary information that the position of the stereo camera 3 is adjusted in the direction in which the fish swims by estimating the direction in which the fish swims from the direction of the fish (school of fish). Good.
  • FIG. 9 is a view showing the positional relationship between the camera lens surface of the stereo camera 3 and the fish from above for the sake of brevity.
  • the distance A from the camera lens surface of the stereo camera 3 to the point A and the distance B from the camera lens surface of the stereo camera 3 to the point B can be measured using a general stereo vision principle.
  • the determination unit 13 determines whether or not the image is a face-to-face image of the side surface of the fish. In order to capture a face-to-face image of the side surface of the fish with the camera, it is necessary to adjust the position of the camera so that the side surface of the fish and the imaging surface of the camera face each other. More precisely, it is preferable to adjust the position of the camera to a position where the optical axis of the camera and the side surface of the fish intersect vertically or substantially vertically.
  • the length a of the line segment connecting the point B and the point C can be measured from the distance B, the angle of view of the stereo camera 3, and the position of the pixel on the screen.
  • the length b of the line segment connecting the point C and the point A is (distance A-distance B).
  • the generation unit 14 calculates the angle ⁇ formed by the straight line passing through the point A and the point B and the line segment BC from the following equation.
  • the detection unit 12 uses a learning model created by learning the facing image of the side surface of the fish to detect the fish in a state facing the image plane of the camera. It can also be detected. As a result, it is possible to set the detection unit 12 not to transmit the image of the fish extremely tilted toward the stereo camera 3 side to the determination unit 13.
  • the determination unit 13 may determine the traveling direction of the fish by using a plurality of images of the same fish. For example, the stereo camera 3 captures the image shown in FIG. 9 a plurality of times at predetermined intervals, for example, 12 frames per second.
  • FIG. 10 shows three consecutive frames. Looking at FIG. 10, it can be seen that the distance B between the point B indicating the mouth and the lens surface of the stereo camera 3 narrows from the first frame to the third frame on the right side. In this case, the determination unit 13 determines that the traveling direction of the fish is the depth direction on the camera side, that is, the fish is swimming toward the camera.
  • the determination unit 13 swims in the depth direction opposite to the camera, that is, in the direction away from the camera.
  • Judge. In the case of an image of a school of fish, the determination unit 13 repeats the above process for the number of fish shown in the image, and determines the direction in which the most fish are facing or the average of the directions of a plurality of fish as the traveling direction of the school. You may.
  • the determination unit 13 may use a plurality of images of the same school of fish to exclude (delete) the image of the fish body for which the direction detection process has already been completed from the target of the direction detection process.
  • the generation unit 14 transmits the generated auxiliary information to the output unit 15.
  • the auxiliary information may include the direction of travel of the fish or school of fish described above.
  • the output unit 15 outputs auxiliary information for moving the stereo camera 3 so that the side surface of the fish and the imaging surface of the stereo camera 3 face each other based on the positional relationship between the fish and the stereo camera 3.
  • the output unit 15 receives the detection result, the determination result, and the auxiliary information from the detection unit 12, the determination unit 13, and the generation unit 14, and transmits these to the terminal 2 via wired or wireless communication.
  • the output unit 15 also transmits the underwater image received from the stereo camera 3 to the terminal 2 together with the detection result, the determination result, and the auxiliary information. At this time, the output unit 15 may superimpose and transmit the image and the above-mentioned detection result, determination result, and auxiliary information.
  • the size estimation unit 16 estimates the size of the fish in the cage based on the facing image of the fish stored in the storage unit 17.
  • the size estimation unit 16 calculates information indicating the size of the fish based on the feature points of the fish in the image detected by the detection unit 12.
  • the information indicating the size is, for example, the length of the fork, the length of the body, the height of the body, and the weight.
  • the size estimation unit 16 determines the tail fork length based on the three-dimensional coordinates of the feature point P1 indicating the position of the tip of the mouth of the fish and the feature point P2 indicating the position of the base of the tail fin, and the feature point P3 indicating the position of the front base of the dorsal fin and the belly.
  • the body height is calculated based on the three-dimensional coordinates of the feature point P4 indicating the position of the base of the front of the constriction. Further, the size estimation unit 16 inputs the calculated caudal ramus length and body height as variables into the weight calculation formula for calculating the weight of the fish, and calculates the weight.
  • the terminal 2 is a mobile communication terminal owned by a user who shoots fish. Although it is a tablet terminal type in FIG. 1, it may be a wearable headset equipped with a head-mounted display device or speaker as an output means and a microphone or the like as an input device.
  • the terminal 2 includes a data input unit 21, a command input unit 22, a control unit 23, an output unit 24, and a storage unit 25.
  • the data input unit 21 receives an image, a notification, and auxiliary information from the server device 1.
  • the control unit 23 controls the data input / output process of the terminal.
  • the output unit 24 is a display device for outputting images, notifications, and auxiliary information.
  • the command input unit 22 receives the next instruction from the user via an icon or the like displayed on the output unit 24.
  • the storage unit 25 is a memory for temporarily storing images, notifications, and auxiliary information received from the server device 1.
  • the control unit 23 When the data input unit 21 receives the image, the notification, and the auxiliary information from the server device 1, the control unit 23 outputs these to the output unit 24.
  • the user adjusts the position of the stereo camera 3 in water via the crane unit 8 and the camera position control unit 5 shown in FIG. 1 based on the output image, notification, and auxiliary information.
  • the operation of the underwater biological imaging system 100 will be described with reference to the flowchart shown in FIG. In the following description, as shown in FIG. 1, the user's ship is on the water surface in the cage, the stereo camera 3 is attached to the camera support portion 7, then suspended from the crane portion 8 and exists in the water, and the camera position. It is assumed that the adjustment unit 6 is set to be adjustable.
  • step S101 the input unit 11 of the server device 1 acquires an image taken by the underwater stereo camera 3. The acquired image is transmitted to the detection unit 12.
  • step S102 the reflection of fish in the image acquired by the detection unit 12 is detected. If the fish reflection cannot be detected, the detection unit 12 notifies the output unit 15 of the detection result, and the process proceeds to step S105. When the reflection of fish is detected, the process proceeds to step S103.
  • step S103 the determination unit 13 determines the positional relationship between the stereo camera 3 and the fish. Specifically, the determination unit 13 determines whether or not the side surface of the fish and the imaging surface of the stereo camera 3 face each other. As a result of the determination, when the side surface of the fish and the imaging surface of the stereo camera 3 face each other, the determination unit 13 determines that the image acquired from the stereo camera 3 is an image suitable for size estimation (step S106). When the side surface of the fish and the imaging surface of the stereo camera 3 do not face each other, the generation unit 14 generates auxiliary information (step S104) and outputs the auxiliary information to the output unit 15 (step S105).
  • step S104 the generation unit 14 generates auxiliary information for the side surface of the fish and the imaging surface of the stereo camera 3 to face each other.
  • step S105 the output unit 15 outputs the fish image, auxiliary information, the above detection result and the determination result (notification) to the terminal 2.
  • the output unit 15 may, for example, move the auxiliary information “camera 45” for moving the stereo camera 3 to a position facing the side surface of the fish shown in FIG. 13 and the imaging surface of the stereo camera 3. Please turn it horizontally to the left. ”Is output to the terminal 2.
  • Auxiliary information is preferably easy for the user to understand. Therefore, even if the output unit 15 converts the direction in which the stereo camera 3 should be moved and the angle to be moved into the operation of the camera position adjusting unit 6 and outputs the output to the terminal 2, the auxiliary information may be displayed on the display unit 2a.
  • the camera position adjusting unit 6 is a handle
  • it is presented to the display unit 2a as "Turn the handle 15 degrees to the left”. If the user has performed the correction operation of the stereo camera 3 a predetermined number of times but cannot detect the reflection of fish of a predetermined size or larger and a predetermined number or more in the image, a fish is present near the current position of the ship. It is believed that it does not exist.
  • the output unit 15 may make a presentation to the display unit 2a to propose the movement of the ship.
  • steps S101 to S105 are executed again.
  • the timing of re-execution may be automatically performed when the detection unit 12 detects a difference in the images captured by the stereo camera 3, or the user requests assistance in shooting again via the terminal 2 and requests that. It may be after the server device 1 receives it.
  • the recorded image of the side image is stored in the storage unit 17, and the size estimation unit 16 estimates the size of the fish in the cage based on the image or image of the fish stored in the storage unit 17.
  • the aquatic organism imaging support device 30 includes a detection unit 31, a determination unit 32, and an output unit 33.
  • the underwater biological photography support device 30 is a minimum configuration example of the server device 1 in the first embodiment.
  • the detection unit 31 detects underwater organisms from the image acquired from the camera.
  • the determination unit 32 determines the positional relationship between the aquatic organism detected by the detection unit 31 and the camera.
  • the output unit 33 outputs auxiliary information for moving the camera so that the side surface of the aquatic organism and the imaging surface of the camera face each other based on the positional relationship.
  • the determination unit 32 determines the positional relationship between the aquatic organism and the camera detected by the detection unit 31, and based on the positional relationship, the side surface of the aquatic organism and the imaging surface of the camera face each other. This is because the output unit 33 outputs auxiliary information for moving the camera.
  • the information processing device 500 includes the following configuration as an example.
  • a storage device 505 that stores the program 504 and other data.
  • Drive device 507 that reads and writes the storage medium 506.
  • -Communication interface 508 that connects to the communication network 509 -I / O interface 510 for inputting / outputting data -Bus 511 connecting each component
  • the program 504 that realizes the functions of each component such as the underwater biological photography support device is stored in the storage device 505 or the RAM 503 in advance, and is read out by the CPU 501 as needed.
  • the program 504 may be supplied to the CPU 501 via the communication network 509, or may be stored in the storage medium 506 in advance, and the drive device 507 may read the program and supply the program to the CPU 501.
  • the underwater biological photography support device and the like may be realized by any combination of an information processing device and a program that are separate for each component.
  • a plurality of components included in the underwater biological photography support device and the like may be realized by any combination of one information processing device 500 and a program.
  • each component of the underwater biological photography support device, etc. is realized by other general-purpose or dedicated circuits, processors, etc., or a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus.
  • each component of the underwater biological photography support device or the like may be realized by a combination of the above-mentioned circuit or the like and a program.
  • each component of the underwater biological imaging support device or the like When a part or all of each component of the underwater biological imaging support device or the like is realized by a plurality of information processing devices or circuits, the plurality of information processing devices or circuits may be centrally arranged. It may be distributed.
  • the information processing device, the circuit, and the like may be realized as a form in which each of the client and server device system, the cloud computing system, and the like is connected via a communication network.
  • [Appendix 1] A detection means that detects underwater organisms from images acquired from a camera, A determination means for determining the positional relationship between the aquatic organism and the camera detected by the detection means, and An aquatic organism photographing support device including an output means for outputting auxiliary information for moving the camera so that the side surface of the aquatic organism and the imaging surface of the camera face each other based on the positional relationship.
  • [Appendix 2] In the determination means, when the difference in distance between each of the corresponding feature points detected with respect to the aquatic organism and the camera is within a predetermined range, the aquatic organism and the imaging surface of the camera face each other.
  • the underwater organism photography support device according to Appendix 1 for determining that.
  • Appendix 5 Appendix 2 that the determination means determines that the plurality of aquatic organisms and the imaging surface of the camera face each other when the average of the differences obtained for each of the plurality of the aquatic organisms is within a predetermined range.
  • the underwater biological photography support device described in. [Appendix 6] In the determination means, the side surfaces of a predetermined number or more of the aquatic organisms among the plurality of aquatic organisms and the imaging surface of the camera face each other based on the positional relationship between the plurality of the aquatic organisms and the camera.
  • the aquatic organism photographing support device according to any one of Supplementary note 1 to Appendix 3, which determines that the plurality of the aquatic organisms and the imaging surface of the camera face each other.
  • [Appendix 12] The aquatic organism photography support device according to Appendix 1 to Appendix 11, With a camera that shoots underwater An underwater organism photography support system including a display device that displays auxiliary information for photographing the side surface of the underwater organism, which is output by the underwater organism photography support device.
  • An underwater organism photography support system including a display device that displays auxiliary information for photographing the side surface of the underwater organism, which is output by the underwater organism photography support device.
  • the underwater biological photography support system according to Appendix 12 further comprising a camera adjusting device for adjusting the camera based on the auxiliary information.
  • [Appendix 14] Detects underwater organisms from images acquired from the camera and Judging the positional relationship between the detected aquatic organism and the camera, An aquatic organism photographing support method comprising outputting auxiliary information for moving the camera so that the side surface of the aquatic organism and the imaging surface of the camera face each other based on the positional relationship.
  • Appendix 18 In the determination, when the average of the differences obtained for each of the plurality of aquatic organisms is within a predetermined range, it is determined that the plurality of the aquatic organisms and the imaging surface of the camera face each other.
  • [Appendix 21] The method for supporting aquatic life photography according to any one of Supplementary note 14 to Supplementary note 20, wherein a plurality of images including the same aquatic organism are used in the determination.
  • [Appendix 23] The aquatic organism imaging support method according to Appendix 14, wherein in the determination, the detection, the determination, and the output are repeated until it is determined that the side surface of the aquatic organism or the plurality of the aquatic organisms faces the imaging surface of the camera. ..
  • auxiliary information includes an instruction to the controller of the camera to move the camera to a position where the side surface of the aquatic organism and the camera face each other.
  • Appendix 25 Detects underwater organisms from images acquired from the camera and Judging the positional relationship between the detected aquatic organism and the camera, An aquatic organism photography support program for realizing that a computer outputs auxiliary information for moving the camera so that the side surface of the aquatic organism and the imaging surface of the camera face each other based on the positional relationship.
  • Appendix 29 In the above determination, when the average of the differences obtained for each of the plurality of aquatic organisms is within a predetermined range, it is determined that the plurality of the aquatic organisms and the imaging surface of the camera face each other.
  • Appendix 30 In the above determination, when the side surface of a predetermined number or more of the aquatic organisms among the plurality of aquatic organisms and the imaging surface of the camera face each other based on the positional relationship between the plurality of the aquatic organisms and the camera.
  • Appendix 31 The storage medium according to any one of Appendix 25 to Appendix 30, which weights the information of the aquatic organism detected in a predetermined area of the area imaged by the camera when determining the positional relationship in the determination.
  • Appendix 32 The storage medium according to any one of Appendix 25 to Appendix 31, which uses a plurality of images containing the same aquatic organism in the determination.
  • Appendix 33 In the above determination, when the optical axis of the camera and the side surface of the aquatic organism intersect vertically or substantially vertically, it is determined that the side surface of the aquatic organism and the imaging surface of the camera are in a position facing each other. 32. The storage medium according to any one of 32.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

水中生物の大きさを推定するにあたり、当該推定に適した魚の画像を撮影できる水中生物撮影支援装置３０等を提供する。水中生物撮影支援装置３０は、カメラより取得する画像から水中生物を検知する検知部３１と、検知部３１により検知された水中生物とカメラとの位置関係を判断する判断部３２と、位置関係に基づいて水中生物の側面とカメラの撮像面とが正対するようにカメラを移動させるための補助情報を出力する出力部３３とを備える。

Description

水中生物撮影支援装置、水中生物撮影支援方法および記憶媒体
　本発明は、水中生物の大きさを推定するために水中生物を撮影する水中生物撮影支援装置等に関する。
　水中生物を監視するシステムの開発が求められている。このようなシステムは、生簀内で育成される水中生物（例えば、魚類）の大きさを推定して出荷の時期を判断したり、海や川などに生育する水中生物の状態を検出したりする。特許文献１は、魚の長さの推定に関する技術を開示する。特許文献２は、魚群を自動追跡する技術を開示する。
国際公開第２０１９／０４５０８９号 特開２０１７－１８１７６６号公報
　特許文献１は、複数の魚が撮影された画像において、一個体の魚体を矩形領域で特定し、特定された魚体のうちの特徴部位（魚体の頭および尾）の空間座標を特定し、当該空間座標の間隔を検出して魚体の長さを算出する技術を開示する。特許文献２は、ユーザが水中監視映像を見て監視対象を設定すると、水中監視装置が監視対象とされた魚群を自動追跡する技術を開示する。しかしながら、両者とも、如何に大きさを推定するに適した魚の画像を撮影するかということについては開示がない。
　本開示は上記問題点に鑑みてなされたものであり、水中生物の大きさを推定するにあたり、当該推定に適した魚の画像を撮影するための水中生物撮影支援装置等を提供することを目的の１つとする。
　上記問題点を鑑みて、本開示の第１の観点である水中生物撮影支援装置は、
　カメラより取得する画像から水中生物を検知する検知手段と、
　前記検知手段により検知された前記水中生物と前記カメラとの位置関係を判断する判断手段と、
　前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する出力手段
とを備える。
　本開示の第２の観点である水中生物撮影システムは、
　上記に記載の水中生物撮影支援装置と、
　水中を撮影するカメラと、
　前記水中生物撮影支援装置が出力する、水中生物の側面を撮影するための補助情報を表示する表示装置
とを備える。
　本開示の第３の観点である水中生物撮影支援方法は、
　カメラより取得する画像から水中生物を検知し、
　検知された前記水中生物と前記カメラとの位置関係を判断し、
　前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する。
　本開示の第４の観点である水中生物撮影プログラムは、
　カメラより取得する画像から水中生物を検知し、
　検知された前記水中生物と前記カメラとの位置関係を判断し、
　前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する
ことをコンピュータに実現させる。
　水中生物撮影プログラムは、コンピュータが読み書き可能な非一時的な記憶媒体に格納されていても良い。
　本発明によれば、水中生物の大きさを推定するにあたり、当該推定に適した魚の画像を撮影できる水中生物撮影支援装置等を提供することができる。
本開示の第１の実施形態に係る水中生物撮影システムの構成例を示すブロック図である。 サーバ装置の構成例を示すブロック図である。 水中生物の特徴点の一例を示す図である。 撮影された水中画像の第１の例を示す図である。 撮影された水中画像の第２の例を示す図である。 撮影された水中画像の第３の例を示す図である。 撮影された水中画像の第４の例を示す図である。 撮影された水中画像の第５の例を示す図である。 水中生物とカメラとの位置関係を示す模式図である。 水中生物とカメラとの時系列の位置関係を示す模式図である。 端末の構成例を示すブロック図である。 本開示の第１の実施形態に係る水中生物撮影システムの動作を示すフローチャートである。 水中画像に表示される補助情報の一例を示す図である。 本開示の第２の実施形態に係る水中生物撮影支援装置の構成例を示すブロック図である。 各実施形態において適用可能な情報処理装置の構成例を示すブロック図である。
　海や川に生息する水中生物は陸上生物と異なりその観測が困難であるが、水中での観測を必要とする場合がある。例えば、魚の養殖業において、養殖中である生簀内の魚の観測や大きさの推定は、水揚げ時期の判断や、餌やりの量の判断において必要である。ここで水中生物とは、魚類、甲殻類等の水中に生息する生物を指すが、以下の各実施形態においては一例として魚について説明する。
　水中での魚の大きさの推定において重要なのは、魚の長手方向における大きさを推定するために必要となる特徴点、例えば、口先、尾びれ付け根等を含む魚の側面の画像をカメラで撮影することである。大きさをより正確に推定するためには、画像中にて一方向を向く魚の一方向側の一つの端部を示す特徴点（例えば口先）および他の端部（例えば尾びれの付け根）を示す特徴点を少なくとも含む複数の特徴点の各々から、撮影するカメラ（レンズ面）までの距離をできるだけ等しくし、魚の側面とカメラ撮像面とが正対する状態で撮影した魚の側面の正対画像を用いることが重要である。そのため本開示の実施形態では、魚の側面の正対画像を撮影可能なように、すなわち魚の側面とカメラの撮像面とが正対または略正対するようにカメラの位置を調整する。例えば、カメラの光軸と魚の側面とが垂直又は略垂直に交わるまでカメラの位置や姿勢を調整する。また、例えば、カメラの光軸の方向と魚の向く方向とが垂直又は略垂直に交わるまでカメラの位置や姿勢を調整する。この際、カメラのキャプチャ画像内に魚の側面全体が含まれていることが好ましい。しかし、魚の側面全体が映っていない場合であっても、例えば、魚体の一部が別の魚体と重なっている場合であっても、当該画像内にて対象である魚の特徴点を検出できる限り、カメラの位置や姿勢を調整することができる。
　生簀内を泳ぐ魚には、例えばマグロやブリなど、群れで一方向に回遊する習性の魚がいる。一度、魚体の側面とカメラの撮像面とが正対する位置にカメラを配置するよう調整できれば、一画像内に多くの魚体の側面を捉えた画像（映像）を撮影できる。即ち、群れる魚は特定の刺激を与えない限りしばらくの間、例えば数分間は同じ位置を回遊し続ける習性があるため、一度カメラ位置を正しく調整できれば、生簀内の魚の大きさの推定を行うにあたり十分な画像データを得ることが出来る。また、これら側面の画像を基に学習し作成した大きさ推定モデルを用いて魚の大きさを推定することで、より高い精度で水中の魚の大きさを推定することが可能となる。
　本開示の各実施形態においては、水中生物の大きさを推定するにあたり、当該推定に適した魚の画像を撮影する手法について説明する。
　以下、各実施形態について図面を参照して詳細に説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は本発明の実施形態における構成を概略的に表している。更に以下に記載される本発明の実施形態は一例であり、その本質を同一とする範囲において適宜変更可能である。
　＜第１の実施形態＞
　（水中生物撮影システム）
　以下、本開示の第１の実施形態による水中生物撮影システム１００について図面を参照して説明する。
　図１は水中生物撮影システム１００の概略構成を示す図である。図１で示すように水中生物撮影システム１００は、サーバ装置１、端末２、ステレオカメラ３、調整部４、カメラ位置制御部５およびカメラ支持部７を備える。調整部４は、カメラ位置調整部６およびクレーン部８を備える。サーバ装置１と端末２との間、サーバ装置１とステレオカメラ３との間は有線通信又は無線通信可能に接続されている。
　水中生物撮影システム１００における撮影動作の全体的な流れについて説明する。ステレオカメラ３は水中において魚の画像を撮影する。サーバ装置１はステレオカメラ３から魚の画像を取得し、当該魚の側面とカメラの撮像面とが正対するための補助情報を生成する。補助情報とは、魚の側面とステレオカメラ３の撮像面とが正対するようにステレオカメラ３を移動させるための指示を、ステレオカメラ３のユーザ（制御者）に提示する情報である。ステレオカメラ３のユーザ（制御者）とは、ステレオカメラ３を操作する人、撮影のためにクレーン部８を操作する人、カメラの調整部４を操作する人などである。これらは同一人物であってもよいし別人であってもよい。魚群は生簀内を自由に動くため、海上の所定位置でステレオカメラ３の深度、上下角度と左右角度などを調整すれば魚を撮影できる場合もあれば、船やクレーン部８を動かして広域で探知せねば魚を撮影できない場合もあるが、補助情報は、いずれの場合の情報も含むものとする。尚、ステレオカメラ３を搭載した水中ドローンを使用して水中を移動し、ステレオカメラ３の姿勢等を適宜調整して、魚の撮影を行っても良い。その際、補助情報は、水中ドローンを操作する人に提示する情報、または、水中ドローンを操作するコンピュータに出力する情報を含むものとする。
　サーバ装置１は魚の画像および補助情報を端末２に送信する。端末２は魚を撮影するユーザが備える携帯通信端末であり、サーバ装置１から魚の画像および補助情報を受信するとそれらを表示部２ａに表示する。ユーザは表示された当該魚の画像および補助情報を見つつ、魚の側面とカメラの撮像面とが正対する位置にステレオカメラ３を上下左右に移動させる又は姿勢調整する。この処理は、魚の側面とカメラの撮像面とが正対するまで繰り返される。
　魚の側面とカメラの撮像面とが正対する位置において、ステレオカメラ３が、生簀内の魚の大きさの推定に必要とされる所定時間分の魚の側面の正対画像を撮影すると、サーバ装置１は当該撮影された画像データを基に大きさ推定処理を開始する。尚、大きさ推定処理はサーバ装置１以外のサーバ装置で実行されてもよい。大きさ推定処理は、画像データの撮影と同時に実行されても良いし、撮影後いつ実行されても良い。サーバ装置１は図１においては船上に配置されているが、これは有線又は無線通信可能な他の場所に配置されていてもよい。また、サーバ装置１の全部または一部の機能を端末２が備えていても良い。即ち、端末２において、ステレオカメラ３からの魚の画像の取得、魚の側面とカメラの撮像面とが正対するための補助情報生成およびこれらの表示をおこなってもよい。さらに端末２において、魚の大きさ推定結果を表示部２ａに表示してもよい。
　以下、図１に示す各構成要素について説明する。
　ステレオカメラ３は水中において魚の画像を取得するカメラであり、距離センサとしての機能も備える。ステレオカメラ３は、所定距離をおいて配置される２つのレンズを用いて被写体（３次元物体）を２つの異なる方向から同時に撮影することにより、各カメラの撮影する画像内の画素の位置情報から、カメラから被写体までの奥行き距離等の情報を三角測量法に基づいて算出する。尚、被写体までの奥行き距離を取得できるカメラであればステレオカメラ３以外であっても良い。また、画像の情報を取得するカメラと、奥行き距離等の情報を取得できるセンサとを別々に備えていても良い。
　ステレオカメラ３は調整部４（クレーン部８およびカメラ位置調整部６）を備えている。調整部４は、水面下における、水面に対するステレオカメラ３の垂直または略垂直移動、水面に対する水平または略水平移動、水面に対する水平または略水平回転、および、水面に対する垂直または略垂直回転のうちの少なくとも一つを実行する。具体的に、クレーン部８は、水面に対するステレオカメラ３の垂直または略垂直移動、および、水面に対する水平または略水平移動を実行する。カメラ位置調整部６は、水面に対する水平または略水平回転、および、水面に対する垂直または略垂直回転を実行する。
　ステレオカメラ３はカメラ支持部７に取り付けられて水中に沈められる。カメラ支持部７はステレオカメラ３を水中の所定位置に所定時間配置させるための支持材である。具体的にカメラ支持部７としては、波の影響を受けづらいもの、例えば金属棒やある程度の硬さおよび太さのあるロープなどが好ましい。カメラ支持部７にはステレオカメラ３を固定するための固定具が備えられている。
　クレーン部８は、カメラ支持部７を垂直方向または水平方向に移動させるための装備を備える。例えば、カメラ支持部７がロープであったらこれを上げ下げするためのリール機構を備える。カメラ支持部７が金属棒であったらこれを垂直方向に動かすための機構を備える。クレーン部８は、カメラ支持部７を水平（略水平）状または半円（楕円）状に移動させるための機構、例えばクレーン部８の首または足元が水平移動、回転または回動するような機構を備えていても良い。尚、クレーン部８を運ぶ船を移動させることでも水平移動や半円移動は実現することが出来る。クレーン部８はユーザによって制御され、制御用のレバーやボタン（不図示）等を備えている。尚、小型ステレオカメラの場合は、クレーン部８の代わりにユーザが直接手で操作しても良い。
　カメラ位置調整部６は、水中でステレオカメラ３の姿勢、即ち、ステレオカメラ３の水平角度（左右の向き）および垂直角度（上下の向き）を調整する。カメラ位置調整部６は、ステレオカメラ３およびカメラ支持部７の間に取り付けられる左右向きの回転および上下向きの回転が可能な機構である。例えば、カメラ位置調整部６は上下左右角度を調整するための電動式の歯車機構であってもよいし、ステレオカメラ３に取り付けられ、左右上下の角度を調整するピアノ線であってもよい。
　カメラ位置制御部５は、カメラ位置調整部６の動きをユーザが船上で制御するための機構である。例えば、カメラ位置調整部６が電動式の歯車機構の場合は、水中の歯車機構を船上から調整するためのレバーやボタンなど、ピアノ線の場合は左右上下に取り付けられたピアノ線の位置を調整するためのリール機構やモータなどである。この他、カメラ位置制御部５に通信機能を備えさせ、カメラ位置制御部５と端末２とを有線又は無線の通信にて接続してもよい。カメラ位置制御部５は表示部２ａを介して端末２からユーザの指示を受信し、カメラ位置調整部６を制御してもよい。
　（（サーバ装置））
サーバ装置１は、ステレオカメラ３と端末２との間に設置され、双方と通信可能に接続される。サーバ装置１は、図２に示すように、入力部１１、検知部１２、判断部１３、生成部１４、出力部１５、大きさ推定部１６および記憶部１７を備える。
　入力部１１は、ステレオカメラ３から撮影された水中の画像を取得する。入力部１１は取得した画像を検知部１２に引き渡す。尚、入力部１１は取得した画像を出力部１５に引き渡し、出力部１５が端末２に先ず画像を送信するようにしてもよい。
　検知部１２は、カメラより取得する画像から水中生物を検知する。検知部１２は、水中における魚の画像を学習し作成された学習モデルを用いて、取得された画像内における魚の写り込みを判定する。学習モデルは水中において撮影された魚の画像を教師データとして学習し作成されたモデルであり、画像内に写る魚を検知することができる。学習モデルを用いて画像内に魚が検知された場合、検知部１２は、例えば、所定大きさ以上かつ所定数以上の魚が画像内に写っているかを判定する。具体的に、検知部１２は、例えば、ある特定の魚の画像内の面積占有率が所定値（例えば２０％）以上かつ所定数（例えば１匹）以上であることを判定する。なお、検知部１２は、画像内に複数の魚が写っている場合も同様に魚の写りこみを判定し、それぞれの魚を検知する。ここで、複数の魚が写っている状態は、画像内に魚群が写っている状態も含まれる。
　検知部１２は、さらに、魚の特徴点の画像を学習し作成された学習モデルを用いて、取得された画像内に写る魚の特徴点を検知する。検知部１２は、魚の特徴点として、例えば図３に示すように魚の口先端位置を示す特徴点Ｐ１および、Ｐ１に対応する特徴点として、尾びれ付け根位置を示す特徴点Ｐ２を検知する。また検知部１２は、魚の特徴点として、背びれ前方付け根位置を示す特徴点Ｐ３および、Ｐ３に対応する特徴点として、腹びれ前方付け根位置を示す特徴点Ｐ４を検知してもよい。検知部１２は、魚体ごとに、画像から得た特徴点の代表座標（例えば中心点）を左右レンズ分よみとり、特徴点其々の３次元空間における３次元座標を算出する。算出にはＤＬＴ（Direct Linear Transformation）法などの公知の３次元座標へ換算する技術が用いられる。ＤＬＴ法では、撮影された画像中における点の座標と実際の２次元および３次元座標との関係を表す較正係数をあらかじめ計算しておき、この係数を用いて撮影画像内の点から３次元空間座標を求める。なお、検知部１２は、取得された画像内において魚が写り込んでいると判定された場合に、特徴点の検知を行ってもよい。また、上記の手法は検知部１２による検知の一例であり、検知部１２は、ステレオカメラ３から取得した画像における魚の特徴点を検出する公知の手法を用いてもよい。さらに、検知部１２は、画像内に複数の魚が写っている場合、検知したそれぞれの魚について特徴点を検知してもよい。
　判断部１３は、検知部１２によって画像内に魚が映っていると検知された場合、ステレオカメラ３から取得した、ステレオカメラ３から魚までの奥行き距離を用いて、魚とステレオカメラ３との位置関係を判断する。位置関係とは、ステレオカメラ３の撮像面に対する検知した魚の方向および、魚とステレオカメラ３との間の距離を指す。具体的には、判断部１３は、当該位置関係に基づいて、魚の側面（魚体の側面）とステレオカメラ３の撮像面とが正対しているかを判断する。判断部１３は、ステレオカメラ３の光軸と魚の側面とが垂直又は略垂直に交わるとき、魚の側面とステレオカメラ３の撮像面とが正対する位置にあると判断してもよい。判断部１３は、魚に関して検出された対応関係にある特徴点のそれぞれとステレオカメラ３との距離の差が所定の範囲内にある場合、魚とステレオカメラ３の撮像面とが正対すると判断してもよい。具体的には、判断部１３は、検知部１２で検知された魚の各特徴点とステレオカメラ３との距離を算出し、対応する特徴点における各距離の差が所定の範囲内に収まっているかを判断する。例えば、判断部１３は、魚の口先端位置を示す特徴点Ｐ１とステレオカメラ３との距離、および、尾びれ付け根位置を示す特徴点Ｐ２とステレオカメラ３との距離の差が、所定の範囲内に収まっているかを判断する。
　さらに、判断部１３は、検知した魚が最適撮像範囲内にいるかを判断してもよい。最適撮像範囲とは、ステレオカメラ３の撮像範囲のうち、魚の大きさ推定を行うのに適した範囲である。判断部１３は、検知した魚が最適撮像範囲にいるかの判断として、例えば、魚とステレオカメラ３との間の距離が所定範囲内であるかを判断してもよい。この距離は小さくても（ステレオカメラ３と魚とが接近しすぎている）、大きくても（ステレオカメラ３と魚とが離れすぎている）大きさ推定に適する画像とはならないため、予め最適な画像が撮影できる距離（例えば、カメラより５０センチから２メートルまでの範囲）を設定しておくことが好ましい。また、検知した魚が最適撮像範囲内にいるかの判断として、判断部１３は、ステレオカメラ３の所定垂直距離範囲内に魚がいるかを判断してもよい。垂直距離とはステレオカメラ３が上または下の垂直方向に移動した距離を指す。所定の垂直距離範囲内とは、例えば、垂直距離１ｍ内であれば、カメラを起点として真上に１ｍ以内、真下に１ｍ以内の範囲を指す。これは、検知部１２において、魚を上面から撮影した画像や下面から撮影した画像と、それぞれの画像におけるステレオカメラ３と検知した魚との垂直距離とを紐づけて学習し作成された学習モデルを用いることで可能となる。すなわち、検知部１２が画像内に魚を検知することと合わせて、判断部１３はステレオカメラ３の所定垂直距離範囲内に魚がいるかを判断することができる。
　尚、ステレオカメラ３の所定垂直距離範囲内に魚がいるかを判定する場合に、検知部１２は、レンズの光軸位置を０°とした場合の魚位置の仰伏角が閾値（例えば仰伏角１０°）内であるかを判定してもよい。仰伏角については、ステレオカメラ３のステレオビジョン機能（画像から３次元物体の位置や距離などを三角測量に基づいて復元する計測機能）を用いて計測可能である。この場合、学習モデルを用いて検知した魚が、ステレオカメラ３に対して水面から垂直方向にどれくらいの位置にいるかを大まかに把握したあとで、ステレオビジョン機能を用いて正確な位置を計測し、ステレオカメラ３の垂直移動すべき方向（上または下）と距離を算出してもよい。
　検知部１２が魚群をとらえた画像内に複数の魚（魚群）を検知すると、判断部１３は検知された複数の魚とステレオカメラ３との位置関係をそれぞれ判断する。判断部１３は、複数の魚とステレオカメラ３とのそれぞれの位置関係に基づいて、複数の魚のうち所定数以上の魚の側面がステレオカメラ３の撮像面と正対する場合に、当該魚群とステレオカメラ３の撮像面とが正対すると判断してもよい。具体的に、判断部１３は、検知されたそれぞれの魚について、魚の各特徴点とステレオカメラ３との距離を算出し、対応する特徴点（例えば、特徴点Ｐ１とＰ２）における各距離の差が所定の範囲内に収まっているか否かにより、それぞれの魚の側面がステレオカメラ３の撮像面に対して正対しているかを判断する。そして、判断部１３は、所定数以上の魚において正対していると判断した場合、当該魚群とステレオカメラ３は正対すると判断する。ここで、所定数とは予め定めた数（例えば５匹以上）であってもよい。判断部１３は、複数の魚（魚群）のそれぞれに対して求められた差の平均が所定の範囲内である場合、魚群とステレオカメラ３の撮像面は正対すると判断してもよい。判断部１３は、魚群とステレオカメラ３とのそれぞれの位置関係に基づいて、魚群のうちの所定数以上の魚の側面とステレオカメラ３の撮像面とが正対する場合、魚群とステレオカメラ３の撮像面は正対すると判断してもよい。
　また、判断部１３は、検知された複数の魚とステレオカメラ３とのそれぞれの位置関係の平均に基づいて、当該魚群とステレオカメラ３の撮像面とが正対するかを判断してもよい。具体的に、判断部１３は、魚の対応する特徴点における各距離の差について、検知された複数の魚における平均を算出し、算出した平均が所定の範囲内であるかを判断することで、魚群がステレオカメラ３の撮像面と正対しているかを判断してもよい。例えば、判断部１３は、ある魚における特徴点Ｐ１とステレオカメラ３との距離および特徴点Ｐ２とステレオカメラ３との距離の差を、検知された複数の魚それぞれについて算出し、それらの平均が所定の範囲内に収まっているかを判断する。
　さらに、判断部１３は、検知された複数の魚とステレオカメラ３との位置関係を判断する際に、ステレオカメラ３の撮像するエリアのうち最適撮像範囲にいる魚の情報に重みづけしてもよい。また、魚が向いている方向を表すベクトル（空間ベクトルなど）を用いて、検知された複数の魚とステレオカメラ３との位置関係および重みづけを行ってもよい。また、位置関係の判断として、魚（魚群）の向きを、例えば左右のいずれかに分類するようにしてもよい。
　判断部１３が魚または魚群の側面とステレオカメラ３の撮像面とが正対すると判断するまで、検知部１２による検知処理、判断部１３による判断処理および出力部１５による出力処理を繰り返してもよい。
　以下、具体例を述べる。図４に示すような画像の場合、生簀の網を撮影しているので、検知部１２は魚を検知せず、当該検知結果を出力部１５に出力する。
　図５に示すような画像の場合、魚は撮影されているので、検知部１２は魚を撮影していると検知するが、魚との距離があるため魚がよく映っておらず、また魚の全体を撮影していない（魚の画像が途中で切れている）。このため検知部１２は、画像内には撮影すべき魚は映っていないと判定し、当該判定を検知結果として出力部１５に出力する。
　図５に示すような画像の場合、魚は撮影されているので、検知部１２は画像内には魚は映っていると判断する。しかし、図６は魚を上から見下ろした画像であり、魚の位置がステレオカメラ３よりも閾値以上低い位置（伏角６０°程度）にある。このため検知部１２は、魚の位置がステレオカメラ３よりも下側に閾値以上距離があり、画像内には撮影すべき魚は映っていないと判定し、当該判定を検知結果として出力部に出力する。この際、検知部１２は、ステレオカメラ３の位置を垂直下降すべきこと、魚の位置までどれくらい距離があるか、即ち、どの向きにどれくらいステレオカメラ３を動かすべきかの情報を補助情報として同時に出力部１５に出力しても良い。
　図７に示す画像の場合、魚がステレオカメラ３の位置から所定垂直距離範囲内に撮影されているので、検知部１２は魚を撮影していると検知し、当該検知結果を判断部１３に出力する。判断部１３は、魚とステレオカメラ３との位置関係を判断するが、図７に示す画像の場合、魚の腹側から撮影されており、魚の側面の正対画像ではない。このため判断部１３は、魚の側面とカメラの撮像面とが正対していないと判断し、当該判断結果を生成部１４に出力する。
　図８に示す画像では、ステレオカメラ３の位置から最適撮像範囲内に、魚の側面がカメラの撮像面に正対した状態で撮影されている。この場合、判断部１３は、ステレオカメラ３から取得した画像が大きさ推定に適した画像であると判断する。そして、判断部１３は録画を開始するという判断結果をステレオカメラ３に出力し、ステレオカメラ３は録画を開始し、所定時間録画した画像を記憶部１７に格納する。更に、判断部１３は、録画開始の旨を出力部１５に出力してもよいし、ステレオカメラ３の移動は必要ない旨を出力部１５に出力してもよい。尚、録画の開始は、出力部１５を介して通知を受けたユーザからの指示を待ってから行うようにしてもよい。また、魚の側面とカメラの撮像面とが正対するかの判断と録画を並行して行ってもよい。
　生成部１４は、判断部１３において魚の側面がカメラの撮像面と正対していないと判断された場合、魚の側面とカメラの撮像面とが正対する位置までステレオカメラ３を移動させるための情報を補助情報として生成する。生成部１４は、判断部１３において判断された魚（魚群）の向きに基づき、カメラを移動させるための補助情報を生成してもよい。具体的には、生成部１４は、魚（魚群）の向きから魚の泳いでいく方向を推測することで、魚の泳いでいく方向にステレオカメラ３の位置調整を行うという補助情報を生成してもよい。
　ここで、魚の側面とカメラの撮像面との正対の判断方法および補助情報の生成方法について説明する。図９はステレオカメラ３のカメラレンズ面と魚との位置関係を、説明の簡略のために上面から示した図である。魚の尾を点Ａ、魚の口先を点Ｂとする。ステレオカメラ３のカメラレンズ面から点Ａまでの距離Ａと、ステレオカメラ３のカメラレンズ面から点Ｂまでの距離Ｂは一般的なステレオビジョンの原理を用いて測定することができる。この距離Ａと距離Ｂとの差が所定の範囲内に収まっているかを判断することにより、判断部１３は、魚の側面の正対画像であるか否かを判断する。尚、魚の側面の正対画像をカメラで撮影するには、魚の側面とカメラの撮像面とが正対するようにカメラの位置を調整する必要がある。より正確には、カメラの光軸と魚の側面とが垂直又は略垂直に交わる位置にカメラの位置を調整することが好ましい。
　点Ｂを通り、ステレオカメラ３のカメラレンズ面と平行な直線と、点Ａを通るステレオカメラ３のカメラレンズ面の法線が交わる点をＣとする。尚、点Ａ、Ｂを通りカメラレンズ面に垂直な平面と図９の上面図で表示された面は平行であるものとする。
　点Ｂと点Ｃとを結ぶ線分の長さａは距離Ｂとステレオカメラ３の画角、及び画面上の画素の位置から計測できる。点Ｃと点Ａとを結ぶ線分の長さｂは（距離Ａ－距離Ｂ）となる。この場合、生成部１４は、点Ａと点Ｂを通る直線と線分ＢＣとが成す角度θを以下の式から算出する。
　　　　tan-1  b/a = θ　…（式１）
ａとｂとの比が１であるとすると、θ＝４５°となる。従って、生成部１４は、魚の側面とカメラの撮像面とが正対するようにステレオカメラ３のカメラレンズ面を４５°反時計回りに回転させるべきことを判定する。よって、生成部１４は、ステレオカメラ３の角度を反時計回りに４５°回転させるように指示するためのサイン（矢印など）や文章を補助情報として生成する。
　魚の殆どは背びれを上、腹びれを下に向けて泳ぐ習性があるため、魚の尾（点Ａ）と魚の口先（点Ｂ）とを用いることで魚の側面は算出できる。しかしながら、海流の影響などで、魚体とカメラのレンズ面との傾きを考慮する必要がある場合、魚の背びれの点とカメラとの間の距離Ｃ、腹びれの点とカメラとの間の距離Ｄに対しても上記の式１を用いて角度を算出することで、より正確に側面を判断することができる。この他、判断部１３に負荷をかけたくない場合は、検知部１２は、魚の側面の正対画像を学習することにより作成した学習モデルを用いて、カメラの撮像面に正対する状態の魚を検知することもできる。これによりステレオカメラ３側に極端に傾いた魚の画像は検知部１２が判断部１３に送信しないように設定することが可能である。
　判断部１３は、同一の魚を撮影した複数の画像を用いて、魚の進行方向を判断してもよい。例えば、ステレオカメラ３は、図９に示す画像を所定間隔で複数回、例えば毎秒１２フレーム撮影する。図１０はそのうちの連続する３フレームを示したものである。図１０を見ると右側の１フレーム目から３フレーム目に向かって、口先を示す点Ｂとステレオカメラ３のレンズ面との距離Ｂが狭まっているのが分かる。この場合、判断部１３は、魚の進行方向がカメラ側の奥行き方向、即ち魚はカメラに向かって泳いでいると判断する。逆に、口先を示す点Ｂとステレオカメラ３のレンズ面との距離Ｂが広がっていると、判断部１３は、魚の進行方向はカメラと逆の奥行き方向、即ちカメラから離れる方向に泳いでいると判断する。魚の群れの画像の場合、判断部１３は上記の処理を画像に映っている魚の数分繰り返し、最も多くの魚が向いている方向や、複数の魚の向きの平均を、群れの進行方向と判断しても良い。判断部１３は、同一の魚群を撮影した複数の画像を用いて、すでに方向検出処理の完了した魚体の画像を当該方向検出処理の対象から外す（削除する）ようにしてもよい。
　生成部１４は、生成した補助情報を出力部１５に送信する。補助情報には上述した魚や魚群の進行方向を含めても良い。
　出力部１５は、魚とステレオカメラ３との位置関係に基づいて、当該魚の側面と当該ステレオカメラ３の撮像面とが正対するようにステレオカメラ３を移動させるための補助情報を出力する。出力部１５は、検知部１２、判断部１３、生成部１４から検知結果、判断結果および補助情報を受け取り、有線又は無線の通信を介してこれらを端末２に送信する。尚、出力部１５はステレオカメラ３から受信する水中の画像も、上記の検知結果、判断結果および補助情報とともに端末２に送信する。この際、出力部１５は画像と上記の検知結果、判断結果および補助情報とを重畳して送信してもよい。
　大きさ推定部１６は、記憶部１７に格納された魚の正対画像を基に、生簀内の魚の大きさを推定する。大きさ推定部１６は、検知部１２で検知した画像内の魚の特徴点に基づいて当該魚の大きさを示す情報を算出する。大きさを示す情報とは、例えば、尾叉長、体長、体高、重量である。大きさ推定部１６は、魚の口先端位置を示す特徴点Ｐ１および尾びれ付け根位置を示す特徴点Ｐ２の３次元座標に基づいて尾叉長を、および、背びれ前方付け根位置を示す特徴点Ｐ３および腹びれ前方付け根位置を示す特徴点Ｐ４の３次元座標に基づいて体高を算出する。更に大きさ推定部１６は、魚の重量を算出する重量算出式に、算出された尾叉長と体高とを変数として入力し、重量を算出する。
　（（端末））
　端末２は、魚の撮影を行うユーザが所持する携帯通信端末である。図１においてはタブレット端末型となっているが、出力手段としてヘッドマウントディスプレイ装置やスピーカ、入力装置としてマイクなどを備えている装着型ヘッドセットであってもよい。
　端末２は、図１１に示すように、データ入力部２１、命令入力部２２、制御部２３、出力部２４および記憶部２５を備える。データ入力部２１は、サーバ装置１から画像、通知および補助情報を受信する。制御部２３は、端末のデータ入出力処理を制御する。出力部２４は、画像、通知および補助情報を出力するためのディスプレイ装置である。命令入力部２２は、出力部２４に表示されるアイコン等を介してユーザから次の指示を受け付ける。記憶部２５は、サーバ装置１から受信する画像、通知および補助情報を一時記憶するためのメモリである。
　データ入力部２１が、サーバ装置１から画像、通知および補助情報を受信すると、制御部２３は、これらを出力部２４に出力する。ユーザは出力された画像、通知および補助情報を基に、図１に示すクレーン部８やカメラ位置制御部５を介してステレオカメラ３の水中での位置を調整する。
（水中生物撮影システムの動作）
　水中生物撮影システム１００の動作について、図１２に示すフローチャートを参照して説明する。以下の説明においては、図１に示すように、ユーザの船が生簀内の水面におり、ステレオカメラ３はカメラ支持部７に取り付け後クレーン部８に吊り下げられて水中に存在し、カメラ位置調整部６にて調整可能に設定されているものとする。
　まずステップＳ１０１において、サーバ装置１の入力部１１が、水中のステレオカメラ３が撮影した画像を取得する。取得した画像は検知部１２に送信される。
　ステップＳ１０２において、検知部１２が取得する画像内の魚の写り込みを検知する。魚の写りこみを検知できない場合、検知部１２は出力部１５に当該検知結果を通知し、処理はステップＳ１０５に進められる。魚の写りこみを検知した場合、処理はステップＳ１０３へ進められる。
　ステップＳ１０３において、判断部１３は、ステレオカメラ３と魚との位置関係を判断する。具体的には、判断部１３は、魚の側面とステレオカメラ３の撮像面とが正対するか否かを判断する。判断の結果、魚の側面とステレオカメラ３の撮像面とが正対する場合、判断部１３は、ステレオカメラ３から取得した画像が大きさ推定に適した画像であると判断する（ステップＳ１０６）。魚の側面とステレオカメラ３の撮像面とが正対しない場合、生成部１４は補助情報を生成し（ステップＳ１０４）、出力部１５に補助情報を出力する（ステップＳ１０５）。
　ステップＳ１０４において、生成部１４は、魚の側面とステレオカメラ３の撮像面とが正対するための補助情報を生成する。
　ステップＳ１０５において、出力部１５は、魚の画像、補助情報、上記の検知結果および判断結果（通知）を端末２に対して出力する。判断部１３から補助情報を受けた場合、出力部１５は、例えば図１３に示す魚の側面とステレオカメラ３の撮像面とを正対する位置にステレオカメラ３を移動させるための補助情報「カメラを４５度、左水平方向に回してください」を端末２に出力する。補助情報はユーザにとって理解しやすいことが好ましい。このため、出力部１５は、ステレオカメラ３を動かすべき方向と動かすべき角度をカメラ位置調整部６の動作に変換して端末２に出力することで、表示部２ａに補助情報を表示させてもよい。例えば、カメラ位置調整部６がハンドルである場合「ハンドルを左に１５度回してください」のように表示部２ａに提示する。また、ユーザがステレオカメラ３の是正操作を所定回数行ったにもかかわらず画像内に所定大きさ以上かつ所定数以上の魚の写りこみを検知できない場合は、現在の船の位置近辺には魚が存在しないと考えられる。この場合、出力部１５は、表示部２ａに船の移動を提案するような提示を行ってもよい。
　この後、ユーザが端末２の表示部２ａに提示される通知や補助情報を閲覧し、調整部４を操作してステレオカメラ３の位置を調整した場合、魚の側面の正対画像が撮影されるまで、再度ステップＳ１０１～Ｓ１０５の処理は、実行される。再実行のタイミングは、ステレオカメラ３が撮影する画像の違いを検知部１２が検知したときに自動的に行っても良いし、ユーザが端末２を介して再度撮影の補助をリクエストし、それをサーバ装置１が受信してからでもよい。
　尚、側面の画像の録画映像は記憶部１７に格納され、大きさ推定部１６は、記憶部１７に格納される魚の映像または画像を基に、生簀内の魚の大きさを推定する。
　以上で、水中生物撮影システム１００の動作の説明を終了する。
　（第１の実施形態の効果）
　本実施形態によれば、水中生物の大きさを推定するにあたり当該推定に適した魚の画像を撮影することができる。その理由は、判断部１３が検知部１２により検知された魚の側面とステレオカメラ３の撮像面とが正対する位置関係にあるかを判断し、出力部１５が上記の位置関係になるまでステレオカメラ３を移動させるための補助情報をユーザに出力するからである。
　＜第２の実施形態＞
　本開示の第２の実施形態における水中生物撮影支援装置３０は、図１４に示すように、検知部３１、判断部３２および出力部３３を備える。水中生物撮影支援装置３０は第１の実施形態におけるサーバ装置１の最小構成例である。
　検知部３１は、カメラより取得する画像から水中生物を検知する。判断部３２は、検知部３１により検知された水中生物とカメラとの位置関係を判断する。出力部３３は、位置関係に基づいて、水中生物の側面とカメラの撮像面とが正対するようにカメラを移動させるための補助情報を出力する。
　本開示の第２の実施形態によると、水中生物の大きさを推定するにあたり当該推定に適した魚の画像を撮影することができる。その理由は、判断部３２が、検知部３１により検知された水中生物とカメラとの位置関係を判断し、当該位置関係に基づいて、水中生物の側面とカメラの撮像面とが正対するようにカメラを移動させるための補助情報を出力部３３が出力するからである。
　（情報処理装置）
　上述した本発明の各実施形態において、図２、１１、１４等に示すサーバ装置、携帯通信端末、水中生物撮影支援装置（以下、水中生物撮影支援装置等と記載）における各構成要素の一部又は全部は、例えば図１５に示すような情報処理装置５００とプログラムとの任意の組み合わせを用いて実現することも可能である。情報処理装置５００は、一例として、以下のような構成を含む。
　　・ＣＰＵ５０１
　　・ＲＯＭ５０２
　　・ＲＡＭ５０３
　　・プログラム５０４および他のデータを格納する記憶装置５０５
　　・記憶媒体５０６の読み書きを行うドライブ装置５０７
　　・通信ネットワーク５０９と接続する通信インターフェース５０８
　　・データの入出力を行う入出力インターフェース５１０
　　・各構成要素を接続するバス５１１
　本願の各実施形態における水中生物撮影支援装置等の各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。水中生物撮影支援装置等の各構成要素の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記憶媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。
　各装置の実現方法には、様々な変形例がある。例えば、水中生物撮影支援装置等は、構成要素毎にそれぞれ別個の情報処理装置とプログラムとの任意の組み合わせにより実現されてもよい。また、水中生物撮影支援装置等が備える複数の構成要素が、一つの情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。
　また、水中生物撮影支援装置等の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
　水中生物撮影支援装置等の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　水中生物撮影支援装置等の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバ装置システム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
　カメラより取得する画像から水中生物を検知する検知手段と、
　前記検知手段により検知された前記水中生物と前記カメラとの位置関係を判断する判断手段と、
　前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する出力手段
とを備える水中生物撮影支援装置。
［付記２］
　前記判断手段は、前記水中生物に関して検出された対応関係にある特徴点のそれぞれと前記カメラとの距離の差が所定の範囲内にある場合、前記水中生物と前記カメラの撮像面とが正対すると判断する
付記１に記載の水中生物撮影支援装置。
［付記３］
　前記検知手段が複数の前記水中生物を検知すると、前記判断手段は検知された複数の前記水中生物と前記カメラとの前記位置関係を判断する
付記１または付記２に記載の水中生物撮影支援装置。
［付記４］
　前記判断手段は、複数の前記水中生物と前記カメラとのそれぞれの位置関係の平均に基づいて、複数の前記水中生物と前記カメラの撮像面とが正対するかを判断する
付記１乃至付記３のいずれかに記載の水中生物撮影支援装置。
［付記５］
　前記判断手段は、複数の前記水中生物のそれぞれに対して求められた前記差の平均が所定の範囲内である場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
付記２に記載の水中生物撮影支援装置。
［付記６］
　前記判断手段は、複数の前記水中生物と前記カメラとのそれぞれの位置関係に基づいて、複数の前記水中生物のうちの所定数以上の前記水中生物の側面と前記カメラの撮像面とが正対する場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
付記１乃至付記３のいずれかに記載の水中生物撮影支援装置。
［付記７］
　前記判断手段は、前記位置関係を判断する際に、前記カメラの撮像するエリアのうち所定の領域に検知した前記水中生物の情報に重みづけする
付記１乃至付記６のいずれかに記載の水中生物撮影支援装置。
［付記８］
前記判断手段は、前記判断において、同一の前記水中生物を含む複数の画像を用いる
付記１乃至付記７のいずれかに記載の水中生物撮影支援装置。
［付記９］
　前記判断手段は、前記カメラの光軸と前記水中生物の側面とが垂直又は略垂直に交わるとき、前記水中生物の側面と前記カメラの撮像面とが正対する位置にあると判断する
付記１乃至付記８のいずれかに記載の水中生物撮影支援装置。
［付記１０］
　前記判断手段が前記水中生物または複数の前記水中生物の側面と前記カメラの撮像面とが正対すると判断するまで、前記検知手段による検知、前記判断手段による判断および前記出力手段による出力を繰り返す
付記１に記載の水中生物撮影支援装置。
［付記１１］
　前記補助情報は、前記カメラの制御者に対し、前記水中生物の側面と前記カメラとが正対する位置まで前記カメラを移動させる指示を含む
付記１に記載の水中生物撮影支援装置。
［付記１２］
　付記１乃至付記１１に記載の水中生物撮影支援装置と、
　水中を撮影するカメラと、
　前記水中生物撮影支援装置が出力する、水中生物の側面を撮影するための補助情報を表示する表示装置
とを備える水中生物撮影支援システム。
［付記１３］
　前記補助情報に基づいて、前記カメラを調整するカメラ調整装置を更に備える
付記１２に記載の水中生物撮影支援システム。
［付記１４］
　カメラより取得する画像から水中生物を検知し、
　検知された前記水中生物と前記カメラとの位置関係を判断し、
　前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する
ことを備える水中生物撮影支援方法。
［付記１５］
　前記判断において、前記水中生物に関して検出された対応関係にある特徴点のそれぞれと前記カメラとの距離の差が所定の範囲内にある場合、前記水中生物と前記カメラの撮像面とが正対すると判断する
付記１４に記載の水中生物撮影支援方法。
［付記１６］
　複数の前記水中生物を検知すると、前記判断において、検知された複数の前記水中生物と前記カメラとの前記位置関係を判断する
付記１４または付記１５に記載の水中生物撮影支援方法。
［付記１７］
　前記判断において、複数の前記水中生物と前記カメラとのそれぞれの位置関係の平均に基づいて、複数の前記水中生物と前記カメラの撮像面とが正対するかを判断する
付記１４至付記１６のいずれかに記載の水中生物撮影支援方法。
［付記１８］
　前記判断において、複数の前記水中生物のそれぞれに対して求められた前記差の平均が所定の範囲内である場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
付記１５に記載の水中生物撮影支援方法。
［付記１９］
　前記判断において、複数の前記水中生物と前記カメラとのそれぞれの位置関係に基づいて、複数の前記水中生物のうちの所定数以上の前記水中生物の側面と前記カメラの撮像面とが正対する場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
付記１４乃至付記１６のいずれかに記載の水中生物撮影支援方法。
［付記２０］
　前記判断において、前記位置関係を判断する際に、前記カメラの撮像するエリアのうち所定の領域に検知した前記水中生物の情報に重みづけする
付記１４乃至付記１９のいずれかに記載の水中生物撮影支援方法。
［付記２１］
　前記判断において、同一の前記水中生物を含む複数の画像を用いる
付記１４乃至付記２０のいずれかに記載の水中生物撮影支援方法。
［付記２２］
　前記判断において、前記カメラの光軸と前記水中生物の側面とが垂直又は略垂直に交わるとき、前記水中生物の側面と前記カメラの撮像面とが正対する位置にあると判断する
付記１４乃至付記２１のいずれかに記載の水中生物撮影支援方法。
［付記２３］
　前記判断において、前記水中生物または複数の前記水中生物の側面と前記カメラの撮像面とが正対すると判断するまで、前記検知、前記判断および前記出力を繰り返す
付記１４に記載の水中生物撮影支援方法。
［付記２４］
　前記補助情報は、前記カメラの制御者に対し、前記水中生物の側面と前記カメラとが正対する位置まで前記カメラを移動させる指示を含む
付記１４に記載の水中生物撮影支援方法。
［付記２５］
　カメラより取得する画像から水中生物を検知し、
　検知された前記水中生物と前記カメラとの位置関係を判断し、
　前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する
ことをコンピュータに実現させるための水中生物撮影支援プログラムを格納する記憶媒体。
［付記２６］
　前記判断において、前記水中生物に関して検出された対応関係にある特徴点のそれぞれと前記カメラとの距離の差が所定の範囲内にある場合、前記水中生物と前記カメラの撮像面とが正対すると判断する
付記２５に記載の記憶媒体。
［付記２７］
　複数の前記水中生物を検知すると、前記判断において、検知された複数の前記水中生物と前記カメラとの前記位置関係を判断する
付記２５または付記２６に記載の記憶媒体。
［付記２８］
　前記判断において、複数の前記水中生物と前記カメラとのそれぞれの位置関係の平均に基づいて、複数の前記水中生物と前記カメラの撮像面とが正対するかを判断する
付記２５乃至付記２７のいずれかに記載の記憶媒体。
［付記２９］
　前記判断において、複数の前記水中生物のそれぞれに対して求められた前記差の平均が所定の範囲内である場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
付記２６に記載の記憶媒体。
［付記３０］
　前記判断において、複数の前記水中生物と前記カメラとのそれぞれの位置関係に基づいて、複数の前記水中生物のうちの所定数以上の前記水中生物の側面と前記カメラの撮像面とが正対する場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
付記２５乃至付記２７のいずれかに記載の記憶媒体。
［付記３１］
　前記判断において、前記位置関係を判断する際に、前記カメラの撮像するエリアのうち所定の領域に検知した前記水中生物の情報に重みづけする
付記２５乃至付記３０のいずれかに記載の記憶媒体。
［付記３２］
　前記判断において、同一の前記水中生物を含む複数の画像を用いる
付記２５乃至付記３１のいずれかに記載の記憶媒体。
［付記３３］
　前記判断において、前記カメラの光軸と前記水中生物の側面とが垂直又は略垂直に交わるとき、前記水中生物の側面と前記カメラの撮像面とが正対する位置にあると判断する
付記２５乃至付記３２のいずれかに記載の記憶媒体。
［付記３４］
　前記判断において、前記水中生物または複数の前記水中生物の側面と前記カメラの撮像面とが正対すると判断するまで、前記検知、前記判断および前記出力を繰り返す
付記２５に記載の記憶媒体。
［付記３５］
　前記補助情報は、前記カメラの制御者に対し、前記水中生物の側面と前記カメラとが正対する位置まで前記カメラを移動させる指示を含む
付記２５に記載の記憶媒体。
　以上、本実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１　サーバ装置
２　端末
２ａ　表示部
３　ステレオカメラ
４　調整部
５　カメラ位置制御部
６　カメラ位置調整部
７　カメラ支持部
８　クレーン部
１１　入力部
１２　検知部
１３　判断部
１４　生成部
１５　出力部
１６　大きさ推定部
１７　記憶部
２１　データ入力部
２２　命令入力部
２３　制御部
２４　出力部
２５　記憶部
３０　水中生物撮影支援装置
３１　検知部
３２　判断部
３３　出力部
１００　水中生物撮影システム
５００　情報処理装置
５０１　ＣＰＵ
５０２　ＲＯＭ
５０３　ＲＡＭ
５０４　プログラム
５０５　記憶装置
５０６　記憶媒体
５０７　ドライブ装置
５０８　通信インターフェース
５０９　通信ネットワーク
５１０　入出力インターフェース
５１１　バス

Claims (15)

  1. 　カメラより取得する画像から水中生物を検知する検知手段と、
    　前記検知手段により検知された前記水中生物と前記カメラとの位置関係を判断する判断手段と、
    　前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する出力手段
    とを備える水中生物撮影支援装置。
  2. 　前記判断手段は、前記水中生物に関して検出された対応関係にある特徴点のそれぞれと前記カメラとの距離の差が所定の範囲内にある場合、前記水中生物と前記カメラの撮像面とが正対すると判断する
    請求項１に記載の水中生物撮影支援装置。
  3. 　前記検知手段が複数の前記水中生物を検知すると、前記判断手段は検知された複数の前記水中生物と前記カメラとの前記位置関係を判断する
    請求項１または請求項２に記載の水中生物撮影支援装置。
  4. 　前記判断手段は、複数の前記水中生物と前記カメラとのそれぞれの位置関係の平均に基づいて、複数の前記水中生物と前記カメラの撮像面とが正対するかを判断する
    請求項１乃至請求項３のいずれかに記載の水中生物撮影支援装置。
  5. 　前記判断手段は、複数の前記水中生物のそれぞれに対して求められた前記差の平均が所定の範囲内である場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
    請求項２に記載の水中生物撮影支援装置。
  6. 　前記判断手段は、複数の前記水中生物と前記カメラとのそれぞれの位置関係に基づいて、複数の前記水中生物のうちの所定数以上の前記水中生物の側面と前記カメラの撮像面とが正対する場合、複数の前記水中生物と前記カメラの撮像面は正対すると判断する
    請求項１乃至請求項３のいずれかに記載の水中生物撮影支援装置。
  7. 　前記判断手段は、前記位置関係を判断する際に、前記カメラの撮像するエリアのうち所定の領域に検知した前記水中生物の情報に重みづけする
    請求項１乃至請求項６のいずれかに記載の水中生物撮影支援装置。
  8. 前記判断手段は、前記判断において、同一の前記水中生物を含む複数の画像を用いる
    請求項１乃至請求項７のいずれかに記載の水中生物撮影支援装置。
  9. 　前記判断手段は、前記カメラの光軸と前記水中生物の側面とが垂直又は略垂直に交わるとき、前記水中生物の側面と前記カメラの撮像面とが正対する位置にあると判断する
    請求項１乃至請求項８のいずれかに記載の水中生物撮影支援装置。
  10. 　前記判断手段が前記水中生物または複数の前記水中生物の側面と前記カメラの撮像面とが正対すると判断するまで、前記検知手段による検知、前記判断手段による判断および前記出力手段による出力を繰り返す
    請求項１に記載の水中生物撮影支援装置。
  11. 　前記補助情報は、前記カメラの制御者に対し、前記水中生物の側面と前記カメラとが正対する位置まで前記カメラを移動させる指示を含む
    請求項１に記載の水中生物撮影支援装置。
  12. 　請求項１乃至請求項１１に記載の水中生物撮影支援装置と、
    　水中を撮影するカメラと、
    　前記水中生物撮影支援装置が出力する、水中生物の側面を撮影するための補助情報を表示する表示装置
    とを備える水中生物撮影支援システム。
  13. 　前記補助情報に基づいて、前記カメラを調整するカメラ調整装置を更に備える
    請求項１２に記載の水中生物撮影支援システム。
  14. 　カメラより取得する画像から水中生物を検知し、
    　検知された前記水中生物と前記カメラとの位置関係を判断し、
    　前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する
    ことを備える水中生物撮影支援方法。
  15. 　カメラより取得する画像から水中生物を検知し、
    　検知された前記水中生物と前記カメラとの位置関係を判断し、
    　前記位置関係に基づいて、前記水中生物の側面と前記カメラの撮像面とが正対するように前記カメラを移動させるための補助情報を出力する
    ことをコンピュータに実現させるための水中生物撮影支援プログラムを格納する記憶媒体。
PCT/JP2019/051082 2019-12-26 2019-12-26 水中生物撮影支援装置、水中生物撮影支援方法および記憶媒体 WO2021130950A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021566676A JP7435625B2 (ja) 2019-12-26 2019-12-26 水中生物撮影支援装置、水中生物撮影支援方法および水中生物撮影支援プログラム
PCT/JP2019/051082 WO2021130950A1 (ja) 2019-12-26 2019-12-26 水中生物撮影支援装置、水中生物撮影支援方法および記憶媒体
US17/784,225 US20230045358A1 (en) 2019-12-26 2019-12-26 Underwater organism imaging aid system, underwater organism imaging aid method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/051082 WO2021130950A1 (ja) 2019-12-26 2019-12-26 水中生物撮影支援装置、水中生物撮影支援方法および記憶媒体

Publications (1)

Publication Number Publication Date
WO2021130950A1 true WO2021130950A1 (ja) 2021-07-01

Family

ID=76573778

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/051082 WO2021130950A1 (ja) 2019-12-26 2019-12-26 水中生物撮影支援装置、水中生物撮影支援方法および記憶媒体

Country Status (3)

Country Link
US (1) US20230045358A1 (ja)
JP (1) JP7435625B2 (ja)
WO (1) WO2021130950A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023210702A1 (ja) * 2022-04-27 2023-11-02 ソフトバンク株式会社 情報処理プログラム、情報処理装置及び情報処理方法
NO20221060A1 (en) * 2022-10-05 2024-04-08 Sintef Tto As Imaging system for aquatic organisms

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11089227B1 (en) * 2020-02-07 2021-08-10 X Development Llc Camera winch control for dynamic monitoring

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014017865A (ja) * 2012-06-12 2014-01-30 Olympus Imaging Corp 撮像装置及び撮影時の姿勢判定方法
JP2017181766A (ja) * 2016-03-30 2017-10-05 Kddi株式会社 水中監視装置、水上通信端末、及び水中監視システム
WO2019188506A1 (ja) * 2018-03-26 2019-10-03 日本電気株式会社 情報処理装置、物体計測システム、物体計測方法およびプログラム記憶媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104931091B (zh) * 2015-06-24 2016-12-21 金陵科技学院 一种仿生机器鱼用测量平台及其使用方法
CN105028356A (zh) * 2015-07-25 2015-11-11 李学新 一种基于图像处理的水下鱼体捕捞方法
CN105046228A (zh) * 2015-07-25 2015-11-11 张丽 一种基于数据通信的鱼体识别方法
CN104996370A (zh) * 2015-07-25 2015-10-28 朱秀娈 基于数据通信的水下鱼体定向捕获系统
CN104967833B (zh) * 2015-07-25 2016-11-16 盛泽明 一种基于数据通信的捕鱼方法
CN105028357A (zh) * 2015-07-25 2015-11-11 李学新 基于图像处理的水下鱼体捕捞平台
US20200027231A1 (en) * 2016-09-30 2020-01-23 Nec Corporation Information processing device, information processing method, and program storage medium
JP6879375B2 (ja) * 2017-09-04 2021-06-02 日本電気株式会社 情報処理装置、長さ測定システム、長さ測定方法およびコンピュータプログラム
US20210329891A1 (en) * 2020-04-27 2021-10-28 Ecto, Inc. Dynamic laser system reconfiguration for parasite control
US11532153B2 (en) * 2020-07-06 2022-12-20 Ecto, Inc. Splash detection for surface splash scoring

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014017865A (ja) * 2012-06-12 2014-01-30 Olympus Imaging Corp 撮像装置及び撮影時の姿勢判定方法
JP2017181766A (ja) * 2016-03-30 2017-10-05 Kddi株式会社 水中監視装置、水上通信端末、及び水中監視システム
WO2019188506A1 (ja) * 2018-03-26 2019-10-03 日本電気株式会社 情報処理装置、物体計測システム、物体計測方法およびプログラム記憶媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023210702A1 (ja) * 2022-04-27 2023-11-02 ソフトバンク株式会社 情報処理プログラム、情報処理装置及び情報処理方法
JP2023162785A (ja) * 2022-04-27 2023-11-09 ソフトバンク株式会社 情報処理プログラム、情報処理装置及び情報処理方法
NO20221060A1 (en) * 2022-10-05 2024-04-08 Sintef Tto As Imaging system for aquatic organisms

Also Published As

Publication number Publication date
JP7435625B2 (ja) 2024-02-21
JPWO2021130950A1 (ja) 2021-07-01
US20230045358A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
JP7004094B2 (ja) 魚体長さ測定システム、魚体長さ測定方法および魚体長さ測定プログラム
WO2021130950A1 (ja) 水中生物撮影支援装置、水中生物撮影支援方法および記憶媒体
EP3467585B1 (en) Head-mounted display tracking system
JP7001145B2 (ja) 情報処理装置、物体計測システム、物体計測方法およびコンピュータプログラム
WO2019232247A1 (en) Biomass estimation in an aquaculture environment
JP2022501021A (ja) センサ位置決めシステム
JPWO2019188506A1 (ja) 情報処理装置、物体計測システム、物体計測方法、コンピュータプログラムおよび情報提供システム
JP6981531B2 (ja) 物体同定装置、物体同定システム、物体同定方法およびコンピュータプログラム
US20220086362A1 (en) Focusing method and apparatus, aerial camera and unmanned aerial vehicle
JP6816773B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
KR102181649B1 (ko) 3자 시점 카메라를 갖는 스마트 수중 드론 시스템
CN109640641A (zh) 投饵系统及投饵方法
TW202032969A (zh) 魚監視系統及相機單元
WO2021065265A1 (ja) 大きさ推定装置、大きさ推定方法および記憶媒体
US20240348926A1 (en) Camera winch control for dynamic monitoring
JP6879375B2 (ja) 情報処理装置、長さ測定システム、長さ測定方法およびコンピュータプログラム
US20220284612A1 (en) Visual detection of haloclines
US12100201B2 (en) Multi-modal aquatic biomass estimation
JP2023548002A (ja) 水産養殖のための画像処理に基づく重量推定
JP7082331B2 (ja) 魚の心拍数測定システム、方法およびプログラム
US8619119B2 (en) Digital photographing apparatus
Sun et al. A practical system of fish size measurement
CN107764184A (zh) 一种便于定点和标识，便于实验测试的三维标尺
JP7436637B2 (ja) 撮影装置、撮影方法及びプログラム
Fisher et al. Bat echolocation behavior from highspeed 3D video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19957900

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021566676

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19957900

Country of ref document: EP

Kind code of ref document: A1