[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2017022452A1 - キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム - Google Patents

キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム Download PDF

Info

Publication number
WO2017022452A1
WO2017022452A1 PCT/JP2016/070939 JP2016070939W WO2017022452A1 WO 2017022452 A1 WO2017022452 A1 WO 2017022452A1 JP 2016070939 W JP2016070939 W JP 2016070939W WO 2017022452 A1 WO2017022452 A1 WO 2017022452A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
vehicle
image
cameras
target
Prior art date
Application number
PCT/JP2016/070939
Other languages
English (en)
French (fr)
Inventor
田中　仁
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112016003549.7T priority Critical patent/DE112016003549T5/de
Priority to CN201680045014.2A priority patent/CN107852482B/zh
Priority to US15/749,908 priority patent/US10546380B2/en
Publication of WO2017022452A1 publication Critical patent/WO2017022452A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P1/00—Details of instruments
    • G01P1/07—Indicating devices, e.g. for remote indication
    • G01P1/08—Arrangements of scales, pointers, lamps or acoustic indicators, e.g. in automobile speedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Definitions

  • This disclosure relates to a technique for deriving a posture parameter of a camera mounted on a vehicle.
  • a calibration device that performs calibration for deriving posture parameters of a camera mounted on an automobile is known (see Patent Document 1).
  • bird's-eye view conversion is performed on a predetermined calibration target reflected in an image.
  • the conversion result is specified by searching for the roll (rotation around the front-rear direction), pitch (rotation around the left-right direction), and height that most closely approximates the shape and size of the actual default target.
  • the predetermined calibration target mentioned here is an object to be photographed having a known shape and size and arranged at a specified point.
  • the vehicle speed and rotation angle are acquired from a vehicle speed sensor that detects the vehicle speed of the host vehicle and a rotation angle sensor that detects the rotation angle of the host vehicle around an axis orthogonal to the horizontal plane. Then, based on the acquired vehicle speed and rotation angle, the x-coordinate, y-coordinate, and yaw (vertical direction) that minimize the difference in the position of the fixed object and the rotation in the images taken at different points. Rotation around the axis) and specify.
  • the calibration apparatus described in Patent Document 1 has a problem that calibration cannot be performed. That is, in the technique for deriving the camera posture parameters, it is required to increase the degree of freedom in performing calibration.
  • This disclosure aims to increase the degree of freedom in performing calibration in a technique for deriving a camera posture parameter.
  • the present disclosure relates to a calibration device (20) that specifies posture parameters of a plurality of cameras (10) mounted on a vehicle.
  • the plurality of cameras are mounted on the vehicle so as to photograph different areas defined around the vehicle and having an overlapping area where a part of each area overlaps.
  • the plurality of cameras include a first camera (10A) that captures the front of the vehicle, a second camera (10B) that captures the right side of the vehicle, a third camera (10C) that captures the rear of the vehicle, 4th camera (10D) which image
  • the calibration device of the present disclosure includes an image acquisition unit (20, S140 to S370), a first specifying unit (20, S380), and a second specifying unit (20, S390).
  • the image acquisition unit acquires each image captured by each of the plurality of cameras.
  • the first specifying unit performs projective conversion on the shooting target reflected in the overlapping area of each image acquired by the image acquisition unit, and each of the plurality of cameras so that the conversion result matches the shape and size of the shooting target.
  • the posture parameters the roll, pitch, and height are specified.
  • the imaging target is a member whose shape and size are known.
  • the roll represents a rotation angle around the lens central axis of the camera.
  • the pitch represents the rotation angle around the horizontal axis of the camera.
  • the height is a coordinate along the vehicle height direction of the vehicle.
  • the second specifying unit specifies the x-coordinate, the y-coordinate, and the yaw among the posture parameters of each of the plurality of cameras so that one link angle in the virtual link structure is minimized.
  • a line segment that virtually connects the representative points of the imaging target captured in each image acquired by the image acquisition unit is formed as a link, and is reflected in the overlapping area of different images, and the same
  • the representative points of the imaging target located at the point are made to coincide.
  • the x coordinate is a coordinate along the full length direction of the vehicle.
  • the y coordinate is a coordinate along the vehicle width direction of the vehicle.
  • Yaw represents a rotation angle around an axis orthogonal to the horizontal plane of the vehicle.
  • the image acquisition unit includes a first acquisition unit (20, S160, S170) and a second acquisition unit (20, S280, S290).
  • a 1st acquisition part acquires each image which image
  • a 2nd acquisition part acquires the image different from the image acquired in the 1st acquisition part in each picture which photoed the photography target located in the back of vehicles with the 2nd camera, the 3rd camera, and the 4th camera. .
  • a 1st specific part and a 2nd specific part make each image acquired in the image acquisition part the image acquired in the 1st acquisition part and the image acquired in the 2nd acquisition part, and each attitude
  • the information used for specifying the x coordinate, the y coordinate, and the yaw among the camera posture parameters may be only the image captured by the camera. It is unnecessary.
  • the calibration device of the present disclosure calibration can be performed even when the vehicle speed sensor and the rotation angle sensor are not attached to the vehicle.
  • the degree of freedom for performing calibration can be further increased in the technique for deriving the camera posture parameter.
  • each image photographed by the first camera, the second camera, and the fourth camera may be a photograph of a photographing target placed in front of the vehicle with the vehicle stopped without moving. Good.
  • each image photographed by the second camera, the third camera, and the fourth camera moves the same photographing target as the photographing target arranged in front of the vehicle to the rear of the vehicle without moving the vehicle. It may be an image of an imaging target disposed behind the vehicle in a stopped state.
  • an area used for specifying the posture parameter (area of the work space) is acquired by acquiring the image used for specifying the posture parameter by the method described above. Can be minimized. Thereby, in the technology of the present disclosure, it is possible to easily secure a work area necessary for specifying the posture parameter at the vehicle manufacturing stage or the car dealer maintenance stage.
  • One aspect of the technology of the present disclosure is not limited to the calibration device. Specifically, it may be a calibration method for specifying camera posture parameters, or a program executed by a computer mounted on a vehicle.
  • a program that is one of the technical aspects of the present disclosure can be loaded from a recording medium into a computer and started as necessary.
  • this program can be acquired and activated by a computer via a communication line.
  • this program can make the computer function as a calibration apparatus by a predetermined processing procedure being executed by the computer.
  • the recording medium includes, for example, a computer-readable electronic medium such as a DVD-ROM, a CD-ROM, and a hard disk.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a calibration system.
  • FIG. 2 is a diagram showing the arrangement of the cameras and the shooting range.
  • FIG. 3A is a diagram illustrating an example of an imaging target.
  • FIG. 3B is a diagram illustrating an example of an imaging target.
  • FIG. 4 is a flowchart showing the procedure of the calibration process.
  • FIG. 5A is a diagram illustrating an image that is shot before the vehicle reaches between two shooting targets.
  • FIG. 5B is a diagram for explaining an image captured after the vehicle passes between two imaging targets.
  • FIG. 6A is a diagram for explaining a search range setting method.
  • FIG. 6B is a diagram illustrating a method for searching for a shooting target reflected in the search range. It is a flowchart which shows the procedure of a calibration process. It is a figure explaining the identification method of a link structure.
  • the calibration system 1 specifies posture parameters of each of a plurality of cameras 10 mounted on a vehicle 5 (see FIG. 2).
  • the vehicle 5 according to the present embodiment is an automobile.
  • the calibration system 1 includes a plurality of cameras 10, an input device 14, a calibration device 20, and a display device 40.
  • Each of the plurality of cameras 10 captures a defined area defined around the vehicle 5 through a wide-angle lens.
  • the wide-angle lens has a wide angle of view (for example, 60 degrees or more) and a short focal length.
  • a fish-eye lens for example, a lens having an angle of view of 180 degrees or more
  • a fish-eye lens for example, a lens having an angle of view of 180 degrees or more
  • the defined areas are different areas A1 to A4 defined around the vehicle 5 and areas O1 to O4 (hereinafter referred to as “overlapping”) in which a part of each area overlaps. Region).
  • the plurality of cameras 10 includes a first camera 10A, a second camera 10B, a third camera 10C, and a fourth camera 10D.
  • the first camera 10 ⁇ / b> A front camera is installed at the front end of the vehicle 5 so as to photograph a region A ⁇ b> 1 defined in front of the vehicle 5 (hereinafter referred to as “front defined region A ⁇ b> 1”).
  • the second camera 10B right side camera is installed on the right side surface of the vehicle 5 so as to capture an area A2 defined on the right side of the vehicle 5 (hereinafter referred to as “right defined area A2”).
  • the third camera 10 ⁇ / b> C rear camera is installed at the rear end of the vehicle 5 so as to photograph a region A ⁇ b> 3 defined behind the vehicle 5 (hereinafter referred to as “rear defined region A ⁇ b> 3”).
  • the fourth camera 10D (left side camera) is installed on the left side surface of the vehicle 5 so as to photograph a region A4 defined on the left side of the vehicle 5 (hereinafter referred to as “left defined region A4”).
  • the prescribed areas A1 to A4 include the following overlapping areas.
  • the front defining area A1 includes an overlapping area O1 that overlaps with the right defining area A2 and an overlapping area O4 that overlaps with the left defining area A4.
  • the right defined area A2 includes an overlapping area O1 overlapping with the front specified area A1 and an overlapping area O2 overlapping with the rear specified area A3.
  • the rear specified area A3 includes an overlapping area O2 that overlaps with the right specified area A2 and an overlapping area O3 that overlaps with the left specified area A4.
  • the left defined area A4 includes an overlapping area O3 that overlaps the rear defined area A3 and an overlapping area O4 that overlaps the front defined area A1.
  • the input device 14 receives information input via the interface.
  • the input device 14 includes various input devices such as a keyboard, a pointing device, and a switch.
  • the pointing device includes an input device that specifies an input position and coordinates on the screen, such as a touch pad and a touch panel.
  • the input device 14 may function as a diagnostic tool of the calibration device 20.
  • the diagnostic tool inputs / outputs information to / from the calibration device 20, analyzes information acquired from the calibration device 20, and diagnoses a failure or the like from the analysis result.
  • the display device 40 displays an image on the screen.
  • An example of the display device 40 is a liquid crystal display.
  • the calibration device 20 executes a calibration process based on each image captured by each of the plurality of cameras 10. Specifically, the calibration device 20 executes a process for specifying each posture parameter of the cameras 10A to 10D based on the captured image.
  • the calibration device 20 includes a parameter storage unit 22 and a control unit 24.
  • the parameter storage unit 22 is a nonvolatile storage device. Examples of the parameter storage unit 22 include a hard disk drive and a flash memory.
  • the parameter storage unit 22 stores various parameters (hereinafter referred to as “posture parameters”) representing the installation positions (positions in the vehicle space) and the installation postures of the plurality of cameras 10 in the vehicle space.
  • pose parameters various parameters representing the installation positions (positions in the vehicle space) and the installation postures of the plurality of cameras 10 in the vehicle space.
  • the posture parameters include x coordinate, y coordinate, height z, pitch ⁇ , roll ⁇ , and yaw ⁇ .
  • the x coordinate is a coordinate on the vehicle space where each of the plurality of cameras 10 is installed, and is a coordinate along the full length direction (front-rear direction) of the vehicle 5.
  • the y coordinate is a coordinate on the vehicle space where each of the plurality of cameras 10 is installed, and is a coordinate along the vehicle width direction (left-right direction) of the vehicle 5.
  • the height z is a coordinate on the vehicle space where each of the plurality of cameras 10 is installed, and is a coordinate along the vehicle height direction (vertical direction) of the vehicle 5.
  • the pitch ⁇ represents the rotation angle around the horizontal axis of each of the plurality of cameras 10.
  • the horizontal axis is an axis parallel to the horizontal plane in the vehicle 5.
  • the roll ⁇ represents a rotation angle around the lens central axis of each of the plurality of cameras 10.
  • the lens central axis is an optical axis represented by a straight line passing through the centers of two spherical surfaces.
  • Yaw ⁇ represents a rotation angle around an axis orthogonal to the horizontal plane in the vehicle 5.
  • the axis orthogonal to the horizontal plane is an axis orthogonal to the horizontal axis.
  • the control unit 24 is a control device having a microcomputer including a memory such as a ROM 26 and a RAM 28 and a CPU 30 as main components.
  • the ROM 26 stores data and programs that need to retain stored contents even when the power is turned off.
  • the RAM 28 stores data for which the stored content only needs to be temporarily stored.
  • the CPU 30 executes processing according to a program stored in the ROM 26, for example.
  • the wheel speed sensor for detecting the wheel speed of the vehicle 5 is connected to the calibration device 20.
  • the control unit 24 calculates the traveling speed of the vehicle 5 by a known calculation method based on the wheel speed signal from the wheel speed sensor. *
  • control unit 24 performs a calibration process for specifying each posture parameter of the cameras 10A to 10D based on each image obtained by shooting the shooting target 50 (see FIGS. 3A and 3B) with each of the plurality of cameras 10.
  • a program to be executed is stored.
  • the ROM 26 stores target information indicating the shape and size of the shooting target 50. That is, in the present embodiment, at least two pieces of information on the shape and size are known for the imaging target 50.
  • the imaging target 50 is formed in a polygon having at least three vertices. That is, the imaging target 50 according to the present embodiment may have any shape as long as it is a polygon having three or more vertices. Specifically, the shape of the imaging target 50 may be a triangle as shown in FIG. 3A, or may be a rectangle as shown in FIG. Further, the shape of the imaging target 50 may be a polygon having five or more vertices.
  • the shooting target 50 is a member that can specify the coordinates of the vertexes in the shot images of the plurality of cameras 10. That is, the imaging target 50 according to the present embodiment may be any member as long as the apex can be specified in the captured image.
  • the imaging target 50 as shown in FIGS. 3A and 3B, a configuration in which two plate-like members formed in polygons having different sizes and colors are concentrically fixed, and the like can be mentioned.
  • the target information includes information indicating how many squares the shooting target 50 is (the number of vertices in the shooting target 50 and the relative positional relationship between the vertices), the length of each side of the shooting target 50, and The size of the inner angle (or outer angle) at each vertex of the imaging target 50 is included.
  • the imaging target 50 is arranged as follows as preparation before starting the calibration process. Specifically, the two imaging targets 50 are arranged so that the relative positional relationship is fixed. At this time, the two imaging targets 50 are arranged with a gap from the vehicle width of the vehicle 5. The relative positional relationship is represented, for example, by a relative distance between the two imaging targets 50.
  • the calibration process is activated when an activation command is received.
  • the start command is a command for starting the calibration process.
  • the activation command may be input from the diagnostic tool of the input device 14 to the control unit 24 included in the calibration device 20 or may be input by other methods.
  • the vehicle 5 on which the calibration system 1 is mounted is arranged as follows. Specifically, the vehicle 5 is caused to travel between the two shooting targets 50 from before the two shooting targets 50.
  • calibration processing is executed based on the images captured by the plurality of cameras 10 during the period in which the vehicle 5 is running.
  • control unit 24 included in the calibration device 20 executes the following process. As shown in FIG. 4, the control unit 24 acquires the traveling speed of the vehicle 5 (S110). At this time, the control unit 24 calculates the traveling speed of the vehicle 5 by a known calculation method based on the wheel speed signal from the wheel speed sensor.
  • the control unit 24 determines whether or not the value of the traveling speed acquired in the process of step S110 is equal to or less than a predetermined speed threshold value (S120).
  • the speed threshold is a travel speed value representing a state where the vehicle 5 is traveling at a low speed including slow running, and is a specified speed value for performing calibration with high accuracy.
  • the control unit 24 outputs a first error signal to the display device 40 when determining that the value of the traveling speed is larger than the speed threshold (S120: NO) (S130).
  • the display device 40 displays predetermined error information based on the first error signal, and notifies the operator of the error that has occurred (notifies the error).
  • the first error signal is a signal indicating that there is a high possibility that the accuracy of calibration is reduced due to the traveling speed being faster than the specified speed.
  • the display device 40 displays predetermined error information based on the input first error signal, and notifies the operator of the error that has occurred (notifies the error). Specifically, the display device 40 displays error information notifying that the traveling speed is faster than the specified speed.
  • the display content of the display device 40 is not limited to this. For example, the display content may notify that there is a high possibility that the calibration accuracy will be reduced.
  • the calibration is a process for specifying each posture parameter of the cameras 10A to 10D. Specifically, it is processing of steps S380 and S390 described later with reference to FIG.
  • step S110 When the control unit 24 outputs the first error signal to the display device 40, the control unit 24 executes the process of step S110 again.
  • the control unit 24 determines that the traveling speed value is equal to or less than the speed threshold value (S120: YES)
  • the front end search range (hereinafter referred to as “front end search range of the first camera 10A”) that is a search range in the forward captured image. Is set (S140).
  • the forward photographed image is an image obtained by photographing the forward specified area A1 shown in FIG. 5A with the first camera 10A.
  • the front end search range of the first camera 10A is the following area. Specifically, before the front end of the vehicle 5 arrives between the two shooting targets 50, the front defining area A1 is shot with the first camera 10A. And it is a target area
  • the front end search range of the first camera 10A is provided at each of the left and right ends of the front captured image.
  • the control unit 24 executes the process of step S140, thereby performing a predetermined region of the overlapping regions O1 and O4 between the captured images of the second camera 10B and the fourth camera 10D and the forward captured image.
  • a set in the process of step S ⁇ b> 140 is an area where the imaging target 50 is likely to be captured (an area where the imaging target 50 is likely to be included).
  • the control unit 24 sets a forward search range (hereinafter referred to as “a forward search range of the second camera 10B and a forward search range of the fourth camera 10D”) in the right captured image and the left captured image (S150).
  • a forward search range of the second camera 10B and a forward search range of the fourth camera 10D a forward search range in the right captured image and the left captured image (S150).
  • the right photographed image is an image obtained by photographing the right defined area A2 shown in FIG. 5A with the second camera 10B.
  • the left photographed image is an image obtained by photographing the left defined area A4 shown in FIG. 5A with the fourth camera 10D.
  • the forward search range of the second camera 10B and the fourth camera 10D is the following area. Specifically, before the front end of the vehicle 5 arrives between the two imaging targets 50, the right defined area A2 is imaged by the second camera 10B, and the left defined area A4 is imaged by the fourth camera 10D. And it is a target area
  • the forward search ranges of the second camera 10B and the fourth camera 10D are provided at the front end of the vehicle in the right captured image and the front end of the vehicle in the left captured image.
  • the control unit 24 executes the process of step S150, and determines a predetermined area of the overlapping areas O1 and O4 between the right captured image and the left captured image and the forward captured image as the second region. It is set as the forward search range of the camera 10B and the fourth camera 10D.
  • the control unit 24 outputs a photographing command for photographing an image to the first camera 10A (S160).
  • the first camera 10A captures a front captured image based on the capturing command.
  • the first camera 10 ⁇ / b> A outputs the captured forward captured image to the control unit 24.
  • control unit 24 outputs a photographing command for photographing an image to the second camera 10B and the fourth camera 10D (S170).
  • the second camera 10B captures the right captured image based on the capturing command.
  • the second camera 10 ⁇ / b> B outputs the captured right captured image to the control unit 24.
  • the fourth camera 10 ⁇ / b> D captures the left captured image and outputs the captured left captured image to the control unit 24.
  • the control unit 24 detects the shooting target 50 from the front end search range of the first camera 10A (respective areas provided at the left and right ends) in the forward shot image shot in the process of step S160 (S180). ). At this time, the control unit 24 determines whether or not the shooting target 50 is reflected in the front end search range SR of the first camera 10A in the forward shot image as shown in FIG. 6A. The determination as to whether or not the shooting target 50 is reflected may be performed by a method as shown in FIG. 6B, for example. Specifically, the front end search range SR of the first camera 10A is searched according to two or more predetermined detection directions, and the presence or absence of the vertex of the imaging target 50 in the front end search range SR is detected.
  • the detected positional relationship between the vertices is consistent with the shape of the shooting target 50, it may be determined that the shooting target 50 is reflected in the front end search range SR of the first camera 10A. On the other hand, if the detected positional relationship between the vertices is inconsistent with the shape of the shooting target 50, it may be determined that the shooting target 50 is not reflected in the front end search range SR of the first camera 10A.
  • a well-known edge detection process is performed according to two predetermined detection directions. Then, in the edge detection process, pixels detected as edges in both detection directions may be used as the vertices of the imaging target 50.
  • whether or not the positional relationship between the detected vertices is inconsistent with the shape of the imaging target 50 may be determined by the following method. Specifically, it may be determined whether the position of each vertex matches the position of the shape stored as the shape of the imaging target 50. That is, when the positions of the detected vertices are on a straight line, or when the number of detected vertices is larger than the number of vertices of the shooting target 50, the positional relationship between the vertices contradicts the shape of the shooting target 50. What is necessary is just to determine that it is. *
  • the control unit 24 determines whether or not the shooting target 50 has been detected from the front end search range SR of the first camera 10A in the forward shot image (S190). As a result, when the control unit 24 determines that the shooting target 50 is not reflected in the front end search range SR of the first camera 10A in the front shot image and the detection has failed (S190: NO), the control unit 24 performs step S240 described later. The calibration process is transferred to the process. In addition, as a situation where the shooting target 50 is not reflected in the front end search range SR of the first camera 10A in the front shot image (a situation where it cannot be detected), for example, the vehicle 5 has reached a position where the shooting target 50 can be shot. There can be no situation.
  • the control unit 24 detects the shooting target 50 from the forward search range of the fourth camera 10D in the left shot image shot in step S170 (S200). At this time, the control unit 24 determines whether or not the shooting target 50 is reflected in the forward search range of the fourth camera 10D in the left shot image.
  • a method for determining whether or not the shooting target 50 is reflected is the same as the method in the process of step S180 described above. Therefore, detailed description here is omitted.
  • the control unit 24 determines whether or not the shooting target 50 has been detected from the forward search range of the fourth camera 10D in the left shot image (S210). As a result, when the control unit 24 determines that the shooting target 50 does not appear in the forward search range of the fourth camera 10D in the left shot image and the detection has failed (S210: NO), the process of step S240 described later To move to. On the other hand, when it determines with the control part 24 having succeeded in the detection of the imaging
  • the control unit 24 detects the shooting target 50 from the forward search range of the second camera 10B in the right shot image shot in the process of step S170 (S220). At this time, the control unit 24 determines whether or not the shooting target 50 is reflected in the forward search range of the second camera 10B in the right shot image. A method for determining whether or not the shooting target 50 is reflected is the same as the method in the process of step S180 described above. Therefore, detailed description here is omitted.
  • the control unit 24 determines whether or not the shooting target 50 has been detected from the forward search range of the second camera 10B in the right shot image (S230). As a result, when the control unit 24 determines that the shooting target 50 has been successfully detected from the forward search range of the second camera 10B in the right shot image (S230: YES), the process of step S260 described later with reference to FIG. The calibration process is transferred to On the other hand, when the control unit 24 determines that the shooting target 50 does not appear in the forward search range of the second camera 10B in the right shot image and the detection has failed (S230: NO), the process proceeds to step S240. Let
  • the control unit 24 determines whether or not the elapsed time from the start of the process of step S160 has passed a first predetermined time specified in advance (S240).
  • the first predetermined time is a time length required for the front end of the vehicle 5 traveling at a traveling speed equal to or less than the speed threshold from a point defined in front of the two imaging targets 50 to pass between the two imaging targets 50. It is prescribed.
  • the control unit 24 ends the calibration process.
  • the first predetermined time has elapsed, as described above, since the front end of the vehicle 5 passes between the two shooting targets 50, there is a possibility that the shooting target 50 is detected from the shot image after that. Absent. Specifically, from the front search range SR of the first camera 10A in the front shot image, the front search range of the second camera 10B in the right shot image, and the front search range of the fourth camera 10D in the left shot image, the shooting target 50 There is no possibility of detecting. Therefore, in the present embodiment, when there is no possibility of detecting the imaging target 50, the calibration process is terminated and executed again.
  • the control unit 24 outputs a second error signal to the display device 40 (S250).
  • the display device 40 displays predetermined error information based on the second error signal, and notifies the operator of the error that has occurred (notifies the error).
  • the second error signal indicates that the shooting target 50 is not reflected in at least one of the front shot image, the left shot image, and the right shot image (that the shooting target 50 could not be detected from the shot image). It is a signal to represent.
  • the display device 40 displays predetermined error information based on the input second error signal, and notifies the operator of the error that has occurred (notifies the error). Specifically, the display device 40 displays error information notifying that the shooting target 50 is not reflected in at least one of the front shot image, the left shot image, and the right shot image.
  • control unit 24 When the control unit 24 outputs the second error signal to the display device 40, the control unit 24 executes the process of step S160 again. As a result, the control unit 24 outputs the imaging command again to the first camera 10A (S160), and repeatedly executes the processing from step S170.
  • the control unit 24 succeeds in detecting the shooting target 50 from the front search range of the first camera 10A in the right shot image (S230: YES), the rear end that is the search range in the rear shot image.
  • a search range (hereinafter referred to as “the rear end search range of the third camera 10C”) is set (S260).
  • the rear photographed image is an image obtained by photographing the rear specified area A3 shown in FIG. 5B with the third camera 10C.
  • the rear end search range of the third camera 10C is the following region. Specifically, after the rear end of the vehicle 5 passes between the two shooting targets 50, the rear defined area A3 is shot with the third camera 10C. And it is a target area
  • the rear end search range of the third camera 10C is provided at each of the left and right ends of the rear shot image.
  • the control unit 24 executes a process of step S260, and determines a predetermined region of the overlapping regions O2 and O3 between the right captured image and the left captured image and the rear captured image as the third region. It is set as the rear end search range of the camera 10C. That is, the rear end search range of the third camera 10 ⁇ / b> C set in the process of step S ⁇ b> 260 is an area where the shooting target 50 is highly likely to appear.
  • the control unit 24 sets a backward search range (hereinafter referred to as “a backward search range of the second camera 10B and a backward search range of the fourth camera 10D”) that is a search range in the right captured image and the left captured image. (S270).
  • the backward search ranges of the second camera 10B and the fourth camera 10D are the following areas. Specifically, after the rear end of the vehicle 5 passes between the two shooting targets 50, the right defined area A2 is shot with the second camera 10B, and the left specified area A4 is shot with the fourth camera 10D. And it is a target area
  • the backward search ranges of the second camera 10B and the fourth camera 10D are provided at the rear end of the vehicle in the right captured image and the rear end of the vehicle in the left captured image.
  • the control unit 24 executes the process of step S270, and determines a predetermined region of the overlapping regions O2 and O3 between the right captured image and the left captured image and the rear captured image as the second region. It is set as the backward search range of the camera 10B and the fourth camera 10D.
  • the control unit 24 outputs a shooting command for shooting an image to the third camera 10C (S280).
  • the third camera 10C captures a rear captured image based on the imaging command.
  • the third camera 10 ⁇ / b> C outputs the captured rear shot image to the control unit 24.
  • control unit 24 outputs a shooting command for shooting an image to the second camera 10B and the fourth camera 10D (S290).
  • the second camera 10B captures the right captured image based on the capturing command.
  • the second camera 10 ⁇ / b> B outputs the captured right captured image to the control unit 24.
  • the fourth camera 10 ⁇ / b> D captures the left captured image and outputs the captured left captured image to the control unit 24.
  • the control unit 24 detects the shooting target 50 from the rear end search range of the third camera 10C (respective areas provided at the left and right end portions) in the rear shot image shot in the process of step S280 ( S300). At this time, the control unit 24 determines whether or not the shooting target 50 is reflected in the rear end search range of the third camera 10C in the rear shot image.
  • a method for determining whether or not the shooting target 50 is reflected is the same as the method in the process of step S180 described above. Therefore, detailed description here is omitted.
  • the control unit 24 determines whether or not the shooting target 50 has been detected from the rear end search range of the third camera 10C in the rear shot image (S310). As a result, when the control unit 24 determines that the shooting target 50 is not reflected in the rear end search range of the third camera 10C in the rear shot image and the detection has failed (S310: NO), the control unit 24 performs step S360 described later. The calibration process is transferred to the process. Note that, as a situation where the shooting target 50 is not reflected in the rear end search range of the third camera 10C in the rear shot image (a situation where it cannot be detected), the rear end of the vehicle 5 does not pass between the shooting targets 50. Can be considered. *
  • the control unit 24 determines that the detection of the shooting target 50 has succeeded from the rear end search range of the third camera 10C in the rear shot image (S310: YES)
  • the calibration process proceeds to the process of step S320.
  • the control unit 24 detects the shooting target 50 from the backward search range of the fourth camera 10D in the left shot image shot in step S290 (S320). At this time, the control unit 24 determines whether or not the shooting target 50 is reflected in the backward search range of the fourth camera 10D in the left shot image.
  • a method for determining whether or not the shooting target 50 is reflected is the same as the method in the process of step S180 described above. Therefore, detailed description here is omitted.
  • the control unit 24 determines whether or not the shooting target 50 has been detected from the backward search range of the fourth camera 10D in the left shot image (S330). As a result, when the control unit 24 determines that the shooting target 50 does not appear in the backward search range of the fourth camera 10D in the left shot image and the detection has failed (S330: NO), the process of step S360 described later To move to. On the other hand, when it determines with the control part 24 having succeeded in the detection of the imaging
  • the control unit 24 detects the shooting target 50 from the backward search range of the second camera 10B in the right shot image shot in step S290 (S340). At this time, the control unit 24 determines whether or not the shooting target 50 is reflected in the backward search range of the second camera 10B in the right shot image.
  • a method for determining whether or not the shooting target 50 is reflected is the same as the method in the process of step S180 described above. Therefore, detailed description here is omitted.
  • the control unit 24 determines whether or not the shooting target 50 has been detected from the backward search range of the second camera 10B in the right shot image (S350). As a result, if the control unit 24 determines that the detection of the shooting target 50 has succeeded from the backward search range of the second camera 10B in the right shot image (S350: YES), the calibration process proceeds to the process of step S380 described later. To migrate. On the other hand, when the control unit 24 determines that the shooting target 50 is not reflected in the backward search range of the second camera 10B in the right shot image and the detection has failed (S350: NO), the process proceeds to step S360. Let
  • the control unit 24 determines whether or not the elapsed time from the start of the process of step S280 has passed a second predetermined time specified in advance (S360). During the second predetermined time, after the front end of the vehicle 5 reaches between the two imaging targets 50, the rear end of the vehicle 5 that travels at a traveling speed equal to or less than the speed threshold passes between the two imaging targets 50. It is defined as the length of time required to complete the process.
  • the control unit 24 ends the calibration process.
  • the shooting target 50 may be detected from the shot image thereafter. There is no. Specifically, from the rear end search range of the third camera 10C in the rear shot image, the rear search range of the second camera 10B in the right shot image, and the rear search range of the fourth camera 10D in the left shot image, the shooting target 50 There is no possibility of detecting. Therefore, in the present embodiment, when there is no possibility of detecting the imaging target 50, the calibration process is terminated and executed again.
  • the control unit 24 outputs a third error signal to the display device 40 (S370).
  • the display device 40 displays predetermined error information based on the third error signal, and notifies the operator of the error that has occurred (notifies the error).
  • the third error signal indicates that the shooting target 50 is not reflected in at least one of the rear shot image, the left shot image, and the right shot image (that the shooting target 50 could not be detected from the shot image). It is a signal to represent.
  • the display device 40 displays error information for notifying that the shooting target 50 is not reflected in at least one of the rear shot image, the left shot image, and the right shot image.
  • control unit 24 When the control unit 24 outputs the third error signal to the display device 40, the control unit 24 executes the process of step S280 again. As a result, the control unit 24 outputs the imaging command again to the third camera 10C (S280), and repeatedly executes the processing after step S290.
  • the control unit 24 When the control unit 24 succeeds in detecting the shooting target 50 from the search range of each shot image (S350: YES), the control unit 24 specifies the pitch ⁇ , the roll ⁇ , and the height z among the posture parameters of each of the plurality of cameras 10. To do. Then, the control unit 24 stores the specified posture parameters (pitch ⁇ , roll ⁇ , and height z) in the parameter storage unit 22 (S380).
  • a method for specifying the pitch ⁇ , the roll ⁇ , and the height z is well known as described in, for example, Japanese Patent No. 5299231. Therefore, detailed description here is omitted.
  • the posture parameters may be specified by the following method.
  • the control unit 24 performs projective transformation on each captured image.
  • the projective transformation is a bird's eye view transformation.
  • the control unit 24 uses the cameras 10A, 10B, and 10C so that the shape of the captured shooting target 50 matches the actual shape of the shooting target 50 in the projected image (hereinafter referred to as “bird's eye conversion” for convenience).
  • 10D pitch ⁇ and roll ⁇ .
  • the control unit 24 sets each shooting target 50 in the bird's-eye converted image so that the size of the shooting target that matches the shape of the actual shooting target 50 matches the size of the actual shooting target 50.
  • the height z of the cameras 10A, 10B, 10C, 10D is specified.
  • control unit 24 specifies the x coordinate, the y coordinate, and the yaw ⁇ among the posture parameters of each of the plurality of cameras 10. Then, the control unit 24 stores the specified posture parameters (x coordinate, y coordinate, and yaw ⁇ ) in the parameter storage unit 22 (S390).
  • the posture parameters (x coordinate, y coordinate, and yaw ⁇ ) may be specified by the following method.
  • the control unit 24 executes [Procedure 1] that specifies the coordinates of the representative point of the photographic target 50 that is reflected in each photographic image.
  • the representative point is a representative portion of the shooting target 50 that is reflected in each shot image.
  • the center of gravity is used as a representative point.
  • the control unit 24 executes [Procedure 2] for calculating a virtual link structure in which the coordinates of the representative points of the imaging target 50 match using the coordinates specified in [Procedure 1].
  • the virtual link structure is a structure in which a line segment that virtually connects representative points of the shooting target 50 reflected in each shot image is formed as a link.
  • control unit 24 executes [Procedure 3] for specifying the link angle ⁇ at which the evaluation value of the evaluation function is minimum in the virtual link structure calculated in [Procedure 2]. Then, the control unit 24 executes [Procedure 4] that specifies the x coordinate, the y coordinate, and the yaw ⁇ among the posture parameters of each of the plurality of cameras 10 using the link angle ⁇ specified in [Procedure 3]. To do.
  • both the third camera 10C and the second camera 10B are used.
  • M 3 be the representative point of the photographic target 50 that is reflected in the photographic image.
  • both the third camera 10C and the fourth camera 10D are used.
  • M 4 be the representative point of the photographic target 50 reflected in the photographic image obtained.
  • the calibration process according to this embodiment the M 4, determined by the following equation (1) to (6).
  • derivation of M 4 is in the process of obtaining from M 1 to M 4, is performed at the end along the time axis.
  • each of the vector M 4 and the vector M 3 in the equation (1) is a vector from the origin of a specific camera to the M 4 and M 3 among the plurality of cameras 10. Further, the vector M 3 M 4 is a vector heading to M 4 with M 3 as a base point.
  • the two shooting targets 50 are arranged with their relative positional relationship fixed. Therefore, the relative positional relationship between M 3 and M 4 is the same as the relative positional relationship between M 1 and M 2 .
  • the said (1) Formula can be converted into the following (2) Formula.
  • a symbol ⁇ is an angle formed by the vector M 3 M 4 and the vector M 2 M 1 . Further, the vector M 2 M 1 is a vector directed to M 1 with M 2 as a base point.
  • Equation (2) when dividing the vector M 4 in the x and y components, expressed in the following equation (3) and (4).
  • the vector P 1 P 2 is obtained.
  • two vertices Q 1 and Q 2 in the shooting target 50 that are arranged at the same point as the shooting target 50 and appear in the shot image after the rear end of the vehicle 5 passes between the two shooting targets 50 are shown.
  • the vector becomes Q 1 Q 2 .
  • [Procedure 2], [Procedure 3], and [Procedure 4] may be realized using a well-known technique.
  • Examples of [Procedure 2], [Procedure 3], and [Procedure 4] include a method using the method described in Japanese Patent No. 5299231.
  • the control unit 24 ends the calibration process for specifying the posture parameters (pitch ⁇ , roll ⁇ , yaw ⁇ , x coordinate, y coordinate, height z) of each of the plurality of cameras 10.
  • the calibration process according to the present embodiment which is one of the technical aspects of the present disclosure, has the following effects.
  • each of the images captured by the first camera 10A, the second camera 10B, and the fourth camera 10D is subjected to the posture parameter. Can be acquired as an image used to identify the image.
  • the posture parameters of the images shot by the second camera 10B, the third camera 10C, and the fourth camera 10D are specified. It can be acquired as an image used for.
  • an image necessary for performing the calibration can be acquired by a simple method of running the vehicle 5 for a certain distance (predetermined time). Furthermore, in the calibration process, the information used for performing the calibration is only an image taken by the camera 10, and other information such as the rotation angle of the vehicle 5 is not necessary.
  • the fact is notified. That is, in the calibration process, it is possible to notify an operator who uses the calibration device 20 that an image necessary for performing calibration cannot be acquired. Thereby, the operator can recognize the problem that the information necessary for performing the calibration is insufficient, and can cope with the problem at an early stage.
  • a predetermined search range that defines the search range is set for each captured image. In the calibration process, only the search range set in each captured image is searched, and it is determined whether or not the imaging target 50 is reflected (whether or not the imaging target 50 is included). .
  • the shooting target 50 is reflected in each shot image of the plurality of cameras 10 only when the running speed is equal to or less than the specified speed (when the running speed value is equal to or less than the speed threshold). It is determined whether or not. That is, in the calibration process, when the vehicle 5 is traveling at a low speed, a captured image can be acquired and calibration can be performed. Thereby, in the calibration process which concerns on this embodiment, the precision of a calibration can be improved.
  • the traveling speed is faster than the specified speed (when the traveling speed value is larger than the speed threshold value)
  • the fact is notified.
  • the user (worker) of the calibration device 20 according to the present embodiment can recognize the problem that the calibration cannot be performed accurately due to the traveling speed being faster than the specified speed. Can handle the problem.
  • the derivation of the representative point M 4 of the imaging target 50 is realized without executing the trigonometric function calculation in the process of step S390.
  • the calibration process according to the present embodiment can reduce the processing amount required to derive the representative points M 4 of elaborate your shooting target 50-through the photographic image.
  • the image used for specifying the posture parameter may be an image taken by the following method. For example, each image obtained by capturing the imaging target 50 located in front of the vehicle 5 with the first camera 10A, the second camera 10B, and the fourth camera 10D is stopped without moving the vehicle 5.
  • positioned ahead may be image
  • Each image obtained by photographing the imaging target 50 located behind the vehicle 5 with the second camera 10B, the third camera 10C, and the fourth camera 10D is the same as the imaging target 50 arranged in front of the vehicle 5.
  • the target 50 may be taken to the rear of the vehicle 5 and the photographing target placed behind the vehicle 5 may be photographed in a state where the target is stopped without moving the vehicle 5.
  • the relative positional relationship between the two shooting targets 50 is the same as the relative positional relationship when the shooting target 50 is arranged in front of the vehicle 5.
  • the area of the work area (the width of the work space) necessary for specifying the posture parameter can be minimized. . That is, first, the imaging target 50 located in front of the vehicle 5 is imaged by the first camera 10A, the second camera 10B, and the fourth camera 10D. Thereafter, the vehicle 5 is advanced to a position where the imaging target 50 is disposed. Then, the imaging target 50 is arranged behind the vehicle 5. The imaging target 50 located behind the vehicle 5 is imaged by the second camera 10B, the third camera 10C, and the fourth camera 10D. Thereby, it is possible to easily secure a work area in the horizontal plane direction necessary for specifying the posture parameter at the manufacturing stage of the vehicle 5 or the maintenance stage by the car dealer.
  • the process of checking the traveling speed of the vehicle 5 (the process from step S110 to S130) is executed.
  • the process of confirming the traveling speed of the vehicle 5 may be omitted.
  • omitted a part of structure of the said embodiment is one embodiment of the technical aspect of this indication.
  • an aspect configured by appropriately combining the above embodiment and the modification is also one embodiment of the technical aspect of the present disclosure. Any aspect included in the technical idea (technical scope) specified by the purpose of the present disclosure is also one embodiment of the technical aspect of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

キャリブレーション装置は、車両の前方に位置する撮影ターゲットを撮影した画像を取得する。また、車両の後方に位置する撮影ターゲットを撮影した画像において、前方を撮影した際に取得した画像とは異なる画像を取得する（Ｓ２８０，Ｓ２９０）。このとき撮影ターゲットは、形状及び大きさが既知である。キャリブレーション装置は、取得した各画像の重複領域に写り込んだ撮影ターゲットを射影変換し、変換結果が、撮影ターゲットの形状及び大きさに一致するように、撮影カメラのロール、ピッチ、及び高さを特定する（Ｓ３８０）。また、仮想リンク構造における１つのリンク角が最小となるように、撮影カメラのｘ座標、ｙ座標、及びヨーを特定する（Ｓ３９０）。

Description

キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
　本開示は、車両に搭載されたカメラの姿勢パラメータを導出する技術に関する。
　従来では、自動車に搭載されたカメラの姿勢パラメータを導出するキャリブレーションを実行するキャリブレーション装置が知られている（特許文献１参照）。
　特許文献１に記載されたキャリブレーション装置では、画像に写り込んだ既定校正ターゲットを鳥瞰変換する。そして、変換結果が、実際の既定ターゲットの形状及び大きさに最も近似する、ロール（前後方向を軸にした回転）、ピッチ（左右方向を軸にした回転）、及び高さを探索して特定する。ここで言う既定校正ターゲットとは、形状及び大きさが既知であり、規定された地点に配置された撮影対象物である。
　さらに、キャリブレーション装置では、自車両の車速を検知する車速センサ、及び、水平面に直交する軸周りの自車両の回転角を検知する回転角センサから、車速及び回転角を取得する。そして、取得した車速及び回転角に基づいて、異なる地点で撮影した画像に写り込んだ固定物体の位置の相違と、回転の相違とが最小となる、ｘ座標、ｙ座標、及びヨー（上下方向を軸にした回転）を探索して特定する。
特開２０１４－４８８０３号公報
　特許文献１に記載されたキャリブレーション装置では、姿勢パラメータのうち、ｘ座標、ｙ座標、及びヨーを特定するために、自車両の車速と回転角とを、自車両に搭載された車速センサ及び回転角センサから取得しなければならない。
　ところで、キャリブレーションは、車両の製造段階やカーディーラーによる整備段階で実施されることが多い。特に、このような現場では、作業効率を図るために、車両に搭載する機器の設置順序の自由度を高めることが求められている。このようなことから、キャリブレーションを実施する時点では、車速センサや回転角センサが車両に取り付けられていない可能性がある。
　この場合、特許文献１に記載されたキャリブレーション装置では、キャリブレーションを実施できないという課題が生じる。つまり、カメラの姿勢パラメータを導出する技術において、キャリブレーションを実施する自由度をより高くすることが求められている。
　本開示は、カメラの姿勢パラメータを導出する技術において、キャリブレーションを実施する自由度をより高くすることを目的とする。
　本開示は、車両に搭載された複数のカメラ（１０）それぞれの姿勢パラメータを特定するキャリブレーション装置（２０）に関する。
　複数のカメラは、車両の周辺に規定された互いに異なる領域で、かつ、互いの領域の一部が重複する重複領域を有した規定領域を撮影するように、車両に搭載されている。複数のカメラは、車両の前方を撮影する第１カメラ（１０Ａ）と、車両の右側方を撮影する第２カメラ（１０Ｂ）と、車両の後方を撮影する第３カメラ（１０Ｃ）と、車両の左側方を撮影する第４カメラ（１０Ｄ）とを含む。
　そして、本開示のキャリブレーション装置は、画像取得部（２０，Ｓ１４０～Ｓ３７０）と、第１特定部（２０，Ｓ３８０）と、第２特定部（２０，Ｓ３９０）とを備える。
　画像取得部は、複数のカメラそれぞれで撮影した各画像を取得する。　第１特定部は、画像取得部で取得した各画像の重複領域に写り込んだ撮影ターゲットを射影変換し、変換結果が、撮影ターゲットの形状及び大きさに一致するように、複数のカメラそれぞれの姿勢パラメータのうち、ロール、ピッチ、及び高さを特定する。
　撮影ターゲットは、形状及び大きさが既知な部材である。ロールは、カメラのレンズ中心軸周りの回転角を表す。ピッチは、カメラの水平軸周りの回転角を表す。高さは、車両の車高方向に沿った座標である。　
　第２特定部は、仮想リンク構造における１つのリンク角が最小となるように、複数のカメラそれぞれの姿勢パラメータのうち、ｘ座標、ｙ座標、及びヨーを特定する。
　仮想リンク構造は、画像取得部で取得した各画像に写り込んだ撮影ターゲットの代表点を仮想的に接続した線分がリンクとして形成されており、互いに異なる画像の重複領域に写り込み、同一の地点に位置する撮影ターゲットの代表点を一致させたものである。また、ｘ座標は、車両の全長方向に沿った座標である。ｙ座標は、車両の車幅方向に沿った座標である。ヨーは、車両の水平面と直交する軸周りの回転角を表す。
　画像取得部は、第１取得部（２０，Ｓ１６０，Ｓ１７０）と、第２取得部（２０，Ｓ２８０，Ｓ２９０）とを備える。
　第１取得部は、車両の前方に位置する撮影ターゲットを、第１カメラ、第２カメラ、及び第４カメラで撮影した各画像を取得する。
　第２取得部は、車両の後方に位置する撮影ターゲットを、第２カメラ、第３カメラ、及び第４カメラで撮影した各画像において、第１取得部で取得した画像とは異なる画像を取得する。
　そして、第１特定部及び第２特定部は、第１取得部で取得した画像、及び、第２取得部で取得した画像を、画像取得部で取得した各画像とし、複数のカメラそれぞれの姿勢パラメータを特定する。
　このような構成のキャリブレーション装置では、カメラの姿勢パラメータのうち、ｘ座標、ｙ座標、及びヨーを特定するために用いる情報は、カメラで撮影した画像だけでよく、車両の車速や回転角は不要である。
　つまり、本開示のキャリブレーション装置では、車速センサや回転角センサが車両に取り付けられていない場合であっても、キャリブレーションを実施できる。このように、本開示の技術では、カメラの姿勢パラメータを導出する技術において、キャリブレーションを実施する自由度をより高くすることができる。
　なお、本開示の技術では、姿勢パラメータの特定に用いる画像（複数のカメラそれぞれの撮影画像）は、次のような方法で撮影されたものであってもよい。例えば、第１カメラ、第２カメラ、及び第４カメラで撮影した各画像は、車両を移動させること無く停止させた状態で、車両の前方に配置された撮影ターゲットを撮影したものであってもよい。また、第２カメラ、第３カメラ、及び第４カメラで撮影した各画像は、車両の前方に配置された撮影ターゲットと同一の撮影ターゲットを車両の後方へと移動させ、車両を移動させること無く停止させた状態で、車両の後方に配置された撮影ターゲットを撮影したものであってもよい。
　このように、本開示の技術では、姿勢パラメータの特定に用いる画像を上述したような方法で取得することにより、姿勢パラメータを特定するために必要となる作業領域の面積（作業空間の広さ）を最小限にできる。これにより、本開示の技術では、車両の製造段階やカーディーラーによる整備段階での姿勢パラメータの特定に必要な作業領域を容易に確保できる。
　本開示の技術の一態様は、キャリブレーション装置に限らない。具体的には、カメラの姿勢パラメータを特定するキャリブレーション方法であってもよいし、車両に搭載されるコンピュータが実行するプログラムであってもよい。
　このような本開示の技術態様の１つであるキャリブレーション方法では、キャリブレーション装置と同様に、上述した効果が得られる。　本開示の技術態様の１つであるプログラムは、必要に応じて、記録媒体からコンピュータにロードし起動させることができる。また、本プログラムは、通信回線を介してコンピュータに取得し起動させることができる。そして、本プログラムは、コンピュータによって、所定の処理手順が実行されることで、そのコンピュータをキャリブレーション装置として機能させることができる。
　記録媒体は、例えば、ＤＶＤ－ＲＯＭ、ＣＤ－ＲＯＭ、ハードディスク等のコンピュータが読み取り可能な電子媒体を含む。
　なお、「課題を解決するための手段」の項目に記載した括弧内の符号は、本開示の技術態様の１つとして後述する実施形態に記載の具体的手段との対応関係を示すものである。よって、本開示の技術的範囲を限定するものではない。
図１は、キャリブレーションシステムの概略構成を説明するブロック図である。 図２は、カメラの配置及び撮影範囲を示す図である。 図３Ａは、撮影ターゲットの例を示す図である。 図３Ｂは、撮影ターゲットの例を示す図である。 図４は、キャリブレーション処理の手順を示すフローチャートである。 図５Ａは、車両が２つの撮影ターゲットの間に到達する前に撮影する画像を説明する図である。 図５Ｂは、車両が２つの撮影ターゲットの間を通過した後に撮影する画像を説明する図である。 図６Ａは、探索範囲の設定方法を説明する図である。 図６Ｂは、探索範囲に写り込んだ撮影ターゲットの探索方法を説明する図である。 キャリブレーション処理の手順を示すフローチャートである。 リンク構造の特定方法を説明する図である。
　以下に、本開示の技術態様の１つである実施形態について、図面を参照し説明する。
　［第１実施形態］
　＜キャリブレーションシステム＞
　図１に示すように、本実施形態に係るキャリブレーションシステム１は、車両５（図２参照）に搭載された複数のカメラ１０それぞれの姿勢パラメータを特定する。なお、本実施形態に係る車両５は、自動車である。
　キャリブレーションシステム１は、複数のカメラ１０と、入力装置１４と、キャリブレーション装置２０と、表示装置４０とを備える。　複数のカメラ１０それぞれは、車両５の周囲に規定された規定領域を、広角レンズを介して撮影する。なお、広角レンズは、画角が広く（例えば６０度以上）、焦点距離が短い。広角レンズの一例としては、魚眼レンズ（例えば画角が１８０度以上のレンズ）などが挙げられる。　
　また、上記規定領域は、図２に示すように、車両５の周辺に規定された互いに異なる領域Ａ１～Ａ４であり、かつ、互いの領域の一部が重複する領域Ｏ１～Ｏ４（以下「重複領域」と称す）を有する。
　本実施形態では、複数のカメラ１０は、第１カメラ１０Ａと、第２カメラ１０Ｂと、第３カメラ１０Ｃと、第４カメラ１０Ｄとを含む。　
　第１カメラ１０Ａ（フロントカメラ）は、車両５の前方に規定された領域Ａ１（以下「前方規定領域Ａ１」と称す）を撮影するように、車両５の前端部に設置される。第２カメラ１０Ｂ（右サイドカメラ）は、車両５の右側方に規定された領域Ａ２（以下「右規定領域Ａ２」と称す）を撮影するように、車両５の右側面に設置される。第３カメラ１０Ｃ（リアカメラ）は、車両５の後方に規定された領域Ａ３（以下「後方規定領域Ａ３」と称す）を撮影するように、車両５の後端部に設置される。第４カメラ１０Ｄ（左サイドカメラ）は、車両５の左側方に規定された領域Ａ４（以下「左規定領域Ａ４」と称す）を撮影するように、車両５の左側面に設置される。
　また、このように複数のカメラ１０それぞれが設置された場合、規定領域Ａ１～Ａ４には、次のような重複領域が含まれる。具体的には、前方規定領域Ａ１には、右規定領域Ａ２と重複する重複領域Ｏ１、及び、左規定領域Ａ４と重複する重複領域Ｏ４が含まれる。右規定領域Ａ２には、前方規定領域Ａ１と重複する重複領域Ｏ１、及び、後方規定領域Ａ３と重複する重複領域Ｏ２が含まれる。後方規定領域Ａ３には、右規定領域Ａ２と重複する重複領域Ｏ２、及び、左規定領域Ａ４と重複する重複領域Ｏ３が含まれる。左規定領域Ａ４には、後方規定領域Ａ３と重複する重複領域Ｏ３、及び、前方規定領域Ａ１と重複する重複領域Ｏ４が含まれる。
　入力装置１４は、インタフェースを介して情報の入力を受け付ける。本実施形態では、入力装置１４は、キーボードやポインティングデバイス、スイッチなどの各種入力機器を含む。また、ポインティングデバイスは、タッチパッドやタッチパネルなどのような、画面上での入力位置や座標を指定する入力機器を含む。
　さらに、本実施形態では、入力装置１４は、キャリブレーション装置２０の診断ツール（diagnostic　tool）として機能してもよい。診断ツールは、キャリブレーション装置２０との間で情報の入出力を行うと共に、キャリブレーション装置２０から取得した情報を解析し、その解析結果から故障などの診断を行う。
　表示装置４０は、画面上に画像を表示する。表示装置４０の一例としては、液晶ディスプレイなどが挙げられる。
　＜キャリブレーション装置＞
　キャリブレーション装置２０は、複数のカメラ１０それぞれで撮影した各画像に基づくキャリブレーション処理を実行する。具体的には、キャリブレーション装置２０は、撮影した画像に基づいて、カメラ１０Ａ～１０Ｄの各姿勢パラメータを特定する処理を実行する。キャリブレーション装置２０は、パラメータ記憶部２２と、制御部２４とを備える。
　パラメータ記憶部２２は、不揮発性の記憶装置である。パラメータ記憶部２２の一例としては、ハードディスクドライブやフラッシュメモリなどが挙げられる。
　パラメータ記憶部２２には、車両空間上における、複数のカメラ１０それぞれの設置位置（車両空間上の位置）及び設置姿勢を表す各種パラメータ（以下「姿勢パラメータ」と称す）が記憶されている。
　本実施形態では、姿勢パラメータは、ｘ座標、ｙ座標、高さｚ、ピッチΘ，ロールΦ，及びヨーΨを含む。ｘ座標は、複数のカメラ１０それぞれが設置された車両空間上の座標であり、車両５の全長方向（前後方向）に沿った座標である。ｙ座標は、複数のカメラ１０それぞれが設置された車両空間上の座標であり、車両５の車幅方向（左右方向）に沿った座標である。高さｚは、複数のカメラ１０それぞれが設置された車両空間上の座標であり、車両５の車高方向（上下方向）に沿った座標である。
　また、ピッチΘは、複数のカメラ１０それぞれの水平軸周りの回転角を表す。水平軸は、車両５における水平面と平行な軸である。ロールΦは、複数のカメラ１０それぞれのレンズ中心軸周りの回転角を表す。レンズ中心軸は、２つの球面の中心を通る直線で表される光軸である。ヨーΨは、車両５における水平面と直交する軸周りの回転角を表す。水平面と直交する軸は、水平軸と直交する軸である。
　制御部２４は、ＲＯＭ２６やＲＡＭ２８などのメモリ及びＣＰＵ３０を備えたマイクロコンピュータを主な構成要素とする制御装置である。ＲＯＭ２６は、電源が切られても記憶内容が保持される必要のあるデータやプログラムを記憶する。ＲＡＭ２８は、記憶内容が一時的に保持されればよいデータを記憶する。ＣＰＵ３０は、例えばＲＯＭ２６に記憶されたプログラムに従って処理を実行する。
　キャリブレーション装置２０には、車両５の車輪速を検出する車輪速センサが接続されている。制御部２４は、車輪速センサからの車輪速信号に基づく周知の算出手法により、車両５の走行速度を算出する。　
　ＲＯＭ２６には、撮影ターゲット５０（図３Ａ及び図３Ｂ参照）を複数のカメラ１０それぞれで撮影した各画像に基づいて、カメラ１０Ａ～１０Ｄの各姿勢パラメータを特定するキャリブレーション処理を、制御部２４が実行するためのプログラムが記憶されている。
　さらに、ＲＯＭ２６には、撮影ターゲット５０の形状及び大きさを表すターゲット情報が記憶されている。すなわち、本実施形態では、撮影ターゲット５０について、形状及び大きさの少なくとも２つの情報が既知である。
　本実施形態では、撮影ターゲット５０は、少なくとも３つ以上の頂点を有する多角形に形成されている。つまり、本実施形態に係る撮影ターゲット５０は、３つ以上の頂点を有する多角形であれば、どのような形状であってもよい。具体的には、撮影ターゲット５０の形状は、図３Ａに示すように、三角形であってもよいし、図３（Ｂ）に示すように、四角形であってもよい。また、撮影ターゲット５０の形状は、５つ以上の頂点を有する多角形であってもよい。
　本実施形態では、撮影ターゲット５０は、複数のカメラ１０それぞれの撮影画像において、頂点の座標を特定可能な部材である。つまり、本実施形態に係る撮影ターゲット５０は、撮影画像において、頂点を特定可能であれば、どのような部材であってもよい。撮影ターゲット５０の一例としては、図３Ａや図３Ｂに示すように、大きさ及び色の異なる多角形に形成された２つの板状の部材を、同芯状に固定した構成などが挙げられる。
　本実施形態では、ターゲット情報は、撮影ターゲット５０が何角形であるかを示す情報（撮影ターゲット５０における頂点の個数と頂点の相対的な位置関係）、撮影ターゲット５０の各辺の長さ、及び撮影ターゲット５０の各頂点における内角（または外角）の大きさなどを含む。
　＜キャリブレーション処理＞
　まず、本実施形態に係るキャリブレーション処理の起動条件（起動前の準備）について説明する。
　本実施形態では、キャリブレーション処理を起動する前段階の準備として、撮影ターゲット５０を次のように配置する。具体的には、２つの撮影ターゲット５０を、相対的な位置関係が固定された状態となるように配置する。このとき、２つの撮影ターゲット５０は、車両５の車幅よりも間隔を空けて配置する。相対的な位置関係は、例えば、２つの撮影ターゲット５０の相対距離で表される。
　そして、本実施形態では、起動指令の入力を受け付けると、キャリブレーション処理が起動される。起動指令は、キャリブレーション処理を起動するための指令である。起動指令は、入力装置１４のダイアグツールからキャリブレーション装置２０が備える制御部２４に入力されてもよいし、その他の方法で入力されてもよい。
　次に、本実施形態に係るキャリブレーション処理の起動後について説明する。
　本実施形態では、キャリブレーション処理が起動されると、キャリブレーションシステム１が搭載された車両５を次のように配置させる。具体的には、２つの撮影ターゲット５０の手前から、その２つの撮影ターゲット５０の間を通過するように車両５を走行させる。そして、本実施形態では、車両５を走行させている期間に、複数のカメラ１０で撮影した各画像に基づいて、キャリブレーション処理が実行される。　
　具体的には、キャリブレーション装置２０が備える制御部２４が、次のような処理を実行する。図４に示すように、制御部２４は、車両５の走行速度を取得する（Ｓ１１０）。このとき制御部２４は、車輪速センサからの車輪速信号に基づく周知の算出手法により、車両５の走行速度を算出する。
　続いて、制御部２４は、ステップＳ１１０の処理で取得した走行速度の値が、予め規定された速度閾値以下であるか否かを判定する（Ｓ１２０）。速度閾値は、徐行を含む低速で車両５が走行している状態を表す走行速度の値であり、キャリブレーションを精度よく実施するための規定速度値である。
　制御部２４は、走行速度の値が速度閾値よりも大きいと判定した場合（Ｓ１２０：ＮＯ）、第１エラー信号を、表示装置４０に出力する（Ｓ１３０）。その結果、表示装置４０は、第１エラー信号に基づく所定のエラー情報を表示し、作業者に対して、発生したエラーを報知する（エラーを報知する）。第１エラー信号は、走行速度が規定速度よりも速いことに起因して、キャリブレーションの精度が低下する可能性が高い旨を示す信号である。表示装置４０は、入力された第１エラー信号に基づいて、所定のエラー情報を表示し、作業者に対して、発生したエラーを報知する（エラーを報知する）。具体的には、表示装置４０は、走行速度が規定速度よりも速い旨を報知するエラー情報を表示する。表示装置４０の表示内容は、これに限らない。例えば、キャリブレーションの精度が低下する可能性が高い旨を報知する表示内容であってもよい。
　なお、上記キャリブレーションとは、カメラ１０Ａ～１０Ｄの各姿勢パラメータを特定する処理である。具体的には、図７を参照し後述するステップＳ３８０及びＳ３９０の処理である。
　制御部２４は、第１エラー信号を表示装置４０に出力すると、ステップＳ１１０の処理を再度実行する。一方、制御部２４は、走行速度の値が速度閾値以下と判定した場合（Ｓ１２０：ＹＥＳ）、前方撮影画像における探索範囲である前端探索範囲（以下「第１カメラ１０Ａの前端探索範囲」という）を設定する（Ｓ１４０）。
　前方撮影画像は、図５Ａに示す前方規定領域Ａ１を第１カメラ１０Ａで撮影して得られる画像である。また、第１カメラ１０Ａの前端探索範囲は、次のような領域である。具体的には、２つの撮影ターゲット５０の間に車両５の前端が到達する前に、前方規定領域Ａ１を第１カメラ１０Ａで撮影する。そして、得られた前方撮影画像に対して、撮影ターゲット５０それぞれが写り込んでいるか否か（撮影ターゲット５０が含まれているか否か）の判定を実行する対象領域である。
　本実施形態では、第１カメラ１０Ａの前端探索範囲は、前方撮影画像における左右の端部それぞれに設けられる。具体的には、制御部２４は、ステップＳ１４０の処理を実行することにより、第２カメラ１０Ｂ及び第４カメラ１０Ｄの撮影画像と、前方撮影画像との重複領域Ｏ１，Ｏ４のうちの所定の領域を、第１カメラ１０Ａの前端探索範囲として設定する。すなわち、ステップＳ１４０の処理で設定される第１カメラ１０Ａの前端探索範囲は、撮影ターゲット５０が写り込む可能性が高い領域（撮影ターゲット５０が含まれる可能性の高い領域）である。
　続いて、制御部２４は、右撮影画像及び左撮影画像における前方探索範囲（以下「第２カメラ１０Ｂの前方探索範囲、及び、第４カメラ１０Ｄの前方探索範囲」という）を設定する（Ｓ１５０）。右撮影画像は、図５Ａに示す右規定領域Ａ２を第２カメラ１０Ｂで撮影して得られる画像である。また、左撮影画像は、図５Ａに示す左規定領域Ａ４を第４カメラ１０Ｄで撮影して得られる画像である。
　第２カメラ１０Ｂ及び第４カメラ１０Ｄの前方探索範囲は、次のような領域である。具体的には、２つの撮影ターゲット５０の間に車両５の前端が到達する前に、右規定領域Ａ２を第２カメラ１０Ｂで撮影し、左規定領域Ａ４を第４カメラ１０Ｄで撮影する。そして、得られた右撮影画像及び左撮影画像それぞれに対して、撮影ターゲット５０が写り込んでいるか否かの判定を実行する対象領域である。
　本実施形態では、第２カメラ１０Ｂ及び第４カメラ１０Ｄの前方探索範囲は、右撮影画像における車両前方の端部、及び、左撮影画像における車両前方の端部に設けられる。具体的には、制御部２４は、ステップＳ１５０の処理を実行することにより、右撮影画像及び左撮影画像それぞれと、前方撮影画像との重複領域Ｏ１，Ｏ４のうちの所定の領域を、第２カメラ１０Ｂ及び第４カメラ１０Ｄの前方探索範囲として設定する。
　続いて、制御部２４は、画像を撮影させる撮影指令を、第１カメラ１０Ａに出力する（Ｓ１６０）。その結果、第１カメラ１０Ａは、撮影指令に基づいて、前方撮影画像を撮影する。第１カメラ１０Ａは、撮影した前方撮影画像を、制御部２４に出力する。
　さらに、制御部２４は、画像を撮影させる撮影指令を、第２カメラ１０Ｂ及び第４カメラ１０Ｄに出力する（Ｓ１７０）。その結果、第２カメラ１０Ｂは、撮影指令に基づいて、右撮影画像を撮影する。第２カメラ１０Ｂは、撮影した右撮影画像を、制御部２４に出力する。同様に、第４カメラ１０Ｄは、左撮影画像を撮影し、撮影した左撮影画像を、制御部２４に出力する。
　続いて、制御部２４は、ステップＳ１６０の処理で撮影した前方撮影画像における第１カメラ１０Ａの前端探索範囲（左右の端部に設けられたそれぞれの領域）から、撮影ターゲット５０を検出する（Ｓ１８０）。このとき制御部２４は、図６Ａに示すような、前方撮影画像における第１カメラ１０Ａの前端探索範囲ＳＲに、撮影ターゲット５０が写り込んでいるか否かを判定する。撮影ターゲット５０が写り込んでいるか否かの判定は、例えば図６Ｂに示すような方法で実施すればよい。具体的には、予め規定された２方向以上の検出方向に従って、第１カメラ１０Ａの前端探索範囲ＳＲを探索し、当該前端探索範囲ＳＲ内における撮影ターゲット５０の頂点の有無を検出する。そして、検出した各頂点の位置関係が撮影ターゲット５０の形状と矛盾していなければ、第１カメラ１０Ａの前端探索範囲ＳＲ内に撮影ターゲット５０が写り込んでいると判定すればよい。一方、検出した各頂点の位置関係が撮影ターゲット５０の形状と矛盾していれば、第１カメラ１０Ａの前端探索範囲ＳＲ内に撮影ターゲット５０が写り込んでいないと判定すればよい。
　なお、画像に写り込んだ撮影ターゲット５０の頂点を検出する方法としては、種々の周知の検出手法が考えられる。そのため、ここでの詳しい説明は省略する。なお、本実施形態では、例えば、予め規定された２方向の検出方向に従って、周知のエッジ検出処理を実施する。そして、そのエッジ検出処理において、検出方向の双方にてエッジとして検出された画素を、撮影ターゲット５０の頂点としてもよい。
　また、検出した各頂点の位置関係が撮影ターゲット５０の形状と矛盾しているか否かの判定は、次のような方法で実施すればよい。具体的には、各頂点の位置が、撮影ターゲット５０の形状として記憶されている形状の位置に一致するか否かを判定すればよい。すなわち、検出した各頂点の位置が一直線上である場合や、検出した頂点の個数が撮影ターゲット５０の頂点の個数よりも多い場合には、各頂点の位置関係が撮影ターゲット５０の形状と矛盾していると判定すればよい。　
　制御部２４は、前方撮影画像における第１カメラ１０Ａの前端探索範囲ＳＲから、撮影ターゲット５０を検出できたか否かを判定する（Ｓ１９０）。その結果、制御部２４は、前方撮影画像における第１カメラ１０Ａの前端探索範囲ＳＲに撮影ターゲット５０が写り込んでなく、検出に失敗したと判定した場合（Ｓ１９０：ＮＯ）、後述するステップＳ２４０の処理へとキャリブレーション処理を移行させる。なお、前方撮影画像における第１カメラ１０Ａの前端探索範囲ＳＲに撮影ターゲット５０が写り込んでいない状況（検出できない状況）としては、例えば、撮影ターゲット５０を撮影可能な位置に車両５が到達していない状況が考えられる。
　一方、制御部２４は、前方撮影画像における第１カメラ１０Ａの前端探索範囲ＳＲから撮影ターゲット５０の検出に成功したと判定した場合（Ｓ１９０：ＹＥＳ）、ステップＳ２００の処理へとキャリブレーション処理を移行させる。
　制御部２４は、ステップＳ１７０の処理で撮影した左撮影画像における第４カメラ１０Ｄの前方探索範囲から、撮影ターゲット５０を検出する（Ｓ２００）。このとき制御部２４は、左撮影画像における第４カメラ１０Ｄの前方探索範囲に、撮影ターゲット５０が写り込んでいるか否かを判定する。撮影ターゲット５０が写り込んでいるか否かを判定する手法は、上述したステップＳ１８０の処理における手法と同様である。そのため、ここでの詳しい説明は省略する。
　制御部２４は、左撮影画像における第４カメラ１０Ｄの前方探索範囲から、撮影ターゲット５０を検出できたか否かを判定する（Ｓ２１０）。その結果、制御部２４は、左撮影画像における第４カメラ１０Ｄの前方探索範囲に撮影ターゲット５０が写り込んでなく、検出に失敗したと判定した場合（Ｓ２１０：ＮＯ）、後述するステップＳ２４０の処理へと移行させる。一方、制御部２４は、左撮影画像における第４カメラ１０Ｄの前方探索範囲から撮影ターゲット５０の検出に成功したと判定した場合（Ｓ２１０：ＹＥＳ）、ステップＳ２２０の処理へとキャリブレーション処理を移行させる。
　制御部２４は、ステップＳ１７０の処理で撮影した右撮影画像における第２カメラ１０Ｂの前方探索範囲から、撮影ターゲット５０を検出する（Ｓ２２０）。このとき制御部２４は、右撮影画像における第２カメラ１０Ｂの前方探索範囲に、撮影ターゲット５０が写り込んでいるか否かを判定する。撮影ターゲット５０が写り込んでいるか否かを判定する手法は、上述したステップＳ１８０の処理における手法と同様である。そのため、ここでの詳しい説明は省略する。
　制御部２４は、右撮影画像における第２カメラ１０Ｂの前方探索範囲から、撮影ターゲット５０を検出できたか否かを判定する（Ｓ２３０）。その結果、制御部２４は、右撮影画像における第２カメラ１０Ｂの前方探索範囲から撮影ターゲット５０の検出に成功したと判定した場合（Ｓ２３０：ＹＥＳ）、図７を参照し後述するステップＳ２６０の処理へとキャリブレーション処理を移行させる。一方、制御部２４は、右撮影画像における第２カメラ１０Ｂの前方探索範囲に撮影ターゲット５０が写り込んでなく、検出に失敗したと判定した場合（Ｓ２３０：ＮＯ）、ステップＳ２４０の処理へと移行させる。
　制御部２４は、ステップＳ１６０の処理を開始してからの経過時間が、予め規定された第１所定時間を経過したか否かを判定する（Ｓ２４０）。第１所定時間は、２つの撮影ターゲット５０の手前に規定された地点から速度閾値以下の走行速度で走行する車両５の前端が、２つの撮影ターゲット５０の間を通過するまでに要する時間長として規定されている。
　制御部２４は、第１所定時間が経過していると判定した場合（Ｓ２４０：ＹＥＳ）、本キャリブレーション処理を終了する。第１所定時間が経過した場合には、上述したように、２つの撮影ターゲット５０の間を車両５の前端が通過しているため、その後に撮影ターゲット５０が撮影画像から検出される可能性はない。具体的には、前方撮影画像における第１カメラ１０Ａの前端探索範囲ＳＲ、右撮影画像における第２カメラ１０Ｂの前方探索範囲、及び左撮影画像における第４カメラ１０Ｄの前方探索範囲から、撮影ターゲット５０を検出する可能性はない。そのため、本実施形態では、撮影ターゲット５０を検出する可能性がなくなった場合には、キャリブレーション処理を終了し再度実行させる。
　一方、制御部２４は、第１所定時間が経過していないと判定した場合（Ｓ２４０：ＮＯ）、第２エラー信号を、表示装置４０に出力する（Ｓ２５０）。その結果、表示装置４０は、第２エラー信号に基づく所定のエラー情報を表示し、作業者に対して、発生したエラーを報知する（エラーを報知する）。第２エラー信号は、前方撮影画像、左撮影画像、及び右撮影画像のうちの少なくとも１つに、撮影ターゲット５０が写り込んでいない旨（撮影画像から撮影ターゲット５０を検出できなかった旨）を表す信号である。表示装置４０は、入力された第２エラー信号に基づいて、所定のエラー情報を表示し、作業者に対して、発生したエラーを報知する（エラーを報知する）。具体的には、表示装置４０は、前方撮影画像、左撮影画像、及び右撮影画像のうちの少なくとも１つに、撮影ターゲット５０が写り込んでいない旨を報知するエラー情報を表示する。
　制御部２４は、第２エラー信号を表示装置４０に出力すると、ステップＳ１６０の処理を再度実行する。これにより、制御部２４は、撮影指令を再び第１カメラ１０Ａに出力し（Ｓ１６０）、ステップＳ１７０以降の処理を繰り返し実行する。
　図７に示すように、制御部２４は、右撮影画像における第１カメラ１０Ａの前方探索範囲から撮影ターゲット５０の検出に成功した場合（Ｓ２３０：ＹＥＳ）、後方撮影画像における探索範囲である後端探索範囲（以下「第３カメラ１０Ｃの後端探索範囲」という）を設定する（Ｓ２６０）。
　後方撮影画像は、図５Ｂに示す後方規定領域Ａ３を第３カメラ１０Ｃで撮影して得られる画像である。また、第３カメラ１０Ｃの後端探索範囲は、次のような領域である。具体的には、２つの撮影ターゲット５０の間を車両５の後端が通過した後に、後方規定領域Ａ３を第３カメラ１０Ｃで撮影する。そして、得られた後方撮影画像に対して、撮影ターゲット５０それぞれが写り込んでいるか否かの判定を実行する対象領域である。
　本実施形態では、第３カメラ１０Ｃの後端探索範囲は、後方撮影画像における左右の端部それぞれに設けられる。具体的には、制御部２４は、ステップＳ２６０の処理を実行することにより、右撮影画像及び左撮影画像それぞれと、後方撮影画像との重複領域Ｏ２，Ｏ３のうちの所定の領域を、第３カメラ１０Ｃの後端探索範囲として設定する。すなわち、ステップＳ２６０の処理で設定される第３カメラ１０Ｃの後端探索範囲は、撮影ターゲット５０が写り込む可能性が高い領域である。
　続いて、制御部２４は、右撮影画像及び左撮影画像における探索範囲である後方探索範囲（以下「第２カメラ１０Ｂの後方探索範囲、及び、第４カメラ１０Ｄの後方探索範囲」という）を設定する（Ｓ２７０）。第２カメラ１０Ｂ及び第４カメラ１０Ｄの後方探索範囲は、次のような領域である。具体的には、２つの撮影ターゲット５０の間を車両５の後端が通過した後に、右規定領域Ａ２を第２カメラ１０Ｂで撮影し、左規定領域Ａ４を第４カメラ１０Ｄで撮影する。そして、得られた右撮影画像及び左撮影画像それぞれに対して、撮影ターゲット５０が写り込んでいるか否かの判定を実行する対象領域である。
　本実施形態では、第２カメラ１０Ｂ及び第４カメラ１０Ｄの後方探索範囲は、右撮影画像における車両後方の端部、及び、左撮影画像における車両後方の端部に設けられる。具体的には、制御部２４は、ステップＳ２７０の処理を実行することにより、右撮影画像及び左撮影画像それぞれと、後方撮影画像との重複領域Ｏ２，Ｏ３のうちの所定の領域を、第２カメラ１０Ｂ及び第４カメラ１０Ｄの後方探索範囲として設定する。
　続いて、制御部２４は、画像を撮影させる撮影指令を、第３カメラ１０Ｃに出力する（Ｓ２８０）。その結果、第３カメラ１０Ｃは、撮影指令に基づいて、後方撮影画像を撮影する。第３カメラ１０Ｃは、撮影した後方撮影画像を、制御部２４に出力する。
　さらに、制御部２４は、画像を撮影させる撮影指令を、第２カメラ１０Ｂ及び第４カメラ１０Ｄに出力する（Ｓ２９０）。その結果、第２カメラ１０Ｂは、撮影指令に基づいて、右撮影画像を撮影する。第２カメラ１０Ｂは、撮影した右撮影画像を、制御部２４に出力する。同様に、第４カメラ１０Ｄは、左撮影画像を撮影し、撮影した左撮影画像を、制御部２４に出力する。
　続いて、制御部２４は、ステップＳ２８０の処理で撮影した後方撮影画像における第３カメラ１０Ｃの後端探索範囲（左右の端部に設けられたそれぞれの領域）から、撮影ターゲット５０を検出する（Ｓ３００）。このとき制御部２４は、後方撮影画像における第３カメラ１０Ｃの後端探索範囲に、撮影ターゲット５０が写り込んでいるか否かを判定する。撮影ターゲット５０が写り込んでいるか否かを判定する手法は、上述したステップＳ１８０の処理における手法と同様である。そのため、ここでの詳しい説明は省略する。
　制御部２４は、後方撮影画像における第３カメラ１０Ｃの後端探索範囲から、撮影ターゲット５０を検出できたか否かを判定する（Ｓ３１０）。その結果、制御部２４は、後方撮影画像における第３カメラ１０Ｃの後端探索範囲に撮影ターゲット５０が写り込んでなく、検出に失敗したと判定した場合（Ｓ３１０：ＮＯ）、後述するステップＳ３６０の処理へとキャリブレーション処理を移行させる。なお、後方撮影画像における第３カメラ１０Ｃの後端探索範囲に撮影ターゲット５０が写り込んでいない状況（検出できない状況）としては、撮影ターゲット５０の間を車両５の後端が通過していない状況が考えられる。　
　一方、制御部２４は、後方撮影画像における第３カメラ１０Ｃの後端探索範囲から撮影ターゲット５０の検出に成功したと判定した場合（Ｓ３１０：ＹＥＳ）、ステップＳ３２０の処理へとキャリブレーション処理を移行させる。
　制御部２４は、ステップＳ２９０の処理で撮影した左撮影画像における第４カメラ１０Ｄの後方探索範囲から、撮影ターゲット５０を検出する（Ｓ３２０）。このとき制御部２４は、左撮影画像における第４カメラ１０Ｄの後方探索範囲に、撮影ターゲット５０が写り込んでいるか否かを判定する。撮影ターゲット５０が写り込んでいるか否かを判定する手法は、上述したステップＳ１８０の処理における手法と同様である。そのため、ここでの詳しい説明は省略する。
　制御部２４は、左撮影画像における第４カメラ１０Ｄの後方探索範囲から、撮影ターゲット５０を検出できたか否かを判定する（Ｓ３３０）。その結果、制御部２４は、左撮影画像における第４カメラ１０Ｄの後方探索範囲に撮影ターゲット５０が写り込んでなく、検出に失敗したと判定した場合（Ｓ３３０：ＮＯ）、後述するステップＳ３６０の処理へと移行させる。一方、制御部２４は、左撮影画像における第４カメラ１０Ｄの後方探索範囲から撮影ターゲット５０の検出に成功したと判定した場合（Ｓ３３０：ＹＥＳ）、ステップＳ３４０の処理へとキャリブレーション処理を移行させる。
　制御部２４は、ステップＳ２９０の処理で撮影した右撮影画像における第２カメラ１０Ｂの後方探索範囲から、撮影ターゲット５０を検出する（Ｓ３４０）。このとき制御部２４は、右撮影画像における第２カメラ１０Ｂの後方探索範囲に、撮影ターゲット５０が写り込んでいるか否かを判定する。撮影ターゲット５０が写り込んでいるか否かを判定する手法は、上述したステップＳ１８０の処理における手法と同様である。そのため、ここでの詳しい説明は省略する。
　制御部２４は、右撮影画像における第２カメラ１０Ｂの後方探索範囲から、撮影ターゲット５０を検出できたか否かを判定する（Ｓ３５０）。その結果、制御部２４は、右撮影画像における第２カメラ１０Ｂの後方探索範囲から撮影ターゲット５０の検出に成功したと判定した場合（Ｓ３５０：ＹＥＳ）、後述するステップＳ３８０の処理へとキャリブレーション処理を移行させる。一方、制御部２４は、右撮影画像における第２カメラ１０Ｂの後方探索範囲に撮影ターゲット５０が写り込んでなく、検出に失敗したと判定した場合（Ｓ３５０：ＮＯ）、ステップＳ３６０の処理へと移行させる。
　制御部２４は、ステップＳ２８０の処理を開始してからの経過時間が、予め規定された第２所定時間を経過したか否かを判定する（Ｓ３６０）。第２所定時間は、２つの撮影ターゲット５０の間に車両５の前端が到達してから、速度閾値以下の走行速度で走行する車両５の後端が、２つの撮影ターゲット５０の間を通過するまでに要する時間長として規定されている。
　制御部２４は、第２所定時間が経過していると判定した場合（Ｓ３６０：ＹＥＳ）、本キャリブレーション処理を終了する。第２所定時間が経過した場合には、上述したように、２つの撮影ターゲット５０の間を車両５の後端が通過しているため、その後に撮影ターゲット５０が撮影画像から検出される可能性はない。具体的には、後方撮影画像における第３カメラ１０Ｃの後端探索範囲、右撮影画像における第２カメラ１０Ｂの後方探索範囲、及び左撮影画像における第４カメラ１０Ｄの後方探索範囲から、撮影ターゲット５０を検出する可能性はない。そのため、本実施形態では、撮影ターゲット５０を検出する可能性がなくなった場合には、キャリブレーション処理を終了し再度実行させる。
　一方、制御部２４は、第２所定時間が経過していないと判定した場合（Ｓ３６０：ＮＯ）、第３エラー信号を、表示装置４０に出力する（Ｓ３７０）。その結果、表示装置４０は、第３エラー信号に基づく所定のエラー情報を表示し、作業者に対して、発生したエラーを報知する（エラーを報知する）。第３エラー信号は、後方撮影画像、左撮影画像、及び右撮影画像のうちの少なくとも１つに、撮影ターゲット５０が写り込んでいない旨（撮影画像から撮影ターゲット５０を検出できなかった旨）を表す信号である。表示装置４０は、後方撮影画像、左撮影画像、及び右撮影画像のうちの少なくとも１つに、撮影ターゲット５０が写り込んでいない旨を報知するエラー情報を表示する。
　制御部２４は、第３エラー信号を表示装置４０に出力すると、ステップＳ２８０の処理を再度実行する。これにより、制御部２４は、撮影指令を再び第３カメラ１０Ｃに出力し（Ｓ２８０）、ステップＳ２９０以降の処理を繰り返し実行する。
　制御部２４は、各撮影画像の探索範囲から撮影ターゲット５０の検出に成功した場合（Ｓ３５０：ＹＥＳ）、複数のカメラ１０それぞれの姿勢パラメータのうち、ピッチΘ、ロールΦ、及び高さｚを特定する。そして、制御部２４は、特定した姿勢パラメータ（ピッチΘ、ロールΦ、及び高さｚ）を、パラメータ記憶部２２に記憶する（Ｓ３８０）。
　ピッチΘ、ロールΦ、及び高さｚを特定する方法は、例えば特許第５２９９２３１号に記載のように周知である。そのため、ここでの詳しい説明は省略する。
　本実施形態では、ステップＳ３８０の処理において、姿勢パラメータ（ピッチΘ、ロールΦ、及び高さｚ）を、次のような手法で特定すればよい。具体的には、制御部２４は、各撮影画像を射影変換する。なお、本実施形態では、射影変換は鳥瞰変換である。制御部２４は、その射影変換（以下便宜上「鳥瞰変換」という）した画像において、写り込んだ撮影ターゲット５０の形状が実際の撮影ターゲット５０の形状と一致するように、各カメラ１０Ａ，１０Ｂ，１０Ｃ，１０ＤのピッチΘ及びロールΦを特定する。また、制御部２４は、鳥瞰変換した画像に写り込んだ撮影ターゲット５０において、実際の撮影ターゲット５０の形状と一致した撮影ターゲットの大きさが実際の撮影ターゲット５０の大きさと一致するように、各カメラ１０Ａ，１０Ｂ，１０Ｃ，１０Ｄの高さｚを特定する。
　続いて、制御部２４は、複数のカメラ１０それぞれの姿勢パラメータのうち、ｘ座標、ｙ座標、及びヨーΨを特定する。そして、制御部２４は、特定した姿勢パラメータ（ｘ座標、ｙ座標、及びヨーΨ）を、パラメータ記憶部２２に記憶する（Ｓ３９０）。
　本実施形態では、ステップＳ３９０の処理において、姿勢パラメータ（ｘ座標、ｙ座標、及びヨーΨ）を、次のような手法で特定すればよい。制御部２４は、各撮影画像に写り込んだ撮影ターゲット５０の代表点の座標を特定する［手順１］を実行する。代表点は、各撮影画像に写り込んだ撮影ターゲット５０の代表的な箇所である。なお、本実施形態では、重心を代表点としている。
　そして、制御部２４は、［手順１］で特定した座標を用いて、撮影ターゲット５０の代表点の座標が一致するような仮想リンク構造を算出する［手順２］を実行する。仮想リンク構造は、各撮影画像に写り込んだ撮影ターゲット５０の代表点を仮想的に接続した線分がリンクとして形成されて構造である。
　さらに、制御部２４は、［手順２］で算出した仮想リンク構造において、評価関数の評価値が最小となるリンク角αを特定する［手順３］を実行する。そして、制御部２４は、［手順３］で特定したリンク角αを用いて、複数のカメラ１０それぞれの姿勢パラメータのうち、ｘ座標、ｙ座標、及びヨーΨを特定する［手順４］を実行する。
　［手順１］において、撮影画像に写り込んだ撮影ターゲット５０の代表点の座標を特定する方法の一例としては、特許第５２９９２３１号に記載の手法を用いる方法が挙げられる。
　以下に図８を参照し詳述する。まず、以降の説明では、次のことを前提としている。本説明では、撮影画像に写り込んだ撮影ターゲット５０の代表点のうち、２つの撮影ターゲット５０の間に車両５の前端が到達する前に、第１カメラ１０Ａ及び第４カメラ１０Ｄの双方による撮影画像に写り込んだ撮影ターゲット５０の代表点をＭ１とする。また、本説明では、撮影画像に写り込んだ撮影ターゲット５０の代表点のうち、２つの撮影ターゲット５０の間に車両５の前端が到達する前に、第１カメラ１０Ａ及び第２カメラ１０Ｂの双方による撮影画像に写り込んだ撮影ターゲット５０の代表点をＭ２とする。
　また、本説明では、撮影画像に写り込んだ撮影ターゲット５０の代表点のうち、２つの撮影ターゲット５０の間を車両５の後端が通過した後に、第３カメラ１０Ｃ及び第２カメラ１０Ｂの双方による撮影画像に写り込んだ撮影ターゲット５０の代表点をＭ３とする。また、本説明では、撮影画像に写り込んだ撮影ターゲット５０の代表点のうち、２つの撮影ターゲット５０の間を車両５の後端が通過した後に、第３カメラ１０Ｃと第４カメラ１０Ｄの双方による撮影画像に写り込んだ撮影ターゲット５０の代表点をＭ４とする。
　そして、本実施形態に係るキャリブレーション処理では、Ｍ４を、以下の（１）式から（６）式によって求める。なお、Ｍ４の導出は、Ｍ１からＭ４までを求める過程において、時間軸に沿って最後に実行される。
Figure JPOXMLDOC01-appb-M000001
 　ここで上記（１）式におけるベクトルＭ４及びベクトルＭ３それぞれは、複数のカメラ１０のうち、特定のカメラの原点から、Ｍ４，Ｍ３へと向かうベクトルである。また、ベクトルＭ３Ｍ４は、Ｍ３を基点としてＭ４へと向かうベクトルである。
　本実施形態では、２つの撮影ターゲット５０は、相対的な位置関係が固定されて配置されている。そのため、Ｍ３とＭ４との相対的な位置関係は、Ｍ１とＭ２との相対的な位置関係と同一である。これにより、上記（１）式を、下記（２）式へと変換できる。
Figure JPOXMLDOC01-appb-M000002
 　符号δは、ベクトルＭ３Ｍ４とベクトルＭ２Ｍ１とがなす角度である。また、ベクトルＭ２Ｍ１は、Ｍ２を基点としてＭ１へと向かうベクトルである。
　上記（２）式は、ベクトルＭ４をｘ成分とｙ成分とに分けると、以下の（３）式及び（４）式で表せる。
Figure JPOXMLDOC01-appb-M000003
 　２つの撮影ターゲット５０の間に車両５の前端が到達する前の撮影画像に写り込んだ撮影ターゲット５０における２つの頂点Ｐ１，Ｐ２をベクトルで表すと、ベクトルＰ１Ｐ２となる。また、その撮影ターゲット５０と同じ地点に配置され、２つの撮影ターゲット５０の間を車両５の後端が通過した後の撮影画像に写り込んだ撮影ターゲット５０における２つの頂点Ｑ１，Ｑ２をベクトルで表すと、ベクトルＱ１Ｑ２となる。
　そして、符号δは、ベクトルＰ１Ｐ２とベクトルＱ１Ｑ２とのなす角と同一である。よって、ＣＯＳ（δ）は、下記（５）式で表せ、ＳＩＮ（δ）は、下記（６）式で表せる。ただし、下記（５）式における符号Ｌは、１つの撮影ターゲット５０における２つの頂点間の長さである。
Figure JPOXMLDOC01-appb-M000004
 　そして、上記（５）式で表されるＣＯＳ（δ）、及び上記（６）式で表されるＳＩＮ（δ）を、上記（２）式に代入すれば、三角関数の演算を実行することなく、Ｍ４を導出できる。
　本実施形態では、［手順２］、［手順３］、及び［手順４］は、周知の手法を用いて実現すればよい。［手順２］、［手順３］、及び［手順４］の一例としては、特許第５２９９２３１号に記載の手法を用いる方法が挙げられる。
　以上のように、制御部２４は、複数のカメラ１０それぞれの姿勢パラメータ（ピッチΘ、ロールΦ、ヨーΨ、ｘ座標、ｙ座標、高さｚ）を特定するキャリブレーション処理を終了する。
　［実施形態の効果］
　本開示の技術態様の１つである本実施形態に係るキャリブレーション処理では、次のような効果を奏する。
　本実施形態に係るキャリブレーション処理では、２つの撮影ターゲット５０の間を車両５が通過する前に、第１カメラ１０Ａ、第２カメラ１０Ｂ、及び第４カメラ１０Ｄで撮影した画像それぞれを、姿勢パラメータを特定するために用いる画像として取得できる。さらに、キャリブレーション処理では、２つの撮影ターゲット５０の間を車両５が通過した後に、第２カメラ１０Ｂ、第３カメラ１０Ｃ、及び第４カメラ１０Ｄで撮影した画像それぞれを、姿勢パラメータを特定するために用いる画像として取得できる。
　すなわち、本実施形態に係るキャリブレーション処理では、車両５を一定の距離（所定時間）だけ走行させるという簡易な方法によって、キャリブレーションの実施に必要な画像を取得できる。
　さらに、キャリブレーション処理では、キャリブレーションを実施するために用いる情報は、カメラ１０で撮影した画像だけよく、車両５の回転角などのその他の情報は不要である。
　つまり、本実施形態に係るキャリブレーション処理では、回転角センサが車両５に取り付けられていない場合であっても、キャリブレーションを実施できる。
　このように、本開示の技術では、カメラ１０の姿勢パラメータを導出する技術において、キャリブレーションを実施する自由度をより高くすることができる。
　また、本実施形態に係るキャリブレーション処理では、撮影画像から撮影ターゲット５０を検出できなかった場合は、その旨を報知している。
　つまり、キャリブレーション処理では、キャリブレーションの実施に必要な画像を取得できなかったことを、キャリブレーション装置２０を利用している作業者に対して報知できる。これにより、作業者は、キャリブレーションの実施に必要な情報が不足している問題を認識でき、早期にその問題に対応できる。
　さらに、本実施形態に係るキャリブレーション処理では、探索する範囲を規定した所定の探索範囲を、各撮影画像に設定している。そして、キャリブレーション処理では、各撮影画像に設定された探索範囲だけを探索し、撮影ターゲット５０が写り込んでいるか否か（撮影ターゲット５０が含まれているか否か）の判定を実行している。
　これにより、本実施形態に係るキャリブレーション処理では、撮影ターゲット５０が各撮影画像に写り込んでいるか否かの判定に必要な処理量を軽減できる。
　また、本実施形態に係るキャリブレーション処理では、走行速度が規定速度以下の場合（走行速度の値が速度閾値以下の場合）にだけ、複数のカメラ１０それぞれの撮影画像に撮影ターゲット５０が写り込んでいるか否かを判定している。
　つまり、キャリブレーション処理では、車両５が低速で走行している場合に撮影画像を取得してキャリブレーションを実施できる。これにより、本実施形態に係るキャリブレーション処理では、キャリブレーションの精度を向上できる。
　また、本実施形態に係るキャリブレーション処理では、走行速度が規定速度より速い場合（走行速度の値が速度閾値より大きいの場合）は、その旨を報知している。これにより、本実施形態に係るキャリブレーション装置２０の利用者（作業者）は、走行速度が規定速度よりも速いことに起因して、精度よくキャリブレーションを実施できない問題を認識でき、早期にその問題に対応できる。
　また、本実施形態に係るキャリブレーション処理では、ステップＳ３９０の処理において、三角関数の演算を実行することなく、撮影ターゲット５０の代表点Ｍ４の導出を実現している。
　これにより、本実施形態に係るキャリブレーション処理では、撮影画像に写り込んだ撮影ターゲット５０の代表点Ｍ４の導出に必要となる処理量を軽減できる。
　［その他の実施形態］
　以上、本開示の技術態様の１つである実施形態について説明したが、本開示は上記実施形態に限定されない。本開示の技術は、本開示の要旨を逸脱しない範囲において、様々な態様にて実施できる。
　例えば、上記実施形態では、車両５の車幅よりも間隔を空けて配置された２つの撮影ターゲット５０の間を、車両５が走行する間に撮影した画像を、キャリブレーションを実施するために必要な画像としている。キャリブレーションを実施するために必要な画像は、これに限らない。
　姿勢パラメータの特定に用いる画像は、次のような方法で撮影された画像であってもよい。例えば、車両５の前方に位置する撮影ターゲット５０を第１カメラ１０Ａ、第２カメラ１０Ｂ、及び第４カメラ１０Ｄで撮影した各画像は、車両５を移動させること無く停止させた状態で、車両５の前方に配置された撮影ターゲット５０を撮影したものであってもよい。また、車両５の後方に位置する撮影ターゲット５０を第２カメラ１０Ｂ、第３カメラ１０Ｃ、及び第４カメラ１０Ｄで撮影した各画像は、車両５の前方に配置された撮影ターゲット５０と同一の撮影ターゲット５０を車両５の後方へと移動させ、車両５を移動させること無く停止させた状態で、車両５の後方に配置された撮影ターゲットを撮影したものであってもよい。なお、撮影ターゲット５０を車両５の前方から後方へと移動させる場合には、２つの撮影ターゲット５０の相対的な位置関係は、車両５の前方に配置した場合の相対的な位置関係と同一であることが好ましい。
　このように、上述したような方法で、姿勢パラメータの特定に用いる画像を取得することにより、姿勢パラメータを特定するために必要となる作業領域の面積（作業空間の広さ）を最小限にできる。すなわち、まず、車両５の前方に位置する撮影ターゲット５０を、第１カメラ１０Ａ、第２カメラ１０Ｂ、及び第４カメラ１０Ｄで撮影する。その後、車両５を、撮影ターゲット５０が配置された位置まで前進させる。そして、撮影ターゲット５０を車両５の後方に配置する。車両５の後方に位置する撮影ターゲット５０を、第２カメラ１０Ｂ、第３カメラ１０Ｃ、及び第４カメラ１０Ｄで撮影する。これにより、車両５の製造段階やカーディーラーによる整備段階で姿勢パラメータの特定に必要な水平面方向における作業領域を容易に確保できる。
　また、上記実施形態では、キャリブレーション処理において、車両５の走行速度を確認する処理（ステップＳ１１０からＳ１３０までの処理）を実行している。キャリブレーション処理において、車両５の走行速度を確認する処理は省略してもよい。
　なお、上記実施形態の構成の一部を省略した態様も、本開示の技術態様の１つの実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も、本開示の技術態様の１つの実施形態である。また、本開示の目的によって特定される技術思想（技術的範囲）に含まれるあらゆる態様も、本開示の技術態様の１つの実施形態である。
　１…キャリブレーションシステム
　５…車両
　１０…カメラ（１０Ａ：第１カメラ，１０Ｂ：第２カメラ，１０Ｃ：第３カメラ，１０Ｄ：第４カメラ）
　１４…入力装置
　２０…キャリブレーション装置
　２２…パラメータ記憶部
　２４…制御部
　２６…ＲＯＭ
　２８…ＲＡＭ
　３０…ＣＰＵ
　４０…表示装置
　５０…撮影ターゲット

Claims (9)

  1. 　車両に搭載された複数のカメラ（１０）それぞれの姿勢パラメータを特定するキャリブレーション装置（２０）であって、
    　前記複数のカメラは、前記車両の周辺に規定された互いに異なる領域で、かつ、互いの領域の一部が重複する重複領域を有した規定領域を撮影するように、前記車両に搭載され、
    　前記複数のカメラは、前記車両の前方を撮影する第１カメラ（１０Ａ）と、前記車両の右側方を撮影する第２カメラ（１０Ｂ）と、前記車両の後方を撮影する第３カメラ（１０Ｃ）と、前記車両の左側方を撮影する第４カメラ（１０Ｄ）とを含み、
    　前記複数のカメラそれぞれで撮影した各画像を取得する画像取得部（２０，Ｓ１４０～Ｓ３７０）と、
    　形状及び大きさが既知である部材を撮影ターゲット（５０）とし、前記画像取得部で取得した各画像の前記重複領域に写り込んだ前記撮影ターゲットを射影変換し、変換結果が、前記撮影ターゲットの形状及び大きさに一致するように、前記複数のカメラそれぞれの姿勢パラメータのうち、当該カメラのレンズ中心軸周りの回転角を表すロール、当該カメラの水平軸周りの回転角を表すピッチ、及び、前記車両の車高方向に沿った座標である高さを特定する第１特定部（２０，Ｓ３８０）と、
    　前記画像取得部で取得した各画像に写り込んだ前記撮影ターゲットの代表点を仮想的に接続した線分がリンクとして形成されており、互いに異なる画像の前記重複領域に写り込み、同一の地点に位置する前記撮影ターゲットの代表点を一致させた仮想リンク構造であって、当該仮想リンク構造における１つのリンク角が最小となるように、前記複数のカメラそれぞれの姿勢パラメータのうち、前記車両の全長方向に沿った座標であるｘ座標、前記車両の車幅方向に沿った座標であるｙ座標、及び、前記車両の水平面と直交する軸周りの回転角を表すヨーを特定する第２特定部（２０，Ｓ３９０）と、
    　を備え、
    　前記画像取得部は、
    　前記車両の前方に位置する前記撮影ターゲットを、前記第１カメラ、前記第２カメラ、及び前記第４カメラで撮影した各画像を取得する第１取得部（２０，Ｓ１６０，Ｓ１７０）と、
    　前記車両の後方に位置する前記撮影ターゲットを、前記第２カメラ、前記第３カメラ、及び前記第４カメラで撮影した各画像において、前記第１取得部で取得した画像とは異なる画像を取得する第２取得部（２０，Ｓ２８０，Ｓ２９０）と、
    　を備え、
    　前記第１特定部及び前記第２特定部は、前記第１取得部で取得した画像、及び前記第２取得部で取得した画像を、前記画像取得部で取得した各画像とし、前記複数のカメラそれぞれの姿勢パラメータを特定する、
    　キャリブレーション装置。
  2. 　前記撮影ターゲットは、前記車両の車幅よりも間隔を空けて配置され、
    　前記第１取得部は、前記撮影ターゲットの間を前記車両が通過する前に、前記第１カメラ、前記第２カメラ、及び前記第４カメラで撮影した各画像を取得し、
    　前記第２取得部は、前記撮影ターゲットの間を前記車両が通過した後に、前記第２カメラ、前記第３カメラ、及び前記第４カメラで撮影した各画像を取得する、
    　請求項１に記載のキャリブレーション装置。
  3. 　前記画像取得部は、
    　前記複数のカメラそれぞれで撮影した各画像に前記撮影ターゲットが写り込んでいるか否かを判定する第１判定部（２０，Ｓ１８０～Ｓ２３０，Ｓ３００～Ｓ３５０）と、
    　前記第１判定部により、前記撮影ターゲットが写り込んでいないと判定された場合に、前記撮影ターゲットが写り込んでいない旨を報知する第１報知部（２０，Ｓ２５０，Ｓ３７０）と、
    　を備える、
    　請求項１または請求項２に記載のキャリブレーション装置。
  4. 　前記複数のカメラそれぞれの撮影画像において、前記撮影ターゲットが写り込んでいるか否かの判定を実行する対象領域である探索範囲を設定する範囲設定部（２０，Ｓ１４０，Ｓ１５０，Ｓ２６０，Ｓ２７０）を備え、
    　前記第１判定部は、前記範囲設定部で設定した探索範囲に、前記撮影ターゲットが写り込んでいるか否かを判定する、
    　請求項３に記載のキャリブレーション装置。
  5. 　前記車両の走行速度を取得する速度取得部（２０，Ｓ１１０）と、
    　前記速度取得部で取得した走行速度の値が、予め規定された速度閾値以下であるか否かを判定する第２判定部（２０，Ｓ１２０）と
    　を備え、
    　前記第１判定部は、
    　前記第２判定部により、前記走行速度の値が前記速度閾値以下と判定された場合に、前記複数のカメラそれぞれで撮影した各画像に、前記撮影ターゲットが写り込んでいるか否かを判定する、
    　請求項３または請求項４に記載のキャリブレーション装置。
  6. 　前記第２判定部により、前記走行速度の値が前記速度閾値よりも大きいと判定された場合に、前記走行速度の値が前記速度閾値よりも大きい旨を報知する第２報知部（２０，Ｓ１３０）を備える、
    　請求項５に記載のキャリブレーション装置。
  7. 　前記第１取得部で取得する画像の撮影対象である前記撮影ターゲットと、前記第２取得部で取得する画像の撮影対象である前記撮影ターゲットとは、互いに同一な位置関係に配置されており、
    　前記第２特定部は、
    　前記画像取得部で取得した各画像の前記重複領域に写り込んだ前記撮影ターゲットそれぞれの代表点の位置を順次特定し、
    　特定した代表点を、同一の地点に位置する前記撮影ターゲットと一致させて前記仮想リンク構造を形成し、
    　前記重複領域に写り込んだ前記撮影ターゲットそれぞれの代表点のうち、時間軸に沿って、最後の撮影ターゲットの代表点の位置を特定する場合、当該最後の撮影ターゲットの代表点の位置に基づいて、前記複数のカメラそれぞれの姿勢パラメータのうちの前記ｘ座標、前記ｙ座標、及び前記ヨーを特定する、
    　請求項１乃至請求項６のいずれか一項に記載のキャリブレーション装置。
  8. 　車両に搭載された複数のカメラ（１０）それぞれの姿勢パラメータを特定するキャリブレーション装置（２０）が実行するキャリブレーション方法であって、
    　前記複数のカメラは、前記車両の周辺に規定された互いに異なる領域で、かつ、互いの領域の一部が重複する重複領域を有した規定領域を撮影するように、前記車両に搭載され、
    　前記複数のカメラは、前記車両の前方を撮影する第１カメラ（１０Ａ）と、前記車両の右側方を撮影する第２カメラ（１０Ｂ）と、前記車両の後方を撮影する第３カメラ（１０Ｃ）と、前記車両の左側方を撮影する第４カメラ（１０Ｄ）とを含み、
    　前記キャリブレーション装置が
    　前記複数のカメラそれぞれで撮影した各画像を取得する画像取得手順（Ｓ１４０～Ｓ３５０）と、
    　形状及び大きさが既知である部材を撮影ターゲット（５０）とし、前記画像取得手順で取得した各画像の前記重複領域に写り込んだ前記撮影ターゲットを射影変換し、変換結果が、前記撮影ターゲットの形状及び大きさに一致するように、前記複数のカメラそれぞれの姿勢パラメータのうち、当該カメラのレンズ中心軸周りの回転角を表すロール、当該カメラの水平軸周りの回転角を表すピッチ、及び、前記車両の車高方向に沿った座標である高さを特定する第１特定手順（Ｓ３８０）と、
    　前記画像取得手順で取得した各画像に写り込んだ前記撮影ターゲットの代表点を仮想的に接続した線分がリンクとして形成されており、互いに異なる画像の前記重複領域に写り込み、同一の地点に位置する前記撮影ターゲットの代表点を一致させた仮想リンク構造であって、当該仮想リンク構造における１つのリンク角が最小となるように、前記複数のカメラそれぞれの姿勢パラメータのうち、前記車両の全長方向に沿った座標であるｘ座標、前記車両の車幅方向に沿った座標であるｙ座標、及び前記車両の水平面と直交する軸周りの回転角を表すヨーを特定する第２特定手順（Ｓ３９０）と
    　を実行し、
    　前記画像取得手順は、
    　前記車両の前方に位置する前記撮影ターゲットを、前記第１カメラ、前記第２カメラ、及び前記第４カメラで撮影した画像を取得する第１取得手順（Ｓ１６０，Ｓ１７０）と、
    　前記車両の後方に位置する前記撮影ターゲットを、前記第２カメラ、前記第３カメラ、及び前記第４カメラで撮影した各画像において、前記第１取得手順で取得した画像とは異なる画像を取得する第２取得手順（Ｓ２８０，Ｓ２９０）と
    　を含み、
    　前記第１特定手順及び前記第２特定手順は、前記第１取得手順で取得した各画像、及び前記第２取得手順で取得した各画像を、前記画像取得手順で取得した各画像とし、前記複数のカメラそれぞれの姿勢パラメータを特定する、
    　キャリブレーション方法。
  9. 　車両に搭載された複数のカメラ（１０）それぞれの姿勢パラメータを特定するキャリブレーション装置（２０）としてコンピュータを機能させるためのキャリブレーションプログラムであって、
    　前記複数のカメラは、前記車両の周辺に規定された互いに異なる領域で、かつ、互いの領域の一部が重複する重複領域を有した規定領域を撮影するように、前記車両に搭載され、
    　前記複数のカメラは、前記車両の前方を撮影する第１カメラ（１０Ａ）と、前記車両の右側方を撮影する第２カメラ（１０Ｂ）と、前記車両の後方を撮影する第３カメラ（１０Ｃ）と、前記車両の左側方を撮影する第４カメラ（１０Ｄ）とを含み、
    　前記コンピュータを、
    　前記複数のカメラそれぞれで撮影した各画像を取得する画像取得部（Ｓ１４０～Ｓ３５０）と、
    　形状及び大きさが既知である部材を撮影ターゲット（５０）とし、前記画像取得部で取得した各画像の前記重複領域に写り込んだ前記撮影ターゲットを射影変換し、変換結果が、前記撮影ターゲットの形状及び大きさに一致するように、前記複数のカメラそれぞれの姿勢パラメータのうち、当該カメラのレンズ中心軸周りの回転角を表すロール、当該カメラの水平軸周りの回転角を表すピッチ、及び、前記車両の車高方向に沿った座標である高さを特定する第１特定部（Ｓ３８０）と、
    　前記画像取得部で取得した各画像に写り込んだ前記撮影ターゲットの代表点を仮想的に接続した線分がリンクとして形成されており、互いに異なる画像の前記重複領域に写り込み、同一の地点に位置する前記撮影ターゲットの代表点を一致させた仮想リンク構造であって、当該仮想リンク構造における１つのリンク角が最小となるように、前記複数のカメラそれぞれの姿勢パラメータのうち、前記車両の全長方向に沿った座標であるｘ座標、前記車両の車幅方向に沿った座標であるｙ座標、及び前記車両の水平面と直交する軸周りの回転角を表すヨーを特定する第２特定部（Ｓ３９０）と、
    　して機能させ、
    　前記画像取得部は、
    　前記車両の前方に位置する前記撮影ターゲットを、前記第１カメラ、前記第２カメラ、及び前記第４カメラで撮影した画像を取得する第１取得部（Ｓ１６０，Ｓ１７０）と、
    　前記車両の後方に位置する前記撮影ターゲットを、前記第２カメラ、前記第３カメラ、及び前記第４カメラで撮影した各画像において、前記第１取得部で取得した画像とは異なる画像を取得する第２取得部（Ｓ２８０，Ｓ２９０）と、
    　を有し、
    　前記第１特定部及び前記第１特定部は、前記第１取得部で取得した各画像、及び前記第２取得部で取得した各画像を、前記画像取得部で取得した各画像とし、前記複数のカメラそれぞれの姿勢パラメータを特定する、
    　キャリブレーションプログラム。
PCT/JP2016/070939 2015-08-05 2016-07-15 キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム WO2017022452A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112016003549.7T DE112016003549T5 (de) 2015-08-05 2016-07-15 Kalibrierungsvorrichtung, kalibrierungsverfahren und kalibrierungsprogramm
CN201680045014.2A CN107852482B (zh) 2015-08-05 2016-07-15 校准装置、校准方法以及计算机能够读取的记录介质
US15/749,908 US10546380B2 (en) 2015-08-05 2016-07-15 Calibration device, calibration method, and non-transitory computer-readable storage medium for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-155037 2015-08-05
JP2015155037A JP6413974B2 (ja) 2015-08-05 2015-08-05 キャリブレーション装置、キャリブレーション方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2017022452A1 true WO2017022452A1 (ja) 2017-02-09

Family

ID=57942931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070939 WO2017022452A1 (ja) 2015-08-05 2016-07-15 キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム

Country Status (5)

Country Link
US (1) US10546380B2 (ja)
JP (1) JP6413974B2 (ja)
CN (1) CN107852482B (ja)
DE (1) DE112016003549T5 (ja)
WO (1) WO2017022452A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074302A1 (ja) * 2016-10-17 2018-04-26 株式会社デンソー 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
CN110443854A (zh) * 2019-08-05 2019-11-12 兰州交通大学 基于固定靶标的无公共视场相机间相对位姿标定方法
CN112446904A (zh) * 2019-08-30 2021-03-05 西安诺瓦星云科技股份有限公司 图像对齐方法、装置和系统
US11394951B2 (en) * 2019-01-23 2022-07-19 Hanwha Techwin Co., Ltd. Image sensor module

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10911745B2 (en) * 2016-12-28 2021-02-02 Texas Instruments Incorporated Calibration of a surround view camera system
DE102018206190A1 (de) * 2018-04-23 2019-10-24 Robert Bosch Gmbh Verfahren zur Detektion einer Anordnung von zumindest zwei Kameras eines Multi-Kamerasystems einer mobilen Trägerplattform zueinander und Verfahren zur Detektion einer Anordnung der Kamera zu einem Objekt außerhalb der mobilen Trägerplattform
DE102018208512A1 (de) * 2018-05-29 2019-12-05 Siemens Aktiengesellschaft Kalibrierungsverfahren und Kalibrierungssystem für eine Bahnfahrzeugkamera und Bahnfahrzeug mit Bahnfahrzeugkamera
JP7098493B2 (ja) * 2018-09-25 2022-07-11 本田技研工業株式会社 センサ軸調整方法
JP7251310B2 (ja) * 2019-05-22 2023-04-04 株式会社Ｊｖｃケンウッド カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
JP7243478B2 (ja) * 2019-06-24 2023-03-22 トヨタ自動車株式会社 車両用情報記録装置
CN110296691B (zh) * 2019-06-28 2020-09-22 上海大学 融合imu标定的双目立体视觉测量方法与系统
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
KR102277828B1 (ko) * 2019-08-13 2021-07-16 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
CN113379834B (zh) * 2021-06-29 2024-08-06 深圳中科飞测科技股份有限公司 检测设备的校准方法、装置、设备及计算机可读存储介质
KR20240030098A (ko) * 2022-08-29 2024-03-07 현대자동차주식회사 차량 및 차량의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009294109A (ja) * 2008-06-05 2009-12-17 Fujitsu Ltd キャリブレーション装置
JP2011107990A (ja) * 2009-11-17 2011-06-02 Fujitsu Ltd キャリブレーション装置
JP2013129278A (ja) * 2011-12-21 2013-07-04 Alpine Electronics Inc 画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム
JP2013187564A (ja) * 2012-03-05 2013-09-19 Fujitsu Ltd パラメータ算出方法、情報処理装置及びプログラム
JP2014048803A (ja) * 2012-08-30 2014-03-17 Denso Corp 画像処理装置、及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100566406C (zh) * 2005-02-15 2009-12-02 松下电器产业株式会社 周边监视装置和周边监视方法
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
US8004394B2 (en) * 2006-11-07 2011-08-23 Rosco Inc. Camera system for large vehicles
DE102009055776A1 (de) * 2009-11-25 2011-05-26 Conti Temic Microelectronic Gmbh Verfahren zur Schätzung des Rollwinkels in einem fahrenden Fahrzeug
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
TW201226237A (en) * 2010-12-16 2012-07-01 Weltrend Semiconductor Inc Calibration circuit for automatically calibrating a view image around a car and method thereof
WO2013038506A1 (ja) * 2011-09-13 2013-03-21 トヨタ自動車株式会社 車載カメラの光軸把握装置
JP6009894B2 (ja) * 2012-10-02 2016-10-19 株式会社デンソー キャリブレーション方法、及びキャリブレーション装置
US9723272B2 (en) * 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
CN103200392A (zh) * 2013-03-29 2013-07-10 天津大学 一种基于视角变换的车载视频稳像方法
JP6349637B2 (ja) * 2013-07-11 2018-07-04 株式会社デンソー 車両用画像合成装置
JP6277652B2 (ja) 2013-09-30 2018-02-14 株式会社デンソー 車両周辺画像表示装置及びカメラの調整方法
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
DE112014006597T5 (de) * 2014-04-17 2017-04-06 Mitsubishi Electric Corporation Fahrzeugmontierte Vorrichtung
US20160191795A1 (en) * 2014-12-30 2016-06-30 Alpine Electronics, Inc. Method and system for presenting panoramic surround view in vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009294109A (ja) * 2008-06-05 2009-12-17 Fujitsu Ltd キャリブレーション装置
JP2011107990A (ja) * 2009-11-17 2011-06-02 Fujitsu Ltd キャリブレーション装置
JP2013129278A (ja) * 2011-12-21 2013-07-04 Alpine Electronics Inc 画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム
JP2013187564A (ja) * 2012-03-05 2013-09-19 Fujitsu Ltd パラメータ算出方法、情報処理装置及びプログラム
JP2014048803A (ja) * 2012-08-30 2014-03-17 Denso Corp 画像処理装置、及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074302A1 (ja) * 2016-10-17 2018-04-26 株式会社デンソー 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
US11394951B2 (en) * 2019-01-23 2022-07-19 Hanwha Techwin Co., Ltd. Image sensor module
CN110443854A (zh) * 2019-08-05 2019-11-12 兰州交通大学 基于固定靶标的无公共视场相机间相对位姿标定方法
CN112446904A (zh) * 2019-08-30 2021-03-05 西安诺瓦星云科技股份有限公司 图像对齐方法、装置和系统
CN112446904B (zh) * 2019-08-30 2024-04-09 西安诺瓦星云科技股份有限公司 图像对齐方法、装置和系统

Also Published As

Publication number Publication date
JP6413974B2 (ja) 2018-10-31
JP2017032483A (ja) 2017-02-09
CN107852482A (zh) 2018-03-27
US20180232893A1 (en) 2018-08-16
US10546380B2 (en) 2020-01-28
DE112016003549T5 (de) 2018-04-19
CN107852482B (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
WO2017022452A1 (ja) キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
EP3096286B1 (en) Image processing apparatus, image processing method, and computer program product
JP5958366B2 (ja) 車載画像処理装置
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
EP2736013A2 (en) Calibration of multiple cameras on a moving object
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
JP2006071471A (ja) 移動体高さ判別装置
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
US20170259830A1 (en) Moving amount derivation apparatus
WO2015125299A1 (ja) 自己位置算出装置及び自己位置算出方法
JP5783567B2 (ja) 直線検出装置、直線検出方法、直線検出プログラム及び撮影システム
JPWO2018042954A1 (ja) 車載カメラ、車載カメラの調整方法、車載カメラシステム
JP5858773B2 (ja) ３次元計測方法、３次元計測プログラム及びロボット装置
JP6536529B2 (ja) 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
JP6407596B2 (ja) 画像処理装置、及び、運転支援システム
JP7380443B2 (ja) 部分画像生成装置及び部分画像生成用コンピュータプログラム
JP5648159B2 (ja) ３次元相対座標計測装置およびその方法
JP7311407B2 (ja) 姿勢推定装置、および、姿勢推定方法
JP5425500B2 (ja) キャリブレーション装置およびキャリブレーション方法
WO2021111531A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP4026641B2 (ja) 物体検出装置、および物体検出方法
CN110570680A (zh) 利用地图信息确定对象位置的方法和系统
JP2017112566A (ja) パラメータ特定装置
JP6244926B2 (ja) 車載カメラパラメータ生成装置およびプログラム
JP4040620B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16832731

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15749908

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112016003549

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16832731

Country of ref document: EP

Kind code of ref document: A1