[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2016114015A1 - 撮像制御装置、撮像制御方法及びプログラム - Google Patents

撮像制御装置、撮像制御方法及びプログラム Download PDF

Info

Publication number
WO2016114015A1
WO2016114015A1 PCT/JP2015/083254 JP2015083254W WO2016114015A1 WO 2016114015 A1 WO2016114015 A1 WO 2016114015A1 JP 2015083254 W JP2015083254 W JP 2015083254W WO 2016114015 A1 WO2016114015 A1 WO 2016114015A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
infrared
setting
infrared image
wavelength
Prior art date
Application number
PCT/JP2015/083254
Other languages
English (en)
French (fr)
Inventor
拓郎 川合
昌俊 横川
敏之 佐々木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2016569246A priority Critical patent/JP6743708B2/ja
Priority to US15/540,179 priority patent/US10609301B2/en
Publication of WO2016114015A1 publication Critical patent/WO2016114015A1/ja
Priority to US16/792,446 priority patent/US11831999B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Definitions

  • the present disclosure relates to an imaging control device, an imaging control method, and a program.
  • images captured by an infrared camera have been used for driving support and other purposes.
  • a relatively clear image can be obtained even under poor conditions such as nighttime or bad weather by imaging using near infrared rays or short wavelength infrared rays.
  • a near-infrared or short-wavelength infrared image is captured by receiving reflected infrared light emitted from a camera (see, for example, Patent Document 1).
  • Patent Document 1 restricts the polarization direction of infrared rays emitted from individual infrared cameras to a predetermined direction and receives only reflected light in the polarization direction. Has proposed. However, in reality, it is only possible to avoid competition between at most two to three infrared cameras only by limiting the polarization direction.
  • the technology according to the present disclosure aims to realize a mechanism for effectively avoiding imaging competition in a scene where a large number of infrared cameras perform imaging.
  • an image acquisition unit that acquires an infrared image generated by capturing reflected infrared reflected light with an infrared camera, and transmitted to or from another device via a communication interface
  • an imaging control device comprising: a control unit that controls settings for generating the infrared image based on a received control parameter.
  • an infrared image generated by capturing reflected infrared light with an infrared camera is acquired and transmitted to another device via a communication interface or from another device.
  • An imaging control method comprising: controlling settings for generating the infrared image based on received control parameters.
  • the computer transmits the reflected infrared light to the other device via the communication interface and the image acquisition unit that acquires the infrared image generated by imaging the reflected infrared light with the infrared camera.
  • the image acquisition unit that acquires the infrared image generated by imaging the reflected infrared light with the infrared camera.
  • a program for functioning as a control unit that controls settings for generating the infrared image based on control parameters received from another device is provided.
  • FIG. 9 is a flowchart illustrating a first example of a flow of setting selection processing illustrated in FIG. 8.
  • FIG. 9 is a flowchart illustrating a second example of the flow of setting selection processing illustrated in FIG. 8.
  • FIG. 10 is a flowchart illustrating a third example of the flow of setting selection processing illustrated in FIG. 8.
  • FIG. 1 is an explanatory diagram for explaining various uses of an infrared (IR) image depending on a wavelength.
  • the horizontal direction in FIG. 1 corresponds to the wavelength of infrared rays, and the wavelength increases from left to right.
  • Light having a wavelength of 0.7 ⁇ m or less is visible light, and human vision senses this visible light.
  • Infrared rays having a wavelength in the range of 0.7 ⁇ m to 1.0 ⁇ m are classified as near infrared rays (NIR).
  • NIR near infrared rays
  • Near-infrared light can be used, for example, for night vision, fluoroscopy, optical communication and ranging.
  • Infrared rays having a wavelength in the range of 1.0 ⁇ m to 2.5 ⁇ m are classified as short wavelength infrared rays (SWIR). Short wavelength infrared is also available for night vision and fluoroscopy.
  • a night vision apparatus using near infrared rays or short wavelength infrared rays first irradiates the vicinity with infrared rays, and receives the reflected light to obtain an infrared image.
  • Infrared light having a wavelength in the range of 2.5 ⁇ m to 4.0 ⁇ m is classified as medium wavelength infrared (MWIR). Since a substance-specific absorption spectrum appears in the wavelength range of the medium wavelength infrared, the medium wavelength infrared can be used for identification of the substance.
  • MWIR medium wavelength infrared
  • Medium wavelength infrared can also be used for thermography.
  • Infrared rays having a wavelength of 4.0 ⁇ m or more are classified as far infrared rays (FIR).
  • FIR far infrared rays
  • Far infrared can be utilized for night vision, thermography and heating.
  • Infrared rays emitted by black body radiation from an object correspond to far infrared rays. Therefore, a night vision apparatus using far infrared rays can obtain an infrared image by capturing black body radiation from an object without irradiating infrared rays.
  • the boundary values of the wavelength range shown in FIG. 1 are merely examples.
  • Various definitions exist for the boundary value of the infrared classification, and the advantages described below of the technology according to the present disclosure can be enjoyed under any definition.
  • NIR or SWIR is used for obtaining a clear image under poor conditions such as nighttime or bad weather.
  • One of its typical applications is in-vehicle devices, and NIR or SWIR images provide the driver with a complementary view such as night view, back view or surround view.
  • the NIR or SWIR image can also be used to recognize a pedestrian or a subject that may include an object such as a road sign or an obstacle and present driving assistance information to the driver.
  • an infrared camera that captures an NIR or SWIR image irradiates the vicinity with infrared rays during imaging.
  • Patent Document 1 restricts the polarization direction of infrared rays emitted from individual infrared cameras to a predetermined direction and receives only reflected light in the polarization direction. Has proposed.
  • the polarization direction of the infrared rays radiated forward by two opposing vehicles is both set to 45 degrees diagonally to the right (from the respective viewpoints)
  • the polarization direction of the irradiation light is 45 degrees diagonally to the left from the viewpoint of the oncoming vehicle That is, the polarization directions of the irradiation light from the two vehicles are orthogonal to each other. Therefore, only the infrared rays having a desired polarization direction (in the above example, 45 degrees to the right) are passed through the optical filter and imaged, so that the influence of disturbance caused by the irradiation light from the oncoming vehicle can be eliminated.
  • such a technique can only achieve avoidance of competition between at most two to three infrared cameras. In reality, there are many vehicles on the road, and imaging may compete between these vehicles.
  • FIG. 2 is an explanatory diagram for explaining a situation in which imaging competition occurs in the use of the in-vehicle device.
  • FIG. 2 as an example, one road extending in the north-south direction and two roads extending in the east-west direction are depicted, and the vehicle 10a exists on the road in the north-south direction.
  • the vehicle 10a irradiates infrared rays toward the angle of view 12a, and images the reflected light with an infrared camera.
  • the imaging of infrared images by the vehicles 10a, 10b, 10c, and 10d competes with each other.
  • the limitation of the polarization direction of infrared rays cannot properly separate the imaging by such many devices.
  • the present specification proposes a mechanism for effectively avoiding imaging competition in a scene where a large number of infrared cameras perform imaging.
  • an imaging control device 100 as an in-vehicle device will be described.
  • the imaging control apparatus 100 has a configuration partially specialized for mounting on a vehicle, the application of the technology according to the present disclosure is not limited to such an example.
  • the technology according to the present disclosure can be applied not only to in-vehicle devices but also to infrared image capturing by devices such as smartphones, portable game machines, digital cameras, surveillance cameras, and broadcast cameras.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of the imaging control apparatus 100 according to the first embodiment.
  • the imaging control apparatus 100 includes a camera module 101, a sensor module 105, an input interface 106, a memory 108, a display 110, a communication interface 112, a vehicle network (NW) interface 113, a storage 114, a bus 116, and a processor 118. Is provided.
  • NW vehicle network
  • the camera module 101 is a module that images a subject in the NIR area or the SWIR area.
  • the camera module 101 includes a light emitter 102 that irradiates an infrared ray having a wavelength belonging to a certain irradiation wavelength region in a direction of an angle of view, and an imaging element that senses an infrared ray of a target wavelength (classified as a near infrared ray or a short wavelength infrared ray).
  • Array 103 may further include an optical filter 104 that is disposed in front of the imaging element array 103 and blocks light having a wavelength outside the passband. In an embodiment described later, the optical filter 104 is a variable filter having a variably controlled pass band.
  • the camera module 101 generates infrared images by, for example, irradiating infrared rays from the light emitter 102 in response to a trigger such as user input or periodically, and capturing infrared rays reflected on the subject or its background.
  • a series of infrared images generated by the camera module 101 can constitute a video.
  • the camera module 101 may further include an image sensor array for capturing a visible light image.
  • the sensor module 105 is a module having a sensor group that may include a positioning sensor, an acceleration sensor, a depth sensor, and the like.
  • the positioning sensor is, for example, based on a GPS signal from a GPS (Global Positioning System) satellite or a wireless signal from a wireless access point, or a current position of the camera module 101 (or a current position of a vehicle in which the imaging control device 100 is mounted).
  • the acceleration sensor measures triaxial acceleration applied to the camera module 101 (or vehicle).
  • the depth sensor measures a distance (that is, depth) to a subject existing within the angle of view of the camera module 101.
  • the sensor data generated in the sensor module 105 can be used for imaging control described later.
  • the input interface 106 is used for a user to operate the imaging control apparatus 100 or input information to the imaging control apparatus 100.
  • the input interface 106 may include an input device such as a touch sensor, a keypad, a button, or a switch, for example.
  • the input interface 106 may include a microphone for voice input and a voice recognition module.
  • the input interface 106 may also include a remote control module that receives commands selected by the user from the remote device.
  • the memory 108 is a storage medium that can include a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the memory 108 is coupled to the processor 118 and stores programs and data for processing executed by the processor 118.
  • the display 110 is a display module having a screen for displaying an image.
  • the display 110 may be, for example, an LCD (Liquid Crystal Display), an OLED (Organic light-Emitting Diode), or a CRT (Cathode Ray Tube).
  • the communication interface 112 is a module that mediates communication between the imaging control device 100 and other devices.
  • the communication interface 112 establishes a communication connection according to an arbitrary wireless communication protocol.
  • the vehicle NW interface 113 is a module that mediates communication with the vehicle network of the vehicle on which the imaging control apparatus 100 is mounted.
  • the vehicle NW interface 113 is connected to a vehicle network through a terminal (not shown), and acquires data generated on the vehicle side such as vehicle speed data and steering angle (steering angle) data.
  • the storage 114 is a storage device that stores image data and stores a database used in control processing executed by the imaging control apparatus 100.
  • the storage 114 contains a storage medium such as a semiconductor memory or a hard disk. Note that the program and data described in this specification may be acquired from a data source external to the imaging control apparatus 100 (for example, a data server, a network storage, or an external memory).
  • Bus The bus 116 connects the camera module 101, the sensor module 105, the input interface 106, the memory 108, the display 110, the communication interface 112, the vehicle NW interface 113, the storage 114, and the processor 118 to each other.
  • the processor 118 is a processing module such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor).
  • the processor 118 executes a function stored in the memory 108 or another storage medium, thereby operating a function to be described later for avoiding an imaging conflict with another device located in the vicinity.
  • FIG. 4 is an explanatory diagram for explaining an example of a configuration of a logical function that is realized when the components of the imaging control apparatus 100 illustrated in FIG. 3 are linked to each other.
  • two imaging control devices 100 are shown, and these imaging control devices 100 communicate with each other via a communication interface 112.
  • Such communication between in-vehicle devices is referred to as inter-vehicle communication or V2V (Vehicle-to-Vehicle) communication.
  • V2V Vehicle-to-Vehicle
  • FIG. 4 shows communication between the in-vehicle devices 100 are shown in FIG. 4, in the present embodiment, more devices are actually involved in V2V communication. Note that communication between the in-vehicle devices does not necessarily have to be performed via a direct communication link between the two in-vehicle devices.
  • a relay device set on the road side may relay a communication signal, or a certain in-vehicle device may relay a communication signal between two other in-vehicle devices.
  • Each of the imaging control devices 100 includes an image acquisition unit 120, an application unit 130, a setting database (DB) 140, and an imaging control unit 150.
  • DB setting database
  • the image acquisition unit 120 acquires an infrared image generated by imaging the reflected infrared light emitted from the light emitter 102 in the camera module 101 with the image sensor array 103. Then, the image acquisition unit 120 outputs the acquired image to the application unit 130.
  • the image acquisition unit 120 may perform preliminary processing such as image signal amplification, demosaicing, noise removal, and wavelength component separation on the infrared image.
  • FIG. 5A and 5B are explanatory diagrams for explaining an irradiation wavelength range and a target wavelength related to an infrared image acquired by the image acquisition unit 120.
  • the horizontal axis represents the wavelength of infrared rays
  • the vertical axis represents the sensitivity of the image sensor.
  • the dotted line graph represents wavelengths that can be selected in the camera module 101.
  • the camera module 101 can irradiate infrared rays of an arbitrary combination of nine types of wavelengths r1 to r9, and image the reflected light of the irradiated infrared rays.
  • FIG. 1 the first example of FIG.
  • the camera module 101 irradiates infrared radiation wavelength range H 1 centered on the wavelength r2 drawn on a thick solid line, captured by the image sensor array having a sensitivity peak wavelength r2 I do.
  • the target wavelength in this case is the wavelength r2, and infrared rays having a wavelength other than the target wavelength can be blocked by the optical filter in the camera module 101.
  • the camera module 101 irradiates infrared composite radiation wavelength range H 2 including a wavelength r2, r3 and r4 drawn by a thick solid line, respectively to the wavelength r2, r3 and r4 Imaging is performed with a plurality of imaging element arrays having sensitivity peaks.
  • the image acquisition unit 120 performs signal processing (typically, filter operation for color separation) for separating the component of the wavelength r2 from the original image captured at the wavelengths r2, r3, and r4, An infrared image of wavelength r2 is generated.
  • the target wavelength is the wavelength r2, but the components of the infrared rays having the wavelengths r3 and r4 are removed from the infrared image by the signal processing described above without being blocked by the optical filter.
  • the setting of the infrared irradiation wavelength region and the target wavelength of the infrared image is controlled by the imaging control unit 150 described later.
  • the imaging timing of the infrared image and the infrared irradiation intensity can also be controlled by the imaging control unit 150.
  • the application unit 130 executes an application function using an infrared image input from the image acquisition unit 120.
  • the application function executed by the application unit 130 may be a driving assistance function such as ADAS (Advanced Driver Assistance Systems).
  • ADAS Advanced Driver Assistance Systems
  • the application unit 130 detects a pedestrian or an object (such as another vehicle) based on the infrared image input from the image acquisition unit 120, notifies a collision warning, or displays parking support information on the screen. Can be presented to the user.
  • the application unit 130 may display the input infrared image as it is on the screen of the display 110, or may store it in the storage 114 after compression encoding or without compression.
  • the setting DB 140 is a database that stores various data used by the imaging control unit 150 to control imaging-related settings.
  • the data stored by the setting DB 140 includes, for example, setting candidate information indicating setting candidates (also referred to as capabilities) that can be selected in the camera module 101, and current setting information indicating setting contents of the camera module 101 at that time. May be included.
  • the setting DB 140 can store neighboring device information acquired through information exchange with the neighboring device via the communication interface 112.
  • the neighboring device information can include, for example, each identifier, setting candidate information, current setting information, position information, and speed information of the neighboring device.
  • the imaging control unit 150 uses control parameters that are transmitted to or received from other devices via the communication interface 112 in order to avoid imaging competition among the plurality of devices. Based on this, the setting for generating the infrared image is controlled.
  • the other device may be another imaging control device 100 (referred to as a neighboring device in the following description) that exists in the vicinity of the camera module 101.
  • the control performed by the imaging control unit 150 includes wavelength separation type control or time separation type control.
  • the imaging control unit 150 controls the infrared irradiation wavelength range and the target wavelength of the infrared image.
  • the imaging control unit 150 controls the imaging timing of the infrared image.
  • a combination of wavelength-separated control and time-separated control is also possible.
  • the imaging control unit 150 can also control the irradiation intensity of infrared rays.
  • the irradiation wavelength range H neighbor selected by the neighboring device is indicated by the control parameter received from the neighboring device.
  • the image acquisition unit 120 acquires an infrared image generated at the target wavelength r local .
  • the target wavelength r local belongs to the irradiation wavelength region H local .
  • the imaging control unit 150 is configured so that the influence on the infrared image acquired by the image acquisition unit 120 due to the irradiation light in the irradiation wavelength range H neighbor is reduced.
  • a target wavelength r local for imaging is selected.
  • the target wavelength r local to be selected is a wavelength that is not included in the irradiation wavelength range H neighbor .
  • the control parameter received from the neighboring device may further indicate a target wavelength r neighbor for generating an infrared image in the neighboring device.
  • the imaging control part 150 selects the irradiation wavelength range Hlocal for the imaging in an own apparatus so that the influence resulting from the irradiation wavelength range Hlocal on the infrared image produced
  • the irradiation wavelength range H local that is selected is a wavelength that does not include the target wavelength r neighbor .
  • the imaging control unit 150 sets the selected irradiation wavelength range H local and target wavelength r local in the camera module 101.
  • the imaging control unit 150 sets the variable filter so that the pass band includes the selected target wavelength r local .
  • the imaging control unit 150 may select the selected target wavelength r local .
  • the image acquisition unit 120 is set so that the components are extracted from the original image.
  • the imaging control unit 150 transmits a control parameter indicating the irradiation wavelength range H local and the target wavelength r local selected by the imaging control unit 150 to the neighboring device.
  • FIG. 6A is an explanatory diagram for explaining the wavelength separation type control.
  • four vehicles V11, V12, V13, and V14 located in the vicinity of each other are shown, and imaging competition among these vehicles is avoided by the wavelength separation type control.
  • the infrared camera of the vehicle V11 emits infrared rays including wavelengths r1 and r2, and generates an infrared image at the target wavelength r2.
  • the infrared camera of the vehicle V12 emits infrared rays including wavelengths r4 and r5, and generates an infrared image at the target wavelength r4.
  • the infrared camera of the vehicle V13 emits infrared rays including wavelengths r8 and r9, and generates an infrared image at the target wavelength r8.
  • the infrared camera of the vehicle V14 emits infrared rays including wavelengths r6 and r7, and generates an infrared image at the target wavelength r6. In this way, by selecting different irradiation wavelength ranges and target wavelengths between neighboring devices, it is possible to avoid irradiation light from one device acting as a disturbance for an image picked up by another device. .
  • the imaging timing T neighbor selected by the neighboring device is indicated by a control parameter received from the neighboring device.
  • the image acquisition unit 120 acquires an infrared image generated by imaging the reflected infrared light emitted at the imaging timing T local .
  • These imaging timings can be expressed by, for example, a time offset and period (or a number given to a time slot) from a predetermined time reference.
  • the imaging control unit 150 selects the imaging timing T local so that the imaging timing T neighbor and the imaging timing T local do not interfere with each other, and sets the selected imaging timing T local in the camera module 101. To do.
  • the imaging control unit 150 transmits a control parameter indicating the imaging timing T local selected by itself to the neighboring device.
  • FIG. 6B is an explanatory diagram for explaining time-separated control.
  • four vehicles V21, V22, V23, and V24 that are located in the vicinity of each other are shown, and imaging competition among these vehicles is avoided by time-separated control.
  • the infrared camera of the vehicle V21 generates an infrared image at the target wavelength r1 in the time slot TS01.
  • the infrared camera of the vehicle V22 generates an infrared image at the target wavelength r1 in a time slot TS02 following the time slot TS01.
  • the infrared camera of the vehicle V23 generates an infrared image at the target wavelength r1 in a time slot TS03 following the time slot TS02.
  • the infrared camera of the vehicle V24 generates an infrared image at the target wavelength r1 in a time slot TS04 following the time slot TS03.
  • the degree of separation that can be achieved in time-separated control is in a trade-off relationship with the frame rate of the video, It also depends on the performance of time synchronization between devices. Time synchronization between devices may be performed according to any synchronization technique in existing communication protocols.
  • FIG. 6C is an explanatory diagram for explaining a combination of wavelength separation type control and time separation type control.
  • imaging competition is avoided among the four vehicles V31, V32, V33, and V34.
  • the infrared camera of the vehicle V31 generates an infrared image at the target wavelength r1
  • the infrared camera of the vehicle V32 generates an infrared image at the target wavelength r3.
  • the infrared camera of the vehicle V33 generates an infrared image at the target wavelength r2
  • the infrared camera of the vehicle V34 generates an infrared image at the target wavelength r4.
  • the infrared camera of the vehicle V31 In a time slot TS13 following the time slot TS12, the infrared camera of the vehicle V31 generates an infrared image again at the target wavelength r1, and the infrared camera of the vehicle V32 generates an infrared image again at the target wavelength r3.
  • the number of separable devices reaches the product of the number of selectable wavelength candidates and the number of imaging timing candidates.
  • the NIR region and the SWIR region can be decomposed into the number of target wavelength candidates well above 10 although it depends on required performance and restrictions on the manufacturing cost of the apparatus.
  • FIG. 6D is an explanatory diagram for describing space-separated control.
  • the position data and velocity data of the neighboring device are indicated by control parameters received from the neighboring device.
  • the position and speed of the device itself are measured by the sensor module 105 or indicated by data acquired via the vehicle NW interface 113.
  • the imaging control unit 150 selects the infrared irradiation intensity of the camera module 101 so that the influence caused by the infrared irradiation from the camera module 101 on the infrared image generated by the nearby device is reduced. For example, in the example of FIG.
  • the initial infrared irradiation intensity of the vehicle 10d is set to a level at which the irradiation light reaches the position of the vehicle 10b.
  • the target wavelength set for the infrared camera of the vehicle 10d and the target wavelength set for the infrared camera of the vehicle 10b are both wavelengths r1.
  • the imaging control apparatus 100 of the vehicle 10d determines from the position data and speed data of both apparatuses that the infrared irradiation from the own apparatus may have a significant adverse effect on the vehicle 10b in such a situation. Reduce infrared irradiation intensity (see arrows in the figure). As a result, the influence of infrared irradiation light from the vehicle 10d on the infrared image captured by the vehicle 10b is reduced.
  • the imaging controller 150 may further employ separation in the polarization direction.
  • the imaging control unit 150 determines the polarization direction selected by the neighboring device from the control parameter received from the neighboring device, selects a polarization direction that does not overlap with the determined polarization direction of the neighboring device, and selects the selected polarization.
  • the direction can be set to the camera module 101.
  • the function of the imaging control unit 150 has been described from the viewpoint of how the devices can be separated from each other in order to avoid competition of infrared image capturing by a plurality of devices.
  • description will be given from the viewpoint of which device preferentially confirms the setting.
  • the imaging control unit 150 specifies a setting for an infrared image generated by a neighboring device having a higher setting priority than the own device based on a control parameter received via the communication interface 112. If so, a setting at least partially different from the setting of the neighboring device is selected for generation of an infrared image acquired by the image acquisition unit 120. In addition, the imaging control unit 150 uses a setting that is at least partially different from the setting for the infrared image acquired by the image acquisition unit 120 in a neighboring device having a lower setting priority than the own device. A control parameter specifying the setting is transmitted via the communication interface 112.
  • the imaging control unit 150 may determine the setting priority based on the setting freedom of each device.
  • the setting degree of freedom is specified by setting candidate information exchanged between apparatuses. Typically, a device with a higher degree of freedom of setting is given a lower setting priority because it has more room for selecting other settings while avoiding settings selected by other devices.
  • the degree of freedom of setting here corresponds to the number of setting candidates that a certain apparatus can select for generating an infrared image. For example, referring again to FIG. 5A, in the wavelength separation type control, the vehicle V11 can select nine types of target wavelengths, so the degree of freedom of setting of the vehicle V11 is equal to 9. Similarly, the setting degrees of freedom of the vehicles V12, V13 and V14 are equal to 3, 9 and 5, respectively.
  • the highest setting priority is given to the vehicle V12, and the next highest setting priority is given to the vehicle V14.
  • the setting priority of these vehicles can be adjusted based on an index other than the setting degree of freedom so that a difference occurs in the priority.
  • the index other than the setting degree of freedom may include, for example, a setting change risk described later.
  • a device that has previously declared that a specific setting has been selected may be given priority (i.e., a criteria for first-come-first-served basis).
  • the setting priority may be adjusted based on the positional relationship between the devices such as the lane, the traveling direction, or the front / rear.
  • the imaging control unit 150 may determine the setting priority based on a setting change risk depending on the moving speed or position of each device.
  • changes in the wavelength of interest or imaging timing can be a risk factor leading to temporary disturbances in the infrared image. Therefore, it is desirable not to frequently change settings such as the target wavelength or the imaging timing in an apparatus in which the safety of traveling of the vehicle is more important. Therefore, for example, the imaging control unit 150 evaluates the setting change risk of a device having a higher moving speed or a device located near a place with a high probability of occurrence of an accident (for example, an intersection or a curve) and sets the higher risk. Give higher setting priority to devices with higher risk of change.
  • the moving speed of the apparatus may be a speed measured at a single time point, or may be an average value of speeds measured a plurality of times.
  • the setting priority of the devices having the same setting change risk is based on an index other than the setting change risk (for example, the above-described setting freedom, lane, traveling direction, etc.
  • the criteria for first-come-first-served basis may be adopted). Can be adjusted.
  • the imaging control unit 150 compares the setting priority with each other in a group of dynamically selected devices. For example, the imaging control unit 150 detects one or more nearby devices via the communication interface 112. The detection of the neighboring device may be performed according to some existing technique such as reception of a broadcast signal transmitted from the neighboring device or reception of a response signal to the search signal transmitted from the communication interface 112. Next, the imaging control unit 150 selects at least one neighboring device that should avoid competition based on the relative positional relationship between the camera module 101 and the detected one or more neighboring devices.
  • the imaging control unit 150 uses the wavelength separation type, the time separation type, or the time separation type for generating the infrared image described above so that a setting that is at least partially different from that of the selected at least one neighboring device is used. Control in combination of them is executed.
  • FIG. 7 is an explanatory diagram for explaining an example of selection of neighboring devices based on a relative positional relationship.
  • two concentric circles centered on the current position of the vehicle 10a are drawn, and the inner circle is divided into four sections 31, 32, 33 and 34 between the inner circle and the outer circle.
  • the annular portion is divided into four compartments 35, 36, 37 and 38, respectively.
  • the imaging control unit 150 repeats selection of neighboring devices in order from the neighboring device located in the section with the smaller selection order value until the number of selected devices exceeds a predefined threshold.
  • the position of the neighboring device may be a position at the time when the position information is exchanged, or may be a position at a future time estimated in consideration of the speed information.
  • the threshold value may be fixedly defined.
  • the threshold value is dynamically set depending on the location (eg, the threshold value is larger at intersections), the degree of congestion (the threshold value is larger when congested), the degree of freedom of setting of the device, etc. Also good.
  • the threshold value is dynamically set depending on the location (eg, the threshold value is larger at intersections), the degree of congestion (the threshold value is larger when congested), the degree of freedom of setting of the device, etc. Also good.
  • a neighboring device that is a target of conflict avoidance based on such a positional relationship, a neighboring device that exists at a position where the irradiation light is likely to contribute as a disturbance is preferentially included in the target of conflict avoidance. Can do.
  • FIG. 7 assumes that the infrared camera of the vehicle 10a is directed forward, but for the side view camera, the smallest selection order is given to the side section, and the back view camera Can be given the smallest selection order in the rear compartment.
  • the imaging control unit 150 may determine the selection order in consideration of the orientation of the neighboring device in addition to the position of the neighboring device. Specifically, in the example of FIG. 7, the selection order “1” is selected for devices facing the vehicle 10 a among the neighboring devices located in the section 31, and the selection order “is selected for devices facing the same direction as the vehicle 10 a. 5 "may be given. Similarly, a selection order “2” may be given to a device facing the vehicle 10a among neighboring devices placed in the section 35, and a selection order “6” may be given to a device facing the same direction as the vehicle 10a.
  • FIG. 8 is a flowchart illustrating an example of the flow of imaging control processing according to the first embodiment.
  • the imaging control unit 150 detects one or more neighboring devices via the communication interface 112 (step S100).
  • the detection of neighboring devices is performed periodically, and the period may be the same as or different from the frame period of the video.
  • the imaging control unit 150 determines whether to update the imaging setting (step S110). For example, the imaging control unit 150 may detect any new nearby device, receive an update request from the nearby device, elapse of a predefined period from the previous update, or temporarily degrade the image quality of the infrared image. It can be determined that the imaging setting is updated using the condition as a trigger. If it is not determined that the imaging setting is to be updated, processing in steps S115 to S150 described later is skipped.
  • the imaging control unit 150 selects at least one neighboring device that should avoid conflict based on the relative positional relationship between the camera module 101 and the neighboring device (step S115). ). Typically, a plurality of neighboring devices are selected here as targets for conflict avoidance.
  • the imaging control unit 150 selects a setting related to imaging that is at least partially different from the setting used by the neighboring device selected as the target of conflict avoidance by executing a setting selection process described in detail later. (Step S120).
  • the imaging-related setting here includes one or more of an infrared irradiation wavelength range, an infrared image target wavelength, an infrared image imaging timing, and an infrared irradiation intensity.
  • the imaging control unit 150 reflects the setting selected as a result of the setting selection process on its own device (step S150). For example, the imaging control unit 150 can set the selected irradiation wavelength range and irradiation intensity in the light emitter 102 of the camera module 101. Further, the imaging control unit 150 can set the selected target wavelength in the optical filter 104 of the camera module 101 and can be set in the image acquisition unit 120. Further, the imaging control unit 150 can set the selected imaging timing in the camera module 101.
  • the imaging control unit 150 determines whether the imaging timing has arrived (step S155).
  • the imaging timing arrives, the light emitter 102 of the camera module 101 emits infrared rays in the set irradiation wavelength range (step S160), and the image sensor array 103 captures the original image (step S170).
  • the optical filter 104 of the camera module 101 can filter the infrared rays incident on the imaging element array 103 so as to pass only the infrared rays having the set target wavelength.
  • the image acquisition unit 120 acquires an infrared image of the set target wavelength through preliminary processing such as image signal amplification, demosaicing, noise removal, and wavelength component separation as necessary (step S180). Then, the image acquisition unit 120 outputs the acquired infrared image to the application unit 130 (step S190).
  • the infrared image output here is displayed on the screen by the application unit 130 and is input to an application function such as a driving support function or is encoded and stored. Thereafter, the flow returns to step S100, and the above-described processing is repeated.
  • FIG. 9A is a flowchart showing a first example of the flow of the setting selection process shown in step S120 of FIG.
  • the imaging control unit 150 exchanges the setting candidate information and other information with each of the neighboring devices (step S121).
  • the imaging control unit 150 determines the setting freedom for each device from the setting candidate information of the own device and the neighboring device, and determines the setting priority for each device based on the determined setting freedom (step). S124).
  • the imaging control unit 150 adjusts the setting priority for devices having the same setting degrees of freedom using information other than the setting candidate information (step S128).
  • the imaging control unit 150 determines whether the settings of all neighboring devices having a setting priority higher than that of the own device have been confirmed (step S131). If there is a neighboring device with a higher setting priority but an undefined setting, the imaging control unit 150 determines the setting of the neighboring device (step S133). For example, for a device in which only one type of selectable infrared wavelength is left, the one type of wavelength can be selected as the target wavelength of the device.
  • the imaging control unit 150 may receive a notification message for notifying the imaging setting of the neighboring device from the neighboring device via the communication interface 112, or in the vicinity of an instruction message instructing to use a specific imaging setting. You may transmit to an apparatus.
  • the imaging control unit 150 selects an imaging setting for the own device that is at least partially different from these settings (step S135). ). And the imaging control part 150 transmits the notification message which notifies the imaging setting selected for the own apparatus via the communication interface 112 to a nearby apparatus (step S137).
  • FIG. 9B is a flowchart showing a second example of the flow of the setting selection process shown in step S120 of FIG.
  • the imaging control unit 150 exchanges position information, speed information, and other information with each of neighboring devices (step S122).
  • the imaging control unit 150 determines a setting change risk for each device from the positions and speeds of the own device and neighboring devices, and determines a setting priority for each device based on the determined setting change risk (step) S125).
  • the imaging control unit 150 adjusts the setting priority for the devices having the same setting change risk using an index other than the setting change risk (step S128).
  • each device preferably chooses not to change its current setting if the same setting as the current setting is not used by a device with a higher setting priority. Thereby, the disturbance of the infrared image resulting from the change of setting can be prevented in advance.
  • FIG. 9C is a flowchart showing a third example of the flow of the setting selection process shown in step S120 of FIG.
  • the imaging control unit 150 exchanges setting candidate information, position information, speed information, and other information with each of the neighboring devices (step S123).
  • the imaging control unit 150 determines the degree of freedom of setting for each device from the setting candidate information of the own device and neighboring devices (step S126). Further, the imaging control unit 150 determines a setting change risk for each device from the positions and speeds of the own device and the neighboring device (step S127). Then, the imaging control unit 150 determines the setting priority for each device based on the setting freedom, the setting change risk, and other indicators (step S129). Subsequent processing in steps S131 to S137 may be the same as the processing described with reference to FIG. 9A, and therefore, redundant description is omitted here.
  • the setting priority may be determined using a different index depending on the application of the device.
  • the imaging control apparatus 100 controls a vehicle-mounted camera
  • the setting change risk is mainly used
  • the imaging control apparatus 100 controls a camera of a mobile device such as a smartphone
  • the setting freedom is mainly used.
  • the indicator may be dynamically switched.
  • the imaging control device 100 mounted on a certain vehicle performs inter-vehicle communication with the imaging control device 100 mounted on another vehicle, and imaging is performed based on information exchanged there. An example of avoiding the conflict is described.
  • a management server that centrally manages imaging-related settings for generating infrared images by a plurality of devices is introduced.
  • FIG. 10 is an explanatory diagram for explaining an example of a functional configuration of the imaging control system according to the second embodiment.
  • the imaging control system 1 includes a plurality of imaging control devices 200, an access point 300, and a management server 310.
  • the imaging control apparatus 200 communicates with the management server 310 via the communication interface 112 and the access point 300.
  • the access point 300 may be a relay device installed on the road side.
  • Such communication between the in-vehicle device and the roadside device (and the server ahead) is called road-to-vehicle communication or R2V (Roadside unit-to-Vehicle) communication.
  • the imaging control device 200 may also execute inter-vehicle communication with another imaging control device 200 via the communication interface 112. Although only two imaging control devices 200 are shown in FIG. 10, in the present embodiment, the imaging control system 1 actually includes more imaging control devices 200.
  • the hardware configuration of the imaging control apparatus 200 according to the second embodiment may be the same as the hardware configuration of the imaging control apparatus 100 described with reference to FIG.
  • Each of the imaging control devices 200 includes an image acquisition unit 120, an application unit 130, a setting DB 140, and an imaging control unit 250.
  • the imaging control unit 250 controls settings for generating an infrared image based on control parameters transmitted to and received from the management server 310 via the communication interface 112. Also in the present embodiment, any of the wavelength separation type control, the time separation type control, and the combination control of the wavelength separation type and the time separation type described in the previous section may be performed. However, the setting to be used in each device is determined by the management server 310. Then, the imaging control unit 250 selects the setting specified by the control parameter received from the management server 310 for generating an infrared image in the own device.
  • the imaging control unit 250 sends a setting request message for requesting assignment of a setting that does not conflict with other apparatuses via the communication interface 112.
  • the setting request message may include, for example, an identifier of the imaging control apparatus 200, setting candidate information, current setting information, position information, and speed information.
  • the setting candidate information indicates one or more setting candidates that can be selected for generating an infrared image in the imaging control apparatus 200.
  • the management server 310 When the setting request message is received from the imaging control device 200, the management server 310 does not conflict with a setting assigned to a neighboring device located in the vicinity of the imaging control device 200 (for example, a combination of the target wavelength and the imaging timing is set). At least partially different settings) are assigned to the imaging control device 200.
  • the imaging control unit 250 receives a response message or setting update message specifying the setting assigned to the imaging control apparatus 200 from the management server 310 via the communication interface 112. Then, the imaging control unit 250 determines one of the settings specified by the control parameters included in the received message (infrared irradiation wavelength region, infrared image target wavelength, infrared image imaging timing, and infrared irradiation intensity). Are reflected in the camera module 101 and the image acquisition unit 120.
  • the management server 310 includes a management database (DB) 320 and a control unit 330.
  • the management DB 320 stores device identifiers, selectable setting candidates, current settings, positions, and speeds for each of the plurality of imaging control devices 200 managed by the management server 310.
  • the control unit 330 updates the information in the management DB 320 with the latest information reported from the imaging control apparatus 200.
  • the control unit 330 When the above-described setting request message is received from the imaging control device 200, the control unit 330 displays all other devices under management, another device in a specific area where the imaging control device 200 is located, or FIG. A plurality of neighboring devices selected by the method described above are selected as conflict avoidance targets. In addition, the control unit 330 identifies a setting currently used by the selected existing device by referring to the management DB 320. Then, the control unit 330 assigns, to the imaging control device 200, a setting that is at least partially different from the setting used by the existing device among the setting candidates that can be selected by the imaging control device 200. As an example, as shown in FIG.
  • the control unit 330 requests another device to assign the setting.
  • the wavelength r3 can be assigned as the target wavelength.
  • unused time slots may be assigned as in the example of FIG. 6B or 6C.
  • the control unit 330 may assign a setting determined to be unused to a new device without changing the setting of the existing device in use.
  • the control unit 330 transmits a response message including a control parameter for specifying the setting assigned to the imaging control apparatus 200 to the imaging control apparatus 200.
  • the control unit 330 executes the setting selection process described with reference to FIGS. 9A to 9C for a group including an existing device and a new device, and sets each device in the order of setting priority. May be selected / reselected.
  • the control unit 330 transmits a setting update message for instructing the existing apparatus whose settings are to be updated to update the setting to the new apparatus.
  • the setting request message transmitted from the imaging control apparatus 200 may indicate a desired setting that the imaging control apparatus 200 desires to use.
  • the management server 310 can notify the requesting device of whether or not to permit the use of the desired setting in the response message, and the setting that is assigned instead if not permitted.
  • the control unit 330 is configured to allow redundant allocation to a plurality of devices (a specific target wavelength or a specific target wavelength) in preparation for a case where contention cannot be completely avoided due to a large number of devices.
  • Imaging timing, or a combination thereof may be defined in advance (hereinafter referred to as a default setting).
  • a default setting when the control unit 330 determines that the imaging competition cannot be completely avoided by the separation of the wavelength, time, or space, one or more devices (for example, the setting priority is relatively low).
  • Device is assigned the default settings described above. For example, in driving support applications, it is necessary to avoid assigning any setting to a device that requires assignment of settings (no image is taken) for safety reasons. It is beneficial to allow use.
  • the default setting may be used by the imaging control apparatus 200 during a period until the setting is assigned by the management server 310.
  • FIG. 11 is a flowchart illustrating an example of the flow of imaging control processing on the device side according to the second embodiment.
  • the imaging control unit 250 of the imaging control apparatus 200 performs new management periodically or when the connection with the connected management server is lost (for example, due to movement outside the management area).
  • a connection with the server 310 is tried (step S200).
  • the imaging control unit 250 sends a setting request message that may include an identifier, setting candidate information, current setting information, position information, and speed information of the imaging control device 200 to the management server 310. Transmit (step S205). While the connection with the management server 310 is maintained or the assigned setting is valid, the processes in steps S200 and S205 may be skipped.
  • the imaging control unit 250 waits for reception of a message from the management server 310 (step S240). Then, when a response message to the setting request message or a setting update message is received from the management server 310, the imaging control unit 250 receives the infrared irradiation wavelength range, the target wavelength of the infrared image, and the infrared image according to the received message. One or more of the imaging timing and the infrared irradiation intensity are set in the camera module 101 and the image acquisition unit 120 (step S250).
  • the imaging control unit 250 determines whether the imaging timing has arrived (step S255).
  • the imaging timing arrives, the light emitter 102 of the camera module 101 emits infrared rays in the set irradiation wavelength range (step S260), and the image sensor array 103 captures the original image (step S270).
  • the optical filter 104 of the camera module 101 can filter the infrared rays incident on the imaging element array 103 so as to pass only the infrared rays having the set target wavelength.
  • the image acquisition unit 120 acquires an infrared image of the set target wavelength as necessary through preliminary processing such as image signal amplification, demosaicing, noise removal, and wavelength component separation (step S280). Then, the image acquisition unit 120 outputs the acquired infrared image to the application unit 130 (step S290). Thereafter, the flow returns to step S200, and the above-described processing is repeated.
  • FIG. 12A is a flowchart illustrating a first example of the flow of server-side imaging control processing according to the second embodiment.
  • the imaging control process shown in FIG. 12A is triggered by reception of a setting request message from the imaging control apparatus 200 in the management server 310 (step S300).
  • the control unit 330 of the management server 310 selects an existing device that should avoid imaging conflict with the requesting device as a conflict avoidance target (step S310).
  • control unit 330 determines whether there is a setting that is not used by the selected existing device and can be selected by the request source device by referring to the management DB 320 (step S ⁇ b> 3). S320). If there is an unused selectable setting, the control unit 330 assigns the setting to the requesting device (step S330). If there is no unused selectable setting, the control unit 330 assigns a default setting to the requesting device (step S335).
  • control unit 330 transmits a response message including a control parameter for specifying the setting to the request source apparatus (step S360).
  • FIG. 12B is a flowchart illustrating a second example of the flow of server-side imaging control processing according to the second embodiment.
  • the imaging control process shown in FIG. 12B is also triggered by reception of a setting request message from the imaging control apparatus 200 in the management server 310 (step S300).
  • the control unit 330 of the management server 310 selects an existing device that should avoid imaging conflict with the requesting device as a conflict avoidance target (step S310).
  • control unit 330 (setting degree of freedom) based on information such as a selectable setting candidate, current setting, position, and speed. And setting priority (based on an index such as setting change risk) (step S330).
  • control unit 330 selects a device having the highest setting priority among devices whose settings have not been confirmed (step S335).
  • the control unit 330 assigns one of the unused settings to the selected device (step S340).
  • the control unit 330 repeats such setting assignment in the order of devices having the highest setting priority until settings are assigned to all devices (step S345).
  • control unit 330 transmits a response message or a setting update message including a control parameter for specifying each setting to notify the requesting device and the device whose setting is to be updated, of the assigned individual setting. (Step S370).
  • the system configuration in which the management server as illustrated in FIG. 10 is interposed may be utilized to support the imaging control of the apparatus main body (not the server) as described in the first embodiment.
  • the management server 310 manages the current position and speed of each device, and executes the selection of a neighboring device (step S115) in the imaging control process described with reference to FIG. 8 instead of the imaging control device 100.
  • the management server 310 may provide the imaging control apparatus 100 with map information (for example, information indicating a place with a high probability of occurrence of an accident) that can be used when evaluating a setting change risk for each apparatus.
  • map information for example, information indicating a place with a high probability of occurrence of an accident
  • the imaging-related settings are adjusted so that the infrared irradiation wavelength range and the target wavelength of the infrared image are different between the apparatuses, it is much more than the existing method in which only 2 to 3 units of separation can be achieved at most. It is possible to avoid imaging competition by many devices. For example, an infrared image is acquired using the first wavelength belonging to the first irradiation wavelength region in the first device as the target wavelength, and the second device (near device of the first device) is in the second irradiation wavelength region. It is assumed that an infrared image is acquired with the second wavelength to which the target belongs as the target wavelength.
  • the first device selects the first wavelength so that the influence on the infrared image caused by the irradiation light from the second device in the second irradiation wavelength region is reduced. For example, by selecting a wavelength that is not included in the second irradiation wavelength range as the first wavelength, an infrared image generated using the first wavelength as the target wavelength is not affected by the irradiation light from the second device. .
  • the first device is configured so that the influence on the infrared image generated by the second device due to the irradiation light from the first device in the first irradiation wavelength region is reduced.
  • Select the irradiation wavelength range For example, by selecting the first irradiation wavelength region so as not to include the second wavelength, The infrared image generated with the second wavelength as the target wavelength is not affected by the irradiation light from the first device.
  • the infrared image is generated by imaging the infrared reflected light at the first imaging timing in the first device, the second device selected by the second device (a neighboring device of the first device).
  • the first imaging timing is selected so that the imaging timing does not interfere with the first imaging timing.
  • an appropriate infrared image can be acquired by both apparatuses.
  • a device to which a relatively high setting priority is given allows a neighboring device having a lower setting priority to use a setting that is at least partially different from the setting used by the device.
  • a device given a relatively low setting priority selects a setting for generating an infrared image that is at least partially different from a setting specified by a control parameter received from a neighboring device.
  • the setting priority is determined based on the setting freedom of each device. For example, it is possible to reduce the possibility that a device that cannot avoid conflict is left by preferentially selecting a setting of a device with a lower degree of freedom of setting (a device that can select only a few types of settings). it can.
  • the setting priority is determined based on a setting change risk that depends on the moving speed or position of individual devices. For example, in the use of an in-vehicle device, it is possible to prevent an increase in the risk of an accident due to a temporary disturbance of an infrared image by preferentially selecting a device setting with a higher setting change risk.
  • a group of neighboring devices that should avoid conflict is selected based on a relative positional relationship with one or more neighboring devices detected via the communication interface, Settings for generating the infrared image are controlled so that settings that are at least partially different from neighboring devices in the selected group are used. Therefore, in a scene where a large number of devices perform imaging, it is possible to make an adjustment for avoiding competition among fewer devices that are not necessarily all devices but exist at positions that influence each other. Therefore, it is possible to effectively avoid the competition of the imaging while suppressing the communication and processing overhead for avoiding the competition to an appropriate level.
  • a management server that manages settings for generating an infrared image by a plurality of devices is introduced, and each device determines a setting specified by a control parameter received from the management server as an infrared ray. Select for image generation. Therefore, each device can entrust the management server with processing required for conflict avoidance, for example, selection of neighboring devices and determination of priority.
  • the management server can adjust imaging-related settings for two or more devices that are not directly communicable with each other, the reliability of contention avoidance can be improved compared to a system configuration in which no management server exists. Can be increased.
  • a series of control processing by each device described in this specification may be realized using any of software, hardware, and a combination of software and hardware.
  • the program constituting the software is stored in advance in a storage medium (non-transitory medium) provided inside or outside each device.
  • Each program is read into a RAM (Random Access Memory) at the time of execution and executed by a processor such as a CPU (Central Processing Unit).
  • a processor such as a CPU (Central Processing Unit).
  • processing described using the flowchart in this specification does not necessarily have to be executed in the order shown in the flowchart. Some processing steps may be performed in parallel. Further, additional processing steps may be employed, and some processing steps may be omitted.
  • An image acquisition unit for acquiring an infrared image generated by imaging the reflected infrared light with an infrared camera;
  • a control unit that controls settings for generating the infrared image based on control parameters transmitted to or received from another device via a communication interface;
  • An imaging control apparatus comprising: (2) The imaging control according to (1), wherein the setting controlled by the control unit includes one or more of an irradiation wavelength range of the infrared light, a target wavelength of the infrared image, and an imaging timing of the infrared image. apparatus.
  • the image acquisition unit acquires the infrared image generated using the first wavelength belonging to the first irradiation wavelength region as a target wavelength
  • the control unit is configured to control the first parameter based on the control parameter so that an influence on the infrared image acquired by the image acquisition unit due to the second irradiation wavelength range selected by a nearby device is reduced.
  • Select 1 wavelength The imaging control device according to (2).
  • the neighboring device generates an infrared image with a second wavelength belonging to the second irradiation wavelength region as a target wavelength, The control unit sets the first irradiation wavelength region based on the control parameter so that an influence caused by the first irradiation wavelength region on the infrared image generated by the neighboring device is reduced.
  • the imaging control device select, The imaging control device according to (3).
  • the infrared image is generated by imaging the reflected light at a first imaging timing, The control unit selects the first imaging timing based on the control parameter so that the second imaging timing selected by a nearby device and the first imaging timing do not interfere with each other.
  • the imaging control device specifies a first setting for the infrared image acquired by the image acquisition unit; The control unit transmits the control parameter via the communication interface to cause a neighboring device having a lower setting priority to use a second setting at least partially different from the first setting; The imaging control device according to (2).
  • the control parameter specifies a second setting for an infrared image generated by a neighboring device having a higher setting priority
  • the control unit has a first setting at least partially different from the second setting specified by the control parameter received via the communication interface, for the infrared image acquired by the image acquisition unit.
  • Select for generation The imaging control device according to (2).
  • the controller is Detecting one or more neighboring devices via the communication interface; Selecting at least one neighboring device to avoid contention based on a relative positional relationship between the infrared camera and the one or more neighboring devices detected; Controlling settings for generation of the infrared image such that different settings are used at least partially with the selected at least one neighboring device;
  • the imaging control apparatus according to any one of (1) to (9).
  • the communication interface communicates with a management server that manages the settings for generating infrared images by a plurality of devices;
  • the control unit selects a setting specified by the control parameter received from the management server via the communication interface for generation of the infrared image acquired by the image acquisition unit.
  • the imaging control device according to (1) or (2).
  • the control unit transmits setting candidate information indicating one or more setting candidates that can be selected for the generation of the infrared image to the management server via the communication interface,
  • the control parameter specifies a setting included in the one or more setting candidates indicated by the setting candidate information.
  • the imaging control device according to (11).
  • the infrared image is generated by imaging the reflected light of the infrared ray irradiated at a first irradiation intensity,
  • the controller controls the first irradiation intensity based on the control parameter so that an influence caused by infrared irradiation at the first irradiation intensity on an infrared image generated by a nearby device is reduced.
  • Select The imaging control apparatus according to (1).
  • the infrared image is generated by imaging the reflected light of the infrared having a first polarization direction;
  • the control unit selects the first polarization direction based on the control parameter so that the second polarization direction selected by a neighboring device and the first polarization direction do not overlap.
  • the imaging control apparatus according to (1).
  • (16) Obtaining an infrared image generated by imaging reflected infrared light with an infrared camera; Controlling settings for generation of the infrared image based on control parameters transmitted to or received from another device via a communication interface;
  • An imaging control method including: (17) Computer An image acquisition unit for acquiring an infrared image generated by imaging the reflected infrared light with an infrared camera; A control unit that controls settings for generating the infrared image based on control parameters transmitted to or received from another device via a communication interface; Program to function as.
  • Imaging control system 100,200 Imaging control apparatus 101 Camera module (infrared camera) 120 Image acquisition unit 130 Application unit 140 Setting DB 150, 250 Imaging control unit 310 Management server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】多数の赤外線カメラが撮像を行う場面において撮像の競合を効果的に回避すること。 【解決手段】照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、を備える撮像制御装置を提供する。

Description

撮像制御装置、撮像制御方法及びプログラム
　本開示は、撮像制御装置、撮像制御方法及びプログラムに関する。
　従来、運転支援及びその他の目的で、赤外線カメラにより撮像される画像が活用されている。特に、近赤外線又は短波長赤外線を利用した撮像によって、夜間又は悪天候時のような劣悪な条件の下でも比較的鮮明な画像を得ることができる。通常、近赤外線又は短波長赤外線の画像は、カメラから照射される赤外線の反射光を受光することにより撮像される（例えば、特許文献１参照）。
特開２００９－１３０７０９号公報
　しかしながら、複数の赤外線カメラが同時に撮像を行う場面においては、あるカメラから照射される赤外線が、他のカメラにより撮像される画像にとっての外乱になり、画質の劣化を引き起こす。特許文献１は、こうした撮像の競合を回避するために、個々の赤外線カメラから照射される赤外線の偏光方向を予め決められた特定の方向に制限し、その偏光方向の反射光のみを受光することを提案している。しかし、現実的には、偏光方向を制限するだけでは、高々２～３台の赤外線カメラの間で競合を回避できるに過ぎない。
　そこで、本開示に係る技術は、多数の赤外線カメラが撮像を行う場面において撮像の競合を効果的に回避するための仕組みを実現することを目的とする。
　本開示によれば、照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、を備える撮像制御装置が提供される。
　また、本開示によれば、照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得することと、通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御することと、を含む撮像制御方法が提供される。
　また、本開示によれば、コンピュータを、照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、として機能させるためのプログラムが提供される。
　本開示に係る技術によれば、多数の赤外線カメラが撮像を行う場面において撮像の競合を効果的に回避することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
波長に依存する赤外線画像の多様な用途について説明するための説明図である。 撮像の競合が生じる状況について説明するための説明図である。 第１の実施形態に係る撮像制御装置のハードウェア構成の一例を示すブロック図である。 第１の実施形態に係る撮像制御装置の論理的機能の構成の一例について説明するための説明図である。 照射波長域及び対象波長について説明するための第１の説明図である。 照射波長域及び対象波長について説明するための第２の説明図である。 波長分離型の制御について説明するための説明図である。 時間分離型の制御について説明するための説明図である。 波長分離型の制御及び時間分離型の制御の組合せについて説明するための説明図である。 空間分離型の制御について説明するための説明図である。 相対的な位置関係に基づく近傍装置の選択の一例について説明するための説明図である。 第１の実施形態に係る撮像制御処理の流れの一例を示すフローチャートである。 図８に示した設定選択処理の流れの第１の例を示すフローチャートである。 図８に示した設定選択処理の流れの第２の例を示すフローチャートである。 図８に示した設定選択処理の流れの第３の例を示すフローチャートである。 第２の実施形態に係る撮像制御システムの機能の構成の一例について説明するための説明図である。 第２の実施形態に係る装置側の撮像制御処理の流れの一例を示すフローチャートである。 第２の実施形態に係るサーバ側の撮像制御処理の流れの第１の例を示すフローチャートである。 第２の実施形態に係るサーバ側の撮像制御処理の流れの第２の例を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　　１．導入
　　２．第１の実施形態
　　　２－１．ハードウェア構成
　　　２－２．機能構成
　　　２－３．処理の流れ
　　３．第２の実施形態
　　　３－１．システム構成
　　　３－２．装置側の機能
　　　３－３．サーバ側の機能
　　　３－４．処理の流れ
　　　３－５．応用例
　　４．まとめ
　＜１．導入＞
　図１は、波長に依存する赤外線（ＩＲ）画像の多様な用途について説明するための説明図である。図１の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。０．７μｍ以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。０．７μｍから１．０μｍまでの範囲内の波長を有する赤外線は、近赤外線（ＮＩＲ）に分類される。近赤外線は、例えば、暗視（night　vision）、透視、光通信及び測距のために利用され得る。１．０μｍから２．５μｍまでの範囲内の波長を有する赤外線は、短波長赤外線（ＳＷＩＲ）に分類される。短波長赤外線もまた、暗視及び透視のために利用可能である。近赤外線又は短波長赤外線を用いた暗視装置は、まず近傍に赤外線を照射し、その反射光を受光することにより赤外線画像を得る。２．５μｍから４．０μｍまでの範囲内の波長を有する赤外線は、中波長赤外線（ＭＷＩＲ）に分類される。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。また、中波長赤外線は、サーモグラフィのためにも利用可能である。４．０μｍ以上の波長を有する赤外線は、遠赤外線（ＦＩＲ）に分類される。遠赤外線は、暗視、サーモグラフィ及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することにより赤外線画像を得ることができる。なお、図１に示した波長の範囲の境界値は例に過ぎない。赤外線の分類の境界値には様々な定義が存在しており、本開示に係る技術の後述する利点は、いかなる定義の下でも享受され得る。
　図１に例示した赤外線の様々な種類の中で、特にＮＩＲ又はＳＷＩＲは、夜間又は悪天候時のような劣悪な条件の下で鮮明な画像を得るために利用される。その代表的な用途の１つは車載装置であり、ＮＩＲ又はＳＷＩＲの画像は、ナイトビュー、バックビュー又はサラウンドビューといった補足的なビューを運転者へ提供する。また、ＮＩＲ又はＳＷＩＲの画像は、歩行者又は道路標識若しくは障害物といった物体を含み得る被写体を認識して運転支援情報を運転者へ提示するためにも活用され得る。通常、ＮＩＲ又はＳＷＩＲの画像を撮像する赤外線カメラは、上述したように、撮像の際に赤外線を近傍へ照射する。
　しかしながら、複数の赤外線カメラが同時に撮像を行う場面においては、あるカメラから照射される赤外線が、他のカメラにより撮像される画像にとっての外乱になり得る。例えば、同じ対象波長の赤外線画像を対向する２つの車両が同時に撮像した場合、撮像画像に相手側の車両の照射光が強く映り込んでしまい、本来撮像されるべきであった周囲の被写体が画像内で判別困難となるリスクがある。特許文献１は、こうした撮像の競合を回避するために、個々の赤外線カメラから照射される赤外線の偏光方向を予め決められた特定の方向に制限し、その偏光方向の反射光のみを受光することを提案している。例えば、対向する２台の車両が前方へ照射する赤外線の偏光方向を共に（それぞれの視点から）右斜め４５度に設定すれば、対向車の視点からは照射光の偏光方向は左斜め４５度になり、即ち２台の車両からの照射光の偏光方向は互いに直交する。よって、所望の偏光方向（上の例では、右斜め４５度）を有する赤外線のみ光学フィルタを通過させて撮像することで、対向車からの照射光に起因する外乱の影響を排除できる。但し、こうした手法は、高々２～３台の赤外線カメラの間での競合の回避を達成できるに過ぎない。現実的には、道路には数多くの車両が存在しており、それら車両の間で撮像が競合し得る。
　図２は、車載装置の用途において撮像の競合が生じる状況について説明するための説明図である。図２には、一例として、南北方向に伸びる１本の道路と東西方向に伸びる２本の道路が描かれており、南北方向の道路上に車両１０ａが存在する。車両１０ａは、画角１２ａに向けて赤外線を照射し、その反射光を赤外線カメラで撮像する。車両１０ａの近傍には多数の近傍車両が存在しており、中でも車両１０ｂ、１０ｃ及び１０ｄは、いずれも車両１０ａの画角１２ａに届く赤外線を照射する。従って、車両１０ａ、１０ｂ、１０ｃ及び１０ｄによる赤外線画像の撮像が互いに競合するが、赤外線の偏光方向の制限では、こうした多くの装置による撮像を適切に分離できない。そこで、本明細書では、多数の赤外線カメラが撮像を行う場面において撮像の競合を効果的に回避するための仕組みを提案する。
　＜２．第１の実施形態＞
　本節では、一例として、車載装置としての撮像制御装置１００を説明する。撮像制御装置１００は部分的に車両への搭載に特化した構成を有するものの、本開示に係る技術の用途はかかる例に限定されない。本開示に係る技術は、車載装置のみならず、スマートフォン、携帯型ゲーム機、デジタルカメラ、監視カメラ及び放送用カメラといった装置による赤外線画像の撮像にも適用可能である。
　　［２－１．ハードウェア構成］
　図３は、第１の実施形態に係る撮像制御装置１００のハードウェア構成の一例を示すブロック図である。図３を参照すると、撮像制御装置１００は、カメラモジュール１０１、センサモジュール１０５、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、車両ネットワーク（ＮＷ）インタフェース１１３、ストレージ１１４、バス１１６及びプロセッサ１１８を備える。
　　　（１）カメラモジュール
　カメラモジュール１０１は、ＮＩＲ領域又はＳＷＩＲ領域において被写体を撮像するモジュールである。カメラモジュール１０１は、ある照射波長域に属する波長を有する赤外線を画角方向へ向けて照射する発光器１０２と、（近赤外線又は短波長赤外線に分類される）対象波長の赤外線を感知する撮像素子の配列１０３とを有する。カメラモジュール１０１は、撮像素子配列１０３の前方に配置され、通過帯域の外側の波長を有する光を遮断する光学フィルタ１０４、をさらに有してもよい。後述するある実施例において、光学フィルタ１０４は、可変的に制御される通過帯域を有する可変フィルタである。カメラモジュール１０１は、例えば、ユーザ入力などのトリガに応じて又は周期的に発光器１０２から赤外線を照射し、被写体又はその背景において反射した赤外線を捕捉することにより、赤外線画像を生成する。カメラモジュール１０１により生成される一連の赤外線画像は、映像を構成し得る。カメラモジュール１０１は、さらに、可視光画像を撮像するための撮像素子配列を有していてもよい。
　　　（２）センサモジュール
　センサモジュール１０５は、測位センサ、加速度センサ及び深度センサなどを含み得るセンサ群を有するモジュールである。測位センサは、例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号又は無線アクセスポイントからの無線信号に基づいて、カメラモジュール１０１の現在位置（又は撮像制御装置１００が搭載される車両の現在位置）を測定する。加速度センサは、カメラモジュール１０１（又は車両）に加わる３軸加速度を測定する。深度センサは、カメラモジュール１０１の画角内に存在する被写体への距離（即ち、深度（depth））を測定する。センサモジュール１０５において生成されるセンサデータは、後述する撮像の制御のために利用され得る。
　　　（３）入力インタフェース
　入力インタフェース１０６は、ユーザが撮像制御装置１００を操作し又は撮像制御装置１００へ情報を入力するために使用される。入力インタフェース１０６は、例えば、タッチセンサ、キーパッド、ボタン又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０６は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース１０６は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。
　　　（４）メモリ
　メモリ１０８は、ＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）を含み得る記憶媒体である。メモリ１０８は、プロセッサ１１８に連結され、プロセッサ１１８により実行される処理のためのプログラム及びデータを記憶する。
　　　（５）ディスプレイ
　ディスプレイ１１０は、画像を表示する画面を有する表示モジュールである。ディスプレイ１１０は、例えば、ＬＣＤ（Liquid　Crystal　Display）、ＯＬＥＤ（Organic　light-Emitting　Diode）又はＣＲＴ（Cathode　Ray　Tube）などであってよい。
　　　（６）通信インタフェース
　通信インタフェース１１２は、撮像制御装置１００と他の装置との間の通信を仲介するモジュールである。通信インタフェース１１２は、任意の無線通信プロトコルに従って、通信接続を確立する。
　　　（７）車両ＮＷインタフェース
　車両ＮＷインタフェース１１３は、撮像制御装置１００が搭載される車両の車両ネットワークとの間の通信を仲介するモジュールである。車両ＮＷインタフェース１１３は、例えば、図示しない端子を介して車両ネットワークに接続され、車速データ及び舵角（ステアリング角度）データなどの車両側で生成されるデータを取得する。
　　　（８）ストレージ
　ストレージ１１４は、画像データを蓄積し、及び撮像制御装置１００により実行される制御処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ１１４は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、撮像制御装置１００の外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
　　　（９）バス
　バス１１６は、カメラモジュール１０１、センサモジュール１０５、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、車両ＮＷインタフェース１１３、ストレージ１１４及びプロセッサ１１８を相互に接続する。
　　　（１０）プロセッサ
　プロセッサ１１８は、ＣＰＵ（Central　Processing　Unit）又はＤＳＰ（Digital　Signal　Processor）などの処理モジュールである。プロセッサ１１８は、メモリ１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、近傍に位置する他の装置との間の撮像の競合を回避するための後述する機能を動作させる。
　　［２－２．機能構成］
　図４は、図３に示した撮像制御装置１００の構成要素が互いに連係することにより実現される論理的機能の構成の一例について説明するための説明図である。図４には、２つの撮像制御装置１００が示されており、これら撮像制御装置１００は、通信インタフェース１１２を介して互いに通信する。このような車載装置の間の通信を、車々間通信あるいはＶ２Ｖ（Vehicle-to-Vehicle）通信という。図４には２つの撮像制御装置１００のみが示されているが、本実施形態において、実際にはより多くの装置がＶ２Ｖ通信に関与する。なお、車載装置の間の通信は、必ずしも２つの車載装置の間の直接的な通信リンクを介して行われなくてもよい。例えば路側に設定される中継装置が通信信号を中継してもよく、又はある車載装置が他の２つの車載装置の間で通信信号を中継してもよい。撮像制御装置１００の各々は、画像取得部１２０、アプリケーション部１３０、設定データベース（ＤＢ）１４０及び撮像制御部１５０を備える。
　　　（１）画像取得部
　画像取得部１２０は、カメラモジュール１０１において発光器１０２により照射される赤外線の反射光を撮像素子配列１０３で撮像することにより生成される赤外線画像を取得する。そして、画像取得部１２０は、取得した画像をアプリケーション部１３０へ出力する。画像取得部１２０は、画像信号の増幅、デモザイク、ノイズ除去及び波長成分の分離などの予備的処理を赤外線画像について実行してもよい。
　図５Ａ及び図５Ｂは、画像取得部１２０により取得される赤外線画像に関連する、照射波長域及び対象波長について説明するための説明図である。図５Ａ及び図５Ｂの横軸は赤外線の波長、縦軸は撮像素子の感度を表す。点線のグラフは、カメラモジュール１０１において選択可能な波長を表している。ここでの例によれば、カメラモジュール１０１は、９種類の波長ｒ１～ｒ９の任意の組合せの赤外線を照射し、照射したそれら赤外線の反射光を撮像することができる。図５Ａの第１の例では、カメラモジュール１０１は、太い実線で描かれた波長ｒ２を中心とする照射波長域Ｈ１の赤外線を照射し、波長ｒ２に感度のピークを有する撮像素子配列で撮像を行う。この場合の対象波長は波長ｒ２であり、対象波長以外の波長を有する赤外線はカメラモジュール１０１において光学フィルタで遮断され得る。図５Ｂの第２の例では、カメラモジュール１０１は、太い実線で描かれた波長ｒ２、ｒ３及びｒ４を含む複合的な照射波長域Ｈ２の赤外線を照射し、波長ｒ２、ｒ３及びｒ４にそれぞれ感度のピークを有する複数の撮像素子配列で撮像を行う。そして、画像取得部１２０は、波長ｒ２、ｒ３及びｒ４でそれぞれ撮像された原画像から波長ｒ２の成分を分離するための信号処理（典型的には、混色分離のためのフィルタ演算）を行い、波長ｒ２の赤外線画像を生成する。この場合も対象波長は波長ｒ２であるが、波長ｒ３及びｒ４の赤外線は光学フィルタで遮断されることなく、上述した信号処理でその成分が赤外線画像から除去される。本実施形態では、このような赤外線の照射波長域及び赤外線画像の対象波長の設定が、後述する撮像制御部１５０により制御される。それに加えて、赤外線画像の撮像タイミング、及び赤外線の照射強度もまた、撮像制御部１５０により制御され得る。
　　　（２）アプリケーション部
　アプリケーション部１３０は、画像取得部１２０から入力される赤外線画像を用いたアプリケーション機能を実行する。例えば、アプリケーション部１３０により実行されるアプリケーション機能は、ＡＤＡＳ（Advanced　Driver　Assistance　Systems）等の運転支援機能であってもよい。この場合、アプリケーション部１３０は、画像取得部１２０から入力される赤外線画像に基づいて、歩行者若しくは（他の車両等の）物体を検知し、衝突警報を報知し、又は駐車支援情報を画面上でユーザに提示し得る。また、アプリケーション部１３０は、入力される赤外線画像をそのままディスプレイ１１０の画面上に表示してもよく、又は圧縮符号化の後に若しくは圧縮せずにストレージ１１４に記憶させてもよい。
　　　（３）設定ＤＢ
　設定ＤＢ１４０は、撮像制御部１５０が撮像関連の設定の制御のために利用する様々なデータを記憶するデータベースである。設定ＤＢ１４０により記憶されるデータは、例えば、カメラモジュール１０１において選択可能な設定の候補（ケイパビリティともいう）を示す設定候補情報と、その時点のカメラモジュール１０１の設定内容を示す現在設定情報と、を含み得る。さらに、設定ＤＢ１４０は、通信インタフェース１１２を介する近傍装置との情報交換を通じて取得される近傍装置情報を記憶し得る。近傍装置情報は、例えば、近傍装置の各々の識別子、設定候補情報、現在設定情報、位置情報及び速度情報を含み得る。
　　　（４）撮像制御部
　撮像制御部１５０は、複数の装置の間の撮像の競合を回避するために、通信インタフェース１１２を介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、赤外線画像の生成のための設定を制御する。本実施形態において、他の装置とは、カメラモジュール１０１の近傍に存在する他の撮像制御装置１００（以下の説明において、近傍装置という）であってよい。撮像制御部１５０により行われる制御は、波長分離型の制御、又は時間分離型の制御を含む。波長分離型の制御では、赤外線の照射波長域及び赤外線画像の対象波長が撮像制御部１５０により制御される。時間分離型の制御では、赤外線画像の撮像タイミングが撮像制御部１５０により制御される。波長分離型の制御及び時間分離型の制御の組合せもまた可能である。さらに、撮像制御部１５０は、赤外線の照射強度をも制御し得る。
　一例において、近傍装置により選択される照射波長域Ｈｎｅｉｇｈｂｏｒが、近傍装置から受信される制御パラメータにより示される。一方、画像取得部１２０は、対象波長ｒｌｏｃａｌで生成される赤外線画像を取得する。対象波長ｒｌｏｃａｌは、照射波長域Ｈｌｏｃａｌに属する。そして、波長分離型の制御では、撮像制御部１５０は、画像取得部１２０により取得される赤外線画像への、照射波長域Ｈｎｅｉｇｈｂｏｒの照射光に起因する影響が低減されるように、自装置における撮像のための対象波長ｒｌｏｃａｌを選択する。典型的には、選択される対象波長ｒｌｏｃａｌは、照射波長域Ｈｎｅｉｇｈｂｏｒに含まれない波長である。近傍装置から受信される制御パラメータは、さらに、近傍装置における赤外線画像の生成の対象波長ｒｎｅｉｇｈｂｏｒをも示し得る。そして、撮像制御部１５０は、近傍装置により生成される赤外線画像への、照射波長域Ｈｌｏｃａｌに起因する影響が低減されるように、自装置における撮像のための照射波長域Ｈｌｏｃａｌを選択する。典型的には、選択される照射波長域Ｈｌｏｃａｌは、対象波長ｒｎｅｉｇｈｂｏｒを含まない波長である。
　撮像制御部１５０は、選択した照射波長域Ｈｌｏｃａｌ及び対象波長ｒｌｏｃａｌを、カメラモジュール１０１に設定する。可変フィルタを通過した赤外線を撮像することにより赤外線画像が生成される場合には、撮像制御部１５０は、選択した対象波長ｒｌｏｃａｌを通過帯域が含むように、可変フィルタを設定する。代替的に又は追加的に、カメラモジュール１０１により出力される原画像から対象波長の成分を抽出することにより赤外線画像が生成される場合には、撮像制御部１５０は、選択した対象波長ｒｌｏｃａｌの成分が原画像から抽出されるように、画像取得部１２０を設定する。撮像制御部１５０は、自らが選択した照射波長域Ｈｌｏｃａｌ及び対象波長ｒｌｏｃａｌを示す制御パラメータを、近傍装置へ送信する。
　図６Ａは、波長分離型の制御について説明するための説明図である。図６Ａを参照すると、互いに近傍に位置する４台の車両Ｖ１１、Ｖ１２、Ｖ１３及びＶ１４が示されており、これら車両の間で、撮像の競合が、波長分離型の制御によって回避される。例えば、車両Ｖ１１の赤外線カメラは、波長ｒ１及びｒ２を含む赤外線を照射し、対象波長ｒ２で赤外線画像を生成する。車両Ｖ１２の赤外線カメラは、波長ｒ４及びｒ５を含む赤外線を照射し、対象波長ｒ４で赤外線画像を生成する。車両Ｖ１３の赤外線カメラは、波長ｒ８及びｒ９を含む赤外線を照射し、対象波長ｒ８で赤外線画像を生成する。車両Ｖ１４の赤外線カメラは、波長ｒ６及びｒ７を含む赤外線を照射し、対象波長ｒ６で赤外線画像を生成する。このように、近傍装置の間で異なる照射波長域及び対象波長を選択することで、ある装置からの照射光が他の装置により撮像される画像にとっての外乱として作用することを回避することができる。
　他の例において、近傍装置により選択される撮像タイミングＴｎｅｉｇｈｂｏｒが、近傍装置から受信される制御パラメータにより示される。一方、画像取得部１２０は、撮像タイミングＴｌｏｃａｌで照射された赤外線の反射光を撮像することにより生成される赤外線画像を取得する。これら撮像タイミングは、例えば、所定の時間リファレンスからの時間オフセット及び周期（又は、時間スロットに付与される番号）によって表現され得る。そして、時間分離型の制御では、撮像制御部１５０は、撮像タイミングＴｎｅｉｇｈｂｏｒと撮像タイミングＴｌｏｃａｌとが干渉しないように撮像タイミングＴｌｏｃａｌを選択し、選択した撮像タイミングＴｌｏｃａｌをカメラモジュール１０１に設定する。撮像制御部１５０は、自らが選択した撮像タイミングＴｌｏｃａｌを示す制御パラメータを、近傍装置へ送信する。
　図６Ｂは、時間分離型の制御について説明するための説明図である。図６Ｂを参照すると、互いに近傍に位置する４台の車両Ｖ２１、Ｖ２２、Ｖ２３及びＶ２４が示されており、これら車両の間で、撮像の競合が、時間分離型の制御によって回避される。例えば、車両Ｖ２１の赤外線カメラは、時間スロットＴＳ０１において、対象波長ｒ１で赤外線画像を生成する。車両Ｖ２２の赤外線カメラは、時間スロットＴＳ０１に続く時間スロットＴＳ０２において、対象波長ｒ１で赤外線画像を生成する。車両Ｖ２３の赤外線カメラは、時間スロットＴＳ０２に続く時間スロットＴＳ０３において、対象波長ｒ１で赤外線画像を生成する。車両Ｖ２４の赤外線カメラは、時間スロットＴＳ０３に続く時間スロットＴＳ０４において、対象波長ｒ１で赤外線画像を生成する。このように、近傍装置の間で異なるタイミングで撮像を行うことで、対象波長は共通している場合でも、ある装置からの照射光が他の装置により撮像される画像にとっての外乱として作用することを回避することができる。なお、時間分離型の制御において達成可能な分離度（最大でいくつまでの装置が同じ波長で競合なく別々のタイミングで撮像可能であるか）は、映像のフレームレートとトレードオフの関係にあり、また装置間の時間同期の性能に依存する。装置間の時間同期は、既存の通信プロトコルにおけるいかなる同期手法に従って行われてもよい。
　図６Ｃは、波長分離型の制御及び時間分離型の制御の組合せについて説明するための説明図である。図６Ｃの例では、４台の車両Ｖ３１、Ｖ３２、Ｖ３３及びＶ３４の間で、撮像の競合が回避される。例えば、時間スロットＴＳ１１において、車両Ｖ３１の赤外線カメラは対象波長ｒ１で、車両Ｖ３２の赤外線カメラは対象波長ｒ３で、それぞれ赤外線画像を生成する。時間スロットＴＳ１１に続く時間スロットＴＳ１２において、車両Ｖ３３の赤外線カメラは対象波長ｒ２で、車両Ｖ３４の赤外線カメラは対象波長ｒ４で、それぞれ赤外線画像を生成する。時間スロットＴＳ１２に続く時間スロットＴＳ１３において、車両Ｖ３１の赤外線カメラは対象波長ｒ１で、車両Ｖ３２の赤外線カメラは対象波長ｒ３で、それぞれ赤外線画像を再び生成する。このように、波長と撮像タイミングとの異なる組合せで各装置が撮像を行えば、分離可能な装置の台数は、選択可能な波長の候補数と撮像タイミングの候補数との積に達する。ＮＩＲ領域及びＳＷＩＲ領域は、要求性能及び装置の製造コストの制約等に依存するものの、１０を優に上回る数の対象波長の候補に分解されることが可能である。そこで、例えば波長方向の分離度を１０（最大で１０台の装置までが競合なく同時に撮像可能）、時間方向の分離度を２とすると、波長分離型の制御及び時間分離型の制御の組合せによれば、分離度２０（＝１０×２）が達成される。
　図６Ｄは、空間分離型の制御について説明するための説明図である。空間分離型の制御では、近傍装置の位置データ及び速度データが、近傍装置から受信される制御パラメータにより示される。自装置の位置及び速度は、センサモジュール１０５により測定され、又は車両ＮＷインタフェース１１３を介して取得されるデータにより示される。そして、撮像制御部１５０は、近傍装置により生成される赤外線画像への、カメラモジュール１０１からの赤外線の照射に起因する影響が低減されるように、カメラモジュール１０１における赤外線の照射強度を選択する。例えば、図６Ｄの例において、車両１０ｄの当初の赤外線の照射強度は、その照射光が車両１０ｂの位置まで届くレベルに設定されている。車両１０ｄの赤外線カメラに設定されている対象波長及び車両１０ｂの赤外線カメラに設定されている対象波長は共に波長ｒ１である。車両１０ｄの撮像制御装置１００は、こうした状況において自装置からの赤外線の照射が車両１０ｂに有意な悪影響を与える可能性があることを双方の装置の位置データ及び速度データから判定し、車両１０ｄの赤外線の照射強度を低減する（図中の矢印参照）。その結果、車両１０ｄからの赤外線の照射光が車両１０ｂにより撮像される赤外線画像に与える影響が低減される。
　上述した波長、時間及び空間のうちの１つ以上の次元での装置の分離に加えて、撮像制御部１５０は、さらに偏光方向での分離を採用してもよい。この場合、撮像制御部１５０は、近傍装置により選択される偏光方向を近傍装置から受信される制御パラメータから判定し、判定した近傍装置の偏光方向と重複しない偏光方向を選択して、選択した偏光方向をカメラモジュール１０１に設定し得る。また、撮像制御部１５０は、自らが選択した偏光方向を示す制御パラメータを近傍装置へ送信してもよい。例えば、波長方向の分離度を１０、時間方向の分離度を２とし、さらに２種類の偏光方向が選択可能であるとすると、これら３つの次元の組合せによって、分離度４０（＝１０×２×２）が達成される。
　ここまでは、撮像制御部１５０の機能に関して、複数の装置による赤外線画像の撮像の競合を回避するために、どういった次元で装置を互いに分離し得るかという観点から説明を行った。次に、どの装置が優先的に設定を確定させるかという観点からの説明を行う。
　本実施形態における基本的なアイディアとして、撮像制御部１５０は、自装置よりも設定優先度の高い近傍装置により生成される赤外線画像についての設定が通信インタフェース１１２を介して受信される制御パラメータにより特定された場合に、近傍装置の当該設定と少なくとも部分的に異なる設定を、画像取得部１２０により取得される赤外線画像の生成のために選択する。また、撮像制御部１５０は、画像取得部１２０により取得される赤外線画像についての設定と少なくとも部分的に異なる設定を、自装置よりも設定優先度の低い近傍装置に使用させるために、自装置の設定を特定する制御パラメータを通信インタフェース１１２を介して送信する。
　一例として、撮像制御部１５０は、個々の装置の設定自由度に基づいて、上記設定優先度を決定してよい。設定自由度は、装置間で交換される設定候補情報により特定される。典型的には、設定自由度の高い装置ほど、他の装置により選択された設定を回避して他の設定を選択する余地をより多く有することから、より低い設定優先度を与えられる。ここでの設定自由度は、ある装置が赤外線画像の生成のために選択可能な設定候補の数に相当する。例えば、図５Ａを再び参照すると、波長分離型の制御において、車両Ｖ１１は９種類の対象波長を選択可能であるため、車両Ｖ１１の設定自由度は９に等しい。同様に、車両Ｖ１２、Ｖ１３及びＶ１４の設定自由度は、それぞれ３、９及び５に等しい。従って、図５Ａの例では、車両Ｖ１２に最も高い設定優先度が、車両Ｖ１４に次に高い設定優先度が与えられる。車両Ｖ１１及びＶ１３は同じ設定自由度を有するため、これら車両の設定優先度は、設定自由度以外の指標に基づいて、優先度に差異が生じるように調整され得る。設定自由度以外の指標は、例えば、後述する設定変更リスクを含んでもよい。また、先に特定の設定を選択することを宣言した装置が優先されてもい（即ち、早い者勝ちの基準）。また、車線、走行方向又は前方／後方といった装置間の位置関係に基づいて、設定優先度が調整されてもよい。
　他の例として、撮像制御部１５０は、個々の装置の移動速度又は位置に依存する設定変更リスクに基づいて、上記設定優先度を決定してよい。概して、対象波長又は撮像タイミングの変更は、赤外線画像の一時的な乱れをもたらすリスク要因となり得る。従って、車両の走行の安全性がより重視される状況にある装置においては、対象波長又は撮像タイミングといった設定を頻繁に変更しないことが望ましい。そこで、撮像制御部１５０は、例えば、より移動速度の速い装置、又は事故発生確率の高い場所（例えば、交差点又はカーブなど）のより近くに位置する装置の設定変更リスクをより高く評価し、設定変更リスクのより高い装置に、より高い設定優先度を与える。装置の移動速度は、単一の時点で測定された速度であってもよく、複数回にわたって測定された速度の平均値であってもよい。設定変更リスクが同等である装置の設定優先度は、設定変更リスク以外の指標（例えば、上述した設定自由度、車線、走行方向など。早い者勝ちの基準が採用されてもよい）に基づいて調整され得る。
　どういった基準で設定優先度が決定されるかに関わらず、撮像制御部１５０は、ある動的に選択される装置のグループの中で、設定優先度を相互に比較する。例えば、撮像制御部１５０は、通信インタフェース１１２を介して、１つ以上の近傍装置を検出する。近傍装置の検出は、近傍装置から送信されるブロードキャスト信号の受信、又は通信インタフェース１１２から送信される探索信号に対する応答信号の受信などの、既存の何らかの手法に従って行われてよい。次に、撮像制御部１５０は、カメラモジュール１０１と検出した１つ以上の近傍装置との間の相対的な位置関係に基づいて、競合を回避すべき少なくとも１つの近傍装置を選択する。そして、撮像制御部１５０は、選択した上記少なくとも１つの近傍装置との間で少なくとも部分的に異なる設定が使用されるように、上述した赤外線画像の生成のための波長分離型、時間分離型又はそれらの組合せでの制御を実行する。
　図７は、相対的な位置関係に基づく近傍装置の選択の一例について説明するための説明図である。図７を参照すると、車両１０ａの現在位置を中心とする２つの同心円が描かれており、内側の円は４つの区画３１、３２、３３及び３４に、内側の円と外側の円との間の環状部分は４つの区画３５、３６、３７及び３８にそれぞれ区画化されている。図中でそれぞれの区画に付された１から６までの数値は、選択順序を表す。例えば、図中の区画を選択順序に従って並べると、区画３１（選択順序＝“１”）、区画３５（選択順序＝“２”）、区画３２及び３３（選択順序＝“３”）、区画３６及び３７（選択順序＝“４”）、区画３４（選択順序＝“５”）、区画３８（選択順序＝“６”）となる。この例から理解されるように、基本的な考え方は、自装置の画角により近い区画に、より小さい（より優先的に選択される）選択順序が与えられる。そして、撮像制御部１５０は、選択順序の値の小さい区画に位置する近傍装置から順に、選択された装置の数が予め定義される閾値を上回るまで、近傍装置の選択を繰り返す。近傍装置の位置は、位置情報を交換した時点の位置であってもよく、又は速度情報をも考慮して推定される将来の時点の位置であってもよい。上記閾値は、固定的に定義されていてもよい。代替的に、上記閾値は、場所（例えば、交差点では閾値がより大きい）、混雑度（混雑している時には閾値がより大きい）又は装置の設定自由度などに依存して動的に設定されてもよい。このような位置関係に基づいて競合回避の対象の近傍装置を選択することで、その照射光が外乱として寄与する可能性の高い位置に存在する近傍装置を優先的に競合回避の対象に含めることができる。
　なお、図７に示した区画及び選択順序の定義は一例に過ぎず、異なる区画及び選択順序の定義が使用されてもよい。例えば、図７は車両１０ａの赤外線カメラが前方へ向けられていることを前提としているが、サイドビュー用のカメラについては側面方向の区画に最も小さい選択順序が与えられ、バックビュー用のカメラについては後方の区画に最も小さい選択順序が与えられ得る。また、撮像制御部１５０は、近傍装置の位置に加えて近傍装置の向きを考慮して選択順序を決定してもよい。具体的には、図７の例において、区画３１に位置する近傍装置のうち車両１０ａに対向する装置には選択順序“１”が、車両１０ａと同じ方向を向いている装置には選択順序“５”が与えられ得る。同様に、区画３５に置する近傍装置のうち車両１０ａに対向する装置には選択順序“２”が、車両１０ａと同じ方向を向いている装置には選択順序“６”が与えられ得る。
　　［２－３．処理の流れ］
　　　（１）撮像制御処理
　図８は、第１の実施形態に係る撮像制御処理の流れの一例を示すフローチャートである。
　まず、撮像制御部１５０は、通信インタフェース１１２を介して、１つ以上の近傍装置を検出する（ステップＳ１００）。近傍装置の検出は周期的に行われ、その周期は映像のフレーム周期と同一であっても異なっていてもよい。
　次に、撮像制御部１５０は、撮像設定を更新するか否かを判定する（ステップＳ１１０）。例えば、撮像制御部１５０は、新たな近傍装置の検出、近傍装置からの更新要求の受信、前回の更新からの予め定義される期間の経過又は赤外線画像の画質の一時的な劣化などの任意の条件をトリガとして、撮像設定を更新すると判定し得る。撮像設定を更新すると判定されなかった場合、後述するステップＳ１１５～Ｓ１５０の処理はスキップされる。
　撮像設定を更新すると判定した場合、撮像制御部１５０は、カメラモジュール１０１と近傍装置との間の相対的な位置関係に基づいて、競合を回避すべき少なくとも１つの近傍装置を選択する（ステップＳ１１５）。典型的には、ここで複数の近傍装置が、競合回避の対象として選択される。
　次に、撮像制御部１５０は、後に詳しく説明される設定選択処理を実行することにより、競合回避の対象として選択した近傍装置により使用される設定とは少なくとも部分的に異なる撮像関連の設定を選択する（ステップＳ１２０）。ここでの撮像関連の設定は、赤外線の照射波長域、赤外線画像の対象波長、赤外線画像の撮像タイミング及び赤外線の照射強度、のうちの１つ以上を含む。
　次に、撮像制御部１５０は、設定選択処理の結果として選択された設定を、自装置に反映する（ステップＳ１５０）。例えば、撮像制御部１５０は、選択された照射波長域及び照射強度を、カメラモジュール１０１の発光器１０２に設定し得る。また、撮像制御部１５０は、選択された対象波長を、カメラモジュール１０１の光学フィルタ１０４に設定し、及び画像取得部１２０に設定し得る。また、撮像制御部１５０は、選択された撮像タイミングを、カメラモジュール１０１に設定し得る。
　次に、撮像制御部１５０は、撮像タイミングが到来したかを判定する（ステップＳ１５５）。撮像タイミングが到来すると、カメラモジュール１０１の発光器１０２は設定された照射波長域の赤外線を照射し（ステップＳ１６０）、撮像素子配列１０３は原画像を撮像する（ステップＳ１７０）。ここで、カメラモジュール１０１の光学フィルタ１０４は、撮像素子配列１０３へと入射する赤外線を、設定された対象波長の赤外線のみを通過させるようにフィルタリングし得る。
　次に、画像取得部１２０は、設定された対象波長の赤外線画像を、必要に応じて画像信号の増幅、デモザイク、ノイズ除去及び波長成分の分離などの予備的処理を通じて取得する（ステップＳ１８０）。そして、画像取得部１２０は、取得した赤外線画像を、アプリケーション部１３０へ出力する（ステップＳ１９０）。ここで出力される赤外線画像は、アプリケーション部１３０により画面上に表示され、運転支援機能等のアプリケーション機能へと入力され、又は符号化されて記憶される。その後、フローはステップＳ１００へ戻り、上述した処理が繰り返される。
　　　（２－１）設定選択処理－第１の例
　図９Ａは、図８のステップＳ１２０に示した設定選択処理の流れの第１の例を示すフローチャートである。
　図９Ａを参照すると、まず、撮像制御部１５０は、近傍装置の各々との間で、設定候補情報及びその他の情報を交換する（ステップＳ１２１）。次に、撮像制御部１５０は、自装置及び近傍装置の設定候補情報から、装置ごとの設定自由度を判定し、判定した設定自由度に基づいて、装置ごとの設定優先度を決定する（ステップＳ１２４）。次に、撮像制御部１５０は、設定自由度が互いに等しい装置について、設定候補情報以外の情報を用いて、設定優先度を調整する（ステップＳ１２８）。
　次に、撮像制御部１５０は、自装置よりも設定優先度の高い全ての近傍装置の設定が確定済みであるかを判定する（ステップＳ１３１）。より設定優先度が高いものの設定が未確定の近傍装置が残っている場合には、撮像制御部１５０は、その近傍装置の設定を確定させる（ステップＳ１３３）。例えば、選択可能な赤外線の波長が１種類しか残されていない装置については、その装置の対象波長として当該１種類の波長が選択され得る。撮像制御部１５０は、通信インタフェース１１２を介して、近傍装置の撮像設定を通知する通知メッセージを当該近傍装置から受信してもよく、又は特定の撮像設定を使用することを指示する指示メッセージを近傍装置へ送信してもよい。自装置よりも設定優先度の高い全ての近傍装置の設定が確定されると、撮像制御部１５０は、それら設定とは少なくとも部分的に異なる撮像設定を、自装置のために選択する（ステップＳ１３５）。そして、撮像制御部１５０は、通信インタフェース１１２を介して、自装置のために選択した撮像設定を通知する通知メッセージを、近傍装置へ送信する（ステップＳ１３７）。
　　　（２－２）設定選択処理－第２の例
　図９Ｂは、図８のステップＳ１２０に示した設定選択処理の流れの第２の例を示すフローチャートである。
　図９Ｂを参照すると、まず、撮像制御部１５０は、近傍装置の各々との間で、位置情報、速度情報及びその他の情報を交換する（ステップＳ１２２）。次に、撮像制御部１５０は、自装置及び近傍装置の位置及び速度から、装置ごとの設定変更リスクを判定し、判定した設定変更リスクに基づいて、装置ごとの設定優先度を決定する（ステップＳ１２５）。次に、撮像制御部１５０は、設定変更リスクが互いに等しい装置について、設定変更リスク以外の指標を用いて、設定優先度を調整する（ステップＳ１２８）。
　その後のステップＳ１３１～Ｓ１３７の処理は、基本的には、図９Ａを用いて説明した処理と同様であってよい。ステップＳ１３３及びステップＳ１３５において、各装置は、現行の設定と同じ設定がより設定優先度の高い装置により使用されない場合には、その現行の設定を変えないことを選択することが望ましい。それにより、設定の変更に起因する赤外線画像の乱れを未然に防ぐことができる。
　　　（２－３）設定選択処理－第３の例
　図９Ｃは、図８のステップＳ１２０に示した設定選択処理の流れの第３の例を示すフローチャートである。
　図９Ｃを参照すると、まず、撮像制御部１５０は、近傍装置の各々との間で、設定候補情報、位置情報、速度情報及びその他の情報を交換する（ステップＳ１２３）。次に、撮像制御部１５０は、自装置及び近傍装置の設定候補情報から、装置ごとの設定自由度を判定する（ステップＳ１２６）。また、撮像制御部１５０は、自装置及び近傍装置の位置及び速度から、装置ごとの設定変更リスクを判定する（ステップＳ１２７）。そして、撮像制御部１５０は、設定自由度、設定変更リスク及びその他の指標に基づいて、装置ごとの設定優先度を決定する（ステップＳ１２９）。その後のステップＳ１３１～Ｓ１３７の処理は、図９Ａを用いて説明した処理と同様であってよいため、ここでは重複する説明を省略する。
　なお、設定優先度は、装置の用途に依存して異なる指標を用いて決定されてもよい。例えば、撮像制御装置１００が車載カメラを制御する場合には設定変更リスクが主に使用され、撮像制御装置１００がスマートフォン等の携帯機器のカメラを制御する場合には設定自由度が主に使用されるといった指標の動的な切り替えが実現されてもよい。
　＜３．第２の実施形態＞
　前節では、第１の実施形態として、ある車両に搭載される撮像制御装置１００が他の車両に搭載される撮像制御装置１００との間で車々間通信を行い、そこで交換される情報に基づいて撮像の競合が回避される例を説明した。これに対し、本節で説明する第２の実施形態では、複数の装置による赤外線画像の生成のための撮像関連の設定を一元的に管理する管理サーバが導入される。
　　［３－１．システム構成］
　図１０は、第２の実施形態に係る撮像制御システムの機能の構成の一例について説明するための説明図である。図１０を参照すると、撮像制御システム１は、複数の撮像制御装置２００、アクセスポイント３００及び管理サーバ３１０を含む。撮像制御装置２００は、通信インタフェース１１２及びアクセスポイント３００を介して、管理サーバ３１０と通信する。アクセスポイント３００は、路側に設置される中継装置であってよい。このような車載装置と路側装置（及びその先のサーバ）との間の通信を、路車間通信あるいはＲ２Ｖ（Roadside　unit-to-Vehicle）通信という。追加的に、撮像制御装置２００は、他の撮像制御装置２００との間で通信インタフェース１１２を介して車々間通信をも実行してよい。図１０には２つの撮像制御装置２００のみが示されているが、本実施形態において、撮像制御システム１は、実際にはより多くの撮像制御装置２００を含む。
　　［３－２．装置側の機能］
　第２の実施形態に係る撮像制御装置２００のハードウェア構成は、図３を用いて説明した撮像制御装置１００のハードウェア構成と同様であってよい。撮像制御装置２００の各々は、画像取得部１２０、アプリケーション部１３０、設定ＤＢ１４０及び撮像制御部２５０を備える。
　撮像制御部２５０は、通信インタフェース１１２を介して管理サーバ３１０との間で送受信される制御パラメータに基づいて、赤外線画像の生成のための設定を制御する。本実施形態においても、前節で説明した、波長分離型の制御、時間分離型の制御、及び波長分離型と時間分離型との組合せでの制御のいずれが行われてもよい。但し、各装置において使用すべき設定は、管理サーバ３１０により決定される。そして、撮像制御部２５０は、管理サーバ３１０から受信される制御パラメータにより特定される設定を、自装置における赤外線画像の生成のために選択する。
　撮像制御部２５０は、例えば、自装置が位置する地理的領域について権限を有する管理サーバ３１０が検出されると、他の装置と競合しない設定の割り当てを要求する設定要求メッセージを通信インタフェース１１２を介して管理サーバ３１０へ送信する。設定要求メッセージは、例えば、撮像制御装置２００の識別子、設定候補情報、現在設定情報、位置情報及び速度情報を含み得る。設定候補情報は、撮像制御装置２００における赤外線画像の生成のために選択可能な１つ以上の設定候補を示す。管理サーバ３１０は、撮像制御装置２００から設定要求メッセージが受信されると、撮像制御装置２００の近傍に位置する近傍装置に割り当てられる設定とは競合しない設定（例えば、対象波長及び撮像タイミングの組合せが少なくとも部分的に異なる設定）を撮像制御装置２００に割り当てる。撮像制御部２５０は、撮像制御装置２００に割り当てられた設定を特定する応答メッセージ又は設定更新メッセージを、通信インタフェース１１２を介して管理サーバ３１０から受信する。そして、撮像制御部２５０は、受信されるメッセージに含まれる制御パラメータにより特定される設定（赤外線の照射波長域、赤外線画像の対象波長、赤外線画像の撮像タイミング及び赤外線の照射強度、のうちの１つ以上）を、カメラモジュール１０１及び画像取得部１２０に反映させる。
　　［３－３．サーバ側の機能］
　図１０に示したように、管理サーバ３１０は、管理データベース（ＤＢ）３２０及び制御部３３０を備える。管理ＤＢ３２０は、管理サーバ３１０の管理下にある複数の撮像制御装置２００の各々について、装置の識別子、選択可能な設定の候補、現在の設定、位置及び速度を記憶する。制御部３３０は、管理ＤＢ３２０内のこれら情報を、撮像制御装置２００から報告される最新の情報で更新する。
　制御部３３０は、撮像制御装置２００から上述した設定要求メッセージが受信されると、管理下の他の全ての装置、撮像制御装置２００が位置する特定の領域内の他の装置、又は図７を用いて説明した手法で選択される複数の近傍装置を、競合回避の対象として選択する。また、制御部３３０は、選択した既存の装置により現在使用されている設定を、管理ＤＢ３２０を参照することにより識別する。そして、制御部３３０は、撮像制御装置２００により選択可能な設定の候補の中で、既存の装置により使用されている設定とは少なくとも部分的に異なる設定を、撮像制御装置２００に割り当てる。一例として、図６Ａに示したように、車両Ｖ１１、Ｖ１２、Ｖ１３及びＶ１４により対象波長ｒ２、ｒ４、ｒ８及びｒ６がそれぞれ使用される場合、制御部３３０は、設定の割り当てを要求する別の装置に、例えば波長ｒ３を対象波長として割り当てることができる。未使用の波長の代わりに、図６Ｂ又は図６Ｃの例のように、未使用の時間スロットが割り当てられてもよい。
　制御部３３０は、既存の装置の使用中の設定を変更することなく、未使用であると判定される設定を新たな装置に割り当ててもよい。この場合、制御部３３０は、撮像制御装置２００からの設定要求メッセージへの応答として、撮像制御装置２００に割り当てた設定を特定する制御パラメータを含む応答メッセージを、撮像制御装置２００へ送信する。その代わりに、制御部３３０は、既存の装置と新たな装置とを含むグループを対象として、図９Ａ～図９Ｃを用いて説明した設定選択処理を実行し、設定優先度の順に各装置について設定を選択／再選択してもよい。この場合、制御部３３０は、設定が更新される既存の装置に設定の更新を指示する設定更新メッセージを、新たな装置に上述した応答メッセージを送信する。なお、撮像制御装置２００から送信される設定要求メッセージは、撮像制御装置２００が使用することを希望する所望設定を示してもよい。この場合、管理サーバ３１０は、応答メッセージにおいて、所望設定の使用を許可するか否か、及び許可しないときは代替的に割り当てられる設定を、要求元の装置へ通知し得る。
　ある実施例において、制御部３３０は、装置の数が多いために競合を完全に回避することのできないケースに備えて、複数の装置への重複的な割り当てを許容する設定（特定の対象波長若しくは撮像タイミング、又はそれらの組合せ）を予め定義していてもよい（以下、既定の設定という）。この実施例において、制御部３３０は、波長、時間又は空間の分離によっては撮像の競合を完全には回避し得ないと判定すると、１つ以上の装置（例えば、設定優先度が相対的に低い装置）に、上述した既定の設定を割り当てる。例えば、運転支援の用途では、設定の割り当てを要求する装置にいずれの設定も割り当てない（画像を撮像させない）ことは安全上の観点で避けられるべきであるため、こうした既定の設定の重複的な使用を許容することが有益である。既定の設定は、管理サーバ３１０により設定が割り当てられるまでの期間において、撮像制御装置２００により使用されてもよい。
　　［３－４．処理の流れ］
　　　（１）装置側の処理
　図１１は、第２の実施形態に係る装置側の撮像制御処理の流れの一例を示すフローチャートである。
　まず、撮像制御装置２００の撮像制御部２５０は、周期的に、又は（例えば、管理領域外への移動に起因して）接続中の管理サーバとの接続が失われた場合に、新たな管理サーバ３１０との接続を試行する（ステップＳ２００）。そして、撮像制御部２５０は、通信インタフェース１１２が管理サーバ３１０と接続すると、撮像制御装置２００の識別子、設定候補情報、現在設定情報、位置情報及び速度情報を含み得る設定要求メッセージを管理サーバ３１０へ送信する（ステップＳ２０５）。管理サーバ３１０との接続が維持されており、又は割り当て済みの設定が有効である間は、これらステップＳ２００及びＳ２０５の処理はスキップされてよい。
　撮像制御部２５０は、管理サーバ３１０からのメッセージの受信を待ち受ける（ステップＳ２４０）。そして、撮像制御部２５０は、管理サーバ３１０から設定要求メッセージに対する応答メッセージ、又は設定更新メッセージが受信されると、受信されたメッセージに従って、赤外線の照射波長域、赤外線画像の対象波長、赤外線画像の撮像タイミング及び赤外線の照射強度のうちの１つ以上を、カメラモジュール１０１及び画像取得部１２０に設定する（ステップＳ２５０）。
　次に、撮像制御部２５０は、撮像タイミングが到来したかを判定する（ステップＳ２５５）。撮像タイミングが到来すると、カメラモジュール１０１の発光器１０２は設定された照射波長域の赤外線を照射し（ステップＳ２６０）、撮像素子配列１０３は原画像を撮像する（ステップＳ２７０）。ここで、カメラモジュール１０１の光学フィルタ１０４は、撮像素子配列１０３へと入射する赤外線を、設定された対象波長の赤外線のみを通過させるようにフィルタリングし得る。
　次に、画像取得部１２０は、設定された対象波長の赤外線画像を、必要に応じて画像信号の増幅、デモザイク、ノイズ除去及び波長成分の分離などの予備的処理を通じて取得する（ステップＳ２８０）。そして、画像取得部１２０は、取得した赤外線画像を、アプリケーション部１３０へ出力する（ステップＳ２９０）。その後、フローはステップＳ２００へ戻り、上述した処理が繰り返される。
　　　（２－１）サーバ側の処理－第１の例
　図１２Ａは、第２の実施形態に係るサーバ側の撮像制御処理の流れの第１の例を示すフローチャートである。
　図１２Ａに示した撮像制御処理は、管理サーバ３１０における撮像制御装置２００からの設定要求メッセージの受信をトリガとして開始される（ステップＳ３００）。管理サーバ３１０の制御部３３０は、設定要求メッセージの受信に応じて、要求元の装置との撮像の競合を回避すべき既存の装置を、競合回避の対象として選択する（ステップＳ３１０）。
　次に、制御部３３０は、選択した既存の装置により使用されていない設定であって、要求元の装置により選択可能な設定があるか否かを、管理ＤＢ３２０を参照することにより判定する（ステップＳ３２０）。そして、未使用の選択可能な設定がある場合には、制御部３３０は、当該設定を要求元の装置へ割り当てる（ステップＳ３３０）。未使用の選択可能な設定が無い場合には、制御部３３０は、既定の設定を要求元の装置へ割り当てる（ステップＳ３３５）。
　そして、制御部３３０は、要求元の装置へ割り当てた設定を通知するために、当該設定を特定する制御パラメータを含む応答メッセージを、要求元の装置へ送信する（ステップＳ３６０）。
　　　（２－２）サーバ側の処理－第２の例
　図１２Ｂは、第２の実施形態に係るサーバ側の撮像制御処理の流れの第２の例を示すフローチャートである。
　図１２Ｂに示した撮像制御処理もまた、管理サーバ３１０における撮像制御装置２００からの設定要求メッセージの受信をトリガとして開始される（ステップＳ３００）。管理サーバ３１０の制御部３３０は、設定要求メッセージの受信に応じて、要求元の装置との撮像の競合を回避すべき既存の装置を、競合回避の対象として選択する（ステップＳ３１０）。
　次に、制御部３３０は、要求元の装置及びステップＳ３１０において選択した既存の装置の各々について、その選択可能な設定の候補、現在の設定、位置及び速度等の情報に基づいて（設定自由度及び設定変更リスクといった指標に基づいて）設定優先度を決定する（ステップＳ３３０）。
　次に、制御部３３０は、設定を確定していない装置のうち最も設定優先度の高い装置を選択する（ステップＳ３３５）。次に、制御部３３０は、未使用の設定のうちの１つを、選択した当該装置に割り当てる（ステップＳ３４０）。制御部３３０は、こうした設定の割り当てを、設定優先度の高い装置の順に、全ての装置へ設定が割り当てられるまで繰り返す（ステップＳ３４５）。
　そして、制御部３３０は、要求元の装置及び設定の更新される装置へ、割り当てた個々の設定を通知するために、個々の設定を特定する制御パラメータを含む応答メッセージ又は設定更新メッセージを送信する（ステップＳ３７０）。
　　［３－５．応用例］
　図１０に例示したような管理サーバが介在するシステム構成は、第１の実施形態で説明したような（サーバではなく）装置主体の撮像制御を支援するために活用されてもよい。例えば、管理サーバ３１０は、個々の装置の現在位置及び速度を管理し、図８を用いて説明した撮像制御処理における近傍装置の選択（ステップＳ１１５）を撮像制御装置１００の代わりに実行してもよい。また、管理サーバ３１０は、装置ごとの設定変更リスクを評価する際に利用され得る地図情報（例えば、事故発生確率の高い場所を示す情報）を撮像制御装置１００へ提供してもよい。これらの例に限定されず、第１の実施形態に関連して説明した処理の任意の部分が、撮像制御装置１００の代わりに管理サーバ３１０により実行されてよい。
　＜４．まとめ＞
　ここまで、図１～図１２Ｂを用いて、本開示に係る技術の様々な実施形態について詳細に説明した。上述した実施形態によれば、照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する装置において、通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、赤外線画像の生成のための設定が制御される。従って、互いに近傍に位置する装置の各々により使用される撮像関連の設定を、撮像の競合が回避されるように情報交換を通じて動的に調整することが可能である。それにより、多数の赤外線カメラが撮像を行う場面において、個々の赤外線画像の画質が外乱としての他のカメラからの照射光に起因して劣化してしまうことを回避することができる。
　赤外線の照射波長域及び赤外線画像の対象波長が装置間で異なるように撮像関連の設定が調整される実施例によれば、高々２～３台の分離度しか達成されない既存の手法よりも格段に多くの装置による撮像の競合を回避することが可能である。例えば、第１の装置において第１の照射波長域に属する第１の波長を対象波長として赤外線画像が取得され、第２の装置（第１の装置の近傍装置）において第２の照射波長域に属する第２の波長を対象波長として赤外線画像が取得されるものとする。第１の装置は、第２の照射波長域での第２の装置からの照射光に起因する赤外線画像への影響が低減されるように第１の波長を選択する。例えば、第２の照射波長域に含まれない波長を第１の波長として選択することで、第１の波長を対象波長として生成される赤外線画像は、第２の装置からの照射光に影響されない。また、第１の装置は、第１の照射波長域での第１の装置からの照射光に起因する、第２の装置で生成される赤外線画像への影響が低減されるように、第１の照射波長域を選択する。例えば、第２の波長を含まないように第１の照射波長域を選択することで、
第２の波長を対象波長として生成される赤外線画像は、第１の装置からの照射光に影響されない。
　赤外線画像の撮像タイミングが装置間で異なるように撮像関連の設定が調整される例においても、既存の手法よりも大きい分離度を達成することができる。例えば、第１の装置において赤外線画像が第１の撮像タイミングで赤外線の反射光を撮像することにより生成される場合に、第２の装置（第１の装置の近傍装置）により選択される第２の撮像タイミングと第１の撮像タイミングとが干渉しないように第１の撮像タイミングが選択される。この場合、一方の装置からの赤外線の照射と他方の装置での撮像とが同時には行われないため、双方の装置で適正な赤外線画像を取得することができる。
　また、上述した実施形態によれば、相対的に高い設定優先度が与えられた装置は、自らが使用する設定と少なくとも部分的に異なる設定をより設定優先度の低い近傍装置に使用させるために、通信インタフェースを介して制御パラメータを送信する。相対的に低い設定優先度が与えられた装置は、近傍装置から受信される制御パラメータにより特定される設定と少なくとも部分的に異なる設定を、赤外線画像の生成のために選択する。このような優先度に従って各装置が使用すべき設定を順に決定することで、複数の装置が無秩序に重複する設定を使用してしまう事態を回避することができる。
　ある実施例によれば、設定優先度は、個々の装置の設定自由度に基づいて決定される。例えば、設定自由度のより低い装置（より少ない種類の設定しか選択可能でない装置）の設定の選択を優先的に行うことで、競合を回避できない装置が残されてしまう可能性を低減することができる。他の実施例によれば、設定優先度は、個々の装置の移動速度又は位置に依存する設定変更リスクに基づいて決定される。例えば、車載装置の用途において、設定変更リスクのより高い装置の設定の選択を優先的に行うことで、赤外線画像の一時的な乱れに起因する事故のリスクを増大を防ぐことができる。
　また、上述した実施形態によれば、通信インタフェースを介して検出される１つ以上の近傍装置との間の相対的な位置関係に基づいて、競合を回避すべき近傍装置のグループが選択され、選択されたグループ内の近傍装置との間で少なくとも部分的に異なる設定が使用されるように、赤外線画像の生成のための設定が制御される。従って、多数の装置が撮像を行う場面において、必ずしも全ての装置ではなく、互いに影響し合う位置に存在するより少ない装置の間で競合回避のための調整を行うことができる。よって、競合回避のための通信及び処理のオーバヘッドを適切なレベルに抑制しつつ、撮像の競合を効果的に回避することができる。
　また、ある実施形態によれば、複数の装置による赤外線画像の生成のための設定を管理する管理サーバが導入され、各装置は、管理サーバから受信される制御パラメータにより特定される設定を、赤外線画像の生成のために選択する。従って、各装置は、例えば近傍装置の選択及び優先度の決定といった競合回避のために要する処理を管理サーバに委ねることができる。また、管理サーバは、直接的には互いに通信可能ではない２つ以上の装置について撮像関連の設定を調整することができるため、管理サーバが存在しないシステム形態と比較して、競合回避の確実性を高めることができる。
　なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory　media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random　Access　Memory）に読み込まれ、ＣＰＵ（Central　Processing　Unit）などのプロセッサにより実行される。
　また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
　通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
　を備える撮像制御装置。
（２）
　前記制御部により制御される前記設定は、前記赤外線の照射波長域、前記赤外線画像の対象波長及び前記赤外線画像の撮像タイミング、のうちの１つ以上を含む、前記（１）に記載の撮像制御装置。
（３）
　前記画像取得部は、第１の照射波長域に属する第１の波長を対象波長として生成される前記赤外線画像を取得し、
　前記制御部は、前記画像取得部により取得される前記赤外線画像への、近傍装置により選択される第２の照射波長域に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の波長を選択する、
　前記（２）に記載の撮像制御装置。
（４）
　前記近傍装置は、前記第２の照射波長域に属する第２の波長を対象波長として赤外線画像を生成し、
　前記制御部は、前記近傍装置により生成される前記赤外線画像への、前記第１の照射波長域に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の照射波長域を選択する、
　前記（３）に記載の撮像制御装置。
（５）
　前記赤外線画像は、第１の撮像タイミングで前記反射光を撮像することにより生成され、
　前記制御部は、近傍装置により選択される第２の撮像タイミングと前記第１の撮像タイミングとが干渉しないように、前記制御パラメータに基づいて前記第１の撮像タイミングを選択する、
　前記（２）に記載の撮像制御装置。
（６）
　前記制御パラメータは、前記画像取得部により取得される前記赤外線画像についての第１の設定を特定し、
　前記制御部は、前記第１の設定と少なくとも部分的に異なる第２の設定をより設定優先度の低い近傍装置に使用させるために、前記通信インタフェースを介して前記制御パラメータを送信する、
　前記（２）に記載の撮像制御装置。
（７）
　前記制御パラメータは、より設定優先度の高い近傍装置により生成される赤外線画像についての第２の設定を特定し、
　前記制御部は、前記通信インタフェースを介して受信される前記制御パラメータにより特定される前記第２の設定と少なくとも部分的に異なる第１の設定を、前記画像取得部により取得される前記赤外線画像の生成のために選択する、
　前記（２）に記載の撮像制御装置。
（８）
　前記設定優先度は、個々の装置の設定自由度に基づいて決定される、前記（６）又は前記（７）に記載の撮像制御装置。
（９）
　前記設定優先度は、個々の装置の移動速度又は位置に依存する設定変更リスクに基づいて決定される、前記（６）～（８）のいずれか１項に記載の撮像制御装置。
（１０）
　前記制御部は、
　前記通信インタフェースを介して１つ以上の近傍装置を検出し、
　前記赤外線カメラと検出した前記１つ以上の近傍装置との間の相対的な位置関係に基づいて、競合を回避すべき少なくとも１つの近傍装置を選択し、
　選択した前記少なくとも１つの近傍装置との間で少なくとも部分的に異なる設定が使用されるように、前記赤外線画像の生成のための設定を制御する、
　前記（１）～（９）のいずれか１項に記載の撮像制御装置。
（１１）
　前記通信インタフェースは、複数の装置による赤外線画像の生成のための前記設定を管理する管理サーバと通信し、
　前記制御部は、前記管理サーバから前記通信インタフェースを介して受信される前記制御パラメータにより特定される設定を、前記画像取得部により取得される前記赤外線画像の生成のために選択する、
　前記（１）又は前記（２）に記載の撮像制御装置。
（１２）
　前記制御部は、前記赤外線画像の前記生成のために選択可能な１つ以上の設定候補を示す設定候補情報を、前記通信インタフェースを介して前記管理サーバへ送信し、
　前記制御パラメータは、前記設定候補情報により示される前記１つ以上の設定候補に含まれる設定を特定する、
　前記（１１）に記載の撮像制御装置。
（１３）
　前記赤外線画像は、第１の照射強度で照射される前記赤外線の前記反射光を撮像することにより生成され、
　前記制御部は、近傍装置により生成される赤外線画像への、前記第１の照射強度での赤外線の照射に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の照射強度を選択する、
　前記（１）に記載の撮像制御装置。
（１４）
　前記赤外線画像は、第１の偏光方向を有する前記赤外線の前記反射光を撮像することにより生成され、
　前記制御部は、近傍装置により選択される第２の偏光方向と前記第１の偏光方向とが重複しないように、前記制御パラメータに基づいて前記第１の偏光方向を選択する、
　前記（１）に記載の撮像制御装置。
（１５）
　前記赤外線を照射する発光器及び前記反射光を撮像する撮像素子の配列を含む前記赤外線カメラ、をさらに備える、前記（１）～（１４）のいずれか１項に記載の撮像制御装置。
（１６）
　照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得することと、
　通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御することと、
　を含む撮像制御方法。
（１７）
　コンピュータを、
　照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
　通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
　として機能させるためのプログラム。
　１　　　　　　　　撮像制御システム
　１００，２００　　撮像制御装置
　１０１　　　　　　カメラモジュール（赤外線カメラ）
　１２０　　　　　　画像取得部
　１３０　　　　　　アプリケーション部
　１４０　　　　　　設定ＤＢ
　１５０，２５０　　撮像制御部
　３１０　　　　　　管理サーバ

Claims (17)

  1. 　照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
    　通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
    　を備える撮像制御装置。
  2. 　前記制御部により制御される前記設定は、前記赤外線の照射波長域、前記赤外線画像の対象波長及び前記赤外線画像の撮像タイミング、のうちの１つ以上を含む、請求項１に記載の撮像制御装置。
  3. 　前記画像取得部は、第１の照射波長域に属する第１の波長を対象波長として生成される前記赤外線画像を取得し、
    　前記制御部は、前記画像取得部により取得される前記赤外線画像への、近傍装置により選択される第２の照射波長域に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の波長を選択する、
    　請求項２に記載の撮像制御装置。
  4. 　前記近傍装置は、前記第２の照射波長域に属する第２の波長を対象波長として赤外線画像を生成し、
    　前記制御部は、前記近傍装置により生成される前記赤外線画像への、前記第１の照射波長域に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の照射波長域を選択する、
    　請求項３に記載の撮像制御装置。
  5. 　前記赤外線画像は、第１の撮像タイミングで前記反射光を撮像することにより生成され、
    　前記制御部は、近傍装置により選択される第２の撮像タイミングと前記第１の撮像タイミングとが干渉しないように、前記制御パラメータに基づいて前記第１の撮像タイミングを選択する、
    　請求項２に記載の撮像制御装置。
  6. 　前記制御パラメータは、前記画像取得部により取得される前記赤外線画像についての第１の設定を特定し、
    　前記制御部は、前記第１の設定と少なくとも部分的に異なる第２の設定をより設定優先度の低い近傍装置に使用させるために、前記通信インタフェースを介して前記制御パラメータを送信する、
    　請求項２に記載の撮像制御装置。
  7. 　前記制御パラメータは、より設定優先度の高い近傍装置により生成される赤外線画像についての第２の設定を特定し、
    　前記制御部は、前記通信インタフェースを介して受信される前記制御パラメータにより特定される前記第２の設定と少なくとも部分的に異なる第１の設定を、前記画像取得部により取得される前記赤外線画像の生成のために選択する、
    　請求項２に記載の撮像制御装置。
  8. 　前記設定優先度は、個々の装置の設定自由度に基づいて決定される、請求項６に記載の撮像制御装置。
  9. 　前記設定優先度は、個々の装置の移動速度又は位置に依存する設定変更リスクに基づいて決定される、請求項６に記載の撮像制御装置。
  10. 　前記制御部は、
    　前記通信インタフェースを介して１つ以上の近傍装置を検出し、
    　前記赤外線カメラと検出した前記１つ以上の近傍装置との間の相対的な位置関係に基づいて、競合を回避すべき少なくとも１つの近傍装置を選択し、
    　選択した前記少なくとも１つの近傍装置との間で少なくとも部分的に異なる設定が使用されるように、前記赤外線画像の生成のための設定を制御する、
    　請求項１に記載の撮像制御装置。
  11. 　前記通信インタフェースは、複数の装置による赤外線画像の生成のための前記設定を管理する管理サーバと通信し、
    　前記制御部は、前記管理サーバから前記通信インタフェースを介して受信される前記制御パラメータにより特定される設定を、前記画像取得部により取得される前記赤外線画像の生成のために選択する、
    　請求項１に記載の撮像制御装置。
  12. 　前記制御部は、前記赤外線画像の前記生成のために選択可能な１つ以上の設定候補を示す設定候補情報を、前記通信インタフェースを介して前記管理サーバへ送信し、
    　前記制御パラメータは、前記設定候補情報により示される前記１つ以上の設定候補に含まれる設定を特定する、
    　請求項１１に記載の撮像制御装置。
  13. 　前記赤外線画像は、第１の照射強度で照射される前記赤外線の前記反射光を撮像することにより生成され、
    　前記制御部は、近傍装置により生成される赤外線画像への、前記第１の照射強度での赤外線の照射に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の照射強度を選択する、
    　請求項１に記載の撮像制御装置。
  14. 　前記赤外線画像は、第１の偏光方向を有する前記赤外線の前記反射光を撮像することにより生成され、
    　前記制御部は、近傍装置により選択される第２の偏光方向と前記第１の偏光方向とが重複しないように、前記制御パラメータに基づいて前記第１の偏光方向を選択する、
    　請求項１に記載の撮像制御装置。
  15. 　前記赤外線を照射する発光器及び前記反射光を撮像する撮像素子の配列を含む前記赤外線カメラ、をさらに備える、請求項１に記載の撮像制御装置。
  16. 　照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得することと、
    　通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御することと、
    　を含む撮像制御方法。
  17. 　コンピュータを、
    　照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
    　通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
    　として機能させるためのプログラム。
PCT/JP2015/083254 2015-01-15 2015-11-26 撮像制御装置、撮像制御方法及びプログラム WO2016114015A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016569246A JP6743708B2 (ja) 2015-01-15 2015-11-26 撮像制御装置、撮像制御方法及びプログラム
US15/540,179 US10609301B2 (en) 2015-01-15 2015-11-26 Imaging control apparatus and imaging control method
US16/792,446 US11831999B2 (en) 2015-01-15 2020-02-17 Imaging control apparatus and imaging control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015005807 2015-01-15
JP2015-005807 2015-01-15

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/540,179 A-371-Of-International US10609301B2 (en) 2015-01-15 2015-11-26 Imaging control apparatus and imaging control method
US16/792,446 Continuation US11831999B2 (en) 2015-01-15 2020-02-17 Imaging control apparatus and imaging control method

Publications (1)

Publication Number Publication Date
WO2016114015A1 true WO2016114015A1 (ja) 2016-07-21

Family

ID=56405572

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/083254 WO2016114015A1 (ja) 2015-01-15 2015-11-26 撮像制御装置、撮像制御方法及びプログラム

Country Status (3)

Country Link
US (2) US10609301B2 (ja)
JP (1) JP6743708B2 (ja)
WO (1) WO2016114015A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108572728A (zh) * 2016-07-12 2018-09-25 索尼公司 信息处理设备、信息处理方法和程序
CN108681182A (zh) * 2018-04-24 2018-10-19 浙江大华技术股份有限公司 一种光圈控制方法及终端设备
CN110024371A (zh) * 2016-11-30 2019-07-16 富士胶片株式会社 摄影装置及其控制方法
CN111186377A (zh) * 2018-11-14 2020-05-22 株式会社小糸制作所 红外线相机系统、红外线相机模块以及车辆
CN115398883A (zh) * 2020-07-29 2022-11-25 Jvc建伍株式会社 红外线拍摄装置以及红外线拍摄系统
WO2023281813A1 (ja) * 2021-07-09 2023-01-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313850A (ja) * 2000-05-01 2001-11-09 Sony Corp 車載用近赤外線照射撮影装置
JP2002008015A (ja) * 2000-06-26 2002-01-11 Casio Comput Co Ltd 画像抽出方法、画像抽出システム、撮像装置及び記録媒体
JP2004276767A (ja) * 2003-03-17 2004-10-07 Nissan Motor Co Ltd 車両用暗視装置
JP2004345419A (ja) * 2003-05-20 2004-12-09 Nissan Motor Co Ltd 車両用暗視システムおよび車両用前照灯装置
JP2006166409A (ja) * 2004-11-09 2006-06-22 Canon Inc データ処理装置及びその制御方法
JP2006319450A (ja) * 2005-05-10 2006-11-24 Toyota Motor Corp 暗視装置
JP2008181711A (ja) * 2007-01-23 2008-08-07 Matsushita Electric Ind Co Ltd 暗視撮像装置、ヘッドライトモジュール、車両及び暗視撮像装置の制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7912645B2 (en) * 1997-10-22 2011-03-22 Intelligent Technologies International, Inc. Information transfer arrangement and method for vehicles
US7647180B2 (en) * 1997-10-22 2010-01-12 Intelligent Technologies International, Inc. Vehicular intersection management techniques
US20030052796A1 (en) * 2001-09-17 2003-03-20 Koninklijke Kpn N.V. Service mediator system for vehicles and vehicle users in a traffic network
JP4522344B2 (ja) 2004-11-09 2010-08-11 キヤノン株式会社 撮像装置及びその制御方法とそのプログラム
US7579593B2 (en) 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
EP2026097A1 (en) * 2007-08-08 2009-02-18 Harman Becker Automotive Systems GmbH Vehicle illumination system
JP2009130709A (ja) 2007-11-26 2009-06-11 Clarion Co Ltd 近赤外線カメラシステム
US8145199B2 (en) * 2009-10-31 2012-03-27 BT Patent LLC Controlling mobile device functions
JP5361672B2 (ja) * 2009-11-10 2013-12-04 株式会社エヌ・ティ・ティ・ドコモ 移動機、ネットワーク、およびハンドオーバー制御方法
US20120226532A1 (en) * 2011-03-01 2012-09-06 Prabhakar Balaji S Mitigation of congestion in use of a capacity constrained resource by providing incentives
JP5871485B2 (ja) * 2011-05-17 2016-03-01 キヤノン株式会社 画像送信装置、画像送信方法、及びプログラム
US9843713B2 (en) * 2014-04-02 2017-12-12 Nebulys Technologies, Inc. Systems and methods for video communication

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001313850A (ja) * 2000-05-01 2001-11-09 Sony Corp 車載用近赤外線照射撮影装置
JP2002008015A (ja) * 2000-06-26 2002-01-11 Casio Comput Co Ltd 画像抽出方法、画像抽出システム、撮像装置及び記録媒体
JP2004276767A (ja) * 2003-03-17 2004-10-07 Nissan Motor Co Ltd 車両用暗視装置
JP2004345419A (ja) * 2003-05-20 2004-12-09 Nissan Motor Co Ltd 車両用暗視システムおよび車両用前照灯装置
JP2006166409A (ja) * 2004-11-09 2006-06-22 Canon Inc データ処理装置及びその制御方法
JP2006319450A (ja) * 2005-05-10 2006-11-24 Toyota Motor Corp 暗視装置
JP2008181711A (ja) * 2007-01-23 2008-08-07 Matsushita Electric Ind Co Ltd 暗視撮像装置、ヘッドライトモジュール、車両及び暗視撮像装置の制御方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108572728A (zh) * 2016-07-12 2018-09-25 索尼公司 信息处理设备、信息处理方法和程序
CN108572728B (zh) * 2016-07-12 2022-11-08 索尼公司 信息处理设备、信息处理方法和程序
US10931869B2 (en) 2016-11-30 2021-02-23 Fujifilm Corporation Imaging apparatus and control method therefor
CN110024371A (zh) * 2016-11-30 2019-07-16 富士胶片株式会社 摄影装置及其控制方法
CN110024371B (zh) * 2016-11-30 2021-03-09 富士胶片株式会社 摄影装置及其控制方法
CN108681182B (zh) * 2018-04-24 2020-08-04 浙江大华技术股份有限公司 一种光圈控制方法及终端设备
CN108681182A (zh) * 2018-04-24 2018-10-19 浙江大华技术股份有限公司 一种光圈控制方法及终端设备
CN111186377A (zh) * 2018-11-14 2020-05-22 株式会社小糸制作所 红外线相机系统、红外线相机模块以及车辆
WO2020100656A1 (ja) * 2018-11-14 2020-05-22 株式会社小糸製作所 赤外線カメラシステム、赤外線カメラモジュール及び車両
JPWO2020100656A1 (ja) * 2018-11-14 2021-10-07 株式会社小糸製作所 赤外線カメラシステム、赤外線カメラモジュール及び車両
CN115398883A (zh) * 2020-07-29 2022-11-25 Jvc建伍株式会社 红外线拍摄装置以及红外线拍摄系统
CN115398883B (zh) * 2020-07-29 2024-01-09 Jvc建伍株式会社 红外线拍摄装置以及红外线拍摄系统
WO2023281813A1 (ja) * 2021-07-09 2023-01-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
JP6743708B2 (ja) 2020-08-19
JPWO2016114015A1 (ja) 2017-11-02
US10609301B2 (en) 2020-03-31
US20170366722A1 (en) 2017-12-21
US11831999B2 (en) 2023-11-28
US20200186693A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
WO2016114015A1 (ja) 撮像制御装置、撮像制御方法及びプログラム
CN107578644B (zh) 用于运行包括信号源的交通基础设施单元的方法和设备
US20180352167A1 (en) Image pickup apparatus, image pickup control method, and program
CN111656144B (zh) 传感器设备、电子设备、传感器系统和控制方法
US10908478B2 (en) Photometric device, photometric method, program, and capturing device
US20200231176A1 (en) Control apparatus, control method, program, and moving body
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
US11698642B2 (en) Information processing apparatus, mobile object, control system, and information processing method
JP6645492B2 (ja) 撮像装置および撮像方法
JPWO2004106857A1 (ja) ステレオ光学モジュール及びステレオカメラ
JP5772714B2 (ja) 灯火検出装置及び車両制御システム
CN110073652B (zh) 成像装置以及控制成像装置的方法
WO2018179622A1 (ja) 撮像装置、撮像モジュールおよび撮像装置の制御方法
JP2020095504A (ja) 情報収集装置、情報収集システム、情報収集方法及びコンピュータプログラム
KR20210082321A (ko) 인공지능형 모빌리티 디바이스 제어 방법 및 인공지능형 모빌리티를 제어하는 지능형 컴퓨팅 디바이스
JP2018041209A (ja) 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム
JPWO2018016150A1 (ja) 画像処理装置と画像処理方法
JPWO2018016151A1 (ja) 画像処理装置と画像処理方法
WO2018131514A1 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2023205571A1 (en) Systems and methods of collaborative enhanced sensing
US20240056694A1 (en) Imaging device, image processing method, and image processing program
JP2024109967A (ja) 認識処理システム、認識処理装置及び認識処理方法
JP6161582B2 (ja) 画像処理装置
JPWO2018008408A1 (ja) 固体撮像装置、補正方法、および電子装置
JP2013250694A (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15877967

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016569246

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15540179

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15877967

Country of ref document: EP

Kind code of ref document: A1