[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2024115376A1 - Système et méthode d'acquisition d'une image hyperspectrale d'un paysage sous ciel réel - Google Patents

Système et méthode d'acquisition d'une image hyperspectrale d'un paysage sous ciel réel Download PDF

Info

Publication number
WO2024115376A1
WO2024115376A1 PCT/EP2023/083147 EP2023083147W WO2024115376A1 WO 2024115376 A1 WO2024115376 A1 WO 2024115376A1 EP 2023083147 W EP2023083147 W EP 2023083147W WO 2024115376 A1 WO2024115376 A1 WO 2024115376A1
Authority
WO
WIPO (PCT)
Prior art keywords
vertical
image
pixels
hyperspectral
columns
Prior art date
Application number
PCT/EP2023/083147
Other languages
English (en)
Inventor
Olivier DUMOULIN
Vincent ODENT
Sara Gonzalez
Marie-Christine DHEUR
Laurence PONS DE GUIGUES
Original Assignee
Saint-Gobain Glass France
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saint-Gobain Glass France filed Critical Saint-Gobain Glass France
Publication of WO2024115376A1 publication Critical patent/WO2024115376A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/04—Slit arrangements slit adjustment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to a system and a method for acquiring a hyperspectral image of a landscape under real sky.
  • simulation tools such as physico-realistic rendering or ray tracing methods
  • ray tracing methods in order to generate three-dimensional scenes.
  • the objects represented for example all or part of a vehicle or a building, evolve in an environment or a landscape whose digital simulation can be carried out using a projected environment map as a texture on the surface of a geometric object, such as a sphere, cube or half-sphere, used as support for a virtual sky, and/or projected onto the reflective surfaces of certain elements or objects in the scene simulated three-dimensional.
  • the images used to generate the environment map may be manually or computer-designed drawings or graphics, or real-world photographs acquired using a photographic device.
  • the environmental maps can be acquired using a panoramic photographic device which is adapted for the acquisition of a complete landscape, including the sky, at a solid angle defined vertically by an angle of 180° from the zenith to the horizon, and horizontally by an angle of 360° to the horizon. Examples of such devices are 360° rotating photographic devices, photographic devices with a “wide angle” lens or photographic devices with a hypergon lens (“fisheye” in English).
  • CN 207442995 U SHENZHEN REAL SCENE TECH CO LTD [CN] 01.06.2018 describes a hybrid panoramic imaging system comprising several conventional cameras and a hypergon lens camera.
  • Conventional cameras are oriented in a direction perpendicular to the astronomical zenith.
  • the hypergonal lens camera is oriented along the astronomical zenith axis.
  • JP 2007028272 A, DOMUS INTERNAT LTD [JP] 01.02.2007 describes a panoramic imaging system comprising a camera equipped with a CCD photographic sensor and a hypergon lens.
  • the device is mounted on a rotating mobile stage and is oriented in a direction perpendicular to the astronomical zenith direction. Facing the hypergon lens is placed an occulting diaphragm equipped with a vertical slit so that the camera acquires images along a vertical arc of 180° from the zenith to the horizon.
  • a complete panoramic photograph is reconstructed by assembling all the vertical images acquired during the rotation of the rotating mobile stage.
  • a first disadvantage of current panoramic imaging systems comprising a rotating photographic device provided with a hypergonal lens is that, when an image is acquired in full sunlight or in full light using this type of device, certain regions of the image thus acquired may be affected by a whitish veil. This whitish veil is particularly visible when the sun itself is photographed, particularly in the peripheral regions of the sun image.
  • the white veil materializes by a whitening of certain regions of the image which obscures certain elements of the landscape such as thin clouds, trees or buildings. Also, when the images are used for the design of an environment map in a rendering engine, a disadvantage is that these whitened regions induce unrealistic reflections of light, in particular with regard to brightness and colors, and, by consequently, lack of representativeness of the real landscape.
  • a first remarkable advantage of the invention is a reduction in the spatial extension of the whitish veil. This reduction can reach 90% or more.
  • a second advantage is the elimination or reduction of light blur with limited loss of information.
  • FIG. 1 is a schematic representation of a conventional system for acquiring a panoramic hyperspectral image.
  • FIG. 1 is a schematic representation of the diaphragm of a system according to the first aspect of the invention.
  • FIG. 1 is a schematic representation of a side view of the diaphragm of the .
  • FIG. 1 is a graphical representation of the luminance variations on a line of pixels for a channel of a panoramic hyperspectral image acquired according to three examples conforming to the invention and a CE counterexample not conforming to the invention.
  • substantially perpendicular direction is meant an approximately or exactly perpendicular, respectively parallel, direction, within a tolerance of at most 10°, preferably at most 5° in relation to said other direction. Otherwise, a direction is considered perpendicular, respectively parallel, to another direction, when it forms an angle between 80° and 100°, preferably between 85° and 95°, respectively between -10° and 10°, of preferably between -5° and 5°, relative to said other direction.
  • hyperspectral imaging is meant hyperspectral imaging as defined in the technical field of imaging. It includes in particular the techniques, devices and/or systems making it possible to construct an image of which each of the individual elements, called pixels, is associated with a reflectance spectrum. Simply put, hyperspectral imaging allows exploration of the electromagnetic spectrum beyond the RGB channels of conventional imaging systems. Thus, a hyperspectral image is formed from an assembly of several dozen, or even hundreds, of contiguous spectral bands acquired for each pixel. It generally has a matrix structure and can be represented in the form of a data cube whose first two dimensions represent the spatial dimensions of the image and the third its spectral dimension.
  • a system 1000 for acquiring a hyperspectral image of a landscape under real sky, the system comprises: - a CCD hyperspectral camera 1001 provided with a hypergon lens 1002 whose optical axis (AO) is oriented in a direction substantially perpendicular to the vertical astronomical zenith direction (ZA); - a rotating mobile stage 1002 configured to ensure the rotation of said hyperspectral camera at an angle of 360° in the reference plane of said hyperspectral camera with, as the axis of rotation, the vertical astronomical zenith direction (ZA); - a diaphragm 2001 provided with a vertical orifice 2002 and placed on said hypergonal objective 1002; in which the width of said vertical orifice 2002 is less than or equal to 5mm, preferably less than or equal to 4mm, preferably less than or equal to 3mm, and in which the vertical axis (AV) of said vertical orifice 2002 is substantially parallel to
  • reference plane of the hyperspectral camera is meant the plane of the camera 1001 comprising the optical axis (AO) of the hypergon objective 1002 and perpendicular to the vertical astronomical zenith direction (ZA).
  • a system 1000 operates in the following manner. Once the system is installed in a real sky landscape, the hyspectral camera 1001 acquires a continuous vertical hypsespectral image through the vertical orifice 2002 of the diaphragm 2001, preferably at a vertical angle of at least 170°, while the mobile plate 1002 rotates said camera 1001 at an angle of 360° in its reference plane. A complete panoramic hyperspectral image can then be reconstructed by assembling all the vertical hyperspectral images acquired.
  • a system 1000 according to the first aspect of the invention allows a reduction in the spatial extension of the whitish veil likely to appear on a panoramic image in the regions of said image including the sun.
  • the diaphragm 2001 is provided with a vertical orifice 2002, or slot, whose vertical axis (AV) is substantially parallel to the astronomical zenith vertical direction (ZA) and, preferably, is perpendicular to the optical axis (AO ) of the hypergon objective 1002.
  • AV vertical axis
  • ZA astronomical zenith vertical direction
  • AO optical axis
  • the 2001 diaphragm is opaque by its function. It can be of any suitable color, for example black. It is also made of any suitable material, flexible or rigid. It may in particular be made of rubber.
  • the hypergone 1002 lens is of any suitable type. Examples of hypergon lens 1002 are described in JP 2005292280 A [FUJINON CORP] 20.10.2005, WO 2009084842 A2 [NANOPHOTONICS CO LTD [KR]] 09.07.2009, JP 2009 128654 A [SONY CORP] , WO 2010 077050 A2 [NANOPHOTONICS CO LTD [KR] 08.07.2010.
  • the surface of this objective type generally has some surface curvature.
  • the curvature of the surface of the diaphragm 2001 can correspond to the curvature of the surface of the hypergon objective 1002.
  • a correspondence between the curvature of the diaphragm 2001, on the one hand, and the curvature of the the hypergon lens 1002, on the other hand, allows better fixation of the diaphragm 2001 on the hypergon lens 1002 and avoids the refraction and/or diffusion of any stray light in the lens, that is to say any light which would not come from the vertical orifice.
  • the vertical orifice 2002 of the diaphragm 2001 can be offset relative to the optical axis (AO) of said hyperspectral camera 1001. It is surprisingly noted that such an offset, that is to say the non- coincidence of said vertical orifice 2002 with the optical center of the hyperspectral camera 1001, further reduces the spatial extension of the whitish veil. According to certain advantageous embodiments, the offset of the vertical orifice 2002 relative to the optical axis (AO) of said hyperspectral camera 1001 can be at least 0.1mm, preferably at least 0.5mm.
  • the system 1000 further comprises a data processing device (not shown) configured for the digital processing of panoramic hyperspectral images acquired by said hyperspectral camera 1001, such that said data processing device comprises means for executing a computer-implemented method and said computer-implemented method takes, as input data, a panoramic image acquired by said hyperspectral camera, provides, as output data, a corrected image of said image , and includes the following steps: (a) detecting and selecting, in the region of the panoramic image including the sun, one or more columns C[j] of pixels crossing the sun of which the majority of pixels have a maximum value; (b) applying a corrective model to the columns C[j] of pixels selected in step (a), such that said corrective model is based on one or more pixels of the adjacent columns, C[j-1] , C[j+1], to said selected columns of pixels.
  • a data processing device configured for the digital processing of panoramic hyperspectral images acquired by said hyperspectral camera 1001
  • said data processing device comprises means for executing a computer-implemented method and said
  • the data processing device may be any device adapted to execute sequences of arithmetic or logical operations automatically in order to perform tasks or actions.
  • This device may include one or more central processing units (CPUs) and at least one control device which are adapted to perform these operations.
  • CPUs central processing units
  • control device which are adapted to perform these operations.
  • the device may also include other electronic components such as input/output interfaces, non-volatile or volatile storage devices, and communications buses for transferring data between electronic components therein and out. exterior of said device.
  • One of the input/output devices may be a user interface for human-machine interaction, for example a graphical user interface for displaying human-understandable information.
  • a first example of a data processing device may be a computer.
  • a second example may be an embedded system, for example a low-power computer card such as a single-board computer.
  • the method implemented by the data processing device may be a computer program comprising instructions which, when the program is executed by said device, causes said device to implement said method.
  • the computer program may be part of a software solution, that is, a collection of executable instructions, codes, scripts or the like and/or databases.
  • the computer program may be stored on a non-transitory computer-readable medium. Accordingly, this readable non-transitory medium includes instructions which, when executed by a computer, cause the computer to execute said method.
  • a raster image can be represented, for each channel or spectral band, in the form of a table of lines L[1]-L[m] and columns C[1]-C[n] of pixels Px [1,1]-Px[m,n], as shown in .
  • the columns are oriented along the vertical axis AV of the vertical orifice 2002.
  • the columns C[j] of pixels whose majority of pixels have a maximum value correspond to the columns comprising at least 50%, or even all of their pixels whose color shade value is maximum in the encoding scale of the panoramic image.
  • the pixels of maximum value are those with the greatest color shade value between 0 and 255 in each R, G and B channel compared to other adjacent columns of pixels.
  • the pixels of maximum value are those which present the greatest reflectance value in all of the spectral bands, or channels, of said image according to the sensitivity of the detector.
  • the corrective model can replace the pixel values Px[i,j] in the selected columns with the average value of the pixel values Px[i,j-1], Px[i,j+1] in the adjacent columns C [i-1], C[i+1] to said columns C[i] selected and located on the same line L[i] in the panoramic image.
  • the number of adjacent columns to take into account in calculating the average value depends on the nature of the objects represented in the image. It is preferable that adjacent columns do not include pixels whose value would be too different from what might be expected for the pixels in the selected columns if there was no light blur. In other words, adjacent columns containing objects of a different nature than those of the selected columns should not be taken into account or in a limited way.
  • the corrective model comprises a first step of subtracting the values of the pixels of one of the adjacent columns C[i-1], C[i+1] from the values of the pixels of the selected columns C[i], a second step of modeling the profile obtained after this subtraction by a model function, then a third step of subtracting the modeled profile from the pixel values of the selected columns C[i].
  • the corrective model is a trained adversarial generative network in which the generator of said adversarial generative network comprises an artificial convolutional neural network trained on the pixels Px[i,j-1], Px[i,j+ 1] from adjacent columns C[i-1], C[i+1] to selected columns C[i].
  • the advantage of an adversarial generative network is the possibility of a reconstruction more faithful to the expected reality of the selected columns. The loss of information is minimal and the blurring effect is considerably reduced.
  • the corrective model can be applied to all the channels or spectral bands of the hyperspectral image. Spectral continuity in each channel can thus be preserved.
  • the hyperspectral camera has a spectral range of between 400nm and 1000nm, a resolution of between 2nm and 4nm, a vertical field angle of at least 170°, an exposure time of between 21 ⁇ s and 10s , and, preferably, a standard resolution of at least 900x1600 pixels.
  • the hyperspectral image can be an image acquired using at least three different exposure times.
  • the hyspectral image can then be an average of the images acquired according to these three exposure times, for example 21 ⁇ s, 1ms and 100ms.
  • the construction of the GGD image can be carried out using any suitable algorithm, for example those described in Kumar et al., 'Camera Calibration Curves for Luminance Data Acquisition using Matlab', INTERNATIONAL JOURNAL OF ENGINEERING RESEARCH & TECHNOLOGY, vol . 03, n°103, 2014.
  • a system can be advantageously used to generate an environment map for the digital simulation of images, in particular, for the physico-realistic rendering of images or ray tracing simulation.
  • the better quality of hyperspectral images that can be obtained by said system makes it possible to significantly improve the simulation of digital representations of buildings and/or vehicles, in a landscape under a real sky.
  • Digital representations are more realistic and less likely to be subject to simulation artifacts, particularly those originating from the environment map.
  • a method for acquiring a hyperspectral image of a landscape under real sky comprises the following steps: (a) the provision of a CCD hyperspectral camera provided with a hypergonal objective whose optical axis is oriented in a direction substantially perpendicular to the astronomical zenith vertical direction, and a diaphragm arranged on said hypergonal objective, said vertical orifice having a width less than or equal to 5mm, preferably less than or equal to 4mm, preferably less than or equal to 3mm, and a vertical axis substantially parallel to the astronomical zenith vertical direction; (b) acquiring a panoramic image of a landscape under real sky by rotating said hyperspectral camera at an angle of 360° in the reference plane of said hyperspectral camera with, as the axis of rotation, the zenith vertical direction astronomical.
  • the method may further comprise the following steps: (c) detecting and selecting, using a data processing system, within said panoramic image, one or more columns of pixels whose value is maximum in the region of said image comprising the sun , (d) applying, using said data processing system, a corrective model to the columns of pixels selected in step (c), such that said corrective model is based on one or more pixels adjacent to said selected pixel columns.
  • the hyperspectral image is acquired using three different exposure times.
  • the hyperspectral images of a sunny landscape were acquired over a horizontal angle of 360° using a hyperspectral camera having a spectral range between 400nm and 1000nm, a resolution between between 2nm and 4nm, a maximum horizontal field angle of 360°, a vertical field angle of at least 170°, an exposure time of between 21 ⁇ s and 10s, and, preferably, a standard resolution of at least 900x1600 pixels.
  • the hypergon lens of the hyperspectral camera is equipped with a diaphragm comprising a vertical aperture with a width of 3mm, 4mm and 5mm respectively.
  • the hypergon lens does not have a diaphragm.
  • the luminance curve (solid line) of the CE counterexample presents, around this maximum, a very rapid variation between 500 and 850 pixels.
  • the width at half maximum in this region between 500 and 850 pixels corresponds to the extension of a whitish haze which affects the hyperspectral image in the form of whitening of the areas of the image adjacent to the sun.
  • a light blur phenomenon 8004 appears in the region 8003 of the sun.
  • the area of the real sky 8002 is azure blue with some cirrus-type clouds
  • the region 8003 of the sun is a very luminous halo
  • the light blur 8004 materializes in the form of a vertical white line of saturated pixels crossing the image from side to side.
  • the luminance variation, L expressed in logarithmic scale, in the light blur 8004 according to the L1 profile of the is represented on the (dotted line curve). Also represented on the (dashed curve), the variation in luminance according to the L2 profile outside the light blur 8004. On the two curves, the intensity peak around the pixel, Px, 300 corresponds to the region 8003 of the sun.
  • a corrective model of the light blur 8004 of column L1 of based on the pixel values of the adjacent column L2.
  • the corrective model comprises a first step of subtracting the values of the pixels of the adjacent column L2 from the values of the pixels of the column L1, a second step of modeling the profile obtained after this subtraction by a model function, then a third step of subtraction of the modeled profile from the pixel values of column L1.
  • the result of this subtraction is represented by a solid line curve of the . Thanks to this operation, the intensity of the peak around 300x is reduced, and makes it possible to reveal details, for example in the region of pixels 400 to 600, which did not appear on the other curves.
  • image 10000 obtained after application of the corrective model on the .
  • the light blur 8004 materialized by the vertical line of saturated pixels on the , is eliminated.

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

Système d'acquisition d'une image hyperspectrale d'un paysage sous ciel réel, le système comprend : - une caméra hyperspectrale CCD munie d'un objectif hypergone dont l'axe optique est orienté selon une direction sensiblement perpendiculaire à la direction vertical zénithale astronomique; - une platine mobile rotative configurée pour assurer la rotation de ladite caméra hyperspectrale selon un angle de 360° dans le plan de référence de ladite caméra hyperspectrale avec, pour axe de rotation, la direction verticale zénithale astronomique; - un diaphragme muni d'un orifice vertical et disposé sur ledit objectif hypergone; dans lequel la largeur dudit orifice vertical est inférieure ou égale à 5mm, de préférence inférieure ou égale à 4mm, de préférence inférieure ou égale à 3mm, et dans lequel l'axe vertical dudit orifice vertical est sensiblement parallèle à la direction verticale zénithale astronomique.

Description

Système et méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel.
La présente invention a pour objet un système et une méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel.
 Arrière-plan technique
Dans divers domaines industriels, les avancées récentes en simulation assistée par ordinateur permettent de créer des aperçus virtuels réalistes d’articles avant même leur manufacture ou leur rénovation. Ces aperçus peuvent constituer une aide à la décision quant au choix entre différents articles envisagés selon qu’ils satisfont ou non à certaines exigences techniques et/ou esthétiques.
Il y a, de nos jours, une demande forte et toujours croissante de la part des clients pour leur fournir des prédictions réalistes de futurs résultats d’opérations complexes de rénovation à partir desquelles ils peuvent fonder, en toute confiance, leur décision de démarrer ou poursuivre ces opérations.
A titre d’exemple, dans l’industrie automobile et du bâtiment, il est maintenant de pratique courante d’utiliser des outils de simulation, tels que les méthodes de rendu physico-réaliste ou de tracé de rayons, afin de générer des scènes tridimensionnelles en tant que représentations numériques anticipatrices de caractéristiques physiques ou fonctionnelles d’un véhicule automobile ou d’un bâtiment. Dans ces représentations numériques, les objets représentés, par exemple tout ou partie d’un véhicule ou d’un bâtiment, évoluent dans un environnement ou un paysage dont la simulation numérique peut être réalisée à l’aide d’une carte d’environnement projetée comme texture sur la surface d’un objet géométrique, tel qu’une sphère, un cube ou une demi-sphère, utilisé comme support d’un ciel virtuel, et/ou projetée sur les surfaces réfléchissantes de certains éléments ou objets de la scène tridimensionnelle simulée.
Les images utilisées pour générer la carte d’environnement peuvent être des dessins ou graphiques conçus manuellement ou par ordinateur, ou encore des photographies du monde réel acquises à l’aide d’un dispositif photographique. Dans ce dernier cas, les cartes d’environnement peuvent être acquises à l’aide d’un dispositif photographique panoramique qui est adapté pour l’acquisition d’un paysage complet, y compris le ciel, selon un angle solide défini verticalement par un angle de 180° depuis le zénith jusqu’à l’horizon, et horizontalement par un angle de 360° à l’horizon. Des exemples de tels dispositifs sont les dispositifs photographiques rotatifs à 360°, les dispositifs photographiques à objectif « grand angle » ou encore les dispositifs photographiques à objectif hypergone (« fisheye » en anglais).
CN 207442995 U, SHENZHEN REAL SCENE TECH CO LTD [CN] 01.06.2018 décrit un système hybride d’imagerie panoramique comprenant plusieurs appareils photographiques conventionnels et un appareil photographique à objectif hypergone. Les appareils photographiques conventionnels sont orientés selon une direction perpendiculaire au zénith astronomique. L’appareil photographique à objectif hypergone est quant à lui orienté selon l’axe zénithal astronomique.
JP 2007028272 A, DOMUS INTERNAT LTD [JP] 01.02.2007 décrit un système d’imagerie panoramique comprenant un appareil photographique muni d’un capteur photographique CCD et un objectif hypergone. L’appareil est monté sur une platine mobile rotative et est orienté selon une direction perpendiculaire à la direction zénithale astronomique. Face à l’objectif hypergone est disposé un diaphragme occultant muni d’une fente verticale de sorte que l’appareil photographique acquiert des images selon un arc vertical de 180° depuis le zénith jusqu’à l’horizon. Une photographie panoramique complète est reconstruite par l’assemblage de l’ensemble des images verticales acquises lors de la rotation de la platine mobile rotative.
Un premier inconvénient des systèmes actuels d’imagerie panoramique comprenant un appareil photographique rotatif muni d’un objectif hypergone est que, lorsqu’une image est acquise en plein soleil ou en pleine lumière à l’aide de ce type de dispositif, certaines régions de l’image ainsi acquise peuvent être affectées par un voile blanchâtre. Ce voile blanchâtre est particulièrement visible lorsque que le soleil est lui-même photographié, notamment dans les régions périphériques de l’image du soleil.
Concrètement, le voile blanc se matérialise par un blanchiment de certaines régions de l’image qui occulte certains éléments du paysage tels que les nuages fins, les arbres ou les bâtiments. Aussi, lorsque les images sont utilisées pour la conception d’une carte d’environnement dans un moteur de rendu, un inconvénient est que ces régions blanchies induisent des réflexions irréalistes de la lumière, notamment quant à la luminosité et aux couleurs, et, par conséquent, défaut de représentativité du paysage réel.
Un autre inconvénient est ce qui est couramment désigné par l’expression « flou lumineux » (« blooming or bloom effect » en langue anglaise). Ce flou lumineux a pour origine l’éblouissement des capteurs CCD des dispositifs photographiques par lumière directe du soleil. Concrètement, il se traduit sur les images panoramiques par une ligne verticale plus ou moins épaisse de pixels dont la nuance de couleur est maximale. Ces pixels peuvent être en situation de saturation. Il est évident qu’un tel défaut peut entraîner des conséquences négatives lorsque les images sont utilisées comme carte d’environnement dans un moteur de rendu. Ce type défaut peut être éliminé de manière fortuite par certains traitements numériques de l’image ou d’autres astuces, mais il en résulte toujours une perte d’information sous la forme de discontinuités esthétiques dans l’image.
Solution au problème technique
Selon un premier aspect de l’invention, il est fourni un système d’acquisition d'une image hyperspectrale d’un paysage sous ciel réel tel que décrit dans la revendication 1, les revendications dépendantes étant des modes avantageux de réalisation.
Selon un deuxième aspect de l’invention, il est fourni une méthode d’acquisition d'une image hyperspectrale d’un paysage sous ciel réel tel que décrite dans la revendication 13, les revendications dépendantes étant des modes avantageux de réalisation
Avantages de l’invention
Un premier avantage remarquable de l’invention est une réduction de l’extension spatiale du voile blanchâtre. Cette réduction peut atteindre 90% voire davantage.
Pour certains modes de réalisation, un deuxième avantage est l’élimination ou la réduction du flou lumineux avec une perte limitée d’information.
est une représentation schématique d’un système conventionnel d’acquisition d’une image hyperspectrale panoramique.
est une représentation schématique du diaphragme d’un système selon le premier aspect de l’invention.
représentation schématique d’une vue de face du diaphragme de la .
est une représentation schématique d’une vue de côté du diaphragme de la .
est une représentation schématique d’un mode particulier de réalisation du diaphragme de la .
est une représentation schématique de la structure matricielle d’une image hyperspectrale.
est une représentation graphique des variations de luminance sur une ligne de pixels pour un canal d’une image hyperspectrale panoramique acquise selon trois exemples conformes à l’invention et un contre-exemple CE non conforme à l’invention.
est un exemple d’image hyperspectrale panoramique en noir et blanc d’un ciel réel avec un phénomène de flou lumineux dans la région du soleil.
est une représentation graphique des variations de la luminance selon un profil vertical dans la zone de flou lumineux de la , avant et après traitement à l’aide d’un système selon certains modes de réalisation du premier aspect de l’invention.
est l’image de la après traitement à l’aide d’un système selon certains modes de réalisation du premier aspect de l’invention.
Description détaillée des modes de réalisation
Par « direction sensiblement perpendiculaire », respectivement « direction sensiblement parallèle », par rapport à une autre direction, il est entendu une direction approximativement ou exactement perpendiculaire, respectivement parallèle, selon une tolérance d’au plus 10°, de préférence d’au plus 5° par rapport à ladite autre direction. Autrement, une direction est considérée comme perpendiculaire, respectivement parallèle, à une autre direction, lorsqu’elle forme un angle compris entre 80° et 100°, de préférence entre 85°et 95°, respectivement entre -10° et 10°, de préférence entre -5° et 5°, par rapport à ladite autre direction.
Par « imagerie hyperspectrale », il est entendu l’imagerie hyperspectrale telle que définie dans le domaine technique de l’imagerie. Elle comprend notamment les techniques, les dispositifs et/ou les systèmes permettre de construire une image dont chacun des éléments individuels, dits pixels, est associé à un spectre de réflectance. Exprimée simplement, l’imagerie hyperspectrale permet une exploration du spectre électromagnétique au-delà des canaux RVB des systèmes d’imagerie conventionnel. Ainsi, une image hyperspectrale est formée à partir d’un assemblage de plusieurs dizaines, voire centaines, de bandes spectrales contiguës acquises pour chacun des pixels. Elle a généralement une structure matricielle et peut être représentée sous la forme d’un cube de données dont les deux premières dimensions représentent les dimensions spatiales de l’image et la troisième sa dimension spectrale.
Selon un premier aspect de l’invention, en référence aux , , et , il est fourni un système 1000 d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel, le système comprend :
- une caméra hyperspectrale CCD 1001 munie d’un objectif hypergone 1002 dont l’axe optique (AO) est orienté selon une direction sensiblement perpendiculaire à la direction vertical zénithale astronomique (ZA) ;
- une platine mobile rotative 1002 configurée pour assurer la rotation de ladite caméra hyperspectrale selon un angle de 360° dans le plan de référence de ladite caméra hyperspectrale avec, pour axe de rotation, la direction verticale zénithale astronomique (ZA) ;
- un diaphragme 2001 muni d’un orifice vertical 2002 et disposé sur ledit objectif hypergone 1002;
dans lequel la largeur dudit orifice vertical 2002 est inférieure ou égale à 5mm, de préférence inférieure ou égale à 4mm, de préférence inférieure ou égale à 3mm, et
dans lequel l’axe vertical (AV) dudit orifice vertical 2002 est sensiblement parallèle à la direction verticale zénithale astronomique (ZA).
Par « plan de référence de la caméra hyperspectrale », il est entendu le plan de la caméra 1001 comprenant l’axe optique (AO) de l’objectif hypergone 1002 et perpendiculaire la direction verticale zénithale astronomique (ZA).
Un système 1000 selon le premier aspect de l’invention fonctionne de la manière suivante. Une fois le système installé dans un paysage sous ciel réel, la caméra hyspectrale 1001 acquiert une image hypsespectrale verticale en continue au travers de l’orifice vertical 2002 du diaphragme 2001, de préférence selon un angle vertical d’au moins 170°, tandis que la platine mobile 1002 entraîne par rotation ladite caméra 1001 selon un angle de 360° dans son plan de référence. Une image hyperspectrale panoramique complète peut alors être reconstruite par l’assemblage de l’ensemble des images hyperspectrales verticales acquises.
Un système 1000 selon le premier aspect de l’invention permet une réduction de l’extension spatiale du voile blanchâtre susceptible d’apparaître sur une image panoramique dans les régions de ladite image comprenant le soleil. Sans que la présente divulgation soit nécessairement liée à une quelconque théorie, il est suspecté que, grâce diaphragme 2001 muni d’un orifice vertical 2002 tel que décrit, la réfraction et/ou la diffusion de la lumière dans l’objectif hypergone 1002 lors de la rotation du système est considérablement réduite, sans préjudice à la qualité de l’image. Il est généralement constaté une réduction de l’extension du voile blanchâtre d’environ 90%, voire davantage.
En référence à la , la diaphragme 2001 est muni d’un orifice vertical 2002, ou fente, dont l’axe vertical (AV) est sensiblement parallèle à la direction verticale zénithale astronomique (ZA) et, de préférence, est perpendiculaire à l’axe optique (AO) de l’objectif hypergone 1002. Ainsi, seule la lumière provenant de l’orifice verticale 2002, c’est-à dire selon un angle solide vertical, ne pénètre dans l’objectif hypergone 1002.
Le diaphragme 2001 est par sa fonction opaque. Il peut être de tout couleur adaptée, par exemple de couleur noire. Il est également de toute matière adaptée, souple ou rigide. Il peut être notamment en caoutchouc.
L’objectif hypergone 1002 est de tout type adapté. Des exemples d’objectif hypergone 1002 sont décrits dans JP 2005292280 A [FUJINON CORP] 20.10.2005, WO 2009084842 A2 [NANOPHOTONICS CO LTD [KR]] 09.07.2009, JP 2009 128654 A [SONY CORP] 11.06.2009, WO 2010 077050 A2 [NANOPHOTONICS CO LTD [KR] 08.07.2010. La surface de ce type objectif possède généralement une certaine courbure de surface.
Aussi, selon certains modes de réalisation, la courbure de la surface du diaphragme 2001 peut correspondre à la courbure de la surface de l’objectif hypergone 1002. Une correspondance entre la courbure du diaphragme 2001, d’un part, et la courbure de l’objectif hypergone 1002, d’autre part, permet une meilleure fixation du diaphragme 2001 sur l’objectif hypergone 1002 et évite la réfraction et/ou la diffusion de toute lumière parasite dans l’objectif, c’est-à-dire toute lumière qui ne proviendrait pas de l’orifice vertical.
Selon certains modes de réalisation, en référence à la , l’orifice vertical 2002 du diaphragme 2001 peut être décalé par rapport à l’axe optique (AO) de ladite caméra hyperspectrale 1001. Il est constaté de manière surprenante qu’un tel décalage, c’est-à-dire la non-coïncidence dudit orifice verticale 2002 avec le centre optique de la caméra hyperspectrale 1001, réduit davantage l’extension spatiale du voile blanchâtre. Selon certains modes avantageux de réalisation, le décalage de l’orifice vertical 2002 par rapport à l’axe optique (AO) de ladite caméra hyperspectrale 1001 peut être d’au moins 0,1mm, de préférence d’au moins 0,5mm.
Selon certains modes avantageux de réalisation, le système 1000 comprend en outre un dispositif de traitement de données (non représenté) configuré pour le traitement numérique des images hypespectrales panoramiques acquises par ladite caméra hyperspectrale 1001, tel que ledit dispositif de traitement de données comprend des moyens d’exécution d’une méthode mise en œuvre par ordinateur et ladite méthode mise en œuvre par ordinateur prend, en données d’entrée, une image panoramique acquise par ladite caméra hyperspectrale, fournit, en données de sortie, une image corrigée de ladite image, et comprend les étapes suivantes :
(a) la détection et la sélection, dans la région de l’image panoramique comprenant le soleil, d’une ou plusieurs colonnes C[j] de pixels traversant le soleil dont la majorité des pixels ont une valeur maximale;
(b) l’application d’un modèle correctif aux colonnes C[j] de pixels sélectionnés à l’étape (a), tel que ledit modèle correctif est fondé sur un ou plusieurs pixels des colonnes adjacentes, C[j-1], C[j+1], auxdites colonnes de pixels sélectionnées.
Le dispositif de traitement de données peut être tout dispositif adapté pour exécuter des séquences d'opérations arithmétiques ou logiques automatiquement afin d’effectuer des tâches ou des actions. Ce dispositif peut comprendre une ou plusieurs unités centrales de traitement (CPU) et au moins un dispositif de commande qui sont adaptés pour effectuer ces opérations.
Le dispositif peut aussi comprendre d'autres composants électroniques tels que des interfaces d'entrée/sortie, des dispositifs de stockage non volatils ou volatils, et des bus de communication pour le transfert de données entre des composants électroniques à l'intérieur et à l’extérieur dudit dispositif. L'un des dispositifs d'entrée/sortie peut être une interface utilisateur pour l'interaction homme-machine, par exemple une interface utilisateur graphique pour afficher des informations compréhensibles par l'homme.
Un premier exemple de dispositif de traitement de données peut être un ordinateur. Un deuxième exemple peut être un système embarqué, par exemple une carte informatique de faible puissance telle qu'un ordinateur mono-carte.
La méthode mise en œuvre par le dispositif de traitement de données, peut être un programme informatique comprenant des instructions qui, lorsque le programme est exécuté par ledit dispositif, amène ledit dispositif à mettre en œuvre laite méthode.
Tout type de langage de programmation, compilé ou interprété, peut être utilisé pour mettre en œuvre les étapes de ladite méthode. Le programme informatique peut faire partie d'une solution logicielle, c'est-à-dire d'une collection d'instructions exécutables, de codes, de scripts ou autres et/ou de bases de données.
Dans certains modes de réalisation, le programme informatique peut être stocké sur un support non-transitoire lisible par ordinateur. En conséquence, ce support non-transitoire lisible comprend des instructions qui, lorsqu'elles sont exécutées par un ordinateur, font que l'ordinateur exécute ladite méthode.
De manière générale, une image matricielle peut être représentée, pour chaque canal ou bande spectrale sous la forme d’un tableau de lignes L[1]-L[m] et de colonnes C[1]-C[n] de pixels Px[1,1]-Px[m,n], comme illustré sur la . Dans le cadre de la présente invention, les colonnes sont orientées selon l’axe vertical AV de l’orifice verticale 2002.
Les colonnes C[j] de pixels dont la majorité des pixels ont une valeur maximale correspond aux colonnes comprenant au moins 50%, voire la totalité de leurs pixels dont la valeur de nuance de couleur est maximale dans l’échelle d’encodage de l’image panoramique.
A titre d’exemple purement illustratif et pédagogique, pour une image conventionnelle, non hyperspectrale, encodée sur 24 bits dans l’espace de couleur RVB, soit 8 bits ou 1 octet pour chaque canal R, V et B, les pixels de valeur maximale sont ceux qui présentent la plus grande valeur de nuance de couleur entre 0 et 255 dans chaque canal R, V et B par rapport aux autres colonnes adjacentes de pixels. Dans le cas d’une image hyperspectrale, généralement encodé dans un format à virgule flottante, par exemple 32 ou 64 bits flottant, les pixels de valeur maximale sont ceux qui présentent la plus grande valeur de réflectance dans l’ensemble des bandes spectrales, ou canaux, de ladite image selon la sensibilité du détecteur.
Il a été constaté qu’un modèle correctif fondé sur un ou plusieurs pixels Px[i,j-1], Px[i,j+1] des colonnes adjacentes C[i-1], C[i+1] aux colonnes C[i] de pixels dont la valeur est maximale dans la région de l’image panoramique comprenant le soleil permet une reconstruction acceptable desdites colonnes sélectionnées. Il permet une élimination ou, au minimum, une réduction drastique du flou lumineux (« blooming », « bloom effect ») avec une perte très limitée d’information relative à ladite image panoramique.
Selon certains modes de réalisation, en référence à la , le modèle correctif peut remplacer les valeurs des pixels Px[i,j] dans les colonnes sélectionnées par la valeur moyenne des valeurs de pixels Px[i,j-1], Px[i,j+1] dans les colonnes adjacentes C[i-1], C[i+1] auxdites colonnes C[i] sélectionnées et situées sur la même ligne L[i] dans l’image panoramique. Le nombre de colonnes adjacentes à prendre en compte dans le calcul de la valeur moyenne dépend de la nature des objets représentés dans l’image. Il est préférable que les colonnes adjacentes ne comprennent pas de pixels dont la valeur serait trop différente de celle qui pourrait être attendue pour les pixels des colonnes sélectionnées s’il n’y avait pas de flou lumineux. En d’autres termes, les colonnes adjacentes comprenant des objets de nature différente à ceux des colonnes sélectionnées ne devraient pas être prises en compte ou de manière limitée.
Selon certains modes de réalisation, le modèle correctif comprend une première étape de soustraction des valeurs des pixels d’une des colonnes adjacentes C[i-1], C[i+1] aux valeurs des pixels des colonnes C[i] sélectionnées, une deuxième étape de modélisation du profil obtenu après cette soustraction par une fonction modèle, puis une troisième étape soustraction du profil modélisé aux valeurs des pixels des colonnes C[i] sélectionnées.
Selon certains modes préférés de réalisation, le modèle correctif est réseau génératif adverse entrainé dans lequel le générateur dudit réseau génératif adverse comprend un réseau artificiel de neurones à convolution entrainé sur les pixels Px[i,j-1], Px[i,j+1] des colonnes adjacentes C[i-1], C[i+1] aux colonnes sélectionnées C[i]. L’avantage d’un réseau génératif adverse est la possibilité d’une reconstruction plus fidèle à la réalité attendue des colonnes sélectionnés. La perte d’information est minimale et l’effet de flou considérablement atténué.
De préférence, le modèle correctif peut être appliqué sur l’ensemble des canaux ou bandes spectrales de l’image hyperspectrale. La continuité spectrale dans chaque canal peut ainsi être conservée.
Selon certains modes préférés de réalisation, la caméra hyperspectrale présente un domaine spectral compris entre 400nm et 1000nm, une résolution comprise entre 2nm et 4nm, un angle vertical de champ d’au moins 170°, un temps d’exposition compris entre 21µs et 10s, et, de préférence, une résolution standard d’au moins 900x1600 pixels.
Avantageusement, l’image hyperspectrale peut être une image acquise selon au moins trois temps différents d’exposition. L’image hyspectrale peut alors être une moyenne des images acquises selon ces trois temps d’exposition, par exemple 21µs, 1ms et 100ms. Alternativement, il est possible de fusionner les images hyperspectrales ainsi acquises pour construire une image à grande gamme dynamique, dite image GGD, (« High Dynamic Range » ou HDR en langue anglaise), encodée dans un format à virgule flottante, par exemple 64 bits flottants ou supérieur. La construction de l’image GGD peut être réalisée à l’aide de tout algorithme adapté, par exemple ceux décrits dans Kumar et al., ‘Camera Calibration Curves for Luminance Data Acquisition using Matlab’, INTERNATIONAL JOURNAL OF ENGINEERING RESEARCH & TECHNOLOGY, vol. 03, n°103, 2014.
Un système selon l’un quelconque des modes de réalisation du premier aspect de l’invention peut être avantageusement utilisé pour générer une carte d’environnement pour la simulation numérique d’images, en particulier, pour le rendu physico-réaliste d’image ou la simulation par tracé de rayon. La meilleure qualité des images hyperspectrales susceptibles d’être obtenues par ledit système permet d’améliorer sensiblement la simulation de représentations numériques de bâtiments et/ou véhicules, dans un paysage sous ciel réel. Les représentations numériques sont davantage réalistes et moins susceptibles de faire l'objet d'artefacts de simulation, notamment ceux ayant pour origine la carte d’environnement.
Selon un deuxième aspect de l’invention, il est fourni une méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel, ladite méthode comprend les étapes suivantes :
(a) la fourniture d’une caméra hyperspectrale CCD munie d’un objectif hypergone dont l’axe optique est orienté selon une direction sensiblement perpendiculaire à la direction vertical zénithale astronomique, et d’un diaphragme disposé sur ledit objectif hypergone, ledit orifice vertical ayant une largeur inférieure ou égale à 5mm, de préférence inférieure ou égale à 4mm, de préférence inférieure ou égale à 3mm, et un axe vertical sensiblement parallèle à la direction verticale zénithale astronomique ;
(b) l’acquisition d’une image panoramique d’un paysage sous ciel réel par rotation de ladite caméra hyperspectrale selon un angle de 360° dans le plan de référence de ladite caméra hyperspectrale avec, pour axe de rotation, la direction verticale zénithale astronomique.
Selon certains modes avantageux de réalisation, la méthode peut comprendre en outre les étapes suivantes :
(c) la détection et la sélection, à l’aide d’un système de traitement de données, au sein de ladite image panoramique, d’une ou plusieurs colonnes de pixels dont la valeur est maximale dans la région de ladite image comprenant le soleil ,
(d) l’application, à l’aide dudit système de traitement de données, d’un modèle correctif aux colonnes de pixels sélectionnées à l’étape (c), tel que ledit modèle correctif est fondé sur un ou plusieurs pixels adjacents auxdits colonnes de pixels sélectionnées.
Selon certains modes de réalisation, l’image hyperspectrale est acquise selon trois temps différents d’exposition.
Les modes de réalisation décrits dans le cadre d’un système selon le premier aspect de l’invention sont applicables à la méthode selon le second aspect de l’invention. En particulier, la méthode selon le deuxième aspect de l’invention peut être implémentée à l’aide d’un système selon l’un des quelconques modes de réalisation du premier aspect de l’invention.
Exemple
Sur la sont représentées les variations de luminance sur une ligne de pixels pour un canal d’une image hyperspectrale panoramique acquise selon trois exemples, E1, E2 et E3 de système ou de méthode conformément à l’invention, et un contre-exemple CE non conforme à l’invention.
Pour les trois exemples et le contre-exemple, les images hyperspectrales d’un paysage ensoleillé ont été acquises sur un angle horizontal de 360° à l’aide d’une caméra hyperspectrale présentant un domaine spectral compris entre 400nm et 1000nm, une résolution comprise entre 2nm et 4nm, un angle maximal de champ horizontal de 360°, un angle vertical de champ d’au moins 170°, un temps d’exposition compris entre 21µs et 10s, et, de préférence, une résolution standard d’au moins 900x1600 pixels.
Dans les trois exemples E1, E2 et E3, l’objectif hypergone de la camera hyperspectrale est munie d’un diaphragme comprenant une ouverture verticale d’une largeur de 3mm, de 4 mm et de 5mm respectivement. Dans le contre-exemple, l’objectif hypergone est dépourvu de diaphragme.
Sur la , toutes les courbes de luminance présente maximum vers le pixel 710. Cette variation brutale correspond à l’image du soleil.
La courbe de luminance (trait plein) du contre-exemple CE présente, autour de ce maximum, une variation très rapide entre 500 et 850 pixels. La largeur à mi-hauteur dans cette région entre 500 et 850 pixels correspond à l’extension d’un voile blanchâtre qui affecte l’image hyperspectral sous la forme d’un blanchiment des zones de l’image adjacentes au soleil.
La largeur à mi-hauteur dans cette région de 500 – 850 px est nettement réduite pour les trois exemples (3mm, 4mm et 5mm) représentés par les courbes en tirets. Cette réduction correspond à une réduction de l’extension du voile blanchâtre et permet l’apparition de structures plus fines, par exemple, autour de 620 pixels, quasiment invisibles sur la courbe correspondant au contre-exemple CE. L’avantage de la présente invention dans la réduction du voile blanchâtre est ici clairement démontré.
La est un exemple d’image 8000 hyperspectrale panoramique en noir et blanc d’un sol 8001 et d’un ciel réel 8002. Un phénomène de flou lumineux 8004 apparaît dans la région 8003 du soleil. Sur l’image hyperspectrale couleur correspondante, la zone du ciel réel 8002 est bleu azur avec quelques nuages de type cirrus, la région 8003 du soleil est un halo très lumineux et le flou lumineux 8004 se matérialise sous la forme d’une ligne blanche verticale de pixels saturés traversant l’image de part en part.
La variation de luminance, L, exprimé en échelle logarithmique, dans le flou lumineux 8004 selon le profil L1 de la est représenté sur la (courbe en traits pointillés). Est également représentée sur la (courbe en traits tirets), la variation de luminance selon le profil L2 en dehors du flou lumineux 8004. Sur les deux courbes, le pic d’intensité autour du pixel, Px, 300 correspond à la région 8003 du soleil.
Conformément à certains modes de réalisation du système selon le premier aspect de l’invention, un modèle correctif du flou lumineux 8004 de la colonne L1 de , fondé sur les valeurs des pixels de la colonne adjacente L2. Dans le présent exemple, le modèle correctif comprend une première étape de soustraction des valeurs des pixels de la colonne adjacente L2 aux valeurs des pixels de la colonne L1, une deuxième étape de modélisation du profil obtenu après cette soustraction par une fonction modèle, puis une troisième étape de soustraction du profil modélisé aux valeurs des pixels de la colonne L1. La fonction modèle utilisée dans l’exemple est du type y = A*|x|B où y est la luminance, x le numéro de pixel et A, B sont des paramètres ajustables. Le résultat de cette soustraction est représenté par courbe en trait plein de la . Grâce à cette opération, l’intensité du pic autour de 300x est réduite, et permet de révéler des détails, par exemple dans la région des pixels 400 à 600, qui n’apparaissaient pas sur les autres courbes.
La est un exemple d’image 10000 obtenue après application du modèle correctif sur la . Le flou lumineux 8004, matérialisé par la ligne verticale de pixels saturés sur la , est éliminée.
Liste des références Littérature brevet
JP 2005292280 A [FUJINON CORP] 20.10.2005.
JP 2007028272 A, DOMUS INTERNAT LTD [JP] 01.02.2007.
JP 2009 128654 A [SONY CORP] 11.06.2009.
WO 2009084842 A2 [NANOPHOTONICS CO LTD [KR]] 09.07.2009.
WO 2010 077050 A2 [NANOPHOTONICS CO LTD [KR] 08.07.2010.
CN 207442995 U, SHENZHEN REAL SCENE TECH CO LTD [CN] 01.06.2018.
Littérature non-brevet
Kumar et al., ‘Camera Calibration Curves for Luminance Data Acquisition using Matlab’, INTERNATIONAL JOURNAL OF ENGINEERING RESEARCH & TECHNOLOGY, vol. 03, n°103, 2014

Claims (14)

  1. Système (1000) d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel, le système comprend :
    - une caméra hyperspectrale CCD (1001) munie d’un objectif hypergone (1002) dont l’axe optique (AO) est orienté selon une direction sensiblement perpendiculaire à la direction vertical zénithale astronomique (ZA) ;
    - une platine mobile rotative (1002) configurée pour assurer la rotation de ladite caméra hyperspectrale selon un angle de 360° dans le plan de référence de ladite caméra hyperspectrale avec, pour axe de rotation, la direction verticale zénithale astronomique (ZA) ;
    - un diaphragme (2001) muni d’un orifice vertical (2002) et disposé sur ledit objectif hypergone (1002);
    dans lequel la largeur dudit orifice vertical (2002) est inférieure ou égale à 5mm, de préférence inférieure ou égale à 4mm, de préférence inférieure ou égale à 3mm, et
    dans lequel l’axe vertical (AV) dudit orifice vertical (2002) est sensiblement parallèle à la direction verticale zénithale astronomique (ZA).
  2. Système (1000) selon la revendication 1, tel que l’orifice vertical (2002) dudit diaphragme est décalé par rapport à l’axe optique (AO)de ladite caméra hyperspectrale.
  3. Système (1000) selon la revendication 2, tel que le décalage de l’orifice vertical (2002) par rapport à l’axe optique (AO) de la caméra hyperspectrale (1001) est d’au moins 0,1mm.
  4. Système (1000) selon l’une quelconque des revendications 1 à 4, tel que la courbure de la surface du diaphragme (2001) correspond à la courbure de la surface de l’objectif hypergone (1002).
  5. Système (1000) selon l’une quelconque des revendications 1 à 4, tel que ledit système (1000) comprend en outre un dispositif de traitement de données configuré pour le traitement numérique des images hypespectrales panoramiques acquises par ladite caméra hyperspectrale 1001, tel que ledit dispositif de traitement de données comprend des moyens d’exécution d’une méthode mise en œuvre par ordinateur et ladite méthode mise en œuvre par ordinateur prend, en données d’entrée, une image panoramique acquise par ladite caméra hyperspectrale, fournit, en données de sortie, une image corrigée de ladite image, et comprend les étapes suivantes :
    (a) la détection et la sélection, dans la région de l’image panoramique comprenant le soleil, d’une ou plusieurs colonnes C[j] de pixels traversant la soleil dont la majorité des pixels ont une valeur maximale;
    (b) l’application d’un modèle correctif aux colonnes C[j] de pixels sélectionnés à l’étape (a), tel que ledit modèle correctif est fondé sur un ou plusieurs pixels des colonnes adjacentes C[j-1], C[j+1], auxdites colonnes de pixels sélectionnées.
  6. Système (1000) selon la revendication 5, tel que le modèle correctif peut remplacer les valeurs des pixels Px[i,j] dans les colonnes sélectionnées par la valeur moyenne des valeurs de pixels Px[i,j-1], Px[i,j+1] dans les colonnes adjacentes C[i-1], C[i+1] auxdites colonnes C[i] sélectionnées et situées sur la même ligne L[i] dans l’image panoramique.
  7. Système (1000) selon revendication 6, tel que le modèle correctif est réseau génératif adverse entrainé dans lequel le générateur dudit réseau génératif adverse comprend un réseau artificiel de neurones à convolution entrainé sur les pixels Px[i,j-1], Px[i,j+1] des colonnes adjacentes C[i-1], C[i+1] aux colonnes sélectionnées C[i].
  8. Système (1000) selon l’une quelconque des revendications 5 à 7, tel que le modèle correctif est appliqué sur l’ensemble des canaux de l’image hyperspectrale.
  9. Système (1000) selon l’une quelconque des revendications 1 à 8, tel que la caméra hyperspectrale présente un domaine spectral compris entre 400nm et 1000nm, une résolution comprise entre 2nm et 4nm, un angle maximal de champ horizontal de 360°, un angle vertical de champ d’au moins 170°, un temps d’exposition compris entre 21µs et 10s, et, de préférence, une résolution standard d’au moins 900x1600 pixels.
  10. Système (1000) selon l’une quelconque des revendications 1 à 9, tel que l’image hyperspectrale est une image acquise selon au moins trois temps différents d’exposition.
  11. Utilisation d’un système (1000) selon l’une quelconque des revendications 1 à 10 pour la génération d’une carte d’environnement pour la simulation numérique d’images, en particulier, pour le rendu physico-réaliste d’image ou la simulation par tracé de rayon.
  12. Méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel, ladite méthode comprend les étapes suivantes :
    (a) la fourniture d’une caméra hyperspectrale CCD munie d’un objectif hypergone dont l’axe optique est orienté selon une direction sensiblement perpendiculaire à la direction vertical zénithale astronomique, et d’un diaphragme disposé sur ledit objectif hypergone, ledit orifice vertical ayant une largeur inférieure ou égale à 5mm, de préférence inférieure ou égale à 4mm, de préférence inférieure ou égale à 3mm, et un axe vertical sensiblement parallèle à la direction verticale zénithale astronomique ;
    (b) l’acquisition d’une image panoramique d’un paysage sous ciel réel par rotation de ladite caméra hyperspectrale selon un angle de 360° dans le plan de référence de ladite caméra hyperspectrale avec, pour axe de rotation, la direction verticale zénithale astronomique.
  13. Méthode selon la revendication 12 , telle que ladite méthode comprend en outre les étapes suivantes :
    (c) la détection et la sélection, à l’aide d’un système de traitement de données, au sein de ladite image panoramique, d’une ou plusieurs colonnes de pixels dont la valeur est maximale dans la région de ladite image comprenant le soleil ,
    (d) l’application, à l’aide dudit système de traitement de données, d’un modèle correctif aux colonnes de pixels sélectionnées à l’étape (c), tel que ledit modèle correctif est fondé sur un ou plusieurs pixels adjacents auxdits colonnes de pixels sélectionnées.
  14. Méthode selon l’une quelconque des revendications 12 à 13, telle que l’image hyperspectrale est acquise selon trois temps différents d’exposition.
PCT/EP2023/083147 2022-11-29 2023-11-27 Système et méthode d'acquisition d'une image hyperspectrale d'un paysage sous ciel réel WO2024115376A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2212517A FR3142641A1 (fr) 2022-11-29 2022-11-29 Système et méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel.
FRFR2212517 2022-11-29

Publications (1)

Publication Number Publication Date
WO2024115376A1 true WO2024115376A1 (fr) 2024-06-06

Family

ID=85222064

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/083147 WO2024115376A1 (fr) 2022-11-29 2023-11-27 Système et méthode d'acquisition d'une image hyperspectrale d'un paysage sous ciel réel

Country Status (2)

Country Link
FR (1) FR3142641A1 (fr)
WO (1) WO2024115376A1 (fr)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292280A (ja) 2004-03-31 2005-10-20 Fujinon Corp 魚眼レンズおよびこれを用いた撮像装置
JP2007028272A (ja) 2005-07-19 2007-02-01 Domus International Ltd パノラマカメラ
JP2009128654A (ja) 2007-11-26 2009-06-11 Sony Corp 魚眼系撮像レンズ
WO2009084842A2 (fr) 2007-12-27 2009-07-09 Nanophotonics Co., Ltd. Grand-angulaire extrême
WO2010077050A2 (fr) 2008-12-29 2010-07-08 주식회사 나노포토닉스 Objectif hypergone
CN207442995U (zh) 2017-08-18 2018-06-01 深圳市实景科技有限公司 全景混合光场成像装置
WO2022135942A1 (fr) * 2020-12-21 2022-06-30 Saint-Gobain Glass France Procédé d'évaluation de la qualité de la simulation physique d'un objet vitré

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292280A (ja) 2004-03-31 2005-10-20 Fujinon Corp 魚眼レンズおよびこれを用いた撮像装置
JP2007028272A (ja) 2005-07-19 2007-02-01 Domus International Ltd パノラマカメラ
JP2009128654A (ja) 2007-11-26 2009-06-11 Sony Corp 魚眼系撮像レンズ
WO2009084842A2 (fr) 2007-12-27 2009-07-09 Nanophotonics Co., Ltd. Grand-angulaire extrême
WO2010077050A2 (fr) 2008-12-29 2010-07-08 주식회사 나노포토닉스 Objectif hypergone
CN207442995U (zh) 2017-08-18 2018-06-01 深圳市实景科技有限公司 全景混合光场成像装置
WO2022135942A1 (fr) * 2020-12-21 2022-06-30 Saint-Gobain Glass France Procédé d'évaluation de la qualité de la simulation physique d'un objet vitré

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUMAR ET AL.: "Caméra Calibration Curves for Luminance Data Acquisition using Matlab", INTERNATIONAL JOURNAL OF ENGINEERING RESEARCH & TECHNOLOGY, vol. 03, no. 103, 2014

Also Published As

Publication number Publication date
FR3142641A1 (fr) 2024-05-31

Similar Documents

Publication Publication Date Title
EP1410331B1 (fr) Procede et systeme pour modifier une image numerique en prenant en compte son bruit
Wu et al. How to train neural networks for flare removal
EP3401879B1 (fr) Procédé de modélisation d'un objet tridimensionnel à partir d'images bidimensionnelles de cet objet prises sous différents angles
EP1412918B1 (fr) Procede et systeme pour produire des informations formatees liees aux distorsions geometriques
Torralba et al. Accidental pinhole and pinspeck cameras: Revealing the scene outside the picture
US8824821B2 (en) Method and apparatus for performing user inspired visual effects rendering on an image
EP2526510B2 (fr) Procede de realité augmenté appliquée à l'intégration d'une paire de lunettes dans une image de visage
Jackson et al. A fast single-image dehazing algorithm based on dark channel prior and Rayleigh scattering
CN110675336A (zh) 一种低照度图像增强方法及装置
LU501944B1 (en) Method for Making Three-dimensional Reconstruction and PBR Maps Based on Close-range Photogrammetry
EP1292921A1 (fr) Raffinement d'un maillage triangulaire en trois dimensions
Rasheed et al. LSR: Lightening super-resolution deep network for low-light image enhancement
US11810278B2 (en) Low light and thermal image normalization for advanced fusion
CN115810112A (zh) 图像处理方法、装置及存储介质、电子设备
Wang et al. Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition
Yang et al. A model-driven deep dehazing approach by learning deep priors
FR2899696A1 (fr) Procede de traitement d'un phenomene d'eclairement relatif sur une image numerique et systeme de traitement associe
WO2024115376A1 (fr) Système et méthode d'acquisition d'une image hyperspectrale d'un paysage sous ciel réel
Hou et al. Reconstructing a high dynamic range image with a deeply unsupervised fusion model
EP3818495B1 (fr) Procede et dispositif d'affichage de donnees sonar ou radar a haute dynamique
KR102559691B1 (ko) 뉴럴 렌더링 기반 형상 색상 통합 3d 메시 복원 방법 및 장치
US20230055204A1 (en) Generating colorized digital images utilizing a re-colorization neural network with local hints
Tang et al. PLSMS model for restoration of the details concealed by light sources in nighttime hazed image
WO2024115373A1 (fr) Système et méthode d'acquisition synchrone d'une image hyperspectrale, d'images numériques et de spectres radiométriques d'un bâtiment vitré
Fan et al. Multi-scale dynamic fusion for correcting uneven illumination images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23814143

Country of ref document: EP

Kind code of ref document: A1