FR3142641A1 - Système et méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel. - Google Patents
Système et méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel. Download PDFInfo
- Publication number
- FR3142641A1 FR3142641A1 FR2212517A FR2212517A FR3142641A1 FR 3142641 A1 FR3142641 A1 FR 3142641A1 FR 2212517 A FR2212517 A FR 2212517A FR 2212517 A FR2212517 A FR 2212517A FR 3142641 A1 FR3142641 A1 FR 3142641A1
- Authority
- FR
- France
- Prior art keywords
- vertical
- pixels
- hyperspectral
- image
- columns
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 23
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 238000004088 simulation Methods 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 description 5
- 238000007667 floating Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000000701 chemical imaging Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011088 calibration curve Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000009418 renovation Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000454 anti-cipatory effect Effects 0.000 description 1
- IRERQBUNZFJFGC-UHFFFAOYSA-L azure blue Chemical compound [Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Al+3].[Al+3].[Al+3].[Al+3].[Al+3].[Al+3].[S-]S[S-].[O-][Si]([O-])([O-])[O-].[O-][Si]([O-])([O-])[O-].[O-][Si]([O-])([O-])[O-].[O-][Si]([O-])([O-])[O-].[O-][Si]([O-])([O-])[O-].[O-][Si]([O-])([O-])[O-] IRERQBUNZFJFGC-UHFFFAOYSA-L 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/04—Slit arrangements slit adjustment
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Système d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel, le système comprend : - une caméra hyperspectrale CCD munie d’un objectif hypergone dont l’axe optique est orienté selon une direction sensiblement perpendiculaire à la direction vertical zénithale astronomique ; - une platine mobile rotative configurée pour assurer la rotation de ladite caméra hyperspectrale selon un angle de 360° dans le plan de référence de ladite caméra hyperspectrale avec, pour axe de rotation, la direction verticale zénithale astronomique ; - un diaphragme muni d’un orifice vertical et disposé sur ledit objectif hypergone ; dans lequel la largeur dudit orifice vertical est inférieure ou égale à 5mm, de préférence inférieure ou égale à 4mm, de préférence inférieure ou égale à 3mm, et dans lequel l’axe vertical dudit orifice vertical est sensiblement parallèle à la direction verticale zénithale astronomique.
Description
La présente invention a pour objet un système et une méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel.
Dans divers domaines industriels, les avancées récentes en simulation assistée par ordinateur permettent de créer des aperçus virtuels réalistes d’articles avant même leur manufacture ou leur rénovation. Ces aperçus peuvent constituer une aide à la décision quant au choix entre différents articles envisagés selon qu’ils satisfont ou non à certaines exigences techniques et/ou esthétiques.
Il y a, de nos jours, une demande forte et toujours croissante de la part des clients pour leur fournir des prédictions réalistes de futurs résultats d’opérations complexes de rénovation à partir desquelles ils peuvent fonder, en toute confiance, leur décision de démarrer ou poursuivre ces opérations.
A titre d’exemple, dans l’industrie automobile et du bâtiment, il est maintenant de pratique courante d’utiliser des outils de simulation, tels que les méthodes de rendu physico-réaliste ou de tracé de rayons, afin de générer des scènes tridimensionnelles en tant que représentations numériques anticipatrices de caractéristiques physiques ou fonctionnelles d’un véhicule automobile ou d’un bâtiment. Dans ces représentations numériques, les objets représentés, par exemple tout ou partie d’un véhicule ou d’un bâtiment, évoluent dans un environnement ou un paysage dont la simulation numérique peut être réalisée à l’aide d’une carte d’environnement projetée comme texture sur la surface d’un objet géométrique, tel qu’une sphère, un cube ou une demi-sphère, utilisé comme support d’un ciel virtuel, et/ou projetée sur les surfaces réfléchissantes de certains éléments ou objets de la scène tridimensionnelle simulée.
Les images utilisées pour générer la carte d’environnement peuvent être des dessins ou graphiques conçus manuellement ou par ordinateur, ou encore des photographies du monde réel acquises à l’aide d’un dispositif photographique. Dans ce dernier cas, les cartes d’environnement peuvent être acquises à l’aide d’un dispositif photographique panoramique qui est adapté pour l’acquisition d’un paysage complet, y compris le ciel, selon un angle solide défini verticalement par un angle de 180° depuis le zénith jusqu’à l’horizon, et horizontalement par un angle de 360° à l’horizon. Des exemples de tels dispositifs sont les dispositifs photographiques rotatifs à 360°, les dispositifs photographiques à objectif « grand angle » ou encore les dispositifs photographiques à objectif hypergone (« fisheye » en anglais).
CN 207442995 U, SHENZHEN REAL SCENE TECH CO LTD [CN] 01.06.2018 décrit un système hybride d’imagerie panoramique comprenant plusieurs appareils photographiques conventionnels et un appareil photographique à objectif hypergone. Les appareils photographiques conventionnels sont orientés selon une direction perpendiculaire au zénith astronomique. L’appareil photographique à objectif hypergone est quant à lui orienté selon l’axe zénithal astronomique.
JP 2007028272 A, DOMUS INTERNAT LTD [JP] 01.02.2007 décrit un système d’imagerie panoramique comprenant un appareil photographique muni d’un capteur photographique CCD et un objectif hypergone. L’appareil est monté sur une platine mobile rotative et est orienté selon une direction perpendiculaire à la direction zénithale astronomique. Face à l’objectif hypergone est disposé un diaphragme occultant muni d’une fente verticale de sorte que l’appareil photographique acquiert des images selon un arc vertical de 180° depuis le zénith jusqu’à l’horizon. Une photographie panoramique complète est reconstruite par l’assemblage de l’ensemble des images verticales acquises lors de la rotation de la platine mobile rotative.
Par « direction sensiblement perpendiculaire », respectivement « direction sensiblement parallèle », par rapport à une autre direction, il est entendu une direction approximativement ou exactement perpendiculaire, respectivement parallèle, selon une tolérance d’au plus 10°, de préférence d’au plus 5° par rapport à ladite autre direction. Autrement, une direction est considérée comme perpendiculaire, respectivement parallèle, à une autre direction, lorsqu’elle forme un angle compris entre 80° et 100°, de préférence entre 85°et 95°, respectivement entre -10° et 10°, de préférence entre -5° et 5°, par rapport à ladite autre direction.
Par « imagerie hyperspectrale », il est entendu l’imagerie hyperspectrale telle que définie dans le domaine technique de l’imagerie. Elle comprend notamment les techniques, les dispositifs et/ou les systèmes permettre de construire une image dont chacun des éléments individuels, dits pixels, est associé à un spectre de réflectance. Exprimée simplement, l’imagerie hyperspectrale permet une exploration du spectre électromagnétique au-delà des canaux RVB des systèmes d’imagerie conventionnel. Ainsi, une image hyperspectrale est formée à partir d’un assemblage de plusieurs dizaines, voire centaines, de bandes spectrales contiguës acquises pour chacun des pixels. Elle a généralement une structure matricielle et peut être représentée sous la forme d’un cube de données dont les deux premières dimensions représentent les dimensions spatiales de l’image et la troisième sa dimension spectrale.
Selon un premier aspect de l’invention, en référence aux , , et , il est fourni un système 1000 d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel, le système comprend :
- une caméra hyperspectrale CCD 1001 munie d’un objectif hypergone 1002 dont l’axe optique (AO) est orienté selon une direction sensiblement perpendiculaire à la direction vertical zénithale astronomique (ZA) ;
- une platine mobile rotative 1002 configurée pour assurer la rotation de ladite caméra hyperspectrale selon un angle de 360° dans le plan de référence de ladite caméra hyperspectrale avec, pour axe de rotation, la direction verticale zénithale astronomique (ZA) ;
- un diaphragme 2001 muni d’un orifice vertical 2002 et disposé sur ledit objectif hypergone 1002;
dans lequel la largeur dudit orifice vertical 2002 est inférieure ou égale à 5mm, de préférence inférieure ou égale à 4mm, de préférence inférieure ou égale à 3mm, et
dans lequel l’axe vertical (AV) dudit orifice vertical 2002 est sensiblement parallèle à la direction verticale zénithale astronomique (ZA).
- une caméra hyperspectrale CCD 1001 munie d’un objectif hypergone 1002 dont l’axe optique (AO) est orienté selon une direction sensiblement perpendiculaire à la direction vertical zénithale astronomique (ZA) ;
- une platine mobile rotative 1002 configurée pour assurer la rotation de ladite caméra hyperspectrale selon un angle de 360° dans le plan de référence de ladite caméra hyperspectrale avec, pour axe de rotation, la direction verticale zénithale astronomique (ZA) ;
- un diaphragme 2001 muni d’un orifice vertical 2002 et disposé sur ledit objectif hypergone 1002;
dans lequel la largeur dudit orifice vertical 2002 est inférieure ou égale à 5mm, de préférence inférieure ou égale à 4mm, de préférence inférieure ou égale à 3mm, et
dans lequel l’axe vertical (AV) dudit orifice vertical 2002 est sensiblement parallèle à la direction verticale zénithale astronomique (ZA).
Par « plan de référence de la caméra hyperspectrale », il est entendu le plan de la caméra 1001 comprenant l’axe optique (AO) de l’objectif hypergone 1002 et perpendiculaire la direction verticale zénithale astronomique (ZA).
Un système 1000 selon le premier aspect de l’invention fonctionne de la manière suivante. Une fois le système installé dans un paysage sous ciel réel, la caméra hyspectrale 1001 acquiert une image hypsespectrale verticale en continue au travers de l’orifice vertical 2002 du diaphragme 2001, de préférence selon un angle vertical d’au moins 170°, tandis que la platine mobile 1002 entraîne par rotation ladite caméra 1001 selon un angle de 360° dans son plan de référence. Une image hyperspectrale panoramique complète peut alors être reconstruite par l’assemblage de l’ensemble des images hyperspectrales verticales acquises.
Un système 1000 selon le premier aspect de l’invention permet une réduction de l’extension spatiale du voile blanchâtre susceptible d’apparaître sur une image panoramique dans les régions de ladite image comprenant le soleil. Sans que la présente divulgation soit nécessairement liée à une quelconque théorie, il est suspecté que, grâce diaphragme 2001 muni d’un orifice vertical 2002 tel que décrit, la réfraction et/ou la diffusion de la lumière dans l’objectif hypergone 1002 lors de la rotation du système est considérablement réduite, sans préjudice à la qualité de l’image. Il est généralement constaté une réduction de l’extension du voile blanchâtre d’environ 90%, voire davantage.
En référence à la , la diaphragme 2001 est muni d’un orifice vertical 2002, ou fente, dont l’axe vertical (AV) est sensiblement parallèle à la direction verticale zénithale astronomique (ZA) et, de préférence, est perpendiculaire à l’axe optique (AO) de l’objectif hypergone 1002. Ainsi, seule la lumière provenant de l’orifice verticale 2002, c’est-à dire selon un angle solide vertical, ne pénètre dans l’objectif hypergone 1002.
Le diaphragme 2001 est par sa fonction opaque. Il peut être de tout couleur adaptée, par exemple de couleur noire. Il est également de toute matière adaptée, souple ou rigide. Il peut être notamment en caoutchouc.
L’objectif hypergone 1002 est de tout type adapté. Des exemples d’objectif hypergone 1002 sont décrits dans JP 2005292280 A [FUJINON CORP] 20.10.2005, WO 2009084842 A2 [NANOPHOTONICS CO LTD [KR]] 09.07.2009, JP 2009 128654 A [SONY CORP] 11.06.2009, WO 2010 077050 A2 [NANOPHOTONICS CO LTD [KR] 08.07.2010. La surface de ce type objectif possède généralement une certaine courbure de surface.
Aussi, selon certains modes de réalisation, la courbure de la surface du diaphragme 2001 peut correspondre à la courbure de la surface de l’objectif hypergone 1002. Une correspondance entre la courbure du diaphragme 2001, d’un part, et la courbure de l’objectif hypergone 1002, d’autre part, permet une meilleure fixation du diaphragme 2001 sur l’objectif hypergone 1002 et évite la réfraction et/ou la diffusion de toute lumière parasite dans l’objectif, c’est-à-dire toute lumière qui ne proviendrait pas de l’orifice vertical.
Selon certains modes de réalisation, en référence à la , l’orifice vertical 2002 du diaphragme 2001 peut être décalé par rapport à l’axe optique (AO) de ladite caméra hyperspectrale 1001. Il est constaté de manière surprenante qu’un tel décalage, c’est-à-dire la non-coïncidence dudit orifice verticale 2002 avec le centre optique de la caméra hyperspectrale 1001, réduit davantage l’extension spatiale du voile blanchâtre. Selon certains modes avantageux de réalisation, le décalage de l’orifice vertical 2002 par rapport à l’axe optique (AO) de ladite caméra hyperspectrale 1001 peut être d’au moins 0,1mm, de préférence d’au moins 0,5mm.
Selon certains modes avantageux de réalisation, le système 1000 comprend en outre un dispositif de traitement de données (non représenté) configuré pour le traitement numérique des images hypespectrales panoramiques acquises par ladite caméra hyperspectrale 1001, tel que ledit dispositif de traitement de données comprend des moyens d’exécution d’une méthode mise en œuvre par ordinateur et ladite méthode mise en œuvre par ordinateur prend, en données d’entrée, une image panoramique acquise par ladite caméra hyperspectrale, fournit, en données de sortie, une image corrigée de ladite image, et comprend les étapes suivantes :
(a) la détection et la sélection, dans la région de l’image panoramique comprenant le soleil, d’une ou plusieurs colonnes C[j] de pixels traversant le soleil dont la majorité des pixels ont une valeur maximale;
(b) l’application d’un modèle correctif aux colonnes C[j] de pixels sélectionnés à l’étape (a), tel que ledit modèle correctif est fondé sur un ou plusieurs pixels des colonnes adjacentes, C[j-1], C[j+1], auxdites colonnes de pixels sélectionnées.
(a) la détection et la sélection, dans la région de l’image panoramique comprenant le soleil, d’une ou plusieurs colonnes C[j] de pixels traversant le soleil dont la majorité des pixels ont une valeur maximale;
(b) l’application d’un modèle correctif aux colonnes C[j] de pixels sélectionnés à l’étape (a), tel que ledit modèle correctif est fondé sur un ou plusieurs pixels des colonnes adjacentes, C[j-1], C[j+1], auxdites colonnes de pixels sélectionnées.
Le dispositif de traitement de données peut être tout dispositif adapté pour exécuter des séquences d'opérations arithmétiques ou logiques automatiquement afin d’effectuer des tâches ou des actions. Ce dispositif peut comprendre une ou plusieurs unités centrales de traitement (CPU) et au moins un dispositif de commande qui sont adaptés pour effectuer ces opérations.
Le dispositif peut aussi comprendre d'autres composants électroniques tels que des interfaces d'entrée/sortie, des dispositifs de stockage non volatils ou volatils, et des bus de communication pour le transfert de données entre des composants électroniques à l'intérieur et à l’extérieur dudit dispositif. L'un des dispositifs d'entrée/sortie peut être une interface utilisateur pour l'interaction homme-machine, par exemple une interface utilisateur graphique pour afficher des informations compréhensibles par l'homme.
Un premier exemple de dispositif de traitement de données peut être un ordinateur. Un deuxième exemple peut être un système embarqué, par exemple une carte informatique de faible puissance telle qu'un ordinateur mono-carte.
La méthode mise en œuvre par le dispositif de traitement de données, peut être un programme informatique comprenant des instructions qui, lorsque le programme est exécuté par ledit dispositif, amène ledit dispositif à mettre en œuvre laite méthode.
Tout type de langage de programmation, compilé ou interprété, peut être utilisé pour mettre en œuvre les étapes de ladite méthode. Le programme informatique peut faire partie d'une solution logicielle, c'est-à-dire d'une collection d'instructions exécutables, de codes, de scripts ou autres et/ou de bases de données.
Dans certains modes de réalisation, le programme informatique peut être stocké sur un support non-transitoire lisible par ordinateur. En conséquence, ce support non-transitoire lisible comprend des instructions qui, lorsqu'elles sont exécutées par un ordinateur, font que l'ordinateur exécute ladite méthode.
De manière générale, une image matricielle peut être représentée, pour chaque canal ou bande spectrale sous la forme d’un tableau de lignes L[1]-L[m] et de colonnes C[1]-C[n] de pixels Px[1,1]-Px[m,n], comme illustré sur la . Dans le cadre de la présente invention, les colonnes sont orientées selon l’axe vertical AV de l’orifice verticale 2002.
Les colonnes C[j] de pixels dont la majorité des pixels ont une valeur maximale correspond aux colonnes comprenant au moins 50%, voire la totalité de leurs pixels dont la valeur de nuance de couleur est maximale dans l’échelle d’encodage de l’image panoramique.
A titre d’exemple purement illustratif et pédagogique, pour une image conventionnelle, non hyperspectrale, encodée sur 24 bits dans l’espace de couleur RVB, soit 8 bits ou 1 octet pour chaque canal R, V et B, les pixels de valeur maximale sont ceux qui présentent la plus grande valeur de nuance de couleur entre 0 et 255 dans chaque canal R, V et B par rapport aux autres colonnes adjacentes de pixels. Dans le cas d’une image hyperspectrale, généralement encodé dans un format à virgule flottante, par exemple 32 ou 64 bits flottant, les pixels de valeur maximale sont ceux qui présentent la plus grande valeur de réflectance dans l’ensemble des bandes spectrales, ou canaux, de ladite image selon la sensibilité du détecteur.
Il a été constaté qu’un modèle correctif fondé sur un ou plusieurs pixels Px[i,j-1], Px[i,j+1] des colonnes adjacentes C[i-1], C[i+1] aux colonnes C[i] de pixels dont la valeur est maximale dans la région de l’image panoramique comprenant le soleil permet une reconstruction acceptable desdites colonnes sélectionnées. Il permet une élimination ou, au minimum, une réduction drastique du flou lumineux (« blooming », « bloom effect ») avec une perte très limitée d’information relative à ladite image panoramique.
Selon certains modes de réalisation, en référence à la , le modèle correctif peut remplacer les valeurs des pixels Px[i,j] dans les colonnes sélectionnées par la valeur moyenne des valeurs de pixels Px[i,j-1], Px[i,j+1] dans les colonnes adjacentes C[i-1], C[i+1] auxdites colonnes C[i] sélectionnées et situées sur la même ligne L[i] dans l’image panoramique. Le nombre de colonnes adjacentes à prendre en compte dans le calcul de la valeur moyenne dépend de la nature des objets représentés dans l’image. Il est préférable que les colonnes adjacentes ne comprennent pas de pixels dont la valeur serait trop différente de celle qui pourrait être attendue pour les pixels des colonnes sélectionnées s’il n’y avait pas de flou lumineux. En d’autres termes, les colonnes adjacentes comprenant des objets de nature différente à ceux des colonnes sélectionnées ne devraient pas être prises en compte ou de manière limitée.
Selon certains modes de réalisation, le modèle correctif comprend une première étape de soustraction des valeurs des pixels d’une des colonnes adjacentes C[i-1], C[i+1] aux valeurs des pixels des colonnes C[i] sélectionnées, une deuxième étape de modélisation du profil obtenu après cette soustraction par une fonction modèle, puis une troisième étape soustraction du profil modélisé aux valeurs des pixels des colonnes C[i] sélectionnées.
Selon certains modes préférés de réalisation, le modèle correctif est un réseau génératif adverse entrainé dans lequel le générateur dudit réseau génératif adverse comprend un réseau artificiel de neurones à convolution entrainé sur les pixels Px[i,j-1], Px[i,j+1] des colonnes adjacentes C[i-1], C[i+1] aux colonnes sélectionnées C[i]. L’avantage d’un réseau génératif adverse est la possibilité d’une reconstruction plus fidèle à la réalité attendue des colonnes sélectionnés. La perte d’information est minimale et l’effet de flou considérablement atténué.
De préférence, le modèle correctif peut être appliqué sur l’ensemble des canaux ou bandes spectrales de l’image hyperspectrale. La continuité spectrale dans chaque canal peut ainsi être conservée.
Selon certains modes préférés de réalisation, la caméra hyperspectrale présente un domaine spectral compris entre 400nm et 1000nm, une résolution comprise entre 2nm et 4nm, un angle vertical de champ d’au moins 170°, un temps d’exposition compris entre 21µs et 10s, et, de préférence, une résolution standard d’au moins 900x1600 pixels.
Avantageusement, l’image hyperspectrale peut être une image acquise selon au moins trois temps différents d’exposition. L’image hyspectrale peut alors être une moyenne des images acquises selon ces trois temps d’exposition, par exemple 21µs, 1ms et 100ms. Alternativement, il est possible de fusionner les images hyperspectrales ainsi acquises pour construire une image à grande gamme dynamique, dite image GGD, (« High Dynamic Range » ou HDR en langue anglaise), encodée dans un format à virgule flottante, par exemple 64 bits flottants ou supérieur. La construction de l’image GGD peut être réalisée à l’aide de tout algorithme adapté, par exemple ceux décrits dans Kumar et al., ‘Camera Calibration Curves for Luminance Data Acquisition using Matlab’, INTERNATIONAL JOURNAL OF ENGINEERING RESEARCH & TECHNOLOGY, vol. 03, n°103, 2014.
Un système selon l’un quelconque des modes de réalisation du premier aspect de l’invention peut être avantageusement utilisé pour générer une carte d’environnement pour la simulation numérique d’images, en particulier, pour le rendu physico-réaliste d’image ou la simulation par tracé de rayon. La meilleure qualité des images hyperspectrales susceptibles d’être obtenues par ledit système permet d’améliorer sensiblement la simulation de représentations numériques de bâtiments et/ou véhicules, dans un paysage sous ciel réel. Les représentations numériques sont davantage réalistes et moins susceptibles de faire l'objet d'artefacts de simulation, notamment ceux ayant pour origine la carte d’environnement.
Selon un deuxième aspect de l’invention, il est fourni une méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel, ladite méthode comprend les étapes suivantes :
(a) la fourniture d’une caméra hyperspectrale CCD munie d’un objectif hypergone dont l’axe optique est orienté selon une direction sensiblement perpendiculaire à la direction vertical zénithale astronomique, et d’un diaphragme disposé sur ledit objectif hypergone, ledit orifice vertical ayant une largeur inférieure ou égale à 5mm, de préférence inférieure ou égale à 4mm, de préférence inférieure ou égale à 3mm, et un axe vertical sensiblement parallèle à la direction verticale zénithale astronomique ;
(b) l’acquisition d’une image panoramique d’un paysage sous ciel réel par rotation de ladite caméra hyperspectrale selon un angle de 360° dans le plan de référence de ladite caméra hyperspectrale avec, pour axe de rotation, la direction verticale zénithale astronomique.
(a) la fourniture d’une caméra hyperspectrale CCD munie d’un objectif hypergone dont l’axe optique est orienté selon une direction sensiblement perpendiculaire à la direction vertical zénithale astronomique, et d’un diaphragme disposé sur ledit objectif hypergone, ledit orifice vertical ayant une largeur inférieure ou égale à 5mm, de préférence inférieure ou égale à 4mm, de préférence inférieure ou égale à 3mm, et un axe vertical sensiblement parallèle à la direction verticale zénithale astronomique ;
(b) l’acquisition d’une image panoramique d’un paysage sous ciel réel par rotation de ladite caméra hyperspectrale selon un angle de 360° dans le plan de référence de ladite caméra hyperspectrale avec, pour axe de rotation, la direction verticale zénithale astronomique.
Selon certains modes avantageux de réalisation, la méthode peut comprendre en outre les étapes suivantes :
(c) la détection et la sélection, à l’aide d’un système de traitement de données, au sein de ladite image panoramique, d’une ou plusieurs colonnes de pixels dont la valeur est maximale dans la région de ladite image comprenant le soleil ,
(d) l’application, à l’aide dudit système de traitement de données, d’un modèle correctif aux colonnes de pixels sélectionnées à l’étape (c), tel que ledit modèle correctif est fondé sur un ou plusieurs pixels adjacents auxdits colonnes de pixels sélectionnées.
(c) la détection et la sélection, à l’aide d’un système de traitement de données, au sein de ladite image panoramique, d’une ou plusieurs colonnes de pixels dont la valeur est maximale dans la région de ladite image comprenant le soleil ,
(d) l’application, à l’aide dudit système de traitement de données, d’un modèle correctif aux colonnes de pixels sélectionnées à l’étape (c), tel que ledit modèle correctif est fondé sur un ou plusieurs pixels adjacents auxdits colonnes de pixels sélectionnées.
Selon certains modes de réalisation, l’image hyperspectrale est acquise selon trois temps différents d’exposition.
Les modes de réalisation décrits dans le cadre d’un système selon le premier aspect de l’invention sont applicables à la méthode selon le second aspect de l’invention. En particulier, la méthode selon le deuxième aspect de l’invention peut être implémentée à l’aide d’un système selon l’un des quelconques modes de réalisation du premier aspect de l’invention.
Sur la sont représentées les variations de luminance sur une ligne de pixels pour un canal d’une image hyperspectrale panoramique acquise selon trois exemples, E1, E2 et E3 de système ou de méthode conformément à l’invention, et un contre-exemple CE non conforme à l’invention.
Pour les trois exemples et le contre-exemple, les images hyperspectrales d’un paysage ensoleillé ont été acquises sur un angle horizontal de 360° à l’aide d’une caméra hyperspectrale présentant un domaine spectral compris entre 400nm et 1000nm, une résolution comprise entre 2nm et 4nm, un angle maximal de champ horizontal de 360°, un angle vertical de champ d’au moins 170°, un temps d’exposition compris entre 21µs et 10s, et, de préférence, une résolution standard d’au moins 900x1600 pixels.
Dans les trois exemples E1, E2 et E3, l’objectif hypergone de la camera hyperspectrale est munie d’un diaphragme comprenant une ouverture verticale d’une largeur de 3mm, de 4 mm et de 5mm respectivement. Dans le contre-exemple, l’objectif hypergone est dépourvu de diaphragme.
Sur la , toutes les courbes de luminance présente maximum vers le pixel 710. Cette variation brutale correspond à l’image du soleil.
La courbe de luminance (trait plein) du contre-exemple CE présente, autour de ce maximum, une variation très rapide entre 500 et 850 pixels. La largeur à mi-hauteur dans cette région entre 500 et 850 pixels correspond à l’extension d’un voile blanchâtre qui affecte l’image hyperspectral sous la forme d’un blanchiment des zones de l’image adjacentes au soleil.
La largeur à mi-hauteur dans cette région de 500 – 850 px est nettement réduite pour les trois exemples (3mm, 4mm et 5mm) représentés par les courbes en tirets. Cette réduction correspond à une réduction de l’extension du voile blanchâtre et permet l’apparition de structures plus fines, par exemple, autour de 620 pixels, quasiment invisibles sur la courbe correspondant au contre-exemple CE. L’avantage de la présente invention dans la réduction du voile blanchâtre est ici clairement démontré.
La est un exemple d’image 8000 hyperspectrale panoramique en noir et blanc d’un sol 8001 et d’un ciel réel 8002. Un phénomène de flou lumineux 8004 apparaît dans la région 8003 du soleil. Sur l’image hyperspectrale couleur correspondante, la zone du ciel réel 8002 est bleu azur avec quelques nuages de type cirrus, la région 8003 du soleil est un halo très lumineux et le flou lumineux 8004 se matérialise sous la forme d’une ligne blanche verticale de pixels saturés traversant l’image de part en part.
La variation de luminance, L, exprimé en échelle logarithmique, dans le flou lumineux 8004 selon le profil L1 de la est représenté sur la (courbe en traits pointillés). Est également représentée sur la (courbe en traits tirets), la variation de luminance selon le profil L2 en dehors du flou lumineux 8004. Sur les deux courbes, le pic d’intensité autour du pixel, Px, 300 correspond à la région 8003 du soleil.
Conformément à certains modes de réalisation du système selon le premier aspect de l’invention, un modèle correctif du flou lumineux 8004 de la colonne L1 de , fondé sur les valeurs des pixels de la colonne adjacente L2. Dans le présent exemple, le modèle correctif comprend une première étape de soustraction des valeurs des pixels de la colonne adjacente L2 aux valeurs des pixels de la colonne L1, une deuxième étape de modélisation du profil obtenu après cette soustraction par une fonction modèle, puis une troisième étape de soustraction du profil modélisé aux valeurs des pixels de la colonne L1. La fonction modèle utilisée dans l’exemple est du type y = A*|x|Boù y est la luminance, x le numéro de pixel et A, B sont des paramètres ajustables. Le résultat de cette soustraction est représenté par courbe en trait plein de la . Grâce à cette opération, l’intensité du pic autour de 300x est réduite, et permet de révéler des détails, par exemple dans la région des pixels 400 à 600, qui n’apparaissaient pas sur les autres courbes.
La est un exemple d’image 10000 obtenue après application du modèle correctif sur la . Le flou lumineux 8004, matérialisé par la ligne verticale de pixels saturés sur la , est éliminée.
JP 2005292280 A [FUJINON CORP] 20.10.2005.
JP 2007028272 A, DOMUS INTERNAT LTD [JP] 01.02.2007.
JP 2009 128654 A [SONY CORP] 11.06.2009.
WO 2009084842 A2 [NANOPHOTONICS CO LTD [KR]] 09.07.2009.
WO 2010 077050 A2 [NANOPHOTONICS CO LTD [KR] 08.07.2010.
CN 207442995 U, SHENZHEN REAL SCENE TECH CO LTD [CN] 01.06.2018.
Kumar et al., ‘Camera Calibration Curves for Luminance Data Acquisition using Matlab’, INTERNATIONAL JOURNAL OF ENGINEERING RESEARCH & TECHNOLOGY, vol. 03, n°103, 2014
Claims (14)
- Système (1000) d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel, le système comprend :
- une caméra hyperspectrale CCD (1001) munie d’un objectif hypergone (1002) dont l’axe optique (AO) est orienté selon une direction sensiblement perpendiculaire à la direction vertical zénithale astronomique (ZA) ;
- une platine mobile rotative (1002) configurée pour assurer la rotation de ladite caméra hyperspectrale selon un angle de 360° dans le plan de référence de ladite caméra hyperspectrale avec, pour axe de rotation, la direction verticale zénithale astronomique (ZA) ;
- un diaphragme (2001) muni d’un orifice vertical (2002) et disposé sur ledit objectif hypergone (1002);
dans lequel la largeur dudit orifice vertical (2002) est inférieure ou égale à 5mm, de préférence inférieure ou égale à 4mm, de préférence inférieure ou égale à 3mm, et
dans lequel l’axe vertical (AV) dudit orifice vertical (2002) est sensiblement parallèle à la direction verticale zénithale astronomique (ZA). - Système (1000) selon la revendication 1, tel que l’orifice vertical (2002) dudit diaphragme est décalé par rapport à l’axe optique (AO)de ladite caméra hyperspectrale.
- Système (1000) selon la revendication 2, tel que le décalage de l’orifice vertical (2002) par rapport à l’axe optique (AO) de la caméra hyperspectrale (1001) est d’au moins 0,1mm.
- Système (1000) selon l’une quelconque des revendications 1 à 4, tel que la courbure de la surface du diaphragme (2001) correspond à la courbure de la surface de l’objectif hypergone (1002).
- Système (1000) selon l’une quelconque des revendications 1 à 4, tel que ledit système (1000) comprend en outre un dispositif de traitement de données configuré pour le traitement numérique des images hypespectrales panoramiques acquises par ladite caméra hyperspectrale (1001), tel que ledit dispositif de traitement de données comprend des moyens d’exécution d’une méthode mise en œuvre par ordinateur et ladite méthode mise en œuvre par ordinateur prend, en données d’entrée, une image panoramique acquise par ladite caméra hyperspectrale, fournit, en données de sortie, une image corrigée de ladite image, et comprend les étapes suivantes :
(a) la détection et la sélection, dans la région de l’image panoramique comprenant le soleil, d’une ou plusieurs colonnes C[j] de pixels traversant la soleil dont la majorité des pixels ont une valeur maximale;
(b) l’application d’un modèle correctif aux colonnes C[j] de pixels sélectionnés à l’étape (a), tel que ledit modèle correctif est fondé sur un ou plusieurs pixels des colonnes adjacentes C[j-1], C[j+1], auxdites colonnes de pixels sélectionnées. - Système (1000) selon la revendication 6, tel que le modèle correctif peut remplacer les valeurs des pixels Px[i,j] dans les colonnes sélectionnées par la valeur moyenne des valeurs de pixels Px[i,j-1], Px[i,j+1] dans les colonnes adjacentes C[i-1], C[i+1] auxdites colonnes C[i] sélectionnées et situées sur la même ligne L[i] dans l’image panoramique.
- Système (1000) selon revendication 6, tel que le modèle correctif est un réseau génératif adverse entrainé dans lequel le générateur dudit réseau génératif adverse comprend un réseau artificiel de neurones à convolution entrainé sur les pixels Px[i,j-1], Px[i,j+1] des colonnes adjacentes C[i-1], C[i+1] aux colonnes sélectionnées C[i].
- Système (1000) selon l’une quelconque des revendications 6 à 8, tel que le modèle correctif est appliqué sur l’ensemble des canaux de l’image hyperspectrale.
- Système (1000) selon l’une quelconque des revendications 1 à 9, tel que la caméra hyperspectrale présente un domaine spectral compris entre 400nm et 1000nm, une résolution comprise entre 2nm et 4nm, un angle maximal de champ horizontal de 360°, un angle vertical de champ d’au moins 170°, un temps d’exposition compris entre 21µs et 10s, et, de préférence, une résolution standard d’au moins 900x1600 pixels.
- Système (1000) selon l’une quelconque des revendications 1 à 9, tel que l’image hyperspectrale est une image acquise selon au moins trois temps différents d’exposition.
- Utilisation d’un système (1000) selon l’une quelconque des revendications 1 à 10 pour la génération d’une carte d’environnement pour la simulation numérique d’images, en particulier, pour le rendu physico-réaliste d’image ou la simulation par tracé de rayon.
- Méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel, ladite méthode comprend les étapes suivantes :
(a) la fourniture d’une caméra hyperspectrale CCD munie d’un objectif hypergone dont l’axe optique est orienté selon une direction sensiblement perpendiculaire à la direction vertical zénithale astronomique, et d’un diaphragme disposé sur ledit objectif hypergone, ledit orifice vertical ayant une largeur inférieure ou égale à 5mm, de préférence inférieure ou égale à 4mm, de préférence inférieure ou égale à 3mm, et un axe vertical sensiblement parallèle à la direction verticale zénithale astronomique ;
(b) l’acquisition d’une image panoramique d’un paysage sous ciel réel par rotation de ladite caméra hyperspectrale selon un angle de 360° dans le plan de référence de ladite caméra hyperspectrale avec, pour axe de rotation, la direction verticale zénithale astronomique. - Méthode selon la revendication 12 , telle que ladite méthode comprend en outre les étapes suivantes :
(c) la détection et la sélection, à l’aide d’un système de traitement de données, au sein de ladite image panoramique, d’une ou plusieurs colonnes de pixels dont la valeur est maximale dans la région de ladite image comprenant le soleil ,
(d) l’application, à l’aide dudit système de traitement de données, d’un modèle correctif aux colonnes de pixels sélectionnées à l’étape (c), tel que ledit modèle correctif est fondé sur un ou plusieurs pixels adjacents auxdits colonnes de pixels sélectionnées. - Méthode selon l’une quelconque des revendications 12 à 13, telle que l’image hyperspectrale est acquise selon trois temps différents d’exposition.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2212517A FR3142641A1 (fr) | 2022-11-29 | 2022-11-29 | Système et méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel. |
PCT/EP2023/083147 WO2024115376A1 (fr) | 2022-11-29 | 2023-11-27 | Système et méthode d'acquisition d'une image hyperspectrale d'un paysage sous ciel réel |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2212517A FR3142641A1 (fr) | 2022-11-29 | 2022-11-29 | Système et méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel. |
FR2212517 | 2022-11-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
FR3142641A1 true FR3142641A1 (fr) | 2024-05-31 |
Family
ID=85222064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR2212517A Pending FR3142641A1 (fr) | 2022-11-29 | 2022-11-29 | Système et méthode d’acquisition d’une image hyperspectrale d’un paysage sous ciel réel. |
Country Status (2)
Country | Link |
---|---|
FR (1) | FR3142641A1 (fr) |
WO (1) | WO2024115376A1 (fr) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005292280A (ja) | 2004-03-31 | 2005-10-20 | Fujinon Corp | 魚眼レンズおよびこれを用いた撮像装置 |
JP2007028272A (ja) | 2005-07-19 | 2007-02-01 | Domus International Ltd | パノラマカメラ |
JP2009128654A (ja) | 2007-11-26 | 2009-06-11 | Sony Corp | 魚眼系撮像レンズ |
WO2009084842A2 (fr) | 2007-12-27 | 2009-07-09 | Nanophotonics Co., Ltd. | Grand-angulaire extrême |
WO2010077050A2 (fr) | 2008-12-29 | 2010-07-08 | 주식회사 나노포토닉스 | Objectif hypergone |
CN207442995U (zh) | 2017-08-18 | 2018-06-01 | 深圳市实景科技有限公司 | 全景混合光场成像装置 |
WO2022135942A1 (fr) * | 2020-12-21 | 2022-06-30 | Saint-Gobain Glass France | Procédé d'évaluation de la qualité de la simulation physique d'un objet vitré |
-
2022
- 2022-11-29 FR FR2212517A patent/FR3142641A1/fr active Pending
-
2023
- 2023-11-27 WO PCT/EP2023/083147 patent/WO2024115376A1/fr unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005292280A (ja) | 2004-03-31 | 2005-10-20 | Fujinon Corp | 魚眼レンズおよびこれを用いた撮像装置 |
JP2007028272A (ja) | 2005-07-19 | 2007-02-01 | Domus International Ltd | パノラマカメラ |
JP2009128654A (ja) | 2007-11-26 | 2009-06-11 | Sony Corp | 魚眼系撮像レンズ |
WO2009084842A2 (fr) | 2007-12-27 | 2009-07-09 | Nanophotonics Co., Ltd. | Grand-angulaire extrême |
WO2010077050A2 (fr) | 2008-12-29 | 2010-07-08 | 주식회사 나노포토닉스 | Objectif hypergone |
CN207442995U (zh) | 2017-08-18 | 2018-06-01 | 深圳市实景科技有限公司 | 全景混合光场成像装置 |
WO2022135942A1 (fr) * | 2020-12-21 | 2022-06-30 | Saint-Gobain Glass France | Procédé d'évaluation de la qualité de la simulation physique d'un objet vitré |
Non-Patent Citations (1)
Title |
---|
KUMAR ET AL.: "Caméra Calibration Curves for Luminance Data Acquisition using Matlab", INTERNATIONAL JOURNAL OF ENGINEERING RESEARCH & TECHNOLOGY, vol. 03, no. 103, 2014 |
Also Published As
Publication number | Publication date |
---|---|
WO2024115376A1 (fr) | 2024-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Galdran | Image dehazing by artificial multiple-exposure image fusion | |
EP1410331B1 (fr) | Procede et systeme pour modifier une image numerique en prenant en compte son bruit | |
Wu et al. | How to train neural networks for flare removal | |
EP1412918B1 (fr) | Procede et systeme pour produire des informations formatees liees aux distorsions geometriques | |
EP3401879B1 (fr) | Procédé de modélisation d'un objet tridimensionnel à partir d'images bidimensionnelles de cet objet prises sous différents angles | |
EP2174289B1 (fr) | Procede de traitement d'objet numerique et systeme associe. | |
Jackson et al. | A fast single-image dehazing algorithm based on dark channel prior and Rayleigh scattering | |
CN110675336A (zh) | 一种低照度图像增强方法及装置 | |
Rasheed et al. | LSR: Lightening super-resolution deep network for low-light image enhancement | |
CN115810112A (zh) | 图像处理方法、装置及存储介质、电子设备 | |
Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
Yang et al. | A model-driven deep dehazing approach by learning deep priors | |
EP1673728A1 (fr) | Procede et systeme pour m7difier une image numérique de maniere differenciee et quasi reguliere par pixel | |
Chan et al. | Computational imaging through atmospheric turbulence | |
Hou et al. | Reconstructing a high dynamic range image with a deeply unsupervised fusion model | |
WO2024115376A1 (fr) | Système et méthode d'acquisition d'une image hyperspectrale d'un paysage sous ciel réel | |
EP3818495B1 (fr) | Procede et dispositif d'affichage de donnees sonar ou radar a haute dynamique | |
Huang et al. | Perception evaluation: A new solar image quality metric based on the multi-fractal property of texture features | |
De Dravo et al. | Multiscale approach for dehazing using the stress framework | |
US20230055204A1 (en) | Generating colorized digital images utilizing a re-colorization neural network with local hints | |
Tang et al. | PLSMS model for restoration of the details concealed by light sources in nighttime hazed image | |
WO2024115373A1 (fr) | Système et méthode d'acquisition synchrone d'une image hyperspectrale, d'images numériques et de spectres radiométriques d'un bâtiment vitré | |
Li et al. | Penrose high-dynamic-range imaging | |
Fan et al. | Multi-scale dynamic fusion for correcting uneven illumination images | |
Lian et al. | Learning tone mapping function for dehazing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 2 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20240531 |
|
PLFP | Fee payment |
Year of fee payment: 3 |