FR3056770A1 - DEVICE AND METHOD FOR IMMERSION SHARING IN A VIRTUAL ENVIRONMENT - Google Patents
DEVICE AND METHOD FOR IMMERSION SHARING IN A VIRTUAL ENVIRONMENT Download PDFInfo
- Publication number
- FR3056770A1 FR3056770A1 FR1659160A FR1659160A FR3056770A1 FR 3056770 A1 FR3056770 A1 FR 3056770A1 FR 1659160 A FR1659160 A FR 1659160A FR 1659160 A FR1659160 A FR 1659160A FR 3056770 A1 FR3056770 A1 FR 3056770A1
- Authority
- FR
- France
- Prior art keywords
- immersive
- source
- target
- display
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000007654 immersion Methods 0.000 title claims description 42
- 230000008014 freezing Effects 0.000 claims abstract description 23
- 238000007710 freezing Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 67
- 230000009466 transformation Effects 0.000 claims description 49
- 230000005540 biological transmission Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 35
- 230000003993 interaction Effects 0.000 claims description 24
- 238000000844 transformation Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000006641 stabilisation Effects 0.000 abstract description 2
- 238000011105 stabilization Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 38
- 238000004364 calculation method Methods 0.000 description 19
- 230000008901 benefit Effects 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 230000001427 coherent effect Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000001131 transforming effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000065675 Cyclops Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
- A63F2300/203—Image generating hardware
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
- G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/16—Use of wireless transmission of display information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
Dans un dispositif 100 et un procédé mis en œuvre par le dispositif, deux systèmes immersifs sont connectés de sorte qu'un environnement virtuel généré sur un système immersif source 10 est reproduit sur un système immersif cible 20. Les images de l'environnement virtuel affichées sur le système d'affichage du système immersif source sont transformées pour être affichées sur le système d'affichage du système immersif cible de sorte qu'une reproduction virtuelle de l'environnement virtuel soit correctement représentée sur le système immersif cible pour un observateur, indépendamment des différences de structure et de logiciels entre les deux systèmes immersifs. Le gel de certaines données d'affichage et de conditions d'observations du système source assure une stabilisation temporaire de la représentation de l'environnement virtuel sur le système cible sans affecter la cohérence de la représentation sur ce dernier.In a device 100 and a method implemented by the device, two immersive systems are connected so that a virtual environment generated on a source immersive system 10 is reproduced on a target immersive system 20. The images of the virtual environment displayed on the display system of the source immersive system are transformed to be displayed on the display system of the target immersive system so that a virtual reproduction of the virtual environment is correctly represented on the target immersive system for an observer, independently structural and software differences between the two immersive systems. The freezing of certain display data and observation conditions of the source system provides a temporary stabilization of the representation of the virtual environment on the target system without affecting the coherence of the representation on the latter.
Description
(54) DISPOSITIF ET PROCEDE DE PARTAGE D'IMMERSION DANS UN ENVIRONNEMENT VIRTUEL(54) DEVICE AND METHOD FOR SHARING IMMERSION IN A VIRTUAL ENVIRONMENT
FR 3 056 770 - A1 )5/) Dans un dispositif 100 et un procédé mis en oeuvre par le dispositif, deux systèmes immersifs sont connectés de sorte qu'un environnement virtuel généré sur un système immersif source 10 est reproduit sur un système immersif cible 20.FR 3 056 770 - A1) 5 /) In a device 100 and a method implemented by the device, two immersive systems are connected so that a virtual environment generated on a source immersive system 10 is reproduced on a target immersive system 20.
Les images de l'environnement virtuel affichées sur le système d'affichage du système immersif source sont transformées pour être affichées sur le système d'affichage du système immersif cible de sorte qu'une reproduction virtuelle de l'environnement virtuel soit correctement représentée sur le système immersif cible pour un observateur, indépendamment des différences de structure et de logiciels entre les deux systèmes immersifs. Le gel de certaines données d'affichage et de conditions d'observations du système source assure une stabilisation temporaire de la représentation de l'environnement virtuel sur le système cible sans affecter la cohérence de la représentation sur ce dernier.The images of the virtual environment displayed on the display system of the source immersive system are transformed to be displayed on the display system of the target immersive system so that a virtual reproduction of the virtual environment is correctly represented on the target immersive system for an observer, regardless of the differences in structure and software between the two immersive systems. The freezing of certain display data and observation conditions of the source system ensures temporary stabilization of the representation of the virtual environment on the target system without affecting the consistency of the representation on the latter.
DISPOSITIF ET PROCEDE DE PARTAGE D'IMMERSION DANS UN ENVIRONNEMENT VIRTUELDEVICE AND METHOD FOR SHARING IMMERSION IN A VIRTUAL ENVIRONMENT
Domaine de l'inventionField of the invention
La présente invention appartient au domaine de la réalité virtuelle et de la présentation des environnements virtuels et du partage d'environnements virtuels.The present invention belongs to the field of virtual reality and the presentation of virtual environments and the sharing of virtual environments.
Plus particulièrement, l'invention concerne un dispositif et un procédé de partage de l'immersion dans un environnement virtuel avec des utilisateurs disposant de moyens d'immersion autres que les moyens ayant généré l'environnement virtuel.More particularly, the invention relates to a device and a method for sharing the immersion in a virtual environment with users having means of immersion other than the means having generated the virtual environment.
Etat de l'artState of the art
Dans le domaine de la réalité virtuelle un ou plusieurs utilisateurs d'un système d'immersion dans un environnement virtuel sont immergés dans l'environnement virtuel au moyen d'un environnement matériel produisant des stimuli pour donner aux utilisateurs des sensations proches, sinon identiques, sinon supposées, de celles qui seraient ressenties dans un environnement réel que l'environnement virtuel est sensé reproduire.In the field of virtual reality one or more users of an immersion system in a virtual environment are immersed in the virtual environment by means of a material environment producing stimuli to give users similar, if not identical, sensations. if not supposed, of those which would be felt in a real environment that the virtual environment is supposed to reproduce.
On comprend ici que la représentation n'est pas nécessairement réaliste mais peut aussi être déformée, atténuée ou exagérée dans certains effets, pour produire des sensations particulières telles qu'une perception accrue de phénomènes dans le monde virtuel. Par exemple par un effet d'échelle, un utilisateur peut se trouver immergé dans un univers microscopique qui lui est normalement inaccessible. Un utilisateur peut être immergé pour observer un environnement non visible en conditions ordinaires comme par exemple un écoulement aérodynamique, ou encore pour observer une représentation d'un environnement non physique comme par exemple une base de données visualisée en 3D.We understand here that the representation is not necessarily realistic but can also be distorted, attenuated or exaggerated in certain effects, to produce particular sensations such as an increased perception of phenomena in the virtual world. For example, by a scale effect, a user can find himself immersed in a microscopic universe which is normally inaccessible to him. A user can be immersed to observe an environment not visible under ordinary conditions such as for example an aerodynamic flow, or even to observe a representation of a non-physical environment such as for example a database viewed in 3D.
Dans certains cas, un même environnement virtuel est partagé entre plusieurs utilisateurs.In some cases, the same virtual environment is shared between several users.
Par la suite, il sera considéré une représentation visuelle de l'environnement virtuel, à deux ou à trois dimensions, et il sera exposé plus particulièrement les problèmes et solutions liés à cette représentation visuelle dans le contexte de l'invention.Thereafter, it will be considered a visual representation of the virtual environment, in two or three dimensions, and it will be exposed more particularly the problems and solutions related to this visual representation in the context of the invention.
Une solution connue pour permettre à au moins deux utilisateurs d'être immergés dans un environnement virtuel consiste à dupliquer les données utilisées pour construire la représentation visuelle de l’environnement virtuel sur deux systèmes immersifs, chaque système étant affecté à un utilisateur, pour obtenir sur chacun des deux systèmes un rendu temps réel correspondant au point de vue de chaque utilisateur associé à un système. Dans ce cas les informations relatives à la position et ou aux interactions réalisées par chacun des utilisateurs sont synchronisées pour permettre à chacun des environnements virtuels reproduits sur chacun des systèmes d’être dans un état identique.A known solution to allow at least two users to be immersed in a virtual environment consists in duplicating the data used to build the visual representation of the virtual environment on two immersive systems, each system being assigned to a user, to obtain on each of the two systems real-time rendering corresponding to the point of view of each user associated with a system. In this case, the information relating to the position and or to the interactions carried out by each of the users is synchronized to allow each of the virtual environments reproduced on each of the systems to be in an identical state.
Cette solution a l’avantage de permettre à chacun des utilisateurs partageant l’immersion d’avoir son propre point de vue sur l’environnement virtuel partagé.This solution has the advantage of allowing each of the users sharing the immersion to have their own point of view on the shared virtual environment.
Ainsi, un utilisateur en immersion au moyen d'un premier système immersif peut regarder le côté gauche d’un objet et un second utilisateur en immersion dans le même environnement virtuel au moyen d'un second système immersif peut regarder simultanément le côté droit du même objet.Thus, a user in immersion by means of a first immersive system can look at the left side of an object and a second user in immersion in the same virtual environment by means of a second immersive system can simultaneously look at the right side of the same object.
Dans une telle solution, chacun des systèmes immersifs doit disposer des données utilisées pour construire l’environnement virtuel, et sa représentation visuelle, et de l’ensemble des applications, en particulier des logiciels, permettant d’exploiter ces données, conditions qui imposent de passer par une étape de duplication des données et de disposer des licences, pouvant s'avérer coûteuses, sur les logiciels mis en œuvre sur chacun des systèmes.In such a solution, each of the immersive systems must have the data used to build the virtual environment, and its visual representation, and all the applications, in particular software, making it possible to use this data, conditions which impose go through a stage of duplicating data and having licenses, which can prove costly, on the software implemented on each of the systems.
En outre, lorsque les deux systèmes immersifs sont distants, la transmission de données pose un problème de confidentialité, notamment dans les environnements industriels où les données emportent un important volume d'informations pouvant être sensibles sur la définition de l'environnement virtuel, par exemple une maquette numérique d'une machine prototype.In addition, when the two immersive systems are remote, the data transmission poses a confidentiality problem, especially in industrial environments where the data carries a large volume of information which can be sensitive on the definition of the virtual environment, for example a digital model of a prototype machine.
Un autre inconvénient de cette solution est de nécessiter sur chaque système immersif des systèmes de traitement numériques avec des performances suffisantes pour générer en temps réel les images de l'environnement virtuel affichées sur les moyens d’affichage du système immersif, performances encore plus importantes lorsque le système immersif doit exploiter un environnement en trois dimensions et ou produire une représentation en trois dimensions.Another drawback of this solution is that it requires digital processing systems on each immersive system with sufficient performance to generate in real time the images of the virtual environment displayed on the display means of the immersive system, even greater performance when the immersive system must exploit a three-dimensional environment and or produce a three-dimensional representation.
Un autre inconvénient de cette solution est que le confort de partage de l’expérience du monde virtuel dépend très fortement de la qualité des moyens de communication réseau mis en place. Le partage reposant sur la synchronisation des données entre plusieurs systèmes immersifs, les temps de latence introduits par les moyens de communication réseau affectent la vitesse à laquelle les données provenant d’un système immersif distant sont remises à jour dans un système immersif donné, provoquant un écart potentiellement important entre l’état effectif de l'environnement virtuel à un instant donné du système immersif distant et celui retranscrit à l’intérieur du système immersif considéré au même instant.Another drawback of this solution is that the comfort of sharing the experience of the virtual world very strongly depends on the quality of the network communication means put in place. Since sharing is based on the synchronization of data between several immersive systems, the latency times introduced by network communication means affect the speed at which data from a remote immersive system is updated in a given immersive system, causing a potentially large difference between the effective state of the virtual environment at a given instant in the remote immersive system and that transcribed inside the immersive system considered at the same instant.
Suivant un autre procédé connu, qui évite la transmission de certaines données sensibles, des images produites par un système immersif pour un utilisateur sont filmées par une caméra portée par l'utilisateur, orientée pour montrer les images dans le champ visuel de l'utilisateur, et sont transmises pour être observées sur un écran par des personnes plus ou moins éloignées. Ce procédé n'offre cependant pas la qualité attendue par une personne distante devant observer un environnement virtuel du fait de l'exploitation de l'image filmée sur un écran unique et du fait que l'image filmée comporte en général des défauts et artefacts en raison de la mise en œuvre par le système immersif de systèmes d'affichage des images comportant plusieurs écrans assemblés pour former l'environnement immersif. En outre les personnes qui observent l'image à distance sont passives et n'ont pas d'interaction avec lesdites images. De plus, une telle solution n'est pas envisageable lorsque le système immersif met en œuvre un casque de réalité virtuelle, les images étant dans ce cas affichées très près des yeux de l'utilisateur.According to another known method, which avoids the transmission of certain sensitive data, images produced by an immersive system for a user are filmed by a camera carried by the user, oriented to show the images in the user's visual field, and are transmitted to be observed on a screen by people more or less distant. This process does not, however, offer the quality expected by a distant person having to observe a virtual environment due to the exploitation of the image filmed on a single screen and the fact that the filmed image generally contains faults and artifacts. reason for the implementation by the immersive system of image display systems comprising several screens assembled to form the immersive environment. Furthermore, people who observe the image from a distance are passive and have no interaction with said images. In addition, such a solution is not possible when the immersive system implements a virtual reality headset, the images in this case being displayed very close to the eyes of the user.
Dans le cas d'un système immersif composé de plusieurs écrans et/ou images combinées pour obtenir un grand champ de vision, l'homme du métier sait que les images sont composées pour être vues d'un emplacement donné du système d'affichage et qu'observées depuis un autre emplacement les images sont vues déformées et avec des défauts de raccordement lorsque qu'il est mis en œuvre plusieurs écrans.In the case of an immersive system composed of several screens and / or images combined to obtain a large field of vision, the skilled person knows that the images are composed to be seen from a given location of the display system and that observed from another location, the images are seen distorted and with connection faults when several screens are used.
Ainsi, même lorsque le système d'affichage du système immersif distant est identique à celui du système immersif générant les images de l'environnement virtuel, pour que les images affichées soient correctement vues par l'observateur distant il est nécessaire que la position de son point d'observation dans le système d'affichage distant soit la même que celle du point d'observation de l'utilisateur dans le système d'affichage du système immersif. Cette dernière contrainte s'avère en pratique impossible à respecte, chaque utilisateur devant être libre de réaliser des mouvements de tête, même de faibles amplitudes.Thus, even when the display system of the remote immersive system is identical to that of the immersive system generating the images of the virtual environment, for the images displayed to be correctly seen by the remote observer it is necessary that the position of its observation point in the remote display system is the same as that of the user's observation point in the display system of the immersive system. This last constraint proves in practice impossible to respect, each user having to be free to carry out head movements, even at low amplitudes.
Il résulte du non-respect de cette contrainte de positions des points d'observation que les différentes images affichées dans le système d'affichage distant présentent des incohérences avec des déformations et des discontinuités généralement inacceptables pour la compréhension de l'information affichée, et incompatible pour réaliser une immersion.It results from non-compliance with this constraint of positions of the observation points that the various images displayed in the remote display system exhibit inconsistencies with deformations and discontinuities generally unacceptable for understanding the information displayed, and incompatible to do an immersion.
Présentation de l'inventionPresentation of the invention
L'invention apporte une solution aux différents problèmes de l'art antérieur dans le domaine de l'immersion d'un observateur dans un environnement virtuel généré pour un autre utilisateur d'un système immersif.The invention provides a solution to the various problems of the prior art in the field of the immersion of an observer in a virtual environment generated for another user of an immersive system.
Un avantage est d'éviter de multiplier les coûts des licences.One advantage is to avoid multiplying the costs of licenses.
Un autre avantage est d'éviter la duplication des données et les contraintes de transmission de volumes important de données.Another advantage is to avoid duplication of data and the constraints of transmitting large volumes of data.
Un autre avantage est de ne pas être limités dans le choix des architectures matérielles de chacun des systèmes immersifs mis en œuvre.Another advantage is not to be limited in the choice of hardware architectures for each of the immersive systems implemented.
Un autre avantage est de préserver la confidentialité des données de l'environnement virtuel.Another advantage is to preserve the confidentiality of data in the virtual environment.
Un autre avantage est de conserver la qualité de la représentation visuelle de l'environnement virtuel et de l'immersion dans un système distant.Another advantage is to maintain the quality of the visual representation of the virtual environment and of immersion in a remote system.
Pour cela, l'invention concerne un dispositif de partage d'immersion dans un environnement virtuel, comportant :For this, the invention relates to a device for sharing immersion in a virtual environment, comprising:
- un système immersif source, comportant un système de traitement numérique comportant une base de données, dont un ensemble de données définit un environnement virtuel, et délivrant des données d'affichage à un système d'affichage de ce système immersif source ;a source immersive system, comprising a digital processing system comprising a database, a set of data of which defines a virtual environment, and delivering display data to a display system of this source immersive system;
- un logiciel de calcul d'images de synthèse, exécuté sur les moyens de traitement numérique du système immersif source, de construction d'une représentation visuelle de l'environnement virtuel sous la forme d'images affichées sur un ou des écrans du système d'affichage du système immersif source, le logiciel de calcul d'images prenant en compte des conditions d'observation effectives dans ledit système d'affichage ;software for calculating synthetic images, executed on the digital processing means of the source immersive system, for constructing a visual representation of the virtual environment in the form of images displayed on one or more screens of the digital system display of the source immersive system, the image calculation software taking into account actual observation conditions in said display system;
- au moins un système immersif cible, comportant un système de traitement numérique délivrant des données d'affichage, correspondant aux images à afficher, à au moins un système d'affichage dudit système immersif cible ;- at least one target immersive system, comprising a digital processing system delivering display data, corresponding to the images to be displayed, to at least one display system of said target immersive system;
- des moyens de transmission de données du système immersif source à l’au moins un système immersif cible, et à chacun des systèmes immersifs lorsque plusieurs systèmes immersifs cibles sont utilisés.- means of transmitting data from the source immersive system to at least one target immersive system, and to each of the immersive systems when several target immersive systems are used.
En outre, dans le dispositif :In addition, in the device:
- des données d'affichage du système immersif source, et les données des conditions d'observation effectives dans le système d'affichage du système immersif source, utilisées pour calculer les images affichées dans le système d'affichage du système immersif source, sont transmises via les moyens de transmission de données au système immersif cible, le cas échéant à chacun des systèmes immersifs cibles ;- display data of the source immersive system, and the data of the actual observation conditions in the display system of the source immersive system, used to calculate the images displayed in the display system of the source immersive system, are transmitted via the data transmission means to the target immersive system, if necessary to each of the target immersive systems;
- lesdites données d'affichage du système immersif source transmises sont transformées par un logiciel de traitement des données d'affichage pour construire des données d'affichage correspondant à des images affichées sur le ou les écrans du système d'affichage du ou de chacun des systèmes immersifs cibles, chaque point image d'une image transformée affichée sur un écran du système d'affichage du système immersif cible correspondant à la projection d'un point image d'un écran du système d'affichage du système immersif source, la projection étant réalisée en fonction d'au moins un point d'observation effectif dans le système d'affichage du système immersif source, et en fonction de l'au moins un point d'observation effectif dans le système d'affichage du système immersif cible, points d'observation considérés, pour calculer la projection, comme même point d'observation de l'environnement virtuel dont la représentation visuelle est affichée sur le système immersif source, les données d'affichage du système immersif source étant transformées, pour être affichées par le système immersif cible, par le système de traitement numérique du système immersif cible, au moins pour une partie des transformations fonction de l'au moins un point d'observation effectif dans le système d'affichage du système immersif cible considéré,said display data from the source immersive system transmitted are transformed by display data processing software to construct display data corresponding to images displayed on the screen or screens of the display system of the or each of the target immersive systems, each image point of a transformed image displayed on a screen of the display system of the target immersive system corresponding to the projection of an image point of a screen of the display system of the source immersive system, the projection being performed as a function of at least one effective observation point in the display system of the source immersive system, and as a function of at least one effective observation point in the display system of the target immersive system, observation points considered, to calculate the projection, as the same observation point of the virtual environment whose visual representation is displayed on the system source immersive, the display data of the source immersive system being transformed, to be displayed by the target immersive system, by the digital processing system of the target immersive system, at least for part of the transformations as a function of the at least one point effective observation in the display system of the target immersive system considered,
- le système d’affichage et le système de traitement du système immersif cible et ou du système immersif source sont associés à des moyens d’interaction configurés pour modifier, via le système d’affichage et ou le système de traitement du système immersif considéré, le contenu et ou le comportement des images affichées par le système d’affichage du système immersif considéré.the display system and the processing system of the target immersive system and or of the source immersive system are associated with interaction means configured to modify, via the display system and or the processing system of the immersive system considered, the content and or the behavior of the images displayed by the display system of the immersive system considered.
Il est ainsi obtenu un dispositif pour transmettre une représentation d'un environnement virtuel, générée pour un système immersif source, à un ou plusieurs systèmes immersifs cibles différents de sorte qu'un observateur sur un système immersif cible partage la perception de l’environnement virtuel qu'en a un utilisateur du système immersif source générant la représentation de l'environnement virtuel, chacun des utilisateur du système source et observateur du système cible disposant cependant de moyens d’intervention pour agir sur le comportement des affichages sans en détruire la cohérence. Cette transmission est réalisée sans duplication nécessaire des moyens matériels et ou logiciels du système immersif source. Le ou les systèmes cibles peuvent être très différents entre eux et différents du système immersif source, tant par leurs structures que par leurs performances, et il n'est pas nécessaire que chacun des systèmes immersifs cibles dispose des données de la base de données mise en œuvre pour construire l'environnement virtuel sur le système immersif source.A device is thus obtained for transmitting a representation of a virtual environment, generated for a source immersive system, to one or more different target immersive systems so that an observer on a target immersive system shares the perception of the virtual environment that there is a user of the source immersive system generating the representation of the virtual environment, each user of the source system and observer of the target system, however, having means of intervention to act on the behavior of the displays without destroying its consistency. This transmission is carried out without necessary duplication of the hardware and or software means of the source immersive system. The target system (s) may be very different from each other and different from the source immersive system, both in structure and in performance, and it is not necessary for each of the target immersive systems to have data from the database set up. works to build the virtual environment on the source immersive system.
Le partage peut être effectué en temps réel, la transmission des données étant alors réalisée en continu, ou en temps différé.Sharing can be done in real time, data transmission being performed continuously, or in deferred time.
En outre, en réalisant par le système immersif cible la transformation des données d'affichage pour la partie fonction du point d'observation effectif, position d'observation et le cas échéant direction d'observation, dans le système d'affichage dudit système immersif cible, il est minimisé l'impact du temps de latence entre l'affichage dans le système cible des images transformées et la prise en compte pour la transformation des données d'affichage du point d'observation effectif dans le système d'affichage du système cible.Furthermore, by carrying out by the target immersive system the transformation of the display data for the function part of the effective observation point, observation position and if necessary observation direction, in the display system of said immersive system. target, it is minimized the impact of the latency time between the display in the target system of the transformed images and the taking into account for the transformation of display data of the effective observation point in the display system of the system target.
Dans une forme de réalisation, la transformation des données d'affichage comporte une reconstitution d'une représentation virtuelle 3D du système d'affichage source de l'environnement physique du système d'affichage source, une position d’observation de l’observateur étant forcée, pour la transformation des données d'affichage, à une même position dans ladite représentation virtuelle 3D du système d'affichage source que la position d’observation de l’utilisateur dans le système d’affichage source.In one embodiment, the transformation of the display data comprises a reconstruction of a 3D virtual representation of the source display system of the physical environment of the source display system, an observation position of the observer being forced, for the transformation of display data, to a same position in said virtual 3D representation of the source display system as the observation position of the user in the source display system.
Dans une forme de réalisation, le système immersif source comporte un système de mesure en temps réel d'une position d'observation, dans le système d'affichage du système immersif source, d'un utilisateur immergé dans l'environnement virtuel représenté sur ledit système immersif source, et l'au moins un système immersif cible comporte un système de mesure en temps réel de la position d'observation, dans le système d'affichage du système immersif cible considéré, d'un observateur immergé dans l'environnement virtuel représenté sur ledit système immersif cible.In one embodiment, the source immersive system comprises a system for real-time measurement of a position of observation, in the display system of the source immersive system, of a user immersed in the virtual environment represented on said source immersive system, and the at least one target immersive system comprises a system for real-time measurement of the observation position, in the display system of the target immersive system considered, of an observer immersed in the virtual environment depicted on said target immersive system.
Il est ainsi connu une position effective depuis laquelle les données d'affichage des images affichées dans le système d'affichage du système immersif source ont été générées pour être vues par l'utilisateur et une position effective depuis laquelle les données d'affichage des images affichées dans le système d'affichage du système immersif cible doivent être générées pour être vues par l'observateur et être représentatives de l'environnement virtuel vu par l'utilisateur du système immersif source.It is thus known an effective position from which the display data of the images displayed in the display system of the source immersive system have been generated to be viewed by the user and an effective position from which the display data of the images displayed in the display system of the target immersive system must be generated to be seen by the observer and be representative of the virtual environment seen by the user of the source immersive system.
Dans une forme de réalisation, le système immersif source comporte un système de mesure en temps réel de la direction d'observation, dans le système d'affichage du système immersif source, d'un utilisateur immergé dans l'environnement virtuel représenté sur ledit système immersif source, et au moins un système immersif cible comporte un système de mesure en temps réel de la direction d'observation, dans le système d'affichage du système immersif cible considéré, d'un observateur immergé dans l'environnement virtuel représenté sur ledit système immersif cible.In one embodiment, the source immersive system includes a system for real-time measurement of the direction of observation, in the display system of the source immersive system, of a user immersed in the virtual environment represented on said system. source immersive, and at least one target immersive system comprises a system for real-time measurement of the direction of observation, in the display system of the target immersive system considered, of an observer immersed in the virtual environment represented on said target immersive system.
Il est ainsi connu une direction effective dans laquelle les données d'affichage des images affichées dans le système d'affichage du système immersif source ont été générées pour être vues par l'utilisateur, et une direction effective dans laquelle les données d'affichage des images affichées dans le système d'affichage du système immersif cible doivent être générées pour être vues par l'observateur et être représentatives de l'environnement virtuel vu par l'utilisateur du système immersif source.There is thus known an effective direction in which the display data of the images displayed in the display system of the source immersive system have been generated to be viewed by the user, and an effective direction in which the display data of the images displayed in the display system of the target immersive system must be generated to be seen by the observer and be representative of the virtual environment seen by the user of the source immersive system.
Un logiciel de traitement partiel des données d'affichage peut être exécuté sur les moyens de traitement numérique du système immersif source, ou sur un calculateur annexe connecté à un réseau par lequel des données sont transmises entre les systèmes immersifs source et cibles, ledit logiciel transformant les données d'affichage générées par le système immersif source, correspondant aux images affichées sur les écrans du système d'affichage dudit système immersif source, en données d'affichage correspondant à des images adimensionnelles indépendantes d'une structure d'un système de visualisation devant afficher les images, lesdites données d'affichage correspondant aux images adimensionnelles étant transmises à l'au moins un système immersif cible.A software for partial processing of display data can be executed on the digital processing means of the source immersive system, or on an annex computer connected to a network by which data is transmitted between the source and target immersive systems, said software transforming display data generated by the source immersive system, corresponding to the images displayed on the screens of the display system of said source immersive system, in display data corresponding to dimensionless images independent of a structure of a display system to display the images, said display data corresponding to the dimensionless images being transmitted to the at least one target immersive system.
Dans cette configuration, les calculs de transformation des données d'affichage qui ne dépendent pas du système immersif cible sont réalisés sur le système immersif source ou un calculateur annexe indépendant. Une telle solution permet dans un dispositif comportant plusieurs systèmes immersifs cibles de transmettre aux différents systèmes immersifs cibles des données d'affichage dans une forme neutre adimensionnelle dont seul le traitement ultérieur, spécifique au système immersif cible, est réalisé par chacun des systèmes immersifs cibles.In this configuration, the transformation calculations of the display data which do not depend on the target immersive system are carried out on the source immersive system or an independent auxiliary computer. Such a solution makes it possible in a device comprising several target immersive systems to transmit to the various target immersive systems display data in a dimensionless neutral form of which only the subsequent processing, specific to the target immersive system, is carried out by each of the target immersive systems.
Dans une forme de réalisation, les images adimensionnelles correspondent à des images projetées sur une paroi intérieure d'une sphère, au centre de laquelle sphère est placé le point d'observation du système immersif source, pour former des images adimensionnelles dans un angle solide jusqu'à quatre Pi sté radian s.In one embodiment, the dimensionless images correspond to images projected onto an interior wall of a sphere, at the center of which sphere is placed the observation point of the source immersive system, to form dimensionless images in a solid angle up to with four Pi sté radian s.
Il est ainsi possible de donner à un observateur d'un système cible de choisir une direction d'observation dans n'importe quelle direction de l'espace sans être limité par le champ visuel de l'opérateur du système source.It is thus possible to give an observer of a target system to choose a direction of observation in any direction of space without being limited by the visual field of the operator of the source system.
Pour assister l’observateur d’un système immersif cible dans le choix d’une direction d’observation dans un environnement virtuel dont il ne maîtrise pas toutes les conditions de la représentation, des représentations symboliques sont avantageusement superposées à la représentation visuelle de l’environnement virtuel représenté sur le système immersif cible pour apporter à l’observateur une aide à l’orientation et au choix d’une direction d’observation.To assist the observer of a target immersive system in the choice of a direction of observation in a virtual environment of which he does not master all the conditions of the representation, symbolic representations are advantageously superimposed on the visual representation of the virtual environment represented on the target immersive system to provide the observer with assistance in orienting and choosing an observation direction.
Ces représentations symboliques comportent par exemple la matérialisation graphique d’une sphère ou encore d’une grille associée à la représentation de surfaces horizontales, par exemple un sol, et ou verticales, par exemple un mur.These symbolic representations include, for example, the graphic materialization of a sphere or of a grid associated with the representation of horizontal surfaces, for example a floor, and or vertical, for example a wall.
De tels représentations symboliques, qui peuvent n’être matérialisées que temporairement, par exemple par une commande de l’observateur, ou dans certaines conditions, par exemple une évolution rapide des conditions d’observation du système source, apporte une assistance à l’observateur pour faciliter son choix de direction d’observation et pour retrouver sa position dans la scène virtuelle.Such symbolic representations, which may only be materialized temporarily, for example by an order from the observer, or under certain conditions, for example a rapid evolution of the observation conditions of the source system, provides assistance to the observer to facilitate its choice of direction of observation and to find its position in the virtual scene.
Le logiciel de traitement des données d'affichage pour construire des images affichées sur le ou les écrans du système d'affichage de l'au moins un système immersif cible peut également être exécuté sur les moyens de calculs dudit système immersif cible.The display data processing software for constructing images displayed on the screen or screens of the display system of the at least one target immersive system can also be executed on the calculation means of said target immersive system.
Il est dans ce cas transmis par le système immersif source les mêmes données à tous les systèmes immersifs cibles et les traitements numériques de la transformation des données d'affichage sont réalisés par chaque système immersif cible en fonction de la configuration qui lui est propre et de variables locales telles que les position et directions d'observation de l'observateur dans le système d'affichage du système immersif cible.It is in this case transmitted by the source immersive system the same data to all the target immersive systems and the digital processing of the transformation of the display data is carried out by each target immersive system according to its own configuration and local variables such as the observer's position and directions of observation in the display system of the target immersive system.
Dans une forme de réalisation, le dispositif comporte une pluralité de systèmes immersifs cibles connectés simultanément au système immersif source. II est ainsi possible avec les bénéfices de l'invention de permettre à de nombreux observateurs, pouvant être distants et dispersés, de suivre l'immersion vécue par un utilisateur d'un système source.In one embodiment, the device includes a plurality of target immersive systems connected simultaneously to the source immersive system. It is thus possible, with the benefits of the invention, to allow numerous observers, who may be distant and dispersed, to follow the immersion experienced by a user of a source system.
II est compris qu’un système immersif cible peut être situé à une distance quelconque du système immersif source, les problèmes de synchronisation de la représentation visuelle affichée dans le système immersif cible avec les conditions d’observation de l’observateur trouvant précisément une solution dans l’invention.It is understood that a target immersive system can be located at any distance from the source immersive system, the problems of synchronization of the visual representation displayed in the target immersive system with the observation conditions of the observer finding precisely a solution in the invention.
Ainsi, dans une forme de réalisation du dispositif, au moins un système immersif cible est situé dans un emplacement distant du système immersif source, c’est-à-dire, dans le contexte de l’invention, que la séparation physique des deux systèmes est telle que l’utilisateur du système source et l’observateur du système cible ne sont pas en mesure de communiquer directement, pour le moins sans faire usage de moyens techniques de communication.Thus, in one embodiment of the device, at least one target immersive system is located in a location remote from the source immersive system, that is to say, in the context of the invention, that the physical separation of the two systems is such that the user of the source system and the observer of the target system are not able to communicate directly, at least without making use of technical means of communication.
Dans une forme de réalisation au moins un système immersif cible est situé à proximité du système immersif source. Ainsi considéré dans le contexte de l’invention, l’utilisateur du système source et l’observateur du système cible peuvent communiquer directement sans barrière physique en particulier dans le cadre d’un travail collaboratif.In one embodiment at least one target immersive system is located near the source immersive system. Thus considered in the context of the invention, the user of the source system and the observer of the target system can communicate directly without physical barrier, in particular in the context of collaborative work.
Une telle configuration n’est pas simplement hypothétique dans la mesure où elle permet, y compris dans un même lieu de simuler, avec des moyens matériels simples, pour un ou des observateurs l’immersion, dans l’environnement virtuel de l’utilisateur du système source, d’une part sans perturber ledit utilisateur et d’autre part dans des conditions optimales puisqu’il est impossible pour un utilisateur de se placer dans le système d’affichage source avec les même conditions d’observation que celles de l’utilisateur. Ce résultat serait avec le seul système d’affichage du système source impossible à atteindre puisque l’observateur devrait se placer à la place de l’utilisateur ce qui est naturellement exclu en pratique.Such a configuration is not simply hypothetical insofar as it allows, including in the same place to simulate, with simple material means, for one or more observers the immersion, in the virtual environment of the user of the source system, on the one hand without disturbing said user and on the other hand under optimal conditions since it is impossible for a user to place himself in the source display system with the same observation conditions as those of the user. This result would be with the only display system of the source system impossible to reach since the observer would have to place himself in the place of the user which is naturally excluded in practice.
Dans une forme de réalisation, un équipement du système immersif source qui capture le signal, numérique ou analogique, porteur des données d'affichage, envoyé par le système de traitement numérique du système immersif source au système d'affichage dudit système immersif source, convertit, si besoin, le signal prélevé en données numériques correspondant aux données d'affichage et transmet sous forme de données numériques lesdites données d'affichage correspondant au signal capturé, directement ou indirectement, aux systèmes immersifs cibles.In one embodiment, equipment of the source immersive system which captures the signal, digital or analog, carrying display data, sent by the digital processing system of the source immersive system to the display system of said source immersive system, converts , if necessary, the signal taken as digital data corresponding to the display data and transmits in the form of digital data said display data corresponding to the signal captured, directly or indirectly, to the target immersive systems.
Il est ainsi évité toute intervention ou modification, matérielle ou logicielle, autre que le raccordement dudit équipement de capture, du système immersif source, de telles interventions ou modifications, lorsqu'elles sont possibles, étant le plus souvent contraignantes.It is thus avoided any intervention or modification, hardware or software, other than the connection of said capture equipment, of the source immersive system, such interventions or modifications, when they are possible, being most often binding.
Dans une forme de réalisation, le système immersif source comporte un logiciel, exécuté sur le système de traitement numérique du système immersif source, qui capture les contenus des données d'affichage correspondant aux images affichées sur chacun des éléments du système d’affichage du système immersif source après que les données d'affichage ont été calculées et, dans la chaîne de transmission des données d'affichage, avant que lesdites données d'affichage ne soient envoyées au système d’affichage du système immersif source, ledit logiciel de capture transmettant sous forme numérique lesdits contenus.In one embodiment, the source immersive system includes software, executed on the digital processing system of the source immersive system, which captures the contents of the display data corresponding to the images displayed on each of the elements of the display system of the system. source immersive after the display data has been calculated and, in the display data transmission chain, before said display data is sent to the display system of the source immersive system, said capture software transmitting in digital form, said content.
Dans ces formes de réalisation de tels contenus correspondent avantageusement à un ensemble de données suffisant pour reconstituer les images affichées sur le système immersif source. Lesdites données sont par exemple les données numériques envoyées au système d'affichage du système source, le cas échéant avant une conversion analogique, ou des données soumises à des algorithmes de compression spatiale et ou temporelle pour en diminuer la taille, ou des ensembles d'attributs de chaque image : contours, textures, couleurs...In these embodiments of such content advantageously correspond to a set of data sufficient to reconstruct the images displayed on the source immersive system. Said data are for example digital data sent to the display system of the source system, if necessary before an analog conversion, or data subjected to spatial and or temporal compression algorithms to reduce its size, or sets of attributes of each image: contours, textures, colors ...
Dans une forme de réalisation les contenus sont des images, dans une autre forme des flux vidéo, dans encore une autre forme des images stéréo, dans un autre exemple de forme un flux vidéo stéréo.In one embodiment the contents are images, in another form of video streams, in yet another form of stereo images, in another example of form a stereo video stream.
Avantageusement, en particulier lorsqu'il est recherché une synchronisation des affichages, des systèmes immersifs source et cibles, une forme des contenus est déterminée en fonction des moyens de calcul du système immersif source et ou du ou des systèmes immersifs cibles, et ou aux moyens de transmission de données, pour limiter autant que possible les retards entre l'affichage des images sur le système immersif cible par rapport au système immersif source en prenant en considération toute la chaîne de transmission des données et de leurs traitements par les deux systèmes immersifs.Advantageously, in particular when a synchronization of the displays, of the source and target immersive systems is sought, a form of the content is determined according to the means of calculation of the source immersive system and or of the target immersive system or systems, and or to the means of data transmission, to limit as much as possible the delays between the display of images on the target immersive system compared to the source immersive system by taking into consideration the whole chain of data transmission and their processing by the two immersive systems.
Dans une forme de réalisation, le dispositif comporte un système d'enregistrement des données configuré pour enregistrer les données transmises à l'au moins un système immersif cible et pour transmettre lesdites données en temps différé.In one embodiment, the device includes a data recording system configured to record the data transmitted to the at least one target immersive system and to transmit said data in deferred time.
II est ainsi possible de rejouer à tout moment, et sans limite de nombre de fois, une immersion enregistrée sur un système immersif source sur un système immersif cible quelconque, qui peut être le même système immersif que le système immersif source. Cette possibilité tient au fait que les données d'affichage sont transformées par le système immersif cible en fonction des conditions d'observation qui sont toujours différentes en pratique lors de chaque mise en œuvre du système immersif cible.It is thus possible to replay at any time, and without limit of number of times, an immersion recorded on a source immersive system on any target immersive system, which can be the same immersive system as the source immersive system. This possibility is due to the fact that the display data are transformed by the target immersive system as a function of the observation conditions which are always different in practice during each implementation of the target immersive system.
Dans une forme de réalisation, le système immersif source comporte également un logiciel de traitement d'image et un système immersif cible comporte également un logiciel de calcul d'images de synthèse et de construction d'une représentation visuelle d'un environnement virtuel sous la forme d'images affichées sur un ou des écrans du système d'affichage dudit système immersif cible et comporte également un équipement ou un logiciel de capture des données d'affichage correspondant aux images affichées sur le système de visualisation dudit système immersif cible, de sorte que chacun desdits systèmes immersifs cible et source peut être alternativement un système source et un système cible. Le dispositif s'avère dans cette forme de réalisation particulièrement adapté à un travail collaboratif entre un utilisateur et un observateur susceptibles d'inverser leurs rôles.In one embodiment, the source immersive system also includes image processing software and a target immersive system also includes software for calculating computer generated images and for constructing a visual representation of a virtual environment under the form of images displayed on one or more screens of the display system of said target immersive system and also comprises equipment or software for capturing display data corresponding to the images displayed on the display system of said target immersive system, so that each of said target and source immersive systems may alternately be a source system and a target system. In this embodiment, the device turns out to be particularly suitable for collaborative work between a user and an observer likely to reverse their roles.
Dans cette configuration les deux systèmes immersifs cible et source pouvant inverser leurs conditions peuvent être différents tant dans leurs configurations matérielles que logicielles, le dispositif suivant l'invention permettant de s'affranchir sur ces points des contraintes de compatibilité habituellement rencontrées dans les systèmes connus. Cette configuration est également compatible avec la connexion simultanée d'autres systèmes immersifs cibles.In this configuration, the two target and source immersive systems which can invert their conditions can be different both in their hardware and software configurations, the device according to the invention making it possible to overcome these compatibility constraints usually encountered in known systems. This configuration is also compatible with the simultaneous connection of other target immersive systems.
Dans un tel dispositif le système d'affichage du système immersif source et le système d'affichage d'un système immersif cible appartiennent à l'une des catégories parmi : les systèmes d'affichage multi-faces, les casques de visualisation, les systèmes d'affichage multi-écrans, les écrans traditionnels, les écrans portés par un utilisateur ou un observateur.In such a device, the display system of the source immersive system and the display system of a target immersive system belong to one of the categories from: multi-sided display systems, visualization headsets, systems multi-screen displays, traditional screens, screens worn by a user or an observer.
Ces catégories, indépendamment des dimensions et de la forme des écrans, qui peuvent être plats ou courbes, peuvent cohabiter dans le dispositif de l'invention, seuls les calculs de transformation des données d'affichage étant modifiés pour s'adapter aux caractéristiques spécifiques des écrans et des systèmes d'affichage.These categories, independently of the dimensions and the shape of the screens, which may be flat or curved, can coexist in the device of the invention, only the calculations for transforming the display data being modified to adapt to the specific characteristics of the screens and display systems.
Dans une forme de réalisation, les moyens d’interactions comportent une commande de gel pour sélectivement activer, et désactiver, le gel de toute ou partie des données d’affichage et ou des données des conditions d’observation utilisées pour calculer les images devant être affichées par le système d’affichage du système immersif source et ou du système immersif cible.In one embodiment, the interaction means comprise a freeze command to selectively activate, and deactivate, the freezing of all or part of the display data and or data of the observation conditions used to calculate the images to be displayed by the display system of the source immersive system and or the target immersive system.
Il est ainsi possible pour l’observateur du système cible, qui ne dispose pas des moyens d’agir sur le fonctionnement du système source, de figer, au moins momentanément, certaines données de la représentation de l’environnement virtuel du système source afin par exemple d’en parfaire une analyse.It is thus possible for the observer of the target system, who does not have the means to act on the operation of the source system, to freeze, at least temporarily, certain data of the representation of the virtual environment of the source system so as to example of perfecting an analysis.
Par exemple, les moyens d’interactions comportent une commande de gel pour sélectivement activer, et désactiver, le gel des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique du système immersif source et destinées à être transformées et/ou le gel des conditions d'observations des écrans dans le système d'affichage du système immersif source.For example, the interaction means include a freeze command to selectively activate and deactivate the freezing of the display data of the virtual environment, generated by the digital processing system of the source immersive system and intended to be transformed and / or the freezing of the conditions for viewing screens in the display system of the source immersive system.
Dans une forme de réalisation, les moyens d’interactions du système immersif cible comportent une commande de gel d’un sous-ensemble des conditions d'observations des écrans dans le système d'affichage du système immersif source et ou du système immersif cible.In one embodiment, the means of interaction of the target immersive system comprise a command to freeze a subset of the conditions for observing the screens in the display system of the source immersive system and or of the target immersive system.
Le cas échéant, le sous-ensemble des conditions d'observations correspond aux informations de position des données d’observation des écrans du système immersif source et ou aux informations d’orientation des données d’observation des écrans du système immersif source.Where applicable, the subset of the observation conditions corresponds to the position information of the observation data of the screens of the source immersive system and or to the orientation information of the observation data of the screens of the source immersive system.
Dans une forme de réalisation, les moyens d’interaction de l’au moins un système immersif cible sont en outre configurés pour pointer et ou annoter les images affichées par le système d’affichage dudit système immersif cible sous la forme d’incrustations dans lesdites images pointées ou annotées.In one embodiment, the interaction means of the at least one target immersive system are further configured to point and or annotate the images displayed by the display system of said target immersive system in the form of incrustations in said ones. pointed or annotated images.
Dans une forme de réalisation, des données caractérisant les pointages ou annotations formées sur des images de l’au moins un système immersif cible sont transmises via les moyens de transmission à au moins un autre système immersif connecté. II est ainsi possible au système, le système source ou un autre système cible, recevant ces données de traiter ces données pour les afficher sur les images les représentations correspondantes.In one embodiment, data characterizing the scores or annotations formed on images of the at least one target immersive system are transmitted via the transmission means to at least one other connected immersive system. It is thus possible for the system, the source system or another target system, receiving this data, to process this data in order to display it on the images the corresponding representations.
Le système d'affichage du système immersif source, et le système d'affichage de l'au moins un système immersif cible, appartiennent chacun à l'une des catégories parmi : les systèmes d'affichage multi-faces, les casques de visualisation, les systèmes d'affichage multi-écrans, les écrans, les écrans portés par un utilisateur ou un observateur. II est de la sorte possible d’adapter la configuration du dispositif à de nombreux types de besoins, en particulier en fonction de critère de coûts, de rapidité de déploiement et de réalisme des représentations graphiques.The display system of the source immersive system, and the display system of the at least one target immersive system, each belong to one of the categories from: multi-sided display systems, visualization headsets, multi-screen display systems, screens, screens worn by a user or an observer. It is thus possible to adapt the configuration of the device to many types of needs, in particular as a function of cost criteria, speed of deployment and realism of the graphic representations.
Dans une forme de réalisation, le système d’affichage du système immersif source appartient à la catégorie des systèmes d'affichage multi-faces déterminant un volume dans lequel peut se tenir l’utilisateur, système CAVE, et dans lequel le système d'affichage de l'au moins un système immersif cible appartient à la catégorie des systèmes d’affichage multi-écrans ou simple écran.In one embodiment, the display system of the source immersive system belongs to the category of multi-sided display systems determining a volume in which the user can stand, CAVE system, and in which the display system of the at least one target immersive system belongs to the category of multi-screen or single screen display systems.
Les moyens d’interaction comportent par exemple une ou des surfaces sensibles au toucher ou à la présence d’une main ou d’un doigt, et ou un ou des pointeurs.The interaction means comprise, for example, one or more surfaces sensitive to touch or to the presence of a hand or a finger, and or one or more pointers.
Dans une forme de réalisation, des éléments graphiques sont intégrés lors de la transformation des données d’affichage d’un système immersif source par le système de traitement numérique du système immersif cible considéré.In one embodiment, graphic elements are integrated during the transformation of the display data of a source immersive system by the digital processing system of the target immersive system considered.
Dans une forme de réalisation, l’au moins un système immersif cible est situé dans un emplacement distant du système immersif source, la séparation physique des deux systèmes étant telle que l’utilisateur dudit système immersif source et l’observateur dudit système immersif cible ne sont pas en mesure de communiquer sans faire usage de moyens techniques de communication. II est dans cette configuration repoussé les limites spatiales qui permettent un partage d’une immersion.In one embodiment, the at least one target immersive system is located in a location remote from the source immersive system, the physical separation of the two systems being such that the user of said source immersive system and the observer of said target immersive system do not are unable to communicate without using technical means of communication. In this configuration, it is pushed back the spatial limits which allow sharing of an immersion.
Dans une forme de réalisation, l’au moins un système immersif cible est situé à une proximité du système immersif source, tel que l’utilisateur dudit système immersif source et l’observateur dudit système immersif cible peuvent communiquer directement sans barrière physique. II est dans cette configuration obtenu de partager une immersion sans souffrir des artefacts inévitables lorsqu’un observateur se tient à proximité de l’utilisateur dans l’espoir d’en ressentir les effets.In one embodiment, the at least one target immersive system is located in proximity to the source immersive system, such that the user of said source immersive system and the observer of said target immersive system can communicate directly without a physical barrier. In this configuration, it is obtained from sharing an immersion without suffering from the inevitable artefacts when an observer stands near the user in the hope of feeling the effects.
L'invention concerne également un procédé de partage d'immersion dans un environnement virtuel, mettant en œuvre le dispositif décrit précédemment, entre un opérateur du système immersif source et un observateur de l’au moins un système immersif cible, comportant une étape de génération d'environnement par le système immersif source, ladite étape produisant des données d'affichage correspondant à l'ensemble des informations relatives aux images affichées, ou devant être affichées, sur le système d'affichage du système source, et une étape d'affichage par le système immersif cible d'images transformées.The invention also relates to a method of sharing immersion in a virtual environment, implementing the device described above, between an operator of the source immersive system and an observer of the at least one target immersive system, comprising a generation step. environment by the source immersive system, said step producing display data corresponding to all of the information relating to the images displayed, or to be displayed, on the display system of the source system, and a display step by the target immersive system of transformed images.
Suivant l'invention, le procédé comporte une étape de :According to the invention, the method comprises a step of:
- transformation, au moins pour partie sur le système immersif cible, des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique du système immersif source et dont les images sont affichées sur les écrans du système d'affichage dudit système immersif source pour être vues par l'utilisateur dudit système immersif source,- transformation, at least in part on the target immersive system, of data for displaying the virtual environment, generated by the digital processing system of the source immersive system and the images of which are displayed on the screens of the display system of said system source immersive system to be viewed by the user of said source immersive system,
- en données d'affichage dudit environnement virtuel adaptées à l'affichage sur un ou des écrans du système d'affichage dudit système immersif cible, et dont les images sont affichées pour être vues par l'observateur dudit système immersif cible,in display data of said virtual environment suitable for display on one or more screens of the display system of said target immersive system, and the images of which are displayed for viewing by the observer of said target immersive system,
- la transformation consistant en des modifications des données d'affichage, générées par le système immersif source, en fonction de paramètres déterminés par des caractéristiques géométriques associées à l'écran ou aux écrans du système d'affichage du système immersif source, en fonction de paramètres déterminés par des caractéristiques géométriques associées à l'écran ou aux écrans du système d'affichage du système immersif cible, et en fonction de variables de conditions d'observations des écrans dans chacun des systèmes d'affichage desdits systèmes immersifs source et cible,the transformation consisting of modifications of the display data, generated by the source immersive system, as a function of parameters determined by geometric characteristics associated with the screen or screens of the display system of the source immersive system, as a function of parameters determined by geometric characteristics associated with the screen or screens of the display system of the target immersive system, and as a function of variables of observation conditions of the screens in each of the display systems of said source and target immersive systems,
- ladite transformation étant réalisée de manière récurrente pour reproduire sur le système immersif cible, afin de restituer à un observateur dans ledit système cible l'immersion d'un utilisateur dans le système immersif source, prenant en compte les évolutions de la représentation du monde virtuel sur le système immersif source et des évolutions des variables des conditions d’observation,said transformation being carried out repeatedly to reproduce on the target immersive system, in order to restore to an observer in said target system the immersion of a user in the source immersive system, taking into account the changes in the representation of the virtual world on the source immersive system and changes in the variables of the observation conditions,
- ladite transformation étant en outre modifiée lors d’une étape de gel de données d’affichage de l’environnement virtuel généré par le système de traitement numérique du système immersif source et destinées à être transformées, et ou par le gel de données des conditions d’observation des écrans dans le système d’affichage du système immersif source.said transformation being further modified during a step of freezing data for displaying the virtual environment generated by the digital processing system of the source immersive system and intended to be transformed, and or by freezing data of the conditions observation of screens in the display system of the source immersive system.
Il est ainsi réalisé la transformation des données d'affichage générées par le système immersif source, données d'affichage correspondant à des images adaptées au système d'affichage dudit système immersif source et aux conditions d'observation par l'utilisateur dudit système immersif source, en données d'affichage correspondant à des images adaptées au système d'affichage du système immersif cible et aux conditions d'observation d'un observateur dudit système immersif cible pour présenter audit observateur l'environnement immersif vécu par l'utilisateur et en disposant de moyens de geler, au moins en partie, la représentation sur le système cible.The display data generated by the source immersive system is thus transformed, display data corresponding to images adapted to the display system of said source immersive system and to the conditions of observation by the user of said source immersive system. , in display data corresponding to images adapted to the display system of the target immersive system and to the observation conditions of an observer of said target immersive system in order to present to said observer the immersive environment experienced by the user and having means of freezing, at least in part, the representation on the target system.
Dans une forme de mise en œuvre, la transformation des données d'affichage comporte une reconstitution d'une représentation virtuelle 3D du système d'affichage source, une position d’observation de l’observateur étant forcée, pour la transformation des données d'affichage, à une même position dans ladite représentation virtuelle 3D du système d'affichage source que la position d’observation de l’utilisateur dans le système d’affichage source.In one form of implementation, the transformation of the display data comprises a reconstruction of a 3D virtual representation of the source display system, an observation position of the observer being forced, for the transformation of the data of display, at the same position in said 3D virtual representation of the source display system as the user's observation position in the source display system.
Suivant cette forme, il est créé un système d'affichage source virtuel dont la position par rapport à l'observateur est calquée sur la position de l'utilisateur dans le système d'affichage source réel.In this form, a virtual source display system is created whose position relative to the observer is modeled on the position of the user in the real source display system.
II est reconstruit virtuellement sur le système immersif cible le système d'affichage du système immersif source, reconstruction virtuelle qui est affichée sur le système d'affichage du système immersif cible de manière à ce que les conditions d’observation de l’observateur de ladite reconstruction virtuelle du système source dans le système immersif cible correspondent au moins en partie aux conditions d’observation de l’utilisateur du système immersif source dans le système immersif source.It is virtually reconstructed on the target immersive system the display system of the source immersive system, a virtual reconstruction which is displayed on the display system of the target immersive system so that the observation conditions of the observer of said target virtual reconstruction of the source system in the target immersive system correspond at least in part to the observation conditions of the user of the source immersive system in the source immersive system.
Cette transformation permet de s'affranchir d'une duplication des données de l'environnement virtuel et peut être appliquée pour toute forme de système immersif cible et pour tout logiciel exécuté sur le système immersif source.This transformation eliminates duplication of data from the virtual environment and can be applied for any form of target immersive system and for any software running on the source immersive system.
Dans un mode de mise en œuvre, l'étape de transformation des données d'affichage est réalisée totalement sur le système immersif cible après une étape de transmission des conditions d'observation et des données d'affichage de l'environnement virtuel, générées par le système de traitement numérique du système immersif source.In one embodiment, the step of transforming the display data is carried out completely on the target immersive system after a step of transmitting the observation conditions and the display data of the virtual environment, generated by the digital processing system of the source immersive system.
Dans un autre mode de mise en œuvre, l'étape de transformation des données d'affichage est réalisée pour partie sur le système immersif source, ou sur un calculateur annexe connecté à un réseau des moyens de transmission de données, avant une étape de transmission des conditions d'observation et des données d'affichage transformées partiellement de l'environnement virtuel au système immersif cible, et le système immersif cible transforme les données d'affichage partiellement transformées en fonction de données d'exploitation du système immersif cible pour former les images affichées sur le système d'affichage cible.In another implementation mode, the step of transforming the display data is carried out partly on the source immersive system, or on an annex computer connected to a network of data transmission means, before a transmission step. observation conditions and partially transformed display data from the virtual environment to the target immersive system, and the target immersive system transforms the partially transformed display data according to operating data from the target immersive system to form the images displayed on the target display system.
Dans un autre mode de mise en œuvre, l'étape de transformation des données d'affichage est réalisée pour partie sur le système immersif source, ou sur un calculateur annexe connecté à un réseau des moyens de transmission de données, avant une étape de transmission des données d'affichage partiellement transformées de l'environnement virtuel au système immersif cible, lequel système immersif cible transforme les données d'affichage partiellement transformées en fonction de données d'exploitation dudit système immersif cible.In another implementation mode, the step of transforming the display data is carried out partly on the source immersive system, or on an annex computer connected to a network of data transmission means, before a transmission step. partially transformed display data from the virtual environment to the target immersive system, which target immersive system transforms the partially transformed display data according to operating data of said target immersive system.
Avantageusement dans ce cas, les données d'affichage transformées partiellement par le système immersif source, ou le calculateur annexe, sont indépendantes des caractéristiques et des données d'exploitation d'un système cible.Advantageously in this case, the display data partially transformed by the source immersive system, or the annex computer, are independent of the characteristics and operating data of a target system.
Dans un mode de mise en œuvre, la reconstitution d'une représentation virtuelle 3D du système d'affichage source de l'environnement physique du système d'affichage source est réalisée par le système immersif source ou le calculateur annexe connecté au réseau.In one embodiment, the reconstruction of a 3D virtual representation of the source display system of the physical environment of the source display system is carried out by the source immersive system or the annex computer connected to the network.
Dans un mode de mise en œuvre, les données d'affichage transformées partiellement par le système immersif source, ou le calculateur annexe, sont transformées en données d'affichage pour un affichage sur l'au moins un système immersif cible en considération des caractéristiques dudit système cible et de données d'exploitation dudit système immersif cible, et dans lequel les données d'affichage sont transformées par le système immersif cible pour corriger des différences entre les données d'exploitation dudit système immersif cible, utilisées pour les transformations réalisées par le système immersif source, et les données d'exploitation dudit système immersif cible lorsque lesdites données d'affichages sont converties en images affichées par ledit système immersif cible.In one embodiment, the display data partially transformed by the source immersive system, or the auxiliary computer, are transformed into display data for display on the at least one target immersive system in consideration of the characteristics of said system. target system and operating data of said target immersive system, and wherein the display data is transformed by the target immersive system to correct differences between the operating data of said target immersive system, used for the transformations carried out by the target system. source immersive system, and operating data of said target immersive system when said display data is converted into images displayed by said target immersive system.
Il est ainsi limité les calculs à réaliser sur le système immersif cible à des corrections des conditions d'observation de sorte qu'il est possible de limiter la puissance de calculs du système immersif cible, et donc de mettre en œuvre des systèmes réduits, et de limiter les temps de latence introduits par les traitements numériques sur le système immersif cible.It is thus limited the calculations to be performed on the target immersive system to corrections of the observation conditions so that it is possible to limit the computing power of the target immersive system, and therefore to implement reduced systems, and to limit the latency times introduced by digital processing on the target immersive system.
II est ainsi obtenu la possibilité de maintenir pour l'utilisateur du système source une perception de l'environnement virtuel généré par le système immersif source, tout en conservant dans le système immersif cible une vision correcte et stable dudit environnement virtuel placé dans cette condition de gel malgré des variations des conditions d'observation dans ledit système immersif source. Les données d'affichage dans le système immersif cible sont ainsi interprétées comme si l’environnement virtuel était totalement statique et que l’utilisateur du système source ne se déplaçait plus, résultant ainsi en une sorte de capture 3D de l’état du système immersif source.It is thus obtained the possibility of maintaining for the user of the source system a perception of the virtual environment generated by the source immersive system, while retaining in the target immersive system a correct and stable vision of said virtual environment placed in this condition of freezing despite variations in the observation conditions in said source immersive system. The display data in the target immersive system is thus interpreted as if the virtual environment was completely static and the user of the source system no longer moved, thus resulting in a kind of 3D capture of the state of the immersive system. source.
Dans un mode de mise en œuvre, le procédé comporte une étape d'initialisation dans laquelle des informations de configuration de chacun des systèmes immersifs sont transmis par chaque système immersif à l'autre ou aux autres systèmes immersifs, directement ou par l'intermédiaire d'un serveur, via les moyens de communication de données. Une telle étape permet de configurer les différents systèmes immersifs connectés entre eux et d'adapter simplement la configuration de chacun d'eux à la manière dont le dispositif doit travailler dans des conditions définies.In one embodiment, the method includes an initialization step in which configuration information from each of the immersive systems is transmitted by each immersive system to the other or to the other immersive systems, directly or via 'a server, via data communication means. Such a step makes it possible to configure the various immersive systems connected to each other and to simply adapt the configuration of each of them to the way in which the device must work under defined conditions.
Dans un mode de mise en œuvre, le procédé comporte une étape d'enregistrement de données représentant les données d'affichage du système d'affichage du système immersif source et de données des conditions d'observation utilisées pour calculer lesdites données d'affichage, et de transmission en temps différé desdites données à l'au moins un système immersif cible.In one embodiment, the method comprises a step of recording data representing the display data of the display system of the source immersive system and data of the observation conditions used to calculate said display data, and transmitting said data in deferred time to the at least one target immersive system.
II est ainsi possible de reprendre une immersion enregistrée à tout moment.It is thus possible to resume a recorded immersion at any time.
Présentation des figuresPresentation of the figures
La description de l'invention est faite en référence aux figures qui représentent de manière schématique et de manière non limitative :The description of the invention is made with reference to the figures which represent schematically and without limitation:
Figure 1 : un exemple simplifié d'un dispositif de partage d'immersion dans un environnement visuel avec un système immersif source comportant un système d'affichage de type multi-écrans et un système immersif cible de type mono écran plat ;Figure 1: a simplified example of a device for sharing immersion in a visual environment with a source immersive system comprising a display system of the multi-screen type and a target immersive system of the single flat screen type;
Figure 2 : un exemple illustré de principes de transformation d'une image, générée dans un système immersif source avec un système d'affichage et observé dans un système immersif cible avec un système d'affichage différent, pour conserver les conditions visuelles d'immersion ;Figure 2: an illustrated example of image transformation principles, generated in a source immersive system with a display system and observed in a target immersive system with a different display system, to preserve the visual immersion conditions ;
Figure 3 : une illustration d'un dispositif comportant plusieurs système immersifs cibles avec des systèmes d'affichage de technologies différentes reproduisant l'environnement virtuel d'un même système immersif source ;Figure 3: an illustration of a device comprising several target immersive systems with display systems of different technologies reproducing the virtual environment of the same source immersive system;
Figure 4 : un synoptique simplifié du procédé suivant l'invention.Figure 4: a simplified block diagram of the method according to the invention.
Dans la description, il devra être donné aux termes et expressions suivantes les sens précisés ci-après :In the description, the following terms and expressions should be given the meanings specified below:
Système immersif = Système destiné à restituer en temps réel des impressions sensorielles à un utilisateur par des moyens de stimulation adaptés aux sensations devant être restituées. Le système immersif comprend généralement un ensemble de moyens matériels et logiciels pour au moins : construire un environnement virtuel à partir d'informations contenues dans une base de données ; calculer une représentation visuelle de cet environnement virtuel ; afficher des images à l'attention d'au moins un utilisateur ; mesurer la position et la direction d'observation de l'utilisateur dans un référentiel de moyens d'affichage sur lesquels les images sont regardées par l'utilisateur ; les images affichées étant calculées pour représenter l'environnement virtuel tel qu'il doit être perçu par l'utilisateur suivant ses conditions d'observation de l'environnement virtuel.Immersive system = System intended to restore sensory impressions to a user in real time by stimulation means adapted to the sensations to be restored. The immersive system generally comprises a set of hardware and software means for at least: building a virtual environment from information contained in a database; calculate a visual representation of this virtual environment; display images for the attention of at least one user; measure the position and the direction of observation of the user in a repository of display means on which the images are viewed by the user; the displayed images being calculated to represent the virtual environment as it must be perceived by the user according to his conditions of observation of the virtual environment.
Système d'affichage : ensemble de moyens matériels et au besoin logiciels comportant un ou plusieurs écrans d'affichage d'images agencés entre eux dans l'espace pour présenter des images à un opérateur. Le système d'affichage est associé à des moyens pour déterminer en temps réel, dans un référentiel lié aux écrans, la position au moins, et accessoirement l'orientation d'observation, d'un opérateur regardant les images affichées par lesdits écrans.Display system: set of hardware and, if necessary, software means comprising one or more image display screens arranged together in space to present images to an operator. The display system is associated with means for determining in real time, in a repository linked to the screens, the position at least, and incidentally the observation orientation, of an operator looking at the images displayed by said screens.
Casque : cas particulier de système d'affichage dans lequel les écrans sont fixés sur un support porté sur la tête par l'opérateur. Dans ce cas particulier la position d'observation est fixe dans le référentiel lié aux écrans et la direction d'observation est fonction des mouvements de la tête. Ce type d’équipement peut être associé à des moyens de suivi temps réel de la position de la tête dans l’environnement physique, qui ne modifieront bien entendu pas la position de la tête de l’opérateur par rapport au système d’affichage mais pourront être exploitées par le logiciel de calcul de la représentation de l’environnement virtuel pour modifier la position de la tête de l’utilisateur dans l’environnement virtuel.Helmet: special case of display system in which the screens are fixed on a support worn on the head by the operator. In this particular case the observation position is fixed in the frame of reference linked to the screens and the direction of observation is a function of the movements of the head. This type of equipment can be associated with means for real-time monitoring of the position of the head in the physical environment, which will of course not modify the position of the operator's head relative to the display system but can be used by the software for calculating the representation of the virtual environment to modify the position of the user's head in the virtual environment.
Image : toute forme de représentation visuelle affichée sur un écran. Une image peut être fixe, animée résultant d'une succession d'images dans le temps, résulter d'un flux vidéo... Une image peut être transmise en vue de son affichage sur un écran par un signal analogique ou par un ensemble de données numériques représentant tout ou partie (par exemple dans le cas de signal compressé) d'une image, ou les deux suivant un emplacement considéré dans la chaîne de transmission de l'image entre la génération de l'image et son affichage.Image: any form of visual representation displayed on a screen. An image can be fixed, animated resulting from a succession of images over time, result from a video stream ... An image can be transmitted for display on a screen by an analog signal or by a set of digital data representing all or part (for example in the case of a compressed signal) of an image, or both according to a location considered in the image transmission chain between the generation of the image and its display.
Environnement virtuel : un environnement déterminé par un ensemble de données numériques définissant les caractéristiques de cet environnement et nécessaires à la construction d'une représentation visuelle de cet environnement tel qu'il doit être perçu par un utilisateur ou un observateur d'un système immersif.Virtual environment: an environment determined by a set of digital data defining the characteristics of this environment and necessary for the construction of a visual representation of this environment as it must be perceived by a user or an observer of an immersive system.
Immersion : situation dans laquelle des représentations d'un environnement virtuel consistent en un ensemble de stimuli auquel sont soumises une ou plusieurs personnes pour donner à ces personnes l'impression d'être physiquement entourées des informations contenues dans l'environnement virtuel.Immersion: situation in which representations of a virtual environment consist of a set of stimuli to which one or more people are subjected to give these people the impression of being physically surrounded by the information contained in the virtual environment.
Description détaillée d’un exemple de réalisationDetailed description of an exemplary embodiment
En particulier, il sera dans la présente invention considéré le cas d'un environnement virtuel dont la représentation visuelle est restituée par le système immersif au moyen d'un dispositif d'affichage comportant un ou plusieurs écrans d'affichage, le cas échéant mettant en œuvre des systèmes optiques conventionnels tels que des miroirs, des lames semi-transparentes, des optiques de collimation, des filtres ...In particular, it will be in the present invention considered the case of a virtual environment whose visual representation is reproduced by the immersive system by means of a display device comprising one or more display screens, if necessary putting in uses conventional optical systems such as mirrors, semi-transparent slides, collimation optics, filters ...
L’environnement virtuel restitué peut être à deux dimensions, 2D, ou à trois dimensions, 3D. Pour augmenter les impressions sensorielles dans ce dernier cas le dispositif d'affichage comporte un système de reconstructions des effets du relief, par exemple des lunettes à occultation synchronisées avec les images affichées pour présenter à l'utilisateur du système immersif des images correspondant à chacun de ses yeux pour produire un effet stéréoscopique.The rendered virtual environment can be two-dimensional, 2D, or three-dimensional, 3D. To increase the sensory impressions in the latter case, the display device includes a system for reconstructing the effects of the relief, for example occulting glasses synchronized with the images displayed to present to the user of the immersive system images corresponding to each of his eyes to produce a stereoscopic effect.
Les informations numériques utilisées par le système immersif peuvent correspondre, et correspondent souvent, à des données d'un environnement immersif en trois dimensions 3D, auquel cas une application logicielle du système immersif est une application de création d'images de synthèse qui élabore à chaque instant une ou plusieurs nouvelles images de synthèse par un traitement numérique des informations 3D en fonction d'une position d'un point d'observation, par exemple correspondant à un centre optique d'un objectif d'une caméra virtuelle.The digital information used by the immersive system can correspond, and often correspond, to data from an immersive 3D three-dimensional environment, in which case a software application of the immersive system is a computer-generated image creation application which instant one or more new synthetic images by digital processing of 3D information as a function of a position of an observation point, for example corresponding to an optical center of a lens of a virtual camera.
Les informations numériques peuvent également être des données d’un environnement à deux dimensions, 2D, comme des films, éventuellement panoramiques préenregistrés, qui peuvent être traités numériquement par une application logicielle pour afficher des images vues depuis un point d'observation contrôlé par l’utilisateur ou contrôlé par une logique plus ou moins interactive.The digital information can also be data from a two-dimensional, 2D environment, such as films, possibly panoramic prerecorded, which can be digitally processed by a software application to display images viewed from an observation point controlled by the user or controlled by a more or less interactive logic.
L'homme du métier dans le domaine de la réalité virtuelle connaît les principes et le fonctionnement des systèmes immersifs qui sont répandus aujourd'hui dans de nombreuses applications industrielles, par exemple en conception assistée par ordinateurs, dans des simulateurs et systèmes d'entraînement tels que la formation et l'entraînement à la conduite de véhicules, dans les systèmes de préparation à des interventions chirurgicales ou sur des systèmes en milieux hostiles, dans des applications ludiques généralement regroupées sous l'expression « jeu vidéo >>.Those skilled in the art in the field of virtual reality know the principles and the operation of immersive systems which are widespread today in numerous industrial applications, for example in computer-aided design, in simulators and training systems such that training and driving in vehicles, in systems for preparing for surgical procedures or in systems in hostile environments, in recreational applications generally grouped under the expression "video game".
La description de ces systèmes immersifs connus ne sera donc pas développée en détail dans la présente demande, tout au plus il sera fait appel à des éléments, parties ou sous-ensembles et à des principes lorsqu'ils seront jugés utiles à la clarté de l'exposé ou lorsque qu'il pourra être considéré que le système immersif de l'invention risque d'échapper au sens le plus conventionnel de ce terme. En particulier, dans l'invention un seul écran, d'ordinateur ou d'un moniteur vidéo, peut former la partie affichage d'un système d'affichage d'un système immersif.The description of these known immersive systems will therefore not be developed in detail in the present application, at most, elements, parts or sub-assemblies and principles will be used when they are deemed useful for the clarity of the invention. 'exposed or when it can be considered that the immersive system of the invention may escape the most conventional meaning of this term. In particular, in the invention a single screen, computer or video monitor, can form the display part of a display system of an immersive system.
En outre dans l'exemple de réalisation décrit, ne seront considérés que les aspects visuels de l'immersion, les autres aspects, sonores par exemple, n'étant pas abordés, tout au plus évoqués.In addition, in the example of embodiment described, only the visual aspects of the immersion will be considered, the other aspects, sound for example, not being addressed, at most mentioned.
La figure 1 illustre un dispositif 100 comportant deux systèmes immersifs, un système immersif source 10 et un système immersif cible 20, connectés par des moyens de transmission de données.FIG. 1 illustrates a device 100 comprising two immersive systems, a source immersive system 10 and a target immersive system 20, connected by data transmission means.
Le système immersif source 10 de la figure 1 est un système connu qui comporte, dans l'exemple illustré, un système de traitement numérique 11, comportant une base de données 11a d'informations numériques décrivant un environnement immersif, et des moyens d’affichage 12 d'images générées par le système de traitement numérique.The source immersive system 10 of FIG. 1 is a known system which comprises, in the example illustrated, a digital processing system 11, comprising a database 11a of digital information describing an immersive environment, and display means 12 images generated by the digital processing system.
Le système de traitement numérique 11 est en pratique un calculateur, de puissance adaptée aux calculs d'images en temps réel, sur lequel sont exécutés des logiciels de calculs d'images de synthèse.The digital processing system 11 is in practice a calculator, of power adapted to real-time image calculations, on which computer programs for the synthesis of synthetic images are executed.
La base de données 11a comporte l'ensemble des données propres définissant l'environnement virtuel et nécessaires au calcul d'une représentation visuelle dudit environnement virtuel. Ces données sont par exemple des données définissant les formes géométriques d'objets de l'environnement virtuel, des couleurs desdits objets et de divers attributs (conditions de visibilité, de transparence, de mobilité ou positions fixes dans l'espace par exemple). L'homme du métier connaît bien ce type de données et de représentation numérique d'un environnement.The database 11a includes all of the own data defining the virtual environment and necessary for the calculation of a visual representation of said virtual environment. These data are for example data defining the geometric shapes of objects in the virtual environment, the colors of said objects and various attributes (conditions of visibility, transparency, mobility or fixed positions in space for example). Those skilled in the art are familiar with this type of data and digital representation of an environment.
La base de données comporte également des données relatives au système immersif source lui-même, en particulier des paramètres relatifs aux moyens d'affichage 12, dont des dimensions, positions et formes d'écrans (12a, 12b, 12c, 12d), sur lesquels sont affichées les images devant former une représentation de l’environnement virtuel dans lequel est immergé un utilisateur 90.The database also includes data relating to the source immersive system itself, in particular parameters relating to the display means 12, including dimensions, positions and forms of screens (12a, 12b, 12c, 12d), on which are displayed the images intended to form a representation of the virtual environment in which a user is immersed 90.
Il doit être noté qu'outre les données relatives à l'environnement virtuel et les paramètres relatifs aux moyens d'affichage 12, les moyens de calculs 11 reçoivent également des valeurs de variables, généralement fonction d'un utilisateur 90 en condition d'immersion et ou d'un opérateur du système immersif, qui sont nécessaires aux logiciels pour les calculs d'images de synthèses.It should be noted that in addition to the data relating to the virtual environment and the parameters relating to the display means 12, the calculation means 11 also receive values of variables, generally a function of a user 90 in the immersion condition. and or an operator of the immersive system, which are necessary for the software for the computation of synthetic images.
Les variables comportent plus particulièrement une position d'observation et une direction d’observation de l'utilisateur 90 par rapport aux moyens d'affichage 12, position et direction d'observation dont dépendent les dimensions apparentes et perspectives des écrans du système d’affichage et donc les images de l'environnement virtuel devant être affichées sur ces écrans pour présenter, vue par l'utilisateur, une représentation correcte dudit environnement virtuel depuis une position dans ledit environnement virtuel où est sensé se trouver l'utilisateur.The variables more particularly comprise an observation position and an observation direction of the user 90 relative to the display means 12, position and direction of observation on which the apparent dimensions and perspectives of the screens of the display system depend. and therefore the images of the virtual environment to be displayed on these screens to present, seen by the user, a correct representation of said virtual environment from a position in said virtual environment where the user is supposed to be.
Les position et direction d'observation devant être connues pour le calcul des images affichées, lesdites position et direction d'observation sont, de manière connue par l'homme du métier, mesurées ou estimées en temps réel ou présupposées pour être prises en compte dans le calcul de chaque nouvelle image.The position and direction of observation must be known for the calculation of the displayed images, said position and direction of observation are, in a manner known to those skilled in the art, measured or estimated in real time or presupposed to be taken into account in the calculation of each new image.
De telles variables sont par exemple des ordres envoyés au système de traitement numérique 11, par exemple par l'utilisateur 90 par l'intermédiaire d'organes de commande, pour agir directement ou indirectement sur l'environnement virtuel.Such variables are, for example, orders sent to the digital processing system 11, for example by the user 90 via control elements, to act directly or indirectly on the virtual environment.
On comprend ici que les variables sont traitées à chaque instant par l’application logicielle réalisant la synthèse de l’environnement virtuel pour présenter en temps réel, c'est-à-dire avec un temps de latence suffisamment court pour que ses effets sur le retard entre l'évolution des variables et les images affichées ne soit pas sensiblement perceptibles à l’utilisateur, pour le moins ne soit pas gênant dans le contexte de l'utilisation du système immersif, un point de vue dans l’environnement virtuel correspondant à un point d'observation de l'utilisateur 90 dans le système d'affichage du système immersif physique.We understand here that the variables are processed at all times by the software application performing the synthesis of the virtual environment to present in real time, that is to say with a latency time short enough for its effects on the delay between the evolution of the variables and the images displayed is not noticeably perceptible to the user, at the very least not annoying in the context of the use of the immersive system, a point of view in the virtual environment corresponding to a user observation point 90 in the display system of the physical immersive system.
Les moyens d’affichage 12 du système immersif source 10 de la figure 1 comportent une pluralité d'écrans 12a, 12b, 12c, 12d formant un système multifaces à quatre écrans, dans l’exemple illustré, fréquemment appelé CAVE dans le domaine de la réalité virtuelle.The display means 12 of the source immersive system 10 of FIG. 1 comprise a plurality of screens 12a, 12b, 12c, 12d forming a multi-sided system with four screens, in the example illustrated, frequently called CAVE in the field of virtual reality.
Cet agencement consiste en des écrans, par exemple des écrans de projection, placés les uns à côté des autres et de dimensions suffisantes pour former un volume dans lequel l'utilisateur 90 peut se tenir. Les écrans déterminent un angle solide correspondant à une ouverture visuelle de l’utilisateur 90 sur l'environnement virtuel. De tels écrans, qui dans des systèmes CAVE atteignent fréquemment trois mètres de côté, voire plus, sont positionnés les uns par rapport aux autres pour déterminer le volume, plus ou moins fermé suivant le nombre et l'agencement relatif des écrans, dans lequel se place l'utilisateur 90, et les différents écrans sont en outre placés de sorte à assurer la continuité des images de l'environnement virtuel affichées par lesdits écrans le long d'une arrête commune à deux écrans.This arrangement consists of screens, for example projection screens, placed next to each other and of sufficient dimensions to form a volume in which the user 90 can stand. The screens determine a solid angle corresponding to a visual opening of the user 90 onto the virtual environment. Such screens, which in CAVE systems frequently reach three meters or more, are positioned relative to each other to determine the volume, more or less closed depending on the number and the relative arrangement of the screens, in which places the user 90, and the various screens are also placed so as to ensure the continuity of the images of the virtual environment displayed by said screens along an edge common to two screens.
Dans l'exemple de la figure 1, quatre écrans sont agencés suivant les parois d’un cube dont deux côtés mitoyens sont absents, le dispositif CAVE étant donc ouvert dans cette forme de réalisation. II doit être noté que les dimensions de cet exemple ne sont pas imposées et que toute forme de système d'affichage, multifaces ou non, peut être mise en œuvre, en particulier en fonction d'avantages qu'elle procure en terme d’immersion suivant les objectifs de représentation de l'environnement virtuel.In the example in FIG. 1, four screens are arranged along the walls of a cube of which two adjoining sides are absent, the CAVE device therefore being open in this embodiment. It should be noted that the dimensions of this example are not imposed and that any form of display system, multifaceted or not, can be implemented, in particular as a function of the advantages which it provides in terms of immersion. according to the objectives of representation of the virtual environment.
Par exemple un agencement de deux écrans en L favorise l’immersion verticale. Par exemple un agencement à trois, quatre ou cinq écrans avec des angles plus ouverts que 90° favorise l'immersion de plusieurs utilisateurs simultanément. Certains écrans peuvent également être courbes, cylindriques ou sphériques, et éviter ou limiter le nombre de juxtapositions d'écrans formant des angles. Les écrans peuvent également être portés par l'utilisateur aux moyens d'équipements tels que des casques de visualisation, qui peuvent être plus ou moins transparents en fonction du résultat recherché pour la perception de l’environnement physique environnant.For example, an arrangement of two L-shaped screens promotes vertical immersion. For example, an arrangement with three, four or five screens with angles more open than 90 ° promotes the immersion of several users simultaneously. Some screens can also be curved, cylindrical or spherical, and avoid or limit the number of juxtapositions of screens forming angles. The screens can also be worn by the user by means of equipment such as display headsets, which can be more or less transparent depending on the desired result for the perception of the surrounding physical environment.
Le système immersif source 10 appartient, dans le contexte de l'invention, à un dispositif 100 comportant également au moins un système immersif cible 20.The source immersive system 10 belongs, in the context of the invention, to a device 100 also comprising at least one target immersive system 20.
Le système immersif cible 20 comporte au moins un système de traitement numérique 21 et un système d'affichage 22. Le système immersif cible peut être similaire, voir identique, dans sa structure et ses moyens au, ou différent du système immersif source 10.The target immersive system 20 comprises at least one digital processing system 21 and a display system 22. The target immersive system can be similar, even identical, in its structure and means to, or different from the source immersive system 10.
En particulier, le système d'affichage 22 du système immersif cible 20 peut être identique au système d'affichage 12 du système immersif source 10 ou au contraire en être différent, par exemple par un nombre d'écrans mis en œuvre, et ou par une forme des écrans, et ou par la taille des écrans, et ou par un agencement des écrans, et ou par le fait que le ou les écrans soient portés ou non par l'utilisateur, et ou par la capacité ou non de restituer des images pour une observation en stéréoscopie.In particular, the display system 22 of the target immersive system 20 can be identical to the display system 12 of the source immersive system 10 or on the contrary be different, for example by a number of screens implemented, and or by a shape of the screens, and or by the size of the screens, and or by an arrangement of the screens, and or by the fact that the screen or screens are worn or not by the user, and or by the ability or not to restore images for stereoscopic observation.
Dans l'exemple du dispositif 100 schématisé sur la figure 1, le système d'affichage 22 du système immersif cible ne comporte qu'un seul écran 22a alors que le système d'affichage 12 du système immersif source en comporte quatre.In the example of the device 100 shown diagrammatically in FIG. 1, the display system 22 of the target immersive system has only one screen 22a while the display system 12 of the source immersive system has four.
L'écran 22a, unique écran du système d'affichage 22 dans l'exemple de réalisation illustré sur la figure 1, est par exemple un écran de projection du même type que ceux d'un CAVE, ou un écran vidéo conventionnel, télévision ou écran d'ordinateur, voire un écran de téléphone ordinateur, seule la portion d'environnement virtuel affichée par le système d'affichage 22 du système cible différant entre ces diverses possibilités.The screen 22a, the sole screen of the display system 22 in the embodiment illustrated in FIG. 1, is for example a projection screen of the same type as that of a CAVE, or a conventional video screen, television or computer screen, or even a computer telephone screen, only the portion of virtual environment displayed by the display system 22 of the target system differing between these various possibilities.
Le système de traitement numérique 21 du dispositif immersif cible 20 comporte principalement une mémoire, ou base de données locale, dans laquelle sont stockées les données du système immersif source et du système immersif cible utilisées pour la transformation de données d'affichage correspondant aux images, et un calculateur numérique sur lequel est exécuté un logiciel de traitement des données d'affichage dont les principes sont exposés ultérieurement dans la description.The digital processing system 21 of the target immersive device 20 mainly comprises a memory, or local database, in which are stored the data of the source immersive system and of the target immersive system used for the transformation of display data corresponding to the images, and a digital computer on which display data processing software is executed, the principles of which are explained later in the description.
Par simplification, dans la suite de la description, les termes « source >> et « cible >> seront utilisés pour désigner les éléments respectivement du système immersif source 10 et du système immersif cible 20. En particulier, le système immersif source 10 sera également désigné « système source » et le système immersif cible 20 sera également désigné « système cible >>.For simplification, in the following description, the terms “source” and “target” will be used to designate the elements of the source immersive system 10 and of the target immersive system 20 respectively. In particular, the source immersive system 10 will also be designated “source system” and the target immersive system 20 will also be designated “target system”.
Le dispositif 100 comporte également des moyens de transmission de données 30 entre le système source 10 et le système cible 20.The device 100 also includes data transmission means 30 between the source system 10 and the target system 20.
De tels moyens de transmission de données 30 consistent en tous moyens connus dans le domaine de la transmission de données entre des ordinateurs, et qui seront dans le cas de l'invention choisis en fonction du débit de données qui devra être assuré, de la distance entre les deux systèmes immersifs du dispositif et des ressources disponibles en moyens de communication. Dans une forme de réalisation, la transmission de données est réalisée par un réseau 31 de communication tel que le réseau Internet et la mise en œuvre des interfaces et protocoles de communications adaptées à ce réseau. La transmission des données peut également mettre en œuvre des liaisons optiques, des liaisons radio, et des liaisons filaires de différents types, pour autant que la liaison mise en œuvre soit apte à assurer le débit nécessaire à la transmission des données.Such data transmission means 30 consist of all known means in the field of data transmission between computers, and which in the case of the invention will be chosen as a function of the data rate which must be ensured, the distance between the two immersive systems of the device and the resources available in means of communication. In one embodiment, the data transmission is carried out by a communication network 31 such as the Internet network and the implementation of interfaces and communication protocols adapted to this network. Data transmission can also implement optical links, radio links, and wired links of different types, provided that the link implemented is capable of ensuring the speed necessary for the transmission of data.
La suite de la description est faite en référence au fonctionnement du dispositif 100 lorsque le système source 10 génère les données d'affichage d'un environnement virtuel dont les images sont affichées sur le système d'affichage source 12, environnement virtuel dans lequel l'utilisateur 90 est immergé, et que ledit système source transmet au système cible 20 des données relatives aux données d'affichage générées par le système de traitement numérique source 11.The following description is made with reference to the operation of the device 100 when the source system 10 generates the display data of a virtual environment whose images are displayed on the source display system 12, the virtual environment in which the user 90 is submerged, and said source system transmits data relating to the display data generated by the source digital processing system 11 to the target system 20.
Il doit être noté que la description détaillée ne considère qu'un seul système cible pour des raisons de simplification, mais que le dispositif 100 peut comporter un nombre quelconque de systèmes cibles, tous les systèmes cibles étant indépendants entre eux, pouvant être différents dans leurs structures, et fonctionnent de manière similaire avec les données reçues du système source.It should be noted that the detailed description considers only a single target system for reasons of simplification, but that the device 100 may comprise any number of target systems, all the target systems being independent from each other, which may be different in their structures, and work similarly with data received from the source system.
Lors du fonctionnement du dispositif 100, le logiciel de calcul d'images de synthèse exécuté sur le système de traitement numérique source 11 génère une représentation de l'environnement virtuel dans lequel l'utilisateur 90 du système source est immergé et produit des données d'affichage de ladite représentation de l'environnement virtuel pour chacun des différents écrans 12a, 12b, 12c, 12d du système d'affichage source 12.During the operation of the device 100, the computer software for calculating synthetic images executed on the source digital processing system 11 generates a representation of the virtual environment in which the user 90 of the source system is immersed and produces data. display of said representation of the virtual environment for each of the different screens 12a, 12b, 12c, 12d of the source display system 12.
Ces données d'affichage sont générées en fonction des paramètres susceptibles de modifier la perception visuelle de l'environnement virtuel par l'utilisateur 90, en particulier d'une position dans l'espace d'un point depuis lequel l'utilisateur 90 voit chacun des écrans 12a, 12b, 12c, 12d du système d'affichage source 12 et une direction d'observation dans laquelle regarde l'utilisateur, la direction d'observation correspondant à un axe optique des moyens d'observation, en pratique des yeux. Cette position et cette direction qui lui sont associées sont désignées globalement par la suite « point d'observation >>.This display data is generated as a function of parameters capable of modifying the visual perception of the virtual environment by the user 90, in particular of a position in space of a point from which the user 90 sees each one. screens 12a, 12b, 12c, 12d of the source display system 12 and an observation direction in which the user is looking, the observation direction corresponding to an optical axis of the observation means, in practice with the eyes. This position and this direction which are associated with it are generally designated hereinafter "observation point".
Le point d'observation peut être unique et par exemple correspondre sur l'utilisateur 90 à une position intermédiaire entre ses deux yeux.The observation point can be unique and for example correspond on the user 90 to an intermediate position between his two eyes.
Le point d'observation peut également être double, lorsqu'il est recherché une perception du relief par une vision binoculaire, et alors la position de chacun des deux yeux de l'utilisateur 90 détermine un point d'observation.The point of observation can also be double, when a perception of the relief is sought by a binocular vision, and then the position of each of the two eyes of the user 90 determines a point of observation.
II est à noter ici que, pour réaliser les calculs correspondant à la génération des données d'affichage correspondant aux images affichées sur chacun des écrans, le système de traitement numérique associé au système d'affichage dispose nécessairement des données relatives aux caractéristiques et à l’agencement des différents écrans du système d'affichage.It should be noted here that, to carry out the calculations corresponding to the generation of the display data corresponding to the images displayed on each of the screens, the digital processing system associated with the display system necessarily has data relating to the characteristics and to the arrangement of the various screens of the display system.
Les images calculées sont affichées sur les écrans correspondants. Comme il a déjà été précisé, les images sont avantageusement calculées avec une fréquence de rafraîchissement suffisante pour éviter les phénomènes de latence désagréables pour l'utilisateur et également pour assurer une fluidité des images lors de mouvements.The calculated images are displayed on the corresponding screens. As has already been specified, the images are advantageously calculated with a refresh rate sufficient to avoid unpleasant latency phenomena for the user and also to ensure fluidity of the images during movements.
Les données d'affichage calculées par le système source sont transmises, via les moyens de transmission de données 30, au système cible. Le point d’observation utilisé par le système de traitement du système source pour calculer les données d'affichage est également transmis, via les moyens de transmission de données 30, au système cible.The display data calculated by the source system are transmitted, via the data transmission means 30, to the target system. The observation point used by the processing system of the source system to calculate the display data is also transmitted, via the data transmission means 30, to the target system.
Il doit être compris ici que lesdites données d'affichage peuvent être transmises sous toutes formes de données suivant un protocole compris par le système cible et qui permet la reconstruction desdites données d'affichage ainsi que l’identification du point d’observation utilisé pour calculer lesdites données d'affichage.It should be understood here that said display data can be transmitted in any form of data according to a protocol understood by the target system and which allows the reconstruction of said display data as well as the identification of the observation point used to calculate said display data.
Les données d'affichage générées par le système source ne peuvent cependant pas produire des images affichées correctement sur le système d'affichage cible 22 en particulier en raison des différences de structure des systèmes d'affichage cible et source, et des points d'observation, respectivement de l’utilisateur 90 et de l'observateur 91, dans chacun des systèmes source et cible qui ne sont pas corrélés.The display data generated by the source system, however, cannot produce images displayed correctly on the target display system 22 in particular due to the differences in structure of the target and source display systems, and the observation points. , respectively of user 90 and observer 91, in each of the source and target systems which are not correlated.
En effet, même dans l'hypothèse où les systèmes d'affichage source et cible sont identiques, i! est en pratique impossible que le point d’observation de l'observateur 91 dans un référentiel du système d'affichage cible 22 soit maintenu à tout instant identique au point d'observation de l'utilisateur 90 dans un référentiel du système d'affichage source 12, et en supposant que des données d'affichage générées par le système source soient affichées directement sous la forme d'images sur des écrans du système d'affichage cible, elles donneraient à un observateur 91 du système cible une vision de l'environnement virtuel déformée, voire inutilisable.Even if the source and target display systems are identical, i! in practice it is impossible for the observation point of the observer 91 in a reference system of the target display system 22 to be maintained at all times identical to the observation point of the user 90 in a reference system of the source display system 12, and assuming that display data generated by the source system is displayed directly as images on screens of the target display system, it would give an observer 91 of the target system a view of the environment distorted, even unusable.
A titre d’illustration d'une situation simple où les systèmes d'affichage source et cible sont identiques, une ligne droite de l'environnement virtuel, qui serait affichée dans le système source 10 sur deux écrans dont les surfaces d'affichage ne seraient pas coplanaires, apparaîtrait comme une ligne brisée pour un observateur du système cible 20 dont le point d'observation serait différent de celui ayant servi à générer les données d'affichage dans le système source.By way of illustration of a simple situation where the source and target display systems are identical, a straight line of the virtual environment, which would be displayed in the source system 10 on two screens whose display surfaces would not be not coplanar, would appear as a broken line for an observer of the target system 20 whose observation point would be different from that used to generate the display data in the source system.
Afin de présenter à l'observateur 91 du système immersif cible une représentation cohérente de l'environnement virtuel dans lequel est immergé l'utilisateur du système source, chaque image reçue du système source par le système cible est transformée par un logiciel de traitement d'données d’affichage en fonction du point d’observation du système source et du point d’observation du système cible. Le logiciel de traitement d'image est opéré, au moins pour partie, par le système de traitement numérique cible 21.In order to present to the observer 91 of the target immersive system a coherent representation of the virtual environment in which the user of the source system is immersed, each image received from the source system by the target system is transformed by processing software. display data according to the observation point of the source system and the observation point of the target system. The image processing software is operated, at least in part, by the target digital processing system 21.
Comme il sera compris de la suite de la description, une partie du traitement d'image peut également être opérée par le système source, ou par tout système disposant des capacités de communiquer avec les systèmes source et cible pour recevoir et transmettre les données nécessaires.As will be understood from the following description, part of the image processing can also be carried out by the source system, or by any system having the capacities to communicate with the source and target systems to receive and transmit the necessary data.
La transformation des données d'affichage consiste principalement à reconstituer virtuellement l'environnement physique du système d'affichage source 12 et à forcer le point d’observation de l’observateur 91 à la même position dans l’environnement source virtuel que le point d’observation de l’utilisateur 90 dans le système d’affichage source 12.The transformation of the display data mainly consists in virtually reconstituting the physical environment of the source display system 12 and in forcing the observation point of the observer 91 to the same position in the virtual source environment as the point d observation of the user 90 in the source display system 12.
Suivant ce principe, comme illustré sur la figure 2, il est créé dans le système cible 20 une représentation virtuelle 3D du système d'affichage source 12', en fonction des paramètres du système d'affichage source 12, sur des écrans virtuels 12'a, 12'd, 12'c de laquelle représentation virtuelle du système d'affichage source sont affichées les images des données d'affichage reçues correspondant à chacun des écrans 12a, 12d, 13c réels du système source, voir figure 2. Il est ainsi formé dans le système cible un environnement virtuel 3D représentant à tout moment, au délai de latence près, le système d'affichage source 12, au moins les surfaces des écrans dudit système d'affichage source, avec sa représentation visuelle de l'environnement virtuel du système source.According to this principle, as illustrated in FIG. 2, a 3D virtual representation of the source display system 12 ′ is created in the target system 20, according to the parameters of the source display system 12, on virtual screens 12 ′. a, 12'd, 12'c of which virtual representation of the source display system are displayed the images of the received display data corresponding to each of the real screens 12a, 12d, 13c of the source system, see figure 2. It is thus formed in the target system a 3D virtual environment representing at all times, to the nearest latency period, the source display system 12, at least the surfaces of the screens of said source display system, with its visual representation of the environment source system virtual.
Le système cible 10 traite alors numériquement la représentation virtuelle 3D du système d'affichage source 12' pour en construire une représentation visuelle sur le système d'affichage cible 22 en fonction du point d'observation de l'observateur 91 du système cible, dans laquelle représentation visuelle sur le système d'affichage cible, les position et orientation effectives, mesurées ou présupposées, d'observation dans le système d'affichage cible sont exactement les position et orientation d'observation dans la représentation virtuelle 3D du système d'affichage source et qui correspondent aux positions effectives, mesurées ou présupposées, d'observation de l'utilisateur dans le système de visualisation source réel, comme illustré sur la figure 2 où le centre 40 des projections correspond à la fois au point d'observation virtuel dans la représentation virtuelle 3D du système source et au point d'observation effectif dans le système cible 22.The target system 10 then digitally processes the 3D virtual representation of the source display system 12 'to construct a visual representation of it on the target display system 22 as a function of the observation point of the observer 91 of the target system, in which visual representation on the target display system, the actual position and orientation, measured or presupposed, of observation in the target display system are exactly the position and orientation of observation in the 3D virtual representation of the display system source and which correspond to the actual positions, measured or presupposed, of observation of the user in the real source viewing system, as illustrated in FIG. 2 where the center 40 of the projections corresponds to both the virtual observation point in the 3D virtual representation of the source system and at the effective observation point in the target system 22.
Le traitement numérique correspond dans ce cas en des projections 3D des images de la représentation virtuelle 3D du système d'affichage source 12' sur le ou les écrans du système d'affichage cible 22, lesdites projection ayant comme centre 40 de projection les position et orientation d'observations dans la représentation virtuelle 3D de l'observateur 91.The digital processing in this case corresponds to 3D projections of the images of the virtual 3D representation of the source display system 12 ′ on the screen or screens of the target display system 22, said projections having as their center 40 of projection the positions and orientation of observations in the 3D virtual representation of the observer 91.
Le système cible 20 présente ainsi à l'observateur 91 un système source virtuel en ce qu'il reconstruit à tout moment le comportement, pour les images affichées de l'environnement virtuel, du système source 10 et qu'il assure que, quelle que soit la position et l'orientation de l'observateur 91, ledit observateur a une position et une orientation dans la représentation virtuelle 3D du système d'affichage source 12', identique à celle de l'utilisateur 90 dans le système source 10, bien que les systèmes source et cible puisse avoir des configurations différentes et que l'utilisateur 90 et l'observateur 91 aient des points d'observation dont les mouvements sont, en pratique, indépendants dans systèmes immersifs respectifs.The target system 20 thus presents to the observer 91 a virtual source system in that it reconstructs at any time the behavior, for the displayed images of the virtual environment, of the source system 10 and that it ensures that, whatever either the position and the orientation of the observer 91, said observer has a position and an orientation in the 3D virtual representation of the source display system 12 ′, identical to that of the user 90 in the source system 10, although that the source and target systems can have different configurations and that the user 90 and the observer 91 have observation points whose movements are, in practice, independent in respective immersive systems.
Un tel résultat est obtenu par exemple par des projections des différentes images générées par le système source dans un référentiel des surfaces d'affichage des écrans du système cible, dont un principe est exposé sur la figure 2.Such a result is obtained for example by projections of the various images generated by the source system in a repository of the display surfaces of the screens of the target system, a principle of which is explained in FIG. 2.
Pour le calcul d'une représentation cohérente de l’environnement virtuel sur le système cible, les points d'observation de l'utilisateur 90 du système source et de l'observateur 91 du système cible sont superposés dans la représentation virtuelle 3D du système d'affichage source 12' et pris comme le centre 40 et un axe de référence 41 d'un système de coordonnées sphériques utilisé pour réaliser les projections. Chaque point image 121 du système d'affichage source réel 12 ou virtuel 12' dans une direction 42 donnée depuis le point d'observation 40 correspond à un point image 221 du système d'affichage cible 22 dans la même direction et le point image 221 dans le système cible reprend alors les caractéristiques (couleur, luminosité...) du point image 121 du système source. Cette condition n'est bien sûr valide que lorsque les deux points images visuellement superposés dans les deux systèmes immersifs existent.For the calculation of a coherent representation of the virtual environment on the target system, the observation points of the user 90 of the source system and of the observer 91 of the target system are superimposed in the 3D virtual representation of the system d 'source display 12' and taken as the center 40 and a reference axis 41 of a spherical coordinate system used to make the projections. Each image point 121 of the real source display system 12 or virtual source 12 ′ in a given direction 42 from the observation point 40 corresponds to an image point 221 of the target display system 22 in the same direction and the image point 221 in the target system then takes over the characteristics (color, brightness, etc.) of the image point 121 of the source system. This condition is of course only valid when the two image points visually superimposed in the two immersive systems exist.
Si, lors de ces projections, un point image du système source n'a pas d'équivalent en projection dans le système cible, il ne pourra pas être affiché dans ledit système cible. A contrario, si un point image du système cible n'a pas d'équivalent en projection dans le système source, le point image dans ledit système cible correspondra à une zone aveugle dans l'affichage du système cible.If, during these projections, an image point of the source system has no equivalent in projection in the target system, it cannot be displayed in said target system. Conversely, if an image point of the target system has no projection equivalent in the source system, the image point in said target system will correspond to a blind zone in the display of the target system.
Lorsque les données d'affichage générées par le système source 10 ont été traitées suivant les principes exposés supra, les images sont affichées par le système cible 20 sur le ou les écrans dudit système cible.When the display data generated by the source system 10 have been processed according to the principles set out above, the images are displayed by the target system 20 on the screen or screens of said target system.
Il doit être remarqué que la position et l'orientation de l'observateur 91 du système cible par rapport au système d'affichage cible 22 sont des paramètres pris en compte pour réaliser la transformation des données d'affichage. Cette prise en compte est nécessaire pour que la représentation de l'environnement virtuel soit cohérente avec le point de vue qui l'a générée sur le système source et qu'il soit reproduit sur le système cible l'effet immersif recherché.It should be noted that the position and orientation of the observer 91 of the target system with respect to the target display system 22 are parameters taken into account for carrying out the transformation of the display data. This consideration is necessary so that the representation of the virtual environment is consistent with the point of view that generated it on the source system and that it is reproduced on the target system the desired immersive effect.
Toutefois, pour la reconstruction cohérente des données d'affichage sur le système cible, la condition de superposition des positions d'observation est nécessaire alors que la condition de superposition des directions d'observations est optionnelle, et que cette dernière condition ne se justifie que lorsqu’il est recherché que la représentation visuelle vue par l'observateur 91 dans le système cible 20 soit celle de l'utilisateur 90 dans le système source, y compris en direction.However, for the coherent reconstruction of the display data on the target system, the condition of superposition of the observation positions is necessary whereas the condition of superposition of the directions of observation is optional, and this latter condition is only justified when it is sought that the visual representation seen by the observer 91 in the target system 20 is that of the user 90 in the source system, including in direction.
Lorsque seules les positions d'observation sont maintenues identiques, l'observateur 91 dans le système cible dispose, dans les limites de l'angle solide de l’espace dans lequel une image est affichée, de la possibilité de regarder la représentation de l'environnement virtuel dans une direction différente de celle dans laquelle l'observateur 90 regarde cet environnement virtuel dans le système source, mais qui correspond alors à la représentation visuelle qu'en aurait ledit utilisateur dans le système source s'il regardait dans la même direction que l'observateur dans le système cible.When only the observation positions are kept identical, the observer 91 in the target system has, within the limits of the solid angle of the space in which an image is displayed, the possibility of looking at the representation of the virtual environment in a direction different from that in which the observer 90 looks at this virtual environment in the source system, but which then corresponds to the visual representation that said user would have in the source system if he looked in the same direction as the observer in the target system.
Les expressions « condition d'observation >> et « position et direction d'observation >> doivent donc être comprises, en fonction de l'effet recherché, comme étant la position du point d'observation seule ou bien la position du point d'observation combinée avec la direction d'observation. Tout comme la position du point d'observation et l'orientation d'observation de l'utilisateur 90, la position du point d'observation et l'orientation d'observation de l'observateur 91 doivent être déterminées, par exemple mesurées en temps réel et transmises au système de traitement numérique cible 21 pour être prises en compte dans les calculs de transformation des données d'affichage, elles peuvent également être présupposées. Par exemple, lorsque plusieurs observateurs regardent le ou les écrans dans le système d'affichage du système cible des valeurs moyennes des conditions d'observation des différents observateurs peuvent être calculées ou supposées, étant compris qu'il s'agit d'un compromis produisant nécessairement des distorsions des images affichées par le système cible qui pourront être perçues par certains observateurs.The expressions "observation condition" and "position and direction of observation" must therefore be understood, depending on the desired effect, as being the position of the observation point alone or else the position of the observation point. observation combined with the observation direction. Just like the position of the observation point and the observation orientation of the user 90, the position of the observation point and the observation orientation of the observer 91 must be determined, for example measured in time real and transmitted to the target digital processing system 21 to be taken into account in the transformation calculations of the display data, they can also be presupposed. For example, when several observers look at the screen or screens in the display system of the target system, average values of the observation conditions of the different observers can be calculated or assumed, it being understood that this is a compromise producing necessarily distortions of the images displayed by the target system which may be perceived by some observers.
Ainsi il est réalisé un système cible 20 qui permet à un observateur 91 d'être immergé dans un environnement virtuel créé par un système source 10, distant, dans lequel est immergé, et le cas échéant interagit, un opérateur 90.Thus, a target system 20 is produced which allows an observer 91 to be immersed in a virtual environment created by a source system 10, remote, in which an operator 90 is immersed, and if necessary interacts.
Ce résultat est obtenu sans transmission des données de la base de données 11a mise en œuvre par le système source, y compris avec un système cible 20 dont la configuration est différente de celle du système source 10. Il permet, entre autres, de mettre en œuvre dans le système cible 20 un système de traitement numérique 21 de performances inférieures à celui nécessaire au système source 10 pour générer l'environnement virtuel. Il n'exige pas la mise en œuvre de coûteux logiciels de calculs d'images de synthèses. Il n'exige pas la compatibilité des systèmes d'affichages des systèmes cible et source, ni que l'observateur 91 soit tenu de maintenir des conditions d'observation imposées dans le système de visualisation cible 22 pour visualiser les images comme l'utilisateur 90 les perçoit dans le système d'affichage source 12.This result is obtained without transmission of the data from the database 11a implemented by the source system, including with a target system 20 whose configuration is different from that of the source system 10. It makes it possible, among other things, to set up implements in the target system 20 a digital processing system 21 of lower performance than that necessary for the source system 10 to generate the virtual environment. It does not require the implementation of expensive software for calculating synthetic images. It does not require the compatibility of the display systems of the target and source systems, nor that the observer 91 is required to maintain observation conditions imposed in the target viewing system 22 in order to view the images like the user 90 perceives them in the source display system 12.
L'exemple de réalisation du dispositif 100 décrit n'est cité qu'à titre d'exemple.The embodiment of the device 100 described is only given by way of example.
Les architectures matérielles des systèmes immersifs source et cibles peuvent être différentes de celles schématisées dans la description pour réaliser les mêmes fonctions.The hardware architectures of the source and target immersive systems can be different from those shown schematically in the description to achieve the same functions.
La transformation des données d'affichage transmises peut être réalisée par tout algorithme de transformation pouvant réaliser les projections nécessaires, la méthode décrite précédemment n'étant qu'une illustration théorique de la transformation par projection polaire.The transformation of the transmitted display data can be carried out by any transformation algorithm capable of carrying out the necessary projections, the method described above being only a theoretical illustration of the transformation by polar projection.
La transformation des données d'affichage est avantageusement réalisée par le système cible qui connaît la définition de son système d'affichage 22 et qui prend localement en temps réel, avec un temps de latence minimum, les autres paramètres qui lui sont propres comme les conditions d’observation de l'observateur. Dans ce cas, le système cible doit également disposer de la définition du système source, paramètres du système d'affichage en particulier, par exemple transmise en début de connexion au dispositif des systèmes source et cibles, ainsi que les position et orientation d'observation de l'utilisateur 90 dans le système d'affichage source 12.The transformation of the display data is advantageously carried out by the target system which knows the definition of its display system 22 and which locally takes in real time, with a minimum latency time, the other parameters which are specific to it such as the conditions observer's observation. In this case, the target system must also have the definition of the source system, parameters of the display system in particular, for example transmitted at the start of connection to the device of the source and target systems, as well as the position and orientation of observation. of user 90 in the source display system 12.
Toutefois la transformation des données d'affichage peut être réalisée en partie par le système source, ou par un autre système, pour autant que soit transmises par le système source les données d'exploitation nécessaires aux calculs des données d'affichage devant être affichées sur le système d'affichage dudit système cible.However, the transformation of the display data can be carried out in part by the source system, or by another system, provided that the operating system data required to calculate the display data to be displayed on the source system is transmitted. the display system of said target system.
Dans ce cas, comme déjà signalé, les transformations des données d'affichage nécessitant l'utilisation de variables propres au système cible 20, notamment les position et direction d'observation de l'utilisateur 91 dudit système cible, sont réalisées sur le système de traitement numérique 21 dudit système cible, ce qui permet de réaliser la synchronisation des images affichées par le système d'affichage cible 22 avec lesdites variables propres au système cible.In this case, as already indicated, the transformations of the display data requiring the use of variables specific to the target system 20, in particular the position and direction of observation of the user 91 of said target system, are carried out on the digital processing 21 of said target system, which makes it possible to synchronize the images displayed by the target display system 22 with said variables specific to the target system.
Dans une forme de réalisation, le système source 10, ou un autre calculateur annexe, réalise une première transformation des données d'affichage en données d'affichage adimensionnelles, indépendantes de la structure d'un système de visualisation devant afficher les images, par exemple en attribuant les caractéristiques de chaque point image associées à une direction dudit point image déterminée en coordonnées polaires dans un système d'axes attaché au point d'observation dans le système d'affichage 12 dudit système source. Le système cible 20 transforme alors les données d'affichage adimensionnelles reçues en données d'affichage adaptées à son système d'affichage 22 en attribuant à chaque point d'un écran dans une direction donnée des conditions d'observation dans le système d'affichage cible 22 les caractéristiques attribuées au point image correspondant à la même direction dans les données d'affichage adimensionnelles.In one embodiment, the source system 10, or another annex computer, performs a first transformation of the display data into dimensionless display data, independent of the structure of a display system which must display the images, for example by assigning the characteristics of each image point associated with a direction of said image point determined in polar coordinates in a system of axes attached to the observation point in the display system 12 of said source system. The target system 20 then transforms the dimensionless display data received into display data adapted to its display system 22 by assigning to each point of a screen in a given direction observation conditions in the display system targets 22 the characteristics assigned to the image point corresponding to the same direction in the dimensionless display data.
Lorsque qu'il est, dans un système immersif, réalisé une visualisation 3D de l'environnement virtuel, chaque œil voit une image différente et correspond à des conditions d'observation différentes qui nécessitent de réaliser les transformations des données d'affichage pour chacune des conditions d’observation, au moins lorsque les deux systèmes source et cible sont configurés pour afficher les images de l'environnement virtuel en relief.When a 3D visualization of the virtual environment is performed in an immersive system, each eye sees a different image and corresponds to different observation conditions which require transformations of the display data for each of the observation conditions, at least when the two source and target systems are configured to display the images of the virtual environment in relief.
L'invention concerne également un procédé 200, figure 4, pour partager un environnement immersif entre un système immersif source 10 et au moins un système immersif cible 20, d'un dispositif 100, en limitant les données échangées tant en raison de leur aspect confidentiel que du flux de données que leur transmission impliquerait et en limitant les exigences matérielles et logicielles du système cible.The invention also relates to a method 200, FIG. 4, for sharing an immersive environment between a source immersive system 10 and at least one target immersive system 20, of a device 100, by limiting the data exchanged both because of their confidential aspect. as the data flow that their transmission would imply and limiting the hardware and software requirements of the target system.
Suivant le procédé, il est échangé entre le système source et un ou plusieurs systèmes cibles un ensemble d’informations ou données permettant à chaque système cible de reconstituer et mettre à jour en temps réel une représentation visuelle d'un environnement virtuel répliquant, au moins en partie, la représentation visuelle de l'environnement virtuel du système source.According to the method, a set of information or data is exchanged between the source system and one or more target systems allowing each target system to reconstruct and update in real time a visual representation of a replicating virtual environment, at least in part, the visual representation of the virtual environment of the source system.
Comme décrit précédemment, dans le dispositif 100, chacun des systèmes immersifs qui interviendra dans le partage d'immersion intègre des moyens de connexion à des moyens de transmission 30 assurant la mise en relation desdits systèmes immersifs.As described previously, in the device 100, each of the immersive systems which will be involved in the immersion sharing integrates means of connection to transmission means 30 ensuring the connection of said immersive systems.
Suivant le procédé, dans une étape préalable 210, à chacun des systèmes immersifs est associé un ensemble de données de configuration.According to the method, in a prior step 210, a set of configuration data is associated with each of the immersive systems.
Les données de configuration intègrent toutes les informations nécessaires à la description physique du système immersif, et notamment à sa reconstruction à l’échelle 1.The configuration data integrate all the information necessary for the physical description of the immersive system, and in particular for its reconstruction at scale 1.
Les données de configuration d'un système immersif comportent par exemple :Configuration data for an immersive system includes, for example:
- un identifiant du système immersif ;- an identifier of the immersive system;
- un nombre d’écrans ;- a number of screens;
- des tailles et formes de chaque écran ;- sizes and shapes of each screen;
- un agencement des écrans dans un référentiel d'un système d'affichage ;- an arrangement of screens in a repository of a display system;
- une capacité d’affichage d'images stéréoscopiques et des conditions associées ;- a capacity to display stereoscopic images and associated conditions;
- des transformations colorimétriques et ou géométriques propres au système et devant être appliquées à chaque pixel d'une image devant être affichée sur un écran ;- colorimetric and or geometrical transformations specific to the system and to be applied to each pixel of an image to be displayed on a screen;
- des capacités à restituer une ou plusieurs positions et directions d'observation.- capacities to restore one or more observation positions and directions.
Les données de configuration, dont la liste ci-dessus n'est pas exhaustive mais qui doit comprendre au minimum toutes les informations nécessaires aux échanges de données et au traitement des données réalisées lors de la mise en œuvre du procédé, sont établies pour chaque système immersif du dispositif, de façon manuelle, automatique ou semi-automatique en fonction des capacités du système immersif considéré.The configuration data, of which the above list is not exhaustive but which must include at least all the information necessary for data exchange and data processing carried out during the implementation of the process, are established for each system. device immersive, manually, automatically or semi-automatically depending on the capabilities of the immersive system considered.
Dans certaines formes de réalisation de systèmes immersifs, certaines de ces données peuvent varier au cours du temps, par exemple dans le cas d'un système immersif mobile dont l'orientation et ou la position des écrans varient au cours du temps lors d'une immersion.In certain embodiments of immersive systems, some of this data may vary over time, for example in the case of a mobile immersive system whose orientation and or position of the screens vary over time during a immersion.
Dans une telle situation, les données de configuration sont transmises au(x) système(s) cible(s) de manière similaire aux données d'exploitation comme exposé pour les étapes suivantes.In such a situation, the configuration data is transmitted to the target system (s) in a similar manner to the operating data as explained for the following steps.
Dans une première étape 220 d'initialisation, le dispositif 100, regroupant les systèmes immersifs source 10 et cibles 20 au moyen desquels une immersion doit être partagée, est initialisé.In a first initialization step 220, the device 100, grouping the source 10 and target 20 immersive systems by means of which an immersion is to be shared, is initialized.
Dans cette étape d'initialisation, chacun des systèmes immersifs cibles 20 du dispositif initialise un registre du système immersif source connecté, ledit registre comprenant avantageusement l’ensemble des données de configurations de chacun desdits systèmes immersifs connectés, et avantageusement l'ensemble des données de configurations au moins du système source 10 pour les systèmes cibles 20.In this initialization step, each of the target immersive systems 20 of the device initializes a register of the connected source immersive system, said register advantageously comprising all of the configuration data of each of said connected immersive systems, and advantageously all of the data of at least source system 10 configurations for target systems 20.
Dans la pratique les données de configuration, ainsi que des valeurs d'initialisation de variables, initialisées par un système immersif donné pourront être limitées aux seules données strictement nécessaires aux transmissions de données et aux calculs qui devront être réalisés par ledit système immersif.In practice, the configuration data, as well as variable initialization values, initialized by a given immersive system may be limited to the only data strictly necessary for data transmissions and for the calculations which must be carried out by said immersive system.
A tout instant, l’ensemble des données de configuration du système source doit pouvoir être accessible d'un système cible pour que ledit système source puisse partager son immersion avec ledit système cible, l’accessibilité à ces données pouvant être réalisée dans une forme de réalisation d’un dispositif 100 par exemple via un enregistrement dans une base de données locale au système de traitement numérique dudit système cible.At all times, all of the configuration data of the source system must be accessible from a target system so that said source system can share its immersion with said target system, accessibility to this data can be achieved in a form of production of a device 100, for example via recording in a database local to the digital processing system of said target system.
Dans une autre forme de réalisation d'un dispositif 100, un serveur de données 32a, connecté au réseau 31 des moyens de transmission des données 30, et accessible par chacun des systèmes immersifs 10, 20, comporte une base de données dans laquelle sont stockées les données de configuration de chacun des systèmes immersifs dudit dispositif, au moins pour celles qui sont nécessaires lors de l'étape d'initialisation, et chacun des systèmes immersifs pendant cette étape d'initialisation reçoit du serveur les données de configuration, au moins pour celles qui lui sont nécessaires compte tenu des transformations qu'il devra réaliser sur les données d'affichage.In another embodiment of a device 100, a data server 32a, connected to the network 31 of the data transmission means 30, and accessible by each of the immersive systems 10, 20, comprises a database in which are stored the configuration data of each of the immersive systems of said device, at least for those which are necessary during the initialization step, and each of the immersive systems during this initialization step receives the configuration data from the server, at least for those which are necessary for him taking into account the transformations he will have to carry out on the display data.
Avantageusement, quel que soit le mode de mise en œuvre de cette première étape, la base de données pourra être mise à jour pendant la mise en œuvre du procédé en fonction de la connexion, déconnexion ou changement de rôle d’au moins un système immersif du réseau.Advantageously, whatever the mode of implementation of this first step, the database may be updated during the implementation of the method according to the connection, disconnection or change of role of at least one immersive system. of the network.
Dans une étape 230 de génération d'environnement, étape indépendante réalisée de manière récurrente lorsque le système source 10 est en fonctionnement pour générer un environnement immersif sur ledit système source, des données d’exploitation sources sont créées sur le système source.In an environment generation step 230, an independent step performed recurrently when the source system 10 is in operation to generate an immersive environment on said source system, source operating data is created on the source system.
Les données d’exploitation sources comportent :The source operating data includes:
- les « données du ou des conditions d'observation »- "data of the observation condition (s)"
- les « données d'affichage »- "display data"
Les données d'affichage correspondent à l'ensemble des informations relatives aux images affichées, ou devant être affichées, sur le système d'affichage 12 du système source 10.The display data correspond to all of the information relating to the images displayed, or to be displayed, on the display system 12 of the source system 10.
Par exemple les données d'affichage correspondent à l'ensemble des attributs de chacun des pixels composant les images affichées sur chacun des écrans du système d'affichage source 12, ces attributs comportant notamment, outre des caractéristiques de luminance et de couleur, la position du pixel dans ledit système d'affichage.For example, the display data correspond to all of the attributes of each of the pixels making up the images displayed on each of the screens of the source display system 12, these attributes notably comprising, in addition to luminance and color characteristics, the position of the pixel in said display system.
Les informations d'affichage sont par exemple des informations contenues dans des trames vidéo émises par le système de traitement numérique 11 du système source pour chaque écran 12a, 12b, 12c, 12d sur une liaison vidéo 13 avec le système d'affichage source 12.The display information is for example information contained in video frames transmitted by the digital processing system 11 of the source system for each screen 12a, 12b, 12c, 12d on a video link 13 with the source display system 12.
Les données du ou des conditions d'observations sont principalement la position depuis laquelle et la direction dans laquelle, avantageusement des position et direction mesurées ou présupposées, l'utilisateur regarde dans le système d'affichage source 12 à un moment donné. Ces données sont prises en compte dans le calcul de la vision de l'environnement virtuel tel qu'il doit être représenté pour un utilisateur du système source immergé dans ledit environnement et interviennent dans la construction des images affichées. A défaut de valeur mesurées, les positions et, le cas échéant, la direction sont présupposées, par exemple par identification d’une position et ou orientation idéale pour utiliser le système d’affichage, ou moyenne si plusieurs utilisateurs peuvent être accueillis, ou imposée si le système immersif pousse le ou les utilisateurs à se rapprocher d’une position et ou orientation spécifique.The data of the observation condition (s) are mainly the position from which and the direction in which, advantageously measured or assumed position and direction, the user looks into the source display system 12 at a given time. These data are taken into account in the calculation of the vision of the virtual environment as it must be represented for a user of the source system immersed in said environment and are involved in the construction of the images displayed. In the absence of a measured value, the positions and, where appropriate, the direction are presupposed, for example by identification of a position and or ideal orientation for using the display system, or average if several users can be accommodated, or imposed if the immersive system pushes the user (s) to approach a specific position and or orientation.
Dans un mode de mise en œuvre, les données d'affichage, calculées pour chaque cycle d'affichage en fonction d'une fréquence de rafraîchissement des dites données d'affichage, sont capturées, une fois calculées, par une application logicielle opérée dans le système de traitement numérique 11 du système source.In one embodiment, the display data, calculated for each display cycle as a function of a refresh rate of said display data, are captured, once calculated, by a software application operated in the digital processing system 11 of the source system.
Dans un autre mode de mise en œuvre, les données d'affichage sont capturées lors de leurs transmissions aux moyens d'affichage source 12, par exemple par un branchement sur la liaison vidéo 13 d'un équipement vidéo 14 entre le système de traitement numérique source 11 et les moyens d’affichage source 12. Cette forme de capture présente l'avantage de ne pas nécessiter d'intervention, matérielle ou logicielle, sur le système de traitement numérique, ni d'installer une application logicielle supplémentaire sur le système de traitement numérique 11 du système source.In another implementation mode, the display data are captured during their transmission to the source display means 12, for example by connection to the video link 13 of video equipment 14 between the digital processing system source 11 and the source display means 12. This form of capture has the advantage of not requiring any intervention, hardware or software, on the digital processing system, nor of installing an additional software application on the processing system. digital processing 11 of the source system.
Dans un mode de mise en œuvre, si le système immersif source affiche des images stéréoscopiques, les données d'affichage capturées sont capturées pour une seule des conditions d'observation, par exemple les données d'affichage correspondant à un seul œil, ou en stéréo, en fonction des capacités du système cible à restituer ou non des images en mode stéréoscopique ou en fonction d'options choisies par un opérateur du système cible. II est ainsi possible de réduire le flux de données et les besoins en bande passante des moyens de transmission des données 30.In one embodiment, if the source immersive system displays stereoscopic images, the captured display data is captured for only one of the observation conditions, for example the display data corresponding to a single eye, or in stereo, according to the capacities of the target system to reproduce or not images in stereoscopic mode or according to options chosen by an operator of the target system. It is thus possible to reduce the data flow and the bandwidth requirements of the data transmission means 30.
Dans un mode de mise en œuvre, si le système immersif source estime et utilise des positions et orientations de plusieurs utilisateurs simultanément, les données d'affichage sont capturées pour chacune des conditions d'observation et associées aux conditions d'observation correspondantes dans les données d’exploitation.In an implementation mode, if the source immersive system estimates and uses the positions and orientations of several users simultaneously, the display data are captured for each of the observation conditions and associated with the corresponding observation conditions in the data operating.
L'équipement vidéo 14 réalise ainsi la capture des données d'affichage lors de leur transmission au système d'affichage source 12, par exemple par une lecture des signaux correspondant aux images sur la liaison vidéo 13, convertit lesdites images dans un format adapté à leurs transmissions et les transmets via les moyens de transmission de données 30 du dispositif.The video equipment 14 thus captures the display data when it is transmitted to the source display system 12, for example by reading the signals corresponding to the images on the video link 13, converts said images into a format suitable for their transmissions and transmits them via the data transmission means 30 of the device.
A l'issue de cette étape 230, les données d’exploitation source sont envoyées, directement ou indirectement, par le système source vers les utilisateurs des informations contenues dans lesdites données d'exploitation source. Les utilisateurs sont par exemple chacun des systèmes cibles qui sont connectés audit système source ou un calculateur annexe 32b raccordé au réseau 31 qui reçoit les données pour les retransmettre aux systèmes cible, éventuellement après avoir réalisé un traitement des données d’exploitation.At the end of this step 230, the source operating data are sent, directly or indirectly, by the source system to the users of the information contained in said source operating data. The users are for example each of the target systems which are connected to said source system or an annex computer 32b connected to the network 31 which receives the data in order to retransmit it to the target systems, possibly after having performed processing of the operating data.
Dans une deuxième étape 240 de transformation, les données d’exploitation source sont transformées en fonction des données de configuration du système source, établies lors de l'étape 220, en fonction des données de configuration d'un système cible, également établies lors de l'étape 220, et en fonction de variables générées 242 par ledit système cible, notamment la position d'observation et de la direction d'observation dans le système d'affichage 22 dudit système cible.In a second transformation step 240, the source operating data are transformed as a function of the configuration data of the source system, established during step 220, as a function of the configuration data of a target system, also established during step 220, and as a function of variables generated 242 by said target system, in particular the observation position and the direction of observation in the display system 22 of said target system.
Au cours de cette deuxième étape, sont réalisées les opérations de :During this second stage, the operations of:
- Reconstruction 3D à l’échelle 1, par rapport au système de visualisation cible, de la configuration géométrique du système d'affichage source pour obtenir un système d'affichage source virtuel sans image, i.e. indépendamment d'images qui sont affichées sur les écrans dudit système d'affichage source ;- 3D reconstruction at scale 1, relative to the target display system, of the geometric configuration of the source display system to obtain a virtual source display system without image, ie independently of images which are displayed on the screens said source display system;
- Affichage sur chacun des écrans du système d'affichage source virtuel des données d’affichage associées, pour obtenir une représentation virtuelle complète de l’état des affichages du système source décrit par les données d’affichage reçues.- Display on each of the screens of the virtual source display system of the associated display data, to obtain a complete virtual representation of the state of the displays of the source system described by the display data received.
- Repositionnement du système d'affichage source virtuel par rapport à l'observateur utilisateur du système cible pour que les données des conditions d'observation source virtuelles, correspondant dans le système d'affichage source virtuel aux données des conditions d'observation réelles dans le système d'affichage source réel, correspondent aux données des conditions d'observation cible réelles, au moins pour la position d'observation.- Repositioning of the virtual source display system with respect to the user observer of the target system so that the data of the virtual source observation conditions, corresponding in the virtual source display system to the data of the real observation conditions in the real source display system, correspond to the data of the real target observation conditions, at least for the observation position.
-Synthèse des images constituant l’ensemble des données d’affichage du système cible par les moyens de traitement numérique du système cible en fonction des données des conditions d'observation cible, en utilisant les données de l'environnement reconstitué sur le système cible à partir des données d'exploitation du système source.-Synthesis of the images constituting the set of display system target data by the digital processing means of the target system as a function of the data of the target observation conditions, using the data of the environment reconstituted on the target system to from the operating data of the source system.
Avantageusement, dans un mode de réalisation, la reconstruction 3D virtuelle du système d'affichage source, sans image affichée sur les moyens d’affichage du système source virtuel, peut être mise en cache par le système de traitement numérique du système immersif cible, et ainsi être réutilisée pour les itérations suivantes.Advantageously, in one embodiment, the virtual 3D reconstruction of the source display system, without an image displayed on the display means of the virtual source system, can be cached by the digital processing system of the target immersive system, and thus be reused for the following iterations.
Suivant le principe de transformation des données d'affichage du procédé, les données des conditions d'observation de l'utilisateur 90 dans l'environnement virtuel affiché dans le système source sont les mêmes que les données des conditions d'observation de l'observateur 91 dans l'environnement virtuel affiché dans le système d'affichage source virtuel sur le système cible, la représentation visuelle dudit environnement virtuel étant reconstituée dans cet objectif. Cette condition est forcée pour que les images générées par le système source 10 et vues par l'utilisateur 90 dans le système d'affichage source 12, puissent être vues sans déformation par l'observateur 91 dans le système d'affichage cible 22.According to the principle of transformation of the display data of the method, the data of the observation conditions of the user 90 in the virtual environment displayed in the source system are the same as the data of the observation conditions of the observer. 91 in the virtual environment displayed in the virtual source display system on the target system, the visual representation of said virtual environment being reconstituted for this purpose. This condition is forced so that the images generated by the source system 10 and seen by the user 90 in the source display system 12 can be seen without deformation by the observer 91 in the target display system 22.
Les données d’affichage initialement calculées par le système source n'ont donc pas besoin d'être recalculées pour de nouvelles conditions d'observation dans le système cible, les conditions d'observation, en position et en direction, étant virtuellement superposées pour chaque œil dans l'environnement virtuel du système source et dans l'environnement virtuel du système cible.The display data initially calculated by the source system therefore does not need to be recalculated for new observation conditions in the target system, the observation conditions, in position and in direction, being virtually superimposed for each eye in the virtual environment of the source system and in the virtual environment of the target system.
L’ensemble des données et programmes nécessaires aux calculs des données d’affichage par les moyens de traitement numérique du système source n’a ainsi pas besoin d’être répliqué sur le système cible, au contraire de l’art antérieur.All the data and programs necessary for the calculation of the display data by the digital processing means of the source system do not therefore need to be replicated on the target system, unlike the prior art.
La position d’observation et la direction d’observation, qui sont regroupées sous la désignation globale de conditions d’observation, correspondent en pratique à un ensemble de données variables qui traduisent la position et la direction dans un repère du système d’affichage considéré.The observation position and the observation direction, which are grouped under the global designation of observation conditions, correspond in practice to a set of variable data which translate the position and the direction in a reference frame of the display system considered. .
Les données considérées sont par exemple exprimées dans un système de référence cartésien d’axes orthogonaux. Les données peuvent également être exprimées dans un autre système de référence, par exemple par des coordonnées polaires ou des coordonnées sphériques, pour autant que les données lorsqu’elles sont transmises d’un système source à un système cible soient comprises par ledit système cible, soit que le système de référence soit connu par défaut, soit que la définition du système de référence utilisé par la source soit transmise à la cible.The data considered are for example expressed in a Cartesian reference system of orthogonal axes. The data can also be expressed in another reference system, for example by polar coordinates or spherical coordinates, provided that the data when transmitted from a source system to a target system is understood by said target system, either that the reference system is known by default, or that the definition of the reference system used by the source is transmitted to the target.
Dans des cas particuliers comme par exemple lorsqu’il est pris en compte une vision stéréoscopique, donc mettant en œuvre deux points d’observations distincts, l’ensemble des données des conditions d’observation peuvent être dupliquées pour correspondre à chacun des points d’observation, ou être transmises seulement pour un point d’observation, les conditions d’observation pour le second point étant limitées à des données de position relatives du second point par rapport au premier, par exemple distance et direction du second point par rapport au premier point, limitant le volume des données de conditions d’observations à transmettre.In special cases such as when a stereoscopic vision is taken into account, therefore implementing two distinct observation points, all the data of the observation conditions can be duplicated to correspond to each of the observation points. observation, or be transmitted only for an observation point, the observation conditions for the second point being limited to relative position data of the second point relative to the first, for example distance and direction of the second point relative to the first point, limiting the volume of observation condition data to be transmitted.
Les données d’observation peuvent également correspondre à point fictif d’observation, par exemple un œil cyclope, et les conditions d’observation pour chacun des points étant limitées à des données de positions relatives de chacun des points réels d’observation par rapport au point fictif.The observation data may also correspond to a fictitious observation point, for example a cyclops eye, and the observation conditions for each of the points being limited to relative position data of each of the real observation points relative to the fictitious point.
Ainsi les données des conditions d’observation comportent un ensemble de variables cohérent qui correspond au système d’affichage considéré.Thus, the data for the observation conditions includes a coherent set of variables which corresponds to the display system considered.
Ainsi les conditions d’observation dans un système d’affichage sont déterminées par un ensemble de données cohérentes, un sous-ensemble de cet ensemble pouvant consister en tout ou partie des données de position et ou tout ou partie des données d’orientation.Thus the observation conditions in a display system are determined by a set of coherent data, a subset of this set may consist of all or part of the position data and or all or part of the orientation data.
Dans un mode de mise en œuvre, toute ou partie des données d'exploitation transmises par le système source sont gelées.In one implementation mode, all or part of the operating data transmitted by the source system is frozen.
II peut s’agir de données d’affichage, ou de données des conditions d’observations, ou d’un sous-ensemble des données des conditions d’observation.This can be display data, or observation condition data, or a subset of the observation condition data.
Dans ce cas, les données gelées soit ne sont plus émises par le système source, ou sont émises avec des valeurs constantes, soit ne sont temporairement plus prises en compte par le système cible et les dernières données d'exploitations reçues et traitées par le système cible sont figées.In this case, the frozen data is no longer emitted by the source system, or is emitted with constant values, or is temporarily no longer taken into account by the target system and the last operating data received and processed by the system target are frozen.
Le gel est commandé par une instruction d’un des systèmes source ou cible par exemple sur un ordre de l’utilisateur 90, ou de l'observateur 91, ou d'un opérateur du système source ou du système cible. L’ordre peut également affecter le système source qui est alors gelé et dans ce cas le système cible subit le gel des données concernées, ou n’affecter que le système cible qui dans ce cas n’implique pas nécessairement le gel du système source mais seulement un arrêt de la prise en compte des évolutions des données concernées émises par le système source.The freezing is controlled by an instruction from one of the source or target systems, for example on an order from the user 90, or from the observer 91, or from an operator of the source system or of the target system. The order can also affect the source system which is then frozen and in this case the target system undergoes the freezing of the data concerned, or affect only the target system which in this case does not necessarily imply the freezing of the source system but only a halt in taking into account changes in the data concerned emitted by the source system.
Lors de l'activation de cette étape 241 de gel des données, la possibilité de mettre à jour les images sur le système cible par le traitement des données d'exploitations figées dans ledit mode gel d'exploitation est maintenu, le système cible pouvant dans ce cas recalculer en temps réel les données d'affichage pour les images devant être affichées par les moyens d'affichage cible 22 en fonction de modification des conditions d'observation pour conserver une représentation correcte de l'environnement virtuel figé dans le système d'affichage virtuel source.During the activation of this step 241 of freezing the data, the possibility of updating the images on the target system by processing the operating data frozen in said operating freezing mode is maintained, the target system being able to this case recalculate in real time the display data for the images to be displayed by the target display means 22 as a function of modification of the observation conditions in order to maintain a correct representation of the virtual environment frozen in the system of source virtual display.
Dans ce mode de fonctionnement, il est possible pour un opérateur 91 de se déplacer dans le système de visualisation cible sans que la représentation de l'environnement virtuel ne soit instable. Il est alors plus aisé à l'opérateur 91 de mettre en œuvre des méthodes de pointage ou d'annotations, bien connues de l'homme du métier, sur le système source virtuel, par exemple dans le contexte d'un travail collaboratif sur l'environnement virtuel, même si de telles méthodes peuvent être appliquées lorsque la fonction de gel n’est pas activée.In this operating mode, it is possible for an operator 91 to move around in the target display system without the representation of the virtual environment being unstable. It is then easier for the operator 91 to implement pointing or annotation methods, well known to those skilled in the art, on the virtual source system, for example in the context of collaborative work on the virtual environment, even if such methods can be applied when the freeze function is not activated.
Il est ainsi possible de maintenir pour l'utilisateur 90 du système source une perception de l'environnement virtuel généré par le système immersif source, en conservant dans le système immersif cible, une vision par l’observateur 91 correcte et stable dudit environnement virtuel placé dans cette condition de gel malgré des variations des conditions d'observation dans ledit système immersif source.It is thus possible to maintain for the user 90 of the source system a perception of the virtual environment generated by the source immersive system, while preserving in the target immersive system, a vision by the observer 91 correct and stable of said virtual environment placed in this freezing condition despite variations in the observation conditions in said source immersive system.
Les données d'affichage dans le système immersif cible sont alors interprétées, lorsque les données correspondantes sont gelées, comme si l’environnement virtuel était totalement statique et que l’utilisateur du système source ne se déplaçait plus, résultant ainsi en une sorte de capture 3D de l’état du système immersif source.The display data in the target immersive system is then interpreted, when the corresponding data is frozen, as if the virtual environment were completely static and the user of the source system no longer moved, thus resulting in a kind of capture. 3D of the state of the source immersive system.
Par des commandes spécifiques, l’étape de gel peut également concerner l’ensemble des données relatives aux conditions d’observation, ou seulement un sous-ensemble de ces données. Par exemple, lors d’une étape de gel, un opérateur, un utilisateur ou un observateur, peut choisir de geler ou non les variables de position des données d’observation et de geler ou non les variables d’orientation des données d’observation.By specific commands, the freezing step can also concern all of the data relating to the observation conditions, or only a subset of this data. For example, during a freezing step, an operator, a user or an observer can choose whether or not to freeze the position variables of the observation data and whether or not to freeze the orientation variables of the observation data .
Avantageusement, les données affichées par le système d'affichage source virtuel ne varient plus, et les points image dudit système d'affichage source virtuel sur lesquels sont réalisés les pointages et ou annotations sont constants.Advantageously, the data displayed by the virtual source display system no longer varies, and the image points of said virtual source display system on which the scores and or annotations are made are constant.
Dans un mode de mise en œuvre, une étape 243 d’enregistrement des données d’exploitation source est activée.In one embodiment, a step 243 of recording the source operating data is activated.
Avantageusement, dans un mode de réalisation, lesdites données d’exploitation source préenregistrées sont utilisées par le système de traitement en tant que données d’exploitation source, permettant ainsi sur le système cible, qui pourrait être ledit système source, de rejouer une immersion préenregistrée.Advantageously, in one embodiment, said prerecorded source operating data are used by the processing system as source operating data, thus allowing the target system, which could be said source system, to replay a prerecorded immersion .
Dans une troisième étape 250 d'affichage, l'ensemble des données d'affichage résultant de la transformation est transmis au système d'affichage cible 22 dont les données d'exploitation ont été prise en compte lors de la transformation des images générées par le système source.In a third display step 250, all of the display data resulting from the transformation is transmitted to the target display system 22 whose operating data have been taken into account during the transformation of the images generated by the source system.
Afin de former en temps réel une représentation visuelle d'un environnement immersif pour un observateur, disposant d'un système immersif cible, copie de la représentation visuelle de l'environnement immersif généré pour un utilisateur du système immersif source, le procédé est rebouclé après la troisième étape 250 sur la deuxième étape 240.In order to form in real time a visual representation of an immersive environment for an observer, having a target immersive system, copy of the visual representation of the immersive environment generated for a user of the source immersive system, the process is looped back after the third step 250 on the second step 240.
Le cycle avec lequel le procédé est rebouclé pour afficher une nouvelle représentation de l'environnement virtuel sur les moyens d'affichage du système cible, cycle dont le temps peut être contraint par les performances de calculs des systèmes de traitement numérique de chacun des systèmes immersifs, ainsi que par les performances des moyens de transmission des données par lesquels les données sont échangées entre lesdits systèmes immersifs, est repris à chaque fois que le système cible a fait une acquisition de données d'exploitation correspondant à une représentation de l'environnement virtuel sur le système source.The cycle with which the process is looped back to display a new representation of the virtual environment on the display means of the target system, a cycle whose time may be constrained by the performance of calculations of the digital processing systems of each of the immersive systems , as well as by the performance of the data transmission means by which data is exchanged between said immersive systems, is taken up each time that the target system has acquired operating data corresponding to a representation of the virtual environment on the source system.
Pour autant qu'il n'aura pas été mis en pause par l'activation de l'étape 241 de gel de données, le calcul est répété avantageusement aussi rapidement que les systèmes de traitement numérique des systèmes source et cible le permettent, au moins pour offrir à un observateur 91 une immersion perçue simultanée comme avec celle de l'utilisateur 90 du système source.Provided that it has not been paused by the activation of the step 241 of freezing of data, the calculation is advantageously repeated as quickly as the digital processing systems of the source and target systems allow, at least to offer an observer 91 a simultaneous perceived immersion as with that of the user 90 of the source system.
Variantes de réalisationVariants of realization
Comme précisé, la notion de conditions d'observation regroupe les notions de position d'observation et le cas échéant de direction d'observation lorsque la prise en considération de cette direction est souhaitée. Toutefois ces paramètres de position et de direction peuvent être déduits de mesures ou analyses. Par exemple la direction d’observation peut se déduire d'une mesure de position des deux yeux d'un utilisateur ou d'un observateur.As specified, the concept of observation conditions brings together the concepts of observation position and, where applicable, direction of observation when consideration of this direction is desired. However, these position and direction parameters can be deduced from measurements or analyzes. For example, the direction of observation can be deduced from a measurement of the position of the two eyes of a user or of an observer.
Des conditions d'observations présupposées ou prédéterminées peuvent également être utilisées pour l'un ou l'autre des systèmes immersifs source et cible, ou pour les deux, la mise en œuvre du procédé permettant d'adapter les affichages par la prise en compte des différences entre les deux systèmes.Presupposed or predetermined observation conditions can also be used for one or the other of the source and target immersive systems, or for both, the implementation of the method making it possible to adapt the displays by taking into account the differences between the two systems.
L'invention telle que décrite dans le cas d’un système immersif source 10 comportant un système d'affichage 12 multi-écrans de type CAVE et d'un seul système immersif cible 20 comportant un système d'affichage 22 avec un seul écran, est susceptible de variantes sans se démarquer des principes de l'inventions détaillés dans l'exemple décrit.The invention as described in the case of a source immersive system 10 comprising a multi-screen display system 12 of the CAVE type and of a single target immersive system 20 comprising a display system 22 with a single screen, is susceptible to variations without departing from the principles of the invention detailed in the example described.
Comme il a été signalé, le dispositif peut dans sa structure et suivant la mise en œuvre du procédé comporter un système source et un nombre quelconque de systèmes cibles, comme schématisé sur la figure 3 d'un dispositif 100 comportant trois systèmes cibles 20 de différents types, qui peuvent reproduire simultanément un environnement virtuel correspondant au système source comme des représentations du même environnement virtuel dans les systèmes cibles.As has been pointed out, the device may in its structure and depending on the implementation of the method comprise a source system and any number of target systems, as shown diagrammatically in FIG. 3 of a device 100 comprising three target systems 20 of different types, which can simultaneously reproduce a virtual environment corresponding to the source system as representations of the same virtual environment in target systems.
Dans une forme de réalisation, un système immersif donné peut être mis en œuvre soit comme système cible ou soit comme système source. En outre le dispositif peut mettre en relation au moins deux systèmes immersifs pouvant générer des images d'un environnement virtuel, un des deux systèmes immersifs pouvant être alternativement le système source ou l'un des systèmes cibles, l'autre système immersif étant inversement un des systèmes cibles ou le système source, une commutation entre les deux configurations pouvant être déclenchée à tout moment, par exemple dans le contexte d'un travail collaboratif entre les utilisateurs des deux systèmes immersifs en question, et ce pour peu que chacun des deux systèmes immersifs disposent de moyens de capture des données d'affichage calculées et affichées sur le système d’affichage associé.In one embodiment, a given immersive system can be implemented either as a target system or as a source system. In addition, the device can connect at least two immersive systems which can generate images of a virtual environment, one of the two immersive systems being alternately the source system or one of the target systems, the other immersive system being inversely a target systems or the source system, a switch between the two configurations can be triggered at any time, for example in the context of collaborative work between the users of the two immersive systems in question, provided that each of the two systems immersive have means of capturing the display data calculated and displayed on the associated display system.
L'invention permet de réaliser un partage d'immersion dans de nombreuses configurations de systèmes immersifs, en particulier de systèmes d'affichages desdits systèmes immersifs, la figure 3 illustrant des configurations possibles de manière non limitative.The invention makes it possible to achieve immersion sharing in numerous configurations of immersive systems, in particular display systems of said immersive systems, FIG. 3 illustrating possible configurations in a nonlimiting manner.
Dans une forme de réalisation le système source et un système cible comportent tous deux un système d'affichage multi-faces. Avantageusement les systèmes immersifs disposent dans ce cas de systèmes de mesure de la position du point d'observation et de la direction d'observation de l'utilisateur ou de l'observateur.In one embodiment, the source system and a target system both include a multi-sided display system. Advantageously, the immersive systems in this case have systems for measuring the position of the observation point and the direction of observation of the user or of the observer.
Dans d'autre formes de réalisation, le système source comporte un système d'affichage multi-faces et un système cible comporte un système de visualisation de type casque.In other embodiments, the source system includes a multi-sided display system and a target system includes a helmet-type display system.
Les systèmes de visualisation de type casque mettent en œuvre des écrans qui sont physiquement très proches des yeux de l'utilisateur du casque mais qui sont pourvus, pour rester utilisables, de systèmes optiques qui assurent une collimation qui place une image virtuelle, ici considérée au sens de l'optique géométrique, de la surface de l'écran à une distance suffisante de l’œil. C'est cette image virtuelle qui est alors considérée comme l'image affichée dans le système de visualisation.The helmet-type display systems use screens which are physically very close to the eyes of the helmet user but which are provided, in order to remain usable, with optical systems which ensure collimation which places a virtual image, here considered at sense of geometric optics, of the screen surface at a sufficient distance from the eye. It is this virtual image which is then considered to be the image displayed in the viewing system.
Dans un premier mode de fonctionnement de cette forme de réalisation, l’observateur utilisant le casque est placé dans l’environnement virtuel contenant le système source reconstitué à exactement la même position et à la même orientation que celles de l’utilisateur du système source dans le système source. Dans un mode alternatif, seule l’orientation source autour de l’axe défini par le centre des deux yeux n’est pas prise en compte pour donner un peu plus de liberté à l’observateur. Avantageusement, dans ce mode, l’observateur dans le système cible voit exactement ce que voit l’utilisateur du système source.In a first mode of operation of this embodiment, the observer using the helmet is placed in the virtual environment containing the reconstructed source system at exactly the same position and in the same orientation as those of the user of the source system in the source system. In an alternative mode, only the source orientation around the axis defined by the center of the two eyes is not taken into account to give a little more freedom to the observer. Advantageously, in this mode, the observer in the target system sees exactly what the user of the source system sees.
Dans un deuxième mode de fonctionnement de cette forme de réalisation, l’observateur utilisant le casque est placé dans l’environnement virtuel contenant le système source reconstitué à exactement la même position que celle de l’utilisateur du système source dans le système source. Avantageusement, dans ce mode, l’observateur dans le système cible peut regarder dans d’autres directions que l’utilisateur du système source.In a second mode of operation of this embodiment, the observer using the helmet is placed in the virtual environment containing the reconstituted source system at exactly the same position as that of the user of the source system in the source system. Advantageously, in this mode, the observer in the target system can look in other directions than the user of the source system.
Dans d'autres formes de réalisation, le système source comporte un système d'affichage de type casque.In other embodiments, the source system includes a helmet-type display system.
Les informations de configuration incluent alors une description de la transformation géométrique inverse de la transformation géométrique associée aux pixels des images destinées à chacun des deux yeux ainsi que le champ de vision associé au casque.The configuration information then includes a description of the inverse geometric transformation of the geometric transformation associated with the pixels of the images intended for each of the two eyes as well as the field of vision associated with the helmet.
Le système immersif cible reçoit les données d'affichage directement capturées par le système de capture et leur applique la transformation géométrique décrite dans les informations de configuration pour retrouver des images aplanies destinées à l’œil gauche et à l’œil droit sans les déformations optiques souvent nécessaires pour l’affichage dans ce type de système immersif de type casque.The target immersive system receives the display data directly captured by the capture system and applies to them the geometric transformation described in the configuration information to find flattened images intended for the left and right eyes without optical distortions. often required for display in this type of immersive helmet type system.
Dans une forme de réalisation associée, le système immersif source est de type casque et le système immersif cible est également de type casque. La transformation réalisée par le système cible consiste alors à placer autour de l’observateur dans le système cible, dans un environnement virtuel, une fenêtre mouvante dans laquelle sont affichés les contenus en provenance du système source, la taille de la fenêtre étant fonction des caractéristiques du système source pour au moins correspondre au champ de vision rendu par ledit système source.In an associated embodiment, the source immersive system is of the helmet type and the target immersive system is also of the helmet type. The transformation carried out by the target system then consists in placing around the observer in the target system, in a virtual environment, a moving window in which the contents originating from the source system are displayed, the size of the window being a function of the characteristics. of the source system to at least correspond to the field of vision rendered by said source system.
Dans un premier mode de fonctionnement, la fenêtre est affichée tout le temps dans le champ de vision de l’observateur, imposant ainsi que sa position et son orientation dans l’environnement virtuel correspondent exactement à la position et orientation de l’utilisateur du système source dans le système source.In a first mode of operation, the window is displayed all the time in the field of vision of the observer, thus imposing that its position and its orientation in the virtual environment correspond exactly to the position and orientation of the user of the system. source in the source system.
Dans encore un autre mode de fonctionnement, seule la position de l’observateur dans le système cible est contrainte dans l’environnement virtuel. L’observateur peut orienter son regard dans n’importe laquelle des directions, même s’il ne perçoit le contenu visualisé par l’utilisateur du système source que quand les directions de regard de l’un et l’autre sont suffisamment proches.In yet another mode of operation, only the position of the observer in the target system is constrained in the virtual environment. The observer can direct his gaze in any of the directions, even if he perceives the content viewed by the user of the source system only when the gaze directions of one and the other are sufficiently close.
Pour assister l’observateur d’un système immersif cible dans le choix d’une direction d’observation dans un environnement virtuel dont il ne maîtrise pas toutes les conditions de la représentation, des représentations symboliques sont avantageusement superposées à la représentation visuelle de l’environnement virtuel représenté sur le système immersif cible pour apporter à l’observateur une aide à l’orientation et au choix d’une direction d’observation.To assist the observer of a target immersive system in the choice of a direction of observation in a virtual environment of which he does not master all the conditions of the representation, symbolic representations are advantageously superimposed on the visual representation of the virtual environment represented on the target immersive system to provide the observer with assistance in orienting and choosing an observation direction.
Ces représentations symboliques comportent par exemple la matérialisation graphique d’une sphère ou encore d’une grille associée à la représentation de surfaces horizontales, par exemple un sol, et ou verticales, par exemple un mur.These symbolic representations include, for example, the graphic materialization of a sphere or of a grid associated with the representation of horizontal surfaces, for example a floor, and or vertical, for example a wall.
De tels représentations symboliques, qui peuvent n’être matérialisées que temporairement, par exemple par une commande de l’observateur, ou dans certaines conditions, par exemple une évolution rapide des conditions d’observation du système source, apporte une assistance à l’observateur pour faciliter son choix de direction d’observation et pour retrouver sa position dans la scène virtuelle.Such symbolic representations, which may only be materialized temporarily, for example by an order from the observer, or under certain conditions, for example a rapid evolution of the observation conditions of the source system, provides assistance to the observer to facilitate its choice of direction of observation and to find its position in the virtual scene.
De tels éléments graphiques intégrés dans le champ de vision de l’observateur lui montreront dans quelle direction regarder pour retrouver l’image regardée par l’utilisateur, i.e. comment regarder dans la même direction.Such graphic elements integrated in the field of vision of the observer will show him in which direction to look to find the image watched by the user, i.e. how to look in the same direction.
Dans une variation de ce mode de réalisation, les données d'affichage des anciennes images affichées dans l’environnement virtuel dudit observateur peuvent mettre du temps à disparaître, permettant alors de superposer dans son champ de vision les contenus actuellement visualisés selon la direction de regard actuelle dudit utilisateur et les contenus antérieurement visualisés selon des directions de regard passées dudit utilisateur. Si ledit observateur ne regarde pas exactement dans la même direction que ledit utilisateur, il pourra ainsi percevoir une portion plus importante de l’environnement virtuel visualisé par ledit utilisateur.In a variation of this embodiment, the display data of the old images displayed in the virtual environment of said observer may take time to disappear, thus making it possible to superimpose in its field of vision the contents currently viewed according to the direction of gaze of said user and the contents previously viewed according to said user's past viewing directions. If said observer does not look exactly in the same direction as said user, he will be able to perceive a larger portion of the virtual environment viewed by said user.
Dans une autre forme de réalisation associée, le système source est de type casque et le système cible est un écran plat traditionnel, éventuellement stéréoscopique. Avantageusement, dans cette forme de réalisation, transformer les données d'affichage venant dudit casque en fonction des données de position et ou orientation venant dudit casque permet de positionner dans l’environnement virtuel du système cible la portion de contenu de l’environnement virtuel visible au travers du système d’affichage du système source de façon stabilisée, atténuant l’impact des mouvements de tête fréquents de l’utilisateur du système cible.In another associated embodiment, the source system is of the headphone type and the target system is a traditional flat screen, possibly stereoscopic. Advantageously, in this embodiment, transforming the display data coming from said helmet as a function of the position and or orientation data coming from said helmet makes it possible to position in the virtual environment of the target system the portion of content of the visible virtual environment. through the display system of the source system in a stabilized manner, mitigating the impact of the frequent head movements of the user of the target system.
Dans un mode de fonctionnement de cette forme de réalisation, la fenêtre de l’environnement virtuel du système immersif cible dans laquelle est affichée l’image correspondant à la portion d’environnement virtuel source visible est positionnée sur une forme géométrique assimilable à une sphère fixe et invisible centrée sur la tête de l’observateur, sa position à la surface de la sphère étant fonction de la direction de regard de l’utilisateur du système source, ladite fonction pouvant être linéaire ou non. Pour pallier au manque de système de positionnement sur un écran classique, la sphère peut tourner sur elle-même pour accompagner le regard de l’utilisateur du système immersif source quand cet utilisateur regarde dans une direction initialement située hors du champ du système d’affichage cible.In an operating mode of this embodiment, the window of the virtual environment of the target immersive system in which the image corresponding to the portion of visible source virtual environment is displayed is positioned on a geometric shape comparable to a fixed sphere. and invisible centered on the head of the observer, its position on the surface of the sphere being a function of the viewing direction of the user of the source system, said function possibly being linear or not. To compensate for the lack of positioning system on a conventional screen, the sphere can rotate on itself to accompany the gaze of the user of the source immersive system when this user looks in a direction initially located outside the scope of the display system. target.
Avantageusement, un tel fonctionnement donne le sentiment aux observateurs du système cible que l’environnement virtuel source est dévoilé au fur et à mesure que l’utilisateur du système source regarde dans des directions différentes, à la manière d’une lampe torche qui n’éclairerait à tout instant que la partie de l’environnement vers laquelle elle est pointée.Advantageously, such an operation gives the observers of the target system the feeling that the source virtual environment is revealed as the user of the source system looks in different directions, in the manner of a flashlight which does not would illuminate at all times that the part of the environment to which it is pointed.
Par extension aux formes de réalisation ci-dessus, le système immersif source peut aussi être un casque de visualisation de réalité augmentée, auquel cas l’environnement pris en compte par les moyens de capture dudit système source sont une combinaison des affichages virtuels et des images de la scène réelle, toutes deux surimposées.By extension to the above embodiments, the source immersive system can also be an augmented reality display headset, in which case the environment taken into account by the capture means of said source system are a combination of virtual displays and images. of the real scene, both superimposed.
Un avantage du procédé de l'invention est de corriger les images produites pour être affichées dans le système cible en fonction des modifications des conditions d'observation dans le système source pour le premier cas et dans le système cible pour le second cas.An advantage of the method of the invention is to correct the images produced to be displayed in the target system according to the changes in the observation conditions in the source system for the first case and in the target system for the second case.
Dans une forme de réalisation, si le système source produit des images stéréoscopiques de l'environnement immersif et que le système cible dispose de capacités d'affichage en stéréoscopie, avantageusement la transformation des données d'affichage du système source pour leur affichage sur le système cible réalise les transformations pour chacune des images correspondant à un œil gauche de l'utilisateur et des images correspondant à un œil droit de l'utilisateur.In one embodiment, if the source system produces stereoscopic images of the immersive environment and the target system has display capabilities in stereoscopy, advantageously transforming the display data of the source system for display on the system target performs the transformations for each of the images corresponding to a left eye of the user and of the images corresponding to a right eye of the user.
Dans une forme de réalisation, les moyens d’affichage du système immersif source sont virtuels, l’enjeu étant principalement de faire calculer les contenus à afficher sur un système immersif cible par les moyens de traitement numérique du système immersif source sans se soucier d’afficher les informations sur le système d’affichage du système immersif source. Avantageusement, le système immersif source peut utiliser comme position et orientation du calcul des données d'affichage la position et orientation de l’observateur dans le système immersif cible, qui parvient audit système source via les moyens de connexion réseau.In one embodiment, the display means of the source immersive system are virtual, the challenge being mainly to have the contents to be displayed on a target immersive system calculated by the digital processing means of the source immersive system without worrying about display information about the display system of the source immersive system. Advantageously, the source immersive system can use as position and orientation of the calculation of the display data the position and orientation of the observer in the target immersive system, which reaches said source system via the network connection means.
Dans un mode de fonctionnement de cette forme de réalisation, le système immersif source calcule une image adimensionnelle consistant en une projection à 360° de l’environnement virtuel, résultant en une image ou un ensemble d’images qui peut être transformée par le système immersif cible en prenant en compte l’écart entre la position utilisée par le système immersif source et la position effective de l’observateur dans le système immersif cible au moment de l’affichage de l’image.In one mode of operation of this embodiment, the source immersive system calculates an adimensional image consisting of a 360 ° projection of the virtual environment, resulting in an image or a set of images which can be transformed by the immersive system. target taking into account the difference between the position used by the source immersive system and the effective position of the observer in the target immersive system when the image is displayed.
Dans un autre mode de fonctionnement de cette forme de réalisation, le système immersif source calcule un ensemble de données d'affichage correspondant à la configuration géométrique du système d’affichage du système immersif cible. Les transformations réalisées par le système immersif cible prennent en compte l’écart entre la position utilisée par le système immersif source et la position effective de l’observateur dans le système immersif cible au moment de l’affichage de l’image.In another mode of operation of this embodiment, the source immersive system calculates a set of display data corresponding to the geometric configuration of the display system of the target immersive system. The transformations performed by the target immersive system take into account the difference between the position used by the source immersive system and the effective position of the observer in the target immersive system when the image is displayed.
Bien que l'invention ait été exposée de manière détaillée dans le cas de la mise en œuvre de systèmes d'affichage utilisant des écrans rectangulaires, ou carrés, et plats, un système immersif comportant d’autres formes d'écrans peut être mis en œuvre dans le dispositif et dans le procédé tant comme système source que comme système cible.Although the invention has been explained in detail in the case of the implementation of display systems using rectangular, or square, and flat screens, an immersive system comprising other forms of screens can be implemented. works in the device and in the process both as a source system and as a target system.
Par exemple il peut dans un système d'affichage être mis en œuvre un ou des écrans courbes. Dans ce cas, suivant l'invention, sont assurées les transformations nécessaires en prenant en compte les caractéristiques de courbure de la surface sur laquelle est, dans le cas du système source, ou doit être, dans le cas du système cible, affichée une image. L'invention peut, en particulier dans cette situation, adapter une image à une courbure différente entre un écran du système source et un écran du système cible, puisque le système de traitement associé au système cible dispose de toutes les informations géométriques associées au système source pour construire virtuellement exactement le même écran avec les mêmes courbures.For example, one or more curved screens can be implemented in a display system. In this case, according to the invention, the necessary transformations are ensured taking into account the curvature characteristics of the surface on which is, in the case of the source system, or must be, in the case of the target system, displayed an image . The invention can, in particular in this situation, adapt an image to a different curvature between a screen of the source system and a screen of the target system, since the processing system associated with the target system has all the geometric information associated with the source system. to virtually build the exact same screen with the same curvatures.
Dans une forme de réalisation, indépendamment du type de système immersif mis en œuvre comme système source, le système d'affichage d'un système immersif cible comporte un écran plat conventionnel unique, ayant le cas échéant des capacités d'affichage en stéréoscopie.In one embodiment, independently of the type of immersive system implemented as a source system, the display system of a target immersive system comprises a single conventional flat screen, possibly having display capabilities in stereoscopy.
Une telle forme de réalisation permet à plusieurs spectateurs de vivre en immersion sur le système cible une expérience de l’utilisateur en immersion sur le système source. Dans un mode de fonctionnement de cette forme de réalisation, position et orientation d'observation par l’utilisateur du système cible sont présupposés pour qu’ils correspondent à des position et orientation par défaut dans le système cible.Such an embodiment allows several spectators to live in immersion on the target system an experience of the user in immersion on the source system. In an operating mode of this embodiment, position and orientation of observation by the user of the target system are presupposed so that they correspond to position and orientation by default in the target system.
Dans une forme de réalisation alternative sur un modèle proche de la forme de réalisation précédente, le système d’affichage du système cible est un dispositif mobile ou transportable type tablette, smartphone ou ordinateur portable.In an alternative embodiment on a model close to the previous embodiment, the display system of the target system is a mobile or transportable device such as a tablet, smartphone or laptop.
Dans un mode de fonctionnement complémentaire applicable aux formes de réalisation précédente, le système d’affichage et le système de traitement du système immersif cible et ou du système immersif source sont associés à des équipements, généralement combinant des matériels et des logiciels, mis en œuvre pour interagir avec les représentations visuelles sur le système d’affichage, qui seront regroupés sous l’expression « moyens d’interaction >>. Ces moyens d’interaction peuvent être de toutes formes pour autant qu’ils permettent d’influencer, via le système d’affichage et ou le système de traitement, le contenu et ou le comportement des images. Ces moyens d’interaction, comprennent par exemple, de façon non exhaustive, des terminaux avec des capacités tactiles directes ou indirectes, un clavier, un pointeur tel qu’une souris ou une boule de poursuite, un dispositif de pointage 3D, un dispositif de pointage gyroscopique, des systèmes de suivi du regard... La fonction de gel des données d'affichage sur le système cible peut alors être activée grâce à ces moyens d’interaction et le ou les observateurs sur le système cible peuvent utiliser les moyens d’interaction dudit système cible pour pointer et ou annoter, avec un texte et ou avec des dessins et ou avec des symboles, à la surface de l’image gelée, puis enregistrer ces images annotées par une interface adaptée.In a complementary operating mode applicable to the preceding embodiments, the display system and the processing system of the target immersive system and or of the source immersive system are associated with equipment, generally combining hardware and software, implemented to interact with the visual representations on the display system, which will be grouped under the expression "means of interaction". These interaction means can be of any form as long as they make it possible to influence, via the display system and or the processing system, the content and or the behavior of the images. These interaction means include for example, in a non-exhaustive manner, terminals with direct or indirect tactile capacities, a keyboard, a pointer such as a mouse or a tracking ball, a 3D pointing device, a tracking device. gyroscopic pointing, gaze tracking systems, etc. The freeze function of display data on the target system can then be activated using these interaction means and the observer (s) on the target system can use the means of interaction of said target system to point and or or annotate, with text and or with drawings and or with symbols, on the surface of the frozen image, then record these annotated images by a suitable interface.
De telles possibilités d”interactions, pointages et d’annotations, sont avantageusement implémentées sur chacun des systèmes immersif source et cible de sorte que l’utilisateur sur le système cible et l’observateur sur le système source puissent en utiliser les capacités.Such interaction, pointing and annotation possibilities are advantageously implemented on each of the source and target immersive systems so that the user on the target system and the observer on the source system can use their capacities.
Dans un mode de mise en œuvre, les pointages et annotations réalisés sur un système immersif, cible ou source, sont également transmis par les moyens de communication sous la forme de données numériques à l’autre ou à plusieurs autres systèmes immersifs interconnectés de sorte que les pointages et les annotations, réalisées par un observateur ou par l’utilisateur, peuvent être incrustées dans les représentations visuelles affichées sur chacun des autres systèmes immersifs concernés.In one embodiment, the scores and annotations made on an immersive system, target or source, are also transmitted by the communication means in the form of digital data to the other or to several other immersive systems interconnected so that scores and annotations, made by an observer or by the user, can be embedded in the visual representations displayed on each of the other immersive systems concerned.
Pour simplifier les systèmes et éviter la mise en œuvre d'un dispositif de mesure de la position de la tête et des yeux d'un utilisateur ou d'un observateur, ces paramètres peuvent être estimés en fonctions de mesures ou d'observations plus ou moins précises, mais suffisantes pour obtenir une reconstruction de l'image de l'environnement immersif acceptable par l'observateur.To simplify the systems and avoid the implementation of a device for measuring the position of the head and eyes of a user or of an observer, these parameters can be estimated as a function of more or less measurements or observations. less precise, but sufficient to obtain a reconstruction of the image of the immersive environment acceptable to the observer.
Par exemple le système cible peut être un téléphone ordinateur dont l'écran forme le système d'affichage et dont une caméra sur la face avant dudit téléphone ordinateur assure, par une application logicielle dédiée, le suivi de la position de la tête ou des yeux de l'observateur.For example, the target system may be a computer telephone, the screen of which forms the display system, and a camera on the front face of said computer telephone, by means of a dedicated software application, tracks the position of the head or the eyes. of the observer.
Dans tous les cas, comme il est compris de la description détaillée d'un mode de réalisation, les paramètres des conditions d'observation source et cibles sont nécessaires à la formulation des transformations des images du système source en images cohérentes sur le système cible. Suivant que l'un ou l'autre des systèmes source ou cible, ou les deux, sont équipés ou non d'un système pour établir les valeurs variables des paramètres relatifs aux conditions d'observation, les valeurs du paramètre sont prises en compte ou à défaut sont prises à des valeurs présupposées fonction des moyens d'affichage et des conditions d'observation.In all cases, as is understood from the detailed description of an embodiment, the parameters of the source and target observation conditions are necessary for the formulation of the transformations of the images of the source system into coherent images on the target system. Depending on whether one or the other of the source or target systems, or both, are equipped or not with a system for establishing the variable values of the parameters relating to the observation conditions, the values of the parameter are taken into account or otherwise, values are assumed based on display means and observation conditions.
Par exemple, le système d’affichage du système immersif cible peut être un écran associé à des capacités tactiles comme moyens d’interaction. L’observateur peut alors utiliser ces moyens d’interaction pour modifier les paramètres de position et ou de direction d’observation et ainsi déterminer dynamiquement une position et ou une direction d’observation selon laquelle observer la représentation virtuelle de l’environnement immersif source. Les capacités tactiles peuvent être remplacées par un dispositif de type souris. Le contrôle d’affichage 2D ou 3D par ces moyens d’interaction étant bien connus de l’homme du métier. Les moyens d’interaction du système immersif cible permettent ainsi à l’observateur de contrôler un sous ensemble des conditions d’observation pour le système immersif cibleFor example, the display system of the target immersive system may be a screen associated with tactile abilities as means of interaction. The observer can then use these interaction means to modify the parameters of position and or direction of observation and thus dynamically determine a position and or a direction of observation according to which to observe the virtual representation of the source immersive environment. The tactile capacities can be replaced by a device of the mouse type. 2D or 3D display control by these interaction means being well known to those skilled in the art. The means of interaction of the target immersive system thus allow the observer to control a subset of the observation conditions for the target immersive system.
Avantageusement, selon l’invention, tous les types de systèmes immersifs décrits peuvent être combinés dans un dispositif plus ou moins complexe ne se restreignant pas à un unique couple système source / système cible.Advantageously, according to the invention, all the types of immersive systems described can be combined in a more or less complex device which is not limited to a single source system / target system pair.
L'invention peut également s'appliquer à différents types d'environnements virtuels. L'environnement virtuel peut être un environnement en trois dimensions.The invention can also be applied to different types of virtual environments. The virtual environment can be a three-dimensional environment.
L'environnement virtuel peut également être un environnement en deux dimensions représenté par des images fixes ou animées stéréoscopiques ou non.The virtual environment can also be a two-dimensional environment represented by fixed or animated images, stereoscopic or not.
Dans le cas d'images stéréoscopiques, la connaissance de propriétés de 5 l'appareil de prise de vue permet de restituer les proportions correctes pour l’observateur sur le système cible.In the case of stereoscopic images, knowing the properties of the camera makes it possible to restore the correct proportions for the observer on the target system.
Ainsi suivant le dispositif et le procédé de l'invention, il est obtenu de reproduire un environnement généré sur un système immersif source dans un ou plusieurs autres systèmes immersifs cibles sans transmettre nécessairement d'autres informations que celles correspondant aux données d'affichage générées par le système immersif source et à leurs conditions d'observation dans ledit système immersif source.Thus, according to the device and the method of the invention, it is obtained to reproduce an environment generated on a source immersive system in one or more other target immersive systems without necessarily transmitting information other than that corresponding to the display data generated by the source immersive system and their conditions of observation in said source immersive system.
Malgré les différences entre le système cible et le système source, l'environnement perçu par un utilisateur du système source est reproduit de manière cohérente vis à vis d'un observateur du système cible qui bénéficie ainsi de l'expérience d'immersion perçue par l'utilisateur du système source.Despite the differences between the target system and the source system, the environment perceived by a user of the source system is reproduced in a coherent manner with respect to an observer of the target system who thus benefits from the immersion experience perceived by the user. source system user.
Ce résultat est obtenu avec un niveau d'exigence minimal en termes de transmission de données et en termes de coût d'adaptation des systèmes existants.This is achieved with a minimum level of requirement in terms of data transmission and in terms of the cost of adapting existing systems.
Claims (15)
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1659160A FR3056770B1 (en) | 2016-09-28 | 2016-09-28 | DEVICE AND METHOD FOR IMMERSION SHARING IN A VIRTUAL ENVIRONMENT |
| SG11201810432YA SG11201810432YA (en) | 2016-04-27 | 2017-04-27 | Device and method for sharing an immersion in a virtual environment |
| EP17725317.6A EP3449340A1 (en) | 2016-04-27 | 2017-04-27 | Device and method for sharing an immersion in a virtual environment |
| PCT/FR2017/051004 WO2017187095A1 (en) | 2016-04-27 | 2017-04-27 | Device and method for sharing an immersion in a virtual environment |
| CA3022298A CA3022298A1 (en) | 2016-04-27 | 2017-04-27 | Device and method for sharing an immersion in a virtual environment |
| US16/096,906 US11727645B2 (en) | 2016-04-27 | 2017-04-27 | Device and method for sharing an immersion in a virtual environment |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1659160 | 2016-09-28 | ||
| FR1659160A FR3056770B1 (en) | 2016-09-28 | 2016-09-28 | DEVICE AND METHOD FOR IMMERSION SHARING IN A VIRTUAL ENVIRONMENT |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3056770A1 true FR3056770A1 (en) | 2018-03-30 |
| FR3056770B1 FR3056770B1 (en) | 2018-12-07 |
Family
ID=57583255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1659160A Active FR3056770B1 (en) | 2016-04-27 | 2016-09-28 | DEVICE AND METHOD FOR IMMERSION SHARING IN A VIRTUAL ENVIRONMENT |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3056770B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047711A (en) * | 2019-12-16 | 2020-04-21 | 山东东艺数字科技有限公司 | Immersive interactive Box image manufacturing method |
| WO2020128206A1 (en) * | 2018-12-21 | 2020-06-25 | Orange | Method for interaction of a user with a virtual reality environment |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160225189A1 (en) * | 2015-02-04 | 2016-08-04 | Seiko Epson Corporation | Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program |
-
2016
- 2016-09-28 FR FR1659160A patent/FR3056770B1/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160225189A1 (en) * | 2015-02-04 | 2016-08-04 | Seiko Epson Corporation | Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020128206A1 (en) * | 2018-12-21 | 2020-06-25 | Orange | Method for interaction of a user with a virtual reality environment |
| FR3090941A1 (en) * | 2018-12-21 | 2020-06-26 | Orange | Method of user interaction with a virtual reality environment |
| CN111047711A (en) * | 2019-12-16 | 2020-04-21 | 山东东艺数字科技有限公司 | Immersive interactive Box image manufacturing method |
| CN111047711B (en) * | 2019-12-16 | 2023-08-22 | 山东东艺数字科技有限公司 | Immersive interactive Box image manufacturing method |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3056770B1 (en) | 2018-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11838518B2 (en) | Reprojecting holographic video to enhance streaming bandwidth/quality | |
| US10527846B2 (en) | Image processing for head mounted display devices | |
| US8928659B2 (en) | Telepresence systems with viewer perspective adjustment | |
| US12026833B2 (en) | Few-shot synthesis of talking heads | |
| TWI813098B (en) | Neural blending for novel view synthesis | |
| WO2017187095A1 (en) | Device and method for sharing an immersion in a virtual environment | |
| CN115413353A (en) | Augmented reality recorder | |
| JP2022533714A (en) | Blended mode three-dimensional display system and method | |
| FR3056770A1 (en) | DEVICE AND METHOD FOR IMMERSION SHARING IN A VIRTUAL ENVIRONMENT | |
| BE1022580A9 (en) | Method of obtaining immersive videos with interactive parallax and method of viewing immersive videos with interactive parallax | |
| EP2987319A1 (en) | Method for generating an output video stream from a wide-field video stream | |
| FR3050834A1 (en) | DEVICE AND METHOD FOR IMMERSION SHARING IN A VIRTUAL ENVIRONMENT | |
| FR3066304A1 (en) | METHOD OF COMPOSING AN IMAGE OF AN IMMERSION USER IN A VIRTUAL SCENE, DEVICE, TERMINAL EQUIPMENT, VIRTUAL REALITY SYSTEM AND COMPUTER PROGRAM | |
| Nocent et al. | 3d displays and tracking devices for your browser: A plugin-free approach relying on web standards | |
| US20220232201A1 (en) | Image generation system and method | |
| FR3057430A1 (en) | DEVICE FOR IMMERSION IN A REPRESENTATION OF AN ENVIRONMENT RESULTING FROM A SET OF IMAGES | |
| Hristov | Research of Modern Technologies and Approaches for the Development of a Web-Based Information System for Visualization of Three-Dimensional Models... | |
| CN118585154A (en) | Cross-platform sharing of display content for electronic devices | |
| WO2024170830A1 (en) | Method for communicating data on a system for virtually trying on an accessory by a digitally represented living being | |
| CN118974686A (en) | Energy-efficient context-dependent processing for content | |
| FR3013492A1 (en) | METHOD USING 3D GEOMETRY DATA FOR PRESENTATION AND CONTROL OF VIRTUAL REALITY IMAGE IN 3D SPACE | |
| Swannack et al. | Assessment of Differences in Human Depth Understanding in Cube Displays Using Light-Field Displays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20180330 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |
|
| PLFP | Fee payment |
Year of fee payment: 9 |