ES2894549B2

ES2894549B2 - Sistema de realidad aumentada o realidad virtual con localizacion activa de herramientas, uso y procedimiento asociado

Info

Publication number: ES2894549B2
Application number: ES202030858A
Authority: ES
Inventors: Jurado Sergio Garrido; Torrecilla Pedro Gerardo Marquínez
Original assignee: Seabery Augmented Technology SL
Current assignee: SEABERY SOLUCIONES SL
Priority date: 2020-08-10
Filing date: 2020-08-10
Publication date: 2022-06-22
Anticipated expiration: 2040-08-10
Also published as: ES2894549A1; CN116075875A; KR20230051527A; JP2023539810A; AU2021323398A1; US20230316669A1; WO2022034252A1; EP4195182A1; EP4195182A4

Description

DESCRIPCIÓN

SISTEMA DE REALIDAD AUMENTADA O REALIDAD VIRTUAL CON LOCALIZACIÓN ACTIVA DE HERRAMIENTAS, USO Y PROCEDIMIENTO ASOCIADO

CAMPO DE LA INVENCIÓN

La presente invención se refiere, en general, a un sistema de realidad aumentada o virtual, y más concretamente, a un sistema que permite la interacción de un usuario con dicho sistema mediante una herramienta, estando esta última caracterizada por comprender medios ópticos de adquisición de información y por ser capaz de detectarse a sí misma.

ANTECEDENTES DE LA INVENCIÓN

Los sistemas modernos de realidad virtual (RV) o realidad aumentada (RA) requieren la localización tridimensional (traslación y rotación 3D) de diversos objetos de interés respecto a un sistema de referencia común. En primer lugar, es necesario conocer la posición del usuario en tiempo real para estimar su punto de vista y poder mostrar los gráficos adecuados a través de un visor de RA/RV. Para ello se debe realizar la localización del propio visor en el entorno. Si bien en general la realidad aumentada y la realidad virtual se consideran diferentes entornos inmersivos, en la presente invención se utilizarán indistintamente. De este modo, cualquier referencia realizada a realidad aumentada se considerará también referido a realidad aumentada, y viceversa.

Además, en muchos de estos sistemas se permite interactuar con objetos reales o usarlos como herramientas. Por tanto, también es necesario conocer la localización de estos objetos en tiempo real y respecto al mismo sistema de referencia. En muchos sistemas comerciales (Oculus, HTC Vive, etc.) estos objetos corresponden a los mandos del usuario que se mueven libremente y que permiten interactuar con el entorno virtual. Un ejemplo de estos sistemas es la solución Soldamatic, un simulador de soldadura de RA/RV en el que se localiza en tiempo real un visor (máscara de soldadura), una pieza de soldadura y una antorcha o varilla de soldadura.

También es conocida la patente estadounidense US 9,230,449, donde se divulga cómo se puede diseñar un sistema de RA/RV de entrenamiento para soldadura. Conociendo la posición relativa entre pieza y la antorcha/varilla se simula el proceso de soldadura y se muestra gracias a la localización de un visor.

La detección 3D de objetos en sistema de RA/RV se basa en el uso de sensores ópticos y no ópticos, que pueden clasificarse como sigue:

a) Sensores no ópticos:

1.Sensores electromagnéticos: Se basan en estimar la posición del objeto usando un emisor de campo magnético y analizando los cambios en el flujo producidos por el movimiento del objeto. Sus principales problemas son: área de trabajo reducido (limitada a las proximidades del emisor electromagnético), la sensibilidad a interferencias por objetos metálicos en el entorno, alto coste económico y no permite establecer un punto de referencia en el entorno de manera directa. Como ventajas, cabe destacar su precisión y la ausencia de problemas de oclusión.

2. Sensores inerciales: Se basan en el uso de giróscopos y acelerómetros para conocer la posición y rotación de un objeto. Su principal problema es que acumulan error rápidamente por lo que por sí solos no son usables en muchas aplicaciones. Tampoco permiten establecer un punto de referencia en el entorno de manera directa; son sensibles a interferencias magnéticas y requieren un postprocesamiento complejo. Normalmente se usan en combinación con otro tipo de sensores (por ejemplo, ópticos). Como contrapartida, son baratos, portables, de tamaño reducido y no tienen problemas de oclusión, además de permitir conocer dirección de aceleraciones, incluida la gravedad (permite conocer la posición vertical en el entorno).

3. Sensores mecánicos: Se basan en la medición directa de la posición de un dispositivo físico que el usuario puede mover a distintas localizaciones (por ejemplo, brazos o guantes hápticos). Su principal desventaja es que los movimientos están restringidos a los permitidos por el dispositivo físico, por lo que uso está muy limitado. Como ventajas cabe mencionar que son robustos a interferencias y no presenta problemas de oclusión.

b) Sensores ópticos: Constituyen el tipo de sensor más extendido y son fundamentales para la presente invención. Se basa en el uso de cámaras para estimar la posición de los objetos. En este tipo de sistemas se observan los objetos en el campo visual de las cámaras y se estima su posición mediante algoritmos de tipo PnP ("Perspective-n-Point ") o técnicas de triangulación estéreo o multivista. Normalmente se utiliza algún tipo de marcadores ópticos para facilitar la detección del objeto en la imagen (LEDs, esferas retroreflectivas, marcadores impresos cuadrados, etc.). En cualquier caso, el objeto debe ser visible desde la cámara por lo que no funciona cuando existen oclusiones.

En los sistemas actuales de RA/RV existen dos arquitecturas principales en función de donde se sitúen las cámaras:

a) Cámaras en posiciones fijas:

En estos sistemas las cámaras están fijas en un lugar del entorno, por ejemplo, en el techo. Es la configuración típica de sistemas de captura de movimiento (MoCap) y también usada en muchos productos comerciales de RV (HTC Vive, primeras versiones de Oculus, Miller Live Arc, etc.). Estas cámaras se utilizan tanto para localizar el visor del usuario como para localizar los objetos u herramientas.

Entre sus principales ventajas es relevante señalar:

-Precisión alta.

-Permiten establecer un punto de referencia en el entorno.

-Volumen de trabajo grande y escalable con mayor número de cámaras.

-Puede detectar a más de un usuario simultáneamente.

No obstante, esta arquitectura también presenta una serie de limitaciones:

-Los objetos de interés deben ser visibles, no admite oclusiones.

-El máximo volumen de trabajo está limitado por la cobertura de las cámaras. -Las cámaras no pueden moverse, el volumen de trabajo es estático.

-Los marcadores sobre los objetos deben ser suficientemente grandes y tener suficiente separación para ser detectados. No admite objetos pequeños.

-Los resultados más precisos y robustos se obtienen usando LEDs o similares. En estos casos es necesario aplicar algoritmos de identificación de marcadores que pueden ser complejos.

-Requiere un proceso de calibración del sistema cada vez que se modifica la instalación, es decir, cada vez que se mueven las cámaras.

b) Cámaras en el visor:

En este caso las cámaras se encuentran en el propio visor del usuario. Se estima directamente la posición de los objetos de interés respecto al visor. Algunos ejemplos comerciales son Oculus Quest, Microsoft Hololens o Soldamatic.

Las principales ventajas de esta arquitectura son dos:

-Permiten mayor versatilidad que el sistema de cámaras fijas, ya que las cámaras se mueven con el usuario. Es decir, el volumen de trabajo se mueve con el usuario.

-El proceso de calibración solo se realiza una vez.

Como contrapartida, sufre una serie de desventajas:

-La precisión es menor que en el sistema de cámaras fijas. La detección se puede ver afectada por el emborronado debido al movimiento ("motion blur”) o la posición / ángulo de detección de los objetos de interés (especialmente si no se utilizan marcadores LEDs o similares).

-Los objetos de interés deben ser visibles, no admite oclusiones. Esto es especialmente problemático con aquellas herramientas con forma cilindrica que se usan habitualmente en dirección perpendicular al usuario (pincel, electrodo de soldadura, etc.).

-Los marcadores sobre los objetos deben ser suficientemente grandes y tener suficiente separación para ser detectados. No admite objetos pequeños. Eso limita el tipo de herramientas que se pueden detectar sin aumentar su tamaño para añadir marcadores.

-El máximo volumen de trabajo está limitado por la cobertura de las cámaras. Según la configuración puede dar lugar a "puntos ciegos” donde no haya detección.

-Solo detecta un único usuario (el que equipa el visor).

De acuerdo a lo anterior, existe una limitación en las soluciones de RA/RV disponibles en el estado de la técnica, ya que para la aplicación de la herramienta es necesario que el usuario tenga en su campo de visión la región del objeto sobre la que dicha herramienta va a ser aplicada. No obstante, esto no siempre es posible (por ejemplo, cuando se producen oclusiones visuales) o deseable (por ejemplo, cuando el sistema RA/RV simula un sistema de soldadura a ciegas, para competiciones de "blind welding”). En estos casos, aunque el usuario no tenga visión de la zona a la que se aplica la herramienta, seria muy adecuado que el sistema RA/RV fuera capaz de simular de forma realista el resultado de dicha interacción entre herramienta y objeto.

No obstante, ninguno de los sistemas divulgados en el estado de la técnica permite esto.

DESCRIPCIÓN BREVE DE LA INVENCIÓN

La presente invención se enmarca en los sistemas para localización tridimensional de objetos en sistemas de realidad aumentada (RA) o realidad virtual (RV) y permite solventar las limitaciones del estado de la técnica mencionadas anteriormente. El sistema propuesto permite conocer en tiempo real la posición y rotación 3D de un objeto relativo a un sistema de referencia común.

Tal y como se ha mencionado en la sección anterior, existe una necesidad en el estado de la técnica de disponer de un sistema RA/RV con arquitectura de cámaras y visor que sea robusto ante oclusiones, además de permitir una simulación realista de la interacción entre herramienta y objeto en una región más allá de la región visible desde el visor RA/RV que porta el usuario. Si bien la invención se referirá principalmente a visores personales, tales como gafas, o cascos de RA/RV, se considerarán incluidos en el ámbito de interpretación de este término también cualquier monitor o pantalla (por ejemplo, pantalla de un ordenador, dispositivo móvil, tableta o televisor) que permita representar el entorno de RA/RV. Del mismo modo, si bien el presente documento se referirá genéricamente a un "usuario” del sistema, se entenderán comprendidos en este término tanto personas como mecanismos robóticos, tales como por ejemplo brazos robóticos.

Más concretamente, un objeto principal de la presente invención se refiere a un sistema de RA/RV operable por un usuario, donde dicho sistema comprende:

- un objeto que comprende uno o más marcadores ópticos dispuestos sobre el mismo;

- una herramienta apta para su utilización por parte del usuario, que ocupa una posición o recorre una trayectoria real en un espacio;

- un visor de RA/RV, apto para su utilización por parte del usuario.

- unos primeros medios ópticos de adquisición de información, preferiblemente ubicados en el visor de RA/RV;

- una unidad de procesamiento conectada a, al menos, la herramienta y al visor de RA/RV. Dicha unidad de procesamiento comprende los medios hardware/software necesarios y que un experto en la materia puede reconocer (una o más unidades centrales de procesamiento o CPUs, una o más unidades de procesamiento gráfico o GPUs, uno o más servidores, una o más aplicaciones móviles, etc.) y las conexiones (cableadas, inalámbricas, etc.) necesarias.

Dicho sistema está ventajosamente caracterizado porque:

- la herramienta comprende unos segundos medios ópticos de adquisición de información.

- los marcadores ópticos comprenden unos primeros marcadores codificados con información óptica apta para su adquisición por los primeros medios ópticos, y unos segundos marcadores codificados con información óptica apta para su adquisición por los segundos medios ópticos; y

- la unidad de procesamiento comprende medios software/hardware configurados para recibir la información adquirida por los primeros medios ópticos y/o por los segundos medios ópticos, procesar dicha información y calcular una trayectoria virtual que comprende información relativa a la posición ocupada o a la trayectoria real recorrida por la herramienta en el espacio.

La herramienta comprende, preferentemente, los segundos medios ópticos de adquisición de información, lo que hace que pueda localizarse activamente a sí misma; mientras que los primeros medios ópticos de adquisición de información comprenden cámaras pasivas para detectar al objeto. De este modo, el sistema está especialmente optimizado para aquellas situaciones en las que se quiere simular el uso de una herramienta que interactúa sobre otro objeto. Por ejemplo, una antorcha/varilla de soldadura sobre una pieza, un pincel sobre un lienzo, una pistola de pintura industrial, o un bisturí sobre un cuerpo.

En realizaciones preferentes del sistema de RA/RV, este comprende adicionalmente un trazo virtual que se representa en el visor de RA/RV a partir de la trayectoria virtual calculada en la unidad de procesamiento.

En realizaciones ventajosas del sistema, la herramienta comprende unos terceros marcadores ópticos equipados con información óptica apta para su adquisición por los primeros medios ópticos. De este modo, el sistema puede localizar la herramienta cuando esta no está mirando hacia el objeto.

En realizaciones particulares del sistema, los segundos medios ópticos comprenden una cámara endoscópica alojada en la herramienta. La ventaja de la cámara endoscópica es que es muy compacta y se amolda fácilmente a todo tipo de herramientas, particularmente aquellas con forma cilindrica.

En otras realizaciones del sistema, la herramienta comprende al menos un actuador conectado a la unidad de procesamiento. De esta manera, dicho actuador permite adquirir más información adicional aparte de la trayectoria que ha recorrido la herramienta, por ejemplo, el actuador puede ser sensible a la fuerza con la que el usuario lo presiona o al tiempo de pulsación. Otras realizaciones alternativas comprenden una pluralidad de actuadores en la herramienta.

En algunas realizaciones particulares, los primeros medios ópticos y/o los segundos medios ópticos del sistema comprenden una o varias cámaras.

En realizaciones preferentes del sistema, la herramienta comprende, adicionalmente, uno o más sensores no ópticos para mejorar su precisión y robustez. Por ejemplo, la herramienta puede incorporar sensores inerciales, hápticos, térmicos, mecánicos, electromagnéticos, etc.

En ciertas realizaciones del sistema, los marcadores ópticos (tanto los colocados en el objeto como los que van ubicados en la herramienta) comprenden marcadores artificiales tales como LEDs, códigos QR, códigos de barras, esferas retrorreflectivas, y/o marcadores impresos; asi como marcadores naturales tales como puntos característicos del objeto y/o herramienta (por ejemplo, las esquinas de los mismos pueden ser empleados como puntos característicos). En este sentido, se entenderá como “información codificada” a cualquier información óptica asociada o comprendida en el objeto, de forma natural o añadida al mismo, que pueda ser captada por los medios ópticos de adquisición, y analizada por la unidad de procesamiento.

En una realización preferente de la invención, el visor se encuentra alojado en una máscara de soldadura; la herramienta comprende una antorcha de soldadura y/o elementos de aporte de material. Dichos elementos de aporte de material comprenden preferiblemente varillas de soldadura o electrodos de soldadura. Además, el objeto comprende una pieza sobre la que se simula la aplicación de un consumible de soldadura en los puntos delimitados por el trazo virtual. De este modo, la invención proporciona un simulador de RA/RV apropiado para su uso didáctico en soldadura e incluso en soldadura a ciegas.

En realizaciones alternativas, la herramienta comprende una pistola de pintura industrial, un bisturí o unos guantes hápticos. De este modo, la invención se puede aplicar en simuladores didácticos en diversos campos, como soldadura, la pintura y la medicina.

En otras realizaciones, la herramienta comprende un brazo robótico. De este modo, el sistema puede emplearse para la simulación de procesos industriales, procedimientos quirúrgicos de alta precisión o cualquier otra aplicación que requiera el uso de dicho brazo robótico.

Como se ha mencionado, el principal campo de interés son los simuladores de RA/RV en los que sea necesario localizar herramientas para simular interacción entre objetos. Este tipo de simuladores son especialmente útiles en el ámbito académico ya que permiten practicar y aprender procesos que requieren habilidades manuales con las correspondientes ventajas de RA/RV (ahorro de material, prácticas ilimitadas, gamificación, entornos seguros, etc.).

Un uso preferente del sistema de la invención consiste en simulación de RA de soldadura o soldadura a ciegas. En otras realizaciones preferentes, el sistema es apto para su uso en simuladores de RA/RV de pintura, cirugía u odontología. En realizaciones alternativas, su uso podría extrapolarse a cualquier otro contexto, más allá de RA/RV, que requiera localización precisa entre dos objetos.

También forma parte de la patente el procedimiento para operar el sistema descrito con anterioridad, destinado al cálculo de una trayectoria virtual en sistemas de RA/RV y caracterizado porque comprende la realización de las siguientes etapas: - localización del objeto y la herramienta desde los primeros medios y/o los segundos medios ópticos.

- adquisición, mediante los primeros medios ópticos y/o los segundos medios ópticos, de información basada en el seguimiento de los marcadores del objeto y en la trayectoria recorrida por la herramienta en el espacio.

- procesamiento de dicha información en la unidad de procesamiento para calcular una trayectoria virtual.

- se repiten periódicamente las etapas anteriores. El tiempo de actualización tras el cual se repite el proceso dependerá totalmente de la aplicación. En algunas aplicaciones se requiere una actualización continua o en tiempo real del trazo virtual, mientras que en otras aplicaciones dicha actualización puede ser ajustada discrecionalmente por parte del usuario.

En otras realizaciones del procedimiento, donde la localización de la herramienta del procedimiento comprende adicionalmente la detección de los terceros marcadores ópticos. De este modo, la localización de la herramienta puede refinarse utilizando esta información adicional.

En otras realizaciones ventajosas de la invención, la etapa de adquisición comprende la captación de información adicional de la herramienta a través de al menos un actuador. Dicho actuador puede ser un gatillo, botón o similar que sea sensible al tiempo y a la fuerza con la que el usuario actúa sobre la herramienta, siendo esta información relevante para generar la trayectoria virtual.

En realizaciones preferentes del procedimiento, este comprende la estimación de: -la posición entre el visor de RA/RV y el objeto;

-la posición entre la herramienta y el objeto; y

-la posición entre el visor de RA/RV y la herramienta.

Finalmente, cabe destacar fortalezas del sistema objeto de la invención son las siguientes:

-La precisión no se ve afectada por el movimiento del visor o por el ángulo/distancia desde el que se observa la herramienta. Es decir, la precisión es independiente del punto de vista del usuario.

-Las herramientas en los que se sitúa la cámara no necesitan obligatoriamente marcadores ópticos para ser detectados por lo que se pueden detectar objetos de tamaño mucho menor.

Además, la invención cuenta con las ventajas propias de los sistemas ópticos con cámaras en el visor, tales como:

-El volumen de trabajo se mueve con el propio usuario.

-Permiten establecer un punto de referencia en el entorno.

-El proceso de calibración solo se realiza una vez.

-No tiene interferencias por la presencia de otros objetos.

-Procesamiento computacional bajo.

-Bajo coste económico.

Las ventajas mencionadas anteriormente se cumplen cuando la herramienta observa los segundos marcadores ópticos del objeto base. Cuando la herramienta sale de dicho campo de visión, la herramienta podría seguir detectándose (si se desea) mediante el funcionamiento del sistema óptico estándar con cámaras en el visor, siempre y cuando la propia herramienta tenga marcadores ópticos. Por ejemplo, si se quiere simular un pincel pintando sobre un lienzo, se colocaría una cámara en el pincel y en el lienzo se colocarían marcadores ópticos. Cuando la cámara del pincel está mirando al lienzo, se puede conocer la posición relativa del pincel independientemente del visor del usuario. Sin embargo, cuando el pincel no esté mirando al lienzo, no es posible localizarlo con la cámara que lleva incorporada. En este caso habría que usar las cámaras del visor que porta el usuario.

Hay que destacar que la situación en la que se quiere simular la interacción de una herramienta sobre otro objeto es un proceso bastante habitual en muchas tareas que son susceptibles de ser simuladas mediante RA/RV (por ejemplo, pistola de pintura industrial sobre una pieza, pincel sobre lienzo, bisturí sobre cuerpo, antorcha de soldadura sobre una pieza, etc.).

En resumen, la invención proporciona un sistema RA/RV que comprende cámaras en un visor de RA/RV, cuya principal ventaja es que no se ve afectado por oclusiones ya que hay otra cámara situada en la propia herramienta con la que se interactúa con el objeto. En particular, gracias a la invención los objetos y/o las herramientas no tienen que ser visibles desde el punto de vista del usuario. De esta manera, se pueden detectar dichos objetos/herramientas independientemente de la posición del visor; es decir, no existen problemas de oclusión ni puntos ciegos. De hecho, es posible interactuar con la herramienta sin que exista visor RA/RV, aunque se entiende que este visor es necesario para poder observar los resultados de la simulación en algún momento.

A lo largo del texto, la palabra "comprende” (y sus derivados) no deben ser entendidos de un modo excluyente, sino que deben ser entendidos en el sentido en que admiten la posibilidad de que lo definido pueda incluir elementos o etapas adicionales. Además, en el ámbito de la invención cuando se hace referencia a medios "ópticos” no se pretende limitar al espectro electromagnético "visible” , sino que cualquier porción del mismo puede ser utilizada (ultravioleta, infrarrojos, etc.). Asimismo, se entenderá el concepto de "información óptica” como cualquier elemento que comprenda información codificada que pueda leerse o adquirirse mediante medios de reconocimiento ópticos. Dicha información óptica podrá, por tanto, estar codificada en una pluralidad de soportes físicos (entre ellos los códigos QR, LEDs, imágenes, caracteres, códigos de barras, esferas retrorreflectivas, marcadores impresos, etc.) siempre que su reconocimiento o lectura pueda realizarse por medios ópticos (por ejemplo, una cámara). Por otro lado, cuando se refiera una "cámara” dicha nomenclatura no es limitativa, de manera que sería equivalente a cualquier dispositivo capaz de adquirir información en forma de imagen y/o vídeo. Asimismo, cuando se hace referencia a trayectoria "real” se hace referencia a que es una trayectoria en el espacio físico real, mientras que una trayectoria "virtual” hace referencia a una trayectoria en el espacio de realidad virtual o aumentada. Existe una relación entre ambas trayectorias, pero no son necesariamente iguales.

DESCRIPCIÓN DE LAS FIGURAS

Para completar la descripción de la invención se proporciona un conjunto de figuras, que forman parte integral de la descripción e ilustran una realización preferente de la invención. Dichas figuras deben interpretarse de modo ilustrativo, no limitativo, y se detallan a continuación.

La Figura 1 muestra la realización preferente de la invención en la que la herramienta es una antorcha de soldadura, que comprende una cámara digital endoscópica. Cabe destacar que en la pantalla del visor se representa el trazo virtual, en este caso en tiempo real, aunque la frecuencia con la que se muestra la simulación se puede adaptar en función de las prestaciones de los medios hardware/software de la cámara y la unidad de procesamiento.

La Figura 2 ilustra dos realizaciones particulares del visor, con una (Figura 2a) y dos (Figura 2b) cámaras incorporadas.

La Figura 3 muestra un detalle de la herramienta, donde se aprecia cómo la cámara endoscópica está dispuesta en el interior de la misma.

La Figura 4 representa los dos tipos de marcadores ópticos dispuestos sobre el objeto. Los marcadores más grandes están diseñados especialmente para ser observados desde el visor de RA/RV, mientras que los más pequeños son empleados principalmente por la herramienta.

La Figura 5 representa dos puntos de vista de los marcadores ópticos impresos en el objeto, desde la/s cámara/s del visor y desde la cámara de la herramienta.

La Figura 6 ilustra una realización particular de la herramienta que comprende unos terceros marcadores ópticos para facilitar su localización. Asimismo, la herramienta dispone de una empuñadura ergonómica y un gatillo cómodamente accionable por el usuario.

La Figura 7 muestra el concatenamiento de las transformaciones de las matrices de transformación rígida en 3D (D1, D2, D3), incluyendo información de la rotación y de la traslación, de los distintos elementos del sistema (herramienta, objeto y visor) para facilitar su localización.

Las citadas Figuras se acompañan de una serie de referencias numéricas, correspondientes a los siguientes elementos:

(1) Objeto (pieza).

(2) Herramienta (antorcha de soldadura, pistola de pintura industrial, bisturí, guantes hápticos, etc.).

(3) Visor de RA/RV.

(4) Primeros medios ópticos de adquisición de información (en el visor).

(5) Unidad de procesamiento.

(6) Segundos medios ópticos de adquisición de información (en la herramienta). (7) Primeros marcadores ópticos sobre el objeto (para el visor).

(8) Segundos marcadores ópticos sobre el objeto (para la herramienta).

(9) Terceros marcadores ópticos en la herramienta.

(10) Actuador en la herramienta (gatillo o similar).

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN

En la Figura 1 se muestra una implementación preferente de la invención, referida a un sistema de RA/RV diseñado para detectar un objeto (1) sobre el que un usuario actúa mediante una herramienta (2), sensible al movimiento que ejerce el usuario sobre ella y que también debe ser detectada por el sistema. El objeto (1) es, por lo general, de mayor tamaño que la herramienta (2). El usuario porta un visor (3) de RA/RV que le proporciona un campo de visión dentro de un espacio que comprende el objeto (1), la herramienta (2) y sus alrededores. Dicho visor (3) comprende, preferentemente, unos primeros medios (4) ópticos de adquisición de información (principalmente imagen, en esta realización), en particular, una o más cámaras (mostradas en la Figura 2). No obstante, en otras realizaciones de la invención los primeros medios (4) ópticos de adquisición pueden estar instalados o dispuestos sobre otros elementos (por ejemplo, sobre un trípode o soporte análogo), siempre que permitan proporcionar una perspectiva general del objeto (1), para la adquisición de información/imágenes del mismo.

El sistema comprende, adicionalmente, una unidad (5) de procesamiento, que dispone de los medios hardware/softwares necesarios para recibir la información, por ejemplo, las imágenes adquiridas desde el visor (3) de RA/RV y/o desde la herramienta (2). Además, dicha unidad (5) de procesamiento permite el almacenamiento de toda la información asociada a la simulación, para poder revisarla o analizarla posteriormente.

La principal ventaja de la invención es que la propia herramienta (2) comprende unos segundos medios (6) ópticos de adquisición de información (en particular, en la Figura 1 dichos medios comprenden una cámara endoscópica). Además, sobre el objeto (1) se colocan una pluralidad de marcadores ópticos (7, 8) que, a su vez, comprenden unos primeros marcadores (7) ópticos que permiten el seguimiento con los primeros medios (4) ópticos, y unos segundos marcadores (8) ópticos que permiten el seguimiento a través de los segundos medios (6) ópticos incorporados en la herramienta (2). En diferentes realizaciones de la invención, los primeros (7) y los segundos (8) marcadores pueden tener formas o propiedades iguales o diferentes, pudiendo asimismo coincidir parcial o totalmente.

En la realización preferente de la Figura 1, Los primeros marcadores (7), visibles desde el visor (3), son de mayor tamaño que los segundos marcadores (8) específicamente diseñados para ser visibles desde los segundos medios (4) ópticos. Tanto los primeros marcadores (7) como los segundos marcadores (8) ópticos están codificados con información óptica apta para su adquisición por medio de primeros medios (4) y/o los segundos medios (6), pudiendo ser dicha información óptica de alguno de estos tipos: etiquetas codificadas, códigos QR, imágenes, LEDs, caracteres o cualquier otra fuente de información susceptible de reconocimiento óptico.

En la Figura 1 el objeto (1) es una pieza en T de PVC (simulando ser una pieza de soldadura) y la herramienta (2) es una antorcha de soldadura. No obstante, en otras realizaciones preferentes el objeto (1) puede ser cualquier tipo de pieza, un lienzo o un cuerpo; y dicha herramienta (2) puede ser una pistola de pintura industrial, una herramienta de pintura artística, un bisturí, un destornillador, unos guantes hápticos, etc. En general, la herramienta (2) es más pequeña que el objeto (1), por lo que es un elemento que no siempre se observa de forma nítida desde el visor (3) de RA/RV, ya sea por oclusiones, por encontrarse en posición perpendicular o por ser especialmente pequeño. Por este motivo, el objeto (1) presenta una pluralidad de marcadores (7, 8) ópticos que faciliten la detección tanto desde la cámara de la herramienta (2), así como la detección desde las cámaras del visor (3) de RA/RV.

La unidad (5) de procesamiento está configurada para recibir las imágenes adquiridas por los primeros medios (4) y/o los segundos medios (6), procesarlas y calcular una trayectoria virtual. Posteriormente, esta trayectoria virtual se representa mediante un trazo virtual (2’) que se grafica en el visor (3) de RA/RV, estando dicho trazo virtual (2’) relacionado con la trayectoria real que ha recorrido la herramienta (2). Así, el sistema permite seguir y representar la interacción del usuario con el objeto (1) incluso en puntos que no pertenecen al campo de visión del visor (3). Por tanto, a la unidad (5) de procesamiento llegan las imágenes de todas las cámaras del sistema (entre ellas, las del visor (3) y las de la propia herramienta (2)), las cuales son procesadas para detectar los marcadores (7, 8) y así estimar la localización de los distintos elementos del sistema. La unidad (5) de procesamiento puede estar conectada de manera cableada al resto de elementos del sistema, o bien dicha conexión puede ser inalámbrica.

La Figura 3 ilustra en mayor detalle la herramienta (2) consistente en una antorcha de soldadura, tal y como se mostraba en la Figura 1, que tiene incorporada una cámara endoscópica alojada en su interior.

La Figura 4 representa los primeros marcadores (7) ópticos, optimizados para el visor (3) de RA/RV; y los segundos marcadores (8), diseñados específicamente para ser vistos por la herramienta (2). Cabe destacar que, en la realización particular de la invención orientada a soldadura, los segundos marcadores (8) se encuentran en la unión del objeto (1) donde se simula la aplicación de un consumible de soldadura. Puesto que en tal caso se pretende poder evaluar la calidad de la soldadura simulada a través de la trayectoria virtual y del trazo virtual (2’), se requiere que los segundos marcadores (8) sean más pequeños y estén más próximos entre sí para tener mayor resolución y facilitar el seguimiento efectuado por la unidad (5) de procesamiento. Además, no es necesario que los segundos marcadores (8) sean muy grandes, ya que la herramienta (2) trabaja preferentemente muy cercana a los mismos.

La Figura 5 muestra los distintos puntos de vista de las distintas cámaras: la cámara del visor (3) RA/RV localiza los primeros marcadores (7) ópticos mientras que la cámara de la herramienta (2) observa los segundos marcadores (8) ópticos. Los primeros marcadores (7) para estimar la posición desde el visor (3) de RA/RV deben ser visibles desde el mismo, como los que ya se usan en sistemas actuales. Se debe tener en cuenta la posibilidad de oclusiones, que deben ser visibles desde una distancia mayor, etc. Los segundos marcadores (8) para estimar la posición desde la herramienta (2) deben ser visibles desde la cámara de ésta. Por ejemplo, si la herramienta (2) va a trabajar a una distancia muy cercana de la pieza, los marcadores (7, 8) ópticos deberán tener un tamaño reducido para que sean visibles. Los marcadores (7, 8) ópticos del objeto (1) dependerán también de la aplicación: pueden ser marcadores impresos, esferas retroreflectivas, LEDs, etc. Sin embargo, deben permitir conocer la posición de la herramienta (2) desde el visor (3) de RA/RV usando el objeto (1) como intermediario. En el caso de la Figura 1, donde el sistema emula un caso de soldadura usando unos marcadores (7, 8) ópticos cuadrados, la herramienta (2) se usa desde una distancia cercana. Por ello, el objeto (1) tendrá una serie de segundos marcadores (7) ópticos discrecionalmente pequeños para ser detectados desde la herramienta (2) y unos primeros marcadores (8) de mayor tamaño para ser detectados desde el visor (3) de RA/RV. En cualquier caso, esta separación entre los marcadores (7, 8) ópticos no tiene por qué ser estricta. Se podrían usar los mismos marcadores (7, 8) para ambas estimaciones, desde la herramienta (2) y desde el visor (3) , si la aplicación lo permite.

La Figura 6 ilustra otra realización aún más ventajosa de la invención, donde la herramienta (2) comprende además unos terceros marcadores (9) ópticos y un actuador (10), en particular un gatillo, para que puede ser controlada cómodamente por el usuario. Los terceros marcadores (9) ópticos colocados en la propia herramienta (2) permiten que esta se pueda detectar desde el visor (3) de RA/RV cuando la herramienta (2) no está observando su área de trabajo (es decir, cuando no está mirando hacia los segundos marcadores (8) ópticos, los pequeños en este caso). Esto equivaldría a la detección estándar de herramientas en sistemas RA/RV. En el caso de simulación de soldadura, el actuador (10) permite emular la aplicación de un consumible de soldadura, de manera que el tiempo y la fuerza con la que dicho actuador (10) es operado permite modular la cantidad de consumible. En tal caso, el trazo virtual (2’) incluye información no sólo a las posiciones del espacio real que recorre la herramienta (2), sino también de la fuerza y la duración de la pulsación aplicada sobre el actuador (10). Posteriormente, gracias a que la unidad (5) de procesamiento también almacena toda la información asociada a la soldadura efectuada por el usuario, esta puede ser evaluada con posteridad (ya sea empleando la propia pantalla del visor (3) de RA/RV o medios de representación gráfica adicionales, como otro monitor), lo que es útil cuando el simulador se emplea con fines educativos. Así, se puede registrar los puntos de la trayectoria virtual donde se ha permanecido demasiado tiempo o se ha aplicado una cantidad excesiva de consumible.

Gracias a que la propia herramienta (2) comprende los segundos medios (6) ópticos de adquisición de información, la invención presenta estas ventajas:

-Permite posicionar la herramienta (2) respecto al objeto (1) independientemente de la posición del visor (3).

-La estimación entre la herramienta (2) y el visor (3) de RA/RV no se ve afectada por el punto de vista del visor (3).

-Se puede conseguir mayor precisión ya que generalmente la herramienta (2) está más cerca del objeto (1) que el visor (3) de RA/RV y presenta menos o ninguna oclusión entre ellos.

-Si el objeto (1) se detecta desde el visor (3), se puede conocer la posición de la herramienta (2) respecto al visor concatenando las matrices de transformación rígida de los distintos elementos: herramienta (2), objeto (1) y visor (3) de RA/RV. Por tanto, se puede seguir mostrando la herramienta (2) en RA/RV, aunque no sea detectada directamente desde el visor (3). Esto se ilustra en la Figura 7, en la que D1 es la transformación necesaria para proceder a la detección del objeto (1) respecto al visor (3) de RA/RV, D2 denota la transformación asociada a la detección del objeto (1) respecto a la herramienta (2); mientras que D3 es la concatenación de D1 y D2 y permite la detección de la herramienta (2) respecto al visor (3) de RA/RV.

-Si la herramienta (2) no puede localizarse respecto al objeto (1), como es el caso de que la herramienta (2) salga del campo de visión del visor (3) de RA/RV, esta se podría seguir detectando respecto al visor (3) siempre y cuando dicha herramienta (2) incluya los terceros marcadores (9) ópticos, tal y como se hace en los sistemas actuales de RA/RV.

La principal limitación del sistema propuesto es que el posicionamiento entre la herramienta (2) y el objeto (1) solo se puede estimar cuando la herramienta (2) está orientada mirando hacia el objeto (1). No obstante, en muchas aplicaciones es común que la herramienta (2) esté observando el objeto (1) durante gran parte del proceso o que sea durante este momento cuando más precisión y robustez se necesite. Por ejemplo, en el caso de que la invención se emplee como simulador de soldadura, la precisión y robustez en la localización de la herramienta (2) es necesaria cuando se está realizando la soldadura y la antorcha está mirando hacia el objeto (1). El resto del tiempo puede ser interesante que se detecte la herramienta (2) para mostrar información en la pantalla del visor (3) de RA/RV, pero no es crítico para la simulación. En cualquier caso, cuando la cámara de la herramienta (2) no está observando el objeto (1), la herramienta (2) se podría seguir detectando mediante las cámaras del visor (3) como ya se hace en los sistemas actuales, siempre y cuando la herramienta (2) también incluya los terceros marcadores (9) sintéticos.

En lo referente al tipo de cámara que comprende la herramienta (2), depende del tipo de aplicación y de los requisitos de la misma. Por ejemplo, algunas consideraciones que se podrían tener en cuenta:

-Si la herramienta (2) se usa desde una distancia corta, será necesaria una cámara con una distancia de enfoque reducida.

-Si la cámara se va a mover rápido, será necesario usar cámaras con mayor tasa de refresco para evitar desenfoque por movimiento.

-Si la herramienta (2) es pequeña se puede usar una cámara de tamaño reducido (por ejemplo, una cámara endoscópica).

-Si se quiere que la herramienta (2) sea inalámbrica, se podría usar un sistema de cámara inalámbrico.

Para cada aplicación existirá un proceso de diseño en el que se decida cuál es el mejor tipo de cámara para la herramienta (2), y en qué lugar de esta se situará; así como cuál es el mejor diseño de marcadores (7, 8) ópticos para el objeto (1). El objetivo de este diseño es optimizar la visibilidad de los marcadores (7, 8) ópticos desde la herramienta (2) a la vez que habilitar la detección del objeto (1) desde el visor (3) de RA/RV.

Otro aspecto importante que mencionar es la calibración del sistema, en particular, las cámaras. Al hacer la estimación independiente del visor (3) de RA/RV, los requisitos de calibración de las cámaras en el visor (3) no son tan exigentes, ya que la precisión y resolución de detalles más finos se obtienen gracias a la cámara incorporada en la propia herramienta (2). Sin embargo, sí es necesario realizar una calibración más exhaustiva de la cámara de la herramienta (2). Al igual que cualquier sistema óptico de detección, esta calibración cuenta con dos partes:

-Calibración intrínseca: distancia focal, centro óptico y parámetros de distorsión de la cámara.

-Calibración extrínseca: posición relativa de la cámara con respecto a la herramienta (2).

En otras realizaciones ventajosas de la invención, los segundos medios (6) ópticos de adquisición de información comprende una pluralidad de cámaras configuradas para proporcionar un sistema estéreo, multivista o similar y así proporcionar una mayor precisión y/o mayor área de trabajo de la herramienta (2).

En otras realizaciones de la invención, se combinan elementos y ventajas de varias de las distintas realizaciones preferentes referidas anteriormente.

Otro objeto de la invención se refiere al procedimiento para estimar la posición entre visor (3) de RA/RV y herramienta (2), que se va a denotar como P3. Para ello se requiere obtener la posición entre visor (3) de RA/RV y objeto (1), denominada P1 de aquí en adelante; así como la posición P2, referida a la posición entre la herramienta (2) y el objeto (1). El caso más sencillo de dicho procedimiento ocurre cuando la herramienta (2) carece de los terceros marcadores (9) ópticos. En tal caso, cada iteración (cuya duración va definida por el tiempo de actualización de la información que haya fijado el usuario) comprende la realización de los siguientes pasos (en cualquier orden técnicamente posible):

- Captura de imagen desde los primeros medios (4) ópticos de adquisición de información;

- Si se han detectado los primeros marcadores (7) ópticos, cálculo de P1 a partir de las posiciones de dichos primeros marcadores (7) ópticos. - Captura de imagen desde los segundos medios (6) ópticos de adquisición de información;

- Si se han detectado los segundos marcadores (8) ópticos, cálculo de P2 a partir de las posiciones de dichos segundos marcadores (8) ópticos.

- Si se han calculado P1 y P2, se combinan ambas posiciones para calcular P3, que nos permite ubicar la posición entre visor (3) de RA/RV y herramienta (2).

En realizaciones alternativas, la herramienta (2) comprende los terceros marcadores (9) ópticos y el procedimiento para estimar la transformación D3 comprende, además de los pasos indicados en el procedimiento anterior, la realización de los siguientes pasos:

-Si no se ha podido estimar P3 a partir de los pasos del procedimiento anterior (por ejemplo, debido a oclusiones) o si se quiere refinar la localización mediante el uso de los terceros marcadores (9) ópticos:

• Se detectan los terceros marcadores (9) ópticos mediante los primeros medios (4) ópticos de adquisición de información.

• Estimar u optimizar la posición P3 usando dicha información (imagen) adquirida.

-Si alguna de las posiciones P1, P2 o P3 no ha podido ser obtenida (por oclusiones, etc.), se estima la posición faltante a partir de la combinación de las otras dos.

Claims

REIVINDICACIONES

1.

- Sistema de realidad aumentada/virtual, RA/RV, operable por un usuario, donde dicho sistema comprende:

- un objeto (1) que comprende uno o más marcadores (7, 8) ópticos dispuestos sobre el mismo;

- una herramienta (2) apta para su utilización por parte del usuario, que ocupa una posición o recorre una trayectoria real en un espacio;

- un visor (3) de RA/RV;

- unos primeros medios (4) ópticos de adquisición de información;

- una unidad (5) de procesamiento conectada a, al menos, la herramienta (2) y al visor (3) de RA/RV;

donde dicho sistema está caracterizado por que

- la herramienta (2) comprende unos segundos medios (6) ópticos de adquisición de información;

- los marcadores (7, 8) ópticos comprenden unos primeros marcadores (7) codificados con información óptica apta para su adquisición por los primeros medios (4) ópticos, y unos segundos marcadores (8) codificados con información óptica apta para su adquisición por los segundos medios (6) ópticos; y

- la unidad (5) de procesamiento comprende medios software/hardware configurados para recibir la información adquirida por los primeros medios (4) ópticos y/o por los segundos medios (6) ópticos, procesar dicha información y calcular una trayectoria virtual que comprende información relativa a la posición ocupada o a la trayectoria real recorrida por la herramienta (2) en el espacio.

2.

- Sistema según la reivindicación anterior, que comprende adicionalmente un trazo virtual (2’) que se representa en el visor (3) de RA/RV a partir de la trayectoria virtual calculada en la unidad (5) de procesamiento.

3.

- Sistema según cualquiera de las reivindicaciones anteriores, donde la herramienta (2) comprende unos terceros marcadores (9) ópticos equipados con información óptica apta para su adquisición por los primeros medios (4) ópticos.

4.

- Sistema según cualquiera de las reivindicaciones anteriores, donde los segundos medios (6) ópticos comprenden una cámara endoscópica alojada en la herramienta (2).

5. - Sistema según cualquiera de las reivindicaciones anteriores, donde la herramienta (2) comprende un actuador (10) conectado a la unidad (5) de procesamiento.

6.

-Sistema según cualquiera de las reivindicaciones anteriores, donde los primeros medios (4) ópticos y/o los segundos medios (6) ópticos comprenden una o varias cámaras.

7. - Sistema según cualquiera de las reivindicaciones anteriores, donde la herramienta (2) comprende, adicionalmente, uno o más sensores no ópticos.

8.

- Sistema según cualquiera de las reivindicaciones anteriores, donde los marcadores (7, 8, 9) ópticos comprenden LEDs, códigos QR, códigos de barras, esferas retroreflectivas, marcadores impresos y/o puntos característicos.

9. -Sistema según cualquiera de las reivindicaciones anteriores, donde:

- el visor (3) de RA/RV se encuentra alojado en una máscara de soldadura;

- la herramienta (2) comprende una antorcha de soldadura y/o elementos de aporte de material; y

- el objeto (1) comprende una pieza sobre la que se simula la aplicación de un consumible de soldadura en los puntos delimitados por el trazo virtual (2’).

10.

- Sistema según las reivindicaciones 1-7, donde la herramienta (2) comprende una pistola de pintura industrial, un bisturí, un guante háptico, y/o un brazo robótico.

11.

- Sistema según cualquiera de las reivindicaciones anteriores, donde el visor (3) de RA/RV comprende unas gafas, una máscara, un monitor, y/o una pantalla de un dispositivo móvil.

12.

- Sistema según cualquiera de las reivindicaciones anteriores, donde los primeros medios (4) ópticos de adquisición de información están comprendidos en el visor (3) de RA/RV.

13.

- Uso de un sistema según cualquiera de las reivindicaciones anteriores, para la representación de entornos de RA/RV para simulación de técnicas de soldadura, de soldadura a ciegas, de pintura industrial, de procedimientos quirúrgicos y/u odontológicos.

14.

- Procedimiento para el cálculo de una trayectoria virtual en sistemas de realidad aumentada/virtual, RA/RV, que comprende el uso de un sistema según cualquiera de las reivindicaciones 1-12, caracterizado por que comprende la realización de las siguientes etapas:

- localización del objeto (1) y la herramienta (2) desde los primeros medios (4) y/o los segundos medios (6) ópticos;

- adquisición, mediante los primeros medios (4) ópticos y/o los segundos medios (6) ópticos, de información basada en el seguimiento de los marcadores (7,8) del objeto (1) y en la trayectoria recorrida por la herramienta (2) en el espacio;

- procesamiento de dicha información en la unidad (5) de procesamiento para calcular una trayectoria virtual;

- se repiten periódicamente las etapas anteriores.

15.

- Procedimiento según la reivindicación anterior, donde la localización de la herramienta (2) comprende adicionalmente la detección de los terceros marcadores (9) ópticos.

16.

- Procedimiento según la reivindicación anterior, donde la etapa de adquisición comprende la captación de información adicional de la herramienta (2) a través de al menos un actuador (10).

17.

- Procedimiento según cualquiera de las reivindicaciones 14-16, que comprende la estimación de:

-la posición entre el visor (3) de RA/RV y el objeto (1);

-la posición entre la herramienta (2) y el objeto (1); y

-la posición entre el visor (3) de RA/RV y la herramienta (2).