CZ2015879A3 - A method of using the system for acceleration of visual feedback with a camera manipulator and the system for acceleration of visual feedback with a camera manipulator - Google Patents
A method of using the system for acceleration of visual feedback with a camera manipulator and the system for acceleration of visual feedback with a camera manipulator Download PDFInfo
- Publication number
- CZ2015879A3 CZ2015879A3 CZ2015-879A CZ2015879A CZ2015879A3 CZ 2015879 A3 CZ2015879 A3 CZ 2015879A3 CZ 2015879 A CZ2015879 A CZ 2015879A CZ 2015879 A3 CZ2015879 A3 CZ 2015879A3
- Authority
- CZ
- Czechia
- Prior art keywords
- camera
- image
- manipulator
- visual feedback
- control system
- Prior art date
Links
Landscapes
- Manipulator (AREA)
Abstract
Metoda a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru jsou určeny pro minimalizaci zpoždění mezi vydáním signálu o natočení kamerového manipulátoru a natočením výřezu obrazu o požadovaný úhel. Toho je dosaženo pomocí výřezu obrazu z kompenzačního obrazu a kompenzační oblastí. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3) pro použití způsobu zahrnuje řídicí systém (2) spojený s kamerou (4) umístěnou na kamerovém manipulátoru (3), zobrazovací jednotku (5) pro zobrazení určitého výřezu obrazu a ovladač (1) kamerového manipulátoru se snímačem pohybu, přičemž řídicí systém (2) je uzpůsoben pro zpracování signálu ze snímače pohybu a zpracování výstupu z kamery (4) vyznačující se tím, že kamera (4) je uzpůsobena pro snímání kompenzačního obrazu, přičemž zorné pole kompenzačního obrazu je o alespoň 5.degree. větší než zorné pole výřezu obrazu.The method and system for accelerating the visual feedback of the camera manipulator are intended to minimize the delay between issuing the camera manipulator rotation signal and rotating the image slice by the desired angle. This is achieved by using the image compensation image and the compensation area. A system for accelerating the visual feedback of the camera manipulator (3) for using the method comprises a control system (2) connected to the camera (4) located on the camera manipulator (3), a display unit (5) for displaying a particular image section and an actuator (1) a motion sensor camera manipulator, wherein the control system (2) is adapted to process the signal from the motion sensor and process the output from the camera (4), wherein the camera (4) is adapted to sense the compensation image, the field of view of the compensation image being o at least 5.degree. greater than the field of view of the image.
Description
Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru
j
Oblast techniky
Vynález se týká systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru, použitého například při přenosu obrazu z kamery umístěné na kamerovém manipulátoru do vzdálené helmy pro virtuální realitu.
Dosavadní stav techniky V současném stavu techniky jsou známy systémy a metody, ve kterých je mechanický kamerový manipulátor ovládán operátorem, především pak pohybem hlavy pomocí displeje rozšířené reality a snímače, jak je popsáno například v patentu Usj7^14j895 B2, kde popisují systém, kdy je kamera připevněna na robotické rameno a podle pohybů člověka, který vnímá scénu okolo robotického ramene prostřednictvím displeje pro virtuální realitu, který má nasazený na hlavě, pohybuje robotickým ramenem. Výše zmíněné systémy mají problém s časovým zpožděním natočení kamery a tedy i zpožděním posunu obrazu z kamery. To je způsobeno především tím, že například natočení hlavy musí být nejdříve změřeno na snímači, následně bývá obvykle zpracováno a zasláno do mechanického kamerového manipulátoru, zde jsou přes zpětnovazební regulátory aktivovány aktuátory, které konečnou rychlostí začnou otáčet kamerovou hlavicí. Po ustavení hlavice do správné polohy je teprve nasnímán obraz ze správného natočení kamerového manipulátoru a odeslán konečnou rychlostí (obvykle po zpracování) směrem k operátorovi, kde je mu zobrazen. Tím vznikne nesoulad mezi zobrazeným a požadovaným obrazem. V současnosti jsou známy způsoby softwarové stabilizace obrazu sloužící ke stabilizaci obrazu například rychlého pohybu nebo vibrací, jak je popsáno například v patentu Usjjjj89l|325 B2, kdy popisují způsob stabilizace obrazu vibrujících snímků, přičemž vyhodnocují, zda obraz vibruje a následně vyhodnocují o kolik stupňů a podle toho kompenzují tuto vibraci zobrazením pouze části obrazu, kdy okraj slouží jako kompenzační oblast.
Podstata vynálezu Výše uvedené nedostatky dosud známých řešení odstraňuje systém pro zrychlení vizuální zpětné vazby kamerového manipulátoru. Systém zahrnuje řídicí systém spojený s kamerou umístěnou na kamerovém manipulátoru, zobrazovací jednotku pro zobrazení určitého výřezu obrazu a ovladač kamerového manipulátoru se snímačem pohybu. Řídicí systém je uzpůsoben pro zpracování signálu ze snímače pohybu a zpracování výstupu z kamery. Podstata výhody spočívá v tom, že kamera je uzpůsobena pro snímání kompenzačního obrazu, zobrazujícího zorné pole o alespoň 5° větší než je zorné pole výřezu obrazu, čehož se dále využívá pro zrychlení vizuální zpětné vazby po vyslání signálu natočení kamerového manipulátoru o požadovaný úhel natočení. S výhodou se využívá, že zobrazovací jednotkou je kterékoliv zařízení ze skupiny brýle pro virtuální realitu, helma pro virtuální realitu, monitor. S výhodou se využívá, že ovladačem kamerového manipulátoru je kterékoliv zařízení ze skupiny joystick, helma pro virtuální realitu, brýle pro virtuální realitu, klávesnice, trackball, touchpad. S výhodou se využívá, že snímačem pohybu je kterékoliv zařízení ze skupiny akcelerometr, gyroskop, kapacitní snímač, indukční snímač, magnetometr, odporový snímač, optoelektrický snímač, mikrospínač. S výhodou se využívá, že kamera s kamerovým manipulátorem je umístěna na mobilním robotu. Ovladačem kamerového manipulátoru a zároveň zobrazovací jednotkou je helma pro virtuální realitu nebo brýle pro virtuální realitu. S výhodou se využívá, že řídicí systém se skládá z alespoň jedné řídicí jednotky. Výhodné použití systému pro zrychlení zpětné vazby spočívá vtom, že kamera v první poloze nasnímá kompenzační obraz, který následně předá do řídicího systému, jenž provede výřez obrazu z kompenzačního obrazu a následně zašle výřez obrazu do zobrazovací jednotky. Přičemž s výhodou je výřez obrazu minimálně o 5° menší než zorné pole kompenzačního obrazu. Výřez je ve statické poloze kamery centralizovaný. Oblast vzniklá okolo výřezu obrazu v kompenzačním obrazu je kompenzační oblast, určená pro zrychlení vizuální zpětné vazby. Vzniklý výřez obrazu je zaslán do zobrazovací jednotky a zobrazovací jednotka zobrazuje výřez obrazu. Polté co řídicí systém zpracuje signál o požadovaném úhlu natočení ze snímače pohybu, vyšle řídicí systém signál do kamerového manipulátoru a natočí kameru o požadovaný úhel natočení. A zároveň decentralizuje výřez zobrazovaného obrazu zobrazovací jednotkou, kde postupně zobrazuje výřez obrazu ve směru požadovaného pohybu kamery. Kompenzace zpoždění systému se tedy provede krátkodobým posunutím výřezu obrazu do kompenzační oblasti v požadovaném směru. S výhodou se dále používá krok centralizace výřezu obrazu z kompenzačního obrazu zobrazovaného zobrazovací jednotkou po natočení kamery do požadovaného úhlu.
Objasnění výkresů
Vynález bude dále objasněn pomocí výkresů, na kterých je na obr. 1 znázorněn tradiční systém s kamerovým manipulátorem a na obr. 2 systém s kamerovým manipulátorem pracující s výřezem obrazu a kompenzační oblastí z kompenzačního obrazu.
PříkladVovedemi vynálezu Příkladem provedení vynálezu je systém a metoda pro zrychlení vizuální zpětné vazby u kamerového manipulátoru, zahrnující řídicí systém 2, tvořený např. dvěma řídicími jednotkami, první řídicí jednotkou 6 a druhou řídicí jednotkou 7, jak je znázorněno na obr. 1 a obr. 2. K řídicímu systému 2 je na jedné straně připojena kamera 4 snímající zorné pole alespoň 90°, umístěná na kamerovém manipulátoru 3 připevněném na mobilním robotu nebo jiném, ať už stacionárním nebo pohyblivém kamerovém systému. A na druhé straně je k řídicímu systému 2 připojena zobrazovací jednotka 5, např. v podobě helmy virtuální reality obsahující displej se zorným polem alespoň 80°, alternativně může být zobrazovací jednotka provedena jako brýle virtuální reality nebo monitor. Dále je k řídicímu systému 2 připojen ovladač 1 kamerového manipulátoru, který může být např. v podobě helmy virtuální reality, joysticku, brýlí pro virtuální realitu, klávesnice, touchpadu nebo trackballu, přičemž ovladač i kamerového manipulátoru obsahuje snímač pohybu tvořený např. akcelerometrem, gyroskopem, kapacitním snímačem, indukčním snímačem, odporovým snímačem, optoelektrickým snímačem, magnetometrem nebo mikrospínačem vysílajícím signály o pohybu např. hlavy nebo ruky do řídicího systému 2. Kamera 4 snímá kompenzační obraz, který je poslán do řídicího systému 2, který provede ve středu kompenzačního obrazu výřez obrazu. Oblast vzniklá okolo výřezu obrazu v kompenzačním obrazu je kompenzační oblast. Řídicí systém 2 posílá výřez obrazu do zobrazovací jednotky 5. Při zaznamenání pohybu vyšle snímač pohybu signál o požadovaném úhlu natočení do řídicího systému 2, který ho zpracuje a na základě něho vyšle pokyn k natočení do kamerového manipulátoru 3 a zároveň začne posouvat výřez obrazu do kompenzační oblasti. Tato operace se děje decentralizováním výřezu obrazu v kompenzačním obrazu, díky čemuž se minimalizuje zpoždění mezi pokynem k natočení a natočením výřezu obrazu o požadovaný úhel natočení. Při natočení kamery 4 o požadovaný úhel natočení dojde k centralizaci výřezu obrazu.
Seznam vztahových znaceK 1 - ovladač kamerového manipulátoru 2 - řídicí systém 3 - kamerový manipulátor 4 - kamera 5 - zobrazovací jednotka 6 - první řídicí jednotka 7 - druhá řídicí jednotka
System for accelerating visual feedback on camera manipulator
j
Technical field
BACKGROUND OF THE INVENTION The present invention relates to a system for accelerating visual feedback in a camera manipulator used, for example, in transferring a camera image located on a camera manipulator to a remote virtual reality helmet.
BACKGROUND OF THE INVENTION [0002] Systems and methods are known in the art in which a mechanical camera manipulator is operated by an operator, in particular by motion of the head using an augmented reality display and a sensor, as described, for example, in U.S. Pat. the camera is mounted on a robotic arm and moves the robotic arm according to the movements of a person who perceives the scene around the robotic arm through the virtual reality display on his head. The above-mentioned systems have a problem with the time delay of the camera rotation and thus the delay of the camera image shift. This is mainly due to the fact that, for example, the rotation of the head must first be measured at the sensor, then it is usually processed and sent to a mechanical camera manipulator, where the actuators are activated via feedback controllers, which start rotating the camera head at the final speed. Once the head is in the correct position, the image of the camera is correctly rotated and sent at the final speed (usually after processing) to the operator where it is displayed. This creates a mismatch between the displayed and desired images. Currently, software image stabilization methods are known to stabilize the image of, for example, rapid motion or vibration, as described, for example, in U.S. Pat. accordingly, they compensate for this vibration by displaying only part of the image where the edge serves as a compensation area.
SUMMARY OF THE INVENTION The above-mentioned drawbacks of the known solutions are eliminated by a system for accelerating the visual feedback of the camera manipulator. The system includes a control system coupled to a camera mounted on the camera manipulator, a display unit for displaying a particular image slice, and a camera manipulator controller with a motion sensor. The control system is adapted to process the motion sensor signal and process the camera output. The essence of the advantage is that the camera is adapted to sense a compensation image showing a field of view of at least 5 ° greater than the field of view of the image, which is further used to accelerate the visual feedback after sending the camera manipulator signal to the desired angle of rotation. Preferably, the display unit is any device of the virtual reality glasses group, a virtual reality helmet, a monitor. Preferably, the camera manipulator controller is any device from the joystick group, virtual reality helmet, virtual reality goggles, keyboard, trackball, touchpad. It is advantageous that the motion sensor is any device from the group of accelerometer, gyroscope, capacitive sensor, inductive sensor, magnetometer, resistance sensor, optoelectric sensor, microswitch. It is preferred that the camera with the camera manipulator is located on the mobile robot. The virtual manipulator helmet or virtual reality goggles are both a camera manipulator driver and a display unit. Preferably, the control system is comprised of at least one control unit. The advantageous use of the feedback acceleration system is that the camera in the first position scans the compensation image, which then passes it to the control system, which cuts the image from the compensation image and then sends the image section to the display unit. Preferably, the section of the image is at least 5 ° smaller than the field of view of the compensation image. The cutout is centralized in the camera's static position. The area around the image cut-out in the compensation image is a compensation area designed to accelerate visual feedback. The resulting image section is sent to the imaging unit and the imaging unit displays the image section. After the control system processes the desired angle of rotation signal from the motion sensor, the control system sends a signal to the camera manipulator and rotates the camera by the desired rotation angle. And at the same time, it decentralizes the viewport of the displayed image by the display unit, where it gradually displays a section of the image in the direction of the desired camera movement. Thus, the system delay compensation is performed by briefly moving the image slice into the compensation area in the desired direction. Further preferably, the step of centralizing the image cut from the compensation image displayed by the display unit after rotating the camera to the desired angle is used.
Clarifying drawings
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 illustrates a conventional camera manipulator system and FIG. 2 a camera manipulator system with image cut and compensation area from a compensation image.
EXAMPLES OF THE INVENTION An embodiment of the invention is a system and method for accelerating visual feedback in a camera manipulator comprising a control system 2 formed by, for example, two control units, a first control unit 6 and a second control unit 7, as shown in FIG. 2. The control system 2 is connected on one side to a vision camera 4 sensing at least 90 °, located on a camera manipulator 3 mounted on a mobile robot or other, whether stationary or moving camera system. And, on the other hand, a display unit 5 is connected to the control system 2, e.g. in the form of a virtual reality helmet comprising a display field of at least 80 °, alternatively the display unit may be a virtual reality glasses or a monitor. Furthermore, a camera manipulator controller 1 is connected to the control system 2, which can be, for example, in the form of a virtual reality helmet, a joystick, a virtual reality goggles, a keyboard, a touchpad or a trackball, the controller and the camera manipulator comprising a motion sensor, e.g., an accelerometer, a gyroscope , a capacitive sensor, an inductive sensor, a resistive sensor, an optoelectric sensor, a magnetometer, or a microswitch transmitting, for example, head or hand motion signals to the control system 2. The camera 4 senses a compensation image that is sent to the control system 2 which performs in the center of the compensation image picture cutout. The area around the image cut-out in the compensation image is the compensation area. The control system 2 sends a section of the image to the display unit 5. When the motion is detected, the motion sensor sends a desired angle of rotation signal to the control system 2, which processes it and instructs it to rotate into the camera manipulator 3 while moving the image section into the compensator areas. This operation is done by decentralizing the image slice in the compensation image, which minimizes the delay between the rotation instruction and the image slice by the desired rotation angle. When the camera 4 is rotated by the desired rotation angle, the viewport is centralized.
List of Reference Marks 1 - Camera Manipulator Controller 2 - Control System 3 - Camera Manipulator 4 - Camera 5 - Display Unit 6 - First Control Unit 7 - Second Control Unit
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2015-879A CZ306641B6 (en) | 2015-12-09 | 2015-12-09 | A method of using the system for acceleration of visual feedback with a camera manipulator and the system for acceleration of visual feedback with a camera manipulator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2015-879A CZ306641B6 (en) | 2015-12-09 | 2015-12-09 | A method of using the system for acceleration of visual feedback with a camera manipulator and the system for acceleration of visual feedback with a camera manipulator |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CZ2015879A3 true CZ2015879A3 (en) | 2017-04-12 |
| CZ306641B6 CZ306641B6 (en) | 2017-04-12 |
Family
ID=58699392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CZ2015-879A CZ306641B6 (en) | 2015-12-09 | 2015-12-09 | A method of using the system for acceleration of visual feedback with a camera manipulator and the system for acceleration of visual feedback with a camera manipulator |
Country Status (1)
| Country | Link |
|---|---|
| CZ (1) | CZ306641B6 (en) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0637815B1 (en) * | 1993-08-04 | 2006-04-05 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| US7984995B2 (en) * | 2006-05-24 | 2011-07-26 | Smart Technologies Ulc | Method and apparatus for inhibiting a subject's eyes from being exposed to projected light |
| JP4436392B2 (en) * | 2007-09-07 | 2010-03-24 | 株式会社デンソー | Video processing device |
| WO2012064106A2 (en) * | 2010-11-12 | 2012-05-18 | Samsung Electronics Co., Ltd. | Method and apparatus for video stabilization by compensating for view direction of camera |
| JP5966341B2 (en) * | 2011-12-19 | 2016-08-10 | 大日本印刷株式会社 | Image processing apparatus, image processing method, program for image processing apparatus, and image display apparatus |
| CN104695311B (en) * | 2014-12-31 | 2017-03-22 | 广东光阵光电科技有限公司 | On-board monitoring method and system for road condition |
-
2015
- 2015-12-09 CZ CZ2015-879A patent/CZ306641B6/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| CZ306641B6 (en) | 2017-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11345042B2 (en) | Robot system equipped with video display apparatus that displays image of virtual object in superimposed fashion on real image of robot | |
| KR102358967B1 (en) | Systems and methods for control of imaging instrument orientation | |
| US20210177535A1 (en) | Systems and methods for controlling a robotic manipulator or associated tool | |
| JP6220961B2 (en) | Remote control system for work machines | |
| US9158305B2 (en) | Remote control system | |
| CN107430389B (en) | Ultra smart system user interface | |
| US20170224428A1 (en) | Dynamic input scaling for controls of robotic surgical system | |
| WO2011142165A1 (en) | Operation input device and manipulator system | |
| JP2012171088A (en) | Master operation input device, and master-slave manipulator | |
| JP6650710B2 (en) | Method for creating image for remote control in unmanned vehicle, and remote control system for unmanned vehicle | |
| US11510552B2 (en) | Medical system and operation method therefor | |
| US11618166B2 (en) | Robot operating device, robot, and robot operating method | |
| JP3482228B2 (en) | Manipulator control system by gaze detection | |
| CZ2015879A3 (en) | A method of using the system for acceleration of visual feedback with a camera manipulator and the system for acceleration of visual feedback with a camera manipulator | |
| JPH0421105A (en) | Stereoscopic teaching device for manipulator | |
| JP7321749B2 (en) | Boarding bridge and its control device | |
| US12114071B2 (en) | Image processing apparatus, system, image processing method, and image processing program | |
| JP2019198905A (en) | Image display device, image displaying method, and remote control system | |
| JP7321750B2 (en) | Boarding bridge control system | |
| JP7230626B2 (en) | robot equipment | |
| US11130241B2 (en) | Robot | |
| JP2020175453A (en) | Remote control device | |
| US20220214685A1 (en) | Remote operating device | |
| JP2023175264A (en) | Work support device, work support system, work support program, and work support method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Patent lapsed due to non-payment of fee |
Effective date: 20171209 |