[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

EP2141674A1 - Assembly with device which can be controlled remotely - Google Patents

Assembly with device which can be controlled remotely Download PDF

Info

Publication number
EP2141674A1
EP2141674A1 EP20080075599 EP08075599A EP2141674A1 EP 2141674 A1 EP2141674 A1 EP 2141674A1 EP 20080075599 EP20080075599 EP 20080075599 EP 08075599 A EP08075599 A EP 08075599A EP 2141674 A1 EP2141674 A1 EP 2141674A1
Authority
EP
European Patent Office
Prior art keywords
remote control
control device
inputs
interpretation
arrangement according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP20080075599
Other languages
German (de)
French (fr)
Other versions
EP2141674B1 (en
Inventor
Ralf Kirchherr
Joachim Stegmann
Bernd Lochschmidt
Fred Runge
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Telekom AG
Original Assignee
Deutsche Telekom AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Telekom AG filed Critical Deutsche Telekom AG
Priority to EP08075599.4A priority Critical patent/EP2141674B1/en
Publication of EP2141674A1 publication Critical patent/EP2141674A1/en
Application granted granted Critical
Publication of EP2141674B1 publication Critical patent/EP2141674B1/en
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/31—Voice input
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices

Definitions

  • the invention relates to an arrangement with a remote-controlled device, wherein the arrangement next to the device to be operated remotely, preferably a device of entertainment electronics or for playback of media content, a remote control device for wireless operation of the aforementioned device. It relates to a solution which allows multimodal operation of the remote device by means of the associated remote control device.
  • Wireless remote controls have long been known and widely used in particular for the operation of consumer electronics and home appliance technology. Most commonly found are remote controls in which the respective device functions of the device to be operated by means of which they are controlled by means of buttons arranged on the remote control. The keys assigned to the respective keys for operating the associated device are converted in the remote control into a digital code and transmitted by modulating a carrier signal to a receiver of the remote-controlled device designed for this purpose. For coding, for example, the RC-5 code or the RC-6 code used in the aforementioned remote controls, which were developed starting from keyboard-controlled remote controls. The wireless transmission to the device to be operated is generally carried out by modulation of an infrared or a radio carrier signal. When operating a device using a keyboard, however, the natural human communication channels are not used. The operation of devices by means of appropriate remote controls is therefore designed for the user generally not very intuitive and not infrequently even creates considerable difficulties.
  • a remote control device which works at least bimodal.
  • the remote control device comprises, within a device, an at least bimodal input module, a module with an associated database for interpreting, for example, by means of speech and by movements of the remote control device inputs and a module for generating control signals on the basis of recognized during the interpretation commands.
  • the entire speech recognition and interpretation takes place within the remote control device, which preferably contains corresponding command memory for this input mode and at least one further input mode. Due to the derivation of the device operating control signals directly in the remote control device but their flexibility in terms of adaptation to different types of devices and device types is relatively limited.
  • a return channel between the device and the remote control device is intended to be designed to be hardly context-sensitive. This means that it is only possible to a limited degree to adapt the respectively provided operating functions to the context or to the current events in connection with a content respectively reproduced by the device. In that regard, a largely intuitive operation in terms of standardized and unchanging, that is static device functions possible, the provision of operating options with respect to dynamically changing states of the device to be operated or on dynamically changing, consumed with the device media content but not possible.
  • the object of the invention is therefore to provide a solution by which an intuitive Whye- electronic devices even better supported and, where appropriate, can be flexibly adapted to changing circumstances.
  • a corresponding arrangement is to be specified, which comprises a wireless remote control device.
  • the proposed arrangement for solving the problem consists of a fernbedienenden device and a remote control device for multimodal, wireless remote control of the aforementioned device.
  • the arrangement has at least means for wireless communication between the remote control device and the device to be operated with it, on or in the remote control device arranged input means for receiving inputs in at least two different input modes, at least one digitizing unit for digitizing received input, at least one interpretation unit for interpretation the converted into digital data inputs and at least one control unit for deriving control signals from in the course of the interpretation of inputs detected operating commands and to control corresponding actuators of the operated device on.
  • At least one of the aforementioned two input modes of the arrangement is a mode for voice input or a mode for inputs made by a movement of the remote control device.
  • the above-mentioned means for wireless communication may be, in particular, infrared transmitters and receivers or transmitters and receivers for radio-supported transmission of data, for example according to the Bluetooth standard.
  • the at least one interpretation unit is arranged for the interpretation of voice inputs or for the interpretation of entries made by the movement of the remote control device in the device to be operated itself. Speech or movement inputs are thereby merely digitized in the remote control device by means of the at least one digitizing unit arranged in it and the digital data thus obtained are transmitted by a transmitter of the remote control device as a digital data stream to a receiver of the device to be remotely operated. Only then does the interpretation of the inputs then take place, ie their conversion into operating commands first and then the derivation of the control signals from the operating commands with which the corresponding actuators in the device to be operated are activated.
  • the latter actuators are, for example, function groups for adjusting the volume or parameters of a screen, such as contrast or color saturation, or else functional groups for switching a reproduced program.
  • the device to be remotely operated can be, for example, a television set, a stereo system, a satellite receiver, a set-top box or a DVD player.
  • the corresponding device according to the invention is equipped with a unit of interpretation, by means of which a spoken word representing Data stream or a movement of the remote control device representative data stream are interpreted and as far as possible, a corresponding with the data stream operator command is derived.
  • the optionally recognized operating command is transferred by the interpretation unit to the at least one control unit likewise arranged in the device to be operated for deriving the required control signals.
  • the interpretation unit unlike the prior art, is arranged in the device to be operated, provides significantly greater flexibility in the interaction between the remote control device and the device to be remotely operated.
  • speech or motion input can be interpreted completely differently by the respective device.
  • this extended possibilities for updating existing from the remote control device and the remote device arrangement are given. So it is already known today to transmit software or firmware updates for receivers or set-top boxes via satellite or cable to the devices.
  • the invention opens up the possibility of applying the corresponding update functions also to the interaction between the remote control device and the device. If new functions are made available as part of an update to the device, an update of the interpretation unit can be made in this context, so that the corresponding functions can be addressed directly and in the usual intuitive manner via the remote control device.
  • both input means for receiving voice inputs and input means for receiving inputs in the form of movements of the remote control device are arranged in or on the remote control device.
  • the at least one unit is for the interpretation of both voice and movement inputs in the device to be operated arranged, which may be a common interpretation unit with respect to all operating modes, or may each be one or more units.
  • the input means for voice input is at least one microphone, while at least one acceleration sensor is arranged in the remote control device as input means for the movement input.
  • the arrangement is also designed so that in addition to an operation of the device by voice or movement input at least selected functions can be operated in the usual way via a keyboard of the remote control device.
  • An arrangement formed with a voice input mode or with both a voice input and a motion input mode is preferably configured such that the input means for receiving voice input arranged on or in the remote control device can be activated by means of a key provided for this purpose on the remote control device.
  • the corresponding input means are activated for the duration of the actuation of the abovementioned key (hereinafter also referred to as push-to-talk key) or until it is actuated again.
  • push-to-talk key the duration of the actuation of the abovementioned key
  • the previously described embodiment can advantageously be further developed in that, during the actuation of the push-to-talk key, a muting of the acoustical signals possibly reproduced by the operated device takes place.
  • a muting of the acoustical signals possibly reproduced by the operated device takes place.
  • a further improvement of the reliability in the recognition of voice input is achieved by a special development of the inventive arrangement equipped with a voice input unit.
  • a voice control mode is used to control basic functions with a static instruction set and a Speech mode with a dynamically changing instruction set for contextual operation of the device to be operated remotely.
  • the first mode to use basic functions, such as the on and off
  • the language space (vocabulary and phrases) covered by a first grammar serving the interpretation of static operating functions is static, while the speech inputs that can be interpreted with the aid of the second grammar dynamically adapt to the respective context and correspondingly, for example, with the aid of the Electronic Program Guide be modified.
  • the invention is designed such that after activation of the extended operating mode and the execution of an operating function possible by means of this mode, the arrangement immediately switches back to the first static operating mode or deactivates the extended operating mode.
  • Another particularly advantageous embodiment of the invention is designed so that it allows a so-called voice-zapping.
  • the operator it is possible for the operator to address selectively selected program contents by linguistically indicating a particular genre and to cause the operated device to switch over to such a program content.
  • the voice command "Sport” could be a satellite receiver designed according to the invention to switch to a sports program.
  • a user of the arrangement according to the invention would like to see on television a certain program known to him from the title, but he is not immediately aware of which station this is being broadcast.
  • the switch is made possible on the transmitter concerned, if the desired program is currently running and, if appropriate, within a period of time stored in the interpretation unit by means of an update before the start of the program.
  • the advantage of a given arrangement of the interpretation unit or units in the device to be operated and the associated higher operating flexibility is very clear.
  • a context-related or context-sensitive operation in the sense of the previously explained is only possible by the inventive arrangement of the at least one interpretation unit in the device to be operated or in the device served.
  • the remote control device of the arrangement according to the invention has an input mode for operation by a movement of the remote control device
  • such an embodiment is preferably further developed in that the corresponding input mode only during and for the duration of pressing a dedicated button (hereinafter also motion control ) or until the motion control button is pressed again.
  • a dedicated button hereinafter also motion control
  • the operation of the associated device by the movement of the remote control device enabling arrangement can also be designed such that it allows a so-called "EasyOn / EasyOff".
  • the device to be operated is turned off by turning a side of the remote control device which is recognizable as the top side down or placing the remote control device on the table with this side downwards becomes. The turning of the remote control device on its back accordingly causes the switching of the device to be operated.
  • the interaction between the remote control device and the device to be operated is designed such that continuously adjustable device functions, such as the volume setting for the sound reproduction or the contrast adjustment for the image reproduction, can be controlled by a rotary movement of the remote control device.
  • the remote control device of the arrangement according to the invention is also preferably equipped with a display.
  • active operating modes of the remote control device can be displayed or else visual feedbacks with which the remote-controlled device acknowledges the actuation of selected functions can be reproduced.
  • the remote control device can also be equipped with means for acoustic feedback (loudspeaker) or haptic feedback (vibration unit).
  • the Fig. 1 shows a rough diagram or block diagram of a possible embodiment of the arrangement according to the invention.
  • the arrangement consists of the remote control device 1 and the device 2 to be remotely operated with it, for example a set-top box.
  • the arrangement comprises means for wireless communication 6, 7 between the remote control device 1 and the device to be operated 2, namely an infrared transmitter 6 on the remote control device 1 and a Infrared receiver 7 on the device 2, arranged in the remote control device 1 digitizing unit 11, arranged according to the invention in the device to be operated 2 interpretation unit 3 for interpreting inputs of different input modes, a control unit 4 and a plurality of actuated by the control unit by means of appropriate control signals actuators. 5 on.
  • the arrangement shown in the example has three input modes.
  • corresponding input means 8, 9, 10 are provided in or on the remote control device 1.
  • the remote control device 1 shown in the example has a keyboard 10 for receiving keystrokes, a microphone 8 for receiving voice input and an acceleration sensor 9 arranged in the remote control device 1 for accepting movement inputs made by movements of the remote control device 1.
  • the inputs made by a user of the arrangement by operation or use of the input means 8, 9, 10 become a digital input via the infrared transmitter 6 on the remote control device 1 in the direction of the device 2 to be operated after being received by the remote control device 1 in the digitizer 11 radiated data stream converted.
  • the corresponding data stream is received by the infrared receiver 7 of the set-top box 2.
  • a function group 21 belonging to the interpretation unit 3, a signal converter and distributor the received digital data are separated according to their origin from the speech input means 8, the input means 8 for movement inputs and the keyboard 10 and to the actual interpretation of different function groups 12, 16, 17 supplied to the interpretation unit 3.
  • a first function group 16 the interpretation of movement inputs, that is, by horizontal or vertical movement or rotation of the remote control device 1 inputs made. The interpretation takes place in such a way that the signals received due to movements of the remote control device 1 are analyzed in the corresponding function group 16 and with them corresponding operating commands are determined, where they are checked for compliance with possible, held in a command memory 18 operating commands.
  • a function group 12 for the interpretation of speech signals.
  • they are analyzed by means of a speech recognizer 15 (ASR - Automatic Speech Recognition) on the basis of two different held in the function group grammars 13, 14 and derived from them, if possible, an operating command according to the specifications of the command memory 18.
  • the two aforementioned grammars 13, 14 are a first grammar 13 containing a vocabulary for activating static operator commands.
  • a second grammar 14 is provided, whose vocabulary used in speech analysis on the data resulting from the speech input is context-dependent and thus dynamic.
  • the adaptation of the vocabulary to the context takes place with the aid of the EPG 22 (Electronic Program Guide).
  • the EPG 22 obtains its data from, for example, the backend, that is, an Internet server 23, a content providing provider via the Internet 24, and / or by receiving corresponding data via a satellite system.
  • the interpretation of keyboard input is performed by these are mapped to 18 according to the specifications of the command memory possible operating commands.
  • the operating commands determined using the individual input modes are supplied to the control unit 4, which derives control signals from them and with these control signals actuators 5 of the device, in the example a function group 5 'for volume control, a function group for program selection 5 "and / or a function group 5"'for setting screen parameters, such as brightness and / or contrast, controls.
  • a crucial aspect of the invention is the The fact that the manner in which operator inputs made in the individual input modes are interpreted and converted into control signals for the device to be operated is determined by the respectively operated device 2 itself, namely the at least one interpretation unit 3 arranged in it. In this case, the firmware of the corresponding interpretation unit 3 in the way of the update, for example by transmission via the satellite channel, to be changed and thus the functionality of the device 2 are adapted to different circumstances.
  • the means 6, 7 for wireless communication arranged on the remote control device 1, on the one hand, and the device 2, on the other hand, may optionally also be designed in each case as a combination of infrared transmitter and infrared receiver and thus bidirectionally. If, in addition, appropriate means, such as a display, a loudspeaker or a vibration unit are arranged in the remote control device, using this bidirectionality, a feedback or a response of the device to operator inputs, such as an acknowledgment of inputs or a warning in case of incorrect entries done ,
  • the Fig. 2 shows again a schematic representation of the remote control device 1.
  • This has, according to the previously explained example, inter alia, an input mode for controlling device functions of the device 2 by movements of the remote control device 1.
  • a basic, controllable by this input mode device function is the switching on and off of the device. This can be configured by using movement inputs in the manner as "EasyOn” and “EasyOff” that the placing of the remote control device 1 on its back or on the "back” (see a) causes the device 2, while the laying of the Remote control device 1 on the front or on the "belly” (see b) leads to turn off the device 2, which may also be actuated by the user in addition, the motion control button 20 during movement of the remote control device.
  • placing the remote control in an upright position (with the head or the acceleration sensor 9 Down - Upright Position), for example, can be used to enable the Timeshift function of the Set-Top-Box, which halts the current media stream and allows playback at a later time, for example when the remote is again one of the Upright Position occupies different position.
  • the gestures of the user are detected by means of a three-axis acceleration sensor 9, which detects the position of the remote control device 1 relative to the gravitational acceleration. This allows you to detect the deflection angles 'Pitch' (rotation around the horizontal X-axis) and 'Roll' (rotation around the horizontal Y-axis) (see Fig. 2 ).
  • a deflection of the remote control device for pitch and roll in the range of -180 to +180 degrees is detected.
  • the motion control key 20 can not only be used to navigate the on-screen cursor within the on-screen menu.
  • the selected menu items in the on-screen menu can also be activated with the motion control key 20, so that a separate confirmation key can also be dispensed with ("One Button_Navigation").
  • One Button_Navigation "One Button_Navigation"
  • Only one key is required to control the on-screen menu and the user does not have to differentiate between different printing directions with his finger or thumb, as is usually the case with conventional 5-way keys.
  • the distinction between navigation and confirmation is based on the time duration during which the motion control key 20 was pressed. A short click on the motion control key 20 is considered as confirmation, while a long press on the motion control key 20 activates the horizontal and vertical navigation of the on-screen cursor.
  • the DiffMCclick threshold is so small that the user can do virtually no navigation during the short DiffMCclick period.
  • Typical values are, for example, a few hundred milliseconds.
  • the motion control can be used beyond the control of the on-screen menu also for stepless control of other system parameters, such as the volume or brightness.
  • the desired system size can be changed at any speed, similar to an analog rotary control.
  • a previously issued voice command for example, 'volume' or 'brightness', 'contrast'
  • the respective system parameter can also be selected, which is then subsequently to be regulated via the motion control.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)

Abstract

The arrangement has an interpretation unit (3) for interpretation of speech inputs and for interpretation of inputs occurring through the movement of a remote control device (1). A device (2) i.e. set-top-box, to be remotely controlled is arranged in the remote control device. Speech- or movement inputs are digitalized by a digitalizing unit (11) in the remote control device. The digital data included in the digitalizing unit are transferred as digital data stream to a receiver (7) of the device to be remotely controlled by a transmitter (6) of the remote control device.

Description

Die Erfindung betrifft eine Anordnung mit einem fernbedienbaren Gerät, wobei die Anordnung neben dem fernzubedienenden Gerät, vorzugsweise einem Gerät der Unterhaltungselektronik beziehungsweise zur Wiedergabe medialer Inhalte, eine Fernbedienungseinrichtung zur drahtlosen Bedienung des vorgenannten Geräts umfasst. Sie bezieht sich auf eine Lösung, welche eine multimodale Bedienung des fernzubedienenden Geräts mittels der zugehörigen Fernbedienungseinrichtung ermöglicht.The invention relates to an arrangement with a remote-controlled device, wherein the arrangement next to the device to be operated remotely, preferably a device of entertainment electronics or for playback of media content, a remote control device for wireless operation of the aforementioned device. It relates to a solution which allows multimodal operation of the remote device by means of the associated remote control device.

Drahtlose Fernbedienungen sind insbesondere zur Bedienung von Geräten der Unterhaltungselektronik und der Hausgerätetechnik seit langem bekannt und sehr verbreitet im Einsatz. Am häufigsten anzutreffen sind dabei Fernbedienungen, bei welchen die jeweiligen Gerätefunktionen des mit ihrer Hilfe zu bedienenden Geräts mittels auf der Fernbedienung angeordneter Tasten gesteuert werden. Die den Tasten jeweils zugeordneten Kommandos zur Bedienung des zugehörigen Geräts werden in der Fernbedienung in einen digitalen Code umgesetzt und durch Modulierung eines Trägersignals an einen dafür ausgebildeten Empfänger des fernzubedienenden Geräts übertragen. Zur Codierung werden bei den vorgenannten Fernbedienungen beispielsweise der RC-5-Code oder der RC-6-Code verwendet, welche ausgehend von tastaturgesteuerten Fernbedienungen entwickelt wurden. Die drahtlose Übertragung an das zu bedienende Gerät erfolgt im Allgemeinen durch Modulation eines Infrarot- oder eines Funkträgersignals. Bei der Bedienung eines Geräts mittels einer Tastatur werden jedoch die natürlichen menschlichen Kommunikationswege nicht genutzt. Die Bedienung von Geräten mittels entsprechender Fernbedienungen gestaltet sich daher für den Nutzer im Allgemeinen wenig intuitiv und stellt ihn nicht selten sogar vor erhebliche Schwierigkeiten.Wireless remote controls have long been known and widely used in particular for the operation of consumer electronics and home appliance technology. Most commonly found are remote controls in which the respective device functions of the device to be operated by means of which they are controlled by means of buttons arranged on the remote control. The keys assigned to the respective keys for operating the associated device are converted in the remote control into a digital code and transmitted by modulating a carrier signal to a receiver of the remote-controlled device designed for this purpose. For coding, for example, the RC-5 code or the RC-6 code used in the aforementioned remote controls, which were developed starting from keyboard-controlled remote controls. The wireless transmission to the device to be operated is generally carried out by modulation of an infrared or a radio carrier signal. When operating a device using a keyboard, however, the natural human communication channels are not used. The operation of devices by means of appropriate remote controls is therefore designed for the user generally not very intuitive and not infrequently even creates considerable difficulties.

Daher ist es bereits bekannt geworden, elektronische Geräte sprachgesteuert zu bedienen. Entsprechende Einrichtungen sind beispielsweise für die Bedienung von Automaten oder von Telefon-Freisprecheinrichtungen in Kraftfahrzeugen bekannt. Auch wenn das zur Bedienung der Geräte bereitgestellte Vokabular häufig eingeschränkt ist, kommt jedoch diese Art der Bedienung dem intuitiven menschlichen Handeln besser entgegen. Neben der Möglichkeit, Geräte sprachgeführt zu bedienen, ist es darüber hinaus bekannt geworden, eine Bedienung elektronischer Geräte durch die Erfassung menschlicher auf die Fernbedienung wirkender Bewegungen zu realisieren. Im Allgemeinen sind jedoch Vorrichtungen und Konzepte zur Fernbedienung von elektronischen Geräten monomodal ausgelegt. Das heißt, die Bedienung ist in vielen Fällen nur nach einer der vorgenannten Möglichkeiten, also mittels Tastatur oder Sprache oder Bewegung möglich. Teil intuitiver menschlicher Handlungsweise ist es jedoch, sich in der Kommunikation entweder entsprechend der jeweiligen Situation oder häufig sogar gleichzeitig mehrerer Kommunikationskanäle zu bedienen. Vor diesem Hintergrund ist es ein Ziel, die Bedienung von Geräten mittels Fernbedienungen noch intuitiver zu gestalten.Therefore, it is already known to operate electronic devices voice-controlled. Corresponding devices are for example for the operation of machines or telephone hands-free devices in motor vehicles known. Although the vocabulary provided for operating the devices is often limited, this type of operation better accommodates intuitive human action. In addition to the ability to operate devices voice-guided, it has also become known to realize an operation of electronic devices by detecting human acting on the remote control movements. In general, however, devices and concepts for remote control of electronic devices are designed monomodally. That is, the operation is possible in many cases only one of the above possibilities, ie by keyboard or voice or movement. However, part of an intuitive human mode of action is to use communication either according to the particular situation or frequently even simultaneously to multiple communication channels. Against this background, it is a goal to make the operation of devices using remote controls even more intuitive.

Durch die US 2006/0077174 A1 ist in diesem Zusammenhang eine Fernbedienungseinrichtung bekannt geworden, welche mindestens bimodal arbeitet. Die Fernbedienungseinrichtung umfasst hierzu innerhalb eines Gerätes ein mindestens bimodales Eingabemodul, ein Modul mit einer zugehörigen Datenbank zur Interpretation von beispielsweise mittels Sprache und durch Bewegungen der Fernbedienungseinrichtung erfolgenden Eingaben und ein Modul zur Generierung von Steuersignalen auf der Grundalge der im Rahmen der Interpretation erkannten Kommandos. Insbesondere auch im Falle der Nutzung einer sprachgesteuerten Bedienung erfolgt dabei die gesamte Spracherkennung und Interpretation innerhalb der Fernbedienungseinrichtung, welche hierzu für diesen Eingabemodus und zumindest einen weiteren Eingabemodus vorzugsweise entsprechende Kommandospeicher enthält. Aufgrund der Ableitung der das Gerät bedienenden Steuersignale unmittelbar in der Fernbedienungseinrichtung ist jedoch deren Flexibilität im Hinblick auf die Anpassung an unterschiedliche Gerätearten und Gerätetypen vergleichsweise eingeschränkt. Zudem kann die Kommunikation mit dem jeweils zu bedienenden Gerät, trotzdem gemäß einer Ausgestaltung der in der Schrift beschriebenen Lösung ein Rückkanal zwischen dem Gerät und der Fernbedienungseinrichtung vorgesehen ist, kaum kontextsensitiv gestaltet werden. Das heißt, es ist nur in beschränktem Maße möglich, die jeweils bereitgestellten Bedienfunktionen an den Kontext beziehungsweise an das aktuelle Geschehen in Verbindung mit einem von dem Gerät jeweils wiedergegebenen Inhalt anzupassen. Insoweit ist eine weitgehend intuitive Bedienung im Hinblick auf standardisierte und unveränderliche, das heißt statische Gerätefunktionen möglich, die Bereitstellung von Bedienungsmöglichkeiten im Hinblick auf sich dynamisch ändernde Zustände des zu bedienenden Geräts oder auf sich dynamisch ändernde, mit dem Gerät konsumierte mediale Inhalte aber nicht möglich.By the US 2006/0077174 A1 In this context, a remote control device has become known, which works at least bimodal. For this purpose, the remote control device comprises, within a device, an at least bimodal input module, a module with an associated database for interpreting, for example, by means of speech and by movements of the remote control device inputs and a module for generating control signals on the basis of recognized during the interpretation commands. In particular, even in the case of the use of a voice-controlled operation, the entire speech recognition and interpretation takes place within the remote control device, which preferably contains corresponding command memory for this input mode and at least one further input mode. Due to the derivation of the device operating control signals directly in the remote control device but their flexibility in terms of adaptation to different types of devices and device types is relatively limited. In addition, the communication with the respective device to be operated, nevertheless according to an embodiment of the solution described in the document, a return channel between the device and the remote control device is intended to be designed to be hardly context-sensitive. This means that it is only possible to a limited degree to adapt the respectively provided operating functions to the context or to the current events in connection with a content respectively reproduced by the device. In that regard, a largely intuitive operation in terms of standardized and unchanging, that is static device functions possible, the provision of operating options with respect to dynamically changing states of the device to be operated or on dynamically changing, consumed with the device media content but not possible.

Aufgabe der Erfindung ist es daher, eine Lösung bereitzustellen, durch welche eine intuitive Bedienung- elektronischer Geräte noch besser unterstützt und gegebenenfalls darüber hinaus flexibel an sich ändernde Gegebenheiten angepasst werden kann. Hierzu ist eine entsprechende Anordnung anzugeben, welche eine drahtlose Fernbedienungseinrichtung umfasst.The object of the invention is therefore to provide a solution by which an intuitive Bediene- electronic devices even better supported and, where appropriate, can be flexibly adapted to changing circumstances. For this purpose, a corresponding arrangement is to be specified, which comprises a wireless remote control device.

Die Aufgabe wird durch eine Anordnung mit den Merkmalen des Hautpanspruchs gelöst. Vorteilhafte Aus- beziehungsweise Weiterbildungen der Erfindung sind durch die Unteransprüche gegeben.The object is achieved by an arrangement with the features of Hautpanlaim. Advantageous embodiments or further developments of the invention are given by the subclaims.

Die zur Lösung der Aufgabe vorgeschlagene Anordnung besteht aus einem fernzubedienenden Gerät und einer Fernbedienungseinrichtung zur multimodalen, drahtlosen Fernbedienung des vorgenannten Gerätes. Dabei weist die Anordnung zumindest Mittel zur drahtlosen Kommunikation zwischen der Fernbedienungseinrichtung und dem mit ihr zu bedienenden Gerät, an oder in der Fernbedienungsanrichtung angeordnete Eingabemittel zur Entgegennahme von Eingaben in mindestens zwei verschiedenen Eingabemodi, mindestens eine Digitalisierungseinheit zur Digitalisierung entgegengenommener Eingaben, mindestens eine Interpretationseinheit zur Interpretation der in digitale Daten umgewandelten Eingaben sowie mindestens eine Steuereinheit zur Ableitung von Steuersignalen aus im Zuge der Interpretation von Eingaben erkannten Bedienkommandos und zur Ansteuerung entsprechender Aktoren des bedienten Gerätes auf. Mit Hilfe der letztgenannten, in dem fernzubedienenden Gerät angeordneten Aktoren werden die mit den jeweiligen Eingaben korrespondierenden Bedienkommandos nach Maßgabe der aus ihnen mittels der mindestens einen Interpretationseinheit erhaltenen Bedienkommandos und der aus diesen mittels der mindestens einen Steuereinheit abgeleiteten Steuersignale in dem Gerät umgesetzt. Dabei ist mindestens einer der vorgenannten zwei Eingabemodi der Anordnung ein Modus zur Spracheingabe oder ein Modus für durch eine Bewegung der Fernbedienungseinrichtung erfolgende Eingaben. Bei den eingangs genannten Mitteln zur drahtlosen Kommunikation kann es sich insbesondere um Infrarotsender und Empfänger oder um Sender und Empfänger für eine funkgestützte Übertragung von Daten, beispielsweise nach dem Bluetooth-Standard, handeln.The proposed arrangement for solving the problem consists of a fernbedienenden device and a remote control device for multimodal, wireless remote control of the aforementioned device. In this case, the arrangement has at least means for wireless communication between the remote control device and the device to be operated with it, on or in the remote control device arranged input means for receiving inputs in at least two different input modes, at least one digitizing unit for digitizing received input, at least one interpretation unit for interpretation the converted into digital data inputs and at least one control unit for deriving control signals from in the course of the interpretation of inputs detected operating commands and to control corresponding actuators of the operated device on. With the help of the latter, in the fernbedienenden device actuators arranged corresponding to the respective inputs operating commands in accordance with the control commands received from them by means of the at least one interpretation unit and the derived therefrom by means of the at least one control unit in the device implemented. At least one of the aforementioned two input modes of the arrangement is a mode for voice input or a mode for inputs made by a movement of the remote control device. The above-mentioned means for wireless communication may be, in particular, infrared transmitters and receivers or transmitters and receivers for radio-supported transmission of data, for example according to the Bluetooth standard.

Erfindungsgemäß ist die mindestens eine Interpretationseinheit zur Interpretation von Spracheingaben oder zur Interpretation von durch die Bewegung der Fernbedienungseinrichtung erfolgender Eingaben in dem zu bedienenden Gerät selbst angeordnet. Sprach- oder Bewegungseingaben werden dabei in der Fernbedienungseinrichtung mittels der mindestens einen in ihr angeordneten Digitalisierungseinheit lediglich digitalisiert und die dabei erhaltenen digitalen Daten durch einen Sender der Fernbedienungseinrichtung als digitaler Datenstrom an einen Empfänger des fernzubedienenden Geräts übertragen. Erst hier erfolgt dann die Interpretation der Eingaben, das heißt ihre Umsetzung in zunächst Bedienkommandos und danach die Ableitung der Steuersignale aus den Bedienkommandos, mit welchen die entsprechenden Aktoren in dem zu bedienenden Gerät angesteuert werden. Letztgenannte Aktoren sind beispielsweise Funktionsgruppen zur Einstellung der Lautstärke oder von Parametern eines Bildschirms, wie beispielsweise Kontrast oder Farbsättigung, oder aber auch Funktionsgruppen zur Umschaltung eines wiedergegebenen Programms.According to the invention, the at least one interpretation unit is arranged for the interpretation of voice inputs or for the interpretation of entries made by the movement of the remote control device in the device to be operated itself. Speech or movement inputs are thereby merely digitized in the remote control device by means of the at least one digitizing unit arranged in it and the digital data thus obtained are transmitted by a transmitter of the remote control device as a digital data stream to a receiver of the device to be remotely operated. Only then does the interpretation of the inputs then take place, ie their conversion into operating commands first and then the derivation of the control signals from the operating commands with which the corresponding actuators in the device to be operated are activated. The latter actuators are, for example, function groups for adjusting the volume or parameters of a screen, such as contrast or color saturation, or else functional groups for switching a reproduced program.

Im Sinne der Erfindung kann es sich bei dem fernzubedienenden Gerät beispielsweise um ein Fernsehgerät, eine Stereoanlage, einen Sat-Receiver, eine Set-Top-Box oder einen DVD-Player handeln. In jedem Falle ist das entsprechende Gerät gemäß der Erfindung mit einer Interpretationseinheit ausgestattet, mittels welcher ein gesprochene Worte repräsentierender Datenstrom oder ein Bewegungen der Fernbedienungseinrichtung repräsentierender Datenstrom interpretiert werden und soweit möglich ein mit dem Datenstrom korrespondierendes Bedienkommando abgeleitet wird. Das gegebenenfalls erkannte Bedienkommando wird von der Interpretationseinheit an die mindestens eine, ebenfalls im zu bedienenden Gerät angeordnete Steuereinheit zur Ableitung der erforderlichen Steuersignale übergeben.For the purposes of the invention, the device to be remotely operated can be, for example, a television set, a stereo system, a satellite receiver, a set-top box or a DVD player. In any case, the corresponding device according to the invention is equipped with a unit of interpretation, by means of which a spoken word representing Data stream or a movement of the remote control device representative data stream are interpreted and as far as possible, a corresponding with the data stream operator command is derived. The optionally recognized operating command is transferred by the interpretation unit to the at least one control unit likewise arranged in the device to be operated for deriving the required control signals.

Dadurch, dass die Interpretationseinheit, anders als aus dem Stand der Technik bekannt, in dem zu bedienenden Gerät angeordnet ist, ist eine bedeutend größere Flexibilität im Zusammenspiel zwischen der Fernbedienungseinrichtung und dem fernzubedienenden Gerät gegeben. Je nach Geräteart und Gerätetyp können dabei Sprach- oder Bewegungseingaben durch das jeweilige Gerät völlig unterschiedlich interpretiert werden. Hierdurch wird die Möglichkeit einer intuitiven Bedienung des zu bedienenden Geräts und der von ihm jeweils zur Verfügung gestellten Funktionen deutlich verbessert. Zudem sind hierdurch erweiterte Möglichkeiten für das Update der aus der Fernbedienungseinrichtung und dem fernzubedienenden Gerät bestehenden Anordnung gegeben. So ist es heute bereits bekannt, Soft- beziehungsweise Firmware-Updates für Receiver oder Set-Top-Boxen über Satellit oder Kabel an die Geräte zu übermitteln. Durch die Erfindung ist die Möglichkeit eröffnet, die entsprechenden Update-Funktionen auch auf das Zusammenspiel zwischen Fernbedienungseinrichtung und Gerät anzuwenden. Sofern im Rahmen eines Updates an dem Gerät neue Funktionen zur Verfügung gestellt werden, kann in diesem Zusammenhang auch ein Update der Interpretationseinheit erfolgen, so dass die entsprechenden Funktionen unmittelbar und auf gewohnt intuitive Weise auch über die Fernbedienungseinrichtung ansprechbar sind.The fact that the interpretation unit, unlike the prior art, is arranged in the device to be operated, provides significantly greater flexibility in the interaction between the remote control device and the device to be remotely operated. Depending on the type of device and the type of device, speech or motion input can be interpreted completely differently by the respective device. As a result, the possibility of intuitive operation of the device to be operated and the functions provided by him is significantly improved. In addition, this extended possibilities for updating existing from the remote control device and the remote device arrangement are given. So it is already known today to transmit software or firmware updates for receivers or set-top boxes via satellite or cable to the devices. The invention opens up the possibility of applying the corresponding update functions also to the interaction between the remote control device and the device. If new functions are made available as part of an update to the device, an update of the interpretation unit can be made in this context, so that the corresponding functions can be addressed directly and in the usual intuitive manner via the remote control device.

Entsprechend einer vorgesehenen Ausbildungsform der erfindungsgemäßen Anordnung sind in oder an der Fernbedienungseinrichtung sowohl Eingabemittel zur Entgegennahme von Spracheingaben als auch Eingabemittel zur Entgegennahme von Eingaben in Form von Bewegungen der Fernbedienungseinrichtung angeordnet. Dem Grundgedanken der Erfindung folgend, ist dabei die mindestens eine Einheit zur Interpretation von sowohl Sprach- als auch von Bewegungseingaben in dem zu bedienenden Gerät angeordnet, wobei es sich dabei um eine hinsichtlich aller Bedienmodi gemeinsame Interpretationseinheit oder aber um jeweils eine oder mehrere Einheiten handeln kann. Bei den Eingabemitteln für die Spracheingabe handelt es sich um mindestens ein Mikrofon, während als Eingabemittel für die Bewegungseingabe mindestens ein Beschleunigungssensor in der Fernbedienungseinrichtung angeordnet ist. Vorzugsweise ist die Anordnung zudem so ausgestaltet, dass neben einer Bedienung des Geräts durch Sprach-oder Bewegungseingabe zumindest ausgewählte Funktionen in gewohnter Weise über eine Tastatur der Fernbedienungseinrichtung bedient werden können.According to an intended embodiment of the arrangement according to the invention, both input means for receiving voice inputs and input means for receiving inputs in the form of movements of the remote control device are arranged in or on the remote control device. In accordance with the basic idea of the invention, the at least one unit is for the interpretation of both voice and movement inputs in the device to be operated arranged, which may be a common interpretation unit with respect to all operating modes, or may each be one or more units. The input means for voice input is at least one microphone, while at least one acceleration sensor is arranged in the remote control device as input means for the movement input. Preferably, the arrangement is also designed so that in addition to an operation of the device by voice or movement input at least selected functions can be operated in the usual way via a keyboard of the remote control device.

Eine mit einem Modus zur Spracheingabe oder sowohl mit einem Modus zur Spracheingabe als auch zur Bewegungseingabe ausgebildete Anordnung ist vorzugsweise so weitergebildet, dass die an oder in der Fernbedienungseinrichtung angeordneten Eingabemittel zur Entgegennahme von Spracheingeben mittels einer dazu vorgesehenen, an der Fernbedienungseinrichtung angeordneten Taste aktivierbar sind. Die entsprechenden Eingabemittel sind dabei je nach Ausgestaltung für die Dauer der Betätigung der vorgenannten Taste (im Weiteren auch Push-To-Talk-Taste) oder bis zu deren erneuter Betätigung aktiviert. Die zuvor dargestellte Ausbildungsform kann vorteilhaft noch dadurch weitergebildet sind, dass während der Betätigung der Push-to-talk-Taste ein Muting der von dem bedienten Gerät gegebenenfalls gerade wiedergegebenen akustischen Signale erfolgt. Um die Erkennungssicherheit der Spracheingabe zu erhöhen, wird demnach zum Beispiel bei einem Fernsehgerät oder einer Set-Top-Box für die Dauer der Betätigung der Push-to-Talk-Taste und damit für die Dauer der Aktivierung der Spracheingabemittel die Lautstärke der Tonwiedergabe reduziert.An arrangement formed with a voice input mode or with both a voice input and a motion input mode is preferably configured such that the input means for receiving voice input arranged on or in the remote control device can be activated by means of a key provided for this purpose on the remote control device. Depending on the configuration, the corresponding input means are activated for the duration of the actuation of the abovementioned key (hereinafter also referred to as push-to-talk key) or until it is actuated again. The previously described embodiment can advantageously be further developed in that, during the actuation of the push-to-talk key, a muting of the acoustical signals possibly reproduced by the operated device takes place. In order to increase the recognition security of voice input, therefore, for example, in a TV set or a set-top box for the duration of the push-to-talk button and thus for the duration of activation of the voice input means the volume of the sound reproduction is reduced.

Eine weitergehende Verbesserung der Zuverlässigkeit bei der Erkennung von Spracheingaben wird durch eine spezielle Weiterbildung der mit einer Spracheingabeeinheit ausgestatteten erfindungsgemäßen Anordnung erreicht. Bei dieser ist ein zweistufiges Bedienkonzept für die Spracheingabe vorgesehen. Danach wird zwischen einem Sprachbedienmodus zur Steuerung von Basisfunktionen mit einem statischen Befehlssatz und einem Sprachbedienmodus mit einem sich dynamisch ändernden Befehlssatz zur kontextbezogenen Bedienung des fernzubedienenden Geräts unterschieden. Der erste Modus zur Nutzung von Basisfunktionen, wie beispielsweise das An- undA further improvement of the reliability in the recognition of voice input is achieved by a special development of the inventive arrangement equipped with a voice input unit. In this, a two-stage operating concept for voice input is provided. Thereafter, a voice control mode is used to control basic functions with a static instruction set and a Speech mode with a dynamically changing instruction set for contextual operation of the device to be operated remotely. The first mode to use basic functions, such as the on and off

Ausschalten des Geräts oder die Lautstärkeeinstellung, ist dabei ständig oder, sofern an der Fernbedienungseinrichtung eine Push-To-Talk-Taste vorgesehen ist, jeweils beim Betätigen der Push-to-talk-Taste aktiv. Hingegen erfordert die Aktivierung des erweiterten beziehungsweise dynamischen Bedienmodus eine zusätzliche Bedienung, durch etwa das Betätigen einer weiteren Taste oder ein spezielles Sprachkommando (zum Beispiel Sprachkommando "erweiterter Modus"). Im erweiterten Bedienmodus ist es dabei möglich, sich in kürzeren Abständen ändernde und kontextabhängige Bedienfunktionen zu nutzen. Ein Beispiel hierfür sind Titel von Medieninhalten, die per Sprache ausgewählt werden können und die sich in Abhängigkeit des jeweils angebotenen Programms ständig ändern. Hierfür sind in dem zu bedienenden Gerät als Bestandteil der mindestens einen Interpretationseinheit zur Interpretation von Spracheingaben vorzugsweise zwei verschiedenen Sprachgrammatiken vorgesehenen. Dabei ist der mittels einer ersten, der Interpretation statischer Bedienfunktionen dienenden Grammatik abgedeckte Sprachraum (Wortschatz und Phrasen) statisch, während die mit Hilfe der zweiten Grammatik interpretierbaren Spracheingaben sich dynamisch an den jeweiligen Kontext anpassen und beispielsweise mit Hilfe des Electronic-Program-Guide jeweils entsprechend modifiziert werden. Vorzugsweise ist die Erfindung dabei so ausgestaltet, dass nach der Aktivierung des erweiterten Bedienmodus und der Ausführung einer mittels dieses Modus möglichen Bedienfunktion die Anordnung unmittelbar wieder in den ersten statischen Bedienmodus zurückschaltet beziehungsweise den erweiterten Bedienmodus deaktiviert.Switching off the device or the volume setting, it is constantly or, if a push-to-talk button is provided on the remote control device, each active when pressing the push-to-talk button. By contrast, the activation of the extended or dynamic operating mode requires additional operation, for example by pressing another key or a special voice command (for example, voice command "extended mode"). In the extended operating mode, it is possible to use changing and context-dependent operating functions at shorter intervals. An example of this are titles of media content that can be selected by language and that constantly change depending on the program offered. For this purpose, preferably two different speech grammars are provided in the device to be operated as part of the at least one interpretation unit for the interpretation of speech inputs. In this case, the language space (vocabulary and phrases) covered by a first grammar serving the interpretation of static operating functions is static, while the speech inputs that can be interpreted with the aid of the second grammar dynamically adapt to the respective context and correspondingly, for example, with the aid of the Electronic Program Guide be modified. Preferably, the invention is designed such that after activation of the extended operating mode and the execution of an operating function possible by means of this mode, the arrangement immediately switches back to the first static operating mode or deactivates the extended operating mode.

Eine weitere besonders vorteilhafte Ausbildungsform der Erfindung ist so gestaltet, dass sie ein so genanntes Voice-Zapping ermöglicht. Hierbei ist es dem Bediener möglich, durch sprachliche Angabe eines bestimmten Genres, selektiv ausgewählte Programminhalte anzusprechen und das bediente Gerät zum Umschalten auf einen solchen Programminhalt zu veranlassen. Beispielsweise könnte das Sprachkommando "Sport" einen erfindungsgemäß gestalteten Sat-Receiver dazu veranlassen, auf ein Sportprogramm umzuschalten. Denkbar ist es ferner, dass ein Nutzer der erfindungsgemäßen Anordnung im Fernsehen eine bestimmte, ihm vom Titel her bekannte Sendung sehen möchte, ihm aber nicht unmittelbar bekannt ist, von welchem Sender diese ausgestrahlt wird. In diesem Falle ist gemäß der zuvor beschriebenen Ausbildungsform beispielsweise die Möglichkeit gegeben, dass er mittels Sprachbedienung durch Nennung des Titels der Sendung auf den entsprechenden Sender beziehungsweise das entsprechende Programm umschaltet, wobei das Umschalten auf den betreffenden Sender ermöglicht ist, sofern die gewünschte Sendung gerade läuft und, gegebenenfalls darüber hinaus, innerhalb einer in der Interpretationseinheit im Wege eines Update hinterlegten Zeitspanne vor dem Beginn der Sendung. Anhand dieser Beispiele wird der Vorteil einer gemäß der Erfindung gegebenen Anordnung der Interpretationseinheit oder -einheiten in dem zu bedienenden Gerät und der damit verbundenen höheren Bedienungsflexibilität sehr deutlich. Eine kontextbezogene beziehungsweise kontextsensitive Bedienung im Sinne des zuvor Erläuterten ist erst durch die erfindungsgemäße Anordnung der mindestens einen Interpretationseinheit in dem zu bedienenden beziehungsweise in dem bedienten Gerät möglich.Another particularly advantageous embodiment of the invention is designed so that it allows a so-called voice-zapping. In this case, it is possible for the operator to address selectively selected program contents by linguistically indicating a particular genre and to cause the operated device to switch over to such a program content. For example, the voice command "Sport" could be a satellite receiver designed according to the invention to switch to a sports program. It is also conceivable that a user of the arrangement according to the invention would like to see on television a certain program known to him from the title, but he is not immediately aware of which station this is being broadcast. In this case, according to the embodiment described above, for example, given the possibility that he switches by voice operation by naming the title of the program on the corresponding transmitter or the corresponding program, the switch is made possible on the transmitter concerned, if the desired program is currently running and, if appropriate, within a period of time stored in the interpretation unit by means of an update before the start of the program. Based on these examples, the advantage of a given arrangement of the interpretation unit or units in the device to be operated and the associated higher operating flexibility is very clear. A context-related or context-sensitive operation in the sense of the previously explained is only possible by the inventive arrangement of the at least one interpretation unit in the device to be operated or in the device served.

Sofern die Fernbedienungseinrichtung der erfindungsgemäßen Anordnung über einen Eingabemodus zur Bedienung durch eine Bewegung der Fernbedienungseinrichtung verfügt, ist auch eine solche Ausbildungsform vorzugsweise dadurch weitergebildet, dass der entsprechende Eingabemodus nur beim und für die Dauer des Drückens einer dafür vorgesehenen Taste (im Weiteren auch Motion-Control) oder bis zum nochmaligen Betätigen der Motion-Control-Taste aktiviert ist. Eine solche, die Bedienung des zugehörigen Geräts durch die Bewegung der Fernbedienungseinrichtung ermöglichende Anordnung kann zudem derart ausgestaltet sein, dass sie ein so genanntes "EasyOn/EasyOff" ermöglicht. Dabei wird beispielsweise das zu bedienende Gerät dadurch ausgeschaltet, dass eine als Oberseite erkennbare Seite der Fernbedienungseinrichtung nach unten gedreht beziehungsweise die Fernbedienungseinrichtung mit dieser Seite nach unten auf den Tisch gelegt wird. Das Drehen der Fernbedienungseinrichtung auf ihre Rückseite bewirkt dementsprechend das Einschalten des zu bedienenden Geräts.If the remote control device of the arrangement according to the invention has an input mode for operation by a movement of the remote control device, such an embodiment is preferably further developed in that the corresponding input mode only during and for the duration of pressing a dedicated button (hereinafter also motion control ) or until the motion control button is pressed again. Such, the operation of the associated device by the movement of the remote control device enabling arrangement can also be designed such that it allows a so-called "EasyOn / EasyOff". In this case, for example, the device to be operated is turned off by turning a side of the remote control device which is recognizable as the top side down or placing the remote control device on the table with this side downwards becomes. The turning of the remote control device on its back accordingly causes the switching of the device to be operated.

Entsprechend einer weiteren vorteilhaften Ausgestaltung ist die Interaktion zwischen der Fernbedienungseinrichtung und dem zu bedienenden Gerät derart gestaltet, dass stufenlos einstellbare Gerätefunktionen, wie beispielsweise die Lautstärkeeinstellung für die Tonwiedergabe oder die Kontrasteinstellung für die Bildwiedergabe, durch eine Drehbewegung der Fernbedienungseinrichtung gesteuert werden können.According to a further advantageous embodiment, the interaction between the remote control device and the device to be operated is designed such that continuously adjustable device functions, such as the volume setting for the sound reproduction or the contrast adjustment for the image reproduction, can be controlled by a rotary movement of the remote control device.

Die Fernbedienungseinrichtung der erfindungsgemäßen Anordnung ist zudem vorzugsweise mit einem Display ausgestattet. Hier können beispielsweise aktive Betriebsmodi der Fernbedienungseinrichtung angezeigt oder aber auch visuelle Feedbacks, mit welchen das fernbediente Gerät die Betätigung ausgewählter Funktionen quittiert, wiedergegeben werden. Die Fernbedienungseinrichtung kann zudem mit Mitteln für ein akustisches Feedback (Lautsprecher) oder ein haptisches Feedback (Vibrationseinheit) ausgestattet sein.The remote control device of the arrangement according to the invention is also preferably equipped with a display. Here, for example, active operating modes of the remote control device can be displayed or else visual feedbacks with which the remote-controlled device acknowledges the actuation of selected functions can be reproduced. The remote control device can also be equipped with means for acoustic feedback (loudspeaker) or haptic feedback (vibration unit).

Anhand eines Ausführungsbeispiels sollen nachfolgend nochmals einige Aspekte und Details der Erfindung erläutert werden. In den zugehörigen Zeichnungen zeigen:

Fig.1:
ein grobes Blockschaltbild beziehungsweise Schema der erfindungsgemäßen Anordnung,
Fig. 2:
die Fernbedienungseinrichtung gemäß Fig. 1 in einem Modus für Bewegungseingaben.
With reference to an embodiment, some aspects and details of the invention will be explained again below. In the accompanying drawings show:
Fig.1:
a rough block diagram or scheme of the arrangement according to the invention,
Fig. 2:
the remote control device according to Fig. 1 in a mode for motion input.

Die Fig. 1 zeigt ein grobes Schema beziehungsweise Blockschaltbild einer möglichen Ausbildungsform der erfindungsgemäßen Anordnung. Die Anordnung besteht aus der Fernbedienungseinrichtung 1 und dem mit ihr fernzubedienenden Gerät 2, beispielsweise einer Set-Top-Box. Als wesentliche Einheiten weist die Anordnung Mittel zur drahtlosen Kommunikation 6, 7 zwischen der Fernbedienungseinrichtung 1 und dem zu bedienendem Gerät 2, nämlich einen Infrarotsender 6 an der Fernbedienungseinrichtung 1 und einen Infrarotempfänger 7 an dem Gerät 2, eine in der Fernbedienungseinrichtung 1 angeordnete Digitalisierungseinheit 11, eine gemäß der Erfindung in dem zu bedienenden Gerät 2 angeordnete Interpretationseinheit 3 zur Interpretation von Eingaben unterschiedlicher Eingabemodi, eine Steuereinheit 4 und mehrere von der Steuereinheit mittels entsprechender Steuersignale betätigte Aktoren 5 auf. Die in dem Beispiel gezeigte Anordnung verfügt über drei Eingabemodi. Diese ermöglichen es, Funktionen des Geräts 2 mittels der Fernbedienungseinrichtung durch Tastatureingaben, Spracheingaben und Bewegungseingaben zu steuern. Hierfür sind in beziehungsweise an der Fernbedienungseinrichtung 1 entsprechende Eingabemittel 8, 9, 10 vorgesehen. Die im Beispiel gezeigte Fernbedienungseinrichtung 1 verfügt über eine Tastatur 10 zur Entgegennahme von Tastatureingaben, ein Mikrofon 8 zur Entgegennahme von Spracheingaben und einen in der Fernbedienungseinrichtung 1 angeordneten Beschleunigungssensor9 zur Entgegennahme durch Bewegungen der Fernbedienungseinrichtung 1 getätigter Bewegungseingaben. Die durch Betätigung beziehungsweise Nutzung der Eingabemittel 8, 9, 10 von einem Nutzer der Anordnung ausgeführten Eingaben werden nach der Entgegennahme durch die Fernbedienungseinrichtung 1 in der Digitalisierungseinrichtung 11 in einen digitalen, über den Infrarotsender 6 an der Fernbedienungseinrichtung 1 in Richtung des zu bedienenden Geräts 2 abgestrahlten Datenstrom umgewandelt. Der entsprechende Datenstrom wird von dem Infrarotempfänger 7 der Set-Top-Box 2 empfangen. In einer zu der Interpretationseinheit 3 gehörenden Funktionsgruppe 21, einem Signalkonverter und -verzweiger, werden die empfangenen digitalen Daten entsprechend ihrer Herkunft von den Spracheingabemitteln 8, den Eingabemitteln 8 für Bewegungseingaben und der Tastatur 10 getrennt und zur eigentlichen Interpretation unterschiedlichen Funktionsgruppen 12, 16, 17 der Interpretationseinheit 3 zugeführt. In einer ersten Funktionsgruppe 16 erfolgt die Interpretation von Bewegungseingaben, das heißt durch horizontale oder vertikale Bewegung oder Drehung der Fernbedienungseinrichtung 1 getätigter Eingaben. Die Interpretation erfolgt in der Weise, dass die aufgrund von Bewegungen der Fernbedienungseinrichtung 1 eingegangenen Signale in der entsprechenden Funktionsgruppe 16 analysiert und mit ihnen korrespondierende Bedienkommandos ermittelt werden, wobei sie auf Übereinstimmung mit möglichen, in einem Kommandospeicher 18 gehaltenen Bedienkommandos geprüft werden. Mittels des Mikrofons 8 der Fernbedienungseinrichtung 1 entgegengenommene Bedieneingaben werden nach der Digitalisierung und der Übermittlung an den Empfänger 7 des zu bedienenden Geräts 2 durch den Signalkonverter beziehungsweise Signalverzweiger 21 einer Funktionsgruppe 12 zur Interpretation von Sprachsignalen zugeführt. Hier werden sie mittels eines Spracherkenners 15 (ASR - Automatic Speech Recognition) auf der Grundlage zweier verschiedener in der Funktionsgruppe gehaltener Grammatiken 13, 14 analysiert und aus ihnen, sofern möglich, ein Bedienkommando nach den Vorgaben des Kommandospeichers 18 abgeleitet. Bei den beiden zuvor erwähnten Grammatiken 13, 14 handelt es sich um eine erste Grammatik 13, welche ein Vokabular zur Aktivierung statischer Bedienkommandos enthält. Darüber hinaus ist eine zweite Grammatik 14 vorgesehen, deren bei der Sprachanalyse auf die aus der Spracheingabe resultierenden Daten angewandtes Vokabular kontextabhängig und somit dynamisch ist. Die Anpassung des Vokabulars an den Kontext, das heißt beispielsweise an die zu einem bestimmten Zeitpunkt mittels der Set-Top-Box empfangbaren Programme, geschieht mit Hilfe des EPG 22 (Electronic-Program-Guide). Der EPG 22 bezieht seine Daten beispielsweise von dem Backend, das heißt einem Internetserver 23, eines den Inhalt bereitstellenden Anbieters über das Internet 24 und/oder durch den Empfang entsprechender Daten über eine Satellitenanlage. In einer dritten Funktionsgruppe 17 erfolgt die Interpretation von Tastatureingaben, indem diese auf gemäß den Vorgaben des Kommandospeichers 18 mögliche Bedienkommandos abgebildet werden. Die bei Nutzung der einzelnen Eingabemodi ermittelten Bedienkommandos werden der Steuereinheit 4 zugeführt, welche aus ihnen Steuersignale ableitet und mit diesen Steuersignalen Aktoren 5 des Geräts, im Beispiel eine Funktionsgruppe 5' zur Lautstärkereglung, eine Funktionsgruppe zur Programmauswahl 5" und/oder eine Funktionsgruppe 5"' zur Einstellung von Bildschirmparametern, wie Helligkeit und/oder Kontrast, ansteuert. Ein entscheidender Aspekt der Erfindung ist die Tatsache, dass die Art und Weise, in welcher in den einzelnen Eingabemodi getätigte Bedieneingaben interpretiert und in Steuersignale für das zu bedienende Gerät umgesetzt werden, durch das jeweils bediente Gerät 2 selbst, nämlich die mindestens eine in diesem angeordnete Interpretationseinheit 3, bestimmt wird. Dabei kann die Firmware der entsprechenden Interpretationseinheit 3 im Wege des Updates, beispielsweise durch Übertragung über den Satellitenkanal, geändert werden und somit die Funktionalität des Gerätes 2 an unterschiedliche Gegebenheiten angepasst werden.The Fig. 1 shows a rough diagram or block diagram of a possible embodiment of the arrangement according to the invention. The arrangement consists of the remote control device 1 and the device 2 to be remotely operated with it, for example a set-top box. As essential units, the arrangement comprises means for wireless communication 6, 7 between the remote control device 1 and the device to be operated 2, namely an infrared transmitter 6 on the remote control device 1 and a Infrared receiver 7 on the device 2, arranged in the remote control device 1 digitizing unit 11, arranged according to the invention in the device to be operated 2 interpretation unit 3 for interpreting inputs of different input modes, a control unit 4 and a plurality of actuated by the control unit by means of appropriate control signals actuators. 5 on. The arrangement shown in the example has three input modes. These make it possible to control functions of the device 2 by means of the remote control device by means of keystrokes, voice inputs and movement inputs. For this purpose, corresponding input means 8, 9, 10 are provided in or on the remote control device 1. The remote control device 1 shown in the example has a keyboard 10 for receiving keystrokes, a microphone 8 for receiving voice input and an acceleration sensor 9 arranged in the remote control device 1 for accepting movement inputs made by movements of the remote control device 1. The inputs made by a user of the arrangement by operation or use of the input means 8, 9, 10 become a digital input via the infrared transmitter 6 on the remote control device 1 in the direction of the device 2 to be operated after being received by the remote control device 1 in the digitizer 11 radiated data stream converted. The corresponding data stream is received by the infrared receiver 7 of the set-top box 2. In a function group 21 belonging to the interpretation unit 3, a signal converter and distributor, the received digital data are separated according to their origin from the speech input means 8, the input means 8 for movement inputs and the keyboard 10 and to the actual interpretation of different function groups 12, 16, 17 supplied to the interpretation unit 3. In a first function group 16, the interpretation of movement inputs, that is, by horizontal or vertical movement or rotation of the remote control device 1 inputs made. The interpretation takes place in such a way that the signals received due to movements of the remote control device 1 are analyzed in the corresponding function group 16 and with them corresponding operating commands are determined, where they are checked for compliance with possible, held in a command memory 18 operating commands. By means of the microphone 8 of the remote control device 1 received operating inputs are supplied to the digitizer and the transmission to the receiver 7 of the device to be operated 2 by the signal converter or signal splitter 21 a function group 12 for the interpretation of speech signals. Here they are analyzed by means of a speech recognizer 15 (ASR - Automatic Speech Recognition) on the basis of two different held in the function group grammars 13, 14 and derived from them, if possible, an operating command according to the specifications of the command memory 18. The two aforementioned grammars 13, 14 are a first grammar 13 containing a vocabulary for activating static operator commands. In addition, a second grammar 14 is provided, whose vocabulary used in speech analysis on the data resulting from the speech input is context-dependent and thus dynamic. The adaptation of the vocabulary to the context, that is to say, for example, to the programs which can be received at a certain time by means of the set-top box, takes place with the aid of the EPG 22 (Electronic Program Guide). The EPG 22 obtains its data from, for example, the backend, that is, an Internet server 23, a content providing provider via the Internet 24, and / or by receiving corresponding data via a satellite system. In a third function group 17, the interpretation of keyboard input is performed by these are mapped to 18 according to the specifications of the command memory possible operating commands. The operating commands determined using the individual input modes are supplied to the control unit 4, which derives control signals from them and with these control signals actuators 5 of the device, in the example a function group 5 'for volume control, a function group for program selection 5 "and / or a function group 5"'for setting screen parameters, such as brightness and / or contrast, controls. A crucial aspect of the invention is the The fact that the manner in which operator inputs made in the individual input modes are interpreted and converted into control signals for the device to be operated is determined by the respectively operated device 2 itself, namely the at least one interpretation unit 3 arranged in it. In this case, the firmware of the corresponding interpretation unit 3 in the way of the update, for example by transmission via the satellite channel, to be changed and thus the functionality of the device 2 are adapted to different circumstances.

Die an der Fernbedienungseinrichtung 1 einerseits und dem Gerät 2 andererseits angeordneten Mittel 6, 7 zur drahtlosen Kommunikation können gegebenenfalls auch jeweils als eine Kombination von Infrarotsender und Infrarotempfänger und somit bidirektional ausgebildet sein. Sofern darüber hinaus entsprechende Mittel, wie beispielsweise ein Display, ein Lautsprecher oder eine Vibrationseinheit in der Fernbedienungseinrichtung angeordnet sind, kann unter Nutzung dieser Bidirektionalität ein Feedback beziehungsweise eine Rückantwort des Geräts auf Bedieneingaben, so beispielsweise ein Quittierung von Eingaben oder eine Warnung bei Fehleingaben, erfolgen.The means 6, 7 for wireless communication arranged on the remote control device 1, on the one hand, and the device 2, on the other hand, may optionally also be designed in each case as a combination of infrared transmitter and infrared receiver and thus bidirectionally. If, in addition, appropriate means, such as a display, a loudspeaker or a vibration unit are arranged in the remote control device, using this bidirectionality, a feedback or a response of the device to operator inputs, such as an acknowledgment of inputs or a warning in case of incorrect entries done ,

Die Fig. 2 zeigt nochmals eine schematische Darstellung der Fernbedienungseinrichtung 1. Diese verfügt, gemäß dem zuvor erläuterten Beispiel, unter anderem über einen Eingabemodus zur Steuerung von Gerätefunktionen des Geräts 2 durch Bewegungen der Fernbedienungseinrichtung 1. Eine grundlegende, mittels dieses Eingabemodus steuerbare Gerätefunktion ist das Ein- und Ausschalten des Geräts. Dieses kann unter Nutzung von Bewegungseingaben in der Weise als "EasyOn" und "EasyOff" ausgestaltet sein, dass das Ablegen der Fernbedienungseinrichtung 1 auf ihre Rückseite beziehungsweise auf dem "Rücken" (siehe a) ein Einschalten des Geräts 2 bewirkt, während das Ablegen der Fernbedienungseinrichtung 1 auf die Vorderseite beziehungsweise auf dem "Bauch" (siehe b) zum Ausschalten des Geräts 2 führt, wobei gegebenenfalls durch den Nutzer zusätzlich die Motion-Control-Taste 20 während der Bewegung der Fernbedienungseinrichtung betätigt werden muss. Darüber hinaus kann das Hinstellen der Fernbedienung (siehe c) in eine aufrechte Position (mit dem Kopf beziehungsweise dem Beschleunigungssensor 9 nach unten - Upright-Position) zum Beispiel dazu verwendet werden, die Timeshift-Funktion der Set-Top-Box zu aktivieren, die den aktuellen Medienstream anhält und die Wiedergabe zu einem späteren Zeitpunkt ermöglicht, sobald beispielsweise die Fernbedienung wieder eine von der Upright-Position verschiedene Position einnimmt.The Fig. 2 shows again a schematic representation of the remote control device 1. This has, according to the previously explained example, inter alia, an input mode for controlling device functions of the device 2 by movements of the remote control device 1. A basic, controllable by this input mode device function is the switching on and off of the device. This can be configured by using movement inputs in the manner as "EasyOn" and "EasyOff" that the placing of the remote control device 1 on its back or on the "back" (see a) causes the device 2, while the laying of the Remote control device 1 on the front or on the "belly" (see b) leads to turn off the device 2, which may also be actuated by the user in addition, the motion control button 20 during movement of the remote control device. In addition, placing the remote control (see c) in an upright position (with the head or the acceleration sensor 9 Down - Upright Position), for example, can be used to enable the Timeshift function of the Set-Top-Box, which halts the current media stream and allows playback at a later time, for example when the remote is again one of the Upright Position occupies different position.

Weiterhin sind beispielsweise im Rahmen der Steuerung eines On-Screen-Cursors zur Bedienung eines On-Screen-Menüs der Set-Top-Box 2 folgende Funktionen und Zuordnungen dieser Funktionen zu Bewegungen der Fernbedienungseinrichtung 1 denkbar, wobei durch entsprechende Bewegungen der Fernbedienungseinrichtung 1 eine Steuerung des On-Screen-Cursors in alle vier Richtung ermöglicht ist.Furthermore, for example, in the context of controlling an on-screen cursor for operating an on-screen menu of the set-top box 2, the following functions and assignments of these functions to movements of the remote control device 1 are conceivable, with appropriate control of the remote control device 1 control of the on-screen cursor in all four directions.

Die Gesten des Anwenders werden dabei mit Hilfe eines dreiachsigen Beschleunigungssensors 9 erfasst, der die Lage der Fernbedienungseinrichtung 1 relativ zur Erdbeschleunigung erfasst. Damit lassen sich die Auslenkungswinkel 'Pitch' (Drehung um die horizontale X-Achse) und 'Roll' (Drehung um die horizontale Y-Achse) erfassen (siehe Fig. 2).The gestures of the user are detected by means of a three-axis acceleration sensor 9, which detects the position of the remote control device 1 relative to the gravitational acceleration. This allows you to detect the deflection angles 'Pitch' (rotation around the horizontal X-axis) and 'Roll' (rotation around the horizontal Y-axis) (see Fig. 2 ).

Es wird eine Auslenkung der Fernbedienungseinrichtung für Pitch und Roll im Bereich von jeweils -180 bis +180 Grad erfasst.A deflection of the remote control device for pitch and roll in the range of -180 to +180 degrees is detected.

Während die Motion-Control-Taste 20 gehalten wird, werden des Auslenkungen des Pitch und Roll in Steuerinformationen des On-Screen-Cursors umgesetzt. Sobald die Motion-Control-Taste 20 gedrückt wird, werden die augenblicklichen Werte für Pitch und Roll als Referenzwerte (PitchRef, RollRef) gespeichert. Solange die Motion-Control-Taste 20 gedrückt ist, werden nun alle Bewegungen relativ zu den gespeicherten Referenzwerten (PitchRef, RollRef) interpretiert. Jeder erneute Druck auf die Motion-Control-Taste 20 führt zu einer erneuten Festlegung der Referenzwerte für Pitch und Roll. Die Bewegungssteuerung funktioniert nun derart, dass die Änderungen des Pitch und Roll relativ zu deren Referenzwerten den vier Bewegungsrichtungen zugeordnet werden, solange die Motion-Control-Taste 20 gedrückt gehalten wird.While the motion control key 20 is held, the pitch and roll deflections are translated into on-screen cursor control information. As soon as the Motion Control button 20 is pressed, the current pitch and roll values are stored as reference values (PitchRef, RollRef). As long as the motion control key 20 is pressed, all movements relative to the stored reference values (PitchRef, RollRef) are now interpreted. Each new press on the motion control key 20 resets the reference values for pitch and roll. The motion control now functions such that the pitch and roll changes relative to their reference values are assigned to the four directions of motion as long as the motion control button 20 is held down.

Die Zuordnung zu den Bewegungsrichtungen des On-Screen-Cursors erfolgt dann beispielsweise wie folgt:

  1. 1. Es werden folgende Schwellwerte definiert:
    1. a. Minimale Änderung des Pitch, wenn dieser sich vergrößert (minPosPitch)
    2. b. Minimale Änderung des Pitch, wenn dieser sich verringert (minNegPitch)
    3. c. Minimale Änderung des Roll, wenn dieser sich vergrößert (minPosRoll)
    4. d. Minimale Änderung des Roll, wenn dieser sich verringert (minNegRoll)
    5. e. Maximale Änderung des Pitch, wenn dieser sich vergrößert (maxPosPitch)
    6. f. Maximale Änderung des Pitch, wenn dieser sich verringert (maxNegPitch)
    7. g. Maximale Änderung des Roll, wenn dieser sich vergrößert (maxPosRoll)
    8. h. Maximale Änderung des Roll, wenn dieser sich verringert (maxNegRoll)
  2. 2. Es wird die aktuelle Differenz des Pitch (PitchDiff) und Roll (RollDiff) zu deren Referenzwerten bestimmt.
  3. 3. Liegt PitchDiff und RoliDiff unterhalb der in 1a.-1d. definierten Schwellwerten wird der entsprechende Wert ignoriert.
  4. 4. Liegt PitchDiff und RollDiff oberhalb der in 1e.-1h. definierten Schwellwerten wird PitchDiff und PitchRoll auf den entsprechenden Maximalwert begrenzt.
  5. 5. Der Auslenkung in beiden Achsen (Pitch, Roll) wird linear ein Intensitätswert zwischen 0,0 und 1,0 zugeordnet, der linear zwischen den in 1. definierten Minimal- (0,0) und Maximalwerten (1,0) liegt.
  6. 6. Je nachdem, ob der in 5. berechnete Intensitätswert für die Pitch- oder die Roll-Auslenkung größer ist, erfolgt die Bewegungssteuerung des On-Screen-Cursors ausschließlich in horizontaler oder in vertikaler Richtung. Ein größerer Intensitätswert für die Pitch-Auslenkung führt zu einer Bewegung des On-Screen-Cursors nach oben oder unten, je nachdem in welcher Richtung der Pitch-Wert verändert wurde. Ein größerer Intensitätswert für die Roll-Auslenkung führt zu einer Bewegung des On-Screen-Cursors nach links oder rechts, je nachdem in welcher Richtung der Roll-Wert verändert wurde.
  7. 7. Die Geschwindigkeit mit der der On-Screen-Cursor des On-Screen-Menüs bewegt wird, ist linear zu dem entsprechenden Intensitätswert.
  8. 8. Die Punkte 2. bis 7. werden in festen Abständen wiederholt, solange die Motion-Control-Taste 20 gedrückt ist. Das heißt, bis die Motion-Control-Taste 20 wieder losgelassen wird, wird der On-Screen-Cursor auch dann noch weiterbewegt, wenn sich der Auslenkungswinkel nicht mehr ändert, solange nur die Auslenkung oberhalb der Minimalschwelle liegt. Auf diese Weise kann über den Auslenkungswinkel die Geschwindigkeit gesteuert werden, mit der der On-Screen-Cursor im On-Screen-Menü fortbewegt wird.
The assignment to the directions of movement of the on-screen cursor then takes place, for example, as follows:
  1. 1. The following thresholds are defined:
    1. a. Minimum pitch change as it increases (minPosPitch)
    2. b. Minimum pitch change as it decreases (minNegPitch)
    3. c. Minimum change of roll as it grows (minPosRoll)
    4. d. Minimum roll change as it decreases (minNegRoll)
    5. e. Maximum pitch change as it grows (maxPosPitch)
    6. f. Maximum pitch change as it decreases (maxNegPitch)
    7. G. Maximum roll change as it grows (maxPosRoll)
    8. H. Maximum roll change if it decreases (maxNegRoll)
  2. 2. It determines the actual difference of the pitch (PitchDiff) and roll (RollDiff) to their reference values.
  3. 3. If PitchDiff and RoliDiff are below those in 1a.-1d. defined thresholds, the corresponding value is ignored.
  4. 4. Is PitchDiff and RollDiff above in 1e.-1h. PitchDiff and PitchRoll are limited to the corresponding maximum value.
  5. 5. The deflection in both axes (pitch, roll) is linearly assigned an intensity value between 0.0 and 1.0, which lies linearly between the minimum (0.0) and maximum values (1.0) defined in 1. FIG.
  6. 6. Depending on whether the intensity value for the pitch or roll deflection calculated in 5 is greater, the motion control of the on-screen cursor takes place exclusively in the horizontal or in the vertical direction. A larger intensity value for the pitch deflection will cause the on-screen cursor to move up or down, depending on the direction in which the pitch value was changed. A bigger one Intensity value for the roll deflection causes the on-screen cursor to move to the left or right, depending on which direction the roll value was changed.
  7. 7. The speed with which the on-screen cursor of the on-screen menu is moved is linear with the corresponding intensity value.
  8. 8. Points 2 to 7 are repeated at fixed intervals as long as the Motion Control button 20 is pressed. That is, until the motion control key 20 is released, the on-screen cursor is still moved even if the deflection angle no longer changes, as long as only the deflection is above the minimum threshold. In this way, the deflection angle can be used to control the speed at which the on-screen cursor is moved in the on-screen menu.

Die Motion-Control-Taste 20 kann dabei nicht nur zur Navigation des On-Screen-Cursors innerhalb des On-Screen-Menüs verwendet werden. Mit der Motion-Control-Taste 20 können zusätzlich auch die selektierten Menüpunkte im On-Screen-Menü aktiviert werden, so dass auch auf eine separate Bestätigungstaste verzichtet werden kann ("One Button_Navigation"). Dadurch wird zur Steuerung des On-Screen-Menüs nur noch eine Taste benötigt und der Nutzer muss mit dem Finger oder Daumen auch keine unterschiedlichen Druckrichtungen unterscheiden wie sonst üblicherweise bei herkömmlichen 5-Wege-Keys. Die Unterscheidung zwischen Navigation und Bestätigung erfolgt anhand der zeitlichen Dauer, während der die Motion-Control-Taste 20 gedrückt wurde. Ein kurzer Klick auf die Motion-Control-Taste 20 wird als Bestätigung gewertet, während ein längerer Druck auf die Motion-Control-Taste 20 die horizontale und vertikale Navigation des On-Screen-Cursors aktiviert.The motion control key 20 can not only be used to navigate the on-screen cursor within the on-screen menu. In addition, the selected menu items in the on-screen menu can also be activated with the motion control key 20, so that a separate confirmation key can also be dispensed with ("One Button_Navigation"). As a result, only one key is required to control the on-screen menu and the user does not have to differentiate between different printing directions with his finger or thumb, as is usually the case with conventional 5-way keys. The distinction between navigation and confirmation is based on the time duration during which the motion control key 20 was pressed. A short click on the motion control key 20 is considered as confirmation, while a long press on the motion control key 20 activates the horizontal and vertical navigation of the on-screen cursor.

Die Ablauflogik gestaltet sich beispielsweise wie folgt:

  1. 1. Im Ausgangszustand ist die Motion-Control-Taste 20 im Ruhezustand (nicht gedrückt).
  2. 2. Der Zeitpunkt, zu dem die Motion-Control-Taste 20 heruntergedrückt wird, wird vom System gespeichert (tMCbegin).
  3. 3. Solange die Motion-Control-Taste 20 noch heruntergedrückt ist, kann prinzipiell eine Navigationssteuerung wie im oberen Abschnitt beschrieben erfolgen.
  4. 4. Sobald die Motion-Control-Taste 20 wieder losgelassen wird, wird der Zeitpunkt des Loslassens der Motion-Control-Taste 20 (tMCend) mit dem vorhergehenden Zeitpunkt tMCbegin verglichen.
  5. 5. Ist die Differenz zwischen tMCend und tMCbegin kleiner als ein vorher festgelegter Schwellwert DiffMCclick, dann wird der Druck auf die Motion-Control-Taste 20 als Bestätigung gewertet und das zum Zeitpunkt tMCend durch den On-Screen-Cursor selektierte Element wird bestätigt/aktiviert. Andernfalls beschränkt sich die Verwendung der Motion-Control-Taste 20, wie in Punkt 3 beschrieben, auf die Navigationssteuerung.
The flow logic is, for example, as follows:
  1. 1. In the initial state, the motion control button 20 is in the idle state (not pressed).
  2. 2. The time at which the motion control key 20 is depressed is stored by the system (tMCbegin).
  3. 3. As long as the motion control button 20 is still depressed, in principle, a navigation control as described in the upper section.
  4. 4. As soon as the motion control key 20 is released, the time of release of the motion control key 20 (tMCend) is compared with the previous time tMCbegin .
  5. 5. If the difference between tMCend and tMCbegin is less than a predefined threshold DiffMCclick, then the pressure on the motion control key 20 is taken as an acknowledgment and the item selected at the time tMCend by the on-screen cursor is confirmed / activated , Otherwise, the use of the motion control button 20, as described in point 3, limited to the navigation control.

Üblicherweise ist der Schwellwert DiffMCclick so klein zu wählen, dass der Nutzer während der kurzen Zeitspanne DiffMCclick praktisch keinerlei Navigation vornehmen kann. Typische Werte sind beispielsweise wenige hundert Millisekunden.Usually, the DiffMCclick threshold is so small that the user can do virtually no navigation during the short DiffMCclick period. Typical values are, for example, a few hundred milliseconds.

Die Bewegungssteuerung kann über die Steuerung des On-Screen-Menüs hinaus auch zur stufenlosen Regelung anderer Systemparameter, wie beispielsweise die Lautstärke oder Helligkeit, verwendet werden. Durch einfache Drehbewegungen während die Motion-Control-Taste 20 gedrückt ist, kann so ähnlich wie bei einem analogen Drehregler in beliebiger Geschwindigkeit die gewünschte Systemgröße verändert werden. Mittels eines im Vorfeld erteilten Sprachbefehls (z.B. 'Lautstärke' oder 'Helligkeit', 'Kontrast') kann gegebenenfalls auch der jeweilige Systemparameter ausgewählt werden, der dann anschließend über die Bewegungssteuerung geregelt werden soll.The motion control can be used beyond the control of the on-screen menu also for stepless control of other system parameters, such as the volume or brightness. By simple rotary movements while the motion control button 20 is pressed, the desired system size can be changed at any speed, similar to an analog rotary control. By means of a previously issued voice command (for example, 'volume' or 'brightness', 'contrast'), if appropriate, the respective system parameter can also be selected, which is then subsequently to be regulated via the motion control.

Claims (18)

Anordnung mit einem fernbedienbaren Gerät (2), bestehend aus dem fernzubedienenden Gerät (2) und einer Fernbedienungseinrichtung (1) zur multimodalen drahtlosen Fernbedienung des Gerätes (2), wobei die Anordnung zumindest Mittel (6, 7) zur drahtlosen Kommunikation zwischen der Fernbedienungseinrichtung (1) und dem mit ihr zu bedienenden Gerät (2), an oder in der Fernbedienungseinrichtung (1) angeordnete Eingabemittel (8, 9, 10) zur Entgegennahme von Eingaben in mindestens zwei verschiedenen Eingabemodi, mindestens eine Digitalisierungseinheit (11) zur Digitalisierung entgegengenommener Eingaben, mindestens eine Interpretationseinheit (3) zur Interpretation der in digitale Daten umgewandelten Eingaben sowie eine Steuereinheit (4) zur Ableitung von Steuersignalen aus im Zuge der Interpretation von Eingaben erkannten Bedienkommandos und zur Ansteuerung entsprechender Aktoren (5) des bedienten Gerätes (2) aufweist, durch welche die mit den jeweiligen Eingaben korrespondierenden Bedienkommandos in dem Gerät (2) umgesetzt werden und wobei wenigstens ein Modus zur Spracheingabe oder ein Modus für durch eine Bewegung der Fernbedienungseinrichtung (1) erfolgende Eingaben vorgesehen ist, dadurch gekennzeichnet, dass die mindestens eine Interpretationseinheit (3) zur Interpretation von Spracheingaben oder zur Interpretation von durch die Bewegung der Fernbedienungseinrichtung (1) erfolgender Eingaben in dem zu bedienenden Gerät (2) angeordnet ist, wobei eine Sprach- oder Bewegungseingabe durch die mindestens eine Digitalisierungseinheit (11) in der Fernbedienungseinrichtung (1) lediglich digitalisiert wird und die dabei erhaltenen digitalen Daten durch einen Sender (6) der Fernbedienungseinrichtung (1) als digitaler Datenstrom an einen Empfänger (7) des zu bedienenden Geräts (2) übertragen werden.Arrangement comprising a remote-controlled device (2) consisting of the remote-controlled device (2) and a remote control device (1) for multimodal wireless remote control of the device (2), the device comprising at least means (6, 7) for wireless communication between the remote control device (2) 1) and the device (2) to be operated therewith, input means (8, 9, 10) arranged on or in the remote control device (1) for accepting inputs in at least two different input modes, at least one digitizing unit (11) for digitizing received inputs , at least one interpretation unit (3) for interpreting the inputs converted into digital data, and a control unit (4) for deriving control signals from operating commands recognized during the interpretation of inputs and for driving corresponding actuators (5) of the operated device (2), through which the operator corresponding to the respective inputs commands are implemented in the device (2) and wherein at least one mode for voice input or a mode for by a movement of the remote control device (1) takes place inputs, characterized in that the at least one interpretation unit (3) for the interpretation of voice input or the Interpretation of inputs made by the movement of the remote control device (1) is arranged in the device (2) to be operated, wherein a voice or movement input is merely digitized by the at least one digitizing unit (11) in the remote control device (1) and the thereby obtained digital data are transmitted by a transmitter (6) of the remote control device (1) as a digital data stream to a receiver (7) of the device to be operated (2). Anordnung nach Anspruch 1, dadurch gekennzeichnet, dass in oder an der Fernbedienungseinrichtung sowohl Eingabemittel (8) zur Entgegennahme von Spracheingaben und als auch Eingabemittel (9) zur Entgegennahme von Eingaben in Form von Bewegungen der Fernbedienungseinrichtung (1) angeordnet sind und in dem zu bedienenden Gerät (2) eine oder mehrere Interpretationseinheiten (3) zur Interpretation von sowohl Sprach- als auch von Bewegungseingaben angeordnet sind, wobei es sich bei den Eingabemitteln für die Spracheingabe um mindestens ein Mikrofon (8) und bei den Eingabemitteln für die Bewegungseingabe um mindestens einen Beschleunigungssensor (9) handelt.Arrangement according to claim 1, characterized in that both input means (8) for receiving voice inputs and also input means (9) for receiving inputs in the form of movements of the remote control device (1) are arranged in and on the remote control device and in the one to be operated Device (2) one or more interpretation units (3) are arranged for the interpretation of both voice and movement inputs, wherein the input means for the voice input to at least one microphone (8) and the input means for the movement input by at least one Acceleration sensor (9) acts. Anordnung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Eingabemittel der Fernbedienungseinrichtung (1) eine Tastatur (10) umfassen.Arrangement according to claim 1 or 2, characterized in that the input means of the remote control device (1) comprise a keyboard (10). Anordnung nach Anspruch 1 mit einem Modus zur Spracheingabe oder nach Anspruch 2, dadurch gekennzeichnet, dass die mindestens eine in dem Gerät (2) angeordnete Interpretationseinheit (3) mindestens eine Funktionsgruppe (12) zur Spracherkennung mit einem Spracherkenner (15) mindestens einer einen Sprachraum für die Spracherkennung festlegenden Grammatik (13) aufweist.Arrangement according to claim 1 with a mode for voice input or according to claim 2, characterized in that the at least one arranged in the device (2) interpretation unit (3) at least one function group (12) for speech recognition with a speech recognizer (15) at least one of a language space for the speech recognition defining grammar (13). Anordnung nach Anspruch 4, dadurch gekennzeichnet, dass die Funktionsgruppe (12) zur Spracherkennung eine Grammatik (13) zur Festlegung eines Sprachraums für die Interpretation von Bedienkommandos eines statischen Kommandosatzes für einen die Steuerung von Grundfunktionen des Gerätes (2) ermöglichenden Bedienmodus und eine Grammatik (14) zur Festlegung eines Sprachraums für die Interpretation von Bedienkommandos eines sich dynamisch ändernden Kommandosatzes für einen die Steuerung von erweiterten Gerätefunktionen ermöglichenden Bedienmodus aufweist.Arrangement according to Claim 4, characterized in that the speech recognition function group (12) has a grammar (13) for defining a speech space for interpreting operating commands of a static command set for an operating mode enabling control of basic functions of the device (2) and a grammar ( 14) for establishing a language space for the interpretation of operating commands of a dynamically changing command set for an operating mode enabling control of extended device functions. Anordnung nach Anspruch 5, dadurch gekennzeichnet, dass in dem Bedienmodus für die Steuerung erweiterter Gerätefunktionen eine kontextabhängige Bedienung im Hinblick auf von dem Gerät (2) gerade empfangene und/oder wiedergegebene Medieninhalte ermöglicht ist.Arrangement according to claim 5, characterized in that in the operating mode for the control of extended device functions a context-dependent operation with respect to the device (2) just received and / or reproduced media content is possible. Anordnung nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Umschaltung zwischen dem der Steuerung von Grundfunktionen des Gerätes (2) ermöglichenden Bedienmodus und dem die Steuerung erweiterter Gerätefunktionen ermöglichenden Bedienkommandos durch eine Spracheingabe ermöglicht ist.Arrangement according to claim 5 or 6, characterized in that the switching between the control of basic functions of the device (2) enabling operating mode and the control of extended device functions enabling operating commands is made possible by a voice input. Anordnung nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass diese auf der Grundlage einer entsprechenden Interpretation von Spracheingaben in der mindestens einen Interpretationseinheit (3) ein Voice-Zapping zur Verfügung stellt, bei der die Umschaltung auf einen bestimmten Programminhalt durch Nennung eines diesen Programminhalt bezeichnenden Genres ermöglicht ist.Arrangement according to one of claims 4 to 7, characterized in that it provides on the basis of a corresponding interpretation of speech inputs in the at least one interpretation unit (3) a voice-zapping, in which the switching to a particular program content by naming a this Program content indicating genre is possible. Anordnung nach einem der Ansprüche 4 bis 8, dadurch gekennzeichnet, dass die an oder in der Fernbedienungseinrichtung (1) angeordneten Eingabemittel (8) zur Entgegennahme von Spracheingaben mittels einer dazu vorgesehenen an der Fernbedienungseinrichtung angeordneten Taste (19) aktivierbar und für die Dauer der Betätigung dieser Taste (19) oder bis zu einem nochmaligen Betätigen dieser Taste (19) aktiviert sind.Arrangement according to one of Claims 4 to 8, characterized in that the input means (8) arranged on or in the remote control device (8) can be activated to receive voice input by means of a button (19) provided on the remote control device for the duration of the actuation this key (19) or until a further actuation of this key (19) are activated. Anordnung nach Anspruch 9, dadurch gekennzeichnet, dass bei aktivierter Spracheingabe, die Lautstärke durch das Gerät (2) wiedergegebener akustischer Inhalte auf eine minimale Lautstärke zurückgeregelt wird.Arrangement according to claim 9, characterized in that with activated voice input, the volume by the device (2) reproduced acoustic content is adjusted back to a minimum volume. Anordnung nach Anspruch 1 mit einem Modus für durch eine Bewegung der Fernbedienungseinrichtung (1) erfolgende Eingaben oder nach Anspruch 2, dadurch gekennzeichnet, dass die mittels der mindestens einem in dem Gerät (2) angeordneten Interpretationseinheit (3) interpretierbaren Bedienkommandos zumindest Bedienkommandos für ein durch Änderung der Lage der Fernbedienungseinrichtung (1) erfolgendes Ein- und Ausschalten des Gerätes (2) umfassen.Arrangement according to claim 1 with a mode for by a movement of the remote control device (1) taking place or inputs according to claim 2, characterized in that the means of at least an interpretable unit (3) interpretable operating commands in the device (2) at least operating commands for one by changing the position of the remote control device (1) taking place switching on and off of the device (2). Anordnung nach Anspruch 1 mit einem Modus für durch eine Bewegung der Fernbedienungseinrichtung (1) erfolgende Eingaben oder nach Anspruch 2, dadurch gekennzeichnet, dass die mittels der mindestens einem in dem Gerät (2) angeordneten Interpretationseinheit (3) interpretierbaren Bedienkommandos zumindest Bedienkommandos zur stufenlosen Steuerung von Gerätefunktionen durch ein Drehen der Fernbedienungseinrichtung (1) um mindestens eine ihrer Achsen umfassen.Arrangement according to Claim 1 with a mode for inputs made by a movement of the remote control device (1) or according to Claim 2, characterized in that the operating commands interpretable by means of the at least one interpretation unit (3) arranged in the device (2) at least control commands for stepless control device functions by rotating the remote control device (1) around at least one of its axes. Anordnung nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass die an oder in der Fernbedienungseinrichtung (1) angeordneten Eingabemittel (9) zur Entgegennahme von Eingaben in Form von Bewegungen der Fernbedienungseinrichtung (1) mittels einer dazu vorgesehenen an der Fernbedienungseinrichtung (1) angeordneten Taste (20) aktivierbar und für die Dauer der Betätigung dieser Taste (20) oder bis zu einem nochmaligen Betätigen dieser Taste (20) aktiviert sind.Arrangement according to claim 11 or 12, characterized in that on or in the remote control device (1) arranged input means (9) for receiving inputs in the form of movements of the remote control device (1) by means provided for this purpose on the remote control device (1) button (20) are activated and activated for the duration of the actuation of this key (20) or until a further actuation of this key (20). Anordnung nach Anspruch 4, 11 oder 12, dadurch gekennzeichnet, dass die mindestens eine Interpretationseinheit (3) einen Kommandospeicher (18) umfasst in dem die im Rahmen der Interpretation von Bedieneingaben als mögliches Ergebnis erhältlichen Bedienkommandos hinterlegt sind.Arrangement according to claim 4, 11 or 12, characterized in that the at least one interpretation unit (3) comprises a command memory (18) in which are stored as part of the interpretation of operator inputs as a possible result operating commands. Anordnung nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass die Mittel (6, 7) zur drahtlosen Kommunikation zwischen der Fernbedienungseinrichtung (1) und dem mit ihr zu bedienenden Gerät (2) bidirektional ausgebildet sind.Arrangement according to one of Claims 1 to 14, characterized in that the means (6, 7) for wireless communication between the remote control device (1) and the device (2) to be operated with it are bidirectional. Anordnung nach Anspruch 15, dadurch gekennzeichnet, dass die Fernbedienungseinrichtung (1) mindestens ein Display zur visuellen Ausgabe von durch die Steuereinheit (4) des Gerätes (2) generierten Rückantworten auf an der Fernbedienungseinrichtung (1) getätigte Eingaben zur Steuerung von Gerätefunktionen des Gerätes (2) aufweist.Arrangement according to Claim 15, characterized in that the remote control device (1) has at least one display for the visual output of responses generated by the control unit (4) of the device (2) to inputs made on the remote control device (1) for controlling device functions of the device (1). 2). Anordnung nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass die Fernbedienungseinrichtung (1) mindestens einen Lautsprecher zur akustischen Ausgabe von durch die Steuereinheit (4) des Gerätes (2) generierten Rückantworten auf an der Fernbedienungseinrichtung (1) getätigte Eingaben zur Steuerung von Gerätefunktionen des Gerätes (2) aufweist.Arrangement according to claim 15 or 16, characterized in that the remote control device (1) has at least one loudspeaker for the acoustic output of responses generated by the control unit (4) of the device (2) to inputs made on the remote control device (1) for controlling device functions of the device Device (2). Anordnung nach einem der Ansprüche 15 bis 17, dadurch gekennzeichnet, dass die Fernbedienungseinrichtung (1) mindestens eine Vibrationseinheit zur haptischen Ausgabe von durch die Steuereinheit (4) des Gerätes (2) generierten Rückantworten auf an der Fernbedienungseinrichtung (1) getätigte Eingaben zur Steuerung von Gerätefunktionen des Gerätes (2) aufweist.Arrangement according to one of claims 15 to 17, characterized in that the remote control device (1) at least one vibration unit for haptic output generated by the control unit (4) of the device (2) responses to on the remote control device (1) made inputs for the control of Device functions of the device (2).
EP08075599.4A 2008-07-01 2008-07-01 Assembly with device which can be controlled remotely Not-in-force EP2141674B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP08075599.4A EP2141674B1 (en) 2008-07-01 2008-07-01 Assembly with device which can be controlled remotely

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP08075599.4A EP2141674B1 (en) 2008-07-01 2008-07-01 Assembly with device which can be controlled remotely

Publications (2)

Publication Number Publication Date
EP2141674A1 true EP2141674A1 (en) 2010-01-06
EP2141674B1 EP2141674B1 (en) 2019-03-06

Family

ID=40342361

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08075599.4A Not-in-force EP2141674B1 (en) 2008-07-01 2008-07-01 Assembly with device which can be controlled remotely

Country Status (1)

Country Link
EP (1) EP2141674B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016123547A1 (en) 2016-12-06 2018-06-07 Fm Marketing Gmbh Natural Language Dialog

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1079371A1 (en) * 1999-08-26 2001-02-28 Matsushita Electric Industrial Co., Ltd. Universal remote control allowing natural language modality for television and multimedia searches and requests
EP1335338A2 (en) * 2002-02-07 2003-08-13 Microsoft Corporation A system and process for controlling electronic components in a computing environment
US20060077174A1 (en) 2004-09-24 2006-04-13 Samsung Electronics Co., Ltd. Integrated remote control device receiving multimodal input and method of the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050027539A1 (en) * 2003-07-30 2005-02-03 Weber Dean C. Media center controller system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1079371A1 (en) * 1999-08-26 2001-02-28 Matsushita Electric Industrial Co., Ltd. Universal remote control allowing natural language modality for television and multimedia searches and requests
EP1335338A2 (en) * 2002-02-07 2003-08-13 Microsoft Corporation A system and process for controlling electronic components in a computing environment
US20060077174A1 (en) 2004-09-24 2006-04-13 Samsung Electronics Co., Ltd. Integrated remote control device receiving multimodal input and method of the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016123547A1 (en) 2016-12-06 2018-06-07 Fm Marketing Gmbh Natural Language Dialog
EP3333818A1 (en) 2016-12-06 2018-06-13 fm marketing gmbh Natural language dialog

Also Published As

Publication number Publication date
EP2141674B1 (en) 2019-03-06

Similar Documents

Publication Publication Date Title
DE102008046493B4 (en) Multimedia arrangement with a programmable universal remote control
EP1118979B1 (en) Speech controled device
DE202010018471U1 (en) Digital broadcast receiver controlled by a screen remote control and a room remote control
DE2755633C2 (en) Remote control for controlling, switching on and switching between variable and fixed device functions and function variables in communications technology. devices
EP1123842B1 (en) Driver assist system and control method for representation of information, for communication means and for actuators in a vehicle
DE102011109932B4 (en) Method for controlling functional devices in a vehicle during voice command operation
DE69819690T2 (en) LANGUAGE RECOGNITION USING A COMMAND LIKE
DE69915668T2 (en) PORTABLE REMOTE CONTROL DEVICE
DE112009001272B4 (en) DTV capable of receiving a signal from a 3D pointing device, and methods of performing a function and adjusting an audio characteristic of a DTV using a 3D pointing device
DE69515996T2 (en) VOICE-CONTROLLED CONTROL SYSTEM FOR USE WITH A CONSUMER PRODUCT
EP2212149B1 (en) Dialogue system for a motor vehicle
DE60015797T2 (en) UNIVERSAL REMOTE CONTROL PROCESS AND DEVICE
WO2010083820A1 (en) Method for executing an input using a virtual keyboard displayed on a screen
EP2026328A1 (en) Method for multimodal control of at least one device in a motor vehicle
WO2018046389A1 (en) Smart touch
EP1040965B1 (en) Vehicle sound system and initialisation method
EP2141674B1 (en) Assembly with device which can be controlled remotely
EP0467157B1 (en) Voice-operated device for entertainment electronic, especially for video recorder
DE112019007646T5 (en) ARTIFICIAL INTELLIGENCE DISPLAY AND SERVER
DE102009006661A1 (en) Mechanism for controlling e.g. monitor and TV receiver for rendering image content, has touch-pad arranged in remote control that wirelessly controls monitor and image sources over Bluetooth- or wireless local area network connections
DE4427444A1 (en) Voice operated controller for installation and appts., e.g. car radio
EP1259071B1 (en) Method for modifying a user interface of a consumer electronic apparatus, corresponding consumer electronic apparatus
AT510873B1 (en) METHOD FOR OPERATING A REMOTE CONTROL OPERABLE ELECTRONIC DEVICE, AND AN ASSOCIATED ELECTRONIC DEVICE OR APPARATUS A RELATED REMOTE CONTROL
EP1544880A2 (en) Control device
DE102009059281A1 (en) System for operating entertainment electronic device e.g. LCD-TV-device, over communication technology device i.e. mobile phone, has TV electronic device for evaluating data transmitted b mobile phone and executing functions

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

17P Request for examination filed

Effective date: 20100702

17Q First examination report despatched

Effective date: 20100729

AKX Designation fees paid

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20180925

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 1105594

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190315

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502008016624

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20190306

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190606

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190606

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190706

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502008016624

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190706

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

26N No opposition filed

Effective date: 20191209

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20190731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190701

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190731

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190731

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190701

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1105594

Country of ref document: AT

Kind code of ref document: T

Effective date: 20190701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20080701

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20190306

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20210721

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20210722

Year of fee payment: 14

Ref country code: DE

Payment date: 20210721

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502008016624

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20220701

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220731

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220701

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20230201