DE102014219798A1

DE102014219798A1 - Mobile terminal and orientation determination method on a mobile terminal

Info

Publication number: DE102014219798A1
Application number: DE102014219798.8A
Authority: DE
Inventors: Asa MacWilliams
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2014-09-30
Filing date: 2014-09-30
Publication date: 2016-03-31
Also published as: EP3170016A1; WO2016050385A1

Abstract

Die vorliegende Erfindung umfasst ein Verfahren zur Orientierungsbestimmung an einem mobilen Endgerät. Dabei erfolgt eine Bestimmung einer Position (P) des mobilen Endgeräts (MEG), eine Erfassung einer Umgebung des mobilen Endgeräts, Extraktion linienartiger Muster (M) aus der erfassten Umgebung und Ermittlung einer Musterhauptachse (MHA) aus den linienartigen Mustern (M). Ein Gerätversatz (GEV) als Winkeldifferenz zwischen einer Hauptachse (GHA) des mobilen Endgeräts und der Musterhauptachse (MHA) an der bestimmten Position (P) wird bestimmt. Weiterhin wird ein Musterhauptachsenversatz (MHV) als Winkeldifferenz zwischen der Musterhauptachse (MHA) und einer Referenzorientierung (RFO) an der bestimmten Position (P) abgerufen. Schließlich erfolgt eine Bestimmung einer Winkelsumme aus dem Musterhauptachsenversatz (MHV) und dem Gerätversatz (GEV).The present invention comprises a method for orientation determination on a mobile terminal. In this case, a determination is made of a position (P) of the mobile terminal (MEG), detection of an environment of the mobile terminal, extraction of line-like patterns (M) from the detected environment and determination of a master pattern axis (MHA) from the linear patterns (M). A device offset (GEV) as the angular difference between a major axis (GHA) of the mobile terminal and the master pattern axis (MHA) at the determined position (P) is determined. Further, a pattern principal axis offset (MHV) is retrieved as an angle difference between the pattern main axis (MHA) and a reference orientation (RFO) at the designated position (P). Finally, an angle sum is determined from the pattern principal axis offset (MHV) and the device offset (GEV).

Description

Die Erfindung betrifft ein mobiles Endgerät sowie ein Verfahren zur Orientierungsbestimmung an einem mobilen Endgerät. The invention relates to a mobile terminal and to a method for orientation determination on a mobile terminal.

Im Stand der Technik sind mobile Endgeräte bekannt, welche eine Wegeführung eines Bedieners ermöglichen. Eine Wegeführung außerhalb von Gebäuden erfolgt heute weitgehend zuverlässig in Anwendung einer Positionsbestimmung auf Basis von Satellitensignalen, insbesondere in Anwendung von Global Positioning System-Signalen, in der Fachwelt auch als GPS bekannt. In the prior art, mobile terminals are known which allow a routing of an operator. A routing outside of buildings today is largely reliable in the application of a position determination based on satellite signals, in particular in the application of Global Positioning System signals, known in the art as GPS.

Dagegen weisen Wegeführungsverfahren innerhalb von zumindest teilweise abgeschlossenen Bereichen wie etwa Gebäuden, noch eine Reihe technischer Probleme auf. Diese Probleme solcher auch als Indoor-Navigationssysteme bezeichneten Wegeführungsverfahren sind hauptsächlich durch den Umstand begründet, dass ein Empfang von GPS-Signalen in Gebäuden technisch nahezu unmöglich ist. In abgeschlossenen Bereichen haben sich daher alternative Verfahren etabliert, welche eine Positions- und Orientierungsbestimmung eines mobilen Endgeräts in Abwesenheit von Satellitensignalen ermöglichen sollen. In contrast, routing systems within at least partially closed areas, such as buildings, still have a number of technical problems. These problems of such routing techniques, also referred to as indoor navigation systems, are mainly due to the fact that reception of GPS signals in buildings is technically almost impossible. In closed areas, therefore, alternative methods have been established which are intended to enable position and orientation determination of a mobile terminal in the absence of satellite signals.

Zur Positionsbestimmung eines mobilen Endgeräts sind beispielsweise Verfahren bekannt, welche WLAN-(Wireless Local Area Network) oder Bluetooth-Signale erfassen und deren gemessene Signalstärke, beispielsweise unter Anwendung von Triangulierungsverfahren oder Lookup-Tabellen zur Positionsbestimmung verwenden. Diese Verfahren ermöglichen eine Bestimmung der Position eines mobilen Endgeräts, nicht jedoch der Orientierung des mobilen Endgeräts. For determining the position of a mobile terminal, methods are known, for example, which detect WLAN (Wireless Local Area Network) or Bluetooth signals and use their measured signal strength, for example using triangulation methods or lookup tables for position determination. These methods allow a determination of the position of a mobile terminal, but not the orientation of the mobile terminal.

Unter der Orientierung eines mobilen Endgeräts wird im Folgenden entweder eine an einer aktuellen Position gemessene absolute Richtungsangabe in Bezug auf eine Referenzorientierung, etwa einer Himmelsrichtung wie z.B. Norden, verstanden, oder eine relative Richtungsangabe, in die das mobile Endgerät in Bezug einen festen Bezugspunkt bewegt wird. Under the orientation of a mobile terminal, in the following, either an absolute directional indication measured at a current position with respect to a reference orientation, such as a compass direction, such as a compass direction, will be used. North, understood, or a relative directional indication into which the mobile terminal is moved in relation to a fixed reference point.

Zur Orientierungsbestimmung sind ergänzende Verfahren bekannt, welche eine Anwendung eines Trägheitsnavigationssystems mit zusätzlicher Verwendung von Magnetfeldsensoren (Kompasssensoren) vorsehen. Eine Trägheitsnavigation ermöglicht eine Messung von Bewegungen im Raum in sechs kinematischen Freiheitsgrade, davon drei translatorische sowie drei rotatorische Freiheitsgrade. Mit diesem Trägheitsnavigationssystems lassen sich Lageänderungen, also die Orientierung im Raum bestimmen. Eine Bestimmung der Orientierung ist insbesondere unabhängig von jeglichen Ortungssignalen aus der Umgebung. For orientation determination complementary methods are known, which provide for an application of an inertial navigation system with additional use of magnetic field sensors (compass sensors). An inertial navigation enables a measurement of movements in space in six kinematic degrees of freedom, of which three translational and three rotational degrees of freedom. With this inertial navigation system, changes in position, ie the orientation in space, can be determined. A determination of the orientation is in particular independent of any localization signals from the environment.

Ein Trägheitsnavigationssystem erfordert eine doppelte Integration von Beschleunigungsmesswerte und eine einfache Integration von Winkelgeschwindigkeitsmesswerten. Eine üblicherweise starke Sensordrift sowie eine mathematisch erforderliche Kreuzkopplung von orthogonalen Sensorachsen führen zu beträchtlichen Fehlern in der Orientierungsbestimmung, deren Einflüsse sich mit fortschreitender Zeit kumulativ auswirken. An inertial navigation system requires dual integration of accelerometer readings and easy integration of angular velocity readings. A usually strong sensor drift and a mathematically required cross-coupling of orthogonal sensor axes lead to considerable errors in the orientation determination whose effects cumulatively with increasing time.

Es wurde daher bereits vorgeschlagen, Trägheitsnavigationssysteme mit zusätzlichen Verfahren zur Orientierungsbestimmung zu ergänzen. Zum Bestimmen von Integrationskonstanten, zur Verbesserung der Genauigkeit und zur Korrektur der Sensordrift werden unterstützende Orientierungsbestimmungsverfahren unter Auswertung von Magnetfeldsensoren bzw. Kompasssensoren verwendet. Magnetfeldsensoren werden allerdings durch magnetische Störeinflüsse durch Stromleitungen, Metallwände etc. beeinflusst. Zur Korrektur von Abweichungen und Störeinflüssen ist eine softwarebasierte Signalverarbeitung, beispielsweise mittels Kalman-Filterung bekannt. Ungeachtet dieser zusätzlichen Verfahren zur Orientierungsbestimmung weichen die innerhalb von Gebäuden bestimmten Orientierungen in der Praxis um Winkelfehler bis zu 20 Grad von einer tatsächlichen Orientierung ab. Der Winkelfehler, auch als Deviation bekannt, entspricht einem Winkel zwischen einer tatsächlichen Orientierung und der gemessenen Orientierung. It has therefore already been proposed to supplement inertial navigation systems with additional orientation determination methods. In order to determine integration constants, to improve the accuracy and to correct the sensor drift, supportive orientation determination methods using evaluation of magnetic field sensors or compass sensors are used. However, magnetic field sensors are influenced by magnetic interference caused by power lines, metal walls, etc. For the correction of deviations and disturbing influences a software-based signal processing, for example by means of Kalman filtering is known. Notwithstanding these additional orientation determination techniques, the in-building orientations deviate in practice from angular errors of up to 20 degrees from an actual orientation. The angle error, also known as deviation, corresponds to an angle between an actual orientation and the measured orientation.

Die vorliegende Erfindung ist vor die Aufgabe gestellt, Mittel zu schaffen, welche eine alternative oder zusätzliche Orientierungsbestimmung an einem mobilen Endgerät gewährleisten. The present invention has the object to provide means to ensure an alternative or additional orientation determination on a mobile terminal.

Die Aufgabe wird erfindungsgemäß durch ein mobiles Endgerät mit den Merkmalen des Patentanspruchs 1 gelöst. The object is achieved by a mobile terminal with the features of claim 1.

Das erfindungsgemäße mobile Endgerät umfasst

– eine Positionsbestimmungseinheit zur Bestimmung einer Position des mobilen Endgeräts;
– eine Bilderfassungseinheit zur Erfassung einer Umgebung des mobilen Endgeräts, zur Extraktion linienartiger Muster aus der erfassten Umgebung und zur Ermittlung einer Musterhauptachse aus den linienartigen Mustern;
– eine Bestimmungseinheit zur Bestimmung eines Gerätversatzes als Winkeldifferenz zwischen einer Hauptachse des mobilen Endgeräts und der Musterhauptachse an der bestimmten Position;
– eine Abrufeinheit zum Abruf eines Musterhauptachsenversatzes als Winkeldifferenz zwischen der Musterhauptachse und einer Referenzorientierung an der bestimmten Position;
– eine Orientierungsbestimmungseinheit zur Bestimmung einer Winkelsumme aus dem Musterhauptachsenversatz und dem Gerätversatz.

The mobile terminal according to the invention comprises

A position determination unit for determining a position of the mobile terminal;
An image acquisition unit for detecting an environment of the mobile terminal, extracting line-like patterns from the detected environment and determining a master pattern from the line-like patterns;
A determining unit for determining an apparatus offset as an angular difference between a major axis of the mobile terminal and the master pattern axis at the determined position;
A fetching unit for fetching a master pattern axis offset as an angle difference between the master pattern axis and a reference orientation at the determined position;
An orientation determination unit for determining an angle sum from the pattern principal axis offset and the device offset.

Die Aufgabe wird erfindungsgemäß weiterhin durch ein Verfahren mit den Merkmalen des Patentanspruchs 5 gelöst. The object is further achieved by a method with the features of claim 5.

Das erfindungsgemäße Verfahren zur Orientierungsbestimmung an einem mobilen Endgerät umfasst folgende Schritte:

– Bestimmung einer Position des mobilen Endgeräts;
– Erfassung einer Umgebung des mobilen Endgeräts, Extraktion linienartiger Muster aus der erfassten Umgebung und Ermittlung einer Musterhauptachse aus den linienartigen Mustern;
– Bestimmung eines Gerätversatzes als Winkeldifferenz zwischen einer Hauptachse des mobilen Endgeräts und der Musterhauptachse an der bestimmten Position;
– Abruf eines Musterhauptachsenversatzes als Winkeldifferenz zwischen der Musterhauptachse und einer Referenzorientierung an der bestimmten Position; und;
– Bestimmung einer Winkelsumme aus dem Musterhauptachsenversatz und dem Gerätversatz.

The inventive method for orientation determination on a mobile terminal comprises the following steps:

- determining a position of the mobile terminal;
Detecting an environment of the mobile terminal, extracting line-like patterns from the detected environment, and obtaining a master pattern from the line-like patterns;
- determining a device offset as the angular difference between a major axis of the mobile terminal and the master pattern axis at the determined position;
Retrieving a master pattern axis offset as the angular difference between the master pattern axis and a reference orientation at the determined position; and;
- Determination of an angle sum from the pattern main axis offset and the device offset.

Die Aufgabe wird weiterhin durch ein Computerprogrammprodukt mit den Merkmalen des Patentanspruchs 11 gelöst. Das Computerprogramm wird in einem Prozessor eines mobilen Endgeräts abgearbeitet, welcher mit der Abarbeitung das Verfahren ausführt. The object is further achieved by a computer program product having the features of patent claim 11. The computer program is processed in a processor of a mobile terminal, which executes the method with the processing.

Mit Einsatz der erfindungsgemäßen Mittel wird in vorteilhafter Weise eine Orientierungsbestimmung geschaffen, welche in Vergleich mit anderen Orientierungsbestimmungsverfahren eine hohe Genauigkeit unter Vermeidung der im Stand der Technik bekannten Drift- bzw. Jitterproblemen erzielt. With the use of the means according to the invention an orientation determination is advantageously provided, which achieves a high accuracy in comparison with other orientation determination methods while avoiding the drift or jitter problems known in the prior art.

Im Gegensatz bekannten komplexen optischen Positions- und Orientierungsberechnung aus gespeicherten 3D-Modellen eines Gebäudes ist eine Erfassung einer Umgebung und eine Extraktion linienartiger Muster aus der erfassten Umgebung in vorteilhafter Weise mit weniger rechentechnischen Ressourcen zu bewerkstelligen. Contrary to known complex optical position and orientation calculation from stored 3D models of a building, detection of an environment and extraction of line-like patterns from the detected environment is advantageously accomplished with less computational resources.

Weitere Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche. Further embodiments of the invention are the subject of the dependent claims.

Im Folgenden werden weitere Ausführungsbeispiele und Vorteile der Erfindung anhand der Zeichnung näher erläutert. Dabei zeigen: In the following, further embodiments and advantages of the invention will be explained in more detail with reference to the drawing. Showing:

1: eine schematische Darstellung von zur Orientierungsbestimmung eines mobilen Endgeräts verwendeter Achsen in einem Horizontsystem; und; 1 : a schematic representation of axes used for determining the orientation of a mobile terminal in a horizontal system; and;

2: eine schematische Darstellung ausgewählter Funktionskomponenten in einem mobilen Endgerät gemäß einer Ausführungsform der Erfindung. 2 : A schematic representation of selected functional components in a mobile terminal according to an embodiment of the invention.

In 1 ist ein kartesisches Koordinatensystem – im Folgenden auch Horizontsystem – bestehend aus einer Abszisse x und einer Ordinate y dargestellt, dessen Ursprung P einer ermittelten Position eines mobilen Endgeräts MEG entspricht. In 1 is a Cartesian coordinate system - hereinafter also horizon system - consisting of an abscissa x and an ordinate y shown, whose origin P corresponds to a determined position of a mobile terminal MEG.

Erfindungsgemäß erfasst mindestens eine im mobilen Endgerät angeordnete Bilderfassungseinheit eine Umgebung des mobilen Endgeräts. According to the invention, at least one image acquisition unit arranged in the mobile terminal detects an environment of the mobile terminal.

Die Erfassung der Umgebung erfolgt in vorteilhafter Weise durch eine auf einen Fußboden gerichtete Bilderfassungseinheit. Diese Richtung auf den Fußboden entspricht in vorteilhafter Weise einer natürlichen Orientierung einer in handelsüblichen mobilen Endgeräten auf der Rückseite verbauten Bilderfassungseinheit bzw. Kamera, wenn ein Bediener das mobile Endgerät im Stehen in der Hand hält und eine auf der gegenüberliegenden Vorderseite angeordnete Anzeigeneinheit des mobilen Endgeräts betrachtet. Die auf der Rückseite angeordnete Bilderfassungseinheit ist in handelsüblichen mobilen Endgeräten in Gegenrichtung zur Anzeigeneinheit gerichtet und dient üblicherweise einer audiovisuellen Aufnahme der Umgebung bei gleichzeitiger Möglichkeit einer Betrachtung der aufgenommenen Umgebung. The detection of the environment takes place in an advantageous manner by an image acquisition unit directed at a floor. This direction on the floor advantageously corresponds to a natural orientation of an image capture unit or camera installed in commercially available mobile terminals on the rear side, when an operator holds the mobile terminal in his hand while looking at a display unit of the mobile terminal arranged on the opposite front side , The arranged on the back of image capture unit is directed in commercial mobile devices in the opposite direction to the display unit and usually serves an audiovisual recording of the environment with simultaneous possibility of viewing the recorded environment.

Alternativ oder zusätzlich erfolgt die Erfassung der Umgebung durch eine auf eine Raumdecke der Umgebung gerichtete Bilderfassungseinheit. Diese Richtung auf die Raumdecke entspricht in vorteilhafter Weise einer natürlichen Orientierung einer in Richtung der Anzeigeneinheit des mobilen Endgeräts ausgerichteten Bilderfassungseinheit, wenn ein Bediener das mobile Endgerät im Stehen in der Hand hält und eine Anzeigeneinheit des mobilen Endgeräts betrachtet. Die in Richtung der Anzeigeneinheit des mobilen Endgeräts ausgerichtete Bilderfassungseinheit entspricht einer Kamera, welche üblicherweise das Gesicht des Bedieners zur Durchführung einer audiovisuellen Kommunikation erfassen soll. Alternatively or additionally, the detection of the environment is carried out by an image acquisition unit directed at a ceiling of the environment. This direction on the ceiling advantageously corresponds to a natural orientation of an image acquisition unit oriented in the direction of the display unit of the mobile terminal, when an operator holds the mobile terminal in the hand while looking at a display unit of the mobile terminal. The image acquisition unit oriented in the direction of the display unit of the mobile terminal corresponds to a camera, which is usually intended to detect the face of the operator for carrying out audio-visual communication.

Aus der erfassten Umgebung werden erfindungsgemäß linienartige Muster M extrahiert, welche in der Zeichnung beispielhaft skizziert sind und aus Gründen der Übersichtlichkeit schräg oberhalb des Horizontsystems dargestellt sind. Beispielsweise werden regelmäßige Muster in Fliesenfugen, Deckenfugen, Parkettdielen, Streifen in Linoleumböden, Webmuster in Teppichen, Deckenlichtröhren sowie deren Reflexionen an Granitböden usw. mit Hilfe von Mustererkennungsverfahren abstrahiert und so das linienförmige Muster M extrahiert. Auch die Erfassung von Wandmustern oder Sockelleisten ist denkbar. Im Beispiel der Zeichnung wurde das linienartige Muster M aus einem Fliesenfugenmuster extrahiert, wobei die Fliesen eine längliche rechteckige Grundfläche aufweisen. From the detected environment line-like pattern M are extracted according to the invention, which are sketched by way of example in the drawing and are shown obliquely above the horizontal system for reasons of clarity. For example, regular patterns in tile joints, ceiling joints, parquet planks, strips in linoleum floors, weave patterns in carpets, overhead light tubes as well whose reflections on granite floors etc. are abstracted by means of pattern recognition methods and thus extract the line-shaped pattern M. The capture of wall patterns or baseboards is conceivable. In the example of the drawing, the line-like pattern M has been extracted from a tile joint pattern, wherein the tiles have an elongated rectangular base.

In einem weiteren Schritt wird eine Musterhauptrichtung MHA extrahiert. Die Musterhauptrichtung MHA entspricht im vorliegenden Beispiel eines erfassten Fliesenfugenmusters der länglichen Fugenrichtung. In a further step, a pattern main direction MHA is extracted. In the present example, the pattern main direction MHA corresponds to a detected tile joint pattern of the elongated joint direction.

Wurde das linienartige Muster M dagegen aus einem – nicht dargestellten – Fliesenfugenmuster extrahiert, bei dem Fliesen eine quadratische Grundfläche aufweisen, ist eine eindeutige Musterhauptrichtung MHA nicht eindeutig bestimmbar. Aus den beiden möglichen orthogonal aufeinander stehenden Richtungen wird eine Musterhauptrichtung MHA durch Wahl bestimmt und eine darauf basierende Orientierungsbestimmung, gegebenenfalls unter Heranziehung von durch andere Verfahren bestimmten Orientierungen, korrigiert. On the other hand, if the line-like pattern M has been extracted from a tile joint pattern (not shown) in which tiles have a square base area, an unambiguous pattern main direction MHA can not be determined unambiguously. From the two possible directions orthogonal to one another, a pattern main direction MHA is determined by selection and an orientation determination based thereon is corrected, possibly by using orientations determined by other methods.

Im Fall einer sechseckigen oder komplexeren Grundfläche eines – nicht dargestellten – Fliesenfugenmusters oder Bodenbelagmusters kann die Musterhauptrichtung MHA durch eine geometrische Schwerpunktbestimmung der einzelnen Linien bestimmt werden, deren einzelne Schwerpunkte mit einer jeweilige Linie extrapoliert werden. Das geometrische Mittel der Linien führt dann auch in diesem Fall zu einer eindeutigen Musterhauptrichtung MHA oder, wie im oben genannten orthogonalen Fall, zumindest nur zweideutigen Musterhauptrichtung MHA. In the case of a hexagonal or more complex base area of a tile joint pattern or floor covering pattern (not shown), the pattern main direction MHA can be determined by a geometrical center of gravity determination of the individual lines whose individual center of gravity is extrapolated with a respective line. The geometric mean of the lines then also leads in this case to a unique pattern main direction MHA or, as in the abovementioned orthogonal case, at least only ambiguous pattern main direction MHA.

Bei der Extraktion der linienartigen Muster M oder auch bei der Ermittlung der Musterhauptachse MHA ist zu beachten, dass das mobile Endgerät in der bereits beschriebenen Haltung, bei der der Bediener das mobile Endgerät im Stehen in der Hand hält und eine Anzeigeneinheit des mobilen Endgeräts betrachtet, üblicherweise nicht parallel zum Boden ausgerichtet wird, so dass das linienartige Muster M zunächst mit einer Verzerrung erfasst wird, welche durch eine gegenüber der Horizontalebene des Horizontsystems gekippten und/oder geneigten Bildebene der Bilderfassungseinheit verursacht wird. Gemäß einer Ausgestaltung der Erfindung ist daher vorgesehen, eine Erfassung eines Kipp- und/oder Neigungswinkels einer durch eine Hauptachse des mobilen Endgeräts verlaufenden Grundebene des mobilen Endgeräts gegenüber der Horizontalebene zu erfassen und auf Basis des Kipp- und/oder Neigungswinkels eine Korrektur des linienartigen Musters M oder auch der Musterhauptachse MHA vorzunehmen. In the extraction of the line-like pattern M or even in the determination of the pattern main axis MHA, it should be noted that the mobile terminal in the already described attitude in which the operator holds the mobile terminal in the hand and viewing a display unit of the mobile terminal, Usually is not aligned parallel to the ground, so that the line-like pattern M is first detected with a distortion, which is caused by an opposite the horizontal plane of the Horizonsystems tilted and / or inclined image plane of the image acquisition unit. According to one embodiment of the invention is therefore intended to detect a detection of a tilt and / or inclination angle of a main axis of the mobile terminal extending ground plane of the mobile terminal relative to the horizontal plane and based on the tilt and / or inclination angle correction of the line-like pattern M or the pattern main axis MHA make.

In einem folgenden Schritt erfolgt eine Bestimmung eines Gerätversatzes GEV, welcher einer Winkeldifferenz zwischen einer Hauptachse GHA des mobilen Endgeräts MEG und der Musterhauptachse MHA an der bestimmten Position P entspricht. Diese Winkeldifferenz ist anhand einer geographischen Bestimmung des linienartigen Musters M in der Bildebene der Erfassungseinheit oder der Musterhauptachse MHA in der Bildebene der Erfassungseinheit direkt entnehmbar. Ein Winkelversatz der Musterhauptachse MHA um die in der Bildebene liegende Hauptachse GHA des mobilen Endgeräts MEG entspricht dem Gerätversatz GEV. In a following step, a device offset GEV is determined which corresponds to an angular difference between a main axis GHA of the mobile terminal MEG and the pattern main axis MHA at the determined position P. This angular difference can be taken directly from a geographical determination of the line-like pattern M in the image plane of the detection unit or the pattern main axis MHA in the image plane of the detection unit. An angular offset of the pattern main axis MHA around the main axis GHA of the mobile terminal MEG lying in the image plane corresponds to the device offset GEV.

In der Zeichnung ist eine Windrose bestehend aus den Himmelsrichtungen Nord N, Süd S, West W und Ost O versinnbildlicht. Diese Windrose dient lediglich der Anschauung einer Orientierungsrichtung. Im Weiteren wird stattdessen eine Referenzorientierung RFO betrachtet, welche im vorliegenden Ausführungsbeispiel mit der Nordrichtung N zusammenfällt. Alternativ sind beliebig andere Himmelsrichtungen S, W, O als Referenzorientierung RFO wählbar. In Abweichung von Gewohnheiten einer Windrosenrichtung entspricht eine Drehung im Gegenuhrzeigersinn einem positiven Winkel, eine Drehung im Uhrzeigersinn einem negativen Winkeln, entsprechend der mathematischen Zählrichtung. In the drawing a wind rose consisting of the cardinal directions North N, South S, West W and East O is symbolized. This wind rose is merely an intuition of a direction of orientation. In the following, a reference orientation RFO is considered instead, which coincides with the north direction N in the present exemplary embodiment. Alternatively, any other cardinal directions S, W, O can be selected as the reference orientation RFO. Deviating from habits of a wind rose direction, a counterclockwise rotation corresponds to a positive angle, a clockwise rotation corresponds to a negative angle corresponding to the mathematical counting direction.

In einem folgenden Schritt erfolgt ein Abruf eines Musterhauptachsenversatzes MHV als Winkeldifferenz zwischen der Musterhauptachse MHA und einer Referenzorientierung RFO an der bestimmten Position P. Der Abruf entsprechender Daten erfolgt entweder von einer Endgerät-internen oder einer externen Datenquelle, im letzten Fall bezogen durch eine beliebige drahtlose Schnittstelle des mobilen Endgeräts MEG. Anstelle einer aufwändigen drahtlosen Datenkommunikationsverbindung können diese Daten auch durch empfangene Bluetooth- bzw. WiFi-Beacons enthalten sein, welche von lokalen Sendern zur Orientierung im Gebäude gesendet werden. Die Daten enthalten eine Angabe darüber, welche Winkeldifferenz zwischen der Musterhauptachse MHA des linienartige Musters M und einer Referenzorientierung RFO, beispielsweise in der natürlichsprachlichen Form: Die Fugen im Raum an der gegebenen Position P sind um 10 Grad westlich gegenüber der Nordrichtung angeordnet. In a following step, a sample main axis offset MHV is retrieved as an angular difference between the master pattern axis MHA and a reference orientation RFO at the determined position P. The retrieval of corresponding data occurs either from a terminal-internal or an external data source, in the latter case by any wireless Interface of the mobile terminal MEG. Instead of a complex wireless data communication connection, this data may also be contained by received Bluetooth or WiFi beacons, which are sent by local transmitters for orientation in the building. The data includes an indication of which angular difference between the master pattern axis MHA of the linear pattern M and a reference orientation RFO, for example in the natural language: The joints in space at the given position P are located 10 degrees west of the north direction.

Im ersten Fall, also eines internen Abrufs von Daten ist gemäß einer Ausführungsform der Erfindung vorgesehen, dass die Umgebung mit einem Initialisierungsverfahren erfasst wird. Beispielsweise wird ein Fußbodenmuster mit dem auf dem mobilen Endgerät MEG ausgeführten Initialisierungsverfahren »vermessen«, um entsprechende Daten in der Endgerät-internen Datenquelle zu erstellen. Im Rahmen des Initialisierungsverfahrens kann eine Aufforderung an den Bedieners des mobilen Endgeräts MEG vorgesehen sein, das mobile Endgerät MEG in einer bekannten Orientierung auszurichten, z.B. genau entlang eines Flurs. Auch ohne Vermessung von Fußbodenmustern kann in sehr vielen Fällen davon ausgegangen werden, dass die Hauptlinien des Fußbodenmusters parallel oder rechtwinklig zu einer Wand des Raumes verlaufen. In the first case, ie an internal retrieval of data, it is provided according to an embodiment of the invention that the environment is detected with an initialization method. For example, a floor pattern is "surveyed" with the initialization process carried out on the mobile terminal MEG in order to create corresponding data in the terminal-internal data source. As part of the initialization process may be a request to the operator of the mobile device MEG be provided to align the mobile terminal MEG in a known orientation, for example, along a corridor. Even without measuring floor patterns, it can be assumed in many cases that the main lines of the floor pattern run parallel or at right angles to a wall of the room.

Mit Endgerät-intern vorliegenden oder extern gelieferten bestehenden Kartendaten eines Gebäudes kann für sehr viele Räume die einfache Annahme »parallel oder rechtwinklig zur Wand« als Default-Annahme für Fußbodenlinien, oder allgemeiner: linienartigen Mustern M, innerhalb eines Raumes verwendet werden. With existing internal or external existing map data of a building, the simple assumption "parallel or perpendicular to the wall" can be used for many rooms as a default assumption for floor lines, or more generally: linear patterns M, within a room.

In einer Orientierungsbestimmungseinheit wird schließlich eine Winkelsumme aus dem Musterhauptachsenversatz MHV und dem Gerätversatz GEV, welche zur Orientierung ORT führt. Gemäß der Zeichnung wird eine Orientierung ORT in Höhe von 35 Grad gegenüber der Referenzorientierung RFO aus einer Winkelsumme des Musterhauptachsenversatz MHV mit einem Wert von 15 Grad und des Gerätversatz GEV mit einem Wert von 20 Grad bestimmt. Die Orientierung des mobilen Endgeräts MEG entspricht also einer 35 Grad Richtung in Richtung Nordwest, gemäß einer der mathematischen Angabe mit umgekehrten Vorzeichen angegebenen Windrosenangabe also – 35 Grad Richtung Nordwest. Finally, in an orientation determination unit, an angle sum is derived from the pattern main axis offset MHV and the device offset GEV, which leads to the orientation ORT. Referring to the drawing, an orientation ORT of 35 degrees from the reference orientation RFO is determined from an angle sum of the pattern main axis offset MHV having a value of 15 degrees and the device offset GEV having a value of 20 degrees. The orientation of the mobile terminal MEG thus corresponds to a 35 degree direction in the northwest direction, according to one of the mathematical information given by reversed sign windrope information so - 35 degrees to the northwest.

Für die Musterhauptachse MHA, die Hauptachse GHA des mobilen Endgeräts MEG sowie die Referenzorientierung RFO sind lediglich deren jeweilige Richtung im Horizontsystem von Interesse, während deren jeweilige Länge – bei vektorieller Beschreibung: deren Betrag – ohne Belang ist. Auf die hier Bezug genommenen Achsen MHA, GHA, RFO kann alternativ auch als Einheitsvektor Bezug genommen werden. For the main pattern axis MHA, the main axis GHA of the mobile terminal MEG and the reference orientation RFO only their respective direction in the horizon system of interest, while their respective length - in vector description: the amount - is irrelevant. Alternatively, the axes MHA, GHA, RFO referred to herein may be referred to as a unit vector.

Wenngleich die erfindungsgemäßen Mittel für sich alleine eine Orientierungsbestimmung eines mobilen Endgeräts gewährleisten, ist gemäß einer bevorzugten Ausgestaltung vorgesehen, die heute bekannten Mittel zur Orientierungsbestimmung mit den erfindungsgemäßen Mitteln zu kombinieren und auf diese Weise die Orientierungsbestimmung zu verfeinern und/oder zu verfestigen. Die derzeit bekannten Verfahren zur Orientierungsbestimmung erfolgen unter Verwendung von Daten, welche von magnetischen Sensoren und/oder Trägheitssensoren geliefert werden. Die bevorzugte Ausgestaltung ist in vorteilhafter Weise geeignet, die Nachteile dieser bekannten Orientierungsbestimmung – also insbesondere die oben genannten Nachteile wie Sensordrift, aufwändige Berechnung einer Kreuzkopplung von orthogonalen Sensorachsen, mit fortschreitender Zeit kumulativ auswirkende Abweichungen, magnetische Störeinflüsse durch Stromleitungen, Metallwände etc. – zu korrigieren, zu verfeinern und – in Hinblick auf die bekannten Auswirkungen der Sensordrift – auch über längere Zeiträume eine verlässliche Orientierungsbestimmung gewährleisten. Die Zusammenwirkung mit bekannten Verfahren zur Orientierungsbestimmung gemäß dieser bevorzugten Ausgestaltung hat darüber hinaus den Vorteil, eine wie oben erläuterte zunächst unbestimmte oder zweideutige Musterhauptrichtung MHA durch Heranziehung der bekannten »groben« Verfahren zur Orientierungsbestimmung eindeutig bestimmbar zu gestalten, um in Zusammenwirkung mit der bevorzugten Ausgestaltung zu präziseren und zeitstabilen Orientierungsdaten zu gelangen. Although the means according to the invention alone ensure an orientation determination of a mobile terminal, it is provided according to a preferred embodiment to combine the means for orientation determination known today with the agents according to the invention and in this way to refine and / or solidify the orientation determination. The currently known methods of orientation determination are performed using data provided by magnetic sensors and / or inertial sensors. The preferred embodiment is advantageously suitable for correcting the disadvantages of this known orientation determination, ie in particular the above-mentioned disadvantages such as sensor drift, complex calculation of cross-coupling of orthogonal sensor axes, cumulative deviations with increasing time, magnetic interference caused by power lines, metal walls, etc. to refine and - in view of the known effects of sensor drift - to ensure a reliable orientation determination even over long periods. The interaction with known orientation determination methods according to this preferred embodiment also has the advantage of making an initially indeterminate or ambiguous pattern main direction MHA unambiguously determinable by using the known "coarse" orientation determination methods, in conjunction with the preferred embodiment arrive at more precise and time-stable orientation data.

2 zeigt eine schematische Darstellung ausgewählter Funktionskomponenten in einem mobilen Endgerät gemäß einer Ausführungsform der Erfindung. 2 shows a schematic representation of selected functional components in a mobile terminal according to an embodiment of the invention.

Das mobiles Endgerät MEG umfasst neben einer nicht dargestellten – Positionsbestimmungseinheit zur Bestimmung einer Position des mobilen Endgeräts MEG die Bilderfassungseinheit BEF, eine Steuerungseinheit STE, welcher die Bestimmungseinheit BSE zur Bestimmung des Gerätversatzes GEV, die Abrufeinheit ARE zum Abruf des Musterhauptachsenversatzes MHA und die Orientierungsbestimmungseinheit OBE der Position umfasst. The mobile terminal MEG comprises not only a position determination unit for determining a position of the mobile terminal MEG, the image acquisition unit BEF, a control unit STE, which the determination unit BSE for determining the device offset GEV, the retrieval unit ARE for retrieving the Musterhauptachsenversatzes MHA and the orientation determination unit OBE Position includes.

Ein mobiles Endgerät MEG gemäß weiterer Ausführungsformen verfügt darüber hinaus über weitere – nicht dargestellte – Funktionseinheiten, beispielsweise eine drahtlose Schnittstelle, eine weitere auf der Gegenseite vorgesehene Bilderfassungseinheit sowie über interne Endgerät-interne Speicher. A mobile terminal MEG according to further embodiments also has further - not shown - functional units, such as a wireless interface, another provided on the opposite side image capture unit and internal terminal-internal memory.

Die genannten Funktionseinheiten sind entweder innerhalb der Steuereinheit STE als Softwareroutinen implementiert oder als separate und zusammenwirkende Hardware-Bausteine. The functional units mentioned are either implemented within the control unit STE as software routines or as separate and cooperative hardware components.

Zusammenfassend umfasst die vorliegende Erfindung ein Verfahren zur Orientierungsbestimmung an einem mobilen Endgerät. Dabei erfolgt eine Bestimmung einer Position (P) des mobilen Endgeräts (MEG), eine Erfassung einer Umgebung des mobilen Endgeräts, Extraktion linienartiger Muster (M) aus der erfassten Umgebung und Ermittlung einer Musterhauptachse (MHA) aus den linienartigen Mustern (M). Ein Gerätversatz (GEV) als Winkeldifferenz zwischen einer Hauptachse (GHA) des mobilen Endgeräts und der Musterhauptachse (MHA) an der bestimmten Position (P) wird bestimmt. Weiterhin wird ein Musterhauptachsenversatz (MHV) als Winkeldifferenz zwischen der Musterhauptachse (MHA) und einer Referenzorientierung (RFO) an der bestimmten Position (P) abgerufen. Schließlich erfolgt eine Bestimmung einer Winkelsumme aus dem Musterhauptachsenversatz (MHV) und dem Gerätversatz (GEV). In summary, the present invention comprises a method for orientation determination on a mobile terminal. In this case, a determination is made of a position (P) of the mobile terminal (MEG), detection of an environment of the mobile terminal, extraction of line-like patterns (M) from the detected environment and determination of a master pattern axis (MHA) from the linear patterns (M). A device offset (GEV) as the angular difference between a major axis (GHA) of the mobile terminal and the master pattern axis (MHA) at the determined position (P) is determined. Further, a pattern principal axis offset (MHV) is retrieved as an angle difference between the pattern main axis (MHA) and a reference orientation (RFO) at the designated position (P). Finally, an angle sum is determined from the pattern principal axis offset (MHV) and the device offset (GEV).

Claims

Mobile terminal comprising - A position determining unit for determining a position (P) of the mobile terminal (MEG); - at least one image capture unit (BEF) for detecting an environment of the mobile terminal, for extracting line-like patterns (M) from the detected environment and for determining a master pattern axis (MHA) from the line-like patterns (M); - a determination unit (BSE) for determining a device offset (GEV) as an angular difference between a main axis (GHA) of the mobile terminal and the pattern main axis (MHA) at the determined position (P); - a polling unit (ARE) for retrieving a pattern main axis offset (MHV) as an angular difference between the pattern main axis (MHA) and a reference orientation (RFO) at the determined position (P); An orientation determination unit (OBE) for determining an angle sum from the pattern principal axis offset (MHV) and the device offset (GEV).

Device according to Patent Claim 1, characterized in that the at least one image capture unit (BEF) is provided opposite a side of the mobile terminal comprising a display unit of the mobile terminal.

Device according to one of the preceding claims, characterized in that the at least one image capture unit (BEF) is provided on a side of the mobile terminal comprising a display unit of the mobile terminal.

Device according to one of the preceding claims, characterized in that the orientation determination unit (OBE) is set up for processing further orientation information, in particular orientation information supplied by magnetic sensors and / or inertial sensors.

Method for determining orientation on a mobile terminal, comprising the following steps: - determining a position (P) of the mobile terminal (MEG); Detecting an environment of the mobile terminal, extracting line-like patterns (M) from the detected environment, and determining a master pattern axis (MHA) from the line-like patterns (M); - determining a device offset (GEV) as the angular difference between a major axis (GHA) of the mobile terminal and the master pattern axis (MHA) at the determined position (P); Retrieving a master pattern axis offset (MHV) as an angular difference between the master pattern axis (MHA) and a reference orientation (RFO) at the determined position (P); and; - Determination of an angle sum from the pattern main axis offset (MHV) and the device offset (GEV).

A method according to claim 5, characterized in that the pattern main direction (MHA) is determined by a geometrical center of gravity determination of the line-like pattern (M).

Method according to one of the preceding claims 5 to 6, characterized by the following method steps - Determining a tilt and / or inclination angle of a main axis of the mobile terminal (MEG) extending ground plane of the mobile terminal relative to a horizontal plane; and; - Making a correction to the line-like pattern M and / or on the pattern main axis MHA on the basis of the determined tilt and / or angle of inclination.

Method according to one of the preceding claims 5 to 7, characterized in that the retrieval of the pattern main axis offset (MHV) takes place from a terminal-internal and / or external data source.

Method according to claim 8, characterized in that terminal-internal and / or external map data of a building are processed to retrieve the master pattern axis offset (MHV).

Method according to one of the preceding claims 5 to 9, characterized in that for orientation determination further orientation information, in particular provided by magnetic sensors and / or inertial sensors orientation information is used.

Computer program product with means for carrying out the method according to one of the preceding claims 5 to 10 when the computer program product is executed on a mobile terminal (MEG).