[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2013117406A - Posture detection device and posture detection method - Google Patents

Posture detection device and posture detection method Download PDF

Info

Publication number
JP2013117406A
JP2013117406A JP2011264283A JP2011264283A JP2013117406A JP 2013117406 A JP2013117406 A JP 2013117406A JP 2011264283 A JP2011264283 A JP 2011264283A JP 2011264283 A JP2011264283 A JP 2011264283A JP 2013117406 A JP2013117406 A JP 2013117406A
Authority
JP
Japan
Prior art keywords
posture
terminal device
mobile terminal
detection
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011264283A
Other languages
Japanese (ja)
Inventor
Junichi Hatayama
隼一 畑山
Okihiko Nakayama
沖彦 中山
Masayuki Watabe
眞幸 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2011264283A priority Critical patent/JP2013117406A/en
Publication of JP2013117406A publication Critical patent/JP2013117406A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a posture detection device which can detect variation of posture of the device appropriately.SOLUTION: A posture detection device comprises: posture detection means 120 detecting posture of the posture detection device itself; ambient condition detection means 40 imaging around the device and/or detecting sound around the device; and determination means 140 determining whether the relative position of surroundings of the device and the ambient condition detection means 40 has varied based on a detection result of the ambient condition detection means 40. When the determination means 140 determines that the relative position of the surroundings of the device and the ambient condition detection means 40 has varied, the posture detection means 120 detects the posture of the posture detection device itself.

Description

本発明は、姿勢検出装置および姿勢検出方法に関するものである。   The present invention relates to an attitude detection device and an attitude detection method.

従来より、自装置にかかる重力加速度の変化を検出することで、自装置の姿勢が変化したことを検出する技術が知られている（たとえば、特許文献１）。   2. Description of the Related Art Conventionally, a technique for detecting a change in the posture of the device itself by detecting a change in gravitational acceleration applied to the device is known (for example, Patent Document 1).

特開２０１０−１４５１８０号公報JP 2010-145180 A

しかしながら、従来技術では、自装置が、重力方向に延びる軸を中心として回転した場合（水平面上において回転した場合）には、自装置にかかる重力加速度の変化が小さくなるため、自装置の姿勢が変化したことを検出できない場合があった。   However, in the prior art, when the own device rotates around an axis extending in the direction of gravity (when rotated on a horizontal plane), the change in the gravitational acceleration applied to the own device becomes small, so that the posture of the own device is In some cases, it was impossible to detect changes.

本発明が解決しようとする課題は、自装置の姿勢の変化を適切に検出することが可能な姿勢検出装置を提供することである。   The problem to be solved by the present invention is to provide a posture detection device capable of appropriately detecting a change in the posture of the device itself.

本発明は、自装置周囲の画像および／または自装置周囲の音声に基づいて、自装置周囲と自装置との相対的な位置関係が変化したか否かを判断し、自装置周囲と自装置との相対位置関係が変化したものと判断された場合に、自装置の姿勢を検出することで、上記課題を解決する。   The present invention determines whether or not the relative positional relationship between the own device periphery and the own device has changed based on the image around the own device and / or the sound around the own device. When it is determined that the relative positional relationship has changed, the above-described problem is solved by detecting the posture of the device itself.

本発明によれば、自装置が重力方向を中心として回転した場合でも、自装置周囲の画像および／または自装置周囲の音声に基づいて、自装置の姿勢が変化したか否かを適切に検出することができる。   According to the present invention, even when the device rotates about the gravity direction, it is appropriately detected whether the posture of the device has changed based on the image around the device and / or the sound around the device. can do.

第１実施形態に係る携帯端末装置を示す構成図である。It is a block diagram which shows the portable terminal device which concerns on 1st Embodiment. 携帯端末装置の姿勢により決定される、互いに直交する３軸方向の加速度を説明するための図である。It is a figure for demonstrating the acceleration of the triaxial direction orthogonal to each other determined by the attitude | position of a portable terminal device. 第１実施形態に係る携帯端末装置を示すブロック図である。It is a block diagram which shows the portable terminal device which concerns on 1st Embodiment. ＧＰＳユニットにより検出した位置情報に基づいて、携帯端末装置の移動速度を算出する方法を説明するための図である。It is a figure for demonstrating the method to calculate the moving speed of a portable terminal device based on the positional information detected by the GPS unit. 携帯端末装置の姿勢にかかわりなく予め定められている、互いに直交する３軸方向を説明するための図である。It is a figure for demonstrating the triaxial direction orthogonal to each other previously defined irrespective of the attitude | position of a portable terminal device. 第１実施形態に係る姿勢検出処理を示すフローチャートである。It is a flowchart which shows the attitude | position detection process which concerns on 1st Embodiment. 第２実施形態に係る携帯端末装置を示す構成図である。It is a block diagram which shows the portable terminal device which concerns on 2nd Embodiment. 第２実施形態に係る姿勢検出処理を示すフローチャートである。It is a flowchart which shows the attitude | position detection process which concerns on 2nd Embodiment. 指向性マイクで検出した音声に基づいて、携帯端末装置の姿勢の変化を検出する方法を説明するための図である。It is a figure for demonstrating the method to detect the change of the attitude | position of a portable terminal device based on the audio | voice detected with the directional microphone.

以下、本発明の実施形態を図面に基づいて説明する。なお、本実施形態では、たとえば、ＰＮＤ（Personal Navigation Device）や携帯電話機などのように、ユーザが携帯して持ち運び可能な携帯端末装置であり、ユーザが、このような携帯端末装置を車内に持ち込むことにより、携帯端末装置自体の移動速度を、車両の速度として算出し、算出した車両の速度を、各種ナビゲーションに用いることが可能な携帯端末装置を例示して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, for example, a portable terminal device that can be carried and carried by the user, such as a PND (Personal Navigation Device) or a mobile phone, and the user brings such a portable terminal device into the vehicle. Thus, the moving speed of the mobile terminal device itself is calculated as the vehicle speed, and the mobile terminal device that can use the calculated vehicle speed for various navigations will be described as an example.

≪第１実施形態≫
図１は、第１実施形態に係る携帯端末装置１を示す構成図である。第１実施形態に係る携帯端末装置１は、図１に示すように、制御装置１０、ＧＰＳユニット２０、加速度センサ３０、カメラ４０、およびメモリ５０の各構成を備える。 << First Embodiment >>
FIG. 1 is a configuration diagram illustrating a mobile terminal device 1 according to the first embodiment. As shown in FIG. 1, the mobile terminal device 1 according to the first embodiment includes each configuration of a control device 10, a GPS unit 20, an acceleration sensor 30, a camera 40, and a memory 50.

ＧＰＳ（Global Positioning System）ユニット２０は、図示しない複数の衛星通信から送信される電波を検出して、携帯端末装置１の位置情報を取得する。ＧＰＳユニット２０により取得された携帯端末装置１の位置情報は、制御装置１０に送信される。   A GPS (Global Positioning System) unit 20 detects radio waves transmitted from a plurality of satellite communications (not shown) and acquires position information of the mobile terminal device 1. The position information of the mobile terminal device 1 acquired by the GPS unit 20 is transmitted to the control device 10.

加速度センサ３０は、携帯端末装置１にかかる加速度を検出する。ここで、図２は、加速度センサ３０にかかる加速度を説明するための図である。加速度センサ３０は、図２（Ａ）に示すように、互いに直交する３軸方向を、それぞれＸ２軸方向、Ｙ２軸方向、およびＺ２軸方向として予め規定しており、Ｘ２軸方向の加速度をＳｘ ＊、Ｙ２軸方向の加速度をＳｙ ＊、およびＺ２軸方向の加速度をＳｚ ＊としてそれぞれ検出する。なお、互いに直交するＸ２軸方向、Ｙ２軸方向、およびＺ２軸方向は、図２（Ａ）および図２（Ｂ）に示すように、携帯端末装置１の姿勢に伴って決定される方向であり、たとえば、図２（Ａ）に示す携帯端末装置１の姿勢では、重力方向とＺ２軸方向とが一致するように、互いに直交する３軸方向が決定されるが、図２（Ａ）に示す携帯端末装置１の姿勢と異なる図２（Ｂ）に示す携帯端末装置１の姿勢では、重力方向がＸ２軸方向と一致するように、互いに直交する３軸方向が決定される。なお、加速度センサ３０により検出された加速度Ｓｘ ＊、Ｓｙ ＊、およびＳｚ ＊は、制御装置１０に送信される。 The acceleration sensor 30 detects the acceleration applied to the mobile terminal device 1. Here, FIG. 2 is a diagram for explaining the acceleration applied to the acceleration sensor 30. The acceleration sensor 30 is, as shown in FIG. 2 (A), a 3-axis directions orthogonal to each other, each X 2 axial, Y 2 axial, and Z have been defined previously as 2 axial, X 2 axial Is detected as S x * , the acceleration in the Y 2 axis direction as S y * , and the acceleration in the Z 2 axis direction as S z * , respectively. Note that the X 2 axis direction, the Y 2 axis direction, and the Z 2 axis direction that are orthogonal to each other are determined according to the attitude of the mobile terminal device 1 as shown in FIGS. 2 (A) and 2 (B). a direction, for example, the orientation of the mobile terminal apparatus 1 shown in FIG. 2 (a), as the direction of gravity and Z 2 axial direction coincides, but the three-axis direction is determined to be perpendicular to each other, FIG. 2 ( the orientation of the mobile terminal apparatus 1 shown in different and orientation of the mobile terminal apparatus 1 shown in a) FIG. 2 (B), the so gravity direction coincides with the X 2 axis direction, the three axis directions perpendicular to each other is determined . The accelerations S x * , S y * , and S z * detected by the acceleration sensor 30 are transmitted to the control device 10.

なお、加速度センサ３０により検出される加速度Ｓｘ ＊、Ｓｙ ＊、およびＳｚ ＊はベクトルである。そのため、図２においては、ベクトルであることを示す「→」を、「Ｓｘ」の真上、「Ｓｙ」の真上、「Ｓｚ」の真上に示すことで、加速度センサ３０により検出される加速度を表しているが、下記式（１）に示すように、図２に示す加速度（ベクトルであることを示す「→」を「Ｓｘ」の真上、「Ｓｙ」の真上、「Ｓｚ」の真上に示したもの）と、本明細書の加速度Ｓｙ ＊、Ｓｙ ＊、およびＳｚ ＊とは同義である。以下、Ｘ＊、Ｙ＊、Ｚ＊においても同様である。

Figure 2013117406
The accelerations S x * , S y * , and S z * detected by the acceleration sensor 30 are vectors. Therefore, in FIG. 2, “→” indicating a vector is displayed directly above “S x ”, directly above “S y ”, and immediately above “S z ”. As shown in the following equation (1), the acceleration shown in FIG. 2 (“→” indicating that it is a vector is directly above “S x ” and “S y ” is true. Furthermore, the one shown just above the "S z"), the acceleration S y hereof *, S y *, and is synonymous with S z *. The same applies to X * , Y * , and Z * .
Figure 2013117406

カメラ４０は、例えば、二次元ＣＣＤイメージセンサ、ＭＯＳセンサ、又はＣＩＤ等の複数の光電変換素子が二次元に配列された光電変換モジュールを備えており、携帯端末装置１周囲の画像を、所定の時間間隔で繰り返し撮像する。なお、カメラ４０により撮像された画像は、制御装置１０に送信される。   The camera 40 includes, for example, a two-dimensional CCD image sensor, a MOS sensor, or a photoelectric conversion module in which a plurality of photoelectric conversion elements such as a CID are two-dimensionally arranged. Take images repeatedly at time intervals. Note that the image captured by the camera 40 is transmitted to the control device 10.

制御装置１０は、たとえばユーザが携帯端末装置１を車内に持ち込んだ場合に、ＧＰＳユニット２０から取得した携帯端末装置１の位置情報に基づいて、携帯端末装置１の移動速度を算出し、算出した携帯端末装置１の移動速度を、車両の速度として検出する。また、制御装置１０は、携帯端末装置１の姿勢が変化する度に携帯端末装置１の姿勢を検出しており、たとえば、車両がトンネル内やビルの合間などを走行している際に、ＧＰＳユニット２０から携帯端末装置１の位置情報を取得することができない場合に、携帯端末装置１の姿勢と、加速度センサ３０から取得した加速度とに基づいて、携帯端末装置１の移動速度を算出し、算出した携帯端末装置１の移動速度を、車両の速度として検出することもできる。   For example, when the user brings the mobile terminal device 1 into the vehicle, the control device 10 calculates the moving speed of the mobile terminal device 1 based on the position information of the mobile terminal device 1 acquired from the GPS unit 20. The moving speed of the mobile terminal device 1 is detected as the speed of the vehicle. The control device 10 detects the posture of the mobile terminal device 1 every time the posture of the mobile terminal device 1 changes. For example, when the vehicle is traveling in a tunnel or between buildings, When the position information of the mobile terminal device 1 cannot be acquired from the unit 20, the moving speed of the mobile terminal device 1 is calculated based on the attitude of the mobile terminal device 1 and the acceleration acquired from the acceleration sensor 30, The calculated moving speed of the mobile terminal device 1 can also be detected as the speed of the vehicle.

制御装置１０は、このように携帯端末装置１の移動速度の算出や、携帯端末装置１の姿勢の検出を行うためのプログラムが格納されたＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行する動作回路としてのＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とを備える。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。   The control device 10 thus stores a ROM (Read Only Memory) in which a program for calculating the moving speed of the mobile terminal device 1 and detecting the attitude of the mobile terminal device 1 is stored, and the ROM. A CPU (Central Processing Unit) as an operation circuit for executing a program and a RAM (Random Access Memory) functioning as an accessible storage device are provided. As the operation circuit, an MPU (Micro Processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or the like can be used instead of or in addition to the CPU. .

そして、制御装置１０は、図３に示すように、携帯端末装置１の移動速度を算出するための移動速度算出部１１０、携帯端末装置１の姿勢を検出するための姿勢検出部１２０、姿勢検出部１２０により検出された携帯端末装置１の姿勢を記憶する姿勢情報記憶部１３０、および携帯端末装置１の姿勢が変化したか否かを判断する姿勢変化判断部１４０を有する。なお、図３は、第１実施形態に係る携帯端末装置１を示すブロック構成図である。   Then, as shown in FIG. 3, the control device 10 includes a movement speed calculation unit 110 for calculating the movement speed of the mobile terminal device 1, a posture detection unit 120 for detecting the posture of the mobile terminal device 1, and posture detection. A posture information storage unit 130 that stores the posture of the mobile terminal device 1 detected by the unit 120, and a posture change determination unit 140 that determines whether or not the posture of the mobile terminal device 1 has changed. FIG. 3 is a block configuration diagram showing the mobile terminal device 1 according to the first embodiment.

移動速度算出部１１０は、ＧＰＳユニット２０から携帯端末装置１の位置情報を取得し、取得した携帯端末装置１の位置情報に基づいて、携帯端末装置１の移動速度を算出する。ここで、図４は、ＧＰＳユニット２０により検出された携帯端末装置１の位置情報に基づいて、携帯端末装置１の移動速度を算出する方法を説明するための図である。なお、図４では、ＧＰＳユニット２０により、携帯端末装置１の位置情報が１秒間隔で検出されており、その結果、図４において黒丸で示す位置で、携帯端末装置１の位置情報が検出された場面を例示している。たとえば、図４に示す例において、携帯端末装置１の位置が、Ｐｎの位置からＰｎ＋１の位置に移動した場合、移動速度算出部１１０は、現在のＰｎ＋１の位置情報と、１つ前に検出したＰｎの位置情報とに基づいて、携帯端末装置１の位置情報の検出時間間隔である１秒間（ｓ）における、携帯端末装置１の移動距離Ｒｎ（ｍ）を算出する。これにより、移動速度算出部１１０は、携帯端末装置１の移動速度を、Ｒｎ（ｍ／ｓ）として算出する。なお、移動速度算出部１１０により算出された移動速度は、メモリ５０に記憶される。 The moving speed calculation unit 110 acquires the position information of the mobile terminal device 1 from the GPS unit 20 and calculates the moving speed of the mobile terminal device 1 based on the acquired position information of the mobile terminal device 1. Here, FIG. 4 is a diagram for explaining a method of calculating the moving speed of the mobile terminal device 1 based on the position information of the mobile terminal device 1 detected by the GPS unit 20. In FIG. 4, the position information of the mobile terminal device 1 is detected by the GPS unit 20 at intervals of 1 second. As a result, the position information of the mobile terminal device 1 is detected at the position indicated by a black circle in FIG. 4. The scene is illustrated. For example, in the example illustrated in FIG. 4, when the position of the mobile terminal device 1 moves from the position of P n to the position of P n + 1 , the moving speed calculation unit 110 displays the current position information of P n + 1 and the previous one. The movement distance R n (m) of the mobile terminal device 1 in 1 second (s), which is the detection time interval of the position information of the mobile terminal device 1, is calculated based on the detected position information of P n at the same time. Thereby, the moving speed calculation unit 110 calculates the moving speed of the mobile terminal device 1 as R n (m / s). Note that the movement speed calculated by the movement speed calculation unit 110 is stored in the memory 50.

また、移動速度算出部１１０は、たとえば、携帯端末装置１を搭載した車両がトンネル内やビルの合間を走行しており、ＧＰＳユニット２０から携帯端末装置１の位置情報を取得することができない場合には、後述する姿勢情報記憶部１３０に記憶されている携帯端末装置１の姿勢情報と、加速度センサ３０により検出された加速度とに基づいて、携帯端末装置１の移動速度を算出する。なお、携帯端末装置１の姿勢情報と、加速度センサ３０により検出された加速度とに基づいて、携帯端末装置１の移動速度を算出する方法の詳細については、後述する。   For example, the moving speed calculation unit 110 may not be able to acquire the position information of the mobile terminal device 1 from the GPS unit 20 because the vehicle on which the mobile terminal device 1 is mounted is traveling in a tunnel or between buildings. The mobile terminal device 1 calculates the moving speed of the mobile terminal device 1 based on the posture information of the mobile terminal device 1 stored in the posture information storage unit 130 described later and the acceleration detected by the acceleration sensor 30. The details of the method for calculating the moving speed of the mobile terminal device 1 based on the attitude information of the mobile terminal device 1 and the acceleration detected by the acceleration sensor 30 will be described later.

姿勢検出部１２０は、移動速度算出部１１０によって算出された携帯端末装置１の移動速度および進行方向の情報と、加速度センサ３０により検出された加速度とに基づいて、携帯端末装置１の姿勢の検出を行う。具体的には、姿勢検出部１２０は、携帯端末装置１の姿勢にかかわらずに予め定められた、互いに直交する３軸方向を、それぞれＸ１軸方向、Ｙ１軸方向、およびＺ１軸方向とした場合に、これらＸ１軸、Ｙ１軸、およびＺ１軸に対する姿勢検出部１２０の姿勢を検出する。 The posture detection unit 120 detects the posture of the mobile terminal device 1 based on the information on the moving speed and the traveling direction of the mobile terminal device 1 calculated by the moving speed calculation unit 110 and the acceleration detected by the acceleration sensor 30. I do. Specifically, the posture detection unit 120 determines the three axial directions that are set in advance orthogonal to each other regardless of the posture of the mobile terminal device 1 as the X 1 axis direction, the Y 1 axis direction, and the Z 1 axis direction, respectively. In this case, the attitude of the attitude detection unit 120 with respect to the X 1 axis, the Y 1 axis, and the Z 1 axis is detected.

たとえば、姿勢検出部１２０は、図５に示すように、車両の進行方向（前後方向）をＸ１軸方向、車両の幅方向（Ｘ１軸と水平面において直交する方向）をＹ１軸方向、重力方向をＺ１軸方向として、互いに直交する３軸方向を予め定めている場合には、これらＸ１軸、Ｙ１軸、およびＺ１軸に対する姿勢検出部１２０の姿勢を検出する。具体的には、姿勢検出部１２０は、これらＸ１軸、Ｙ１軸、およびＺ１軸と、携帯端末装置１の姿勢に伴って決められるＸ２軸、Ｙ２軸、およびＺ２軸とが、それぞれ一致する場合の携帯端末装置１の姿勢に対して、携帯端末装置１を、図２に示すように、Ｘ２軸を中心としてθＸだけ回転させた場合の携帯端末装置１の姿勢を、θＸを求めることにより検出する。また、同様に、姿勢検出部１２０は、これらＸ１軸、Ｙ１軸、およびＺ１軸と、携帯端末装置１の姿勢に伴って決定されるＸ２軸、Ｙ２軸、およびＺ２軸とが、それぞれ一致する場合の携帯端末装置１の姿勢に対して、たとえば、携帯端末装置１を、図２に示すＹ２軸を中心としてθｙだけ回転させた場合の携帯端末装置１の姿勢を、θｙを求めることで検出し、Ｚ２軸を中心としてθＺだけ回転させた場合の携帯端末装置１の姿勢を、θＺを求めることで検出する。このように、姿勢検出装置１２０は、Ｘ２軸を中心とした回転角θＸ、Ｙ２軸を中心とした回転角θｙ、およびＺ２軸を中心とした回転角θＺを求めることで、Ｘ１軸、Ｙ１軸、およびＺ１軸に対する携帯端末装置１の姿勢を検出する。 For example, the attitude detection unit 120, as shown in FIG. 5, the traveling direction (longitudinal direction) of the X 1 axis direction of the vehicle, (a direction perpendicular in the X 1 axis and the horizontal plane) the width direction of the vehicle Y 1 axially, gravity direction Z 1 axial direction, 3 when an axial direction is predetermined in mutually orthogonal, these X 1 axis, detects the orientation of the orientation detection unit 120 for Y 1 axis, and Z 1 axis. Specifically, the attitude detection unit 120 includes the X 1 axis, the Y 1 axis, and the Z 1 axis, and the X 2 axis, the Y 2 axis, and the Z 2 axis that are determined according to the attitude of the mobile terminal device 1. but with respect to orientation of the mobile terminal device 1 when matching respectively, the portable terminal device 1, as shown in FIG. 2, the attitude of the portable terminal device 1 when rotated by theta X around the X 2 axis and detected by obtaining a theta X. Similarly, the posture detection unit 120 includes the X 1 axis, the Y 1 axis, and the Z 1 axis, and the X 2 axis, the Y 2 axis, and the Z 2 axis that are determined according to the posture of the mobile terminal device 1. DOO is, with respect to orientation of the mobile terminal device 1 when matching respectively, for example, a portable terminal device 1, the portable terminal device 1 when rotated by theta y around the Y 2 axis shown in FIG. 2 position Is detected by obtaining θ y, and the attitude of the mobile terminal device 1 when it is rotated by θ Z around the Z 2 axis is detected by obtaining θ Z. As described above, the posture detection device 120 obtains the rotation angle θ X around the X 2 axis, the rotation angle θ y around the Y 2 axis, and the rotation angle θ Z around the Z 2 axis. , The attitude of the mobile terminal device 1 with respect to the X 1 axis, the Y 1 axis, and the Z 1 axis.

なお、本実施形態では、姿勢検出部１２０により検出された携帯端末装置１の姿勢の情報（θｘ，θｙ，θｚ）は、姿勢情報記憶部１３０に記憶され、移動速度算出部１１０により携帯端末装置１の移動速度を算出する際に用いられる。また、本実施形態では、図５に示すように、車両の進行方向（前後方向）をＸ１軸方向、車両の幅方向（Ｘ１軸と水平面において直交する方向）をＹ１軸方向、重力方向をＺ１軸方向として予め定めた場合を例示して説明したが、Ｘ１軸方向、Ｙ１軸方向、Ｚ１軸方向は、互いに直交するものであれば、これらの方向に限定されるものではない。 In this embodiment, the posture information (θ x , θ y , θ z ) of the mobile terminal device 1 detected by the posture detection unit 120 is stored in the posture information storage unit 130 and is moved by the movement speed calculation unit 110. It is used when calculating the moving speed of the mobile terminal device 1. Further, in the present embodiment, as shown in FIG. 5, the traveling direction of the vehicle (longitudinal direction) X 1 axially (orthogonal direction in the X 1 axis and a horizontal plane) to Y 1 axial width direction of the vehicle, the gravity Although the case where the direction is predetermined as the Z 1 axis direction has been described as an example, the X 1 axis direction, the Y 1 axis direction, and the Z 1 axis direction are limited to these directions as long as they are orthogonal to each other. It is not a thing.

姿勢変化判断部１４０は、カメラ４０により繰り返し撮像された携帯端末装置１周囲の画像を取得し、取得した携帯端末装置１周囲の画像を比較することで、携帯端末装置１の姿勢が変化したか否かを判断する。そして、本実施形態では、姿勢変化判断部１４０により携帯端末装置１の姿勢が変化したと判断された場合は、上述した姿勢検出部１２０による携帯端末装置１の姿勢の検出が行われる。なお、携帯端末装置１の姿勢の変化を検出する方法の詳細については、後述する。   Whether the posture change determination unit 140 acquires the image around the mobile terminal device 1 repeatedly captured by the camera 40 and compares the acquired image around the mobile terminal device 1 to determine whether the posture of the mobile terminal device 1 has changed. Judge whether or not. In the present embodiment, when the posture change determination unit 140 determines that the posture of the mobile terminal device 1 has changed, the posture detection unit 120 detects the posture of the mobile terminal device 1 described above. The details of the method for detecting the change in the attitude of the mobile terminal device 1 will be described later.

続いて、図６に基づいて、第１実施形態に係る姿勢検出処理について説明する。第１実施形態に係る姿勢検出処理では、カメラ４０により撮像された画像に基づいて、携帯端末装置１の姿勢が変化したか否かを判断し、携帯端末装置１の姿勢が変化したと判断された場合に、携帯端末装置１の姿勢の検出を行うものである。なお、図６は、第１実施形態に係る姿勢検出処理を説明するフローチャートである。   Next, the posture detection process according to the first embodiment will be described with reference to FIG. In the attitude detection process according to the first embodiment, it is determined whether the attitude of the mobile terminal device 1 has changed based on the image captured by the camera 40, and it is determined that the attitude of the mobile terminal device 1 has changed. In such a case, the attitude of the mobile terminal device 1 is detected. FIG. 6 is a flowchart illustrating the posture detection process according to the first embodiment.

まず、ステップＳ１０１では、カメラ４０により、携帯端末装置１周囲の画像の撮像が行われ、カメラ４０により撮像された画像が、カメラ４０から制御装置１０へと送出される。そして、続くステップＳ１０２では、制御装置１０の姿勢変化判断部１４０により、カメラ４０により撮像された携帯端末装置１周囲の画像が取得され、取得された画像が今回処理画像として、制御装置１０に備えるＲＡＭに記憶される。   First, in step S <b> 101, an image around the mobile terminal device 1 is picked up by the camera 40, and the image picked up by the camera 40 is sent from the camera 40 to the control device 10. In subsequent step S102, the posture change determination unit 140 of the control device 10 acquires an image around the mobile terminal device 1 captured by the camera 40, and the acquired image is provided in the control device 10 as a current processed image. Stored in RAM.

ステップＳ１０３では、制御装置１０の姿勢変化判断部１４０により、前回処理時に撮像された携帯端末装置１周囲の画像（前回処理画像）と、ステップＳ１０１で撮像された今回処理画像との比較が行われる。具体的には、姿勢変化判断部１４０は、制御装置１０のＲＡＭに記憶されている、前回処理時に撮像された携帯端末装置１周囲の画像を前回処理画像として読み出し、読み出した前回処理画像と、ステップＳ１０１で撮像された今回処理画像とを比較し、カメラ４０により撮像された画像が変化したか否かを判断する。   In step S103, the posture change determination unit 140 of the control device 10 compares the image around the mobile terminal device 1 (previous processing image) captured during the previous processing with the current processing image captured in step S101. . Specifically, the posture change determination unit 140 reads an image around the mobile terminal device 1 captured during the previous process, which is stored in the RAM of the control device 10, as the previous process image, The currently processed image captured in step S101 is compared, and it is determined whether or not the image captured by the camera 40 has changed.

そして、ステップＳ１０４では、制御装置１０の姿勢変化判断部１４０により、ステップＳ１０３の比較結果に基づいて、前回処理画像と今回処理画像とが異なるか否かの判断が行われる。たとえば、姿勢変化判断部１４０は、前回処理画像と今回処理画像とを比較した結果、画像全体に対して前回処理画像と今回処理画像とで一致する部分の割合が、所定の割合Ｓ１以上であると判断した場合には、前回処理画像と今回処理画像とは一致するものと判断し、ステップＳ１０８に進み、前回処理画像と今回処理画像とは一致するため、携帯端末装置１の姿勢は変化していないものと判断する。一方、姿勢変化判断部１４０は、前回処理画像と今回処理画像とを比較した結果、画像全体に対して前回処理画像と今回処理画像とで一致する部分の割合が、所定の割合Ｓ１未満であると判断した場合には、前回処理画像と今回処理画像とは異なるものと判断して、ステップＳ１０５に進む。なお、所定割合Ｓ１は、特に限定されないが、たとえば、カメラ４０により撮像された画像の変化が、携帯端末装置１の姿勢が変化したことによるものか、あるいは、ユーザの体の一部がカメラ４０の撮像範囲に入った場合など、被写体が移動したことによるものかを判断することができるような割合とすることが好適である。これにより、携帯端末装置１の姿勢は実際に変化していない場合でも、被写体が移動したことにより、携帯端末装置１の姿勢が変化したものと誤って判断されてしまうことを有効に防止することができる。 In step S104, the posture change determination unit 140 of the control device 10 determines whether or not the previous processed image is different from the current processed image based on the comparison result in step S103. For example, the posture change determination unit 140, a result of comparing the previous processed image and present the processed image, the ratio of the portion that matches with the previous processed image and present the processed image on the entire image, at a predetermined rate S 1 or more If it is determined that there is a match, it is determined that the previous process image and the current process image match, and the process proceeds to step S108. Since the previous process image and the current process image match, the attitude of the mobile terminal device 1 changes. Judge that it is not. On the other hand, the posture change determination unit 140, a result of comparing the previous processed image and present the processed image, the ratio of the portion that matches with the previous processed image and present the processed image on the entire image is less than a predetermined ratio S 1 If it is determined that there is, it is determined that the previous processed image and the current processed image are different, and the process proceeds to step S105. The predetermined ratio S 1 is not particularly limited, for example, change in image captured by the camera 40, or due to the attitude of the portable terminal device 1 is changed, or the camera is part of the user's body It is preferable to set the ratio so that it can be determined whether or not the subject is moved, such as when the image capturing range is 40. Thereby, even when the attitude of the mobile terminal device 1 is not actually changed, it is effectively prevented that the mobile terminal device 1 is erroneously determined to have been changed due to the movement of the subject. Can do.

ステップＳ１０５では、制御装置１０の姿勢変化判断部１４０により、今回処理画像が、前回処理画像を平行移動させたものであるか否かの判断が行われる。たとえば、姿勢変化判断部１４０は、今回処理画像と前回処理画像とに基づいて、オプティカルフローを求めることにより、今回処理画像が前回処理画像を平行移動させたものであるか否かを判断することができる。そして、今回処理画像が前回処理画像を平行移動させたものであると判断された場合には、ステップＳ１０８に進み、携帯端末装置１は、図２に示すように、Ｘ２軸、Ｙ２軸、またはＺ２軸を中心として回転しておらず、携帯端末装置１の姿勢自体は変化していないものと判断される。一方、今回処理画像が前回処理画像を平行移動させたものではないと判断された場合には、ステップＳ１０６に進む。このように、今回処理画像が前回処理画像を平行移動させたものであるか否かの判断することで、携帯端末装置１の姿勢の変化を適切に検出することができる。 In step S105, the posture change determination unit 140 of the control device 10 determines whether or not the currently processed image is a translation of the previously processed image. For example, the posture change determination unit 140 determines whether the current processed image is a translation of the previous processed image by obtaining an optical flow based on the current processed image and the previous processed image. Can do. When the current processed image is determined to be one obtained by translating the previous processed image, the process proceeds to step S108, the portable terminal device 1, as shown in FIG. 2, X 2 axis, Y 2 axis or not rotating around the Z 2 axes, the posture itself of the portable terminal device 1 is determined to be not changed. On the other hand, if it is determined that the currently processed image is not a translation of the previously processed image, the process proceeds to step S106. Thus, by determining whether or not the currently processed image is a translation of the previously processed image, it is possible to appropriately detect a change in the attitude of the mobile terminal device 1.

ステップＳ１０６では、制御装置１０の姿勢変化判断部１４０により、今回処理画像と前回処理画像とは異なるため、携帯端末装置１周囲とカメラ４０との相対位置関係が変化したものと判断され、携帯端末装置１の姿勢が変化したものと判断される。   In step S106, the posture change determination unit 140 of the control device 10 determines that the relative positional relationship between the periphery of the mobile terminal device 1 and the camera 40 has changed because the current processed image and the previous processed image are different, and the mobile terminal It is determined that the posture of the device 1 has changed.

そして、ステップＳ１０６で、携帯端末装置１の姿勢が変化したものと判断された場合には、ステップＳ１０７に進み、ステップＳ１０７で、制御装置１０の姿勢検出部１２０により、携帯端末装置１の姿勢の検出が行われる。以下に、本実施形態における携帯端末装置１の姿勢の検出方法について説明する。   If it is determined in step S106 that the attitude of the mobile terminal device 1 has changed, the process proceeds to step S107. In step S107, the attitude detection unit 120 of the control device 10 determines the attitude of the mobile terminal device 1. Detection is performed. Below, the detection method of the attitude | position of the portable terminal device 1 in this embodiment is demonstrated.

すなわち、姿勢検出部１２０は、まず、図５に示すように、車両の進行方向（前後方向）であるＸ１軸方向の加速度Ｘ＊と、車両の幅方向（Ｘ１軸と水平面において直交する方向）であるＹ１軸方向の加速度Ｙ＊と、重力方向であるＺ１軸方向の加速度Ｚ＊とを算出する。たとえば、姿勢検出部１２０は、ＧＰＳユニット２０により検出された位置情報から、携帯端末装置１の移動速度と進行方向とを求め、携帯端末装置１の移動速度の時間変化量から、Ｘ１軸方向の加速度Ｘ＊とＹ１軸方向の加速度Ｙ＊とを算出することができる。また、Ｚ１軸方向は重力方向であるため、姿勢検出部１２０は、Ｚ１軸方向の加速度Ｓｚ ＊を重力加速度−Ｇとして検出することができる。 That is, the posture detection unit 120, first, as shown in FIG. 5, an acceleration X * of X 1 axis direction which is the traveling direction of the vehicle (longitudinal direction), perpendicular to the width direction (X 1 axis and the horizontal plane of the vehicle calculating Y 1 to the axial direction of the acceleration Y * is the direction), and acceleration Z * of Z 1 axial direction which is the direction of gravity. For example, the attitude detection unit 120, the position information detected by the GPS unit 20 obtains the moving speed of the mobile terminal device 1 and the traveling direction, from the time variation of the moving speed of the mobile terminal device 1, X 1 axial it can be calculated and acceleration Y * of the acceleration X * and Y 1 axially. Further, since the Z 1 axis direction is the gravity direction, the posture detection unit 120 can detect the acceleration S z * in the Z 1 axis direction as the gravitational acceleration −G.

さらに、姿勢検出部１２０は、加速度センサ３０から、携帯端末装置１の姿勢に伴って決定される、Ｘ２軸方向の加速度Ｓｘ ＊、Ｙ２軸方向の加速度Ｓｙ ＊、およびＺ２軸方向の加速度Ｓｚ ＊を取得する。 Furthermore, the posture detection unit 120, the acceleration sensor 30, is determined in accordance with the orientation of the mobile terminal device 1, X 2 axial acceleration S x *, acceleration of Y 2 axial S y *, and Z 2 axes Get the direction acceleration S z * .

ここで、たとえば、図５に示すＸ１軸、Ｙ１軸、１軸と、図２に示すＸ２軸、Ｙ２軸、Ｚ２軸とをそれぞれ一致させた状態から、携帯端末装置１を、Ｘ２軸を中心としてθｘ、Ｙ２軸を中心としてθｙ、および、Ｚ２軸を中心としてθＺだけ回転させた場合、Ｘ１軸方向の加速度Ｘ＊、Ｙ１軸方向の加速度Ｙ＊、およびＺ１軸方向の加速度Ｓｚ ＊と、回転後のＸ２軸方向の加速度Ｓｘ ＊、Ｙ２軸方向の加速度Ｓｙ ＊、およびＺ２軸方向の加速度Ｓｚ ＊とを、下記式（２）に示す関係で表すことができる。

Figure 2013117406
Here, for example, from the state where the X 1 axis, the Y 1 axis, and the 1 axis shown in FIG. 5 coincide with the X 2 axis, the Y 2 axis, and the Z 2 axis shown in FIG. , theta x about the X 2 axis, theta y around the Y 2 axis, and, when rotated through theta Z around the Z 2 axes, the acceleration of the X 1 axis direction X *, Y 1 axis direction of the acceleration Y * , Z 1- axis direction acceleration S z * , X 2 axis direction acceleration S x * , Y 2- axis direction acceleration S y * , and Z 2- axis direction acceleration S z * after rotation Can be expressed by the relationship shown in the following formula (2).
Figure 2013117406

そこで、姿勢検出部１２０は、算出した加速度Ｘ＊、Ｙ＊、Ｚ＊と、加速度センサ３０により検出した加速度Ｓｘ ＊、Ｓｙ ＊、Ｓｚ ＊とに基づいて、上記式（２）により、θｘ、θｙ、θＺを求めることで、図５に示すＸ１軸、Ｙ１軸、およびＺ１軸と、図２に示すＸ２軸、Ｙ２軸、およびＺ２軸とがそれぞれ一致する場合の携帯端末装置１の姿勢に対して、Ｘ２軸を中心としてθｘ、Ｙ２軸を中心としてθｙ、および、Ｚ２軸を中心としてθＺだけ回転させた、現在の携帯端末装置１の姿勢を検出することができる。 Therefore, the posture detection unit 120 uses the above formula (2) based on the calculated accelerations X * , Y * , Z * and the accelerations S x * , S y * , S z * detected by the acceleration sensor 30. , Θ x , θ y , and θ Z are obtained to obtain the X 1 axis, Y 1 axis, and Z 1 axis shown in FIG. 5 and the X 2 axis, Y 2 axis, and Z 2 axis shown in FIG. The current position of the mobile terminal device 1 when they match each other is rotated by θ x around the X 2 axis, θ y around the Y 2 axis, and θ Z around the Z 2 axis. The attitude of the mobile terminal device 1 can be detected.

なお、上記式（２）において、加速度Ｘ＊、Ｙ＊、Ｚ＊および加速度Ｓｘ ＊、Ｓｙ ＊、Ｓｚ ＊は既に得られているため、上記式（２）より、θｘ，θｙ，θＺについての連立方程式が得られることとなる。そのため、姿勢検出部１２０は、θｘ，θｙ，θＺについての連立方程式を解くことで、θｘ，θｙ，θＺをそれぞれ求めることができる。そして、姿勢検出部１２０は、このように求めたθｘ，θｙ，θＺを、Ｘ１軸、Ｙ１軸、およびＺ１軸に対する携帯端末装置１の姿勢情報として、姿勢情報記憶部１３０に記憶する。 In the above formula (2), since accelerations X * , Y * , Z * and accelerations S x * , S y * , S z * have already been obtained, θ x , θ from the above formula (2). y, so that the system of equations for θ Z is obtained. Therefore, the posture detecting unit 120, theta x, theta y, by solving simultaneous equations about the theta Z, can be calculated θ x, θ y, θ Z, respectively. Then, the posture detection unit 120 uses the thus obtained θ x , θ y , and θ Z as posture information of the mobile terminal device 1 with respect to the X 1 axis, the Y 1 axis, and the Z 1 axis, and the posture information storage unit 130. To remember.

そして、ステップＳ１０７で携帯端末装置１の姿勢が検出された後、または、ステップＳ１０８で携帯端末装置１の姿勢が変化していないと判断された後は、ステップＳ１０１に戻り、上述した姿勢検出処理が繰り返される。なお、今回処理において今回処理画像として記憶された画像は、次回処理においては、前回処理画像として用いられることとなる。   Then, after the attitude of the mobile terminal device 1 is detected in step S107 or after it is determined in step S108 that the attitude of the mobile terminal device 1 has not changed, the process returns to step S101 and the above-described attitude detection process is performed. Is repeated. Note that the image stored as the current processed image in the current process is used as the previous processed image in the next process.

以上のように、第１実施形態に係る姿勢検出処理が行われる。そして、この姿勢検出処理で検出された携帯端末装置１の姿勢情報は、たとえば、以下に説明するように、車両の移動速度を算出する処理などに用いられる。   As described above, the posture detection process according to the first embodiment is performed. Then, the attitude information of the mobile terminal device 1 detected by the attitude detection process is used for, for example, a process of calculating the moving speed of the vehicle as described below.

すなわち、携帯端末装置１の移動速度算出部１１０は、携帯端末装置１を搭載した車両がトンネル内やビルの合間を走行する場合など、ＧＰＳユニット２０から携帯端末装置１の位置情報を取得することができない場合には、上述した姿勢検出処理によって検出された携帯端末装置１の姿勢情報と、加速度センサ３０により検出された加速度とに基づいて、携帯端末装置１の移動速度を算出する。   That is, the moving speed calculation unit 110 of the mobile terminal device 1 acquires the position information of the mobile terminal device 1 from the GPS unit 20 when a vehicle equipped with the mobile terminal device 1 travels in a tunnel or between buildings. If the mobile terminal device 1 cannot be detected, the moving speed of the mobile terminal device 1 is calculated based on the posture information of the mobile terminal device 1 detected by the above-described posture detection processing and the acceleration detected by the acceleration sensor 30.

具体的には、移動速度算出部１１０は、上述した姿勢検出処理によって、携帯端末装置１の姿勢情報として検出したθｘ，θｙ，およびθＺを、姿勢情報記憶部１３０から取得する。そして、移動速度算出部１１０は、取得したθｘ，θｙ，およびθＺと、加速度センサ３０により検出した加速度Ｓｘ ＊、Ｓｙ ＊、およびＳｚ ＊と基づいて、下記式（３）により、車両の進行方向であるＸ１軸方向の加速度Ｘ＊と、水平面上においてＸ１軸方向に直交するＹ１軸方向の加速度Ｙ＊とを算出する。

Figure 2013117406
Specifically, the moving speed calculation unit 110 acquires θ x , θ y , and θ Z detected as the posture information of the mobile terminal device 1 from the posture information storage unit 130 by the posture detection process described above. Based on the acquired θ x , θ y , and θ Z and the accelerations S x * , S y * , and S z * detected by the acceleration sensor 30, the moving speed calculation unit 110 calculates the following equation (3). the calculated acceleration X * of X 1 axis direction which is the traveling direction of the vehicle, the Y 1 axis direction orthogonal to the X 1 axis direction on the horizontal plane and acceleration Y *.
Figure 2013117406

そして、移動速度算出部１１０は、上記式（３）に基づいて算出したＸ１軸方向における加速度Ｘ＊と、Ｙ１軸方向における加速度Ｙ＊との合成ベクトルを生成し、生成した合成ベクトルの時系列データの積算することで、携帯端末装置１の移動速度を算出する。このように、本実施形態では、携帯端末装置１の姿勢情報と、加速度センサ３０により検出した加速度とに基づいて、携帯端末装置１の移動速度を算出することができるため、たとえば、携帯端末装置１を搭載した車両がトンネル内やビルの合間などを走行しているために、ＧＰＳユニット２０から位置情報を検出することができない場合でも、携帯端末装置１を搭載した車両の速度を適切に算出することができる。 Then, the moving speed calculation unit 110, an acceleration X * in the X 1 axis direction calculated based on the equation (3) to generate a combined vector of the acceleration Y * in Y 1 axis direction, of the generated synthesized vector The moving speed of the mobile terminal device 1 is calculated by integrating the time series data. Thus, in this embodiment, since the moving speed of the portable terminal device 1 can be calculated based on the attitude information of the portable terminal device 1 and the acceleration detected by the acceleration sensor 30, for example, the portable terminal device Even if position information cannot be detected from the GPS unit 20 because the vehicle equipped with 1 is traveling in a tunnel or between buildings, the speed of the vehicle equipped with the mobile terminal device 1 is calculated appropriately. can do.

なお、このように算出された携帯端末装置１の移動速度は、時系列に沿って、メモリ５０に蓄積されることとなる。そして、メモリ５０に蓄積された移動速度の時系列データは、たとえば、カーナビゲーションを行う際に車両の位置を特定するために用いられたり、ユーザによる省燃費運転（燃費の良い運転）の度合いを決定するために用いられたり、ユーザによる安全運転の度合いなどの運転傾向を分析するために用いられたり、あるいは、営業担当者などの移動履歴を管理者が確認するために用いられる。   Note that the movement speed of the mobile terminal device 1 calculated in this way is stored in the memory 50 in time series. The time-series data of the moving speed stored in the memory 50 is used, for example, for specifying the position of the vehicle when performing car navigation, or the degree of fuel-saving driving (driving with good fuel consumption) by the user. It is used for determination, used for analyzing driving tendency such as the degree of safe driving by the user, or used by an administrator for confirming a movement history such as a sales representative.

以上のように、第１実施形態では、カメラ４０により携帯端末装置１周囲の画像を繰り返し撮像し、カメラ４０により繰り返し撮像された画像を比較する。そして、比較の結果、画像が変化したものと判断された場合には、携帯端末装置１の姿勢が変化したものと判断して、携帯端末装置１の姿勢の検出を行う。このように、第１実施形態では、カメラ４０により撮像された携帯端末装置１周囲の画像に基づいて、携帯端末装置１の姿勢が変化したか否かを判断することで、たとえば、インストルメントパネル、座席シート、またはカップホルダーなどの上に置かれた携帯端末装置１が、重力方向に延びる軸（たとえば、図２（Ｂ）に示す例ではＸ２軸）を中心として回転した場合でも、携帯端末装置１の姿勢の変化を適切に検出することができる。 As described above, in the first embodiment, the camera 40 repeatedly captures images around the mobile terminal device 1 and compares the images repeatedly captured by the camera 40. If it is determined that the image has changed as a result of the comparison, it is determined that the posture of the mobile terminal device 1 has changed, and the posture of the mobile terminal device 1 is detected. Thus, in the first embodiment, by determining whether or not the attitude of the mobile terminal device 1 has changed based on the image around the mobile terminal device 1 captured by the camera 40, for example, an instrument panel , seat or cup holder mobile terminal device 1 placed on such that, extends in the direction of gravity axis (e.g., in the example shown in FIG. 2 (B) X 2 axes) even when rotated around a mobile A change in the attitude of the terminal device 1 can be detected appropriately.

また、第１実施形態では、カメラ４０により繰り返し撮像された画像を比較することで、携帯端末装置１の姿勢が変化したか否かを判断し、携帯端末装置１の姿勢が変化したと判断した場合には、上記式（２）に示すように、車両の加速度を加味して、携帯端末装置１の姿勢を検出することで、以下のような問題を解決することができる。すなわち、単に、重力加速度の変化により、携帯端末装置１の姿勢が変化したか否かを判断する場合には、たとえば、携帯端末装置１を搭載した車両が加速または減速した際に、携帯端末装置１にかかる重力加速度が、重力加速度と車両の加減速による加速度とのベクトル成分の合成により変化してしまい、これにより、携帯端末装置１の姿勢が変化したものと誤って判断される場合があり、さらに、このような重力加速度に基づいて、携帯端末装置１の姿勢が算出されてしまうため、携帯端末装置１の姿勢を適切に検出することができないという問題があった。これに対して、第１実施形態では、カメラ４０により繰り返し撮像された画像を比較することで、携帯端末装置１を搭載した車両が加速または減速した場合でも、互いに直交するＸ２軸、Ｙ２軸、またはＺ２軸を中心として、携帯端末装置１が回転したか否かを適切に判断することができ、携帯端末装置１の姿勢が変化したかを適切に判断することができるとともに、携帯端末装置１の姿勢が変化した場合には、上記式（２）により、車両の加速度を加味して、携帯端末装置１の姿勢を検出することができるため、携帯端末装置１の姿勢を適切に検出することができる。 Further, in the first embodiment, by comparing the images repeatedly captured by the camera 40, it is determined whether or not the attitude of the mobile terminal apparatus 1 has changed, and it has been determined that the attitude of the mobile terminal apparatus 1 has changed. In this case, as shown in the above formula (2), the following problems can be solved by detecting the attitude of the mobile terminal device 1 in consideration of the acceleration of the vehicle. That is, when it is determined whether or not the attitude of the mobile terminal device 1 has changed due to a change in gravitational acceleration, for example, when the vehicle on which the mobile terminal device 1 is mounted is accelerated or decelerated, the mobile terminal device 1 may change due to the synthesis of the vector component of the acceleration due to the acceleration of the vehicle and the acceleration due to the acceleration / deceleration of the vehicle, which may be erroneously determined as a change in the attitude of the mobile terminal device 1. Furthermore, since the attitude of the mobile terminal device 1 is calculated based on such gravitational acceleration, there is a problem that the attitude of the mobile terminal device 1 cannot be detected appropriately. On the other hand, in the first embodiment, by comparing the images repeatedly captured by the camera 40, even when the vehicle on which the mobile terminal device 1 is mounted is accelerated or decelerated, the X 2 axis and Y 2 that are orthogonal to each other. axis, or about the Z 2 axes can be the mobile terminal device 1 to properly judge whether the rotation, together with the orientation of the mobile terminal apparatus 1 can appropriately determine whether it has changed, the mobile When the attitude of the terminal device 1 changes, the attitude of the mobile terminal device 1 can be detected appropriately by taking into account the acceleration of the vehicle according to the above equation (2). Can be detected.

≪第２実施形態≫
続いて、第２実施形態に係る携帯端末装置１ａについて説明する。第２実施形態に係る携帯端末装置１ａは、図７に示すように、指向性マイク６０を備えており、以下に説明するように動作すること以外は、第１実施形態と同様である。ここで、図７は、第２実施形態に係る携帯端末装置１ａを示す構成図である。 << Second Embodiment >>
Next, the mobile terminal device 1a according to the second embodiment will be described. As shown in FIG. 7, the mobile terminal device 1 a according to the second embodiment includes a directional microphone 60 and is the same as the first embodiment except that the mobile terminal device 1 a operates as described below. Here, FIG. 7 is a configuration diagram illustrating the mobile terminal device 1a according to the second embodiment.

第２実施形態に係る携帯端末装置１ａは、図７に示すように、指向性マイク６０を備えている。指向性マイク６０は、運転者の音声など、携帯端末装置１ａ周囲の音声を繰り返し検出し、検出した音声の音声データを、制御装置１０に送信する。また、指向性マイク６０は指向性を有しており、指向性マイク６０により検出された音声の音声データに基づいて、音声の音源が存在する方向（音声が発せられた方向）を検出することができるようになっている。そのため、制御装置１０の姿勢変化判断部１４０は、指向性マイク６０により繰り返し検出された音声を比較することで、該音声の音源の存在する方向が変化したか否かを判断し、音声の音源の存在する方向が変化したと判断した場合に、携帯端末装置１ａの姿勢が変化したと判断する。なお、携帯端末装置１ａ周囲の音声に基づいて、携帯端末装置１ａの姿勢が変化したか否かを判断する方法の詳細については、後述する。   As shown in FIG. 7, the mobile terminal device 1 a according to the second embodiment includes a directional microphone 60. The directional microphone 60 repeatedly detects a voice around the mobile terminal device 1 a such as a driver's voice, and transmits voice data of the detected voice to the control device 10. The directional microphone 60 has directivity, and detects the direction in which the sound source is present (the direction in which the sound is emitted) based on the sound data of the sound detected by the directional microphone 60. Can be done. Therefore, the posture change determination unit 140 of the control device 10 compares the sound repeatedly detected by the directional microphone 60 to determine whether or not the direction in which the sound source of the sound is changed, and the sound source of the sound When it is determined that the direction in which the mobile phone is present has changed, it is determined that the attitude of the mobile terminal device 1a has changed. The details of the method for determining whether or not the attitude of the mobile terminal device 1a has changed based on the sound around the mobile terminal device 1a will be described later.

続いて、図８に基づいて、第２実施形態に係る姿勢検出処理について説明する。第２実施形態に係る姿勢検出処理は、指向性マイク６０により検出された音声に基づいて、携帯端末装置１ａの姿勢が変化したか否かを判断し、該判断の結果、携帯端末装置１ａの姿勢が変化したと判断された場合に、携帯端末装置１ａの姿勢の検出を行うものである。なお、図８は、第２実施形態に係る姿勢検出処理を説明するフローチャートである。   Next, based on FIG. 8, the posture detection process according to the second embodiment will be described. The posture detection process according to the second embodiment determines whether or not the posture of the mobile terminal device 1a has changed based on the sound detected by the directional microphone 60. As a result of the determination, the posture detection processing of the mobile terminal device 1a is performed. When it is determined that the posture has changed, the posture of the mobile terminal device 1a is detected. FIG. 8 is a flowchart for explaining posture detection processing according to the second embodiment.

まず、ステップＳ２０１では、指向性マイク６０により携帯端末装置１ａ周囲の音声の検出が行われ、指向性マイク６０により検出された携帯端末装置１ａ周囲の音声の音声データが、指向性マイク６０から制御装置１０へと送出される。そして、続くステップＳ２０２では、制御装置１０の姿勢変化判断部１４０により、指向性マイク６０により検出された携帯端末装置１ａ周囲の音声の音声データが取得され、取得された音声データが今回処理時音声データとして、制御装置１０に備えるＲＡＭに記憶される。   First, in step S <b> 201, sound around the mobile terminal device 1 a is detected by the directional microphone 60, and sound data of the sound around the mobile terminal device 1 a detected by the directional microphone 60 is controlled from the directional microphone 60. Sent to the device 10. In subsequent step S202, the posture change determination unit 140 of the control device 10 acquires the sound data of the sound around the mobile terminal device 1a detected by the directional microphone 60, and the acquired sound data is the current processing time sound. Data is stored in a RAM provided in the control device 10.

ステップＳ２０３では、制御装置１０の姿勢変化判断部１４０により、前回処理時において検出された携帯端末装置１ａ周囲の音声の音声データ（前回処理時音声データ）と、ステップＳ２０２で取得された今回処理時音声データとの比較が行われる。ここで、本実施形態の指向性マイク６０は指向性を有しており、姿勢変化判断部１４０は、指向性マイク６０により検出された携帯端末装置１ａ周囲の音声の音声データに基づいて、該音声の音源が存在する方向（音声が聞こえてくる方向）を検出することができる。   In step S203, the voice change data of the surroundings of the mobile terminal device 1a detected during the previous processing by the posture change determination unit 140 of the control device 10 (voice data during the previous processing) and the current processing acquired in step S202. Comparison with audio data is performed. Here, the directional microphone 60 of the present embodiment has directivity, and the posture change determination unit 140 is based on the sound data of the sound around the mobile terminal device 1a detected by the directional microphone 60. The direction in which the sound source is present (the direction in which the sound is heard) can be detected.

たとえば、図９（Ａ）に示す例では、音源である運転者が、携帯端末装置１ａのＺ２軸方向よりもθａの角度の方向に存在しているため、姿勢変化判断部１４０は、指向性マイク６０により検出された音声の音源が、Ｚ２軸方向よりもθａの角度の方向に存在していると検出することができる。また、図９（Ｂ）に示す例では、音源である運転者が、携帯端末装置１ａのＺ２軸よりもθｂの角度の方向に位置しており、姿勢変化判断部１４０は、指向性マイク６０からの音声の音源が、Ｚ２軸に対してθｂの角度の方向に存在していると検出することができる。 For example, in the example shown in FIG. 9 (A), since a sound source driver, it is present in the direction of the angle theta a than Z 2 axial direction of the mobile terminal apparatus 1a, the posture change determination unit 140, source of speech detected by the directional microphone 60 can be detected to exist in the direction of an angle than Z 2 axial theta a. Further, in the example shown in FIG. 9 (B), a source driver, than Z 2 axes of the portable terminal device 1a is positioned in the direction of the angle theta b, the posture change determination unit 140, directivity sound source from the microphone 60, can be detected to exist in the direction of the angle theta b against Z 2 axes.

このように、図９に示す例では、携帯端末装置１ａがＸ２軸を中心として角度（θｂ−θａ）だけ回転しているため、姿勢変化判断部１４０は、図９（Ａ）に示す例で検出された音声と、図９（Ｂ）に示す例で検出された音声とを比較した場合に、図９（Ａ）に示す例で検出された音声の音源が存在する方向と、図９（Ｂ）に示す例で検出された音声の音源が存在する方向とが異なるものであると判断する。なお、図９は、指向性マイク６０で検出された音声に基づいて、携帯端末装置１ａの姿勢が変化したか否かを判断する方法を説明するための図である。 Thus, in the example shown in FIG. 9, since the portable terminal device 1a is rotating about the X 2 axis by an angle (θ b -θ a), the posture change determination unit 140 in FIG. 9 (A) When the voice detected in the example shown in FIG. 9 is compared with the voice detected in the example shown in FIG. 9B, the direction in which the sound source of the voice detected in the example shown in FIG. It is determined that the direction of the sound source detected in the example shown in FIG. 9B is different. FIG. 9 is a diagram for explaining a method for determining whether or not the attitude of the mobile terminal device 1a has changed based on the sound detected by the directional microphone 60.

ステップＳ２０４では、制御装置１０の姿勢変化判断部１４０により、ステップＳ２０３の比較結果に基づいて、前回処理時に音源が存在していた方向と、今回処理時に音源が存在している方向とが異なるか否かの判断が行われる。そして、図９に示す例のように、前回処理時に音源が存在していた方向と今回処理時に音源が存在している方向とが異なるものであると判断された場合には、ステップＳ２０５に進み、姿勢変化判断部１４０により、携帯端末装置１ａ周囲と携帯端末装置１ａとの相対位置関係が変化したものと判断され、携帯端末装置１ａの姿勢が変化したものと判断される。一方、前回処理時に音源が存在していた方向と、今回処理時に音源が存在している方向とが同じ場合には、ステップＳ２０６に進み、姿勢変化判断部１４０により、携帯端末装置１ａの姿勢は変化していないものと判断される。   In step S204, based on the comparison result in step S203, the orientation change determination unit 140 of the control device 10 determines whether the direction in which the sound source was present during the previous process differs from the direction in which the sound source is present during the current process. A determination is made whether or not. If it is determined that the direction in which the sound source is present at the previous processing and the direction in which the sound source is present at the current processing are different as in the example illustrated in FIG. 9, the process proceeds to step S205. The posture change determination unit 140 determines that the relative positional relationship between the mobile terminal device 1a and the mobile terminal device 1a has changed, and determines that the posture of the mobile terminal device 1a has changed. On the other hand, when the direction in which the sound source was present at the previous processing and the direction in which the sound source was present at the current processing are the same, the process proceeds to step S206, and the posture change determination unit 140 determines the posture of the mobile terminal device 1a. Judged as unchanged.

そして、ステップＳ２０５で、携帯端末装置１ａの姿勢が変化したものと判断された場合には、ステップＳ２０７に進み、第１実施形態のステップＳ１０８と同様に、制御装置１０の姿勢検出部１２０により、携帯端末装置１ａの姿勢の検出が行われる。   If it is determined in step S205 that the posture of the mobile terminal device 1a has changed, the process proceeds to step S207, and the posture detection unit 120 of the control device 10 performs the same as in step S108 of the first embodiment. The attitude of the mobile terminal device 1a is detected.

以上のように第２実施形態では、指向性マイク６０で検出した携帯端末装置１周囲の音声に基づいて、前回処理時に検出された音声と今回処理時に検出された音声とを比較して、前回処理時に音源が存在していた方向と、今回処理時に音源が存在している方向とが異なるか否かを判断することで、携帯端末装置１の姿勢が変化したか否かを判断する。これにより、第２実施形態では、第１実施形態の効果に加えて、車室内が暗い場合や、携帯端末装置１が鞄の中に入っている場合などでも、携帯端末装置１周囲の音声に基づいて、携帯端末装置１の姿勢の変化を適切に検出することができる。   As described above, in the second embodiment, based on the sound around the mobile terminal device 1 detected by the directional microphone 60, the sound detected during the previous process is compared with the sound detected during the current process. It is determined whether or not the orientation of the mobile terminal device 1 has changed by determining whether or not the direction in which the sound source is present at the time of processing is different from the direction in which the sound source is present at the time of processing. Thereby, in the second embodiment, in addition to the effects of the first embodiment, even when the vehicle interior is dark or the mobile terminal device 1 is in a bag, the sound around the mobile terminal device 1 is Based on this, it is possible to appropriately detect a change in the attitude of the mobile terminal device 1.

以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。たとえば、本発明の実施形態は、上述した第１実施形態または第２実施形態に限られるものではなく、また上述した第１実施形態と第２実施形態を組み合わせてもよい。   The embodiment described above is described for facilitating understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention. For example, the embodiment of the present invention is not limited to the first embodiment or the second embodiment described above, and the first embodiment and the second embodiment described above may be combined.

また、上述した第１実施形態では、携帯端末装置１がカメラ４０を備える構成を例示したが、カメラ４０の数は特に限定されるものではなく、たとえば、一対のカメラ４０を備え、この一対のカメラ４０のうち、一方のカメラ４０を携帯端末装置１の一方の主面に設けるとともに、他方のカメラ４０を携帯端末装置１の他方の主面に設ける構成としてもよい。これにより、たとえば、ユーザが、携帯端末装置１を、車室内の座席シートの上に、一方のカメラ４０を下向きにして置いた場合でも、もう一方のカメラ４０で画像を適切に撮像することができるため、携帯端末装置１の姿勢が変化したか否かを適切に判断することができる。   Moreover, in 1st Embodiment mentioned above, although the structure in which the portable terminal device 1 was equipped with the camera 40 was illustrated, the number of the cameras 40 is not specifically limited, For example, a pair of cameras 40 are provided, and this pair of cameras is provided. Of the cameras 40, one camera 40 may be provided on one main surface of the mobile terminal device 1 and the other camera 40 may be provided on the other main surface of the mobile terminal device 1. Thereby, for example, even when the user places the mobile terminal device 1 on a seat in the vehicle interior with one camera 40 facing downward, the other camera 40 can appropriately capture an image. Therefore, it is possible to appropriately determine whether or not the attitude of the mobile terminal device 1 has changed.

さらに、上述した第１実施形態では、前回処理画像と今回処理画像とが異なるものと判断された場合には、携帯端末装置１の姿勢は変化したものと判断する構成を例示したが、この構成に加えて、たとえば、画像全体に対して前回処理画像と今回処理画像とで異なる部分の割合が、上述した所定の割合Ｓ１よりも低い所定の割合Ｓ２以下であるか否かをさらに判断し、画像全体に対して前回処理画像と今回処理画像とで異なる部分の割合が所定の割合Ｓ２以下である場合には、携帯端末装置１の姿勢は変化していないと判断する構成としてもよい。なお、所定割合Ｓ２は、特に限定されないが、たとえば、画像の変化が、ノイズによるものであるか否かを判断することができる割合とすることができる。このように、画像全体に対して前回処理画像と今回処理画像とで異なる部分の割合が所定の割合Ｓ２以下である場合には、カメラ４０で撮像した画像の変化は、携帯端末装置１自体の姿勢の変化によるものではなく、たとえば、ノイズによるものであると判断し、携帯端末装置１自体の姿勢が変化していないものと判断することで、携帯端末装置１の姿勢が変化したか否かをより適切に判断することができる。 Furthermore, in 1st Embodiment mentioned above, when it was judged that the last process image and this process image differ, the structure which judges that the attitude | position of the portable terminal device 1 changed was illustrated, but this structure in addition to, for example, further determines whether the ratio of the different parts in the previous processed image and the current processing image is lower predetermined ratio S 2 or less than a predetermined ratio S 1 described above for the entire image and, when the ratio of the portion different in the previous processed image and present the processed image on the entire image is a predetermined ratio S 2 or less, be configured to determine that the orientation of the mobile terminal device 1 has not changed Good. The predetermined ratio S 2 is not particularly limited, for example, the change of the image can be the rate at which it can be determined whether or not due to noise. Thus, when the ratio of the portion different in the previous processed image and present the processed image on the entire image is a predetermined ratio S 2 or less, the change of an image captured by the camera 40, the portable terminal device 1 itself Whether or not the attitude of the mobile terminal device 1 has been changed by determining that the mobile terminal device 1 itself has not changed, for example, by determining that the mobile terminal device 1 itself has not changed. Can be determined more appropriately.

なお、上述した実施形態のカメラ４０および指向性マイク６０は、本発明の周囲状況検出手段に、制御装置１０の姿勢検出部１２０は、本発明の姿勢検出手段に、制御装置１０の姿勢変化判断部１４０は、本発明の判断手段に、ＧＰＳユニット２０および姿勢検出部１２０は、本発明の第１加速度検出手段に、加速度センサ３０は、本発明の第２加速度検出手段に、それぞれ相当する。   It should be noted that the camera 40 and the directional microphone 60 of the above-described embodiment are the ambient condition detection unit of the present invention, and the posture detection unit 120 of the control device 10 is the posture detection unit of the present invention. The unit 140 corresponds to the determination unit of the present invention, the GPS unit 20 and the posture detection unit 120 correspond to the first acceleration detection unit of the present invention, and the acceleration sensor 30 corresponds to the second acceleration detection unit of the present invention.

１…携帯端末装置
１０…制御装置
１１０…移動速度検出部
１２０…姿勢検出部
１３０…姿勢情報記憶部
１４０…姿勢変化判断部
２０…ＧＰＳユニット
３０…加速度センサ
４０…カメラ
５０…メモリ
６０…指向性マイク DESCRIPTION OF SYMBOLS 1 ... Portable terminal device 10 ... Control apparatus 110 ... Movement speed detection part 120 ... Attitude detection part 130 ... Attitude information storage part 140 ... Attitude change judgment part 20 ... GPS unit 30 ... Acceleration sensor 40 ... Camera 50 ... Memory 60 ... Directivity Microphone

Claims (9)

自装置の姿勢を検出する姿勢検出手段と、
自装置周囲の画像の撮像および／または自装置周囲の音声の検出を行う周囲状況検出手段と、
前記周囲状況検出手段による検出結果に基づいて、自装置周囲と前記周囲状況検出手段との相対位置関係が変化したか否かを判断する判断手段と、を備え、
前記姿勢検出手段は、前記判断手段により、自装置周囲と前記周囲状況検出手段との相対位置関係が変化したと判断された場合に、自装置の姿勢の検出を行うことを特徴とする姿勢検出装置。 Posture detection means for detecting the posture of the device itself;
An ambient condition detection means for capturing an image around the own device and / or detecting sound around the own device;
Determination means for determining whether or not the relative positional relationship between the surroundings of the device and the surrounding condition detecting means has changed based on the detection result by the surrounding condition detecting means;
The posture detection unit detects the posture of the own device when the determination unit determines that the relative positional relationship between the surroundings of the own device and the surrounding state detection unit has changed. apparatus. 請求項１に記載の姿勢検出装置であって、
前記周囲状況検出手段は、前記自装置周囲の画像を繰り返し撮像し、
前記判断手段は、前記周囲状況検出手段によって繰り返し撮像された前記自装置周囲の画像を比較し、前記自装置周囲の画像の変化を検出することで、自装置周囲と前記周囲状況検出手段との相対位置関係が変化したか否かを判断することを特徴とする姿勢検出装置。 The posture detection apparatus according to claim 1,
The ambient condition detecting means repeatedly captures an image around the device,
The determination unit compares the surroundings of the own device repeatedly captured by the surrounding state detection unit, and detects a change in the image around the own device, thereby detecting the surroundings of the own device and the surrounding state detection unit. An attitude detection device that determines whether or not the relative positional relationship has changed. 請求項２に記載の姿勢検出装置であって、
前記判断手段は、前記自装置周囲の画像を比較した結果、前記自装置周囲の画像が変化した場合には、自装置周囲と前記周囲状況検出手段との相対位置関係が変化したと判断することを特徴とする姿勢検出装置。 The posture detection apparatus according to claim 2,
The determination unit determines that the relative positional relationship between the surroundings of the own device and the surrounding state detection unit has changed when the image around the own device changes as a result of comparing the images around the own device. An attitude detection device characterized by the above. 請求項２または３に記載の姿勢検出装置であって、
前記判断手段は、前記自装置周囲の画像を比較した結果、前記自装置周囲の画像が変化した部分の画像の割合が所定割合以下である場合には、自装置周囲と前記周囲状況検出手段との相対位置関係が変化していないと判断することを特徴とする姿勢検出装置。 The posture detection device according to claim 2 or 3,
As a result of comparing the images around the own device, if the ratio of the image of the portion where the image around the own device has changed is equal to or less than a predetermined rate, the determining means It is judged that the relative positional relationship of has not changed. 請求項２〜４のいずれかに記載の姿勢検出装置であって、
前記判断手段は、前記自装置周囲の画像を比較した結果、前記自装置周囲の画像が変化した場合でも、変化後の画像が、変化前の画像を平行に移動させたものである場合には、自装置周囲と前記周囲状況検出手段との相対位置関係が変化していないと判断することを特徴とする姿勢検出装置。 The posture detection device according to any one of claims 2 to 4,
As a result of comparing the images around the own device, the determination means, even when the image around the own device changes, if the image after the change is an image obtained by moving the image before the change in parallel. An attitude detection device that determines that the relative positional relationship between the surroundings of the device itself and the surrounding state detection means has not changed. 請求項１〜５のいずれかに記載の姿勢検出装置であって、
前記周囲状況検出手段は、前記自装置周囲の音声を繰り返し検出し、
前記判断手段は、前記周囲状況検出手段によって繰り返し検出された前記自装置周囲の音声を比較し、前記自装置周囲の音声の変化を検出することで、自装置周囲と前記周囲状況検出手段との相対位置関係が変化したか否かを判断することを特徴とする姿勢検出装置。 It is an attitude | position detection apparatus in any one of Claims 1-5,
The ambient condition detection means repeatedly detects the voice around the device,
The determination means compares the sound around the own apparatus repeatedly detected by the surrounding condition detection means, and detects a change in the sound around the own apparatus, thereby detecting the surroundings of the own apparatus and the surrounding condition detection means. An attitude detection device that determines whether or not the relative positional relationship has changed. 請求項６に記載の姿勢検出装置であって、
前記判断手段は、前記自装置周囲の音声を比較した結果、前記音声の音源が存在する方向が変化した場合には、自装置周囲と前記周囲状況検出手段との相対位置関係が変化したと判断することを特徴とする姿勢検出装置。 The posture detection apparatus according to claim 6,
When the direction in which the sound source of the sound is changed as a result of comparing the sounds around the own device, the determining unit determines that the relative positional relationship between the own device and the surrounding state detecting unit has changed. An attitude detection device characterized by: 請求項１〜７のいずれかに記載の姿勢検出装置であって、
自装置の姿勢にかかわらずに予め定められた、互いに直交するＸ１軸方向、Ｙ１軸方向、およびＺ１軸方向の加速度を検出する第１加速度検出手段と、
自装置の姿勢の変化に伴って決定される、互いに直交するＸ２軸方向、Ｙ２軸方向、およびＺ２軸方向の加速度を検出する第２加速度検出手段と、をさらに備え、
前記姿勢検出手段は、前記第１加速度検出手段および前記第２加速度検出手段の検出結果に基づいて、下記式（４）により、前記Ｘ２軸を中心とした回転角θＸ、前記Ｙ２軸を中心とした回転角θＹ、および前記Ｚ２軸を中心とした回転角θＺを求めることで、前記Ｘ１軸、Ｙ１軸、およびＺ１軸に対する自装置の姿勢を検出することを特徴とする姿勢検出装置。
Figure 2013117406
 The posture detection device according to claim 1,
First acceleration detecting means for detecting accelerations in the X 1 axis direction, the Y 1 axis direction, and the Z 1 axis direction orthogonal to each other, which are determined in advance regardless of the posture of the device;
A second acceleration detecting means for detecting acceleration in the X 2 axis direction, the Y 2 axis direction, and the Z 2 axis direction orthogonal to each other, which is determined in accordance with a change in the posture of the own device;
Based on the detection results of the first acceleration detection unit and the second acceleration detection unit, the posture detection unit is configured to rotate the rotation angle θ X about the X 2 axis and the Y 2 axis according to the following equation (4): To detect the attitude of the device with respect to the X 1 axis, the Y 1 axis, and the Z 1 axis by obtaining the rotation angle θ Y about the axis Z and the rotation angle θ Z about the Z 2 axis. A posture detection device as a feature.
Figure 2013117406
 自装置周囲の画像の撮像および／または自装置周囲の音声の検出を行い、該検出結果に基づいて、自装置周囲と自装置との相対的な位置関係が変化したか否かを判断し、該判断の結果、自装置周囲と自装置との相対位置関係が変化したと判断された場合に、自装置の姿勢を検出することを特徴とする姿勢検出方法。   Taking an image around the own device and / or detecting sound around the own device, and based on the detection result, determine whether the relative positional relationship between the own device and the own device has changed, As a result of the determination, when it is determined that the relative positional relationship between the surroundings of the own device and the own device has changed, the posture detection method of detecting the posture of the own device.
JP2011264283A 2011-12-02 2011-12-02 Posture detection device and posture detection method Withdrawn JP2013117406A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011264283A JP2013117406A (en) 2011-12-02 2011-12-02 Posture detection device and posture detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011264283A JP2013117406A (en) 2011-12-02 2011-12-02 Posture detection device and posture detection method

Publications (1)

Publication Number Publication Date
JP2013117406A true JP2013117406A (en) 2013-06-13

Family

ID=48712072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011264283A Withdrawn JP2013117406A (en) 2011-12-02 2011-12-02 Posture detection device and posture detection method

Country Status (1)

Country Link
JP (1) JP2013117406A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014063294A (en) * 2012-09-20 2014-04-10 Mitsubishi Electric Corp Terminal position and direction detection device of moving body mounted terminal
WO2022237383A1 (en) * 2021-05-09 2022-11-17 International Business Machines Corporation Skeleton-based action recognition using bi-directional spatial-temporal transformer

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014063294A (en) * 2012-09-20 2014-04-10 Mitsubishi Electric Corp Terminal position and direction detection device of moving body mounted terminal
WO2022237383A1 (en) * 2021-05-09 2022-11-17 International Business Machines Corporation Skeleton-based action recognition using bi-directional spatial-temporal transformer
US11854305B2 (en) 2021-05-09 2023-12-26 International Business Machines Corporation Skeleton-based action recognition using bi-directional spatial-temporal transformer

Similar Documents

Publication Publication Date Title
JP6295554B2 (en) Program, information processing device
JP4515497B2 (en) Traveling direction measuring device and traveling direction measuring method
JP4167263B2 (en) Mobile terminal device
US9664772B2 (en) Sound processing device, sound processing method, and sound processing program
KR101361463B1 (en) Calibration techniques for an electronic compass in a portable device
EP3281020B1 (en) Opportunistic calibration of a smartphone orientation in a vehicle
US20140288873A1 (en) Pre-processing inertial sensor measurements for navigation
US20100164807A1 (en) System and method for estimating state of carrier
TW201142749A (en) Orientation determination of a mobile station using side and top view images
WO2014113159A1 (en) Orientation determination based on vanishing point computation
JP2007108326A (en) Mobile map display apparatus and its method
JP2020095406A (en) On-vehicle device, program, and vehicle
KR101413605B1 (en) System and method for Navigation
JP2014240754A5 (en)
JP2011058854A (en) Portable terminal
JP6627823B2 (en) Electronic equipment, altitude measurement method and program
US20120026324A1 (en) Image capturing terminal, data processing terminal, image capturing method, and data processing method
JP2013117406A (en) Posture detection device and posture detection method
JP4736070B2 (en) Portable navigation system
JP2015155802A (en) Portable electronic equipment and position calculation program
JP4552658B2 (en) Attitude detection method using two-axis magnetic sensor and program thereof
JP5514062B2 (en) Electronic device, imaging screen display method with information, and program
US8903163B2 (en) Using gravity measurements within a photogrammetric adjustment
JP6289047B2 (en) Imaging apparatus, imaging system, imaging method, and imaging program
JP2005216200A (en) Other vehicle detecting apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141029

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20150603