JP2010034652A - Multi-azimuth camera mounted mobile terminal apparatus - Google Patents
Multi-azimuth camera mounted mobile terminal apparatus Download PDFInfo
- Publication number
- JP2010034652A JP2010034652A JP2008192071A JP2008192071A JP2010034652A JP 2010034652 A JP2010034652 A JP 2010034652A JP 2008192071 A JP2008192071 A JP 2008192071A JP 2008192071 A JP2008192071 A JP 2008192071A JP 2010034652 A JP2010034652 A JP 2010034652A
- Authority
- JP
- Japan
- Prior art keywords
- image
- terminal device
- azimuth
- peripheral
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Structure And Mechanism Of Cameras (AREA)
- Studio Devices (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、携帯端末装置利用者の自画像と周囲風景画像を容易に同時撮影し、表示、相互に送受信する為のカメラ機構及び制御と画像処理を搭載する携帯端末装置に関する。 The present invention relates to a mobile terminal device equipped with a camera mechanism and control and image processing for easily capturing, displaying, and mutually transmitting and receiving a self-portrait and a surrounding landscape image of a mobile terminal device user.
携帯端末装置として最も普及している形態として、カメラ付き携帯電話がある。従来のこのようなカメラ付き携帯電話では、テレビ電話装置用途及びポートレート撮影用途などにおける自画像を撮影する手段として、表示手段と同じ側に取り付けられたカメラと、デジタルカメラ用途における風景画像を撮影する手段として、表示手段と反対側に取り付けられたカメラの2系統のカメラが用途に合わせて搭載されている。また、カメラ付き携帯電話で撮影される画像は、カメラ取り付け位置が端末装置中心軸からずれている場合や携帯端末装置利用者の取り扱い上の癖や手の動きによって、携帯端末装置利用者自身や風景といった撮影対象が表示手段の中心からずれて映し出されてしまう現象が認められている。
特許文献1では、テレビ電話装置用途において、カメラで撮影した自画像より顔判別手段(肌色領域検出)を用いて顔位置を検出し、顔位置が表示手段中心となるように配置制御している。
特許文献2では、テレビ電話装置用途において、カメラで撮影した基準となる自画像の適正範囲(上下左右範囲、適正距離範囲)を予め記憶し、これを基に、自画像が適正範囲を外れた場合、表示手段に外れた方向に強調補正表示する事により、これを見る携帯端末利用者自身が位置調整したくなるように仕向けている。
In Patent Document 1, in a videophone device application, a face position is detected from a self-portrait photographed by a camera using face discrimination means (skin color area detection), and the arrangement is controlled so that the face position becomes the center of the display means.
In patent document 2, in a videophone device application, an appropriate range (up / down / left / right range, appropriate distance range) of a self-portrait that is a reference taken by a camera is stored in advance, and based on this, By emphasizing and displaying in a direction away from the display means, the mobile terminal user who sees the display means wants to adjust the position.
従来の背景技術の携帯端末装置では、自画像を撮影する為のテレビ電話或いはポートレート撮影用途と、風景画像を撮影するデジタルカメラ用途の為に、2系統のカメラ手段及び制御処理手段が必要となる。また、顔位置を検出し表示手段の適正位置に表示するよう補正する手段は、カメラの取り付け位置によるずれ量や携帯端末装置利用者(通話者など)の音響適正位置に基づく極めて狭い範囲において適用される手段である。 Conventional portable terminal devices of the background art require two systems of camera means and control processing means for video phone or portrait photography applications for taking self-portraits and digital camera applications for taking landscape images. . Further, the means for correcting the face position to be detected and displayed at the appropriate position of the display means is applied in a very narrow range based on the amount of deviation due to the camera mounting position and the appropriate sound position of the mobile terminal device user (such as a caller). Means.
本発明は、このような事情に鑑みてなされたもので、カメラを搭載する携帯端末装置において、1系統のカメラ及び制御処理手段で、自画像を撮影する為のテレビ電話或いはポートレート撮影用途と風景画像を撮影するデジタルカメラ用途を可動部のない状態で実現すると共に、広い方位方向視野により携帯端末装置利用者(通話者など)が撮影位置や範囲を特段に意識する事無く利用できる携帯端末装置を提供する事を目的とする。 The present invention has been made in view of such circumstances, and in a mobile terminal device equipped with a camera, a videophone for taking a self-portrait for a self-portrait with a single camera and control processing means, or portrait photography use and scenery A mobile terminal device that realizes the use of a digital camera for taking images without moving parts, and can be used by a mobile terminal device user (such as a caller) without being particularly conscious of the shooting position and range due to a wide azimuth field of view. The purpose is to provide.
請求項1の携帯端末装置は、ミラー部とカメラ部で構成される光学系を搭載し、2方位以上の周辺画像(動画像及び静止画像)を撮像する撮像手段と、撮像した周辺画像より任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、作成した矩形視野画像を表示する表示手段を備えた携帯端末装置であって、携帯端末装置利用者の自画像を撮影する方位範囲と、これと対極をなす方位である風景画像を撮影する方位範囲を切り換えて、周辺画像から矩形視野画像を作成する手段を備えることを特徴とする。 The portable terminal device according to claim 1 includes an optical system including a mirror unit and a camera unit, and includes an imaging unit that captures peripheral images (moving images and still images) in two or more directions, and an arbitrary one based on the captured peripheral images. A portable terminal device comprising means for extracting and processing a rectangular field image of the azimuth and elevation angle range, and a display means for displaying the created rectangular field image, wherein the azimuth range for capturing a self-portrait of the user of the portable terminal device And a means for creating a rectangular field of view image from the surrounding image by switching the azimuth range for capturing a landscape image which is the opposite direction to the landscape image.
請求項2の携帯端末装置は、ミラー部とカメラ部で構成される光学系を搭載し、2方位以上の周辺画像(動画像及び静止画像)を撮像する撮像手段と、撮像した周辺画像より任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、作成した矩形視野画像を表示する表示手段を備えた携帯端末装置であって、周辺画像から所望する2方位範囲以上の矩形視野画像を同時に作成する手段を備えることを特徴とする。 The portable terminal device according to claim 2 includes an optical system including a mirror unit and a camera unit, and includes an imaging unit that captures peripheral images (moving images and still images) in two or more directions, and an arbitrary one based on the captured peripheral images. A portable terminal device having means for extracting and processing a rectangular visual field image in the azimuth and elevation angle range, and a display means for displaying the created rectangular visual field image, the rectangular visual field having a desired two azimuth range or more from the peripheral image Means is provided for simultaneously creating images.
請求項3の携帯端末装置は、前記周辺画像に含まれる人物像の顔の方位と位置を検出し、当該人物像の顔の方位と位置の移動を追跡する手段を備え、特定の人物の顔の方位と位置情報により、必要とする当該矩形視野画像の方位及び仰角範囲を検出、推定、制御する手段を備えることを特徴とする。 The mobile terminal device according to claim 3 includes means for detecting the orientation and position of a face of a person image included in the peripheral image, and tracking the movement of the orientation and position of the face of the person image. Means for detecting, estimating, and controlling the required azimuth and elevation range of the rectangular field image based on the azimuth and position information.
請求項4の携帯端末装置は、周辺画像に含まれる1つ以上の基準領域を抽出する基準領域抽出手段と、一定時間間隔の周辺画像間の基準領域の動きを追跡する手段を備える事により、携帯端末装置自体の姿勢及び動き情報を検出し応用利用する手段を備えることを特徴とする。 The portable terminal device according to claim 4 includes a reference region extraction unit that extracts one or more reference regions included in the peripheral image, and a unit that tracks the movement of the reference region between the peripheral images at a predetermined time interval. It is characterized by comprising means for detecting and applying the posture and motion information of the mobile terminal device itself.
請求項5の携帯端末装置は、撮像した周辺画像を蓄積する画像記憶手段と、画像記憶手段の所望の時間経過位置から読み出した周辺画像より、任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、作成した矩形視野画像を表示する表示手段を備え、周辺画像より所望する1方位範囲以上の矩形視野画像を同時に作成する手段を備えることを特徴とする。 The portable terminal device according to claim 5 extracts a rectangular field-of-view image in an arbitrary azimuth and elevation angle range from image storage means for accumulating captured peripheral images and peripheral images read from a desired time passage position of the image storage means. An image processing means and a display means for displaying the created rectangular field image are provided, and a means for simultaneously creating a rectangular field image having a desired one or more azimuth range from the peripheral image is provided.
請求項6の携帯端末装置は、撮像した周辺画像を送信する通信手段を備えることを特徴とする。 According to another aspect of the present invention, there is provided a mobile terminal device including a communication unit that transmits a captured peripheral image.
請求項1の発明によれば、ミラー部とカメラ部で構成される1系統の撮像手段で撮像される2方位以上の周辺画像(動画像及び静止画像)より、所望する方位範囲と仰角範囲の画素を切り出して画像処理する事により、自画像又はこれと対極をなす方位となる風景の矩形視野画像を切り換えて作成する事が可能となり、従来2台のカメラを必要とする構造に比べて容易で安価に実現可能となる。又、2方位以上の周辺画像による広い視野範囲により、通常の利用では被写体が視野から外れる事がなく、携帯端末装置利用者が従来の様に撮影位置を気にする必要がなくなり、携帯端末装置の操作に集中する事が可能となる。 According to the first aspect of the present invention, a desired azimuth range and elevation range can be obtained from peripheral images (moving images and still images) having two or more directions captured by a single imaging unit composed of a mirror unit and a camera unit. By cutting out the pixels and processing the image, it is possible to switch and create a self-portrait image or a rectangular field image of the landscape in the opposite direction, which is easier than a structure that conventionally requires two cameras. It can be realized at low cost. In addition, due to the wide visual field range of peripheral images of two or more directions, the subject does not deviate from the visual field in normal use, and there is no need for the mobile terminal device user to worry about the shooting position as in the conventional case. It is possible to concentrate on the operation.
請求項2の発明によれば、ミラー部とカメラ部で構成される1系統の撮像手段で撮像される2方位以上の周辺画像(動画像及び静止画像)より、所望する2つ以上の方位範囲と仰角範囲の画素を切り出して画像処理する事により、自画像及びその他の方位の風景の矩形視野画像を2つ以上同時に作成する事が可能となり、従来の複数台のカメラを必要とする構造に比べて容易で安価に実現可能となる。又、2方位以上の周辺画像による広い視野範囲により、通常の利用では被写体が視野から外れる事がなく、携帯端末装置利用者が従来の様に撮影位置を気にする必要がなくなり、携帯端末装置の操作に集中する事が可能となる。 According to the second aspect of the present invention, two or more desired azimuth ranges can be obtained from peripheral images (moving images and still images) having two or more orientations captured by a single imaging means including a mirror unit and a camera unit. By cutting out the pixels in the elevation angle range and processing the image, it becomes possible to create two or more rectangular fields of view of the self-portrait and other orientations at the same time, compared to the conventional structure that requires multiple cameras. Can be realized easily and inexpensively. In addition, due to the wide visual field range of peripheral images of two or more directions, the subject does not deviate from the visual field in normal use, and there is no need for the mobile terminal device user to worry about the shooting position as in the conventional case. It is possible to concentrate on the operation.
請求項3の発明によれば、ミラー部とカメラ部で構成される1系統の撮像手段で、2方位以上の周辺画像(動画像及び静止画像)を同時に撮像し、多方位周辺画像の広い視野範囲において顔認識処理により顔位置と方位を検出及び追跡する事により、携帯端末装置利用者は何時でも顔(人物)の位置と方位の矩形視野画像は勿論、顔(人物)の位置と方位を基準とした別方位の矩形視野画像を表示或いは通信に利用する事が可能となる。 According to the third aspect of the present invention, a single image pickup means composed of a mirror part and a camera part simultaneously picks up peripheral images (moving images and still images) in two or more directions, and provides a wide field of view of multi-directional peripheral images. By detecting and tracking the face position and orientation in the range by face recognition processing, the user of the mobile terminal device can always change the position and orientation of the face (person) as well as the rectangular field image of the position and orientation of the face (person). It is possible to use a rectangular field-of-view image with a different orientation as a reference for display or communication.
請求項4の発明によれば、ミラー部とカメラ部で構成される1系統の撮像手段で、2方位以上の周辺画像(動画像及び静止画像)を同時に撮像し、この周辺画像より多方位における動きベクタを抽出する事によって、相対的な携帯端末装置の移動量や姿勢を検出する事が可能となり、これらの情報を利用して携帯端末装置を振る事で表示画面を切り換えるなど各種アプリケーションに活用可能となる。 According to the fourth aspect of the present invention, peripheral images (moving images and still images) in two or more directions are simultaneously captured by one system of imaging means composed of a mirror unit and a camera unit, and the multi-directional directions are obtained from the peripheral images. By extracting the motion vector, it is possible to detect the relative movement and orientation of the mobile terminal device, and use this information for various applications such as switching the display screen by shaking the mobile terminal device. It becomes possible.
請求項5の発明によれば、ミラー部とカメラ部で構成される1系統の撮像手段で同時に撮像される2方位以上の周辺画像(動画像及び静止画像)を記憶部に蓄積し、蓄積されている周辺画像を記憶部における所望の位置(時間或いはフレーム数)より随時読み出して、所望の方位及び仰角範囲の矩形視野画像を作成する事が可能となり、撮影時に表示している方位範囲の矩形視野画像とは無関係に、何時でも蓄積されている時間範囲で遡って所望の方位の矩形視野画像を得る事が可能となる。 According to the invention of claim 5, peripheral images (moving images and still images) of two or more directions simultaneously captured by one system of imaging means composed of a mirror unit and a camera unit are accumulated in the storage unit and accumulated. It is possible to read out the surrounding image at any time from a desired position (time or number of frames) in the storage unit and create a rectangular field image of a desired azimuth and elevation range, and a rectangle of the azimuth range displayed at the time of shooting Regardless of the visual field image, it is possible to obtain a rectangular visual field image having a desired orientation by going back in the accumulated time range at any time.
請求項6の発明によれば、ミラー部とカメラ部で構成される1系統の撮像手段で同時に撮像される2方位以上の周辺画像(動画像及び静止画像)を、通信手段を介して他者に送信する事が可能であり、他者において受信する周辺画像より所望の方位及び仰角範囲の矩形視野画像を作成する事が可能となる。 According to the sixth aspect of the present invention, peripheral images (moving images and still images) in two or more directions that are simultaneously imaged by one system of imaging means composed of a mirror part and a camera part are transmitted to another person via communication means. It is possible to create a rectangular visual field image having a desired azimuth and elevation angle range from surrounding images received by others.
以下、本発明の実施例を、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明の第1の実施例に係る携帯端末装置の原理を説明する。図2は、本発明の第1の実施例に係る携帯端末装置のミラー部を説明する図である。図3は、本発明の第1の実施例に係る携帯端末装置の画像取得の流れを説明する図である。図4は、本発明の第1の実施例に係る携帯端末装置の表示画像の選択方法を説明する図である。 FIG. 1 illustrates the principle of a mobile terminal device according to a first embodiment of the present invention. FIG. 2 is a diagram illustrating the mirror unit of the mobile terminal device according to the first embodiment of the present invention. FIG. 3 is a diagram for explaining the flow of image acquisition of the mobile terminal device according to the first embodiment of the present invention. FIG. 4 is a diagram for explaining a display image selection method of the mobile terminal device according to the first embodiment of the present invention.
図1において、携帯端末装置1は、2方位以上の周辺画像(動画像或いは静止画像)を同時に撮像するミラー部とカメラ部で構成される撮像手段2と、撮像手段2で撮像した2方位以上の周辺画像より任意の方位及び仰角範囲の矩形視野画像を画像処理により抽出する画像処理手段と、この矩形視野画像を表示する表示部3を備え、周辺画像上から所望する2方位範囲以上の矩形視野画像を同時に作成する事ができる。図において、携帯端末装置1と携帯端末装置利用者が対面する方向を前方位、その対極する反対方向を後方位とし、この方向をX方向と定義する。又、携帯端末装置1の左右方向をY方向、上下方向をZ方向と定義する。 In FIG. 1, the mobile terminal device 1 includes an imaging unit 2 including a mirror unit and a camera unit that simultaneously capture peripheral images (moving images or still images) in two or more directions, and two or more directions captured by the imaging unit 2. Image processing means for extracting a rectangular field image in an arbitrary azimuth and elevation range from the peripheral image of the image by image processing, and a display unit 3 for displaying the rectangular field image, and a rectangle having two or more desired azimuth ranges from the peripheral image A field-of-view image can be created at the same time. In the figure, the direction in which the mobile terminal device 1 and the mobile terminal device user face each other is defined as a front direction, and the opposite direction opposite thereto is defined as a back direction, and this direction is defined as an X direction. Moreover, the left-right direction of the portable terminal device 1 is defined as the Y direction, and the up-down direction is defined as the Z direction.
撮像手段2は、ミラー部の光学的な形状により、携帯端末装置1の周りの周囲撮像領域4の内、ミラー部が光学的に対極方向の2方位(前方位5と後方位7)のみを視野とする一部方位範囲から、ミラー部が光学的に周囲撮像領域4の全体を視野とする全方位範囲までを撮影可能とする。図2において、ミラー部の光学的な形状を主な例により説明する。(a)2方位ミラー部(3角柱)は、方位Aと方位Bの2つの平面ミラーを張り合わせた2方位を視野とする光学形状である。(b)2方位ミラー部(双曲線断面)は、X軸断面において双曲線形状となるミラー面を有する方位Aと方位Bの2方位を視野とする光学形状である。(c)4方位ミラー部(4角錐)は、4角錐形状の4枚のミラー平面を有する方位Aと方位Bと方位Cと方位Dの4方位を視野とする光学形状である。(d)全方位ミラー部(双曲面)は、双曲面をなすミラー形状により全方位Eを視野とする光学形状である。 The imaging means 2 has only two azimuths (front azimuth 5 and rear azimuth 7) in which the mirror is optically opposite in the surrounding imaging area 4 around the portable terminal device 1 due to the optical shape of the mirror. It is possible to take a picture from a partial azimuth range as a visual field to an omnidirectional range where the mirror unit optically covers the entire surrounding imaging region 4 as a visual field. In FIG. 2, the optical shape of the mirror portion will be described with reference to main examples. (A) The two-azimuth mirror portion (triangular prism) is an optical shape having a field of view of two directions obtained by bonding two plane mirrors of direction A and direction B. (B) The two-azimuth mirror portion (hyperbolic cross section) is an optical shape having a field of view with two azimuths of azimuth A and azimuth B having a mirror surface having a hyperbolic shape in the X-axis cross section. (C) The four-azimuth mirror portion (four-pyramid) is an optical shape having a field of view of four directions of an orientation A, an orientation B, an orientation C, and an orientation D each having four mirror planes in a quadrangular pyramid shape. (D) The omnidirectional mirror portion (hyperboloid) is an optical shape with the omnidirectional E as the field of view by the mirror shape forming the hyperboloid.
撮像手段2は、ミラー部の光学的な形状により、少なくともテレビ電話装置用途及びポートレート撮影など自画像を撮影する場合における携帯端末装置1と携帯端末装置利用者が対面する方向6からの前方位5の視野領域と、デジタルカメラ用途など風景画像を撮影する場合における携帯端末装置1の携帯端末装置利用者方向と対極する方向8からの後方位7の視野領域を同時に同一の周辺画像として撮像する事ができる。各々の前方位5の視野領域と後方位7の視野領域を含む周辺画像は、自画像9と風景画像10の何れか1方或いは両方について矩形視野画像に画像処理して表示部3に表示される。又、画像処理において、各々の前方位5の視野領域と後方位7の視野領域を含む周辺画像より、携帯端末装置利用者の携帯端末装置1の使用状態にあわせて、自画像9或いは風景画像10の矩形視野画像を切り換え画像処理して表示部3に表示しても良い。又、撮像手段2において撮像される周辺画像は、ミラー部の光学的な形状により周囲撮像領域4の全方位の視野範囲まで撮像可能であることから、画像処理手段は撮像される周辺画像のこの許容する方位範囲において何時でも同時に所望する2方位範囲以上の矩形視野画像を作成する事ができる。表示部3への矩形視野画像表示は、単画面から方位数分の画面(多画面)で、その他縦向き横向き何れでも画像処理可能とする。尚、テレビ電話装置用途に限った場合、自画像9の矩形視野画像表示は通信相手側の携帯端末装置1の表示部3となる。 The image pickup means 2 has a front direction 5 from the direction 6 where the mobile terminal device 1 and the mobile terminal device user face each other at least in the case of shooting a self-portrait such as videophone device use and portrait shooting due to the optical shape of the mirror part. When viewing landscape images such as digital camera applications, the visual field in the rear direction 7 from the direction 8 opposite to the mobile terminal device user direction of the mobile terminal device 1 is simultaneously captured as the same peripheral image. Can do. Each of the peripheral images including the front-view 5 view area and the rear-view 7 view area is displayed on the display unit 3 by subjecting one or both of the self-image 9 and the landscape image 10 to a rectangular view image. . In the image processing, the self-portrait 9 or the landscape image 10 is selected according to the usage state of the mobile terminal device 1 of the mobile terminal device user based on the peripheral images including the front-view 5 viewing area and the rear-view 7 viewing area. These rectangular visual field images may be switched and processed and displayed on the display unit 3. Further, since the peripheral image captured by the imaging unit 2 can be captured up to the omnidirectional visual field range of the peripheral imaging region 4 by the optical shape of the mirror portion, the image processing unit can detect the peripheral image to be captured. A rectangular field-of-view image having two or more desired azimuth ranges can be created at any time within the allowable azimuth range. The rectangular field-of-view image display on the display unit 3 is a screen (multi-screen) for a number of azimuths from a single screen, and other vertical and horizontal image processing is possible. In addition, when it is limited to the video phone device application, the rectangular field-of-view image display of the self-portrait 9 is the display unit 3 of the mobile terminal device 1 on the communication partner side.
携帯端末装置1は、テレビ電話装置用途など自画像とデジタルカメラ用途など風景画像を常に一体として1台の撮像手段2で得ることが可能で、しかも視野範囲として全方位を含むことから、携帯端末装置利用者は携帯端末装置1のカメラアングルを気にせず通信や入力操作に集中する事ができる。 The mobile terminal device 1 can always obtain a self-portrait such as a videophone device and a landscape image such as a digital camera as a single image pickup means 2 and includes an omnidirectional view field range. The user can concentrate on communication and input operations without worrying about the camera angle of the mobile terminal device 1.
図3は、本発明の第1の実施例に係る携帯端末装置の画像取得の流れを説明する図である。(a)は、対極方向の2方位(前方位5と後方位7)のみを視野範囲とする周辺画像(動画像或いは静止画像)から矩形視野画像を得るまでの流れを説明する図である。(b)は、全方位を視野範囲とする周囲撮像領域4に当たる周辺画像(動画像或いは静止画像)から矩形視野画像を得るまでの流れを説明する図である。 FIG. 3 is a diagram for explaining the flow of image acquisition of the mobile terminal device according to the first embodiment of the present invention. (A) is a figure explaining the flow until it obtains a rectangular visual field image from the peripheral image (moving image or still image) which makes only two azimuth | directions (front azimuth | direction 5 and back azimuth | direction 7) a visual field range. (B) is a figure explaining the flow until it obtains a rectangular visual field image from the peripheral image (a moving image or a still image) which hits the peripheral imaging area 4 which has a visual field range as all directions.
(a)において、撮像手段2は、ミラー部11a(XZ面図及びXY面図)で構成されている対極する方位を撮像するカメラであり、例えば双曲線カーブを有するミラーレンズを下方より撮像する事で一定の仰角範囲と対極する方位方向11bと11cの視野範囲の画像を同時に撮影する事ができる。尚、撮像手段2におけるミラー部11aは、2方位を撮像可能とする2面のミラー構成であっても良く、対極する方位の周辺画像が得られる構造であれば良い。又、撮像手段2におけるミラー部11aは、3方位を視野とする三角錐構造など、4方位を視野範囲とする四角錐構造などから全方位を視野範囲とする双曲面構造などまで、用途に合わせて選択可能とする。 In (a), the image pickup means 2 is a camera that picks up the opposite azimuth constituted by the mirror section 11a (XZ plane view and XY plane view), and for example, picks up a mirror lens having a hyperbolic curve from below. Thus, it is possible to simultaneously capture images in the visual field ranges of the azimuth directions 11b and 11c opposite to a certain elevation angle range. The mirror unit 11a in the imaging unit 2 may have a two-sided mirror configuration that enables imaging in two directions, and may have any structure as long as a peripheral image with opposite directions can be obtained. In addition, the mirror unit 11a in the image pickup means 2 can be adapted to applications such as a triangular pyramid structure with a field of view in three directions, a quadrangular pyramid structure with a field of view in four directions, and a hyperboloid structure with a field of view in all directions. Selectable.
撮像手段2で、撮像面に撮像される対極方位視野の周辺画像12a、13aにおいて、前方位5視野の撮影領域及び後方位7視野の内の被写体の写っている矩形視野画像14b、15bは、各々14a及び15aで示される領域から画像処理により変換される。又、画像処理により一括して対極方位視野の周辺画像12a、13aを矩形視野画像12b、13bに変換し、被写体の写っている領域である自画像14b及び風景画像15bを抽出し、表示用画像9及び10を得てもよい。尚、12b、13b以外の領域である斜線領域16は、ミラー部11aで構成されている撮像手段2において視野外の方位となり周辺画像が存在しないことを示す。 In the peripheral image 12a, 13a of the opposite azimuth field imaged on the imaging surface by the imaging unit 2, the rectangular field images 14b, 15b in which the imaging area of the five front azimuth fields and the subject in the seven azimuth fields are shown are Each of the regions indicated by 14a and 15a is converted by image processing. In addition, the peripheral images 12a and 13a having the opposite azimuth field are converted into rectangular field images 12b and 13b by image processing, and the self-portrait 14b and the landscape image 15b, which are areas in which the subject is captured, are extracted. And 10 may be obtained. A hatched area 16 that is an area other than 12b and 13b is an orientation outside the field of view in the image pickup means 2 constituted by the mirror portion 11a, and indicates that no peripheral image exists.
(b)において、撮像手段2は、光学機構部17a(XZ面図及びXY面図)で構成されており、全方位を視野範囲とする周囲撮像領域4を撮像するカメラであり、例えば双曲面ミラーレンズを下方より撮像する事で一定の仰角範囲と全方位方向17bの視野範囲の周辺画像を得る事ができる。尚、撮像手段2におけるミラー部17aは、全方位を視野範囲とする周囲撮像領域4を撮像可能とする円錐構造のミラーであっても良く、周囲撮像領域4全体を視野とする周辺画像が得られる構造であれば良い。 In (b), the imaging means 2 is composed of an optical mechanism portion 17a (XZ plane view and XY plane view), and is a camera that images the surrounding imaging area 4 with the omnidirectional field of view as the visual field range. By imaging the mirror lens from below, it is possible to obtain a peripheral image in a certain elevation angle range and a visual field range in all directions 17b. The mirror unit 17a in the imaging unit 2 may be a conical mirror that can capture the surrounding imaging region 4 having a field of view in all directions, and a peripheral image having the entire surrounding imaging region 4 as a field of view can be obtained. Any structure can be used.
撮像手段2で、撮像面に撮像される円形領域形状の全方位周辺画像18aにおいて、前方位5撮影領域及び後方位7撮影領域は、各々19a及び20aで示される扇形形状領域として撮像される。次に、画像処理により、一括して全方位周辺画像18aからパノラマ画像18b(全方位矩形視野画像)に変換し、パノラマ画像18bより目的とする矩形視野画像の自画像19b及び風景画像20bを抽出し、表示用画像9及び10を作成する事が可能である。又、画像処理量による負荷を軽減する為に、前方位5撮影領域の扇形画像19aより指定方位範囲の矩形視野画像19b、後方位7撮影領域の扇形画像20aを指定方位範囲の矩形視野画像20bに個別に画像処理し表示用画像9及び10を得ても良い。 In the omnidirectional peripheral image 18a of the circular area shape imaged on the imaging surface by the imaging means 2, the front azimuth 5 shooting area and the rear azimuth 7 shooting area are imaged as fan-shaped areas indicated by 19a and 20a, respectively. Next, the image processing collectively converts the omnidirectional peripheral image 18a to the panoramic image 18b (omnidirectional rectangular field image), and extracts the target image 19b and the landscape image 20b of the target rectangular field image from the panoramic image 18b. The display images 9 and 10 can be created. Further, in order to reduce the load due to the amount of image processing, the rectangular field image 19b in the designated azimuth range from the fan-shaped image 19a in the five front azimuth areas and the sector image 20a in the rear azimuth seven photographing area are converted into the rectangular field image 20b in the designated azimuth range. Alternatively, the images 9 and 10 for display may be obtained by image processing individually.
図4は、本発明の第1の実施例に係る携帯端末装置の表示画像の選択方法を説明する図である。携帯端末装置1は、最初にステップS50で対極方向の2方位(前方位5と後方位7)のみを視野範囲とする周辺画像(対極方位周辺画像)から、全方位を視野範囲とする周囲撮像領域4に当たる周辺画像(全方位周辺画像)の内、何れかの周辺画像の入力を開始する。次に、これら周辺画像(対極方位周辺画像から全方位周辺画像の何れか)から所望する矩形視野画像を画像処理により取得する為に、ステップS51の方位範囲及び仰角範囲を決定する。テレビ電話装置用途など自画像を撮影する場合には、方位範囲及び仰角範囲は前方位5撮影領域内の指定方位範囲となるように設定されステップS53に移行する。デジタルカメラ用途など風景画像を撮影する場合には、方位範囲及び仰角範囲は後方位7撮影領域内の指定方位範囲となるように設定されステップS52に移行する。携帯端末装置利用者が携帯端末装置の操作入力機能を使って、周囲撮像領域4の可能な方位範囲において任意に方位範囲及び仰角範囲を指定し、任意方位画像を表示するように選択する場合には、ステップS54に移行する。尚、ステップS54は、3方位以上の矩形視野画像を必要とする場合に用い、複数方位範囲を指定する事により、各々の方位範囲の矩形視野画像が表示する際に切れ間なく繋がるように処理する事も可能である。又、携帯端末装置利用者は、携帯端末装置の操作入力機能を使って、撮像手段2で撮像される対極方位周辺画像12aと13a或いは全方位周辺画像18aを表示するように選択する事が可能であり、この場合はステップS55に移行する。ステップS52及びS53、S54の場合には、ステップS56において各々の周囲画像を所望する方位範囲及び仰角範囲により画像処理し矩形視野画像に変換が行われる。ステップS55の場合には、ステップS57において対極方位周辺画像12aと13a或いは全方位周辺画像18aは、画像処理により矩形視野画像に縮小されるか、注目領域を切り出す事により矩形視野画像に変換される。又、ステップS57は、対極方位周辺画像12aと13a或いは全方位周辺画像18aを分割表示、或いはスクロール表示するように処理する事も可能である。最後に、各々の矩形視野画像はステップS58において表示部3に表示される。 FIG. 4 is a diagram for explaining a display image selection method of the mobile terminal device according to the first embodiment of the present invention. First, in step S50, the mobile terminal device 1 captures a surrounding image with a omnidirectional field of view from a peripheral image (a counter azimuth peripheral image) having only two azimuth directions (front azimuth 5 and rear azimuth 7) as a visual field range. Input of any one of the peripheral images corresponding to the region 4 (omnidirectional peripheral images) is started. Next, in order to obtain a desired rectangular field-of-view image from these peripheral images (any one of the counter-azimuth peripheral image and the omnidirectional peripheral image) by image processing, the azimuth range and elevation angle range in step S51 are determined. When photographing a self-portrait such as a videophone device application, the azimuth range and the elevation angle range are set to be the designated azimuth range in the front azimuth 5 photographing region, and the process proceeds to step S53. When taking a landscape image such as for a digital camera, the azimuth range and the elevation angle range are set to be the designated azimuth range in the rear azimuth 7 shooting area, and the process proceeds to step S52. When the mobile terminal device user uses the operation input function of the mobile terminal device to arbitrarily specify the azimuth range and the elevation angle range in the possible azimuth range of the surrounding imaging region 4 and select to display an arbitrary azimuth image Proceeds to step S54. Note that step S54 is used when a rectangular field image of three or more directions is required, and by specifying a plurality of azimuth ranges, processing is performed so that the rectangular field images of each azimuth range are connected seamlessly. Things are also possible. Further, the user of the mobile terminal device can select to display the counter-polar azimuth peripheral images 12a and 13a or the omnidirectional peripheral image 18a captured by the imaging means 2 using the operation input function of the mobile terminal device. In this case, the process proceeds to step S55. In the case of steps S52, S53, and S54, in step S56, each surrounding image is subjected to image processing with a desired azimuth range and elevation angle range, and converted into a rectangular field image. In step S55, in step S57, the counter-azimuth peripheral images 12a and 13a or the omnidirectional peripheral image 18a are reduced to a rectangular visual field image by image processing or converted into a rectangular visual field image by cutting out a region of interest. . Further, step S57 can be processed so that the counter-azimuth peripheral images 12a and 13a or the omnidirectional peripheral image 18a are displayed in a split or scroll display. Finally, each rectangular field image is displayed on the display unit 3 in step S58.
図5は、本発明の第2の実施例に係る携帯端末装置の顔認識による表示位置調整を説明する図である。 FIG. 5 is a diagram for explaining the display position adjustment by face recognition of the mobile terminal device according to the second embodiment of the present invention.
図5において(a)は、対極する2方位から全方位までの視野範囲の周辺画像における顔認識を説明する図である。(b)は、対極する2方位から全方位までの視野範囲の周辺画像を矩形視野画像に画像処理したパノラマ画像における顔認識を説明する図である。従来テレビ電話装置用途など自画像を撮影する場合には、携帯端末装置利用者は自身の顔がカメラアングルの中に納まるように常に注意を払う必要があった。本発明の携帯端末装置では、常に広い視野範囲で周辺画像を撮像することが可能であり、携帯端末装置利用者の手ぶれなどで動く範囲を十分にカバーする事ができる。その上で、テレビ電話装置用途など自画像を撮影する場合には、広い視野範囲を有する周辺画像の中より携帯端末装置利用者の顔位置及び方位を検出し、その顔位置及び方位を基準に画像処理する方位範囲及び仰角範囲を調整する事により、常に携帯端末装置利用者が矩形視野画像内に配置されるように制御する事が可能となる。又、周辺画像における顔認識は、携帯端末装置利用者が風景画像を撮影する場合であっても、風景画像中に撮影対象となる人物が存在する場合には同様の効果を実現可能となる。 FIG. 5A is a diagram for explaining face recognition in a peripheral image in a visual field range from two opposite directions to all directions. (B) is a figure explaining the face recognition in the panoramic image which image-processed the peripheral image of the visual field range from two opposite directions to all directions into a rectangular visual field image. Conventionally, when taking a self-portrait such as for a videophone device, the user of the mobile terminal device has always had to pay attention so that his / her face falls within the camera angle. In the mobile terminal device of the present invention, it is possible to always capture a peripheral image in a wide visual field range, and it is possible to sufficiently cover a range where the mobile terminal device moves due to camera shake or the like. In addition, when taking a self-portrait such as for a videophone device, the face position and orientation of the user of the mobile terminal device are detected from peripheral images having a wide field of view, and the image is based on the face position and orientation. By adjusting the azimuth range and the elevation angle range to be processed, it is possible to perform control so that the user of the mobile terminal device is always arranged in the rectangular visual field image. Further, the face recognition in the peripheral image can realize the same effect even when the user of the mobile terminal device shoots a landscape image when a person to be imaged exists in the landscape image.
又、携帯端末装置利用者の自画像或いは風景画像中の人物像(顔画像)を矩形視野画像内の中央に配置されるように制御するに当たって、矩形視野画像の上下方向垂線に対して、顔画像に傾き成分がある場合、この傾き成分を無くす方向に補正して表示する事ができる。 Further, when controlling the self-portrait of the user of the mobile terminal device or the person image (face image) in the landscape image to be arranged at the center of the rectangular field image, the face image is perpendicular to the vertical line of the rectangular field image. If there is a tilt component, the correction can be made in a direction in which the tilt component is eliminated.
又、周辺画像中より携帯端末装置利用者の顔位置及び方位を検出し、その顔位置及び方位を基準に、顔位置及び方位と対極する方位範囲及び仰角範囲の風景画像に当たる矩形視野画像を画像処理により作成する事が可能である。これにより、携帯端末装置利用者は、携帯端末装置に対する自身の顔位置及び方位を変える事により、あたかも自身が携帯端末装置越しに見ている風景画像の位置及び方位を指定するように調整した矩形視野画像を得る事が可能となる。尚、携帯端末装置利用者は、矩形視野画像の取得に当たって、顔位置及び方位を基準とした対極する方位のみでなく、これと相対角度分異なる位置及び方位を任意に設定可能とする。又、顔認識において携帯端末装置利用者の視線位置及び方位まで検出する事で、自身の視線で示す位置及び方位の矩形視野画像を得る事が可能となる。 In addition, it detects the face position and orientation of the user of the mobile terminal device from the surrounding images, and uses the face position and orientation as a reference to display a rectangular field image corresponding to a landscape image in the azimuth range and elevation range opposite to the face position and orientation. It can be created by processing. Thereby, the mobile terminal device user changes the face position and orientation of the mobile terminal device so that the user can specify the position and orientation of the landscape image that he / she sees over the mobile terminal device. A field-of-view image can be obtained. Note that the user of the mobile terminal device can arbitrarily set not only the opposite azimuth based on the face position and azimuth, but also the position and azimuth that differ from each other by the relative angle when acquiring the rectangular field-of-view image. Further, by detecting up to the line-of-sight position and orientation of the user of the mobile terminal device in face recognition, it is possible to obtain a rectangular field-of-view image having the position and direction indicated by the line of sight of the user.
本発明の顔認識処理は、撮像手段2のミラー部の光学的な形状により、携帯端末装置1の周りの周囲撮像領域4の内、ミラー部が光学的に対極方向の2方位(前方位5と後方位7)のみを視野とする一部方位範囲の周辺画像から、ミラー部が光学的に周囲撮像領域4の全体を視野とする全方位範囲の周辺画像までを処理対象とする。(a)の例において、周辺画像12aは、撮像手段2により全方位の視野範囲で撮像面に撮像される周辺画像(全方位周辺画像)である。ここで21a、22aは、全方位周辺画像12aに撮影された携帯端末装置利用者の自画像を示し、経時的に21aから22aに移動したことを表すものとする。ここで枠21b、22bは、それぞれの自画像において顔位置が認識された位置を示し、移動量は極座標系で示される偏角成分23aと動径上の位置の変化分23bである事が解る。移動量23aは携帯端末装置利用者の動いた方位角成分であり、移動量23bは携帯端末装置利用者の動いた仰角成分であり、この顔位置を基準に画像処理する方位範囲及び仰角範囲を調整する事により、常に携帯端末装置利用者が矩形視野画像内に配置されるように制御する事が可能となる。又、対極する2方位の視野範囲の周辺画像など、全方位視野の周辺画像が撮像されない場合であっても、その許容する視野方位範囲において同様に実現される。 The face recognition processing of the present invention is based on the optical shape of the mirror part of the image pickup means 2, and the mirror part of the surrounding imaging region 4 around the mobile terminal device 1 is optically opposite to the two opposite directions (front azimuth 5 And a peripheral image of a partial azimuth range with only the rear azimuth 7) as a field of view, and a peripheral image of an omnidirectional range with the mirror portion optically viewing the entire surrounding imaging region 4 as a field of view. In the example of (a), the peripheral image 12a is a peripheral image (omnidirectional peripheral image) captured by the imaging unit 2 on the imaging surface in the omnidirectional visual field range. Here, 21a and 22a are self-portraits of the mobile terminal device user taken in the omnidirectional peripheral image 12a, and indicate that the mobile terminal device has moved from 21a to 22a over time. Here, the frames 21b and 22b indicate the positions where the face positions are recognized in the respective self-portraits, and it is understood that the movement amount is the declination component 23a indicated by the polar coordinate system and the change 23b in the radial position. The movement amount 23a is an azimuth angle component moved by the user of the mobile terminal device, and the movement amount 23b is an elevation angle component moved by the user of the mobile terminal device, and the azimuth range and the elevation angle range for image processing based on the face position are determined. By adjusting, it is possible to control so that the user of the mobile terminal device is always arranged in the rectangular field image. In addition, even when a peripheral image of an omnidirectional visual field, such as a peripheral image of a two-directional visual field range, is not captured, the same is realized in the permissible visual field azimuth range.
又、(a)の例において、周辺画像中より携帯端末装置利用者の顔位置及び方位を検出し、その顔位置及び方位を基準に、顔位置及び方位と対極する方位範囲及び仰角範囲の風景画像に当たる矩形視野画像を画像処理により作成する場合、顔位置及び方位の変化と共に風景画像の方位は23cの様に遷移する事となる。尚、(b)においても横軸が方位角成分に当たる事より同様に処理する事が可能である。 In the example of (a), the face position and orientation of the user of the mobile terminal device are detected from the surrounding images, and the landscape of the azimuth range and the elevation angle range opposite to the face position and azimuth based on the face position and orientation. When a rectangular field image corresponding to an image is created by image processing, the orientation of the landscape image changes as shown in 23c along with the change of the face position and orientation. In (b), the same processing can be performed because the horizontal axis corresponds to the azimuth angle component.
(b)において、全方位の視野範囲における周辺画像を矩形視野画像に変換したパノラマ画像(全方位矩形視野画像)12bは、全方位周辺画像12aより画像処理により作成された画像である。24a、25aは、全方位矩形視野画像12bに撮影された携帯端末装置利用者の自画像を示し、経時的に24aから25aに移動したことを表すものとする。ここで枠24b、25bは、それぞれの自画像において顔位置が認識された位置を示し、移動量は水平軸成分26aと垂直軸成分26bである事が解る。移動量26aは携帯端末装置利用者の動いた方位移動成分であり、移動量23bは携帯端末装置利用者の動いた奥行き方向の移動成分である。この顔位置を基準に抽出する画像の水平軸位置(方位位置)及び垂直軸位置(奥行き位置)を調整する事により、常に携帯端末装置利用者が表示する矩形視野画像内に配置されるように制御する事が可能となる。尚、最初に、見込み領域から全体領域までの範囲で、全方位周辺画像12aの全方位矩形視野画像12bへの画像処理を必要とし、(a)に比べてオーバーヘッドはあるが、直交座標系での処理が可能となる利点もある。 In (b), a panoramic image (omnidirectional rectangular field image) 12b obtained by converting a peripheral image in the omnidirectional visual field range into a rectangular field image is an image created by image processing from the omnidirectional peripheral image 12a. Reference numerals 24a and 25a denote self-portraits of the user of the mobile terminal device captured in the omnidirectional rectangular visual field image 12b, and indicate that the user has moved from 24a to 25a over time. Here, the frames 24b and 25b indicate positions where the face positions are recognized in the respective self-portraits, and it is understood that the movement amounts are the horizontal axis component 26a and the vertical axis component 26b. The movement amount 26a is an azimuth movement component moved by the mobile terminal device user, and the movement amount 23b is a movement component in the depth direction moved by the mobile terminal device user. By adjusting the horizontal axis position (azimuth position) and vertical axis position (depth position) of the image extracted based on this face position, the image is always arranged in the rectangular field image displayed by the mobile terminal device user. It becomes possible to control. First, image processing from the omnidirectional peripheral image 12a to the omnidirectional rectangular field image 12b is required in the range from the prospective region to the entire region, and there is an overhead compared to (a), but in the orthogonal coordinate system. There is also an advantage that the processing can be performed.
図6は、本発明の第3の実施例に係る携帯端末装置における記憶画像表示の流れを説明する図である。 FIG. 6 is a diagram for explaining the flow of stored image display in the portable terminal device according to the third embodiment of the present invention.
本発明の携帯端末装置において、対極方向の2方位(前方位5と後方位7)のみを視野範囲とする周辺画像(対極方位周辺画像)から、全方位を視野範囲とする周囲撮像領域4に当たる周辺画像(全方位周辺画像)の範囲の撮像手段2におけるミラー部の光学的な形状により確定する周辺画像を蓄積する記憶部を備え、記憶部の所望の位置から読み出した周辺画像より、何時でも、携帯端末装置利用者の自画像を撮影する方位範囲と、風景画像を撮影する方位範囲を切り換えて、同一の周辺画像上から所望する矩形視野画像を画像処理し表示部に表示する事が可能となる。尚、記憶部に蓄積する画像形式については、無圧縮形式(YUV形式、RGB形式など)ならびに圧縮形式(MPEG2方式、H.264方式、JPEG方式など)の何れでも良い。 In the portable terminal device according to the present invention, the peripheral image area 4 having the omnidirectional field of view as the visual field range corresponds to the peripheral image area 4 having the omnidirectional field of view as the visual field range. A storage unit for storing a peripheral image determined by the optical shape of the mirror unit in the imaging means 2 in the range of the peripheral image (omnidirectional peripheral image) is provided, and anytime from the peripheral image read from a desired position of the storage unit It is possible to switch between the azimuth range for photographing a self-portrait of a mobile terminal device user and the azimuth range for photographing a landscape image, and to perform a desired rectangular field-of-view image on the same peripheral image and display it on the display unit. Become. The image format stored in the storage unit may be any of a non-compressed format (YUV format, RGB format, etc.) and a compressed format (MPEG2 format, H.264 format, JPEG format, etc.).
携帯端末装置利用者は、予め携帯端末装置を操作して撮像手段2で撮像した周辺画像を記憶手段に蓄積するか否か設定する事が可能である。携帯端末装置利用者は、記憶手段に蓄積された画像(動画像及び静止画像)がある場合、表示部3に表示する画像を時系列的に過去に遡って表示する事ができる。ステップS60では、携帯端末装置利用者が現時点の最新の画像を表示するか過去に遡って表示するか選択する。最新の画像を表示する場合、ステップS63において記憶手段における最新画像位置を取得し読み出して表示する。過去に遡って表示する場合、ステップS61において開始する時間位置を指定ステップS62するか、時系列的に次の画像を表示するステップS65か選択する。ステップS62では、携帯端末装置利用者が操作入力手段(操作キー、タッチパネルなど)を使って、記憶手段の蓄積容量に依存する最新画像から最古画像の範囲で画像位置を指定できる。次に、ステップS64では、携帯端末装置利用者が指定した時間位置の画像読み出し位置を設定する。次に、ステップS66で指定位置から周辺画像(対極方位周辺画像から全方位周辺画像の何れかの周辺画像)を記憶手段から読み出し、ステップS67、ステップS68により、携帯端末装置利用者の自画像を撮影する方位及び仰角範囲と、風景画像を撮影する方位及び仰角範囲を切り換えて、読み出した周辺画像上から所望する矩形視野画像を画像処理により作成し表示部に表示ステップS69する事が可能である。又、携帯端末装置利用者は、所望する2方位以上の方位及び仰角範囲の矩形視野画像を同時に画像処理により作成しても良い。 The user of the mobile terminal device can set whether to store the peripheral image captured by the imaging unit 2 in the storage unit by operating the mobile terminal device in advance. When there are images (moving images and still images) stored in the storage means, the mobile terminal device user can display the images to be displayed on the display unit 3 retrospectively in time series. In step S60, the user of the mobile terminal device selects whether to display the latest image at the present time or to display it retroactively. When displaying the latest image, the latest image position in the storage means is acquired, read and displayed in step S63. When displaying retroactively in the past, the time position starting in step S61 is designated in step S62, or step S65 in which the next image is displayed in time series is selected. In step S62, the user of the mobile terminal device can use the operation input means (operation keys, touch panel, etc.) to specify the image position within the range from the latest image to the oldest image depending on the storage capacity of the storage means. Next, in step S64, the image reading position at the time position specified by the mobile terminal device user is set. Next, in step S66, a peripheral image (peripheral azimuth peripheral image to any omnidirectional peripheral image) is read from the storage means from the designated position, and the portable terminal device user's own image is photographed in steps S67 and S68. By switching between the azimuth and elevation angle range to be taken and the azimuth and elevation angle range for taking a landscape image, a desired rectangular field-of-view image can be created by image processing from the read peripheral image, and the display step S69 can be performed. In addition, the user of the mobile terminal device may simultaneously create a rectangular visual field image having two or more desired azimuth and elevation angle ranges by image processing.
図7は、本発明の第4の実施例に係る携帯端末装置の姿勢情報を説明する図である。図8は、本発明の第4の実施例に係る携帯端末装置の基準領域を説明する図である。図9は、本発明の第4の実施例に係る携帯端末装置の姿勢検出を説明する図である。 FIG. 7 is a diagram illustrating the posture information of the mobile terminal device according to the fourth embodiment of the present invention. FIG. 8 is a diagram for explaining the reference area of the mobile terminal device according to the fourth embodiment of the present invention. FIG. 9 is a diagram for explaining posture detection of the mobile terminal device according to the fourth embodiment of the present invention.
図7において、本発明の携帯端末装置は、対極方向の2方位(前方位5と後方位7)のみを視野範囲とする周辺画像(対極方位周辺画像)から、全方位を視野範囲とする周囲撮像領域4に当たる周辺画像(全方位周辺画像)の範囲の撮像手段2におけるミラー部の光学的な形状により確定する周辺画像より、携帯端末装置自体の図中XYZ軸で示す直交座標における平行移動成分とそのZ軸を中心とする回転成分とそのX及びY軸を含む平面の傾き成分を検出する事が可能である。 In FIG. 7, the mobile terminal device according to the present invention has a peripheral area in which all directions are from a peripheral image (opposite direction peripheral images) having only two opposite directions (front direction 5 and rear direction 7) as a visual field range. From the peripheral image determined by the optical shape of the mirror portion in the imaging means 2 in the range of the peripheral image (omnidirectional peripheral image) corresponding to the imaging region 4, the parallel movement component in the orthogonal coordinates indicated by the XYZ axes in the drawing of the mobile terminal device itself It is possible to detect the rotation component around the Z axis and the tilt component of the plane including the X and Y axes.
図8において、(a)は、撮像手段2により全方位の視野範囲で撮像面に撮像される周辺画像40(全方位周辺画像)において、携帯端末装置自体の姿勢情報を検出する為の基準領域を示す図である。(b)は、周辺画像40(全方位周辺画像)を画像処理により矩形視野画像41(全方位矩形視野画像)に変換した画像において、(a)と対応する移動及び姿勢情報を検出する為の基準領域の位置及び形状を示す図である。(a)及び(b)における各基準領域は、形状は異なるが同一の方位角範囲並びに仰角範囲をカバーする領域に相当する。従って、移動及び姿勢検出における基準領域は、(a)の全方位の周辺画像40と(b)の全方位の矩形視野画像41の何れの形態を利用しても良い。基準領域42a〜49aは、全方位の周辺画像40において極座標系の特定の動径範囲と偏角範囲に割り当てられ、これら1つ以上の基準領域により概ね全ての方位の移動及び姿勢成分を検出可能とする様に確保される。同様に、全方位の矩形視野画像41における基準領域42b〜49bは、42a〜49aと対応する同じ方位の移動及び姿勢成分を検出できる。尚、これらの移動及び姿勢成分は、全方位周辺画像40或いは全方位矩形視野画像41において、一定時間間隔の時系列画像間で各領域における動きベクトルを抽出する事により検出可能である。又、顔認識により人物像が存在する事が特定されている領域などについては、予め基準領域から除外するなど携帯端末装置自体の移動及び姿勢と異なる挙動が認められる領域を判断の対象としないようにする事も可能である。 In FIG. 8, (a) is a reference region for detecting posture information of the mobile terminal device itself in a peripheral image 40 (omnidirectional peripheral image) captured on the imaging surface by the imaging means 2 in the omnidirectional visual field range. FIG. (B) is for detecting movement and posture information corresponding to (a) in an image obtained by converting the peripheral image 40 (omnidirectional peripheral image) into a rectangular visual field image 41 (omnidirectional rectangular visual field image) by image processing. It is a figure which shows the position and shape of a reference | standard area | region. Each of the reference regions in (a) and (b) corresponds to a region that covers the same azimuth angle range and elevation angle range, although the shapes are different. Therefore, any form of the omnidirectional peripheral image 40 (a) and the omnidirectional rectangular field image 41 (b) may be used as the reference area in the movement and posture detection. The reference areas 42a to 49a are assigned to specific radial ranges and declination ranges of the polar coordinate system in the omnidirectional peripheral image 40, and almost all azimuth movement and posture components can be detected by one or more of these reference areas. To be secured. Similarly, the reference regions 42b to 49b in the omnidirectional rectangular field image 41 can detect movement and posture components in the same direction corresponding to 42a to 49a. These movement and posture components can be detected by extracting motion vectors in each region between time-series images at fixed time intervals in the omnidirectional peripheral image 40 or the omnidirectional rectangular visual field image 41. In addition, areas that have been identified by human face recognition by face recognition should be excluded from areas that have behaviors different from the movement and posture of the mobile terminal device, such as excluding them from the reference area in advance. It is also possible to make it.
図9において、(a)は、撮像手段2(ミラー部)の姿勢について説明する図である。(b)は、検出する携帯端末装置の移動及び姿勢情報を説明する図である。(a)の図は、撮像手段2を構成するミラー部70の3次元空間(XYZ軸)におけるZ軸を中心とする回転成分71とX軸上の平行移動成分72とXY軸平面の傾き成分73を表している。(b)の全方位周辺画像71aに記載される矢印は、ミラー部70がZ軸を中心とする回転成分71を有する場合の基準領域42a、44a、46a、48aにおいて検出される移動及び姿勢成分ベクトルである。全方位矩形視野画像71bに記載される矢印は、ミラー部70がZ軸を中心とする回転成分71を有する場合の基準領域42b、44b、46b、48bにおいて検出される移動及び姿勢成分ベクトルである。全方位周辺画像72aに記載される矢印は、ミラー部70がX軸上の平行移動成分72を有する場合の基準領域42a、44a、46a、48aにおいて検出される移動及び姿勢成分である。全方位矩形視野画像72bに記載される矢印は、ミラー部70がX軸上の平行移動成分72を有する場合の基準領域42b、44b、46b、48bにおいて検出される移動及び姿勢成分である。全方位周辺画像73aに記載される矢印は、ミラー部70がXY軸平面の傾き成分73を有する場合の基準領域42a、44a、46a、48aにおいて検出される移動及び姿勢成分である。全方位矩形視野画像73bに記載される矢印は、ミラー部70がXY軸平面の傾き成分73を有する場合の基準領域42b、44b、46b、48bにおいて検出される移動及び姿勢成分である。ミラー部70における携帯端末装置自体のXYZ軸の移動及び姿勢情報は、これらの基準領域における象徴的な移動及び姿勢成分ベクトルの例に示すように、各々の方位におけるベクトル成分を統合的に分析する事により容易に推定する事が可能である。 In FIG. 9, (a) is a figure explaining the attitude | position of the imaging means 2 (mirror part). (B) is a figure explaining the movement and attitude | position information of a portable terminal device to detect. The figure of (a) is the rotation component 71 centering on the Z-axis in the three-dimensional space (XYZ axis) of the mirror part 70 which comprises the imaging means 2, the parallel movement component 72 on the X-axis, and the inclination component of an XY-axis plane. 73. Arrows described in the omnidirectional peripheral image 71a in (b) indicate movement and posture components detected in the reference regions 42a, 44a, 46a, and 48a when the mirror unit 70 has a rotation component 71 centered on the Z axis. Is a vector. The arrows described in the omnidirectional rectangular field image 71b are the movement and orientation component vectors detected in the reference regions 42b, 44b, 46b, and 48b when the mirror unit 70 has the rotation component 71 centered on the Z axis. . The arrows described in the omnidirectional peripheral image 72a are movement and posture components detected in the reference regions 42a, 44a, 46a, and 48a when the mirror unit 70 has the parallel movement component 72 on the X axis. The arrows described in the omnidirectional rectangular field image 72b are movement and posture components detected in the reference regions 42b, 44b, 46b, and 48b when the mirror unit 70 has the parallel movement component 72 on the X axis. The arrows described in the omnidirectional peripheral image 73a are movement and posture components detected in the reference areas 42a, 44a, 46a, and 48a when the mirror unit 70 has the XY axis plane tilt component 73. The arrows described in the omnidirectional rectangular field image 73b are the movement and posture components detected in the reference regions 42b, 44b, 46b, and 48b when the mirror unit 70 has the tilt component 73 of the XY axis plane. The XYZ axis movement and orientation information of the mobile terminal device itself in the mirror unit 70 is an integrated analysis of vector components in each direction as shown in the symbolic movement and orientation component vectors in these reference areas. Can be easily estimated.
全方位周辺画像或いは全方位矩形視野画像において検出されるこれらの移動及び姿勢成分により、携帯端末装置自体の移動情報及び姿勢情報を推定し、移動及び姿勢情報を利用して携帯端末装置を振る事で表示画面を切り換えるなど各種アプリケーションに活用可能となる。又、抽出する携帯端末装置自体の移動情報を計測する時系列画像間隔(時間)で除算する事により相対的な速度、及びその微分としての加速度を導出する事が可能である。 The movement information and posture information of the mobile terminal device itself are estimated from these movement and posture components detected in the omnidirectional peripheral image or the omnidirectional rectangular visual field image, and the mobile terminal device is shaken using the movement and posture information. Can be used for various applications such as switching the display screen. Further, by dividing the movement information of the mobile terminal device itself to be extracted by the time series image interval (time) for measuring, it is possible to derive the relative speed and the acceleration as a derivative thereof.
図10は、本発明の第5の実施例に係る携帯端末装置の通信機能を説明する図である。 FIG. 10 is a diagram for explaining the communication function of the mobile terminal device according to the fifth embodiment of the present invention.
図において、携帯端末装置1aは、通信手段80を介して他方の携帯端末装置1bに、対極方向の2方位(前方位5と後方位7)のみを視野範囲とする周辺画像(対極方位周辺画像)から、全方位を視野範囲とする周囲撮像領域4全域を含む周辺画像(全方位周辺画像)の範囲の撮像手段2aにおけるミラー部の光学的な形状により確定する周辺画像を送信する事が可能である。又、携帯端末装置1aは、通信手段80を介して他方の携帯端末装置1bから、対極方向の2方位(前方位5と後方位7)のみを視野範囲とする周辺画像(対極方位周辺画像)から、全方位を視野範囲とする周囲撮像領域4全域を含む周辺画像(全方位周辺画像)の範囲の撮像手段2bにおけるミラー部の光学的な形状により確定する周辺画像を受信する事が可能である。携帯端末装置1aは、受信した周辺画像82aにおいて、所望する方位範囲及び仰角範囲により画像処理し矩形視野画像(85a及び85b)に変換し、表示手段に表示する事が可能である。尚、通信手段80を介して周辺画像を送信する事により、受信側の携帯端末装置は、その周辺画像で利用可能な方位視野範囲において、何時でも所望の方位範囲及び仰角範囲の矩形視野画像を画像処理により作成可能となる。例えば、携帯端末装置1aは、受信した周辺画像82aより81bの自画像である83a或いは風景画像である84aなど、所望する領域を画像処理により矩形視野画像(85a及び85b)に変換可能である。又、通信相手となる装置1bは、携帯端末装置の他、パーソナルコンピュータの様な汎用の電子計算機、通信機能を有するビデオ関連機器、サーバなどの大型の電子計算機であってもかまわない。 In the figure, the mobile terminal device 1a is connected to the other mobile terminal device 1b via the communication means 80 in the peripheral image (counterpolar azimuth peripheral image) having only two opposite azimuth directions (front azimuth 5 and rear azimuth 7). ), It is possible to transmit a peripheral image determined by the optical shape of the mirror part in the imaging means 2a in the range of the peripheral image (omnidirectional peripheral image) including the entire peripheral imaging region 4 having the omnidirectional visual field range. It is. In addition, the mobile terminal device 1a receives from the other mobile terminal device 1b via the communication unit 80 a peripheral image (counterpolar azimuth peripheral image) having only two opposite azimuth directions (front azimuth 5 and rear azimuth 7). Thus, it is possible to receive the peripheral image determined by the optical shape of the mirror part in the imaging means 2b in the range of the peripheral image (omnidirectional peripheral image) including the entire peripheral imaging region 4 having the omnidirectional visual field range. is there. The mobile terminal device 1a can perform image processing on the received peripheral image 82a according to a desired azimuth range and elevation angle range, convert the image into rectangular visual field images (85a and 85b), and display them on the display means. In addition, by transmitting the peripheral image via the communication unit 80, the mobile terminal device on the receiving side can always display a rectangular visual field image in a desired azimuth range and elevation angle range in the azimuth visual field range available for the peripheral image. It can be created by image processing. For example, the mobile terminal device 1a can convert a desired region, such as 83a which is a self-portrait of 81b from the received peripheral image 82a or 84a which is a landscape image, into a rectangular field image (85a and 85b) by image processing. In addition to the mobile terminal device, the communication partner device 1b may be a general-purpose electronic computer such as a personal computer, a video-related device having a communication function, or a large-sized electronic computer such as a server.
本発明の実施例の携帯端末装置によれば、少なくともテレビ電話装置用途などで撮影する自画像と、デジタルカメラ用途などで撮影する風景画像など対極する2方位以上の画像を、1台のカメラで一度に同時に撮影する事が可能である。更に、広い方位方向視野を有する周辺画像を撮影可能で、テレビ電話装置用途などで携帯端末装置利用者の自画像が不注意によりフレームから外れる事がなく、周辺画像中より顔位置を検出し常に携帯端末装置利用者の顔が表示部画像内に配置されるように制御する事が可能となる。 According to the mobile terminal device of the embodiment of the present invention, at least one self-portrait photographed for videophone device use and two or more opposite images such as landscape images photographed for digital camera use are once captured by one camera. It is possible to shoot at the same time. In addition, it is possible to shoot a peripheral image with a wide azimuth field of view, and the mobile terminal device user's self-portrait will not be inadvertently removed from the frame for videophone applications etc. It is possible to control the terminal device user's face to be arranged in the display unit image.
1 携帯端末装置
2 カメラ部
3 表示部
4 周囲撮像領域
5 前方位撮影領域
6 携帯端末装置利用者が対面する方向
7 後方位撮影領域
8 携帯端末装置利用者方向と対極する方向
9 自画像
10 風景画像
DESCRIPTION OF SYMBOLS 1 Mobile terminal device 2 Camera part 3 Display part 4 Peripheral imaging area 5 Front direction imaging area 6 Direction which a mobile terminal device user faces 7 Back direction imaging area 8 Direction opposite to a mobile terminal device user direction 9 Self-portrait 10 Landscape image
Claims (6)
撮像した前記周辺画像より任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、
当該矩形視野画像を表示する表示手段を備えた携帯端末装置であって、
携帯端末装置利用者の自画像を撮影する方位範囲と、これと対極をなす方位である風景画像を撮影する方位範囲を切り換えて、
前記周辺画像から当該矩形視野画像を作成する手段を備えることを特徴とする携帯端末装置。 An imaging unit that includes an optical system including a mirror unit and a camera unit, and that captures peripheral images in two or more directions;
Means for extracting a rectangular visual field image in an arbitrary azimuth and elevation angle range from the captured peripheral image and image processing;
A portable terminal device comprising display means for displaying the rectangular field-of-view image,
Switch between the azimuth range for taking a self-portrait of a mobile terminal device user and the azimuth range for taking a landscape image, which is the opposite direction to this.
A portable terminal device comprising means for creating the rectangular field-of-view image from the peripheral image.
撮像した前記周辺画像より任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、
当該矩形視野画像を表示する表示手段を備えた携帯端末装置であって、
前記周辺画像から所望する2方位範囲以上の当該矩形視野画像を同時に作成する手段を備えることを特徴とする携帯端末装置。 An imaging unit that includes an optical system including a mirror unit and a camera unit, and that captures peripheral images in two or more directions;
Means for extracting a rectangular visual field image in an arbitrary azimuth and elevation angle range from the captured peripheral image and image processing;
A portable terminal device comprising display means for displaying the rectangular field-of-view image,
A portable terminal device comprising means for simultaneously creating the rectangular field-of-view image having two or more desired azimuth ranges from the peripheral image.
前記周辺画像に含まれる人物像の顔の方位と位置を検出し、
当該人物像の顔の方位と位置の移動を追跡する手段を備え、
特定の人物の顔の方位と位置情報により、必要とする当該矩形視野画像の方位及び仰角範囲を検出、推定、制御する手段を備えることを特徴とする携帯端末装置。 The portable terminal device according to claim 1, wherein:
Detecting the orientation and position of the face of the human figure included in the peripheral image,
Means for tracking the movement of the orientation and position of the face of the person image,
A portable terminal device comprising means for detecting, estimating, and controlling a required azimuth and elevation range of a rectangular field-of-view image based on a specific person's face orientation and position information.
前記周辺画像に含まれる1つ以上の基準領域を抽出する基準領域抽出手段と、
一定時間間隔の前記周辺画像間の当該基準領域の動きを追跡する手段を備える事により、
携帯端末装置自体の姿勢及び動き情報を検出し応用利用する手段を備えることを特徴とする携帯端末装置。 The portable terminal device according to claim 1, wherein:
Reference area extraction means for extracting one or more reference areas included in the peripheral image;
By comprising means for tracking the movement of the reference area between the peripheral images at a certain time interval,
A portable terminal device comprising means for detecting and applying the posture and motion information of the portable terminal device itself.
前記撮像した周辺画像を蓄積する画像記憶手段と、
画像記憶手段の所望の時間経過位置から読み出した前記周辺画像より任意の方位及び仰角範囲の矩形視野画像を抽出し画像処理する手段と、
当該矩形視野画像を表示する表示手段を備え、
前記周辺画像より所望する1方位範囲以上の当該矩形視野画像を同時に作成する手段を備えることを特徴とする携帯端末装置。 The portable terminal device according to claim 1, wherein:
Image storage means for storing the captured peripheral image;
Means for extracting and processing a rectangular visual field image in an arbitrary azimuth and elevation angle range from the peripheral image read from a desired time passage position of the image storage means;
Comprising display means for displaying the rectangular field-of-view image,
A portable terminal device comprising means for simultaneously creating the rectangular field image having a desired one azimuth range or more from the peripheral image.
前記撮像した周辺画像を送信する通信手段を備えることを特徴とする携帯端末装置。
The portable terminal device according to claim 1, wherein
A portable terminal device comprising communication means for transmitting the captured peripheral image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008192071A JP2010034652A (en) | 2008-07-25 | 2008-07-25 | Multi-azimuth camera mounted mobile terminal apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008192071A JP2010034652A (en) | 2008-07-25 | 2008-07-25 | Multi-azimuth camera mounted mobile terminal apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010034652A true JP2010034652A (en) | 2010-02-12 |
Family
ID=41738674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008192071A Pending JP2010034652A (en) | 2008-07-25 | 2008-07-25 | Multi-azimuth camera mounted mobile terminal apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010034652A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013048482A1 (en) * | 2011-09-30 | 2013-04-04 | Intel Corporation | Mechanism for facilitating enhanced viewing perspective of video images at computing devices |
JP2014052934A (en) * | 2012-09-10 | 2014-03-20 | Mega Chips Corp | Portable terminal device, program, and input method |
JP2014099885A (en) * | 2013-12-27 | 2014-05-29 | Olympus Imaging Corp | Imaging apparatus and image processing method |
US9110365B2 (en) | 2009-11-19 | 2015-08-18 | Olympus Corporation | Imaging apparatus |
JP2017005339A (en) * | 2015-06-05 | 2017-01-05 | リコーイメージング株式会社 | Moving image creation system, moving image creation method, and moving image creation program |
JP2017505559A (en) * | 2013-11-20 | 2017-02-16 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Autonomous robot for mobile devices |
JP2017211535A (en) * | 2016-05-26 | 2017-11-30 | 株式会社リコー | Information processing device, information processing method, program and display system |
-
2008
- 2008-07-25 JP JP2008192071A patent/JP2010034652A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9110365B2 (en) | 2009-11-19 | 2015-08-18 | Olympus Corporation | Imaging apparatus |
WO2013048482A1 (en) * | 2011-09-30 | 2013-04-04 | Intel Corporation | Mechanism for facilitating enhanced viewing perspective of video images at computing devices |
US9060093B2 (en) | 2011-09-30 | 2015-06-16 | Intel Corporation | Mechanism for facilitating enhanced viewing perspective of video images at computing devices |
JP2014052934A (en) * | 2012-09-10 | 2014-03-20 | Mega Chips Corp | Portable terminal device, program, and input method |
JP2017505559A (en) * | 2013-11-20 | 2017-02-16 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Autonomous robot for mobile devices |
JP2014099885A (en) * | 2013-12-27 | 2014-05-29 | Olympus Imaging Corp | Imaging apparatus and image processing method |
JP2017005339A (en) * | 2015-06-05 | 2017-01-05 | リコーイメージング株式会社 | Moving image creation system, moving image creation method, and moving image creation program |
JP2017211535A (en) * | 2016-05-26 | 2017-11-30 | 株式会社リコー | Information processing device, information processing method, program and display system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3596543B1 (en) | Camera with panoramic scanning range | |
US9313400B2 (en) | Linking-up photographing system and control method for linked-up cameras thereof | |
JP5659305B2 (en) | Image generating apparatus and image generating method | |
JP5659304B2 (en) | Image generating apparatus and image generating method | |
JP5769813B2 (en) | Image generating apparatus and image generating method | |
JP5967473B2 (en) | Imaging apparatus and imaging system | |
JP5865388B2 (en) | Image generating apparatus and image generating method | |
EP2563009B1 (en) | Method and electric device for taking panoramic photograph | |
US20100045773A1 (en) | Panoramic adapter system and method with spherical field-of-view coverage | |
US10104292B2 (en) | Multishot tilt optical image stabilization for shallow depth of field | |
KR101685418B1 (en) | Monitoring system for generating 3-dimensional picture | |
JP5991514B2 (en) | Imaging apparatus and imaging system | |
JP6165681B2 (en) | Image display device and image display method | |
JP2013013063A (en) | Imaging apparatus and imaging system | |
JP2010034652A (en) | Multi-azimuth camera mounted mobile terminal apparatus | |
KR20120108747A (en) | Monitoring camera for generating 3 dimensional scene and method thereof | |
CN112637500A (en) | Image processing method and device | |
US8436919B2 (en) | Photographing method of generating image of traced moving path and photographing apparatus using the photographing method | |
JP5248951B2 (en) | CAMERA DEVICE, IMAGE SHOOTING SUPPORT DEVICE, IMAGE SHOOTING SUPPORT METHOD, AND IMAGE SHOOTING SUPPORT PROGRAM | |
WO2021200184A1 (en) | Information processing device, information processing method, and program | |
JP2000341574A (en) | Camera device and camera control system | |
KR102009988B1 (en) | Method for compensating image camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it | |
KR100579135B1 (en) | Method for capturing convergent-type multi-view image | |
JP2020202503A (en) | Imaging device, computer program, and recording medium | |
KR20140030585A (en) | Camera system using super wide angle camera |