[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2017147682A - Imaging system for entire celestial sphere - Google Patents

Imaging system for entire celestial sphere Download PDF

Info

Publication number
JP2017147682A
JP2017147682A JP2016029932A JP2016029932A JP2017147682A JP 2017147682 A JP2017147682 A JP 2017147682A JP 2016029932 A JP2016029932 A JP 2016029932A JP 2016029932 A JP2016029932 A JP 2016029932A JP 2017147682 A JP2017147682 A JP 2017147682A
Authority
JP
Japan
Prior art keywords
omnidirectional
image
correction amount
imaging
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016029932A
Other languages
Japanese (ja)
Other versions
JP6645245B2 (en
Inventor
晋平 福本
Shinpei Fukumoto
晋平 福本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xacti Corp
Original Assignee
Xacti Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xacti Corp filed Critical Xacti Corp
Priority to JP2016029932A priority Critical patent/JP6645245B2/en
Publication of JP2017147682A publication Critical patent/JP2017147682A/en
Application granted granted Critical
Publication of JP6645245B2 publication Critical patent/JP6645245B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging system for an entire celestial sphere, capable of forming an entire celestial sphere image while increasing visibility.SOLUTION: An imaging system 10 for an entire celestial sphere, comprises: imaging means 22; an image composition part 30 that forms frame data of the entire celestial sphere; posture detection means 40 that detects posture information of the imaging means; a correction amount calculation part 60 that forms correction amount data for converting a coordinate of the frame data of the entire celestial sphere on the basis of the posture information; and correlation means 70 for obtaining an entire celestial sphere image by correlating the frame data of entire celestial sphere with the correction amount data. The correction calculation part forms the correction amount data for performing an inclination correction to a vertical direction in a global coordinate and a correction excluding a minute vibration component on vibration in a horizontal surface in the global coordinate, and transmits to the correlation means.SELECTED DRAWING: Figure 1

Description

本発明は、全方位を撮影可能な全天球撮影システムに関するものであり、より具体的には、水平方向の振れを抑えることのできる全天球撮影システムに関するものである。   The present invention relates to an omnidirectional imaging system capable of imaging all directions, and more specifically to an omnidirectional imaging system capable of suppressing horizontal shake.

撮像装置を用いて得られた動画像やスチル画像を撮影し、全天球(全方位)に合成する全天球撮影システムが知られている。このシステムでは、撮像装置に複数の撮像手段を具え、撮像手段で撮影された個々の撮影画像に歪み補正を行ないつつ、これらを合成することによりモニター等で表示可能な略矩形の全天球画像を生成している。   2. Description of the Related Art An omnidirectional imaging system that captures a moving image or a still image obtained by using an imaging apparatus and synthesizes the omnidirectional sphere (omnidirectional) is known. In this system, the imaging apparatus includes a plurality of imaging units, and performs correction of distortion on individual captured images captured by the imaging unit and combines them to display a substantially rectangular spherical image that can be displayed on a monitor or the like. Is generated.

撮像装置の姿勢が変化すると、生成される全天球画像も姿勢に合わせて変化するから、全天球画像は視認性に欠ける画像となってしまう。   When the orientation of the imaging device changes, the generated omnidirectional image also changes in accordance with the orientation, so that the omnidirectional image becomes an image lacking visibility.

そこで、特許文献1では、撮像装置の鉛直方向に対する傾きを検出するセンサーを具え、センサーによって検出された撮像装置の傾きに応じて、撮影画像をグローバル座標に補正した全天球画像に変換する撮像システムを提案している。   Therefore, in Patent Literature 1, a sensor that detects the tilt of the imaging device with respect to the vertical direction is provided, and the captured image is converted into an omnidirectional image corrected to global coordinates according to the tilt of the imaging device detected by the sensor. A system is proposed.

特開2013−214947号公報JP 2013-214947 A

上記のように、全天球撮影画像をグローバル座標に変換することで、鉛直方向に対する傾きを補正した変換画像を作成している。しかしながら、鉛直方向に対する傾きを補正するのみでは、水平方向の回転(鉛直方向の軸周りの回転)が補正されず、視認性に欠ける画像となる。たとえば、撮像装置をユーザーの頭部に装着して自転車に乗りながら動画撮影を行なうような場合、鉛直方向に対する傾きは補正されるが、水平方向の回転揺れが残ってしまうため、視認性に欠ける動画となる。   As described above, a converted image in which the inclination with respect to the vertical direction is corrected is created by converting the omnidirectional image to global coordinates. However, only by correcting the inclination with respect to the vertical direction, the rotation in the horizontal direction (rotation around the axis in the vertical direction) is not corrected, and the image lacks visibility. For example, when taking a video while wearing an imaging device on the user's head and riding a bicycle, the tilt with respect to the vertical direction is corrected, but the horizontal rotation still remains, resulting in lack of visibility. It becomes a video.

本発明の目的は、視認性を高めつつ、臨場感に溢れる全天球画像を作成できる全天球撮影システムを提供することである。   The objective of this invention is providing the omnidirectional imaging | photography system which can produce the omnidirectional image full of presence, improving visibility.

本発明に係る全天球撮影システムは、
画像データを出力する複数の撮像手段と、
前記複数の撮像手段の少なくとも1の撮像手段の姿勢情報を検出する姿勢検出手段と、
前記画像データを前記姿勢検出手段により出力された前記姿勢情報に基づいて座標変換した全天球画像を生成する制御手段と、
を具え、
前記制御手段は、前記画像データについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは微小揺れ成分を除いた補正による座標変換を行なって全天球画像を生成する。
The omnidirectional imaging system according to the present invention is:
A plurality of imaging means for outputting image data;
Attitude detection means for detecting attitude information of at least one imaging means of the plurality of imaging means;
Control means for generating an omnidirectional image obtained by coordinate-transforming the image data based on the attitude information output by the attitude detection means;
With
The control means generates an omnidirectional image for the image data by performing a tilt correction with respect to the vertical direction in the global coordinates and a coordinate conversion by correcting the global coordinates in the horizontal plane by removing a minute shake component.

前記複数の撮像手段によって撮影された画像データから全天球フレームデータを作成する画像合成部と、
前記姿勢検出手段から前記少なくとも1の撮像手段の姿勢情報に基づいて、前記全天球フレームデータの座標を変換する補正量データを作成する補正量算出部と、
前記全天球フレームデータと前記補正量データを関連付けて全天球画像を得る関連付け手段と、
を具え、
前記補正量算出部は、前記全天球フレームデータについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは微小揺れ成分を除いた補正を行なう補正量データを作成する構成とすることができる。
An image synthesis unit that creates omnidirectional frame data from image data captured by the plurality of imaging means;
A correction amount calculation unit that generates correction amount data for converting coordinates of the omnidirectional frame data based on posture information of the at least one imaging unit from the posture detection unit;
Association means for associating the omnidirectional frame data and the correction amount data to obtain an omnidirectional image;
With
The correction amount calculation unit creates correction amount data for performing correction of tilt correction with respect to the vertical direction in global coordinates and correction in the global coordinate in a horizontal plane excluding a minute shake component for the omnidirectional frame data. It can be.

前記姿勢情報は、前記撮像手段を基準とした互いに直交するx軸、y軸及びz軸を含むローカル座標と、互いに直交するX軸、Y軸及び鉛直方向のZ軸を含むグローバル座標との間の回転変位量を表す情報であって、
前記補正量算出部は、前記姿勢情報に基づいて前記全天球フレームデータの座標を、前記グローバル座標に補正するためのグローバル座標補正量を補正量データとして作成し、前記グローバル座標補正量は、全天球フレームデータの鉛直方向に対する傾きを補正し、鉛直方向軸周りの回転に対しては揺れの高周波成分のみを補正する補正量とすることができる。
The posture information is between local coordinates including x-axis, y-axis, and z-axis that are orthogonal to each other with respect to the imaging means, and global coordinates including X-axis, Y-axis, and vertical Z-axis that are orthogonal to each other. Information representing the amount of rotational displacement of
The correction amount calculation unit creates, as correction amount data, a global coordinate correction amount for correcting the coordinates of the omnidirectional frame data to the global coordinates based on the posture information, and the global coordinate correction amount is: The inclination of the omnidirectional frame data with respect to the vertical direction can be corrected, and a correction amount for correcting only the high-frequency component of the shaking with respect to the rotation around the vertical axis can be obtained.

前記関連付け手段は、前記補正量データを前記全天球フレームデータのヘッダ情報として関連付けることができる。   The association means may associate the correction amount data as header information of the omnidirectional frame data.

前記撮像手段は、動画像を撮影し、
前記補正量算出部は、前記姿勢検出手段から入力される1フレーム前の全天球フレームデータの姿勢情報に基づいて補正量データを作成することができる。
The imaging means captures a moving image,
The correction amount calculation unit can create correction amount data based on posture information of omnidirectional frame data one frame before input from the posture detection means.

また、本発明の全天球撮影システムは、
複数の撮像手段と、
前記複数の撮像手段の少なくとも1の撮像手段の姿勢情報を検出する姿勢検出手段と、
前記複数の撮像手段の出力である画像データと、
前記姿勢検出手段の出力である姿勢検出信号に基づいて画像信号を生成して表示する制御手段と、
を具え、
互いに直交するX軸、Y軸及び鉛直方向のZ軸を含むグローバル座標に対し、
前記複数の撮像手段をX軸方向に第1の角度だけ回転して撮影することにより生成した第1の画像信号、
前記複数の撮像手段をY軸方向に前記第1の角度だけ回転して撮影することにより生成した第2の画像信号、
前記複数の撮像手段をZ軸方向に前記第1の角度だけ回転して撮影することにより生成した第3の画像信号、
から前記制御手段で画像信号を生成して表示したとき、
前記制御手段は、前記第1の画像信号及び第2の画像信号は略回転動きのない画像を表示し、前記第3の画像信号は略前記第1の角度の回転動きのある画像を表示する。
In addition, the omnidirectional imaging system of the present invention,
A plurality of imaging means;
Attitude detection means for detecting attitude information of at least one imaging means of the plurality of imaging means;
Image data that is the output of the plurality of imaging means;
Control means for generating and displaying an image signal based on an attitude detection signal which is an output of the attitude detection means;
With
For global coordinates including the X-axis, Y-axis, and vertical Z-axis that are orthogonal to each other,
A first image signal generated by rotating the plurality of imaging units by a first angle in the X-axis direction;
A second image signal generated by photographing the plurality of imaging means by rotating by the first angle in the Y-axis direction;
A third image signal generated by photographing the plurality of imaging means by rotating the first imaging unit in the Z-axis direction by the first angle;
When the image signal is generated and displayed by the control means,
The control means displays the image having substantially no rotational movement as the first image signal and the second image signal, and displays the image having rotational movement at the substantially first angle as the third image signal. .

本発明の全天球撮影システムによれば、画像データから作成される全天球画像は、鉛直方向が補正されていることは勿論、撮像手段の水平面内の回転に追従するから臨場感に溢れ、水平面内における微小な振動である手振れも補正されているから視認性にもすぐれる画像とすることができる。   According to the omnidirectional imaging system of the present invention, the omnidirectional image created from the image data is not only corrected in the vertical direction, but also follows the rotation in the horizontal plane of the imaging means, so it is full of realism. Further, since the camera shake, which is a minute vibration in the horizontal plane, is also corrected, an image having excellent visibility can be obtained.

図1は、本発明の全天球撮影システムのブロック図である。FIG. 1 is a block diagram of the omnidirectional imaging system of the present invention. 図2は、撮像装置の平面図である。FIG. 2 is a plan view of the imaging apparatus. 図3は、ローカル座標とグローバル座標の関係を示す図である。FIG. 3 is a diagram showing the relationship between local coordinates and global coordinates. 図4は、グローバル座標と方向ベクトルの関係を示す図である。FIG. 4 is a diagram showing the relationship between global coordinates and direction vectors. 図5は、Z軸周りの(a)回転角度θと(b)回転角度θZ_lpfを示すグラフである。Figure 5 is a graph showing the (a) the rotational angle theta Z and (b) the rotational angle theta Z_lpf around the Z-axis. 図6は、撮像画像から全天球画像を作成する手順の説明図である。FIG. 6 is an explanatory diagram of a procedure for creating an omnidirectional image from a captured image.

以下、本発明の全天球撮影システム10について、図面を参照しながら説明を行なう。   Hereinafter, the omnidirectional imaging system 10 of the present invention will be described with reference to the drawings.

本発明は、全天球(全方位)を撮像し、得られた画像を全天球フレームデータに変換して全天球画像を得る全天球撮影システム10において、撮像装置20の姿勢に関わらず、作成される全天球画像を鉛直方向に合わせて変換すると共に、水平方向については撮像装置20の姿勢に合わせて回転方向に追従した補正を行ないつつ、水平方向の全天球画像のぶれ(手振れ)を小さくする揺れ補正を行なうものである。これにより、臨場感に富みつつ、視認性の高い全天球画像を提供するものである。   The present invention relates to the attitude of an imaging device 20 in an omnidirectional imaging system 10 that images an omnidirectional sphere (omnidirectional) and converts the obtained image into omnidirectional frame data to obtain an omnidirectional image. First, the generated omnidirectional image is converted in accordance with the vertical direction, and the horizontal directional image is blurred while performing correction in the horizontal direction in accordance with the rotation direction in accordance with the attitude of the imaging device 20. Shake correction is performed to reduce (shake). Thus, an omnidirectional image with high visibility is provided while being rich in presence.

図1は、本発明の一実施形態を示す全天球撮影システム10のブロック図、図2は、撮像装置20の外観概略図である。なお、図1は、本発明を判り易く説明するために、本発明に関連する機能ブロックのみを描いているが、これらは、CPU、RAM、ROM、フラッシュメモリーなどのメモリー、バッファ、これらに記録された各種プログラム等の連繋によって実現することができる。これら機能ブロックがハードウェアのみ、ソフトウエアのみ又はこれらの組合せによって実現可能であり、これら機能どうしは無線、有線によって通信可能に接続できることは当然理解されるべきである。また、これら機能は、1の装置によって実現することもできるし、たとえば撮像と表示など複数の機能を複数の装置によって個別に実現したシステムとすることもできる。   FIG. 1 is a block diagram of an omnidirectional imaging system 10 showing an embodiment of the present invention, and FIG. 2 is a schematic external view of an imaging apparatus 20. Note that FIG. 1 illustrates only functional blocks related to the present invention in order to explain the present invention in an easy-to-understand manner, but these are stored in a memory such as a CPU, a RAM, a ROM, a flash memory, a buffer, and the like. This can be realized by connecting various programs. It should be understood that these functional blocks can be realized by hardware only, software only, or a combination thereof, and these functions can be connected so that they can communicate with each other wirelessly or by wire. Further, these functions can be realized by a single device, or for example, a system in which a plurality of functions such as imaging and display are individually realized by a plurality of devices.

全天球撮影システム10は、撮像手段として、1又は複数のイメージセンサー22,22(撮像素子)を具える。イメージセンサー22,22は、たとえばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサーであって、光学レンズ24,24が装着される。光学レンズ24は、広角レンズや超広角レンズ、又は、複数のレンズ群から構成することができ、イメージセンサー22,22によって全天球の画像データの取得が可能となっている。   The omnidirectional imaging system 10 includes one or a plurality of image sensors 22 and 22 (imaging elements) as imaging means. The image sensors 22 and 22 are, for example, CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) image sensors, to which optical lenses 24 and 24 are attached. The optical lens 24 can be composed of a wide-angle lens, a super-wide-angle lens, or a plurality of lens groups, and the image data of the omnisphere can be acquired by the image sensors 22 and 22.

たとえば、イメージセンサー22,22が2つの場合、光学レンズ24,24は、180°以上の画角を撮影できる広角レンズまたは超広角レンズを採用し、図2に示すように、イメージセンサー22,22は、撮像装置20の正面側と背面側が撮影可能になるように配置する。   For example, when there are two image sensors 22, 22, the optical lenses 24, 24 employ a wide-angle lens or a super-wide-angle lens that can capture an angle of view of 180 ° or more, and as shown in FIG. Are arranged so that the front side and the back side of the imaging device 20 can be photographed.

イメージセンサー22,22から逐次出力される画像データは、制御手段11に送信される。制御手段11は、たとえば、図1に示すように、画像合成部30、姿勢算出部50、補正量算出部60、関連付け手段70、メモリー80及び表示機器82を含む構成とすることができる。   Image data sequentially output from the image sensors 22 and 22 is transmitted to the control means 11. For example, as illustrated in FIG. 1, the control unit 11 may include an image composition unit 30, a posture calculation unit 50, a correction amount calculation unit 60, an association unit 70, a memory 80, and a display device 82.

イメージセンサー22,22から出力された画像データは、画像合成部30に送信され、順次歪み補正及び合成を行なうことで、全天球フレームデータが作成される。たとえば、画像合成部30は、得られた画像データの歪み補正を行なって、正距円筒画像からなる全天球フレームデータを作成する。作成された全天球フレームデータは、後述する関連付け手段70に送信される。   The image data output from the image sensors 22 and 22 is transmitted to the image composition unit 30, and omnidirectional frame data is created by sequentially performing distortion correction and composition. For example, the image composition unit 30 performs distortion correction on the obtained image data to create omnidirectional frame data composed of equirectangular images. The created omnidirectional frame data is transmitted to the association means 70 described later.

一方、撮像装置20の姿勢情報、すなわち、撮像装置20のグローバル座標に対する傾きや回転は、姿勢検出手段40によって所定のサンプリング周期で検出され、姿勢算出部50にて演算される。   On the other hand, the posture information of the imaging device 20, that is, the tilt or rotation of the imaging device 20 with respect to the global coordinates is detected by the posture detection unit 40 at a predetermined sampling period and is calculated by the posture calculation unit 50.

たとえば、姿勢検出手段40は、図1に示すように、角速度センサー42と加速度センサー44とすることができる。また、姿勢検出手段40は、これらセンサーと共に、方位センサーを含む構成としてもよい。   For example, the posture detection means 40 can be an angular velocity sensor 42 and an acceleration sensor 44 as shown in FIG. Further, the posture detection means 40 may include a direction sensor in addition to these sensors.

姿勢情報として、図3に示すように、撮像装置20を基準とした互いに直交するx軸、y軸及びz軸を含むローカル座標と、互いに直交するX軸、Y軸及び鉛直方向のZ軸を含むグローバル座標との関係で例示することができる。ローカル座標のy軸は、何れか1のイメージセンサー22の光軸に一致するよう設定し、ローカル座標の原点は、イメージセンサー22,22間の中央に設定している。なお、図3中、Z軸は、グローバル座標の鉛直方向(重力方向)を示している。   As posture information, as shown in FIG. 3, local coordinates including an x-axis, a y-axis, and a z-axis that are orthogonal to each other with respect to the imaging device 20, and an X-axis, a Y-axis, and a vertical Z-axis that are orthogonal to each other. It can be illustrated by the relationship with the global coordinates including. The local coordinate y-axis is set to coincide with the optical axis of any one of the image sensors 22, and the local coordinate origin is set at the center between the image sensors 22 and 22. In FIG. 3, the Z-axis indicates the vertical direction (gravity direction) of the global coordinates.

姿勢検出手段40として、角速度センサー42と加速度センサー44を採用した場合、図3に示すように、撮像装置20のx軸、y軸及びz軸に対し、角速度センサー42からは、撮像装置20のローカル座標の各軸周りの回転角速度(gx,gy,gz)が出力され、加速度センサー44からは、重力加速度を撮像装置20のローカル座標の各軸方向に分解した各軸方向の重力加速度成分(ax,ay,az)が出力される。   When the angular velocity sensor 42 and the acceleration sensor 44 are employed as the posture detection means 40, as shown in FIG. 3, with respect to the x-axis, the y-axis, and the z-axis of the imaging device 20, the angular velocity sensor 42 determines the position of the imaging device 20. A rotational angular velocity (gx, gy, gz) around each axis of the local coordinates is output. From the acceleration sensor 44, a gravitational acceleration component (in each axis direction) decomposed in each axial direction of the local coordinates of the imaging device 20 ( ax, ay, az) are output.

姿勢算出部50は、センサー42,44から得られた出力(回転角速度と重力加速度成分)に基づいて、撮像装置20の姿勢情報を算出する。姿勢情報は、たとえば、グローバル座標上での撮像装置20の姿勢を表わすクオータニオン(四元数)を用いて表現することができる。クオータニオンqは、4変数q,q,q,qと基底ベクトルi,j,kを用いて以下で定義することができる。 The posture calculation unit 50 calculates posture information of the imaging device 20 based on outputs (rotational angular velocity and gravity acceleration component) obtained from the sensors 42 and 44. The posture information can be expressed using, for example, a quaternion (quaternion) representing the posture of the imaging device 20 on the global coordinates. The quaternion q can be defined as follows using four variables q 0 , q 1 , q 2 , q 3 and basis vectors i, j, k.

q=q+qi+qj+qk
=j=k=ijk=−1
ij=−ji=k,jk=−kj=i,ki=−ik=j
q = q 0 + q 1 i + q 2 j + q 3 k
i 2 = j 2 = k 2 = ijk = −1
ij = -ji = k, jk = -kj = i, ki = -ik = j

ここで、クオータニオンqの4変数q,q,q,qは次式で与えることができる。
=cos(θ/2)
=nx・sin(θ/2)
=ny・sin(θ/2)
=nz・sin(θ/2)
nx+ny+nz=1
Here, the four variables q 0 , q 1 , q 2 , q 3 of the quaternion q can be given by the following equations.
q 0 = cos (θ / 2)
q 1 = nx · sin (θ / 2)
q 2 = ny · sin (θ / 2)
q 3 = nz · sin (θ / 2)
nx 2 + ny 2 + nz 2 = 1

なお、上記式中、nx、ny、nzは、図4に示すように、グローバル座標上での方向ベクトル(nx,ny,nz)であり、θは、方向ベクトル周りの回転角を表わしている。   In the above formula, nx, ny, and nz are direction vectors (nx, ny, nz) on global coordinates as shown in FIG. 4, and θ represents a rotation angle around the direction vector. .

このとき、ローカル座標上での撮像装置20の姿勢ベクトルpとグローバル座標上での姿勢ベクトルPの関係は、次式で定義される。
P=R・p
ここで、Rは3×3の回転行列であり、クオータニオンqから次式で算出される。
At this time, the relationship between the orientation vector p of the imaging device 20 on the local coordinates and the orientation vector P on the global coordinates is defined by the following equation.
P = R ・ p
Here, R is a 3 × 3 rotation matrix, and is calculated by the following equation from the quarteranion q.

Figure 2017147682
Figure 2017147682

撮像装置20の1つのイメージセンサーの光軸方向をローカル座標系のy軸方向に設定すると、撮像装置20の光軸方向ベクトルはp=[0,1,0]Tで表される。このとき、撮像装置20の姿勢クオータニオンをqcとすると、撮像装置のグローバル座標系における姿勢ベクトルPは次式で算出されることになる。
P=Rc・p
When the optical axis direction of one image sensor of the imaging device 20 is set to the y-axis direction of the local coordinate system, the optical axis direction vector of the imaging device 20 is represented by p = [0,1,0] T. At this time, when the attitude quota of the imaging apparatus 20 is qc, the attitude vector P in the global coordinate system of the imaging apparatus is calculated by the following equation.
P = Rc · p

これにより、撮像装置20のローカル座標(x,y,z)の姿勢角度(傾きと回転角度)は、グローバル座標(X,Y,Z)で定義される。角速度センサー42及び加速度センサー44の出力から撮像装置20のクオータニオンqcを算出する手法は、種々の方法を採用できる。また、姿勢情報は、クオータニオンqc以外で算出しても構わない。   Thereby, the attitude angle (tilt and rotation angle) of the local coordinates (x, y, z) of the imaging device 20 is defined by the global coordinates (X, Y, Z). Various methods can be adopted as a method for calculating the quaternion qc of the imaging device 20 from the outputs of the angular velocity sensor 42 and the acceleration sensor 44. Further, the posture information may be calculated by other than the quaternion qc.

姿勢算出部50にて算出された撮像装置20の姿勢情報(クオータニオンqc)は、補正量算出部60に送信される。補正量算出部60は、全天球フレームデータの座標をグローバル座標に補正する補正量(クオータニオンqs)を算出する。ここで算出される補正量は、撮像装置20の鉛直方向を示すZ軸に対する傾きは完全に補正し、鉛直方向を示すZ軸周り、すなわち、グローバル座標における水平面内での揺れに対しては、微小揺れ成分を除いた補正を行なうための補正量データを作成する手段である。   The posture information (quartanion qc) of the imaging device 20 calculated by the posture calculation unit 50 is transmitted to the correction amount calculation unit 60. The correction amount calculation unit 60 calculates a correction amount (quartanion qs) for correcting the coordinates of the omnidirectional frame data to global coordinates. The correction amount calculated here completely corrects the inclination of the imaging device 20 with respect to the Z axis indicating the vertical direction, and for the shake around the Z axis indicating the vertical direction, that is, in the horizontal plane in the global coordinates, This is means for creating correction amount data for performing correction excluding a minute shaking component.

補正量算出部60は、たとえば、図1に示すように、遅延保持部61、回転角度抽出部62、ローパスフィルター63、座標変換部64及び座標乗算部65から構成することができる。   As shown in FIG. 1, for example, the correction amount calculation unit 60 can include a delay holding unit 61, a rotation angle extraction unit 62, a low-pass filter 63, a coordinate conversion unit 64, and a coordinate multiplication unit 65.

補正量算出部60に入力された姿勢情報は、座標乗算部65に送信されると共に、遅延保持部61に送信される。   The posture information input to the correction amount calculation unit 60 is transmitted to the coordinate multiplication unit 65 and also transmitted to the delay holding unit 61.

遅延保持部61は、入力された座標情報について、前サンプリング時間t−1のクオータニオンqc(t−1)を保持する。   The delay holding unit 61 holds the quarteranion qc (t−1) of the previous sampling time t−1 for the input coordinate information.

そして、回転角度抽出部62は、クオータニオンqc(t−1)から、グローバル座標のZ軸周りの回転角度θを算出する。たとえば、回転角度θは、クオータニオンqc(t−1)をオイラー角Rzxyに変換し、得られたオイラー角Rzxyから算出することができる。 Then, the rotation angle extracting unit 62 extracts, from quaternion qc (t-1), calculates a rotation angle theta Z around the Z-axis of the global coordinates. For example, the rotation angle θ Z can be calculated from the Euler angle R zxy obtained by converting the quaternion qc (t−1) to the Euler angle R zxy .

図5(a)は、算出された回転角度θの波形Wの一例を示している。図5(a)を参照すると、回転角度θは、低周波成分に高周波成分が重畳した波形であることがわかる。このような波形Wは、たとえば、ユーザーが撮像装置20を頭部に取り付けて、自転車に乗りながら撮影を行なうような場合、自転車の進行方向を変えたりユーザーが頭部を水平面内で動かした場合に検出される。 FIGS. 5 (a) shows an example of the rotation angle theta Z waveform W calculated. Referring to FIG. 5 (a), the rotation angle theta Z is found to be in the low-frequency component is a waveform the high frequency component is superimposed. Such a waveform W is obtained when, for example, the user attaches the imaging device 20 to the head and shoots while riding a bicycle, changes the traveling direction of the bicycle, or moves the head in a horizontal plane. Detected.

波形W中の高周波成分は、撮像装置20のグローバル座標における水平面内での微小な振動、すなわち、手振れや振動などのユーザーが意図していない微小揺れ成分である。   High-frequency components in the waveform W are minute vibrations in the horizontal plane in the global coordinates of the imaging device 20, that is, minute vibration components that are not intended by the user, such as camera shake and vibration.

一方、波形W中の低周波成分は、撮像装置20自体の向きを変えたときに検出される。すなわち、上記例において、ユーザーが自転車の進行方向を変えたり頭部を水平面内で動かした場合に検出される意図的な向きの変化を意味する。   On the other hand, the low frequency component in the waveform W is detected when the direction of the imaging device 20 itself is changed. That is, in the above example, it means an intentional change in direction detected when the user changes the traveling direction of the bicycle or moves the head in a horizontal plane.

本発明では、臨場感を保持するために、撮像装置20の向きに追従すべく低周波成分の揺れを残し、視認性の低下を招く高周波成分の揺れを除去することで、Z軸周りの座標補正を行なう。   In the present invention, in order to maintain a sense of reality, the low-frequency component fluctuation is left to follow the direction of the imaging device 20, and the high-frequency component fluctuation that causes a reduction in visibility is removed. Make corrections.

具体的には、回転角度抽出部62で算出された回転角度θをローパスフィルター63に通して高周波成分を除去し、低周波成分のみとした回転角度θZ_lpfを作成する。図5(b)にローパスフィルター63を通過して得られた回転角度θZ_lpfの波形を示す。 Specifically, the rotation angle θ Z calculated by the rotation angle extraction unit 62 is passed through the low-pass filter 63 to remove the high frequency component, and the rotation angle θ Z_lpf having only the low frequency component is created. FIG. 5B shows a waveform of the rotation angle θ Z_lpf obtained by passing through the low-pass filter 63.

回転角度θZ_lpfの波形wには、手振れ等の高周波成分が除去されているから、回転角度θZ_lpfは、撮像装置20の意図的な向きの変化のみを含むZ軸周りの姿勢量となる。 The rotation angle theta Z_lpf waveform w, since high-frequency components such as hand shake is removed, the rotation angle theta Z_lpf is a posture amount around the Z-axis including only the intended orientation change of the imaging device 20.

座標変換部64は、得られた回転角度θZ_lpfから、撮像装置20のZ軸周りの回転量を減衰させる減衰量を算出する。たとえば、次式で示すように、回転角度θZ_lpfの符号を反転してクオータニオンを算出する。このクオータニオンをセンタリングクオータニオンqdと称する。
qd=cos(−θz_lpf/2)
qd=0
qd=0
qd=sin(−θz_lpf/2)
The coordinate conversion unit 64 calculates an attenuation amount that attenuates the rotation amount around the Z axis of the imaging device 20 from the obtained rotation angle θ Z_lpf . For example, as shown by the following equation, the quaternion is calculated by inverting the sign of the rotation angle θ Z_lpf . This quarteranion is referred to as centering quarternion qd.
qd 0 = cos (−θ z_lpf / 2)
qd 1 = 0
qd 2 = 0
qd 3 = sin (−θ z_lpf / 2)

そして、上記回転角度θZ_lpfを反映したセンタリングクオータニオンqdを、撮像装置20の姿勢情報となるグローバル座標補正量(クオータニオンqc(t))に適用することで、グローバル座標の水平面内における微小な振動、すなわち、手振れを抑えつつ、撮像装置20の向きに追従した姿勢情報の補正量データを得ることができる。 Then, by applying the centering quaternion qd reflecting the rotation angle θ Z_lpf to the global coordinate correction amount (quartanion qc (t)) serving as the attitude information of the imaging device 20, minute vibrations in the horizontal plane of the global coordinates, That is, correction amount data of posture information that follows the direction of the imaging device 20 can be obtained while suppressing camera shake.

上記演算は、座標乗算部65にて実施する。座標乗算部65は、現サンプリング時間tのグローバル座標補正量(クオータニオンqc(t))に算出されたセンタリングクオータニオンqdを乗算し、全天球画像に適用される補正量データとなる姿勢補正量クオータニオンqsを算出する。
qs=qd*qc(t)
ここで、*はクオータニオン乗算を表し、各要素を用いて次式で定義される。
qs=qd・qc−qd・qc−qd・qc−qd・qc
qs=qd・qc+qd・qc+qd・qc−qd・qc
qs=qd・qc−qd・qc+qd・qc+qd・qc
qs=qd・qc+qd・qc−qd・qc+qd・qc
The calculation is performed by the coordinate multiplication unit 65. The coordinate multiplication unit 65 multiplies the calculated global coordinate correction amount (quartanion qc (t)) at the current sampling time t by the calculated centering quaternion qd to obtain a posture correction amount quaternion serving as correction amount data applied to the omnidirectional image. qs is calculated.
qs = qd * qc (t)
Here, * represents a quarteranion multiplication and is defined by the following equation using each element.
qs 0 = qd 0 · qc 0 −qd 1 · qc 1 −qd 2 · qc 2 −qd 3 · qc 3
qs 1 = qd 0 · qc 1 + qd 1 · qc 0 + qd 2 · qc 3 −qd 3 · qc 2
qs 2 = qd 0 · qc 2 −qd 1 · qc 3 + qd 2 · qc 0 + qd 3 · qc 1
qs 3 = qd 0 · qc 3 + qd 1 · qc 2 −qd 2 · qc 1 + qd 3 · qc 0

得られた補正量データ(姿勢補正量クオータニオンqs)は、関連付け手段70に送信される。   The obtained correction amount data (posture correction amount quota qs) is transmitted to the association means 70.

関連付け手段70では、画像合成部30で作成された現サンプリング時間tにおける全天球フレームデータと、補正量データの関連づけを行なう。補正量データは、本実施形態では、上記のとおり、現サンプリング時間tにおけるグローバル座標補正量を前サンプリング時間t−1におけるセンタリングクオータニオンqdで補正した姿勢補正量クオータニオンqsである。関連付け手段70は、たとえば、全天球フレームデータのヘッダ情報に補正量データを書き込むことでこれらの関連付けを行なうことができる。この関連付けによって作成された画像を全天球画像と称する。   The associating unit 70 associates the omnidirectional frame data at the current sampling time t created by the image composition unit 30 with the correction amount data. In the present embodiment, as described above, the correction amount data is the posture correction amount quarternion qs obtained by correcting the global coordinate correction amount at the current sampling time t with the centering quarternion qd at the previous sampling time t−1. The associating unit 70 can perform the association by writing correction amount data in the header information of the omnidirectional frame data, for example. An image created by this association is referred to as an omnidirectional image.

得られた全天球画像は、図1に示すように、メモリー80などの記録媒体や外部ストレージに転送されて記憶することができる。また、全天球画像をスルー画像として直接表示機器82に表示することもできる。   The obtained omnidirectional image can be transferred and stored in a recording medium such as a memory 80 or an external storage as shown in FIG. Also, the omnidirectional image can be directly displayed on the display device 82 as a through image.

表示機器82として、たとえば、デジタルカメラやスマートフォン、PDA(Personal Digital Assistant)などの携帯型電子機器、モニターなどを例示できる。この場合、表示機器82は、再生表示用のソフトやアプリケーションをインストールしておき、全天球画像のヘッダ情報から補正量データを読み出し、全天球フレームデータに補正量データを適用して、グローバル座標に変換する共ともに、水平面内での補正を行なって、全天球画像の表示を行なえばよい。   Examples of the display device 82 include a digital camera, a smartphone, a portable electronic device such as a PDA (Personal Digital Assistant), a monitor, and the like. In this case, the display device 82 installs reproduction display software or application, reads the correction amount data from the header information of the omnidirectional image, applies the correction amount data to the omnidirectional frame data, In addition to the conversion to coordinates, correction in the horizontal plane may be performed to display the omnidirectional image.

図6は、全天球フレームデータに補正量データを適用して得られる全天球画像の一例を示している。なお、図6では、本発明をより判り易く説明するために、時系列的に連続する2つの撮影画像、全天球フレームデータを重ねて表示している。   FIG. 6 shows an example of an omnidirectional image obtained by applying the correction amount data to the omnidirectional frame data. In FIG. 6, in order to explain the present invention more easily, two captured images that are continuous in time series and omnidirectional frame data are displayed in an overlapping manner.

図6(a)及び図6(b)は、イメージセンサー22,22によって夫々取得された画像データを示している。図に示すように、時系列的に連続する2つの撮影画像は、手振れによって被写体90が振れていることがわかる。   6A and 6B show image data acquired by the image sensors 22 and 22, respectively. As shown in the figure, it can be seen that the subject 90 is shaken by camera shake in two consecutively taken images.

画像合成部30は、これら画像データに歪み補正と合成を行ない、図6(c)に示すような正距円筒画像の如き全天球フレームデータを作成する。図6(c)では、図6(a)が中心となるように全天球フレームデータを作成している。図を参照すると、撮影画像の振れに伴い、全天球フレームデータ中の被写体90も振れていることがわかる。また、撮像装置20の傾きにより、全天球フレームデータの水平線92が傾斜している。   The image composition unit 30 performs distortion correction and composition on these image data to create omnidirectional frame data such as an equirectangular image as shown in FIG. In FIG. 6C, the omnidirectional frame data is created so that FIG. 6A is at the center. Referring to the figure, it can be seen that the subject 90 in the omnidirectional frame data is also shaken with the shake of the captured image. Further, the horizontal line 92 of the omnidirectional frame data is inclined due to the inclination of the imaging device 20.

そして、得られた全天球フレームデータに補正量データを適用し、撮像装置20のローカル座標をグローバル座標補正量に基づいて鉛直方向に対する傾きを補正する(参考図6(d))と共に、鉛直方向について微小な振れを除去しつつ(参考図6(e))、撮像装置20のy軸方向を中心とする変換を施すことで、図6(f)に示すような全天球画像が作成される。図6(f)に示すように、得られた全天球画像は、全天球フレームデータ(図6(c))に対して、水平線92の傾斜の補正、撮像装置20のy軸方向を中心とする水平面内の回転補正、及び、水平面内における高周波成分の揺れの補正が行なわれていることがわかる。   Then, the correction amount data is applied to the obtained omnidirectional frame data, and the local coordinates of the imaging device 20 are corrected with respect to the vertical direction based on the global coordinate correction amount (see FIG. 6D), and the vertical coordinates are also corrected. An omnidirectional image as shown in FIG. 6F is created by performing conversion around the y-axis direction of the imaging device 20 while removing minute shakes in the direction (reference FIG. 6E). Is done. As shown in FIG. 6F, the obtained omnidirectional image is obtained by correcting the inclination of the horizontal line 92 and the y-axis direction of the imaging device 20 with respect to the omnidirectional frame data (FIG. 6C). It can be seen that the rotation correction in the horizontal plane as the center and the correction of the fluctuation of the high frequency component in the horizontal plane are performed.

その結果、得られた全天球画像は、鉛直方向が補正されていることは勿論、撮像装置20の水平面内の比較的周波数の小さい大きな揺れ(回転)には追従するから臨場感に溢れ、水平面内における手振れ等の微小な揺れは補正されているからから視認性にもすぐれる画像となる。   As a result, the obtained omnidirectional image is not only corrected in the vertical direction, but also follows a large shake (rotation) with a relatively small frequency in the horizontal plane of the imaging device 20, so it overflows with a sense of reality. Since minute shaking such as camera shake in the horizontal plane is corrected, the image is excellent in visibility.

なお、必要に応じて、図6(f)中一点鎖線で示すように、作成された全天球画像の所定範囲を切り出した画像に加工することもできる。   In addition, as shown by the dashed-dotted line in FIG.6 (f), it can also process into the image which cut out the predetermined range of the produced omnidirectional image as needed.

上記では変換の手順をわかりやすくするために、図6(c)〜図6(e)を含めているが、実際には、図6(c)に示す全天球フレームデータに補正量データを適用することで、図6(f)に示す全天球画像が直接作成される。   In the above, FIG. 6C to FIG. 6E are included for easy understanding of the conversion procedure, but actually, the correction amount data is added to the omnidirectional frame data shown in FIG. 6C. By applying, the omnidirectional image shown in FIG. 6F is directly created.

すなわち、本発明では、撮像手段20の姿勢の如何に拘わらず、撮像手段20がグローバル座標に対して水平面内での回転となるZ軸に対する回転に追従するが、水平面内以外の回転であるX軸方向、Y軸方向の回転には追従しないようにしている。従って、撮像手段20をX軸方向やY軸方向に所定角度(第1の角度)だけ回転して撮影して得られた第1の画像信号、第2の画像信号を表示機器にて表示したときには、水平面内では殆んど回転しないものとなる一方、撮像手段20をZ軸に所定角度(第1の角度)だけ回転して撮影して得られた第3の画像信号は、その回転に追従して略所定角度の回転動きのある画像とすることができる。これら第1乃至第3の画像信号を切り出した画像についても同様である。   That is, in the present invention, regardless of the posture of the imaging unit 20, the imaging unit 20 follows the rotation with respect to the Z axis, which is a rotation in the horizontal plane with respect to the global coordinates, but the rotation is not in the horizontal plane. The rotation in the axial direction and the Y-axis direction is not followed. Therefore, the first image signal and the second image signal obtained by rotating the imaging unit 20 by a predetermined angle (first angle) in the X-axis direction and the Y-axis direction are displayed on the display device. In some cases, the third image signal obtained by taking an image by rotating the imaging means 20 by a predetermined angle (first angle) about the Z-axis is not rotated in the horizontal plane. It is possible to obtain an image having a rotational movement of approximately a predetermined angle by following the image. The same applies to images obtained by cutting out the first to third image signals.

<補正量算出のその他の方法>
上記実施形態では、一旦姿勢クオータニオンqをオイラー角Rzxyに変換し、Z軸周りの回転量θzを算出し、再度センタリングクオータニオンqdを算出しているが、姿勢クオータニオンqcから直接センタリングクオータニオンqdを算出しても構わない。例えば、姿勢クオータニオンqcの成分において、Z軸周りの回転を表す成分q
=qc +qc
で定義すると、qが1に近い場合は、Z軸周りの回転が支配的になる。このとき、センタリングクオータニオンqdを
qd=−k・q・q
qd=0
qd=0
qd=(1−qd 1/2
kは減衰係数(0<k<1)
としてセンタリングクオータニオンを算出しても構わない。
<Other methods for calculating the correction amount>
In the above embodiment, the posture quarteranion q is once converted into the Euler angle R zxy , the rotation amount θz around the Z axis is calculated, and the centering quarternion qd is calculated again. It doesn't matter. For example, in the component of the posture quarterion qc, the component q z representing the rotation around the Z axis is changed to q z = qc 0 2 + qc 3 2
When qz is close to 1, rotation around the Z axis is dominant. At this time, the centering quarteron qd is changed to qd 0 = −k · q z · q 0
qd 1 = 0
qd 2 = 0
qd 3 = (1-qd 0 2 ) 1/2
k is an attenuation coefficient (0 <k <1)
The centering quota can be calculated as follows.

上記説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或いは範囲を限縮するように解すべきではない。また、本発明の各部構成は、上記実施形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。   The above description is for explaining the present invention, and should not be construed as limiting the invention described in the claims or limiting the scope thereof. Further, the configuration of each part of the present invention is not limited to the above-described embodiment, and various modifications can be made within the technical scope described in the claims.

10 全天球撮影システム
11 制御手段
22 イメージセンサー(撮像手段)
30 画像合成部
40 姿勢検出手段
42 角速度センサー
44 加速度センサー
50 姿勢算出部
60 補正量算出部
62 回転角度抽出部
63 ローパスフィルター
64 座標変換部
65 座標乗算部
70 関連付け手段
10 spherical imaging system 11 control means 22 image sensor (imaging means)
30 Image composition unit 40 Posture detection unit 42 Angular velocity sensor 44 Acceleration sensor 50 Posture calculation unit 60 Correction amount calculation unit 62 Rotation angle extraction unit 63 Low pass filter 64 Coordinate conversion unit 65 Coordinate multiplication unit 70 Association unit

Claims (6)

画像データを出力する複数の撮像手段と、
前記複数の撮像手段の少なくとも1の撮像手段の姿勢情報を検出する姿勢検出手段と、
前記画像データを前記姿勢検出手段により出力された前記姿勢情報に基づいて座標変換した全天球画像を生成する制御手段と、
を具え、
前記制御手段は、前記画像データについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは微小揺れ成分を除いた補正による座標変換を行なって全天球画像を生成する、
ことを特徴とする、全天球撮影システム。
A plurality of imaging means for outputting image data;
Attitude detection means for detecting attitude information of at least one imaging means of the plurality of imaging means;
Control means for generating an omnidirectional image obtained by coordinate-transforming the image data based on the attitude information output by the attitude detection means;
With
The control means generates an omnidirectional image for the image data by performing a tilt correction with respect to a vertical direction in global coordinates and a coordinate conversion by a correction in a horizontal plane in the global coordinates excluding a minute shake component.
An omnidirectional photographic system characterized by this.
前記複数の撮像手段によって撮影された画像データから全天球フレームデータを作成する画像合成部と、
前記姿勢検出手段から前記少なくとも1の撮像手段の姿勢情報に基づいて、前記全天球フレームデータの座標を変換する補正量データを作成する補正量算出部と、
前記全天球フレームデータと前記補正量データを関連付けて全天球画像を得る関連付け手段と、
を具え、
前記補正量算出部は、前記全天球フレームデータについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは微小揺れ成分を除いた補正を行なう補正量データを作成する、
請求項1に記載の全天球撮影システム。
An image synthesis unit that creates omnidirectional frame data from image data captured by the plurality of imaging means;
A correction amount calculation unit that generates correction amount data for converting coordinates of the omnidirectional frame data based on posture information of the at least one imaging unit from the posture detection unit;
Association means for associating the omnidirectional frame data and the correction amount data to obtain an omnidirectional image;
With
The correction amount calculation unit creates correction amount data for the omnidirectional frame data to perform inclination correction with respect to a vertical direction in global coordinates and correction in a global coordinate in a horizontal plane excluding a minute vibration component.
The omnidirectional imaging system according to claim 1.
前記姿勢情報は、前記撮像手段を基準とした互いに直交するx軸、y軸及びz軸を含むローカル座標と、互いに直交するX軸、Y軸及び鉛直方向のZ軸を含むグローバル座標との間の回転変位量を表す情報であって、
前記補正量算出部は、前記姿勢情報に基づいて前記全天球フレームデータの座標を、前記グローバル座標に補正するためのグローバル座標補正量を補正量データとして作成し、前記グローバル座標補正量は、全天球フレームデータの鉛直方向に対する傾きを補正し、鉛直方向軸周りの回転に対しては揺れの高周波成分のみを補正する補正量である、
請求項2に記載の全天球撮影システム。
The posture information is between local coordinates including x-axis, y-axis, and z-axis that are orthogonal to each other with respect to the imaging means, and global coordinates including X-axis, Y-axis, and vertical Z-axis that are orthogonal to each other. Information representing the amount of rotational displacement of
The correction amount calculation unit creates, as correction amount data, a global coordinate correction amount for correcting the coordinates of the omnidirectional frame data to the global coordinates based on the posture information, and the global coordinate correction amount is: It is a correction amount that corrects the inclination of the omnidirectional frame data with respect to the vertical direction and corrects only the high-frequency component of shaking for rotation around the vertical axis.
The omnidirectional imaging system according to claim 2.
前記関連付け手段は、前記補正量データを前記全天球フレームデータのヘッダ情報として関連付ける、
請求項2又は請求項3に記載の全天球撮影システム。
The association means associates the correction amount data as header information of the omnidirectional frame data.
The omnidirectional imaging | photography system of Claim 2 or Claim 3.
前記撮像手段は、動画像を撮影し、
前記補正量算出部は、前記姿勢検出手段から入力される1フレーム前の全天球フレームデータの姿勢情報に基づいて補正量データを作成する、
請求項2乃至請求項4の何れかに記載の全天球撮影システム。
The imaging means captures a moving image,
The correction amount calculation unit creates correction amount data based on posture information of omnidirectional frame data one frame before input from the posture detection means.
The omnidirectional imaging | photography system in any one of Claim 2 thru | or 4.
複数の撮像手段と、
前記複数の撮像手段の少なくとも1の撮像手段の姿勢情報を検出する姿勢検出手段と、
前記複数の撮像手段の出力である画像データと、
前記姿勢検出手段の出力である姿勢検出信号に基づいて画像信号を生成して表示する制御手段と、
を具え、
互いに直交するX軸、Y軸及び鉛直方向のZ軸を含むグローバル座標に対し、
前記複数の撮像手段をX軸方向に第1の角度だけ回転して撮影することにより生成した第1の画像信号、
前記複数の撮像手段をY軸方向に前記第1の角度だけ回転して撮影することにより生成した第2の画像信号、
前記複数の撮像手段をZ軸方向に前記第1の角度だけ回転して撮影することにより生成した第3の画像信号、
から前記制御手段で画像信号を生成して表示したとき、
前記制御手段は、前記第1の画像信号及び第2の画像信号は略回転動きのない画像を表示し、前記第3の画像信号は略前記第1の角度の回転動きのある画像を表示する、
ことを特徴とする全天球撮影システム。
A plurality of imaging means;
Attitude detection means for detecting attitude information of at least one imaging means of the plurality of imaging means;
Image data that is the output of the plurality of imaging means;
Control means for generating and displaying an image signal based on an attitude detection signal which is an output of the attitude detection means;
With
For global coordinates including the X-axis, Y-axis, and vertical Z-axis that are orthogonal to each other,
A first image signal generated by rotating the plurality of imaging units by a first angle in the X-axis direction;
A second image signal generated by photographing the plurality of imaging means by rotating by the first angle in the Y-axis direction;
A third image signal generated by photographing the plurality of imaging means by rotating the first imaging unit in the Z-axis direction by the first angle;
When the image signal is generated and displayed by the control means,
The control means displays the image having substantially no rotational movement as the first image signal and the second image signal, and displays the image having rotational movement at the substantially first angle as the third image signal. ,
An omnidirectional photographic system characterized by that.
JP2016029932A 2016-02-19 2016-02-19 Spherical shooting system Active JP6645245B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016029932A JP6645245B2 (en) 2016-02-19 2016-02-19 Spherical shooting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016029932A JP6645245B2 (en) 2016-02-19 2016-02-19 Spherical shooting system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019236527A Division JP7025042B2 (en) 2019-12-26 2019-12-26 Spherical image generation method, spherical image generation and display method, spherical image generation system program, and spherical image generation and display system program

Publications (2)

Publication Number Publication Date
JP2017147682A true JP2017147682A (en) 2017-08-24
JP6645245B2 JP6645245B2 (en) 2020-02-14

Family

ID=59683259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016029932A Active JP6645245B2 (en) 2016-02-19 2016-02-19 Spherical shooting system

Country Status (1)

Country Link
JP (1) JP6645245B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019123890A1 (en) 2017-12-18 2019-06-27 Ricoh Company, Ltd. Image processing apparatus, image processing system, image processing method, and recording medium
WO2020070801A1 (en) * 2018-10-02 2020-04-09 マクセル株式会社 Information processing device
US10893217B2 (en) 2017-12-28 2021-01-12 Canon Kabushiki Kaisha Electronic apparatus and method for clipping a range out of a wide field view image
US10893216B2 (en) 2017-12-28 2021-01-12 Canon Kabushiki Kaisha Electronic apparatus and method for controlling same
US11013148B2 (en) 2018-07-24 2021-05-18 Ricoh Company, Ltd. Imaging apparatus
US11128814B2 (en) 2018-11-30 2021-09-21 Vecnos Inc. Image processing apparatus, image capturing apparatus, video reproducing system, method and program
US11597639B2 (en) 2019-03-20 2023-03-07 Ricoh Company, Ltd. Transport apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7025042B2 (en) * 2019-12-26 2022-02-24 株式会社ザクティ Spherical image generation method, spherical image generation and display method, spherical image generation system program, and spherical image generation and display system program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03190380A (en) * 1989-12-19 1991-08-20 Sharp Corp Image pickup camera
JP2012119804A (en) * 2010-11-30 2012-06-21 Canon Inc Image recorder
JP2013214947A (en) * 2012-03-09 2013-10-17 Ricoh Co Ltd Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03190380A (en) * 1989-12-19 1991-08-20 Sharp Corp Image pickup camera
JP2012119804A (en) * 2010-11-30 2012-06-21 Canon Inc Image recorder
JP2013214947A (en) * 2012-03-09 2013-10-17 Ricoh Co Ltd Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019262B2 (en) 2017-12-18 2021-05-25 Ricoh Company, Ltd. Omnidirectional moving image processing apparatus, system, method, and recording medium
CN111480176B (en) * 2017-12-18 2023-08-18 株式会社理光 Image processing apparatus, image processing system, image processing method, and recording medium
KR20200087816A (en) 2017-12-18 2020-07-21 가부시키가이샤 리코 Image processing apparatus, image processing system, image processing method and recording medium
CN111480176A (en) * 2017-12-18 2020-07-31 株式会社理光 Image processing apparatus, image processing system, image processing method, and recording medium
WO2019123890A1 (en) 2017-12-18 2019-06-27 Ricoh Company, Ltd. Image processing apparatus, image processing system, image processing method, and recording medium
US10893217B2 (en) 2017-12-28 2021-01-12 Canon Kabushiki Kaisha Electronic apparatus and method for clipping a range out of a wide field view image
US10893216B2 (en) 2017-12-28 2021-01-12 Canon Kabushiki Kaisha Electronic apparatus and method for controlling same
US11013148B2 (en) 2018-07-24 2021-05-18 Ricoh Company, Ltd. Imaging apparatus
JPWO2020070801A1 (en) * 2018-10-02 2021-09-02 マクセル株式会社 Information processing device
JP7231643B2 (en) 2018-10-02 2023-03-01 マクセル株式会社 Information processing equipment
WO2020070801A1 (en) * 2018-10-02 2020-04-09 マクセル株式会社 Information processing device
US11733039B2 (en) 2018-10-02 2023-08-22 Maxell, Ltd. Information processing apparatus
US11128814B2 (en) 2018-11-30 2021-09-21 Vecnos Inc. Image processing apparatus, image capturing apparatus, video reproducing system, method and program
US11597639B2 (en) 2019-03-20 2023-03-07 Ricoh Company, Ltd. Transport apparatus

Also Published As

Publication number Publication date
JP6645245B2 (en) 2020-02-14

Similar Documents

Publication Publication Date Title
JP6645245B2 (en) Spherical shooting system
JP7039691B2 (en) Image stabilization method for panoramic images, devices and mobile terminals
JP4926920B2 (en) Anti-shake image processing apparatus and anti-shake image processing method
JP6098874B2 (en) Imaging apparatus and image processing apparatus
JP6128389B2 (en) Imaging device
KR101707600B1 (en) Applying video stabilization to a multimedia clip
US10404915B1 (en) Method and system for panoramic video image stabilization
JP6030032B2 (en) Sound processing apparatus, sound processing method, and sound processing program
CN107113376A (en) A kind of image processing method, device and video camera
CN103985103A (en) Method and device for generating panoramic picture
CN106791360A (en) Generate the method and device of panoramic video
WO2016187411A1 (en) Systems and methods for storing images and sensor data
JP2014068336A (en) Imaging apparatus and image processing device
JP7031280B2 (en) Image processing equipment, image processing systems and programs
CN106231192B (en) A kind of image-pickup method and device
JP7025042B2 (en) Spherical image generation method, spherical image generation and display method, spherical image generation system program, and spherical image generation and display system program
TWI680005B (en) Movement tracking method and movement tracking system
WO2018143360A1 (en) Relative position detection system and image display system
US11128814B2 (en) Image processing apparatus, image capturing apparatus, video reproducing system, method and program
CN114390186A (en) Video shooting method and electronic equipment
JP6725106B2 (en) Imaging device
JP2020096349A (en) Image processing device, imaging device, moving image reproduction system, method, and program
JP6852878B2 (en) Image processing equipment, image processing program and image processing method
JP2015095670A (en) Imaging apparatus, control method thereof and control program
JP7240241B2 (en) Imaging device and its control method, attitude angle calculation device, program, storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191223

R150 Certificate of patent or registration of utility model

Ref document number: 6645245

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250