JP2017147682A - Imaging system for entire celestial sphere - Google Patents
Imaging system for entire celestial sphere Download PDFInfo
- Publication number
- JP2017147682A JP2017147682A JP2016029932A JP2016029932A JP2017147682A JP 2017147682 A JP2017147682 A JP 2017147682A JP 2016029932 A JP2016029932 A JP 2016029932A JP 2016029932 A JP2016029932 A JP 2016029932A JP 2017147682 A JP2017147682 A JP 2017147682A
- Authority
- JP
- Japan
- Prior art keywords
- omnidirectional
- image
- correction amount
- imaging
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 105
- 238000012937 correction Methods 0.000 claims abstract description 80
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 abstract description 9
- 239000013598 vector Substances 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、全方位を撮影可能な全天球撮影システムに関するものであり、より具体的には、水平方向の振れを抑えることのできる全天球撮影システムに関するものである。 The present invention relates to an omnidirectional imaging system capable of imaging all directions, and more specifically to an omnidirectional imaging system capable of suppressing horizontal shake.
撮像装置を用いて得られた動画像やスチル画像を撮影し、全天球(全方位)に合成する全天球撮影システムが知られている。このシステムでは、撮像装置に複数の撮像手段を具え、撮像手段で撮影された個々の撮影画像に歪み補正を行ないつつ、これらを合成することによりモニター等で表示可能な略矩形の全天球画像を生成している。 2. Description of the Related Art An omnidirectional imaging system that captures a moving image or a still image obtained by using an imaging apparatus and synthesizes the omnidirectional sphere (omnidirectional) is known. In this system, the imaging apparatus includes a plurality of imaging units, and performs correction of distortion on individual captured images captured by the imaging unit and combines them to display a substantially rectangular spherical image that can be displayed on a monitor or the like. Is generated.
撮像装置の姿勢が変化すると、生成される全天球画像も姿勢に合わせて変化するから、全天球画像は視認性に欠ける画像となってしまう。 When the orientation of the imaging device changes, the generated omnidirectional image also changes in accordance with the orientation, so that the omnidirectional image becomes an image lacking visibility.
そこで、特許文献1では、撮像装置の鉛直方向に対する傾きを検出するセンサーを具え、センサーによって検出された撮像装置の傾きに応じて、撮影画像をグローバル座標に補正した全天球画像に変換する撮像システムを提案している。 Therefore, in Patent Literature 1, a sensor that detects the tilt of the imaging device with respect to the vertical direction is provided, and the captured image is converted into an omnidirectional image corrected to global coordinates according to the tilt of the imaging device detected by the sensor. A system is proposed.
上記のように、全天球撮影画像をグローバル座標に変換することで、鉛直方向に対する傾きを補正した変換画像を作成している。しかしながら、鉛直方向に対する傾きを補正するのみでは、水平方向の回転(鉛直方向の軸周りの回転)が補正されず、視認性に欠ける画像となる。たとえば、撮像装置をユーザーの頭部に装着して自転車に乗りながら動画撮影を行なうような場合、鉛直方向に対する傾きは補正されるが、水平方向の回転揺れが残ってしまうため、視認性に欠ける動画となる。 As described above, a converted image in which the inclination with respect to the vertical direction is corrected is created by converting the omnidirectional image to global coordinates. However, only by correcting the inclination with respect to the vertical direction, the rotation in the horizontal direction (rotation around the axis in the vertical direction) is not corrected, and the image lacks visibility. For example, when taking a video while wearing an imaging device on the user's head and riding a bicycle, the tilt with respect to the vertical direction is corrected, but the horizontal rotation still remains, resulting in lack of visibility. It becomes a video.
本発明の目的は、視認性を高めつつ、臨場感に溢れる全天球画像を作成できる全天球撮影システムを提供することである。 The objective of this invention is providing the omnidirectional imaging | photography system which can produce the omnidirectional image full of presence, improving visibility.
本発明に係る全天球撮影システムは、
画像データを出力する複数の撮像手段と、
前記複数の撮像手段の少なくとも1の撮像手段の姿勢情報を検出する姿勢検出手段と、
前記画像データを前記姿勢検出手段により出力された前記姿勢情報に基づいて座標変換した全天球画像を生成する制御手段と、
を具え、
前記制御手段は、前記画像データについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは微小揺れ成分を除いた補正による座標変換を行なって全天球画像を生成する。
The omnidirectional imaging system according to the present invention is:
A plurality of imaging means for outputting image data;
Attitude detection means for detecting attitude information of at least one imaging means of the plurality of imaging means;
Control means for generating an omnidirectional image obtained by coordinate-transforming the image data based on the attitude information output by the attitude detection means;
With
The control means generates an omnidirectional image for the image data by performing a tilt correction with respect to the vertical direction in the global coordinates and a coordinate conversion by correcting the global coordinates in the horizontal plane by removing a minute shake component.
前記複数の撮像手段によって撮影された画像データから全天球フレームデータを作成する画像合成部と、
前記姿勢検出手段から前記少なくとも1の撮像手段の姿勢情報に基づいて、前記全天球フレームデータの座標を変換する補正量データを作成する補正量算出部と、
前記全天球フレームデータと前記補正量データを関連付けて全天球画像を得る関連付け手段と、
を具え、
前記補正量算出部は、前記全天球フレームデータについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは微小揺れ成分を除いた補正を行なう補正量データを作成する構成とすることができる。
An image synthesis unit that creates omnidirectional frame data from image data captured by the plurality of imaging means;
A correction amount calculation unit that generates correction amount data for converting coordinates of the omnidirectional frame data based on posture information of the at least one imaging unit from the posture detection unit;
Association means for associating the omnidirectional frame data and the correction amount data to obtain an omnidirectional image;
With
The correction amount calculation unit creates correction amount data for performing correction of tilt correction with respect to the vertical direction in global coordinates and correction in the global coordinate in a horizontal plane excluding a minute shake component for the omnidirectional frame data. It can be.
前記姿勢情報は、前記撮像手段を基準とした互いに直交するx軸、y軸及びz軸を含むローカル座標と、互いに直交するX軸、Y軸及び鉛直方向のZ軸を含むグローバル座標との間の回転変位量を表す情報であって、
前記補正量算出部は、前記姿勢情報に基づいて前記全天球フレームデータの座標を、前記グローバル座標に補正するためのグローバル座標補正量を補正量データとして作成し、前記グローバル座標補正量は、全天球フレームデータの鉛直方向に対する傾きを補正し、鉛直方向軸周りの回転に対しては揺れの高周波成分のみを補正する補正量とすることができる。
The posture information is between local coordinates including x-axis, y-axis, and z-axis that are orthogonal to each other with respect to the imaging means, and global coordinates including X-axis, Y-axis, and vertical Z-axis that are orthogonal to each other. Information representing the amount of rotational displacement of
The correction amount calculation unit creates, as correction amount data, a global coordinate correction amount for correcting the coordinates of the omnidirectional frame data to the global coordinates based on the posture information, and the global coordinate correction amount is: The inclination of the omnidirectional frame data with respect to the vertical direction can be corrected, and a correction amount for correcting only the high-frequency component of the shaking with respect to the rotation around the vertical axis can be obtained.
前記関連付け手段は、前記補正量データを前記全天球フレームデータのヘッダ情報として関連付けることができる。 The association means may associate the correction amount data as header information of the omnidirectional frame data.
前記撮像手段は、動画像を撮影し、
前記補正量算出部は、前記姿勢検出手段から入力される1フレーム前の全天球フレームデータの姿勢情報に基づいて補正量データを作成することができる。
The imaging means captures a moving image,
The correction amount calculation unit can create correction amount data based on posture information of omnidirectional frame data one frame before input from the posture detection means.
また、本発明の全天球撮影システムは、
複数の撮像手段と、
前記複数の撮像手段の少なくとも1の撮像手段の姿勢情報を検出する姿勢検出手段と、
前記複数の撮像手段の出力である画像データと、
前記姿勢検出手段の出力である姿勢検出信号に基づいて画像信号を生成して表示する制御手段と、
を具え、
互いに直交するX軸、Y軸及び鉛直方向のZ軸を含むグローバル座標に対し、
前記複数の撮像手段をX軸方向に第1の角度だけ回転して撮影することにより生成した第1の画像信号、
前記複数の撮像手段をY軸方向に前記第1の角度だけ回転して撮影することにより生成した第2の画像信号、
前記複数の撮像手段をZ軸方向に前記第1の角度だけ回転して撮影することにより生成した第3の画像信号、
から前記制御手段で画像信号を生成して表示したとき、
前記制御手段は、前記第1の画像信号及び第2の画像信号は略回転動きのない画像を表示し、前記第3の画像信号は略前記第1の角度の回転動きのある画像を表示する。
In addition, the omnidirectional imaging system of the present invention,
A plurality of imaging means;
Attitude detection means for detecting attitude information of at least one imaging means of the plurality of imaging means;
Image data that is the output of the plurality of imaging means;
Control means for generating and displaying an image signal based on an attitude detection signal which is an output of the attitude detection means;
With
For global coordinates including the X-axis, Y-axis, and vertical Z-axis that are orthogonal to each other,
A first image signal generated by rotating the plurality of imaging units by a first angle in the X-axis direction;
A second image signal generated by photographing the plurality of imaging means by rotating by the first angle in the Y-axis direction;
A third image signal generated by photographing the plurality of imaging means by rotating the first imaging unit in the Z-axis direction by the first angle;
When the image signal is generated and displayed by the control means,
The control means displays the image having substantially no rotational movement as the first image signal and the second image signal, and displays the image having rotational movement at the substantially first angle as the third image signal. .
本発明の全天球撮影システムによれば、画像データから作成される全天球画像は、鉛直方向が補正されていることは勿論、撮像手段の水平面内の回転に追従するから臨場感に溢れ、水平面内における微小な振動である手振れも補正されているから視認性にもすぐれる画像とすることができる。 According to the omnidirectional imaging system of the present invention, the omnidirectional image created from the image data is not only corrected in the vertical direction, but also follows the rotation in the horizontal plane of the imaging means, so it is full of realism. Further, since the camera shake, which is a minute vibration in the horizontal plane, is also corrected, an image having excellent visibility can be obtained.
以下、本発明の全天球撮影システム10について、図面を参照しながら説明を行なう。
Hereinafter, the
本発明は、全天球(全方位)を撮像し、得られた画像を全天球フレームデータに変換して全天球画像を得る全天球撮影システム10において、撮像装置20の姿勢に関わらず、作成される全天球画像を鉛直方向に合わせて変換すると共に、水平方向については撮像装置20の姿勢に合わせて回転方向に追従した補正を行ないつつ、水平方向の全天球画像のぶれ(手振れ)を小さくする揺れ補正を行なうものである。これにより、臨場感に富みつつ、視認性の高い全天球画像を提供するものである。
The present invention relates to the attitude of an
図1は、本発明の一実施形態を示す全天球撮影システム10のブロック図、図2は、撮像装置20の外観概略図である。なお、図1は、本発明を判り易く説明するために、本発明に関連する機能ブロックのみを描いているが、これらは、CPU、RAM、ROM、フラッシュメモリーなどのメモリー、バッファ、これらに記録された各種プログラム等の連繋によって実現することができる。これら機能ブロックがハードウェアのみ、ソフトウエアのみ又はこれらの組合せによって実現可能であり、これら機能どうしは無線、有線によって通信可能に接続できることは当然理解されるべきである。また、これら機能は、1の装置によって実現することもできるし、たとえば撮像と表示など複数の機能を複数の装置によって個別に実現したシステムとすることもできる。
FIG. 1 is a block diagram of an
全天球撮影システム10は、撮像手段として、1又は複数のイメージセンサー22,22(撮像素子)を具える。イメージセンサー22,22は、たとえばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサーであって、光学レンズ24,24が装着される。光学レンズ24は、広角レンズや超広角レンズ、又は、複数のレンズ群から構成することができ、イメージセンサー22,22によって全天球の画像データの取得が可能となっている。
The
たとえば、イメージセンサー22,22が2つの場合、光学レンズ24,24は、180°以上の画角を撮影できる広角レンズまたは超広角レンズを採用し、図2に示すように、イメージセンサー22,22は、撮像装置20の正面側と背面側が撮影可能になるように配置する。
For example, when there are two
イメージセンサー22,22から逐次出力される画像データは、制御手段11に送信される。制御手段11は、たとえば、図1に示すように、画像合成部30、姿勢算出部50、補正量算出部60、関連付け手段70、メモリー80及び表示機器82を含む構成とすることができる。
Image data sequentially output from the
イメージセンサー22,22から出力された画像データは、画像合成部30に送信され、順次歪み補正及び合成を行なうことで、全天球フレームデータが作成される。たとえば、画像合成部30は、得られた画像データの歪み補正を行なって、正距円筒画像からなる全天球フレームデータを作成する。作成された全天球フレームデータは、後述する関連付け手段70に送信される。
The image data output from the
一方、撮像装置20の姿勢情報、すなわち、撮像装置20のグローバル座標に対する傾きや回転は、姿勢検出手段40によって所定のサンプリング周期で検出され、姿勢算出部50にて演算される。
On the other hand, the posture information of the
たとえば、姿勢検出手段40は、図1に示すように、角速度センサー42と加速度センサー44とすることができる。また、姿勢検出手段40は、これらセンサーと共に、方位センサーを含む構成としてもよい。
For example, the posture detection means 40 can be an
姿勢情報として、図3に示すように、撮像装置20を基準とした互いに直交するx軸、y軸及びz軸を含むローカル座標と、互いに直交するX軸、Y軸及び鉛直方向のZ軸を含むグローバル座標との関係で例示することができる。ローカル座標のy軸は、何れか1のイメージセンサー22の光軸に一致するよう設定し、ローカル座標の原点は、イメージセンサー22,22間の中央に設定している。なお、図3中、Z軸は、グローバル座標の鉛直方向(重力方向)を示している。
As posture information, as shown in FIG. 3, local coordinates including an x-axis, a y-axis, and a z-axis that are orthogonal to each other with respect to the
姿勢検出手段40として、角速度センサー42と加速度センサー44を採用した場合、図3に示すように、撮像装置20のx軸、y軸及びz軸に対し、角速度センサー42からは、撮像装置20のローカル座標の各軸周りの回転角速度(gx,gy,gz)が出力され、加速度センサー44からは、重力加速度を撮像装置20のローカル座標の各軸方向に分解した各軸方向の重力加速度成分(ax,ay,az)が出力される。
When the
姿勢算出部50は、センサー42,44から得られた出力(回転角速度と重力加速度成分)に基づいて、撮像装置20の姿勢情報を算出する。姿勢情報は、たとえば、グローバル座標上での撮像装置20の姿勢を表わすクオータニオン(四元数)を用いて表現することができる。クオータニオンqは、4変数q0,q1,q2,q3と基底ベクトルi,j,kを用いて以下で定義することができる。
The
q=q0+q1i+q2j+q3k
i2=j2=k2=ijk=−1
ij=−ji=k,jk=−kj=i,ki=−ik=j
q = q 0 + q 1 i + q 2 j + q 3 k
i 2 = j 2 = k 2 = ijk = −1
ij = -ji = k, jk = -kj = i, ki = -ik = j
ここで、クオータニオンqの4変数q0,q1,q2,q3は次式で与えることができる。
q0=cos(θ/2)
q1=nx・sin(θ/2)
q2=ny・sin(θ/2)
q3=nz・sin(θ/2)
nx2+ny2+nz2=1
Here, the four variables q 0 , q 1 , q 2 , q 3 of the quaternion q can be given by the following equations.
q 0 = cos (θ / 2)
q 1 = nx · sin (θ / 2)
q 2 = ny · sin (θ / 2)
q 3 = nz · sin (θ / 2)
nx 2 + ny 2 + nz 2 = 1
なお、上記式中、nx、ny、nzは、図4に示すように、グローバル座標上での方向ベクトル(nx,ny,nz)であり、θは、方向ベクトル周りの回転角を表わしている。 In the above formula, nx, ny, and nz are direction vectors (nx, ny, nz) on global coordinates as shown in FIG. 4, and θ represents a rotation angle around the direction vector. .
このとき、ローカル座標上での撮像装置20の姿勢ベクトルpとグローバル座標上での姿勢ベクトルPの関係は、次式で定義される。
P=R・p
ここで、Rは3×3の回転行列であり、クオータニオンqから次式で算出される。
At this time, the relationship between the orientation vector p of the
P = R ・ p
Here, R is a 3 × 3 rotation matrix, and is calculated by the following equation from the quarteranion q.
撮像装置20の1つのイメージセンサーの光軸方向をローカル座標系のy軸方向に設定すると、撮像装置20の光軸方向ベクトルはp=[0,1,0]Tで表される。このとき、撮像装置20の姿勢クオータニオンをqcとすると、撮像装置のグローバル座標系における姿勢ベクトルPは次式で算出されることになる。
P=Rc・p
When the optical axis direction of one image sensor of the
P = Rc · p
これにより、撮像装置20のローカル座標(x,y,z)の姿勢角度(傾きと回転角度)は、グローバル座標(X,Y,Z)で定義される。角速度センサー42及び加速度センサー44の出力から撮像装置20のクオータニオンqcを算出する手法は、種々の方法を採用できる。また、姿勢情報は、クオータニオンqc以外で算出しても構わない。
Thereby, the attitude angle (tilt and rotation angle) of the local coordinates (x, y, z) of the
姿勢算出部50にて算出された撮像装置20の姿勢情報(クオータニオンqc)は、補正量算出部60に送信される。補正量算出部60は、全天球フレームデータの座標をグローバル座標に補正する補正量(クオータニオンqs)を算出する。ここで算出される補正量は、撮像装置20の鉛直方向を示すZ軸に対する傾きは完全に補正し、鉛直方向を示すZ軸周り、すなわち、グローバル座標における水平面内での揺れに対しては、微小揺れ成分を除いた補正を行なうための補正量データを作成する手段である。
The posture information (quartanion qc) of the
補正量算出部60は、たとえば、図1に示すように、遅延保持部61、回転角度抽出部62、ローパスフィルター63、座標変換部64及び座標乗算部65から構成することができる。
As shown in FIG. 1, for example, the correction
補正量算出部60に入力された姿勢情報は、座標乗算部65に送信されると共に、遅延保持部61に送信される。
The posture information input to the correction
遅延保持部61は、入力された座標情報について、前サンプリング時間t−1のクオータニオンqc(t−1)を保持する。
The
そして、回転角度抽出部62は、クオータニオンqc(t−1)から、グローバル座標のZ軸周りの回転角度θZを算出する。たとえば、回転角度θZは、クオータニオンqc(t−1)をオイラー角Rzxyに変換し、得られたオイラー角Rzxyから算出することができる。
Then, the rotation
図5(a)は、算出された回転角度θZの波形Wの一例を示している。図5(a)を参照すると、回転角度θZは、低周波成分に高周波成分が重畳した波形であることがわかる。このような波形Wは、たとえば、ユーザーが撮像装置20を頭部に取り付けて、自転車に乗りながら撮影を行なうような場合、自転車の進行方向を変えたりユーザーが頭部を水平面内で動かした場合に検出される。
FIGS. 5 (a) shows an example of the rotation angle theta Z waveform W calculated. Referring to FIG. 5 (a), the rotation angle theta Z is found to be in the low-frequency component is a waveform the high frequency component is superimposed. Such a waveform W is obtained when, for example, the user attaches the
波形W中の高周波成分は、撮像装置20のグローバル座標における水平面内での微小な振動、すなわち、手振れや振動などのユーザーが意図していない微小揺れ成分である。
High-frequency components in the waveform W are minute vibrations in the horizontal plane in the global coordinates of the
一方、波形W中の低周波成分は、撮像装置20自体の向きを変えたときに検出される。すなわち、上記例において、ユーザーが自転車の進行方向を変えたり頭部を水平面内で動かした場合に検出される意図的な向きの変化を意味する。
On the other hand, the low frequency component in the waveform W is detected when the direction of the
本発明では、臨場感を保持するために、撮像装置20の向きに追従すべく低周波成分の揺れを残し、視認性の低下を招く高周波成分の揺れを除去することで、Z軸周りの座標補正を行なう。
In the present invention, in order to maintain a sense of reality, the low-frequency component fluctuation is left to follow the direction of the
具体的には、回転角度抽出部62で算出された回転角度θZをローパスフィルター63に通して高周波成分を除去し、低周波成分のみとした回転角度θZ_lpfを作成する。図5(b)にローパスフィルター63を通過して得られた回転角度θZ_lpfの波形を示す。
Specifically, the rotation angle θ Z calculated by the rotation
回転角度θZ_lpfの波形wには、手振れ等の高周波成分が除去されているから、回転角度θZ_lpfは、撮像装置20の意図的な向きの変化のみを含むZ軸周りの姿勢量となる。
The rotation angle theta Z_lpf waveform w, since high-frequency components such as hand shake is removed, the rotation angle theta Z_lpf is a posture amount around the Z-axis including only the intended orientation change of the
座標変換部64は、得られた回転角度θZ_lpfから、撮像装置20のZ軸周りの回転量を減衰させる減衰量を算出する。たとえば、次式で示すように、回転角度θZ_lpfの符号を反転してクオータニオンを算出する。このクオータニオンをセンタリングクオータニオンqdと称する。
qd0=cos(−θz_lpf/2)
qd1=0
qd2=0
qd3=sin(−θz_lpf/2)
The coordinate
qd 0 = cos (−θ z_lpf / 2)
qd 1 = 0
qd 2 = 0
qd 3 = sin (−θ z_lpf / 2)
そして、上記回転角度θZ_lpfを反映したセンタリングクオータニオンqdを、撮像装置20の姿勢情報となるグローバル座標補正量(クオータニオンqc(t))に適用することで、グローバル座標の水平面内における微小な振動、すなわち、手振れを抑えつつ、撮像装置20の向きに追従した姿勢情報の補正量データを得ることができる。
Then, by applying the centering quaternion qd reflecting the rotation angle θ Z_lpf to the global coordinate correction amount (quartanion qc (t)) serving as the attitude information of the
上記演算は、座標乗算部65にて実施する。座標乗算部65は、現サンプリング時間tのグローバル座標補正量(クオータニオンqc(t))に算出されたセンタリングクオータニオンqdを乗算し、全天球画像に適用される補正量データとなる姿勢補正量クオータニオンqsを算出する。
qs=qd*qc(t)
ここで、*はクオータニオン乗算を表し、各要素を用いて次式で定義される。
qs0=qd0・qc0−qd1・qc1−qd2・qc2−qd3・qc3
qs1=qd0・qc1+qd1・qc0+qd2・qc3−qd3・qc2
qs2=qd0・qc2−qd1・qc3+qd2・qc0+qd3・qc1
qs3=qd0・qc3+qd1・qc2−qd2・qc1+qd3・qc0
The calculation is performed by the coordinate
qs = qd * qc (t)
Here, * represents a quarteranion multiplication and is defined by the following equation using each element.
qs 0 = qd 0 · qc 0 −qd 1 · qc 1 −qd 2 · qc 2 −qd 3 · qc 3
qs 1 = qd 0 · qc 1 + qd 1 · qc 0 + qd 2 · qc 3 −qd 3 · qc 2
qs 2 = qd 0 · qc 2 −qd 1 · qc 3 + qd 2 · qc 0 + qd 3 · qc 1
qs 3 = qd 0 · qc 3 + qd 1 · qc 2 −qd 2 · qc 1 + qd 3 · qc 0
得られた補正量データ(姿勢補正量クオータニオンqs)は、関連付け手段70に送信される。 The obtained correction amount data (posture correction amount quota qs) is transmitted to the association means 70.
関連付け手段70では、画像合成部30で作成された現サンプリング時間tにおける全天球フレームデータと、補正量データの関連づけを行なう。補正量データは、本実施形態では、上記のとおり、現サンプリング時間tにおけるグローバル座標補正量を前サンプリング時間t−1におけるセンタリングクオータニオンqdで補正した姿勢補正量クオータニオンqsである。関連付け手段70は、たとえば、全天球フレームデータのヘッダ情報に補正量データを書き込むことでこれらの関連付けを行なうことができる。この関連付けによって作成された画像を全天球画像と称する。
The associating
得られた全天球画像は、図1に示すように、メモリー80などの記録媒体や外部ストレージに転送されて記憶することができる。また、全天球画像をスルー画像として直接表示機器82に表示することもできる。
The obtained omnidirectional image can be transferred and stored in a recording medium such as a
表示機器82として、たとえば、デジタルカメラやスマートフォン、PDA(Personal Digital Assistant)などの携帯型電子機器、モニターなどを例示できる。この場合、表示機器82は、再生表示用のソフトやアプリケーションをインストールしておき、全天球画像のヘッダ情報から補正量データを読み出し、全天球フレームデータに補正量データを適用して、グローバル座標に変換する共ともに、水平面内での補正を行なって、全天球画像の表示を行なえばよい。
Examples of the
図6は、全天球フレームデータに補正量データを適用して得られる全天球画像の一例を示している。なお、図6では、本発明をより判り易く説明するために、時系列的に連続する2つの撮影画像、全天球フレームデータを重ねて表示している。 FIG. 6 shows an example of an omnidirectional image obtained by applying the correction amount data to the omnidirectional frame data. In FIG. 6, in order to explain the present invention more easily, two captured images that are continuous in time series and omnidirectional frame data are displayed in an overlapping manner.
図6(a)及び図6(b)は、イメージセンサー22,22によって夫々取得された画像データを示している。図に示すように、時系列的に連続する2つの撮影画像は、手振れによって被写体90が振れていることがわかる。
6A and 6B show image data acquired by the
画像合成部30は、これら画像データに歪み補正と合成を行ない、図6(c)に示すような正距円筒画像の如き全天球フレームデータを作成する。図6(c)では、図6(a)が中心となるように全天球フレームデータを作成している。図を参照すると、撮影画像の振れに伴い、全天球フレームデータ中の被写体90も振れていることがわかる。また、撮像装置20の傾きにより、全天球フレームデータの水平線92が傾斜している。
The
そして、得られた全天球フレームデータに補正量データを適用し、撮像装置20のローカル座標をグローバル座標補正量に基づいて鉛直方向に対する傾きを補正する(参考図6(d))と共に、鉛直方向について微小な振れを除去しつつ(参考図6(e))、撮像装置20のy軸方向を中心とする変換を施すことで、図6(f)に示すような全天球画像が作成される。図6(f)に示すように、得られた全天球画像は、全天球フレームデータ(図6(c))に対して、水平線92の傾斜の補正、撮像装置20のy軸方向を中心とする水平面内の回転補正、及び、水平面内における高周波成分の揺れの補正が行なわれていることがわかる。
Then, the correction amount data is applied to the obtained omnidirectional frame data, and the local coordinates of the
その結果、得られた全天球画像は、鉛直方向が補正されていることは勿論、撮像装置20の水平面内の比較的周波数の小さい大きな揺れ(回転)には追従するから臨場感に溢れ、水平面内における手振れ等の微小な揺れは補正されているからから視認性にもすぐれる画像となる。
As a result, the obtained omnidirectional image is not only corrected in the vertical direction, but also follows a large shake (rotation) with a relatively small frequency in the horizontal plane of the
なお、必要に応じて、図6(f)中一点鎖線で示すように、作成された全天球画像の所定範囲を切り出した画像に加工することもできる。 In addition, as shown by the dashed-dotted line in FIG.6 (f), it can also process into the image which cut out the predetermined range of the produced omnidirectional image as needed.
上記では変換の手順をわかりやすくするために、図6(c)〜図6(e)を含めているが、実際には、図6(c)に示す全天球フレームデータに補正量データを適用することで、図6(f)に示す全天球画像が直接作成される。 In the above, FIG. 6C to FIG. 6E are included for easy understanding of the conversion procedure, but actually, the correction amount data is added to the omnidirectional frame data shown in FIG. 6C. By applying, the omnidirectional image shown in FIG. 6F is directly created.
すなわち、本発明では、撮像手段20の姿勢の如何に拘わらず、撮像手段20がグローバル座標に対して水平面内での回転となるZ軸に対する回転に追従するが、水平面内以外の回転であるX軸方向、Y軸方向の回転には追従しないようにしている。従って、撮像手段20をX軸方向やY軸方向に所定角度(第1の角度)だけ回転して撮影して得られた第1の画像信号、第2の画像信号を表示機器にて表示したときには、水平面内では殆んど回転しないものとなる一方、撮像手段20をZ軸に所定角度(第1の角度)だけ回転して撮影して得られた第3の画像信号は、その回転に追従して略所定角度の回転動きのある画像とすることができる。これら第1乃至第3の画像信号を切り出した画像についても同様である。
That is, in the present invention, regardless of the posture of the
<補正量算出のその他の方法>
上記実施形態では、一旦姿勢クオータニオンqをオイラー角Rzxyに変換し、Z軸周りの回転量θzを算出し、再度センタリングクオータニオンqdを算出しているが、姿勢クオータニオンqcから直接センタリングクオータニオンqdを算出しても構わない。例えば、姿勢クオータニオンqcの成分において、Z軸周りの回転を表す成分qzを
qz=qc0 2+qc3 2
で定義すると、qzが1に近い場合は、Z軸周りの回転が支配的になる。このとき、センタリングクオータニオンqdを
qd0=−k・qz・q0
qd1=0
qd2=0
qd3=(1−qd0 2)1/2
kは減衰係数(0<k<1)
としてセンタリングクオータニオンを算出しても構わない。
<Other methods for calculating the correction amount>
In the above embodiment, the posture quarteranion q is once converted into the Euler angle R zxy , the rotation amount θz around the Z axis is calculated, and the centering quarternion qd is calculated again. It doesn't matter. For example, in the component of the posture quarterion qc, the component q z representing the rotation around the Z axis is changed to q z = qc 0 2 + qc 3 2
When qz is close to 1, rotation around the Z axis is dominant. At this time, the centering quarteron qd is changed to qd 0 = −k · q z · q 0
qd 1 = 0
qd 2 = 0
qd 3 = (1-qd 0 2 ) 1/2
k is an attenuation coefficient (0 <k <1)
The centering quota can be calculated as follows.
上記説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或いは範囲を限縮するように解すべきではない。また、本発明の各部構成は、上記実施形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。 The above description is for explaining the present invention, and should not be construed as limiting the invention described in the claims or limiting the scope thereof. Further, the configuration of each part of the present invention is not limited to the above-described embodiment, and various modifications can be made within the technical scope described in the claims.
10 全天球撮影システム
11 制御手段
22 イメージセンサー(撮像手段)
30 画像合成部
40 姿勢検出手段
42 角速度センサー
44 加速度センサー
50 姿勢算出部
60 補正量算出部
62 回転角度抽出部
63 ローパスフィルター
64 座標変換部
65 座標乗算部
70 関連付け手段
10
30
Claims (6)
前記複数の撮像手段の少なくとも1の撮像手段の姿勢情報を検出する姿勢検出手段と、
前記画像データを前記姿勢検出手段により出力された前記姿勢情報に基づいて座標変換した全天球画像を生成する制御手段と、
を具え、
前記制御手段は、前記画像データについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは微小揺れ成分を除いた補正による座標変換を行なって全天球画像を生成する、
ことを特徴とする、全天球撮影システム。 A plurality of imaging means for outputting image data;
Attitude detection means for detecting attitude information of at least one imaging means of the plurality of imaging means;
Control means for generating an omnidirectional image obtained by coordinate-transforming the image data based on the attitude information output by the attitude detection means;
With
The control means generates an omnidirectional image for the image data by performing a tilt correction with respect to a vertical direction in global coordinates and a coordinate conversion by a correction in a horizontal plane in the global coordinates excluding a minute shake component.
An omnidirectional photographic system characterized by this.
前記姿勢検出手段から前記少なくとも1の撮像手段の姿勢情報に基づいて、前記全天球フレームデータの座標を変換する補正量データを作成する補正量算出部と、
前記全天球フレームデータと前記補正量データを関連付けて全天球画像を得る関連付け手段と、
を具え、
前記補正量算出部は、前記全天球フレームデータについて、グローバル座標における鉛直方向に対する傾き補正と、グローバル座標における水平面内での揺れは微小揺れ成分を除いた補正を行なう補正量データを作成する、
請求項1に記載の全天球撮影システム。 An image synthesis unit that creates omnidirectional frame data from image data captured by the plurality of imaging means;
A correction amount calculation unit that generates correction amount data for converting coordinates of the omnidirectional frame data based on posture information of the at least one imaging unit from the posture detection unit;
Association means for associating the omnidirectional frame data and the correction amount data to obtain an omnidirectional image;
With
The correction amount calculation unit creates correction amount data for the omnidirectional frame data to perform inclination correction with respect to a vertical direction in global coordinates and correction in a global coordinate in a horizontal plane excluding a minute vibration component.
The omnidirectional imaging system according to claim 1.
前記補正量算出部は、前記姿勢情報に基づいて前記全天球フレームデータの座標を、前記グローバル座標に補正するためのグローバル座標補正量を補正量データとして作成し、前記グローバル座標補正量は、全天球フレームデータの鉛直方向に対する傾きを補正し、鉛直方向軸周りの回転に対しては揺れの高周波成分のみを補正する補正量である、
請求項2に記載の全天球撮影システム。 The posture information is between local coordinates including x-axis, y-axis, and z-axis that are orthogonal to each other with respect to the imaging means, and global coordinates including X-axis, Y-axis, and vertical Z-axis that are orthogonal to each other. Information representing the amount of rotational displacement of
The correction amount calculation unit creates, as correction amount data, a global coordinate correction amount for correcting the coordinates of the omnidirectional frame data to the global coordinates based on the posture information, and the global coordinate correction amount is: It is a correction amount that corrects the inclination of the omnidirectional frame data with respect to the vertical direction and corrects only the high-frequency component of shaking for rotation around the vertical axis.
The omnidirectional imaging system according to claim 2.
請求項2又は請求項3に記載の全天球撮影システム。 The association means associates the correction amount data as header information of the omnidirectional frame data.
The omnidirectional imaging | photography system of Claim 2 or Claim 3.
前記補正量算出部は、前記姿勢検出手段から入力される1フレーム前の全天球フレームデータの姿勢情報に基づいて補正量データを作成する、
請求項2乃至請求項4の何れかに記載の全天球撮影システム。 The imaging means captures a moving image,
The correction amount calculation unit creates correction amount data based on posture information of omnidirectional frame data one frame before input from the posture detection means.
The omnidirectional imaging | photography system in any one of Claim 2 thru | or 4.
前記複数の撮像手段の少なくとも1の撮像手段の姿勢情報を検出する姿勢検出手段と、
前記複数の撮像手段の出力である画像データと、
前記姿勢検出手段の出力である姿勢検出信号に基づいて画像信号を生成して表示する制御手段と、
を具え、
互いに直交するX軸、Y軸及び鉛直方向のZ軸を含むグローバル座標に対し、
前記複数の撮像手段をX軸方向に第1の角度だけ回転して撮影することにより生成した第1の画像信号、
前記複数の撮像手段をY軸方向に前記第1の角度だけ回転して撮影することにより生成した第2の画像信号、
前記複数の撮像手段をZ軸方向に前記第1の角度だけ回転して撮影することにより生成した第3の画像信号、
から前記制御手段で画像信号を生成して表示したとき、
前記制御手段は、前記第1の画像信号及び第2の画像信号は略回転動きのない画像を表示し、前記第3の画像信号は略前記第1の角度の回転動きのある画像を表示する、
ことを特徴とする全天球撮影システム。 A plurality of imaging means;
Attitude detection means for detecting attitude information of at least one imaging means of the plurality of imaging means;
Image data that is the output of the plurality of imaging means;
Control means for generating and displaying an image signal based on an attitude detection signal which is an output of the attitude detection means;
With
For global coordinates including the X-axis, Y-axis, and vertical Z-axis that are orthogonal to each other,
A first image signal generated by rotating the plurality of imaging units by a first angle in the X-axis direction;
A second image signal generated by photographing the plurality of imaging means by rotating by the first angle in the Y-axis direction;
A third image signal generated by photographing the plurality of imaging means by rotating the first imaging unit in the Z-axis direction by the first angle;
When the image signal is generated and displayed by the control means,
The control means displays the image having substantially no rotational movement as the first image signal and the second image signal, and displays the image having rotational movement at the substantially first angle as the third image signal. ,
An omnidirectional photographic system characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016029932A JP6645245B2 (en) | 2016-02-19 | 2016-02-19 | Spherical shooting system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016029932A JP6645245B2 (en) | 2016-02-19 | 2016-02-19 | Spherical shooting system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019236527A Division JP7025042B2 (en) | 2019-12-26 | 2019-12-26 | Spherical image generation method, spherical image generation and display method, spherical image generation system program, and spherical image generation and display system program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017147682A true JP2017147682A (en) | 2017-08-24 |
JP6645245B2 JP6645245B2 (en) | 2020-02-14 |
Family
ID=59683259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016029932A Active JP6645245B2 (en) | 2016-02-19 | 2016-02-19 | Spherical shooting system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6645245B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019123890A1 (en) | 2017-12-18 | 2019-06-27 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image processing method, and recording medium |
WO2020070801A1 (en) * | 2018-10-02 | 2020-04-09 | マクセル株式会社 | Information processing device |
US10893217B2 (en) | 2017-12-28 | 2021-01-12 | Canon Kabushiki Kaisha | Electronic apparatus and method for clipping a range out of a wide field view image |
US10893216B2 (en) | 2017-12-28 | 2021-01-12 | Canon Kabushiki Kaisha | Electronic apparatus and method for controlling same |
US11013148B2 (en) | 2018-07-24 | 2021-05-18 | Ricoh Company, Ltd. | Imaging apparatus |
US11128814B2 (en) | 2018-11-30 | 2021-09-21 | Vecnos Inc. | Image processing apparatus, image capturing apparatus, video reproducing system, method and program |
US11597639B2 (en) | 2019-03-20 | 2023-03-07 | Ricoh Company, Ltd. | Transport apparatus |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7025042B2 (en) * | 2019-12-26 | 2022-02-24 | 株式会社ザクティ | Spherical image generation method, spherical image generation and display method, spherical image generation system program, and spherical image generation and display system program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03190380A (en) * | 1989-12-19 | 1991-08-20 | Sharp Corp | Image pickup camera |
JP2012119804A (en) * | 2010-11-30 | 2012-06-21 | Canon Inc | Image recorder |
JP2013214947A (en) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
-
2016
- 2016-02-19 JP JP2016029932A patent/JP6645245B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03190380A (en) * | 1989-12-19 | 1991-08-20 | Sharp Corp | Image pickup camera |
JP2012119804A (en) * | 2010-11-30 | 2012-06-21 | Canon Inc | Image recorder |
JP2013214947A (en) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11019262B2 (en) | 2017-12-18 | 2021-05-25 | Ricoh Company, Ltd. | Omnidirectional moving image processing apparatus, system, method, and recording medium |
CN111480176B (en) * | 2017-12-18 | 2023-08-18 | 株式会社理光 | Image processing apparatus, image processing system, image processing method, and recording medium |
KR20200087816A (en) | 2017-12-18 | 2020-07-21 | 가부시키가이샤 리코 | Image processing apparatus, image processing system, image processing method and recording medium |
CN111480176A (en) * | 2017-12-18 | 2020-07-31 | 株式会社理光 | Image processing apparatus, image processing system, image processing method, and recording medium |
WO2019123890A1 (en) | 2017-12-18 | 2019-06-27 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image processing method, and recording medium |
US10893217B2 (en) | 2017-12-28 | 2021-01-12 | Canon Kabushiki Kaisha | Electronic apparatus and method for clipping a range out of a wide field view image |
US10893216B2 (en) | 2017-12-28 | 2021-01-12 | Canon Kabushiki Kaisha | Electronic apparatus and method for controlling same |
US11013148B2 (en) | 2018-07-24 | 2021-05-18 | Ricoh Company, Ltd. | Imaging apparatus |
JPWO2020070801A1 (en) * | 2018-10-02 | 2021-09-02 | マクセル株式会社 | Information processing device |
JP7231643B2 (en) | 2018-10-02 | 2023-03-01 | マクセル株式会社 | Information processing equipment |
WO2020070801A1 (en) * | 2018-10-02 | 2020-04-09 | マクセル株式会社 | Information processing device |
US11733039B2 (en) | 2018-10-02 | 2023-08-22 | Maxell, Ltd. | Information processing apparatus |
US11128814B2 (en) | 2018-11-30 | 2021-09-21 | Vecnos Inc. | Image processing apparatus, image capturing apparatus, video reproducing system, method and program |
US11597639B2 (en) | 2019-03-20 | 2023-03-07 | Ricoh Company, Ltd. | Transport apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP6645245B2 (en) | 2020-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6645245B2 (en) | Spherical shooting system | |
JP7039691B2 (en) | Image stabilization method for panoramic images, devices and mobile terminals | |
JP4926920B2 (en) | Anti-shake image processing apparatus and anti-shake image processing method | |
JP6098874B2 (en) | Imaging apparatus and image processing apparatus | |
JP6128389B2 (en) | Imaging device | |
KR101707600B1 (en) | Applying video stabilization to a multimedia clip | |
US10404915B1 (en) | Method and system for panoramic video image stabilization | |
JP6030032B2 (en) | Sound processing apparatus, sound processing method, and sound processing program | |
CN107113376A (en) | A kind of image processing method, device and video camera | |
CN103985103A (en) | Method and device for generating panoramic picture | |
CN106791360A (en) | Generate the method and device of panoramic video | |
WO2016187411A1 (en) | Systems and methods for storing images and sensor data | |
JP2014068336A (en) | Imaging apparatus and image processing device | |
JP7031280B2 (en) | Image processing equipment, image processing systems and programs | |
CN106231192B (en) | A kind of image-pickup method and device | |
JP7025042B2 (en) | Spherical image generation method, spherical image generation and display method, spherical image generation system program, and spherical image generation and display system program | |
TWI680005B (en) | Movement tracking method and movement tracking system | |
WO2018143360A1 (en) | Relative position detection system and image display system | |
US11128814B2 (en) | Image processing apparatus, image capturing apparatus, video reproducing system, method and program | |
CN114390186A (en) | Video shooting method and electronic equipment | |
JP6725106B2 (en) | Imaging device | |
JP2020096349A (en) | Image processing device, imaging device, moving image reproduction system, method, and program | |
JP6852878B2 (en) | Image processing equipment, image processing program and image processing method | |
JP2015095670A (en) | Imaging apparatus, control method thereof and control program | |
JP7240241B2 (en) | Imaging device and its control method, attitude angle calculation device, program, storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6645245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |