[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6051835B2 - 映像出力装置、映像出力方法、及びプログラム - Google Patents

映像出力装置、映像出力方法、及びプログラム Download PDF

Info

Publication number
JP6051835B2
JP6051835B2 JP2012275651A JP2012275651A JP6051835B2 JP 6051835 B2 JP6051835 B2 JP 6051835B2 JP 2012275651 A JP2012275651 A JP 2012275651A JP 2012275651 A JP2012275651 A JP 2012275651A JP 6051835 B2 JP6051835 B2 JP 6051835B2
Authority
JP
Japan
Prior art keywords
branch
viewpoint position
line
sight direction
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012275651A
Other languages
English (en)
Other versions
JP2014120044A (ja
Inventor
孝博 松原
孝博 松原
河合 直樹
直樹 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2012275651A priority Critical patent/JP6051835B2/ja
Publication of JP2014120044A publication Critical patent/JP2014120044A/ja
Application granted granted Critical
Publication of JP6051835B2 publication Critical patent/JP6051835B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Description

本発明は、経路内を移動する視点位置における視線方向の映像を、経路に配置された全方位画像から切り出して出力する技術に関し、特に、分岐点を曲がる際に、視線方向の映像を滑らかに変化させる技術に関する。
近年、周囲360°の視界をもつ全方位画像(パノラマ画像)をシーケンスにして経路に配置し、このシーケンスが配置された経路内を、任意の視線方向を向きながら自由に移動して、ユーザの視野に応じたパノラマ画像を提供するパノラマ画像提供サービスが開発されている。
パノラマ画像提供サービスを利用したものとして、例えば、オンライン地図検索サービスがあり、非特許文献1はその一例である。非特許文献1は、ユーザがマップ上のある地点をクリックすると、その地点で撮影されたパノラマ画像を閲覧することができるというサービスを提供するサイトである。また、画面に表示される矢印をクリックすることで、ユーザはパノラマ写真内の先や手前などに視点を動かすことができる。
また、非特許文献2や非特許文献3では、撮影されたパノラマ画像を再生時に繋ぎ合せることによって、ユーザが視線方向を自由に変えながら移動しているような映像を閲覧することができる。
"GoogleStreet View"、[online]、Google,Inc、[平成24年10月17日検索]、インターネット <http://maps.google.co.jp/intl/ja/help/maps/streetview/ > "QuickTime VRを利用した動画パノラマVR(MotionVR of the Month 2006calendar)"、[online]、AppleComputer,Inc、[平成24年10月17日検索]、インターネット <http://www.worldinmotionvr.com/motionvr_month/calendar.html> "360VR(WEBコンテンツ集)"、[online]、360、[平成24年10月17日検索]、インターネット <http://unimoto.sakura.ne.jp/360vr/>
このようなシステムにおいて、空間内の経路が分岐点を含む場合、撮影される全方位画像のシーケンスは複数になり、分岐点において複数の全方位画像のシーケンスが接続することとなる。
非特許文献1では、経路上に分岐点が存在する場合は、分岐点となるポイントで次の移動先をユーザが選択することとなり、分岐前後で表示される画像間で連続性が無い。
非特許文献3では、経路上の分岐点では、次に移動可能な分岐先の動画像がリンク付けされているだけで、分岐前後で表示される映像間に連続性が無い。
なお、非特許文献2では、ユーザが移動できる範囲は予め設定されたルート上のみであり、経路上に分岐が存在しない。
一般に、空間内の経路の分岐点において、撮影時のカメラの向きが異なる2つの映像を連続して表示する場合、視線方向をカメラの向きとを合わせたり、分岐後の進路の角度変化に応じて視線方向を回転させることが考えられる。
しかし、この手法では、分岐点において視線方向の変化が生じ、人間が実空間で曲がる際の視線方向の変化ように、連続的に視線方向を曲げることができない。
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を全方位画像から切り出して出力する映像出力装置おいて、分岐点を曲がる際に、視線方向の映像を滑らかに変化させる技術を提供することである。
前述した課題を解決するために第1の発明は、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置であって、全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する記憶手段と、前記視点位置及び前記視線方向を、連続的に移動させる入力手段と、前記経路内の分岐点において、第1の経路から第2の経路へ移動する際の角度を算出する角度算出手段と、前記第1の経路の前記視点位置における前記視線方向を、算出した前記角度と当該視点位置とに基づいて算出する視線方向算出手段と、前記視点位置における前記視線方向の映像を、前記全方位画像から切り出して出力する出力手段と、を具備し、前記経路は、ノードと有向ブランチとから構成され、前記全方位画像のフレームからなるシーケンスは、前記有向ブランチごとに対応付けられ、前記視線方向算出手段は、前記第1のブランチの前記視点位置における前記視線方向を、前記角度算出手段が算出した角度と、前記第1のブランチにおける前記分岐点までの進行率との積とすることを特徴とする映像出力装置である。
第1の発明によって、経路内の分岐点において、第1の経路から第2の経路へ移動する際、第1の経路の視点位置における視線方向を、移動する際の角度と視点位置とに基づいて算出するので、全方位画像から切出す映像を滑らかに変化させることができ、高臨場感を演出することができる。
また、これによって、経路をノードと有向ブランチ(有向エッジ)とから構成される有向グラフとして表現でき、また、全方位画像のフレームからなるシーケンスを有向ブランチの方向に対応させることができる。
また、これによって、視点位置が分岐点へ向かって進む際に、視線方向を、分岐点において移動先のブランチの方向となるように、視点位置に応じて線形に変化させることができるので、視点位置における全方位画像から切出した視線方向の視野画像も滑らかに変化させることができ、高臨場感を演出することができる。
第2の発明は、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置であって、全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する記憶手段と、前記視点位置及び前記視線方向を、連続的に移動させる入力手段と、前記経路内の分岐点において、第1の経路から第2の経路へ移動する際の角度を算出する角度算出手段と、前記第1の経路の前記視点位置における前記視線方向を、算出した前記角度と当該視点位置とに基づいて算出する視線方向算出手段と、前記視点位置における前記視線方向の映像を、前記全方位画像から切り出して出力する出力手段と、を具備し、前記経路は、ノードと有向ブランチとから構成され、前記全方位画像のフレームからなるシーケンスは、前記有向ブランチごとに対応付けられ、さらに、前記第1のブランチにおける前記視点位置の第1の進行率を算出し、当該第1の進行率が閾値を最初に超える位置を基準位置とする判定手段を具備し、前記視線方向算出手段は、前記第1のブランチの前記基準位置から前記分岐点までの前記視点位置における前記視線方向を、前記角度算出手段が算出した角度と、前記基準位置から前記分岐点までの第2の進行率との積とすることを特徴とする映像出力装置である。
第2の発明によって、経路内の分岐点において、第1の経路から第2の経路へ移動する際、第1の経路の視点位置における視線方向を、移動する際の角度と視点位置とに基づいて算出するので、全方位画像から切出す映像を滑らかに変化させることができ、高臨場感を演出することができる。
また、これによって、経路をノードと有向ブランチ(有向エッジ)とから構成される有向グラフとして表現でき、また、全方位画像のフレームからなるシーケンスを有向ブランチの方向に対応させることができる。
また、これによって、視点位置が分岐点へ向かって進む際に、視線方向を、分岐点において移動先のブランチの方向となるように、基準位置から分岐点までの視点位置に応じて線形に変化させることができるので、視点位置における全方位画像から切出した視線方向の視野画像も、分岐点の手前から、滑らかに変化させることができ、高臨場感を演出することができる。
第1の発明の角度算出手段は、前記経路内の分岐点において、第1のブランチから第2のブランチへ移動する際の角度を、前記第1のブランチに対する前記第2のブランチのなす角として算出することが望ましい。
これによって、第1のブランチに対する第2のブランチのなす角に基づいて、視線方向を算出することができる。
の発明は、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力するコンピュータであって、全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する記憶手段、を備える前記コンピュータが、前記視点位置及び前記視線方向を、連続的に移動させる入力ステップと、前記経路内の分岐点において、第1の経路から第2の経路へ移動する際の角度を算出する角度算出ステップと、前記第1の経路の前記視点位置における前記視線方向を、算出した前記角度と当該視点位置とに基づいて算出する視線方向算出ステップと、前記視点位置における前記視線方向の映像を、前記全方位画像から切り出して出力する出力ステップと、を実行し、前記経路は、ノードと有向ブランチとから構成され、前記全方位画像のフレームからなるシーケンスは、前記有向ブランチごとに対応付けられ、前記視線方向算出ステップは、前記第1のブランチの前記視点位置における前記視線方向を、前記角度算出ステップが算出した角度と、前記第1のブランチにおける前記分岐点までの進行率との積とすることを特徴とする映像出力方法である。
第4の発明は、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力するコンピュータであって、全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する記憶手段、を備える前記コンピュータが、前記視点位置及び前記視線方向を、連続的に移動させる入力ステップと、前記経路内の分岐点において、第1の経路から第2の経路へ移動する際の角度を算出する角度算出ステップと、前記第1の経路の前記視点位置における前記視線方向を、算出した前記角度と当該視点位置とに基づいて算出する視線方向算出ステップと、前記視点位置における前記視線方向の映像を、前記全方位画像から切り出して出力する出力ステップと、を実行し、前記経路は、ノードと有向ブランチとから構成され、前記全方位画像のフレームからなるシーケンスは、前記有向ブランチごとに対応付けられ、さらに、前記第1のブランチにおける前記視点位置の第1の進行率を算出し、当該第1の進行率が閾値を最初に超える位置を基準位置とする判定ステップを実行し、前記視線方向算出ステップは、前記第1のブランチの前記基準位置から前記分岐点までの前記視点位置における前記視線方向を、前記角度算出ステップが算出した角度と、前記基準位置から前記分岐点までの第2の進行率との積とすることを特徴とする映像出力方法である。
の発明は、コンピュータを、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置として機能させるためのプログラムであって、コンピュータを、全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する記憶手段、前記視点位置及び前記視線方向を、連続的に移動させる入力手段、前記経路内の分岐点において、第1の経路から第2の経路へ移動する際の角度を算出する角度算出手段、前記第1の経路の前記視点位置における前記視線方向を、算出した前記角度と当該視点位置とに基づいて算出する視線方向算出手段、前記視点位置における前記視線方向の映像を、前記全方位画像から切り出して出力する出力手段、として機能させ、前記経路は、ノードと有向ブランチとから構成され、前記全方位画像のフレームからなるシーケンスは、前記有向ブランチごとに対応付けられ、前記視線方向算出手段は、前記第1のブランチの前記視点位置における前記視線方向を、前記角度算出手段が算出した角度と、前記第1のブランチにおける前記分岐点までの進行率との積とすることを特徴とするプログラムである。
第6の発明は、コンピュータを、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置として機能させるためのプログラムであって、コンピュータを、全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する記憶手段、前記視点位置及び前記視線方向を、連続的に移動させる入力手段、前記経路内の分岐点において、第1の経路から第2の経路へ移動する際の角度を算出する角度算出手段、前記第1の経路の前記視点位置における前記視線方向を、算出した前記角度と当該視点位置とに基づいて算出する視線方向算出手段、前記視点位置における前記視線方向の映像を、前記全方位画像から切り出して出力する出力手段、として機能させ、前記経路は、ノードと有向ブランチとから構成され、前記全方位画像のフレームからなるシーケンスは、前記有向ブランチごとに対応付けられ、さらに、前記第1のブランチにおける前記視点位置の第1の進行率を算出し、当該第1の進行率が閾値を最初に超える位置を基準位置とする判定手段を実行させ、前記視線方向算出手段は、前記第1のブランチの前記基準位置から前記分岐点までの前記視点位置における前記視線方向を、前記角度算出手段が算出した角度と、前記基準位置から前記分岐点までの第2の進行率との積とすることを特徴とするプログラムである。
本発明の映像出力装置によって、視点位置が分岐点へ向かって進む際に、視線方向を、分岐点において移動先のブランチの方向となるように、視点位置に応じて滑らかに変化させることができるので、視点位置における全方位画像から切出した視線方向の視野画像も滑らかに変化させることができ、高臨場感を演出することができる。
本実施形態に係る映像出力装置のハードウエア構成例を示すブロック図 本実施形態に係る視点位置が移動する施設内の例を示す平面図 映像出力装置が保持するデータ構造の例を示す図 全方位画像の例を示す図 ブランチと全方位画像のフレームからなるシーケンスとの対応関係を示す図 XY二次元座標上に表した経路の例を示す図 図6に示す経路をノード情報とブランチ情報に変換した例を示す図 第1実施形態に係る映像出力装置の視線方向転換処理のフローチャート 第1実施形態に係る映像出力装置の保持する保持データの例を示す図 視点位置が位置する対象ブランチにおける進行率等の模式図 ユーザ入力画面の例を示す図 入力用コントローラの例を示す図 対象ブランチに対する移動先ブランチの角度を説明する図 第1及び第2の進行率と視線方向との関係の例を示す図 第1実施形態に係る分岐点までの視線方向の変化の例を示す図 視点位置に応じた全方位画像から、視線方向の視野画像を切出す例を説明する図 第2実施形態に係る映像出力装置の視線方向転換処理のフローチャート(1) 第2実施形態に係る映像出力装置の視線方向転換処理のフローチャート(2) 第2実施形態に係る映像出力装置の保持する保持データの例を示す図 第2実施形態に係る分岐点までの視線方向の変化の例を示す図
以下図面に基づいて、本発明の実施形態を詳細に説明する。
図1は、本発明の実施形態に係る映像出力装置1を実現するコンピュータのハードウエア構成図である。コンピュータは、図1に示すように、例えば、制御部11、記憶部12、メディア入出力部13、通信制御部14、入力部15、表示部16、周辺機器I/F部17等が、バス18を介して接続されて構成される。
制御部11は、CPU(Central Processing Unit)、ROM(Read
Only Memory)、RAM(Random Access Memory)等により構成される。
CPUは、記憶部12、ROM、記憶媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス18を介して接続された各装置を駆動制御し、映像出力装置1が行う後述する処理を実現する。ROMは、不揮発性メモリであり、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持する。RAMは、揮発性メモリであり、ロードしたプログラムや、データ等を一時的に保持すると共に、制御部11が各処理を行うために使用するワークエリアを備える。
記憶部12は、HDD(Hard Disk Drive)等であり、制御部11が実行するプログラムや、プログラム実行に必要なデータ、OS(Operating
System)等が格納されている。これらのプログラムコードは、制御部11により必要に応じて読み出されてRAMに移され、CPUに読み出されて実行される。
メディア入出力部13は、例えば、CDドライブ、DVDドライブ、MOドライブ、フロッピー(登録商標)ディスクドライブ、等のメディア入出力装置であり、動画像等のデータの入出力を行う。
通信制御部14は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、他の装置間との通信制御を行う。
入力部15は、データ入力を行い、例えば、上下左右に動くレバーやボタンを備えたコントローラ(図9参照)、キーボード、マウスなどのポインティングデバイス、テンキーなどの入力装置を有する。入力されたデータを制御部11へ出力する。
表示部16は、例えば、CRTモニタ、液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路(ビデオアダプタ等)で構成され、制御部11の制御により入力された表示情報をディスプレイ装置上に表示させる。
尚、入力部15と表示部16は、それらの機能が一体化した、例えば、タッチパネル付ディスプレイであっても良い。
周辺機器I/F部(インターフェース)17は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器I/F部17を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器I/F部17は、USBやIEEE1394やRS−232C等で構成されており、通常複数の周辺機器I/Fを有する。周辺機器との接続形態は、有線、無線を問わない。
バス18は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
図2は、本実施形態に係る視点位置が移動する施設内の例を示す平面図である。
本実施形態に係る映像出力装置1は、このような施設内を有向グラフにモデル化した経路内を連続的に移動する視点位置から見た任意の視線方向の視野画像を、全方位画像から切り出して表示するものである。
例えば、図2に示される間取り20を有した施設内を、ユーザに提示する例について説明する。映像出力装置1は、予め撮影された施設内の映像を構成するフレーム画像を、ユーザにより入力された視点位置と視線方向に基づいて、動画として出力する。映像出力装置1は、ユーザに対して、視点位置と視線方向を自由に移動させながら施設内の映像を提示することで、実際に施設内を歩き回って見学しているような体験をさせることが可能となる。
図2に示されるように、間取り20内の経路は、ノード21とブランチ22によって構成される。ノード21は、経路の繋ぎ目であり、ブランチ22(一般には、エッジともいう。)は、ノード22とノード22とを接続する単位経路である。図2に示す例では、7個のノードN1〜N7と、6本のブランチB1〜B6とが定義されている。
各ブランチ22は、有向線分で表現され、各ブランチの矢印の向きは、矢印の起点が起点を表すのノード22(以下、起点ノードという。)であり、矢印の終点が終点を表すノード22(以下、終点ノードという。)であることを示す。即ち、ブランチは有向ブランチであり、起点ノードと終点ノードが特定されると、当該ブランチが特定されることとなる。ブランチの向きは、記憶部12に記憶される全方位画像を生成する際に、施設内を経路に沿って撮影した時の進行方向の向きである。
経路上のどの位置にノードを定義するかは、この装置のデータの設計者の判断に委ねられるが、一般的には、経路上の端点(行き止まり)、曲がり点(曲がり角を表す点)、分岐点にノードを定義する。図2に示す例では、N3、N4、N5、N7は経路上の端点を示すノードであり、N6は経路上の曲がり点を示すノードであり(以下、曲がり点ノード又は曲がり点という。)、N1、N2は経路上の分岐点を示すノード(以下、分岐点ノード又は分岐点という。)である。
図3は、映像出力装置1の記憶部12に記憶されるデータ構造の例について説明する図である。映像出力装置1の記憶部12には、(a)ノード情報25と、(b)ブランチ情報26と、(c)映像情報27とが記憶される。
(a)に示すノード情報25とは、視点位置が移動可能な経路上に存在する各ノードに関する情報であり、「ノードID」、「位置情報X」、「位置情報Y」、「属性」で構成される。
「位置情報X」及び「位置情報Y」とは、ノードの位置情報であり、ノードをXY二次元座標上に表した際の「X座標値」と「Y座標値」をそれぞれ格納する。ノード間の実際の距離は、ノード間の座標距離に実際の距離単位をかけることにより、算出することができる。
「属性」とは、ノードの経路上の次数であり、各ノードから派生するブランチの本数を示す値である。例えば、ノードが経路上の端点(行き止まり)にあれば「1」を格納し、ノードが経路上の曲がり点にあれば「2」を格納し、ノードが経路上の三叉路にあれば「3」を格納し、ノードが経路上の十字路にあれば「4」を格納する。即ち、「属性」に格納される値が「3」以上であるノードは、分岐点ノードであることを示す。
(b)に示すブランチ情報26とは、起点ノードと終点ノードとを繋ぐ各ブランチに関する情報であり、「ブランチID」、「起点ノード」、「終点ノード」、「映像ID」で構成される。
「起点ノード」には、ブランチの端点のうち撮影開始側のノードIDを格納し、「終点ノード」には、ブランチの端点のうち撮影終了側のノードIDを格納する。起点ノードから終点ノードに向かう方向を、ブランチの向きと定義する。「映像ID」には、ブランチに対応する全方位画像のシーケンスの映像IDを格納する。
(c)に示す映像情報27とは、各ブランチに対応する実際の施設内を撮影した全方位画像のシーケンスに関する情報であり、「映像ID」と、「画像データ」と、「フレーム数」で構成される。
「画像データ」には、全方位映像のシーケンスが格納される。図4に示すように、全方位画像50とは、ブランチ上の所定間隔の点に対応する実際の施設内の地点で、全方位カメラを用いて周囲を撮影した画像である。全方位画像のシーケンスとは、全方位画像をフレームとして、連続したフレームからなる画像データの列である。
この構造を図5に示す。図5に示すように、起点ノードN1と終点ノードN2とに対応する地点の間を一定速度で移動しながら全方位画像を撮影した場合、起点ノードN1と終点ノードN2との間の一定間隔の点N1、M1、M2、・・・、N2にそれぞれ対応する地点で、全方位画像50a、50b、50c、・・・、50iが撮影される。この各全方位画像をフレーム51として、これらのフレーム51をシーケンスにしたものが、ブランチ22(の映像ID)に対応する全方位画像のシーケンス52である。
図3に戻って、「フレーム数」には、全方位画像のシーケンスを構成するフレーム数が格納される。
図6は、本実施形態に係る経路をXY二次元座標上に表した例を示す図である。各ノードN1〜N4の符号に括弧書きで示した一対の座標は、当該ノードのX座標値とY座標値である。図示されるように、X軸に対してブランチB1のなす角度は0°であり、X軸に対してブランチB2がなす角度は反時計回りに60°であり、X軸に対してブランチB3がなす角度は反時計回りに−60°である。
図7は、図6に示す経路を記憶するノード情報25aとブランチ情報26aとを示す図である。
図7(a)に示すように、ノードN1の位置座標Xにはx1格納され、位置座標Yにはy1が格納され、属性にはノードN1から派生するブランチの本数である3が格納される。ノードN2の位置座標Xにはx2格納され、位置座標Yにはy1が格納され、属性にはノードN2から派生するブランチの本数である3が格納される。ノードN3の位置座標Xにはx3格納され、位置座標Yにはy3が格納され、属性にはノードN3から派生するブランチの本数である1が格納される。ノードN4の位置座標Xにはx4格納され、位置座標Yにはy4が格納され、属性にはノードN4から派生するブランチの本数である1が格納される。
図7(b)に示すように、ブランチB1の映像IDにはブランチB1に対応する映像IDであるA1が格納され、起点ノードにはN1が格納され、終点ノードにはN2が格納される。ブランチB2の映像IDにはブランチB2に対応する映像IDであるA2が格納され、起点ノードにはN2が格納され、終点ノードにはN3が格納される。ブランチB3の映像IDにはブランチB3に対応する映像IDであるA3が格納され、起点ノードにはN2が格納され、終点ノードにはN4が格納される。
[第1実施形態に係る映像出力装置の視線方向転換処理]
続いて、第1実施形態に係る視線方向転換処理について、図8〜図16を参照して説明する。図8は、第1実施形態に係る映像出力装置1の視線方向転換処理を示すフローチャートである。
映像出力装置1の行う視線方向転換処理とは、視点位置が経路上の分岐点(曲がり点でもよい。)の手前にいる場合に、視点位置のあるブランチ(以下、対象ブランチという。)に対する分岐点の移動先のブランチ(以下、移動先ブランチという。)の相対角度を算出して、分岐点における視線方向が算出した相対角度となるように、視点位置が分岐点まで進行するにつれて視線方向を滑らかに変化させる処理である。これによって、映像出力装置1は、視点位置における全方位画像から切り出す視線方向の視野画像も滑らかに変化させることができる。
第1実施形態における視線方向転換処理は、視点位置のある対象ブランチの端点となるノードから視線方向の転換を行う。一方、後述する第2実施形態における視線方向転換処理は、視点位置のある対象ブランチにおいて、視点位置が所定の基準位置まで進んだのちに視線方向の転換を行う。
映像出力装置1の記憶部12には、図3に示す(a)ノード情報25と、(b)ブランチ情報26と、(c)映像情報27とが予め記憶されるものとする。
図9は、第1実施形態に係る視線方向転換処理において、映像出力装置1が保持する保持データ31の一例を示す図である。図9に示すデータは、視線方向転換処理が実行される毎に値が更新されるため、映像出力装置1の記憶部12に記憶せず、制御部11のRAMに記憶させるのが好ましい。
なお、図10は、視点位置が位置する対象ブランチにおける進行率P等の模式図であり、あわせて説明する。
対象ブランチのブランチIDとは、視点位置が位置するブランチのブランチIDである。対象ブランチのブランチIDは、視点位置が次のブランチに移動する場合のみ更新される。初期状態として、経路を構成するいずれかのブランチのブランチIDが、対象ブランチのブランチIDとして、予め記憶されている。
進行率Pとは、対象ブランチにおける視点位置の位置を特定する値である。各ブランチは有向ブランチであるので、有向ブランチの起点ノードを「0」とし、終点ノードを「1」とすると、ブランチ内の位置は、1次元の正規化座標[0〜1]で表される。進行率Pは、対象ブランチにおける視点位置のこの正規化座標である(図10を参照)。初期状態として、進行率Pは、例えば「0」などの値が、予め記憶されている。
なお、視点位置は、対象ブランチのブランチIDと、進行率Pとによって、確定する。
進行方向Dは、視点位置が対象ブランチにおいて、起点ノードに向かって進んでいるのか、終点ノードに向かって進んでいるのかを表す値で、それぞれ0か1である。初期状態として、進行方向Dは、例えば「1」などの値が、予め記憶されている。図10に示す例では、進行方向Dは、終点ノードに向かっているとして、D=1とする。
進行方向Dとは、後述するユーザ入力画面41(図11参照)の前進ボタン45aが押された場合に視点位置が移動する方向である。
視線方向θとは、図10に示すように、視点位置60のある対象ブランチ22において、視点位置60を起点として進行方向Dにあるノード21を終点とするベクトル(以下、進行ベクトルという。)に対する視線のずれを示すベクトル61のなす角度である。視線方向θは、この進行ベクトルに対して反時計まわりに計測するものとし、範囲は[−90°〜90]とする。
なお、この視線方向θは、図10に示した視線のずれを示すベクトル61と同一視できるものであるので、以下では、このベクトルも視線方向61という。
初期状態として、視線方向θは、例えば「0」などの値が、予め記憶されている。
進行方向にあるノードIDとは、視点位置がある対象ブランチにおける進行方向Dに対応するノード(起点ノードまたは終点ノード)のノードIDである。
対象ブランチのブランチ角度θとは、対象ブランチの進行方向Dと反対にある端点(起点ノードまたは終点ノード)を起点とし、進行方向Dにある端点(起点ノードまたは終点ノード)を終点としたベクトルが、X軸となす角度であり、反時計回りを正とする。
図10においては、対象ブランチ22において進行方向D=1であるので、進行方向Dと反対にある端点は起点ノードであり、進行方向Dにある端点は終点ノードであって、この起点ノードから終点ノードへ向かうベクトルとX軸とのなす角度が、対象ブランチ22のブランチ角度θとなる。
移動先ブランチのブランチIDとは、対象ブランチにおいて進行方向Dにあるノードが分岐点ノードまたは曲がり点ノードである場合に、当該ノードを端点(起点ノードまたは終点ノード)とした視点位置が次に移動するブランチ(以下、移動先ブランチという。)のブランチIDである。
移動先ブランチの移動先ノードIDとは、移動先ブランチの端点のうち、対象ブランチの進行方向Dにあるノードとは異なる端点(以下、移動先ノードという。)のノードIDである。
移動先ブランチのブランチ角度θとは、対象ブランチの進行方向Dにあるノード(これは移動先ブランチの端点となる)を起点とし、移動先ブランチの移動先ノードを終点とするベクトルが、X軸となす角度であり、反時計回りを正とする。
対象ブランチに対する移動先ブランチの角度θとは、移動先ブランチのブランチ角度θから、対象ブランチのブランチ角度θを引いた角度である。なお、X軸に対するブランチの角度を絶対角度とすると、このθは、対象ブランチに対するブランチの角度であるため相対角度といえる。
第1の進行率Pとは、視点位置が対象ブランチにおいて、進行方向Dへむかってどの程度進んだかを表す値であり、1次元の正規化座標[0〜1]で表される。即ち、第1の進行率Pは、進行率Pを用いて、進行方向D=1のときは、P=Pであり、進行方向D=0のときは、P=1−Pである。
図8の説明に戻る。映像出力装置1の制御部11は、ユーザ入力画面41を表示部16に出力する(ステップS11)。
図11は、ユーザ入力画面41の一例を示す図である。ユーザ入力画面41には、経路表示領域42と、視野画像領域43と、入力受付領域44とが表示される。視野画像領域43には、ユーザの視点位置60と視線方向61に対応する視野画像53が表示される。
経路表示領域42には、施設内の間取りと、ユーザの視点位置60が移動可能な経路62と、現在の視点位置60における視線方向61を表現する視線方向指標61aが表示される。図示される例では、視点位置60として二重円が描かれ、視線方向指標61aとして扇形が描かれている。
ユーザの視点位置60が移動可能な経路62とは、ノード情報25に格納されるノード21と、ブランチ情報26に格納されるブランチ22とによって構成される経路62である。
ユーザは、視野画像領域43に表示される視野画像53と、経路表示領域42に表示される経路62上の視点位置60と視線方向指標61aに基づいて、入力受付領域44から視点位置60の移動に関する指示と、視線方向61の移動に関する指示とを入力する。
入力受付領域44には、視点位置60を移動させる場合や、視線方向61を移動させる場合や、各種変更操作(例えば、移動速度の変更、視野画像領域43に表示される視野画像53の視野角の変更など)等を行う場合に、ユーザによって押下されるキーボード(図示せず)のキートップに印字される記号が表示される。入力受付領域44に表示される各種ボタンの機能は、キーボードのいずれかのキーに割り付けられる。
ここで、前進ボタン45aと後退ボタン45bとは、視点位置60の移動の入力に利用される。前進ボタン45aが押されている間、視点位置60が経路上の進行方向に所定速度で移動するように進行率を増加または減少させる。また、後退ボタン45bが押されている間、視点位置60が経路上の進行方向とは逆方向に所定速度で移動するように進行率を増加または減少させる。ここで、所定速度とは、例えば、ユーザが歩く速度にふさわしい速度などである。所定速度は、予め記憶部12に記憶されているものであり、ユーザの指示により変更することも可能である。本実施形態では、前進ボタン45a及び後退ボタン45bが、この動作を行う場合について説明する。
別の方法として、前進ボタン45aが押されている間、視点位置60が経路上の進行方向に所定速度で移動するように進行率を増加または減少させ、後退ボタン45bが押された場合、進行方向を反転するようにしても良い。
また、別の方法として、前進ボタン45aと後退ボタン45bは、視点位置60が移動する経路上の進行方向を反転させるためにのみ用いられ、視点位置60は進行方向に所定速度で常に移動するように設定しても良い。この場合、停止ボタン45cが押されることで、視点位置60の移動は停止する。
一方、右向きボタン46bと左向きボタン46dは、視線方向61の移動を入力させる操作に利用され、右向きボタン46bが押されている間、視線方向61が所定の速度で進行方向に対して右向きに移動するように視線方向θを減少させる。また、左向きボタン46dが押されている間、視線方向61が所定の速度で進行方向に対して左向きに移動するように視線方向θを増加させる。
また、上向きボタン46aと下向きボタン46cは、視野画像領域43に表示される視野画像53のZ軸方向の角度を変化させる場合に利用されるが、本実施形態では、詳細は省略する。
変更操作ボタン47には、例えば、移動速度の変更、視野画像領域43に表示される視野画像53の視野角の変更などの機能が割り当てられる。上記変更を行う際に、変更操作ボタン47に対応するキーボード(図示せず)のキーがユーザによって押下される。
その他、図示しない終了ボタン等があってもよい。
図12は、図11に示すユーザ入力画面41の入力受付領域44に表示する各種ボタンの機能を有するコントローラ48の例である。
コントローラ48は、ユーザが希望する方向に進むことができ、またユーザの視点位置60での視線方向61を自由に変えることができる。
コントローラ48から視点位置60及び視線方向61の移動を入力する場合は、入力受付領域44を配置しないユーザ入力画面41を表示し、ユーザはキーボード(図示せず)に代えて、コントローラ48に配置される各種ボタンから入力操作を行う。実用上は、この他にもさまざまな形態の機器をコントローラとして利用することが可能である。コントローラ48には、図11にて説明した前進ボタン45a、後退ボタン45b、停止ボタン45c、上向きボタン46a、右向きボタン46b、下向きボタン46c、左向きボタン46d、変更操作ボタン47が配置される。
図8の説明に戻る。映像出力装置1の制御部11は、視点位置の移動と視線方向の移動の入力を受付ける(ステップS12)。
具体的には、映像出力装置1の制御部11は、ユーザにより、前進ボタン45a、後退ボタン45bが押されることによって、視点位置の移動の入力を受付け、また、右向きボタン46b、左向きボタン46dが押されることによって、視線方向の移動の入力を受付ける。
次に、映像出力装置1の制御部11は、視点位置にあるブランチ(対象ブランチ)における進行率Pを算出することにより、視点位置を更新する(ステップS13)。
具体的には、映像出力装置1の制御部11は、ステップS12において、前進ボタン45aが押されていた場合、進行方向Dが1ならば、進行率Pを所定量増加させ、進行方向Dが0ならば、進行率Pを所定量減少させる。また、映像出力装置1の制御部11は、ステップS12において、後退ボタン45bがおされていた場合、進行方向Dが1ならば、進行率Pを所定量減少させ、進行方向Dが0ならば、進行率Pを所定量増加させる。
こうすることにより、映像出力装置1の制御部11は、対象ブランチのブランチIDと進行率Pとによって確定される視点位置を更新する。
なお、映像出力装置1の制御部11は、進行率Pを保持データ31として保持する。
次に、映像出力装置1の制御部11は、進行方向Dを算出する(ステップS14)。
具体的には、映像出力装置1の制御部11は、ステップS12において、前進ボタン45aまたは後退ボタン45bのみが押されていた場合、進行方向Dを反転させない。
一方、映像出力装置1の制御部11は、ステップS12において、左向きボタン46dが押されたことによって、視線方向θが90°より大きくなった場合、進行方向Dを反転させる。同様に、映像出力装置1の制御部11は、ステップS12において、右向きボタン46bが押されたことによって、視線方向θが−90°より小さくなった場合、進行方向Dを反転させる。
なお、映像出力装置1の制御部11は、進行方向Dを保持データ31として保持する。
次に、映像出力装置1の制御部11は、視線方向θを算出する(ステップS15)。
具体的には、映像出力装置1の制御部11は、ステップS12において、左向きボタン46dが押されていた場合、視線方向θを所定量増加させる。このとき、映像出力装置1の制御部11は、視線方向θが90°より大きくなった場合には、視線方向Dが反転するので、−180°を引いて(θ=θ−180)、視線方向θの補正を行う。
また、映像出力装置1の制御部11は、ステップS12において、右向きボタン46bが押されていた場合、視線方向θを所定量減少させる。このとき、映像出力装置1の制御部11は、視線方向θが90°より小さくなった場合には、視線方向Dが反転するので、180°を加えて(θ=θ+180)、視線方向θの補正を行う。
なお、映像出力装置1の制御部11は、視線方向θを保持データ31として保持する。
次に、映像出力装置1の制御部11は、進行方向Dにあるノードが分岐点(又は曲がり点)か否か判定する(ステップS16)。
具体的には、映像出力装置1の制御部11は、進行方向Dが起点ノード(D=0)になっているか、終点ノード(D=1)になっているかに応じて、ブランチ情報26(図3(b))から、対象ブランチのブランチIDに対応する起点ノードのノードID又は終点ノードのノードIDを、進行方向DにあるノードIDとして取得する。そして、映像出力装置1の制御部11は、ノード情報25(図3(a))から、当該ノードIDをもつノードの属性を取得する。そして、映像出力装置1の制御部11は、この属性が2以上か否か判定する。
なお、進行方向DにあるノードIDは、保持データ31として保持する。
映像出力装置1の制御部11は、進行方向Dにあるノードが分岐点(又は曲がり点)であった場合(ステップS16でYes)は、ステップS17へ進み、そうでない場合(ステップS16でNo)は、ステップS21へ進む。
次に、映像出力装置1の制御部11は、分岐点(又は曲がり点)における移動先のブランチ(移動先ブランチ)を決定する(ステップS17)。
具体的には、映像出力装置1の制御部11は、ステップS16において取得した進行方向DにあるノードIDを起点ノード又は終点ノードにもつブランチであって、対象ブランチでないものを、ブランチ情報26(図3(b))から探索する。
そして、映像出力装置1の制御部11は、進行方向Dにあるノードが曲がり点(ステップS16において取得した属性が2)のときは、移動先のブランチを一意に定められるので、探索された1つのブランチを移動先ブランチとする。
一方、映像出力装置1の制御部11は、進行方向Dにあるノードが分岐点(ステップS16において取得した属性が3以上)のときは、移動先のブランチを一意に定められない。そのため、映像出力装置1の制御部11は、例えば、ユーザ入力画面41に、探索された各ブランチに対応する矢印等を表示して(図示しない)、ユーザにより左向きボタン46dまたは右向きボタン46bによって選択させ、選択されたブランチを、移動先ブランチとする。
なお、映像出力装置1の制御部11は、ユーザの選択によらず、例えば、視線方向θによって、移動先ブランチを選択してもよい。
なお、映像出力装置1の制御部11は、移動先ブランチのブランチIDを保持データ31として保持する。
次に、映像出力装置1の制御部11は、対象ブランチに対する移動先ブランチの角度(相対角度)を算出する(ステップS18)。
具体的には、図13に示すように、映像出力装置1の制御部11は、対象ブランチの進行方向DにあるノードIDの座標N2(x2、y2)と、対象ブランチの進行方向Dと反対にあるノードのノードIDの座標N1(x1、y1)とを、ノード情報25及びブランチ情報26(図3)から取得する。そして、映像出力装置1の制御部11は、対象ブランチのブランチ角度θを、N1を起点としN2を終点とするベクトルとX軸となす角として、(1)式により算出する。
Figure 0006051835
そして、映像出力装置1の制御部11は、移動先ブランチのブランチIDを用いて、対象ブランチの進行方向DにあるノードIDとは異なるノードIDを、ブランチ情報26から取得し、当該ノードIDの座標N3(x3、y3)を、ノード情報25から取得する。そして、映像出力装置1の制御部11は、移動先ブランチのブランチ角度θを、N2を起点としてN3を終点とするベクトルとX軸とのなす角として、(2)式により算出する。
Figure 0006051835
そして、映像出力装置1の制御部11は、対象ブランチに対する移動先ブランチの角度(相対角度)θを、(3)式により算出する。
なお、映像出力装置1の制御部11は、対象ブランチに対する移動先ブランチの角度θを保持データ31として保持する。
Figure 0006051835
図8に戻る。
次に、映像出力装置1の制御部11は、視点位置Dの進行方向の進行率である第1の進行率Pを算出する(ステップS19)。
具体的には、映像出力装置1の制御部11は、進行率Pを用いて、進行方向Dが1のときは、P=Pとし、進行方向Dが0のときは、P=1−Pとする。
なお、映像出力装置1の制御部11は、第1の進行率Pを保持データ31として保持する。
次に、映像出力装置1の制御部11は、第1の進行率Pと相対角度θとの積を視線方向θとする(ステップS20)。
図14に示すように、第1の進行率Pは、進行方向Dに向かって0から1へと変化するので、視線方向をθ=P×θとすることにより、第1の進行率(すなわち視点位置)に応じて、視線方向θは0から相対角度θまで変化する。したがって、図15に示すように、映像出力装置1の制御部11は、視線方向θを、対象ブランチの進行を開始した端点から分岐点(又は曲がり点)まで滑らかに変化させることができ、分岐点(又は曲がり点)に到達したときに、視線方向θが移動先ブランチの方向θを向くようにすることができる。
次に、映像出力装置1の制御部11は、対象ブランチの視点位置に応じた全方位画像から、視線方向θの視野画像を切出す(ステップS21)。
具体的には、映像出力装置1の制御部11は、ブランチ情報26(図3(b))から、対象ブランチのブランチIDに対応する映像IDを取得する。そして、映像出力装置1の制御部11は、映像情報27(図3(c))から、当該映像IDのフレーム数Nを取得し、進行率Pとフレーム数Nとの積P×Nに最も近い整数kを、対象フレームのフレーム番号kとする。そして、映像出力装置1の制御部11は、映像情報27から、映像IDに対応する全方位画像のシーケンスのk番目にある全方位画像を取得する。
そして、図16に示すように、映像出力装置1の制御部11は、取得した全方位画像50から、視線方向θを中心として、切出角度Δに対応する領域を、視野画像53として切出す。切出角度Δは、予め定められた値又はユーザによって設定された値であり、例えば120°である。
次に、映像出力装置1の制御部11は、視点位置が対象ブランチの端点に到達したか否か、判定する(ステップS22)。
具体的には、映像出力装置1の制御部11は、進行率Pが0又は1になったか否か判定する。
映像出力装置1の制御部11は、視点位置が対象ブランチの端点に到達した場合(ステップS22でYes)は、ステップS23へ進み、そうでない場合(ステップS22でNo)は、ステップS11へ戻る。
次に、映像出力装置1の制御部11は、対象ブランチのブランチIDを移動先ブランチのブランチIDで更新するとともに、進行率P、進行方向D、視線方向θを初期化する(ステップS23)。
具体的には、映像出力装置1の制御部11は、視点位置が到達した移動先ブランチの端点が、起点ノードのときは、進行率P=0、進行方向D=1、視線方向θ=0とし、終点ノードのときは、進行率P=1、進行方向D=0、視線方向θ=0とする。
映像出力装置1の制御部11は、ステップS23の後、ステップS11に戻る。
なお、映像出力装置1の制御部11は、ユーザ入力画面41において、ユーザによって終了の指示が出された場合には、適宜処理を終了する。
以上で、第1実施形態に係る視線方向転換処理の説明は終了である。
なお、第1実施形態に係る視線方向転換処理は、これに限られるものではない。
例えば、ステップS20において、視線方向θを、第1の進行率Pと対象ブランチに対する移動先ブランチの相対角度θを用いて、θ=P×θとしたが、視線方向θは、分岐点(又は曲がり点)においてθで、第1の進行率Pに応じて滑らか(連続的)に変化させられればよく、一般にθ=f(P,θ)と表される。
また、例えば、ステップS13、ステップS14、ステップS15の順番は、いずれを先に行ってもよい。
また、例えば、ステップS17の移動先ブランチの決定と、ステップS18の相対角度の算出は、(進行方向Dが同一である間は)対象ブランチにおいて、一度行えばよいので、フラグ等を設けて、一度だけ移動先ブランチの決定及び相対角度の算出するようにしてもよい。
また、ステップS18において、ブランチの角度はX軸とのなす角としたが、例えば、Y軸とのなす角でもよい。
[第1実施形態の効果]
第1実施形態の映像出力装置1は、視点位置が分岐点(又は曲がり点)へ向かって進む際に、視線方向を、分岐点(又は曲がり点)において移動先ブランチの方向となるように、視点位置に応じて滑らかに変化させるので、視点位置における全方位画像から切出した視線方向の視野画像も滑らか変化させることができ、高臨場感を演出することができる。
[第2実施形態に係る映像出力装置の視線方向転換処理]
続いて、第2実施形態に係る視線方向転換処理について、図17〜図20を用いて説明する。図17及び図18は、第2実施形態に係る映像出力装置1の視線方向転換処理を示すフローチャートである。なお、図17及び図18において、丸A及び丸Bの記号は、処理が継続することを表す。
なお、図17及び図18のフローチャートにおいて、ステップS31、S32、S33、S34、S35、S36、S37、S41、S42,S45、S46、S47は、それぞれ、第1実施形態に係る図8のフローチャートのステップS11、S12、S13、S14、S15、S16、S19、S17、S18、S21、S22、S23と同じ処理であるので、その詳細の説明を省略する。
第2実施形態における視線方向転換処理は、視点位置のある対象ブランチにおいて、視点位置が所定の基準位置まで進んだのち視線方向の転換を行う。
映像出力装置1の記憶部12には、図3に示す(a)ノード情報25と、(b)ブランチ情報26と、(c)映像情報27とが予め記憶されるものとする。
図19は、第2実施形態に係る視線方向転換処理において、映像出力装置1が保持する保持データ32の一例を示す図である。図19に示すデータは、視線方向転換処理が実行される毎に値が更新されるため、映像出力装置1の記憶部12に記憶せず、制御部11のRAMに記憶させるのが好ましい。
図19において、第1実施形態に係る図9の保持データ31と同じ意味のデータ(対象ブランチID、進行率P、進行方向D、視線方向θ、進行方向にあるノードID、第1の進行率P、対象ブランチのブランチ角度θ、移動先ブランチのブランチID、移動先ブランチの移動先ノードID、移動先ブランチのブランチ角度θ、対象ブランチに対する移動先ブランチの角度θ=θ−θ)は、その説明を省略する。
基準位置Pとは、対象ブランチにおける第1の進行率(進行方向Dに補正した進行率)が所定の閾値をはじめて超える位置である。基準位置Pは、第1の進行率と同じく、1次元の正規化座標[0〜1]で表される。
第2の進行率Pとは、視点位置が対象ブランチにおいて、進行方向Dにむかって、基準位置Pから分岐点(又は曲がり点)までどの程度進んだかを表す値であり、1次元正規化座標[0〜1]で表される。即ち、第2の進行率Pは、第1の進行率Pと、基準位置Pとを用いて、P=(P−P)/(1−P)である。
図17の説明に戻る。
映像出力装置1の制御部11は、ユーザ入力画面41を表示部16に出力する(ステップS31)。ユーザ入力画面41は、第1実施形態に係る図11と同一である。
次に、映像出力装置1の制御部11は、視点位置の移動と視線方向の移動の入力を受付ける(ステップS32)。
次に、映像出力装置1の制御部11は、視点位置にあるブランチ(対象ブランチ)における進行率Pを算出することにより、視点位置を更新する(ステップS33)。
次に、映像出力装置1の制御部11は、進行方向Dを算出する(ステップS34)。
次に、映像出力装置1の制御部11は、視線方向θを算出する(ステップS35)。
次に、映像出力装置1の制御部11は、進行方向Dにあるノードが分岐点(又は曲がり点)か否か判定する(ステップS36)。
映像出力装置1の制御部11は、進行方向Dにあるノードが分岐点(又は曲がり点)であった場合(ステップS36でYes)は、ステップS37へ進み、そうでない場合(ステップS36でNo)は、ステップS45(図18)へ進む。
次に、映像出力装置1の制御部11は、視点位置の進行方向Dの進行率である第1の進行率Pを算出する(ステップS37)。
次に、映像出力装置1の制御部11は、第1の進行率Pが所定の閾値を超えたか否か、判定する(ステップS38)。
具体的には、映像出力装置1の制御部11は、例えば、第1の進行率Pが0.7を超えたか否かを判定する。
映像出力装置1の制御部11は、第1の進行率Pが所定の閾値を超えた場合(ステップS38でYes)は、ステップS39へ進み、そうでない場合(ステップS38でNo)は、ステップS45(図18)へ進む。
次に、映像出力装置1の制御部11は、第1の進行率Pが所定の閾値をはじめて超えたか否か、判定する(ステップS39)。
映像出力装置1の制御部11は、第1の進行率Pが所定の閾値をはじめて超えた場合(ステップS39でYes)は、ステップS40へ進み、そうでない場合(ステップS39でNo)は、ステップS43へ進む。
次に、映像出力装置1の制御部11は、対象ブランチにおける視点位置を基準位置Pとする(ステップS40)。
具体的には、映像出力装置1の制御部11は、この時(第1の進行率Pが閾値をはじめて超えた時)の第1の進行率Pを基準位置Pとする。
なお、映像出力装置1の制御部11は、基準位置Pを保持データ32として保持する。
次に、映像出力装置1の制御部11は、分岐点(又は曲がり点)における移動先のブランチ(移動先ブランチ)を決定する(ステップS41)。
次に、映像出力装置1の制御部11は、対象ブランチに対する移動先ブランチの角度(相対角度)を算出する(ステップS42)。
具体的には、映像出力装置1の制御部11は、第1実施形態と同様、対象ブランチに対する移動先ブランチの角度(相対角度)θを、(4)式により算出する。
Figure 0006051835
次に、映像出力装置1の制御部11は、基準位置Pから分岐点(又は曲がり点)までにおける視点位置の進行方向Dの進行率である第2の進行率Pを算出する(ステップS43)。
具体的には、映像出力装置1の制御部11は、基準位置Pの第2の進行率Pが0であり、分岐点(又は曲がり点)の第2の進行率Pが1となるように、(5)式により、第2の進行率Pを算出する。
Figure 0006051835
次に、映像出力装置1の制御部11は、第2の進行率Pと相対角度θとの積を視線方向θとする(ステップS44)。
図14に示したように、第2の進行率Pも、進行方向Dに向かって0から1へと変化するので、視線方向をθ=P×θとすることにより、第2の進行率(すなわち視点位置)に応じて、視線方向θは0から相対角度θまで変化する。したがって、図20に示すように、映像出力装置1の制御部11は、視線方向θを、対象ブランチの基準位置P(63)から分岐点(又は曲がり点)まで滑らかに変化させることができ、分岐点(又は曲がり点)に到達したときに、視線方向θが移動先ブランチの方向θを向くようにすることができる。
図18へ移る。
次に、映像出力装置1の制御部11は、対象ブランチの視点位置に応じた全方位画像から、視線方向θの視野画像を切出す(ステップS45)。
次に、映像出力装置1の制御部11は、視点位置が対象ブランチの端点に到達したか否か、判定する(ステップS46)。
映像出力装置1の制御部11は、視点位置が対象ブランチの端点に到達した場合(ステップS46でYes)は、ステップS47へ進み、そうでない場合(ステップS46でNo)は、ステップS31(図17)へ戻る。
次に、映像出力装置1の制御部11は、対象ブランチのブランチIDを移動先ブランチのブランチIDで更新するとともに、進行率P、進行方向D、視線方向θを初期化する(ステップS47)。
映像出力装置1の制御部11は、ステップS47の後、ステップS31(図17)に戻る。
なお、映像出力装置1の制御部11は、ユーザ入力画面41において、ユーザによって終了の指示が出された場合には、適宜処理を終了する。
以上で、第2実施形態に係る視線方向転換処理の説明は終了である。
なお、第2実施形態に係る視線方向転換処理は、これに限られるものではない。
例えば、ステップS44においては、第1実施形態での指摘と同様に、視線方向θは、分岐点(又は曲がり点)においてθで、第2の進行率Pに応じて滑らか(連続的)に変化させられればよく、一般にθ=f(P,θ)と表される。
また、例えば、ステップS33、ステップS34、ステップS35の順番は、いずれを先に行ってもよい。
また、例えば、ステップS38において、第1の進行率Pが所定の閾値を超えたか否か判定したが、この処理は、記憶部12に記憶されている、ブランチ情報26(図3)には図示しないブランチの距離単位をもちいて、第1の進行率Pから、対象ブランチの分岐点(又は曲がり点)までの残りの実際の距離を算出し、当該距離が例えば3m以下であるか否かを判定してもよい。
また、例えば、ステップS39において、第1の進行率Pが所定の閾値をはじめて超えたか否か判定したが、この処理は、開始時又は視点位置が別のブランチへ移った時(ステップS47)に、基準位置Pを未設定とすることとして、基準位置Pが未設定か否か、判定することとしてもよい。
また、ステップS42において、ブランチの角度はX軸とのなす角としたが、例えば、Y軸とのなす角でもよい。
[第2実施形態の効果]
第2実施形態の映像出力装置1は、視点位置が分岐点(又は曲がり点)へ向かって進む際に、視線方向を、分岐点(又は曲がり点)において移動先ブランチの方向となるように、分岐点(又は曲がり点)に近づいた基準位置から、視点位置に応じて滑らかに変化させるので、視点位置における全方位画像から切出した視線方向の視野画像も滑らか変化させることができ、高臨場感を演出することができる。
以上、添付図面を参照しながら、本発明に係る映像出力装置1の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
1・・・・・・・映像出力装置
11・・・・・・制御部
12・・・・・・記憶部
15・・・・・・入力部
16・・・・・・表示部
21・・・・・・ノード
22・・・・・・ブランチ
25・・・・・・ノード情報
26・・・・・・ブランチ情報
27・・・・・・映像情報
31、32・・・保持データ
41・・・・・・ユーザ入力画面
42・・・・・・経路表示領域
43・・・・・・視野画像領域
44・・・・・・入力受付領域
48・・・・・・コントローラ
50・・・・・・全方位画像
51・・・・・・フレーム
52・・・・・・シーケンス
53・・・・・・視野画像
60・・・・・・視点位置
61・・・・・・視線方向
62・・・・・・経路

Claims (7)

  1. 座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置であって、
    全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する記憶手段と、
    前記視点位置及び前記視線方向を、連続的に移動させる入力手段と、
    前記経路内の分岐点において、第1の経路から第2の経路へ移動する際の角度を算出する角度算出手段と、
    前記第1の経路の前記視点位置における前記視線方向を、算出した前記角度と当該視点位置とに基づいて算出する視線方向算出手段と、
    前記視点位置における前記視線方向の映像を、前記全方位画像から切り出して出力する出力手段と、
    を具備し、
    前記経路は、ノードと有向ブランチとから構成され、
    前記全方位画像のフレームからなるシーケンスは、前記有向ブランチごとに対応付けられ、
    前記視線方向算出手段は、
    前記第1のブランチの前記視点位置における前記視線方向を、前記角度算出手段が算出した角度と、前記第1のブランチにおける前記分岐点までの進行率との積とする
    ことを特徴とする映像出力装置。
  2. 座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置であって、
    全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する記憶手段と、
    前記視点位置及び前記視線方向を、連続的に移動させる入力手段と、
    前記経路内の分岐点において、第1の経路から第2の経路へ移動する際の角度を算出する角度算出手段と、
    前記第1の経路の前記視点位置における前記視線方向を、算出した前記角度と当該視点位置とに基づいて算出する視線方向算出手段と、
    前記視点位置における前記視線方向の映像を、前記全方位画像から切り出して出力する出力手段と、
    を具備し、
    前記経路は、ノードと有向ブランチとから構成され、
    前記全方位画像のフレームからなるシーケンスは、前記有向ブランチごとに対応付けられ、
    さらに、前記第1のブランチにおける前記視点位置の第1の進行率を算出し、当該第1の進行率が閾値を最初に超える位置を基準位置とする判定手段を具備し、
    前記視線方向算出手段は、
    前記第1のブランチの前記基準位置から前記分岐点までの前記視点位置における前記視線方向を、前記角度算出手段が算出した角度と、前記基準位置から前記分岐点までの第2の進行率との積とする
    ことを特徴とする映像出力装置。
  3. 前記角度算出手段は、
    前記経路内の分岐点において、第1のブランチから第2のブランチへ移動する際の角度を、前記第1のブランチに対する前記第2のブランチのなす角として算出する
    ことを特徴とする請求項1又は請求項2に記載の映像出力装置。
  4. 座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力するコンピュータであって、全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する記憶手段、を備える前記コンピュータが、
    前記視点位置及び前記視線方向を、連続的に移動させる入力ステップと、
    前記経路内の分岐点において、第1の経路から第2の経路へ移動する際の角度を算出する角度算出ステップと、
    前記第1の経路の前記視点位置における前記視線方向を、算出した前記角度と当該視点位置とに基づいて算出する視線方向算出ステップと、
    前記視点位置における前記視線方向の映像を、前記全方位画像から切り出して出力する出力ステップと、
    を実行し、
    前記経路は、ノードと有向ブランチとから構成され、
    前記全方位画像のフレームからなるシーケンスは、前記有向ブランチごとに対応付けられ、
    前記視線方向算出ステップは、
    前記第1のブランチの前記視点位置における前記視線方向を、前記角度算出ステップが算出した角度と、前記第1のブランチにおける前記分岐点までの進行率との積とする
    ことを特徴とする映像出力方法。
  5. 座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力するコンピュータであって、全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する記憶手段、を備える前記コンピュータが、
    前記視点位置及び前記視線方向を、連続的に移動させる入力ステップと、
    前記経路内の分岐点において、第1の経路から第2の経路へ移動する際の角度を算出する角度算出ステップと、
    前記第1の経路の前記視点位置における前記視線方向を、算出した前記角度と当該視点位置とに基づいて算出する視線方向算出ステップと、
    前記視点位置における前記視線方向の映像を、前記全方位画像から切り出して出力する出力ステップと、
    を実行し、
    前記経路は、ノードと有向ブランチとから構成され、
    前記全方位画像のフレームからなるシーケンスは、前記有向ブランチごとに対応付けられ、
    さらに、前記第1のブランチにおける前記視点位置の第1の進行率を算出し、当該第1の進行率が閾値を最初に超える位置を基準位置とする判定ステップを実行し、
    前記視線方向算出ステップは、
    前記第1のブランチの前記基準位置から前記分岐点までの前記視点位置における前記視線方向を、前記角度算出ステップが算出した角度と、前記基準位置から前記分岐点までの第2の進行率との積とする
    ことを特徴とする映像出力方法。
  6. コンピュータを、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置として機能させるためのプログラムであって、
    コンピュータを、
    全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する記憶手段、
    前記視点位置及び前記視線方向を、連続的に移動させる入力手段、
    前記経路内の分岐点において、第1の経路から第2の経路へ移動する際の角度を算出する角度算出手段、
    前記第1の経路の前記視点位置における前記視線方向を、算出した前記角度と当該視点位置とに基づいて算出する視線方向算出手段、
    前記視点位置における前記視線方向の映像を、前記全方位画像から切り出して出力する出力手段、
    として機能させ
    前記経路は、ノードと有向ブランチとから構成され、
    前記全方位画像のフレームからなるシーケンスは、前記有向ブランチごとに対応付けられ、
    前記視線方向算出手段は、
    前記第1のブランチの前記視点位置における前記視線方向を、前記角度算出手段が算出した角度と、前記第1のブランチにおける前記分岐点までの進行率との積とする
    ことを特徴とするプログラム。
  7. コンピュータを、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置として機能させるためのプログラムであって、
    コンピュータを、
    全方位画像のフレームからなるシーケンスを、前記経路に対応付けて記憶する記憶手段、
    前記視点位置及び前記視線方向を、連続的に移動させる入力手段、
    前記経路内の分岐点において、第1の経路から第2の経路へ移動する際の角度を算出する角度算出手段、
    前記第1の経路の前記視点位置における前記視線方向を、算出した前記角度と当該視点位置とに基づいて算出する視線方向算出手段、
    前記視点位置における前記視線方向の映像を、前記全方位画像から切り出して出力する出力手段、
    として機能させ
    前記経路は、ノードと有向ブランチとから構成され、
    前記全方位画像のフレームからなるシーケンスは、前記有向ブランチごとに対応付けられ、
    さらに、前記第1のブランチにおける前記視点位置の第1の進行率を算出し、当該第1の進行率が閾値を最初に超える位置を基準位置とする判定手段を実行させ、
    前記視線方向算出手段は、
    前記第1のブランチの前記基準位置から前記分岐点までの前記視点位置における前記視線方向を、前記角度算出手段が算出した角度と、前記基準位置から前記分岐点までの第2の進行率との積とする
    ことを特徴とするプログラム。
JP2012275651A 2012-12-18 2012-12-18 映像出力装置、映像出力方法、及びプログラム Active JP6051835B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012275651A JP6051835B2 (ja) 2012-12-18 2012-12-18 映像出力装置、映像出力方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012275651A JP6051835B2 (ja) 2012-12-18 2012-12-18 映像出力装置、映像出力方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2014120044A JP2014120044A (ja) 2014-06-30
JP6051835B2 true JP6051835B2 (ja) 2016-12-27

Family

ID=51174815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012275651A Active JP6051835B2 (ja) 2012-12-18 2012-12-18 映像出力装置、映像出力方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6051835B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016031439A (ja) * 2014-07-28 2016-03-07 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システム
CN117809000B (zh) * 2024-02-28 2024-05-10 四川省公路规划勘察设计研究院有限公司 一种基于高斯滤波算法的公路路径漫游方法及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161096A (ja) * 1995-12-06 1997-06-20 Matsushita Electric Ind Co Ltd 3次元画像表示制御装置
JP3840113B2 (ja) * 2002-01-15 2006-11-01 キヤノン株式会社 画像再生装置及び情報処理方法

Also Published As

Publication number Publication date
JP2014120044A (ja) 2014-06-30

Similar Documents

Publication Publication Date Title
US11277655B2 (en) Recording remote expert sessions
US20160269631A1 (en) Image generation method, system, and apparatus
US9626801B2 (en) Visualization of physical characteristics in augmented reality
US20160358383A1 (en) Systems and methods for augmented reality-based remote collaboration
CN104160369B (zh) 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
US10013795B2 (en) Operation support method, operation support program, and operation support system
KR102230738B1 (ko) 다차원 이미지 공간을 통한 네비게이션
EP2919093A1 (en) Method, system, and computer for identifying object in augmented reality
US20140248950A1 (en) System and method of interaction for mobile devices
US10991071B2 (en) Information processing apparatus and recording medium
JP2014235469A (ja) パノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法
GB2540032A (en) Data browse apparatus, data browse method, program, and storage medium
JP2021013095A (ja) 画像処理装置、表示方法、及び、プログラム
JP6051835B2 (ja) 映像出力装置、映像出力方法、及びプログラム
Xu et al. Improving indoor wayfinding with AR-enabled egocentric cues: A comparative study
JPWO2018025825A1 (ja) 撮像システム
JP6051834B2 (ja) 映像出力装置、映像出力方法、及びプログラム
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
JP6123618B2 (ja) 映像出力装置、映像出力方法、及びプログラム
JP2017183816A (ja) 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法
JP2015069445A (ja) 映像出力装置、映像出力方法、及びプログラム
JP6621165B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2022182836A (ja) 映像処理装置及びその制御方法及びプログラム
JP2014222446A (ja) 映像出力装置、映像出力方法、及びプログラム
JP7073917B2 (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161114

R150 Certificate of patent or registration of utility model

Ref document number: 6051835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150