[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5467123B2 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP5467123B2
JP5467123B2 JP2012123717A JP2012123717A JP5467123B2 JP 5467123 B2 JP5467123 B2 JP 5467123B2 JP 2012123717 A JP2012123717 A JP 2012123717A JP 2012123717 A JP2012123717 A JP 2012123717A JP 5467123 B2 JP5467123 B2 JP 5467123B2
Authority
JP
Japan
Prior art keywords
image
images
setting
link
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012123717A
Other languages
English (en)
Other versions
JP2013250676A (ja
Inventor
有時 河合
隆之 篠原
英彦 森貞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2012123717A priority Critical patent/JP5467123B2/ja
Priority to EP13797449.9A priority patent/EP2857945B1/en
Priority to CN201380026729.XA priority patent/CN104350456B/zh
Priority to US14/401,867 priority patent/US9601091B2/en
Priority to PCT/JP2013/002847 priority patent/WO2013179567A1/ja
Publication of JP2013250676A publication Critical patent/JP2013250676A/ja
Application granted granted Critical
Publication of JP5467123B2 publication Critical patent/JP5467123B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、表示画像に対する視点移動を受け付ける画像処理技術に関する。
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、GPUがポリゴンを用いた三次元画像を生成する(例えば特許文献1参照)。
ゲームなどの三次元画像に限らず、ホームページの画像、書籍、雑誌、新聞、広告など各種コンテンツの文字情報、画像情報は、ネットワークの普及に伴い容易に入手できるようになってきた。またパーソナルコンピュータや携帯端末など装置の大小によらず高画質で閲覧することも可能になり、画像処理技術は普段の生活において必要不可欠なものとなってきている。
米国特許第6563999号公報
画像処理技術が身近になるに従い、コンテンツとして表示される画像、ひいてはそれに示される情報の構造が複雑化したり、データサイズが巨大化したりする傾向が生じている。一般的に、コンテンツが有する情報量とアクセス性はトレードオフの関係にあり、その両立を実現する情報体系を構築することは、コンテンツ作成者にとって負担のかかる作業である。またそのようにして作成したコンテンツであっても、時間が経過してから更新したり修正したりする必要がある場合も多く、容易に更新が可能なコンテンツ作成技術、確認技術が求められている。
本発明はこのような課題に鑑みてなされたものであり、その目的は、アクセス効率のよいコンテンツを容易に作成したりその構成を確認したりする技術を提供することにある。
本発明のある態様は情報処理装置に関する。この情報処理装置は、複数の画像のデータと、複数の操作手段のそれぞれに対応させて画像を切り替える規則を設定した複数の設定ファイルと、で構成され、一の画像を表示中に操作がなされた操作手段に応じた規則で別の画像へ表示を切り替えるコンテンツのデータを格納するデータ記憶部と、複数の設定ファイルに記述された、表示切り替え時の画像の前後関係を、複数の画像の縮小画像とそれを接続する図形とで表した相関マップを表示する設定画面制御部と、を備えることを特徴とする。
本発明の別の態様は情報処理方法に関する。この情報処理方法は、複数の画像のデータと、複数の操作手段のそれぞれに対応させて画像を切り替える規則を設定した複数の設定ファイルと、で構成され、一の画像を表示中に操作がなされた操作手段に応じた規則で別の画像へ表示を切り替えるコンテンツのデータを記憶装置から読み出すステップと、設定ファイルに記述された、表示切り替え時の画像の前後関係を、複数の画像の縮小画像とそれを接続する図形とで表した相関マップを表示装置に表示するステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によると、多くの情報を含みアクセス性のよい画像表示コンテンツを容易に作成したりその内容を確認したりすることが可能となる。
本実施の形態に適用できる情報処理システムの使用環境を示す図である。 図1の情報処理システムに適用できる入力装置の外観構成を示す図である。 本実施の形態における情報処理装置の構成を示す図である。 本実施の形態において使用できる画像データの階層構造の概念図である。 本実施の形態において電子書籍をコンテンツとしたときにリンクによって切り替えられる画像の例を示す図である。 本実施の形態においてリンクによる切り替えと順送り操作による切り替えの関係を説明するための図である。 本実施の形態においてコンテンツの画像を表示する機能を有する制御部の構成を詳細に示す図である。 本実施の形態におけるフレームパラメータの基準となる領域と画像の位置関係を示す図である。 本実施の形態における、基準フレームを画像平面上で移動させた領域のフレームパラメータを説明するための図である。 本実施の形態における、基準フレームを画像平面上で移動させずに拡大率を変化させた領域のフレームパラメータを説明するための図である。 本実施の形態における、フレームパラメータを用いて記述されたリンク設定ファイルのデータ構造例を示す図である。 本実施の形態におけるシーケンス設定ファイルのデータ構造例を示す図である。 本実施の形態においてコンテンツの作成を支援する機能を有する情報処理装置の制御部の構成を詳細に示す図である。 本実施の形態における設定画面制御部によって描画される画面の例を示す図である。 本実施の形態における設定画面制御部によって描画される画面の例を示す図である。 本実施の形態における設定画面制御部によって描画される画面の例を示す図である。 本実施の形態における設定画面制御部によって描画される画面の例を示す図である。 本実施の形態における設定画面制御部によって描画される画面の例を示す図である。 本実施の形態における設定画面制御部によって描画される画面の例を示す図である。 本実施の形態の情報処理装置によってコンテンツ作成を支援する処理手順を示すフローチャートである。
本実施の形態では、書籍、新聞、雑誌、ゲーム画像、メニュー表示画像、ホームページの画像、地図、写真、絵画、広告など、視覚的な情報を表示するコンテンツを処理対象とする。まず本実施の形態で処理対象とするコンテンツの表示態様について説明する。図1は、本実施の形態を適用できる情報処理システムの使用環境を示す。情報処理システム1は、情報処理のためのソフトウェアを実行する情報処理装置10と、情報処理装置10による処理結果を出力する表示装置12とを備える。表示装置12は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。
表示装置12は情報処理装置10に有線ケーブルで接続されてよく、また無線LAN(Local Area Network)などにより無線接続されてもよい。情報処理システム1において、情報処理装置10は、ケーブル14を介してインターネットなどの外部ネットワークに接続し、コンテンツファイルをダウンロードして取得してもよい。なお情報処理装置10は、無線通信により外部ネットワークに接続してもよい。
情報処理装置10は、たとえばゲーム装置やパーソナルコンピュータであってよく、必要なアプリケーションプログラムをロードすることで情報処理機能を実現してもよい。情報処理装置10は、ユーザからの視点移動要求に応じて、表示装置12のディスプレイに表示する画像の拡大/縮小処理や、上下左右方向へのスクロール処理などを行う。以後、このような拡大/縮小を含めた表示領域の変更操作を「視点移動操作」と表現する。ユーザが、ディスプレイに表示された画像を見ながら入力装置を操作すると、入力装置が、入力された情報を情報処理装置10に送信する。
図2は、入力装置20の外観構成例を示す。入力装置20は、ユーザが操作可能な操作手段として、方向キー21、アナログスティック27a、27b、4種の操作ボタン26、Lボタン29a、Rボタン29bを備える。4種の操作ボタン26は、○ボタン22、×ボタン23、□ボタン24および△ボタン25から構成される。
これらの操作手段には、情報処理装置10が行う処理内容に応じて様々な機能を割り当てる。ユーザは左右のハンドル28a、28bを左右の手で把持した状態で上記の操作手段を操作することにより、情報処理の開始、終了要求や、処理中のコンテンツに対する要求信号を入力する。
操作手段のいずれかには、表示画像の拡大/縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、表示画像の拡大/縮小要求の入力機能は、右側のアナログスティック27bに割り当てられる。ユーザはアナログスティック27bを手前に引くことで、表示画像の縮小要求を入力でき、また手前から押すことで、表示画像の拡大要求を入力できる。
また、スクロール要求の入力機能は、方向キー21に割り当てられる。ユーザは方向キー21を押下することで、方向キー21を押下した方向へのスクロール要求を入力できる。なお、視点移動要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック27aに、スクロール要求の入力機能が割り当てられてもよい。さらに後述するように、Lボタン29a、Rボタン29bには、順序が定義された複数の画像のうち表示対象の画像を次に進めたり戻したりする機能を割り当てる。以後、このような操作を「順送り操作」と呼ぶ。同図においてLボタン29a、Rボタン29bは入力装置20の上部側面に設けられており、人差し指等で手前に押下可能に構成されている。
なお図2に示した入力装置20は一例にすぎず、その形状や機能を限定するものではない。例えばマウス、キーボード、タッチパネルなど一般的な入力装置またはそれらの組み合わせでもよく、さらにユーザ等を撮影するカメラや音声を取り込むマイクなどを入力装置としてもよい。例えばマウスの場合、クリックやドラッグ、タッチパネルの場合、タップ、ダブルタップ、フリック、ドラッグなどの一般的な操作手法のいずれか、または組み合わせに対し、各機能を割り付けることができることは当業者には十分理解されるところである。本実施の形態においては好適には、視点移動操作、順送り操作、後述する電子書籍などのページのジャンプ操作の機能を、各操作手法にそれぞれ割り付ける。また情報処理装置10と入力装置20を一体化させ、携帯端末などとして実現してもよい。
入力装置20は、ユーザの操作内容に応じた信号を情報処理装置10に伝送する機能をもち、本実施の形態では情報処理装置10との間で無線通信可能に構成される。入力装置20と情報処理装置10は、Bluetooth(ブルートゥース)(登録商標)プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置20は、情報処理装置10とケーブルを介して接続して、入力信号を情報処理装置10に伝送してもよい。
図3は情報処理装置10の構成を示している。情報処理装置10は、無線インタフェース40、スイッチ42、表示処理部44、ハードディスクドライブ50、記録媒体装着部52、ディスクドライブ54、メインメモリ60、バッファメモリ70および制御部100を有して構成される。表示処理部44は、表示装置12のディスプレイに表示するデータをバッファするフレームメモリを有する。
スイッチ42は、イーサネットスイッチ(イーサネットは登録商標)であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ42は、ケーブル14を介して外部ネットワークに接続し、コンテンツサーバからコンテンツファイルなどを受信できるように構成される。またスイッチ42は無線インタフェース40に接続し、無線インタフェース40は、所定の無線通信プロトコルで入力装置20と接続する。入力装置20においてユーザから入力された信号は、無線インタフェース40、スイッチ42を経由して、制御部100に供給される。
ハードディスクドライブ50は、データを記憶する記憶装置として機能する。コンテンツファイルはハードディスクドライブ50に格納されてもよい。記録媒体装着部52は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ54は、読出専用のROMディスクが装着されると、ROMディスクを駆動して認識し、データを読み出す。ROMディスクは、光ディスクや光磁気ディスクなどであってよい。コンテンツファイルはこれらの記録媒体に格納されていてもよい。
制御部100は、マルチコアCPUを備え、1つのCPUの中に1つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはPPU(Power Processing Unit)と呼ばれ、残りのプロセッサコアはSPU(Synergistic-Processing Unit)と呼ばれる。制御部100はさらにGPU(Graphics Processing Unit)を備えていてもよい。
制御部100は、メインメモリ60およびバッファメモリ70に接続するメモリコントローラを備える。PPUはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各SPUに効率的に割り当てる。なお、PPU自身がタスクを実行してもよい。SPUはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ70として使用されてもよい。
メインメモリ60およびバッファメモリ70は記憶装置であり、RAM(ランダムアクセスメモリ)として構成される。SPUは制御ユニットとして専用のDMA(Direct Memory Access)コントローラをもち、メインメモリ60とバッファメモリ70の間のデータ転送を高速に行うことができ、また表示処理部44におけるフレームメモリとバッファメモリ70の間で高速なデータ転送を実現できる。本実施の形態の制御部100は、複数のSPUを並列動作させることで、高速な画像処理機能を実現する。表示処理部44は、表示装置12に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
本実施の形態の情報処理装置10は、コンテンツとして表示する画像の表示領域の移動処理をスムーズに行うために、画像データの一部をハードディスクドライブ50からメインメモリ60にロードしておく。また、メインメモリ60にロードした画像データのさらに一部をデコードしてバッファメモリ70に格納しておく。これにより、後の必要なタイミングで、表示画像の描画に使用する画像を瞬時に切り替えることが可能となる。
本実施の形態において表示対象とする画像のデータ構造は特に限定されないが、ここでは高精細な画像をより効率よく表示することを可能とするため、階層構造を有する階層画像データを用いる例について説明する。階層画像データは、原画像を複数段階に縮小して生成した異なる解像度の画像からなる画像データである。各階層の画像は一又は複数のタイル画像に分割される。たとえば最も解像度の低い画像は1つのタイル画像で構成し、最も解像度の高い原画像は、最も多い数のタイル画像で構成する。
画像表示時は、描画に使用しているタイル画像を、表示画像が所定の解像度になったときに異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行う。以下、このような階層構造をもつ画像データを「階層データ」とよぶ。図4は階層データの構造の概念図を示す。階層データは、深さ(Z軸)方向に、第0階層30、第1階層32、第2階層34および第3階層36からなる階層構造を有する。なお同図においては4階層のみ示しているが、階層数はこれに限定されない。
図4に示す階層データは4分木の階層構造を有し、各階層は1以上のタイル画像38で構成される。すべてのタイル画像38は同じ画素数をもつ同一サイズに形成され、たとえば256×256画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、最高解像度をもつ第3階層36の原画像を複数段階に縮小して、第2階層34、第1階層32、第0階層30の画像データが生成される。たとえば第N階層の解像度(Nは0以上の整数)は、左右(X軸)方向、上下(Y軸)方向ともに、第(N+1)階層の解像度の1/2であってよい。
情報処理装置10において、階層データは、所定の圧縮形式で圧縮された状態でハードディスクドライブ50などの記憶装置に格納されており、表示装置12に表示される前に記憶装置から読み出されてデコードされる。本実施の形態の情報処理装置10は、複数種類の圧縮形式に対応したデコード機能を有し、たとえばS3TC形式、JPEG形式、JPEG2000形式の圧縮データをデコード可能とする。
階層データの階層構造は、図4に示すように、左右方向をX軸、上下方向をY軸、深さ方向をZ軸として設定され、仮想的な3次元空間を構築する。情報処理装置10は、入力装置20から供給される視点移動要求の信号から表示領域の変更量を導出すると、その移動量を用いて仮想空間におけるフレームの4隅の座標(フレーム座標)を導出する。なお、仮想空間におけるフレーム座標の代わりに、情報処理装置10は、階層を特定する情報と、その階層におけるテクスチャ座標(UV座標)を導出してもよい。以下、階層特定情報およびテクスチャ座標の組み合わせも、フレーム座標と呼ぶ。
階層データに含まれる各階層の画像データは仮想空間のZ軸に対して離散的に存在する。そのため、画像データがない階層間の縮尺率で画像を表示する場合は、Z軸方向で近傍にある画像データを用いる。例えば、表示画像の縮尺率が第2階層34の近傍にある場合、表示画像は当該第2階層の画像データを用いて作成する。これを実現するためには、各階層の間、例えば中央の解像度に画像の切り替え境界を設定する。表示画像の縮尺率が当該切り替え境界を越えると、表示画像の生成に用いる画像データを切り替え、当該画像を拡大したり縮小したりして表示する。
フレーム座標は、メインメモリへの圧縮データのロード、表示画像の描画処理などに利用される。また所定の基準フレームに対する相対サイズ、相対位置を表すフレームパラメータに変換したうえで、後述するリンク判定にも利用する。フレームパラメータの具体例は後述する。なお上述のとおり表示対象の画像のデータは階層構造でなくてもよいし、コンテンツを構成する複数の画像データの一部のみ階層データでもよい。以後、階層データも含め「画像データ」として説明する。またフレーム座標に代えて全ての処理をフレームパラメータに基づき行ってもよい。以後、画像全体における表示領域のサイズおよび位置を表す情報を総称して「フレームパラメータ」と呼ぶ。
本実施の形態の情報処理装置10は、表示中の画像において設定されたある領域に、ユーザの視点移動操作によって移動した表示領域が包含されたなど所定の条件を満たしたことをきっかけとして、当該領域に対応づけておいた別の画像へ表示対象を切り換える機能を有する。以後、このような画像間の切り替えを「リンク」と呼び、リンクが発生するきっかけとなる設定領域を「リンク領域」と呼ぶ。
図5は電子書籍をコンテンツとしたときにリンクによって切り替えられる画像の例を示している。一般的に書籍は表紙、目次、本文、索引といった複数の要素で構成される。ここで、表紙やそこに記載された題名は書籍の選択に利用され、さらに目次や索引は所望の情報を記載した本文ページへのアクセスに利用される。書籍以外であっても通常、大分類、中分類、小分類、といった情報の分類を辿ることにより所望の情報へ効率的に到達できる。本実施におけるコンテンツはこのような情報へのアクセス経路を、画像上のリンク設定によって実現する。
図5の例では、上段が表紙の画像172、中段が目次の画像174、下段が本文ページの画像176を表している。画像中の点線矩形は設定されているリンク領域であり実際の画像上には表さない。表紙の画像172にはリンク領域178が設定されており、目次へのリンク領域があることを示すために「目次」なる文字列を内部に記載した矩形が画像として表されている。
この画像172を表示中、リンク領域178をズームインするようにユーザが視点を移動させ、表示領域がリンク領域178に包含されるなど所定のリンク条件を満たしたら、リンク領域178に対し設定しておいた目次の画像174へ表示を切り替える(矢印S1)。目次の画像174には、目次の項目に対応する3つのリンク領域が設定されている。各リンク領域内には、項目である「1章」、「2章」、「3章」なる文字列を内部に記載した矩形がそれぞれ、画像として表されている。
そして例えば「2章」のリンク領域180がズームインされ、表示領域が所定のリンク条件を満たしたら、当該リンク領域に180対し設定しておいた、「2章」の本文ページの画像176へ表示を切り替える(矢印S2)。このように視点の移動操作によって表示対象の画像を切り替える、という独特の性質を利用し、例えばリンク領域180内に表示する画像を、本文ページの画像176のサムネイル画像とすると、切り替え前後で画像の変化が生じないシームレスな画像表現を実現できる。そのほか、コンテンツの内容によってはリンク先を動画としてもよいし、静止画と動画を組み合わせてもよい。
また入力装置20の×ボタン23など所定の操作手段により、上記のリンクを逆に辿れるようにする。以後、このような操作を「リンク戻し操作」と呼ぶ。例えば本文ページの画像176を表示させている状態でリンク戻し操作がなされたら、目次の画像174のうち、リンク領域180を表示領域として画像を切り替える。さらにリンク戻し操作がなされたら、表紙の画像172のうち、リンク領域178を表示領域として画像を切り替える。このリンク戻し操作の機能は、×ボタン23など1つのボタンに割り付けてもよいし、リンクの実行時と同様に、視点移動操作を利用してもよい。例えば表示された画像をズームアウトさせ、画像全体が表示されたことをきっかけに、リンク元の画像へ表示を切り替えるようにしてもよい。
なお上述の例では視点移動操作によって、表示領域とリンク領域が所定の条件を満たしたことをきっかけとしてリンク先の画像へ表示を切り替えたが、リンク領域内部に表した矩形領域を直接選択可能に構成してもよい。例えば入力装置20のうち方向キー21で、選択可能な矩形領域のうち強調表示する対象を移動させ、○ボタン22などで決定することにより、当該矩形に対応づけられたリンク先の画像へ表示を切り替えてもよい。その他、表示中の画像上の領域に対する操作によって別の画像へ切り替える態様であれば、その機構は特に限定されない。
上記のようにリンクを設定すると、表紙から本文ページまでのアクセスを、視点移動操作により効率的に行えるようになる。一方、一般的に、読みたいページへアクセスするためには、このように書籍、目次、ページと辿っていく経路と、ページを順に進めていく経路の2方向、あるいはそれらを組み合わせた経路が考えられる。そこで本実施の形態では、リンクによる画像切り替えに加え、画像に順序を定義し、当該順序に従った順送りの画像切り替えも行う。例えば図5の例において本文ページの「2章」が複数ページに渡っている場合、目次の画像174からのリンクによって到達できる画像176を、「2章」の最初の1ページ目とし、その後のページは順送り操作によって切り替える。
図6は、リンクによる切り替えと順送り操作による切り替えの関係を説明するための図である。画像174は図5の目次の画像174に対応する。下段に配列した矩形はれぞれが本文ページの画像186a、186b、186c、・・・を示している。上述のように、目次の画像174における「1章」のリンク領域190は、本文ページのうち1章の最初のページを表す画像186aをリンク先とする(矢印181)。目次の画像174における「2章」のリンク領域194は、2章の最初のページを著す画像186eをリンク先とする(矢印182)。なお当該画像186eは図5の画像176に対応する。
そして本文ページの画像186a、186b、186c、・・・には、そのページ順に順序を定義する(矢印184)。具体的には画像の識別情報に昇順に番号を付与したり、順序に従った記載順でリスト化したり、前後の画像の識別情報を各画像の付加情報としたりすればよい。そして、例えば図5に示すリンクによる切り替え経路によって「2章」の最初のページの画像186eへ到達したあと、2章を読み進める場合は、入力装置20のRボタン29bを押下するなどの操作によって、表示を画像186f、186g、・・・と切り替える。前のページに戻る場合はLボタン29aを操作する。
目次の画像174からのリンク先であるか否かに関わらず、本文ページの画像全体を貫くように順序を定義することにより、章立てに関わらず本文ページを自由に行き来でき、結果として各ページへのアクセス経路の自由度が増す。ここで、目次の画像174からのリンク先となっていない本文ページの画像(画像186b、186c、186dなど)から目次の画像174へ戻る場合、基本的には、定義した順序を遡るように前方向にページを探索していき、最初に検出した、リンク先として設定されている画像のリンク元の画像へ表示を切り替える。
例えば本文ページの画像186cを表示中にリンク戻し操作がなされた場合、矢印184を逆に辿り、初めて検出した、リンク先として設定されている画像186aから、リンク元である画像174のリンク領域190へ表示を切り替える(矢印188)。このようにすると、例えば1章の途中でリンク戻し操作を行ったときは目次の「1章」へ戻ることになり、情報体系における現在位置を把握しやすくなる。結果として次にどの領域へ表示を移動すればよいかの指針を得ることができる。
ただし「1章」の最終ページの画像186dまで読み進めてリンク戻し操作を行ったとき、既読の「1章」より先の「2章」を優先して表示させたい場合などは、定義した順序を後ろ方向に探索してもよい。この場合、画像186dでリンク戻し操作がなされた場合、矢印184を順方向に辿り、初めて検出した、リンク先として設定されている画像186eから、リンク元である画像174のリンク領域194へ表示を切り替える(矢印192)。定義した順序をどちら方向に探索するかは、コンテンツ作成者がコンテンツの内容などに鑑み設定可能とする。なお順序の定義は、本文ページなど末端の画像のみならず、目次の画像のようにリンク元の画像にも同様に設定できる。
図7は本実施の形態において、上述のようなコンテンツの画像を表示する機能を有する制御部100aの構成を詳細に示している。制御部100aは、入力装置20からユーザが入力した情報を取得する入力情報取得部102、新たに表示すべき領域を決定する表示領域決定部104、リンクまたは順送り操作によって表示対象の画像の切り替えが必要か否かを判定する画像切替制御部116、新たに表示すべき表示領域の画像を描画する表示画像処理部114を含む。
図7および後述する図13において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部100は1つのPPUと複数のSPUとを有し、PPUおよびSPUがそれぞれ単独または協働して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
まずハードディスクドライブ50には、コンテンツとして表示に組み入れる画像の画像データ101、リンクの情報を記載したリンク設定ファイル118、順送り操作を受け付ける画像について順序を定義したシーケンス設定ファイル119をコンテンツファイルとして格納する。リンク設定ファイル118は、リンク領域を設定する画像ごとに作成し、当該画像データ101に対応づける。シーケンス設定ファイル119は、順序を定義する複数の画像セットごとに作成し、画像セットに含まれる画像データ101に対応づける。
リンク設定ファイル118には、各画像に対し設定されるリンク領域、リンク条件、当該リンクによるリンク先の画像の識別情報とが対応づけて記載される。リンク先を画像の一部とする場合はさらにリンク先の領域情報を対応づける。シーケンス設定ファイル119には画像の識別情報を、定義する順序で記載するとともに、リンク戻し操作時の探索方向を画像ごとに記載する。さらに探索対象である、他の画像からのリンク先として設定されている画像については、その旨を表す情報を記載する。画像データ101、リンク設定ファイル118、シーケンス設定ファイル119は、必要なタイミングでメインメモリ60にロードされる。
入力情報取得部102は、ユーザが入力装置20に対して行った、画像表示の開始/終了、視点移動、画像の順送り、リンク戻しなどの操作内容を取得し、適宜、表示領域決定部104および画像切替制御部116に通知する。表示領域決定部104は、現在の表示領域とユーザが入力した視点移動要求に基づく移動量から、次の時刻の表示領域を決定し、画像切替制御部116に通知する。ここで「次の時刻」とは、フレームレートに基づく表示更新周期後の時刻などである。
画像切替制御部116は、メインメモリ60にロードした、表示中の画像データに対応するリンク設定ファイル118を読み出し、次の時刻の表示領域がリンク条件を満たすか否かを判定する。満たす場合、そのリンクを有効とし、当該リンク領域に対応づけて設定されているリンク先の画像データの識別情報やリンク先の領域情報をリンク設定ファイル118から取得する。
また画像切替制御部116は、画像の順送り操作がなされたことを入力情報取得部102から通知されたら、表示中の画像を含む画像セットに対し定義されたシーケンス設定ファイル119を読み出し、次の画像データの識別情報を特定する。また、リンク戻し操作がなされたことを入力情報取得部102から通知されたら、シーケンス設定ファイル119における定義順を設定方向に探索し、リンク先として設定されている画像を特定する。そして、特定した画像のリンク元の画像データの識別情報およびリンク領域を特定する。
なおリンク先として設定されている画像からリンク元の画像の情報を得るためには、当該リンク元の画像データに対応づけられたリンク設定ファイル118を逆引きできるように、リンク先の画像データと当該リンク設定ファイル118とを対応づけておく。あるいは、リンクを逆に辿る処理も1つのリンクである、と位置づけ、「リンク先」の画像データをリンク元とするリンク設定ファイルを別に準備してもよい。いずれにしろ画像切替制御部116は、これらの手順で取得した切り替え後の画像に係る情報を、表示画像処理部114に通知する。画像切り替えの必要がない場合は、次の時刻の表示領域の情報をそのまま表示画像処理部114に通知する。
表示画像処理部114は、画像切替制御部116から通知された情報に基づき、新たな表示領域の描画に必要な圧縮画像データを必要に応じてハードディスクドライブ50からメインメモリ60へロードする。新たな画像データ101をロードする場合は、それに対応づけられたリンク設定ファイル118もロードする。また当該画像を含むシーケンス設定ファイル119がロードされていない場合はそれもロードする。そして表示画像処理部114は、ロードした圧縮画像データをデコードしたうえ、表示領域の画像を表示処理部44のフレームメモリに描画する。
このとき表示領域を含む広範囲の画像のデータをデコードしバッファメモリ70に格納しておくことにより、以後の表示領域更新を円滑に実施できる。また表示画像の切り換え前に表示されていた画像のデータもバッファメモリ70に格納したままとすると、表示画像を元に戻す処理を迅速に行える。表示処理部44が、フレームメモリに描画された画像を表示装置12に適宜出力していくことで、視点移動や画像切り替え操作に応じた画像が表示される。
次にリンク設定ファイル118の設定例について説明する。図8〜10はリンク設定ファイル118で用いられるフレームパラメータの定義を説明するための図である。フレームパラメータは表示対象の画像平面上における領域を表すパラメータであり、リンク領域やリンク先の画像において切り替え後に表示すべき領域の設定に用いられる。
図8はフレームパラメータの基準となる領域と画像の位置関係を示している。図8において画像256に対する基準フレーム264は、画像256の中心と同一の中心を有し、画像256に外接する、縦横比が所定の値の矩形とする。ここで縦横比は所定の値でよく、例えば、表示するディスプレイあるいはディスプレイ上の表示領域の縦横比と同一とする。表示画像を拡大、縮小しても、設定する領域は常に当該比率を保持するとする。
領域の位置および大きさは、基準フレーム264の横の辺、縦の辺をそれぞれ1としたときの、横方向オフセット、縦方向オフセット、および、拡大率の3つのパラメータからなるフレームパラメータで表現する。すなわち基準フレーム264によって画像256固有の座標系が定まることになる。基準フレーム264自身のフレームパラメータは、(横方向オフセット,縦方向オフセット,拡大率)=(0,0,1.0)である。
図9は基準フレームを画像平面上で移動させた領域のフレームパラメータを説明するための図である。この場合、縦方向オフセットおよび横方向オフセットのパラメータに値が代入される。具体的には領域の中心272から画像256の中心、すなわち基準フレームの中心270への距離の横方向成分offset_x、縦方向成分offset_yがそれぞれ横方向オフセット、縦方向オフセットの値となる。したがって領域262は(offset_x, offset_y,1.0)と表現される。
図10は基準フレームを画像平面上で移動させずに拡大率を変化させた領域のフレームパラメータを説明するための図である。この場合、基準フレームに対する領域266の面積比率が拡大率のパラメータに代入される。図10の領域266が図8の基準フレーム264の0.5倍であれば、領域266は(0,0,0.5)と表現される。
図11はフレームパラメータを用いて記述されたリンク設定ファイルのデータ構造例を示す。リンク設定ファイル300は、一行が一つのリンク、すなわち対応する画像データから別の画像データへの切り替えに対応し、リンク元画像フレームフィールド302、有効スケール範囲フィールド304、リンク先ファイルフィールド306、およびリンク先画像フレームフィールド308、の4種類のフィールドによって構成される。
リンク元画像フレームフィールド302は、対応する画像において設定するリンク領域を上述のフレームパラメータで指定する。有効スケール範囲フィールド304は、リンクを有効とするときのリンク領域と表示領域の包含関係を指定する。具体的には、有効スケール範囲フィールド304の値が正のときは、表示領域がリンク領域を包含したらリンクを有効とする。値が負のときは、リンク領域が表示領域を包含したらリンクを有効とする。
図11の1行目は、有効スケール範囲フィールド304が正の値であるため、画面をズームアウトして表示領域を拡大していく方向において画像の切り替えを行う。例えば図5の目次の画像174をズームアウトして表紙の画像172に切り替える場合、このような設定を行う。一方、図11の2行目は、有効スケール範囲フィールド304が負の値であるため、画面をズームインして表示領域を縮小していく方向において画像の切り替えを行う。例えば図5の目次の画像174のうちリンク領域180をズームインして、本文ページの画像176に切り替える場合、このような設定を行う。
リンク先ファイルフィールド306は、リンク先の画像データの識別情報を指定する。図5、6の目次の画像174に対する設定に当てはめると、1行目の画像「R」は表紙の画像172、2〜4行目の画像「p1」、「p5」、「9」は、本文ページの画像のうち、1章、2章、3章の最初のページの画像にそれぞれ対応する。リンク先画像フレームフィールド308は、リンク先の画像の切り替え後の表示領域、すなわちリンク先ファイルフィールド306でファイル指定された画像内で、リンク実行時に最初に表示する領域を、当該画像に対するフレームパラメータで指定する。
図12はシーケンス設定ファイルのデータ構造例を示す。シーケンス設定ファイル310は順序フィールド312および探索方向フィールド314を含む。順序フィールド312には、定義する順序で画像の識別情報を記載する。同図の例では、「p1」、「p2」、「p3」、・・・、「p9」なる識別情報の順で画像の順序が定義されている。探索方向フィールド314には、順序フィールド312に識別情報を記載した画像を表示中にリンク戻し操作を行ったとき、リンク先として設定されている画像を探索する方向を指定する。
同図において「前方向」は、定義された順序を遡る方向、「後方向」は、定義された順序の順方向である。図6に示した本文ページの画像186a、186b、186c、・・・、186gの識別情報をそれぞれ「p1」、「p2」、「p3」、・・・、「p7」とすると、図12における探索方向は、図6で示した矢印188、192と同じ設定となっている。ここで「p1」、「p5」を識別情報とする画像は、図6における画像186a、186eのように、目次の画像174からのリンク先の画像として設定されているものとする。
この場合、これらの画像に対して探索方向フィールド314に、「−」など無効の情報を記載することにより、これらの画像が別の画像からのリンク先として設定されていることを示す。これにより、例えば「p3」なる識別情報の画像を表示中にリンク戻し操作がなされた場合、「前方向」へ探索を行うことにより「p1」なる識別情報の画像を検出し、それをリンク先とする画像へ表示を戻すことができる。
これまで述べたようにリンク設定や順序設定によって画像を切り替えるコンテンツを実現すると、所望の情報へのアクセスが容易になる一方、各設定ファイルの作成がコンテンツ作成者の負担となることが考えられる。コンテンツに組み入れる画像の数が増えるほど、また、それらを効率的に表示しようとするほど、画像同士の関係が複雑化するとともに、作成すべき設定ファイルが増加する。結果として実際の表示において、設定段階での意図とは全く異なる切り替えがなされてしまったりすることもあり得る。
そこで本実施の形態では、実際の表示をイメージしながら設定ファイルを作成できるようにしてコンテンツの作成を支援する。本実施においてコンテンツの作成を支援する装置は、図1および図3で示した、情報処理システム1における情報処理装置10と同じ構成で実現できる。図13は本実施の形態においてコンテンツの作成を支援する機能を有する情報処理装置10の制御部100bの構成を詳細に示している。なおこの制御部100bは、図7で示した、コンテンツの画像を表示する機能を有する制御部100aとともに1つの情報処理装置10に含まれていてもよい。あるいは、単独で情報処理装置10に設け、コンテンツ作成支援装置として実現してもよい。さらにコンテンツの画像を表示する機能を有する制御部100aに、後述する設定画面制御部の機能のみを、コンテンツの構成を確認するための機能として追加してもよい。
制御部100bは、コンテンツ作成者が入力装置20から入力した設定情報を取得する入力情報取得部202、設定用画面を制御する設定画面制御部214、最終的な設定ファイルを記述し出力する設定ファイル出力部216を含む。ハードディスクドライブ50には少なくとも、コンテンツとして組み入れる画像データ201を格納する。この画像データ201は、図7で示した画像データ101に対応する。また図11で示したようなリンク設定ファイル218をあらかじめ作成し、リンク元の画像データ201に対応づけて格納しておく。また、以前に作成したシーケンス設定ファイル219をさらに格納しておいてもよい、
入力情報取得部202は、ユーザが入力した、画像の選択や画像間の関連づけに係る設定の情報を取得し、設定画面制御部214および設定ファイル出力部216に適宜通知する。設定画面制御部214は、各画像のサムネイルを線や矩形などの図形で関連づけることにより、設定された画像間の関係を図示した画像を描画する。描画した画像は表示処理部44のフレームメモリに出力することにより、表示装置12に表示させる。設定ファイル出力部216は、ユーザが設定を確定させる入力を行ったとき、その旨を入力情報取得部202から取得し、シーケンス設定ファイル219として書き出す。
書き出したシーケンス設定ファイル219はハードディスクドライブ50に出力する。この際、上述のように、シーケンス設定ファイル219において順序を定義した複数の画像の画像データ201と対応づけることにより、上述のようなコンテンツを作成できる。なお以前に作成したシーケンス設定ファイル219がハードディスクドライブ50に格納されている場合、設定ファイル出力部216は、コンテンツ作成者の入力に応じてそれを更新するようにしてもよい。設定ファイル出力部216はさらに、リンク設定ファイル218を更新してもよい。
図14から図19は、設定画面制御部214によって描画される画面の例を示している。本実施の形態では、コンテンツに組み入れる複数の画像の相関関係をサムネイル画像と図形で表した相関マップを設定画面に表示させることにより、コンテンツ作成者がそれを見ながら設定を進捗させていく態様とする。以後、このような設定画面を「マップビュー」と呼ぶ。マップビューは基本的に、コンテンツに組み入れる画像の縮小画像であるサムネイルに、その識別情報を付加した画像を処理単位とする。
まず図14のマップビュー320は、リンク設定ファイル218によって、図5で示したようなリンクが設定済みである一方、シーケンス設定ファイルが作成されていない初期状態とする。つまり識別情報「R」なる画像322が表紙の画像、識別情報「M」なる画像324が目次の画像、識別情報「p1」、「p5」、「p9」なる画像326a、326b、326cが、本文ページのうちそれぞれ「1章」、「2章」、「3章」の最初のページの画像である。
そして表紙の画像322から目次の画像324へ、目次の画像324から本文ページの画像326a、326b、326cへのリンクが、それぞれのリンク元の画像データ201に対応づけられたリンク設定ファイル218に記述されている。このような場合、図示するように、リンク元の画像のサムネイルとリンク先の画像のサムネイルを線で接続する。同図において、画像322と画像324が線328aで、画像324と画像326a、326b、326cが線328b、328c、328dでそれぞれ接続されている。なおこのように画像のサムネイルを線で接続する以外にも、線で囲む、サムネイル自体を結合させるなど、リンクによる切り替え前後の画像の関連づけが表現されていればその手法は限定されない。
書籍の表紙、目次、本文ページのように、各画像で示す情報が階層構造となっている場合、階層の上下とマップビューにおけるサムネイル配置の上下を一致させる。マップビュー320にはさらに、リンク元にもリンク先にも設定されていない画像のサムネイルを一覧表示する未設定画像欄330を設ける。マップビュー320では、識別番号が「p2」、「p3」、「p4」、「p6」、「p7」、「p8」なる6つの画像のサムネイルが表示されている。
未設定画像欄330に表示する画像は、ハードディスクドライブ50に画像データが格納されているもの全てでもよいし、ユーザが別途、選択画面で選択したものでもよい。このマップビュー320を表示した状態で、コンテンツ作成者が、図示しないメニューウィンドウを表示させるなどしたうえ、シーケンス設定ファイル作成開始を指示する入力を行った場合、図15のマップビュー340を表示する。マップビュー340は、図14のマップビュー320に、シーケンス設定欄342を追加で表示したものである。
コンテンツ作成者は、シーケンス設定欄342に、順序を定義したい画像のサムネイルを並べていく。定義対象となる画像として、未設定画像欄330に表示された画像のほか、すでにリンクが設定されている画像、同図の例では画像322、324、326a〜326cのいずれかを含めることにより、全ての画像をリンクまたは順送りの対象として、直接的あるいは間接的に連結することができる。
シーケンス設定欄342へ並べる際は、対象画像のサムネイルを選択し、その位置をシーケンス設定欄342まで移動させる、いわゆる「ドラッグアンドドロップ」の操作によって行う。あるいは、別途、識別情報の選択画面で選択するようにしてもよい。このようにして順序を定義したい画像のサムネイルをその順で並べた画面の例が図16のマップビュー350である。マップビュー350においてシーケンス設定欄342には、識別情報「p1」、「p2」、「p3」、「p4」、「p5」、・・・なる画像がこの順で配列されている。
このうち識別情報「p1」なる画像326aおよび、識別情報「p5」なる画像326bは、元々、画像324からのリンクが設定されていたため、それを示す線328がそのまま表示されている。またシーケンス設定欄342内の画像同士を点線352aなどで接続することにより、画像の前後関係が定義されたことを表現する。
順序を定義する画像のサムネイルがシーケンス設定欄342で一度に表示できない場合は、スクロールバー354によって配列を横方向に移動可能とする。同図の場合、画像326b以後も画像列が続いていることが、点線352bによっても明示されている。このとき、図15における画像326cは、シーケンス設定欄342外にあるため、リンクを表す線328もそれを示すように伸長されている。なお、シーケンス設定欄342に並べた画像は、削除したり順序を入れ替えたりすることができるようにする。
このようにして順序を定義したら、次はリンク戻し操作時にリンク先として設定されている画像を探索する方向を設定する。図17は探索方向を設定する画面を示している。探索方向設定画面360は、図16で示したマップビュー350上にオーバーレイ表示してもよい。探索方向設定画面360は、画像の識別情報を、マップビュー350のシーケンス設定欄342で定義した順序で一覧表示した画像欄362と、各画像からの探索方向を指定する探索方向欄364を含む。
画像欄362は、図16に示したマップビュー350のシーケンス設定欄342における配列順に、各画像の識別番号を自動で表示する。探索方向欄364にはまず、デフォルトの設定である「前方向」を、全ての画像に対し記入しておく。ただしリンク先として設定されている画像に対しては「−」など無効の設定を記入する。コンテンツ作成者は、探索方向を「後方向」としたい画像についてのみ、編集を行う。例えば編集を行う画像の行を選択し、探索方向欄364に選択肢をプルダウン表示させる。この場合、「前方向」および「後方向」の2択となるため、「後方向」を選択することにより探索方向を更新する。
図17の例では、行366が編集対象とされ、探索方向欄364が「後方向」に更新されている。ここまでの設定により、入力装置20の○ボタン22を押下するなど確定入力がなされたら、設定ファイル出力部216は、探索方向設定画面360における各画像の順序と探索方向と、に基づき、図12で示したフォーマットでシーケンス設定ファイル219を作成し、ハードディスクドライブ50に格納する。なおリンク先として設定されている画像が複数のリンクのリンク先であった場合などに備え、リンク戻し操作によって戻る先の画像をさらに設定可能としてもよい。
この場合、設定ファイル出力部216は、シーケンス設定ファイル219に、さらに当該戻り先の画像の識別情報を記述する。例えば本文ページの画像列に対するシーケンス設定ファイル219において、戻り先の画像を目次の画像、と設定しておくことにより、本文ページのどの画像を表示中であっても、また本文ページへの別のリンクが設定されていても、リンク戻し操作によって必ず目次の画像へ戻るようにできる。
図18は、マップビューで表示できる画像間の関係の変形例を示している。マップビュー370においてシーケンス設定欄372には、図16のシーケンス設定欄342と同様に画像の順序が定義されている。ここで画像326bは図16で示した画像326bに対応し、リンクを表す線により画像324と連結している。さらに図18の場合、画像326bには、シーケンス設定欄372内で画像326bと一緒に順序が定義されている画像374aおよび画像374bをリンク先とするリンクが設定されていることが、線376によって示されている。
この場合、画像326bが表示された状態で、画像の順送り操作によって画像374a、374b、と表示を切り替えることができるのに加え、画像326bの所定のリンク領域をズームアップすることによっても画像374aや画像374bへ表示を切り替えることができる。このような設定も、画像326bのデータに対応付けたリンク設定ファイルに記述することによって可能となる。そしてマップビュー370に示すように、シーケンス設定欄372内で前後関係を表す点線と、リンクを表す線376によって、このような複雑な設定であっても一見して把握が可能である。
図19は、マップビューで表示できる画像間の関係の別の変形例を示している。マップビュー380では、図18のマップビュー370で行っている設定に加え、さらに別の画像セットに順序を定義している。そのため、図18で示したシーケンス設定欄372に加え、第2のシーケンス設定欄382が表示されている。順序を定義する画像セットは3つ以上でもよく、コンテンツ作成者がシーケンス設定ファイル作成開始を指示する入力を新たに行う都度、シーケンス設定欄を増やしていく。設定手法は上述したのと同様である。
図19の場合、画像326bの画像データに対応付けられているシナリオ設定ファイルにおいて、シーケンス設定欄372内で一緒に順序が定義されている画像374aおよび画像374bをリンク先とするリンク、および、別のシーケンス設定欄382で順序が定義されている画像384a、384b、384cをリンク先とするリンクが設定されていることがわかる。このような設定により、図18で実現できる画像切り替えに加え、画像326bの所定のリンク領域をズームアップすることにより、画像384a、384b、384cへ直接、画像を切り替えることができるほか、画像384a、384b、384c間を順送りすることができる。
なお図14〜16、図18、および図19のマップビューで示したリンクを表す線は、あらかじめ設定されたリンク設定ファイルに基づき表示されたものであるが、マップビュー内で設定を変更できるようにしてもよい。例えば、ある線を選択し、それを削除する操作を受け付ける。この場合、設定ファイル出力部216は、対応するリンクの設定を無効にするようにリンク設定ファイルを更新する。
また、画像間に線を描けるようにして、リンクの設定を追加できるようにしてもよい。このとき、例えばリンク元およびリンク先の画像を拡大表示したウィンドウを別に表示し、各画像上でリンク領域を指定できるようしたり、リンク条件を選択できるようにする。これに従い、設定ファイル出力部216は、リンク元の画像に対応づけられたリンク設定ファイルに、新たに設定されたリンクの記載を追加する。
次に図13の構成を有する情報処理装置10によりコンテンツ作成を支援するときの動作を説明する。図20は情報処理装置10によってコンテンツ作成を支援する処理手順を示すフローチャートである。まずハードディスクドライブ50に画像データ201およびリンク設定ファイル218が格納されている状態で、コンテンツ作成者が設定開始の指示入力を行うと(S10)、設定画面制御部214は、対象となる画像のサムネイルを、識別情報とともにマップビューに表示する(S12)。
このときリンク設定ファイル218によってリンクが設定されている画像間を線で接続することによってリンク関係を表す(S14)。もしリンクを表す線を削除したり追加したりする操作がなされたら(S16のY)、設定画面制御部214は、マップビューにそれを反映させる(S18)。一方、シーケンス設定ファイルを作成する指示入力がなされたら(S20のY)、マップビューにシーケンス設定欄を表示し、コンテンツ作成者の設定に従った順序でサムネイルを並べる(S22)。
次に探索方向設定画面を表示し、各画像の探索方向の設定を受け付ける(S24)。コンテンツ作成者がマップビューや探索方向設定画面を見ながら設定を行う都度、設定画面制御部214は、マップビューや探索方向設定画面を更新していく(S16〜S24)。そして最終的に設定を確定する入力がなされたら、設定ファイル出力部216はリンク設定ファイルの更新やシーケンス設定ファイル作成を行い、ハードディスクドライブ50に出力する(S26、S28)。
以上述べた本実施の形態によれば、電子書籍などのコンテンツを構成する画像にリンクや順序を定義し、視点移動操作や画像の順送り操作によって表示画像を切り替える。リンクや順序の定義を適切に行うことにより、様々な状況に対応できるアクセス性のよいコンテンツを、コンテンツの内容などに鑑み作成できる。このようなコンテンツの作成段階で、画像同士の関連性を画像のサムネイルと図形により可視化することにより、現在の設定内容を一見して把握できるとともに、以後の設定を適切に行うことができる。
これにより、コンテンツに組み入れる画像の数が増加したり、画像間の関連付けが複雑化した場合であっても、コンテンツ作成が容易になる。さらに、以前に作成したコンテンツの設定内容を容易に確認することができるうえ、コンテンツに新たな画像を追加したり、不具合部分を特定するなど、コンテンツの改定、修正が容易となる。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
1 情報処理システム、 10 情報処理装置、 12 表示装置、 20 入力装置、 38 タイル画像、 44 表示処理部、 50 ハードディスクドライブ、 60 メインメモリ、 100 制御部、 101 画像データ、 102 入力情報取得部、 104 表示領域決定部、 114 表示画像処理部、 116 画像切替制御部、 118 リンク設定ファイル、 119 シーケンス設定ファイル、 202 入力情報取得部、 214 設定画面制御部、 216 設定ファイル出力部、 201 画像データ、 218 リンク設定ファイル、 219 シーケンス設定ファイル。

Claims (9)

  1. 複数の画像のデータと、表示装置で当該複数の画像をユーザ操作により切り替えて表示する際、用いられた操作手段によって切り替え先の画像の決定に用いる処理手順を異ならせるために、各処理手順に必要な、種類の異なる情報をそれぞれ設定した複数の設定ファイルと、からなるコンテンツのデータを格納するデータ記憶部と、
    前記複数の設定ファイルに基づき各処理手順で画像を切り替えたときの画像の前後関係を特定し当該前後関係を、前記複数の画像の縮小画像とそれを接続する図形とで表すことにより、複数の前記処理手順による画像の切り替え順を一画面で表した相関マップを表示する設定画面制御部と、
    を備えることを特徴とする情報処理装置。
  2. 前記複数の設定ファイルは、
    表示中の画像のうち表示領域を変化させる操作によって、当該表示領域と設定領域の位置関係が所定の条件を満たしたときに画像を切り替える第1の処理手順に対し設定される、当該設定領域と切り替え先の画像とを対応づけた情報を記載したリンク設定ファイルと、
    画像の順送り操作によって画像を切り替える第2の処理手順に対し設定される、画像の順序を記載したシーケンス設定ファイルと、
    を含み、
    前記設定画面制御部は、前記リンク設定ファイルに基づき前記第1の処理手順により決定される画像の前後関係と、前記シーケンス設定ファイルに基づき前記第2の処理手順により決定される画像の前後関係を、異なる図形で接続することを特徴とする請求項1に記載の情報処理装置。
  3. 前記設定画面制御部は、前記複数の画像に含まれ、前記複数の設定ファイルに基づき特定される画像の前後関係のいずれにも組み込まれていない未設定画像の縮小画像をさらに表示し、
    前記未設定画像の縮小画像を、前記相関マップにおいて他の画像の縮小画像と接続する入力を受け付ける入力情報取得部と、
    前記接続する入力に従い前記表示装置における画像の切り替えに新たな前後関係が発生するように前記設定ファイルのいずれかを更新する設定ファイル出力部と、
    をさらに備えることを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記相関マップにおいて、前記画像の縮小画像を接続している図形を削除する入力を受け付ける入力情報取得部と、
    前記表示装置における画像の切り替えにおいて、削除された図形に対応する前後関係がなくなるように前記設定ファイルのいずれかを更新する設定ファイル出力部と、
    をさらに備えることを特徴とする請求項1または2に記載の情報処理装置。
  5. 前記設定画面制御部は、前記シーケンス設定ファイルにおいて順序が設定される画像の縮小画像を内部に配列させるシーケンス設定欄を描画し、
    新たに順序を設定すべき画像の縮小画像を新たなシーケンス設定欄内部に配置していく入力を受け付ける入力情報取得部と、
    前記新たなシーケンス設定欄に対応させて、新たなシーケンス設定ファイルを作成する設定ファイル出力部と、
    をさらに備えることを特徴とする請求項2に記載の情報処理装置。
  6. 前記設定画面制御部は、前記リンク設定ファイルに基づき前記第1の処理手順によって決定される画像の前後関係を、各画像の縮小画像同士を線で接続することによって表し、前記入力情報取得部が、当該前後関係によって他の画像と線で接続されている一の画像の縮小画像を、前記第2の処理手順に対応する前記シーケンス設定欄に配置させる入力を受け付けた際、当該縮小画像の移動に伴い、前記他の画像と接続する線を伸縮させることを特徴とする請求項5に記載の情報処理装置。
  7. 複数の画像のデータと、表示装置で当該複数の画像をユーザ操作により切り替えて表示する際、用いられた操作手段によって切り替え先の画像の決定に用いる処理手順を異ならせるために、各処理手順に必要な、種類の異なる情報をそれぞれ設定した複数の設定ファイルと、からなるコンテンツのデータを記憶装置から読み出すステップと、
    前記複数の設定ファイルに基づき各処理手順で画像を切り替えたときの画像の前後関係を特定し当該前後関係を、前記複数の画像の縮小画像とそれを接続する図形とで表すことにより、複数の前記処理手順による画像の切り替え順を一画面で表した相関マップを表示装置に表示するステップと、
    を含むことを特徴とする情報処理方法。
  8. 複数の画像のデータと、表示装置で当該複数の画像をユーザ操作により切り替えて表示する際、用いられた操作手段によって切り替え先の画像の決定に用いる処理手順を異ならせるために、各処理手順に必要な、種類の異なる情報をそれぞれ設定した複数の設定ファイルと、からなるコンテンツのデータを記憶装置から読み出す機能と、
    前記複数の設定ファイルに基づき各処理手順で画像を切り替えたときの画像の前後関係を特定し当該前後関係を、前記複数の画像の縮小画像とそれを接続する図形とで表すことにより、複数の前記処理手順による画像の切り替え順を一画面で表した相関マップを表示装置に表示する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。
  9. 複数の画像のデータと、表示装置で当該複数の画像をユーザ操作により切り替えて表示する際、用いられた操作手段によって切り替え先の画像の決定に用いる処理手順を異ならせるために、各処理手順に必要な、種類の異なる情報をそれぞれ設定した複数の設定ファイルと、からなるコンテンツのデータを記憶装置から読み出す機能と、
    前記複数の設定ファイルに基づき各処理手順で画像を切り替えたときの画像の前後関係を特定し当該前後関係を、前記複数の画像の縮小画像とそれを接続する図形とで表すことにより、複数の前記処理手順による画像の切り替え順を一画面で表した相関マップを表示装置に表示する機能と、
    をコンピュータに実現させるコンピュータプログラムを記録したことを特徴とする、コンピュータにて読み取り可能な記録媒体。
JP2012123717A 2012-05-30 2012-05-30 情報処理装置および情報処理方法 Active JP5467123B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012123717A JP5467123B2 (ja) 2012-05-30 2012-05-30 情報処理装置および情報処理方法
EP13797449.9A EP2857945B1 (en) 2012-05-30 2013-04-26 Information processing device and information processing method
CN201380026729.XA CN104350456B (zh) 2012-05-30 2013-04-26 信息处理装置和信息处理方法
US14/401,867 US9601091B2 (en) 2012-05-30 2013-04-26 Information processing apparatus and information processing method
PCT/JP2013/002847 WO2013179567A1 (ja) 2012-05-30 2013-04-26 情報処理装置および情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012123717A JP5467123B2 (ja) 2012-05-30 2012-05-30 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JP2013250676A JP2013250676A (ja) 2013-12-12
JP5467123B2 true JP5467123B2 (ja) 2014-04-09

Family

ID=49672798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012123717A Active JP5467123B2 (ja) 2012-05-30 2012-05-30 情報処理装置および情報処理方法

Country Status (5)

Country Link
US (1) US9601091B2 (ja)
EP (1) EP2857945B1 (ja)
JP (1) JP5467123B2 (ja)
CN (1) CN104350456B (ja)
WO (1) WO2013179567A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6167703B2 (ja) * 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
KR20160087640A (ko) * 2015-01-14 2016-07-22 엘지전자 주식회사 이동단말기 및 그 제어방법
CN107578378A (zh) * 2017-09-06 2018-01-12 叶进蓉 一种用于即时通信中的图像处理方法及系统
CN110989892B (zh) * 2019-11-06 2022-01-11 北京奇艺世纪科技有限公司 文本显示方法、装置、电子设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149648A (ja) * 1992-11-16 1994-05-31 Toshiba Corp ハイパーメディアシステム
SG64486A1 (en) 1997-03-27 1999-04-27 Sony Corp Method and apparatus for information processing computer readable medium and authoring system
JP3737676B2 (ja) * 2000-05-25 2006-01-18 サンワコムシスエンジニアリング株式会社 ホームページ表示方法
JP2002140337A (ja) * 2000-10-31 2002-05-17 Nec Corp 音声データ検索方法及び音声データ検索装置
US20040085347A1 (en) 2002-10-31 2004-05-06 Richard Hagarty Storage area network management
CN101535940B (zh) * 2006-09-06 2013-06-12 苹果公司 用于即时消息传送的便携式电子设备
US8219374B1 (en) * 2007-02-21 2012-07-10 University Of Central Florida Research Foundation, Inc. Symbolic switch/linear circuit simulator systems and methods
JP2010268195A (ja) * 2009-05-14 2010-11-25 Kddi Corp 動画コンテンツ編集プログラム、サーバ、装置及び方法
JP5389757B2 (ja) 2010-09-15 2014-01-15 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、コンテンツ作成装置、画像処理方法、およびコンテンツファイルのデータ構造
JP2012069004A (ja) 2010-09-24 2012-04-05 Sharp Corp 電子書籍閲覧装置、電子書籍閲覧方法、プログラム及びその記録媒体
JP5538161B2 (ja) * 2010-09-24 2014-07-02 シャープ株式会社 電子書籍データ作成装置、電子書籍データ作成方法、プログラム及びその記録媒体

Also Published As

Publication number Publication date
EP2857945A1 (en) 2015-04-08
WO2013179567A1 (ja) 2013-12-05
EP2857945A4 (en) 2016-03-30
US20150145886A1 (en) 2015-05-28
JP2013250676A (ja) 2013-12-12
CN104350456A (zh) 2015-02-11
US9601091B2 (en) 2017-03-21
CN104350456B (zh) 2017-07-28
EP2857945B1 (en) 2021-04-07

Similar Documents

Publication Publication Date Title
KR101400935B1 (ko) 화상 처리 장치, 정보 처리 장치, 화상 처리 방법, 및 정보 처리 방법
JP5713855B2 (ja) 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
JP5851170B2 (ja) 画像処理装置および画像処理方法
JP5467123B2 (ja) 情報処理装置および情報処理方法
JP2011060070A (ja) 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
JP5520473B2 (ja) 情報処理装置および情報処理方法
WO2011052110A1 (ja) 情報処理装置
US8972877B2 (en) Information processing device for displaying control panel image and information image on a display
JP5520469B2 (ja) 画像処理装置および画像処理方法
JP5520472B2 (ja) 情報処理装置および情報処理方法
JP5292147B2 (ja) 情報処理装置および情報処理方法
JP5920673B2 (ja) 画像処理装置および画像処理方法
JP5520471B2 (ja) 画像処理装置および画像処理方法
JP5524469B2 (ja) 画像処理装置および画像処理方法
JP5520470B2 (ja) 画像処理装置および画像処理方法
JP2008176580A (ja) 情報処理装置及び表示制御方法
JP2011128701A (ja) 画像データ表示出力装置、及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140127

R150 Certificate of patent or registration of utility model

Ref document number: 5467123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250