JP2007299330A

JP2007299330A - Image display device and its control method and program

Info

Publication number: JP2007299330A
Application number: JP2006128735A
Authority: JP
Inventors: Teiji Yutaka; 禎治豊; Shunsuke Kunieda; 俊介國枝; Shigeru Enomoto; 繁榎本; Tomoshi Hashimoto; 智志橋本
Original assignee: Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2006-05-02
Filing date: 2006-05-02
Publication date: 2007-11-15
Anticipated expiration: 2026-05-02
Also published as: JP4799261B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display device for allowing a user to easily find a desired display element. <P>SOLUTION: The image display device comprises an attitude information output means provided in a controller for outputting attitude information for the controller. According to the output attitude information, a view point position 64 in a virtual space 60 where the plurality of display elements 62 are arranged is moved and a space image showing the status of the virtual space 60 in view from the view point position 64 is displayed on a display means. According to the operation of the controller, one or more of the plurality of display elements 62 displayed on the display means is selected as a selected display element. According to the position of the selected display element in the virtual space 60, the moving range of the view point position 64 in the virtual space 60 is restricted. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、例えばコンテンツやサービスなどを示す表示要素を表示する画像表示装置、その制御方法及びプログラムに関する。 The present invention relates to an image display device that displays a display element indicating, for example, content or service, a control method thereof, and a program.

コンピュータ上の仮想空間に複数の表示要素をそれらの関連性に従って配置して、ユーザの操作に従って仮想空間を移動する視点から、視線方向を見た様子をモニタに表示する技術が知られている（例えば、特許文献１参照）。こうした技術によれば、ユーザは視点を移動させ、モニタの表示を更新させていくことで、所望の表示要素を見つけ出すことができる。
特開２００４−３０１２２号公報 A technique is known in which a plurality of display elements are arranged in a virtual space on a computer according to their relevance, and a view of the line-of-sight direction is displayed on a monitor from a viewpoint of moving in the virtual space according to a user operation ( For example, see Patent Document 1). According to such a technique, the user can find a desired display element by moving the viewpoint and updating the display on the monitor.
JP 2004-30122 A

しかしながら、上記従来例の技術においては、例えば仮想空間に膨大な数の表示要素が配置された場合、モニタにも多数の表示要素が表示され、ユーザは所望の表示要素を見つけるのが困難となる。 However, in the conventional technology, for example, when a large number of display elements are arranged in the virtual space, a large number of display elements are displayed on the monitor, and it is difficult for the user to find a desired display element. .

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ユーザが所望の表示要素を見つけやすくすることのできる画像表示装置、その制御方法、及びプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and one of its purposes is to provide an image display device, a control method thereof, and a program that enable a user to easily find a desired display element. is there.

上記課題を解決するための本発明に係る画像表示装置は、コントローラに備えられ、該コントローラの姿勢情報を出力する姿勢情報出力手段と、前記出力された姿勢情報に応じて、複数の表示要素が配置された仮想空間における視点位置を移動させる視点位置移動手段と、前記仮想空間を前記視点位置から見た様子を示す空間画像を表示手段に表示させる空間画像表示手段と、前記コントローラに対する操作に応じて、前記表示手段に表示されている前記複数の表示要素から１又は複数を選択表示要素として選択する表示要素選択手段と、前記選択表示要素の前記仮想空間における位置に応じて、前記視点位置の前記仮想空間における移動範囲を制限する移動範囲制限手段と、を含むことを特徴とする。 An image display device according to the present invention for solving the above-described problems is provided in a controller, and posture information output means for outputting posture information of the controller, and a plurality of display elements according to the output posture information. In accordance with an operation on the controller, a viewpoint position moving unit that moves a viewpoint position in the arranged virtual space, a spatial image display unit that displays a spatial image showing the virtual space viewed from the viewpoint position on a display unit, and Display element selection means for selecting one or more of the plurality of display elements displayed on the display means as selection display elements, and the position of the viewpoint according to the position of the selected display element in the virtual space. Movement range restriction means for restricting the movement range in the virtual space.

また、上記画像表示装置において、前記姿勢情報出力手段は、前記コントローラに予め定められた基準方向の、水平面に対する傾きを検知し、当該傾きの情報を出力する加速度センサであることとしてもよい。 In the image display device, the posture information output unit may be an acceleration sensor that detects an inclination of a reference direction predetermined for the controller with respect to a horizontal plane and outputs information on the inclination.

また、上記画像表示装置において、前記移動範囲制限手段は、前記仮想空間における前記選択表示要素の位置から所定の距離以下の範囲に、前記視点位置の移動範囲を制限することとしてもよい。 In the image display device, the movement range restriction unit may restrict the movement range of the viewpoint position within a predetermined distance from the position of the selected display element in the virtual space.

また、上記画像表示装置において、前記複数の表示要素は、当該各表示要素の特徴情報に応じて、前記仮想空間に配置されることとしてもよい。 In the image display device, the plurality of display elements may be arranged in the virtual space according to feature information of each display element.

また、上記画像表示装置において、前記コントローラは、方向を示す情報を出力する操作部材を備え、前記画像表示装置は、前記操作部材に対する操作に応じて、前記空間画像内に配置されたポインタ画像を移動させるポインタ移動手段をさらに含み、前記表示要素選択手段は、前記ポインタ画像の前記空間画像内の位置に基づいて、前記選択表示要素を選択することとしてもよい。 Further, in the image display device, the controller includes an operation member that outputs information indicating a direction, and the image display device displays a pointer image arranged in the spatial image in response to an operation on the operation member. The display element selection unit may further select the selection display element based on a position of the pointer image in the spatial image.

また、本発明に係る画像表示装置の制御方法は、コントローラに備えられ、該コントローラの姿勢情報を出力する姿勢情報出力手段を含む画像表示装置の制御方法であって、前記出力された姿勢情報に応じて、複数の表示要素が配置された仮想空間における視点位置を移動させるステップと、前記仮想空間を前記視点位置から見た様子を示す空間画像を表示手段に表示させるステップと、前記コントローラに対する操作に応じて、前記表示手段に表示されている前記複数の表示要素から１又は複数を選択表示要素として選択するステップと、前記選択表示要素の前記仮想空間における位置に応じて、前記視点位置の前記仮想空間における移動範囲を制限するステップと、を含むことを特徴とする。 An image display apparatus control method according to the present invention is a control method for an image display apparatus provided in a controller and including attitude information output means for outputting the attitude information of the controller. In response, a step of moving a viewpoint position in a virtual space in which a plurality of display elements are arranged, a step of displaying on the display means a spatial image showing the virtual space viewed from the viewpoint position, and an operation on the controller And selecting one or more of the plurality of display elements displayed on the display means as a selected display element, and depending on the position of the selected display element in the virtual space, Limiting the range of movement in the virtual space.

また、本発明に係るプログラムは、コントローラに備えられ、該コントローラの姿勢情報を出力する姿勢情報出力手段を含む画像表示装置としてコンピュータを機能させるプログラムであって、前記出力された姿勢情報に応じて、複数の表示要素が配置された仮想空間における視点位置を移動させる視点位置移動手段、前記仮想空間を前記視点位置から見た様子を示す空間画像を表示手段に表示させる空間画像表示手段、前記コントローラに対する操作に応じて、前記表示手段に表示されている前記複数の表示要素から１又は複数を選択表示要素として選択する表示要素選択手段、及び前記選択表示要素の前記仮想空間における位置に応じて、前記視点位置の前記仮想空間における移動範囲を制限する移動範囲制限手段、として前記コンピュータを機能させることを特徴とする。 A program according to the present invention is a program that is provided in a controller and causes a computer to function as an image display device that includes posture information output means for outputting posture information of the controller, according to the output posture information. Viewpoint position moving means for moving the viewpoint position in a virtual space in which a plurality of display elements are arranged, space image display means for displaying on the display means a spatial image showing the virtual space viewed from the viewpoint position, and the controller In response to an operation on the display means, a display element selection means for selecting one or more of the plurality of display elements displayed on the display means as a selected display element, and a position of the selected display element in the virtual space, Movement range restriction means for restricting a movement range of the viewpoint position in the virtual space; Characterized in that the functioning of the motor.

以下、本発明の一実施形態について、図面を参照しながら説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図１は、本実施形態に係るエンタテインメントシステム（画像表示装置）のハードウェア構成を示す図である。同図に示すように、エンタテインメントシステム１０は、ＭＰＵ（Micro Processing Unit）１１と、メインメモリ２０と、画像処理部２４と、モニタ２６と、入出力処理部２８と、音声処理部３０と、スピーカ３２と、光ディスク読み取り部３４と、光ディスク３６と、ハードディスク３８と、インタフェース（Ｉ／Ｆ）４０，４４と、コントローラ４２と、カメラユニット４６と、ネットワークインタフェース４８と、を含んで構成されるコンピュータシステムである。 FIG. 1 is a diagram illustrating a hardware configuration of an entertainment system (image display apparatus) according to the present embodiment. As shown in the figure, the entertainment system 10 includes an MPU (Micro Processing Unit) 11, a main memory 20, an image processing unit 24, a monitor 26, an input / output processing unit 28, an audio processing unit 30, and a speaker. 32, an optical disk reading unit 34, an optical disk 36, a hard disk 38, interfaces (I / F) 40, 44, a controller 42, a camera unit 46, and a network interface 48. It is.

図２は、ＭＰＵ１１の構成を示す図である。同図に示すように、ＭＰＵ１１は、メインプロセッサ１２と、サブプロセッサ１４ａ，１４ｂ，１４ｃ，１４ｄ，１４ｅ，１４ｆ，１４ｇ，１４ｈと、バス１６と、メモリコントローラ１８と、インタフェース（Ｉ／Ｆ）２２と、を含んで構成される。 FIG. 2 is a diagram illustrating the configuration of the MPU 11. As shown in the figure, the MPU 11 includes a main processor 12, sub-processors 14a, 14b, 14c, 14d, 14e, 14f, 14g, and 14h, a bus 16, a memory controller 18, and an interface (I / F) 22. And comprising.

メインプロセッサ１２は、図示しないＲＯＭ（Read Only Memory）に記憶されるオペレーティングシステム、例えばＤＶＤ（Digital Versatile Disk）−ＲＯＭ等の光ディスク３６から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて、各種情報処理を行ったり、サブプロセッサ１４ａ乃至１４ｈに対する制御を行ったりする。 The main processor 12 is an operating system stored in a ROM (Read Only Memory) (not shown), for example, a program and data read from an optical disc 36 such as a DVD (Digital Versatile Disk) -ROM, and a program supplied via a communication network. Based on the data and the like, various information processing is performed, and the sub-processors 14a to 14h are controlled.

サブプロセッサ１４ａ乃至１４ｈは、メインプロセッサ１２からの指示に従って、各種情報処理を行ったり、エンタテインメントシステム１０の各部を、例えばＤＶＤ−ＲＯＭ等の光ディスク３６から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて制御したりする。 The sub-processors 14a to 14h perform various types of information processing in accordance with instructions from the main processor 12, and each part of the entertainment system 10 is read from the optical disk 36 such as a DVD-ROM or the like via a communication network. Control based on supplied programs and data.

バス１６は、アドレス及びデータをエンタテインメントシステム１０の各部でやり取りするためのものである。メインプロセッサ１２、サブプロセッサ１４ａ乃至１４ｈ、メモリコントローラ１８、インタフェース２２は、バス１６を介して相互にデータ授受可能に接続される。 The bus 16 is used for exchanging addresses and data among the various parts of the entertainment system 10. The main processor 12, the sub processors 14a to 14h, the memory controller 18, and the interface 22 are connected to each other via the bus 16 so as to be able to exchange data.

メモリコントローラ１８は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈからの指示に従って、メインメモリ２０へのアクセスを行う。メインメモリ２０には、光ディスク３６やハードディスク３８から読み出されたプログラム及びデータや、通信ネットワークを介して供給されたプログラム及びデータが必要に応じて書き込まれる。メインメモリ２０はメインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈの作業用としても用いられる。 The memory controller 18 accesses the main memory 20 in accordance with instructions from the main processor 12 and the sub processors 14a to 14h. Programs and data read from the optical disk 36 and the hard disk 38 and programs and data supplied via the communication network are written into the main memory 20 as necessary. The main memory 20 is also used for work of the main processor 12 and the sub processors 14a to 14h.

インタフェース２２には画像処理部２４及び入出力処理部２８が接続される。メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈと、画像処理部２４又は入出力処理部２８と、の間のデータ授受はインタフェース２２を介して行われる。 An image processing unit 24 and an input / output processing unit 28 are connected to the interface 22. Data exchange between the main processor 12 and the sub processors 14 a to 14 h and the image processing unit 24 or the input / output processing unit 28 is performed via the interface 22.

画像処理部２４は、ＧＰＵ（Graphical Processing Unit）とフレームバッファとを含んで構成される。ＧＰＵは、メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈから供給される画像データに基づいてフレームバッファに各種画面を描画する。フレームバッファに形成された画面は、所定のタイミングでビデオ信号に変換されてモニタ２６に出力される。モニタ２６は例えば家庭用テレビ受像機などであって、本発明における表示手段に相当する。 The image processing unit 24 includes a GPU (Graphical Processing Unit) and a frame buffer. The GPU renders various screens in the frame buffer based on the image data supplied from the main processor 12 and the sub processors 14a to 14h. The screen formed in the frame buffer is converted into a video signal at a predetermined timing and output to the monitor 26. The monitor 26 is a home television receiver, for example, and corresponds to the display means in the present invention.

入出力処理部２８には、音声処理部３０、光ディスク読み取り部３４、ハードディスク３８、インタフェース４０,４４が接続される。入出力処理部２８は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈと、音声処理部３０、光ディスク読み取り部３４、ハードディスク３８、インタフェース４０,４４、ネットワークインタフェース４８と、の間のデータ授受を制御する。 An audio processing unit 30, an optical disk reading unit 34, a hard disk 38, and interfaces 40 and 44 are connected to the input / output processing unit 28. The input / output processing unit 28 controls data exchange between the main processor 12 and the sub-processors 14a to 14h, the audio processing unit 30, the optical disc reading unit 34, the hard disk 38, the interfaces 40 and 44, and the network interface 48.

音声処理部３０は、ＳＰＵ（Sound Processing Unit）とサウンドバッファとを含んで構成される。サウンドバッファには、光ディスク３６やハードディスク３８から読み出されたゲーム音楽、ゲーム効果音やメッセージなどの各種音声データが記憶される。ＳＰＵは、これらの各種音声データを再生してスピーカ３２から出力させる。なお、スピーカ３２には例えば家庭用テレビ受像機の内蔵スピーカが用いられる。 The sound processing unit 30 includes an SPU (Sound Processing Unit) and a sound buffer. The sound buffer stores various audio data such as game music, game sound effects and messages read from the optical disk 36 and the hard disk 38. The SPU reproduces these various audio data and outputs them from the speaker 32. As the speaker 32, for example, a built-in speaker of a home television receiver is used.

光ディスク読み取り部３４は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈからの指示に従って、光ディスク３６に記憶されたプログラムやデータを読み取る。なお、エンタテインメントシステム１０は、光ディスク３６以外の他のコンピュータ読み取り可能な情報記憶媒体に記憶されたプログラムやデータを読み取り可能に構成してもよい。 The optical disk reading unit 34 reads programs and data stored on the optical disk 36 in accordance with instructions from the main processor 12 and the sub processors 14a to 14h. Note that the entertainment system 10 may be configured to be able to read a program or data stored in a computer-readable information storage medium other than the optical disk 36.

光ディスク３６は例えばＤＶＤ−ＲＯＭ等の一般的な光ディスク（コンピュータ読み取り可能な情報記憶媒体）である。また、ハードディスク３８は一般的なハードディスク装置である。光ディスク３６やハードディスク３８には各種プログラムやデータがコンピュータ読み取り可能に記憶される。 The optical disk 36 is a general optical disk (computer-readable information storage medium) such as a DVD-ROM. The hard disk 38 is a general hard disk device. Various programs and data are stored in the optical disk 36 and the hard disk 38 so as to be readable by a computer.

インタフェース（Ｉ／Ｆ）４０，４４は、コントローラ４２やカメラユニット４６等の各種周辺機器を接続するためのインタフェースである。このようなインタフェースとしては、例えばＵＳＢ（Universal Serial Bus）インタフェースが用いられる。 The interfaces (I / F) 40 and 44 are interfaces for connecting various peripheral devices such as the controller 42 and the camera unit 46. For example, a USB (Universal Serial Bus) interface is used as such an interface.

コントローラ４２は汎用操作入力手段であり、ユーザが各種操作（例えばゲーム操作）を入力するために用いられる。入出力処理部２８は、所定時間（例えば１／６０秒）ごとにコントローラ４２の各部の状態をスキャンし、その結果を表す操作信号をメインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈに供給する。メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈは、ユーザによって行われた操作の内容をその操作信号に基づいて判断する。なお、エンタテインメントシステム１０は複数のコントローラ４２を接続可能に構成されており、各コントローラ４２から入力される操作信号に基づいて、メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈが各種処理を実行するようになっている。 The controller 42 is general-purpose operation input means, and is used by the user to input various operations (for example, game operations). The input / output processing unit 28 scans the state of each unit of the controller 42 every predetermined time (for example, 1/60 seconds), and supplies an operation signal representing the result to the main processor 12 and the sub processors 14a to 14h. The main processor 12 and the sub processors 14a to 14h determine the content of the operation performed by the user based on the operation signal. The entertainment system 10 is configured to be able to connect a plurality of controllers 42, and the main processor 12 and the sub processors 14a to 14h execute various processes based on operation signals input from the controllers 42. ing.

コントローラ４２は、例えば図３の斜視図に示すような外観をなし、把持部５０Ｒ，５０Ｌを有している。ユーザは、把持部５０Ｒを右手で、把持部５０Ｌを左手でそれぞれ把持することになる。ユーザが把持部５０を把持した状態で、各親指にて操作可能な位置には、第１，第２の操作部５１，５２と、アナログ操作部５３Ｒ，５３Ｌとがそれぞれ設けられている。 The controller 42 has an appearance as shown in the perspective view of FIG. 3, for example, and includes gripping portions 50R and 50L. The user grips the grip portion 50R with the right hand and the grip portion 50L with the left hand. First and second operation units 51 and 52 and analog operation units 53R and 53L are provided at positions where the user can operate with each thumb while holding the grip unit 50, respectively.

ここで第１の操作部５１には、方向に関連づけられた操作部材である、上方向指示キー５１ａ、下方向指示キー５１ｂ、右方向指示キー５１ｃ及び左方向指示キー５１ｄが設けられている。ユーザはこれらの方向指示キー５１ａ、５１ｂ、５１ｃ及び５１ｄを利用して、例えば画面上の操作対象を特定する。また、第２の操作部５２には、三角（「△」）形状の刻印が設けられた三角ボタン５２ａと、Ｘ字（「×」）状の刻印が設けられたＸボタン５２ｂと、Ｏ字（「○」）状の刻印が設けられたＯボタン５２ｃと、矩形（「□」）形状の刻印が設けられた矩形ボタン５２ｄとが設けられている。これらのボタン５２ａ，５２ｂ，５２ｃ及び５２ｄは、例えば、方向指示キー５１ａ，５１ｂ，５１ｃ及び５１ｄにて特定された操作対象に応じて、それぞれ操作内容が割り当てられる。これによりユーザは、適切なボタン５２ａ，５２ｂ，５２ｃ及び５２ｄを選択し押下することで指示キー５１ａ，５１ｂ，５１ｃ及び５１ｄにて特定された操作対象に対する操作を行うことができることになる。 Here, the first operation unit 51 is provided with an upward direction key 51a, a downward direction key 51b, a right direction key 51c, and a left direction key 51d, which are operation members associated with directions. The user uses these direction instruction keys 51a, 51b, 51c, and 51d to specify an operation target on the screen, for example. Further, the second operation unit 52 includes a triangular button 52a provided with a triangular (“Δ”)-shaped marking, an X button 52b provided with an X-shaped (“×”)-shaped marking, and an O-shaped. An O button 52c provided with a (“◯”)-shaped marking and a rectangular button 52d provided with a rectangular (“□”)-shaped marking are provided. These buttons 52a, 52b, 52c, and 52d are assigned operation contents according to the operation targets specified by the direction instruction keys 51a, 51b, 51c, and 51d, for example. Accordingly, the user can perform an operation on the operation target specified by the instruction keys 51a, 51b, 51c, and 51d by selecting and pressing appropriate buttons 52a, 52b, 52c, and 52d.

アナログ操作部５３Ｒ，５３Ｌは、傾倒操作が可能となっており、また、傾倒させた状態で、この回転操作が可能となっている。このアナログ操作部５３Ｒ，５３Ｌは、非傾倒操作時には、起立した状態（傾きのない状態）でそのポジションが保持されるようになっている（基準ポジション）。そして、アナログ操作部５３Ｒ或いはアナログ操作部５３Ｌを押圧操作しながら傾倒操作すると、上記基準ポジションに対する傾き量と傾き方向に応じたｘｙ座標上の座標値（ｘ,ｙ）が検出され、この座標値が操作出力として出力される。 The analog operation units 53R and 53L can be tilted, and can be rotated in a tilted state. The analog operation units 53R and 53L are held in a standing state (a state without inclination) during a non-tilting operation (reference position). Then, when the tilt operation is performed while pressing the analog operation unit 53R or the analog operation unit 53L, the coordinate value (x, y) on the xy coordinates corresponding to the tilt amount and the tilt direction with respect to the reference position is detected, and this coordinate value Is output as an operation output.

また、このコントローラ４２は、プログラム実行開始の指示などを行うためのスタートボタンや、各種モードを切替える指示などを行うためのセレクトボタン等、他の操作部材を有することとしてもよい。 The controller 42 may have other operation members such as a start button for giving an instruction to start program execution and a select button for giving instructions for switching various modes.

また本実施の形態においては、コントローラ４２は、当該コントローラ４２そのものの姿勢情報を出力する姿勢情報出力部４３を備えている。これにより、ユーザが例えばコントローラ４２を把持してその姿勢を変えることで、メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈは当該姿勢の変化に応じた処理を実行することができる。 In the present embodiment, the controller 42 includes a posture information output unit 43 that outputs posture information of the controller 42 itself. Thereby, for example, when the user holds the controller 42 and changes its posture, the main processor 12 and the sub-processors 14a to 14h can execute processing according to the change in the posture.

姿勢情報出力部４３は、３軸加速度センサ４３ａ及びジャイロセンサ４３ｂを含んで構成されている。これらのセンサが出力するコントローラ４２の姿勢情報について、以下説明する。図３に示されるように、３軸加速度センサ４３ａは、コントローラ４２内に固定されており、互いに直交するｘ軸、ｙ軸、及びｚ軸の３つの基準軸が設定されている。ここで、ｘ軸はコントローラ４２の長手方向、ｙ軸はコントローラ４２の奥行方向、ｚ軸はコントローラ４２の厚み方向にそれぞれ対応している。そして、当該各基準軸に対する加速度を検知し、検知した加速度に応じた電圧値を出力する。 The posture information output unit 43 includes a three-axis acceleration sensor 43a and a gyro sensor 43b. The attitude information of the controller 42 output by these sensors will be described below. As shown in FIG. 3, the three-axis acceleration sensor 43 a is fixed in the controller 42, and three reference axes, that is, an x axis, a y axis, and a z axis that are orthogonal to each other, are set. Here, the x-axis corresponds to the longitudinal direction of the controller 42, the y-axis corresponds to the depth direction of the controller 42, and the z-axis corresponds to the thickness direction of the controller 42. And the acceleration with respect to each said reference axis is detected, and the voltage value according to the detected acceleration is output.

図４は、３軸加速度センサ４３ａが検知するいずれかの軸に対する加速度と、検知した加速度に応じて出力する電圧値と、の対応関係を模式的に示すグラフである。図４に示すように、３軸加速度センサ４３ａは加速度に略比例する電圧値を出力し、加速度を検知しない状態では基準電圧Ｖｏを出力する。出力される電圧値の基準電圧Ｖｏに対する高低により、各軸の正負いずれの方向に加速度が生じているかを検知することができる。なお、図において１Ｇは、重力加速度に相当する加速度を示している。 FIG. 4 is a graph schematically showing the correspondence between the acceleration for any of the axes detected by the three-axis acceleration sensor 43a and the voltage value output according to the detected acceleration. As shown in FIG. 4, the triaxial acceleration sensor 43a outputs a voltage value substantially proportional to the acceleration, and outputs a reference voltage Vo when no acceleration is detected. Depending on whether the output voltage value is higher or lower than the reference voltage Vo, it is possible to detect in which of the positive and negative directions of each axis the acceleration occurs. In the figure, 1G indicates an acceleration corresponding to the gravitational acceleration.

この３軸加速度センサ４３ａの出力のうち、ｘ軸及びｚ軸の加速度が、コントローラ４２のｙ軸を中心とした回転の角度θｙを表す。例えばコントローラ４２が図５（ａ）に示すように水平面に対して長手方向にθy₁度傾いた姿勢となっている場合、ｘ軸の加速度はＧsinθy₁となる。また、図５（ｂ）に示すようにコントローラ４２が図５（ａ）とは逆向きにθy₂度傾いている場合、ｘ軸の加速度は−Ｇsinθy₂となる。このようにｘ軸の加速度が、コントローラ４２の水平面に対する傾きを表す。さらに、ｙ軸を中心としてコントローラ４２を９０度以上回転させ、上下逆の状態にした場合には、ｚ軸の加速度の正負が反転するため、ｘ軸とｚ軸の加速度に基づいてこのような状態を識別することができる。 Among the outputs of the three-axis acceleration sensor 43a, the x-axis and z-axis accelerations represent the rotation angle θy about the y-axis of the controller 42. For example, the controller 42 may have a [theta] y ₁ degree inclined posture longitudinally with respect to the horizontal plane as shown in FIG. 5 (a), the acceleration of the x-axis becomes Gsinθy _1. Further, as shown in FIG. 5B, when the controller 42 is inclined by θy ₂ degrees in the opposite direction to FIG. 5A, the x-axis acceleration is −Gsin θy ₂ . Thus, the x-axis acceleration represents the inclination of the controller 42 with respect to the horizontal plane. Further, when the controller 42 is rotated 90 degrees or more around the y-axis and turned upside down, the positive and negative signs of the z-axis acceleration are reversed. Therefore, based on the x-axis and z-axis acceleration, The state can be identified.

同様に、３軸加速度センサ４３ａが出力するｙ軸及びｚ軸の加速度が、コントローラ４２のｘ軸を中心とした回転の角度θｘを表す。例えばコントローラ４２が図６（ａ）に示すように水平面に対して奥行方向にθx₁度傾いた姿勢となっている場合、ｙ軸の加速度はＧsinθx₁となる。また、図６（ｂ）に示すように図６（ａ）とは逆向きにθx₂度傾いている場合、ｙ軸の加速度は−Ｇsinθx₂となる。また、ｘ軸を中心としてコントローラ４２を９０度以上回転させた場合にも、θｙの場合と同様にｚ軸の加速度の正負とｙ軸の加速度とに基づいて、このような状態を識別できる。 Similarly, the y-axis and z-axis accelerations output from the triaxial acceleration sensor 43a represent the rotation angle θx about the x-axis of the controller 42. For example, if the controller 42 is in the [theta] x ₁ degree inclined posture in the depth direction with respect to the horizontal plane as shown in FIG. 6 (a), the acceleration of the y-axis becomes Gsinθx _1. Further, as shown in FIG. 6B, when tilted by θx ₂ degrees in the opposite direction to FIG. 6A, the y-axis acceleration is −Gsin θx ₂ . Further, even when the controller 42 is rotated 90 degrees or more around the x-axis, such a state can be identified based on the positive / negative of the z-axis acceleration and the y-axis acceleration as in the case of θy.

また、３軸加速度センサ４３ａの出力を十分短い間隔でサンプリングすることによって、エンタテインメントシステム１０は急激に大きな加速度がコントローラ４２にかかったことを検知することができる。例えば一時的に１Ｇを超える加速度がコントローラ４２にかかった場合には、ユーザがなんらかの力をコントローラ４２に対して加えたと考えられる。これにより、例えばユーザがコントローラ４２を叩いたり振ったりした場合に、エンタテインメントシステム１０は、３軸加速度センサ４３ａの出力を用いてこのようなユーザの動作を検知することができる。 Further, by sampling the output of the triaxial acceleration sensor 43a at a sufficiently short interval, the entertainment system 10 can detect that a large acceleration has been applied to the controller 42 abruptly. For example, when acceleration exceeding 1 G is temporarily applied to the controller 42, it is considered that the user applied some force to the controller 42. Thereby, for example, when the user strikes or shakes the controller 42, the entertainment system 10 can detect such a user's operation using the output of the three-axis acceleration sensor 43a.

具体的には、例えばエンタテインメントシステム１０は、事前にユーザにコントローラ４２を叩く動作を実行させ、その際に３軸加速度センサ４３ａが検知した加速度の情報を取得する。そして、当該取得した加速度の情報に応じて設定された閾値以上の加速度を検知した場合には、ユーザによりコントローラ４２を叩く動作があったと判定する。また、ユーザがコントローラ４２を叩く向きによって、３軸加速度センサ４３ａの各軸で検出される加速度は異なる。そのため、３軸加速度センサ４３ａが出力する各軸の加速度によって、ユーザがコントローラ４２をどの向きから叩いたかを識別することができる。そこでエンタテインメントシステム１０は、ユーザがコントローラ４２を叩く向きや強さによって、予め定められた異なる処理を実行することとしてもよい。また、このようなユーザの動作と、コントローラ４２の傾き、コントローラ４２の備えるボタン等の操作部材に対するユーザの操作の組み合わせによって、実行する処理を決定することとしてもよい。これにより、ユーザはコントローラ４２を用いて多様な処理をエンタテインメントシステム１０に実行させることができる。 Specifically, for example, the entertainment system 10 causes the user to perform an operation of hitting the controller 42 in advance, and acquires information on acceleration detected by the three-axis acceleration sensor 43a at that time. Then, when an acceleration equal to or higher than a threshold set in accordance with the acquired acceleration information is detected, it is determined that there is an operation of hitting the controller 42 by the user. Further, the acceleration detected on each axis of the triaxial acceleration sensor 43a differs depending on the direction in which the user strikes the controller 42. Therefore, from which direction the user hits the controller 42 can be identified by the acceleration of each axis output from the triaxial acceleration sensor 43a. Therefore, the entertainment system 10 may execute different processes determined in advance depending on the direction and strength with which the user strikes the controller 42. The processing to be executed may be determined by a combination of the user's operation, the tilt of the controller 42, and the user's operation on an operation member such as a button provided in the controller 42. As a result, the user can cause the entertainment system 10 to execute various processes using the controller 42.

ジャイロセンサ４３ｂは、コントローラ４２のｚ軸を中心とした回転の角速度を検知し、当該角速度の情報を出力する。このジャイロセンサ４３ｂの出力を、一定時間ごとでサンプリングし、積分する演算を行うことで、エンタテインメントシステム１０はコントローラ４２のｚ軸に対する回転の変位量を取得できる。 The gyro sensor 43b detects the angular velocity of rotation about the z axis of the controller 42, and outputs information on the angular velocity. The entertainment system 10 can acquire the displacement amount of the rotation of the controller 42 with respect to the z-axis by sampling and integrating the output of the gyro sensor 43b at regular intervals.

カメラユニット４６は、例えば公知のデジタルカメラを含んで構成され、白黒、グレイスケール又はカラーの撮影画像を所定時間（例えば１／６０秒）ごとに入力する。本実施の形態におけるカメラユニット４６は、撮影画像をＪＰＥＧ（Joint Photographic Experts Group）形式の画像データとして入力するようになっている。また、カメラユニット４６は、例えばレンズをプレイヤに向けた状態でモニタ２６の上に設置され、ケーブルを介してインタフェース４４に接続される。ネットワークインタフェース４８は入出力処理部２８とネットワーク５０とに接続されており、エンタテインメントシステム１０がネットワーク５０を介して他のエンタテインメントシステム１０とデータ通信するのを中継するようになっている。 The camera unit 46 includes, for example, a known digital camera, and inputs black and white, grayscale, or color photographed images every predetermined time (for example, 1/60 seconds). The camera unit 46 in the present embodiment is configured to input a captured image as image data in JPEG (Joint Photographic Experts Group) format. The camera unit 46 is installed on the monitor 26 with the lens facing the player, for example, and is connected to the interface 44 via a cable. The network interface 48 is connected to the input / output processing unit 28 and the network 50, and relays data communication between the entertainment system 10 and other entertainment systems 10 via the network 50.

以下、以上のハードウェア構成を有するエンタテインメントシステム１０を、複数の表示要素をユーザに提示する画像表示装置として構成する方法について説明する。 Hereinafter, a method of configuring the entertainment system 10 having the above hardware configuration as an image display device that presents a plurality of display elements to a user will be described.

図７は、エンタテインメントシステム１０上に構築される仮想空間６０の一例を模式的に示している。同図に示すように、仮想空間６０には複数の表示要素６２が配置されている。各表示要素６２は、画面上に表示されてユーザによる選択対象となる要素を表しており、ここでは一例としてエンタテインメントシステム１０が提供するコンテンツ又はサービスにそれぞれ関連するものとする。また、各表示要素６２は、例えば関連するコンテンツ又はサービスに関するアイコンや動画像などがテクスチャとしてマッピングされた画像オブジェクトである。 FIG. 7 schematically shows an example of the virtual space 60 constructed on the entertainment system 10. As shown in the figure, a plurality of display elements 62 are arranged in the virtual space 60. Each display element 62 represents an element that is displayed on the screen and is to be selected by the user. Here, as an example, it is assumed that each display element 62 is related to content or a service provided by the entertainment system 10. Each display element 62 is an image object in which, for example, an icon or a moving image related to related content or service is mapped as a texture.

ここで、表示要素６２は、各表示要素６２の特徴情報に応じて、仮想空間６０内に配置されることとしてもよい。この場合、各表示要素６２の仮想空間６０における位置座標が、各表示要素６２の特徴情報に従って決定される。具体的には、例えば特徴情報に基づいて各表示要素６２の特徴を示す特徴ベクトルを算出し、当該特徴ベクトルに従って表示要素６２の位置座標を決定する。そして、当該決定した位置座標に、各表示要素６２の代表点（例えば画像オブジェクトの原点位置）が一致するように、各表示要素が仮想空間６０内に配置される。 Here, the display element 62 may be arranged in the virtual space 60 according to the feature information of each display element 62. In this case, the position coordinates of each display element 62 in the virtual space 60 are determined according to the feature information of each display element 62. Specifically, for example, a feature vector indicating the feature of each display element 62 is calculated based on the feature information, and the position coordinates of the display element 62 are determined according to the feature vector. Then, each display element is arranged in the virtual space 60 so that the representative point (for example, the origin position of the image object) of each display element 62 matches the determined position coordinates.

ここで、各表示要素６２の特徴情報は、例えば各表示要素６２に含まれる画像の内容（使用される色情報や、空間周波数の情報、顔認識等の認識結果）に基づいて得られる画像の特徴を示す情報である。また、例えば各表示要素６２がコンテンツやサービスに関連づけられている場合、特徴情報は、当該コンテンツやサービスの属性情報であってもよい。この場合の属性情報は、例えばコンテンツやサービスの種別を示す情報や、当該コンテンツやサービスが対象とするユーザの年齢、性別、居住地、職業等の情報などである。また、属性情報には、エンタテインメントシステム１０を利用するユーザが当該コンテンツやサービスを過去どの程度利用したかなどを示す履歴情報が含まれてもよい。これにより、仮想空間６０において、互いに関連する表示要素６２ほど、近い位置に配置されるように各表示要素６２の位置を決定できる。これにより、ユーザは仮想空間６０における各表示要素６２の位置関係を頼りに、所望のコンテンツやサービスに係る表示要素６２を探し出すことができる。 Here, the feature information of each display element 62 is, for example, an image obtained based on the content of the image included in each display element 62 (color information used, spatial frequency information, recognition result such as face recognition). This is information indicating characteristics. For example, when each display element 62 is associated with content or service, the feature information may be attribute information of the content or service. The attribute information in this case is, for example, information indicating the type of content or service, information on the age, sex, residence, occupation, etc. of the user targeted by the content or service. The attribute information may include history information indicating how much the user using the entertainment system 10 has used the content or service in the past. Thereby, in the virtual space 60, the position of each display element 62 can be determined so that the display elements 62 related to each other are arranged closer to each other. Accordingly, the user can search for the display element 62 related to the desired content or service, depending on the positional relationship of the display elements 62 in the virtual space 60.

また、仮想空間６０には視点６４も配置されており、この視点６４には視線方向６６が設定されている。視点６４はコントローラ４２の姿勢を変化させるユーザの操作に従って、仮想空間６０内を移動できるようになっている。一例として、ユーザがコントローラ４２の把持部５０を把持した状態で、左手を上げて右手を下げると、この動作によって３軸加速度センサ４３ａはｘ軸に正方向の加速度がかかっていることを示す姿勢情報を出力する。この姿勢情報に応じて、視点６４は仮想空間６０内において視線方向６６に向かって右方向に移動する。逆にユーザが右手を上げて左手を下げると、視点６４は視線方向６６に向かって左方向に移動する。また、ユーザがコントローラ４２を前方に向けて倒すと、この動作によって３軸加速度センサ４３ａはｙ軸に正方向の加速度がかかっていることを示す姿勢情報を出力する。この姿勢情報に応じて、視点６４は仮想空間６０内において視線方向６６の方向に移動する。逆にユーザがコントローラ４２を手前に向けると、視点６４は視線方向６６の逆方向（画面手前方向）に移動する。さらにこの場合において、視点６４の移動量又は移動速度は、コントローラ４２の水平面に対する傾き度合いに応じて変化することとしてもよい。 A viewpoint 64 is also arranged in the virtual space 60, and a line-of-sight direction 66 is set for the viewpoint 64. The viewpoint 64 can move in the virtual space 60 in accordance with a user operation that changes the posture of the controller 42. As an example, when the user raises his left hand and lowers his right hand while holding the grip portion 50 of the controller 42, the three-axis acceleration sensor 43a shows a positive acceleration on the x-axis by this operation. Output information. In accordance with this posture information, the viewpoint 64 moves rightward in the virtual space 60 toward the line-of-sight direction 66. Conversely, when the user raises his right hand and lowers his left hand, the viewpoint 64 moves to the left in the line-of-sight direction 66. When the user tilts the controller 42 forward, this action causes the three-axis acceleration sensor 43a to output posture information indicating that positive acceleration is applied to the y-axis. In accordance with this posture information, the viewpoint 64 moves in the visual line direction 66 in the virtual space 60. Conversely, when the user points the controller 42 toward the front, the viewpoint 64 moves in the direction opposite to the line-of-sight direction 66 (the front side of the screen). Further, in this case, the moving amount or moving speed of the viewpoint 64 may be changed according to the degree of inclination of the controller 42 with respect to the horizontal plane.

さらに、視線方向６６もコントローラ４２による操作（例えばアナログ操作部５３に対する操作）に従って、任意の方向に変化することとしてもよい。また、各画像オブジェクト６２の姿勢は、視点６４の方向を向くようリアルタイムに決定され、視点６４が移動すると、それに応じて各画像オブジェクト６２の姿勢も変化するようになっていてもよい。 Furthermore, the line-of-sight direction 66 may be changed in an arbitrary direction in accordance with an operation by the controller 42 (for example, an operation on the analog operation unit 53). Further, the posture of each image object 62 may be determined in real time so as to face the direction of the viewpoint 64, and when the viewpoint 64 moves, the posture of each image object 62 may change accordingly.

エンタテインメントシステム１０は、この視点６４の仮想空間６０における位置及び視線方向６６に基づいて、仮想空間６０の様子を画像化し、モニタ２６に表示する。すなわち、仮想空間６０において視点６４から視線方向６６を見た様子を示す空間画像を生成し、当該空間画像をモニタ２６に表示する。このようにユーザのコントローラ４２を傾ける動作によって視点６４が移動し、当該視点６４の位置に応じた空間画像がモニタ２６に表示されることにより、ユーザは直感的な操作で視点６４を移動させ、仮想空間６０内を自ら移動しているかのような操作感を得ることができる。 The entertainment system 10 images the state of the virtual space 60 based on the position of the viewpoint 64 in the virtual space 60 and the line-of-sight direction 66 and displays the image on the monitor 26. That is, a spatial image showing a state where the visual line direction 66 is viewed from the viewpoint 64 in the virtual space 60 is generated, and the spatial image is displayed on the monitor 26. Thus, the viewpoint 64 is moved by the operation of tilting the controller 42 of the user, and a spatial image corresponding to the position of the viewpoint 64 is displayed on the monitor 26. Thus, the user moves the viewpoint 64 by an intuitive operation, An operational feeling as if the user is moving in the virtual space 60 can be obtained.

図８は、モニタ２６に表示される空間画像の一例を示している。同図に示すように、空間画像には仮想空間６０に配置された表示要素６２のうち一部が含まれている。また、表示要素６２のうち、後述する方法でユーザにより選択された選択表示要素６８は、例えば画像オブジェクトの周囲を囲む枠を表す所定の画像が付されるなどの方法で、他の表示要素６２と区別できるように表示されることとする。 FIG. 8 shows an example of a spatial image displayed on the monitor 26. As shown in the figure, the space image includes a part of the display elements 62 arranged in the virtual space 60. Further, among the display elements 62, the selected display element 68 selected by the user by a method to be described later is provided with another display element 62 by a method such as a predetermined image representing a frame surrounding the periphery of the image object. It shall be displayed so that it can be distinguished.

図８に例示されるような空間画像がモニタ２６に表示された状態で、ユーザがコントローラ４２に対して所定の操作を行うと、これに応じて、モニタ２６に表示されている複数の表示要素６２の中から、１又は複数の表示要素６２が選択され、選択表示要素６８となる。この選択表示要素６８を決定する方法としては、以下に説明するように様々な方法を用いることができる。 When the user performs a predetermined operation on the controller 42 in a state where the spatial image as illustrated in FIG. 8 is displayed on the monitor 26, a plurality of display elements displayed on the monitor 26 according to this operation. One or a plurality of display elements 62 are selected from 62 and become a selected display element 68. As a method for determining the selection display element 68, various methods can be used as described below.

一例として、エンタテインメントシステム１０は、モニタ２６に表示されている空間画像内に、所定のポインタ画像を配置する。このポインタ画像は、コントローラ４２に備えられた操作部材のうち、方向を示す情報を出力する操作部材である第１の操作部５１、アナログ操作部５３Ｒ、又はアナログ操作部５３Ｌのいずれかに対するユーザの操作に応じて、空間画像内を移動することとする。そして、ユーザが選択操作に対応づけられた操作部材（例えばＸボタン５２ｂ）を操作することにより、当該操作がなされた時点でのポインタ画像の空間画像内の位置に基づいて決定される表示要素６２が、選択表示要素６８として選択される。例えば選択操作がなされた時点でポインタ画像の最も近くに表示されている表示要素６２が、選択表示要素６８として選択される。 As an example, the entertainment system 10 arranges a predetermined pointer image in the spatial image displayed on the monitor 26. This pointer image is displayed by the user with respect to any of the first operation unit 51, the analog operation unit 53R, or the analog operation unit 53L that is an operation member that outputs information indicating the direction among the operation members provided in the controller 42. It moves in the space image according to the operation. Then, when the user operates an operation member (for example, the X button 52b) associated with the selection operation, the display element 62 determined based on the position in the spatial image of the pointer image at the time when the operation is performed. Is selected as the selection display element 68. For example, the display element 62 displayed closest to the pointer image when the selection operation is performed is selected as the selection display element 68.

また、その他の表示要素６２の選択方法として、例えば以下のような方法がある。すなわち、まず空間画像に含まれている表示要素６２のうち、一つの表示要素６２に対してフォーカスが設定され、フォーカス対象表示要素となる。ここで、フォーカス対象表示要素は、前述したポインタ画像によってユーザが選択することとしてもよいし、あるいは所定の条件に応じてエンタテインメントシステム１０が決定することとしてもよい。また、フォーカス対象表示要素は、例えばハイライト表示されるなど、選択表示要素６８とは異なる態様で、他の表示要素６２と区別できるように表示されることとする。この状態において、ユーザがコントローラ４２に対して所定のフォーカス移動操作を行うことによって、フォーカス対象表示要素が、空間画像内に含まれる別の表示要素６２のいずれかに変更される。そして、ユーザは選択を行いたい表示要素６２にフォーカスが設定された状態で、所定の選択操作（例えばＸボタン５２ｂの押下）を行うことにより、その時点でのフォーカス対象表示要素を選択表示要素６８として選択できる。 As another method for selecting the display element 62, for example, the following method is available. That is, first, among the display elements 62 included in the spatial image, the focus is set for one display element 62 to become a focus target display element. Here, the focus target display element may be selected by the user based on the pointer image described above, or may be determined by the entertainment system 10 according to a predetermined condition. The focus target display element is displayed in a manner different from the selection display element 68 so that it can be distinguished from the other display elements 62, for example, in a highlighted manner. In this state, when the user performs a predetermined focus movement operation on the controller 42, the focus target display element is changed to one of the other display elements 62 included in the spatial image. Then, the user performs a predetermined selection operation (for example, pressing the X button 52b) in a state where the focus is set on the display element 62 to be selected, thereby selecting the focus target display element at that time as the selection display element 68. You can choose as

ここで、フォーカス移動操作は、例えば第１の操作部５１に含まれる方向指示キーを押下する操作である。この場合、現在のフォーカス対象表示要素に対して、空間画像内において押下された方向指示キーによって示される方向に位置する表示要素６２に対して、順にフォーカスが設定される。 Here, the focus movement operation is an operation of pressing a direction instruction key included in the first operation unit 51, for example. In this case, the focus is sequentially set on the display element 62 positioned in the direction indicated by the direction instruction key pressed in the spatial image with respect to the current focus target display element.

また、このようなコントローラ４２に備えられた操作部材に対する操作に代えて、ユーザはコントローラ４２の姿勢を所定のパターンで変化させることにより、フォーカス対象表示要素を変更することとしてもよい。例えば、ユーザはコントローラ４２を所定方向に一定量傾けてすぐにコントローラ４２の姿勢を元に戻す動作を行う。このような動作に応じて出力される姿勢情報に基づいて、エンタテインメントシステム１０は、例えば方向指示キーが押下された場合と同様に、傾けられた方向に対する指示操作があったものとして新たな表示要素６２にフォーカスを設定する処理を実行する。具体的に、例えば空間画像に含まれる表示要素６２が所定の順序で並べられ、リスト化されている場合、ユーザがコントローラ４２を右方向に傾けて戻す動作を行うことにより、リスト内において現在のフォーカス対象表示要素の一つ次に位置する表示要素６２が、新たなフォーカス対象表示要素として決定される。逆にユーザがコントローラ４２を左方向に傾けて戻す動作を行うことにより、リスト内において現在のフォーカス対象表示要素の一つ前に位置する表示要素６２が、新たなフォーカス対象表示要素として決定される。 Further, instead of the operation on the operation member provided in the controller 42, the user may change the focus target display element by changing the attitude of the controller 42 in a predetermined pattern. For example, the user performs an operation of immediately returning the posture of the controller 42 by tilting the controller 42 by a certain amount in a predetermined direction. On the basis of the posture information output in response to such an operation, the entertainment system 10 creates a new display element on the assumption that there has been an instruction operation for the tilted direction, for example, in the same manner as when the direction instruction key is pressed. A process of setting the focus to 62 is executed. Specifically, for example, when the display elements 62 included in the spatial image are arranged in a predetermined order and are listed, the user performs an operation of tilting the controller 42 to the right to return the current element in the list. The display element 62 positioned next to the focus target display element is determined as a new focus target display element. Conversely, when the user performs an operation of tilting the controller 42 back to the left, the display element 62 positioned immediately before the current focus target display element in the list is determined as a new focus target display element. .

また、このようにコントローラ４２を傾ける動作によってリスト内のフォーカスを移動させる処理を行う場合、以下のようにしてもよい。例えば、左方向、右方向にそれぞれ傾ける動作に代えて、ユーザから見て奥行方向、手前方向に傾ける動作によってリスト内のフォーカスを移動させる。また、傾ける時間や傾ける量によって、リスト内のフォーカスの移動量を変化させてもよい。すなわち、コントローラ４２を予め定められた閾値以上の角度に傾けてから元の位置に戻した場合、リスト内においてフォーカスを２つ隣の要素に変更するなどの処理を行う。 Further, when the process of moving the focus in the list by the operation of tilting the controller 42 as described above may be performed as follows. For example, the focus in the list is moved by an operation of tilting in the depth direction or the near side as viewed from the user, instead of the operation of tilting in the left direction or the right direction. Further, the amount of movement of the focus in the list may be changed depending on the tilting time and the tilting amount. That is, when the controller 42 is tilted to an angle equal to or greater than a predetermined threshold and then returned to the original position, processing such as changing the focus to the next two elements in the list is performed.

さらに、この場合のリストは、表示要素６２を空間画像内の配置順序に沿って並べたものであってもよい。例えば仮想空間６０内において奥行方向に沿って、視点位置６４に近い位置から順に表示要素６２をリスト化する。そして、コントローラ４２を奥行方向、手前方向に傾ける動作によって、リスト内におけるフォーカスを移動させる。これにより、ユーザがコントローラ４２を傾ける向きに応じて、空間画像内においてフォーカス対象表示要素を移動させることができる。 Further, the list in this case may be a list in which the display elements 62 are arranged in the arrangement order in the spatial image. For example, the display elements 62 are listed in order from the position close to the viewpoint position 64 along the depth direction in the virtual space 60. Then, the focus in the list is moved by the operation of tilting the controller 42 in the depth direction and the front direction. Thereby, the focus target display element can be moved in the spatial image according to the direction in which the user tilts the controller 42.

なお、以上説明した選択表示要素６８を選択する複数の方法については、任意に組み合わせて用いてもよい。 Note that the plurality of methods for selecting the selection display element 68 described above may be used in any combination.

次に、複数の表示要素６２を選択表示要素６８として選択する方法について説明する。ユーザが明示的に選択対象としたい表示要素６２を指定する場合には、これまでに説明した選択表示要素６８を選択する操作と同様に例えばポインタ画像等を用いて表示要素６２を選ぶ。そして、選択操作に代えて、現在の選択表示要素６８を維持したまま選択表示要素６８を追加する追加選択操作を行うことで、複数の表示要素６２を選択表示要素６８として選択できる。この場合の追加選択操作は、例えば所定のボタン（例えば矩形ボタン５２ｄ）を押下する操作や、所定のボタンを押下しながら選択操作と同様の操作（例えばＸボタン５２ｂの押下）を行うなどの操作であってよい。 Next, a method for selecting a plurality of display elements 62 as the selection display elements 68 will be described. When the user explicitly specifies the display element 62 that the user wants to select, the display element 62 is selected using, for example, a pointer image or the like, as in the operation of selecting the selection display element 68 described so far. Then, instead of the selection operation, a plurality of display elements 62 can be selected as the selection display element 68 by performing an additional selection operation for adding the selection display element 68 while maintaining the current selection display element 68. The additional selection operation in this case is, for example, an operation of pressing a predetermined button (for example, the rectangular button 52d) or an operation similar to the selection operation (for example, pressing of the X button 52b) while pressing the predetermined button. It may be.

また、例えばユーザが所定の操作を行うことによって、現在の選択表示要素６８に応じて決まる他の表示要素６２を、選択表示要素６８として追加することとしてもよい。例えば、ユーザがコントローラ４２を振る動作を行うことによって、仮想空間６０において現在の選択表示要素６８から最も近い位置に配置された表示要素６２が、選択表示要素６８に追加されることとしてもよい。また、選択表示要素６８として追加される表示要素６２は、ユーザがコントローラ４２を振る方向によって決定されることとしてもよい。例えば、コントローラ４２を左右方向に振った場合には、仮想空間６０において視線方向６６に対して選択表示要素６８の左右方向に位置する表示要素６２が、選択表示要素６８として選択される。 Further, for example, when the user performs a predetermined operation, another display element 62 determined according to the current selection display element 68 may be added as the selection display element 68. For example, the display element 62 arranged at the position closest to the current selection display element 68 in the virtual space 60 may be added to the selection display element 68 by performing an operation of shaking the controller 42 by the user. Further, the display element 62 added as the selection display element 68 may be determined by the direction in which the user swings the controller 42. For example, when the controller 42 is swung in the left-right direction, the display element 62 positioned in the left-right direction of the selection display element 68 with respect to the line-of-sight direction 66 in the virtual space 60 is selected as the selection display element 68.

さらに本実施形態においては、選択表示要素６８が選択された場合、当該選択表示要素６８の仮想空間６０における位置に応じて、視点６４の仮想空間６０における移動範囲が制限される。具体的には、例えば選択表示要素６８の仮想空間６０における位置から所定の距離以下となる範囲に、視点６４の移動範囲が制限される。これにより、ユーザが一旦ある表示要素６２を選択すると、当該選択された選択表示要素６８の近傍に視点６４の移動範囲が制限されるため、ユーザが仮想空間６０において選択表示要素６８の近くに配置された表示要素６２を探す場合に、探しやすくなる。特に前述したように選択表示要素６８に関連する表示要素６２が仮想空間６０において選択表示要素６８の近くに配置されている場合、ユーザはまず所望のコンテンツやサービスに近いコンテンツやサービスに関連づけられた表示要素６２を選択することで、当該選択された選択表示要素６８の近くに配置されている表示要素６２に関連づけられた所望のコンテンツやサービスを見つけやすくなる。また、こうすれば、ユーザが所望の表示要素６２を探す途中で、コントローラ４２の姿勢がユーザの意図に反して傾くことにより視点６４が移動してしまい、ユーザが仮想空間６０内において選択表示要素６８の位置を見失ってしまうことを防ぐことができる。 Furthermore, in the present embodiment, when the selection display element 68 is selected, the movement range of the viewpoint 64 in the virtual space 60 is limited according to the position of the selection display element 68 in the virtual space 60. Specifically, for example, the moving range of the viewpoint 64 is limited to a range within a predetermined distance from the position of the selection display element 68 in the virtual space 60. As a result, once the user selects a certain display element 62, the movement range of the viewpoint 64 is limited to the vicinity of the selected selection display element 68, so that the user is placed near the selection display element 68 in the virtual space 60. When the displayed display element 62 is searched, it becomes easy to search. In particular, as described above, when the display element 62 related to the selection display element 68 is arranged near the selection display element 68 in the virtual space 60, the user is first associated with the content or service close to the desired content or service. By selecting the display element 62, it becomes easy to find a desired content or service associated with the display element 62 arranged in the vicinity of the selected selection display element 68. Further, in this way, the viewpoint 64 moves due to the posture of the controller 42 being tilted against the user's intention while the user is searching for the desired display element 62, so that the user can select the selected display element in the virtual space 60. It is possible to prevent the 68 position from being lost.

なお、選択表示要素６８が複数ある場合、視点６４の移動範囲は、全ての選択表示要素６８の位置に対して所定の距離以下となる範囲に制限されてもよい。あるいは、いずれかの選択表示要素６８の位置に対して所定の距離以下となる範囲に制限されてもよい。 When there are a plurality of selection display elements 68, the movement range of the viewpoint 64 may be limited to a range that is equal to or less than a predetermined distance with respect to the positions of all the selection display elements 68. Or you may restrict | limit to the range used as the predetermined distance or less with respect to the position of any selection display element 68.

また、視点６４の仮想空間６０における移動範囲は、例えば選択表示要素６８が空間画像内に含まれる範囲に制限されることとしてもよい。すなわち、エンタテインメントシステム１０が空間画像を生成する場合、視点６４の位置を頂点として、視点６４の前方、すなわち視線方向６６に向かって広がる四角錘状をなす視野範囲が設定される。この視野範囲に選択表示要素６８の位置座標が含まれるような範囲に視点６４の移動範囲を制限することにより、常に選択表示要素６８がモニタ２６に表示された状態を維持することができる。こうすれば、ユーザはコントローラ４２の姿勢を任意に変化させて視点６４の位置を移動させても、一旦選択した選択表示要素６８を見失ってしまうことがなくなる。 Further, the moving range of the viewpoint 64 in the virtual space 60 may be limited to a range in which the selection display element 68 is included in the space image, for example. That is, when the entertainment system 10 generates a spatial image, a visual field range having a quadrangular pyramid shape is set with the position of the viewpoint 64 as the apex and extending in front of the viewpoint 64, that is, in the line-of-sight direction 66. By restricting the moving range of the viewpoint 64 to a range in which the position coordinates of the selected display element 68 are included in this visual field range, the state where the selected display element 68 is always displayed on the monitor 26 can be maintained. In this way, even if the user arbitrarily changes the attitude of the controller 42 and moves the position of the viewpoint 64, the selected display element 68 once selected is not lost.

さらに、選択表示要素６８が選択されている状態で、ユーザがコントローラ４２に対して所定の選択解除操作（例えば三角ボタン５２ａの押下）を行うと、これに応じて、選択表示要素６８に対する選択が解除されて、選択されていない状態に戻ることとしてもよい。これにより、ユーザは再び制限を受けずに自由に視点６４の位置を移動させることができるようになる。 Furthermore, when the user performs a predetermined selection canceling operation (for example, pressing the triangular button 52a) on the controller 42 in a state where the selection display element 68 is selected, the selection on the selection display element 68 is performed accordingly. It is good also as canceling | releasing and returning to the state which is not selected. Thereby, the user can freely move the position of the viewpoint 64 without being restricted again.

また、選択表示要素６８が選択されている状態で、ユーザがコントローラ４２に対して所定の処理開始操作（例えばＯボタン５２ｃの押下）を行うと、例えばコンテンツの再生など、選択表示要素６８に関連づけられた処理が実行されることとしてもよい。また、選択表示要素６８が静止画や動画などのコンテンツに関連づけられており、当該コンテンツを示す画像がマッピングされた画像オブジェクトである場合には、ユーザの処理開始操作に応じて、視点６４及び視線方向６６が当該選択表示要素６８をズームアップするように移動することとしてもよい。そして、ズームアップされた選択表示要素６８がモニタ２６に表示されることにより、当該選択表示要素６８に含まれる静止画や動画などのコンテンツがモニタ２６に表示される。こうすれば、ユーザは空間画像内を移動して所望の表示要素６２を見つけると、そのままシームレスにコンテンツを表示させ、観覧することができる。 In addition, when the user performs a predetermined processing start operation (for example, pressing of the O button 52c) on the controller 42 while the selection display element 68 is selected, the selection display element 68 is associated with the selection display element 68, for example, reproduction of content. The processed process may be executed. Further, when the selection display element 68 is associated with content such as a still image or a moving image and is an image object to which an image indicating the content is mapped, the viewpoint 64 and the line of sight according to the user's processing start operation. The direction 66 may be moved so that the selected display element 68 is zoomed up. Then, the zoomed-in selection display element 68 is displayed on the monitor 26, whereby content such as a still image or a moving image included in the selection display element 68 is displayed on the monitor 26. In this way, when the user finds a desired display element 62 by moving in the space image, the user can seamlessly display and view the content as it is.

あるいは、表示要素６２は、例えば複数のコンテンツやサービスなどを含むグループ（ディレクトリ）に関連づけられていてもよい。この場合、このような表示要素６２に対して処理開始操作がなされることによって、当該グループに属するコンテンツやサービスなどを示すアイコン等をユーザに提示する画面が、新たにモニタ２６に表示される。また、このような処理開始操作に代えて、ユーザが視点６６を移動させて仮想空間６０内においてグループに関連づけられた選択表示要素６８を通過させることにより、当該選択表示要素６８に関連づけられたグループに属するアイコン等をユーザに提示する画面が、モニタ２６に表示されることとしてもよい。 Alternatively, the display element 62 may be associated with a group (directory) including, for example, a plurality of contents and services. In this case, when a process start operation is performed on such a display element 62, a screen for presenting icons or the like indicating contents or services belonging to the group to the user is newly displayed on the monitor 26. Further, instead of such processing start operation, the user moves the viewpoint 66 and passes the selection display element 68 associated with the group in the virtual space 60, whereby the group associated with the selection display element 68 is obtained. A screen for presenting icons and the like belonging to the user may be displayed on the monitor 26.

また、選択表示要素６８が選択された状態で、ユーザはコントローラ４２に対する操作により、仮想空間６０内において選択表示要素６８を移動させることができる。具体的には、例えば選択表示要素６８が選択された状態で、ユーザが所定のボタンを押下しながらコントローラ４２を傾けてその姿勢を変化させることにより、仮想空間６０において当該コントローラ４２の姿勢に応じた方向に、選択表示要素６８が移動する。そして、ユーザが当該ボタンから指を離すことにより、離した際の位置に選択表示要素６８の移動先の位置が決定する。これにより、ユーザはコントローラ４２を傾けることで、直感的な操作により選択表示要素６８を移動させることができる。また、選択表示要素６８に代えて、例えば前述したフォーカス対象表示要素を移動させることとしてもよい。 Further, in a state where the selection display element 68 is selected, the user can move the selection display element 68 in the virtual space 60 by operating the controller 42. Specifically, for example, in a state where the selection display element 68 is selected, the user tilts the controller 42 while pressing a predetermined button to change its posture, so that the posture of the controller 42 in the virtual space 60 is changed. The selected display element 68 moves in the selected direction. Then, when the user releases his / her finger from the button, the position of the movement destination of the selection display element 68 is determined at the position when the user releases the button. Accordingly, the user can move the selection display element 68 by an intuitive operation by tilting the controller 42. Further, instead of the selection display element 68, for example, the above-described focus target display element may be moved.

図９は、本エンタテインメントシステム１０の動作フローの一例を示すフロー図である。同図に示す処理は所定時間毎（例えば１／６０秒毎）に実行されるものであり、光ディスク３６やハードディスク３８から読み出されてメインメモリ２０に格納された画像表示プログラムを、ＭＰＵ１１が実行することにより実現されるものである。 FIG. 9 is a flowchart showing an example of the operation flow of the entertainment system 10. The processing shown in the figure is executed every predetermined time (for example, every 1/60 seconds), and the MPU 11 executes the image display program read from the optical disk 36 or the hard disk 38 and stored in the main memory 20. It is realized by doing.

同図に示すように、まずエンタテインメントシステム１０は、コントローラ４２により表示要素６２の選択操作が行われているか否かを判断する（Ｓ１）。そして、行われていれば当該選択操作の対象となる表示要素６２を選択表示要素６８として選択する（Ｓ２）。また、Ｓ１で選択操作が行われていないと判断された場合には、Ｓ２の処理をスキップする。 As shown in the figure, the entertainment system 10 first determines whether or not the selection operation of the display element 62 is performed by the controller 42 (S1). If it has been performed, the display element 62 to be selected is selected as the selection display element 68 (S2). If it is determined in S1 that the selection operation has not been performed, the process in S2 is skipped.

続いてエンタテインメントシステム１０は、コントローラ４２によりポインタ画像の位置を移動させる操作がされたか否かを判断する（Ｓ３）。そして、そのような操作が行われていれば、操作内容に従って空間画像内のポインタ画像の位置を新たな位置に変更する（Ｓ４）。Ｓ３で、ポインタ画像を移動させる操作がされていないと判断された場合には、Ｓ４の処理をスキップする。 Subsequently, the entertainment system 10 determines whether or not an operation for moving the position of the pointer image is performed by the controller 42 (S3). If such an operation has been performed, the position of the pointer image in the spatial image is changed to a new position according to the operation content (S4). If it is determined in S3 that the operation for moving the pointer image has not been performed, the process in S4 is skipped.

次にエンタテインメントシステム１０は、視点６４の位置及び視線方向６６を、コントローラ４２から入力される操作信号に従って決定する（Ｓ５）。ここでコントローラ４２から入力される操作信号には、３軸加速度センサ３４ａ及びジャイロセンサ３４ｂが出力するコントローラ４２の姿勢情報を示す信号も含まれる。また、視点６４の位置及び視線方向６６は、直前の視点６４の位置及び視線方向６６に基づいて、徐々に変化するように決定される。 Next, the entertainment system 10 determines the position of the viewpoint 64 and the line-of-sight direction 66 according to the operation signal input from the controller 42 (S5). Here, the operation signal input from the controller 42 includes a signal indicating attitude information of the controller 42 output from the triaxial acceleration sensor 34a and the gyro sensor 34b. Further, the position of the viewpoint 64 and the line-of-sight direction 66 are determined so as to gradually change based on the position of the previous viewpoint 64 and the line-of-sight direction 66.

さらにエンタテインメントシステム１０は、Ｓ５で決定した視点６４の位置が、選択表示要素６８の位置に応じて決まる移動可能範囲内に含まれるか否かを判定する（Ｓ６）。具体例として、エンタテインメントシステム１０は、視点６４の位置と、選択表示要素６４の代表点の位置と、の間の距離が所定の値以下になるか否かを判定することにより、視点６４の位置が移動可能範囲内に含まれるかを判定する。含まれる場合には、Ｓ７の処理に進んで、Ｓ６で決定した位置に視点６４を移動させ、移動先の視点６４から見た空間画像を描画する処理を行う。一方、Ｓ６で決定した視点６４の位置が移動可能範囲を超える場合、Ｓ６で決定した位置への視点６４の移動は制限される。すなわち、視点６４の位置を変更するＳ７からＳ９までの処理は実行されず、エンタテインメントシステム１０は続いてＳ１０の処理を実行する。 Furthermore, the entertainment system 10 determines whether or not the position of the viewpoint 64 determined in S5 is included in a movable range determined according to the position of the selection display element 68 (S6). As a specific example, the entertainment system 10 determines whether the distance between the position of the viewpoint 64 and the position of the representative point of the selected display element 64 is equal to or less than a predetermined value, thereby determining the position of the viewpoint 64. Is included in the movable range. If included, the process proceeds to S7, where the viewpoint 64 is moved to the position determined in S6, and a process of drawing a spatial image viewed from the destination viewpoint 64 is performed. On the other hand, when the position of the viewpoint 64 determined in S6 exceeds the movable range, the movement of the viewpoint 64 to the position determined in S6 is limited. That is, the processing from S7 to S9 for changing the position of the viewpoint 64 is not executed, and the entertainment system 10 subsequently executes the processing of S10.

Ｓ６の処理において視点６４を新たな位置に移動させると判定した場合、次にエンタテインメントシステム１０は、仮想空間６０内のすべての表示要素６２について、視点６４の位置及び各表示要素６２の位置に基づいて、それらの姿勢を決定する（Ｓ７）。この際、こうして決定される各表示要素６２の姿勢に従って、各表示要素６２の各頂点の座標が算出される。そして、それらの座標を視点座標系（視点６４の位置を原点とし、視線方向６６をＺ軸とする座標系）に変換するとともに（Ｓ８）、視野範囲から外れる表示要素６２を処理対象から除外する。また、視野範囲の縁を跨ぐ表示要素６２についてはクリッピング処理を施す（Ｓ９）。 If it is determined in step S6 that the viewpoint 64 is to be moved to a new position, the entertainment system 10 next determines the position of the viewpoint 64 and the position of each display element 62 for all display elements 62 in the virtual space 60. Then, those postures are determined (S7). At this time, the coordinates of each vertex of each display element 62 are calculated according to the posture of each display element 62 determined in this way. Then, these coordinates are converted into a viewpoint coordinate system (a coordinate system in which the position of the viewpoint 64 is the origin and the line-of-sight direction 66 is the Z axis) (S8), and the display elements 62 that are out of the visual field range are excluded from the processing target. . The display element 62 straddling the edge of the visual field range is subjected to clipping processing (S9).

その後、エンタテインメントシステム１０は、視野範囲内の表示要素６２を視点６４から見た様子を空間画像として画像処理部２４内のフレームバッファに描画する（Ｓ１０）。このとき、Ｓ２により選択表示要素６８として選択された表示要素６２については、選択されたことを示す枠線の画像等を付加して表示する。また、Ｓ４で変更された空間画像内の位置に、ポインタ画像を重ねて表示する。Ｓ１０の処理によりフレームバッファに描画された画像は、モニタ２６に表示される。 After that, the entertainment system 10 renders the appearance of the display element 62 in the visual field range viewed from the viewpoint 64 as a spatial image in the frame buffer in the image processing unit 24 (S10). At this time, the display element 62 selected as the selection display element 68 in S2 is displayed with a frame image indicating the selection added. In addition, the pointer image is superimposed and displayed at the position in the spatial image changed in S4. The image drawn in the frame buffer by the process of S10 is displayed on the monitor 26.

以上の実施形態によれば、選択表示要素６８の仮想空間６０における位置に応じて視点６４の移動範囲を制限し、この移動範囲が制限された視点６４から見た空間画像をモニタ２６に表示する。このため、ユーザは視点６４を移動させて仮想空間６０に配置された表示要素６２の中から所望の表示要素６２を探す場合に、一旦所望の表示要素６２に近い表示要素６２を選択し、その近傍を探すことができ、所望の表示要素６２を見つけやすくなる。 According to the above embodiment, the moving range of the viewpoint 64 is limited according to the position of the selection display element 68 in the virtual space 60, and the spatial image viewed from the viewpoint 64 with the limited moving range is displayed on the monitor 26. . For this reason, when the user moves the viewpoint 64 and searches for the desired display element 62 from the display elements 62 arranged in the virtual space 60, the user once selects the display element 62 close to the desired display element 62, The vicinity can be searched, and the desired display element 62 can be easily found.

なお、本実施形態は種々の変形実施が可能である。 The present embodiment can be variously modified.

例えば、ユーザはコントローラ４２に備えられたボタンを押下する操作に代えて、コントローラ４２を叩いたり振ったりすることとし、エンタテインメントシステム１０は、これらのユーザの動作に応じて姿勢情報出力部４３が出力する情報に基づいて、各種処理を実行することとしてもよい。例えばユーザのコントローラ４２を所定の向きで叩く動作に応じて、表示要素６２を選択する選択操作を実行することとしてもよい。 For example, instead of an operation of pressing a button provided on the controller 42, the user hits or shakes the controller 42, and the entertainment system 10 outputs the posture information output unit 43 according to the user's operation. Various processes may be executed based on the information to be performed. For example, a selection operation for selecting the display element 62 may be executed in accordance with an operation of hitting the user's controller 42 in a predetermined direction.

また、上述したリスト内のフォーカスを移動させる処理において、コントローラ４２の姿勢を所定のパターンで変化させる動作に代えて、ユーザのコントローラ４２を叩く動作によって、エンタテインメントシステム１０はリスト内のフォーカスを移動することとしてもよい。この場合、例えば叩く方向によってリスト内のフォーカスの移動方向を変化させてもよい。また、叩く強さによって、リスト内のフォーカスの移動量を変化させてもよい。 Further, in the above-described process of moving the focus in the list, the entertainment system 10 moves the focus in the list by an operation of hitting the user's controller 42 instead of the operation of changing the posture of the controller 42 in a predetermined pattern. It is good as well. In this case, for example, the moving direction of the focus in the list may be changed depending on the hit direction. Further, the amount of movement of the focus in the list may be changed depending on the strength of tapping.

またエンタテインメントシステム１０は、複数回コントローラ４２を叩く動作に応じて、所定の処理を実行することとしてもよい。例えば、ユーザが一定の間隔（リズム）で複数回コントローラ４２を叩くことにより、この叩く動作のパターンに応じて、表示要素６２の選択やフォーカスの移動、表示要素６２に関連づけられた処理の実行などを行う。これにより、例えばコントローラ４２に何らかの衝撃が加わった場合に、誤ってユーザの叩く動作があったと判定し、ユーザの意図に反した処理を実行してしまうことを防ぐことができる。 In addition, the entertainment system 10 may execute a predetermined process according to an operation of hitting the controller 42 a plurality of times. For example, when the user taps the controller 42 a plurality of times at regular intervals (rhythms), the display element 62 is selected, the focus is moved, or the process associated with the display element 62 is executed according to the pattern of the tapping operation. I do. As a result, for example, when some impact is applied to the controller 42, it can be determined that there has been an accidental hitting operation by the user, and processing against the user's intention can be prevented.

また、上記の説明においては、仮想空間６０が３次元空間であって、この仮想空間６０内の任意の位置に表示要素６２が配置される場合の例について説明したが、表示要素６２は仮想空間６０内の２次元空間（プレーン）に配置されることとしてもよい。さらに、仮想空間６０内に、複数の２次元空間が、奥行方向に沿って所定の順序で複数並べられており、当該各２次元空間に表示要素６２が配置されることとしてもよい。この場合、一例として第１の操作部５１に含まれる方向指示キーに対する操作によって、視点６２の位置が２次元空間に対して平行に移動する。これにより、モニタ２６に表示される空間画像が２次元空間上を移動することとなる。そして、例えばコントローラ４２を前に傾ける動作によって、当該動作時点でモニタ２６に空間画像が表示されている２次元空間に対して、一つ奥に配置された２次元空間に表示対象となる空間が変更される。逆にコントローラ４２を手前に傾ける動作によって、当該動作時点でモニタ２６に空間画像が表示されている２次元空間に対して、一つ手前に配置された２次元空間に表示対象となる空間が変更される。こうすれば、複数の２次元空間を、方向指示キーとコントローラ４２の姿勢の変化の組み合わせによって移動し、当該２次元空間に配置された表示要素６２をモニタ２６に表示させることができる。 In the above description, an example in which the virtual space 60 is a three-dimensional space and the display element 62 is arranged at an arbitrary position in the virtual space 60 has been described. It is good also as arrange | positioning in the two-dimensional space (plane) in 60. FIG. Furthermore, a plurality of two-dimensional spaces may be arranged in a predetermined order along the depth direction in the virtual space 60, and the display elements 62 may be arranged in the respective two-dimensional spaces. In this case, as an example, the position of the viewpoint 62 moves in parallel to the two-dimensional space by an operation on a direction instruction key included in the first operation unit 51. As a result, the spatial image displayed on the monitor 26 moves in the two-dimensional space. Then, for example, by the operation of tilting the controller 42 forward, a space to be displayed is displayed in the two-dimensional space arranged one behind the two-dimensional space in which the spatial image is displayed on the monitor 26 at the time of the operation. Be changed. Conversely, by tilting the controller 42 toward the front, the space to be displayed is changed to the two-dimensional space arranged immediately before the two-dimensional space where the spatial image is displayed on the monitor 26 at the time of the motion. Is done. In this way, the plurality of two-dimensional spaces can be moved by a combination of the direction instruction key and the change in the attitude of the controller 42, and the display elements 62 arranged in the two-dimensional space can be displayed on the monitor 26.

本発明の実施の形態に係るエンタテインメントシステム（画像表示装置）のハードウェア構成図である。It is a hardware block diagram of the entertainment system (image display apparatus) which concerns on embodiment of this invention. ＭＰＵの詳細構成図である。It is a detailed block diagram of MPU. コントローラの一例を示す図である。It is a figure which shows an example of a controller. ３軸加速度センサの出力値の一例を示すグラフ図である。It is a graph which shows an example of the output value of a 3-axis acceleration sensor. コントローラの姿勢に応じて出力される姿勢情報の一例を説明する説明図である。It is explanatory drawing explaining an example of the attitude | position information output according to the attitude | position of a controller. コントローラの姿勢に応じて出力される姿勢情報の別の例を説明する説明図である。It is explanatory drawing explaining another example of the attitude | position information output according to the attitude | position of a controller. 表示要素が配置された仮想空間を模式的に示す図である。It is a figure which shows typically the virtual space where the display element is arrange | positioned. 表示画面の一例を示す図である。It is a figure which shows an example of a display screen. 本発明の実施形態に係るエンタテインメントシステムの動作の一例を示すフロー図である。It is a flowchart which shows an example of operation | movement of the entertainment system which concerns on embodiment of this invention.

Explanation of symbols

１０エンタテインメントシステム、１１ＭＰＵ、１２メインプロセッサ、１４ａ〜１４ｈサブプロセッサ、１６バス、１８メモリコントローラ、２０メインメモリ、２２，４０，４４インタフェース、２４画像処理部、２６モニタ、２８入出力処理部、３０音声処理部、３２スピーカ、３４光ディスク読み取り部、３６光ディスク、３８ハードディスク、４２コントローラ、４３姿勢情報出力部、４３ａ３軸加速度センサ、４３ｂジャイロセンサ、４６カメラユニット、４８ネットワークインタフェース、５０把持部、５１第１の操作部、５２第２の操作部、５３アナログ操作部、６０仮想空間、６２表示要素、６４視点、６６視線方向、６８選択表示要素。 10 Entertainment System, 11 MPU, 12 Main Processor, 14a-14h Sub-Processor, 16 Bus, 18 Memory Controller, 20 Main Memory, 22, 40, 44 Interface, 24 Image Processing Unit, 26 Monitor, 28 Input / Output Processing Unit, 30 Audio processing unit, 32 speaker, 34 optical disk reading unit, 36 optical disk, 38 hard disk, 42 controller, 43 attitude information output unit, 43a 3-axis acceleration sensor, 43b gyro sensor, 46 camera unit, 48 network interface, 50 gripping unit, 51 1st operation part, 52 2nd operation part, 53 analog operation part, 60 virtual space, 62 display element, 64 viewpoint, 66 gaze direction, 68 selection display element.

Claims

Attitude information output means provided in the controller and outputting attitude information of the controller;
Viewpoint position moving means for moving the viewpoint position in a virtual space in which a plurality of display elements are arranged according to the output posture information;
A spatial image display unit that causes a display unit to display a spatial image showing the virtual space viewed from the viewpoint position;
Display element selection means for selecting one or more as a selection display element from the plurality of display elements displayed on the display means in response to an operation on the controller;
A movement range limiting means for limiting a movement range of the viewpoint position in the virtual space according to a position of the selection display element in the virtual space;
An image display device comprising:

The image display device according to claim 1,
The image display device, wherein the posture information output means is an acceleration sensor that detects an inclination of a reference direction predetermined for the controller with respect to a horizontal plane and outputs information on the inclination.

The image display device according to claim 1 or 2,
The image display apparatus according to claim 1, wherein the movement range restriction unit restricts the movement range of the viewpoint position to a range equal to or less than a predetermined distance from the position of the selected display element in the virtual space.

In the image display device according to any one of claims 1 to 3,
The plurality of display elements are arranged in the virtual space according to feature information of each display element.

In the image display device according to any one of claims 1 to 4,
The controller includes an operation member that outputs information indicating a direction,
The image display device further includes pointer moving means for moving a pointer image arranged in the spatial image in response to an operation on the operation member.
The display element selecting unit selects the selected display element based on a position of the pointer image in the spatial image.

A control method of an image display device provided in a controller and including posture information output means for outputting posture information of the controller,
Moving a viewpoint position in a virtual space in which a plurality of display elements are arranged according to the output posture information;
Displaying a spatial image showing the virtual space viewed from the viewpoint position on a display means;
Selecting one or more as a selection display element from the plurality of display elements displayed on the display means in response to an operation on the controller;
Limiting the movement range of the viewpoint position in the virtual space according to the position of the selected display element in the virtual space;
A control method for an image display device.

A program for causing a computer to function as an image display device provided in a controller and including posture information output means for outputting posture information of the controller,
Viewpoint position moving means for moving a viewpoint position in a virtual space in which a plurality of display elements are arranged according to the output posture information;
Spatial image display means for displaying on the display means a spatial image showing the virtual space viewed from the viewpoint position;
In response to an operation on the controller, a display element selection unit that selects one or more of the plurality of display elements displayed on the display unit as a selection display element, and a position of the selected display element in the virtual space A moving range limiting means for limiting a moving range of the viewpoint position in the virtual space;
A program for causing the computer to function as: