以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
本発明の側面は、リモートコマンダ(例えば、図1のリモートコマンダ11)からの信号およびマウス(例えば、図1のマウス12)からの信号を受け付ける受付手段(例えば、図1の受光部3)と、メニューがカーソルとともに表示されている状態において前記マウスが操作された場合(例えば、図21のステップS188でNOと判定された場合)、前記カーソルを消去してポインタを表示する(例えば、図21のステップS190, S191の処理)とともに、前記メニューが前記ポインタとともに表示されている状態において前記リモートコマンダが操作された場合(例えば、図21のステップS183でNOと判定された場合)、前記ポインタを消去して前記カーソルを表示する(例えば、図21のステップS185, S186の処理)メニュー表示手段(例えば、図5の表示部303)とを備える画像処理装置(例えば、図1のテレビジョン受像機1)である。
前記メニュー表示手段は、前記リモートコマンダの操作により前記メニューの表示が指示された場合、前記メニューを前記カーソルとともに表示し(例えば、図14のステップS145)、前記マウスの操作により前記メニューの表示が指示された場合、前記メニューをポインタとともに表示する(例えば、図14のステップS136, S139)ことができる。
前記メニュー表示手段は、前記メニューが前記カーソルとともに表示されている状態で前記マウスが操作された場合において、前記カーソルを消去して前記ポインタを表示するとき、消去した前記カーソルの位置に最も近い前記メニューの選択肢の近傍に前記ポインタを表示する(例えば、図21のステップS191の処理)ことができる。
前記メニュー表示手段は、前記メニューが前記ポインタととともに表示されている状態で前記リモートコマンダが操作された場合において、前記ポインタを消去して前記カーソルを表示するとき、消去した前記ポインタの位置に最も近い前記メニューの選択肢上に前記カーソルを表示する(例えば、図21のステップS186の処理)ことができる。
前記メニュー表示手段は、前記メニューが表示されていない状態において、前記ポインタが画面の予め設定されている所定の領域内(例えば、図17の指定領域373)に位置したとき(例えば、図14のステップS131でYESと判定され、ステップS132でNOと判定されたとき)、前記メニューを表示する(例えば、図14のステップS136, S139の処理)ことができる。
前記メニュー表示手段は、前記メニューが前回消去された方向(例えば、図14のステップS137で記憶したポインタの位置)から前記メニューを表示する(例えば、図14のステップS136の処理)ことができる。
前記メニュー表示手段は、前記メニューが表示されている状態において、前記ポインタが前記所定の領域内(例えば、図15の指定領域373)に位置したとき(例えば、図14のステップS131でYESと判定され、ステップS132でYESと判定されたとき)、前記メニューを消去する(例えば、図14のステップS152の処理)ことができる。
ビデオ画像の動画が表示されている状態において、前記マウスのボタンがクリックされたとき(例えば、図20のステップS163でYESと判定された場合)、前記ビデオ画像の静止画を表示し(例えば、図20のステップS162の処理)、前記ビデオ画像の静止画が表示されている状態において、前記マウスのボタンがクリックされたとき(例えば、図20のステップS164でYESと判定された場合)、前記ビデオ画像の動画を表示する(例えば、図20のステップS166の処理)動画静止画切替手段(例えば、図5の表示部303)をさらに備えることができる。
ビデオ画像の動画像が表示されている状態において、前記リモートコマンダの回転ボタン(例えば、図2のジョグダイヤル67)が操作された場合(例えば、図10のステップS63でYESと判定された場合)並びに前記マウスのホイール(例えば、図3のホイール93)が回転操作された場合、前記動画像のズーム率を変更し(例えば、図10のステップS64の処理)、前記リモートコマンダの方向操作部材(例えば、図2のスティック68)が操作された場合(例えば、図10のステップS66でYESと判定された場合)並びに前記マウスが左ドラッグされた場合(例えば、図10のステップS68でYESと判定された場合)、前記動画像を操作方向に移動する(例えば、図10のステップS67の処理)ズーム画像制御手段(例えば、図5の表示部303)をさらに備えることができる。
本発明の側面は、リモートコマンダ(例えば、図1のリモートコマンダ11)からの信号を受け付け(例えば、図6のステップS1)、マウス(例えば、図1のマウス12)からの信号を受け付け(例えば、図6のステップS3)、メニューがカーソルとともに表示されている状態において前記マウスが操作された場合(例えば、図21のステップS188でNOと判定された場合)、前記カーソルを消去してポインタを表示する(例えば、図21のステップS190, S191の処理)とともに、前記メニューが前記ポインタととともに表示されている状態において前記リモートコマンダが操作された場合(例えば、図21のステップS183でNOと判定された場合)、前記ポインタを消去して前記カーソルを表示する(例えば、図21のステップS185, S186)画像処理方法またはその処理をコンピュータに実行させるプログラムである。
以下、本発明の実施の形態について図を参照して説明する。
図1は、本発明の実施の形態の構成を表している。このテレビジョン受像機1は、表示部2を有しており、その下方に受付部3を有している。受付部3は、リモートコマンダ11からの赤外線信号を受光する受光部3−1と、マウス12が出力する電波を受信するマウス用の受信部3−2とにより構成されている。すなわち、このテレビジョン受像機1は、リモートコマンダ11とマウス12のいずれを操作した場合においても、その動作を制御することが可能とされている。
図2は、リモートコマンダ11の構成を表している。その上部には赤外線信号を出力する発光部61が設けられており、発光部61の下側には、数字を入力するとき操作されるボタン62が配置されている。ボタン62の下側には、メモボタン63、クリエーションビューボタン64、パレットボタン65、およびモードボタン66が設けられている。
メモボタン63は、静止画モードを設定するとき操作される。クリエーションビューボタン64は、ズームモードに入るとき操作される。クリエーションビューボタン64は、それが1回操作される毎に、1.0倍、1.5倍、2.0倍、2.5倍、3.0倍、1.0倍、1.5倍、…の順にズーム率がトグル状に変化する。パレットボタン65は、カラーを調整するとき操作される。モードボタン66は、各種のモードを設定するとき操作される。
メモボタン63乃至モードボタン66の下側には、ジョグダイヤル67が配置され、その中央にはスティック68が配置されている。ジョグダイヤル67は、ズーム率を調整するとき、時計方向または反時計方向に回動される。具体的には、ジョグダイヤル67は、画像をより拡大するとき時計方向に回動され、拡大率を小さくするとき反時計方向に回動される。スティック68は、上下左右方向、並びに、右または左45度の斜めの上下方向の8個の方向に操作することができるとともに、押圧操作することができる。スティック68は、それを上下左右または斜め方向に操作することで、ズームした画面をその操作した方向に移動させることができる。
ジョグダイヤル67の左下側には戻るボタン69が配置され、また、その右下側にはメニューボタン70が配置されている。戻るボタン69は、ズームモードやメモモードなどすべてのモードを解除し、通常の画面に戻るとき操作される。メニューボタン70は、メニューを表示させるかまたは消去するとき操作される。
戻るボタン69とメニューボタン70の下側には、音量ボタン71とチャンネルボタン72が配置されている。音量ボタン71は、音量を増加するとき+方向に操作され、音量を減少するとき−方向に操作される。チャンネルボタン72は、チャンネル番号を大きくするとき+方向に操作され、チャンネル番号を小さくするとき−方向に操作される。
図3は、マウス12の構成を表している。左ボタン91と右ボタン92は、それぞれ、それを押圧することでクリックすることができる。左ボタン91と右ボタン92の間には、ホイール93が配置されている。ホイール93は、図中、上方向または下方向に回転することができる。図示は省略するが、マウスにはユーザの操作に対応する電波を出力する発信部を内蔵しており、そこから出力された電波が受信部3−2により受信される。
図4は、テレビジョン受像機1の内部の構成を表している。チューナ131は、テレビジョン放送を受信し、その画像信号を高画質化処理部132に出力する。高画質化処理部132は、プリプロセッサ161、シグナルプロセッサ162、およびSDRAMコントローラ163を有している。プリプロセッサ161は、チューナ131より供給された画像信号を、そのタイミングを調整してSDRAMコントローラ163に出力する。SDRAMコントローラ163は、プリプロセッサ161より供給された画像信号を、SDRAM(Synchronous Dynamic Random Access Memory )133に供給し、記憶させる。
SDRAMコントローラ163はまた、SDRAM133に記憶されている画像信号を読み出し、内蔵するフレームバッファ182に記憶させる。XYレジスタ181は、マイクロコンピュータ135からの指示に基づいて、SDRAM133に書き込むか、またはそこから読み出す範囲を指定する4点の座標を保持する。シグナルプロセッサ162は、フレームバッファ182から供給された画像データを、画素数を増加したり減少させるなどして高画質化処理をする。
シグナルプロセッサ162より出力された画像信号は、カラースペースコンバータ134に供給される。カラースペースコンバータ134は、入力された画像信号を輝度信号(Y)と色差信号(Cb,Cr)に変換し、表示部2に出力し、表示させる。カラースペースコンバータ134はOSDミキサ201を内蔵しており、FPGA部136から供給されたOSD情報を画像信号に重畳し、出力部2に出力し、表示させる。
FPGA(Field Programmable Gate Array)部136は、OSDコントローラ231、XYレジスタ232、およびイベントディテクタ233を有している。XYレジスタ232は、リモートコマンダ11により操作されるカーソル、並びにマウス12により操作されるポインタの位置を記憶する。イベントディテクタ233は、受光部3−1が受光した赤外線信号に基づき、マウス12のイベントを検出する。OSDコントローラ231に内蔵されているテーブル241にはポインタの形状が記憶されている。マイクロコンピュータ135は、リモートコマンダ11が出力する赤外線信号を受光して、受光部3−1が出力する信号に基づいて各部を制御する。
テレビジョン受像機1の高画質化処理部132、SDRAM133、カラースペースコンパータ134、マイクロコンピュータ135、FPGA部136は、総合的に、図5に示されるような機能を実行する機能ブロックを有している。
判定部301は各種の判定処理を実行する。計時部302は計時動作を実行し、時刻情報を出力する。表示部303は表示部2に所定の画像を表示させる。移動部304は画像、カーソル、ポインタなどを移動する。消去部305はメニューを消去する。形状選択部306はポインタの形状を選択する。変更部307はズーム率を変更する。解除部308はズームモードを解除する。
取得部309は書き込み範囲の画像信号を取得する。書込部310はSDRAM133に画像信号を書き込む。読出部311はSDRAM133から画像信号を読み出す。保持部312は画像信号をフレームバッファ182に保持させる。高画質化部313は、画像信号の画素数を増加させることで、ズーム画像を生成する(同様に、縮小画像を生成することもできる)。高画質化処理の基本的な処理内容は、例えば、特開2002−218414号公報、特開2002−196737号公報などに開示されている。モード設定部314は各種のモードを設定する。実行部315は、ユーザによりリモートコマンダ11あるいはマウス12が操作されたとき、その操作に対応する処理を実行する。
これらの判定部301乃至実行部315のそれぞれが、高画質化処理部132、カラースペースコンバータ134、マイクロコンピュータ135、FPGA部136のいずれに属するのかは、1対1に対応する場合もあるし複数の各部に対応する場合もあるので一義的には決定できないが、そのいずれかの各部に存在する機能である。
次に、図6のフローチャートを参照して、リモートコマンダ11またはマウス12が操作された場合の信号の受信処理について説明する。
ユーザは、テレビジョン受像機1を操作する場合、リモートコマンダ11またはマウス12のいずれかを操作する。そこで、ステップS1において、判定部301は、リモートコマンダから信号を受信したかを判定する。
ユーザがリモートコマンダ11を操作すると、発光部61から赤外線信号が出力され、その赤外線信号が受光部3−1により受光される。判定部301は、受光部3−1の出力に基づいてリモートコマンダ11から信号を受信したかを判定することができる。リモートコマンダ11から信号を受信した場合には、ステップS2において、実行部315は対応する処理を実行する。すなわち、リモートコマンダ11の操作が、例えば、チャンネルの変更を指示するものである場合には、実行部315は、チューナ131を制御し、受信するチャンネルを変更する。あるいはまた、カーソルを移動する指示である場合には、実行部315はカーソルを移動する処理を実行する。
ステップS1において、リモートコマンダから信号を受信していないと判定された場合、ステップS3において、判定部301は、マウスから信号を受信したかを判定する。ユーザがマウス12を操作したとき、受信部3−2がマウス12から出力された電波を受信する。イベントディテクタ233は、受信部3−2の出力からマウス12に何らかのイベントが発生したかを検出する。判定部301は、このイベントディテクタ233の検出結果に基づいて判定処理を行う。マウス12から信号を受信したと判定された場合、ステップS4において、実行部315は対応する処理を実行する。例えば、マウス12を操作することでメニューを表示する指示がなされた場合には、メニューを表示する処理が実行される。
以下に説明する図7、図8、図10、図11、図13、図14、図20、および図21のフローチャートに示される処理は、図6のステップS2,S4の処理の具体的内容の一部を構成するものである。
次に、図7のフローチャートを参照して、ポインタの表示処理について説明する。
ステップS11において、判定部301はマウスが移動されたかを判定する。この判定は、イベントディテクタ233の検出結果をモニタすることで行うことができる。マウス12が移動されていないと判定された場合、ステップS12において、判定部301はホイールが回転されたかを判定する。この判定も、イベントディテクタ233のイベントの検出結果をモニタすることで行うことができる。ステップS12において、ホイール93が回転されていないと判定された場合、ステップS13において、判定部301は、マウスボタンがクリックされたかを判定する。この判定もイベントディテクタ233の検出結果に基づいて行われる。マウスボタン(左ボタン91と右ボタン92)のいずれもクリックされていない場合には、処理はステップS11に戻り、それ以降の処理が繰り返し実行される。
すなわち、マウス12が操作されるまで、ステップS11乃至ステップS13の処理が繰り返し実行される。ステップS11乃至ステップS13において、マウス12が操作されたと判定された場合、ステップS14において、計時部302はタイマーをスタートする。時間の計測を開始することで、後述するステップS22における5秒間が経過したか、あるいは、ステップS23における40秒が経過したかの判定が可能となる。そして、ステップS15において、表示部303はポインタを表示する。すなわち、マウス12が操作されれば必ずポインタが表示されることになる。
ステップS16において、判定部301はマウスが移動されたかを判定する。マウス12が移動された場合には、ステップS17において、移動部304はポインタを移動する。すなわち、ユーザがマウス12を操作してマウス12を所定の方向に移動した場合には、その移動した方向にポインタが移動されることになる。次に、ステップS20において、計時部302はタイマーをリセットする。すなわち、ステップS14の処理で計時動作を開始したタイマーがリセットされ、再び0から計時動作が再開されることになる。その後処理はステップS16に戻り、それ以降の処理が繰り返し実行される。
ステップS16において、マウス12が移動されていないと判定された場合、ステップS18において、判定部301はホイールが回転されたかを判定する。マウス12のホイール93が回転された場合には、ステップS20において、計時部302はタイマーをリセットする。そして、処理は再びステップS16に戻り、それ以降の処理が繰り返し実行される。
ステップS18において、ホイール93が回転されていないと判定された場合、ステップS19において、判定部301はマウスボタンがクリックされたかを判定する。すなわち、ユーザにより、マウス12の左ボタン91または右ボタン92がクリックされたかが判定される。左ボタン91または右ボタン92がクリックされた場合には、ステップS20において、計時部302はタイマーをリセットする。そして、処理はステップS16に戻り、それ以降の処理が繰り返し実行される。
なお、ホイール93が回転されるか、左ボタン91または右ボタン92が操作されたことにより実行される処理はここでは触れないが、例えば、図8のステップS43,S44、図10のステップS64,S65,S67,S68、図14のステップS150,S152、図20のステップS162,S163,S165,S166、図21のステップS187,S189,S191の処理など、状況に応じて対応する処理が実行される。ここでは、ポインタの表示についてだけ説明する。
このように、マウス12が操作される毎に、タイマーがリセットされる動作が繰り返される。そして、ステップS19において、マウスボタンがクリックされていないと判定された場合、ステップS21において、判定部301はメニューが表示されているかを判定する。メニューが表示されている場合には、ステップS23において、判定部301は40秒が経過したかを判定する。すなわち、ステップS14においてタイマーをスタートさせたか、ステップS20においてタイマーがリセットされ、再び計時動作が開始されてから40秒が経過したかが判定される。40秒が経過していない場合には、処理はステップS16に戻り、それ以降の処理が繰り返し実行される。
ステップS21において、メニューが表示されていないと判定された場合には、ステップS22において、判定部301は5秒が経過したかを判定する。5秒がまだ経過していないと判定された場合には、処理はステップS16に戻り、それ以降の処理が繰り返し実行される。
ステップS23において40秒が経過したと判定された場合、またはステップS22において5秒が経過したと判定された場合、ステップS24において、消去部305はポインタを消去する。すなわち、メニューが表示されている場合には、マウス12が何ら操作されずに40秒が経過すると、ポインタは消去される。これに対してメニューが表示されている場合には、マウス12が操作されずに5秒間が経過すると、その時点においてポインタが消去されることになる。その後、処理はステップS11に戻り、それ以降の処理が繰り返し実行される。
このようにして、マウス12が何らかの形で操作されると、その時点でポインタが表示され、ポインタが表示された後、メニューが表示された状態で40秒が経過するまでマウス12が何ら操作されなければ、ポインタは消去される。同様に、メニューが表示されていない状態においては、マウス12が5秒間操作されなければ、ポインタが消去されることになる。
このようにして、テレビジョンのビデオ画像が表示されている場合において、不必要なポインタが表示され、画像が見にくくなるようなことが防止される。ただし、メニューが表示されている場合には、メニューが操作される可能性があるため、消去するまでの時間が長く設定されている。
本発明の実施の形態においては、ポインタの形状が場合によって変更される。このポインタの形状の変更の処理について、図8のフローチャートを参照して説明する。
ステップS41において、形状選択部306は、ポインタがズーム画像上に位置するかを判定する(図10を参照して後述するように、クリエーションビューボタン64が操作されると、ズーム画像が表示される)。ポインタがズーム画像上に位置しない場合には、ステップS42において、形状選択部306は矢印の形状のポインタを選択する。すなわち、図9Aに示されるポインタ331が選択される。具体的には、テーブル241に図9に示される矢印の形状(図9A)、握った手の形状(図9B)、または開いた手の形状(図9C)のカーソル331が記憶されており、そのいずれかが選ばれて、カラースペースコンバータ134のOSDミキサ201に供給される。OSDミキサ201は、テーブル241から選ばれた形状のポインタを画像に重畳し、表示部2に出力し、表示させる。
ステップS41において、ポインタが位置するのはズーム画像上ではないと判定された場合、ステップS43において、判定部301は左クリックされたかを判定する。マウス12の左ボタン91が操作された(左クリックされた)場合には、ステップS44において、形状選択部306は、握った手の形状のポインタを選択する。すなわち、図9Bに示される握った手の形状のポインタ331が選択される。そして、ステップS42における場合と同様に、この形状のポインタ331がテーブル241から選ばれ、OSDミキサ201において画像に重畳され、表示部2に出力され、表示される。
ステップS43において、左クリックがされていないと判定された場合には、ステップS45において、形状選択部306は、開いた手の形状のポインタを選択する。具体的には、図9Cに示される開いた手の形状のポインタ331が選ばれ、OSDミキサ201により画像上に重畳され、表示部2に出力され、表示される。
本実施の形態においては、ユーザはチューナ131で受信し、表示部2に表示している動画像をリアルタイムで拡大(ズーム)してみることができる。動画像をズームする場合、ユーザは、リモートコマンダ11のクリエーションビューボタン64を操作する。そこで、ステップS61において、判定部301は、クリエーションビューボタンが操作されたかを判定する。クリエーションビューボタン64が操作された場合、ステップS62において、変更部307は、ズーム率を1ステップ変更する。すなわち、ズーム率は、1.0,1.5,2.0,2.5,3.0,1.0といったように、クリエーションビューボタン64が1回操作される毎にトグル状に変化する。クリエーションビューボタン64が1回操作されると、現在の値から次の値にズーム率が1ステップだけ大きい値に変更される。
このようにして、ズーム率が指定されると、図11または図13を参照して後述するように、シグナルプロセッサ162により生成された所定のズーム率の動画像がリアルタイムで表示部2に表示される。
ステップS61において、クリエーションビューボタン64が操作されていないと判定された場合、ステップS63において、判定部301は、ジョグダイヤルが操作されたかを判定する。ジョグダイヤル67が操作された場合には、ステップS64において、変更部307は、操作量に対応してズーム率を変更する。具体的には、ジョグダイヤル67が反時計方向に回動された場合には、その回動量に応じて、ズーム率が、3.0,2.5,2.0,1.5,1.0,3.0と順次小さい値に変更される。これに対して、時計方向に回動された場合には、その回動量に応じて、1.0,1.5,2.0,2.5,3.0,1.0と順次、増加する方向に1ステップずつズーム率が変更される。
ステップS63において、ジョグダイヤル67が操作されていないと判定された場合、ステップS65において、判定部301はホイールが操作されたかを判定する。マウス12のホイール93が操作された場合には、変更部307はステップS64において、ホイール93の操作量に対応してズーム率を変更する。ジョグダイヤル67の回転量とホイール93の回転量は、対応するように設定されている。
ステップS65において、ホイール93が操作されていないと判定された場合、ステップS66において、判定部301は、スティックが操作されたかを判定する。スティック68が操作された場合には、ステップS67において、移動部304は操作方向に対応して画像を移動する。すなわち、ユーザがスティック68を上下左右、あるいは右上、右下、左上、または左下方向に操作した場合には、その操作された方向に画像を移動する処理が実行される。
ステップS66において、スティック68が操作されていないと判定された場合、ステップS68において、判定部301は左ドラッグされたかを判定する。左ドラッグされた場合には、同様にステップS67において、移動部304は、操作方向に対応して画像を移動する。すなわち、ユーザがマウス12の左ボタン91を押圧して(図8を参照して説明したように、このときポインタは開いた手の形状(図9C)から握った手の形状(図9B)に変更される)、そのまま、例えば右方向に移動した場合、画像が右方向に移動される。ステップS68において、左ドラッグされていないと判定された場合、ステップS69において、判定部301は、戻るボタンが操作されたかを判定する。戻るボタン69が操作された場合には、ステップS70において、解除部308はズームモードを解除する。その結果、再び通常の大きさの動画像が表示される。ステップS62,S64,S67,S70の処理が完了したとき、または、ステップS69において、戻るボタン69が操作されていないと判定された場合、ズーム指示処理は終了される。
図10のフローチャートを参照して説明したようにしてズーム指示処理が行われると、次に、図11または図13に示されるように、ズーム画像生成処理が実行される。図11と図13のズーム画像生成処理は、そのいずれかが実行される。図11のズーム画像生成処理は、1フレーム分の画像データのうち必要な範囲のみがSDRAM133に書き込まれる方式であり、これに対して図13は、SDRAM133に書き込まれた1フレーム分の画像データのうち、必要な範囲のみが読み出される方式である。
図11のズーム画像生成処理について最初に説明する。ステップS81において、取得部309は書き込み範囲を取得する。この書き込み範囲は、マイクロコンピュータ135により、あらかじめXYレジスタ181に書き込まれており、取得部309は、このXYレジスタ181の値を読みとることで書き込み範囲を取得する。ステップS82において、書込部310はSDRAMに画像データを書き込む。すなわち、SDRAMコントローラ163は、チューナ131より出力され、プリプロセッサ161を介して必要なタイミングで入力された画像データのうち、取得された範囲の画像データをSDRAM133に書き込む。すなわち、指定された範囲の画像データのみがSDRAM133に書き込まれる。ステップS83において、読出部311は、SDRAMから画像データを読み出す。
例えば、図12に示されるように、SDRAM133のメモリ領域は枠351で示される範囲である。実際の画像サイズが枠352で示される大きさであったとして、書き込む範囲として枠353で示される範囲が指定された場合には、枠353で示される範囲の画像データが、SDRAM133に書き込まれることになる。そして、ステップS83では、この枠353の範囲の画像データが読み出されることになる。
ステップS84において、保持部312は、ステップS84において、ステップS83で読み出された画像データをフレームバッファに保持する。すなわち、SDRAMコントローラ163は、SDRAM133から読み出された枠353で示される範囲の画像データを、フレームバッファ182に保持させる。次に、ステップS85において、判定部301は、すべての画像データを保持したかを判定し、まだ保持してない画像データが存在する場合にはステップS84に戻り、すべての画像データを保持するまでステップS84,S85の処理が繰り返される。ステップS85において、すべての画像データが保持されたと判定された場合(枠353で示される範囲の画像データがすべてフレームバッファ182に記憶された場合)、ステップS86において、高画質化部313は高画質化処理をする。
すなわち、シグナルプロセッサ162は、フレームバッファ182に記憶された枠353の範囲の画像データに基づいて、高画質化処理をする。具体的には、注目画素の近傍のあらかじめ設定してある所定の画素から画像の特徴としてのクラスを決定し、このクラスに対応する予測係数に基づき画像データを処理することで、画素数を増加させたり減少させることができる。多くの画像を予め学習することで生成した予測係数を使用することで、より高品位のズーム画像を生成することが可能となる。
このズーム画像がカラースペースコンバータ134を介して表示部2に出力され、表示される。
次に、図13のフローチャートに示されるズーム画像生成処理について説明する。この場合は、ステップS101において、書込部310は、SDRAMに画像データを書き込む。このとき、SDRAMコントローラ163は、チューナ131よりプリプロセッサ161を介して供給された1フレーム分の画像データを、すべてSDRAM133に書き込む。そして、ステップS102において、取得部309は読み出し範囲を取得する。すなわち、XYレジスタ181に書き込まれている読み出し範囲の情報が読み出される。ステップS103において、読出部311はSDRAMから画像データを読み出す。すなわち今の場合、図12において枠352に示される範囲の1フレーム分のすべての画像データがSDRAM133に記憶されているため、ステップS103では、図12において枠353で示される必要な範囲の画像データのみが読み出される。
ステップS104において、保持部312は、画像データをフレームバッファに保持する。すなわち、ステップS103で読み出された図12の枠353で示される範囲の画像データが、フレームバッファ182に保持される。ステップS105において、判定部301は、すべての画像データを保持したかを判定し、まだ保持してない画像データが存在する場合には、ステップS104に戻り、それ以降の処理が繰り返し実行される。ステップS105において、すべての画像データが保持されたと判定された場合、ステップS106において、高画質化部313は高画質化処理をする。この処理の詳細は、図11におけるステップS86の処理と同様の処理である。
図13の処理に較べて図11の処理の方が、より迅速に画像データを書き込み、読み出すことができる。
この実施の形態においては、ユーザは、リモートコマンダ11またはマウス12を操作することでメニューを表示させることができる。図14のフローチャートを参照して、このメニュー表示処理について説明する。
ステップS131において、判定部301は、ポインタが指定領域の外側から内側に入ったかを判定する。ポインタが指定領域の外側から内側に入っていないと判定された場合、ステップS140において、判定部301は、メニューボタンが操作されたかを判定する。ユーザは、リモートコマンダ11を操作してメニューを表示させる場合には、メニューボタン70を操作する。メニューボタン70が操作された場合には、ステップS141において、判定部301は、メニューが表示されているかを判定する。メニューが表示されていない場合には、ステップS144において、計時部302はタイマーをスタートする。すなわち、計時動作がここで開始される。ステップS145において、表示部303は、所定の位置にメニューをカーソルとともに表示する。
図15と図16は、この場合における表示の例を示している。すなわち、図15に示されるように、この場合、画面371の右下から左側にメニュー381が飛び出すように表示され、最終的に図16に示されるように、画面371の右下にメニュー381の全体が表示される。
メニュー381の左側には、第1の選択肢としてのアイコン401乃至403が表示されている。アイコン401乃至403の内の最も上に位置するアイコン401が、デフォルトとしてカーソル391により選択された状態とされている。このため、第2の選択肢としての選択肢411乃至415が、アイコン401乃至403の右側に表示されている。このDRC-MFモード、DRC-MFパレット、画質モード、ワイド切換、およびアスペクト比の選択肢411乃至415のうち、画質モードの選択肢413がデフォルトとして選択された状態とされているため、選択肢413上にカーソル392が配置されている。
ステップS141において、メニューが表示されていると判定された場合、すなわち、メニューボタン70が操作されたがメニューがすでに表示されている場合には、ステップS151において、計時部302はタイマーをリセットする。すなわち、メニューが表示されている場合には、ステップS144,S138においてタイマーがスタートされているはずであり、そのタイマーがここでリセットされる。次に、ステップS152において、消去部305はメニューを消去する。すなわち、メニューが表示されている状態において、メニューボタン70が操作された場合には、メニュー381が消去されることになる。
ステップS140において、メニューボタン70が操作されていないと判定された場合、ステップS142において、判定部301は、スティックが操作されたかを判定する。リモートコマンダ11のスティック68が操作された場合には、ステップS143において、判定部301は、さらにメニューが表示されているかを判定する。メニューが表示されていない場合には、ステップS144において、計時部302はタイマーをスタートし、ステップS145において、表示部303は所定の位置にメニューをカーソルとともに表示する処理を実行する。すなわち、図15と図16を参照して説明したように、メニュー381が表示されることになる。換言すれば、この実施の形態においては、メニューボタン70を操作した場合だけでなく、スティック68を操作した場合にもメニュー381が表示されることになる。
ステップS143において、メニューが表示されていると判定された場合には、ステップS146において、移動部304はカーソルを移動する。すなわち、スティック68が操作された方向にカーソルが移動されることになる。これにより、ユーザは、メニュー381上のカーソル391,392を所定の選択肢上に移動させることができる。
ステップS142において、スティック68が操作されていないと判定された場合、ステップS147において、判定部301はメニューが表示されているかを判定し、メニューが表示されている場合には、ステップS148において、判定部301は、さらに、戻るボタン69が操作されたかを判定する。戻るボタン69が操作された場合には、ステップS151においてタイマーがリセットされ、ステップS152においてメニューが消去される。
ステップS148において、戻るボタン69が操作されていないと判定された場合、ステップS149において、判定部301はメニューが操作されずに一定時間が経過したかを判定する。すなわち、計時部302によりメニューが表示されている状態において時間が計測されており、その時間があらかじめ設定されている一定時間以上経過したかがここで判定される。一定時間が経過した場合には、ステップS151においてタイマーがリセットされ、ステップS152においてメニューが消去される。
すなわち、メニューが表示されている状態においては、戻るボタン69が操作されるか、または何も操作されずに一定時間以上が経過すると、メニューが消去されることになる。
ステップS149において、メニューが操作されずにまだ一定時間が経過していないと判定された場合には、ステップS150において、判定部301はメニュー表示領域以外で左クリックがされたかを判定する。すなわち、メニュー381上にポインタ331が位置する状態で、マウス12の左ボタン91が操作された場合には、左クリックされたと判定され、ステップS151において計時部302はタイマーをリセットし、ステップS152において表示部303はメニューを消去する。このように、この実施の形態においては、マウス12を左クリックすることによってもメニューを消去することが可能となる。
ステップS147において、メニューが表示されていないと判定された場合、ステップS148乃至ステップS152の処理はスキップされる。ステップS150において、メニュー表示領域以外で左クリックされていないと判定された場合、ステップS151,S152の処理はスキップされる。
図17に示されるように、ポインタ331がポインタ331Aとして示される位置からポインタ331Bとして示される位置に移動されたとき、すなわち、画面371の最も外側とそれより若干内側の枠372の間の比較的狭い領域である指定領域373にポインタ331が移動された場合、ステップS131において、ポインタが指定領域の外側から内側に入ったと判定される。このとき、ステップS132において、判定部301は、メニューが表示されているかを判定する。メニューが表示されていない場合には、ステップS133において、判定部301は、前回のポインタの位置が記憶されているかを判定する。すなわち、メニューが表示されている場合には、それを消去する時、後述するようにステップS137において、ポインタとカーソルの位置が記憶される。前回のポインタの位置が記憶されていない場合、すなわち、図17に示されるような操作が今回初めて行われ、初めてメニューを表示させる場合には、ステップS138において、計時部302はタイマーをスタートする。そして、ステップS139において、表示部303は、初期位置からメニューをポインタととも表示する処理を実行する。
このようにして、例えば、図18と図19に示されるように、メニュー381が表示される。最初に、図18に示されるように、メニュー381が画面371の右下から左方向に飛び出すように表示され、最終的に図19に示されるように、メニュー381の画面371の右下に表示される。
第1の選択肢としてのアイコン401乃至403の中のデフォルトとしてのアイコン401上にカーソル391が表示されているが、第2の選択肢としてとしての選択肢411乃至415上にはカーソルは表示されていない。そして、その代わりに、ポインタ331がデフォルトとしての選択肢413上に表示される。これにより、ユーザは、迅速に所望の選択肢を選択し、指示することが可能となる。
このように、この実施の形態の場合、リモートコマンダ11を操作することでメニュー381が表示された場合には、図16に示されるように、カーソル392がデフォルトの位置に表示されるが、マウス12を操作することで、メニュー381が表示された場合には、図19に示されるように、ポインタ331が表示される。これにより操作性が向上する。
図18と図19の例においては、2つの選択肢を選択して初めて最終的な選択が完了となるため、第1の選択肢上にはカーソル391がデフォルトの位置に表示されているが、1つの選択肢を選択するだけで最終的に選択が完了する場合においては、マウス12を操作してメニュー381が表示された場合、その1つのデフォルトの選択肢上にポインタ331が表示されることになる。
ステップS132において、すでにメニューが表示されていると判定された場合、ステップS137において、保持部312はポインタとカーソルの位置を記憶する。例えば、図19に示されるように、メニュー381が表示されている状態において、ポインタ331が指定領域373上に配置された場合、その配置されたポインタ331の位置と、その時メニュー381に表示されているカーソル391,392の位置が記憶される。そして、ステップS151において、計時部302はタイマーをリセットし、ステップS152において、表示部303はメニューを消去する。
すなわち、ユーザは図19に示されるように、メニュー381が表示されている状態において、ポインタ331を指定領域373上の所定の位置に移動させることで、その位置を記憶させるとともに、メニュー381を消去することができる。
ステップS133において、前回のポインタの位置が記憶されていると判定された場合、ステップS134において、読み出し部311はカーソルとポインタの位置を読み出す。すなわち、上述したように、ステップS137において、前回マウス12を操作することで(指定領域373内にポインタ331を移動することで)メニュー381を消去した場合には、その消去したときの位置が読み出され、ステップS135において、計時部302はタイマーをスタートする。そして、ステップS136において、表示部303は、ステップS134で読み出された位置からメニュー381をポインタ331とともに表示する。
すなわち、ユーザがポインタ331Aを指定領域373の、例えば、図17における画面の右上方向に移動させてメニュー381を消去した場合には、その位置(画面371の右上)から画面371内に侵入するように、メニュー381が表示されることになる。
この実施の形態においては、動画像の1フレームを一時的に静止画として表示させることができる。この機能を実現するメモ処理について、図20のフローチャートを参照して説明する。
ステップS161において、判定部301はリモートコマンダのメモボタンが操作されたかを判定する。リモートコマンダ11のメモボタン63が操作された場合には、ステップS162において、モード設定部314は静止画モードを設定する。具体的には、マイクロコンピュータ135は、フレームバッファ182に記憶されている画像データの更新を禁止させる。シグナルプロセッサ162は、同一のフレームの画像データを繰り返し高画質化処理し、カラースペースコンバータ134を介して表示部2に出力し、表示させる。これにより、ユーザがメモボタン63を操作したタイミングにおける画像が、静止画として表示部2に表示されることになる。
ステップS161において、リモートコマンダ11のメモボタン63が操作されていないと判定された場合、ステップS163において、判定部301は、右クリックされたかを判定する。マウス12の右ボタン92がクリックされた場合(右クリックされた場合)には、ステップS164において、判定部301は、現在静止画モードかを判定する。現在のモードが静止画モードでない場合、ステップS162において、モード設定部314は静止画モードを設定する。すなわち、リモートコマンダ11のメモボタン63が操作された場合と同様に、マウス12の右ボタン92が操作された場合にも、静止画モードが設定され、表示部2に静止画が表示される。
ステップS163において、右クリックされていないと判定された場合、ステップS165において、判定部301は、リモートコマンダの戻るボタンが操作されたかを判定する。戻るボタン69が操作された場合には、ステップS166において、解除部308は、ステップS162の処理で設定した静止画モードを解除する。これにより、フレームバッファ182の更新の禁止が解除され、再びフレームバッファ182にその都度新たなフレームの画像データが書き込まれる。その結果、表示部2には動画像が表示されることになる。
ステップS164において、現在のモードが静止画モードであると判定された場合にも、ステップS166において、やはり静止画モードを解除する処理が実行される。すなわち、この実施の形態においては、リモートコマンダ11のメモボタン63、またはマウス12の右ボタン92が操作されると静止画モードが設定され、リモートコマンダ11の戻るボタン69が操作されるか、マウス12の右ボタン92が再度操作されると、静止画モードが解除される。
リモートコマンダ11のメモボタン63をマウス12のボタンのうち左ボタン91に対応させ、戻るボタン69を右ボタン92に対応させたが、その逆であっても良い。この場合、左ボタン91がクリックされる毎に静止画モードの設定と解除が行われる。
本発明の実施の形態においては、メニュー381が表示されている状態において、リモートコマンダ11とマウス12のいずれを操作することによってもメニュー381を利用した入力が可能とされている。この機能を実現するメニュー表示時のコマンド受付処理について、図21のフローチャートを参照して説明する。
ステップS181において、判定部301は、メニューが表示されているかを判定する。メニュー381が表示されていない場合には、以下の処理はスキップされる。すなわち、以下の処理は、メニュー381が表示されている場合においてのみ実行される。
ステップS181において、メニュー381が表示されていると判定された場合、ステップS182において、判定部301は、リモートコマンダが操作されたかを判定する。リモートコマンダ11が操作された場合には、ステップS183において、判定部301は、カーソルが表示されているか(表示されているメニューは、メニューボタン70を操作することで表示されたメニューか)を判定する。図14のフローチャートを参照して説明したように、リモートコマンダ11のメニューボタン70を操作してメニュー381を表示された場合には、メニュー381上にカーソル391,392が表示されている(ステップS140,S141,S144,S145)。この状態において、リモートコマンダ11がさらに操作された場合には,ステップS184において、実行部315は、操作に対応する処理を実行する。例えば、リモートコマンダ11のスティック68を上方向に操作した場合、図16のカーソル392が1つだけ上の選択肢412上に移動される。また、スティック68が下側に操作された場合には、1つ下側の選択肢414上にカーソル392が移動される。さらに、例えば、スティック68がリモートコマンダ11に対して垂直な方向に押圧された場合には、選択肢413の選択が確定される。すなわち、図16の表示例の場合、画質モードの選択が確定される。このように、リモートコマンダ11の操作に対応して、カーソルの移動、処理の確定などの対応する処理が実行されることになる。
これに対して、図14のフローチャートを参照して説明したように、マウス12を操作して、ポインタを指定領域373内に移動させることでメニュー381を表示させた場合には、ポインタ331が表示されており(図14のステップS131,S133,S136,S139)、カーソル392は表示されていない(図19)。なお、このステップS183の判断におけるカーソルは、最終段の選択肢を選択するためのカーソルを意味する。したがって、図19のカーソル391は、ここにおけるカーソルではない。ステップS183において、カーソルが表示されていないと判定された場合(マウス12を操作することでメニュー381が表示されている場合)には、ステップS185において、消去部305はポインタを消去する。そして、ステップS186において、表示部303は、消去したポインタの位置に最も近いメニューの選択肢上にカーソルを表示する。
例えば、図19に示されるように、メニュー381とポインタ331が表示されている状態において、リモートコマンダ11が操作された場合には、ポインタ331が表示されている選択肢に最も近い選択肢(選択肢413)上にカーソル392が表示されることになる。すなわち、図19に示されるような表示状態でリモートコマンダ11が操作された場合には、図16に示されるような表示状態になる。
ステップS182において、リモートコマンダ11が操作されていないと判定された場合、ステップS187において、判定部301はマウスが操作されたかを判定する。マウス12が操作された場合には、ステップS188において、判定部301は、ポインタが表示されているか(表示されているメニューは、マウス12を操作することで表示されたメニューか)を判定する。図14のフローチャートを参照して説明したように、マウス12を操作して、ポインタ331を指定領域373内に移動させることでメニュー381を表示させた場合には、ポインタ331が表示されている。この場合、ユーザはマウス12を操作することでメニュー381を表示させ、さらに、マウス12が操作されたのであるから、マウスの操作により、メニュー381上の選択肢の選択を行うものであると考えられる。そこで、ステップS189において、実行部315は対応する処理を実行する。
例えば、図19に示されている状態において、マウス12が上方向に移動された場合にはポインタ331が上方向に移動され、下方向に移動された場合にはポインタ331が下方向に移動される。そして、その移動された先の選択肢上において、左ボタン91がクリックされた場合には、その選択肢の選択が確定したものとして処理される。すなわち、ステップS184におけるリモートコマンダ11の操作に対応する処理と同様に、マウス12が操作された場合にもその操作に対応して、ポインタの移動、選択の確定などの処理が実行される。
上述したように、リモートコマンダ11を操作することでメニュー381を表示させた場合には、カーソル392が表示されておりポインタ331は表示されていない。この場合には、ステップS190において、消去部305はカーソルを消去する。そして、ステップS191において、表示部303は、消去したカーソルの位置に最も近いメニューの選択肢上にポインタを表示する。
例えば、図16に示されるように、リモートコマンダ11を操作することで、メニュー381が表示されている状態においてマウス12が操作された場合においては、最下段の選択肢413上に位置するカーソル392が消去され、その選択肢413に最も近い位置に(選択肢413上に)ポインタ331が表示される。すなわち、図16に示されるような表示状態からマウス12が操作された場合には、図19に示されるような表示状態に変化する。
ステップS185,S186においてポインタを消去した後、カーソルを表示した状態において、再びリモートコマンダが操作された場合には、ステップS182,S183,S184の処理により、そのリモートコマンダの操作に対応する処理が実行されることになる。
同様に、ステップS190,S191の処理でカーソルを消去した後、ポインタを表示した場合においてユーザがさらにマウス12を操作すれば、ステップS182,S187,S188,S189の処理により、マウス12の操作に対応する処理が実行されることになる。
このように、リモートコマンダ11を操作してメニュー381を表示させた後、リモートコマンダ11がさらに操作された場合には、その操作に対応した処理が実行されるし、マウス12を操作することでメニュー381を表示させた状態においてマウス12がさらに操作されれば、その操作に対応する処理が実行される。逆に、リモートコマンダ11を操作することでメニュー381を表示させた状態においてマウス12が操作された場合にも、それに対応する処理が実行可能となり、マウス12を操作することでメニュー381を表示させた状態においてリモートコマンダ11が操作された場合にも、やはり対応する処理が実行可能となる。
したがって、ユーザがマウス12とリモートコマンダ11のいずれを操作するのか迷うようなことが防止される。その結果、操作性が向上する。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、画像処理装置は、図22に示されるようなパーソナルコンピュータにより構成される。
図22において、CPU(Central Processing Unit)521は、ROM(Read Only Memory)522に記憶されているプログラム、または記憶部528からRAM(Random Access Memory)523にロードされたプログラムに従って各種の処理を実行する。RAM523にはまた、CPU521が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU521、ROM522、およびRAM523は、バス524を介して相互に接続されている。このバス524にはまた、入出力インタフェース525も接続されている。
入出力インタフェース525には、キーボード、マウスなどよりなる入力部526、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部527、ハードディスクなどより構成される記憶部528、モデムなどより構成される通信部529が接続されている。通信部529は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース525にはまた、必要に応じてドライブ530が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア531が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部528にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図22に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア531により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM522や、記憶部528に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
1 テレビジョン受像機, 2 表示部, 3 受付部, 3−1 受光部, 3−2 受信部, 11 リモートコマンダ, 12 マウス, 331 ポインタ, 381 メニュー, 391,392 カーソル, 401乃至403 アイコン, 411乃至415 選択肢