JP2007189613A - 操作システム - Google Patents

Abstract

【課題】リモコンでテレビジョン装置等の機器の機能を制御する操作システムにおいて、簡易な構成のリモコンを用いて直観的な操作を行う。
【解決手段】スイッチによって複数のＬＥＤの点灯状態を制御する簡易な構成のリモコンと、ビデオカメラと画像処理手段とを備えた機器からなる操作システムにおいて、複数のＬＥＤの点灯状態をビデオカメラで撮影した画像を、画像処理手段を用いて認識することで機器の機能制御を行うようにし、簡易な構成のリモコンを用いて直観的な分かりやすい操作が出来るようにした。
【選択図】図１

Description

本発明は、テレビジョン受像機等の各種機器の操作システムに関し、特に簡易な操作手段で直観的に分かりやすい操作を行うことのできる操作システムに関する。

近年のテレビジョン受像機は、離れたところから機能を制御する為のいわゆるリモコンで操作するのが一般的な構成となっている。加えて、近年はデジタル放送受信機が普及しつつあり、デジタル放送受信機用のリモコンはボタンの数が多い為に操作が分かりにくくなっている。このようなリモコンを用いたテレビ操作システムの改善に関する従来例としては、例えば、特許文献１のような方法が開示されており、特許文献１においては、音声認識手段と、リモコンのキー操作とを併用した遠隔制御システムを構成している。また、音声認識に関する情報をＧＵＩ（Graphical User Interface）を用いた画面表示によってユーザにフィードバックし、それにより好適な操作性を実現している。

また、特許文献２及び特許文献３には、撮像装置でリモコンを検出して表示画面上のカーソルを制御する技術が開示されている。また、特許文献４には、リモコンを持った被写体がビデオカメラの画角内にいるか否かを判別する技術が開示されている。また、特許文献５には、リモコンの３つの発光ダイオードからの異なる色（ＲＧＢ）の光をＲＧＢセンサで検出し、各成分の比を計算する技術が開示されている。更に、特許文献６には、リモコンに取り付けられた複数の異なる方向の赤外発光素子から信号を送信し、機器からの応答信号の有無を順次確認する技術が開示されている。
特開２００３−２１９２０１号公報 特開平６−７５６９５号公報 特開平７−３６６１４号公報 特開平６−３３４９１１号公報 特開平６−１５３２８０号公報 特開２０００−４１９９号公報

しかしながら、特許文献１においては、従来の構成を最小限しか変更していないことからリモコンに操作ボタンが多数あることに変わりは無く、リモコンの構成を変えることにより分かりやすい直観的な操作を実現するという着想は無かった。また、特許文献２から特許文献６に記載されている技術は、それぞれの課題を解決するためのものであって、操作ボタンの少ない簡易な構成のリモコン装置を用いて分かりやすい操作を行うことはできなかった。

本発明は、簡易なリモコン装置で直観的に分かりやすい操作システムを提供することを目的とする。

上記課題を解決するために、本発明では、リモコン装置に、複数の発光素子および該発光素子の点灯状態を制御する発光素子点灯制御手段を備え、一方、テレビジョン受像機等の機器に、撮像手段と少なくとも前記撮像手段が出力する画像信号を処理する画像処理部と制御部とを備えて、制御部は、前記画像処理部に入力された撮像手段の出力画像信号を処理することによって前記リモコン装置が備える複数の発光素子の点灯状態を判別して機器の機能を制御する。

本発明によれば、簡易なリモコン装置を用いて直観的に分かりやすい操作を行うことのできる操作システムを提供することができる。

以下、図面を用いて本発明の実施例を説明する。なお、以下において、同一符号・記号は同一の構成を意味するものであるとする。

図１は、本実施例における操作システムの構成例を示す図である。１０は図示しない放送局から送出された電波を受信するアンテナ、２０はアンテナ１０から供給される信号から所望の信号を選局するチューナである。３０はチューナ２０の出力を処理して映像信号と音声信号を再生する放送信号処理部、４０は画像処理部、４１は画像処理用のメモリ、５０は画像信号出力端、６０は音声信号出力端、７０は撮像手段として用いるビデオカメラ、８０は制御バス９０を介して上記の構成からなるテレビジョン受信機の動作を制御する制御手段、１００はリモコンである。

リモコン１００は複数のＬＥＤ（発光ダイオード：Light Emitting Diode）１０１とスイッチ１０２を備え、複数のＬＥＤ１０１の点灯状態をスイッチで変えられる構成である。ユーザがリモコン１００のスイッチを押すと、複数のＬＥＤ１０１の点灯状態が変化する。すなわち特定のＬＥＤだけが点灯し、あるいは特定または複数のＬＥＤが一定の周期で点滅するなどの動作を行う。複数のＬＥＤ１０１の点灯状態はビデオカメラ７０で撮影される。

ビデオカメラ７０が撮影した画像は映像信号として画像処理部４０に入力される。画像処理部４０は入力された映像信号をデータとして画像処理メモリ４１に格納する。制御手段８０は画像処理メモリ４１にアクセスし、画像データを読み取ることによって複数のＬＥＤ１０１の点灯状態を認識し、認識した複数のＬＥＤ１０１の点灯状態に応じた機能の制御を行う。例えば特定のスイッチを押すことによって複数のＬＥＤ１０１またはその一部が特定のパターンで点滅していることをビデオカメラ７０で撮影して認識した場合、点滅の状態に対応してチャンネルの変更を行うなどの操作を行うことができる。

上記の説明では、複数のＬＥＤ１０１の点灯状態を制御するスイッチとして押し下げ式のボタンスイッチを用いる場合を例として示したが、図２あるいは図３に示すようなダイヤル式のスイッチ、あるいはスライド式のスイッチを用いても良い。

上記の説明では複数のＬＥＤ１０１の点灯状態を変えることによってテレビジョン受像機の操作を行う例を示したが、複数のＬＥＤ１０１の動きを検出することによって操作を行っても良い。この場合は、例えば図４の例に示すようにリモコン１００を回転させる等の動作を行う。図４は複数のＬＥＤ１０１の設置された側から見た際にリモコン１００を回転させる様子の例を示したものである。制御手段８０は画像処理メモリ４１に格納される画像データを処理し、ビデオカメラ８０で撮影された複数のＬＥＤ１０１の動きを検出することによって回転したことを認識し、これに基づいてテレビジョン受像機の操作を行う。これにより、複数備えたスイッチ１０２の特定のスイッチを押すことによって特定の状態で複数のＬＥＤ１０１を点灯させたリモコン１００を時計回りに回すことによって、音量を大きくするなどの操作を行うことができ、直観的な操作によってテレビジョン受像機の操作を行うことができる。

テレビジョン受像機の機能操作と複数のＬＥＤ１０１の点灯状態の関係の一例について、より具体的に説明する。以下では、リモコン１００によって音量の調整を行う場合について説明する。図２や図３の例に示すようなリモコン１００で、音量の調整操作をするようにダイヤル式のスイッチまたはスライド式のスイッチで「音量」を選択する。「音量」を選択すると、特定のＬＥＤ、例えば青色ＬＥＤだけが点灯する。青色ＬＥＤが点灯すると、その様子はビデオカメラ７０で撮影される。撮影された画像信号は画像処理手段４０に入力される。画像処理手段４０は入力された画像信号を処理し、デジタル画像データとしてメモリ４１に格納する。制御手段８０は、メモリ４１に格納された画像データを例えば定期的に処理してリモコン１００のＬＥＤが点灯しているか否かを判断する。より具体的には、図示しないメモリ等の記憶手段に予め記憶している輝度情報や色情報、または輝度情報や色情報に加えて点滅パターンや点滅周期などと一致する情報が得られるか否かによってリモコン１００の操作内容を判別する。

上記で説明したような画像データ処理によってリモコン１００からの操作が行われていると判断すると、制御手段８０は、放送信号処理手段３０の動作を制御して音量の調整を行う。ここで、音量の調整は図２あるいは図３のリモコン１００の例に示すようなボタンによって操作しても良いし、図４に示したようなリモコン１００の回転等の動きを検出することによって行っても良い。さらに、前述したようにリモコンの回転を検出することによって操作を行う場合は、図５に示すようなＯＳＤ（On Screen Display）表示を行って、より分かりやすい操作を行うこともできる。

図５は、リモコン１００のスイッチ１０２を操作することによって音量操作が選択されたことを制御手段８０が認識した場合に表示するＯＳＤ画像の一例である。音量操作が選択されたことを複数のＬＥＤ１０１の点灯状態を判別して認識すると、制御手段８０は画像処理手段４０を制御して図５の例に示すようなＯＳＤ画像を表示させる。

次に、リモコンが図４の例に示すように回転したことを検出すると、回転の状態に応じて音量を調整すると共に音量の状態を示す図５のようなＯＳＤ画像の内容を書き換えて現在の音量がどの程度であるかを示す。これによって音量操作をテレビ画面を見ながらより分かりやすく行うことができる。

尚、上記で説明したように、ビデオカメラ７０で撮影した画像の判別はＬＥＤの輝度情報や色情報及び点滅などの情報及び画面内の位置情報を判別するだけで行うことが出来る。これにより、例えば任意の画像の輪郭を抽出するなどの複雑な演算処理を行う必要がない。制御手段８０としては情報処理用のＣＰＵ等を用いることが想定されるが、前述のように動きのある画像の輪郭を抽出するなどの複雑な演算処理を行う必要がないので、いたずらに高性能なＣＰＵを用いる必要がない。あるいはＣＰＵの持つ演算能力のごく一部を用いるだけで画像の判別を行うことができ、演算能力を他の用途に振り向けることが出来る。

図６に、リモコン１００の構成の１例を示す。１０１−１ないし１０１−ｎはＬＥＤ、１０２は複数のスイッチを備えたスイッチ部、１０３はスイッチ部１０２の状態によってＬＥＤ１０１−１ないし１０１−ｎを制御するＬＥＤ点灯制御部である。

図６において、スイッチ部１０２のいずれかのスイッチを押すと、押されたスイッチに相当する点灯状態になるようにＬＥＤ点灯制御部１０３がＬＥＤ１０１−１ないし１０１−ｎの点灯制御を行う。これにより予め設定した状態でＬＥＤ１０１−１ないし１０１−ｎが点灯あるいは消灯あるいは点滅し、これによって上記で説明したようなテレビジョン受像機の操作を行うことができる。

上記の説明においては、リモコン１００に備えた複数のＬＥＤ１０１の点灯状態によってテレビジョン受像機の操作を行う例を示したが、異なる操作の例として以下にＯＳＤ画像と組み合わせて操作を行う例について説明する。

図７は、制御手段８０が画像処理手段４０を制御することにより表示したＯＳＤ画面に、ビデオカメラ７０が撮影したリモコン１００が備えるＬＥＤが点灯している状態の画像を重ねて表示した場合の表示例である。より具体的には、図１の画像処理部４０において図７に示すようなボタンが表示されたＯＳＤ画面を作成する。また、ビデオカメラ７０が撮影した映像をＯＳＤ画面に重畳して表示するいわゆるスーパーインポーズ表示を行う。ここで、リモコン１００は図２あるいは図３に示したような複数のＬＥＤ１０１あるいはその一部を点灯制御する為の「決定」ボタンを有するものである。ビデオカメラ７０で撮影され、テレビ画面に表示されたＬＥＤの画像がＯＳＤ表示された特定のボタン上に来た時にリモコン１００の「決定」ボタンを押すと、複数のＬＥＤ１０１が予め定めた特定の状態で点灯あるいは消灯する。ここでは簡便の為、例えばどれか一つのＬＥＤだけが点灯するものとする。この様子はビデオカメラ７０によって撮影され、撮影された映像信号は画像処理手段４０で処理されメモリ４１に格納される。制御手段８０は、メモリ４１に格納された画像データを処理することによって前記点灯しているＬＥＤ１０１と重なって表示されているボタンが押されたものと判断し、画面上のボタンに割り当てられた機能に応じた制御を行う。これによってリモコン１００に備えるボタンなどの数を少なくしながら複雑な操作を簡単に行うことが出きる。

上記の説明では、ＯＳＤ画面に、ビデオカメラ７０が撮影した映像をそのままスーパーインポーズ表示する例を示したが、ビデオカメラで撮影されたＬＥＤ１０１の位置にＯＳＤを表示するように制御しても良い。すなわち制御手段８０は画像処理メモリ４１に格納された画像を処理することによってＬＥＤ１０１が画面内のどこに表示されているかを判別し、図８に示すようにＬＥＤ１０１が表示されるべき位置に特定のＯＳＤを表示するものである。このような方法によっても前述の説明のようなＬＥＤ画像をスーパーインポーズ表示する場合と同様な効果を得ることができる。

上記で説明した方法によって、簡易な構成のリモコンで直観的にテレビジョン受信機の操作を行うことができる。

図９に、図６とは異なるリモコン１００の構成の一例を示す。図９において１０４は加速度センサーなどの、動きを検出する為のセンサーである。図９において、ユーザがリモコン１００を手に取ると、センサー１０４はリモコンが動いたことを検出し、動きを検出したことを示す信号を出力する。ＬＥＤ点灯制御部１０３は、センサー１０４から動きを検出したことを示す信号が入力されると、ＬＥＤ１０１−１〜１０１−ｎの制御を開始する。一方、ＬＥＤ点灯制御部１０３は予め設定した一定の時間の間センサー１０４からの動きを検出したことを示す信号の入力がない場合は、ＬＥＤ１０１−１〜１０１−ｎの全てを消灯する。このようにセンサー１０４からの動き検出信号の有無によってＬＥＤ１０１−１〜１０１−ｎの点灯と消灯を制御することで必要な場合にだけＬＥＤを点灯させることができ、一般に電池で動作するリモコンの電源を節約することができる。

図１０に、本発明の実施例２を示す。図１０において、１０５は赤外線などによりコマンド等を送出するコマンド送出手段、１０６は前記コマンド送出手段１０５から送出されたコマンド等を受信するコマンド受信手段である。

図１０において、ユーザの操作によりリモコン１００が備える複数のＬＥＤ１０１が予め定められた状態で点灯あるいは消灯あるいは点滅すると、前述のようにビデオカメラ７０でその様子が撮影され、画像処理手段４０によって撮影された画像がメモリ４１に格納される。制御手段８０はメモリ４１に格納された画像を処理することによってリモコン１００が備える複数のＬＥＤ１０１の点灯状態を認識し、これによってテレビジョン受信機の機能を制御する。また、コマンド送出手段１０５を制御して各種情報やコマンドを送出する。前記コマンド送出手段１０５から送出された情報はコマンド受信手段１０６によって受信される。リモコン１００は受信したコマンドに基づいて複数のＬＥＤ１０１の制御を行う。これによって、例えばユーザがリモコン１００を用いてテレビジョン受信機の制御を行うと、制御手段８０はビデオカメラ７０で撮影された制御内容に基づいてテレビジョン受像機の機能を制御すると共に、制御が正常に行われたことを示す情報などをコマンド送出手段１０５から送出する。リモコン１００は前述の情報をコマンド受信手段１０６によって受信すると、予め定められたパターンで複数のＬＥＤ１０１の点灯制御を行う。すなわち、例えば全ＬＥＤを点滅させるなどの制御を行う。これによって、テレビジョン画面に特に制御を受け付けたことを示すＯＳＤなどを表示しなくてもユーザのリモコン操作をテレビジョン受像機が受け付けたことがすぐに分かるので、ユーザはそれを確認してすぐに次の操作を行うことが出来る。

図１１に、リモコン１００の他の構成の一例を示す。図１１において、１０７は、リモコン１００に備えられた液晶ディスプレイなどの表示手段である。ディスプレイ１０７は、通常は、例えば図１１に示すようにスイッチ１０２を構成するスイッチの一つであるスライドスイッチの機能を表示しているものとする。次に前述の説明のように、リモコンの操作によってテレビジョン受像機が操作を受け付けたことを示す情報をコマンド受信手段１０６で受信すると、リモコン１００はディスプレイ１０７にその情報を、例えば「音量を２０にしました」などのように表示する。更には、幾つかの階層化されたメニューを辿るような操作を行う場合には、一つの操作を行った際に、制御手段８０は次の操作の候補に関する情報をコマンド送出手段１０５から送信し、リモコン１００はコマンド受信手段１０６で受信した情報をディスプレイ１０７に表示する。これによって、ユーザは次にどの操作を行えば良いかを知ることができるので、複雑な機能であっても容易に操作することができる。

なお、以上の説明においては、リモコン１００に備えられたディスプレイ１０７として液晶ディスプレイを用いる例を示したが、これによって、ディスプレイ１０７を液晶ディスプレイに限るものではなく、例えば、有機ＥＬ（Electro Luminescence）ディスプレイなど他の表示デバイスをリモコン１００に用いてもかまわない。またリモコン１００が備える発光素子としてＬＥＤを用いた構成を説明したが、他の発光素子であってもかまわない。

また、以上の各実施例では、リモコン装置は、テレビジョン受像機の機能を制御するものとして説明したが、本発明のリモコン装置を用いた操作システムは、テレビジョン受像機のみならず、リモコン装置で操作できる機器に適用可能であり、例えば、家庭内に配置される各種の映像機器、記録再生機器、あるいは、音響機器、パソコン等の情報機器、家庭内の照明機器、空調機器、調理機器、看護機器、各種の支援ロボット、あるいは、各種の産業用の被制御機器などの広範囲な機器に対するリモコン操作に適用可能である。

本発明の実施例１の操作システムの構成を示す図である。 本発明の実施例１におけるリモコン装置の一例を示す図である。 本発明の実施例１におけるリモコン装置の例を示す図である。 本発明の実施例１のリモコン装置の回転の様子の例を示す図である。 本発明の実施例１の表示画面の例を示す図である。 本発明の実施例１のリモコン装置の構成例を示す図である。 本発明の実施例１の表示画面の例を示す図である。 本発明の実施例１の表示画面の例を示す図である。 本発明の実施例１のリモコンの例を示す図である。 本発明の実施例２の操作システムの構成を示す図である。 本発明の実施例２の操作システムにおけるリモコンの例を示す図である。

符号の説明

１０ アンテナ
２０ チューナ
３０ 放送信号処理部
４０ 画像信号処理部
４１ 画像処理メモリ
５０ 映像信号出力端子
６０ 音声信号出力端子
７０ ビデオカメラ
８０ 制御部
９０ 制御バス
１００、２００ リモコン
１０１−１〜１０１−ｎ ＬＥＤ
１０２ スイッチ
１０３ ＬＥＤ点灯制御部
１０４ センサー
１０５ 赤外線発光素子
１０６ 赤外線受光素子
１０７ ディスプレイ

Claims (5)

1. 複数の発光素子と前記複数の発光素子の点灯状態を制御する発光素子点灯制御手段とを備えたリモコン装置と、撮像手段と少なくとも前記撮像手段が出力する画像信号を処理する画像処理部と制御部とを備えた機器と、から構成され、
   前記制御部は、前記画像処理部に入力された前記撮像手段の出力画像信号を処理することによって前記リモコン装置が備える複数の発光素子の点灯状態を判別して前記機器の機能を制御することを特徴とする操作システム。
2. 請求項１記載の操作システムにおいて、
   前記リモコン装置は、前記発光素子を予め定めたパターンで点滅させるように制御すると共に、前記制御部は、前記画像処理部に入力された前記撮像手段の出力画像信号を処理することによって前記リモコン装置が備える前記複数の発光素子の点滅パターンを判別して前記機器の機能を制御することを特徴とする操作システム。
3. 請求項１記載の操作システムにおいて、
   前記制御部は、前記リモコン装置が備える前記複数の発光素子の動きまたは回転を判別することにより前記機器の動作を制御することを特徴とする操作システム。
4. 請求項１記載の操作システムにおいて、
   前記画像処理部はＯＳＤ画像作成を行うとともに、前記撮像手段で撮影した画像と前記作成したＯＳＤ画像とを同時に表示し、ＯＳＤ画面上の予め定めた領域に前記発光素子の画像が表示された際の該発光素子の点灯状態を判別して前記機器の動作制御を行う操作システム。
5. 請求項１記載の操作システムにおいて、
   前記機器は、制御部に接続された情報送信手段を更に有すると共に、前記リモコン装置は、情報表示手段と前記情報表示手段に接続された情報受信手段を更に有し、前記情報受信手段が前記情報送信手段から送信された情報を受信すると、前記情報表示手段は受信したデータに応じて情報表示を行うことを特徴とする操作システム。

Images