JP2013187589A - 映像表示装置、表示システム、携帯端末 - Google Patents

Abstract

【課題】 スマートフォンの映像をそのままテレビなどに表示しつつ、テレビなどからタッチ操作を行うような表示システムを提供する。
【解決手段】 映像表示装置の側で、ユーザーによる操作内容を記憶部に出力する。この記憶部は、上記外部機器との制御情報を共有するものであるから、上記外部機器の側でも、上記映像表示装置との制御情報を共有する外部機器側記憶部を有しており、ユーザーによる操作内容が同共有する外部機器側記憶部に反映される。従って、外部機器側記憶部の情報を監視すれば、その情報が変化した場合にユーザーによる操作があったものとして、上記外部機器は対応する操作を行う。言い換えると、同操作に対応した処理を実行する。
【選択図】 図１

Description

本発明は、共にタッチ操作可能な機器を有線接続して構成される表示システムと、これを構成する携帯端末（外部機器）と映像表示装置に関する。

タッチ操作可能な携帯端末等が利用されてきている。また、別途、外部機器からの映像入力に基づいて映像表示可能な映像表示装置も利用されている。

特許文献１に示すものは、タッチパネルにボタン画像を表示し、入力座標計算と連動して動作指示を行うものである。
特許文献２に示すものは、携帯電話を遠隔操作するものである。
特許文献３に示すものは、ネットに接続されたテレビを携帯端末から操作するものである。
特許文献４に示すものは、ＰＣのタッチパネルの操作が携帯電話の操作に反映されるものである。

特開２０１１−２３０２７号公報 特開２０１０−２７２９３０号公報 特開２０１０−２７１７７９号公報 特開２００７−９５０８０号公報

近年、スマートフォンなどのタブレット端末においてタッチスクリーン操作によるインターフェイスが盛んに利用され、さらに同タブレット端末の表示をそのまま外部のテレビに接続してプレゼンテーションも行われている。
しかし、このようなスマートフォンの映像をそのままテレビなどに表示しつつ、テレビなどからタッチ操作を行うことはできなかった。

本発明は、スマートフォンの映像をそのままテレビなどに表示しつつ、テレビなどからタッチ操作を行うような表示システムを提供する。

本発明は、所定の規格により外部機器と接続される映像表示装置であって、上記外部機器との制御情報を共有する記憶部を有し、ユーザーによる操作内容を上記記憶部に出力する映像表示装置を提供する。
例えば、このような映像表示装置を、所定の規格により外部機器と互いに接続し、表示システムを構成する。この場合、上記映像表示装置は、上記外部機器との制御情報を共有する記憶部を有し、ユーザーによる操作内容を上記記憶部に出力する。一方、上記外部機器は、上記映像表示装置との制御情報を共有する外部機器側記憶部を有し、同共有する外部機器側記憶部の情報を監視し、情報が変化した場合に、上記外部機器の操作を行う。
このようにすれば、映像表示装置の側で、ユーザーによる操作内容を記憶部に出力する。この記憶部は、上記外部機器との制御情報を共有するものであるから、上記外部機器の側でも、上記映像表示装置との制御情報を共有する外部機器側記憶部を有しており、ユーザーによる操作内容が同共有する外部機器側記憶部に反映される。従って、外部機器側記憶部の情報を監視すれば、その情報が変化した場合にユーザーによる操作があったものとして、上記外部機器は対応する操作を行う。言い換えると、同操作に対応した処理を実行する。

また、タッチ操作可能なスクリーンを有し、表示中の画像を所定の規格にによる有線接続された外部機器へ表示させる機能を有する第１の機器と、上記規格による有線接続が可能で外部機器からの映像を表示するとともにタッチ操作可能なスクリーンを有する第２の機器とからなる表示システムであって、上記第１の機器と、上記第２の機器は、それぞれ上記規格に基づく共有メモリエリアを有し、上記第２の機器は、自身のスクリーンのタッチ情報を同共有メモリエリアに反映させ、上記第１の機器は、上記規格に基づいて反映される自身の共有メモリエリアを監視し、同共有メモリエリアにタッチ操作が反映されたときは自身のスクリーン上でのタッチ操作としてタッチ操作に対応する処理を行うようにしてもよい。
このように、第１の機器の表示映像をそのまま第２の機器で表示しつつ、第２の機器でタッチ操作をしたときには、そのタッチ情報を第２の機器の共有メモリエリアに反映する。共有メモリエリアであるため、その変更は第１の機器の共有メモリエリアにも反映され、第１の機器はタッチ操作があったことを判定でき、同操作を検知できる。第１の機器は自身のスクリーン上でのタッチ操作としてタッチ操作に対応する処理を行う。むろん、それに伴う映像表示の変化は第２の機器においても表示される。
従って、有線接続の規格に基づく共有メモリエリアを利用することで複雑な変更などを伴うことなく、第２の機器の側での操作を第１の機器の側での操作として反映させることができる。

本発明によれば、映像表示装置の側で、ユーザーによる操作を実行すると、その操作内容は記憶部を介して外部機器側に伝えられ、同外部機器の操作を行うことができる。

本発明の一実施形態にかかる表示システムを概念図により示している。 共有メモリエリアの基本動作を示すフローチャートである。 モニター側の監視プログラムのフローチャートである。 携帯端末の側での監視プログラムのフローチャートである。

以下、図面にもとづいて本発明の実施形態を説明する。
図１は、本発明の一実施形態にかかる表示システムの第１実施例を概念図により示している。
同図において、映像表示装置であるデジタルテレビなどのモニター（第２の機器）１は、タッチパネル対応のディスプレイデバイスであり、ＭＨＬ規格による有線接続で外部機器に接続されて同外部機器からの映像を表示可能である。

携帯端末（外部機器：第１の機器）２はタッチスクリーンを有するスマートフォンなどのタブレットであり、スクリーンに映像を表示するとともに、同スクリーン上でのタッチ操作を受け付け、対応する処理を実行する。
このようにモニター１も携帯端末２もユーザーによる表示画面のタッチ操作を受付可能となっている。
また、ＭＨＬ規格による有線接続で外部機器と接続し、自身のスクリーンに表示中の映像をそのまま外部機器に表示させる機能を有している。ここで、そのまま表示するとは、拡大や縮小あるいは回転程度は許容する。むろん、縦横比が異なることも多いので、その場合は余白を加えることも許容する。また、通常は行わないものの、縦横比が異なるときに、縦横比をモニター１の側に合わせて変更することも許容する。なお、これらはＭＨＬ規格に基づいて行われるものや、モニター１側の操作で行われるものを含む。

しかし、携帯端末２の側でモニター１の表示のために別途生成するような映像表示は含まない。これはモニター１の側に表示された映像に対してするタッチ操作がそのまま携帯端末２のタッチ操作に反映させる意図であるため、敢えて異なる映像を生成してそれに対応するタッチ操作を同異なる映像に対する操作として受け付けるものではないからである。

モニター１と携帯端末２は、ケーブルによりＭＨＬ規格に対応して有線接続されている。ここでＭＨＬ規格においてはスクラッチパッドと呼ばれる共有メモリエリアに関する規定が含まれている。ＭＨＬ規格によるスクラッチパッドは、１６ｂｙｔｅから６４ｂｙｔｅのデータを機器の間で共有できる。

図２は、共有メモリエリアの基本動作を示すフローチャートである。モニター１においても携帯端末２においても、ＭＨＬ規格で接続されている以上は、共有メモリエリアの基本動作は同じである。なお、モニター１においても携帯端末２においても個別に自己の記憶部（携帯端末側記憶部、外部機器側記憶部）を有しており、その一部がこの共有メモリエリアとして利用されることになる。
ステップ２１では、共有メモリエリアの変化を監視しており、変化があると判断すると、ステップ２２では、ＭＨＬ規格で相手側接続機器の共有メモリエリアに書き込みを通知する。自分自身の共有メモリエリアに対しては他のプログラムなどからアクセスして書き込みが可能であり、このようにして書き込みされて内容が変化したら、相手側の機器に書き込みを通知する。そして、通知が受理された時点のステップ２３では、共有メモリエリアの内容を相手側機器に送信する。

次に、この通知の受け側としての処理であるが、ステップ２４では、ＭＨＬ規格での共有メモリエリアの書き込みの通知の有無を監視しており、書き込みの通知があれば、続く、ステップ２５では、送信されてくる共有メモリエリアの内容を受信して、自分自身の共有メモリエリアに反映させる。
以上の処理を繰り返し行っている。ＭＨＬ規格では、この共有メモリエリアの変更と反映は優先的に処理される。従って、他の処理をしている場合であっても、共有メモリエリアに変更があれば、すぐさま（例えば１０ｍｓｅｃ以内））に相手側に通知し、相手側にも反映される。

本実施例では、この共有メモリエリアをビット列に展開し、各ビットをモニター１のスクリーン上の対応位置に割り当てている。図１では前半の８バイトを左上から左下にかけて表示し、後半の８バイトを右上から右下にかけて表示している。便宜上、左上の一バイトを第１バイトと呼び、以下、第１６バイトまで続く。これらの１６バイトは、同表示に示すように、縦８行、横１６列のビット配列（ビット列）と表せる。そして、モニター１のスクリーンを縦８行、横１６列に区分けし、各領域を各ビットに仮想的に対応させる。例えば、モニター１のスクリーン上で上から３行目、左から４列目の区画は、第３バイトの第４ビットが対応するという具合である。
言い換えると、上記記憶部のメモリ配置を、表示画面の位置座標に割り当てており、ユーザーのタッチ操作の位置座標に相当する同記憶部のメモリ領域に所定の情報を記憶させることになる。

モニター１は、上述したようにタッチ操作が可能であり、本来はその分解能に応じた座標でタッチ操作の位置を検出できる。しかし、モニター１では、図３に示すような処理を行っている。
図３は、モニター側の監視プログラムのフローチャートである。
モニター１は、ステップ３１にて、タッチパネル操作を監視しており、タッチ操作があると判定すると、ステップ３２にて、タッチ座標をタッチ情報として共有メモリエリアのビット列に変換する。

より詳細な例で説明すると、本来の分解能が縦（Ｙ座標）９００ドット、横（Ｘ座標）１６００ドットであったとして、タッチ操作の位置の座標がＹ座標で３００、Ｘ座標で５００だったとする。しかし、上述したように縦方向で８分割、横方向で１６分割した区画を想定しているため、

区画としての行数ＹＰと、列数ＸＰは、
ＹＰ＝３００／９００＊８ ただし、ＹＰは整数で切り上げとする
ＸＰ＝５００／１６００＊１６ ただし、ＸＰは整数で切り上げとする
となる。従って、ＹＰ＝３、ＸＰ＝５となり、第３バイトの第５ビットがタッチ位置に相当するビットとなる。
モニター１は、共有メモリエリアにおける第３バイトの第５ビットを「０」から「１」に変換（反転）して書き込む。ここでタッチ操作に相当するタッチ情報が共有メモリに書き込まれたことになる。上述したように、共有メモリエリアの内容に変化が生じると、モニター１は図２に示す処理を経て携帯端末２に内容変更を書き込み、携帯端末２の側ではその変化が自分自身の共有メモリエリアに反映される。

なお、共有メモリエリアが６４バイトであるときには、より詳細な座標として通知することができる。例えば、縦に１６バイト、横に４バイトを配列させるとすると、６４バイトとなり、この場合のビット列は１６ビット×３２ビットの配列となるから、モニター１のスクリーン上を１６×３２の区画に分けてタッチ位置を座標変換することができる。むろん、６４バイトをすべて使い切る必要はなく、モニター１のスクリーンの縦横比が１６：９であることに鑑みて縦９×横１６の区画に分け、縦９バイト×横２バイトの１８バイトだけを使用することも可能である。この場合は、スクリーン上の各区画が正方形になる。

一方、携帯端末の側での監視プログラムのフローチャートを図４に示している。
同図に示すように、携帯端末２は、ステップ４１にて、共有メモリエリアの監視を行っている。そして、ステップ４２にて、共有メモリエリアの内容に変化ありと判断すると、ステップ４３にて、変化（反転）しているビットを座標に変換する。
この場合、携帯端末２では縦長の表示をし、モニター１でどのように表示されているかを考慮する必要がある。通常、モニター１の側では携帯端末２の表示を欠けることなく表示するため、モニター１が横長のスクリーンであるとすると、携帯端末２の表示の縦方向をモニター１のスクリーンの縦方向に合わせ、幅方向については左右に均等に黒の余白を付けて（ブラックアウト表示）中央部分に表示する。この中央部分に表示されているのが本来の表示エリアに相当する。このため、反転位置に基づいてモニター１のスクリーン上で携帯端末２の画面を表示しているエリアに相当する座標でタッチ操作がされている場合もあれば、同エリアの外でタッチ操作されている場合もある。

携帯端末２は、モニター１のスクリーンの縦横比と、自分自身のスクリーンの縦横比とを考慮し、モニター１のスクリーンでのタッチ操作位置が自分自身のスクリーンでの位置に置き換える。そして、置き換えた上で同位置でタッチ操作されたものと見なして、本来の同操作に対応する処理を実行する。
言い換えると、外部機器は、表示装置と共有する記憶部の情報を監視しており、上述したような位置座標の変化を、外部機器のタッチされた位置と見なして、当該外部機器の所定の操作を実行することになる。
以上の操作をすると、ユーザーの側では、携帯端末２のスクリーンの表示をモニター１の大画面で視認しつつ、モニター１で同表示をタッチ操作すれば、共有メモリのことなどを意識しなくても、自動的に座標変換されつつ携帯端末２に通知され、携帯端末２が対応する処理を実行し、その結果がモニター１のスクリーンに表示される。このため、あたかもモニター１の大画面では携帯端末２のスクリーンを操作したのと同様の表示がなされていくことになる。
このようにして、大画面モニターをタッチして操作することにより、小規模プレゼンなど効果的に行うことができる

なお、本発明は上記実施例に限られるものでないことは言うまでもない。当業者であれば言うまでもないことであるが、
・上記実施例の中で開示した相互に置換可能な部材および構成等を適宜その組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術であって上記実施例の中で開示した部材および構成等と相互に置換可能な部材および構成等を適宜置換し、またその組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術等に基づいて当業者が上記実施例の中で開示した部材および構成等の代用として想定し得る部材および構成等と適宜置換し、またその組み合わせを変更して適用すること
は本発明の一実施例として開示されるものである。

１…モニター（第２の機器）、２…携帯端末（第１の機器）。

Claims (11)

1. 所定の規格により外部機器と接続される映像表示装置であって、
   上記外部機器との制御情報を共有する記憶部を有し、
   ユーザーによる操作内容を上記記憶部に出力することを特徴とする映像表示装置。
2. 上記外部機器からの映像出力を上記規格に基づいて受信し、その映像を表示することを特徴とする請求項に１記載の映像表示装置。
3. ユーザーによる表示画面のタッチ操作を受付可能であることを特徴とする請求項１または請求項２に記載の映像表示装置。
4. 上記外部機器は、タッチ操作を受付可能であることを特徴とする請求項１〜請求項３のいずれかに記載の映像表示装置。
5. 上記記憶部のメモリ配置を、表示画面の位置座標に割り当てており、ユーザーのタッチ操作の位置座標に相当する同記憶部のメモリ領域に所定の情報を記憶させることを特徴とする請求項３または請求項４に記載の映像表示装置。
6. 上記外部機器は、当該映像表示装置と共有する記憶部の情報を監視しており、上記位置座標の変化を、上記外部機器のタッチされた位置と見なして、当該外部機器の所定の操作を実行することを特徴とする請求項５に記載の映像表示装置。
7. 上記規格は、有線接続によるＭＨＬ規格であることを特徴とする請求項１〜請求項６のいずれかに記載の映像表示装置。
8. 上記外部機器はスマートフォンであることを特徴とする請求項１〜請求項７のいずれかに記載の映像表示装置。
9. ＭＨＬ規格に基づく有線接続で外部機器と接続され、同外部機器からの映像出力を上記規格に基づいて受信し、その映像を表示する映像表示装置であって、
   当該映像表示装置は、
   ユーザーによる表示画面のタッチ操作を受付可能であり、
   上記外部機器との制御情報を上記ＭＨＬ規格における共有メモリエリアで共有する記憶部を有し、
   ユーザーによる操作内容を上記記憶部に出力するデジタルテレビであり、
   上記記憶部のメモリ配置を、表示画面の位置座標に割り当てており、ユーザーのタッチ操作の位置座標に相当する同記憶部のメモリ領域に所定の情報を記憶させ、
   上記外部機器は、
   タッチ操作を受付可能なスマートフォンであり、
   上記映像表示装置と共有する上記記憶部の情報を監視しており、上記位置座標の変化を、上記外部機器のタッチされた位置と見なして、当該外部機器の所定の操作を実行するものであることを特徴とする請求項１に記載の映像表示装置。
10. 所定の規格により互いに接続される映像表示装置と外部機器とからなる表示システムであって、
    上記映像表示装置は、
    上記外部機器との制御情報を共有する記憶部を有し、
    ユーザーによる操作内容を上記記憶部に出力し、
    上記外部機器は、
    上記映像表示装置との制御情報を共有する外部機器側記憶部を有し、
    同共有する外部機器側記憶部の情報を監視し、情報が変化した場合に、上記外部機器の操作を行うことを特徴とする表示システム。
11. 所定の規格により外部の映像表示装置と接続可能な携帯端末であって、
    上記映像表示装置との制御情報を共有する携帯端末側記憶部を有し、
    同共有する携帯端末側記憶部の情報を監視し、情報が変化した場合に、同位置情報に基づく操作があったものとして処理を行うことを特徴とする携帯端末。

Images