JP2007251778A - 映像入出力装置 - Google Patents

Abstract

【課題】 テレビ電話、テレビ会議システム等で使用される映像入出力装置において常に対話者同士の目が完全に一致する映像を相手装置に表示可能にする。
【解決手段】撮像表示装置２０は液晶表示装置２１及びその背面に設置されるイメージセンサ２４、ＬＥＤ２３を備える。液晶表示装置２１は１／３０秒程度の周期で画像表示とピンホールとなるＬＣＤ透過部２２の形成とを切り替え、このＬＣＤ透過部２２を通してイメージセンサ２４により通話者の映像を撮像する。ＬＣＤ透過部２２は、相手通話者の目の位置に応じてＬＣＤ透過部２２を移動する。
【選択図】 図１

Description

本発明は、テレビ電話、テレビ会議システム等で使用可能な映像入出力装置に関する。

通話相手を自分の電話機の表示画面に表示して通話を行ういわゆるテレビ電話機は、相手と通話する通話装置と共に相手を映し出すＬＣＤ等の表示装置、及び通話者を撮像する撮像装置を備えている。
現在用いられているテレビ電話機では、撮像装置は表示装置の上部に設けてあることが多く、相手が映し出されている表示装置を見ながら話をする通話者を多少上から撮像し、その撮像画像を相手側に送信するため、お互いに表示画面に映し出された顔は多少下向きとなり、表示画像を見つめながら話をすると互いに目が合わず、不自然な画像になる。
そこで、表示画面内に撮像手段を設け、表示画像を見ている通話者の顔を表面から撮像して、目が下向きとなる従来のものを改良した映像入出力装置が開発されている（特許文献１参照）。

図７は、特許文献１に記載された映像入出力装置の映像入出力部の断面図である。
映像入出力装置１００は、液晶パネル１１０と撮像パネル１２０からなっている。液晶パネル１１０は、透光性の第１基板１１１及び第２基板１１２を備え、第１基板１１１の第２基板１１２側との対向面には、多数のＴＦＴトランジスタがマトリクス状に配置された画素駆動素子アレイ１１３が形成され、また第２基板１１２の第１基板１１１側との対向面には、対向電極１１４が形成されている。また、これら第１基板１１１と第２基板１１２の間には、液晶層１１５が挟持されており、個々の画素駆動素子と対向電極との間で液晶層に画素が形成される。また撮像パネル１２０は、透光性の第３基板１２１を備えており、その液晶パネル１１０と反対側の面上に受光素子からなる撮像素子アレイ１２２が形成されている。更に撮像素子アレイ１２２の前面に導光部材１２３が設けられ、導光部材１２３の前面には、撮像素子アレイ１２２に結像する光の入射角を規制するための光入射角制限部材１２４が形成され、このような液晶パネル１１０と撮像パネル１２０は、接着層１３０による貼着によって一体化されている。そして更に液晶パネル１１０の画素駆動素子アレイ１１３と撮像パネル１２０の撮像素子アレイ１２２は、それぞれ接続配線１４０により制御回路１５０に接続されて撮像と表示が制御される。このように本画像入出力装置１００は、撮像方向と表示方向が逆向きの構成を備えるようにしたものであり、これをテレビ電話等の映像表示装置に使用する場合、通話者が自分の電話機の表示画面上に表示される通話相手の顔を見ながら通話を行うと、両者の視線が正面を向くことになるので自然な姿で通話を行うことができる（特許文献１参照）。

前記撮像方向と表示方向が逆向きの構成を備える本映像入出力装置１００によって撮像された通話者の映像を相互に送受信してテレビ電話に使用すれば、視線の方向は、それ以前のテレビ電話機で生じていた斜め下向きになるようなことはなくなり、相互に同一方向に向かうと考えられる。
しかしながら、特許文献１に記載された画像入出力装置は、基本的には複眼でイメージを捉え撮像する方式であり、しかも、撮像素子アレイ上に結像する光の入射角を規制して導光板に対して角度を持って入射した光は撮像素子アレイに到達しないように制限しているから、撮像イメージは表示・撮像画面に垂直な無限遠からの撮像イメージになる。そのため、画面と同じ大きさの正面の範囲しか撮像できず、例えば画面から離れても上半身全体を撮像することはできない。また、視線は概略的には合うが、完全に一致した画像が得られる訳ではなく、あくまで焦光点から撮像しているだけでハーフミラー方式と同等である。したがって、実際の目を合わせて会話を行う臨場感には程遠いものであり、満足のできるものではなかった。
特開平８−１０２９２４号公報

本発明は、このような実状に鑑みてなされたものであり、その目的は、テレビ電話、テレビ会議システム等で使用される映像入出力示装置において、常に対話者同士の視線が一致する映像を相手対話者の装置に表示できるようにすることである。

請求項１の発明は、映像を送受信する手段と、受信した映像を表示する手段と、該表示手段の表示面に形成される透光領域を通して撮像する手段とを備えた映像入出力装置であって、表示画面上の人物像の目の位置を検知する手段と、検知した目の位置に基づき表示画面の当該目の位置に前記透光領域を形成する手段と、表示画面における受信した映像の表示手段と前記透光領域を形成する手段とを交互に切り換え作動させる手段とを備えたことを特徴とする。
請求項２の発明は、請求項１記載の映像入出力装置において、前記表示手段は液晶表示手段であって、前記透光領域形成手段は、検知した目の位置に対応する液晶表示用画素を透光性にかつ他の画素領域を不透光性にする制御を行うことを特徴とする。
請求項３の発明は、請求項２記載の映像入出力装置において、前記液晶表示装置は、バックライト手段、該バックライトを交互に点灯又は消灯する手段を有し、前記バックライトの消灯時に前記透光領域形成手段を作動させることを特徴とする。

本発明によれば、テレビ電話、テレビ会議システム等で使用される映像入出力装置において、常に対話者同士の視線が一致する映像を対話者の装置に表示することができる。

本発明の実施形態に係る映像入出力装置の概要を図面を参照して説明する。
図１は、本発明の実施形態に係る映像入出力装置の中央部断面の構造を概略的に示す図である。図において、映像入出力装置１は、本体装置１０と該装置１０に設置される撮像表示装置２０からなる。本体装置１０は、映像入出力装置の主要機能を制御する制御装置１１、通話者の音声を入力するマイクロフォン１２、相手通話者の音声を出力するスピーカ１３を内蔵し、本図では不図示のキーボードパネル等の入力装置を備えている。なお、マイクロフォン１２及びスピーカ１３は内蔵型でなく、外付けの携帯型送受話器であってもよい。

また撮像表示装置２０は、例えば、アクティブマトリクス駆動方式の液晶表示装置２１を備える。液晶表示装置２１の各画素は位置情報（アドレス）を有する。制御装置１１からアドレスを指定することにより、例えば薄膜トランジスタ（ＴＦＴ）からなる画像駆動部を制御し、指定されたアドレスの画素のみを透過とするＬＣＤ透過部２２を形成する。液晶表示装置２１の後方部にはその光源となる例えばＬＥＤ等のバックライト２３が備えられている。更に液晶表示装置２１の後方部のほぼ中央部付近に、撮像装置である例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ２４が備えられ、指定されたアドレスのＬＣＤ透過部２２をピンホールとするカメラ方式により、撮像表示装置２０の前面に位置する被写体を撮像することができる。

図２は、液晶表示装置２１の断面構成図であり、図中、液晶表示装置２１は、ガラスやプラスチック等からなる透光性の第１基板２１１と第２基板２１２を備えている。第１基板２１１の内側部分にはＲＧＢのカラーフィルタ２１３を備え、更にその内側部分に共通の透明電極２１４を備えている。第２基板２１２の内側部分には画素毎の透明電極２１５、その内側部分には配光膜２１６をそれぞれ備え、これらの構成部品を備える第１基板２１１及び第２基板２１２間に液晶層２１７を挟持するようにして液晶表示装置２１が構成されている。共通電極２１４及び画素電極２１５及び不図示の画素毎に付設されているＴＦＴ並びにバックライトの光源であるＬＥＤ２３は、制御装置１１に接続されている。

映像入出力装置１は、通話相手側の音声および映像情報を受信すると、音声情報はスピーカ１３から音声出力し、映像情報は液晶表示装置２１に表示するよう制御するが、この通話中において、制御装置１１は、所定の周期でバックライト２３をオン・オフし、バックライト２３をオフした時に、ＬＣＤを光不透過にすると共に、液晶基板の裏側のＬＥＤバックライトの一部に組み込んだＣＭＯＳ等のイメージセンサに対応するＬＣＤ部分は光透過状態にし、この光透過部分を通して入射した光を撮像、即ちイメージセンサで検出して電気信号に変換してメモリに記録する。また、バックライトをオンしたときは、画像情報に応じてＬＣＤの光透過制御を行い画像を表示する。
ここで、バックライトのオン・オフの繰返し周期は、例えば１／３０秒に設定することにより、当該通話者にはこのオン・オフを全く意識させることなく表示と撮像を並行して行うことができる。

本撮像表示装置２０は、液晶表示装置２１の画面上における相手側通話者の目の位置を検出し、その位置に合わせてＬＣＤ透過部２２を動的に変化させて、そのＬＣＤ透過部２２を通して当該通話者を撮像する。これにより通話者が相手側画像の目をみて話しかけると、ＬＣＤ透過部２２は相手側画像の目の位置で撮像されるから、表示された相手画像の目をみて話しかければ、相手側表示画面には相手側と視線の合った画像を表示することができる。なお、このためには、イメージセンサはＬＣＤ表示部の大きさに合わせ、一致しないまでも大きなものであることが望ましい。それにより通話者の画面上の目の位置が移動しても撮像が可能である。このように、画面に表示された人の目の位置を検出してその位置で撮像し、互いに映像を交換することにより、互いに向かい合って話をしているときと変わらない視線の合った画像を相手側に送信することができる。

図３は、映像入出力装置のハードウエア構成を示すブロック図である。図中、図１と同じ参照番号が付してある構成部品は図１と同じ動作をするので説明を省略する。

図３において、制御装置１１はＤＳＰ（Digital Signal Processor）、制御装置１１の起動プログラムを記録するＲＯＭ、通話者の目の位置の情報等を一時的に記録するＲＡＭ、及び、音声及び映像情報の送受信手段等からなる。ＣＯＤＥＣ（COmpression／DECompression）１４は、音声情報及び映像情報の圧縮及び伸張を行う圧縮伸張部、キーボード１５は本体装置１０の前面に構成される入力装置であり、ＰＨＹ（PHYSICAL LAYER：物理層）１６は、ＬＡＮ、ブロードバンド回線等の通信回線を通して音声並びに映像信号を送受信するため、相手通話者の映像入出力装置とのインターフェースであり、Ｄ／Ａ変換を行う。メモリ１７は必要に応じて受信した音声情報や映像情報等を記録する例えばハードディスク型の外部記録装置である。

図４は、相手通話者の表示時と当該通話者の撮像時の画面変化の関係を説明する図であり、図４（Ａ）は相手通話者を表示する時の画面を、図４（Ｂ）は相手通話者の表示時における相手通話者の目の位置ａの画面を、図４（Ｃ）は当該通話者を撮像する時の前記目の位置ａに対応するピンホール２２を示す画面を示す。

図３及び図４において、当該通話者がキーボード１５から電話番号を入力して相手通話者を発呼し、相手側が電話に出ると、相手通話者から音声並びに映像が返送される。制御装置１１はＬＥＤ２３及び液晶表示装置２１の画素駆動部（ＴＦＴ）を制御し、相手通話者を液晶表示装置２１にカラー表示させる（図４（Ａ））。当該通話者はこの画面上に表示された相手通話者の目ａを見ながらマイク１２とスピーカ１３により会話を交わす（図４（Ｂ））。この表示が行われている時、それ自身公知又は周知の手段（例えば、特開平１１−２５０２６７号公報参照）により表示画像の目の（左右どちらでもよい）の位置（又は領域）ａを検知し、制御装置１１は検知された位置を、表示画素の位置情報（アドレス）として取得しＲＡＭに記憶する。次に、制御装置１１は、バックライトＬＥＤ２３をオフすると共に液晶表示装置２１の画素駆動部を制御し、ＲＡＭに記憶した位置情報に基いて画素駆動部を制御しこのアドレスの画素のみを光透過部２２に形成する。そしてＣＣＤ又はＣＭＯＳセンサ２４により、前記透過部２２を通して外光を取り込み当該通話者の撮像を行う（図４（Ｃ））。この表示と撮像を交互に周期的に切替える。
撮像された当該通話者の映像は、インターフェース１６を通して相手の映像入出力装置に送信され液晶表示装置の画面に表示される。

図５は、表示期間と撮像期間の関係を示す図である。図において、ＬＥＤ２３がオンの時、表示期間となり、液晶表示装置２１に相手映像が表示される。この間イメージセンサ２４は待機し、ＬＥＤバックライト２３がオフの時、イメージセンサ２４は撮像を行う。表示と撮像の期間は前記したように例えば１／３０秒周期で繰り返す。

以上説明したように、本実施形態によれば、撮像位置は表示された相手の目の位置であるから、当該通話者と相手通話者間で完全に視線が一致した映像を互いに表示できる。従って、テレビ電話で会話を交わすとき、実際に顔を合わせて会話する臨場感を現出することができる。

本発明の実施形態に係る映像入出力装置は、１対１のテレビ電話機として使用するだけでなく、例えば企業の本社と支社など複数の拠点間で会議を行うときのテレビ会議用映像入出力装置としても利用することができる。以下に、その利用形態について説明する。
ここでは、説明を簡単にするため、自分（参加者Ａ）と他者２人（参加者Ｂ及び参加者Ｃ）の３人で会議を行う場合について説明する。

図６は、３つの拠点間でテレビ会議を行うときの出席者の表示と撮像の関係を示す図である。図６（Ａ）は、液晶表示装置２１の表示期間における表示画面であり、左側に参加者Ｂ、右側に参加者Ｃを表示する２画面構成となっている。図６（Ｂ）は、参加者Ａの参加者Ｂに送信するための画像の撮像位置ｂを示し、図６（Ｃ）は、参加者Ａの参加者Ｃに送信するための画像の撮像位置ｃを示してる。

いま、図６（Ａ）の画面が表示されている時、参加者Ａが参加者Ｂを見ながら意見交換をすると、図６（Ｂ）の画面において参加者Ａは参加者Ｂの画像の目の位置に相当する画素部分が透光部２２となり、この透光部２２を通して撮像される。従って、撮像された参加者Ａの映像は、参加者Ａの目と参加者Ｂの目が完全に一致する映像として、制御装置１１の制御により参加者Ｂの映像入出力装置に送信され表示される。その場合、参加者Ｃに送信される画像は、参加者Ｃの画像の目の部分で撮像されるから、この撮像画像における参加者Ａの視線は参加者Ｃとは一致せず、従って、参加者Ｃは、参加者Ａが自分に向かって発言しているのではないと容易に理解できる。なお、参加者Ａが参加者Ｃを見ながら意見交換をすると、参加者Ａの映像は、同様に、参加者Ａの目と参加者Ｃの目が完全に一致する映像として参加者Ｃの映像入出力装置に送信され表示される。
このように多数の人がテレビ会議を行うとき、発言者がお互いに誰に向かって発言しているかを明確に認識することができる。

本発明の実施形態に係る映像入出力装置の中央部断面の構造を概略的に示す図である。 液晶表示装置の一画素部分の断面構成図である。 本発明の実施形態に係る映像入出力装置のハードウエア構成を示すブロック図である。 相手通話者の表示時と当該通話者の撮像時の画面変化の関係を説明する図である。 表示期間と撮像期間の関係を示す図である。 複数の拠点間でテレビ会議を行うときの出席者の表示と撮像の関係を示す図である。 従来の映像入出力装置の映像入出力部の断面図である。

符号の説明

１・・映像入出力装置、１０・・本体装置、１１・・制御装置、１２・・マイクロフォン、１３・・スピーカ、１４・・圧縮伸張器、１５・・キーボード、１６・・ネットワークインターフェース、１７・・メモリ、２０・・撮像表示装置、２１・・液晶表示装置、２２・・ＬＣＤ透過部、２３・・ＬＥＤバックライト、２４・・ＣＭＯＳセンサ。

Claims (3)

1. 映像を送受信する手段と、受信した映像を表示する手段と、該表示手段の表示面に形成される透光領域を通して撮像する手段とを備えた映像入出力装置であって、
   表示画面上の人物像の目の位置を検知する手段と、
   検知した目の位置に基づき表示画面の当該目の位置に前記透光領域を形成する手段と、
   表示画面における受信した映像の表示手段と前記透光領域を形成する手段とを交互に切り換え作動させる手段と、
   を備えたことを特徴とする映像入出力装置。
2. 請求項１記載の映像入出力装置において、
   前記表示手段は液晶表示手段であって、前記透光領域形成手段は、検知した目の位置に対応する液晶表示用画素を透光性にかつ他の画素領域を不透光性にする制御を行うことを特徴とする映像入出力装置。
3. 請求項２記載の映像入出力装置において、
   前記液晶表示装置は、バックライト手段及び該バックライトを交互に点灯又は消灯する手段を有し、前記バックライトの消灯時に前記透光領域形成手段を作動させることを特徴とする映像入出力装置。

Images