以下、光無線通信装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
図1は、本実施の形態における光無線通信システムの概略図である。
光無線通信システム1は、光無線通信装置10、および光無線通信光源装置20を備えている。なお、この概念図においては、光無線通信装置10が携帯型の装置であり、光無線通信光源装置20が据え付け型の装置である場合を例に挙げて示しているが、本発明においてはこれらがどのような形態の装置であっても良い。また、ここでは、光無線通信装置10、および光無線通信光源装置20が、それぞれ一つずつである場合を例に挙げて説明しているが、これらをそれぞれ二以上備えていても良い。
光無線通信とは、送信するデータを変調した信号に応じて光源が発する光の強度を変化させることによって、データを送信する装置である。言い換えれば、光の強度の変動により情報を送信する技術である。光の強度の変動は、光の点滅を含む概念である。ただし、ここでの光の点滅は光強度の強弱の変化と考えても良い。光無線通信に用いられる光は、可視光であっても可視光でなくても良い。光無線通信は可視光を利用して通信を行う可視光通信を含む概念である。
本実施の形態においては、特に、光無線通信システムが、可視光通信を行う可視光通信システムであり、光無線通信装置10が、可視光通信を行う可視光通信装置、光無線通信光源装置20が、可視光通信を行う可視光通信光源装置である場合を例に挙げて説明する。ただし、本発明は、可視光通信以外の光無線通信を行うものについても適用可能なものである。可視光通信を行う光源を、ここでは、可視光通信光源と呼ぶ。本実施の形態においては、可視光通信光源は、LED(Light Emitting Diode)光源であることが好ましい。また、可視光通信光源以外の光源を可視光通信光源であると誤って検出してしまう誤検出を防ぐためには、可視光通信光源以外の他の光源もちらつきの少ない光源、例えば蛍光灯以外の、LED光源や白熱灯等であることが好ましい。可視光通信光源を介して情報を送信するための構成等、可視光通信の技術については公知技術であるので詳細な説明は省略する。
図2は、光無線通信装置10の構成を示すブロック図である。
光無線通信装置10は、撮影部101、照射先位置情報取得部12、情報取得部103、出力部104、送信情報受付部105、レーザ出力部106、可動ミラー部108、第一レンズ111、およびビームスプリッタ112を備えている。
撮影部101は、撮像素子1011および画像処理手段1012を備えている。
照射先位置情報取得部12は、光源位置検出部102および照射先取得部107を備えている。
光源位置検出部102は、光源検出手段1021および光源選択手段1022を備えている。
情報取得部103は、入射位置情報取得手段1031、選択透過手段1032、受光手段1033、情報取得手段1034、および第二レンズ113を備えている。
選択透過手段1032は、液晶パネル10321および遮光制御手段10322を備えている。
レーザ出力部106は、レーザ光源1061およびレーザ出力制御手段1062を備えている。
可動ミラー部108は、可動ミラー1081およびミラー制御手段1082を備えている。
第一レンズ111は、可視光通信に用いられる光源を含む1以上の光源から発光される光を集光して光無線通信装置10内に入射させるための集光手段である。可視光通信に用いられる光源とは、例えば、光無線通信装置10の通信相手となる装置が、可視光通信により情報を送信する際に用いる光源である。光無線通信装置10の通信相手となる装置は、この実施の形態においては、光無線通信光源装置20である。第一レンズ111により集光された光は、撮影部101に入射される。第一レンズ111の代わりに、凹面鏡等の他の集光手段等を備えていても良い。
ビームスプリッタ112は、第一レンズ111を経て入射される光を透過させて撮影部101に入射させ、さらに、入射される光を反射させて後述する情報取得部103に入射させる。具体的には、ビームスプリッタ112は、透過させた光を撮像素子1011に入射させる。また、ビームスプリッタ112は、反射させた光を、後述する情報取得部103の選択透過手段1032、より具体的には液晶パネル10321上に入力させる。ここではハーフミラーもビームスプリッタ112の一つと考える。なお、本実施の形態においては、第一レンズ111を経て入射される光を、撮影部101と、情報取得部103との両方に、同時、または切り替えて入射させることが可能な構造を備えていれば、ビームスプリッタ112以外の構成を備えていても良い。例えば、いわゆる一眼レフカメラ等に利用されている跳ね上げ式のミラーをビームスプリッタ112の代わりに設けて、このミラーの跳ね上げのタイミングを制御することで、第一レンズ111を経て入射される光を、撮影部101と、情報取得部103との両方に、切り替えて入射させるようにしても良い。また、撮影部101と情報取得部103と第一レンズ111との位置関係を相対的に移動させて、第一レンズ111の光軸上に、撮影部101と情報取得部103とを切り替えて配置できるようにしても良い。
撮影部101は、光無線通信に用いられる光の照射先を示す被写体を撮影して画像を取得する。光の照射先とは、例えば、光無線通信に用いられる受光素子等である。但し、受光素子自体は、被写体を撮影した画像内で、画像処理等により検出できなくてもよく、照射先を示す被写体だけが検出できればよい。光の照射先を示す被写体とは、例えば、光の照射先の位置や領域等を示す物体や標識や印等である。光の照射先を示す被写体とは、受光素子等の光の照射先自身であっても良い。この実施の形態においては、特に、光無線通信装置10に対して情報を送信する可視光通信光源に対して予め指定された位置関係を有する位置に、光の照射先(具体的には受光部)が配置されており、撮影部101が、可視光通信を行う光源である可視光通信光源を含む1以上の光源を撮影して画像を取得する場合について説明する。つまり、可視光通信光源が、光の照射先を示す被写体である場合について説明する。ここで述べる可視光通信光源は、この実施の形態においては、具体的には、光無線通信光源装置20が有する可視光通信光源である。また、光の照射先とは、具体的には、光無線通信光源装置20が有する受光部201である。撮影部101が撮影して取得した画像を、ここでは、撮影画像と呼ぶ。撮影部101は、第一レンズ111を介して、可視光通信光源を含む1以上の光源を撮影して、1以上の光源を撮影した画像の情報を取得する。なお、可視光通信光源以外の光源とは、光を利用して情報が送信されない通常の照明等の光源である。撮影画像は、後述する光源位置検出部102において可視光通信を行う光源の位置検出が可能な画像であれば、カラー画像であっても良いし、2以上の階調の画像、例えばグレースケール画像や、画像の輝度だけを表す画像等であってもよい。撮影部101は、静止画像を撮影しても良いし、複数のフレームにより構成される動画像である撮影画像を撮影しても良い。この実施の形態においては、特に、撮影部101が撮像素子1011および画像処理手段1012を備えている場合を例に挙げて撮影部101の構成を説明する。撮影部101は、通常、撮像素子やGPU(Graphics Processing Unit)やMPUやメモリ等から実現され得る。撮影部101の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
撮像素子1011は、入射された光に応じた電気信号を出力する。撮像素子1011は、複数の受光素子(図示せず)を配列して構成した素子である。撮像素子1011は、具体的には、いわゆるイメージセンサである。撮像素子1011は、例えば、CCDまたはCMOS等である。撮像素子1011は、入射された光を光の強度に応じた電気信号に変換して、入射された光の強度の変化に応じて波形が変化する電気信号を出力する。具体的には、撮像素子1011を構成する各受光素子は、それぞれに入射された光の強度に応じた電気信号を出力し、この結果、撮像素子1011は、当該撮像素子1011の受光面上の入射された光の強度の分布に応じた電気信号を出力する。通常、撮像素子1011は、所望の領域の受光素子が、受光した光に応じて得られる電気信号だけを取り出すことが可能である。本実施の形態においては、被写体から発光される光や被写体で反射される光が第一レンズ111等により集光され、撮像素子1011に入射される。撮像素子1011の入射面には、通常、RGB等のカラーフィルタが設けられており、カラーフィルタにより、各受光素子に入射される光の色を選択するようにすることで、最終的にカラー画像が構成可能となっている。ただし、カラーフィルタは、撮像素子1011の構造や光源検出の際の必要に応じて省略しても良い。また、カラーフィルタを特定の波長の光だけを透過させるフィルタに変更しても良い。
画像処理手段1012は、撮像素子1011が出力する電気信号を受け付けて、被写体の画像を構成する。被写体の画像とは、具体的には、可視光通信を行う光源である可視光通信光源を含む1以上の光源を撮影した画像である。画像処理手段1012は、具体的には、撮像素子1011が出力する電気信号を復調し、デジタル信号等に変換して撮影画像の情報を構成する。画像処理手段1012が撮影画像の情報を構成する処理は、公知技術であるので、詳細な説明は省略する。画像処理手段1012が構成する画像は、例えば一以上の静止画像や、複数フレームの画像を備えた動画像である。画像処理手段1012の構成する画像のファイル形式等は問わない。画像処理手段1012は、構成した画像の情報を、例えば、図示しないメモリ等の記憶媒体等に一時記憶する。画像処理手段1012は、例えばDSP(Digital Signal Processor)やGPUやメモリ等から実現され得る。画像処理手段1012の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
照射先位置情報取得部12は、撮影部101が取得した画像である撮影画像内における光の照射先を示す被写体の位置を検出する。光の照射先を示す被写体をここでは、指示被写体と称する。そして、検出した指示被写体の位置の情報を用いて、当該指示被写体が示す光の照射先の位置の情報である照射先位置情報を取得する。指示被写体の位置とは、撮影画像内の指示被写体の画像が存在する領域内の全てあるいは一部の画素の位置や、撮影画像内の指示被写体の画像が存在する領域の中心点の位置や、領域の輪郭の位置や、各コーナー等の領域を代表する位置等である。指示被写体の位置の情報とは、例えば、検出した指示被写体の位置を示す撮影画像内の座標の情報である。この座標情報の単位等は、例えば、画素単位や、撮影画像の縦や横の長さに対する相対的な値等である。照射先位置情報は、結果的に、照射先を指定可能な情報であればよい。レーザ光の照射先位置情報とは、レーザ光の照射先の位置を結果的に指定あるいは特定可能な情報であれば、どのような情報であっても良い。照射先位置情報は、例えば、レーザ光の照射方向を示す情報である。具体例を挙げると、照射方向を示す情報は、光無線通信装置10のレーザ光の出射される位置と照射先とを結んだ直線が光無線通信装置10のレーザ光の出射面に垂直な軸に対してなす角度や、光無線通信装置10のレーザ光の出射される位置を基準とした照射方向を表すベクトル等の情報である。また、照射先位置情報は、照射先にレーザ光を照射するための、後述する可動ミラー1081の傾斜角度等であっても良い。レーザ光の照射先の位置が結果的に特定されるからである。なお、照射先取得部107は、照射先の領域のサイズや形状等の情報を含む照射先位置情報を取得しても良い。光の照射先は、上述したように受光素子等であり、この具体例においては、光無線通信光源装置20が有する受光素子や受光部等である。
具体的には、照射先位置情報取得部12は、まず、撮影部101が取得した画像である撮影画像内における指示被写体の位置を検出する。この指示被写体の位置の検出方法は問わない。例えば、予め指示被写体の外観、例えば、形状や色等が決まっている場合、指示被写体の形状や色等について、予め図示しない格納部等に格納されている指示被写体の外観を指定する情報を用いて、撮影画像内でパターンマッチングを行うことで、撮影画像内における指示被写体の位置を検出しても良い。例えば、指示被写体が、赤色の小型の電球である場合、カラーの撮影画像内において、赤色の領域を検出することで、指示被写体の位置を検出することができる。
そして、検出した撮影画像内における指示被写体の位置の情報を用いて、指示被写体が示す照射先の位置の情報を取得する。
例えば、指示被写体がレーザ光の照射位置と一致する場合、第一レンズ111を経て撮影部101に対して入射された、指示被写体からの光の入射角度を算出する。この入射角度は、例えば、第一レンズ111の画角と、第一レンズ111と撮影部101の撮像素子1011との距離と、撮像素子1011と撮影画像との位置の対応関係から算出される。そして、算出した入射角度の情報を、照射先の位置の情報として取得しても良いし、必要に応じて、算出した入射角度の情報を、光無線通信装置10のレーザ光の出射位置にあわせて補正して得られた情報を、照射先位置情報として取得しても良い。
また、例えば、指示被写体に対して、予め指定された所定の位置関係にある位置が、レーザ光の照射先の位置である場合、撮影画像内において検出した指示被写体の位置の情報を用いて、予め指定されている指示被写体とレーザ光の照射位置との所定の位置関係から、撮影画像内におけるレーザ光の照射位置の情報を取得する。そして、この撮影画像内におけるレーザ光の照射位置から仮に光が出射された場合の入射角度を算出する。そして、算出した入射角度の情報を、照射先の位置の情報として取得しても良いし、必要に応じて、算出した入射角度の情報を、光無線通信装置10のレーザ光の出射位置にあわせて補正して得られた位置の情報を、照射先位置情報として取得しても良い。
あるいは、指示被写体からの光の入射角度を算出し、この入射角度を、予め指定されている指示被写体の位置とレーザ光の照射位置との所定の位置関係に応じて補正することで、照射先の位置の情報を取得しても良い。なお、指示被写体に対して所定の位置関係にある位置とは、例えば、指示被写体の周囲や、指示被写体の形状により特定される位置である。例えば矢印形状の指示被写体の矢印の先端の位置等である。
なお、照射先位置情報取得部12により取得される照射先位置情報は、レーザ光の照射先の一点の位置を示す情報であっても良いし、所定の広さを有する領域を示す情報であってもよい。例えば、照射先が領域として検出された場合において、この領域内の中心点や重心点等の一点についての位置の情報、例えば入射角度の情報を照射先位置情報としても良いし、この領域内の複数点についての位置の情報を照射先位置情報としても良い。
照射先位置情報取得部12は、通常、MPUやメモリ等から実現され得る。照射先位置情報取得部12の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
なお、ここでは、指示被写体が、光無線通信装置10に対して可視光通信で情報を送信する可視光通信光源であり、この可視光通信光源に対して予め指定された位置に、光無線通信装置10から出力される光を受光する受光素子が配置されている場合であって、照射先位置情報取得部12が、光源位置検出部102と照射先取得部107とを備えており、これらを用いて、照射先位置情報を取得する場合を例に挙げて説明する。
光源位置検出部102は、撮影部101が取得した画像である撮影画像内において可視光通信光源を検出する。そして検出した可視光通信光源の撮影画像内における位置の情報である画像内光源位置情報を取得する。ここで述べる可視光通信光源の撮影画像内における位置とは、撮影画像内の可視光通信光源の画像が存在する領域内の全てあるいは一部の画素の位置や、撮影画像内の可視光通信光源の画像が存在する領域の中心点の位置や、領域の輪郭の位置や、各コーナー等の領域を代表する位置等である。光源位置検出部102が取得する画像内光源位置情報とは、例えば、検出した可視光通信光源の位置を示す撮影画像内の座標の情報である。この座標情報の単位等は、例えば、画素単位や、撮影画像の縦や横の長さに対する相対的な値等である。また、撮影画像内の可視光通信光源の画素を得るために利用した電気信号の出力元となる撮像素子1011内の受光素子(図示せず)の位置を示す情報、例えば座標の情報であっても良い。
光源位置検出部102は、例えば、撮影画像内において可視光通信光源も含めた全ての光源の位置を検出する。そして、検出した各光源が、光の強度が変動する光源であるか否かを判断し、光の強度が変動する光源である場合、検出した光源を可視光通信光源と判断し、検出した光源の位置を示す情報を、可視光通信光源の画像内光源位置情報として取得する。なお、光源位置検出部102は、上記以外の他の方法により可視光通信光源を検出しても良い。例えば、可視光通信光源が他の光源とは異なる、予め指定された色の光を発光するようにしておき、撮影画像内において、この色に近い画素が存在する領域を検索し、検索された領域を示す位置を、可視光通信光源の領域の位置として検出するようにしても良い。予め指定された色の光とは、特定の波長の色が除外された光も含む概念である。また、可視光通信光源の表面やその近傍に、予め形状や色等が指定されている、可視光通信光源であることを示すマーカーを予め設けておき、パターンマッチング等によりこの指定された形状にマッチングする形状を検出する処理を撮影画像内において実行し、マッチする画像、もしくはその近傍の輝度が高い画素が存在する領域を、可視光通信光源として検出しても良い。このマーカーは例えば赤色LED等の検出しやすい色のマーカーであることが好ましい。あるいは、可視光通信光源の形状や配列等を予め指定しておくようにし、パターンマッチング等によりこの指定された形状や配列にマッチングする形状を撮影画像内において検出し、マッチする形状の領域を、可視光通信光源であると判断しても良い。なお、可視光通信光源が光の完全なon、offにより可視光通信を行うものである場合においては、可視光通信光源の位置の検出に用いる撮影画像として動画像を用いる場合、必ずしも撮影画像の全てのフレームに可視光通信光源の画像が含まれるとは限らないため、1フレームの画像に対して上記のような可視光通信光源の検出を行っても、必ずしも確実に可視光通信光源を検出できるとは限らない。したがって、複数のフレームについてそれぞれ上記のような色や形状による可視光通信光源の検出を行い、一回以上、可視光通信光源が検出された位置の情報全てを、可視光通信光源の位置情報である画像内光源位置情報として取得することが好ましい。即ち複数のフレーム画像のそれぞれから取得した可視光通信光源の位置情報の論理和を求めることが好ましい。あるいは、予め動画像の複数フレームの画像を合成した画像から画像内光源位置情報を取得しても良い。また、撮影画像として静止画像を用いる場合、可視光通信の光源のon、offの周期よりも十分に長い露光時間で撮影した静止画像を用いることが好ましい。なお、光源位置検出部102は、撮影画像内の可視光通信光源の画像の画像内光源位置情報を、継続的に繰り返し取得して、画像内光源位置情報を常に最新の情報に更新することが好ましい。このようにすることで、光無線通信装置10の位置が移動等により変更しても、常に正確な可視光通信光源の画像内光源位置情報を取得することが可能となる。光源位置検出部102は、通常、MPUやメモリ等から実現され得る。光源位置検出部102の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
本実施の形態においては、特に、光源位置検出部102が光源検出手段1021と光源選択手段1022とを有しており、これらを用いて撮影画像から、可視光通信光源の画像内光源位置情報を取得する場合について例に挙げて説明する。
なお、ここでは、一例として、外部の可視光通信光源から、可視光通信で送信する対象となる情報と、可視光通信光源の位置を検出するために用いられる信号であるマーカー信号とを重畳した情報が送信されているものとする。外部の可視光通信光源から送信される可視光通信で送信する対象となる情報をここでは、第一送信情報と呼ぶ。第一送信情報は、例えば、後述する光無線通信光源装置20の可視光通信光源205から可視光通信により送信される情報である。第一送信情報は、どのような情報であっても良く、画像データや、音声データや、テキストデータや、実行ファイル等、どのような情報であっても良い。マーカー信号とは、所定の周波数の信号であって、所定のパターンで値が変動する信号である。マーカー周波数は、通常は、所定の周期で所定のパターンが繰り返される二値のデータである。マーカー信号の周波数をここでは、マーカー周波数と呼ぶ。マーカー周波数は、撮像素子1011でも情報を取得することが可能な周波数であるとする。一方、可視光通信で送信される第一送信情報は、後述する受光手段1033が受光可能な周波数であれば撮像素子1011が受信可能な周波数よりも高い周波数の情報であっても良い。また、ここでは、例として、可視光通信光源から出力される光は、光の強度の変動により情報を送信するものであり、情報の送信の際には、通常は点灯した状態であるものとする。
光源検出手段1021は、撮影部101が取得した画像である撮影画像内において光源を検出する。ここで検出する光源は、可視光通信光源および可視光通信光源以外の光源も含めた光源である。例えば、光源検出手段1021は、撮像素子1011が撮影した撮影画像から、輝度の高い領域を検出する。撮影画像がカラー画像である場合、ここで述べる輝度は、特定の色や色成分についての輝度、例えば青色の輝度であってもよい。また、特定の範囲の色の領域を検出しても良い。このようにして検出した領域が、撮影画像内の可視光通信の光源も含めた全ての光源と判断した領域である。例えば、光源検出手段1021は、撮影画像内の輝度の高い画素、例えば閾値以上の輝度値の画素が、予め指定されている画素数以上隣接して存在している領域を、光源であると判断しても良い。なお、光源検出手段1021は他の方法により光源の位置を検出しても良い。例えば、予め指定した色の領域、例えば光源が発光する光の色が予め分かっている場合、この色を指定しておくことで、撮影画像内のこの色に近い画素が存在する領域を光源であると判断することが可能である。あるいは、光源の形状が予め特定できる場合、光源の形状をパターンマッチングにより撮影画像内から光源を検出しても良い。光源検出手段1021は、通常、MPUやメモリ等から実現され得る。光源検出手段1021の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
光源選択手段1022は、光源検出手段1021が撮影画像内において検出した光源のうちの、可視光通信光源を選択し、当該選択した可視光通信光源の画像内光源位置情報を取得する。通常、可視光通信光源は、可視光通信を行うために光の強度が短時間の間に変動するが、他の光源は、短時間での光の強度の変動がほとんどない場合が多い。従って、可視光通信光源以外の光源が、LED光源等の光の強度が経時的に変動していない光源であるとすると、撮影画像内に撮影されている光源のうちの光の強度が変動する光源が可視光通信光源となる。このため、光源選択手段1022は、例えば、光源検出手段1021が検出した光源の画像のうちの、光の強度が経時的に変動する光源の画像である可視光通信光源の画像の画像内光源位置情報を取得してもよい。
ここで、CCDやCMOS等のイメージセンサである撮像素子1011の応答速度は、フォトディテクタ等と比べて遅く、撮像素子1011が出力する電気信号から検出可能な電気信号の周波数は現状では100KHz程度が最高であり、応答速度の速いフォトディテクタ等を用いた場合のように100MHz程度の周波数の電気信号の変動を検出することはできない。従って、可視光通信の広帯域化を図るために、高い周波数で変調した第一送信情報を可視光通信で送信する場合においては、画像処理手段1012を用いて、第一送信情報だけを送信するための可視光通信の光から、光の強度の変動を検出することは困難である。このため、周波数が比較的に低い上述したマーカー信号を、可視光通信で送信する情報に重畳して、可視光通信光源から送信するようにしている。このマーカー信号は、応答速度の遅い撮像素子1011が出力する電気信号からでも検出可能である。このため、ここでは、光源選択手段1022は、各光源から送信された光に応じて撮像素子1011が出力する電気信号からマーカー周波数の信号、即ちマーカー信号と同じ周波数の信号を分離して取り出し、この信号が値の変動しているマーカー信号であるか否かを判断することで、光源がマーカー信号を重畳した情報を可視光通信で送信する可視光通信光源であるか否かを判断する。
具体的には、光源選択手段1022は、光源検出手段1021が光源であると判断した領域のうちの一の領域に対応する撮像素子1011内の領域に含まれる受光素子(図示せず)が、光の入射に応じて出力する電気信号を、所定時間だけ継続的に取得する。この撮像素子1011内の光源に対応した領域に含まれる受光素子が出力する電気信号は、撮像素子1011を構成する複数の受光素子のうちの、光源に対応した領域に含まれる一以上の受光素子が出力する電気信号を加えた値等であっても良いし、複数の受光素子が出力する電気信号の平均値であっても良い。光源選択手段1022は、一の領域から継続的に取得した電気信号から、マーカー周波数の情報を取り出す。このとき、一の領域が可視光通信領域であれば、得られる電気信号は、上述したように第一送信情報と、マーカー信号とを重畳した情報の信号である。
光源選択手段1022は、取り出したマーカー周波数の情報から、所定のサンプリング周期で、所定数の電圧の値を取得し、取得した電圧の値に変動が生じているか否かを判断する。例えば、取得した電圧の最大値と最小値との差が閾値以上であるか判断し、差が閾値以上であれば、変動が生じていると判断し、閾値より小さければ、変動が生じていないと判断する。変動が生じていると判断された場合、例えば、最大値と最小値との差が閾値以上である場合、一の領域から取得した電気信号にマーカー信号が含まれていると考えることができるため、一の領域が、可視光通信の光源であると判断する。また、逆に、変動が生じていない場合、光の強度の変化しないその他の光源であると判断する。そして、同様の処理を、光源検出手段1021が光源であると判断した他の領域についても行うことで、撮影画像に撮影された各光源が可視光通信光源であるか否かを判断することができる。そして、光源選択手段1022は、撮影画像内の可視光通信光源であると判断された光源の位置を示す情報を、可視光通信光源の画像内光源位置情報として取得する。なお、撮影画像内の、可視光通信光源であると判断された光源の位置を示す情報を、可視光通信光源の画像内光源位置情報として取得する代わりに、撮像素子1011における、可視光通信光源であると判断された光源から入射される光を受信する領域の位置を示す情報を、可視光通信光源の画像内光源位置情報として取得するようにしてもよい。
なお、マーカー信号を所定回数のサンプリングにより確実に検出できるようにするためには、マーカー信号の周波数およびパターンを例えば以下のようなマーカー信号とサンプリング周期との関係に基づいて決定しても良い。
図4は、マーカー信号とサンプリング周期との関係を示す模式図である。図において、サンプリング周期41は、サンプリングを行うタイミングを示す。ここでは、一定の時間間隔でサンプリングを行っている。マーカー信号42a〜42jは、それぞれ「H」と「L」の二値の値を有する信号であるとする。ここでは、「H」を斜線で示し、「L」は、無地で示している。ここでは、サンプリング周期41が示すサンプリング間隔を「1」として、マーカー信号42a〜42jの周期と、マーカー信号42a〜42jのパターンである二値の値が出現する期間の比とを表している。例えば、マーカー信号42aは、周波数がサンプリング周期41の1/3で、「H」の期間が1/3,「L」の期間が2/3である信号である。また、マーカー信号42bは、周波数がサンプリング周期41の1/3で、「H」の期間が1/3,「L」の期間が1/3である信号である。また、マーカー信号42cは、周波数がサンプリング周期41の1/2で、「H」の期間が1/2,「L」の期間が1である信号である。
例えば、マーカー信号42aでは、サンプリング周期41によりサンプリングした場合、例えば「H」のみ、といったように、常に一方のデータのみが検出される。このため、マーカー信号42aを用いた場合、値の変動する信号であるマーカー信号を検出することができない。逆に、マーカー信号42bでは、サンプリング周期41によりサンプリングした場合、「H」と「L」の信号が交互に検出される。このため、マーカー信号42aを用いた場合、マーカー周波数で取り出した信号が、値が「H」と「L」とに変動する信号である場合、マーカー信号を検出したこととなる。このため、光源位置検出部102において、可視光通信光源であるか否かの判断が可能となる。なお、マーカー信号を所定回数のサンプリングにより確実に検出できるようにするためには、サンプリング周期を変動させるようにしても良い。光源選択手段1022は、通常、MPUやメモリ等から実現され得る。光源選択手段1022の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
なお、撮影部101が撮影する画像が複数のフレーム画像により構成される動画像である場合、まず、光源検出手段1021は、撮像素子1011が撮影した撮影画像の一のフレーム画像から、輝度の高い領域を検出し、その後の複数のフレーム画像について、検出した輝度の高い領域別に取得した輝度値に、予め指定した閾値以上の変動が生じているか否かを判断して、変動が生じていた場合、一の領域が、光の強度が変化する可視光通信の光源であると判断してもよい。なお、このようにフレーム画像から可視光通信光源の位置を検出する場合、上記と同様に、複数のフレーム画像を用いて確実に可視光通信光源の輝度の変化が検出できるように、マーカー信号の値が変化するパターンおよび周波数は、撮影画像のフレームレート等に応じて設定しておく必要がある。この場合、フレームレートが上述したサンプリングのレートであると考えても良い。
照射先取得部107は、光源位置検出部102が取得した画像内光源位置情報から、撮影部101が撮影の対象とした光無線通信光源に対して予め指定された所定の位置関係にある、レーザ光の照射先の位置の情報である照射先位置情報を取得する。「予め指定された所定の位置関係」とは、具体的には、光無線通信光源の位置と、レーザ光の照射先となる受光部の位置との位置関係のことである。
照射先取得部107は、光源位置検出部102が取得した画像内光源位置情報からどのように、レーザ光の照射先位置情報を取得してもよい。
例えば、指示被写体である可視光通信光源と、光無線通信装置10のレーザ光の照射位置とがほぼ同じ位置に配置されている場合、照射先取得部107は、画像内光源位置情報を用いて、第一レンズ111を経て撮影部101に対して入射された、可視光通信光源からの光の入射角度を算出する。この算出される入射角度は、例えば、第一レンズ111の光の入射位置を中心とし、第一レンズ111の光軸をz軸として設定された極座標における二つの角度である。この入射角度は、第一レンズ111の画角と、第一レンズ111と撮影部101の撮像素子1011との距離と、撮像素子1011と撮影画像との位置の対応関係から算出される。そして、レーザ光の出射位置と、第一レンズ111の位置とがほぼ同じ位置と考える場合には、算出した入射角度の情報を、例えば、照射先の位置の情報として取得する。また、レーザ光の出射位置と、第一レンズ111の位置とがほぼ同じ位置ではない場合等には、必要に応じて、算出した入射角度の情報を、光無線通信装置10のレーザ光の出射位置にあわせて補正して得られた情報を、照射先位置情報として取得しても良い。なお、指示被写体である可視光通信光源と、光無線通信装置10のレーザ光の照射位置とがほぼ同じ位置に配置されている場合とは、例えば、可視光通信光源が複数の光源により構成されており、その光源間に受光素子が配置されている場合や、リング状の可視光通信光源のリング内に受光素子が配置されている場合や、可視光通信光源と隣接して受光素子が配置されている場合等である。
また、例えば、指示被写体である可視光通信光源と、光無線通信装置10のレーザ光の照射位置とがほぼ同じ位置に配置されておらず、可視光通信光源に対して、予め指定された所定の位置関係にある位置に、レーザ光の照射先となる受光素子が配置されている場合、上記と同様に、撮影画像内において検出した指示被写体である可視光通信光源の位置の情報を用いて、予め指定されている可視光通信光源とレーザ光の照射位置との所定の位置関係から、撮影画像内における、可視光通信光源に対して所定の位置関係にあるレーザ光の照射位置の情報を取得する。そして、この撮影画像内におけるレーザ光の照射位置から仮に光が出射された場合の入射角度を取得する。そして、取得した入射角度の情報を、照射先の位置の情報として取得しても良いし、必要に応じて、取得した入射角度の情報を、光無線通信装置10のレーザ光の出射位置にあわせて補正して得られた情報を、照射先の位置の情報として取得しても良い。
なお、予め、実験やシミュレーション等により、撮影画像内の各画素と、当該画素にうつされている被写体上の位置に対して光無線通信装置10のレーザ光を照射するためのレーザ光の照射方向等を指定する照射先位置情報との対応関係を示す情報である照射先対応情報を求めておき、この照射先対応情報を用いて、画像内光源位置情報からレーザ光の照射先位置情報を取得しても良い。例えば、可視光通信光源の中心部分に受光部が設けられている場合においては、撮影画像内の可視光通信光源の受光部が設けられている位置である中心に位置する画素を指定する情報を画像内光源位置情報として取得し、照射先対応情報を用いて当該取得した画像内光源位置情報が指定する画素に対応した照射先位置情報を取得するようにすればよい。この照射先位置情報に従ってレーザ光を照射することで、可視光通信光源の中心部分に設けられた受光部にレーザ光を照射することができる。なお、照射先対応情報は、撮影画像の画素の代わりに、撮影画像の画素に対応する撮像素子1011の画素と、照射先位置情報とを対応付けた情報であってもよい。この場合、撮影画像内の画像内光源位置情報を、撮像素子1011の画素の位置情報に一旦変更してから、照射先位置情報を取得するようにすればよい。
なお、照射先位置情報は、レーザ光の照射先の位置を結果的に特定可能な情報であれば、照射先にレーザ光を照射するための可動ミラー1081の角度と考えてもよい。この場合、予め、実験やシミュレーション等により、撮影画像内の各画素と、当該画素にうつされている指示被写体上の位置に対して光無線通信装置10のレーザ光を照射するための可動ミラー1081の角度を指定する情報である照射先位置情報との関係を求めておき、この照射先対応情報を用いて、画像内光源位置情報に応じて可動ミラー1081を制御して、照射先にレーザ光を照射できるようにしても良い。
照射先取得部107は、通常、MPUやメモリ等から実現され得る。照射先取得部107の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
情報取得部103は、光源位置検出部102が取得した画像内光源位置情報から、可視光通信光源から出力される光が入射される位置の情報である通信光入射位置情報を取得し、この通信光入射位置情報が示す位置において可視光通信光源から可視光通信により送信される情報を取得する。可視光通信光源から可視光通信により送信される情報は、上述した第一送信情報である。ここで述べる可視光通信光源とは、具体的には、光無線通信光源装置20が有する可視光通信光源である。具体的には、情報取得部103は、第一レンズ111を経た光が情報取得部103に入射される領域と、第一レンズ111を経た光を撮影した撮影画像との位置の対応関係を示す情報を予め記憶媒体等に有しており、この対応関係を示す情報を用いて、光源位置検出部102が取得した撮影画像内の可視光通信光源の画像内光源位置情報に対応する、情報取得部103の第一レンズ111を経た光が入射される領域上の位置の情報を取得する。そして、この取得した位置に入射される光のみを選択的に受光し、受光した光から第一送信情報を取得する。情報取得部103の第一レンズ111を経た光が入射される領域とは、具体的には、後述する液晶パネル10321上における光が入射される領域である。また、情報取得部103は、例えば、光源位置検出部102が可視光通信光源の画像内光源位置情報を取得するごと、あるいは画像内光源位置情報が変化するごとに、可視光通信光源から出力される光が入射される位置を示す情報である通信光入射位置情報を取得し、当該通信光入射位置情報が示す位置において可視光通信光源から送信される第一送信情報を取得する。
なお、光源位置検出部102が、二以上の可視光通信光源に対応する通信光入射位置情報を取得した場合においては、情報取得部103は図示しない受付部等から、二以上の可視光通信光源の画像内光源位置情報のうちのいずれか一つを選択させる指示である選択指示を受け付け、当該選択指示により指定される可視光通信光源の画像内光源位置情報に対応する通信光入射位置情報を取得し、通信光入射位置情報が示す位置において可視光通信光源から可視光通信により送信される第一送信情報を取得するようにしてもよい。また、撮影画像内において最も面積の大きい可視光通信光源の画像内光源位置情報に対応する通信光入射位置情報を取得するようにしても良い。あるいは、二以上の可視光通信光源に対応する通信光入射位置が示す二以上の位置において、特定又は不特定の所定のタイミング等で交互に第一送信情報を取得するようにしても良い。
ここでは、情報取得部103が、入射位置情報取得手段1031、選択透過手段1032、第二レンズ113、受光手段1033、情報取得手段1034を有しており、これらを用いて、可視光通信光源から送信される光を選択的に受光して、可視光通信光源から送信される第一送信情報を取得するものである場合について、以下に説明する。
入射位置情報取得手段1031は、光源位置検出部102が取得した可視光通信光源の画像内光源位置情報から、情報取得部103の可視光通信光源から出力される光が入射される領域における、可視光通信光源から出力される光が入射される位置の情報である通信光入射位置情報を取得する。具体的には、撮影部101が撮影した撮影画像と、情報取得部103における第一レンズ111を経た光が入射される領域の形状とが相似の関係にあり、両者の座標軸が、第一レンズ111を経て入射される像に対して同じ方向となるよう設定されている場合、撮影画像と光が入射される領域との間の相似比を用いて、撮影画像の可視光通信光源の座標情報である画像内光源位置情報から、情報取得部103における第一レンズ111を経た光が入射される領域内における可視光通信光源からの光が入射される位置の座標情報である光源位置情報を取得する。例えば、画像内光源位置情報が座標情報であるとすると、相似比が1対1である場合、入射位置情報取得手段1031は、光源位置検出部102が取得した撮影画像内の可視光通信光源の座標情報を、そのまま情報取得部103における光が入射される領域のうちの入射位置の情報である座標情報として取得する。また、撮影画像と、光が入射される領域との相似比が2対1の場合、撮影画像内の可視光通信光源の座標情報のx軸およびy軸の値を、それぞれ2分の1とした座標情報を、情報取得部103における光が入射される領域のうちの入射位置の情報である座標情報として取得する。即ち、撮影画像と、光が入射される領域との相似比がn(nは任意の正の数)対1の場合、撮影画像内の可視光通信光源の座標情報のx軸およびy軸の値を、それぞれn分の一とした座標情報を、情報取得部103における光が入射される領域のうちの入射位置の情報である座標情報として取得する。また、予め、撮影画像内の一以上の画素と、情報取得部103における光が入射される領域の位置を示す情報、例えば座標情報とを対応付けた情報を管理しておき、この対応付けた情報から、撮影画像内の可視光通信光源が検出された画素に対応した情報取得部103における光が入射される領域内の位置を示す情報を通信光入射位置情報として取得するようにしても良い。なお、本実施の形態においては、後述するように、情報取得部103の第一レンズ111を経た光が入射される領域が、液晶パネル10321である場合を例に挙げて説明する。このため、通信光入射位置情報として、液晶パネ10321内の座標情報を用いる代わりに、液晶パネル10321内の画素(図示せず)を特定する情報、例えば画素のIDや番号等を用いても良い。例えば、予め、撮影画像内の一以上の画素と、液晶パネル10321の一以上の画素とを対応付けた情報を管理しておき、この対応付けた情報から、撮影画像内の可視光通信光源が検出された画素に対応した液晶パネル10321の画素を指定する情報を取得しても良い。なお、撮影部101が撮影した撮影画像と、情報取得部103における第一レンズ111を経た光が入射される領域の形状とが、完全に相似でない場合、その形状の違いに応じて、取得する通信光入射位置情報を補正すればよい。なお、光源位置検出部102が取得した可視光通信光源の画像内光源位置情報が、例えば、撮影画像内の可視光通信光源の中心位置の情報等の、可視光通信光源の一部の位置の情報である場合、入射位置情報取得手段1031は、情報取得部103における光が入射される領域内の、この画像内光源位置情報に対応する位置の周囲の領域も含めた領域を、通信光入射位置に設定するようにしても良い。入射位置情報取得手段1031は、通常、MPUやメモリ等から実現され得る。入射位置情報取得手段1031の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
選択透過手段1032は、第一レンズ111を経て入射される光のうちの、入射位置情報取得手段1031が取得した通信光入射位置情報が示す位置に入射される光のみを選択的に透過させる。具体的には、選択透過手段1032は、第一レンズ111を経た光が入射される領域内の任意の領域においてのみ光を透過可能な領域を構成可能なフィルタや絞り等を有するようにし、このフィルタや絞りを制御して、入射位置情報取得手段1031が取得した入射位置の情報が示す位置にのみ光を透過可能な領域を構成する。ここでは、選択透過手段1032が液晶パネル10321と遮光制御手段10322とを有しており、上記の処理を、これらを用いて行う場合について説明する。
液晶パネル10321は、複数配列した電極により液晶に電圧を加えることで、液晶の配向を変更して、電極が設けられたセグメント毎に光を透過させるか否かを制御することで、光が透過する領域の形状を制御可能なものである。ここでは、例えば、セグメントが格子状に配列されている液晶パネルを用いている。このセグメントをここでは画素と呼んでいる。液晶パネル10321は、RGBカラー等のカラーの液晶パネルであってもよいし、白黒等の二値や、グレースケールの液晶パネルであっても良い。液晶パネル10321は光を透過可能な色と、透過させない色の二つの色とを表示可能なものであれば良く、表示可能な階調数は二以上であればよい。液晶パネル10321としてカラーの液晶パネルを用いることで、光を透過させる領域の色を任意の色、例えば青色等に設定することが可能である。このようにすることで、可視光通信光源からの光のうちの任意の色のみ、例えば青色のみを透過させることが可能となる。液晶パネル10321は、第一レンズ111を経た光が入射される位置に配置されている。
遮光制御手段10322は、液晶パネル10321の、入射位置情報取得手段1031が取得した入射位置の情報が示す入射位置以外の領域が、光を遮る領域となるよう、液晶パネル10321を制御する。この場合、入射位置情報取得手段1031が取得する入射位置情報は、液晶パネル10321の一以上の画素を指定可能な情報であることが好ましい。具体的には、液晶パネル10321の各画素を制御する制御信号を液晶パネル10321に出力して、入射位置情報取得手段1031が取得した通信光入射位置に対応する液晶パネル10321の画素が光を透過可能な画素とし、その他の領域の画素を光を遮る画素となるよう、液晶パネル10321を制御する。これにより第一レンズ111を経て液晶パネル10321に入射された光のうちの、通信光入射位置に入力された光のみ、即ち可視光通信光源からの光のみが、液晶パネル10321を透過することとなる。透過可能な画素とは、可視光通信からの光が透過可能な画素のことである。透過可能な画素は、例えば、透明や半透明等とした画素であっても良いし、特定の色の光のみを透過させる色の画素であっても良い。例えば、液晶パネル10321がカラー液晶パネルである場合、液晶パネル10321の、入射位置情報取得手段1031が取得した通信光入射位置に対応する画素を、青色の画素とし、その他の領域を黒色等にすることで、通信光入射位置に対応する画素の位置から青色の光だけを選択的に透過させることができる。遮光制御手段10322は、通常、MPUやメモリ等から実現され得る。遮光制御手段10322の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
第二レンズ113は、選択透過手段1032、具体的には液晶パネル10321を透過した光を集光して、受光手段1033に入射させるための集光手段である。第二レンズ113は、選択透過手段1032、具体的には液晶パネル10321のどの位置を透過した光も、受光手段1033に入射されるように設置されている必要がある。第二レンズ113の代わりに、凹面鏡等の他の集光手段等を備えていても良い。また、受光手段1033のサイズが十分大きい場合等のように、選択透過手段1032を透過した光を、集光することなく受光手段1033に入射させることができる場合、第二レンズ113は省略可能である。
受光手段1033は、入射位置の情報が示す入射位置に入射される光を受光して電気信号に変換する。具体的には、選択透過手段1032、具体的には液晶パネル10321により選択的に取り出された光が、第二レンズ113により集光されて、受光手段1033に入射される。受光手段1033はこのようにして入射される光の強度を電気信号に変換する。受光手段1033は、応答速度の速い受光素子、具体的にはフォトディテクタである。受光手段1033は、一つのフォトディテクタとして機能すれば、複数のフォトディテクタにより構成されていても良い。受光手段1033として一つのフォトディテクタを用いることで、高速に光を電気信号に変換でき、高速に変動する可視光通信の光を精度良く受信することができる。
情報取得手段1034は、受光手段1033が変換した電気信号から、可視光通信で送信された情報を取得する。情報取得手段1034は、例えば、受光手段1033が変換した電気信号を予め指定された所定の周波数で復調して情報を取り出す。また、取り出した情報に対して適宜AD変換等を行うようにしても良い。情報取得手段1034の構成等は、通常の可視光通信システムの受信端末に用いられている情報取得手段等と同様であるので、詳細な説明は省略する。情報取得手段1034は、通常、MPUやメモリ等から実現され得る。情報取得手段1034の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
出力部104は、情報取得部103が取得した情報を出力する。具体的には、情報取得部103が取得した第二送信情報を出力する。ここで述べる出力とは、ディスプレイへの表示、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。出力部104は、ディスプレイやプリンタ等の出力デバイスを含むと考えても含まないと考えても良い。出力部104は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
送信情報受付部105は、光無線通信装置10が可視光通信により送信する対象となる情報を受け付ける。この送信する対象となる情報をここでは第二送信情報と呼ぶ。第二送信情報は、例えば、光無線通信光源装置20を送信先として送信される情報である。第二送信情報は、画像情報や、テキスト情報、光無線通信装置10自身の識別情報やユーザの識別情報等のどのような情報であってもよい。ここで述べる受付とは、例えば、入力手段からの受付や、他の機器等から送信される入力信号の受信や、記録媒体等からの情報の読み出し等である。第二送信情報の入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。送信情報受付部105は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
レーザ出力部106は、送信情報受付部105が受け付けた情報に対応したレーザ光を出力する。具体的には、送信情報受付部105が受け付けた情報である第二送信情報を、電気信号に変換し、当該電気信号をレーザ光源に供給することでレーザ光を出力する。レーザ出力部106は、例えば、レーザダイオード等のレーザ光源や、当該レーザ光源を送信情報受付部105が受け付けた情報に応じて駆動させるための回路等により実現可能である。
なお、本実施の形態においては、レーザ出力部106が、レーザ光源1061およびレーザ出力制御手段1062を備えている場合を例に挙げて、以下に説明する。
レーザ光源1061は、レーザ出力制御手段1062から供給される電圧に応じてレーザ光を出力する。レーザ光源1061は、例えばレーザダイオードである。レーザ光源1061の出力するレーザ光の波長等は、当該レーザ光を受光する受光素子が、受光可能な波長であれば、どのような波長でも良い。レーザ光源1061はSHGレーザやYAGレーザ等、その材料系や構造等は問わない。レーザ光源1061は、レーザ光のスポット径を調整するためのレンズ等の光学系の機構を備えていても良い。
レーザ出力制御手段1062は、送信情報受付部105が受け付けた情報である第二送信情報を、電気信号に変換し、当該電気信号をレーザ光源に供給する。電気信号に変換した第二送信情報を、適宜変調しても良い。レーザ出力制御手段1062が出力する電気信号の電圧の変化に応じたレーザ光が、レーザ光源1061から出力される。レーザ出力制御手段1062は、通常ハードウェア(専用回路)で実現されるが、その一部をソフトウェアで実現するようにしても良い。
可動ミラー部108は、レーザ出力部106が出力するレーザ光を反射させて、照射先位置情報取得部12が取得した照射先位置情報が示す位置に照射させる。具体的には、照射先取得部107が取得した照射先位置情報が示す位置にレーザ光を照射させる。可動ミラー部108は、照射先位置情報に応じて、レーザ出力106が出力するレーザ光が反射される方向を変更することで、レーザ光が、照射先位置情報が示す位置に照射されるようにする。可動ミラー部108は、ここでは、可動ミラー1081とミラー制御手段1082とを備えている。なお、可動ミラー部108のレーザ光が出射される側には、レーザ光の径を調整するための光学系の機構を備えていても良い。
可動ミラー1081は、光を反射させるための反射面を備えており、当該反射面の向きを任意の方向に変更可能な構成を有している。この可動ミラー1081の反射面が、通常、レーザ出力部106が出力するレーザ光の光軸上に配置されている。この反射面の向きをミラー制御手段1082が出力する制御信号により変更することで、レーザ出力部106が出力するレーザ光を、所望の方向に向けて反射させて出力させることが可能である。可動ミラー1081は、例えばMEMS(Micro Electro Mechanical System)ミラーにより実現可能である。なお、MEMSミラーについては、特開2007−10823号公報や、特開平6−180428号公報等に開示されているように、公知技術であるので、詳細な説明は省略する。
ミラー制御手段1082は、照射先位置情報に応じて、可動ミラー1081の反射面の向きを制御する信号を出力する。ミラー制御手段1082は、例えば、上述したような照射先位置情報が、光無線通信装置10のレーザ光の出射位置に対する照射先の角度を示す情報である場合、可動ミラー1081で反射される光が、当該照射先位置情報が示す角度に向けて出力されるよう、可動ミラー1081の反射面の角度を制御する信号を出力する。具体的には、可動ミラー1081で反射されたレーザ光の進む方向が、照射先位置情報が示す角度と一致するように、可動ミラー1081の反射面の向きを変更させる制御信号を、可動ミラー1081に出力する。この制御信号に応じて、可動ミラー1081の反射面の向きか変更されることで、可動ミラー1081で反射されたレーザ光が、照射先位置情報が示す位置に向かって照射される。また、照射先位置情報が、照射先にレーザ光を照射するための可動ミラー1081の角度を示す情報である場合、この照射先位置情報が示す角度となるよう可動ミラー1081の角度を制御する。ミラー制御手段1082は、通常ハードウェア(専用回路)で実現されるが、その一部をソフトウェアで実現するようにしても良い。
図3は、光無線通信光源装置20の構成を説明するためのブロック図である。光無線通信光源装置20は、受光部201、受信情報取得部202、受信情報出力部203、送信情報取得部204、可視光通信光源205、および送信情報送信部206を備えている。
送信情報送信部206は、変調手段2061、マーカー信号出力手段2062、重畳手段2063、および送信手段2064を備えている。
受光部201は、光無線通信装置10から出力される光、この実施の形態においては具体的にはレーザ光を受光して電気信号に変換する。受光部201の構成については、入射される光が異なる点を除けば、上述した受光手段1033と同様であるので詳細な説明は省略する。なお、光無線通信光源装置20は、光無線通信装置10から出力される光を集光して、受光部201の受光面に入力させるためのレンズ(図示せず)等を備えていても良い。このレンズは、例えば、上述した第一レンズ111や第二レンズ113等と同様のレンズであっても良い。受光部201は、可視光通信光源205の近傍の予め指定された位置に配置することが好ましい。あるいは、可視光通信光源205が複数の光源により構成される場合、当該複数の光源間等に配置されることが好ましい。なお、受光部201が可視光通信光源205等の近くに配置される場合、可視光通信光源205からの光を受光しないように、受光部201の図示しない受光面に、可視光通信光源205の光を受光せず、光無線通信装置10の出力するレーザ光だけを受光するフィルタ等を設けても良い。このフィルタは、例えばレーザ光の波長だけを透過するフィルタであっても良いし、可視光通信光源205の方向からの光を透過しない偏向フィルタ等であっても良い。
受信情報取得部202は、受光部201が変換した電気信号から、光無線通信装置10から可視光通信で送信された情報である第二送信情報を取得する。受信情報取得部202の構成については、上述した情報取得手段1034と同様であるので、詳細な説明は省略する。
受信情報出力部203は、受信情報取得部202が取得した情報を出力する。具体的には、受信情報取得部202が取得した第二送信情報を出力する。ここで述べる出力とは、ディスプレイへの表示、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。受信情報出力部203は、ディスプレイやプリンタ等の出力デバイスを含むと考えても含まないと考えても良い。受信情報出力部203は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
送信情報取得部204は、可視光通信で送信する対象の情報である第一送信情報を取得する。送信対象情報はどのような情報であっても良い。ここで述べる取得とは、記録媒体等に蓄積されている送信対象情報の読み出しや、外部からの送信対象情報の受信等を含む概念である。送信情報取得部204は、通信手段や、記録媒体等からの読み出し手段や、MPUやメモリ等により実現される。送信情報取得部204の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
可視光通信光源205は、送信情報取得部204が取得した第一情報情報を送信するための、可視光通信を行う光源である。可視光通信光源205は、LEDや白熱灯や蛍光灯などの発光体(図示せず)を備えている。送信用光源106は、可視光通信により情報を送信するための光源である。送信用光源106は、フラッシュライト等どのような光源であっても良い。ただし、送信する情報量を多くするためには、例えば、高速に点滅させることが可能なLED等を用いることが好ましい。可視光通信光源205の発光強度は、可視光通信光源205に供給する電圧を調整することで調整される。この可視光通信光源205の発する光の強度を、送信情報取得部204が取得した情報に応じて変動させる、例えば点滅させることで、送信情報取得部204が取得した情報を可視光通信で送信することが可能となる。
送信情報送信部206は、送信情報取得部204が受信した第一送信情報を、可視光通信光源205から、光無線通信により送信する。この実施の形態においては、特に、送信情報送信部206が、第一送信情報に加えて、さらに上述したマーカー信号も出力する場合について説明する。送信情報送信部206は、一般的な可視光通信に用いられる通信手段等で実現され得る。なお、この具体例においては、送信情報送信部206が、変調手段2061と、マーカー信号出力手段2062と、重畳手段2063と、送信手段2064とを用いて送信処理を行う場合を例に挙げて説明する。
変調手段2061は、送信情報取得部204が取得した第一送信情報を所定の周波数で変調する。ここで変調する周波数は、上述した光無線通信装置10の、フォトディテクタ等の受光手段1033が処理可能な周波数であって、十分なデータの転送レートが得られる周波数であることが好ましい。例えば、変調する周波数は、数十MHzから数百MHzの周波数である。
マーカー信号出力手段2062は、光無線通信装置10が可視光通信光源205の位置を検出するために用いる情報であるマーカー信号を出力する。マーカー信号は、図4を用いて説明したような光無線通信装置10のイメージセンサ等の撮像素子1011が受信可能な周波数の信号である。この周波数は、例えば、数十KHzから数百KHz程度の周波数である。マーカー信号は、例えば、一定のパターンで、信号の大きさが変化する情報である。マーカー信号出力手段2062は、所定の周波数のマーカー信号を生成しても良いし、予め図示しない記憶媒体等に蓄積されているデジタルのマーカー信号を読み出し、これを所定の周波数で変調して出力しても良い。
重畳手段2063は、変調手段2061が出力する変調された一以上の光源送信対象情報と、マーカー信号出力手段2062が出力するマーカー信号とを重畳する。
送信手段2064は、重畳手段2063が重畳した第一送信情報とマーカー信号とに応じて、可視光通信光源205を制御して、可視光通信光源205から、第一送信情報とマーカー信号とを可視光により送信する。例えば、送信手段2064は、重畳手段2063が重畳した第一送信情報およびマーカー信号に応じた電圧を、可視光通信光源205に供給することで、可視光通信光源205から第一送信情報とマーカー信号とに応じた光を出力させる。
なお、光無線通信装置10が、マーカー信号を用いて可視光通信光源205の位置を検出しない場合、送信情報送信部206のマーカー信号を送信するための構成を省略しても良い。例えば、マーカー信号出力手段2062や、重畳手段2063を省略しても良い。
また、マーカー信号と光源送信対象情報とを時分割で送信する場合、重畳手段2063は省略しても良い。
次に、光無線通信装置10の動作について図5のフローチャートを用いて説明する。ここでは、光無線通信光源装置20の可視光通信光源205から、周波数の異なるマーカー信号と、可視光通信の対象となる第一送信情報とを重畳した情報が、可視光通信により送信される場合を例に挙げて説明する。また、可視光通信光源205と受光部201とがほぼ同じ位置に配置されるものとする。
(ステップS501)撮影部101は、画像を撮影して、撮影画像を取得する。撮影画像は、静止画像であっても良いし、複数のフレーム画像により構成される動画像であっても良い。
(ステップS502)光源位置検出部102は、ステップS501において取得した撮影画像内における可視光通信光源の位置情報である画像内光源位置情報を取得する。この処理の詳細は後述する。
(ステップS503)入射位置情報取得手段1031は、ステップS502において取得した画像内光源位置情報に対応する通信光入射位置情報を取得する。具体的には、撮影画像と液晶パネルの対応関係を示す情報を用いて、撮影画像における可視光通信光源の位置に対応する液晶パネル10321上の位置の情報を、可視光通信光源の位置情報から取得する。
(ステップS504)遮光制御手段10322は、ステップS504において取得した通信光入射位置情報を用いて液晶パネル10321を制御して、液晶パネル10321の通信光入射位置情報が示す位置の画素のみを光が透過可能な状態として、その他の領域の画素を光を遮る状態とする。例えば、通信光入射位置情報が示す領域のみが透過領域で、その他の領域が光を通さない黒色である画像を液晶パネル10321に表示させる。これにより、可視光通信光源から出力された光だけが、液晶パネル10321の通信光入射位置情報が示す位置の画素により構成される領域を透過し、その他の光は液晶パネル10321で遮られる。
(ステップS505)情報取得手段1034は、液晶パネル10321を透過した光を受光した受光手段1033が出力する電気信号から、可視光通信により送信された第一送信情報の取得を開始する。取得した情報は、図示しないメモリ等の記憶媒体等に一時記憶する。
(ステップS506)送信情報受付部105は、第一送信情報を受け付けたか否かを判断する。受け付けた場合、ステップS507に進み、受け付けていない場合、ステップS510に進む。
(ステップS507)照射先取得部107は、ステップS502において取得した画像内光源位置情報を用いて、光無線通信光源に対して予め指定された所定の位置関係にある、レーザ光の照射先の位置の情報である照射先位置情報を取得する。ここでは、可視光通信光源と、光無線通信装置10のレーザ光の照射位置とがほぼ同じ位置に配置されているため、照射先取得部107は、画像内光源位置情報を用いて、第一レンズ111を経て撮影部101に対して入射された、可視光通信光源からの光の入射角度の情報を、照射先位置情報として取得する。この照射先位置情報は、例えば、上述したような予め実験等によって用意された撮影画像内の画素の位置と、レーザ光の照射先位置情報との対応関係を示す情報から、画像内光源位置情報が示す画素の位置の情報を用いて取得しても良い。また、画像内光源位置情報と、第一レンズ111の画角と、第一レンズ111と撮影部101の撮像素子1011との距離と、撮像素子1011と、撮影画像との位置の対応関係から算出し、算出した入射角度の情報を、レーザ光の照射先の角度の情報である照射先位置情報として取得してもよい。取得した照射先位置情報を図示しないメモリ等の記憶媒体に一時記憶する。
(ステップS508)ミラー制御手段1082は、照射先取得部107が取得した照射先位置情報を用いて、可動ミラー1081の反射面の角度を調整する。具体的には、レーザ光源1061から出力されるレーザ光が反射される方向が、照射先取得部107が取得した照射先位置情報が示す方向と同じ方向となるよう、可動ミラー1081を駆動させて、反射面の向きを調整する。
(ステップS509)レーザ出力部106は、ステップS506で受け付けた第二送信情報を信号に変換し、レーザ光源1061から第二送信情報に応じたレーザ光を出力させる。これにより、第二送信情報が可視光通信により送信される。レーザ光源1061から出力されたレーザ光は、反射面の向きを調整ずみの可動ミラー1081の反射面で反射されて、光無線通信光源装置20の受光部201に入射される。
(ステップS510)光無線通信装置10は、可視光通信により送信される第一送信情報の受信および第二送信情報の送信を中止するか否かを判断する。光無線通信装置10は、どのようなトリガーに応じて第一送信情報の受信および第二送信情報の送信の中止を決定しても良い。例えば、図示しない受付部等から送受信を中止する指示を受け付けた場合に、送受信を中止することを決定しても良いし、光無線通信装置10の電源をオフする指示等を受け付けた場合や、操作が行われない時間が所定の時間経過して光無線通信装置10が待機状態となる場合に、受信を中止することを判断してもよい。受信を中止する場合処理を終了し、中止しない場合、ステップS501に戻る。
なお、ステップS510において送受信を中止しないと判断した場合において、可視光通信光源の位置を取得してから予め指定した時間が経過するまでは、ステップS505に戻るようにして、同じ通信光入射位置情報が示す位置で送信対象情報の取得を繰り返し行うようにし、所定の時間が経過した場合に、ステップS501に戻って、可視光光源の位置を再度取得しなおすようにしても良い。
また、ステップS510において送受信を中止しないと判断した場合に、ステップS501に戻るようにしているが、この後の、ステップS501以降の処理中においても、ステップS505において開始した、情報取得部103が可視光通信で送信される情報を受信する処理等を、並列的に行うようにしても良い。
なお、ステップS502の直後に、入射位置情報取得手段1031が、ステップS502において複数の可視光通信光源の位置情報を取得したか否かを判断するようにしてもよい。そして、複数の可視光通信光源の位置情報を取得した場合、複数の可視光通信光源の中から、一の可視光通信光源の位置情報を選択する処理を行うようにし、この選択した可視光通信光源の位置情報に対応した通信光入射位置情報を取得するようにしても良い。可視光通信光源の位置情報の選択は、例えば、ユーザからの可視光通信光源の一つを選択する指示を受け付けるようにし、この指示に対応する可視光通信光源の位置情報を選択するようにしても良い。また、予め指定された規則に従って、いずれか一つの可視光通信光源の位置情報を選択するようにしてもよい。この規則は、どのような規則でも良く、例えば、ランダムに位置情報を選択しても良いし、撮影画像の中心により近い位置情報を選択しても良い。また、それぞれの位置情報から得られる光の強度が高い方を選択するようにしても良い。また、最もサイズの大きい可視光通信光源の位置情報を画像内光源位置情報として選択するようにしても良い。複数の可視光通信光源の位置情報を取得していない場合、ステップS503に進むようにすればよい。
つぎに、図6のフローチャートを用いて、上述した撮影画像を利用して画像内光源位置情報を取得する処理の詳細について説明する。この処理は、ステップS502の処理に相当する処理である。
(ステップS601)光源検出手段1021は、上述したステップS501において取得した撮影画像において、光源を検出する。具体例を挙げると、通常、光源は、撮影画像内においては輝度値の高い画素により構成されるため、撮影画像を構成する各画素について、輝度値と、光源を構成する画素を判別するための閾値とを順次比較していく。そして、閾値以上の輝度値を有する画素を光源の画素であると判断する。光源の画素であると判断された画素が連続して存在する領域を一つの光源として順次検出していく。そしてこの光源を構成する各画素の座標情報を、例えば光源を識別する識別情報等と対応付けて、図示しない記憶媒体等に蓄積していく。この一の光源を構成する一以上の画素の座標情報の集合を、ここでは一の光源の位置を示す位置情報とする。なお、一の光源を構成する領域の中心座標や、重心座標や、輪郭を定義する座標等を、光源の位置情報としても良い。なお、光源の位置の検出は他の方法により行っても良く、例えば、光源の形状が予め決まっている場合、光源の形状についてパターンマッチングを行うことで検出するようにしても良い。なお、ここで用いる撮影画像は、静止画像や動画像内の1フレームの画像であっても良いし、動画像の複数フレームの画像を合成した画像等であっても良い。また、ここでは、撮影画像の輝度値を利用するようにしたが、撮影画像内の色等により光源を検出しても良いし、撮影画像内の特定のチャンネルの値、例えばRチャンネルや、Gチャンネルや、Bチャンネルの値を用いて、光源を検出しても良い。
(ステップS602)光源選択手段1022は、カウンターqに1を代入する。
(ステップS603)光源選択手段1022は、ステップS601において検出した光源に、q番目の光源が存在するか否かを判断する。ある場合、ステップS604に進み、ない場合、取得した可視光通信光源の位置の情報を、上位の処理にリターンする。
(ステップS604)光源選択手段1022は、撮像素子1011の、q番目の光源に対応する位置において得られる電気信号を取得する。具体的には、光源選択手段1022は、撮像素子1011の、撮影画像内におけるq番目の光源の位置に対応する位置に配置されている一以上の受光素子から出力される電気信号を取得する。なお、撮像素子1011の各受光素子が出力する電気信号から撮影画像が作成されるため、撮影画像内の各画素の位置と、当該画素を作成するために用いられる電気信号を出力する一以上の受光素子の位置との対応関係は、予め指定されているため、この対応関係を示す情報を用いることで、q番目の光源を構成する画素に対応する受光素子の位置を取得することが可能である。なお、ここでは、撮影を行う場合とは異なり、撮像素子1011をスキャンせずに、撮像素子1011が出力する電気信号を継続的に取得する。これにより、q番目の光源から出力される光を連続した電気信号に変換することができる。
(ステップS605)光源選択手段1022は、ステップS603から取得した電気信号から、マーカー信号の周波数であるマーカー周波数の信号を取得する。なお、電気信号から所定の周波数の信号を取り出す技術は公知技術であるので、ここでは説明を省略する。
(ステップS606)光源選択手段1022は、ステップS605において取得した電気信号を、予め指定された所定の周期でサンプリング、即ち数値化する。
(ステップS607)光源選択手段1022は、q番目の光源についてのステップS604の処理の開始から、所定時間が経過したか否かを判断する。この所定時間は、具体的には、マーカー信号の検出を行うための信号を、一つの光源から受信する期間を指定する情報である。所定の時間が経過した場合、ステップS608に進み、経過していない場合、ステップS603に戻る。なお、所定の時間だけ、撮像素子1011が出力する電気信号を受信した後、受信した電気信号に対してサンプリングを行うようにしても良い。
(ステップS608)光源選択手段1022は、マーカー周波数で取得した信号が、マーカー信号であるか否かを検出する。ここでのマーカー信号の検出は、マーカー信号の特徴である信号の大きさが変化する信号を検出することを検出することと考えて良い。具体的には、光源選択手段1022は、ステップS606において、上述した所定の時間内にサンプリングにより取得した電気信号の強さの値が、変動しているか否かを判断し、変動している場合、マーカー信号であると判断し、変動していない場合、マーカー信号でないと判断する。なお、変動しているか否かは、どのように判断してもよく、例えば、所定の時間内にサンプリングした値の最大値と最小値との差が、予め設定した閾値より大きい場合変動していると判断しても良い。また、サンプリングした値に、予め設定した最大値よりも大きい値と、予め設定した最小値よりも小さい値とが、少なくともそれぞれ1以上含まれる場合に変動していると判断してもよい。マーカー信号が検出された場合、ステップS609に進み、マーカー信号が検出されなかった場合、ステップS610に進む。
(ステップS609)光源検出手段1021は、ステップS601で検出した光源のうちのq番目の光源の位置の情報を、可視光通信光源の位置情報である画像内光源位置情報として取得する。例えば、q番目の光源を構成する1以上の画素の座標情報を画像内光源位置情報として取得する。そして取得した画像内光源位置情報を、例えば可視光通信光源を識別する情報等と対応付けて、図示しない記憶媒体等に一時記憶する。この一時記憶された画像内光源位置情報が、光源位置検出部102が取得する画像内光源位置情報である。
(ステップS611)光源選択手段1022は、カウンタqの値を1インクリメントする。そして、ステップ303に戻る。
なお、図5において説明したフローチャートにおいて、一旦、画像内光源位置情報を検出した後は、ステップS501に示すような撮影部101による画像の撮影を繰り返し、新たに取得した撮影画像内において、上述したステップS601の処理と同様に画素の輝度等から光源の位置を新たに検出し、新たに検出した光源のうち、直前に検出した可視光通信光源との相関が高い光源、あるいは直前に検出した可視光通信光源との距離が最も近い光源等を、新たに撮影した画像における可視光通信光源の位置として検出するようにしても良い。そして、この検出した画像内光源位置情報を用いて可視光通信情報の送信や受信を行うようにしても良い。これにより、可視光通信光源の位置が変化した場合においても、変化後の位置を高速に検出して、位置の変化に追従して可視光通信される情報を送受信できる。
次に、光無線通信光源装置20の動作について図7のフローチャートを用いて説明する。
(ステップS701)送信情報取得部204は、第一送信情報を送信するか否かを判断する。送信情報取得部204は、どのようなトリガー等によって第一送信情報を送信するか否かを判断しても良い。例えば、ユーザ等の指示や、予め指定されているタイミングで、第一送信情報を送信することを判断しても良い。送信する場合、ステップS702に進み、送信しない場合、ステップS705に進む。
(ステップS702)送信情報取得部204は、第一送信情報を取得する。例えば、図示しない記録媒体等に格納されている第一送信情報を読み出す。
(ステップS703)送信情報送信部206は、ステップS702において取得した第一送信情報と、マーカー信号出力手段2062が出力するマーカー信号とを重畳する。
(ステップS704)送信情報送信部206は、ステップS703で重畳して得られた情報を、可視光通信光源205を用いて可視光により送信する。そして、ステップS701に戻る。
(ステップS705)受信情報取得部202は、第二送信情報を受信したか否かを判断する。具体的には、受光部201が受光した光から第二送信情報を取得したか否かを判断する。受信した場合、ステップS706に進み、受信していない場合、ステップS701に戻る。
(ステップS706)受信情報出力部203は、ステップS705において受信した第二送信情報を出力する。例えば、ステップS705において受信した第二送信情報を、図示しない格納部等に蓄積する。そして、ステップS701に戻る。
なお、図7のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以下、本実施の形態における光無線通信システムの具体的な動作について説明する。光無線通信システムの概念図は図1である。
図8は、光無線通信システムの具体例を説明するための模式図である。この具体例においては、光無線通信システム1が、美術館内の展示室に設置されている場合を例に挙げて説明する。光無線通信装置10は、ここでは、携帯可能な携帯端末である光無線通信携帯端末10aの少なくとも一部を構成しているものとする。光無線通信携帯端末10aは、例えば、電話や、PDAや、携帯型ミュージックプレーヤや、携帯型ビデオプレーヤ等である。光無線通信装置10は、一例として、出力デバイスである表示デバイス1051を備えているものとする。光無線通信携帯端末10aの第一レンズ111の隣には、可動ミラー部108の出射部108aが設けられている。可動ミラー部108で反射されたレーザ光は、この出射部108aから照射先に照射される。また、光無線通信装置10が存在する部屋の天井には、LED光源51〜54が設置されているものとする。ここでは特に、LED光源51が光無線通信光源装置20の可視光通信光源205であるとする。また、LED光源51の隣に、光無線通信光源装置20の受光部201が下向きに設置されているものとする。このLED光源51が、上述したような光無線通信携帯端末10aが出力する光の照射先を示す指示被写体に相当する。
図9は、光無線通信光源装置20の可視光通信光源205であるLED光源51および受光部201の外観図である。LED光源51は、リング状に配列された複数のLEDライト51aにより構成されている。この複数のLEDライト51aは、実質的に一つの光源として動作するものとする。受光部201は、LED光源51の中央部に配置されている。
ここでは、例として、光無線通信光源装置20の図示しない記憶媒体等の格納部に、予め、アンケートを要望するテキスト情報が格納されており、送信情報取得部204が、このテキスト情報を第一送信情報として読み出す。このテキスト情報は、例えば、光無線通信光源装置20が設置されている展示室に展示されている美術作品についての感想の送信を促す情報、例えば、「作品についての感想を送って下さい。」というテキスト情報であったとする。
そして、読み出した送信情報を、送信情報送信部206が、マーカー信号と重畳して、LED光源51から可視光通信により送信する。ここでは、マーカー信号の周波数は28.8KHz、テキスト情報の周波数は40MHzとする。なお、テキスト情報の送信は、ここでは、繰り返し行われるものとする。
光無線通信携帯端末10aを手に持ったユーザが、第一レンズ111を天井に向けて保持している状態で、例えば、電源を投入すると、光無線通信携帯端末10aの撮影部101は、第一レンズ111を介して天井の画像を撮影する。ここでは、撮影部101が撮影する画像の画素数は、説明のため、一例として320×240ピクセルであるとする。なお、画素数が多いほど、光源を検出する精度が向上するが、その分処理が遅くなる。
図10は、撮影部101が撮影した撮影画像を示す図である。この撮影画像には点灯している状態の複数のLED光源が撮影されている。図において図8と同一符号は同一の光源の画像を示している。なお、図10の画像において、左上が座標(0,0)であり、座標の右方向がx軸方向、座標の下方向がy軸方向であるとする。座標の単位は、ピクセルであるとする。なお、LED光源51は、リング状に配列されたLED光源51aにより構成されているが、ここでは発光によって、ほぼ円状に撮影されているものとする。
次に、光源検出手段1021が、撮影画像を取得し、この撮影画像において、光源を検出する。ここでは、撮影画像の各画素の輝度値を予め指定した輝度値の閾値と比較し、閾値以上の輝度値の画素を光源の画素であると判断する。なお、ここでは、輝度値が大きいほど輝度が高いものとする。そして、閾値以上の輝度値が連続している領域を1つの光源であると判断する。
例えば、取得した撮影画像が図10に示したような静止画像であったとすると、この画像の閾値以上の輝度値の画素が存在する領域を白、閾値より小さい輝度値の画素が存在する領域を斜線で示す、即ちこの画像を輝度値の閾値により二値化して示すと図11のようになる。上記のような光源を検出する処理により、図11において白で表された独立した4つの領域51a〜54aが光源であると判断される。なお、領域51a〜54aは、光源51〜54にそれぞれ対応した領域である。
検出された各光源を構成する画素の座標情報は、各光源に付与される識別情報とともに図示しないメモリ等の記憶媒体に一時記憶される。
図12は光源と光源を構成する画素の座標情報とを管理するための光源座標管理表である。光源座標管理表は、光源に付与された識別情報である「光源ID」という項目と、光源を構成する画素の座標である「座標」という項目を有している。ここでは、領域51a〜54aをそれぞれ構成する画素に、「領域ID」として「001」〜「004」を、対応付けたとする。
次に、光源選択手段1022は、まず、撮影画像の「光源ID」が「001」である領域、即ち領域51aに対応する、撮像素子1011内の領域の受光素子が出力する電気信号を受信する。例えば、撮像素子1011と、撮影画像とが相似の関係にある場合、撮影画像の「光源ID」が「001」である領域に対して相似の関係にある撮像素子1011上の領域の、受光素子が受光した光の強度に応じて出力する電気信号だけを、継続的に受信する。
光源選択手段1022は、受信した電気信号からマーカー信号の周波数、ここでは28.8KHzの周波数の信号を分離する。そして、分離した信号を所定のサンプリング周期でサンプリングする。なお、この具体例においては、サンプリング周期とマーカー信号との関係は、図4を用いて説明したように、マーカー信号を確実に検出できるような関係となるようにしておく。
光源選択手段1022は、電気信号の受信開始から所定時間、例えば、10分の1から30分の1秒程度経過した時点で、電気信号の受信とサンプリングとを終了し、電気信号からマーカー信号が検出されたか否か、即ち、電気信号からマーカー信号の周波数で分離した信号が値が変動するマーカー信号であるか否かを判断する。例えば、サンプリングにより得られた複数の値を予め指定した閾値で2値化して得られた値に、「H」と「L」の2値が含まれるか否かを判断する。ここでは、2値が含まれていたとすると、光源選択手段1022はマーカー信号が検出されたと判断する。そして、光源選択手段1022は、撮影画像の「光源ID」が「001」である領域の位置を示す情報、ここでは例として領域51aに含まれる画素の座標情報を、可視光通信光源の位置情報として取得し、図示しないメモリ等に蓄積する。
つぎに、同様に、撮影画像の「光源ID」が「002」である領域、即ち領域52aに対応する、撮像素子1011内の領域の受光素子が出力する電気信号を受信する。そして、この電気信号からマーカー信号の周波数の信号を分離し、サンプリングを行う。そして、上記と同様にサンプリングした値がマーカー信号であるか否かを判断する。ここでは、サンプリングした値に2値が含まれていなかったとする。光源選択手段1022は、マーカー信号が検出されないと判断して、撮影画像の「光源ID」が「002」である領域の位置の情報は、画像内光源位置情報として取得しない。
以下、同様の処理を、「光源ID」が「003」、「004」の領域についても行う。そして、これらの処理の結果、「光源ID」が「001」である一つの光源51を構成する画素の座標情報だけが、画像内光源位置情報として取得されたとする。
図13は可視光通信光源の位置情報を管理する可視光通信光源管理表である。可視光通信光源管理表は、可視光通信光源の識別情報である「光源ID」という項目と、可視光通信光源を構成する各画素の座標情報である「位置情報」という項目を有している。「光源ID」は、ここでは、図12の光源座標管理表の「光源ID」に対応しており、同じ値の光源は、同じ光源であるとする。
次に、図13に示した可視光通信光源の位置情報を用いて、入射位置情報取得手段1031は、液晶パネル10321上における可視光通信光源から送信される光が入射される位置の情報である通信光入射位置情報を取得する。ここでは、例として、液晶パネル10321の画素数が撮影画像の画素数と同じ320×240ピクセルであるとし、第一レンズ111を経た光が撮像素子1011に達するまでの光路長と、第一レンズ111を経た光がビームスプリッタ112で反射されて液晶パネルまで達する光路長とが同じであるとする。そして、図10に示した撮影画像と全く同じ撮影範囲の像が、液晶パネル10321に入射されるものとする。即ち、液晶パネル10321の座標情報と、撮影画像の座標情報とが1対1で対応している。このため、入射位置情報取得手段1031は、可視光通信光源の位置情報を、そのまま、通信光入射位置情報として取得する。このような構成とすることで、光源位置検出部102で検出した可視光通信光源の位置情報から、通信光入射位置情報を算出する処理が省略でき、処理の高速化を図ることができる。従って、ここで取得される通信光入射位置情報は、図13と同様のものとなる。なお、撮影画像の画素数と、液晶パネル10321の画素数が異なる場合、予め撮影画像内の各画素と、この画素が示す像と同じ像が投射される位置にある液晶パネル10321の一以上の画素との対応関係を示す対応表を図示しない記憶媒体等に用意しておき、この対応表を用いて、可視光通信光源の位置情報から、通信光入射位置情報を取得するようにしても良い。あるは、座標変換等を行うようにしても良い。
次に、遮光制御手段10322は、液晶パネル10321の画素のうちの、取得された通信光入射位置情報が示す位置以外の領域が、光を遮光する領域となるように、液晶パネル10321を制御する。具体的には、通信光入射位置情報が示す座標の画素だけが光を透過する画素となるように、液晶パネル10321を制御する。これにより、図14に示すように、液晶パネルは10321の通信光入射位置情報が示す位置だけが光の透過領域1010となる。この領域が、可視光通信光源である光源51が発する光が液晶パネル10321上に入射される位置である。
この結果、図15に示すように、液晶パネルは10321の通信光入射位置情報が示す領域である透過領域1010を経て、可視光通信光源である光源51が発する光のみが選択的に受光手段1033に入力される。そして、受光手段1033は、入力された光に応じた電気信号を継続的に出力する。
フォトディテクタ等の受光手段1033は、撮像素子1011とは異なり、単に光の強度に応じた電気信号を出力するものであるため、高速な処理が可能である。このため、受光手段1033が入射光に応じて出力する電気信号からは、撮像素子1011よりも、高い周波数の情報を取り出すことができる。
ここでは、情報取得手段1034は、受光手段1033が出力する電気信号から、予め指定された周波数である40MHzの信号を分離して取り出す。さらに、この分離した信号を復調して、テキスト情報を取り出す。そして、取り出したテキスト情報を、図示しない記憶媒体等に一時記憶する。
次に、出力部104は、情報取得手段1034が取得した、感想の入力を促すテキスト情報を、モニタ1051に表示する。出力部104の表示例を図16に示す。
次に、ユーザが、キーボードや、ペン型の入力デバイスや、タッチパネル等を操作して、展示室内に展示されている美術品についての感想を表すテキストを、図17に示すように光無線通信携帯端末10aに入力し、送信する指示を与えたとする。このテキストの情報が上述した第二送信情報に相当する。
図18は、光無線通信携帯端末10a内の図示しない記憶媒体等の格納部に格納されている、予め実験により取得された撮影画像内の画素の位置と、レーザ光の照射先位置情報との関係を示す照射先対応情報の一例を示す図である。ここでのレーザ光の照射位置情報は、ここでは、可動ミラー1081のx軸を回転軸とした回転角θと、y軸を回転軸とした回転角φとで表された情報であるとする。なお、可動ミラー1081は、x軸およびy軸を中心として独立して回転可能であるとする。各画素は、画素を単位とした座標(x、y)で指定される。なお、x1,x2や、y1,y2、θ1,θ2,φ1、φ2等は具体的な値を示しているものとする。
照射先情報取得部107は、光源選択手段1022が取得した図13に示すような画像内光源位置情報を、メモリ等の記憶媒体から読み出し、読み出した画像内光源位置情報が示す撮影画像内の領域の中心の画素を決定する。例えば、画像内光源位置情報が示す領域がはめられる矩形の領域を設定し、その矩形領域の対角線の交点に位置する画素を、中心の画素に決定する。この中心の画素は、撮影画像内における可視光通信光源の画像の中心の画素である。ここで取得された中心の画素が画素(x43,y67)であったとする。そして、このようにして決定した画素(x43,y67)に対応する照射先位置情報を、図18に示す照射先対応情報から取得する。ここでは、図17に示す照射先対応情報から、画素(x43,y67)に対応する照射先位置情報(θ4367,φ4367)が取得されたとする。
ミラー制御手段1082は、可動ミラー1081の角度が、照射先情報取得部107が取得した照射先位置情報が示す角度(θ4367,φ4367)となるよう、可動ミラー1081を制御する。
そして、レーザ出力制御手段1062は、送信情報受付部105が受け付けたユーザの感想を示すテキスト情報を、レーザ光源1061を用いて光無線通信により送信する。レーザ光源1061から出力されたレーザ光は、可動ミラー1081により反射されて、図19に示すように、光無線通信携帯端末10aの出射部108aから、LED光源51の中央部に設けられた受光部201に向けて出射される。
出射されたレーザ光は、光無線通信光源装置20の受光部201により受光されて電気信号に変換され、ユーザの送信した感想を示すテキスト情報が、受信情報取得部202により受信情報として取得される。そして、取得された受信情報が受信情報出力部203から出力、例えば、美術館の運営者のコンピュータ(図示せず)等にネットワーク等を介して、送信される。この感想を示す受信情報は、例えば、美術館の運営者のコンピュータ等のモニタに、図20に示すように表示される。
以上、本実施の形態によれば、撮影画像に撮影されている光の照射先を示す被写体の位置から、光の照射先の位置の情報である照射先位置情報を決定し、当該照射先位置情報が示す位置に、光無線通信に用いるレーザ光を照射するようにしたことにより、情報の送信先となる装置に対して、光無線により選択的に情報を送信できる効果がある。また、光無線通信装置10と照射先との相対的な位置関係が変化しても、照射先に追従できるため、情報を確実に送受信することができる。
また、本実施の形態においては、特に、撮影画像から、可視光通信光源を検出して、当該可視光通信光源の近傍に配置されている受光部に対して光無線通信に用いるレーザ光を照射するようにしたことで、光の照射先を示すための被写体として可視光通信光源を利用できるため、光の照射先を示すための被写体を新たに設ける必要がない。このため、双方向通信を行う場合においては、可視光通信光源の近傍に受光部を設けた光無線通信光源装置を用いるようにすることで、設置等の手間が削減できる。
また、レーザ光を可視光通信に用いることで、光が通信を行う装置間に漏れることもすくなく、他のユーザに不必要な光を照射したりすることがない。また、光の漏れによる情報の漏洩も最小限に抑えられる。また、レーザ光を光源として用いることで、フラッシュライト等を点滅させる場合等に比べて出力を抑えることができ、バッテリーの消費を削減できる。
また、MEMSミラー等の可動ミラー1081を動作させて、可視光通信に用いるレーザ光を照射先に向けて反射させるようにしたことにより、レーザ光の向きを変更するための構成を簡略化できる。
また、可動ミラー1081として、MEMSミラーを用いることで、消費電力を少なくすることができるとともに大幅な小型化が可能となる。
また、本実施の形態によれば、撮影画像から可視光通信光源の位置情報を取得し、当該位置情報を用いて可視光通信光源から出力される光が入射される位置の情報である通信光入射位置情報を取得し、当該通信光入射位置情報が示す位置において前記可視光通信光源から可視光通信により送信される情報である送信対象情報を取得するようにしたことにより、他の光源が存在している場合や、撮影された光源以外の光源が出力する光、例えば環境光や間接照明等による光等が入射されている場合等においても、可視光通信を行う一の光源から送信される情報を精度良く受信することができる。
また、本実施の形態においては、可視光通信光源から送信される光を選択的に受信するための手段として、特に液晶パネル10321を設けるようにしている。そして、可視光通信光源の位置に応じて、液晶パネル10321に透過領域を形成して、可視光通信光源から送信される光を選択的に受信するようにしている。このような構成においては、液晶パネル10321の、撮影画像内の可視光通信光源が検出された位置に対応した位置に、透過領域が形成されるように液晶パネル10321の表示画像を制御すればよいため、可視光通信光源の向きや光源の光の形状や大きさ等の演算が不要である。この結果、処理速度の高速化が図れる。また、光を選択的に受信するための物理的な機構が省略できるため、摩耗等により動作の不良が発生しにくくすることができる。
なお、本発明において、液晶パネル10321は、第一レンズ111を経た光が入射される位置に配置されていればよく、その配置は問わない。例えば、上記実施の形態のように、ビームスプリッタ112と第二レンズ113との間に配置されていても良いし、第二レンズ113と受光手段1033との間に配置されていても良い。また、液晶パネル10321を受光手段1033上に配置するようにしても良い。液晶パネル10321をいずれの位置に配置した場合においても、上記実施の形態と同様に、遮光制御手段10322により入射位置情報取得手段1031が取得した入射位置情報が示す入射位置以外の領域が光を遮る領域となるよう液晶パネル10321を制御することで、上記実施の形態と同様の効果を奏する。特に、液晶パネル10321を、第二レンズ113と受光手段1033との間に配置することで、第二レンズ113で収束された光の透過を制御すれば良いため、液晶パネル10321のサイズを小型化して、コストを低減させることができる。
なお、本実施の形態においては、照射先位置情報取得部12が、上述したように、光源位置検出部102、照射先取得部107を用いずに、例えば、パターンマッチング等の画像処理や、可視光通信光源以外の点滅する光源や所定の色の光源や標識等の検出を行うことで、照射先を示す被写体を検出し、この検出結果から、照射先位置情報を取得するようにしてもよい。ただし、この場合、光無線通信装置10が、光無線で送信される情報を受信するためには、光源位置検出部102を別に設け、情報取得部103は、この光源位置検出部102が検出した画像内光源位置情報を用いて、光無線通信光源装置20から送信される情報を取得する必要がある。
また、上述したように、本発明の光無線通信システム等は、可視光以外の光、例えば、赤外線や紫外線等も利用可能な光無線通信においても適用可能なものであり、このような場合においても、上記実施の形態と同様の効果を奏する。なお、ここで述べる光無線通信は、可視光や、赤外線や紫外線等の、電波と比べて非常に高い周波数の光波を用いた通信のことである。
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりする情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。
また、上記各実施の形態では、光無線通信装置がスタンドアロンである場合について説明したが、光無線通信装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをCPU等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。
なお、上記各実施の形態における光無線通信装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、光無線通信に用いられる光の照射先を示す被写体を撮影して画像を取得する撮影部と、前記撮影部が取得した画像である撮影画像内における前記光の照射先を示す被写体の位置を検出し、当該検出した被写体の位置の情報を用いて、当該被写体が示す前記光の照射先の位置の情報である照射先位置情報を取得する照射先位置情報取得部と、光無線通信により送信する情報を受け付ける送信情報受付部と、レーザ光源を制御して、前記送信情報受付部が受け付けた情報に対応した、前記光無線通信に用いられる光であるレーザ光を出力させるレーザ出力制御手段と、可動ミラーを制御して、前記レーザ光源が出力するレーザ光を反射させて、前記照射先位置情報取得部が取得した照射先位置情報が示す位置に照射させるミラー制御手段として機能させるためのプログラムである。
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
図21は、上記プログラムを実行して、上記実施の形態による光無線通信装置等を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
図21において、コンピュータシステム900は、CD−ROM(Compact Disk Read Only Memory)ドライブ905、FD(Floppy(登録商標) Disk)ドライブ906を含むコンピュータ901と、キーボード902と、マウス903と、モニタ904とを備える。
図22は、コンピュータシステム900の内部構成を示す図である。図22において、コンピュータ901は、CD−ROMドライブ905、FDドライブ906に加えて、MPU(Micro Processing Unit)911と、ブートアッププログラム等のプログラムを記憶するためのROM912と、MPU911に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するRAM(Random Access Memory)913と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク914と、MPU911、ROM912等を相互に接続するバス915とを備える。なお、コンピュータ901は、LANへの接続を提供する図示しないネットワークカードを含んでいてもよい。
コンピュータシステム900に、上記実施の形態による光無線通信装置等の機能を実行させるプログラムは、CD−ROM921、またはFD922に記憶されて、CD−ROMドライブ905、またはFDドライブ906に挿入され、ハードディスク914に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ901に送信され、ハードディスク914に記憶されてもよい。プログラムは実行の際にRAM913にロードされる。なお、プログラムは、CD−ROM921やFD922、またはネットワークから直接、ロードされてもよい。
プログラムは、コンピュータ901に、上記実施の形態による光無線通信装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム900がどのように動作するのかについては周知であり、詳細な説明は省略する。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。