図1は本発明のドットパターンを用いた情報再生方法の構成を示すブロック図であり、(a)はドットコードの生成について、(b)はドットパターンの認識についての説明図である。図2はドットパターンの一例を示す正面図である。図3は絵本と情報再生方法の状態を説明する機能ブロック図である。
本発明のドットパターンを用いた情報再生方法は、ドットパターン601の生成と、そのドットパターン601の認識と、このドットパターン601から対応した音声情報の再生とからなる方法である。すなわち、ドットパターン601を読取り手段であるカメラ602によりその画像データを取り込み、かつ画像上の歪率を補正し、それを数値化してデジタル化し、そのデジタル化した数値を第一方向603と第二方向604に分解し、その位置を読み取り、このドットパターン601から対応した音声情報をパーソナルコンピュータ(以下、「パソコン」と略称する)パソコン608、PDAまたは携帯電話等で再生させる方法である。
なお、カメラ602は図3ではペン型のスキャナで構成されており、内部にはCCDやC−MOS等の撮像素子が内蔵されているが、後述するように一般のデジタルカメラや携帯電話等の携帯端末に搭載されたカメラであってもよい。
本発明のドットパターン601の生成は、ドットコード生成アルゴリズムにより、音声情報を認識させるために微細なドット605を第一方向ライン603に所定の規則に則って配列し、かつこの第一方向ライン603に交差するように配置した第二方向ライン604に所定の規則に則ってドット605を配列する。さらに、パソコン608内のメモリまたはカメラ602内に設けられたメモリにマッピングテーブルも生成する。この第一方向ライン603と第二方向ライン604とは90度の角度で交差させたものに限定されず、たとえば、60度の角度で交差させたものでもよい。
ドットパターン601の認識には、カメラ602のレンズによる歪率の補正、またはカメラ602の傾きによる歪の補正と、第一方向603の数値情報の再生と、第二方向604の数値情報の再生とからなる。ドットパターン601については、C−MOSカメラまたはCCDカメラ等の撮像素子を内蔵したカメラ602を用いてその画像データを取り込む。さらに、カメラ付き携帯電話または携帯電話に接続したカメラを前記ペン型スキャナに換えて用いることができる。これらの携帯電話の場合には、携帯電話のメモリにダウンロードされたJAVA(登録商標)プログラム等の制御により、そのまま音声を再生させることも可能である。このカメラ602で取り込んだ画像データは、画像処理アルゴリズムで処理してドット605を抽出し、歪率補正のアルゴリズムにより、カメラ602のレンズによる歪率の補正をする。または、ドットパターン601に対するカメラ602の傾きによる歪を補正する。
カメラ602で取り込んだ画像データは、パソコン608の中央処理装置(CPU)により所定の画像処理アルゴリズムで処理されてドット605が抽出されて、歪率補正のアルゴリズムにより、カメラ602に原因する歪を補正するので、歪率の高いレンズを付けた普及型のカメラ602でドットパターン601の画像データを取り込むときにも正確に認識することができる。また、ドットパターン601の面に対してカメラ602を傾けて読み取っても、そのドットパターン601を正確に認識することができる。
第一方向603の数値情報の再生では、第一方向603の2ラインを抽出して、この第一方向603の2ライン間のドット情報を二値化する。次に、パターン認識アルゴリズムにより、そのパターンを認識し、マッピングテーブルを用いて、第一方向603の数値情報を再生する。この際、ラインの読み取りが汚れなどでできない場合がある。その場合、隣のラインを抽出し同様の処理を行う。その情報を数値補正情報として記録し、数値情報を再生する際、これにより補正を行う。
第二方向604の数値情報の再生では、第二方向ライン604を抽出して、この第二方向ライン604間のドット情報を二値化する。次に、パターン認識アルゴリズムにより、そのパターンを認識し、マッピングテーブルを用いて、第二方向604の数値情報を再生する。この際、ラインの読み取りが汚れなどのノイズにより正確に走査できない場合がある。その場合、隣のラインを抽出し同様の処理を行う。その情報を数値補正情報として記録し、数値情報を再生する際、これにより補正を行う。
上述したようなドットパターン601は、絵本、テキスト等の印刷物606に印刷することによりドットパターン部607に構成する。このドットパターン部607を、このカメラ602が画像認識し、該画像データから抽出された数値化データに基づいてそれに対応する音声情報をメモリから読み出してパソコン608、PDAまたは携帯電話等のスピーカ9等の出力手段からそれに対応する音声、音楽を再生する。
図4は他のドットパターンを用いた情報再生方法の構成を示すブロック図であり、(a)はドットコードの生成について、(b)はドットパターンの認識についての説明図である。図5から図8は他のドットパターンの一例を示す正面図である。
上述したようにカメラ602で取り込んだ画像データは、画像処理アルゴリズムで処理してドット605を抽出し、歪率補正のアルゴリズムにより、カメラ602が原因する歪とカメラ602の傾きによる歪を補正するので、ドットパターン601の画像データを取り込むときに正確に認識することができる。
このドットパターンの認識では、先ず連続する等間隔のドット605により構成されたラインを抽出し、その抽出したラインが正しいラインかどうかを判定する。このラインが正しいラインでないときは別のラインを抽出する。
次に、抽出したラインの1つを水平ラインとする。この水平ラインを基準としてそこから垂直に延びるラインを抽出する。垂直ラインは、水平ラインを構成するドットからスタートし、次の点もしくは3つ目の点がライン上にないことから上下方向を認識する。
最後に、情報領域を抽出してその情報を数値化し、この数値情報を再生する。
図9は絵本の絵柄と物語の文章を印刷した一例を示す正面図である。
このようなページでは、ページの左上のアイコン606aをカメラ602で読み取り、スイッチを入れる。次に、絵柄606bに相当する物語の文章が印刷されたその文章部分606cをカメラ602で読み取る。アイコン606aと文章部分606cそれぞれにはドットパターン部607が印刷されているので、これらのドットパターン部607は絵本の何ページのどの領域にある情報かを認識し、それに対応するように記憶した物語の音声をパソコン608に再生させる。たとえば、ドットパターン部607のドット605はカーボンで印字し、それ以外はノンカーボンのカラーインクで印字または印刷することにより、赤外線照射で読み取ることができる。
図10は絵本の絵柄と物語の文章を印刷した他の一例を示す正面図である。図11は絵本の絵柄と物語の文章を印刷したさらに他の一例を示す正面図である。
本発明のドットパターンを用いた情報再生方法は、物語からなる絵本に限らず、図10に示すように、算数をわかりやすく教える教材に応用することができる。また、図11に示すように、音楽をわかりやすく教える教材に応用することができる。
パソコン608、PDAまたは携帯電話のメモリには、「音の出る絵本」として絵本の絵に加えて音楽や主人公等の会話まで発生させる絵本として利用できるコンテンツを記憶させる。但し、組立てブロック等の玩具と合わせて音声が発生する教材として利用できるコンテンツ、「音の出る辞書」として、外国語の単語や文章をなぞると翻訳してくれ辞書ソフトとして利用できるコンテンツを記憶させることも勿論可能である。
本発明のドットパターンを用いた情報再生方法は、さらに次のような利用方法がある。
「音が出るポップ絵本」
カメラ602をドットパターン部607に当接または走査させるだけという特性を活かし、ページを開くと立体物が現れる「ポップ絵本」と組み合わせることができる。ページを開くと立体物の中にドットパターン部607を貼り付け、または印刷し、このドットパターン部607を探し出してカメラ602の先端部を当接させると、様々な音声が発生する「音が出るポップ絵本」として利用することができる。たとえば、ページを開くとポップアップで、「恐怖の館」が立ち上がり、「窓」にあるドットパターン部607をカメラ602でなぞると「キャー!」といった女性の悲鳴の音声が再生され、「廊下」にあるドットパターン部607をカメラ602でなぞると「コツ、コツ、コツ・・ ・」といった不気味な足音の音声が再生される。
「創作絵本(創作本)」
印刷部606である絵本の好きな箇所にドットパターン部607を貼ることができ、使用者自身がコンテンツを創作できるドットパターン部607を貼れば、どこでもスイッチを設定できる「創作絵本(創作本)」として利用することができる。たとえば、絵本、セリフ集、サウンドリスト、音源データ等をセットにしたものを、使用者が好きなようにセリフや音楽のドットパターン部607を絵本606に貼ってオリジナルストーリーを作ることができる。
さらに、何も描かれていない絵本に、ドットパターン部607の形成された音源リストのシールや、アイコンシール等を準備し、使用者が絵本に自分で絵を描き、これらのシールを貼り付けてオリジナルストーリーを創造し、音が出る絵本をユーザ自身に作成させることもできる。
「音が出る教材」
本発明は子供から大人、老人までのすべての世代に向けた「音が出る教材」として利用することができる。たとえば、印刷物606のドットパターン部607にカメラ602の先端を当接させたり、走査させると音声が再生され、英会話等の語学教育や知育・音楽等の幼児教育、ドリル等の補助教材として使用できる。
このように、本発明は印刷物606等に印刷した入力インターフェースとして使用できるので、コンテンツ毎にそれに合わせたインターフェースを製造することができる。また、インターネット等の汎用ネットワークを介して、ドットパターンデータをパソコン608にダウンロードさせるようにし、ユーザが当該ドットパターンデータを自由に組み合わせて汎用のプリンタ装置で紙面上にドットパターンを印刷することにより、前述の「絵の出る絵本」等をユーザ自身が作成することができる。
さらに、印刷物606等その他媒体のドットパターン部607にURL情報を定義し、カメラ602でドットパターン部607を撮影した画像データから前記URLを抽出することにより、パソコン608にインストールされたブラウザプログラムが前記URLにアクセスして所定の動作を行わせるようにしてもよい。
図12はドットパターン部607を形成したタッチパネルを説明する斜視図である。図13はドットパターン部607を形成したタッチパネルを説明する分解側面図である。
従来のタッチパネルは、液晶ディスプレイ(LCD)やCRT(ブラウン管)などのモニタ画面上に配置し、透視した画面の指示に従って指やペンなどで上から押圧することにより位置入力が行えるようにしたものである。この従来のタッチパネルは、たとえば透明フィルム上にITO等からなる透明電極を有する一対の上部電極シートと下部電極シートとが電極間に絶縁物よりなるスペーサーを介して対向配置し、その下部電極シートの下面に樹脂よりなる透明保持板が透明接着層を介して全面的に接着されたもので、高価であるという欠点があり、また長期間使用しているとその表面が反り返り使用しづらくなることがあった。
そこで、本発明では高価にならないように、透明フィルム611にドットパターン部607を印刷したタッチパネル612と普及型のカメラ602(ペン型スキャナ)のみを使用した。
このタッチパネル612をパソコン608等の液晶ディスプレイ(LCD)やCRT(ブラウン管)などのモニタ613の画面上に配置し、透視した画面の指示に従ってカメラ602でなぞることにより位置入力が行える。このように、モニタ画面に貼り付けたタッチパネル612に、カメラ602を向けてそのドットパターン部607の画像データを取り込み、上述したのと同様にそのドットパターン部607がパソコン608のモニタ画面に対応した情報を認識して、それに対応するように記憶した種々の音声等を再生させる。
ドットパターン部607のドット605はカーボンを主成分とした場合、光を吸収しやすい特性を有しているため、モニタ画面からの光線を遮断しないとカメラ602でドットパターン部607の画像データを正確に取り込むことができない。そこで、モニタ画面とタッチパネル612との間に赤外線遮断フィルム614を配置し、モニタ画面から発生する赤外線を遮断するようにしている。これにより、カメラ内から照射された赤外線のみを照射光としてドット605からの反射光を認識しやすいようにしてドットパターン部607の認識を容易にして、当該パソコン608のタッチパネルとして利用することができる。
このタッチパネル612は、カメラ602をポインタデバイスとして利用することが可能である。さらに、連続してポイントを認識することにより、トレースデバイスとして利用することが可能である。たとえば、このタッチパネル612を上向きに配置し、従来のトレース用のライティングテーブルとして使用することができる。
なお、前記タッチパネルはパソコン608のモニター画面に装着した場合で説明したが、PDAの表示画面、写真シール販売機の画面、銀行のATM端末の画面等に利用できる。
図14はドットパターン部607を形成したマウスパッドとマウス型のカメラとからなる他の実施形態を示す断面図である。図15はマウス型カメラを示す平面図である。
この実施形態では、カメラ602をマウス型のケース615に内蔵し、マウスパッド616と組み合わせる。このマウス型のケース615内に半透過式鏡体617を取り付け、このマウス型のケース615の下面615aからマウスパッド616の表面を認識することができると共に、ケース615の上面615bの開けた窓618から、マウスパッド616に印刷されている座標情報を持たせたドットパターン部607をなぞるようになっている。この窓618の側にボタン615cを設けたものである。
このマウス型ケース615内のカメラ602はマウスパッド616を認識することにより、通常のマウスに代わる入力デバイスとして使用できる。特に通常のマウスが、相対座標でしか入力できなかったのに対し、絶対座標での入力も可能となる。
図16はマウス型のカメラの他の実施形態を示すものであり、(a)は平面図、(b)は側面図である。図17はさらにマウス型のカメラの他の実施形態を示すものであり、(a)は平面図、(b)は側面図である。
この実施形態では、図16に示すようにカメラ602をマウス型のケース615の突端615dに内蔵した。このようにマウス型のケース615に突端615dを形成することにより、マウスパッド616の所定位置に容易に位置決めし、ボタンスイッチ615eを押すことができ、このマウス型のケース615の下面615aからマウスパッド616の表面を認識することができる。
なお、ケース615の下面615aにボタンスイッチ615fを設けることも可能である。このようにボタン615fを、マウスパッド616の所定位置においてマウス型のケース615をマウスパッド面に押し付けるだけで、このボタンスイッチ615fが入るようになっている。
図18はドットパターン部607を形成した印刷面をタブレットとして利用する他の実施形態を示す断面図である。
この実施形態では、カメラ602が内蔵されているペン状部材619と、テーブル620(またはトレース台)と組み合わせ、ドットパターン部607を形成した印刷面をタブレットとして利用する。テーブル620の上に、ドットパターン部607が印刷された紙621(印刷面)をセットし、このペン状部材619で絵や文字をなぞり、スイッチ622aを入れることによりデータをパソコン608やPDAに取り込むことができる。さらに、ペン状部材619の先端に、圧力スイッチ622bの先端部を突出させている。
このペン状部材619は、ディスプレイを見ることなく、通常の絵や文字を描くのと同様に手元の紙の上に絵や文字を描けば、そこに描いたものを、カメラ602がその音声等の情報を認識してパソコン608やPDA等に入力される。そこで、イラストや図面作画用にも、またトレース用にも使える。今までは、マウスでなぞりながらディスプレイを見る必要があったが、その必要がなくなり、入力負荷が減る。また、従来タブレットと呼ばれる座標入力機器でしか実現できなかった操作が安価で実現できる。
図19はペン状部材の先端にカメラを取り付けた他の実施形態を示す断面図である。図20はさらにペン状部材の先端にカメラを取り付けた他の実施形態を示す断面図である。
ペン状部材619の先端に取り付けるカメラ602は、図示するように、ペン状部材619の先端で首振り自在に取り付けることができる。このようにカメラ602を首振り自在に構成することにより、ドットパターン部607の印刷面に対してカメラ602を常に垂直に当てることができ、カメラ602(ペン状部材619)の傾きが原因する歪を考慮する必要がない。
図20は圧力スイッチをペン状部材の先に取り付けた他の実施形態を示す断面図である。スイッチ622は、必ずしもペン状部材619に設ける必要はなく、図示するように、首振り自在になるカメラ602の側に取り付けることもできる。このように、カメラ602のスイッチ622を、ドットパターン部607の印刷面に押し付けるだけで、このボタンスイッチ622を入れることができる。
このように、本発明はパソコン608における通常のキーボードとマウスに代わってこのパソコン608を操作することができ、押すだけで誰でもパソコン608を簡単に操作することができる。そこで、本発明は人との親和性の高いインターフェースにすることができる。また、入力パッドよりも、簡単な構造で安価に製造することができる。
なお、本発明は上述した発明の実施形態に限定されず、印刷物606や透明フィルム611(タッチパネル612)のドットパターン部607を認識することにより、所定の情報や音声を再生させて様々な使用を可能にする構造であれば、上述した形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
図21は本発明のカメラ入力による情報入出力方法の構成を示すブロック図であり、(a)はドットコードの生成について、(b)はドットパターンの認識についての説明図である。図22はドットパターンの一例を示す正面図である。
本発明のカメラ入力によるドットパターンを用いた情報入出力方法は、ドットパターン1の生成と、そのドットパターン1の認識と、このドットパターン1から対応した情報およびプログラムを出力する手段とからなる方法である。すなわち、ドットパターン1をカメラユニット2によりその画像データを取り込み、先ずキードット3を抽出し、次に情報ドット4を抽出することによりデジタル化して情報領域を抽出して情報の数値化を図り、その数値情報より、このドットパターン1から対応した情報およびプログラムを出力させる方法である。
本発明のドットパターン1の生成は、ドットコード生成アルゴリズムにより、情報を認識させるために微細なドット(キードット(KD)3a、格子ドット(LD)3b、情報ドット4)を所定の規則に則って配列する。ドットパターン1の認識には、カメラユニット2のレンズによる歪率の補正、またはカメラユニット2の傾きによる歪の補正と、キードット3a(KD)と情報ドット4の数値情報の再生とからなる。ドットパターン1については、C−MOSカメラまたはCCDカメラ等の撮像素子を備えたカメラユニット2を用いてその画像データを取り込む。
上述したようなドットパターン1は、種々の印刷物5に印刷することによりドットパターン部6を構成する。特に、本発明では、図23に示すように、このドットパターン部6の他に、人が通常にそのまま情報内容を目視にて認識することができる文字または図等で表示された情報伝達部7を印刷物5の同一面に印刷してある。ここで、情報伝達部7はノンカーボンインクを用いて印刷することが望ましい。また、ドットパターン部6を構成するドットはカーボンインクで印刷することが望ましい。
本発明の情報入出力方法では、先ず、カメラユニット2を用いて、ドットパターン部6の画像データを取り込む際に、このドットパターン部6に赤外線を照射することにより、ノンカーボンのカラーインクで印刷した情報伝達部7から、ドットをカーボンで印刷したドットパターン部6のみを正確に読み取ることができる。すなわち、このような文字または図等で表示された情報伝達部7とドットパターン部6が同一面に重ねて印刷された印刷物5におけるドットパターン部6の画像データのみを取り込むことにより、ドットパターン部6の情報のみを抽出することができる。
図23はXY座標情報からなるドットパターンを示す説明図である。図24はXY座標情報からなるドットパターンを認識し、その処理方法についての説明図である。
本発明のドットパターン部6はXY座標情報で作成し、そのXY座標情報と情報伝達部7の内容とを関連付けることができる。このドットパターン部6については、上述したようにカメラユニット2を用いてその画像データを取り込み、その画像情報をデジタル化して数値化し、そのX方向、Y方向の座標情報化したものを、円形部分A、四角部分B、三角部分Cで表現した各情報伝達部7の内容のいずれかの位置に対応させる。このときに図24の参照テーブル1を用いてXY座標と各情報伝達部7の内容とを対応させる。すなわち、どのXY領域が、情報伝達部7のいずれの内容であるかを対照させ、次に図24の参照テーブル2を参照することによりドットパターン部6に対応した情報、プログラムを出力する。
このXY座標情報からなるドットパターン部6によれば、予めドットパターン1を印刷した印刷物5を用意しておき、この印刷物5上に情報伝達部7を重ね印刷するだけで、特定の内容(コンテンツ)に対してXY座標の領域と音声等の情報およびプログラムとを関連付けることが可能になる。すなわち、情報伝達部7の内容に合わせたドットパターン部6を作成する必要がないので、その汎用性が非常に高くなる。
図25はコード番号情報からなるドットパターンを示す説明図である。図26はコード番号情報からなるドットパターンの認識および処理手順を示した説明図である。
本発明のドットパターン部6は、前述したXY座標情報に代えてコード番号情報で作成し、そのコード番号情報と情報伝達部7の内容とを関連付けることができる。たとえば、円形部分Aの情報伝達部7、四角部分Bの情報伝達部7または三角部分Cの情報伝達部7の内容に対応して、それぞれ1つのコード番号情報を含んだドットパターン部6を印刷する。このドットパターン部6についても、上述したようにカメラユニット2を用いてその画像データを取り込み、その画像情報をデジタル化して数値化(コード番号情報化)し、図26の参照テーブルを参照することによりそのドットパターン部6に対応した情報、プログラムを出力する。
このコード番号情報からなるドットパターン部6によれば、コード番号と情報伝達部7の内容が直接対応しているために、図26に示すように、参照テーブルを1つ作成すればよい。さらに、参照テーブルを1つ作成すればよいので情報処理時間を短縮することができる。
なお、XY座標情報とコード番号情報からなるドットパターン部6を印刷物5の同一平面上に印刷することは勿論可能である。
図27は印刷物に赤外線を照射することにより、ノンカーボンのカラーインクで印刷した文字または図等の情報伝達部から、カーボンインクで印刷したドットパターン部の画像データのみをカメラで取り込む状態を説明する説明図である。
図示するように、印刷物5は白色用紙に対して、赤外線域波長において透明で、かつ可視光域波長において発色するインク、例えばノンカーボンインク(染料インク)などで印刷した情報伝達部7を形成したものである。次に、この印刷物5に対してさらに赤外線域波長において発色するインクで印字、例えばトナー等のカーボンインク、赤外線インク、透明インク等で印字したドットパターン部6を形成する。この情報伝達部7とドットパターン部6とを同一面に重ねて印刷した状態に対してカメラユニット2のカメラで撮像する。このとき、赤外線フィルター2aは、可視光線波長をカットし、赤外線域波長のみを通過させる。カメラにはドットパターン1のみの情報を入手することができる。逆に、ドットパターン部6を先に印刷し、次に情報伝達部7を印刷することも可能である。
このカメラユニット2が、これらのドットパターン部6に所定の規則により印刷されたドットを認識し、それをデジタル化して数値化し、その数値情報の読み取りにより、そのドットパターン部6は印刷物5のどの領域にある情報またはプログラムかを認識して、それに対応するように記憶した種々の情報およびプログラムを記憶部(メモリ)より出力および実行する。たとえば、ドットパターン部6に対応した情報およびプログラムは、テキストおよび画像あるいは音声により出力させることができる。
なお、カメラユニット2で印刷物5中のドットパターン部6の画像データのみを取り込む際に、ドットパターン部6に紫外線を照射する方法によることも可能である。
上述した本発明の方法では、印刷物5という媒体を介在して種々の音声情報を出力、実行させることができる。たとえば、絵本、飛び出す絵本、写真自体、教材、テキスト、問題集、雑誌、新聞紙、カード、会員証、フォトスタンド、粘着剤付写真、博物館内の展示物の説明、カードゲーム、ボードゲーム、パンフレット、通信販売のカタログ等のあらゆる印刷物5に応用することができる。このように、印刷物5中の文字または図等からなる情報伝達部7からの視覚情報と同時に、ドットパターン部6からの音声情報を共に認識することができる。
図28はカメラ入力による情報入出力方法を用いた携帯情報入出力装置の第一の実施形態を説明する機能ブロック図である。
携帯情報入出力装置は、カメラユニット2からなるセンサ部8と、処理部9と記憶部(メモリ)10とからなる本体処理部11とを備えたものである。このセンサ部8は、印刷物5中のドットパターン部6の画像データのみを取り込むカメラユニット2と、この画像データをデジタル化して数値化する画像処理部12とを備えたものである。このカメラユニット2の近くに印刷物5に赤外線を照射する赤外線発光部13を備えている。
本体処理部11は、画像処理部12で画像処理した数値より、ドットパターン部6に対応する、予め記憶させた記憶部(メモリ)10の情報およびプログラムを出力および実行させる処理部9を備えたものである。この本体処理部11には、スピーカ14、イヤホンまたは液晶モニタ25等の出力部15を備えている。この出力部15からは、この音声による出力以外に、音声出力(ライン)、TVモニタまたはパソコンに画像出力することも可能である。
記憶部10には、予め情報およびプログラムを記憶させるほかに、後から情報およびプログラムを記憶させることができる。たとえば、この記憶部10に入力部17となるマイク17aを用いて音声により情報およびプログラムを記憶させることも可能である。この入力部17には、マイク17aの他に、音声入力端子、映像入力端子、パソコン等を接続して情報およびプログラムを記憶させることができる。
このように、たとえばマイク17aを用いて音声を後から入力することができるので、携帯情報入出力装置は、絵本等の印刷物5に関連した自分や知人の声をマイク17を用いて記憶させておき、その後、この携帯情報入出力装置でその印刷物5を読み取ることで、別の人がその印刷物の内容に対応した音声情報を聞き取ることができる。たとえば、「親子の伝言装置」として、あるいは写真に声を入れた「ボイスメッセージの入った粘着剤付写真」といった用い方が可能である。
この本体処理部11には、通信カード16を装着して外部の情報およびプログラムを出力または実行させることができる。たとえば、カメラユニット2で入力したドットパターン1を数値化し、そのデータを通信カード16を介してサーバ等のコンピュータ23に送信することができる。また、カメラユニット2で入力したドットパターン1を数値化し、そのデータを通信カード16を介してサーバ等のコンピュータ23に送信し、そのデータに対応する情報およびプログラムを受信する、ことも可能である。カメラユニット2で入力したドットパターン1を数値化したデータを入力し、それに対応した音声を入力する。通信カード16を装着して前記記憶部10に情報およびプログラムを記憶させる。
このように通信カード16を用いることで、情報およびプログラムを容易に送信し、受信することができる。たとえば、携帯情報入出力装置を用いてアンケートに声で答え、この音声情報をサーバ等のコンピュータ23に送信することができる。問題集またはテストに声で回答し、その音声情報をサーバ等のコンピュータ23に送信して、発音テストや添削することができる。
さらに、印刷物5等その他の媒体のドットパターン部6にURL情報を埋め込み、スキャンしたら自動的にそのサイトに接続する。あるいはその接続後、特定の動作を行うように構成することも可能である。
また、音の出る出版物を自作することができる。絵葉書、手紙に音声情報を後から入れることができる。たとえば、これらの印刷物5にBGM(バック グラウンド ミュージック)、SE(サウンド・エフェクト)等を後で付加することができる。
この本体処理部11にはGPS24をさらに設けることにより、現在の位置情報を容易に表示することができる。
図29はカメラ入力による情報入出力方法を用いた携帯情報入出力装置の実施形態を説明する機能ブロック図である。
この実施形態の携帯情報入出力装置では、センサ部8にはカメラユニット2のみを備え、センサ部8をコンパクトに構成することができる。
なお、本発明は図示例の実施形態に限定されず、印刷物5中のドットパターン部6のみを認識することにより、所定の情報や音声を再生させて様々な使用を可能にする構造であれば、上述した利用方法に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
図30はコンパクトなケース本体に収納した携帯情報入出力装置を示す斜視図である。図31はコンパクトなケース本体に収納した携帯情報入出力装置を示すものであり、(a)は全体の斜視図、(b)は平面図、(c)は側面図と(d)は正面図である。
本発明の携帯情報入出力装置は、手のひらの中に容易に収まる程度の大きさの本体ケース18内に上述した本体処理部11を収納し、この本体ケース18にカメラユニット2を下向きに設け、側面に出力部15となるスピーカ14を、あるいはイヤホン端子19を設けている。この本体ケース18の上部にボタンスイッチ20を設け、また正面にはUSB端子21や記憶部10となるメモリカードスロット22を備えている。
本発明の携帯情報入出力装置は、さらに液晶モニタ25、イヤホンジャック19、TVモニタ用出力端子26等を設けることができる。また、本体ケース18にはマイク17a、撮影ボタン27、収録ボタン28、プログラム選択ボタン29、出力ランプ30、GPS24、音声入力端子31、USB端子21や記憶部10となるメモリカードスロット22を備えている。
この本体ケース18は、手のひらの中に収まりやすい形状にするために図31に示すように、全体に丸みを帯びた形状にすることができる。このように形成することにより印刷物5のドットパターン部6の画像データを容易に取り込むことが可能になる。
なお、本体ケース18の形状は、図示例の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
図32と図33はカメラと出力部分とを別体に構成した実施形態を説明する機能ブロック図である。
この実施形態では、カメラユニット2を、前述した画像処理部12、記憶部10、処理部9および出力部15と分離し、インターフェース部を介して送信するように構成することができる。このインターフェース部は有線のほかに無線で送信する。無線で送信するときは、図示するように、インターフェース部となる無線送信部32と無線受信部33を介して送信することができる。
図33では、センサ部8にはカメラ2のみを備えたものである。このように構成することにより、センサ部8をコンパクトに構成することができる。
図34はカメラユニット部分と出力側本体を分離した装置を示す斜視図である。
図示例ではカメラユニット部分と出力側本体を分離し、ケーブル34で接続した有線型を示している。このように分離することにより、印刷物5に対してカメラユニット2を当てやすくなり、本発明の携帯情報入出力装置について卓上で使用しやすくなる。このカメラユニット2は、カメラの周囲にリング型スイッチ35を構成したものである。このように構成することにより、印刷物5に対してカメラユニット2を押し当てるだけでスイッチを入れることができ、片手で容易に操作することができる。
図35はカメラユニット部分の他形態を示す斜視図であり、(a)はペン型のカメラユニット、(b)はペン型のカメラユニット、(c)はマウス型のカメラユニット、(d)は聴診器型のカメラユニットの例を示すものである。
(a)のペン型のカメラユニット2は、ペン36の軸先にバヨネット37でフレキシブルに可動するようにカメラユニット2を接続したものである。これにはペン軸にボタンスイッチ38を設けている。(b)のペン型のカメラユニット2は、ペン36の軸先にバヨネット37でフレキシブルに可動するようにカメラユニット2を接続し、かつカメラの周囲にリング型スイッチ39を構成したものである。このように構成することにより、印刷物5に対してカメラユニット2を押し当てるだけでスイッチを入れることができる。(c)のマウス型のカメラユニット2は、パソコン用のマウスの形態を模したマウス型本体40にカメラユニット2を設けたものである。これにはマウス型本体40の上面にボタンスイッチ38を設けている。このマウス型のカメラユニット2は手のひらに入る大きさであるために、パソコンのマウスのように印刷物5上で操作することができる。(d)の聴診器型のカメラユニット2は、聴診器のように指で挟める本体41にカメラユニット2を設けたものである。これにもボタンスイッチ38を設け、指先で摘んで操作することができるようになっている。
図36は携帯電話機用のカメラを用いた情報入力装置の実施形態を説明する機能ブロック図である。
情報入力装置118は、カメラユニット102からなるセンサ部108と、処理部109からなる本体処理部111とを備えたものである。このセンサ部108は、印刷物5中のドットパターン部6(図27参照)の画像データのみを取り込むカメラユニット102と、この画像データをデジタル化して数値化する画像処理部112とを備えたものである。このカメラユニット102の近傍に印刷物5に赤外線を照射する赤外線発光部113を備えている。
本体処理部111は、画像処理部112で画像処理した数値に基づいてドットパターン部6に対応する、予め携帯電話機110内に記憶させた記憶部(メモリ)の情報およびプログラムを出力および実行させる処理部109を備えたものである。この本体処理部111にはGPS(図示していない)をさらに設けることにより、現在の位置情報を容易に表示することができる。
携帯電話機110の記憶部(メモリ)には、予め情報およびプログラムを記憶させるほかに、後から情報およびプログラムを記憶させることができる。たとえば、この携帯電話機110の記憶部にはマイクまたはカメラ(図示していない)等を用いて音声、画像または文字情報により情報およびプログラムを記憶させることも可能である。
図37はカメラを用いた情報入力装置の実施形態を説明する機能ブロック図である。
実施形態の携帯情報出力装置では、センサ部108にはカメラユニット102のみを備え、センサ部108をコンパクトに構成することができる。
図38は携帯電話機用のカメラを用いた情報入力装置を示す説明図である。
上述した情報入力装置118は、携帯電話機110に装着して使用することができる。このように、携帯電話機110に情報入力装置118を装着することにより、カメラユニット102で取り込んだ、ドットパターン部6に対応した情報やプログラムをその携帯電話機110から出力および実行させることができる。
図39は携帯電話機用のカメラを用いた情報入力装置を示す説明図である。
上述した情報入力装置118は、携帯電話機110にインターフェース部119を介して装着することができる。このように、情報入力装置118を携帯電話機110にインターフェース部119を介して装着することにより、情報入力装置118のみを自由に動作させることができる。
この情報入力装置118は、携帯電話機110に装着して次のような利用方法がある。たとえば、印刷物5中の文字または図等からなる情報伝達部7からの視覚情報と同時に、ドットパターン部6に連動した音声情報を共に認識することができる。このときは、携帯電話機110に音声情報の他に、画像、テキスト等を同時に表示することができる。この印刷物5としては、教材、テキスト、問題集、雑誌、新聞紙、写真自体、カード、会員証、フォトスタンド、粘着剤付写真、博物館内の展示物の説明、カードゲーム、ボードゲーム、パンフレット、通信販売のカタログ等がある。
なお、情報入力装置118と携帯電話機110への装着手段は、図示例の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
図40は情報入力装置を内蔵した携帯電話機を示す説明図である。
本発明の情報入力装置118は、携帯電話機110に内蔵することも可能である。このように、携帯電話機110と情報入力装置118とを一体化することで、よりコンパクトな情報入・出力装置を実現することができる。
携帯電話機110には、その通信機能を利用して記憶部に、外部からの情報およびプログラムを記憶させ、この記憶させた情報およびプログラムを送信することができる。このように構成すれば、情報およびプログラムを容易に送信することが可能になる。
たとえば、カメラユニット102で入力したドットパターン1を数値化し、そのデータを携帯電話機110の通信機能を介してサーバ等のコンピュータ123に送信することができる。また、カメラユニット102で入力したドットパターン1を数値化し、そのデータを同じく携帯電話機110の通信機能を介してサーバ等のコンピュータ123に送信し、そのデータに対応する情報およびプログラムを受信することも可能である。カメラユニット102で入力したドットパターン1を数値化したデータを入力し、それに対応した音声、テキスト、画像を入力する。従来から供給されている携帯電話機用の膨大なコンテンツについてドットパターン1を用いて迅速かつ容易に出力と実行することができる。
さらに、このように携帯電話機110の通信機能を用いることで、情報およびプログラムを容易に送信し、受信することができるので、アンケートに声で答え、この音声情報をサーバ等のコンピュータ123に送信することができる。問題集またはテストに声で回答し、その音声情報をサーバ等のコンピュータ123に送信して、発音テストや添削するといった利用方法もある。
また、携帯電話機110にはGPSを設けることにより、現在の位置情報を容易に表示することができる。
図41は本発明のドットパターンを用いた実施形態の携帯用電子玩具の機能ブロック図である。図42は実施形態の携帯用電子玩具を示す正面図である。図43は実施形態の携帯用電子玩具を示す右側面図である。図44は実施形態の携帯用電子玩具を示す左側面図である。図45は実施形態の携帯用電子玩具を示す底面図である。
実施形態の携帯用電子玩具801は、ドットパターンの情報を再生させることにより、媒体802となる書籍、ゲームカード、小物類または玩具等に関する種々の音声または音楽を発生させる玩具である。この携帯用電子玩具801は、書籍等の記載事項と関連する音声を認識させるドットパターン部803と、種々の音声を記憶した音声記憶部804と、その音声をスピーカ805に再生させる処理部(CPU)806と、音声再生LSI807とを備え、これらをケース本体808内に収納したものである。このケース本体808にケーブル809で、ドットパターン部803の画像データを取り込むためのペン型のカメラ810を接続したものである。
携帯用電子玩具801のケース本体808内に収納した音声記憶部804は、書籍等の記載事項と関連する音声を認識させるドットパターン部803の情報に基づいて再生させる音声を記憶させたものである。この音声記憶部804は、そのまま内部メモリとして使用するだけでなく、外部メモリを使用して最新のコンテンツを取り込むことができる。たとえば、外部からプログラムをダウンロードしてその音声内容を更新することができ、一台の携帯用電子玩具801を繰り返し使用することができる。
カメラ810は、書籍、ゲームカード、小物類または玩具類に貼り付けるドットパターン部803または書籍等に認識信号となる数字、文字等を直接印刷したドットパターン部803の画像データを取り込むものである。カメラ810で取り込んだドットパターン部803の画像データは、画像処理アルゴリズムで処理してドットを抽出し、歪率補正のアルゴリズムにより、カメラ810が原因する歪を補正するので、歪率の高いレンズを付けた普及型のカメラ810でドットパターン部803の画像データを取り込むときにも正確に認識することができる。また、ドットパターン部803の面に対してカメラ810を傾けて読み取っても、そのドットパターン部803を正確に認識することができる。
このカメラ810は、ドットパターン部803の情報を認識して、それに対応する音声、音楽を音声再生LSI807でスピーカ805から再生させる。
本発明の携帯用電子玩具801のケース本体808は、たとえば縦13cm×横18cmの「システム手帳」のサイズで容易に携帯できるような大きさからなる。そこで、この携帯用電子玩具801を手に持ったり、バッグに入れて携帯することができる。
また、ケース本体808に設けた液晶表示部812により、音声以外の情報も同時に表示する。この液晶表示部812は画像再生LSI813で表示させる。このように音声以外の情報も同時に入手することができるので、本発明の携帯用電子玩具801の応用範囲が広い。この携帯用電子玩具801は、ケース本体808の側面のスイッチ14をオンにすると、パイロットランプ15が点灯する。
音声記憶部804は、その記憶媒体816として、フラッシュメモリ、コンパクトフラッシュ(登録商標)、スマートメディア、記憶用ICカード、メモリースティック等を用いることができる。これにより音声内容を容易に変更し得る。
音声記憶部804は、たとえば、外国語の発音等を音声で教示する教材として利用できるコンテンツデータ(音声データ、画像データ、動画データまたは文字・記号等のキャラクタコードデータ)を記憶する。その他に、音声記憶部804は、音楽を作れる絵本や、フィギュア人形を使った楽団として利用できるコンテンツ、組立てブロック等の玩具と合わせて音声が発生する教材として利用できるコンテンツ、「音の出る絵本」として、絵本の絵に加えて音楽や主人公等の会話まで発生させる絵本として利用できるコンテンツ、「音の出る辞書」として、外国語の単語や文章をなぞると翻訳してくれ辞書ソフトとして利用できるコンテンツを記憶させる。
さらに、本発明は、対戦型カードと組み合わせて、その対戦ゲームやRPGソフトができる。「販促ツール」として、商品の特徴や会社概要を音声で解説するパンフレットとして利用することができる。あるいは、「各種情報(ガイド等)」として、博物館等の施設や観光地の名所等を音声で解説する電子機器として利用することができる。
このカメラ810はその使用後には、本発明の携帯用電子玩具801を携帯できるようにケース本体808の側面に格納できるようになっている。
カメラ810の近くにライト(図示していない)を設けることにより、ドットパターン部803を照明して暗い場所でもこのドットパターン部803を正確に認識することができる。
本発明の携帯用電子玩具801は、書籍、ゲームカード、小物類または玩具等の媒体802とドットパターン部803との組み合わせにより、次のような様々な使用方法がある。
「音が出る教材」
ケース本体808の底面にセットできるミニサイズの書籍を教材として用いることができる。本発明は携帯性に優れているという特長を活かし、場所を選ばず、いつでもどこでも勉強することができ、子供から大人、老人までのすべての世代に向けた「音が出る教材」として利用することができる。たとえば、書籍の文字をなぞると音声が再生され、英会話等の語学教育や知育・音楽等の幼児教育、ドリル等の補助教材として使用できる。
「対戦カードゲーム」
本発明の携帯用電子玩具801は、「対戦カードゲーム」として利用することができる。対戦カードゲームに対応した「専用シール&データ集」を制作し、それぞれのカードに対応したドットパターン部803を貼付すると、携帯用電子玩具801のスピーカ805からそのカードのキャラクタが生き生きと話し出すようにすることができる。また、キャラクタの声で解説を流したり、裏技を教えるなど、カード機能を拡張するアイテムとしても活用できる。
または、人気の映画カードに対応した「専用シール&データ集」を制作すれば、カードに対応したドットパターン部803を貼ると、映画のセリフや音楽が流れるようにすることができる。あるいは、確実なファン層を持つ、アイドルカードに対応した「専用シール&データ集」を制作し、それぞれのカードに対応したドットパターン部803シールを貼ると、アイドル本人のプレゼントボイスが流れるようにすることができる。このとき、1枚に付き曲が1フレーズだけ流れ、全部集めると1曲になるといったタイアップ展開に利用することも可能である。
本発明の携帯用電子玩具801は、身の回りにある様々なモノにドットパターン部803を貼り付け、音を出して楽しむことができる、イタズラ感覚の「専用シール&データ集」を制作し、身の回りのモノにドットパターン部803を貼り付けて、カメラ810でなぞると話し出させることができる。たとえば、男の子なら皆大好きなミニカーキットと組み合わせ、音の出る道路を作るための「専用シール&データ集」を制作する。踏み切りや建物が同梱されたミニカー用の道路キットにドットパターン部803を付け、踏み切りにきたら「カンカンカン」、道路からはみ出したら「キキー!危ないよ!」などと音声が流れるようにして、臨場感を出すことができる。
本発明の携帯用電子玩具801は、ドットパターン部803が沢山プリントされたTシャツを制作し、身に付けて楽しむという、新しい遊び方に使用することができる。
本発明の携帯用電子玩具801は、「占い装置」として利用することができる。自分で楽しむことは勿論、新歓コンパや忘年会といったパーティの余興で使用することができる。たとえば、「専用文字盤」に書かれた文字(ドットパターン部803)を順番にカメラ810でなぞると、ランダムで面白いコメントが流れるようにする。文字盤を使って名前を入力することで、姓名判断に使用することができる。「今日の運勢」などのコメントが流れるようにし、たとえば「恋愛運、仕事運、健康運、ともに最悪。ただし、動物運だけはサイコウです。外出すれば、散歩している犬とすてきな恋が芽生えるかも!」といった脱力系のコメントを表示するようにすることができる。
「宝探しゲーム」
本発明の携帯用電子玩具801は、「宝探しゲーム」として利用することができる。
参加者の数だけ本発明の携帯用電子玩具801を用意し、事前にドットパターン部803を色々な場所に隠し貼っておく。その後、一斉にスタート地点(玄関など)を出発し、隠されたドットパターン部803を見つけ出し、「廊下を探せ」などといった次の場所へ行く指示を探しながら進んでいき、一番早くゴールのドットパターン部803を見つけた人が勝ちといったゲームに使用することができる。
「外国語翻訳装置」
本発明の携帯用電子玩具801により、「外国語翻訳装置」として利用することができる。
英字新聞や外国の雑誌などを読んでいて分からない単語に出会ったとき、カメラ810で単語(ドットパターン部803)をなぞると、それに対応した日本語に翻訳して読み上げるように使用することができる。
複数の携帯用電子玩具801が、ネットワークに対応できるようにケース本体808にUSBコネクタ(図示していない)を設けることができる。このUSBコネクタにつないだケーブルを相互に接続したり、パソコン等につないでネットワーク化することも可能である。
図46は主にミニフィギュアに相応する音声を発生させる携帯用電子玩具の実施形態を示す斜視図である。図47は複数の音声発生玩具をコントローラユニットに接続した状態を示す斜視図である。
実施形態の携帯用電子玩具821は、主にミニフィギュアに相応する音声を発生させるように構成した玩具である。この携帯用電子玩具821は、ミニフィギュア822のキャラクタ相応する音声情報を発生させるためのコード情報を記録したドットパターン部803と、ケース本体823内に収納した、音声を記憶した音声記憶部804と、カメラ810と、音声をスピーカ805に再生させる処理部(CPU)806と、音声再生用LSI807を備えたものである。
ドットパターン部803は、ミニフィギュア822の台824またはボトルキャップの内面天井に貼り付けられるように円形状のシート材からなり、その一面に粘着剤を貼付し、シート材の他面にドットパターン部803を表示したものである。なお、このシート材に代えて、ミニフィギュア822自体にドットパターン部803を印刷することも可能である。
携帯用電子玩具821のケース本体823内に収納した音声記憶部804は、そのまま内部メモリとして使用するだけでなく、外部メモリを使用して最新のコンテンツデータを取り込むことができる。たとえば、外部からプログラムやデータを入力またはネットワークを介してダウンロードしてその音声内容を更新することができ、一台の携帯用電子玩具821を繰り返し使用することができる。
ケース本体823の中央部分のカメラ810の近くに照明手段としてのライトを設けることにより、ドットパターン部803を照明して暗い場所でもこのドットパターン部803を正確にその画像を取り込むことができるようにすることが好ましい。
図48は実施形態の携帯用電子玩具の機能ブロック図である。
複数の携帯用電子玩具821が、ネットワークに対応できるようにケース本体823にUSBコネクタ(図示していない)を設けることができる。このUSBコネクタにつないだケーブルをパソコン等につないでネットワーク化することも可能である。
図49は本発明の光学文字認識(OCR)を用いた実施形態の携帯用電子玩具の機能ブロック図である。
この実施形態では、前述の実施形態のカメラ810とドットパターン部(認識シール)803に代えて、光学文字認識センサペン831と音声認識信号部32を採用した。すなわち、携帯用電子玩具801は、光学文字認識を用いることにより、媒体802となる書籍、ゲームカード、小物類または玩具等に関する種々の音声または音楽を発生させる玩具である。この携帯用電子玩具801は、書籍等の記載事項と関連する音声を認識させる音声認識信号部832と、種々の音声を記憶した音声記憶部804と、その音声をスピーカ805に再生させる処理部(CPU)806と、音声再生LSI807とを備え、これらをケース本体808内に収納したものである。このケース本体808にケーブル809で光学文字認識センサペン831を接続したものである。
光学文字認識センサペン831は、書籍、ゲームカード、小物類または玩具類に貼り付けるアイコンシール(音声認識信号部832)または書類等に認識信号となる数字、文字等を直接印刷した音声認識信号部832をなぞるものである。すなわち、この光学文字認識センサペン831が、音声認識信号部832に記載されている数字、簡易的なマーク等を認識して、それに対応する音声、音楽を音声再生LSI807でスピーカ805から再生させる。
図50は磁性体を用いた実施形態を示す携帯用電子玩具の機能ブロック図である。
この実施形態では、前述の実施形態のカメラ810とドットパターン部(認識シール)803に代えて、磁気読取センサペン841と磁気記録部842を採用した。すなわち、この携帯用電子玩具801は、媒体802等に相応する音声を認識させるために磁気記録部842を用い、この磁気記録部842に対応する音声を記憶した音声記憶部804と、この磁気記録部842を読み取る磁気読取センサペン841とを備えたものである。この磁気読取センサペン841で磁気記録部842を読み取り、音声記憶部804からそれに対応した音声を音声再生LSI807でスピーカ805に再生させる。
この実施形態では、媒体802の種類に対応した音声、音楽を再生するだけでなく、さらに、媒体802に貼り付けた磁気記録部842の記録内容を容易に変換することができる。そこで、使用者が自分の好みの音声に容易に変更することができる。
図51はカメラ等の撮影ペンを用いた実施形態を示す携帯用電子玩具の機能ブロック図である。
この実施形態では、前述の実施形態のドットパターン部(認識シール)803に代えたものである。すなわち、媒体802に印刷された個々の形状または色彩に対応する音声を記憶した音声記憶部804と、媒体802に印刷された形状等を撮影するCCDカメラ等の撮影ペン851と、この撮影ペン851で撮影した形状、色彩または形状と色彩に関する映像に基づき音声記憶部804からそれに対応した音声をスピーカ805に再生させる処理部806とを備えたものである。
この実施形態では、ドットパターン部803、音声認識信号部(認識シール)832または磁気記録部(磁気シート)842を用いることなく、媒体802に印刷された形状と色彩に対応した音声、音楽を再生することができる。なお、CCDカメラ等の撮影ペン851の近くにライト(図示していない)を設けることにより、媒体802を照明して暗い場所でもその形状等を正確に撮影することができる。
さらに、このCCDカメラ等の撮影ペン851によって、媒体802に貼付し得る音声認識シール852を用いて、その媒体802に対応する種々の音声または音楽を発生させることもできる。たとえば、媒体802に貼付し得ると共に、該媒体802等に相応する音声を認識させる音声認識シール852と、この音声認識シール852に対応する音声を記憶した音声記憶部804と、音声認識シール852を撮影する撮影ペン851と、撮影ペン851で撮影した音声認識シール852の認識信号となる数字、文字等に関する映像に基づき音声記憶部804からそれに対応した音声をスピーカ805に再生させる処理部806とを備えた構成にする。
なお、本発明は上述した実施形態に限定されず、書籍等の媒体802自体を認識することにより、所定の音声を音声再生LSI807でスピーカ805に再生させて様々な使用を可能にする構造であれば、図示したケース本体808、の形状に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
図52と図53はカメラ入力による情報出力機能を有するフィギュアユニットについて、カメラと出力部とを一体に構成した実施形態を説明する機能ブロック図である。
実施形態は、カメラ202と画像処理部212とからなるセンサ部208と、処理部209と記憶部(メモリ)210とからなる本体処理部211とを備えたものである。このセンサ部208は、印刷物5中のドットパターン部803の画像データのみを取り込むカメラ202と、この画像データをデジタル化して数値化する画像処理部212とを備えたものである。このカメラ202の近くに印刷物5に赤外線を照射する赤外線発光部213を備えている。
本体処理部211は、画像処理部212で画像処理した数値より、ドットパターン部803に対応する、予め記憶させた記憶部(メモリ)210の情報およびプログラムを出力および実行させる処理部209を備えたものである。この本体処理部211には、スピーカ14等の出力部15を備えている。
記憶部10には、予め情報およびプログラムを記憶させるほかに、後から情報およびプログラムを記憶させることができる。たとえば、この記憶部10にマイク17を用いて音声により情報およびプログラムを記憶させることも可能である。
図53は実施形態の変形例で、センサ部208にはカメラ202のみを備えたものである。このように構成することにより、センサ部208をコンパクトに構成することができる。
図54と図55はカメラ入力による情報出力機能を有するフィギュアユニットについて、カメラユニットと出力ユニットとを別体に構成した実施形態を説明する機能ブロック図である。
この実施形態は、カメラユニットAと、出力ユニットBとからなるものである。カメラユニットAは、カメラ202と、画像処理部212とからなるセンサ部208とインターフェース部となる無線送信部221とからなる。このセンサ部208は、印刷物5中のドットパターン部803の画像データのみを取り込むカメラ202と、この画像データをデジタル化して数値化する画像処理部212とを備えたものである。このカメラ202の近くに印刷物5に赤外線を照射する赤外線発光部213を備えている。
出力ユニットBは、無線受信部222と、処理部209と記憶部(メモリ)210とからなる本体処理部211と、スピーカ214等の出力部215を備えたものである。本体処理部211は、画像処理部212で画像処理した数値より、ドットパターン部803に対応する、予め記憶させた記憶部(メモリ)210の情報およびプログラムを出力および実行させる処理部209を備えたものである。このインターフェース部となる無線送信部221と無線受信部222とは、赤外線を使って通信する。この出力ユニットBはパソコンをそのまま用いることができる。
図55は実施形態の変形例で、センサ部208にはカメラ202のみを備えたものである。このように構成することにより、センサ部208をコンパクトに構成することができる。
図56はカメラユニットを備えるフィギュアを示す斜視図であり、(a)は人形、(b)はサッカーボール、(c)は自動車、(d)は動物の例を示すものである。
図示例は、フィギュア218にカメラ202を備えたカメラユニットAを備えたフィギュアユニットである。カメラ202のレンズを下向きに配置し、このフィギュア218を印刷物5の上に置いたときに、そのドットパターン部803の画像データを取り込む際に、このドットパターン部803に赤外線を照射することにより、ノンカーボンのカラーインクで印刷した情報伝達部7から、ドットをカーボンで印刷したドットパターン部803のみを読み取るようになっている。なお、フィギュア218の形状は、図示例の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
上述した本発明のフィギュアユニットでは、印刷物5という媒体を介在して種々の音声情報を出力、実行させることができる。たとえば、次のような使用方法がある。
「すごろく」や「ボードゲーム」の駒としての利用
本発明のフィギュア218は、「すごろく」や「ボードゲーム」の駒として利用することができる。このフィギュア218を、「すごろく」や「ボードゲーム」の上に置いたときに、フィギュア218のカメラ202で印刷物5上のドットパターン803の特定の音声を発生し、指示内容を音声で知らせることができる。そこで、これらの「すごろく」や「ボードゲーム」の遊び方に幅を持たせることができる。
「軍人将棋」の駒としての利用
本発明のフィギュア218は、「軍人将棋」の駒として利用することができる。このフィギュア218を、「軍人将棋」の将棋盤(印刷物5)上に置いたときに、フィギュア218のカメラ202でボードゲームのベース(印刷物5)上のドットパターン部803の特定の音声を発生し、指示内容を音声で知らせることができるので、今までとは違った新たな側面を持つゲームに飛躍させることができる。たとえば、本体の処理プログラムによって、駒(フィギュア218)の対決に偶然性や時間軸を設けることができる。このような付加価値は、実際の戦場をリアルに再現する重要な要素になり、ノーマルな軍人将棋にはなかった新たな戦略性を生み出し、楽しく遊ぶことができる。
図57は本発明のフィギュアユニットを新シミュレーション・ボードゲームの中央バトルステージに置いた状態を示す斜視図である。
「新シミュレーション・ボードゲーム」の駒としての利用
本発明のフィギュアユニットは、「ボードゲーム」の駒として利用することができる。ベース(印刷物5)とフィギュア218をセットした状態で、ベース(印刷物5)の上にフィギュア218を配置して遊ぶことができる。対戦の際には、中央のバトルステージ(印刷物5)に向かい合わせにフィギュア218を置き、ステージにはドットパターン部803と情報伝達部7が印刷されており、このドットパターン部6をフィギュア218のカメラ202で読み取り、内部の処理プログラムによって、複雑な対戦を展開することができる。
このように、本発明のフィギュアユニットは印刷物5等に印刷した入力インターフェースとして使用できるので、コンテンツ毎にそれに合わせたインターフェースを製造することができる。また、インターネットを経由して、紙のインターフェースをPDF等でダウンロードしてプリンタ装置で出力し、それに応じたプログラムをダウンロードしてパソコン等にセットすれば、インターフェースをネットワーク経由で供給することも可能である。
図58はフィギュアの一形態であるヌイグルミ内にカメラユニットと出力ユニットを内蔵した本発明の他の実施形態を示す説明断面図である。
本発明のカメラユニットAと出力ユニットBについては、上述したフィギュア218の一形態である、綿またはスポンジのような弾力性素材を所定の形態を有する外皮に詰め込んだ、いわゆるヌイグルミ231内に内蔵することが可能である。たとえば、カメラユニットAのレンズ部分をそのままヌイグルミ231の眼球232部分に配置すると共に、出力ユニットBをヌイグルミ231の胴体233内に出し入れ自在に内蔵する。このように構成すれば、お気に入りのヌイグルミ231をそのまま所定の情報や音声を再生させる装置として使用することができる。
図59と60はフィギュアの一形態であるヌイグルミ内にカメラユニットと出力ユニットを内蔵した他の実施形態を示す説明断面図である。
ヌイグルミ231内に内蔵するカメラユニットAは、必ずしもそのヌイグルミ231の眼球232部分に配置する必要はない。たとえば、ヌイグルミ231の眼球232部分以外に、図示するように、ヌイグルミ231の手234に配置することができる。この他に本発明のカメラユニットAは、ヌイグルミ231の尻、腹、足、その他の所望の位置に配置することができることは勿論である。このカメラユニットAの配置位置はヌイグルミ231の種類や大きさまたは遊び方の目的に応じて決定される。
なお、本発明は上述した発明の実施形態に限定されず、印刷物5中のドットパターン部6のみを認識することにより、所定の情報や音声を再生させて様々な使用を可能にする構造であれば、上述した利用方法に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
次に、本発明におけるドットパターンの仕様について図103〜図106を用いて説明する。
ドットパターン部601は、図105に示すように、格子状に配置されたドットで構成されている。なお縦横方向の格子線はドットの配置位置を説明するためのものであり実際の印刷物上には存在しない。
ここで、4×4個の格子領域を1つのデータブロックまたは格子ブロックと呼び、この格子ブロックの四隅(格子線の交点(格子点)上)には格子ドットLDが配置されている。格子ドットLD同士の間隔は0.35mm〜1.0mm、好ましくは0.5mm程度であることが最適である。また、ドットの直径は前記格子ドット間隔の8〜10%程度であることが望ましい。
どの格子ブロックからどの格子ブロックまでが1つのデータであるかを示すためにキードットKDを配置している。
キードットKDとは、格子ドットLDの位置をずらしたものである。すなわち、格子ドットLDは本来格子点上に配置されているが、この位置をずらしてキードットKDを配置している。なお、キードットKDの格子点からのずれは約20%前後程度が好ましい。
前記キードットKDに囲まれた領域、またはキードットKDを中心にした領域が1つのデータを構成している。
このデータの並びは、図104に示すように、左上から下方向に向かって順番に配置されている。
データは、図103に示すように、ドット605を格子ブロック内の中心点からどの程度ずらすかによってデータ内容が定義できるようになっている。同図では、中心から等距離で45度ずつそれぞれずらした点を8個定義することによって単一の格子ブロックで8通り、すなわち3ビットのデータを表現できるようになっている。なお、さらに中心点から距離を変更した点をさらに8個定義すれば16通り、すなわち4ビットのデータを表現できる。
本発明のドットパターンは、1個のデータブロックを構成する格子を自由に定義することができる点に特徴がある。つまり、前述のようにキードットKDがデータ領域の範囲を定義しているため、このキードットKDの配置を変更すれば任意の可変長の格子ブロック群をデータ格納領域として扱うことができるわけである。
また、本発明のドットパターンでは、キードットのずらし方を変更することにより、同一のドットパターン部であっても別の意味を持たせることができる。つまり、キードットKDは格子点からずらすことでキードットKDとして機能するものであるが、このずらし方を格子点から等距離で45度ずつずらすことにより8パターンのキードットを定義できる。
ここで、ドットパターン部をC−MOS等の撮像手段で撮像した場合、当該撮像データは当該撮像手段のフレームバッファに記録されるが、このときもし撮像手段の位置が紙面の鉛直軸(撮影軸)を中心に回動された位置、すなわち撮影軸を中心にして回動した位置(ずれた位置)にある場合には、撮像された格子ドットとキードットKDとの位置関係から撮像手段の撮像軸を中心にしたずれ(カメラの角度)がわかることになる。この原理を応用すれば、カメラで同じ領域を撮影しても角度という別次元のパラメータを持たせることができる。そのため、同じ位置の同じ領域を読み取っても角度毎に別の情報を出力させることができる。
いわば、同一領域に角度パラメータによって階層的な情報を配置できることになる。
この原理を応用したものが図74、図76、図78に示すような例である。図74では、ミニフィギュア1101の底面に設けられたスキャナ部1105でこのミニフィギュア1101を台座上で45度ずつ回転させることでドットパターン部の読取り情報とともに異なる角度情報を得ることできるため、8通りの音声内容を出力させることができる。
本発明において、ダミードットDDを定義することができる。このダミードットDDは、4個の格子ドットLDの正中心に配置したドットである(図106(a)参照)。このようなダミードットは、マスク領域毎に境界を定義した絵本等に適している。図106(c)に示すようにmask1とmask2の領域の境界にダミードットDDを配置している。このようなマスク境界にダミードットDD領域を配置することにより、それぞれのマスク領域に定義されたコード情報を同時に読み取ってしまうことを防止している。図106(d)はダミードットDDの配置状態を示した図である。
また、絵本等の背景部分については、格子ドットの中心にドットを配置しない空ドットを配置することが好ましい。空ドットは、情報が記録された通常のデータドットに比べてドット数が少ないため、ドットパターンの目立たない印刷が可能となる。また、空ドットの連続であるために、模様が生じにくく、単一色の背景に適している。
また、本発明では、本来撮影中心を含む1ブロック分のデータを解析する必要があるが、撮影中心の近傍の格子データ(情報データ)をブロックをまたがって読取りデータとしてもよい。このような場合、本来の1ブロックから欠けている情報データに該当するデータを隣り合う他のブロックから読み込んで1ブロック分のデータに補完して入力を完了することができる。
XY座標を定義するドットパターンについては、撮影中心とは異なるブロックからそれに相当するXY座標を構成する情報ドットを読み、補正をかけて撮影中心のXY座標値とすることができる。
本発明は、以上に説明したような、格子ドットを用いたドットパターンであるため、撮影条件にあまり左右されないという特性を有している。すなわち、撮影条件(カメラのレンズのひずみ、カメラの写す角度、紙の変形)によってドットパターン全体がひずみを起こした場合、4個の格子ドットで形成される形状と、情報ドットの位置のずれが同様に起きるため、格子ドットからの相対的な位置関係にかわりはなく、これら格子ドットを基準に補正計算を行えば、各情報ドット、キードットについての真の位置がわかる。
つまり、本発明の格子ドットを用いたドットパターンは歪みに強いといえる。
図61から図67は、本発明のカメラによるドットパターン入力方法の好ましい実施形態を用いてカメラによりサブブロックで構成された1ブロック相当のドットパターンを読み込む方法を示す説明図である。
図61に示すように、カメラは、被写体に光を照射するためにLEDと、LEDから出射される光をフィルターするためのLEDアクリルフィルターと、被写体からの反射光をフィルターするための可視光フィルター(赤外線透過フィルター)とを備える。カメラを収納する筒は、長手方向が10mm前後で構成されており、ドットパターンの撮像範囲は直径10mmとすると、4mm×4mmのドットパターン1ブロック分(I1〜I16)を読み込むためには、最大2r=2×4√2=11.28mmの撮像範囲が必要となる(図62参照)。これを解消するために、1ブロックとして構成されるキードットの周辺に配置される情報ドット16個を順次読み込むのではなく、他の情報ドットと独立的な情報を有する4個の情報ドット毎(1/4ブロック(サブブロック)毎)に読み込む。これにより、撮像範囲からはずれた1/4ブロックの情報ドットを撮像範囲内にある、他のブロックの対応する情報ドット(1/4ブロック)を入力することにより、1ブロック分の情報を撮像範囲の直径10mm内で入力可能とする。
上記方法により入力されたいずれかの1/4ブロックの中でエラーが生じた場合は、他のブロックの対応する情報ドット(1/4ブロック)を入力し、エラー修正を行う。
図64はカメラの撮像中心がB1ブロックのI8を示しており、撮像中心から最も近いB1ブロックの[I1〜I16]を入力する。
図65はカメラの撮像中心がB1ブロックのI5を示しており、カメラ中心から最も近いB1ブロックの[I1,I2,I3,I4]および[I5,I6,I7,I8]とB2ブロックの[I9,I10,I11,I12]および[I13,I14,I15,I16]を入力する。
図66はカメラの撮像中心がB1ブロックのI6を示しており、中心から最も近いB1ブロックの[I5,I6,I7,I8]とB2ブロックの[I9,I10,I11,I12]、B3ブロックの[I13,I14,I15,I16]とB4ブロックの[I1,I2,I3,I4]を入力する。
図67はカメラの撮像中心がB1ブロックのI7を示しており中心から最も近いB1ブロックの[I5,I6,I7,I8]および[I9,I10,I11,I12]とB4ブロックの[I1,I2,I3,I4]および[I13,I14,I15,I16]を入力する。
図64〜図67において、入力したドットパターンにエラーが生じた場合、代替で入力可能な1/4ブロックのドットパターンがいずれも最大8ヶ所ある。
上述したような本発明のドットパターン1を、絵本、テキスト等の印刷物に印刷することにより、このカメラで画像データとして取り込み、それをデジタル化して求めた数値よりパソコン、情報出力装置、PDAまたは携帯電話等からそれに対応する情報、プログラムを出力させる。
次に、ドットを読み取るための原理およびその装置構成について図107〜113を用いて説明する。
光の反射は、物体表面において、物体表面の特性によって一定の比率で鏡面反射と拡散反射が生じる。鏡面反射は図110の右図に示すように、物体表面が平滑な場合に入射角と反射角が同一となるように入射した光が反射する。特に、表面が滑らかである場合、鏡面反射係数が大きくなり、光の反射が強く、ハイライトを生じる。
拡散反射では、図110の左図に示すように、表面に細かな凹凸がある場合、入射した光が全方向に拡散して反射する。この拡散反射において、物体表面の特性によって定まる一定の波長の光が吸収される。従って、上質紙やマット紙のように、紙面表面が凹凸である場合、印刷したドット605に含まれるカーボンインクがLED2022による入射光を吸収し、反射光を生ぜずドット605が黒点としてC−MOSカメラ202に写像される(図111左図参照)。ところが、コート紙やアート紙のように表面の平滑な紙やフィルム、プラスチック等にドットを印刷した場合、もしくは印刷したドットの表面をコーティング、あるいは透明フィルムでカバーした場合は鏡面反射を生じ、カーボンインクがLED2022の光を吸収しないでハイライトとなり、C−MOSカメラ202にドット605が写像できない状態となる(図111右図参照)。そこで、これを回避するために、図107に示すように、LED2022からの直接光が鏡面反射して、C−MOSカメラ202に入射しないような位置、すなわちC−MOSカメラ202の側方にLED2022を配置すると供に、拡散反射する表材を内壁2021に用いて、LED2022からの光を内壁2021に反射させ、間接光として柔らかな光を平滑な紙面に均一して照射することにより、ハイライトを生じさせないようにする。
また、図108に示すように、LED2022からの光をアクリル等のフィルタ2023を介して、光を拡散させて紙面に均一に照射することにより、ハイライトを生じさせないようにしてもよい。さらに、図109に示すように、LED2022に対して、その周面を覆うアクリルフィルタ2023を装着してもよい。
図112および図113は、このようなC−MOSカメラとLED1122との理想的な配置を具体的に実現したペン型スキャナの先端部分の内部構造を示す説明図である。
図112は、筒状ケース1124の先端に先端先細状のノーズ部1125を嵌合したものであり、該ノーズ部は軸方向に可動となっており、該可動はノーズ部1125の内面に設けられた突起壁に設けられたスプリングまたはラバー等の弾性部材1121により付勢されている。また突起壁にはC−MOSカメラが装着されており、C−MOSカメラの中央に設けられたレンズ1126は前記ノーズ部先端の開口部に臨むように配置され、開口部からの反射光を撮像できるようになっている。また、レンズ1126の側方には図109で説明したようなフィルタ2023を装着したLED1122(2022)が設けられている。このLED1122は筒状ケース1124内において前記レンズ1126のレンズ面よりも後退した位置に設けられており、LED1122からの照射光が直接レンズ面に入射されない配置構成となっている。
前記突起壁には押圧力により電気回路を電気的に導通させるスイッチ1123が設けられており、前記弾性部材1121の付勢力に抗してノーズ部1125が筒状ケース1124方向に移動すると、ノーズ部1125の基端部がスイッチ1123を押圧して動作させるようになっている。
前記スイッチ1123が作動されることによってLED1122が照射状態となり、C−MOSカメラは読取り処理を開始する。
ペン型スキャナの先端部を図112に示したような構成とすることによって、筒状ケース1124に対してノーズ部1125をはめ込むだけで組み立て作業が完了するため、組み立て効率を向上させることができる。
また、図113はペン型スキャナの先端部の別の構成例を示している。同図の構成では、ノーズ部1125はラバー(弾性部材)1132を介して接着剤等で接続されている。また、スイッチ1123は、前記ラバー1132の内側の所定部分に配置されており、ラバーの弾性力に抗して付勢移動されたノーズ部1125の基端部がスイッチ1123を押圧するようになっている。
また、C−MOSカメラはレンズ1126の側方にアクリルフィルタ1133を介してLED1131が配置されており、スイッチ1123が作動されるとLED1131の照射光はアクリルフィルタ1133を介して前記ノーズ部1125の開口部から外部に照射される。
図68〜図111は、実施形態のさらに変形例を示した図である。
図68は、カメラをペン型スキャナ1001としてペン状のケース(装置本体)1015に収容したものである。
ケース1015内には、バッテリ1016、スピーカ1007、回路基板1017が内設されている。回路基板1017上には中央処理装置(CPU)とメモリが面付実装されている。また図示は省略したマイク等を内蔵してもよい。また、ケース1015の後端(図で右上端部)にはメモリカートリッジ1014が着脱可能に装着されている。このメモリカートリッジ1014にはプログラムまたは既存の音声データ等が登録されるようになっている。メモリカートリッジ1014は交換可能に構成されており、ROMカートリッジ、マイクユニットカートリッジ等に交換可能である。
ケース1015の表面には、ボタン1130a〜1130cが設けられており、読取り開始、録音開始、音声再生等が制御できるようになっている。
当該ボタンの中で録音ボタンを押すことによって図示しないマイクで音声を録音することができる。録音した音声データはメモリカートリッジ1014に記録される。このとき、録音ボタンを押圧した状態のままドットパターン部をスキャンすると当該ドットパターン部に録音した音声が割り当てられる。消去ボタンを押しながらドットパターン部をスキャンすると音声のドットパターン部への割り当てが解除される。なお、このとき音声データはメモリカートリッジ1014に保存されたままであってもよい。
同図において、ケース1015の先端(図で左下端部)には、ケース1015を約45度程度傾けて媒体面に当接したときに、媒体面の鉛直軸に沿ってC−MOSカメラユニット、スプリング1121および先細り状のノーズ1125が設けられている。ノーズ1125は、ケース1015が媒体面方向に押圧されると、スプリング1121の付勢力に抗して後退(情報に移動)し、スイッチ1123を押圧作動させるようになっている。
ノーズ1125内空間にはC−MOSカメラユニットのレンズ1126が該空間に臨むように取り付けられており、ノーズ先端の窓部を撮像可能となっている。
ノーズ1125内空間にはクランク状に45度ずつの2箇所の折曲部を有する照射管1127が設けられている。
該照射管1127は、透明樹脂の筒体で構成されており、その基端面はLED1122に対面しており、LED1122の照射光が照射管内に入射されるようになっている。照射管内壁面で照射光の拡散成分(光軸に対して45度よりも大きな角度の光成分)は照射管内壁面を通過して外部に放射される。そして照射光の直進成分(光軸に対して45度よりも小さな角度の光成分)は照射管内壁面で反射されて管内を進行する。照射光は照射管内で光軸とほぼ平行な成分だけが先端面からノーズ1125の開口部に対して照射されるようになっている。
このように、照射光は、透明樹脂で構成されたクランク状の照射管を通過することによって光軸に平行な集束光となるため、ノーズ部1125の開口部の全域にわたって均一な光量を供給することができる。このように本実施形態によれば、拡散光のような場合に生じる周辺部の暗がりがないため、ドットパターン部607の読取り精度を高めることができる。
図69は、このようなペン型スキャナ1001を装置本体1002に接続したものである。同図において、装置本体1002にはメモリカードスロット1003を備えており、音声データやプログラムが登録されたメモリカード1004を挿入可能となっている。また、装置本体1002にはマイクロホン1005が接続されて外部から音声データを装置本体内のメモリに登録することができるようになっている。音声データは装置本体1002のスピーカ1007又は装置本体1002に接続されたスピーカ1006から出力させることができるようになっている。
なお、図69ではペン型スキャナ1001と装置本体とはケーブルで接続されているが、図70に示すようにスキャナ内に無線インターフェースを内蔵して装置本体1002とは無線で通信を行うようにしてもよい。
図71はペン型スキャナの変形例を示している。同図に示すように、ペン型スキャナ1001aは、バッテリー1010、スピーカ1007を備えており、SDカードやメモリースティックまたはスマートメディア等のメモリーカード1004を装着できるようになっている。
図72は、本発明をボードゲームに適用した場合を示しており、ミニフィギュア1101を駒としてボード1102に記載されたマス目1103をサイコロやスピーカ1104で決定された数字分だけミニフィギュア1101をマス目に沿って移動させるものである。この、ミニフィギュア1101の底面にはCCDやC−MOS等の読取り素子が設けられており、ボード1102のマス目にはドットパターン部が形成されている。したがって、ミニフィギュア1101をマス目上に置くことによってマス目毎に異なった音声情報をケーブルで接続されたスピーカ1104から出力させることができる。これによってたとえば次のマス目への移動指示やゲーム進行にとって必要な情報を音声情報として出力させることができる。
図73は、ミニフィギュア1101と装置本体1102とを分離し、ミニフィギュア1101の底面に設けられたスキャナ部1105で図示しないドットパターン部を読み込んで無線通信で装置本体1102に当該ドットパターンに対応した読取り信号を送信するものである。装置本体1102ではスピーカ1007を備えており、前記読取り信号に対応した音声情報をメモリカード1004から読み出して音声情報として出力するようになっている。
なお、この構成の場合、ミニフィギュア1101と装置本体1102との通信トラフィックを低減するために、ミニフィギュア1101本体内にデコーダを設けて、読み取ったドットパターンの画像データをデコードして数桁のコード情報に変換し該コード情報のみを読み取り信号として装置本体1102に送信することが望ましい。
図74は、ミニフィギュア1101の底面に設けられたスキャナ部1105で台座1110表面に形成されたドットパターン部を読み取る場合の変形例である。本実施形態では、スキャナ部1105のドットパターンに対する位置によって読取り内容を変えることができる。たとえば、ミニフィギュア1101の立設軸を中心にドットパターンに対して所定の角度ずつ傾けると、読取り信号も変化させることができるため、ミニフィギュアの向く方向によって出力させる音声内容も変化させることができる。ドットパターン部に対してミニフィギュアの角度を変化させることで音声内容を変化させる方法については前述したので省略する。
図75は、ミニフィギュア1101の他の構成例であり、この実施形態ではミニフィギュア1101内にはスキャナ部1105の他、バッテリー1010、スピーカ1007が内蔵されており、さらにメモリカード1004が装着可能となっており、メモリカード1004を交換することにより、プログラムまたは音声データを変更させて全く異なるゲームやミニフィギュア1101を全く異なるキャラクタに変更することもできる。
なお、これらの図で説明したミニフィギュア1101は、図面上簡易な人形形状のもので説明したが、アニメーションのキャラクタやペット等の小動物、架空の動物、人物等を模したものであってもよいことは勿論である。
図76は、カード1121にドットパターン部1122が設けられており、このドットパターン部1122を読み取るスキャナが内蔵された台座1123上にカード1121を所定角度で配置することにより音声や表示データで得点が出力される形式の玩具である。
図78は、雑誌等に印刷されたクロスワードパズル1132をペン型スキャナ1001を用いて遊ぶ場合の例を示したものである。紙面のクロスワードパズル1132の空白枠内1133には本発明のドットパターン部1122が形成されており、ペン型スキャナ1001の先端を所定の空白枠1133内に当接させることによって当該空白枠1133に設定された縦列または横列のワードのヒントがペン型スキャナ1001の液晶表示部1131に表示されるようになっている。
この場合、ペン型スキャナ1001の先端部をヒントを希望する空白枠内1133に当接させることで、該空白枠内に形成されたドットパターンを読み込んで当該ワードのヒントを液晶表示部1131に表示させることができる。このとき、同じ空白枠内に当接させる場合であっても、ペン型スキャナ1001を当接させる角度によって縦方向のヒント、横方向のヒント、斜め方向のヒントをそれぞれ表示させることができる。このとき、前述のように、格子ドットに対するキードットの格子点からのずれを中央処理装置(CPU)で計算する際に、カメラの傾き(紙面の鉛直軸を中心にした撮像素子の回転方向へのずれ)を計算できるため、カメラの傾きに応じたクロスワードパズルの縦、横、斜め方向を認識することができる。したがってそれに対応したヒントを記憶手段から読み出して表示したりスピーカ1007から発声させることができる。
なお、ペン型スキャナ1001を縦方向、横方向または斜め方向に2枠程度移動させることによってXY座標方向への移動を検出し(検出方法については前述している)当該方向のワードのヒントを液晶表示部1131に表示させたり、スピーカ1007から音声情報として発声させてもよい。
図80は、自走型の猫のヌイグルミ1141の腹部底面にスキャナ部1105を設けておき、ボードや家庭内の床面にシール等で形成されたドットパターン部1122上を該ヌイグルミ1141が自走することによってドットパターン部1122を読取り、該読取り信号を装置本体1102に送信するものである。
図81は、自走式またはラジオコントロール式の自動車玩具1151の底面にスキャナ部1105が設けられており、ボードや床面にシール等で形成されたドットパターン部1122を読み取って装置本体1102に読取り信号を送信することによって装置本体1102のスピーカ1007からドットパターン部1122に対応する音声情報を出力するものである。
たとえば、市街の道路を印刷したシートを用意し、当該シート上を自動車玩具を走らせて遊ぶ場合、交差点や踏切の手前には該シート上にドットパターン部1122を形成したシールを貼っておき、前記自動車玩具1151が交差点や踏切に接近した際に一時停止を促す音声情報を装置本体1102のスピーカ1007から出力させてもよい。
図82は、対戦型カードゲームに本発明を適用した場合の説明図である。
同図に示すように、装置本体1102には一対のカード挿入口が設けられており、各カード挿入口に対戦する2人のそれぞれの持ちカード1121,1121を挿入することにより、カード1121,1121に設定されたパラメータの優劣を判定するものである。カード1121,1121の表面には図77で説明したようにドットパターン部1122が設けられており、このドットパターン部1122を装置本体1102のスキャナ部1105で読み取ることにより、ドットパターン部1122に対応付けられたパラメータをメモリカード1004から読み出すことで勝敗の判定ができるようになっている。なお、この装置本体1102に液晶表示画面を設けて勝敗結果を表示できるようにしてもよい。なお、図83は、1枚のカードのみを挿入可能とした装置本体1102の例である。
図84は、装置本体1102が単なるカードリーダであり、当該装置本体1102をパーソナルコンピュータと接続する場合の実施形態である。また、図85は、ドットパターン部の形成されたはがき大のシート1161を連続的に読み込むための装置本体1102の例であり、たとえばドットパターン部の形成されたユーザからの返信はがきを次々と読み込む場合に適した装置構成である。
図86は、POSレジ等で利用可能な装置本体1102の例であり、表面にガラス面1171を備えており、ガラス面1171下に配置されたスキャナ部1105でガラス面1171上を通過する商品等に貼付されたドットパターン部1122を走査することによりバーコードと同様な商品管理、販売管理等をすることができる。この場合、本発明では、包装箱または包装紙の印刷表面に印刷面と重畳してドットパターン部を形成できるため、バーコードシステムのように商品の表面を体裁の悪いバーコードシールが占有することがない。
図87は、装置本体を台座1102で構成し、ミニフィギュア1101と組み合わせた例である。この実施形態では、台座1102の上面にガラス板1171が配置され、その下方にスキャナ部1105が設けられている。そして底面にドットパターン部1122が形成されたミニフィギュア1101が台座1102上に載置されると、このドットパターン部1122がスキャナ部1105で読み取られてドットパターン部1122から読み出したコード番号に対応する音声データが挿入されたメモリカード1004から読み出されてスピーカ1007から出力されるようになっている。
図88は、装置本体1102がテレビモニタ1171に接続された例である。装置本体1102から映像信号と音声信号とがピンプラグを介してテレビモニタ1171に出力されるようになっている。音声データと映像データとは装置本体1102のメモリーカード1004または内蔵メモリに蓄積されており、ペン型スキャナ1001で読み取ったドットパターン部1122に対応した動画データが音声データと映像データとに分離されてテレビモニタ1171に入力されて、テレビモニタ1171の画面とスピーカから出力されるようになっている。
図89は、フォトスタンド形式の装置本体1102を示している。写真1181の裏面にはドットパターン部1122が形成されており、スタンド部分の背面にはスキャナ部(図示せず)が設けられており、このドットパターン部1122を読み取ったコード番号に対応した音声情報が装置本体1102に内蔵されたメモリまたはメモリカードから読み出されてスピーカ1007から出力されるようになっている。この実施形態によれば、写真1181毎に予めドットパターン部1122に対応した音声を内蔵メモリまたはメモリカード1004に登録しておくことにより、写真撮影時の解説または「誕生日おめでとう」等の音声メッセージをスピーカ1007から再生させることができる。
なお、スピーカ1007の他にマイク1005を設けて、音声データを内蔵メモリまたはメモリカード1004に登録しておき、予め写真1181の裏面に貼付しているドットパターン部1122と対応付けておいてもよい。
また、同図のフォトスタンド型の装置本体1102には、液晶表示部1131を有しており、撮影日時やメッセージ文章等のデータをドットパターン部1122に対応付けておき、写真1181に対応付けたこれらのデータを液晶表示部1131に表示させてもよい。
図90は、ペン型スキャナ1001をUSBケーブルを介してパソコン1201に接続したものである。ペン型スキャナ1001とパソコン1201との接続はUSBインターフェースを用いる場合の他、RS−232Cによるシリアルインターフェース、LANインターフェース、IEEE1394インターフェース等を用いてもよい。
また、パソコンに無線インターフェースカード1209を装着してペン型スキャナ1001と無線通信で接続してもよい。無線インターフェースについては、ブルートゥース(登録商標)、無線LAN等を用いることができる。また、無線インターフェースの他に赤外線通信等の光インターフェースを用いてペン型スキャナ1001とパソコン1201とを接続するようにしてもよい。
図91は、PDA1202にケーブルでペン型スキャナ1001を接続した図である。PDA1202とペン型スキャナ1001との接続も有線接続の他、無線接続、光通信接続で実現してもよい。
図92は、スキャナをマウス1301に内蔵した場合のパソコン1201との接続を示したものである。マウス1301はUSBインターフェースを介してパソコン1201にケーブル接続する場合が一般的であるが、無線接続または光通信接続を用いてもよい。
図93および図94は、マウス1301にデジタイザ機能を持たせたものである。このマウスの中にはスキャナ部1105が設けられており、マウス1301の先端にガラス部材1302で透過窓を設けて、上方からスキャナ部1105によるドットパターン部1122の読み取りターゲットを目視で確認できるようになっている。
図95は、PDA1202の本体にスキャナ部1105を設けた構成であり、図96はパソコン本体1201にスキャナ部1105を設けた構成を示している。図95のようにPDA1202の本体にスキャナ部1105を設けた場合、PDA1202の本体のスキャナ部1105を紙面等のドットパターン部1122に翳して該ドットパターン部1122を読み取ることができる。一方、図96のようにパソコン本体1201にスキャナ部1105を設けた場合、名刺やカード1121(図77参照)に設けられたドットパターン部1122を前記スキャナ部1105に翳すことによってドットパターン部1105を読み取るように使用できる。なお、図97や図99に示すように、携帯電話1401の本体にスキャナ部1105を設けたり、ゲーム機本体にスキャナ部を設けてもよい(図示は省略)。
図98は、ペン型スキャナ1001を携帯電話1401のコネクタに接続したものである。このような構成の場合、ペン型スキャナ1001で読み取ったドットパターン部に対応する読取り信号を、携帯電話1401に予めダウンロードしたプログラムで処理し、携帯電話の表示部に表示したり、音声出力させてもよい。また、当該プログラムでサーバにアクセスし、読取り信号を送信してサーバで処理した結果データを携帯電話1401で受信するようにしてもよい。
図100は、ペン型スキャナ1001に液晶表示部1131とスピーカ1007とを設けた構成を説明している。この実施形態のペン型スキャナ1001は、その先端にボールペン等の筆記具1601が装着されており、その周囲にスキャナ部1105が設けられている。
このようなペン型スキャナ1001の使用例としては、レストラン等のメニューにドットパターン部1122を形成しておき、当該メニューとペン型スキャナ1001とを来店者に手渡す。
来店者は、メニューを選択して、当該筆記具1601で選択したメニューの四角形状のボックスをチェックする。このときスキャナ部1105で選択されたメニューに対応したドットパターン部1122が読み込まれる。これによりペン型スキャナ1001の内部の中央処理装置の処理によりメモリから当該メニューに対応する文字情報を読み出して液晶表示部1131に表示する。同図では液晶表示部1131に来店者が選択したメニュー名「和風ハンバーグプレートセット」、とカロリー「864kcal」と金額「1,250円」とが表示されている。
このように、来店者自身がメニューを選択し、かつその選択を確認することができるため、店員はペン型スキャナ1001を回収するだけでオーダー処理を完了することができる。
図101は、ペン型スキャナ1001にマイク1005とスピーカ1007とを設けた構成を示している。この実施形態では、写真1181の表面に形成されたドットパターン部1122をスキャナ部1105で読み込んで、読取り完了後にマイク1005を用いて当該ドットパターン部1122に対応した音声を入力する。入力された音声データはペン型スキャナ1001内の図示しないメモリに登録される。このときの音声は、当該写真1181を撮影したとの説明文や挨拶文等が考えられる。なお、写真表面の全体にわたってドットパターン部1122を形成しておけば、集合写真等の場合、写真に写っている個人毎に説明文を登録しておくことも可能である。
次に、当該写真1181の表面で説明を聞きたい部分にペン型スキャナ1001の先端(スキャナ部1105)を当接させることによってスピーカ1007から前述の音声データを再生させることができる。
このように写真1181の他、個々のシールにドットパターン部1122を形成しておき、シール表面にペン型スキャナ1001を当接して音声データを入力させることができる。
図102は、システム手帳1701とノートとペン型スキャナ1001を組み合わせて用いる場合の例を示している。
同図において、システム手帳1701のスケジュール欄1702にはあらかじめドットパターン部1122が形成されている。そして、スケジュール欄1702に予定を登録する際に、出先等で文字を記録する余裕がない場合、ペン型スキャナ1001の先端(スキャナ部1105)を当該予定を入力した日付のスケジュール欄1702に当接させて、図示しないマイクから当該日付の予定を音声で入力しておく。
そして、システム手帳1701上で予定を確認したいときには、確認した日付のスケジュール欄1702にペン型スキャナ1001(スキャナ部1105)を当接させてドットパターン部1122を読み取ることにより、当該日付に対応付けて音声で入力した予定がスピーカ1007から再生される。
なお、前記ペン型スキャナ1001はパソコン1201とUSBインターフェース等で接続可能としておくことにより、パソコン1201内のスケジュール管理システム(たとえば、マイクロソフト社のアウトルックや、ロータス社のノーツ等)とデータリンク(シンクロナイズ)させておけば、ペン型スキャナ1001で日付の欄(スケジュール欄1702)のドットパターン部1122を読み込んだときに当該日付に対応する予定を文字データで同図に示すように液晶表示部1131に表示させることもできる。
なお、ペン型スキャナ1001をパソコン1201に接続しておき、前記システム手帳1701、IDカード、免許証等の表面に形成されたドットパターン部を読み取ることによりパソコン1201の入力制御を行えるようにしてもよい。このようなパソコン1201の制御はいわゆる「ペーパーアイコン」ということができ、パソコン1201の画面上のアイコンを外部のドットパターン部1122が形成された媒体(システム手帳1701に添付したシールやIDカード)に置き換えることができる。
すなわち、ペン型スキャナ1001でこれらの媒体上のドットパターン部1122を読み取り、当該ドットパターン部1122から読み取られたコード情報がパソコン1201内に格納されたコード情報と一致する場合にのみ当該パソコン1201へのアクセスを許可するものである。
前記ドットパターン部1122は、ペーパーアイコンとしてシールに印刷しシステム手帳1701、IDカード、免許証の表面に貼付してもよいし、パソコン1201に接続されたプリンタ装置でユーザ自身が印刷し、当該印刷シートを所持しておいてもよい。
なお、前記ドットパターン部が形成されたペーパーアイコンはパソコン1201へのアクセスを制御するために用いたが、特定のアプリケーションの起動、特定のインターネットサイトへのアクセスの際のIDやパスワードの入力に用いてもよい。
このようなペーパーアイコンは、パソコンのOS上にインストールされたペーパーアイコン用アプリケーションプログラムで管理することができる。
具体的には当該アプリケーションプログラムによって実行される、「パソコン上へのアイコンの登録」、「ペーパーアイコンの登録」、「アイコン消去」の各ステップに分けることができる。
(通常アイコンの登録)
パソコン上のペーパーアイコン用アプリケーションプログラムは、アイコンエディタを有しており、画面上でペーパーアイコンの作成、設定が可能となっている。
前記アイコンエディタにおいて、パソコン上の所定の機能を実行するためのアイコンをエディタ上に登録する際には、まず、アイコンの割り当て(ALLOCATE)をON状態とする。次に、パソコン画面上の所望のアイコンをマウスで指定することにより、当該アイコンがエディタ上に登録される。
このようにしてエディタ上に登録されたアイコンは、初期状態において、ディスプレイ上の表示がON、実行可能状態(active)がONとなっている。
この状態でエディタ上で、ディスプレイ表示をOFFにすると、ディスプレイ上のアイコンが画面上から消滅する。また、実行可能状態(active)をOFFにすると、パソコンでのアイコンの指定実行およびキーボード入力による実行が不能な状態となる。
(ペーパーアイコンの登録)
前記エディタにおいて、ペーパーアイコンの割り当て(ALLOCATE)をON状態とする。次に、ディスプレイ上のアイコンをON状態にして登録したいペーパーアイコンの媒体をペン型スキャナ等でスキャンする。
以上の作業により、選択されたアイコンにスキャンしたペーパーアイコンのドットパターンのコードが登録される(割り付けられる)。
ペーパーアイコンの初期状態では、実行可能状態(active)がON、パスワードが入力可能状態となっている。ここでパスワードを入力すると当該パスワードがエディタプログラムによって暗号化されて登録される。
この状態で、実行可能状態(active)をOFFにすると、前記ペーパーアイコンをペン型スキャナでスキャンしてもアイコンに定義された機能の実行が不能な状態となる。
(アイコンの消去)
消去フラグ(DELETE)をON状態とすると、実行可能状態(active)も連動してOFF状態となる。そして、この状態で当該アイコンイメージフラグを指定すると、当該アイコンは削除され復旧できない状態となる。
(ペーパーアイコンの消去)
ペーパーアイコンの消去についても、消去フラグ(DELETE)をON状態とすると、実行可能状態(active)も連動してOFF状態となる。そして、この状態でペーパーアイコンに割り当てられたコード番号を指定するとパスワードの入力が求められる。そしてパスワードを入力するとエディタ上でのペーパーアイコンのリンクは解消され、復旧できなくなる。
ドットパターン部1122は、実施形態で説明した絵本等の媒体の他、通常の書籍、グリーティングカード、新聞、通信販売カタログ、パンフレット、ペーパークラフト、折り紙、レシピ等に形成してもよい。
たとえば、通信販売カタログにドットパターンを形成しておくことにより、当該ドットパターン部をスキャナ部で読み取って、商品の説明文を発声させたり、パソコン内のメモリに登録された購入申込みプログラムを起動させるようにしてもよい。
また、ペーパークラフトや折り紙にドットパターン部を形成しておくことで、該ドットパターン部をスキャナ部で読み取って、作品の組み立て方をスピーカから音声で解説させるようにしてもよい。
また、レシピにドットパターン部を形成しておくことにより、料理等のレシピを音声で出力させることができる。
また、本発明のドットパターン部を用いてぬり絵のための絵本を提供してもよい。具体的には図106(b)、(c)に示すような領域毎(マスク領域毎)に異なる色をクレヨン、フェルトペン、水彩絵の具等で着色させるようにしてもよい。この場合、ドットパターン部が形成された紙面上であってもノンカーボンの水彩絵の具、クレヨン、フェルトペン等であれば着色が施されていたとしても赤外線は前記着色層を透過させることができるため、ドットパターン部の読取りは可能である。
また、ドットパターン部は、バーコードリーダと重ねて印刷されたものであってもよい。その場合、紙面等の媒体上でバーコードをノンカーボンインクで印刷し、さらにその上にカーボンインクでドットパターン部を印刷する。通常のバーコードリーダーは、小さなドットが打ってあっても、バーコードを正確に読み取ることができる。次に本実施形態のペン型スキャナを用いて、ドットパターン部のみを読み取り情報コードを入力する。
また、バーコードを「(A)可視光線+可視光線の波長領域に近い赤外線もしくは紫外線」或いは、「(B)可視光線の波長領域に近い赤外線もしくは紫外線」を吸収するインクで印刷し、ドットを「(C)バーコードで使用した赤外線もしくは紫外線の波長領域とは異なる赤外線もしくは紫外線」を吸収するインクで印刷してもよい。
この場合、C−MOSSカメラに可視光線遮断フィルターを取り付け、前記(A)もしくは(B)と同一の波長の光を発する第1のLEDを照射し、バーコードのみを読み取る。次に、(C)と同一の波長の光を発する第2のLEDを照射し、ドットパターン部のみを読み取り、情報コードを入力する。このように、バーコード上にドットパターン部からの情報を配置することにより重畳的な情報の取得(バーコードとドットパターン部からのコード)が可能となる。