JP2003141547A - 手話翻訳装置および手話翻訳方法 - Google Patents
手話翻訳装置および手話翻訳方法Info
- Publication number
- JP2003141547A JP2003141547A JP2001334851A JP2001334851A JP2003141547A JP 2003141547 A JP2003141547 A JP 2003141547A JP 2001334851 A JP2001334851 A JP 2001334851A JP 2001334851 A JP2001334851 A JP 2001334851A JP 2003141547 A JP2003141547 A JP 2003141547A
- Authority
- JP
- Japan
- Prior art keywords
- sign language
- data
- image
- marking
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Machine Translation (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 軽い処理により高い精度で手話を翻訳するこ
とができる手話翻訳装置および手話翻訳方法を提供する
こと。 【解決手段】 手話用のマーキングを施された手を撮影
するカメラ２と、撮影画像からマーキング画像を認識・
抽出するカラー抽出部３と、抽出したマーキング画像を
線データに単純化するライン化部４と、マーキング画像
の線データを数値データに変換するデータ変換部５と、
手話を特定する数値データを格納する手話データ辞書６
と、変換した数値データを手話データ辞書６内の数値デ
ータと比較して手話を特定し出力用データに翻訳するデ
ータ比較部７と、翻訳された手話の出力用データを音声
データや文字データに変換して出力する出力部８と、出
力されてきた音声データを音声出力するスピーカー９
と、出力されてきた文字データを表示出力する表示部１
０とを備えている。
とができる手話翻訳装置および手話翻訳方法を提供する
こと。 【解決手段】 手話用のマーキングを施された手を撮影
するカメラ２と、撮影画像からマーキング画像を認識・
抽出するカラー抽出部３と、抽出したマーキング画像を
線データに単純化するライン化部４と、マーキング画像
の線データを数値データに変換するデータ変換部５と、
手話を特定する数値データを格納する手話データ辞書６
と、変換した数値データを手話データ辞書６内の数値デ
ータと比較して手話を特定し出力用データに翻訳するデ
ータ比較部７と、翻訳された手話の出力用データを音声
データや文字データに変換して出力する出力部８と、出
力されてきた音声データを音声出力するスピーカー９
と、出力されてきた文字データを表示出力する表示部１
０とを備えている。
Description
【０００１】
【発明の属する技術分野】本発明は、手話を画像認識に
より翻訳する手話翻訳装置および手話翻訳方法に関し、
詳しくは、軽い処理により高い精度で手話を翻訳するこ
とができるものに関する。
より翻訳する手話翻訳装置および手話翻訳方法に関し、
詳しくは、軽い処理により高い精度で手話を翻訳するこ
とができるものに関する。
【０００２】
【従来の技術】従来、手話により意思の疎通を図るには
双方が手話を習得するしかなかったが、近年の画像認識
技術の向上により、手話をカメラ（撮影手段）により撮
影して手の動きの画像認識処理を行うことによって、手
話を翻訳したデータを音声出力する装置が提案されてい
る。
双方が手話を習得するしかなかったが、近年の画像認識
技術の向上により、手話をカメラ（撮影手段）により撮
影して手の動きの画像認識処理を行うことによって、手
話を翻訳したデータを音声出力する装置が提案されてい
る。
【０００３】この種の手話翻訳装置としては、例えば、
特開平１０−２６９９９号公報に記載されているものが
ある。この手話翻訳装置は、カメラにより撮影された映
像（撮影画像）から手のみのデータを切り出して、予め
蓄積されている手話の映像パターンと比較する認識処理
を行うことにより、該当する手話（言葉など）を特定し
て音声データに翻訳し出力するようになっている。
特開平１０−２６９９９号公報に記載されているものが
ある。この手話翻訳装置は、カメラにより撮影された映
像（撮影画像）から手のみのデータを切り出して、予め
蓄積されている手話の映像パターンと比較する認識処理
を行うことにより、該当する手話（言葉など）を特定し
て音声データに翻訳し出力するようになっている。
【０００４】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の手話翻訳装置にあっては、手話は手を顔の近
くで動かす動作が多く、手と顔とを正確に判別すること
が難しく、正確に翻訳することが困難である、という問
題があった。
うな従来の手話翻訳装置にあっては、手話は手を顔の近
くで動かす動作が多く、手と顔とを正確に判別すること
が難しく、正確に翻訳することが困難である、という問
題があった。
【０００５】また、撮影した手の映像全体を認識処理す
るにはデータ量が多くて重い処理のために翻訳に時間が
掛かってしまう、という問題があった。
るにはデータ量が多くて重い処理のために翻訳に時間が
掛かってしまう、という問題があった。
【０００６】本発明は、このような従来の問題を解決す
るためになされたもので、軽い処理により高い精度で手
話を翻訳することができる手話翻訳装置および手話翻訳
方法を提供するものである。
るためになされたもので、軽い処理により高い精度で手
話を翻訳することができる手話翻訳装置および手話翻訳
方法を提供するものである。
【０００７】
【課題を解決するための手段】本発明の手話翻訳装置
は、手話の特徴を表す部位にマーキングを施された手を
撮影する撮影手段と、撮影画像の認識処理をして前記手
のマーキング画像を抽出する抽出手段と、抽出された前
記マーキング画像に基づいて手話を文字データまたは音
声データに翻訳する翻訳手段と、翻訳された前記手話の
前記文字データまたは前記音声データを出力する出力手
段とを備える構成を有する一方、本発明の手話翻訳方法
は、手話の特徴を表す部位にマーキングを施された手を
撮影した撮影画像の認識処理をして前記手のマーキング
画像を抽出し、次いで、抽出された前記マーキング画像
に基づいて手話を文字データまたは音声データに翻訳
し、次いで、翻訳された前記手話の前記文字データまた
は前記音声データを出力する構成を有している。
は、手話の特徴を表す部位にマーキングを施された手を
撮影する撮影手段と、撮影画像の認識処理をして前記手
のマーキング画像を抽出する抽出手段と、抽出された前
記マーキング画像に基づいて手話を文字データまたは音
声データに翻訳する翻訳手段と、翻訳された前記手話の
前記文字データまたは前記音声データを出力する出力手
段とを備える構成を有する一方、本発明の手話翻訳方法
は、手話の特徴を表す部位にマーキングを施された手を
撮影した撮影画像の認識処理をして前記手のマーキング
画像を抽出し、次いで、抽出された前記マーキング画像
に基づいて手話を文字データまたは音声データに翻訳
し、次いで、翻訳された前記手話の前記文字データまた
は前記音声データを出力する構成を有している。
【０００８】このような構成により、撮影画像から特定
の色などのマーキングを抽出する認識処理により手話の
マーキング画像を抽出することができ、このマーキング
画像の形状や位置や角度などから対応する文字データや
音声データを特定して手話を翻訳し表示出力または音声
出力などすることができる。このため、顔などと異なる
色のマーキングにより正確にマーキング画像を抽出する
ことができ、そのマーキング画像のみを用いて手話を翻
訳することができる。したがって、軽い処理により高い
精度で手話を翻訳することができる。
の色などのマーキングを抽出する認識処理により手話の
マーキング画像を抽出することができ、このマーキング
画像の形状や位置や角度などから対応する文字データや
音声データを特定して手話を翻訳し表示出力または音声
出力などすることができる。このため、顔などと異なる
色のマーキングにより正確にマーキング画像を抽出する
ことができ、そのマーキング画像のみを用いて手話を翻
訳することができる。したがって、軽い処理により高い
精度で手話を翻訳することができる。
【０００９】この本発明の手話翻訳装置は、前記抽出手
段による前記マーキング画像を単純化して数値データに
変換する変換手段を設け、前記出力手段は、前記変換手
段による前記数値データに基づいて前記手話を翻訳する
構成を有することにより、抽出したマーキング画像をさ
らに小さな容量の数値データに変換することができ、軽
いマーキング画像の数値データを文字データや音声デー
タに対応させて手話を翻訳することができる。したがっ
て、より軽い処理により手話を翻訳することができる。
段による前記マーキング画像を単純化して数値データに
変換する変換手段を設け、前記出力手段は、前記変換手
段による前記数値データに基づいて前記手話を翻訳する
構成を有することにより、抽出したマーキング画像をさ
らに小さな容量の数値データに変換することができ、軽
いマーキング画像の数値データを文字データや音声デー
タに対応させて手話を翻訳することができる。したがっ
て、より軽い処理により手話を翻訳することができる。
【００１０】また、本発明の手話翻訳装置は、前記抽出
手段が前記撮影画像から前記マーキング画像として認識
する色を設定する設定手段を設けた構成を有することに
より、マーキングに使用する色を固定することなく、予
め入力操作をし設定しておくことができる。したがっ
て、背景などに応じて正確に判別可能な色でマーキング
をすることができ、誤認識してしまうことを少なくする
ことができる。
手段が前記撮影画像から前記マーキング画像として認識
する色を設定する設定手段を設けた構成を有することに
より、マーキングに使用する色を固定することなく、予
め入力操作をし設定しておくことができる。したがっ
て、背景などに応じて正確に判別可能な色でマーキング
をすることができ、誤認識してしまうことを少なくする
ことができる。
【００１１】さらに、本発明の手話翻訳装置は、前記撮
影手段による前記撮影画像を表示出力する表示手段と、
前記表示手段による前記撮影画像の表示画面内の前記マ
ーキング画像を指定して前記抽出手段が前記マーキング
画像として抽出する色を指定する指定手段を設けた構成
を有する一方、本発明の手話翻訳方法は、前記撮影画像
を表示手段の表示画面に表示出力し、前記表示画面内で
指定された位置の前記撮影画像の色を前記マーキング画
像を抽出するための色として指定する構成を有すること
により、撮影画像からマーキング画像として抽出する色
を任意に指定することができる。したがって、背景など
に応じて正確に判別可能な色でマーキングをして、その
色をマーキング画像の色として指定することができ、誤
認識してしまうことを少なくすることができる。
影手段による前記撮影画像を表示出力する表示手段と、
前記表示手段による前記撮影画像の表示画面内の前記マ
ーキング画像を指定して前記抽出手段が前記マーキング
画像として抽出する色を指定する指定手段を設けた構成
を有する一方、本発明の手話翻訳方法は、前記撮影画像
を表示手段の表示画面に表示出力し、前記表示画面内で
指定された位置の前記撮影画像の色を前記マーキング画
像を抽出するための色として指定する構成を有すること
により、撮影画像からマーキング画像として抽出する色
を任意に指定することができる。したがって、背景など
に応じて正確に判別可能な色でマーキングをして、その
色をマーキング画像の色として指定することができ、誤
認識してしまうことを少なくすることができる。
【００１２】また、本発明の手話翻訳装置の前記出力手
段は、前記マーキング画像として抽出する色に対応する
種別の音声で前記音声データを音声出力する構成を有す
る一方、本発明の手話翻訳方法は、前記マーキング画像
として抽出する色に対応する種別の音声で前記音声デー
タを音声出力する構成を有することにより、手話により
意思を伝えたい者に応じた各種音声を出力可能に準備し
て、その者毎に色を対応付けしておくことによって、例
えば、その者が女性である場合には女性の声音の音声デ
ータを音声出力することができ、適切に意思などを翻訳
して出力することができる。
段は、前記マーキング画像として抽出する色に対応する
種別の音声で前記音声データを音声出力する構成を有す
る一方、本発明の手話翻訳方法は、前記マーキング画像
として抽出する色に対応する種別の音声で前記音声デー
タを音声出力する構成を有することにより、手話により
意思を伝えたい者に応じた各種音声を出力可能に準備し
て、その者毎に色を対応付けしておくことによって、例
えば、その者が女性である場合には女性の声音の音声デ
ータを音声出力することができ、適切に意思などを翻訳
して出力することができる。
【００１３】
【発明の実施の形態】以下、本発明を図面に基づいて説
明する。図１〜図５は本発明の手話翻訳方法を実施する
手話翻訳装置の一実施の形態を示す図である。
明する。図１〜図５は本発明の手話翻訳方法を実施する
手話翻訳装置の一実施の形態を示す図である。
【００１４】まず、手話翻訳装置の構成を説明する。図
１〜図５において、手話翻訳装置１は、手話の特徴を表
す部位にマーキングＭ１、Ｍ２を施された手Ｈを撮影す
るカメラ（撮影手段）２と、撮影された映像（撮影画
像）から予め設定されている色のマーキング画像ｍ１、
ｍ２を抽出するカラー抽出部（抽出手段）３と、抽出し
たマーキング画像ｍ１、ｍ２のうちライン状のマーキン
グ画像ｍ１を線データＬ１〜Ｌ５に単純化するライン化
部４と、単純化したマーキング画像ｍ１の線データＬ１
〜Ｌ５を数値データに変換するデータ変換部５と、手話
を特定するための数値データを格納する手話データ辞書
６と、変換された数値データを手話データ辞書６内の数
値データと比較して手話を特定（選択）し出力用データ
に翻訳するデータ比較部７と、翻訳された手話の出力用
データを音声データや文字データに変換して出力する出
力部８と、出力されてきた音声データを音声出力するス
ピーカー９と、図２に示すようなカメラ２による撮像画
像や図３または図４に示すような認識・変換処理した画
像のいずれかなどの各種情報を入力指示に従って表示画
面１０ａに表示出力するとともに、同時に、出力されて
きた文字データをその表示画面１０ａに表示出力する表
示部１０とを備えている。すなわち、ライン化部４およ
びデータ変換部５が変換手段を構成し、データ比較部７
および出力部８が翻訳手段および出力手段を構成してい
る。
１〜図５において、手話翻訳装置１は、手話の特徴を表
す部位にマーキングＭ１、Ｍ２を施された手Ｈを撮影す
るカメラ（撮影手段）２と、撮影された映像（撮影画
像）から予め設定されている色のマーキング画像ｍ１、
ｍ２を抽出するカラー抽出部（抽出手段）３と、抽出し
たマーキング画像ｍ１、ｍ２のうちライン状のマーキン
グ画像ｍ１を線データＬ１〜Ｌ５に単純化するライン化
部４と、単純化したマーキング画像ｍ１の線データＬ１
〜Ｌ５を数値データに変換するデータ変換部５と、手話
を特定するための数値データを格納する手話データ辞書
６と、変換された数値データを手話データ辞書６内の数
値データと比較して手話を特定（選択）し出力用データ
に翻訳するデータ比較部７と、翻訳された手話の出力用
データを音声データや文字データに変換して出力する出
力部８と、出力されてきた音声データを音声出力するス
ピーカー９と、図２に示すようなカメラ２による撮像画
像や図３または図４に示すような認識・変換処理した画
像のいずれかなどの各種情報を入力指示に従って表示画
面１０ａに表示出力するとともに、同時に、出力されて
きた文字データをその表示画面１０ａに表示出力する表
示部１０とを備えている。すなわち、ライン化部４およ
びデータ変換部５が変換手段を構成し、データ比較部７
および出力部８が翻訳手段および出力手段を構成してい
る。
【００１５】次に、手話翻訳方法を実施する手話翻訳装
置１の動作を図２〜図５を用いて説明する。
置１の動作を図２〜図５を用いて説明する。
【００１６】まず、手話をする者は、図２に示すよう
に、手のひら側の親指から小指までの長さ方向に延在す
るマーキングＭ１と、手のひら側の手首に円形のマーキ
ングＭ２とを準備するために、例えば、特定の色のテー
プを貼付する。なお、このマーキングＭ１、Ｍ２は、手
話が手の表裏を相手側に示すことから、手のひら側に限
らず、手の甲側にも施すのが好ましく、この場合には、
判別可能に異なる色にするのが好ましい。また、マーキ
ングＭ１、Ｍ２は、テープに限るものではないことは言
うまでもなく、例えば、塗料を塗布するなどしてもよ
い。
に、手のひら側の親指から小指までの長さ方向に延在す
るマーキングＭ１と、手のひら側の手首に円形のマーキ
ングＭ２とを準備するために、例えば、特定の色のテー
プを貼付する。なお、このマーキングＭ１、Ｍ２は、手
話が手の表裏を相手側に示すことから、手のひら側に限
らず、手の甲側にも施すのが好ましく、この場合には、
判別可能に異なる色にするのが好ましい。また、マーキ
ングＭ１、Ｍ２は、テープに限るものではないことは言
うまでもなく、例えば、塗料を塗布するなどしてもよ
い。
【００１７】次いで、カメラ２が手話を行う手を撮影す
ると（図２を参照）、カラー抽出部３が撮影された画像
データから予めマーキング色として設定されている色の
部分であるマーキング画像ｍ１、ｍ２を抽出する（図３
を参照）。
ると（図２を参照）、カラー抽出部３が撮影された画像
データから予めマーキング色として設定されている色の
部分であるマーキング画像ｍ１、ｍ２を抽出する（図３
を参照）。
【００１８】次いで、ライン化部４が抽出されたマーキ
ング画像ｍ１を線データＬ１〜Ｌ２に変換し（図４を参
照）、データ変換部５がマーキング画像ｍ２の色から手
の表裏を判定するとともに手の上向きなどの姿勢を判定
し、線データＬ１〜Ｌ２毎に、傾きや長短等を表す数値
データに変換して、これら複数のデータの組み合わせか
らなるハンドデータを作成し、この後に、データ比較部
７が作成ハンドデータと手話データ辞書６内の蓄積ハン
ドデータとを比較して、例えば、図５に示すように、最
も近似しているデータ「て」を選択して出力部８に転送
する。このとき、データ変換部５は、手の甲と手のひら
でマーキング画像ｍ２の色が異なるので、手の表裏のデ
ータ要素により、指の折り曲げの有無などを確実に認識
することができ、このため、データ比較部７が手の形を
正しく比較することができる。
ング画像ｍ１を線データＬ１〜Ｌ２に変換し（図４を参
照）、データ変換部５がマーキング画像ｍ２の色から手
の表裏を判定するとともに手の上向きなどの姿勢を判定
し、線データＬ１〜Ｌ２毎に、傾きや長短等を表す数値
データに変換して、これら複数のデータの組み合わせか
らなるハンドデータを作成し、この後に、データ比較部
７が作成ハンドデータと手話データ辞書６内の蓄積ハン
ドデータとを比較して、例えば、図５に示すように、最
も近似しているデータ「て」を選択して出力部８に転送
する。このとき、データ変換部５は、手の甲と手のひら
でマーキング画像ｍ２の色が異なるので、手の表裏のデ
ータ要素により、指の折り曲げの有無などを確実に認識
することができ、このため、データ比較部７が手の形を
正しく比較することができる。
【００１９】次いで、出力部８が送られてきた出力用デ
ータ「て」を音声や文字として出力するためにデータ加
工を行ってスピーカー９と表示部１０とに出力する。
ータ「て」を音声や文字として出力するためにデータ加
工を行ってスピーカー９と表示部１０とに出力する。
【００２０】したがって、手話を行う手の撮影画像のマ
ーキングＭ１、Ｍ２から認識・抽出したマーキング画像
ｍ１、ｍ２を数値データに変換し、その数値データが表
すマーキング画像ｍ１、ｍ２の形状や位置や角度などか
ら対応する手話（手の形など）で表す言葉などを選択す
ることができ、その言葉の出力データを文字データや音
声データとして表示出力または音声出力することができ
る。このとき、マーキングＭ１、Ｍ２に用いる色は予め
設定できるので、顔などの背景と区別することが難しく
なってしまうことをなくすことができる。
ーキングＭ１、Ｍ２から認識・抽出したマーキング画像
ｍ１、ｍ２を数値データに変換し、その数値データが表
すマーキング画像ｍ１、ｍ２の形状や位置や角度などか
ら対応する手話（手の形など）で表す言葉などを選択す
ることができ、その言葉の出力データを文字データや音
声データとして表示出力または音声出力することができ
る。このとき、マーキングＭ１、Ｍ２に用いる色は予め
設定できるので、顔などの背景と区別することが難しく
なってしまうことをなくすことができる。
【００２１】このように本実施の形態においては、手話
を行う手の撮影画像から、顔などと異なる色のマーキン
グＭ１、Ｍ２のマーキング画像ｍ１、ｍ２を正確に抽出
することができ、そのマーキング画像ｍ１、ｍ２のみで
手の形状などの特徴を比較して手話を翻訳することがで
き、このときには、そのマーキング画像ｍ１をさらに小
さな容量の数値データに変換して比較するので、より軽
い処理により手話を高精度に翻訳した文字データや音声
データを出力することができる。
を行う手の撮影画像から、顔などと異なる色のマーキン
グＭ１、Ｍ２のマーキング画像ｍ１、ｍ２を正確に抽出
することができ、そのマーキング画像ｍ１、ｍ２のみで
手の形状などの特徴を比較して手話を翻訳することがで
き、このときには、そのマーキング画像ｍ１をさらに小
さな容量の数値データに変換して比較するので、より軽
い処理により手話を高精度に翻訳した文字データや音声
データを出力することができる。
【００２２】また、マーキング画像ｍ１、ｍ２として認
識する色は任意に予め設定入力することができるので、
マーキングＭ１、Ｍ２に使用する色が固定されてしまう
ことがなく、誤認識しないように、背景などと正確に判
別することができる色をマーキングＭ１、Ｍ２とするこ
とができる。
識する色は任意に予め設定入力することができるので、
マーキングＭ１、Ｍ２に使用する色が固定されてしまう
ことがなく、誤認識しないように、背景などと正確に判
別することができる色をマーキングＭ１、Ｍ２とするこ
とができる。
【００２３】また、本実施の形態の第１の他の態様とし
ては、表示部１０の表示画面１０ａに表示されている手
の撮影画像のうち、マーキングＭ１、Ｍ２を指定手段を
構成するマウスやペンによりクリックやタッチなどする
ことにより、カラー抽出部３がマーキング画像ｍ１、ｍ
２として認識・抽出する色を任意に設定可能にしてもよ
い。これによって、特別なテープなどを要求することな
く、色がついているテープなどならなんでもマーキング
Ｍ１、Ｍ２に利用することができ、また、背景などに応
じて誤認識してしまわないように正確に判別可能な色を
指定することができる。また、マーキング色を複数設定
できるようにすることにより、同時に複数人数の会話な
どの手話の翻訳を行うことができる。
ては、表示部１０の表示画面１０ａに表示されている手
の撮影画像のうち、マーキングＭ１、Ｍ２を指定手段を
構成するマウスやペンによりクリックやタッチなどする
ことにより、カラー抽出部３がマーキング画像ｍ１、ｍ
２として認識・抽出する色を任意に設定可能にしてもよ
い。これによって、特別なテープなどを要求することな
く、色がついているテープなどならなんでもマーキング
Ｍ１、Ｍ２に利用することができ、また、背景などに応
じて誤認識してしまわないように正確に判別可能な色を
指定することができる。また、マーキング色を複数設定
できるようにすることにより、同時に複数人数の会話な
どの手話の翻訳を行うことができる。
【００２４】さらに、本実施の形態の第２の他の態様と
しては、出力部８から老若男女など多種多様の声音など
の音声をマーキング画像ｍ１、ｍ２の色に対応付けして
出力可能に準備しておいてもよい。これによって、手話
のはなし手に応じてマーキング画像ｍ１、ｍ２の色を変
えることで、手話を行う者などの属性に応じた音声をス
ピーカー９から音声出力することができ、手話のはなし
手が誰であるかを判定することを可能にしたり、その者
らしい（その者の声に近い）と思われる音声で発言など
することができる。
しては、出力部８から老若男女など多種多様の声音など
の音声をマーキング画像ｍ１、ｍ２の色に対応付けして
出力可能に準備しておいてもよい。これによって、手話
のはなし手に応じてマーキング画像ｍ１、ｍ２の色を変
えることで、手話を行う者などの属性に応じた音声をス
ピーカー９から音声出力することができ、手話のはなし
手が誰であるかを判定することを可能にしたり、その者
らしい（その者の声に近い）と思われる音声で発言など
することができる。
【００２５】
【発明の効果】以上説明したように、本発明によれば、
撮影画像から特定の色などのマーキングを抽出する認識
処理により手話のマーキング画像を抽出することがで
き、このマーキング画像の形状や位置や角度などから対
応する文字データや音声データを特定して手話を翻訳し
表示出力または音声出力などすることができるので、顔
などと異なる色のマーキングにより正確にマーキング画
像を抽出することができ、そのマーキング画像のみを用
いて手話を翻訳することができる。したがって、軽い処
理により高い精度で手話を翻訳することができる、とい
う優れた効果を有する手話翻訳装置や手話翻訳方法を提
供することができる。
撮影画像から特定の色などのマーキングを抽出する認識
処理により手話のマーキング画像を抽出することがで
き、このマーキング画像の形状や位置や角度などから対
応する文字データや音声データを特定して手話を翻訳し
表示出力または音声出力などすることができるので、顔
などと異なる色のマーキングにより正確にマーキング画
像を抽出することができ、そのマーキング画像のみを用
いて手話を翻訳することができる。したがって、軽い処
理により高い精度で手話を翻訳することができる、とい
う優れた効果を有する手話翻訳装置や手話翻訳方法を提
供することができる。
【図１】本発明の手話翻訳方法を実施する手話翻訳装置
の一実施の形態を示すブロック図
の一実施の形態を示すブロック図
【図２】本発明の手話翻訳方法を実施する手話翻訳装置
の一実施の形態による動作を説明する表示画面
の一実施の形態による動作を説明する表示画面
【図３】本発明の手話翻訳方法を実施する手話翻訳装置
の一実施の形態による動作を説明する表示画面
の一実施の形態による動作を説明する表示画面
【図４】本発明の手話翻訳方法を実施する手話翻訳装置
の一実施の形態による動作を説明する表示画面
の一実施の形態による動作を説明する表示画面
【図５】本発明の手話翻訳方法を実施する手話翻訳装置
の一実施の形態による動作を説明する概念図
の一実施の形態による動作を説明する概念図
１ 手話翻訳装置
２ カメラ
３ カラー抽出部
４ ライン化部
５ データ変換部
６ 手話データ辞書
７ データ比較部
８ 出力部
９ スピーカー
１０ 表示部
１０ａ 表示画面
Ｌ１〜Ｌ５ 線データ
Ｍ１、Ｍ２ マーキング
ｍ１、ｍ２ マーキング画像
Claims (8)
- 【請求項１】 手話の特徴を表す部位にマーキングを施
された手を撮影する撮影手段と、撮影画像の認識処理を
して前記手のマーキング画像を抽出する抽出手段と、抽
出された前記マーキング画像に基づいて手話を文字デー
タまたは音声データに翻訳する翻訳手段と、翻訳された
前記手話の前記文字データまたは前記音声データを出力
する出力手段とを備えることを特徴とする手話翻訳装
置。 - 【請求項２】 前記抽出手段による前記マーキング画像
を単純化して数値データに変換する変換手段を設け、 前記出力手段は、前記変換手段による前記数値データに
基づいて前記手話を翻訳することを特徴とする請求項１
に記載の手話翻訳装置。 - 【請求項３】 前記抽出手段が前記撮影画像から前記マ
ーキング画像として認識する色を設定する設定手段を設
けたことを特徴とする請求項１または２に記載に手話翻
訳装置。 - 【請求項４】 前記撮影手段による前記撮影画像を表示
出力する表示手段と、前記表示手段による前記撮影画像
の表示画面内の前記マーキング画像を指定して前記抽出
手段が前記マーキング画像として抽出する色を指定する
指定手段を設けたことを特徴とする請求項１から３のい
ずれかに記載の手話翻訳装置。 - 【請求項５】 前記出力手段は、前記マーキング画像と
して抽出する色に対応する種別の音声で前記音声データ
を音声出力することを特徴とする請求項１から４のいず
れかに記載の手話翻訳装置。 - 【請求項６】 手話の特徴を表す部位にマーキングを施
された手を撮影した撮影画像の認識処理をして前記手の
マーキング画像を抽出し、次いで、抽出された前記マー
キング画像に基づいて手話を文字データまたは音声デー
タに翻訳し、次いで、翻訳された前記手話の前記文字デ
ータまたは前記音声データを出力することを特徴とする
手話翻訳方法。 - 【請求項７】 前記撮影画像を表示手段の表示画面に表
示出力し、前記表示画面内で指定された位置の前記撮影
画像の色を前記マーキング画像を抽出するための色とし
て指定することを特徴とする請求項６に記載の手話翻訳
方法。 - 【請求項８】 前記マーキング画像として抽出する色に
対応する種別の音声で前記音声データを音声出力するこ
とを特徴とする請求項６または７に記載の手話翻訳方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334851A JP2003141547A (ja) | 2001-10-31 | 2001-10-31 | 手話翻訳装置および手話翻訳方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334851A JP2003141547A (ja) | 2001-10-31 | 2001-10-31 | 手話翻訳装置および手話翻訳方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003141547A true JP2003141547A (ja) | 2003-05-16 |
Family
ID=19149919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001334851A Pending JP2003141547A (ja) | 2001-10-31 | 2001-10-31 | 手話翻訳装置および手話翻訳方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003141547A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100575504B1 (ko) | 2003-08-11 | 2006-05-03 | 미츠비시 후소 트럭 앤드 버스 코포레이션 | 핸드 패턴 스위치 장치 |
| JP2011525283A (ja) * | 2008-06-18 | 2011-09-15 | オブロング・インダストリーズ・インコーポレーテッド | 車両インターフェース用ジェスチャ基準制御システム |
| US8041555B2 (en) | 2007-08-15 | 2011-10-18 | International Business Machines Corporation | Language translation based on a location of a wireless device |
| CN103810922A (zh) * | 2014-01-29 | 2014-05-21 | 上海寅动信息科技有限公司 | 手语翻译系统 |
| US20190315227A1 (en) * | 2018-04-17 | 2019-10-17 | Hyundai Motor Company | Vehicle including communication system for disabled person and control method of communication system for disabled person |
-
2001
- 2001-10-31 JP JP2001334851A patent/JP2003141547A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100575504B1 (ko) | 2003-08-11 | 2006-05-03 | 미츠비시 후소 트럭 앤드 버스 코포레이션 | 핸드 패턴 스위치 장치 |
| US8041555B2 (en) | 2007-08-15 | 2011-10-18 | International Business Machines Corporation | Language translation based on a location of a wireless device |
| JP2011525283A (ja) * | 2008-06-18 | 2011-09-15 | オブロング・インダストリーズ・インコーポレーテッド | 車両インターフェース用ジェスチャ基準制御システム |
| CN103810922A (zh) * | 2014-01-29 | 2014-05-21 | 上海寅动信息科技有限公司 | 手语翻译系统 |
| US20190315227A1 (en) * | 2018-04-17 | 2019-10-17 | Hyundai Motor Company | Vehicle including communication system for disabled person and control method of communication system for disabled person |
| US10926635B2 (en) * | 2018-04-17 | 2021-02-23 | Hyundai Motor Company | Vehicle including communication system for disabled person and control method of communication system for disabled person |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11219421A (ja) | 画像認識装置及び画像認識装置方法 | |
| CN111857334B (zh) | 人体手势字母的识别方法、装置、计算机设备及存储介质 | |
| CN109448453B (zh) | 基于图像识别追踪技术的点读问答方法与系统 | |
| CN107742446A (zh) | 图书阅读器 | |
| CN106791263A (zh) | 一类图文采集识别装置 | |
| KR20160099497A (ko) | 핸드라이팅 인식 방법 및 장치 | |
| Li | Multi-scenario gesture recognition using Kinect | |
| CN101527092A (zh) | 特定会话场景下的计算机辅助手语交流方法 | |
| US20030214524A1 (en) | Control apparatus and method by gesture recognition and recording medium therefor | |
| CN113268186B (zh) | 输入显示装置和显示方法 | |
| JP2002259046A (ja) | 空中で手描きした文字・記号入力システム | |
| JP5294818B2 (ja) | 情報処理装置及び情報処理方法 | |
| CN105302295B (zh) | 一种具有3d摄像组件的虚拟现实交互设备 | |
| Joshi et al. | American sign language translation using edge detection and cross correlation | |
| Arooj et al. | Enhancing sign language recognition using CNN and SIFT: A case study on Pakistan sign language | |
| KR102377767B1 (ko) | 손동작 및 팔동작 학습기반 수화 번역 시스템 및 방법 | |
| CN111539408A (zh) | 基于拍照识物的智能点读方案 | |
| CN105069444B (zh) | 一种手势识别装置 | |
| Krishnaraj et al. | A Glove based approach to recognize Indian Sign Languages | |
| JPS59132079A (ja) | 手操作入力装置 | |
| Karabasi et al. | A model for real-time recognition and textual representation of malaysian sign language through image processing | |
| JP2003141547A (ja) | 手話翻訳装置および手話翻訳方法 | |
| KR100419777B1 (ko) | 수화 인식 방법 및 시스템 | |
| WO2021258862A1 (zh) | 打字方法及装置、设备、存储介质 | |
| Siby et al. | Hand gesture recognition |