[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3567596B2 - 手話アニメーション生成装置 - Google Patents

手話アニメーション生成装置 Download PDF

Info

Publication number
JP3567596B2
JP3567596B2 JP08624796A JP8624796A JP3567596B2 JP 3567596 B2 JP3567596 B2 JP 3567596B2 JP 08624796 A JP08624796 A JP 08624796A JP 8624796 A JP8624796 A JP 8624796A JP 3567596 B2 JP3567596 B2 JP 3567596B2
Authority
JP
Japan
Prior art keywords
sign language
data
animation
word
sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP08624796A
Other languages
English (en)
Other versions
JPH09274428A (ja
Inventor
尚司 池田
優 大木
朝子 崎山
浩彦 佐川
洋一 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP08624796A priority Critical patent/JP3567596B2/ja
Publication of JPH09274428A publication Critical patent/JPH09274428A/ja
Application granted granted Critical
Publication of JP3567596B2 publication Critical patent/JP3567596B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は,手話アニメーションを用いて情報の伝達を行う装置において,伝達の対象となる文に対する手話アニメーションデータの編集技術に関する。
【0002】
【従来の技術】
聴覚障害者に対する情報提供の手段として,手話をCGによるアニメーションで表示する際,手話の動きを表す時系列データから,CG上の人体モデルを動かす技術に関しては,文献(リアルタイム手話アニメーションの合成方法,崎山他,電子情報通信学会論文誌 D−II Vol. J79−D−II pp182−190)によって実現される。
【0003】
また,手の動きの他に,顔の表情や口唇の動き,体の動きを手の動きとともに表示する技術,手話の文を構成する手話単語を単位として用意した時系列データをつなぎ合わせて手話アニメーションを生成する場合に、手話文において手話単語間にまたがる表情や身振り等の情報の付加が困難であるという問題を解決するために、手の位置や向きや形状等を表すパラメタを対話的に変更するインタフェース技術に関しては、文献(手話編集装置 特願平7−144123、あるいは、手話アニメーション編集ツールの開発, 池田他, 電子情報通信学会1996年総合大会 A−337)によって実現される。
【0004】
現在,地震や台風などの災害情報,列車遅延などの交通情報がテレビで放送される場合は、音声と文字が媒体となっている。これらの情報提供を聴覚障害者向けに手話で行なう場合,上述の手話アニメーション編集技術を用いて,手話単語を選び,表情などの情報を付加して手話アニメーションを作成すると,従来の日本語の字幕を作成するのに比べて多くの時間が必要になり、速報性を有する情報の伝達には不十分である。
【0005】
このように,ある日本語の文の意味を表す手話のCGアニメーションを,字幕の作成と同程度の時間で生成するため技術に関しては,まだ実現されていない。
【0006】
【発明が解決しようとする課題】
まず第一に,従来の手話アニメーションの編集装置を用いて手話のアニメーションを作成するには、ある意味をもった手話の文がどのような手話の単語から構成され、またどのような表情や口唇の動きを付加すれば良いのかという知識を有することが必要となる。特に緊急性を帯びた情報の場合,手話に関する知識を有する人が確保できるとは限らないので,情報をできるだけ早く手話にして送出するためには、手話を知らない人でも手話の文に対するアニメーションを作成できる必要がある。
【0007】
第二に,地震や台風などの災害情報や事故などの交通情報などには,地名や人名などの固有名詞が含まれることが多い。すべての固有名詞に対してCGデータを保持しておくことは現実的には不可能である。しかしCGデータを持たない手話単語が現れる度に,手話アニメーション編集装置を用いてCGデータを作成するのは,緊急時の情報送出の場合は適していない。従って出力すべき手話単語に対するCGデータが存在しない場合に,別の手段を用いて伝達すべき情報を表現する手話アニメーションを作成し,送出しなければならない。
【0008】
第三に,現在地震や台風などが起こった時,テレビでは電子音と文字の点滅によって緊急情報が到着したことを視聴者に知らせているが,聴覚障害者にとって電子音では効果を持たない。字幕の点滅でも十分とはいえない。そこで手話による情報が送出されたことを聴覚障害者にもわかる形態で知らせなければならない。
【0009】
本発明の目的は,災害や事故などの緊急時の情報を文字と音声の他に手話によって聴覚障害者にもわかりやすく提供し,手話に関する知識を持たない者でも,提供する情報を手話によって表現することが可能な手話アニメーション生成装置を実現することである。
【0010】
本発明の他の目的は,手話のCGデータを保持していない場合でも,なんらかの代替手段を用いて,伝達すべき内容を手話に表現し送出することができる,手話アニメーション生成装置を実現することである。
【0011】
本発明のさらに他の目的は,手話による緊急の情報が受信側に到着したことを知らせる手段を有する手話アニメーション生成装置を実現することである。
【0012】
【課題を解決するための手段】
上記課題を解決するために,本発明では,災害や事故などの緊急時の情報を文字と音声の他に手話によって,聴覚障害者にもわかりやすく提供する手話アニメーション生成装置であって、よく用いられる手話の文毎に,手話単語の見出しの列を,文を生成する時でないと決まらない部分と,既に固定された部分に区別して記述し,固定部分に対するCGデータと,可変部分に代入することのできる手話単語の見出し(あるいは単語見出し列)の候補に対するCGデータとからなる手話文テンプレートを用意し、話題によって手話文テンプレートを選択できる手段と,可変部分に代入する手話単語見出しを選択あるいは,入力することにより手話の文を確定させる手段と,用意されたCGデータから,手話単語間を自動的に補間し,手話の文を連続した動作のアニメーションで表す手段,を有することにより,手話を知らない人でも手話アニメーションを早く作成し,送出できるようにする。
【0013】
また,送出すべき情報を手話にする場合,必要となる手話単語に対するCGデータが用意されていなければ,日本語の各単語について漢字表記とその読みがなの対からなるデータを有し,これを利用して漢字表記から平仮名表記への変換を行ない,この平仮名の並びを指文字によって手話アニメーションとして表現する手段を用意し,あらかじめ登録されていない単語が入力の中に含まれていても,情報の持つ意味を手話で表すことができるようにする。
【0014】
また生成,送出された手話アニメーションが受信側に届き再生される前に,手話アニメーションを表示する画面全体の明暗を一定時間,短い間隔で変化させる,手話アニメーションを表示する画面全体の色を一定時間,短い間隔で変化させる,手話アニメーションの背景の明暗を一定時間,短い間隔で変化させる,手話アニメーションの背景の色を一定時間,短い間隔で変化させる,手段を有することによって,手話文の表示が開始されることを聴覚障害者にも伝えることができるようにする。
【0015】
地震や台風などの災害情報,交通事故などの緊急情報が,音声と文字によってテレビなどに表示されると,普段手話を使って生活をしている聴覚障害者は,見落としたり,正確に情報が伝わらない可能性がある。ここで手話アニメーションによって情報を表示することにより,情報を正確に伝達することが可能になる。
【0016】
よく使われる文について手話文テンプレートを用意し,可変部分を指定してアニメーションを作成することにより,手話に精通した人でなくとも簡単に伝達すべき情報を手話で表現することができ,緊急時にも聴覚障害者により早く情報をわかりやすい形で提供することができる。
【0017】
CGデータをあらかじめ持っていない未登録の手話単語に対して,この見出しを平仮名に置き換え,指文字として手話アニメーションにすることにより,未登録の手話をスキップして情報を不完全にしたり,未登録の部分のCGデータを新たに作成るために時間を費やしてから手話アニメーションを作成することなく,情報を手話として提供することができる。
【0018】
手話による情報がテレビなどの画面からながれる前に,手話アニメーションの部分の明るさ,色を変化させることにより,テレビの画面の前の聴覚障害者が手話による情報が到着したことを知ることができ,提供される情報を見落とす可能性が低減される。
【0019】
【発明の実施の形態】
以下,本発明の一実施例を図1から図19を用いて説明する。
【0020】
現在,聴覚障害者に手話アニメーションを用いて情報を伝達するために,手の動きの他に,顔の表情や口唇の動き,体の動きを手の動きとともに表示し,手話単語を単位として用意した時系列データをつなぎ合わせて手話アニメーションを生成することが可能である。ここで手話のアニメーションを対話的に作成するインタフェース技術に関しては、文献(手話編集装置 特願平7−144123、あるいは、手話アニメーション編集ツールの開発, 池田他, 電子情報通信学会1996年総合大会 A−337)に記されている。しかし,この方法で手話アニメーションを作成するためには,手話アニメーション作成者が手話に関する知識を持っている必要がある。また対話的な作業を伴うため作成に時間を要するため,手話による情報伝達が字幕や音声による情報伝達に比べて遅くなってしまう。
【0021】
この問題を解決するために,聴覚障害者への情報提供において良く使われる手話文について,あらかじめ部分的に未完成部分を含む(変更可能な)手話アニメーションを用意しておき,手話アニメーション作成者が情報伝達時に必要最小限の単語入力を行なうだけで,手話アニメーションが完成するようにした。図1において,本発明の一実施例における,手話アニメーション生成の部分に関する概念図を示す。101は緊急時に提供される情報を表現するためによく用いられる手話の文毎に,手話単語の見出しの列を文を生成する時でないと決まらない部分と既に固定された部分に区別して記述し,固定部分に対するCGデータと,可変部分に代入することのできる手話単語の見出し(あるいは単語見出し列)の候補に対するCGデータとからなる手話文テンプレートデータである。
【0022】
手話文テンプレートデータは,手話単語見出しの列を文を生成する時でないと決まらない部分と固定された部分に区別して記述した,可変部付き手話文テンプレートデータ102と,固定部分に対するCGデータである固定部分手話文データ103と,可変部分に対して候補として用意される手話単語見出しの集合である手話単語候補データ104とからなる。
【0023】
手話文データ生成部105は,手話アニメーション生成装置において情報の提供者すなわち手話アニメーションの作成者が,伝達したい情報にふさわしい手話文テンプレートを手話文テンプレートデータ101の中から選択し,可変部分を埋める手話単語を手話単語候補データ104から選択するか,自身で入力した結果,可変部分のない手話文データを生成する。
【0024】
生成された手話文データは手話アニメーション合成部108に送られる。手話アニメーション合成部では,手話アニメーション生成装置から出力される手話アニメーションにおいて手話をおこなうコンピュータグラフィックス(CG)の人間のモデルを生成するためのデータである人体モデル107と,手話単語のそれぞれに対して,人体モデルの動きを記述した手話単語CGデータ106とを用いて,手話文データに対する手話アニメーションを合成する。手話アニメーション合成部でのCG合成法に関しては,文献(リアルタイム手話アニメーションの合成方法,崎山他,電子情報通信学会論文誌 D−II Vol. J79−D−II pp182−190)を参照することによって実現可能である。
【0025】
現在,テレビなどで手話通訳者による放送内容の通訳画像が挿入されることが多くなってきたが,緊急時の情報伝達は主に音声と字幕に依存している。これらは聴覚障害者にとって非常に受け取りにくい情報となっている。それは,手話と日本語では文法が異なるため,用いられる単語の見出しや順序が異なったり,独特の身振りや表情が備わることにより情報を伝えているからである。手話と日本語の違いのため,手話に関する知識のない者が,手話単語を並べてわかりやすい手話の文を作ることは困難である。緊急時の情報はできるだけ早く伝達することが重要であるため,手話に通じた人を呼んできて手話の映像を作成していては,現在行なわれている字幕による速報に比べて,聴覚障害者に情報が届くのに長い時間を要する。本発明における手話文テンプレートを用いたアニメーション作成では,上記のような手話に関する知識が必要となる部分はすでに手話文テンプレートとして作成してあるので,アニメーション作成者が入力するのは,緊急時に伝達される情報において,場所や時間といった比較的限られた単語だけである。従ってアニメーション作成者が必ずしも手話に通じている必要がなく,従来の字幕と同様の早さで聴覚障害者に情報を伝達することが可能となる。
【0026】
本発明の技術を緊急時の手話での情報提供への応用例について以下で述べる。図2は図1で示した手話アニメーション生成の手法を適用した,緊急時情報提供装置の全体概念図である。可変部付き手話文データ201,固定部分手話文データ202,手話単語候補データ203からなる手話文テンプレートデータ204は,あらかじめ作成し蓄積される。この手話文テンプレートデータを作成する際に,手話アニメーション編集部205が使用される。これは手話アニメーション編集者(テンプレート作成者)が必要な手話単語を並べ,表情や動作の抑揚を付加するといった編集操作を行なうことにより,聴覚障害者が読みとりやすい手話アニメーションを作成する。手話アニメーション編集部に関しては,文献(手話アニメーション編集ツールの開発, 池田他, 電子情報通信学会1996年総合大会 A−337)等によって実現することが可能である。
【0027】
206は手話アニメーションを作成する際に,手話文テンプレートの可変部に挿入する手話単語を手話単語候補から選択せずに,手話アニメーション作成者が自ら入力した時,その手話単語に関するCGデータが登録されていなかった場合に,その読みから指文字の組み合せで代用することにより手話アニメーションを作成するために用いられる日本語読み仮名辞書である。この日本語読み仮名辞書については後述する。
【0028】
先に述べたように,手話文データ生成部207で可変部分が確定した手話文データが生成され,手話単語CGデータ208,人体モデル209を用いて手話アニメーション合成部210で手話アニメーションが合成される。この時,合成したアニメーションに対して,さらに表情を変化させたり,動作を強調するなどの修正をしたほうが望ましい場合,そして修正を加えるだけの時間的余裕がある場合は,手話アニメーション編集部211を用いて手話アニメーション作成者が手話単語見出しを指定し,編集操作を加えることで,手話アニメーションをよりわかりやすく変更することが可能となる。
【0029】
手話アニメーション合成部210で合成された手話アニメーションを緊急情報をしてテレビ電波などにのせて送出する場合,受信側で突然手話アニメーションが表示されても,聴覚障害者が手話アニメーションに気付くことは困難である。そこで手話アニメーションの再生が行なわれるまでに,受信側の画面の明るさや色合いを変化させるとともに,緊急情報が届いたことを手話で知らせる。これらの情報の付加を手話表示開始信号制御部212で行なう。
【0030】
手話アニメーションの開始を伝えるための処理が施された後,字幕合成部213において,手話アニメーションと文字による字幕を両者のタイミングの同期をとりながら合成しテレビ電波にのせたりあるいは専用線にのせて送出する。
【0031】
本発明の一実施例のハードウェア構成図を図3に示す。301は種々のプログラムを制御し,CGによる手話アニメーションの生成のための情報処理を行なう演算装置,302は手話文データ生成部や手話編集部への単語見出しの入力や,各種編集操作のための入力を行なうキーボードとマウス,303はキーボードとマウス302から入力された文字列やコマンドを解釈し,計算機可読形式に変換する入力装置,304はCGによる手話アニメーションや手話文データ編集のためのインタフェース画面を表示するディスプレイ,305はディスプレイ304に表示するための画像上の処理を行なう出力装置である。
【0032】
306は本発明を実施するに際し使用する各種データの辞書を保存しておくための磁気ディスク装置であり,307はあらかじめ作成した手話文テンプレートデータの集まりである手話文テンプレートデータベース,308はあらかじめ作成した手話単語CGデータの集まりである手話単語CGデータベース,309は可変部分に入力した手話単語が手話単語CGデータベースに登録されていない場合に使用される。
【0033】
日本語の単語に関する漢字を含む表記とその読み仮名の対のデータである日本語読み仮名データの集まりである日本語読み仮名データベースである。これらのデータベースが磁気ディスク306上に保持されている。
【0034】
311は手話アニメーション生成装置が動作するために必要なプログラムやデータが記憶されているメモリであり,312は手話アニメーション作成者に手話文テンプレートデータの選択や可変部分の決定などを行なう環境を提供し,アニメーション作成者の対話的な操作で手話文データを作成する手話文データ編集プログラム,313は作成された手話文データに基づきCGによる手話アニメーションを合成する手話アニメーション合成プログラム,314は手話文データ編集プログラムにおいて手話アニメーション作成者に選択され利用されている手話文テンプレートデータ,315は手話文編集プログラムで作成された手話文データを構成する手話単語に対する手話単語CGデータ,316は手話アニメーション合成プログラム313で手話アニメーションを合成するために用いられる人体モデルである。
【0035】
次に,手話アニメーション生成装置における手話アニメーション生成に用いられる各種データについて図4から図8を用いて述べる。
【0036】
手話文テンプレートのうち可変部付き手話文データの構造を図4に示す。可変部付き手話文データは日本語訳401とフィールド情報402から構成されている。日本語訳401はその手話文テンプレートを用いて作成する手話アニメーションの意味を日本語で記述したものであり,必ずしも手話に詳しくない手話アニメーション作成者が,手話文データ編集部においてこの日本語訳を用いて手話文テンプレートを選択する。図4に例として示したテンプレートは,ある時間にある場所で地震がありました,という意味の手話アニメーションを作成するための手話文テンプレートである。
【0037】
フィールド情報402は,フィールドの識別子を記すフィールド欄403,そのフィールドが可変部分なのか固定部分なのかを示すタイプ欄404,そして可変部分の場合はそこに入れることができる手話単語の候補を記した手話単語候補データリストの識別子,固定部分の場合は対応する固定部手話文データの識別子が示された手話文データ/候補データ欄405にわかれている。
【0038】
フィールド欄403の最初の識別子(FID1)406は,そのタイプ欄404には可変407と書かれてあることから,手話文データ/候補データ欄405に記された識別子(WID1)408は可変部分に対する手話単語候補データリストの識別子である。
【0039】
フィールド欄403の二番目の識別子(FID2)409は,そのタイプ欄404には固定410と記されていることから,手話文データ/候補データ欄405に記された識別子(Cnst_File2)411は固定部分手話文データの識別子である。
【0040】
次に手話文テンプレートデータにおける可変部分に対する手話単語候補データについて述べる。
【0041】
図5における501は図4の可変部分付き手話文データにおいて記された手話単語候補データリスト識別子を示す候補データ識別子欄,502はその候補データリストにおいて選択可能な手話単語の識別子の一覧を示す手話単語識別子欄,503は手話単語識別子欄502に記された手話単語識別子に対応する手話単語見出しを記す手話単語見出し欄である。
【0042】
504は図4の可変部付き手話文データにおける五番目のフィールドに対する手話単語候補リストの識別子(WID5)である。505はこの識別子(WID5)に対して用意された手話単語候補の識別子であり,506はそれぞれの識別子に対する手話単語見出しである。
【0043】
手話単語「病院」のように,複数の手話単語を表す手の動きから構成される単語が手話には多い。これらに対して同じデータをそれぞれ保持しておくのは効率が良くない。そこである意味をもつ手の動きを単位に,手動作データをまとめ,この手動作の組合せで手話単語を表現する。口形に関しては,五十音等を単位としてサンプルを作成しておき,これを選ぶことにより手話単語,手話文データを作成する。表情,身振りに関しても口形と同様に,サンプルデータを用意しておき,これを選択することにより手話単語CGデータ,手話文データを作成する。
【0044】
図6を例に用いて手話文データと手話単語データとの関係,および手話単語データの構造を説明する。
【0045】
図6において601は「私は病院に行きたい。」という意味を表す手話文に対する手話文データを表している。602は601を構成する手話単語「私」,603は同じく手話単語「病院」,604は同じく手話単語「行く」,605は同じく手話単語「好き」で,この順序に並ぶことにより601の手話文を表現できる。
【0046】
手話単語は手の動きを表現する手動作,口唇の形を並べた口形列,顔の表情,身振りの各データから構成される。身振りとは手以外の体の動き,具体的には頭部の傾き,回転と上体の傾き,回転のことを指す。606は手話単語データを構成する手動作の並びを表す手動作列である。図6において手話単語「病院」は「脈」という手話単語の手動作607と「建物」という手話単語の手動作608の組み合わせである手動作列で構成されることを表す。609は手話単語データを構成する口唇の形の並びである口形列データである。図6において手話単語「病院」は「びょ」610,「う」611,「い」612,「ん」613という四つの口形データから構成される口形列によって表現されることを表す。614は手話単語データを構成する顔の表情である表情データである。図6において手話単語「病院」は,その前の手話単語「私」から手話単語間にまたがって「困惑」という表情データ615が割り当てられていることを表す。616は手話単語データを構成する頭部や上半身の動きを表す身振りデータである。図6において手話単語「病院」は,その前の手話単語「私」から手話単語「病院」の途中までに,身振りデータとして「首をかしげる」617が割り当てられていることを表す。
【0047】
これにより手話アニメーション作成者は,口形,表情,身振り等の付加情報を最初から作成することなしに,容易にCGによる手話アニメーションを作成することが可能となる。
【0048】
次に手動作データ,表情データ,口形データ,身振りデータの各データを保存しておく手話単語CGデータ辞書の構成を述べる。
【0049】
図7において701は図1および2で示した手話単語CGデータ辞書である。702は各手話単語毎に用意された手話単語CGデータである。手話単語CGデータにはその手話単語データを構成する口形データ,表情データ,身振りデータ,手動作データへのポインタが記されている。703は手話アニメーションの人体モデルの口の動きを表現するために用いる口唇の形を表す口形データ704を保存しておく口形辞書で,705はアニメーションの人体モデルの顔の表情を表現するために用いる表情データ706を保存しておく表情辞書,707はアニメーションの人体モデルの手以外の動作を表現するために用いる頭の向き,傾き,上体の向き,傾きを表す身振りデータ708を保存しておく身振り辞書,709は手話アニメーションの人体モデルの手の動作を表す手動作データ710を保存しておく手動作辞書である。手話単語データは,手動作データと口形データ,表情データ,身振りデータから構成され,手話文データは手話単語の組合せによって表現されることを示している。
【0050】
次に手話文テンプレートにおける固定部分手話文データについて説明する。
【0051】
可変部付き手話文データの固定部分のデータである固定部分手話文データの構造を図8に示しす。801は固定部分手話文データを識別するための固定部分識別子欄である。図8では図4の6番目のフィールドの固定部分手話文データを例にしており,その識別子は「Cnst_File6」で表される。
【0052】
802はその固定部分手話文データを構成する手話単語の数を記す構成手話単語数欄であり,図8の例では2つの手話単語から構成されていることがわかる。803は上で述べた手話単語のそれぞれに関する情報を記す上での識別番号を表す番号欄で,1から2までの番号が与えられている。804は固定部分手話文データを構成する手話単語の見出しであり,図8の例では「地震」と「起こる」の2つの手話単語で構成されていることを表す。手話アニメーションはある数のフレームの連続によって表現されている。805は固定部分手話文データにおける,フレームの番号で手話文データを構成する手話単語の相対的な開始位置を示す開始フレーム番号であり,806は手話文データを構成する手話単語の相対的な終端位置を示す終端フレーム番号である。図8の例では,手話単語「地震」は固定部分手話文データの先頭を表す「0」から「27」フレームまでを,手話単語「起こる」は「28」フレームから「45」フレームまでを占めることを表す。
【0053】
807は固定部分手話文データを構成する表情データの数を示す表情見出し数であり,図8の例では3つの表情データからなっていることがわかる。808は上で述べた表情データのそれぞれに関する情報を記す上での識別番号を表す番号欄で,1から3までの番号が与えられている。809は固定部分手話文データを構成する表情データの見出しであり,図8の例では先頭から順に「標準」と「驚いた顔」と「標準」の表情データで構成されている。810は固定部分手話文データにおける,フレームの番号で手話文データを構成する表情データの相対的な開始位置を示す開始フレーム番号であり,811は手話文データを構成する表情データの相対的な終端位置を示す終端フレーム番号である。図8の例では,表情データ「標準」は固定部分手話文データの先頭を表す「0」から「10」フレームまでを,表情データ「驚いた顔」は「11」フレームから「29」フレームまでを,表情データ「標準」は「30」フレームから「45」フレームまでを占めることを表す。なお表情データ「標準」とは無表情のすました顔を表す。
【0054】
812は固定部分手話文データを構成する身振りデータの数を示す身振り見出し数であり,図8の例では2つの身振りデータからなっていることがわかる。813は上で述べた身振りデータのそれぞれに関する情報を記す上での識別番号を表す番号欄で,1から2までの番号が与えられている。814は固定部分手話文データを構成する身振りデータの見出しであり,図8の例では先頭から順に「標準」と「うなずき」の身振りデータで構成されている。815は固定部分手話文データにおける,フレームの番号で手話文データを構成する身振りデータの相対的な開始位置を示す開始フレーム番号であり,816は手話文データを構成する身振りデータの相対的な終端位置を示す終端フレーム番号である。図8の例では,身振りデータ「標準」は固定部分手話文データの先頭を表す「0」から「18」フレームまでを,身振りデータ「うなずき」は「19」フレームから「45」フレームまでを占めることを表す。なお身振りデータ「標準」とは正面を向いて直立の姿勢を表す。
【0055】
817は固定部分手話文データを構成する口形列データの数を示す口形列見出し数であり,図8の例では2つの口形列データからなっていることがわかる。818は上で述べた口形列データのそれぞれに関する情報を記す上での識別番号を表す番号欄で,1から2までの番号が与えられている。819は固定部分手話文データを構成する口形列データの見出しであり,図8の例では先頭から順に「じしん」と「あった」の口形列データで構成されている。820は固定部分手話文データにおける,フレームの番号で手話文データを構成する口形列データの相対的な開始位置を示す開始フレーム番号であり,821は手話文データを構成する口形列データの相対的な終端位置を示す終端フレーム番号である。図8の例では,口形列データ「じしん」は固定部分手話文データの先頭を表す「0」から「27」フレームまでを,口形列「あった」は「19」フレームから「45」フレームまでを占めることを表す。
【0056】
822は固定部分手話文データ中の口形列データを構成する口唇の形の数を示す口形見出し数であり,図8の例では口形列データ「じしん」が3つ,口形列データ「あった」が2つのの口形データからなっていることがわかる。口形データとは音節単位で用意するものとする。823は上で述べた口形データのそれぞれに関する情報を記す上での識別番号を表す番号欄で,口形列データ「じしん」では1から3までの番号が与えられている。824は固定部分手話文データ中の口形列データを構成する口形データの見出しであり,図8の例では口形列データ「じしん」は先頭から順に「じ」,「し」,「ん」の口形データで構成されている。825は固定部分手話文データ中の口形列データ「じしん」における,フレームの番号で手話文データの口形列データを構成する口形データの相対的な開始位置を示す開始フレーム番号であり,826は手話文データ中の口形列データを構成する口形データの相対的な終端位置を示す終端フレーム番号である。図8の例では,口形データ「じ」は口形列データ「じしん」の先頭を表す「0」から「10」フレームまでを,口形「し」は「11」フレームから「18」フレームまでを,口形データ「ん」は「19」フレームから「27」フレームまでを占めることを表す。
【0057】
なお,手話文テンプレートを利用して手話文データ生成部において作成した,CG手話アニメーションの合成に用いる完成した(可変部分が確定した)手話文データも図8に示した固定部分手話文データと同じ形式のデータである。
【0058】
次に本発明の一実施例である手話アニメーション生成装置による手話アニメーション作成の流れを図9から図19を用いて述べる。
【0059】
手話アニメーション生成装置を用いた手話アニメーション作成の手順の流れ図を図9に示す。まず最初にステップ901において,アニメーション作成者(情報提供者)が作成したい内容に従って手話文テンプレートを選択する。
【0060】
本明細書に実施例として挙げた,主に緊急時に手話アニメーションを生成する手話アニメーション生成装置における手話文テンプレートの選択画面は図10に示すような画面である。この図を用いて手話文テンプレートの選択について述べる。
【0061】
1001は手話文テンプレートを分類した項目を表示し,アニメーション作成者が選択する大分類フィールドである。緊急時に伝達したい情報は,地震の場合は場所や震度,迷子の場合は,身長や服の色といったように,状況によってある程度決まっている。そこで地震や台風,火事,津波,迷子といった状況毎に手話文テンプレートを用意しておき,アニメーション作成者はまず始めに大分類からどのような状況に関してのアニメーションを作るのかを選び,その後具体的な内容に従って個々の手話文テンプレートを選択する。
【0062】
図10において1002は個々の手話文テンプレートが表示されるテンプレートフィールドで,大分類フィールド1001でアニメーション作成者が選択した分類に含まれる手話文テンプレートデータの一覧が表示される。1003はテンプレート編集ボタンである。手話文テンプレートを選択後このボタンを押すことにより,手話文テンプレートの可変部分の確定を行なうための画面(後述)が起動される。1004はこの画面上で行なった手話文テンプレートの選択をキャンセルするキャンセルボタン,1005は手話アニメーション生成装置を終了する終了ボタンである。
【0063】
上記手話アニメーション生成装置において,手話文テンプレートデータを選択している時の画面を図11に示す。図11において1101は大分類として選択することにより反転表示された大分類「地震」の見出しである。大分類フィールドで選択することにより,1102のテンプレートフィールドに大分類「地震」に属する手話文テンプレートデータが一覧表示される。その中から一つを選択すると,1103のように反転表示され選択されたことを示す。手話文テンプレートを選択後テンプレート編集ボタン1104を押下することにより手話文テンプレートの編集を行なう。
【0064】
手話アニメーション作成者が手話文テンプレートを選択した後,流れ図9のステップ902に従って手話文テンプレートの編集を行なう。
【0065】
手話アニメーション作成者によって選択された手話文テンプレートに対して,その可変部分の編集を行なうための手話文データ編集画面は図12に示したような画面となる。これを用いて手話文テンプレートの編集について述べる。図11の大分類「地震」の2番めの手話文テンプレートを選択したことにより,その手話文テンプレートを編集できるように画面が形成されている。1201は手話文テンプレートにおける第1番目の可変部を表すプルダウンメニューのラベルで,午前か午後かを意味する手話単語が候補リストに入っている。1202は手話文テンプレートにおける第2番目の可変部を表すプルダウンメニューのラベルであり,1から12までの数字が候補リストに入っている。1203は手話文テンプレートデータの第1番目の固定部を表すラベルである。1204は手話文テンプレートにおける第3番目の可変部を表すプルダウンメニューのラベルであり,1から59までの数字が候補リストに入っている。1205は手話文テンプレートデータの第2番目の固定部を表すラベルである。1206は手話文テンプレートにおける第4番目の可変部を表すプルダウンメニューのラベルであり,例えば日本の代表的な地名を選んで候補リストに入れておく。ここの場合候補リストにない手話単語を使用したい場合については後述する。1208はプルダウンメニュー1201で候補リストから選択した手話単語の見出しを表示したり,アニメーション作成者が手話単語見出しを入力する手話単語見出し表示・入力欄である。1209はプルダウンメニュー1202で候補リストから選択した手話単語の見出しを表示したり,アニメーション作成者が手話単語見出しを入力する手話単語見出し表示・入力欄である。1210はプルダウンメニュー1203で候補リストから選択した手話単語の見出しを表示したり,アニメーション作成者が手話単語見出しを入力する手話単語見出し表示・入力欄である。1211はプルダウンメニュー1204で候補リストから選択した手話単語の見出しを表示したり,アニメーション作成者が手話単語見出しを入力する手話単語見出し表示・入力欄である。1212は手話文テンプレートデータの第3番目の固定部を表すラベルである。1213は手話文テンプレートにおける第5番目の可変部を表すプルダウンメニューのラベルであり,1から7の数字を候補リストに入れておく。1214は手話文テンプレートデータの第4番目の固定部を表すラベルである。プルダウンメニューラベル1213を押下すると手話単語候補見出しの一覧がプルダウンメニュー1215が表示される。1216はアニメ再生ボタンで,このボタンを押下することにより,作成した手話アニメーションを表示することが可能である。1217は放送ボタンであり,これを押下することにより,作成した手話アニメーションを手話表示開始信号制御部212を経て字幕合成部213で日本語字幕と合成されてテレビ回線等を通じて送出される。また1218は編集ボタンであり,作成した手話文データに基づく手話アニメーションにさらに変更を加えたい場合,このボタンを押下することにより,手話アニメーション編集部が起動される。手話アニメーション編集部に関しては,文献(手話アニメーション編集ツールの開発, 池田他, 電子情報通信学会1996年総合大会 A−337)等により実現されている。1219は保存ボタンで,編集作業の結果できた手話アニメーションを保存する。1220は終了ボタンで手話文テンプレートの編集を終了し,手話文テンプレート選択画面に制御を戻す。
【0066】
手話アニメーション作成者が,手話文テンプレートを選択すると,次にテンプレートの可変部分を確定させる。可変部分の確定には,あらかじめ用意された手話単語候補から選択するか,手話アニメーション作成者が手話単語見出しをキーボード等で入力するかのいずれかの手段を提供する。流れ図9のステップ903では手話文テンプレートの可変部分に対して用意された候補リスト中の手話単語を選択するか,手話アニメーション作成者がキーボードから手話単語見出しを入力するかを決める。
【0067】
候補リストから選択することを決め,プルダウンメニュー(例えば1213)を押下すると,ステップ904では候補の単語リストの一覧を1214のように表示する。手話アニメーション作成者が手話単語見出しを入力することを決めると,ステップ906では手話単語見出し表示・入力欄(例えば1211)に手話単語見出しを入力する。ステップ908では,入力された手話単語見出しに対する手話単語CGデータが手話単語CGデータ辞書208に登録されているかを検索し,登録されていなければ指文字に変換するために読み仮名を生成する。この処理に関して,図13の流れ図を用いて説明する。
【0068】
まず手話単語見出し表示・入力欄(例えば1211)にアニメーション作成者によって入力された手話単語見出しに対して,手話単語CGデータ辞書208に登録されているかを調べる(ステップ1301)。登録されていれば該当する手話文テンプレートの可変部分が確定したとしてステップ1305へ進み終了する。ステップ1301で手話単語が登録されていなければ,ステップ1302へ進み,日本語読み仮名辞書206を参照して入力された手話単語見出しの読みを得る。
【0069】
ここで参照される日本語読み仮名辞書206の構造について述べる。図14は日本語読み仮名辞書の例を示した図である。1401は手話アニメーション作成者が入力する手話単語見出しであり,1402は手話単語見出し毎に記述された読み仮名である。例えば「国分寺」という手話単語見出しに対しては,「こくぶんじ」という読み仮名が対応づけられている。
【0070】
流れ図13のステップ1302において手話アニメーション作成者が入力した手話単語見出しに対する読み仮名が日本語読み仮名辞書の中に存在すれば,ステップ1304に進む。この時,手話アニメーション作成者に確認を求める画面を表示しても良い。ステップ1302において手話アニメーション作成者が入力した手話単語見出しに対する読み仮名が日本語読み仮名辞書の中に存在しなければ,ステップ1303に進み,手話アニメーション作成者に対して検索の失敗と,正しい読みの入力を促す画面を表示する。
【0071】
手話アニメーション生成装置内に,手話アニメーション作成者が入力した手話単語見出しに対するCGデータが存在しない場合は,手話アニメーション作成者が読み仮名を入力する。この入力された読み仮名にしたがって,手話アニメーション生成装置は読み仮名を指文字として手話アニメーションにする。手話アニメーション作成者による読み仮名の入力について述べる。図15で手話単語見出し表示・入力欄1501に手話単語見出し「国分寺」を入力し,手話単語CGデータ辞書208の検索に失敗した場合,手話単語未登録エラー画面1502が表示され,手話アニメーション作成者に手話単語データの検索に失敗したことを知らせる。手話アニメーション作成者は,読み入力欄1503に手話単語見出しに対する正しい読みをキーボードにより入力し,OKボタン1504を押下することにより手話単語見出しに対する読み仮名が確定する。
【0072】
手話文テンプレートデータの可変部分が確定すると,ステップ1304に進み,読み仮名として入力された平仮名の文字列を音節に分割し,ステップ1305でそれぞれの音節に対して,手話単語CGデータ辞書を用いて指文字を対応づけて,手話文テンプレートデータの可変部分を確定する。図9の流れ図のステップ908において,手話文テンプレートの全ての可変部分が確定していなければ,ステップ902に戻って確定作業を繰り返す。全ての可変部分が確定していれば,ステップ909に進む。
【0073】
こうして作成した手話アニメーションは聴覚障害者への情報提供のために再生することが可能である。ここで,さらに手話文テンプレートに記されたある手話単語の動作を手話アニメーションが放送される地域の方言に置き換える必要がある場合であるとか,あるいは,ある単語を強調するために表情を変更した方通い場合がある。このような場合のために,手話アニメーションにさらに変更を加えることが可能にしておく。流れ図9のステップ909では,それまでに作成した手話文データに対してさらに変更を加えるかどうかを判定する。編集を加える必要がある場合は,ステップ910へ進み,手話アニメーション編集部211によって手話アニメーション作成者が手話アニメーションに変更を加える。編集を加える必要がない場合は,ステップ911へ進む。ここで示している実施例では,ステップ909の判定を手話アニメーション作成者が,図12の編集ボタン1218押下することによって区別している。
【0074】
次に手話アニメーション編集部での手話アニメーション編集(ステップ910)の流れを述べる。本実施例では手話アニメーション編集部として,文献(手話アニメーション編集ツールの開発, 池田他, 電子情報通信学会1996年総合大会 A−337)に記された装置を想定する。図16のステップ1601では,まず手話文データにおいて編集を行なう範囲を指定し,ステップ1602において手話アニメーション作成者が行ないたい編集操作を指定すると,入力に応じてステップ1603,ステップ1604,ステップ1605,ステップ1606,ステップ1607へ分岐する。ステップ1603では選択された範囲の手動作に関して,手の空間的位置や掌の向き,掌の形状,肘の位置を変更させる。ステップ1604では,顔の表情を変更する。ステップ1605では,頭部と上半身の動きである身振りを変更する。ステップ1606では口唇の形状を変更させる。ステップ1607では,手話単語間に間合い(ポーズ)を挿入することにより,手話アニメーションの動きに抑揚をつける。ステップ1603から1607までの編集操作が終わると,ステップ1608に進み他に編集作業があるかどうかを判定する。編集作業があればステップ1601に進み,なければ終了する。
【0075】
手話文テンプレートの可変部分を確定させ作成した手話文データに,さらに行なった編集作業(ステップ910)が終わるとステップ911に進み,作成した手話文データに基づき手話アニメーションを合成する。本明細書で述べた手話アニメーション生成装置における手話アニメーション合成の結果を図17の手話アニメーションの再生が行なわれている時の画面の図を用いて述べる。手話文テンプレート編集画面1701のアニメ再生ボタン1702を押下すると手話文データに基づき手話アニメーションが合成される。ここでのCGアニメーションの合成法については,文献(リアルタイム手話アニメーションの合成方法,崎山他,電子情報通信学会論文誌 D−II Vol. J79−D−II pp182−190)によって実現することが可能である。図17の1703は手話アニメーション表示画面,1704は合成した手話アニメーションである。1705は手話アニメーションの人形を見る視点を上下方向に変化させるスライダ、1706は手話アニメーションの人形を見る視点を水平方向に変化させるスライダである。手話アニメーション作成者が入力した手話単語見出し「国分寺」が手話単語CGデータ辞書に登録されていなかったため,読み仮名に変換されて,手話単語見出し表示・入力欄1707に表示される。1708は生成した手話アニメーションを実際の送出するための放送ボタンである。
【0076】
このようにして作成した手話のアニメーションを放送する際には,現在テレビなどで放送されている字幕によるニュース速報のように,警告音とともに放送しなければ,生成した手話アニメーションだけを突然テレビなどに映し出しても,聴覚障害者は気付かない可能性が高い。そこで手話による緊急の情報が提供されることを知らせる必要がある。そのため,図9の流れ図においてステップ911で合成された手話アニメーションに対して,ステップ912では,手話アニメーションによる情報の本体の前に,
(1)手話アニメーションを表示する部分の色を複数の色を用いて変化させる
(2)手話アニメーションを表示する部分を点滅させる
ととともに「緊急放送がある」という意味の手話アニメーションを付加して,テレビなどに送出する。その様子を図18を用いて述べる。
【0077】
従来,テレビなどで緊急時の情報提供の際に用いられていた,字幕による緊急放送開始の告知が1801であり,文字列の点滅とともに警告音が出力される。それと同時に1802として手話アニメーションが画面に現れ,その部分の色が短い周期で変化したり,点滅するとともに,「緊急放送があります」という意味の手話を行なう。
【0078】
そして生成した手話アニメーションに加えて,日本語字幕合成部213で文字による字幕を手話アニメーションとタイミングを同期させて合成する(ステップ913)。そのためには手話文テンプレートデータの日本語訳401を手話アニメーションに合成すればよい。手話と文字を一緒に表示することにより,数字などの情報がより正確に伝わることが期待される。図19は字幕と合成された手話アニメーションがテレビなどに出力されている様子を示す。1901は日本語訳401から取り出された日本語字幕である。日本語字幕と同期して,1902に手話アニメーションが表示される。
【0079】
このようにして,緊急性の高い情報を従来の字幕と音声によるニュース速報と同様の速さで聴覚障害者にも伝達することが可能となる。そして手話に関する知識を持った人がいなくても,手話文テンプレートを用いてキーワードとなる単語を選択する,あるいは入力するだけで,伝達する情報を手話アニメーションとして表現することが可能となる。
【0080】
【発明の効果】
地震や台風などの災害情報,交通事故などの緊急情報が,音声と文字によってテレビなどに表示されると,普段手話を使って生活をしている聴覚障害者は,見落としたり,正確に情報が伝わらない可能性がある。ここで手話アニメーションと文字という複数のメディアによって情報を提示することにより,聴覚障害者にも情報を正確に伝達することが可能になる。
【0081】
またよく使われる文について手話文テンプレートを用意し,可変部分を指定して手話アニメーションを作成することにより,手話に精通した人でなくとも簡単に伝達すべき情報を手話で表現することができ,緊急時に手話通訳者などが確保できなくても,聴覚障害者により早く情報をわかりやすい形で提供することができる。
【0082】
さらにCGデータをあらかじめ持っていない未登録の手話単語に対して,この見出しを平仮名に置き換え,指文字として手話アニメーションにすることにより,未登録の手話をスキップして情報を不完全にしたり,未登録の部分のCGデータを新たに作成るために時間を費やしてから手話アニメーションを作成することなく,情報を手話として提供することができる。
【0083】
また手話による情報がテレビなどの画面からながれる前に,手話アニメーションの部分の明るさ,色を変化させることにより,テレビの画面の前の聴覚障害者が手話による情報が到着したことを知ることができ,提供される情報を見落とす可能性が低減される。
【図面の簡単な説明】
【図1】手話アニメーション生成装置の概念図。
【図2】緊急時情報提供に応用した手話アニメーション生成装置の概念図。
【図3】手話アニメーション生成装置のハードウェア構成図。
【図4】手話文テンプレートデータのうち可変部つき手話文データの構造図。
【図5】手話文テンプレートデータのうち手話単語候補データの構造図。
【図6】手話文データの構造図。
【図7】手話単語CGデータ辞書の構成図。
【図8】手話文テンプレートデータのうち固定部分手話文データの構造図。
【図9】手話アニメーション作成の流れ図。
【図10】手話文テンプレートデータ選択画面図。
【図11】大分類を選択した状態の手話文テンプレートデータ選択画面図。
【図12】手話文テンプレート編集画面図。
【図13】未登録手話単語に対する指文字変換の流れ図。
【図14】日本語読み仮名構造図。
【図15】未登録手話単語に対する読み仮名決定画面図。
【図16】手話アニメーション編集流れ図。
【図17】手話アニメーション再生状態の画面図。
【図18】手話アニメーション放送開始を伝える画面図。
【図19】字幕と合成された手話アニメーションの放送時の画面図。

Claims (8)

  1. 手話をCGを用いたアニメーションで生成する装置において、
    手話の文を構成する単語の並びおよび単語の部分について,手話を生成する時に決定できるようにした可変フィールドと,既に固定された固定フィールドに分割し,フィールド毎に,そのフィールドが可変フィールドであるか固定フィールドであるかを示す識別子と,可変フィールドに代入する手話単語の識別子又は識別子の列の候補とその手話単語をコンピュータグラフィックス(CG)で表現するためのデータを組で格納した手話文テンプレートデータを格納する手段と、
    手話文テンプレートの可変フィールドごとに代入する手話単語識別子を選択することにより手話文テンプレートデータの可変フィールドの内容を確定させる手段と、
    手話をCGで表現するためのデータとして,手の動きの他に口唇の形,身振り,顔の表情に関して記述した手話単語CGデータを格納する手段と、
    手話単語CGデータから各フィールドの間のCGデータを自動的に補間し,フィールドに対するアニメーションの間で動きが不連続にならない手話アニメーションを生成する手段を有することを特徴とする手話アニメーション生成装置。
  2. 請求項1記載の手話アニメーション生成装置において,手話文テンプレートにおける可変フィールドに,予め用意した可変フィールドの手話単語候補以外の手話単語の見出しを入力できる手段を有することを特徴とする手話アニメーション生成装置。
  3. 請求項2記載の手話アニメーション生成装置において,手話アニメーションを生成するための手の動きや口唇の形,身振り,顔の表情のCGデータを作成あるいは変更し,手話文テンプレートを作成する手段を有することを特徴とする手話アニメーション生成装置。
  4. 請求項2記載の手話アニメーション生成装置において,手話文テンプレートデータの可変フィールドを確定した後,手話単語CGデータの手の動きや口唇の形,身振り,顔の表情のCGデータを変更するための手段を有することを特徴とする手話アニメーション生成装置。
  5. 請求項2記載の手話アニメーション生成装置において,手話文テンプレート以外にその日本語訳に対応する日本語テンプレートを有し,可変フィールドの手話単語候補以外に手話単語候補に対応した日本語訳を有し,日本語テンプレートと可変フィールドの日本語訳から,生成する手話文を決定できる手段を有することを特徴とする手話アニメーション生成装置。
  6. 請求項2記載の手話アニメーション生成装置において,送出すべき情報を手話にする際に必要となる手話単語に対するCGデータが用意されていない場合,日本語の各単語について漢字表記とその読みがなの対からなるデータを有し,これを利用して漢字表記から平仮名表記への変換を行ない,この平仮名の並びを指文字によって手話アニメーションとして表現する手段を有し,あらかじめ登録されていない単語が入力の中に含まれていても,情報の持つ意味を手話で表すことができる手話アニメーション生成装置。
  7. 請求項2記載の手話アニメーション生成装置において,手話文のアニメーションの表示が開始されることを伝える手段を有することを特徴とする手話アニメーション生成装置。
  8. 請求項2または7記載の手話アニメーション生成装置において,生成された手話アニメーションと日本語の字幕を同期をとって表示する手段を有することを特徴とする手話アニメーション生成装置。
JP08624796A 1996-04-09 1996-04-09 手話アニメーション生成装置 Expired - Fee Related JP3567596B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08624796A JP3567596B2 (ja) 1996-04-09 1996-04-09 手話アニメーション生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08624796A JP3567596B2 (ja) 1996-04-09 1996-04-09 手話アニメーション生成装置

Publications (2)

Publication Number Publication Date
JPH09274428A JPH09274428A (ja) 1997-10-21
JP3567596B2 true JP3567596B2 (ja) 2004-09-22

Family

ID=13881494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08624796A Expired - Fee Related JP3567596B2 (ja) 1996-04-09 1996-04-09 手話アニメーション生成装置

Country Status (1)

Country Link
JP (1) JP3567596B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296753A (ja) * 2002-04-04 2003-10-17 Computer Image Laboratory Co Ltd 聴覚障害者用対話システム
JP2004110649A (ja) * 2002-09-20 2004-04-08 Hitachi Information Systems Ltd 手話アニメーションによる情報提供システム
KR100819251B1 (ko) * 2005-01-31 2008-04-03 삼성전자주식회사 방송 통신 융합 시스템에서 수화 비디오 데이터를제공하는 시스템 및 방법
JP4772097B2 (ja) * 2008-10-03 2011-09-14 株式会社アステム 送受信システム、受信装置、送出装置、および送出方法
JP5576646B2 (ja) * 2009-12-14 2014-08-20 株式会社アステム 手話映像生成装置、手話映像生成方法、及びプログラム
JP2011175598A (ja) * 2010-02-25 2011-09-08 Nippon Hoso Kyokai <Nhk> 手話アニメーション生成装置及び手話アニメーション生成プログラム
JP6401505B2 (ja) * 2014-06-06 2018-10-10 日本放送協会 手話cg生成装置及びそのプログラム
JP6378964B2 (ja) * 2014-08-07 2018-08-22 日本放送協会 手話cg生成装置及び手話cg生成プログラム
JP6762195B2 (ja) * 2016-10-19 2020-09-30 日本放送協会 読み推定装置及びプログラム
JP7212284B2 (ja) * 2018-02-16 2023-01-25 日本電信電話株式会社 非言語情報生成装置、方法、及びプログラム
KR102167760B1 (ko) 2020-07-24 2020-10-19 주식회사 멀틱스 수어동작 인식 처리절차 및 움직임 추적 Pre-trained 모델을 이용한 수어동작 분석 알고리즘 시스템
JP7471979B2 (ja) * 2020-09-30 2024-04-22 本田技研工業株式会社 会議支援システム

Also Published As

Publication number Publication date
JPH09274428A (ja) 1997-10-21

Similar Documents

Publication Publication Date Title
US5734923A (en) Apparatus for interactively editing and outputting sign language information using graphical user interface
US5630017A (en) Advanced tools for speech synchronized animation
US5875427A (en) Voice-generating/document making apparatus voice-generating/document making method and computer-readable medium for storing therein a program having a computer execute voice-generating/document making sequence
EP0182460B1 (en) Multi-image communications system
KR100454599B1 (ko) 사이버 캐릭터를 이용한 원격강의 방법
US7512537B2 (en) NLP tool to dynamically create movies/animated scenes
US6377925B1 (en) Electronic translator for assisting communications
US5842167A (en) Speech synthesis apparatus with output editing
US20120276504A1 (en) Talking Teacher Visualization for Language Learning
JP3567596B2 (ja) 手話アニメーション生成装置
US20040080541A1 (en) Data displaying device
US6549887B1 (en) Apparatus capable of processing sign language information
CN113835522A (zh) 手语视频生成、翻译、客服方法、设备和可读介质
Benoit et al. Audio-visual and multimodal speech systems
Steinmetz et al. Multimedia fundamentals, Volume 1: Media coding and content processing
Gibbon et al. Audio-visual and multimodal speech-based systems
JPWO2007069512A1 (ja) 情報処理装置及びプログラム
JP2014109988A (ja) モーション映像生成装置及びモーション映像生成プログラム
KR100539032B1 (ko) 데이터 표시 장치
Quek et al. A multimedia system for temporally situated perceptual psycholinguistic analysis
Solina et al. Multimedia dictionary and synthesis of sign language
JP4126126B2 (ja) 送信システム、送信方法
JP7049173B2 (ja) 手話cg翻訳編集装置及びプログラム
JP3126479B2 (ja) コンサルテーション・カンファレンスシステム
CN117809679A (zh) 一种服务器、显示设备及数字人交互方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080625

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080625

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120625

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees