JP2005204129A - 撮影再生機能付携帯通信端末 - Google Patents

Abstract

【課題】 画像に撮影環境や撮影データ等の情報を関連付けて保存することができ、これらの情報を音声として出力することができる撮影再生機能付携帯通信端末を提供する。
【解決手段】 キー操作部１１の操作によって所望する文字列を生成して外部メモリ６のテキストデータ記憶手段に保存すると共に、外部メモリ６の画像記憶手段に保存された画像とテキストデータ記憶手段に保存されたテキストデータとの対応関係を外部メモリ６の対応関係記憶手段に記憶させる。画像の再生に際し、表示部７に選択された画像を表示すると共に、この画像に対応するテキストデータをテキストデータ記憶手段から読み出し、音声データに変換してスピーカ３に出力する。画像に関連する情報をテキストデータとして保存しておくことで、情報の保存に必要とされる記憶容量を軽減する。
【選択図】図１

Description

本発明は、デジタルカメラ付携帯電話等で代表される撮影再生機能付携帯通信端末の改良に関する。

携帯電話等の携帯通信端末とデジタルカメラとを一体化した小型軽量の撮影再生機能付携帯通信端末が既に公知である。

この種の撮影再生機能付携帯通信端末はユーザによって常時携帯されるものであり、また、撮影操作も極めて平易であるため、付加機能であるデジタルカメラ等の撮影再生装置も頻繁に利用されることが多い。

しかし、撮影操作が平易であることから登録画像の数も未整理の状態で装置内に増大する傾向にあり、後でその画像を呼び出して再生しても、其れが何の画像であるのか、また、撮影環境や撮影データがどのようなものであったのかを思い出せないといったことも間々あり、画像の情報が十分に有効利用できないといった弊害も生じている。

無論、携帯電話の多くにはボイスメモやテキストメモを保存する機能がついてはいるが、これらの情報を撮影した画像と関連付けて保存する機種はなく、事後処理として画像と撮影データを整理する必要があり、利便性に欠けていた。

一方、画像と音声データとを対応させて記憶する撮影再生機能付端末としては、特許文献１に開示されるような音声付き画像情報生成装置が公知である。

しかし、このものは、装置に入力されたテキストデータを音声データに変換してから画像と対応させて記憶部に保存する構造であり、音声データの保存に大きな記憶容量を要するものであって、装置自体も大型化する傾向にあり、可搬性を重要視する撮影再生機能付携帯通信端末には向かない。

この他にも、デジタルカメラと携帯電話等を無線連絡で接続し、携帯電話等をデータ入力手段としてデジタルカメラに音声データを入力し画像と対応させて記憶させるデジタル情報機器システムが特許文献２として提案されているが、複数のデジタル機器を組み合わせて使用することから可搬性に難点があり、また、音声データをそのままデジタルカメラ側に保存する点では前述の音声付き画像情報生成装置と同様であって、データの記憶容量の点でも問題がある。

特開平３−２８２９４５号公報（第４頁左上欄第１０行〜第１３行） 特開２００３−５１８６９号公報（段落番号００２２，００２４）

そこで、本発明の課題は、前記従来技術の欠点を改善し、画像に撮影環境や撮影データ等の情報を関連付けて僅かな記憶容量で保存することができ、画像の再生に際しては、これらの情報を音声として出力することができる小型軽量で一体型の撮影再生機能付携帯通信端末を提供することにある。

本発明の撮影再生機能付携帯通信端末は、通話用のマイクおよびスピーカと無線通信部を有し、対象物を撮影するカメラと、前記カメラで撮影された複数の画像を保存する画像記憶手段と、前記画像記憶手段に保存された画像データを表示する表示部と、操作用のマン・マシン・インターフェイスを構成するキー操作部とを備えた撮影再生機能付携帯通信端末であり、前記課題を達成するため、特に、
前記キー操作部を介して入力された複数のテキストデータを保存するテキストデータ記憶手段と、
前記画像記憶手段に保存された画像と前記テキストデータ記憶手段に保存されたテキストデータとの対応関係を記憶する対応関係記憶手段と、
前記画像記憶手段に保存された画像が再生対象として選択された際に、前記対応関係記憶手段を参照し、該再生対象の画像に対応するテキストデータを前記テキストデータ記憶手段から読み出すテキストデータ抽出手段と、
前記テキストデータ抽出手段によって抽出されたテキストデータを音声データに変換し前記スピーカに出力する音声変換手段とを備えたことを特徴とする構成を有する。

以上の構成により、カメラで撮影された複数の画像が、従来と同様にして、撮影再生機能付携帯通信端末の画像記憶手段に保存される。
ここで、保存された画像に撮影環境や撮影データ等の情報を付加する必要がある場合は、撮影再生機能付携帯通信端末のマン・マシン・インターフェイスであるキー操作部をユーザが操作し、所望する文字列を生成して撮影再生機能付携帯通信端末に入力する。
入力された文字列は、撮影再生機能付携帯通信端末のテキストデータ記憶手段に保存され、画像記憶手段に保存された画像とテキストデータ記憶手段に保存されたテキストデータとの対応関係が、撮影再生機能付携帯通信端末の対応関係記憶手段によって記憶される。テキストデータ記憶手段には複数のテキストデータを保存することが可能であり、画像記憶手段に保存された画像とテキストデータ記憶手段に保存されたテキストデータとの対応関係は全て対応関係記憶手段によって記憶される。
そして、画像記憶手段に保存された複数の画像の中から再生対象となる画像が選択されると、撮影再生機能付携帯通信端末の表示部に従来と同様にして画像が表示され、同時に、テキストデータ抽出手段が対応関係記憶手段を参照し、再生対象の画像に対応するテキストデータをテキストデータ記憶手段から読み出し、音声変換手段が、このテキストデータを音声データに変換して撮影再生機能付携帯通信端末のスピーカに出力する。
以上に述べた通り、画像の再生に合わせ、各画像に関連する撮影環境や撮影データ等の情報が音声出力によってユーザに提供されるので、長期間に亘って画像を放置したまま再生しないような場合であっても、其れが何の画像であるのか、また、撮影環境や撮影データがどのようなものであったのかをユーザが容易に把握することができる。
しかも、画像に関連する情報はテキストデータとして撮影再生機能付携帯通信端末に保存されており、対応する画像が再生される段階で始めて音声データに変換されるので、情報の保存に必要とされる記憶容量が僅かで済む。

また、前記構成に加え、テキストデータ抽出手段によって抽出されたテキストデータを再生対象の画像と共に表示部にテロップ表示するテロップ表示手段を併設してもよい。

デジタルカメラ付携帯電話等の撮影再生機能付携帯通信端末は騒音レベルの高い環境下で使用される可能性も高いが、テキストデータをそのまま表示部にテロップ表示することで、騒音に邪魔されることなく画像に関連する撮影環境や撮影データ等の情報を的確に把握することが可能となる。

更に、テキストデータの入力に際して前記表示部の表示領域を二分割し、その一方に前記画像記憶手段に保存された画像から選択された１つの画像を表示する一方、他方には入力中のテキストデータをリアルタイムで表示し、入力終了後、前記選択された１つの画像と前記テキストデータとを対応させて前記対応関係記憶手段に記憶させる画像・テキスト関連付手段を配備することができる。

このような構成を適用すれば、表示部で画像を確認しながらテキストデータを入力することによって画像とテキストデータとの対応関係を設定することができるので、画像とテキストデータとの関連付を行う最初の段階で設定ミスが生じるといった問題が解消され、画像とテキストデータとの対応関係を確実に記憶させることができる。

また、前記構成に加え、前記画像記憶手段に保存された画像から選択された複数の画像をグループ化して記憶する画像グループ記憶手段と、
指定されたグループに属する一連の画像を再生対象の画像として選択する再生対象画像自動選択手段を併設することが可能である。

このような構成を適用すれば、画像の再生に際し、指定されたグループに属する一連の画像が再生対象の画像として選択され、これら一連の画像が順に表示部に表示されると共に、各画像に合わせてテキストデータや音声データが出力されることになるので、画像記憶手段に保存された多数の画像から幾つかの画像を選択し、これらを纏めて組写真のようにして取り扱うことができるようになる。

この画像グループ記憶手段には、画像の選択順序に従って画像の再生順序を記憶する再生順位自動設定機能を設けることができる。

このような構成を適用した場合、画像の再生順序は同一グループ内に追加する画像の選択順序に従って特定されるので、ユーザが画像の選択順序を工夫することで、例えば、撮影日時や時刻に従った時系列での画像の再生、更には、画像の重要度に応じた再生順位の設定等が可能となる。

また、再生対象画像自動選択手段の作動中に入力されるスキップ指令を検知し、スピーカからの音声データの出力完了を待たずに次の画像を選択する再生画像早送り機能を、再生対象画像自動選択手段に設けるようにしてもよい。

画像がグループ化されている場合であっても、再生時点で不要と判断した画像に関わる音声表示やテロップ表示を飛ばして次の画像を閲覧することができるようになるので、グループ化された画像を再生する際の利便性が向上する。

前述した対応関係記憶手段や画像グループ記憶手段は、画像のアドレスとテキストデータのアドレスとを対応させて記憶するインデックスファイルによって構成することが可能である。

画像とテキストデータとの関連付や画像のグループ化に際して画像データやテキストデータ自体をメモリ内で移動させる必要がなくなるので、同一データを一時的に重複してメモリ上に保持する必要もなくなり、メモリ上のワークスペースの有効利用が達成される。

本発明の撮影再生機能付携帯通信端末は、マン・マシン・インターフェイスとなるキー操作部の操作によって所望する文字列を生成して撮影再生機能付携帯通信端末のテキストデータ記憶手段に保存すると共に、画像記憶手段に保存された画像とテキストデータ記憶手段に保存されたテキストデータとの対応関係を撮影再生機能付携帯通信端末の対応関係記憶手段に記憶させ、画像の再生に際しては、撮影再生機能付携帯通信端末の表示部に従来と同様にして画像を表示すると共に、この画像に対応するテキストデータをテキストデータ記憶手段から読み出し音声データに変換して撮影再生機能付携帯通信端末のスピーカに出力するようにしたので、長期間に亘って画像を放置したまま再生しないような場合であっても、其れが何の画像であるのか、また、撮影環境や撮影データがどのようなものであったのかをユーザが容易に把握することができる。
しかも、画像に関連する情報はテキストデータとして撮影再生機能付携帯通信端末に保存されており、対応する画像が再生される段階で始めて音声データに変換されるので、テキストデータを音声データに変換してから記憶手段に保存するようにした従来型の音声付き画像情報生成装置と比べ、情報の保存に必要とされる記憶容量が僅かで済む。

また、テキストデータ抽出手段によって抽出されたテキストデータを再生対象の画像と共に表示部にテロップ表示するようにしたので、騒音レベルの高い環境下においても、騒音に邪魔されることなく画像に関連する撮影環境や撮影データ等の情報を的確に把握することができる。

更に、テキストデータの入力に際して表示部の表示領域を二分割し、その一方に画像を表示する一方、他方の表示領域には入力中のテキストデータをリアルタイムで表示し、この画像とテキストデータとを対応させて対応関係記憶手段に記憶させるようにしたので、画像を確認しながらテキストデータを入力することができ、画像とテキストデータとの関連付を行う最初の段階で設定ミスが生じるといった問題も解消され、画像とテキストデータとの対応関係を確実に記憶させることができる。

また、画像記憶手段に保存された画像から選択された複数の画像をグループ化して記憶する画像グループ記憶手段と、指定されたグループに属する一連の画像を再生対象の画像として選択する再生対象画像自動選択手段を備えているので、指定されたグループに属する一連の画像と各画像に対応するテキストデータや音声データを連続的に再生することができ、画像記憶手段に保存された多数の画像から幾つかの画像を選択し、これらを纏めて組写真のようにして取り扱うことも可能となった。

しかも、この画像グループ記憶手段には、同一グループ内に追加する画像の選択順序に従って画像の再生順序を記憶する再生順位自動設定機能が設けられているので、ユーザが画像の選択順序を工夫することにより、例えば、撮影日時や時刻に従った時系列での画像の再生、更には、画像の重要度に応じた再生順位の設定等ができる。

また、再生対象画像自動選択手段には、マン・マシン・インターフェイスからのスキップ指令を検知することによりスピーカからの音声データの出力完了を待たずに次の画像を選択する再生画像早送り機能が設けられているので、画像がグループ化されている場合であっても、再生時点で不要と判断した画像に関わる音声表示やテロップ表示を飛ばして次の画像を閲覧することができる。

更に、対応関係記憶手段や画像グループ記憶手段には、画像やテキストデータの実データに代わるデータアドレスを記憶するインデックスファイルを利用しているので、画像とテキストデータとの関連付や画像のグループ化に際して画像データやテキストデータ自体をメモリ内で移動させる必要がなく、同一データを一時的に重複してメモリ上に保持する必要もなくなるので、メモリ上のワークスペースの有効利用が達成される。

本発明の撮影再生機能付携帯通信端末をデジタルカメラ付携帯電話に適用した場合の実施の形態について図１を参照して説明する。

デジタルカメラ付携帯電話１は、図１に示される通り、通話用のマイク２およびスピーカ３と無線通信部４を有し、対象物を撮影するためのデジタルカメラ５を備える。

外部メモリ６は不揮発性メモリによって構成され、その記憶領域の一部がデジタルカメラ５で撮影された複数の画像を保存する画像記憶手段として機能する。この画像記憶手段には、デジタルカメラ５で撮影された画像が図５に示されるようにして時系列の順に従って保存される。

表示部７は液晶モニタ等によって構成され、この表示部７は、デジタルカメラ付携帯電話１を携帯通信端末として使用する際の電話番号の選択表示や着信履歴等の表示手段の他、デジタルカメラ付携帯電話１を撮影再生装置として使用する際の画像表示手段としても機能する。

従来と同様、デジタルカメラ付携帯電話１を携帯通信端末として使用する際には、マイク２から入力された音声が音声処理部８でＡ／Ｄ変換されて制御部を構成するＣＰＵ９に転送され、更に、ＣＰＵ９で通信形式データに変換された後、無線通信部４で増幅等の処理操作を受けてアンテナ１０を介して外部に送信される。

また、アンテナ１０で受信された通信電波は無線通信部４でＡ／Ｄ変換されて制御部を構成するＣＰＵ９に転送され、更に、ＣＰＵ９で音声データに変換された後、音声処理部８でＤ／Ａ変換等の処理操作を受けてスピーカ３から音声として出力される。

操作用のマン・マシン・インターフェイスを構成するキー操作部１１は、電話番号の入力操作等の場合にはテンキーとして使用され、また、電子メールの作成等に際してはテキストデータ入力用のカナキー等として利用される。

デジタルカメラ５はキー操作部１１からの画像取り込み指令を受けたＣＰＵ９によりカメラ処理部１３を介して駆動制御され、１ショット分の画像を取り込んだ後、画像の濃度や色調に対応して内臓ＣＣＤにチャージされた電気量をカメラ処理部１３に送出し、カメラ処理部１３がデジタル処理で画像データを生成した後、この画像データをＣＰＵ９に渡し、ＣＰＵ９が当該画像データを外部メモリ６の画像記憶手段に格納する。

この画像データは、キー操作部１１から画像再生指令を入力してＣＰＵ９に画像表示処理を行わせることで表示部７に表示させることができる。

記憶部１２はＲＯＭとＲＡＭを備える。そして、ＲＯＭには、通話や電子メールの送受信さらには画像の撮影ならびに画像の再生等に必要とされる処理を実行するための制御プログラムが全て格納されており、また、ＲＡＭには各種の演算処理で必要とされるデータが一時的に記憶されるようになっている。

以上に述べた通り、デジタルカメラ付携帯電話１のハードウェア上の構成に関しては従来のものと同様であるが、この実施の形態においては、更に、不揮発性メモリによって構成される外部メモリ６の記憶領域の一部が、キー操作部１１を介して入力された複数のテキストデータを保存するテキストデータ記憶手段として機能し、更に、外部メモリ６の記憶領域の他の一部は、画像記憶手段に保存された画像とテキストデータ記憶手段に保存されたテキストデータとの対応関係を記憶する対応関係記憶手段および複数の画像をグループ化して記憶する画像グループ記憶手段として機能する。キー操作部１１を介して入力された複数のテキストデータは外部メモリ６の記憶領域の一部であるテキストデータ記憶手段に図６に示されるようにして時系列の順に従って保存される。

対応関係記憶手段および画像グループ記憶手段は図７に示されるようなインデックスファイルによって構成され、このインデックスファイルには、図５の画像記憶手段に保存された画像のアドレスと図６のテキストデータ記憶手段に保存されたテキストデータのアドレスとの対応関係が記憶され（対応関係記憶手段）、更に、各画像に対応する画像グループの番号と（画像グループ記憶手段）、各画像が同一グループ内で占める再生順位とが記憶されるようになっている。

一方、制御部を構成するＣＰＵ９は、画像記憶手段に保存された画像が再生対象として選択された際に対応関係記憶手段を参照して再生対象の画像に対応するテキストデータをテキストデータ記憶手段から読み出すテキストデータ抽出手段として機能し、また、テキストデータ抽出手段によって抽出されたテキストデータを音声データに変換してスピーカ３に出力する音声変換手段、更には、テキストデータを画像と共に表示部７に表示するテロップ表示手段や、画像とテキストデータとを対応させて対応関係記憶手段に記憶させる画像・テキスト関連付手段、および、指定されたグループに属する一連の画像を再生対象の画像として選択する再生対象画像自動選択手段としても機能する。

デジタルカメラ付携帯電話１を利用した通話や撮影等に関わる処理操作については既に公知であるので説明を省略し、ここでは、テキストデータ抽出手段，音声変換手段，テロップ表示手段，画像・テキスト関連付手段，再生対象画像自動選択手段として機能するＣＰＵ９の処理動作の概要について図２〜図４のフローチャートを参照して説明する。

このうち、図２のステップＳ２〜ステップＳ１２までのナレーション入力モードの処理は、画像記憶手段に保存された画像から撮影環境や撮影データ等の情報を付加すべき画像を選択し、テキストデータによって情報を入力して画像とテキストデータとの対応関係を設定するために必要とされる処理であり、また、ステップＳ１４〜ステップＳ２３までの画像関連付モードの処理は、画像記憶手段に保存された複数の画像から幾つかの画像を選択してグループ化するために必要とされる処理である。また、図３〜図４に示されるステップＳ２５以降の再生モードの処理は、画像記憶手段に保存された画像の再生表示とこれに対応するテキストデータの音声再生に関わる処理で、各画像の単独再生（ステップＳ３０〜ステップＳ３８）とグループ化された画像の連続再生（ステップＳ４０〜ステップＳ５５）とが選択的に実施できるようになっている。

キー操作部１１からのモード選択指令が入力されない限り、ＣＰＵ９は、ステップＳ１，ステップＳ１３，ステップＳ２４の判定処理とステップＳ３９の通常処理を繰り返し実行しており、通話や撮影等に関わる処理操作は従来と同様にしてステップＳ３９の通常処理において実現される。

ここで、ユーザがキー操作部１１を操作してナレーション入力モードの選択指令を入力すると、ＣＰＵ９はステップＳ１の判定処理で当該選択操作を検出し、デジタルカメラ付携帯電話１の表示部７に、画像記憶手段に記憶されている全ての画像のサムネールを表示する（ステップＳ２）。保存されている画像の枚数が多いような場合には、表示部７に画像を何駒かに分けて表示すればよく、この点については公知技術である。

次いで、ユーザがキー操作部１１を操作して何れかのサムネール画像を１つ選択すると、ＣＰＵ９はステップＳ３の判定処理でユーザによる選択操作を検出し、表示部７の表示形式を図８に示されるようなツインウインドウ表示に切り替えて表示領域を上下に二分割し（ステップＳ４）、選択された画像のデータを図５に示されるような画像記憶手段から読み出し、この画像を上方のウインドウに表示して（ステップＳ５）、テキストデータの入力を待つ待機状態に入る（ステップＳ６，ステップＳ９）。

ここで、ユーザがキー操作部１１を操作して文字を入力すると、ＣＰＵ９は、ステップＳ６の判定処理で文字の入力操作を検出し、入力された文字列を次々に一時記憶すると共に（ステップＳ７）、入力中の文字列の内容を図８に示されるようにして表示部７における下方のウインドウにリアルタイムで表示する（ステップＳ８）。

そして、テキストデータの入力を終了したユーザがキー操作部１１を操作してテキスト入力の終了を宣言すると、ＣＰＵ９はステップＳ９の判定処理でこの操作を検出し、現時点で一時記憶されているテキストデータを図６に示されるようなテキストデータ記憶手段に保存する（ステップＳ１０）。

そして、画像・テキスト関連付手段として機能するＣＰＵ９が、今回の入力操作で保存されたテキストデータの保存先アドレスと現時点で選択されている画像の画像アドレスとを対応させて、図７に示されるようなインデックスファイルから成る対応関係記憶手段に記憶させる（ステップＳ１１）。

ここで、改めて他の画像を選択してテキストデータの入力操作と対応付を行いたい場合は、ユーザは、キー操作部１１を操作して操作の継続を宣言し、また、選択すべき他の画像がなければ、キー操作部１１を操作して操作の終了を宣言することになる。

ＣＰＵ９はステップＳ１２の判定処理でこれらの操作を検出し、操作の継続が宣言された場合には前記と同様にしてサムネール表示，画像の選択，表示領域の分割とテキスト入力の受付，画像とテキストデータとの関連付に関わる処理を繰り返し実行し、また、操作の終了が宣言された場合には、ナレーション入力モードの処理を終える。

以上に述べた通り、表示部７で画像を確認しながらテキストデータを入力することによって画像とテキストデータとの対応関係を設定することができるので、画像とテキストデータとの関連付を行う最初の段階で設定ミスが生じるといった問題は解消され、画像とテキストデータとの対応関係を確実に記憶させることができる。

一方、ユーザがキー操作部１１を操作して画像関連付モードの選択指令を入力した場合には、ステップＳ１，ステップＳ１３，ステップＳ２４，ステップＳ３９の処理を繰り返し実行するＣＰＵ９が、ステップＳ１３の判定処理でこの選択指令を検出する。

画像関連付モードの処理を開始したＣＰＵ９は、まず、グループ番号の現在値を記憶するグループ番号特定指標ｊの値を１インクリメントして新たなグループ番号を生成し（ステップＳ１４）、当該グループ内における画像の再生順位を規定する再生順位設定指標ｋの値を１に初期化する（ステップＳ１５）。

次いで、ＣＰＵ９は、画像記憶手段に記憶されている全ての画像のサムネールをデジタルカメラ付携帯電話１の表示部７に表示した後（ステップＳ１６）、グループ化すべき画像がユーザによって選択されるのを待つ待機状態に入る（ステップＳ１７，ステップＳ２２）。

そして、ユーザがキー操作部１１を操作して何れかのサムネール画像を選択すると、ＣＰＵ９は、ステップＳ１７の判定処理で画像の選択操作を検出し、新たに生成されたグループ番号ｊの値と当該グループ内におけるこの画像の再生順位ｋの値を表示部９に示した後（ステップＳ１８）、現時点で選択されている画像の画像アドレスに対応させてグループ番号ｊおよび再生順位ｋの値を図７に示されるようなインデックスファイルから成る画像グループ記憶手段に記憶させ（ステップＳ１９，ステップＳ２０）、次の画像選択操作に備えて再生順位設定指標ｋの値を１インクリメントする（ステップＳ２１）。

ここで、同じグループに含めてグループ化すべき他の画像があれば、ユーザは、キー操作部１１を操作してグループ化の継続を宣言し、また、このグループに含めるべき他の画像が見当たらなければ、キー操作部１１を操作してグループ化の終了を宣言する。

ＣＰＵ９はステップＳ２２の判定処理でこれらの操作を検出し、グループ化の継続が宣言された場合には前記と同様にして当該グループに含める画像の選択操作，再生順位ｋの設定操作，選択中の画像の画像アドレスに対応させてグループ番号ｊおよび再生順位ｋを画像グループ記憶手段に記憶させる処理，再生順位ｋのインクリメント操作を繰り返し実行する。

この間、グループ番号特定指標ｊの値は変化しないので、前述のようにして選択された画像は全てグループ番号ｊの画像として画像グループ記憶手段に記憶され、また、このようにして選択された一連の画像は、その選択操作の実行順序、つまり、画像選択操作の度にインクリメントされる再生順位設定指標ｋの値に基いて、画像の再生順序を画像グループ記憶手段に記憶されることになる（再生順位自動設定機能）。

従って、ユーザが画像の選択順序を工夫して、例えば、撮影日時や時刻に従った時系列で画像をグループに追加していけば、後述する再生モードの処理で画像の撮影順序に従って画像の再生を実行することができ、また、画像の重要度に応じた順序で画像をグループに追加していけば、後述する再生モードの処理で画像の重要度に従って画像の再生を実行することができる。

最終的に、同じグループに含めてグループ化すべき全ての画像の選択操作が終わったならば、ユーザは、キー操作部１１を操作してグループ化の終了を宣言する。

ここで、改めて新しいグループを生成して画像のグループ化を行いたい場合には、ユーザは、キー操作部１１を操作して操作の継続を宣言し、また、新しいグループを生成する必要がなければ、キー操作部１１を操作して操作の終了を宣言する。

ＣＰＵ９はステップＳ２３の判定処理でこれらの操作を検出し、操作の継続が宣言された場合には前記と同様にして新たなグループ番号の生成，再生順位設定指標ｋの初期化，このグループに含める画像の選択操作，選択中の画像の画像アドレスに対応させてグループ番号ｊおよび再生順位ｋを画像グループ記憶手段に記憶させる処理，再生順位ｋのインクリメント操作を繰り返し実行し、また、操作の終了が宣言された場合には、画像関連付モードの処理を終える。

画像グループの個数および同一のグループに含める画像の数に格別な制限はないので、自由な編集が可能であり、例えば、撮影対象毎の画像グループを作ったり、撮影日毎の画像グループを作ったりといった利用が考えられる。

また、画像をグループ化するといっても、外部メモリ６の内部で実際に画像データの記憶位置を移動させるわけではなく、インデックスファイルからなる画像グループ記憶手段で画像アドレスを記憶することで各画像が属するグループを管理するようにしているので、画像の移動に必要とされるコピー処理等は不要であり、同一データを一時的に重複してメモリ上に保持する必要もなくなるので、メモリ上のワークスペースの有効利用が達成され得る。

次に、ユーザがキー操作部１１を操作して再生モードの選択指令を入力した場合の処理動作について説明する。

ステップＳ１，ステップＳ１３，ステップＳ２４，ステップＳ３９の処理を繰り返し実行するＣＰＵ９は、まず、ステップＳ２４の判定処理で再生モードの選択指令を検出し、音声やテロップ表示によるナレーションの有無を選択する旨のガイダンスを表示部７に表示して、ユーザによる選択操作を待つ待機状態に入る（ステップＳ２５）。

次いで、ユーザがこのガイダンス表示に応えて、ナレーションなし，音声のみ，音声およびテロップ表示の何れかを選択すると、この選択操作がステップＳ２５の判定処理で検出され、ＣＰＵ９は、その選択結果に応じて０（ナレーションなし），１（音声のみ），２（音声およびテロップ表示）の何れかを選択結果識別フラグＦにセットする（ステップＳ２６〜ステップＳ２８）。

そして、ユーザがキー操作部１１を操作して単独再生もしくは連続再生の何れか一方の再生方式を選択すると、ＣＰＵ９は、ステップＳ２９の判定処理でその選択結果を判定する。

ここで、単独再生が選択されると、ＣＰＵ９は、まず、画像記憶手段に記憶されている全ての画像のサムネールをデジタルカメラ付携帯電話１の表示部７に表示した後（ステップＳ３０）、再生対象となる画像がユーザによって選択されるのを待つ待機状態に入る（ステップＳ３１，ステップＳ３８，ステップＳ３０）。

そして、ユーザがキー操作部１１を操作して何れかのサムネール画像を選択すると、ＣＰＵ９は、ステップＳ３１の判定処理で画像の選択操作を検出し、選択された画像のデータを図５に示されるような画像記憶手段から読み出し、この画像を表示部７にフルスケールで表示する（ステップＳ３２）。

次いで、ＣＰＵ９は、選択結果識別フラグＦに０がセットされているか否か、つまり、ナレーションなしの設定が行われているか否かを判定する（ステップＳ３３）。

ここで、選択結果識別フラグＦに０以外の値がセットされていれば、音声のみ若しくは音声およびテロップ表示の何れかの設定操作が行われていることを意味するので、テキストデータ抽出手段として機能するＣＰＵ９は、まず、選択中の画像のアドレスに基いて図７に示されるようなインデックスファイルによって構成される対応関係記憶手段を参照し、選択中の画像のアドレスに対応してインデックスファイルに記憶されてるテキストデータのアドレスを求める（ステップＳ３４）。

そして、ＣＰＵ９は、更に、選択結果識別フラグＦの値が１であるのか２であるのか、つまり、音声のみの設定操作が行われているのか音声およびテロップ表示の設定操作が行われているのかを判定する（ステップＳ３５）。

そして、音声のみの設定操作が行われていれば、テキストデータ抽出手段として機能するＣＰＵ９が、ステップＳ３４の処理で求められたテキストデータのアドレスに基いて図６に示されるようなテキストデータ記憶手段を参照し、このアドレスに対応するテキストデータを読み出し、更に、音声変換手段として機能するＣＰＵ９が当該テキストデータを音声データに変換し音声処理部８を介してスピーカ３に出力して、テキストデータの読み上げを実行する（ステップＳ３６）。テキストデータを音声データに変換するためのソフトウェアについては既に公知であり、例えば、Text To Speech（http://www.necel.com/apsoft/japanese/product_info/tts_jp.html参照）等のものが一般に市販されている。

一方、音声およびテロップ表示の設定操作が行われていた場合には、テキストデータ抽出手段として機能するＣＰＵ９が、ステップＳ３４の処理で求められたテキストデータのアドレスに基いて図６に示されるようなテキストデータ記憶手段を参照し、このアドレスに対応するテキストデータを読み出した後、更に、音声変換手段として機能するＣＰＵ９が当該テキストデータを音声データに変換し音声処理部８を介してスピーカ３に出力することでテキストデータの読み上げを実行すると共に、テロップ表示手段として機能するＣＰＵ９が、当該テキストデータを表示中の画像に重ねて表示部７の例えば下端部の表示領域にテロップ表示する（ステップＳ３７）。

このように、画像の再生に合わせ、各画像に関連する撮影環境や撮影データ等の情報が音声出力によってユーザに提供されるので、長期間に亘って画像を放置したまま再生しないような場合であっても、其れが何の画像であるのか、また、撮影環境や撮影データがどのようなものであったのかをユーザが容易に把握することができる。

画像に対応させて保存された情報は音声による読み上げだけでも十分に確認することが可能であるが、この音声に加えてテキストデータ自体のテロップ表示を行うことで、騒音環境下等における情報の確認が容易となる。

この実施例では、ユーザが入力したテキストデータをそのままテキストデータ記憶手段に保存しておき、音声再生が必要となった時点で始めてテキストデータから一過性の音声データに変換するようにしているので、音声を直接記憶するようにしたボイスメモ等の従来技術と比べ、メモリの記憶容量が大幅に軽減される。

また、ステップＳ３３の判定処理で選択結果識別フラグＦに０がセットされていると判定された場合、つまり、ナレーションなしの設定が行われていると判定された場合には、ステップＳ３４〜ステップＳ３７の処理は非実行とされ、選択された画像のフルスケール表示のみ（ステップＳ３２）が実行されることになる。

このようにして１画像分の画像表示と音声もしくはテロップによるナレーション表示が終了した後、再生すべき他の画像があれば、ユーザは、キー操作部１１を操作して単独再生の継続を宣言し、また、再生すべき他の画像が見当たらなければ、キー操作部１１を操作して単独再生の終了を宣言する。

ＣＰＵ９はステップＳ３８の判定処理でこれらの操作を検出し、操作の継続が宣言された場合には前記と同様にして画像のサムネール表示，フルスケール表示すべき画像の選択操作，選択された画像の表示，画像に対応するテキストデータの音声もしくはテロップによるナレーション表示に関わる処理を繰り返し実行し、また、操作の終了が宣言された場合には、再生モードの処理を終える。

次に、再生方式として連続再生が選択された場合の処理、つまり、ステップＳ２９の判定結果が偽となった場合の処理について説明する。

連続再生が選択されると、ＣＰＵ９は、まず、画像記憶手段に記憶されている全ての画像のサムネールをデジタルカメラ付携帯電話１の表示部７に表示した後（ステップＳ４０）、再生対象となる画像グループがユーザによって選択されるのを待つ待機状態に入る（ステップＳ４１，ステップＳ５５，ステップＳ４０）。

この実施例では、サムネール表示された何れかの画像をユーザが選択することにより、ＣＰＵ９側の処理でこの画像を含む画像グループを求め、当該グループに含まれる一連の画像を順に表示するようにしている。

そこで、ユーザがキー操作部１１を操作して何れかのサムネール画像を選択すると、ＣＰＵ９は、ステップＳ４１の判定処理で画像の選択操作を検出し、選択された画像のアドレスに基いて図７に示されるようなインデックスファイルによって構成される画像グループ記憶手段を参照し、この画像のアドレスに対応してインデックスファイルに記憶されているグループ番号ｊの値、要するに、ステップＳ４１の処理で選択された画像が属するグループを特定するグループ番号ｊの値を求め（ステップＳ４２）、再生順位設定指標ｋの値を１に初期化する（ステップＳ４３）。

次いで、再生対象画像自動選択手段として機能するＣＰＵ９は、グループ番号ｊと再生順位設定指標ｋの現在値とに基いて図７のインデックスファイルから成る画像グループ記憶手段を参照し、グループ番号がｊで且つ再生順位がｋである画像のアドレス、要するに、ステップＳ４１の処理で選択された画像が属するグループに含まれていて再生順位がｋ番目である画像のアドレスを求め、このアドレスに基いて図５に示されるような画像記憶手段から画像データを読み出し、この画像を表示部７にフルスケールで表示する（ステップＳ４４）。

次いで、ＣＰＵ９は、選択結果識別フラグＦに０がセットされているか否か、つまり、ナレーションなしの設定が行われているか否かを判定する（ステップＳ４５）。

ここで、選択結果識別フラグＦに０以外の値がセットされていれば、音声のみ若しくは音声およびテロップ表示の何れかの設定操作が行われていることを意味するので、テキストデータ抽出手段として機能するＣＰＵ９は、まず、選択中の画像のアドレスに基いて図７に示されるようなインデックスファイルによって構成される対応関係記憶手段を参照し、選択中の画像のアドレスに対応してインデックスファイルに記憶されているテキストデータのアドレスを求める（ステップＳ４６）。

そして、ＣＰＵ９は、更に、選択結果識別フラグＦの値が１であるのか２であるのか、つまり、音声のみの設定操作が行われているのか音声およびテロップ表示の設定操作が行われているのかを判定する（ステップＳ４７）。

そして、音声のみの設定操作が行われていれば、テキストデータ抽出手段として機能するＣＰＵ９が、ステップＳ４６の処理で求められたテキストデータのアドレスに基いて図６に示されるようなテキストデータ記憶手段を参照し、このアドレスに対応するテキストデータを読み出し、更に、音声変換手段として機能するＣＰＵ９が当該テキストデータを音声データに変換し音声処理部８を介してスピーカ３に出力してテキストデータの読み上げを開始する（ステップＳ４８）。

一方、音声およびテロップ表示の設定操作が行われていた場合には、テキストデータ抽出手段として機能するＣＰＵ９が、ステップＳ４６の処理で求められたテキストデータのアドレスに基いて図６に示されるようなテキストデータ記憶手段を参照し、このアドレスに対応するテキストデータを読み出した後、更に、音声変換手段として機能するＣＰＵ９が当該テキストデータを音声データに変換し音声処理部８を介してスピーカ３に出力することでテキストデータの読み上げを開始すると共に、テロップ表示手段として機能するＣＰＵ９が、当該テキストデータを表示中の画像に重ねて表示部７の例えば下端部の表示領域にテロップ表示する処理を開始する（ステップＳ４９）。

次いで、ＣＰＵ９は、テキストデータの読み上げやテロップ表示の処理が最終段階まで進んでいるか否か（ステップＳ５０）、キー操作部１１からのスキップ指令が入力されているか否かを判定し（ステップＳ５１）、テキストデータの読み上げやテロップ表示が終了しておらずスキップ指令も入力されていなければ、これらの判定処理繰り返し実行しながらテキストデータの読み上げやテロップ表示の終了を待機する。

ユーザは、この段階でキー操作部１１を操作してスキップ指令をＣＰＵ９に入力することにより、テキストデータの読み上げやテロップ表示を中断させて同一グループ内の次の画像の表示を開始させることが可能である（再生画像早送り機能）。

このように、画像がグループ化されている場合であっても、再生時点で不要と判断した画像に関わる音声表示やテロップ表示を飛ばして次の画像を閲覧することができるので、グループ化された画像を再生する際の利便性が向上し、冗長な音声読み上げやテロップ表示を省略して、グループ化された全ての画像を早急に確認することが可能である。

そして、１画像分のテキストデータの読み上げやテロップ表示の終了、若しくは、スキップ指令の入力が検出されると、再生対象画像自動選択手段として機能するＣＰＵ９は、再生順位設定指標ｋの現在値がグループ番号ｊに含まれる画像の総数ｍに達しているか否か、つまり、他に再生すべき画像が存在するか否かを判定する（ステップＳ５２）。

指標ｋの現在値が画像の総数ｍに達していなければ、この画像グループ内に表示すべき画像が残っていることを意味するので、再生対象画像自動選択手段として機能するＣＰＵ９は、再生順位設定指標ｋの値を１インクリメントした後（ステップＳ５３）、現在の表示対象グループを示すグループ番号ｊの値と更新された再生順位設定指標ｋの値とに基いて前記と同様の処理を繰り返し実行し、グループ番号ｊの画像グループに属する次の画像のフルスケール表示と当該画像に対応するテキストデータの読み上げやテロップ表示の処理を繰り返し実行する。

また、ステップＳ４５の判定処理で選択結果識別フラグＦに０がセットされていると判定された場合、つまり、ナレーションなしの設定が行われていると判定された場合には、ステップＳ４６〜ステップＳ５１の処理は非実行とされ、選択された画像のフルスケール表示のみ（ステップＳ４４）が実行されることになる。

この場合、選択された画像の表示時間を特定する格別の根拠はないので、本実施例においては、キー操作部１１の操作でスキップ指令を入力することで同一グループ内の次の画像の表示を開始させるようにしている（ステップＳ５４）。
また、別の方法としては、ステップＳ５４の判定処理に代えて、タイマの時間設定でナレーションなしの画像の表示時間を規制することが可能であり、このような構成を適用した場合は、キー操作部１１からのスキップ指令の入力によりタイマの設定作動時間を待たずに次の画像の表示を開始させるようにしてもよい。

何れの場合も、最終的に、再生順位設定指標ｋの現在値がグループ番号ｊに含まれる画像の総数ｍに達したことがステップＳ５２の判定処理で確認された段階で、選択された１つの画像グループに属する全ての画像に関するフルスケール表示と各画像に対応するテキストデータの読み上げやテロップ表示の処理が自動的に終了することになる。

このようにして１グループ分の画像表示と音声もしくはテロップによるナレーション表示が終了した後、再生すべき他の画像グループがあれば、ユーザは、キー操作部１１を操作して連続再生の継続を宣言し、また、再生すべき他の画像グループが見当たらなければ、キー操作部１１を操作して連続再生の終了を宣言する。

ＣＰＵ９はステップＳ５５の判定処理でこれらの操作を検出し、操作の継続が宣言された場合には前記と同様にしてサムネール表示，表示すべき画像グループ特定するための画像の選択操作，選択されたグループに属する一連の画像の表示，各画像に対応するテキストデータの音声もしくはテロップによるナレーション表示に関わる処理を繰り返し実行し、また、操作の終了が宣言された場合には、再生モードの処理を終える。

本発明の撮影再生機能付携帯通信端末をデジタルカメラ付携帯電話に適用した場合の実施の形態について示したブロック図である。 デジタルカメラ付携帯電話の制御部を構成するＣＰＵの処理動作の概要を示したフローチャートである。 ＣＰＵの処理動作の概要を示したフローチャートの続きである。 ＣＰＵの処理動作の概要を示したフローチャートの続きである。 外部メモリにおける画像記憶手段の構成の概略を示した概念図である。 外部メモリにおけるテキストデータ記憶手段の構成の概略を示した概念図である。 外部メモリにおける対応関係記憶手段，画像グループ記憶手段の構成の概略を示した概念図である。 テキスト入力操作時における表示態様の一例を示した概念図である。

符号の説明

１ デジタルカメラ付携帯電話（撮影再生機能付携帯通信端末）
２ マイク
３ スピーカ
４ 無線通信部
５ デジタルカメラ
６ 外部メモリ（画像記憶手段，テキストデータ記憶手段，対応関係記憶手段，画像グループ記憶手段）
７ 表示部
８ 音声処理部
９ ＣＰＵ（テキストデータ抽出手段，音声変換手段，テロップ表示手段，画像・テキスト関連付手段，再生対象画像自動選択手段）
１０ アンテナ
１１ キー操作部
１２ 記憶部
１３ カメラ処理部

Claims (7)

1. 通話用のマイクおよびスピーカと無線通信部を有し、対象物を撮影するカメラと、前記カメラで撮影された複数の画像を保存する画像記憶手段と、前記画像記憶手段に保存された画像データを表示する表示部と、操作用のマン・マシン・インターフェイスを構成するキー操作部とを備えた撮影再生機能付携帯通信端末において、
   前記キー操作部を介して入力された複数のテキストデータを保存するテキストデータ記憶手段と、
   前記画像記憶手段に保存された画像と前記テキストデータ記憶手段に保存されたテキストデータとの対応関係を記憶する対応関係記憶手段と、
   前記画像記憶手段に保存された画像が再生対象として選択された際に、前記対応関係記憶手段を参照し、該再生対象の画像に対応するテキストデータを前記テキストデータ記憶手段から読み出すテキストデータ抽出手段と、
   前記テキストデータ抽出手段によって抽出されたテキストデータを音声データに変換し前記スピーカに出力する音声変換手段とを備えたことを特徴とする撮影再生機能付携帯通信端末。
2. 前記テキストデータ抽出手段によって抽出されたテキストデータを前記再生対象の画像と共に前記表示部にテロップ表示するテロップ表示手段を併設したことを特徴とする請求項１記載の撮影再生機能付携帯通信端末。
3. テキストデータの入力に際し、前記表示部の表示領域を二分割し、その一方に前記画像記憶手段に保存された画像から選択された１つの画像を表示する一方、他方には入力中のテキストデータをリアルタイムで表示し、入力終了後、前記選択された１つの画像と前記テキストデータとを対応させて前記対応関係記憶手段に記憶させる画像・テキスト関連付手段を備えたことを特徴とする請求項１または請求項２記載の撮影再生機能付携帯通信端末。
4. 前記画像記憶手段に保存された画像から選択された複数の画像をグループ化して記憶する画像グループ記憶手段と、
   指定されたグループに属する一連の画像を再生対象の画像として選択する再生対象画像自動選択手段を備えたことを特徴とする請求項１，請求項２または請求項３記載の撮影再生機能付携帯通信端末。
5. 前記画像グループ記憶手段は、画像の選択順序に従って画像の再生順序を記憶する再生順位自動設定機能を備えていることをことを特徴とする請求項４記載の撮影再生機能付携帯通信端末。
6. 前記再生対象画像自動選択手段は、該再生対象画像自動選択手段の作動中に入力されるスキップ指令を検知し、前記スピーカからの音声データの出力完了を待たずに次の画像を選択する再生画像早送り機能を備えていることをことを特徴とする請求項４または請求項５記載の撮影再生機能付携帯通信端末。
7. 前記対応関係記憶手段，画像グループ記憶手段は、前記画像記憶手段に保存された画像のアドレスと前記テキストデータ記憶手段に保存されたテキストデータのアドレスとを対応させて記憶するインデックスファイルによって構成されていることを特徴とする請求項４，請求項５または請求項６記載の撮影再生機能付携帯通信端末。

Images