[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2009271814A - Display device, and display method in display device - Google Patents

Display device, and display method in display device Download PDF

Info

Publication number
JP2009271814A
JP2009271814A JP2008123016A JP2008123016A JP2009271814A JP 2009271814 A JP2009271814 A JP 2009271814A JP 2008123016 A JP2008123016 A JP 2008123016A JP 2008123016 A JP2008123016 A JP 2008123016A JP 2009271814 A JP2009271814 A JP 2009271814A
Authority
JP
Japan
Prior art keywords
display
speaker
displayed
read
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008123016A
Other languages
Japanese (ja)
Inventor
Nobuhisa Takabayashi
信久 高林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2008123016A priority Critical patent/JP2009271814A/en
Publication of JP2009271814A publication Critical patent/JP2009271814A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

【課題】話者が読み上げる原稿をわかりやすく表示することが可能な表示装置、及び、表
示装置における表示方法を提供する。
【解決手段】文字列を表示する表示パネル42を備えた携帯電話機1は、話者により読み
上げられる原稿を第1の表示状態で表示パネル42に表示させ、話者の音声を取得して解
析することにより、話者が発声した語句を認識し、認識した語句をもとに、表示パネル4
2に表示中の原稿のうち読み上げられた部分を特定し、この特定した部分の表示状態を、
第1の表示状態とは異なる第2の表示状態に変化させる。
【選択図】図1
The present invention provides a display device capable of displaying a manuscript read by a speaker in an easy-to-understand manner, and a display method in the display device.
A mobile phone including a display panel for displaying a character string displays a document read out by a speaker on the display panel in a first display state, and acquires and analyzes the voice of the speaker. Thus, the phrase spoken by the speaker is recognized, and the display panel 4 is recognized based on the recognized phrase.
2 identifies the read-out part of the displayed document, and displays the display state of this specified part.
The second display state is changed from the first display state.
[Selection] Figure 1

Description

本発明は、表示画面を備えた表示装置、および、表示装置における表示方法に関する。   The present invention relates to a display device having a display screen and a display method in the display device.

従来、プレゼンテーションの際に、プレゼンター(話者)が読み上げる原稿を表示する
装置が知られている(例えば、特許文献1参照)。
特許文献1には、プレゼンテーションで用いる画像を液晶プロジェクタに出力するノー
ト型コンピュータが、出力中の画像を表示するメイン液晶ディスプレイとは別に、サブ液
晶ディスプレイを備えた構成として、このサブ液晶ディスプレイに原稿を表示するシステ
ムが開示されている。
特開2004−198835号公報
2. Description of the Related Art Conventionally, there has been known an apparatus that displays a manuscript read by a presenter (speaker) during a presentation (see, for example, Patent Document 1).
In Patent Document 1, a notebook computer that outputs an image used in a presentation to a liquid crystal projector is provided with a sub liquid crystal display separately from a main liquid crystal display that displays an image being output. Is disclosed.
JP 2004-198835 A

ところで、話者が読み上げる原稿が長い場合、プレゼンテーションの途中で話者自身が
どこを読み上げているのか分からなくなることがあるという問題があった。特に、画像を
投影または表示してプレゼンテーションを行う場合、話者は緊張した状態で画像や聴衆に
注意を払いながら原稿を読み上げなければならず、このような話者の負担を軽減すること
が望まれていた。
そこで本発明は、話者が読み上げるべき原稿をわかりやすく表示することが可能な表示
装置、及び、表示装置における表示方法を提供することを目的とする。
By the way, when a speaker reads a long manuscript, there is a problem that it may not be understood where the speaker himself is reading during the presentation. In particular, when a presentation is performed by projecting or displaying an image, the speaker must read the manuscript while paying attention to the image and the audience in a tense state, and it is desirable to reduce the burden on the speaker. It was rare.
SUMMARY An advantage of some aspects of the invention is that it provides a display device that can easily display a manuscript to be read by a speaker and a display method in the display device.

上記課題を解決するため、本発明は、文字列を表示する表示画面を備えた表示装置にお
いて、話者により読み上げられる原稿を第1の表示状態で前記表示画面に表示させる表示
制御手段と、前記話者の音声を取得して解析することにより、話者が発声した語句を認識
する音声認識手段と、前記音声認識手段により認識された語句をもとに、前記表示手段に
表示中の原稿のうち読み上げられた部分を特定する読み上げ判定手段と、を備え、前記表
示制御手段は、前記表示手段により表示中の原稿のうち、前記読み上げ判定手段により特
定された部分の表示状態を、前記第1の表示状態とは異なる第2の表示状態に変化させる
こと、を特徴とする表示装置を提供する。
この構成によれば、話者が読み上げる原稿が表示画面に表示され、この表示された原稿
のうち、話者が発声して読み上げた箇所の表示状態が変化するので、話者は、表示画面に
表示された原稿を見ながら読み上げることができ、さらに、既に読み上げられた既読部分
と、まだ読み上げられていない未読部分とを視覚的に明瞭に区別できる。つまり、話者は
、表示画面の原稿を見ながら、どこまで読み上げたかを容易に知ることができる。これに
より、話者が読み上げる原稿をわかりやすく表示し、話者の負担を大幅に軽減できる。
In order to solve the above problems, the present invention provides a display control means for displaying a document read out by a speaker on the display screen in a first display state in a display device including a display screen for displaying a character string, By acquiring and analyzing the voice of the speaker, the voice recognition means for recognizing the words spoken by the speaker, and the original of the document being displayed on the display means based on the words recognized by the voice recognition means Reading judgment means for specifying a part read out, and the display control means displays the display state of the part specified by the reading judgment means in the original being displayed by the display means. There is provided a display device characterized by changing to a second display state different from the display state.
According to this configuration, the manuscript read by the speaker is displayed on the display screen, and the display state of the portion of the displayed manuscript spoken by the speaker changes, so that the speaker is displayed on the display screen. It is possible to read aloud while looking at the displayed manuscript, and furthermore, it is possible to visually distinguish clearly a read portion that has already been read and an unread portion that has not yet been read. That is, the speaker can easily know how far he / she has read the text while viewing the original on the display screen. Thereby, the manuscript read by the speaker is displayed in an easy-to-understand manner, and the burden on the speaker can be greatly reduced.

上記構成において、前記表示制御装置は、前記表示画面に表示中の原稿のうち、前記読
み上げ判定手段により特定された部分より前に、前記読み上げ判定手段により特定されて
いない部分がある場合には、この部分を読み飛ばされた部分として特定し、その表示状態
を、前記第1及び第2の表示状態とは異なる第3の表示状態に変化させてもよい。
この場合、話者が原稿の一部を読まずに、その先の部分を読み上げてしまった場合、す
なわち一部を読み飛ばしてしまった場合には、その読み飛ばした部分が、既読部分とも未
読部分とも異なる表示状態で表示されるので、読み飛ばしをしてしまったことを、話者が
速やかに知ることができ、速やかに読み直す等の対応をすることができる。
また、上記構成において、前記表示制御装置は、前記表示画面に表示中の原稿のうち、
前記第3の表示状態で表示されている部分が前記読み上げ判定手段により特定された場合
には、この特定された部分の表示状態を前記第2の表示状態に変化させてもよい。
この場合、話者が読み飛ばしてしまった部分を、その後に読み直した場合には、読み飛
ばした部分の表示状態が既読部分と同様の表示状態に切り替わるので、読み飛ばしが解消
されたことを、話者が速やかに知ることができる。
In the above configuration, the display control device may include a portion that is not specified by the reading determination unit before a portion specified by the reading determination unit in the document being displayed on the display screen. This portion may be specified as a skipped portion, and the display state may be changed to a third display state different from the first and second display states.
In this case, if the speaker reads out the previous part without reading a part of the manuscript, that is, if he skips a part, the skipped part will be Since it is displayed in a display state different from that of the unread portion, the speaker can quickly know that the reading has been skipped, and can take measures such as quickly rereading.
Further, in the above configuration, the display control device includes: a document being displayed on the display screen;
When the part displayed in the third display state is specified by the reading determination unit, the display state of the specified part may be changed to the second display state.
In this case, if the speaker skips the part that was skipped, the display state of the skipped part is switched to the same display state as the already read part. , The speaker can know quickly.

さらに、上記構成において、前記話者が原稿を読み上げる間に投影または表示される画
像を撮影する撮影手段と、前記原稿の読み上げ箇所と前記画像との対応を定めた画像対応
情報を記憶する記憶手段と、をさらに備え、前記表示制御手段は、前記撮影手段により撮
影された画像が切り替えられた場合に、前記記憶手段に記憶された画像対応情報に基づい
て、切り替え後の前記画像に対応する読み上げ箇所から後の前記原稿を前記表示画面に表
示させてもよい。
この場合、話者が原稿を読み上げる間に投影または表示される画像、例えば、プレゼン
テーション用のスライドが切り替えられると、切り替え後の画像に対応する部分の原稿が
表示装置に表示されるので、投影または表示される画像と同期して、原稿をよりわかりや
すく表示することが可能になり、話者の負担をより一層軽減できる。
Furthermore, in the above-described configuration, a photographing means for photographing an image projected or displayed while the speaker reads out the original, and a storage means for storing image correspondence information that defines the correspondence between the read-out position of the original and the image And when the image captured by the imaging unit is switched, the display control unit reads out corresponding to the image after switching based on the image correspondence information stored in the storage unit. The original after the location may be displayed on the display screen.
In this case, when an image projected or displayed while the speaker reads a document, for example, a presentation slide is switched, a portion of the document corresponding to the switched image is displayed on the display device. In synchronization with the displayed image, it is possible to display the manuscript more clearly, and the burden on the speaker can be further reduced.

さらにまた、上記構成において、前記表示制御手段は、前記撮影手段により撮影された
画像の切り替えに応じて、切り替え後の前記画像に対応する読み上げ箇所以後の前記原稿
を前記表示画面に表示させる際に、切り替え後の前記画像に対応する読み上げ箇所以前で
あって前記第1の表示状態で表示中の部分を、前記第1の表示状態とは異なる表示状態で
前記表示画面に継続して表示させさせてもよい。
この場合、話者が原稿を読み上げる間に投影または表示される画像、例えば、プレゼン
テーション用のスライドが切り替えられた場合に、その前に投影または表示されていた画
像に対応する原稿のうち未読部分の表示状態が変化するので、前の画像に対応する原稿の
未読部分があることを話者に速やかに知らせることができる。これにより、話者は、投影
または表示される画像の切り替えと原稿の読み上げとにずれを生じたことを知ることがで
き、原稿の読み上げ速度や画像の切り替えタイミングを修正することも可能となる。
Still further, in the above configuration, when the display control unit displays the original after the reading portion corresponding to the image after switching on the display screen in response to switching of the image captured by the imaging unit. The part that is displayed before the reading position corresponding to the image after switching and is displayed in the first display state is continuously displayed on the display screen in a display state different from the first display state. May be.
In this case, an image projected or displayed while the speaker reads the document, for example, when a slide for presentation is switched, an unread portion of the document corresponding to the image projected or displayed before that is switched. Since the display state changes, it is possible to promptly notify the speaker that there is an unread portion of the document corresponding to the previous image. As a result, the speaker can know that there has been a difference between the switching of the projected or displayed image and the reading of the document, and can also correct the reading speed of the document and the switching timing of the image.

また、上記課題を解決するため、本発明は、文字列を表示する表示画面を備えた表示装
置により、話者により読み上げられる原稿を第1の表示状態で前記表示画面に表示させ、
前記話者の音声を取得して解析することにより、話者が発声した語句を認識し、認識した
語句をもとに、前記表示手段に表示中の原稿のうち読み上げられた部分を特定し、前記表
示手段により表示中の原稿のうち読み上げられた部分として特定した部分の表示状態を、
前記第1の表示状態とは異なる第2の表示状態に変化させること、を特徴とする表示装置
における表示方法を提供する。
この方法によれば、話者が読み上げる原稿が表示画面に表示され、この表示された原稿
のうち、話者が発声して読み上げた箇所の表示状態が変化するので、話者は、表示画面に
表示された原稿を見ながら読み上げることができ、さらに、既に読み上げた既読部分と、
まだ読み上げていない未読部分とを視覚的に明瞭に区別できる。つまり、話者は、表示画
面の原稿を見ながら、どこまで読み上げたかを容易に知ることができる。これにより、話
者が読み上げる原稿をわかりやすく表示し、話者の負担を大幅に軽減できる。
In order to solve the above problem, the present invention displays a document read out by a speaker on the display screen in a first display state by a display device having a display screen for displaying a character string.
By obtaining and analyzing the voice of the speaker, the phrase spoken by the speaker is recognized, and based on the recognized phrase, the read-out portion of the original being displayed on the display means is specified, The display state of the portion specified as the portion read out of the document being displayed by the display means,
There is provided a display method in a display device, characterized by changing to a second display state different from the first display state.
According to this method, the manuscript read by the speaker is displayed on the display screen, and the display state of the portion of the displayed manuscript spoken by the speaker changes, so that the speaker is displayed on the display screen. You can read aloud while looking at the displayed manuscript.
It is possible to clearly distinguish visually from unread parts that have not yet been read out. That is, the speaker can easily know how far he / she has read the text while viewing the original on the display screen. Thereby, the manuscript read by the speaker is displayed in an easy-to-understand manner, and the burden on the speaker can be greatly reduced.

本発明によれば、話者が読み上げるべき原稿を表示画面に表示するとともに、話者の音
声に基づいて原稿の表示状態を変更することにより、話者が、既に読み上げた既読部分と
、まだ読み上げていない未読部分とを視覚的に明瞭に区別することが可能になるので、話
者が読み上げる原稿をわかりやすく表示し、話者の負担を大幅に軽減できる。
According to the present invention, the original to be read by the speaker is displayed on the display screen, and the display state of the original is changed based on the voice of the speaker, so that the speaker can read the already read portion and Since it is possible to visually distinguish the unread portion that has not been read out, it is possible to display the manuscript that the speaker reads out in an easy-to-understand manner, thereby greatly reducing the burden on the speaker.

以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明を適用した実施形態に係る表示装置としての携帯電話機1の使用状態を
示す図である。
この図1において、50はプロジェクタ、53はスクリーンである。プロジェクタ50
には、映像ソースとしてのコンピュータ55が接続され、コンピュータ55が出力する映
像信号に基づいて、プロジェクタ50がスクリーン53上に画像54を投影する。
携帯電話機1は、これらプロジェクタ50、スクリーン53及びコンピュータ55を用
いて説明、講義、プレゼンテーション等(以下、本実施形態ではプレゼンテーションとい
う)を行う場合に、話者(プレゼンター)が話す原稿を表示する原稿表示機能を備えてい
る。この携帯電話機1の原稿表示機能を用いれば、話者は、紙の原稿を持たずに原稿を読
み上げることができる。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a usage state of a mobile phone 1 as a display device according to an embodiment to which the present invention is applied.
In FIG. 1, 50 is a projector and 53 is a screen. Projector 50
Is connected to a computer 55 as a video source, and the projector 50 projects an image 54 on a screen 53 based on a video signal output from the computer 55.
The cellular phone 1 uses the projector 50, the screen 53, and the computer 55 to perform a description, a lecture, a presentation, and the like (hereinafter referred to as a presentation in the present embodiment), and a manuscript that displays a manuscript that a speaker (presenter) speaks. It has a display function. By using the document display function of the cellular phone 1, the speaker can read the document without holding a paper document.

図2は、携帯電話機1の機能的構成を示すブロック図である。
携帯電話機1は、各部を制御する制御部10、制御部10により処理される各種データ
等を記憶する記憶部11(記憶手段)、携帯電話機1の外部の外部記憶媒体15に対して
データの読み取り及び書き込みを行う外部インタフェース部12を備えており、制御部1
0は、記憶部11に記憶されたデータに加え、外部インタフェース部12を介して外部記
憶媒体15から読み取ったデータを、上記の原稿表示機能の実行時に利用可能である。
ここで、外部記憶媒体15は、例えば半導体記憶素子を用いたカード型のデバイスであ
り、外部インタフェース部12は、例えば、カード型のデバイスを挿入可能なスロットを
備えている。また、外部記憶媒体15として、他の電子機器を用いてもよく、この場合、
外部インタフェース部12は、上記電子機器との間でデータを送受信するための通信イン
タフェースとして、例えば、Bluetooth(登録商標)、無線LAN、赤外線通信
インタフェース等を備えて構成される。
FIG. 2 is a block diagram showing a functional configuration of the mobile phone 1.
The mobile phone 1 reads data from a control unit 10 that controls each unit, a storage unit 11 (storage means) that stores various data processed by the control unit 10, and an external storage medium 15 outside the mobile phone 1. And an external interface unit 12 for performing writing, and the control unit 1
“0” can use data read from the external storage medium 15 via the external interface unit 12 in addition to the data stored in the storage unit 11 when the above document display function is executed.
Here, the external storage medium 15 is, for example, a card-type device using a semiconductor storage element, and the external interface unit 12 includes a slot into which, for example, a card-type device can be inserted. In addition, other electronic devices may be used as the external storage medium 15, and in this case,
The external interface unit 12 includes, for example, a Bluetooth (registered trademark), a wireless LAN, an infrared communication interface, and the like as a communication interface for transmitting and receiving data to and from the electronic device.

また、携帯電話機1は、話者による操作を検出する操作部20、及び、原稿等の各種情
報を表示する表示部40を備えている。
表示部40は、液晶表示パネルや有機ELパネル等からなる表示パネル42と、表示パ
ネル42を構成する表示素子を駆動して表示パネル42に画像を表示させる表示ドライバ
41とを備えている。また、本実施形態では、表示パネル42が液晶表示パネルであるも
のとして、この表示パネル42を背面側から照明するバックライト43を備えた構成とす
る。表示パネル42が有機ELパネルで構成される場合にはバックライト43は不要であ
る。
操作部20は、表示パネル42に重ねて配設されるタッチセンサ21、数字キーや文字
キー等を含むキー入力部22、及び、タッチセンサ21及びキー入力部22における操作
を検出する操作検出部23を備えている。操作検出部23は、キー入力部22における操
作を検出して、操作されたキーに対応する操作信号を生成して制御部10に出力する。ま
た、操作検出部23は、タッチセンサ21の操作を検出すると、タッチセンサ21におけ
る操作位置を示す操作信号を生成して制御部10に出力する。
The mobile phone 1 also includes an operation unit 20 that detects an operation by a speaker, and a display unit 40 that displays various types of information such as a document.
The display unit 40 includes a display panel 42 formed of a liquid crystal display panel, an organic EL panel, or the like, and a display driver 41 that drives a display element constituting the display panel 42 to display an image on the display panel 42. In the present embodiment, the display panel 42 is assumed to be a liquid crystal display panel, and a backlight 43 that illuminates the display panel 42 from the back side is provided. When the display panel 42 is composed of an organic EL panel, the backlight 43 is not necessary.
The operation unit 20 includes a touch sensor 21 disposed on the display panel 42, a key input unit 22 including numeric keys and character keys, and an operation detection unit that detects operations in the touch sensor 21 and the key input unit 22. 23. The operation detection unit 23 detects an operation at the key input unit 22, generates an operation signal corresponding to the operated key, and outputs the operation signal to the control unit 10. Further, when detecting the operation of the touch sensor 21, the operation detection unit 23 generates an operation signal indicating an operation position on the touch sensor 21 and outputs the operation signal to the control unit 10.

携帯電話機1は、周囲の明るさを検出する照度センサ24を備えている。照度センサ2
4は、フォトダイオードまたはフォトトランジスタを用いた検出部を備え、この検出部は
携帯電話機1本体の表面に露出するように配設される。照度センサ24は、携帯電話機1
の周囲の明るさに応じた検出値を制御部10に出力し、制御部10は、照度センサ24か
ら入力される検出値に基づいて周囲の明るさを判別する。なお、照度センサ24がアナロ
グ電気信号を出力するものである場合に、このアナログ電気信号を増幅してデジタルデー
タに変換して制御部10に出力するA/D変換回路を設けてもよい。
The mobile phone 1 includes an illuminance sensor 24 that detects ambient brightness. Illuminance sensor 2
4 includes a detection unit using a photodiode or a phototransistor, and this detection unit is disposed so as to be exposed on the surface of the mobile phone 1 main body. The illuminance sensor 24 is connected to the mobile phone 1
A detection value corresponding to the ambient brightness is output to the control unit 10, and the control unit 10 determines the ambient brightness based on the detection value input from the illuminance sensor 24. When the illuminance sensor 24 outputs an analog electrical signal, an A / D conversion circuit that amplifies the analog electrical signal, converts it to digital data, and outputs the digital data to the control unit 10 may be provided.

また、携帯電話機1は、CCDイメージセンサやCMOSイメージセンサ等の撮像素子
とレンズとを備えた撮影部25と、制御部10の制御に従って撮影部25の撮像素子を制
御して撮影を行う撮影制御部26とを備え、これら撮影部25及び撮影制御部26により
カメラ撮影機能を提供する。撮影制御部26は、撮影部25の撮像素子が出力するデータ
をデジタル画像データの形式に変換して、制御部10に出力する。なお、撮影部25がレ
ンズを移動させて撮影倍率を変化させるズーム機能を備えた構成としてもよく、この場合
、撮影制御部26は、撮影部25を駆動制御して所定の撮影倍率を実現する。撮影部25
は撮影制御部26とともに撮影手段として機能する。
In addition, the mobile phone 1 includes an imaging unit 25 including an imaging element such as a CCD image sensor or a CMOS image sensor and a lens, and an imaging control that controls the imaging unit 25 according to the control of the control unit 10 to perform imaging. And a camera photographing function is provided by the photographing unit 25 and the photographing control unit 26. The imaging control unit 26 converts the data output from the image sensor of the imaging unit 25 into a digital image data format and outputs the digital image data to the control unit 10. The photographing unit 25 may be configured to have a zoom function for changing the photographing magnification by moving the lens. In this case, the photographing control unit 26 controls the driving of the photographing unit 25 to realize a predetermined photographing magnification. . Shooting unit 25
Functions as a photographing means together with the photographing control unit 26.

さらに、携帯電話機1は、アンテナ28を介して、基地局(図示略)との間で無線信号
を送受信する通信部27を備えている。通信部27は、制御部10から入力される送信用
のデジタルデータに基づいて、内蔵するベースバンド部(図示略)によりベースバンド信
号を生成し、このベースバンド信号を変調及び増幅して、アンテナ28から送信する。ま
た、通信部27は、アンテナ28により受信した無線信号を増幅及び復調してデジタルデ
ータを生成し、制御部10に出力する。通信部27が無線信号を送受信する基地局(図示
略)は、携帯電話網を提供する通信事業者が設置した無線通信局であり、当該通信事業者
のバックボーン回線に接続され、この基地局(図示略)を介して、携帯電話機1に対して
通信サービスが提供される。携帯電話機1は、携帯電話機としての音声通話時、及び、デ
ータ通信時に、通信部27及びアンテナ28を用いて上記基地局との間で通信を実行する
Furthermore, the mobile phone 1 includes a communication unit 27 that transmits and receives radio signals to and from a base station (not shown) via the antenna 28. The communication unit 27 generates a baseband signal from a built-in baseband unit (not shown) based on digital data for transmission input from the control unit 10, modulates and amplifies the baseband signal, and transmits the antenna. 28. Further, the communication unit 27 amplifies and demodulates the radio signal received by the antenna 28 to generate digital data, and outputs the digital data to the control unit 10. A base station (not shown) through which the communication unit 27 transmits and receives radio signals is a radio communication station installed by a communication provider that provides a mobile phone network, and is connected to the backbone line of the communication provider. A communication service is provided to the mobile phone 1 via the not shown). The mobile phone 1 performs communication with the base station using the communication unit 27 and the antenna 28 during a voice call as a mobile phone and during data communication.

携帯電話機1は、さらに、マイク31によって音声を集音するとともに、スピーカ32
から音声を出力する音声処理部30を備える。音声処理部30は、マイク31が音声を集
音して出力するアナログ電気信号をデジタルデータに変換して制御部10及び音声認識部
33に出力する。また、音声処理部30は、制御部10から入力されるデジタルデータに
基づいて音響信号を生成し、この音響信号を増幅してスピーカ32に出力することで、ス
ピーカ32から音声を出力させる。
音声認識部33(音声認識手段)は、音声処理部30から入力されるデジタルデータを
解析することで、マイク31が集音した音声に含まれる語を認識し、テキストデータを生
成して、制御部10に出力する。この音声認識部33により、携帯電話機1を使用する話
者が話した内容がテキストデータとして制御部10に入力される。
また、携帯電話機1は、内蔵する半導体レーザ発振器により赤色や緑色のレーザ光を生
成し、所定方向に出射するレーザ発光部35を備えている。制御部10は、操作部20に
より検出した操作に応じて、レーザ発光部35に対する駆動電流のON/OFFを制御す
る。レーザ発光部35は、スクリーン53(図1)に投影された画像54を指し示すレー
ザポインタとして利用される。このレーザ発光部35を簡単に操作できるように、キー入
力部22に、発光指示用の独立したスイッチを設け、このスイッチの押下中にのみレーザ
発光部35が発光する構成としてもよい。
The mobile phone 1 further collects sound with a microphone 31 and a speaker 32.
Is provided with a voice processing unit 30 that outputs voice. The voice processing unit 30 converts the analog electrical signal output by the microphone 31 to collect and output voice to digital data, and outputs the digital data to the control unit 10 and the voice recognition unit 33. Further, the sound processing unit 30 generates sound signals based on the digital data input from the control unit 10, amplifies the sound signals, and outputs the sound signals to the speaker 32, thereby outputting sound from the speaker 32.
The voice recognition unit 33 (voice recognition means) analyzes the digital data input from the voice processing unit 30 to recognize words included in the voice collected by the microphone 31, generates text data, and performs control. To the unit 10. The voice recognition unit 33 inputs the content spoken by the speaker using the mobile phone 1 to the control unit 10 as text data.
In addition, the mobile phone 1 includes a laser light emitting unit 35 that generates red or green laser light using a built-in semiconductor laser oscillator and emits the laser light in a predetermined direction. The control unit 10 controls ON / OFF of the drive current for the laser light emitting unit 35 according to the operation detected by the operation unit 20. The laser light emitting unit 35 is used as a laser pointer indicating the image 54 projected on the screen 53 (FIG. 1). In order to easily operate the laser emission unit 35, the key input unit 22 may be provided with an independent switch for instructing emission, and the laser emission unit 35 may emit light only when the switch is pressed.

このように構成される携帯電話機1は、携帯電話機として機能する場合、音声通話およ
びデータ通信を実行可能である。音声通話の実行時、携帯電話機1は、通信部27によっ
て基地局(図示略)との間で通話開始に係る制御信号を送受信し、発呼または着呼の動作
を行って、音声通話を開始する。音声通話中、制御部10は音声処理部30を制御して、
マイク31により話者の音声を取得して通信部27により音声データを送信するとともに
、通信部27により受信した音声データに基づいてスピーカ32から音声を出力させる。
また、携帯電話機1は、電子メールの送受信やブラウザ機能によるウェブページの閲覧等
を実行する場合、通信部27によって基地局(図示略)との間でデータ通信開始に係る制
御信号を送受信し、上記通信事業者が提供するゲートウェイサーバとの間でデータを送受
信する。
When the mobile phone 1 configured as described above functions as a mobile phone, it can execute voice calls and data communications. When performing a voice call, the mobile phone 1 transmits / receives a control signal related to the start of a call to / from a base station (not shown) by the communication unit 27, performs an outgoing call or an incoming call, and starts a voice call To do. During the voice call, the control unit 10 controls the voice processing unit 30,
The voice of the speaker is acquired by the microphone 31 and the voice data is transmitted by the communication unit 27, and the voice is output from the speaker 32 based on the voice data received by the communication unit 27.
In addition, when the mobile phone 1 executes transmission / reception of an e-mail or browsing of a web page by a browser function, the communication unit 27 transmits / receives a control signal related to start of data communication with a base station (not shown), Data is transmitted to and received from a gateway server provided by the communication carrier.

また、携帯電話機1は、図1に示したようにプレゼンテーションを実行する際に、プレ
ゼンテーションで話者が読み上げるべき原稿を表示パネル42に表示する原稿表示機能を
有する。この原稿表示機能の実行時、制御部10は、表示制御手段及び読み上げ判定手段
として機能する。
原稿表示機能の実行時に、制御部10は、記憶部11に記憶した原稿のテキストデータ
を取得して、このテキストデータを表示するための表示情報を生成し、表示部40に出力
する。ここで、原稿のテキストデータが外部記憶媒体15に記憶されている場合は、この
テキストデータを外部インタフェース部12により読み取って、記憶部11に記憶した状
態で、原稿表示機能を実行する。
記憶部11に記憶された原稿のテキストデータは、1回分のプレゼンテーションに対応
する連続したテキストデータ、或いは、1回分のプレゼンテーションに対応するテキスト
データを複数に分割したデータである。この比較的長文のテキストデータには、複数のイ
ンデックスが付されており、このインデックスを指標として、テキストデータ中の任意の
位置を指定できるようになっている。
そして、記憶部11には、プレゼンテーションにおいてスクリーン53に投影されるス
ライドと、テキストデータのインデックスとを対応づけるスライド対応情報11a(画像
対応情報)が記憶される。ここで、スライドとは、プレゼンテーション中に画像54とし
てスクリーン53に投影される説明用の画像である。
また、制御部10は、原稿表示機能の実行時に、照度センサ24により検出した周囲の
照度に基づいて、バックライト43の輝度を変化させる制御を行う。これにより、例えば
プレゼンテーション中に周囲が暗くなっても、原稿を見やすく表示できる。
Further, as shown in FIG. 1, the mobile phone 1 has a document display function for displaying on the display panel 42 a document to be read out by a speaker in the presentation when the presentation is performed. When this document display function is executed, the control unit 10 functions as a display control unit and a reading determination unit.
When executing the document display function, the control unit 10 acquires the text data of the document stored in the storage unit 11, generates display information for displaying the text data, and outputs the display information to the display unit 40. If the text data of the document is stored in the external storage medium 15, the document display function is executed in a state where the text data is read by the external interface unit 12 and stored in the storage unit 11.
The document text data stored in the storage unit 11 is continuous text data corresponding to one presentation, or data obtained by dividing text data corresponding to one presentation into a plurality of pieces. The relatively long text data is provided with a plurality of indexes, and an arbitrary position in the text data can be designated using the indexes as indices.
The storage unit 11 stores slide correspondence information 11a (image correspondence information) that associates the slide projected on the screen 53 in the presentation with the text data index. Here, the slide is an explanatory image projected as an image 54 on the screen 53 during the presentation.
In addition, the control unit 10 performs control to change the luminance of the backlight 43 based on the ambient illuminance detected by the illuminance sensor 24 when the document display function is executed. Thereby, for example, even if the surrounding becomes dark during the presentation, the document can be displayed in an easy-to-see manner.

図3は、記憶部11に格納されるスライド対応情報11aの構成例を模式的に示す図で
ある。
この図3に例示するように、スライド対応情報11aは、スライドの番号と、そのスラ
イドに対応するテキストデータの先頭位置のインデックスを示すインデックス番号とが、
対応づけられている。
例えば、No.1〜の番号が付されたスライドを使用するプレゼンテーションの原稿の
テキストデータに、No.01〜のインデックスが付与され、記憶部11には図3に例示
するスライド対応情報11aが記憶されている場合、No.3のスライドの説明は、テキ
ストデータのNo.06のインデックスを先頭とする部分である。このため、例えば、N
o.3のスライドがスクリーン53に投影された場合に、No.06のインデックス以後
のテキストデータが読み上げられると、スライドとテキストデータとが連動した、好まし
いプレゼンテーションとなる。
FIG. 3 is a diagram schematically illustrating a configuration example of the slide correspondence information 11 a stored in the storage unit 11.
As illustrated in FIG. 3, the slide correspondence information 11a includes a slide number and an index number indicating the index of the head position of text data corresponding to the slide.
It is associated.
For example, no. In the text data of the manuscript of the presentation that uses the slides numbered 1 to No. No. 01- is assigned, and the storage unit 11 stores the slide correspondence information 11a illustrated in FIG. For the explanation of the slide 3, the text data No. This is a part starting from the index of 06. For this reason, for example, N
o. 3 is projected on the screen 53, No. 3 slide is projected. When the text data after the index of 06 is read out, it becomes a preferable presentation in which the slide and the text data are linked.

図4は、携帯電話機1の原稿表示機能の実行時における動作を示すフローチャートであ
る。この図4に示す動作は、制御部10が携帯電話機1の各部を制御することにより実行
される。
制御部10は、まず、記憶部11に記憶している原稿のテキストデータを読み出し(ス
テップS11)、操作部20の操作により表示開始の指示がなされるまで待機する(ステ
ップS12)。
ここで、話者が表示パネル42に接触する操作やキー入力部22のキーを押下する等の
操作がなされ、表示開始が指示された場合(ステップS12;Yes)、制御部10は、
撮影部25によってスクリーン53に投影された画像54の撮影を開始し、スクリーン5
3に投影されている画像54の切り替わりを検出する(ステップS13)。
FIG. 4 is a flowchart showing an operation when the original display function of the mobile phone 1 is executed. The operation shown in FIG. 4 is executed by the control unit 10 controlling each unit of the mobile phone 1.
The control unit 10 first reads the text data of the document stored in the storage unit 11 (step S11), and waits until an instruction to start display is given by the operation of the operation unit 20 (step S12).
Here, when an operation such as an operation in which the speaker touches the display panel 42 or an operation of pressing a key of the key input unit 22 is performed and a display start is instructed (step S12; Yes), the control unit 10
Imaging of the image 54 projected on the screen 53 by the imaging unit 25 is started, and the screen 5
3 is detected (step S13).

プレゼンテーションを開始する前は、通常、プレゼンテーションのタイトルを含む表紙
のスライドが画像54として投影されていたり、青一色の背景画像が画像54として投影
されていたり、或いは、コンピュータ55の通常動作時(待機時)の画面が画像54とし
て投影されていたりする。そして、プレゼンテーションが始まると、話者あるいは補助者
がコンピュータ55を操作して、説明用のスライドの投影を開始し、画像54は説明用の
スライドに切り替えられる。そこで、制御部10は、原稿表示の開始が指示された後、ス
クリーン53に投影されている画像54が切り替わったことを検出して、この切り替わり
をプレゼンテーション開始のトリガとする。
画像54の切り替わりを検出するため、ステップS13においては、話者が携帯電話機
1の撮影部25のレンズをスクリーン53に向ける操作を行い、制御部10は、撮影部2
5の撮影画像データを所定周期で取得して、以前に取得した撮影画像データと比較する処
理を行う。ここで、撮影部25のレンズをスクリーン53に向けるよう案内するメッセー
ジを、表示パネル42に表示してもよい。
Before starting the presentation, a cover slide containing the presentation title is usually projected as an image 54, a blue background image is projected as the image 54, or during normal operation of the computer 55 (standby) Screen) is projected as an image 54. When the presentation starts, the speaker or assistant operates the computer 55 to start projecting the slide for explanation, and the image 54 is switched to the slide for explanation. Therefore, the control unit 10 detects that the image 54 projected on the screen 53 has been switched after the start of document display is instructed, and uses this switching as a presentation start trigger.
In order to detect the switching of the image 54, in step S 13, the speaker performs an operation of directing the lens of the photographing unit 25 of the mobile phone 1 toward the screen 53.
5 is acquired at a predetermined period, and a process of comparing with previously acquired captured image data is performed. Here, a message for guiding the lens of the photographing unit 25 to face the screen 53 may be displayed on the display panel 42.

画像54の切り替わりを検出すると(ステップS13;Yes)、制御部10は、音声
認識部33による音声認識処理を開始するとともに(ステップS14)、表示ドライバ4
1を制御して、ステップS11で読み出した原稿のテキストデータを表示パネル42に表
示させる(ステップS15)。ステップS15で表示される範囲は、例えば、原稿のテキ
ストデータの先頭から、表示パネル42の表示文字数及び表示行数の制限に納まる範囲で
ある。
その後、制御部10は、音声認識部33により認識されたテキストデータを、表示パネ
ル42に表示中のテキストデータと照合し、表示中のテキストデータのうち音声認識部3
3により認識された部分を、話者が読み上げた既読部分であると特定して、この既読部分
の表示状態を変更する(ステップS16)。このステップS16で、制御部10は、表示
状態を変更した既読部分が、表示パネル42の表示領域の所定以上の割合を占めるように
なった場合には、表示パネル42に表示するテキストデータの範囲を移動させ、表示をス
クロールする。これにより、表示パネル42に表示中のテキストデータのうち、話者が読
み上げた部分の表示状態が順次変更されていくので、どこまで読み上げたかを話者が容易
に把握できる。また、既読部分が表示パネル42の所定位置まで進むと表示がスクロール
され、続く部分のテキストデータが表示されるので、快適にプレゼンテーションを続ける
ことができる。
When the switching of the image 54 is detected (step S13; Yes), the control unit 10 starts voice recognition processing by the voice recognition unit 33 (step S14) and the display driver 4
1 is controlled to display the text data of the original read in step S11 on the display panel 42 (step S15). The range displayed in step S15 is, for example, a range that falls within the limits on the number of display characters and display lines on the display panel 42 from the beginning of the text data of the document.
Thereafter, the control unit 10 collates the text data recognized by the voice recognition unit 33 with the text data being displayed on the display panel 42, and the voice recognition unit 3 among the text data being displayed.
The part recognized by 3 is identified as the read part read out by the speaker, and the display state of this read part is changed (step S16). In step S <b> 16, when the already-read portion whose display state has been changed occupies a predetermined ratio or more of the display area of the display panel 42, the control unit 10 determines the text data to be displayed on the display panel 42. Move the range and scroll the display. Thereby, in the text data being displayed on the display panel 42, the display state of the portion read out by the speaker is sequentially changed, so that the speaker can easily grasp how far it has been read out. Further, when the already read portion advances to a predetermined position on the display panel 42, the display is scrolled and the text data of the subsequent portion is displayed, so that the presentation can be comfortably continued.

また、制御部10は、音声認識部33により認識されたテキストデータを、表示パネル
42に表示中のテキストデータと照合した結果、読み飛ばしが発生したか否かを判別する
(ステップS17)。読み飛ばしとは、表示パネル42に表示中のテキストデータの一部
を話者が読み上げないで、その先の部分を読み上げた場合に発生する。読み飛ばしが発生
した場合(ステップS17;Yes)、制御部10は、読み飛ばされた部分の表示状態を
、ハイライト表示に変更し(ステップS18)、ステップS16に戻って処理を繰り返す

読み飛ばしは、例えば、制御部10がステップS16で特定した既読部分と、先に特定
した既読部分とが連続せず、その間に、まだ読み上げられていない未読部分が存在するこ
とで検出でき、既読部分に挟まれた未読部分が読み飛ばされた部分として特定され、ハイ
ライト表示される。
Further, the control unit 10 determines whether or not skipping has occurred as a result of collating the text data recognized by the voice recognition unit 33 with the text data being displayed on the display panel 42 (step S17). The skipping occurs when the speaker does not read out a part of the text data being displayed on the display panel 42 and reads out the part ahead. When skipping has occurred (step S17; Yes), the control unit 10 changes the display state of the skipped portion to highlight display (step S18), and returns to step S16 to repeat the process.
The skipping can be detected, for example, by the fact that the already-read portion specified by the control unit 10 in step S16 and the already-read portion specified earlier are not continuous and there is an unread portion that has not yet been read. The unread portion sandwiched between the already read portions is specified as a skipped portion and is highlighted.

読み飛ばしが発生していない場合(ステップS17;No)、制御部10は、続いて、
それ以前に読み飛ばしされた部分の読み直しがなされたか否かを判別する(ステップS1
9)。読み直しとは、ステップS17で読み飛ばしとして検出された部分が、その後に話
者によって読み上げられたことを指す。制御部10は、ステップS16で照合したテキス
トデータの中に、それ以前に特定された読み飛ばし部分と一致する部分があった場合(ス
テップS19;Yes)、ハイライト表示されている読み飛ばし部分のうち、読み直され
た部分のハイライト表示を終了して(ステップS20)、ステップS21に移行する。ま
た、読み直しに該当する部分が無かった場合や、読み飛ばし部分が無い場合(ステップS
19;No)、制御部10はステップS21に移行する。
When skipping has not occurred (step S17; No), the control unit 10 continues to
It is determined whether or not the portion skipped before is reread (step S1).
9). Re-reading means that the part detected as skipping in step S17 is subsequently read out by the speaker. When there is a part in the text data collated in step S16 that matches the skipped part specified before (step S19; Yes), the control unit 10 selects the skipped part that is highlighted. Among these, the highlighted display of the re-read portion is finished (step S20), and the process proceeds to step S21. In addition, when there is no portion corresponding to rereading or when there is no skipped portion (step S).
19; No), the control unit 10 proceeds to step S21.

ステップS21において、制御部10は、撮影部25の撮影画像データの変化の有無に
基づいて、プロジェクタ50により画像54として投影されるスライドが切り替えられた
か否かを判別する。上述のステップS13において、プレゼンテーション開始時のスライ
ドの切り替わりを検出した後も、制御部10は、撮影部25の撮影画像データを所定周期
で取得して比較を行い、撮影画像データに所定のレベルを超える変化があった場合には、
ステップS21でスライドが切り替えられたと判別する。この場合、制御部10は、スラ
イド対応情報11aを参照して、切り替え後のスライドに対応するインデックス位置を特
定し、表示パネル42に表示中のテキストデータのうち特定したインデックス位置よりも
前の部分の表示状態を、強調表示に切り替えて、この部分を継続して表示パネル42に表
示させる(ステップS22)。続いて、制御部10は、切り替え後のスライドに対応する
インデックス以後のテキストデータが表示パネル42に表示されるように、表示パネル4
2に表示するテキストデータの範囲を移動させてスクロールを行わせる(ステップS23
)。つまり、制御部10は、撮影部25の撮影画像データの変化の有無に基づいてスライ
ドの切り替わりを検出した場合に、表示パネル42に、切り替え後のスライドに対応する
原稿を表示するようスクロール及び表示変更を行うが、前のスライドに対応する原稿のう
ち未読部分がある場合は、この未読部分は強調表示の状態で、継続して表示されるように
する。
In step S <b> 21, the control unit 10 determines whether or not the slide projected as the image 54 by the projector 50 has been switched based on whether or not the photographed image data of the photographing unit 25 has changed. Even after detecting the switching of the slide at the start of the presentation in step S13, the control unit 10 acquires and compares the captured image data of the imaging unit 25 in a predetermined cycle, and sets a predetermined level in the captured image data. If there is a change that exceeds,
In step S21, it is determined that the slide has been switched. In this case, the control unit 10 refers to the slide correspondence information 11a, identifies the index position corresponding to the slide after switching, and the part before the identified index position of the text data being displayed on the display panel 42. Is switched to highlighted display, and this portion is continuously displayed on the display panel 42 (step S22). Subsequently, the control unit 10 displays the display panel 4 so that text data after the index corresponding to the slide after switching is displayed on the display panel 42.
The range of the text data to be displayed in 2 is moved and scrolled (step S23).
). That is, the control unit 10 scrolls and displays so as to display a document corresponding to the slide after the switching on the display panel 42 when the switching of the slide is detected based on whether or not the captured image data of the imaging unit 25 is changed. Although there is a change, if there is an unread portion in the document corresponding to the previous slide, the unread portion is displayed in an highlighted state continuously.

そして、制御部10は、記憶部11から読み出した当該プレゼンテーション用のテキス
トデータの全てが読み上げられたか否かに基づいて、読み上げが終了したか否かを判別し
(ステップS24)、読み上げが終了していなければステップS16に戻って処理を繰り
返し、読み上げが終了した場合は本処理を終了する。このステップS24で、制御部10
は、音声認識部33から入力されるテキストデータの有無、或いは、音声処理部30がマ
イク31によって集音した音声の変化に基づいて、読み上げが終了したか否かを判別して
もよい。
一方、画像54として投影されるスライドが切り替えられなかった場合(ステップS2
1;No)、制御部10は、そのままステップS24に移行して上記の判別を行う。
Then, the control unit 10 determines whether or not reading has been completed based on whether or not all of the text data for presentation read from the storage unit 11 has been read (step S24), and reading is completed. If not, the process returns to step S16 to repeat the process. If the reading is completed, the process ends. In this step S24, the control unit 10
May determine whether or not the reading has been completed based on the presence or absence of text data input from the voice recognition unit 33 or the change in the voice collected by the voice processing unit 30 by the microphone 31.
On the other hand, when the slide projected as the image 54 is not switched (step S2).
1; No), the control unit 10 proceeds to step S24 as it is and performs the above determination.

図5は、図4に示す動作中における原稿のテキストデータの表示例を示す図である。
この図5に例示するように、プレゼンテーションの実行中、携帯電話機1の表示パネル
42には、読み上げ用テキストデータ45が表示される。
読み上げ用テキストデータ45は、通常、下線等が付されない状態で表示されている(
第1の表示状態)が、既に話者が読み上げた既読部分45aは、図4のステップS16で
読み上げたと判別され、表示状態が変更される。図5の例では、既読部分45aには下線
が付されており(第2の表示状態)、未読部分45cとの相違が明瞭である。このため、
話者に対して、どこまで読み上げたかを明確に伝えることができ、話者は下線が付いてい
ないテキストデータを読み上げればよく、原稿の読み間違い等を防止できる。
また、図4のステップS17に関して説明したように、話者が、表示パネル42に表示
された読み上げ用テキストデータ45の一部を読み飛ばした場合、読み飛ばした部分はハ
イライト表示される(第3の表示状態)。図5の例ではハイライト表示部45bが、読み
飛ばされた部分に相当する。ハイライト表示部45bの表示状態は、例えば、文字自体が
点滅する表示状態、文字に重なる位置又は文字の近傍に模様が表示され、この模様が点滅
する表示状態、文字に重なる位置又は文字の近傍にカラーの模様が表示される表示状態等
である。
ハイライト表示部45bのテキストを話者が読み上げると、図4のステップS19で説
明した読み直しとなり、ハイライト表示部45bのハイライト表示は、通常の既読部分4
5aと同様の下線表示に切り替えられる。
FIG. 5 is a diagram showing a display example of the text data of the document during the operation shown in FIG.
As illustrated in FIG. 5, text data for reading 45 is displayed on the display panel 42 of the mobile phone 1 during the presentation.
The text data for reading 45 is normally displayed without being underlined or the like (
In the first display state), the read portion 45a that has already been read out by the speaker is determined to have been read out in step S16 in FIG. 4, and the display state is changed. In the example of FIG. 5, the read portion 45a is underlined (second display state), and the difference from the unread portion 45c is clear. For this reason,
It is possible to clearly tell the speaker how far it has been read, and the speaker only has to read the text data that is not underlined, and can prevent erroneous reading of the manuscript.
As described with reference to step S17 in FIG. 4, when the speaker skips a part of the text data for reading 45 displayed on the display panel 42, the skipped part is highlighted (first display). 3 display state). In the example of FIG. 5, the highlight display portion 45b corresponds to a skipped portion. The display state of the highlight display unit 45b is, for example, a display state in which the character itself is blinking, a position where the pattern is superimposed on the character or in the vicinity of the character, a display state in which this pattern is blinking, a position where the character is superimposed, or the vicinity of the character Display state in which a color pattern is displayed.
When the speaker reads out the text of the highlight display section 45b, the re-reading described in step S19 of FIG. 4 is performed, and the highlight display of the highlight display section 45b is the normal read part 4
The display is switched to the underline display similar to 5a.

以上のように、本発明の実施形態に係る携帯電話機1によれば、プレゼンテーションに
おいて話者が読み上げる原稿のテキストデータが記憶部11から読み出され、表示パネル
42に表示されるので、話者は表示パネル42に表示される原稿を見ながらプレゼンテー
ションを行うことができる。また、制御部10は、表示パネル42に表示された原稿のテ
キストデータのうち、音声認識部33により認識されたテキストデータと一致する部分の
表示状態を変化させるので、話者が発声して読み上げた箇所の表示状態が変化し、これに
より、話者は、既に読み上げた既読部分と、まだ読み上げていない未読部分とを視覚的に
明瞭に区別でき、どこまで読み上げたかを容易に知ることができる。これにより、話者が
読み上げる原稿をわかりやすく表示し、話者の負担を大幅に軽減できる。
As described above, according to the mobile phone 1 according to the embodiment of the present invention, the text data of the manuscript read by the speaker in the presentation is read from the storage unit 11 and displayed on the display panel 42. A presentation can be made while viewing the original displayed on the display panel 42. Further, the control unit 10 changes the display state of the portion of the text data of the document displayed on the display panel 42 that matches the text data recognized by the voice recognition unit 33, so that the speaker speaks and reads it out. As a result, the speaker can visually distinguish clearly the already read part from the already read part and the unread part that has not yet been read, and can easily know how far it has been read. . Thereby, the manuscript read by the speaker is displayed in an easy-to-understand manner, and the burden on the speaker can be greatly reduced.

また、上記構成において、制御部10は、表示パネル42に表示中の原稿のテキストデ
ータのうち、読み上げられた部分として特定された部分より前に、未読部分がある場合に
は、この未読部分の表示状態を、未読部分とも既読部分とも異なる表示状態、すなわちハ
イライト表示に変更するので、話者が原稿の一部を読み飛ばしてしまった場合に、読み飛
ばしをしてしまったこと、及び読み飛ばした部分を、話者に速やかに知らせることができ
、話者は読み直す等の対応ができる。
また、このハイライト表示された部分が読み上げられた場合、制御部10は、当該部分
の表示状態を、ハイライト表示から既読部分の表示状態に変化させるので、話者が読み飛
ばしてしまった部分を読み直した場合に、読み飛ばしが解消されたことを、話者が速やか
に知ることができる。
In the above configuration, when there is an unread portion before the portion specified as the read-out portion in the text data of the document being displayed on the display panel 42 in the above configuration, the control portion 10 Since the display state is changed to a display state that is different from the unread part and the read part, i.e., highlight display, if the speaker skips a part of the manuscript, it skips reading, and The skipped portion can be quickly notified to the speaker, and the speaker can take a countermeasure such as rereading.
In addition, when the highlighted portion is read out, the control unit 10 changes the display state of the portion from the highlighted display to the display state of the already read portion, so that the speaker skips reading. When the part is read again, the speaker can quickly know that skipping has been eliminated.

さらに、制御部10は、撮影部25により画像54を撮影した撮影画像データの変化に
基づいて、画像54として投影されるスライドの切り替わりを検出すると、記憶部11に
記憶したスライド対応情報11aに基づいて、切り替わり後のスライドに対応するインデ
ックス位置から後の部分のテキストデータを表示パネル42に表示させる。これにより、
原稿をスライドに同期させて表示することが可能になり、話者がより原稿を読み上げやす
くなって、話者の負担を軽減できる。
また、制御部10は、スライドの切り替わりを検出した場合に、切り替え前のスライド
に対応する部分のテキストデータのうち、未読部分がある場合は、この未読部分の表示状
態を、未読部分とも異なる表示状態、例えば強調表示に変化させるので、前のスライドに
対応する未読部分があることを話者に速やかに知らせることができる。これにより、話者
は、投影または表示される画像の切り替えと原稿の読み上げとにずれを生じたことを知る
ことができ、原稿の読み上げ速度や画像の切り替えタイミングを修正することも可能とな
る。
ここで、制御部10は、撮影部25により撮影された撮影画像データの変化をもとにス
ライドの切り替わりを検出するので、プロジェクタ50やコンピュータ55と携帯電話機
1との間でデータや制御信号の送受信等を行うことなく、スライドの切り替わりと原稿の
表示とを同期させることができる。このため、プロジェクタ50やコンピュータ55の仕
様とは無関係に上記機能を発揮することが可能であり、プロジェクタ50に代えてOHP
(Over Head Projector)を用いて画像54を投影した場合も同様の機能を発揮できる。
また、制御部10は、プレゼンテーションが開始されたことを、撮影部25の撮影画像
データの変化に基づいて検出するので、プレゼンテーションの開始を指示する操作が不要
である。これにより、携帯電話機1を用いることでスムーズにプレゼンテーションを開始
および進行させることができるという利点がある。
Furthermore, when the control unit 10 detects the change of the slide projected as the image 54 based on the change in the captured image data obtained by capturing the image 54 by the photographing unit 25, the control unit 10 based on the slide correspondence information 11 a stored in the storage unit 11. Thus, the text data of the portion after the index position corresponding to the slide after switching is displayed on the display panel 42. This
Since the original can be displayed in synchronization with the slide, it becomes easier for the speaker to read the original and the burden on the speaker can be reduced.
Further, when the control unit 10 detects the change of the slide, and there is an unread portion in the text data corresponding to the slide before the change, the display state of the unread portion is displayed differently from the unread portion. Since the state is changed to, for example, highlighting, it is possible to promptly notify the speaker that there is an unread portion corresponding to the previous slide. As a result, the speaker can know that there has been a difference between the switching of the projected or displayed image and the reading of the document, and can also correct the reading speed of the document and the switching timing of the image.
Here, since the control unit 10 detects the switching of the slide based on the change in the captured image data captured by the capturing unit 25, the control unit 10 transmits data and control signals between the projector 50 and the computer 55 and the mobile phone 1. It is possible to synchronize slide switching and document display without performing transmission and reception. For this reason, it is possible to exhibit the above functions regardless of the specifications of the projector 50 and the computer 55.
The same function can be exhibited when the image 54 is projected using (Over Head Projector).
Further, since the control unit 10 detects that the presentation is started based on the change in the captured image data of the imaging unit 25, an operation for instructing the start of the presentation is unnecessary. Thereby, there exists an advantage that a presentation can be started and advanced smoothly by using the mobile phone 1.

そして、携帯電話機1は、話者が所有する通話機能を備えた携帯電話機であるから、話
者は自分の携帯電話機1の記憶部11に予め原稿のテキストデータを記憶させておくこと
により、プレゼンテーションの準備をすることができる。このテキストデータを事前に表
示パネル42に表示させて、プレゼンテーションの原稿確認や読み上げの練習をすること
もできる。加えて、携帯電話機1はレーザ発光部35を備え、このレーザ発光部35が発
する光をスクリーン53に当てることで、レーザポインタとして使用できる。このため、
携帯電話機1は、原稿を表示する機能と、レーザポインタとして画像54の所望の箇所を
指し示す機能とを兼ねるものとなる。これにより、話者は、プレゼンテーションの最中に
携帯電話機1を持っているだけで、原稿を見て読み上げることも、画像54の所望の箇所
を指し示すこともでき、プレゼンテーション中の話者の負担がより軽減される。そして、
このような使用方法では、話者が携帯電話機1の表示パネル42から目を離すことが少な
くないが、上述したように、表示パネル42においては未読部分と既読部分とが異なる表
示状態で表示されるので、どこまで読み上げたか速やかに知ることができる。従って、原
稿表示機能とレーザポインタとしての機能とを一つの装置に持たせた場合において、非常
に良好な使用感、利便性を実現できる。
Since the mobile phone 1 is a mobile phone having a call function owned by the speaker, the speaker stores the text data of the manuscript in the storage unit 11 of his / her mobile phone 1 in advance, thereby giving a presentation. Can be ready. The text data can be displayed on the display panel 42 in advance, and the presentation manuscript can be checked and read out. In addition, the mobile phone 1 includes a laser light emitting unit 35, and can be used as a laser pointer by applying light emitted from the laser light emitting unit 35 to the screen 53. For this reason,
The cellular phone 1 has both a function of displaying a document and a function of pointing a desired portion of the image 54 as a laser pointer. As a result, the speaker can hold the mobile phone 1 in the middle of the presentation and can read and read the manuscript or point to a desired portion of the image 54, thereby reducing the burden on the speaker during the presentation. It is reduced more. And
In such a method of use, the speaker often looks away from the display panel 42 of the mobile phone 1, but as described above, the display panel 42 displays the unread portion and the read portion in different display states. So, you can quickly know how far you have read. Therefore, when a single apparatus is provided with a document display function and a laser pointer function, a very good feeling of use and convenience can be realized.

なお、上述した各実施形態は、あくまでも本発明の一態様を示すものであり、本発明の
範囲内で任意に変形および応用が可能である。
例えば、上記の実施形態においては、話者(プレゼンター)がプレゼンテーション中に
読み上げる原稿のテキストデータを記憶部11に記憶し、このテキストデータを制御部1
0が読み出して表示パネル42に表示する構成としたが、本発明はこれに限定されるもの
ではない。例えば、原稿のデータはテキストデータに限らず、制御部10の制御により文
字列を表示パネル42に表示可能なデータであれば、ファイルフォーマット等は任意であ
り、記憶部11における記憶容量を節約するために圧縮されていてもよく、セキュリティ
面の配慮から暗号化されて記憶部11に記憶されていてもよい。また、表示パネル42に
原稿を表示した状態で、表示中の原稿の部分に対応するスライドの番号や、当該スライド
の縮小画像を並べて表示してもよい。また、プロジェクタ50に対して画像54を投影す
るための画像データを送出する機器はコンピュータ55に限定されず、PDAや他の電子
機器であってもよい。さらに、制御部10は、プレゼンテーションの開始前に投影されて
いる画像54が、他の画像に切り替わった場合にプレゼンテーションが開始されたものと
して原稿の表示を開始する構成としたが、例えば、プレゼンテーションの開始前に原稿の
テキストデータの先頭部分を表示パネル42に表示していてもよく、プレゼンテーション
の開始を、操作部20における操作により指示してもよい。また、画像54のどの状態を
1枚目のスライドとしてカウントするかは任意であり、その他、携帯電話機1の具体的な
細部構成についても任意に変更可能である。
The above-described embodiments merely show one aspect of the present invention, and can be arbitrarily modified and applied within the scope of the present invention.
For example, in the above-described embodiment, text data of a manuscript that a speaker (presenter) reads during presentation is stored in the storage unit 11, and this text data is stored in the control unit 1.
Although 0 is read and displayed on the display panel 42, the present invention is not limited to this. For example, the document data is not limited to text data, and any file format can be used as long as the data can be displayed on the display panel 42 under the control of the control unit 10, thus saving the storage capacity in the storage unit 11. Therefore, the data may be compressed, or may be encrypted and stored in the storage unit 11 for security reasons. Further, with the document displayed on the display panel 42, the slide number corresponding to the displayed document portion and the reduced image of the slide may be displayed side by side. In addition, a device that transmits image data for projecting the image 54 to the projector 50 is not limited to the computer 55, and may be a PDA or another electronic device. Further, the control unit 10 is configured to start displaying the original as if the presentation started when the image 54 projected before the start of the presentation is switched to another image. The beginning of the text data of the document may be displayed on the display panel 42 before the start, and the start of the presentation may be instructed by an operation on the operation unit 20. Further, which state of the image 54 is counted as the first slide is arbitrary, and other specific details of the cellular phone 1 can be arbitrarily changed.

実施形態に係る携帯電話機の使用状態を示す概略図である。It is the schematic which shows the use condition of the mobile telephone which concerns on embodiment. 携帯電話機の構成を示すブロック図である。It is a block diagram which shows the structure of a mobile telephone. スライド対応情報の構成例を示す図である。It is a figure which shows the structural example of slide corresponding | compatible information. 携帯電話機の動作を示すフローチャートである。It is a flowchart which shows operation | movement of a mobile telephone. 原稿のテキストデータの表示例を示す図である。It is a figure which shows the example of a display of the text data of a manuscript.

符号の説明Explanation of symbols

1…携帯電話機(表示装置)、10…制御部(表示制御手段、読み上げ判定手段)、1
1…記憶部(記憶手段)、11a…スライド対応情報(画像対応情報)、12…外部イン
タフェース部、20…操作部、25…撮影部(撮影手段)、26…撮影制御部(撮影手段
)、27…通信部、28…アンテナ、30…音声処理部、31…マイク、32…スピーカ
、33…音声認識部(音声認識手段)、35…レーザ発光部、40…表示部、41…表示
ドライバ、42…表示パネル、45…読み上げ用テキストデータ、45a…既読部分、4
5b…ハイライト表示部、45c…未読部分、50…プロジェクタ、53…スクリーン、
54…画像、55…コンピュータ。
DESCRIPTION OF SYMBOLS 1 ... Mobile telephone (display apparatus), 10 ... Control part (display control means, reading-out determination means), 1
DESCRIPTION OF SYMBOLS 1 ... Memory | storage part (memory | storage means), 11a ... Slide correspondence information (image correspondence information), 12 ... External interface part, 20 ... Operation part, 25 ... Shooting part (imaging means), 26 ... Shooting control part (imaging means), 27 ... Communication unit, 28 ... Antenna, 30 ... Audio processing unit, 31 ... Microphone, 32 ... Speaker, 33 ... Voice recognition unit (voice recognition means), 35 ... Laser light emitting unit, 40 ... Display unit, 41 ... Display driver, 42 ... Display panel, 45 ... Text data for reading, 45a ... Read portion, 4
5b: Highlight display section, 45c: Unread part, 50 ... Projector, 53 ... Screen,
54 ... Image, 55 ... Computer.

Claims (6)

文字列を表示する表示画面を備えた表示装置において、
話者により読み上げられる原稿を第1の表示状態で前記表示画面に表示させる表示制御
手段と、
前記話者の音声を取得して解析することにより、話者が発声した語句を認識する音声認
識手段と、
前記音声認識手段により認識された語句をもとに、前記表示手段に表示中の原稿のうち
読み上げられた部分を特定する読み上げ判定手段と、を備え、
前記表示制御手段は、前記表示手段により表示中の原稿のうち、前記読み上げ判定手段
により特定された部分の表示状態を、前記第1の表示状態とは異なる第2の表示状態に変
化させること、
を特徴とする表示装置。
In a display device having a display screen for displaying a character string,
Display control means for displaying a document read out by a speaker on the display screen in a first display state;
Voice recognition means for recognizing words spoken by a speaker by acquiring and analyzing the voice of the speaker;
Read-out determination means for specifying a part read out of the document being displayed on the display means based on the words recognized by the voice recognition means,
The display control unit changes a display state of a part specified by the reading-out determination unit in a document being displayed by the display unit to a second display state different from the first display state;
A display device.
前記表示制御装置は、前記表示画面に表示中の原稿のうち、前記読み上げ判定手段によ
り特定された部分より前に、前記読み上げ判定手段により特定されていない部分がある場
合には、この部分を読み飛ばされた部分として特定し、その表示状態を、前記第1及び第
2の表示状態とは異なる第3の表示状態に変化させること、
を特徴とする請求項1記載の表示装置。
The display control device reads a portion of the document being displayed on the display screen if there is a portion not specified by the reading determination unit before a portion specified by the reading determination unit. Identifying as a skipped portion and changing its display state to a third display state different from the first and second display states;
The display device according to claim 1.
前記表示制御装置は、前記表示画面に表示中の原稿のうち、前記第3の表示状態で表示
されている部分が前記読み上げ判定手段により特定された場合には、この特定された部分
の表示状態を前記第2の表示状態に変化させること、
を特徴とする請求項2記載の表示装置。
The display control device, when a portion displayed in the third display state of the document being displayed on the display screen is specified by the reading determination unit, the display state of the specified portion Changing to the second display state,
The display device according to claim 2.
前記話者が原稿を読み上げる間に投影または表示される画像を撮影する撮影手段と、
前記原稿の読み上げ箇所と前記画像との対応を定めた画像対応情報を記憶する記憶手段
と、をさらに備え、
前記表示制御手段は、前記撮影手段により撮影された画像が切り替えられた場合に、前
記記憶手段に記憶された画像対応情報に基づいて、切り替え後の前記画像に対応する読み
上げ箇所から後の前記原稿を前記表示画面に表示させること、
を特徴とする請求項1から3のいずれかに記載の表示装置。
Photographing means for photographing an image projected or displayed while the speaker reads the document;
Storage means for storing image correspondence information that defines correspondence between the read-out location of the original and the image;
When the image photographed by the photographing means is switched, the display control means, based on the image correspondence information stored in the storage means, the original after the read-out location corresponding to the image after switching. On the display screen,
The display device according to claim 1, wherein:
前記表示制御手段は、前記撮影手段により撮影された画像の切り替えに応じて、切り替
え後の前記画像に対応する読み上げ箇所以後の前記原稿を前記表示画面に表示させる際に
、切り替え後の前記画像に対応する読み上げ箇所以前であって前記第1の表示状態で表示
中の部分を、前記第1の表示状態とは異なる表示状態で前記表示画面に継続して表示させ
ること、
を特徴とする請求項4記載の表示装置。
The display control means displays the original after the read-out location corresponding to the image after switching on the display screen in response to switching of the image taken by the photographing means. Continuously displaying the portion being displayed in the first display state before the corresponding reading position on the display screen in a display state different from the first display state;
The display device according to claim 4.
文字列を表示する表示画面を備えた表示装置により、
話者により読み上げられる原稿を第1の表示状態で前記表示画面に表示させ、
前記話者の音声を取得して解析することにより、話者が発声した語句を認識し、
認識した語句をもとに、前記表示手段に表示中の原稿のうち読み上げられた部分を特定
し、
前記表示手段により表示中の原稿のうち読み上げられた部分として特定した部分の表示
状態を、前記第1の表示状態とは異なる第2の表示状態に変化させること、
を特徴とする表示装置における表示方法。
By a display device with a display screen that displays character strings,
The original read out by the speaker is displayed on the display screen in the first display state,
Recognizing the words spoken by the speaker by acquiring and analyzing the speaker's voice,
Based on the recognized words and phrases, the portion of the original being displayed on the display means is identified,
Changing a display state of a portion specified as a read-out portion of a document being displayed by the display means to a second display state different from the first display state;
A display method in a display device characterized by the above.
JP2008123016A 2008-05-09 2008-05-09 Display device, and display method in display device Withdrawn JP2009271814A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008123016A JP2009271814A (en) 2008-05-09 2008-05-09 Display device, and display method in display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008123016A JP2009271814A (en) 2008-05-09 2008-05-09 Display device, and display method in display device

Publications (1)

Publication Number Publication Date
JP2009271814A true JP2009271814A (en) 2009-11-19

Family

ID=41438290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008123016A Withdrawn JP2009271814A (en) 2008-05-09 2008-05-09 Display device, and display method in display device

Country Status (1)

Country Link
JP (1) JP2009271814A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016009056A (en) * 2014-06-24 2016-01-18 セイコーエプソン株式会社 Head-mounted type display device, control method of the same and computer program
WO2016129118A1 (en) * 2015-02-13 2016-08-18 富士通株式会社 Presentation assist method, presentation assist program, and presentation assist device
WO2016129121A1 (en) * 2015-02-13 2016-08-18 富士通株式会社 Presentation assist device, presentation assist method, and presentation assist program
JP2016177386A (en) * 2015-03-18 2016-10-06 富士通株式会社 Presentation support device, presentation support method and presentation support program
WO2016199279A1 (en) * 2015-06-11 2016-12-15 富士通株式会社 Presentation support device, presentation support method, and presentation support program
JP2017181536A (en) * 2016-03-28 2017-10-05 セイコーエプソン株式会社 Display device and display device control method
JP2018067050A (en) * 2016-10-17 2018-04-26 本田技研工業株式会社 Voice processing apparatus, wearable terminal, portable terminal, and voice processing method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016009056A (en) * 2014-06-24 2016-01-18 セイコーエプソン株式会社 Head-mounted type display device, control method of the same and computer program
WO2016129118A1 (en) * 2015-02-13 2016-08-18 富士通株式会社 Presentation assist method, presentation assist program, and presentation assist device
WO2016129121A1 (en) * 2015-02-13 2016-08-18 富士通株式会社 Presentation assist device, presentation assist method, and presentation assist program
JPWO2016129121A1 (en) * 2015-02-13 2017-09-21 富士通株式会社 Presentation support device, presentation support method, and presentation support program
JPWO2016129118A1 (en) * 2015-02-13 2017-10-12 富士通株式会社 Presentation support method, presentation support program, and presentation support apparatus
JP2016177386A (en) * 2015-03-18 2016-10-06 富士通株式会社 Presentation support device, presentation support method and presentation support program
WO2016199279A1 (en) * 2015-06-11 2016-12-15 富士通株式会社 Presentation support device, presentation support method, and presentation support program
JPWO2016199279A1 (en) * 2015-06-11 2018-01-11 富士通株式会社 Presentation support device, presentation support method, and presentation support program
JP2017181536A (en) * 2016-03-28 2017-10-05 セイコーエプソン株式会社 Display device and display device control method
JP2018067050A (en) * 2016-10-17 2018-04-26 本田技研工業株式会社 Voice processing apparatus, wearable terminal, portable terminal, and voice processing method

Similar Documents

Publication Publication Date Title
US9052751B2 (en) Visual laser touchpad for mobile telephone and method
RU2381544C2 (en) Method and device for user input in mobile communication terminal
JP5358733B2 (en) System and method for changing touch screen functionality
US20110039598A1 (en) Methods and devices for adding sound annotation to picture and for highlighting on photos and mobile terminal including the devices
US20050140657A1 (en) Mobile communication terminal with multi-input device and method of using the same
US11334225B2 (en) Application icon moving method and apparatus, terminal and storage medium
JP2009271814A (en) Display device, and display method in display device
JP2005184230A (en) Mobile communication terminal
US20080161060A1 (en) Information processing apparatus
CN108962220A (en) Multimedia file plays the text display method and device under scene
JP2018508086A (en) Input processing method, apparatus and device
US20040198475A1 (en) Portable terminal capable of guiding user to invoke a function and method thereof
JP2011205345A (en) Image pickup device and program
JP2012175263A (en) Information display device
JP2009271689A (en) Display device and display method for the same
WO2011019467A1 (en) Methods and devices for adding sound annotation to picture and for highlighting on photos and mobile terminal including the devices
KR100692005B1 (en) Mobile communication terminal having memo input function by picture and its control method
JP4818478B1 (en) Mobile terminal device and application software activation method
US8884967B2 (en) Mobile communication device, display control method, and display control program
KR20090011581A (en) Apparatus and Method for Recognizing Eyeball in Mobile Device
JP4449869B2 (en) Portable terminal device and program
KR20050042852A (en) Mobile communication terminal display method using touch screen
KR100655583B1 (en) Wireless communication terminal with zoom level setting function using slide and its method
KR100754637B1 (en) Character conversion method of portable terminal with electronic dictionary function
KR100598065B1 (en) Wireless communication terminal having menu moving function according to key input time and method

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20110802