[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2022139957A - 表示装置、プログラム、変換方法、表示システム - Google Patents

表示装置、プログラム、変換方法、表示システム Download PDF

Info

Publication number
JP2022139957A
JP2022139957A JP2021040560A JP2021040560A JP2022139957A JP 2022139957 A JP2022139957 A JP 2022139957A JP 2021040560 A JP2021040560 A JP 2021040560A JP 2021040560 A JP2021040560 A JP 2021040560A JP 2022139957 A JP2022139957 A JP 2022139957A
Authority
JP
Japan
Prior art keywords
display device
handwritten data
character string
display
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021040560A
Other languages
English (en)
Inventor
将 小笠原
Masashi Ogasawara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2021040560A priority Critical patent/JP2022139957A/ja
Priority to US17/673,790 priority patent/US20220291826A1/en
Publication of JP2022139957A publication Critical patent/JP2022139957A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1437—Sensor details, e.g. position, configuration or special lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/226—Character recognition characterised by the type of writing of cursive writing
    • G06V30/2268—Character recognition characterised by the type of writing of cursive writing using stroke segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)
  • Document Processing Apparatus (AREA)

Abstract

【課題】表に設定された属性に応じて表に表示された手書きデータを変換することができる表示装置を提供すること。【解決手段】画面に表を表示する表示装置であって、前記表に対する手書きデータの入力を受け付ける受付手段と、前記表に対応付けられている属性に基づき、前記受付手段が受け付けた手書きデータを文字列に変換する変換手段と、を有することを特徴とする。【選択図】図１

Description

本発明は、表示装置、プログラム、変換方法、及び、表示システムに関する。
タッチパネル式のディスプレイにユーザが専用の電子ペンや指などの入力手段でストロークを描画し、いくつかのストロークで形成される手書きデータを表示する電子黒板などの表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザにより電子黒板などとして利用される。
ユーザは入力手段で表を手書きすることもできる。手書きされた表を清書する技術が知られている（例えば、特許文献１参照。）。特許文献１には、手書きされた表の交点や長さを検出して表と表内の手書きデータを清書する画像処理方法が開示されている。
しかしながら、従来の技術では、表に設定された属性に応じて表に表示された手書きデータを変換することが困難であるという問題があった。
本発明は、上記課題に鑑み、表に設定された属性に応じて表に表示された手書きデータを変換することができる表示装置を提供することを目的とする。
上記課題に鑑み、本発明は、画面に表を表示する表示装置であって、前記表に対する手書きデータの入力を受け付ける受付手段と、前記表に対応付けられている属性に基づき、前記受付手段が受け付けた手書きデータを文字列に変換する変換手段と、を有することを特徴とする。
表に設定された属性に応じて表に表示された手書きデータを変換することができる表示装置を提供することができる。
表の属性に応じた表の清書の概略を説明する図である。 表示装置を用いた通信システムの全体構成図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置の機能ブロック図の一例である。 イベントとして検出される操作を説明する図である。 表示装置のＵＩを説明する図の一例である。 ユーザがディスプレイに手書きした表の一例を示す図である。 表加工処理部が清書した表の一例を示す図である。 清書された表の内部に入力された手書きデータ又は文字列の一例を示す図である。 表操作のためのメニューの一例を示す図である。 表の清書ボタンが押下された場合に、表示装置が行う処理を説明するフローチャート図の一例である。 表示された清書後の表の一例を示す図である。 表の属性の設定を説明する図の一例である。 表設定画面の詳細（その１）を説明する図である。 表設定画面の詳細（その２）を説明する図である。 表設定画面の詳細（その３）を説明する図である。 「セルを文字に合わせてサイズ調整する」のオン/オフスライドボタンについて説明する図である。 表設定画面の詳細（その４）を説明する図である。 表設定画面の詳細（その５）を説明する図である。 カラーパレットの一例を示す図である。 表設定画面の詳細（その６）を説明する図である。 個別のセルの属性設定画面の一例を示す図である。 初期値の設定のためにユーザが押下する設定ボタンの一例を示す図である。 設定ボタンの押下により表示される各種設定画面の一例を示す図である。 初期設定画面の一例を示す図である。 表示システムの概略構成図の一例である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。
以下、本発明を実施するための形態の一例として、表示装置２と表示装置２における変換方法について実施例を挙げながら説明する。
＜表の属性に応じた表内の手書きデータの清書の概略＞
図１は、表の属性に応じた表の清書の概略を説明する図である。図１（ａ）に示すようにユーザが表示装置２に文字列や手書きデータの混在した表を生成した。
従来の技術では、表に設定された属性に応じて表に表示された手書きデータを変換することが困難であるという問題があった。例えば、複数のユーザが表に手書きした場合、フォントサイズや色などが異なる手書きデータが１つの表に存在する。この場合、表示装置が手書きデータを単に清書しても、文字サイズや色などが異なる文字列に変換されうる。この結果、表としての見づらさが議論の妨げになる場合があった。
そこで、本実施形態では、ユーザがメニュー等を操作して清書を実行するか、又は、表示装置２が自動的に清書を実行する。表示装置２は予め設定されている表の属性に応じて、表を清書する。
表示装置２は、手書きデータがあれば、まずＯＣＲ処理して文字列に変換する。そして、表示装置２は、文字列を表に設定されている属性（フォント、サイズ、配置、及び、色など）に応じて清書して表示する。また、表示装置２は、すでに文字列があれば文字列を属性に応じて清書して表示する。
図１（ｂ）は表の属性に応じて清書された表の一例を示す。図１（ｂ）では各セルの文字サイズが属性に応じて清書され、更に、各セルが同一色に清書して表示されている。
このように、本実施形態の表示装置２は、属性に応じて表を清書するので、複数のユーザが異なる筆跡で手書きした場合でも、統一感のある表を作成できる。表として見やすくなるので、議論等が深まりやすくなる。
＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、電子ペン、人の指や手、棒状部材などがある。
ユーザがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザによって、手書きデータが入力されることを示している。
ストロークデータに基づいてディスプレイに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。例えば、手描きデータ、表、図形、画像、文字、などがある。
手書きデータが文字認識して変換された文字列には、テキストデータの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザの操作に基づいて表示されたデータも含まれてよい。
文字列とは、コンピュータで扱われる1つ以上の文字である。文字列の実態は文字コードである。文字には、数字、アルファベット、及び、記号等が含まれる。文字列はテキストデータとも言われる。
変換とは、手書きデータを文字コードに変換することで、文字コードを所定のフォントで表示することをいう。また、文字列を属性に応じて態様で表示することをいう。また、変換には、手書きデータを直線、曲線、四角などの図形、又は、表などに変換することを含む。本実施形態では変換を清書と称して説明する。
属性とは、表内の文字のフォント、フォントサイズ、配置、又は、色など、表に表示される情報の態様、及び、表の罫線の色、太さなど表自体の態様である。
＜システム構成例＞
図２は、表示装置を用いた通信システムの全体構成図の一例である。なお、図２では、説明を簡略化するために、２台の表示装置２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の表示装置２や電子ペン等が利用されてもよい。
図２に示されているように、通信システム１は、複数の表示装置２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、ノートＰＣ(Personal Computer)６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ８を有する。また、表示装置２ａ，２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。更に、複数の表示装置２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。
また、表示装置２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。
また、表示装置２ａには、ＵＳＢメモリ５ａが接続可能であり、表示装置２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、表示装置２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、表示装置２ａには、DisplayPort（登録商標）、DVI(Digital Visual Interface)、HDMI(High－Definition Multimedia Interface。登録商標)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、表示装置２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートＰＣ６ａに送信する。同じく、表示装置２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ、及びテレビ会議端末７ａは、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、表示装置２ａと通信してもよい。
一方、表示装置２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた表示装置２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。
これにより、一の拠点で表示装置２ａのディスプレイ３ａ上に描画された画像は、他の拠点で表示装置２ｂのディスプレイ３ｂ上にも表示される。逆に他の拠点で表示装置２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で表示装置２ａのディスプレイ３ａ上に表示される。このように、通信システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
なお、以下では、複数の表示装置２のうち任意の表示装置２を示す場合には「表示装置２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。
また、本実施形態では、表示装置２の一例として、電子黒板を説明するが、これに限るものではない。表示装置２の他の例として、表示装置２は、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、情報処理端末の一例は、ノートＰＣ６に限るものではなく、情報処理端末の他の例として、情報処理端末は、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ（Personal Digital Assistant）、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体は、ＳＤカード等の各種記録メディアであってもよい。
＜表示装置のハードウェア構成＞
続いて、図３を用いて、本実施形態の表示装置２のハードウェア構成を説明する。なお、図３は、表示装置２のハードウェア構成図である。
図３に示されているように、表示装置２は、表示装置２全体の動作を制御するＣＰＵ１０１、ＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、表示装置２用のプログラム等の各種データを記憶するＳＳＤ１０４、通信ネットワーク９との通信を制御するネットワークコントローラ１０５、及び、ＵＳＢメモリ５との通信を制御する外部記憶コントローラ１０６を備えている。
ＳＳＤ１０４は、ＯＳや表示装置２用のプログラム等の各種データを記憶する。なお、このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。つまり、表示装置２は汎用的な情報処理装置でもよい。
また、表示装置２は、ノートＰＣ６のディスプレイに対して映像情報を静止画又は動画として表示させるキャプチャデバイス１１１、グラフィクスを専門に扱うＧＰＵ(Graphics Processing Unit)１１２、及び、ＧＰＵからの出力画像をディスプレイ３やテレビ会議端末７へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ１１３を備えている。
更に、表示装置２は、接触センサ１１５の処理を制御するセンサコントローラ１１４、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する接触センサ１１５を備えている。この接触センサ１１５は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば赤外線遮断方式である。この方式では、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射する。ディスプレイ３の周囲に設けられた反射部材が赤外線を反射し、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ１１５は、物体によって遮断された遮断位置をセンサコントローラ１１４に出力し、センサコントローラ１１４が、物体の接触位置である座標位置を三角測量で特定する。
また、接触センサ１１５としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、又は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
また、表示装置２は、電子ペンコントローラ１１６を備えている。この電子ペンコントローラ１１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ１１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
更に、表示装置２は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ１０４、ネットワークコントローラ１０５、外部記憶コントローラ１０６、キャプチャデバイス１１１、ＧＰＵ１１２、センサコントローラ１１４、及び電子ペンコントローラ１１６を、図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１２０を備えている。
＜表示装置の機能構成＞
続いて、図４を用いて、表示装置２の機能構成について説明する。図４は、表示装置２の機能ブロック図である。
表示装置２は、図３に示されているハードウェア構成及びプログラムによって、図４に示されている各機能構成を有する。
映像取得部２１は、ケーブルを介して表示装置に接続されている、ノートＰＣ６から出力される映像を取得する。また、映像取得部２１は取得した映像を解析して画像フレームの解像度や更新頻度を含む画像情報を抽出する。画像情報は画像処理部３０内の画像取得部３１に出力される。
座標検知部２２は、ディスプレイに電子ペン又はユーザの手が接触すると、接触の位置座標をイベントの発生位置として検知する。検知結果はイベント振分部２５に出力される。
自動調整部２３は、表示装置２の電源が投入されたときに自動で起動され、接触センサが座標検知部２２に適切な値を出力できるように、接触センサにおけるパラメータを調整する。
接触検知部２４は、電子ペンから電子ペンの先端又は後端がディスプレイに押し付けられた信号を受信しすることによって、電子ペンの先端又は後端がディスプレイに押し付けられたか否かを検知する。検知結果はイベント振分部２５に出力される。
イベント振分部２５は、座標検知部２２で検知された位置座標と、接触検知部２４での検知結果に基づいて、イベントの種別を判断する。ここでのイベントとしては「ストローク入力」「テキスト入力」「ＵＩ操作」及び「表操作」がある。なお、座標検知部２２で検知された位置座標と、接触検知部２４での検知結果を「イベント情報」ともいう。イベント振分部２５は、イベントの検知結果に応じて、イベント情報をストローク処理部３２、テキスト処理部３５、表加工処理部３３、及び、操作処理部２６、に出力する。
操作処理部２６は、「ＵＩ操作」と判断されたイベント情報を受信し、そのイベントが生じたＵＩの要素に応じた処理を画像処理部３０に要求する。ＵＩはＵｓｅｒ Ｉｎｔｅｒｆａｃｅの略で、主にメニューやボタンなどをいう。ＵＩ操作は手書きデータの色の変更、拡大縮小、表操作、ＵＩ用のメニューの遷移など様々である。
通信制御部２７は、通信ネットワークを介して行われる他の表示装置２、ＰＣ、又は、サーバー等との通信を制御する。表示制御部２８は表示重畳部３８で生成された画像をディスプレイに表示する。画像には、ＵＩ、文字列、手書きデータ、表、画像、及び、背景が含まれうる。
画像処理部３０は、更に、以下の機能を有している。画像処理部３０は、画像取得部３１、ストローク処理部３２、表加工処理部３３、表属性保持部３４、テキスト処理部３５、ＵＩ画像生成部３６、背景生成部３７、表示重畳部３８、ページ処理部３９、ページデータ記憶部４０、ファイル処理部４１、ライセンス管理部４２、及び、レイアウト管理部４３を有している。詳細については後述する。
画像取得部３１は、映像取得部２１が取得した映像に含まれるフレーム情報を画像として取得し、表示重畳部３８及びページ処理部３９に出力する。
ストローク処理部３２は、「ストローク入力」と判別されたイベント情報を受信し、ストロークデータの描画、描画されているストロークデータの削除、及び、編集等を行う。各操作の結果は表示重畳部３８及びページ処理部３９に出力される。
表加工処理部３３は「表操作」と判別されたイベント情報を受信し、表を生成する。また、表加工処理部３３は、表内にすでに描画されている文字列や手書きデータを削除して、属性に応じた文字列を生成する。各操作の結果は表示重畳部３８及びページ処理部３９に出力される。
３４が保持するセル表属性保持部３４は表の属性を保持する。表の属性は表全体の属性とセルの属性とがある。また、表属性保持部３４は、各属性の初期値を保持する。初期値とは、ユーザが設定しなくても予め設定されている属性である。表の属性について表３，表４で説明する。
表加工処理部３３は、表に手描きされた手書きデータをＯＣＲで文字列に変換する（清書する）ことができる。また、表加工処理部３３は表に表示されている文字列のフォントなどを、表の属性に応じて別のフォントに変換する（清書する）ことができる。
テキスト処理部３５は、「テキスト入力」と判別されたイベント情報を受信し、文字列を生成する。テキスト入力とは、ソフトキーボードで文字が入力されることをいう。また、テキスト処理部３５は、すでに表示されている文字列の削除、編集を行う。各操作の結果は表示重畳部３８に及びページ処理部３９に出力される。
ＵＩ画像生成部３６は、予め設定されているＵＩ画像を生成し、表示重畳部３８に出力する。ＵＩ画像は例えばユーザが各種の設定を行うメニューやボタンなどである。
背景生成部３７は、ページ処理部３９がページデータ記憶部４０から呼び出したページデータに含まれるメディアデータを、ページ処理部３９から受信し、表示重畳部３８に出力する。メディアデータは背景となる。
レイアウト管理部４３は、画像取得部３１、ストローク処理部３２、表加工処理部３３、ＵＩ画像生成部３６、及び、背景生成部３７から出力される各画像のレイアウトに関する情報（各レイヤの重ね順及び表示/非表示）を管理する。レイアウト情報は表示重畳部３８に出力される。
表示重畳部３８はレイアウト管理部４３からのレイアウト情報に基づいて、画像取得部３１、ストローク処理部３２、表加工処理部３３、ＵＩ画像生成部３６、及び、背景生成部３７から出力された画像のレイアウトを決定する。
ページ処理部３９は、ストロークデータ、テキストデータ、及び、表データに関するデータ、及び、ＰＣから映像データを１つのページにまとめてページデータ記憶部４０に記憶する。ページデータ記憶部４０はページデータを記憶する。ページデータ記憶部４０が保持するページデータについて表１，２にて説明する。
ファイル処理部４１は、ＵＳＢから読み込まれたＰＤＦファイルを画像に変換する。ファイル処理部４１は、表示されている画像からＰＤＦファイルを生成する。ライセンス管理部４２は、表示装置２の使用権に関するライセンスを管理する。
Figure 2022139957000002
表１はページデータ記憶部４０が記憶するオブジェクト情報を模式的に示す。オブジェクト情報は、表示装置２が表示する各種のオブジェクトを管理する情報である。
・オブジェクトＩＤは画面内のオブジェクトを識別する識別情報である。オブジェクトは画面に表示されている各種の表示物の全てをいう。
・種別はオブジェクトの種類である。例えば、表（行又は列）、手書き、文字、図形、画像、等がある。表は表オブジェクトを示す。手書きはストロークデータ（座標点列）である。文字は手書きデータから変換された文字列（文字コード）である。文字列をテキストデータという場合もある。図形は、三角や四角など手書きデータから変換された幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、Ｔｉｆｆなどの画像データである。各オブジェクトのデータはオブジェクトＩＤに対応付けて管理されている。
・座標は、表示装置２の画面の所定の原点を基準としてオブジェクトの始点の位置を示す。オブジェクトの始点は例えば描画オブジェクトの外接矩形の左上頂点である。座標は例えば、ディスプレイの画素単位で表される。
・サイズは、各オブジェクトの大きさ（幅と高さ）である。終点の位置が記録されていてもよい。
Figure 2022139957000003
表２は、表の詳細情報を示す。表オブジェクトについてはオブジェクトＩＤと表が対応付けて管理されている。１つの表は、行と列で特定されるセルを有する。セルとは行と列で区切られる表の１領域である。詳細情報はセルごとに座標とサイズを有している。表１に示したようにストロークデータなどの各オブジェクトは位置が分かっているので、各オブジェクトがどのセルに収納されているかが特定される。
Figure 2022139957000004
表３は、表属性保持部３４が保持する表全体属性を示す。表全体属性は、表の全体に関係する属性である。各表が表３の属性を有している。
・行数は行の数である。
・列数は列の数である。
・「入力と同時に清書する」は、ユーザが文字列や手書きデータを入力した直後に、表の属性に応じて表示装置２が清書するか否かの設定である。「入力と同時に清書する」がＴｒｕｅの場合、手書きデータのＯＣＲ処理を含めて、手描きデータ又は文字列が清書される。ただし、表４の「OCRで自動的に文字列を変換する」がオフの場合は自動でＯＣＲ処理されない。
Figure 2022139957000005
表４は、表属性保持部３４が保持するセル属性を示す。セル属性は、セルに関する属性である。各表の各セルごとに各セルが表４の属性を有している。ただし、各セルのセル属性は同じでもよい。
・フォントは、セルに表示される文字列のフォントである。
・サイズは、セルに表示される文字列のサイズである。
・色は、セルに表示される文字列の色である。
・背景色は、セルの色である。
・配置は、セル内の文字の位置である（右寄せ/左寄せ/真ん中寄せ、上寄せ/下寄せ/中央）。
・「OCRで自動的に文字列を変換する」は、手書きデータを自動的に文字列に変換するか否かの設定である。自動的とは、電子ペン４がディスプレイから離れて一定時間が経過すると、ユーザがＯＣＲ開始の操作を入力しなくてもＯＣＲが実行されることをいう。
・「セルを文字に合わせて自動調整する」は、セルのサイズをセル内の文字サイズ（文字数×１つの文字の大きさ）に合わせて自動調整するか否かの設定である。
・タイトルは、セルがタイトルであるかどうかの設定である。タイトルと設定されているセルについてはタイトル用の属性に基づいてフォントや背景色等が設定されてよい。
＜イベントについて＞
次に、図５を参照して、表示装置２が検出するイベントについて説明する。図５はイベントとして検出される操作を説明する図である。
図５（ａ）はＵＩ操作イベントを説明する図である。ＵＩ操作イベントは、ディスプレイにＵＩが表示されている状態で、ユーザが電子ペン又は指によって所定の位置を押下した場合に検出されるイベントである。ユーザはＵＩ操作によって電子ペンの色や幅の太さを変更することができる。また、ユーザは、ＵＩ操作でストロークデータ、テキストデータ、及び、表データの入力を切り替えることができる。
図５（ｂ）はストローク入力イベントを説明する図である。ストローク入力イベントは、ユーザが電子ペンをディスプレイに押し付け、この状態で電子ペンを移動させ、最終的にディスプレイから電子ペンを離す場合に検出されるイベントである。また、ストローク入力イベントはすでに配置された文字列をユーザが削除したり、移動したりするイベントである。
図５（ｃ）は、テキスト操作イベントを説明する図である。テキスト操作イベントは、文字列など文字コードで表されるデータをユーザがソフトキーボード等で入力した場合に検出されるイベントである。また、テキスト操作イベントは、すでに配置された文字列をユーザが削除したり、編集したりするイベントである。
図５（ｄ）は表操作イベントを説明する図である。表操作イベントは、ユーザが表を入力した場合、又は、表内に手書きデータ又は文字列を入力した場合に検出されるイベントである。イベント振分部２５は、例えば、四角の図形に対しストロークデータが重畳して手描きされると、表操作イベントと判断し、表加工処理部３３が四角を分割して表データに変換する（詳細は後述する）。同様に、イベント振分部２５は、手書きされたストロークデータの座標から表内への手書きと判断し、表加工処理部３３が手書きデータを属性に応じて清書する。また、表操作イベントは、すでに表示されている表をユーザが操作（移動・拡大縮小・削除）した場合に検出されるイベントも含む。
＜表の入力＞
図６～図８は、表の入力方法を説明する図である。図６は表示装置２のＵＩを説明する図である。表示装置２はＵＩとして、設定ボタン２０１及び描画パネル２０２を有している。設定ボタン２０１については後述するが、表の属性の初期値をユーザが設定するためのボタンである。
描画パネル２０２は、ペンの色２０２ａ、マーカー２０２ｂ、消しゴムツール２０２ｃ、定規２０２ｄ、手書き入力２０２ｅ、表作成２０２ｆ、元に戻す２０２ｇ、及び、やり直し２０２ｈ等のボタンを有している。
図７は、ユーザがディスプレイに手書きした表２１１の一例を示す。表２１１の検出方法は形状を判断する方法や（図７（ａ））、直線の交点を検出する方法がある（図７（ｂ））。
形状を判断する方法では、後述する「インクを図形に変換」のオン/オフスライドボタン３５１がオンであるとする。イベント振分部２５はパターンマッチングや機械学習で四角の形状を検出し（図７（ａ－１））、表示制御部２８が図形の四角を表示する（図７（ａ－２））。四角に重畳して、直線が手書きされると（図７（ａ－３））、イベント振分部２５は表操作イベントと判断し、表を清書する（図７（ａ－４））。ユーザが四角を元に表を作成する場合、表作成２０２ｆをオンにする必要がない（オンにしてもよい）。
ユーザが複数の直線を表に変換したい場合、後述する「インクをテーブルに変換」３５２のオン/オフスライドボタンがオンである。あるいは、表作成２０２ｆをオンにすることが好ましい。ユーザとしてはストロークデータのままにしたい場合もあるためである。直線の交点を検出する方法では、イベント振分部２５は、ストロークデータを水平線と垂直線に分け、また、交点を検出する方法がある。イベント振分部２５は、各水平線の交点に左から（又は右から）番号を振り、各水平線の同じ番号の交点がそのＸ座標において同程度であるかどうかを判断する。同様に、イベント振分部２５は、各垂直線の交点に上から（又は下から）番号を振り、各垂直線の同じ番号の交点がそのＹ座標において同程度であるかどうかを判断する。両者が同程度である場合、イベント振分部２５は表操作イベントを検出する。
図８は、表加工処理部３３が、清書した表２１２を示す図である。四角が先に表示される方法では、表加工処理部３３は、表に重畳したストロークデータを消去し、ストロークデータの座標に基づいて四角を分割して表２１２を作成する。
複数の直線を検出する方法では、表加工処理部３３は、表２１１を構成するストロークデータを消去し、ストロークデータに基づいて清書した表２１２を表示する。表加工処理部３３は、例えば、表操作イベントとして検出された全てのストロークデータの外接矩形を求め、外接矩形をストロークデータの水平線と垂直線の数で分割する。水平線と垂直線の位置は上記の交点に基づいて決定される。
こうすることで、表が清書される。しかし、従来は、この表に複数人が手書きした場合、表として見づらい場合があった。
なお、図７、図８では、ユーザが手書きした表が清書されているが、表は元々清書されていてもよい。つまり、ユーザが行数と列数を指定して表を表示させると、一定の高さと幅のセルを有する表が表示される。ユーザは表示された表の高さと幅を任意に変更できる。
＜表の属性に応じた清書の例＞
次に、図９～図１２を参照して、表の属性に応じた清書について説明する。図９は、清書された表２２１の内部に入力された手書きデータ２２２又は文字列２２３を示す。図９では、１つの表に手書きデータ２２２と文字列２２３が混在している。
なお、表内への文字列２２３の入力方法には、ユーザが電子ペン４でセルを指定し、ソフトキーボードで任意の文字列２２３を入力する方法がある。あるいは、ユーザがソフトキーボードで任意の文字列２２３を入力してから、任意のセルに文字列２２３を移動する方法がある。図９では、文字列２２３の位置がセルによって異なっている。
ユーザが表の手書きデータを清書したい場合、表の上で電子ペン４を長押しする。イベント振分部２５は、電子ペン４が押下する座標に基づいて、ＵＩ操作イベントと判断し、操作処理部２６に通知する。操作処理部２６は表の上で電子ペン４が長押しされたので、表操作のためのメニューをＵＩ画像生成部３６に要求する。ＵＩ画像生成部３６は表操作のためのメニューを表示する。
図１０は、表操作のためのメニュー２３１の一例を示す。表操作のためのメニュー２３１は表の清書ボタン２３２を有している。表の清書ボタン２３２は、表に入力された手書きデータ２２２及び文字列２２３の清書をユーザが表示装置２に指示するためのボタンである。つまり、清書の対象は手書きデータでも文字列でもよい。手書きデータ２２２の場合、清書には、ＯＣＲと表の属性に応じた変換が含まれ、文字列２２３の場合、清書は表の属性に応じたフォント等の変換である。
表の清書ボタン２３２の押下はＵＩ操作イベントであるので、イベント振分部２５は表を「清書する」ことを操作処理部２６に通知する。操作処理部２６は表加工処理部３３に表の清書を要求する。
図１１は、表の清書ボタンが押下された場合に、表示装置２が行う処理を説明するフローチャート図の一例である。図１１では表全体属性の「入力と同時に清書する」がＴｒｕｅか、又は、ユーザがメニューから清書ボタン２３２を実行した場合に実行される。
表加工処理部３３は、表属性保持部３４からユーザが選択した表の属性（表全体属性とセル属性）を取得する（Ｓ１）。
表加工処理部３３はセル属性の「ＯＣＲで自動的に文字列に変換する」という設定がＴｒｕｅになっているか否かを判断する（Ｓ２）。
ステップＳ２の判断がＹｅｓの場合、表加工処理部３３は表の中に手書きデータがあるか否かを判断する（Ｓ３）。表示装置２に入力された各データの種類（ストロークデータ、文字列、画像）と座標はページデータ記憶部４０に保存されている。
手書きデータがある場合、表加工処理部３３は手書きデータをＯＣＲで文字列に変換する（Ｓ４）。なお、ステップＳ４が実行されるタイミングは、ユーザが電子ペン４をディスプレイから離してから一定時間が経過したタイミングである。
そして、表加工処理部３３は表の属性に応じて、各セルの文字列を清書する（Ｓ５）。すなわち、表加工処理部３３は、フォント、フォントサイズ、色、背景色、配置、を設定されているセルの属性に応じて変更する。表加工処理部３３は、手書きデータを文字列に変換し、更に、変換した文字列を、表に対応付けられている属性に基づき変換する。
図１２は、以上の処理で表示された清書後の表の一例を示す。図９と比較すると、手書きデータ２２２が文字列２４１に変換されている。文字列２２３が清書後の文字列２４２に変換されている。清書により、各セルの文字列２４１，２４２のサイズが同じになっており、セル内の横方向と上下方向の配置も中央に揃えられている。
このように、本実施形態の表示装置２は表の属性に応じて、表に入力された手書きデータ及び文字列を清書できる。
＜属性の設定＞
続いて図１３～図２１を参照して、表又はセルの属性の変更について説明する。図１３は、表の属性の設定を説明する図である。図１３に示すように、ユーザが電子ペン４で表の枠を長押しすると、イベント振分部２５及び操作処理部２６を介してＵＩ画像生成部３６が表操作のメニュー２３１を表示する。
表操作のメニュー２３１は、表の設定ボタン２５１を有している。ユーザが表の設定ボタン２５１を押下すると、表設定画面２５２が表示される。表設定画面２５２は、オン/オフスライドボタン群２６０、表のデザインのリスト２７０、オン/オフスライドボタン２８１、オン/オフスライドボタン３０１、フォント設定欄３１１、カラーパレット３１６、及び、配置設定３２０を有する。以下、表設定画面２５２を詳細に説明する。
図１４は、表設定画面の詳細（その１）を説明する図である。図１４では、項目名に対しそれぞれオン/オフスライドボタンが表示されている。
・タイトル行２６１は最初の行をタイトル行と設定するか否かをユーザが設定するオン/オフスライドボタンである。
・最初の列２６２は最初の列をタイトル列とするか否かをユーザが設定するオン/オフスライドボタンである。
・集計行２６３は最後の行を集計行とするか否かをユーザが設定するオン/オフスライドボタンである。
・最後の列２６４は最後の列を集計列とするか否かをユーザが設定するオン/オフスライドボタンである。
・縞模様（行）２６５はタイトル行を縞模様とするか否かをユーザが設定するオン/オフスライドボタンである。
・縞模様（列）２６６はタイトル列を縞模様とするか否かをユーザが設定するオン/オフスライドボタンである。
このようにユーザはタイトルに関するセル属性を変更できる。図１４のユーザの設定に合わせて、セル属性のタイトルが変更される。
図１５は、表設定画面の詳細（その２）を説明する図である。図１５（ａ）には、表のデザインのリスト２７０が示されている。作図の都合上、図１５（ａ）は白黒であるが、各表のデザインはモノクロ、青、赤、灰、黄、水色、緑の配色でデザインされている。表のデザインのリストはプルダウンメニュー２７１を有している。ユーザがプルダウンメニュー２７１を押下すると、図１５（ｂ）～図１５（ｅ）のデザインのリストが表示される。図１５（ｂ）はドキュメント用のデザインを、図１５（ｃ）は、淡色のデザインを、図１５（ｄ）は中間（色の濃さとして）のデザインを、図１５（ｅ）は濃色のデザインを、それぞれ示す。
図１５でユーザが選択した表のデザインに合わせて、セル属性の色及び背景色が変更される。
図１６は、表設定画面の詳細（その３）を説明する図である。図１６は、「セルを文字に合わせてサイズ調整する」に対応付けられているオン/オフスライドボタン２８１が示されている。このオン/オフスライドボタン２８１は、セル内の文字に応じてセルのサイズを自動的に調整するか否かをユーザが設定するボタンである。
図１７は、「セルを文字に合わせてサイズ調整する」のオン/オフスライドボタン２８１について説明する図である。図１７（ａ）は清書前の表を示し、図１７（ｂ）は清書後の表を示す。図１７（ａ）のセルの文字列のサイズがセルの属性に応じて変更された場合、セルに全ての文字が入らない。
この場合、「セルを文字に合わせて自動調整する」のオン/オフスライドボタン２８１がオフ（Ｆａｌｓｅ）の場合、表加工処理部３３が文字サイズに合わせてセルを大きくしない。大きくとは、セルの横幅をいう。図１７（ｂ）に示すように、「使用頻度」という文字列２９１が２行になると共に、２行の文字列が入るようにセルの高さが大きくなっている。
図１７（ｃ）は、「セルを文字に合わせて自動調整する」のオン/オフスライドボタン２８１がオン（Ｔｒｕｅ）の場合の清書例を示す。「セルを文字に合わせ自動調整する」がＴｒｕｅの場合、表加工処理部３３が文字列のサイズに合わせてセルを大きくする。図１７（ｃ）に示すように、「使用頻度」という文字列２９１が１行に収まるように、セルの横幅が大きくなっている。
なお、文字はフォントと文字種別（日本語、アルファベット、数字）により、サイズ（タテ、横）が決定するため、表加工処理部３３は文字列の合計のサイズとセルのサイズを比較して、「セルを文字に合わせて自動調整する」の設定に応じて、改行が必要か、大きさ変更が必要かを判断できる。改行が必要な場合、表加工処理部３３は１行に入る文字数と全文字数から、必要な行数を決定し、このセルの高さを算出し、セルの高さを修正する。改行しない場合は、表加工処理部３３は、全文字数から必要なセルの横の長さを決定し、セルの横の長さを修正する。
図１６でユーザがオン/オフスライドボタン２８１で設定した内容が、セル属性の「セルを文字に合わせて自動調整する」に設定される。
図１８は、表設定画面の詳細（その４）を説明する図である。図１８には、「ＯＣＲで自動的に文字を変換する」に対応付けられているオン/オフスライドボタン３０１が示されている。このオン/オフスライドボタン３０１は、表示装置２がセル内の手書きデータに自動でＯＣＲを行うか否かをユーザが設定するボタンである。
ＯＣＲは誤認識が生じうるため、ユーザによっては利用したくない場合もある。その場合、「ＯＣＲで自動的に文字を変換する」に対応付けられているオン/オフスライドボタン３０１をユーザがオフにすることで、表示装置２はＯＣＲを行わず、位置の調整のみを実施する。
図１８でユーザがオン/オフスライドボタン３０１で設定した内容が、セル属性の「ＯＣＲで自動的に文字を変換する」に設定される。
図１９は、表設定画面の詳細（その５）を説明する図である。図１９には、フォント設定欄３１１が示されている。
・プルダウンメニュー３１２はユーザがフォントを選択するためのものできる。
・プルダウンメニュー３１３はユーザが文字サイズを選択するためのものできる。
・サイズ大ボタン３１４はユーザが文字サイズを１段階大きくするボタンである。
・サイズ小ボタン３１５はユーザが文字サイズを１段階小さくするボタンである。
・カラーパレット３１６はユーザが文字の色を設定するための色のリストである。
カラーの選択に関しては、図２０に示すように、ユーザがカラーパレット３１７から選択できてもよい。
図１９又は図２０で設定された情報はセル属性のフォント、フォントサイズ、色に設定される。
図２１は、表設定画面の詳細（その６）を説明する図である。図２１には、文字列の配置設定３２０が表示されている。図２１（ａ）はセル内における文字列の横方向の配置をユーザが選択するリストである。ユーザは左寄せ３２１、真ん中寄せ３２２、又は、右寄せ３２３を選択できる。
図２１（ｂ）はセル内における文字列の高さ方向の配置をユーザが選択するリストである。ユーザは上寄せ３２４、真ん中寄せ３２５、下寄せ３２６を選択できる。図２１で設定された情報はセル属性の配置に設定される。
＜セルの属性の設定＞
以上のように、ユーザは各セルに共通の属性を設定することができる。そして、更に、ユーザは各セルに個別の属性を設定できる。
図２２を参照して、個別のセルの属性の設定について説明する。図２２は、個別のセルの属性設定画面３３２の一例を示す。ユーザが任意のセル上で電子ペン４を長押しすることで、ＵＩ画像生成部３６が表操作のメニュー３３０を表示する。表操作のメニュー３３０はセルの設定ボタン３３１を有している。ユーザがセルの設定ボタン３３１を押下すると、ユーザが選択したセルの属性設定画面３３２が表示される。
セルの属性設定画面３３２は、「フォント」、「セルを文字に合わせてサイズ調整する」「テキスト配置」の各項目を有する。これらの設定方法は、図１３の表設定画面２５２と同様でよい。「背景カラー」３４０の設定方法はカラーパレット３１６と同様でよい。
このように、ユーザはセルを選択してセルごとに異なる属性を設定できる。
＜初期値の設定＞
表示装置２は予め表の属性の初期値を有している。つまり、ユーザが属性を設定しなくても、表示装置２は各セルの文字サイズ等を同じにして清書できる。
図２３は、初期値の設定のためにユーザが押下する設定ボタン２０１を示している。図２４は設定ボタン２０１の押下により表示される各種設定画面３５０の一例である。各種設定画面３５０の各項目を説明する。
・「インクを図形に変換」３５１は、手書きデータを図形に変換するかどうかをユーザが設定するオン/オフボタンである。
・「インクをテーブルに変換」３５２は、手書きデータを表に変換するかどうかをユーザが設定するオン/オフボタンである。どのような手書きデータが表に変換されるかは予め定まっている。
・「入力と同時にテーブルを清書する」３５３は、セル属性の「ＯＣＲで自動的に文字列を変換する」をユーザが設定するオン/オフボタンである。
・「オブジェクトの位置合わせ」３５４は、近くのオブジェクトの配置を一致させるかをユーザが設置するオン/オフボタンである。
・「テーブルの型式」３５５は表の属性の初期値をユーザが設定するためのボタンである。ユーザが「テーブルの型式」３５５を押下すると、初期設定画面が表示される。
図２５は、初期設定画面３６０の一例を示す。図２５の初期設定画面３６０は図１３の表設定画面２５２と同じ構成である。ユーザは初期設定画面３６０から表の属性の初期値を設定しておくことができる。
図２４の各種設定画面３５０の「入力と同時にテーブルを清書する」３５３について説明する。「入力と同時にテーブルを清書する」３５３のオン/オフスライドボタンがオンに設定された場合、以下の操作が検出されると、表の属性に従い、表加工処理部３３が即座に表内のデータを清書する。
・手書きデータの入力
・手書きデータのドロップ
・文字列の入力
・文字列のドロップ
つまり、ユーザは清書ボタンを表示させたり、押下したりする必要がなく、これらの操作で表を清書できる。ただし、手書きデータの文字列への変換は、「OCRで自動的に文字列を変換する」がオンである必要がある。
＜主な効果＞
以上説明したように本実施形態の表示装置２は、属性に応じて表を清書するので、複数のユーザが異なる筆跡で手書きした場合でも、統一感のある表に清書できる。表として見やすくなるので、議論等が深まりやすくなる。
本実施例では、サーバー装置１２を介して、表示装置２と端末装置１１が通信する表示システム１９について説明する。
図２６は、表示システム１９の概略構成図の一例である。インターネット等のネットワークを介して表示装置２と端末装置１１がそれぞれサーバー装置１２と接続されている。端末装置１１はＷｅｂブラウザ又は専用アプリが動作すればよく、例えば、ＰＣ、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ（Personal Computer）、カーナビなどでよい。
表示装置２の機能はサーバー装置１２と通信する他は、実施例１と同様でよい。表示装置２の通信制御部２７はサーバー装置１２にオブジェクトデータ（表と表内の文字列）を送信する。サーバー装置１２は、表示装置２と端末装置１１が共通にアクセスする会議用のＵＲＬを表示装置２に送信するので、表示装置２はＵＲＬをメール等で端末装置１１に送信する。これにより、端末装置１１はサーバー装置１２と通信して、表示装置２が送信したオブジェクトデータを受信できる。なお、端末装置１１がＷｅｂブラウザでオブジェクトを表示する場合、サーバー装置１２はＨＴＭＬなどで画面情報を生成する。端末装置１１が専用アプリでオブジェクトを表示する場合、サーバー装置１２は主にオブジェクトと座標を画面情報として端末装置１１に送信すればよい。
また、端末装置１１がタッチパネルを有する場合、ユーザは端末装置１１を表示装置２と同様に使用して表に手書きデータを入力したり、清書したりすることができる。清書されたオブジェクトデータはサーバー装置１２を経由して表示装置２に送信される。
このように、表示システム１９によれば、表示装置２と端末装置１１がインタラクティブに表を処理できる。
また、図２６のような構成では、表示装置２の処理をサーバー装置１２が行ってもよい。この場合、表示装置２はストロークデータを表示すると共に、各種のイベントをサーバー装置１２に送信する。サーバー装置１２は、清書などを行って表示装置２の画面情報を生成し、表示装置２に送信する。
以下の実施例では表示装置２の別の構成例について説明する。
＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。
図２７は、表示装置２の他の構成例を示す図である。図２７では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。
プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣから送信されてもよいし、プロジェクター４１１が記憶していてもよい。
ユーザは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。プロジェクター４１１は方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。
プロジェクター４１１はメニュー４３０を投影するので、ユーザが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザが手書きした手書きされたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリ２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。
＜＜表示装置の別の構成例２＞＞
図２８は、表示装置２の他の構成例を示す図である。図２８の例では、表示装置２として、システムが端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。
端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。
ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図２７と同様でよい）、端末装置６００へ送信する。
端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
＜＜表示装置の別の構成例３＞＞
図２９は、表示装置２の構成例を示す図である。図２９の例では、表示装置２として、システムが端末装置６００と、ディスプレイ８００Ａと、ペン動作検出装置８１０Ａとを有する。
ペン動作検出装置８１０Ａは、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図２７と同様でよい）、端末装置６００へ送信する。なお、図２９の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。
端末装置６００は、ペン動作検出装置８１０Ａから受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像の画像データを生成し、ディスプレイ８００Ａに表示させる。
＜＜表示装置の別の構成例４＞＞
図３０は、表示装置２の構成例を示す図である。図３０の例では、表示装置２として、システムが、端末装置６００と、画像投影装置７００Ａとを有する。
端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。
そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像の画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０Ｂによって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。例えば、実施例１と実施例２を組み合わせる構成、実施例１と実施例３を組み合わせる構成、実施例１と実施例４を組み合わせる構成、実施例１と実施例５を組み合わせる構成、実施例２と実施例３を組み合わせる構成、実施例２と実施例４を組み合わせる構成、及び、実施例２と実施例５を組み合わせる構成、も可能である。
例えば、本実施形態では、電子黒板として使用できる表示装置を説明したが、表示装置は画像を表示できればよく、例えばデジタルサイネージなどでもよい。また、ディスプレイでなくプロジェクターが表示してもよい。この場合、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、表示装置２は、ペン先の座標を超音波により検出してもよい。ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。表示装置２は方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークとしてプロジェクターが描画（投影）する。
また、本実施形態では電子黒板を一例として説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。電子黒板と同様の機能を有する装置を、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。
また、図４などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
なお、座標検知部２２とストローク処理部３２は受付手段の一例である。表加工処理部３３は変換手段の一例である。ＵＩ画像生成部３６は設定画面表示手段の一例である。操作処理部２６は操作受付手段の一例である。通信制御部２７は通信制御手段の一例である。
２ 電子黒板
３ ディスプレイ
４ 電子ペン
特開２０１９－０４０５８５号

Claims (16)

  1. 画面に表を表示する表示装置であって、
    前記表に対する手書きデータの入力を受け付ける受付手段と、
    前記表に対応付けられている属性に基づき、前記受付手段が受け付けた手書きデータを文字列に変換する変換手段と、
    を有することを特徴とする表示装置。
  2. 前記変換手段は、前記手書きデータの電子ペンがタッチパネルから離れてから一定時間が経過した場合、前記表に対応付けられている属性に基づき、前記受付手段が受け付けた手書きデータを文字列に変換する請求項１に記載の表示装置。
  3. 画面に表示された清書ボタンの押下に応じて、前記変換手段は、前記表に対応付けられている属性に基づき、前記受付手段が受け付けた手書きデータを文字列に変換する請求項１に記載の表示装置。
  4. 前記表に、前記受付手段が受け付けた手書きデータだけでなく文字列がすでに表示されている場合、前記清書ボタンの押下に応じて、前記変換手段は、前記表に対応付けられている属性に基づき、前記受付手段が受け付けた手書きデータを文字列に変換し、前記表にすでに表示されていた前記文字列を、前記表に対応付けられている属性に基づき表示する請求項３に記載の表示装置。
  5. 前記変換手段は、前記受付手段が受け付けた手書きデータを文字列に変換し、更に、変換した文字列を、前記表に対応付けられている属性に基づき表示する請求項１～４のいずれか１項に記載の表示装置。
  6. 前記属性は、フォントであることを特徴とする請求項１～５のいずれか１項に記載の表示装置。
  7. 前記属性は、フォントサイズであることを特徴とする請求項１～６のいずれか１項に記載の表示装置。
  8. 前記属性は、背景色であることを特徴とする請求項１～７のいずれか１項に記載の表示装置。
  9. 前記属性は、表のセル内における前記文字列の配置であることを特徴とする請求項１～８のいずれか１項に記載の表示装置。
  10. 前記属性は、セルの横の長さをセル内の文字列のサイズに応じて自動調整するか否かの設定であることを特徴とする請求項１～９のいずれか１項に記載の表示装置。
  11. 前記属性は、セルがタイトルであるか否かの設定であることを特徴とする請求項１～１０のいずれか１項に記載の表示装置。
  12. 前記属性は、前記手書きデータの電子ペンがタッチパネルから離れてから一定時間が経過した場合、自動的に、前記受付手段が受け付けた手書きデータを文字列に変換するか否かの設定であることを特徴とする請求項１～１１のいずれか１項に記載の表示装置。
  13. 前記属性の設定を受け付ける設定画面を表示する設定画面表示手段と、
    前記設定画面に対する設定を受け付ける操作受付手段と、を有する請求項１～１２のいずれか１項に記載の表示装置。
  14. 画面に表を表示する表示装置を、
    前記表に対する手書きデータの入力を受け付ける受付手段と、
    前記表に対応付けられている属性に基づき、前記受付手段が受け付けた手書きデータを文字列に変換する変換手段、
    として機能させるためのプログラム。
  15. 画面に表を表示する表示装置が行う変換方法であって、
    受付手段が、前記表に対する手書きデータの入力を受け付けるステップと、
    変換手段が、前記表に対応付けられている属性に基づき、前記受付手段が受け付けた手書きデータを文字列に変換するステップと、
    を有することを特徴とする変換方法。
  16. サーバー装置を介して表示装置と端末装置が通信する表示システムであって、
    前記表示装置は、
    表に対する手書きデータの入力を受け付ける受付手段と、
    前記表に対応付けられている属性に基づき、前記受付手段が受け付けた手書きデータを文字列に変換する変換手段と、
    前記変換手段が変換した前記文字列と前記表に関するデータを前記サーバー装置に送信する通信制御手段と、を有し、
    前記端末装置は、
    前記サーバー装置から受信した前記表と前記文字列を表示する表示システム。
JP2021040560A 2021-03-12 2021-03-12 表示装置、プログラム、変換方法、表示システム Pending JP2022139957A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021040560A JP2022139957A (ja) 2021-03-12 2021-03-12 表示装置、プログラム、変換方法、表示システム
US17/673,790 US20220291826A1 (en) 2021-03-12 2022-02-17 Display apparatus, display system, and method for converting

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021040560A JP2022139957A (ja) 2021-03-12 2021-03-12 表示装置、プログラム、変換方法、表示システム

Publications (1)

Publication Number Publication Date
JP2022139957A true JP2022139957A (ja) 2022-09-26

Family

ID=83194930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021040560A Pending JP2022139957A (ja) 2021-03-12 2021-03-12 表示装置、プログラム、変換方法、表示システム

Country Status (2)

Country Link
US (1) US20220291826A1 (ja)
JP (1) JP2022139957A (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644351B1 (en) * 2005-06-27 2010-01-05 Information Sciences Corporation Data collection and processing system and methods
US8600164B2 (en) * 2008-03-28 2013-12-03 Smart Technologies Ulc Method and tool for recognizing a hand-drawn table
US10095851B2 (en) * 2013-08-30 2018-10-09 Samsung Electronics Co., Ltd. Electronic device and inputted signature processing method of electronic device
JP2015138494A (ja) * 2014-01-24 2015-07-30 株式会社東芝 電子機器および方法
JP6392036B2 (ja) * 2014-09-03 2018-09-19 株式会社東芝 電子機器および方法
US20160364134A1 (en) * 2015-06-12 2016-12-15 Beijing Lenovo Software Ltd. Information processing method and electronic device
US9697423B1 (en) * 2015-12-31 2017-07-04 Konica Minolta Laboratory U.S.A., Inc. Identifying the lines of a table
US10452952B2 (en) * 2017-06-30 2019-10-22 Konica Minolta Laboratory U.S.A., Inc. Typesetness score for a table
US11429274B2 (en) * 2019-05-06 2022-08-30 Apple Inc. Handwriting entry on an electronic device

Also Published As

Publication number Publication date
US20220291826A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US10572779B2 (en) Electronic information board apparatus, information processing method, and computer program product
US20170249294A1 (en) Image processing device, image processing method, and computer-readable storage medium
CN108139825B (zh) 电子黑板、存储介质和信息显示方法
US10725653B2 (en) Image processing device, image processing system, and image processing method
WO2016121401A1 (en) Information processing apparatus and program
US20180082663A1 (en) Information processing apparatus, image displaying method, and non-transitory computer readable medium
JP2015158900A (ja) 情報処理装置、情報処理方法および情報処理プログラム
US11907466B2 (en) Apparatus and method which displays additional information along with a display component in response to the display component being selected
JP2022139957A (ja) 表示装置、プログラム、変換方法、表示システム
JP2016075976A (ja) 画像処理装置、画像処理方法、画像通信システム、及びプログラム
US11853636B2 (en) Display apparatus, display method, medium, and display system
JP2019219965A (ja) 共有端末、筆記方法、プログラム
JP2003099196A (ja) 会議等支援用画像投影装置
JP7338330B2 (ja) 表示装置、表示方法、プログラム
JP2022138285A (ja) 表示装置、表示方法、プログラム
JP2022087633A (ja) 表示装置、消去方法切替方法、プログラム
JP7306190B2 (ja) 表示装置、表示方法、プログラム
JP6225724B2 (ja) 情報共有システムおよび情報共有方法、ならびに、情報処理装置および情報処理方法
US11816327B2 (en) Display apparatus, method for displaying, and non-transitory recording medium
JP7314719B2 (ja) 表示装置、表示方法、プログラム
US20230333731A1 (en) Display apparatus, display system, display method, and non-transitory recording medium
WO2016121403A1 (en) Information processing apparatus, image processing system, and program
JP2022146853A (ja) 表示装置、プログラム、表示方法、表示システム
JP2022143788A (ja) 表示装置、表示方法、プログラム
JP2022147297A (ja) 表示装置、表示方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241030