[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016170613A - 会議支援装置、会議支援システム、会議支援プログラム、及び会議支援方法 - Google Patents

会議支援装置、会議支援システム、会議支援プログラム、及び会議支援方法 Download PDF

Info

Publication number
JP2016170613A
JP2016170613A JP2015049734A JP2015049734A JP2016170613A JP 2016170613 A JP2016170613 A JP 2016170613A JP 2015049734 A JP2015049734 A JP 2015049734A JP 2015049734 A JP2015049734 A JP 2015049734A JP 2016170613 A JP2016170613 A JP 2016170613A
Authority
JP
Japan
Prior art keywords
unit
conference support
display
work area
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015049734A
Other languages
English (en)
Inventor
一真 竹内
Kazuma Takeuchi
一真 竹内
真也 荻布
Shinya Oginuno
真也 荻布
俊介 ▲高▼村
俊介 ▲高▼村
Shunsuke Takamura
健太 保坂
Kenta Hosaka
健太 保坂
有理 福村
Yuri Fukumura
有理 福村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2015049734A priority Critical patent/JP2016170613A/ja
Priority to US15/065,596 priority patent/US20160266734A1/en
Priority to EP16160029.1A priority patent/EP3068073A1/en
Publication of JP2016170613A publication Critical patent/JP2016170613A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827Network arrangements for conference optimisation or adaptation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】1の端末装置で行われるオブジェクト操作を予測し、他の端末装置で予測結果を把握できるようにする。【解決手段】会議支援装置は、複数の端末装置のそれぞれの表示領域となる個別作業領域を管理する個別作業領域管理部と、操作部を通じて行われる操作を解析するユーザー操作解析部と、それぞれの個別作業領域におけるオブジェクト操作を反映した画面をそれぞれの表示部に表示させる画面表示制御部と、ユーザー操作解析部の解析結果に基づいて、オブジェクト操作の対象となる操作対象オブジェクトを予測するオブジェクト予測部と、複数の端末装置のうち、オブジェクト予測部により予測された予測オブジェクトを個別作業領域に含んでいる特定の端末装置における当該予測オブジェクトの操作を抑制するオブジェクト操作抑制部と、を備える。【選択図】図12

Description

本発明は、会議支援装置、会議支援システム、会議支援プログラム、及び会議支援方法に関する。
近年、タッチパネルを備えた電子黒板などを用いて、ユーザー操作に基づく画面の遷移を記憶し、会議の流れを時系列で管理する会議支援装置が提案されている(例えば特許文献1、2)。会議支援装置では、会議の流れが時系列で管理されており、任意の時点の画面状態を再現することができる。
一般に、会議支援装置には、表示部及び操作部を有する複数の端末装置が、インターネットや無線/有線LAN(Local Area Network)などのネットワークを介して接続される。以下において、会議支援装置に複数の端末装置が情報通信可能に接続されたシステムを会議支援システムと称する。なお、複数の端末装置の一つが会議支援装置として機能する場合もある。
会議支援システムにおいては、会議支援装置が、当該会議支援システムにおける共同作業領域を管理する。複数の端末装置では、共同作業領域の一部又は全部が個別作業領域としてそれぞれの表示部に表示され、この個別作業領域上で作業が行われることとなる。
このような会議支援システムにおいて、ユーザーは操作部を操作することにより、文字や記号を入力するテキストボックスや図形などの様々なオブジェクトに対して移動や拡大・縮小等の様々なオブジェクト操作を行うことができる。オブジェクト操作の対象となるオブジェクト(以下「操作対象オブジェクト」と称する)は、例えばタッチ操作又は囲み操作によって選択される。タッチ操作は、オブジェクトを直接選択する操作であり、タッチパネルに指やタッチペンで触れる操作(マルチタッチ操作を含む)やマウスのクリック操作を含む。囲み操作は、囲んだ領域内にあるオブジェクトを一括して選択する操作であり、タッチパネル上で指やタッチペンをスライドさせる操作やマウスのドラッグ操作を含む。
特開2003−339033号公報 特開2010−176216号公報
操作部が電子黒板のような大画面のタッチパネルで構成され、このタッチパネル上でのみオブジェクト操作が行われる場合、ユーザーの立ち位置や目線などによってタッチ操作又は囲み操作が行われること、すなわち操作対象オブジェクトを容易に把握することができる。したがって、同じオブジェクトやグループを対象とするオブジェクト操作がほぼ同時に発生することは少ない。同じオブジェクトやグループに対して、同時に行うことができないにもかかわらず、同時に行われようとする複数のオブジェクト操作、1のオブジェクト操作に基づく画面が表示部に反映される前に、当該オブジェクト操作の対象となるオブジェクトやグループに対して他のオブジェクト操作が行われた場合のそれぞれの操作、あるいは、1のオブジェクト操作中に、当該オブジェクト操作対象であるオブジェクトやグループに対して他のオブジェクト操作が行われる場合の他のオブジェクト操作を「競合操作」と称する。
しかしながら、ユーザーの参加場所が分散しており、それぞれの端末装置でオブジェクト操作が行われる場合、他のユーザーの様子を把握することが困難であるため、競合操作が発生しやすくなる。複数の端末装置における個別作業領域が重複している場合に、それぞれの端末装置における個別作業領域を相互に通知することが考えられるが、競合操作が生じうることを知得させることができるにすぎない。すなわち、ユーザーは、自身の所有する端末装置の表示部に、他の端末装置におけるタッチ操作や囲み操作等のオブジェクト選択操作が反映される(オブジェクトの選択状態が表示される)まで、他の端末装置で行われるオブジェクト操作を把握できないため、競合操作の回避策として十分ではない。
本発明の目的は、1の端末装置で行われるオブジェクト操作を予測し、他の端末装置で予測結果を把握できるようにすることにより競合操作の発生を回避し、会議の効率化を図ることができる会議支援装置、会議支援システム、会議支援方法、及び会議支援プログラムを提供することである。
本発明に係る会議支援装置は、オブジェクトを表示する表示部と前記オブジェクトを操作する操作部とを有し共同作業領域上で作業を行う複数の端末装置が情報通信可能に接続されてなる会議支援システムに用いられる会議支援装置であって、
前記複数の端末装置のそれぞれの表示領域となる個別作業領域を管理する個別作業領域管理部と、
前記操作部を通じて行われる操作を解析するユーザー操作解析部と、
それぞれの前記個別作業領域におけるオブジェクト操作を反映した画面をそれぞれの前記表示部に表示させる画面表示制御部と、
前記ユーザー操作解析部の解析結果に基づいて、前記オブジェクト操作の対象となる操作対象オブジェクトを予測するオブジェクト予測部と、
前記複数の端末装置のうち、前記オブジェクト予測部により予測された予測オブジェクトを前記個別作業領域に含んでいる特定の端末装置における当該予測オブジェクトの操作を抑制するオブジェクト操作抑制部と、を備えることを特徴とする。
本発明に係る会議支援システムは、上記の会議支援装置と、
前記表示部又は前記操作部としての機能を有し、前記会議支援装置に情報通信可能に接続される端末装置と、を備えることを特徴とする。
本発明に係る会議支援プログラムは、オブジェクトを表示する表示部と前記オブジェクトを操作する操作部とを有し共同作業領域上で作業を行う複数の端末装置が情報通信可能に接続されてなる会議支援システムに用いられる会議支援装置のコンピューターに、
前記複数の端末装置のそれぞれの表示領域となる個別作業領域を管理し、
前記操作部を通じて行われる操作を解析し、
それぞれの前記個別作業領域におけるオブジェクト操作を反映した画面をそれぞれの前記表示部に表示させ、
解析結果に基づいて、前記オブジェクト操作の対象となる操作対象オブジェクトを予測し、
前記複数の端末装置のうち、予測された予測オブジェクトを前記個別作業領域に含んでいる特定の端末装置における当該予測オブジェクトの操作を抑制する処理を実行させることを特徴とする。
本発明に係る会議支援方法は、オブジェクトを表示する表示部と前記オブジェクトを操作する操作部とを有し共同作業領域上で作業を行う複数の端末装置が情報通信可能に接続されてなる会議支援システムにおける会議支援方法であって、
前記複数の端末装置のそれぞれの表示領域となる個別作業領域を管理し、
前記操作部を通じて行われる操作を解析し、
それぞれの前記個別作業領域におけるオブジェクト操作を反映した画面をそれぞれの前記表示部に表示させ、
解析結果に基づいて、前記オブジェクト操作の対象となる操作対象オブジェクトを予測し、
前記複数の端末装置のうち、予測された予測オブジェクトを前記個別作業領域に含んでいる特定の端末装置における当該予測オブジェクトの操作を抑制することを特徴とする。
本発明によれば、1の端末装置で行われるオブジェクト操作の対象となる操作対象オブジェクトを予測し、予測結果(予測オブジェクト)が他の端末装置にフィードバックされるので、競合操作の発生を効果的に回避することができる。したがって、会議の効率が格段に向上する。
本発明の一実施の形態に係る会議支援システムの概略構成を示す図である。 会議支援システムのハードウェア構成を示すブロック図である。 会議支援装置の制御部の機能を示す機能ブロック図である。 オブジェクト情報テーブルの一例を示す図である。 画面遷移情報テーブルの一例を示す図である。 図5に示す画面遷移情報テーブルに対応するタイムラインを示す図である。 個別作業領域テーブルの一例を示す図である。 個別作業領域におけるオブジェクトの配置の一例を示す図である。 会議支援処理の一例を示すフローチャートである。 図9に示す会議支援処理の一部を構成するフローチャートである。 タッチ操作が行われるときの個別作業領域の表示例を示す図である。 囲み操作が行われるときの個別作業領域の表示例を示す図である。 囲み操作が完了したときの個別作業領域の表示例を示す図である。 囲み操作が完了してオブジェクト選択状態となったときの個別作業領域の表示例を示す図である。 囲み操作が進行しているときの個別作業領域の表示例を示す図である。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
図1は、本発明の一実施の形態に係る会議支援システム1の概略構成を示す図である。
図1に示すように、会議支援システム1は、会議支援装置10及び端末装置20を備える。会議支援装置10と端末装置20は、有線/無線LAN等のネットワークを介して情報通信可能に接続される。
会議支援装置10は、例えば電子ホワイトボード、プロジェクター、サーバー装置、パーソナルコンピューター、又は携帯端末(スマートフォン、タブレット端末、ノートパソコン)等で構成される。本実施の形態では、会議支援システム1の表示部及び操作部としての機能を有する電子ホワイトボードを会議支援装置10として適用する例について説明する。なお、会議支援システム1の表示部及び操作部は、会議支援装置10に情報通信可能に接続されていればよく、会議支援装置10自身が備えていなくてもよい。
端末装置20は、例えばスマートフォン、タブレット端末、ノートパソコン等の携帯端末、又はデスクトップパソコン等で構成される。端末装置20は、会議支援システム1の表示部又は操作部としての機能を有する。図1では、端末装置20として、会議支援システム1の表示部及び操作部としての機能を有するタブレット端末20Aとノートパソコン20Bを示している。以下において、端末装置20A、20Bの構成要素を区別する場合は、21A、21B、22A、22B、・・と数字に“A”又は“B”を添えた符号で示し、区別しない場合は、21、22、・・と数字のみの符号で示すものとする。
このように、会議支援システム1は、オブジェクトを表示する表示部とオブジェクトを操作する操作部とを有し共同作業領域上で作業を行う複数の端末装置(ここでは会議支援装置10及び端末装置20A、20B)が情報通信可能に接続されてなる。なお、端末装置20は、会議支援装置10が設置される会議室と同じ会議室に設置されてもよいし、遠隔地に設置されてもよい。また、端末装置20の数は特に制限されない。
会議支援装置10は、ユーザー操作に基づく画面の遷移を記憶し、会議の流れを時系列で管理する。すなわち、ユーザーが、会議支援装置10又は端末装置20の操作部12、22を利用して、会議に登場し議事の構成要素となるオブジェクトを表示部13、23の表示領域に追加したり、表示されているオブジェクトを操作したりすると、そのときの画面に関する情報(以下「画面情報」と称する)が記憶される。また、会議支援装置10の表示部13に表示される画面は、端末装置20の表示部23に反映される。
ここで、オブジェクトとは、操作の対象となるデータであり、文字又は記号が入力されるテキストボックス、図形、写真画像、アプリケーションの作業領域(ウィンドウ)等の形で表示部13に表示される。本実施の形態では、オブジェクトを単純な図形で示すこととする。また、オブジェクトの追加(新規作成)、移動、編集、サイズ変更(拡大・縮小)、削除、グループ化、グループ解除など、オブジェクトの状態を変化させる操作を「オブジェクト操作」と称する。オブジェクト操作は、タッチ操作や囲み操作を含むオブジェクト選択操作により操作対象オブジェクトが選択された上で行われる。
なお、「グループ化」とは、複数のオブジェクトを一つのグループに割り当てる操作であり、グループ化された複数のオブジェクトは、まとめて移動したり、全て同時に拡大・縮小したりすることができる。また、タッチ操作及び囲み操作は、単一のオブジェクトを選択することもできれば、複数のオブジェクトを選択することもできる。
会議支援システム1においては、会議支援装置10が、会議支援システム1で扱われる最大の作業領域(共同作業領域)を管理する。会議支援装置10の個別作業領域R1は、共同作業領域と同じであるものとする。また、端末装置20A、20Bでは、共同作業領域の一部又は全部が個別作業領域R2、R3として表示部23A、23Bに表示され、この個別作業領域R2、R3上で作業が行われることとなる(図11参照)。
図1では、会議支援装置10の表示部13は、オブジェクトが表示されるメイン画面MDと、会議の流れを視認可能なツリー構造の図(以下「タイムライン」と称する)が表示されるサブ画面SDに区画されている。メイン画面MDが会議支援装置10の個別作業領域である。通常時はメイン画面MDを表示しておき、必要に応じてサブ画面SDを表示するようにしてもよいし、メイン画面MDとサブ画面SDを切り替えて表示領域の全体にサブ画面SDを表示させるようにしてもよい。ここでは、常時メイン画面MDとサブ画面SDが表示され、ユーザー操作に応じてそれぞれのサイズが変化するものとする。
図1においては、メイン画面MDに、8個のオブジェクトOB1〜OB8が作成され、そのうちのオブジェクトOB1〜OB3、オブジェクトOB4〜0B6がそれぞれグループ化されている(グループGR1、GR2)。サブ画面SDには、任意の時点で議論が分岐された場合のタイムラインTLが表示されている。議論が途中で分岐された場合には、複数の結論が存在することになる。
ユーザーによるオブジェクト操作はメイン画面MDで行われ、タイムライン操作はサブ画面SDで行われる。タイムライン操作とは、タイムラインTLを利用して行われる操作であり、マーカーMを移動させる操作、議論を分岐させるための分岐操作を含む。例えば、ユーザーは、タイムラインTL上でマーカーMを移動させることにより、任意の時点の画面をメイン画面MDに再現させることができる。
図2は、会議支援システム1のハードウェア構成の一例を示す図である。
図2に示すように、会議支援装置10(電子ホワイトボード)は、制御部11、操作部12、表示部13、記憶部14、通信部15、及び接近動作検出部16等を備える。各ブロックはバスラインにより電気的に接続される。制御部11が後述する会議支援プログラムを実行することにより、本実施形態の会議支援方法が実現される。
制御部11は、演算/制御装置としてのCPU(Central Processing Unit)111、主記憶装置としてのROM(Read Only Memory)112及びRAM(Random Access Memory)113を有する。ROM112には、BIOS(Basic Input Output System)と呼ばれる基本プログラムや基本的な設定データが記憶される。CPU111は、ROM112又は記憶部14から処理内容に応じたプログラムを読み出してRAM113に展開し、展開したプログラムと協働して、各ブロックを制御する。
操作部12及び表示部13は、例えばタッチパネル付きのフラットパネルディスプレイで構成される。フラットパネルディスプレイとしては、液晶ディスプレイ、有機ELディスプレイ、メモリ性を有する電子ペーパーディスプレイなど従来公知の各種のものを用いることができる。以下において、フラットパネルディスプレイのように操作部12としての機能及び表示部13としての機能を有する構成要素を「操作表示部17」と称する。
操作部12は、ユーザーによる手書き入力、オブジェクト操作、タイムライン操作、及び、後述するタッチ操作や囲み操作を受け付けて、それに応じた信号を制御部11に出力する。表示部13は、制御部11から入力される表示制御情報に従って、メイン画面MD及びサブ画面SDに各種情報を表示する。なお、以下においては、主としてユーザーが指を使って操作することを想定して説明するが、指以外の身体の一部やタッチペンなどの接触体を用いて、操作しても構わない。この点は、各端末装置においても同様である。また、操作部12として、マウスやキーボード等の入力装置を設けるようにしてもよい。
記憶部14は、例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)、又はSD(Secure Digital)カード等の補助記憶装置であり、会議支援プログラム及び画面に関する情報等を記憶する。記憶部14は、オブジェクト情報テーブル141、画面遷移情報テーブル142、タイムライン記憶部143、及び個別作業領域テーブル144等を有する(図3参照)。
通信部15は、例えばNIC(Network Interface Card)、MODEM(MOdulator-DEModulator)、USB(Universal Serial Bus)等の通信インターフェースである。制御部11は、通信部15を介して、有線/無線LAN等のネットワークに接続された端末装置20との間で各種情報の送受信を行う。通信部15には、NFC(Near Field Communication)やBluetooth(登録商標)等の近距離無線通信用の通信インターフェースを適用することもできる。
接近動作検出部16は、操作表示部17に対するユーザーの指の位置を検出するセンサーである。接近動作検出部16は、ユーザーの指の位置を操作表示部17(表示部13)に投影したxy座標と、指の先端から操作表示部17(表示部)までの距離zを取得する。ユーザーの指の三次元座標(x,y,z)に基づいて、ユーザーがタッチ操作によりオブジェクトを選択しようとしているか否かを判断することができる。接近動作検出部16には、例えば赤外線プロジェクトから赤外線の特殊パターンを対象物に照射し、対象物によって歪んだパターンを赤外線カメラ(深度センサー)で撮影して解析することで対象物との距離を計測するキネクト(登録商標)を適用することができる。
端末装置20は、制御部21、操作部22、表示部23、記憶部24、通信部25、及び接近動作検出部26等を備える。操作部22としての機能及び表示部22としての機能を有する構成要素を操作表示部27と称する。各ブロックの構成は会議支援装置10の各ブロック11〜17とほぼ同様であるので説明を省略する。
端末装置20の制御部21は、操作部22から入力された操作情報(オブジェクト操作又はタイムライン操作)を、予め定められた所定の送信操作が行われることに伴い、通信部25を介して会議支援装置10に送信する。所定の送信操作とは、表示部23に表示される送信キーの操作や、操作表示部27上でのフリック操作等である。また、制御部21は、会議支援装置10から送信された表示制御情報を、通信部25を介して受信し、表示部23に表示させる。
さらに、制御部21は、接近動作検出部26で取得された接近動作情報(指の三次元座標情報)を、常時、通信部25を介して会議支援装置10に送信する。
会議システム1において、会議支援装置10、端末装置20A、20Bが異なる場所に設置される場合、他のユーザーの様子を把握することが困難であるため、競合操作が発生しやすくなる。本実施の形態では、会議支援装置10又は端末装置20A、20Bにおけるユーザーの様子に基づいて、オブジェクト操作の対象となる操作対象オブジェクトを予測する。そして、例えば端末装置20Aにおいて予測された操作対象オブジェクトを、会議支援装置10及び端末装置20Bで把握できるようにすることで、競合操作の発生を回避する。
図3は、会議支援装置10の制御部11の機能を示す機能ブロック図である。
図3に示すように、制御部11は、ユーザー操作解析部11A、画面情報記録部11B、分岐情報記録部11C、タイムライン作成部11D、個別作業領域記録部11E、オブジェクト予測部11F、オブジェクト操作抑制部11G、及び表示制御部11Hとして機能する。一部又は全ての機能部を専用のハードウェアで構成してもよい。
ユーザー操作解析部11Aは、操作部12又は通信部15から入力される操作情報を解析し、ユーザーによる操作を特定する。画面情報記録部11B、分岐情報記録部11C、タイムライン作成部11D、個別作業領域記録部部11E、オブジェクト予測部11F、及び表示制御部11Hは、ユーザー操作解析部11Aによって特定されたユーザー操作に基づいて、操作の内容に対応付けて予め設定された所定の処理(例えば、ピンチアウトでオブジェクトを拡大する等)を実行する。
ここで、ユーザー操作には、ユーザーが操作部12を通じて実際に行う操作の他、ユーザーが操作部17を通じて行おうとしている動作(操作表示部17に対する指の接近動作)も含まれる。すなわち、ユーザー操作解析部11Aは、操作表示部17における指のスライド動作(画面に触れたまま指を滑らせる動作)に基づいて、囲み操作が行われるか否かを判定できる。また、ユーザー操作解析部11Aは、接近動作検出部16、26で検出される操作表示部17に対する指の接近動作に基づいて、タッチ操作が行われるか否かを判定できる。
画面情報記録部11Bは、ユーザーによるオブジェクト操作に基づく会議の流れ(画面遷移)を、画面情報として記憶部14に記録する。画面情報とは、画面を構成する要素及びそれらがいつ作成され変化したかを示す情報であり、オブジェクト又はグループに対する操作を個別に管理するオブジェクト情報、及び会議の流れを時系列で管理する画面遷移情報を含む。オブジェクト情報は、記憶部14のオブジェクト情報テーブル141に格納され、画面遷移情報は、記憶部14の画面遷移情報テーブル142に格納される。
分岐情報記録部11Cは、ユーザーによる分岐操作(タイムライン操作の一つ)に基づいて、画面遷移情報テーブル142に分岐情報を記録する。分岐操作とは、タイムラインTLに分岐を生成する操作であり、例えばタイムラインTL上でマーカーMを移動させることにより表示された任意の時点のメイン画面MDで行われるオブジェクト操作や、タイムラインTL上で分岐の作成を指示する操作(例えばタイムラインTL上のある時点で長押しすることにより表示されるコンテキストメニューから「分岐作成」を選択する操作)が行われた場合に分岐が生成される。または、タイムラインTL上での所定のジェスチャー操作を分岐操作に割り当てるようにしてもよい。
タイムライン作成部11Dは、画面遷移情報テーブル142の情報を参照し、タイムラインTLを作成する。画面遷移情報テーブル142に、後述する分岐情報が記録されている場合は、分岐構造を有するタイムラインTLが作成される。作成されたタイムラインTLの情報は、例えば記憶部14のタイムライン記憶部143に記憶される。タイムラインTLは、代表画面(例えば結論や分岐点となる画面)のサムネイルや、新規作成したオブジェクトのサムネイルを含んでいてもよい。タイムライン作成部11Dは、例えば所定の時間間隔で、又はユーザーによるオブジェクト操作に応じて、タイムラインTLを作成し、更新する。タイムラインTLは、時間情報から時間軸の長さを換算してサブ画面SDに入りきるサイズとしてもよいし、サブ画面SD上でスクロールして全体を確認できるように表示してもよい。
個別作業領域記録部11Eは、会議支援装置10及び端末装置20A、20Bのそれぞれの個別作業領域に関する情報を、記憶部14の個別作業領域テーブル144に記録する。個別作業領域に関する情報には、共同作業領域における個別作業領域の位置及び大きさを示す情報並びに個別作業領域内に含まれるオブジェクトの情報が含まれる。個別作業領域管理部は、個別作業領域記録部11Eと個別作業領域テーブル144により構成される。
オブジェクト予測部11Fは、ユーザー操作解析部11Aの解析結果に基づいて、それぞれの個別作業領域におけるオブジェクト操作の対象となる操作対象オブジェクトを予測する。オブジェクト予測部11Fは、例えば囲み操作が行われる場合に、スライド動作の軌跡等に基づいて、囲み操作の対象となるオブジェクトを予測する。また例えば、オブジェクト予測部11Fは、例えばタッチ操作が行われる場合に、ユーザーの指の空間座標(特にxy座標)に基づいて、タッチ操作の対象となるオブジェクトを予測する。
オブジェクト操作抑制部11Gは、オブジェクト予測部11Fによって操作対象オブジェクトとして予測されたオブジェクト(以下「予測オブジェクト」と称する)を個別作業領域に含んでいる特定の端末装置における当該予測オブジェクトの操作を抑制する。例えば、オブジェクト操作抑制部11Gは、個別作業領域に予測オブジェクトを含んでいる特定の端末装置に対して、当該予測オブジェクトはオブジェクト操作対象になる可能性があることを通知する。
表示制御部11Hは、ユーザー操作に基づく画面を表示部13に表示させるための表示制御情報(画面データ)を生成し、この画面データに基づいて表示部13に表示させる、又は通信部15を介して画面データを端末装置20に送信することにより、端末装置20の表示部23に表示を行わせる。表示制御部11Hは、表示制御情報を生成する際に、記憶部14から必要な情報を取得する。表示制御情報には、オブジェクト操作を反映した画面を表示させるための画面表示制御情報、及びタイムライン作成部11Dによって作成されるタイムラインTLを表示させるためのタイムライン表示制御情報が含まれる。表示制御部11Hは、例えば会議支援装置10又は端末装置20A、20Bにおいて囲み操作が行われる場合に、囲み操作の軌跡を随時更新して表示部13、23に表示させる。
図4は、オブジェクト情報テーブル141の一例を示す図である。図4に示すように、オブジェクト情報テーブル141には、「オブジェクトID」、「操作内容」、「操作時間」、「メタデータ」の各情報が含まれる。
「オブジェクトID」は、オブジェクト又はグループが新規作成されたときに付与されるオブジェクトごとの識別情報である。「操作内容」は、オブジェクト又はグループに対して行われた操作を示す情報である。オブジェクトの「操作内容」は、例えば新規作成、移動、編集、サイズ変更、削除、グループ化、グループ解除等を示す情報である。グループの「操作内容」は、例えばグループ作成、移動、編集、サイズ変更、グループ解除等を示す情報である。
「操作時間」は、オブジェクト操作が実行された時刻を示す情報である。「メタデータ」は、オブジェクト又はグループについての詳細情報である。オブジェクトの「メタデータ」は、例えばオブジェクトの画像情報、テキスト情報、位置情報(座標)及びサイズである。グループの「メタデータ」は、例えばグループ領域の画像情報、位置情報(座標)、グループ領域のサイズ、グループを構成するオブジェクトのオブジェクトIDである。「オブジェクトID」、「操作内容」、「操作時間」、及び「メタデータ」は、画面情報記録部11Bによって記憶部14に記録される。
図4に従うと、例えばIDが「OB1」のオブジェクトは、14:00:00に新規作成された後、14:00:30に移動され、14:00:50にサイズ変更され、14:02:00にグループ化されている。
図5は、画面遷移情報テーブル142の一例を示す図である。図6は、画面0からスタートし、画面1、画面2を経由して画面3(結論1)に到達した後、画面2(分岐1)で分岐して画面4(結論2)に到達した場合の画面遷移情報テーブルである。すなわち、図6に示すタイムラインTL1のように会議が進行すると、画面遷移情報テーブルは図5に示すような構成となる。言い換えると、図5に示す画面遷移情報テーブルに基づいて、図6に示すタイムラインTL1が作成される。
このように、オブジェクトの追加や変化がある度に時系列的にデータを追加していくことで、データの構成がシンプルで、しかも時間の経過に沿った画面遷移を把握しやすくなる。なお、図6では、代表として画面0〜画面4を例示しており、他の画面については省略している。また、図6における画面0〜画面4の「0」〜「4」の番号は、理解を容易にするために便宜的につけたものである。実際には、画面にオブジェクトが追加されたり、オブジェクトが変化したりする度に、例えばその時の日時に基づいて生成される番号や、固有の通し番号などが順番に付与される。
図5に示すように、画面遷移情報テーブルには、「画面ID」、「作成時間」、「構成オブジェクト」、及び「分岐ID」の各情報が含まれる。「画面ID」は、オブジェクト操作が行われたときに付与される画面ごとの識別情報である。「作成時間」は、当該画面が作成された時刻、すなわちオブジェクト操作が実行された時刻を示す情報である。「構成オブジェクト」は、オブジェクト操作が行われたときのメイン画面MDの構成を示す情報であり、例えばメイン画面MDに含まれるオブジェクトのオブジェクトIDである。「画面ID」、「作成時間」、及び「構成オブジェクト」は、画面情報記録部11Bによって記憶部14に記録される。
「分岐ID」は、分岐操作が行われたときに付与される識別情報であり、分岐操作が行われた画面に対して同一の識別情報が付与される。「分岐ID」は、分岐情報記録部11Cによって記憶部14に記録される。
図7は、個別作業領域テーブル144の一例を示す図である。図8は、個別作業領域におけるオブジェクトの配置の一例を示す図である。図8では、会議支援装置10の個別作業領域R1(共同作業領域と同じ)にオブジェクトA〜Jが配置され、端末装置20Aの個別作業領域R2にオブジェクトE,F,Iが配置され、端末装置20Bの個別作業領域R3にオブジェクトC,D,F,G,Hが配置されている。図7は、図8のように共同作業領域R1にオブジェクトA〜Jが配置され、それぞれの個別作業領域R2、R3が設定されている場合の個別作業領域テーブル144である。
図7に示すように、個別作業領域テーブル144には、「端末ID」、「作業領域」、「表示オブジェクト」の各情報が含まれる。「端末ID」は、会議支援システム1を構成する端末(会議支援装置10を含む)に付与される識別情報である。「作業領域」は、それぞれの個別作業領域の位置及びサイズを示す情報であり、ここでは個別作業領域の始点座標(左上の座標)と終点座標(右下の座標)を用いている。個別作業領域の基準座標(例えば左上の座標)と高さ及び幅を用いて作業領域を表してもよい。「表示オブジェクト」は、それぞれの個別作業領域に表示されているオブジェクトを示す情報であり、例えば作業領域情報と、オブジェクト情報テーブル141(図4参照)の「メタデータ」に含まれるオブジェクトの位置情報に基づいて抽出される。
端末装置20A、20Bの表示部23A、23Bにおいて、スクロール操作等により表示領域が変更されたり、オブジェクトの追加/削除が行われたりすると、「作業領域」及び「表示オブジェクト」の各情報が更新される。
図9、図10は、制御部11が実行する会議支援処理の一例を示すフローチャートである。この処理は、例えば会議支援装置1の電源が投入されることに伴い、CPU111がROM112に格納されている会議支援プログラムを実行することにより実現される。
ステップS101において、制御部11は、会議支援装置10の操作表示部17又は端末装置20の操作表示部27にユーザーの指が接近したか否かを判定する(ユーザー操作解析部11Aとしての処理)。操作表示部17又は操作表示部27にユーザーの指が接近している場合(ステップS101で“YES”)、ステップS102の処理に移行する。操作表示部17又は操作表示部27のいずれにもユーザーの指が接近していない場合、ステップS109の処理に移行する。操作表示部17又は操作表示部27にユーザーの指が接近する場合、当該端末装置においてユーザーが何らかの操作を実行しようとしていると予測できる。
制御部11は、例えば接近動作検出部16、26で取得される接近動作情報に含まれる指のz座標に基づいて、操作表示部17、27から指までの距離が所定値(例えば3cm)以下となった場合に、指が接近したと判定する。
ステップS102において、制御部11は、予測されるユーザー操作が操作対象オブジェクトを選択するタッチ操作であるか否かを判定する(ユーザー操作解析部11Aとしての処理)。予測されるユーザー操作がタッチ操作である場合(ステップS102で“YES”)、ステップS103の処理に移行する。予測されるユーザー操作がタッチ操作でない場合(ステップS102で“NO”)、図10のステップS201の処理に移行する。
制御部11は、例えば接近動作情報に含まれる指のxy座標とすべてのオブジェクトの位置情報及びサイズ(オブジェクト情報テーブル(図4参照)の「メタデータ」に含まれる)を比較し、指のxy座標がいずれかのオブジェクトの領域内にある場合に、予測されるユーザー操作がタッチ操作であると判定する。
ステップS103において、制御部11は、タッチ操作により選択されうる操作対象オブジェクトを予測する(オブジェクト予測部11Fとしての処理)。ステップS102の処理において、オブジェクト領域内に指のxy座標を含むオブジェクトが操作対象オブジェクトとなる。
ステップS104において、制御部11は、予測された操作対象オブジェクト(予測オブジェクト)が、他の端末装置(指の接近が検出された端末装置以外の端末装置)において操作可能であるか否か、すなわち競合リスクがあるか否かを判定する(オブジェクト操作抑制部11Gとしての処理)。競合リスクがある場合(ステップS104で“YES”)、ステップS105の処理に移行する。競合リスクがない場合(ステップS104で“NO”)、ステップS106の処理に移行する。
制御部11は、例えば個別作業領域テーブル144の「表示オブジェクト」(図7参照)を参照して、他の端末装置の表示オブジェクト情報に予測オブジェクトが含まれる場合に、競合リスクがあると判定する。例えば、端末装置20Bの個別作業領域R3において、図11Cに示すようにオブジェクトFのタッチ操作が行われようとしている場合、会議支援装置10の個別作業領域R1及び端末装置20Aの個別作業領域R2にも予測オブジェクトFが含まれている(図11A、図11B参照)ので、競合リスクがあると判定される。
ステップS105において、制御部11は、競合リスクがある端末装置、すなわち予測オブジェクトを含んでいる特定の端末装置(図11では会議支援装置10及び端末装置20A)における当該予測オブジェクト(図11ではオブジェクトF)の操作を抑制する(オブジェクト操作抑制部11Gとしての処理)。以下において、予測オブジェクトの操作を抑制する処理が行われた状態を「操作制限状態」と称する。
制御部11は、例えば、競合リスクがある端末装置に対して、当該端末装置の個別作業領域に予測オブジェクトが含まれていることを示す通知を行う。予測オブジェクトが含まれていることを示す通知とは、例えばオブジェクトの表示態様(背景色や枠色等)の変更や、アラートの表示(メッセージ、オブジェクトの点滅等)である。これにより、予測オブジェクトをユーザーが操作しないように注意喚起することができる。図11では、予測オブジェクトFの背景色を変更し、操作対象外のオブジェクトと表示態様を異ならせることにより、ユーザーの注意を喚起している。
また例えば、制御部11は、競合リスクがある端末装置における予測オブジェクトのオブジェクト操作を制限する。この場合、予測オブジェクトの座標を変更する操作(例えばオブジェクトの移動、拡大/縮小、回転、削除、編集のやり直し(Undo)、編集の繰り返し(Redo))は禁止とし、予測オブジェクトの内容を編集する操作(例えば背景色の変更、記入内容の変更)は許可するのが好ましい。
また、操作対象オブジェクトの予測精度が向上するに伴い、個別作業領域に予測オブジェクトが含まれていることを示す通知に代えて、又はこの通知に加えて、予測オブジェクトのオブジェクト操作を制限するようにしてもよい。
ステップS106において、制御部11は、所定時間内に実際にタッチ操作が行われたか否かを判定する。所定時間内にタッチ操作が検出された場合(ステップS106で“YES”)、ステップS107の処理に移行する。所定時間内にタッチ操作が検出されない場合(ステップS106で“NO”)、ステップS108の処理に移行する。
ステップS107において、制御部11は、タッチ操作により選択されたオブジェクトを、選択状態で表示する。選択されたオブジェクトが、その後に行われるオブジェクト操作の対象となる。選択された操作対象オブジェクトについては、他の端末装置でオブジェクト操作が行われないようになる。なお、オブジェクトの選択状態は、選択解除操作(例えばオブジェクトのない領域をタッチする操作)又は所定時間の経過に伴い解除される。また、タッチ操作に続けてオブジェクト操作(例えばオブジェクトの移動、拡大/縮小)が行われる場合もある。
ステップS108において、制御部11は、予測オブジェクトの操作制限状態を解除する。すなわち、予測オブジェクトが実際に操作対象オブジェクトとして選択されない場合は、当該予測オブジェクトを他の端末装置でも自由に操作できるようにするために、操作制限状態は速やかに解除される。
ステップS102において予測されるユーザー操作がタッチ操作でないと判定された場合、図10のステップS201において、制御部11は、所定時間内にオブジェクト以外の領域がタッチされたか否かを判定する(ユーザー操作解析部11Aとしての処理)。所定時間内にオブジェクト以外の領域がタッチされた場合(ステップS201で“YES”)、ステップS202の処理に移行する。所定時間内にオブジェクト以外の領域がタッチされない場合(ステップS201で“NO”)、すなわち操作表示部17、27に指が接近しただけで実際には触れなかった場合、図9のステップS109の処理に移行する。
ステップS202において、制御部11は、予測されるユーザー操作が操作対象オブジェクトを選択する囲み操作であるか否かを判定する(ユーザー操作解析部11Aとしての処理)。予測されるユーザー操作が囲み操作である場合(ステップS202で“YES”)、ステップS203の処理に移行する。予測されるユーザー操作が囲み操作でない場合(ステップS202で“NO”)、すなわちオブジェクト以外の領域を単にタッチする操作であった場合、図9のステップS109の処理に移行する。制御部11は、例えばオブジェクト以外の領域に対するタッチ状態が継続される場合に、予測されるユーザー操作が囲み操作であると判定する。
ステップS203において、制御部11は、囲み操作により選択されうる操作対象オブジェクトを予測する(オブジェクト予測部11Fとしての処理)。制御部11は、例えば操作表示部17又は23(操作部22)における指のスライド動作に基づいて、操作対象オブジェクトを予測する。指のスライド動作とは、例えば囲み操作の始点(最初にタッチされた点)、加速度、始点から終点(現在タッチされている点)までの軌跡(自由曲線)、軌跡の曲率を含む。
例えば、端末装置20Bの個別作業領域R3において、図12Cに示すように、作業領域内に存在するオブジェクトのうち、雁行型に並んだ複数のオブジェクトC、D、F、Gとその横に位置するオブジェクトHに対して、前者のオブジェクト群の一側方から開始して、後者のオブジェクトとの間を通り、前者のオブジェクト群の下方を通るように囲み操作が行われている場合、囲みの軌跡と始点及び終点を結んだ線とで囲まれる領域から外れることが確定的なオブジェクト(ここでは、オブジェクトH)を除いたオブジェクト(ここでは、オブジェクトC、D、F、G)が操作対象オブジェクトとして予測される。なお、囲み操作は、所定の図形(例えば矩形又は円形の枠)を生成して、内部にオブジェクトが含まれるように図形を移動したり、拡大/縮小させたりすることにより行われるようにしてもよい。
ステップS204、S205の処理は、図9のステップS104、S105の処理と同様である。すなわち、ステップS204において、制御部11は、予測された操作対象オブジェクト(予測オブジェクト)が、他の端末装置において操作可能であるか否か、すなわち競合リスクがあるか否かを判定する(オブジェクト操作抑制部11Gとしての処理)。競合リスクがある場合(ステップS204で“YES”)、ステップS205の処理に移行する。競合リスクがない場合(ステップS204で“NO”)、ステップS206の処理に移行する。
制御部11は、例えば個別作業領域テーブル144の表示オブジェクト情報(図7参照)を参照して、他の端末装置の表示オブジェクト情報に予測オブジェクトが含まれる場合に、競合リスクがあると判定する。例えば、端末装置20Bの個別作業領域R3において、図12Cに示すように囲み操作が行われている場合、会議支援装置10の個別作業領域R1には予測オブジェクトC、D、F、Gが含まれており(図12A参照)、端末装置20Aの個別作業領域R2には予測オブジェクトFが含まれている(図12B参照)ので、競合リスクがあると判定される。
ステップS205において、制御部11は、競合リスクがある端末装置、すなわち予測オブジェクトを含んでいる特定の端末装置(図12では会議支援装置10及び端末装置20A)における当該予測オブジェクトの操作を抑制する(オブジェクト操作抑制部11Gとしての処理)。図12では、予測オブジェクトC、D、F、Gの背景色を変更し、操作対象外のオブジェクトと表示態様を異ならせることにより、ユーザーの注意を喚起している。
ステップS206において、制御部11は、囲み操作が完了したか否かを判定する(ユーザー操作解析部11Aとしての処理)。囲み操作が完了した場合(ステップS206で“YES”)、ステップS207の処理に移行する。囲み操作が完了していない場合(ステップS206で“NO”)、ステップS201の処理に移行して、囲み操作とその予測を継続する。制御部11は、例えば図13に示すように、囲み操作の終点が始点に戻り、囲み操作で閉領域が指定された場合に、囲み操作が完了したと判定する。
ステップS207において、制御部11は、囲み操作によって囲まれた指定領域にあるオブジェクトを選択状態で表示する(図14参照)。選択されたオブジェクトが、その後に行われるオブジェクト操作の対象となる。なお、オブジェクトの選択状態は、選択解除操作(例えばオブジェクトのない領域をタッチする操作)又は所定時間の経過に伴い解除される。
囲み操作が完了する前に、指が操作表示部17又は操作表示部27から離れた場合は、ステップS201で“NO”となり、図9のステップS109の処理に移行する。この場合、予測オブジェクトの操作制限状態は解除される。なお、指が操作表示部17又は操作表示部27から離れたときの移動軌跡と終点と始点を結ぶ線とで囲まれる領域を囲み操作による指定領域とみなし、そのときの予測オブジェクト(図12ではオブジェクトC、D、F、G)を選択状態で表示するようにしてもよい。
囲み操作が完了していない場合は、ステップS201〜S206の処理が繰り返され、囲み操作が進行するごとに、予測オブジェクトも更新される。例えば、端末装置20Bの個別作業領域R3における囲み操作が、図12Cに示す状態から図15Cに示すように進行した場合、オブジェクトCは予測オブジェクトから除外される。予測精度が向上するに伴い予測オブジェクトを更新することにより、オブジェクト操作が必要以上に制限されるのを防止できるので、利便性が向上する。
オブジェクト操作抑制部11Gは既存のオブジェクトの操作を抑制するものであり、新規オブジェクトの作成については何ら関与しない。そのため、囲み操作が進行しているときに、囲み操作で囲まれうる指定領域内に新規オブジェクトが作成されることが想定される。この場合は、追加された新規オブジェクトを予測オブジェクトに含めるようにしてもよいし、含めないようにしてもよい。
図9のステップS109において、制御部11は、会議が終了したか否かを判定する。会議が終了した場合(ステップS109で“YES”)、会議支援処理は終了する。会議が終了していない場合(ステップS109で“NO”)、ステップS101の処理に移行する。
このように、会議支援装置10は、複数の端末装置のそれぞれの表示領域となる個別作業領域R1、R2、R3を管理する個別作業領域管理部(個別作業領域記録部11E、個別作業領域テーブル144)と、操作部12、22を通じて行われる操作を解析するユーザー操作解析部11Aと、それぞれの個別作業領域R1、R2、R3におけるオブジェクト操作を反映した画面をそれぞれの表示部12、22に表示させる画面表示制御部11Hと、ユーザー操作解析部11Aの解析結果に基づいて、オブジェクト操作の対象となる操作対象オブジェクトを予測するオブジェクト予測部11Fと、複数の端末装置のうち、オブジェクト予測部11Fにより予測された予測オブジェクトを個別作業領域R1、R2、R3に含んでいる特定の端末装置における当該予測オブジェクトの操作を抑制するオブジェクト操作抑制部11Gと、を備える。
会議支援装置10によれば、1の端末装置で行われるオブジェクト操作の対象となる操作対象オブジェクトが予測され、予測結果(予測オブジェクト)が他の端末装置にフィードバックされるので、競合操作の発生を効果的に回避することができる。したがって、会議の効率が格段に向上する。
以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、本発明は、操作対象オブジェクトが、タッチ操作や囲み操作以外のオブジェクト選択操作(例えばキーボードからのオブジェクトIDの入力等)によって選択される場合に適用することもできる。この場合、入力され確定される前のオブジェクトIDに基づいてオブジェクト選択の予測を行うようにしてもよい。
実施の形態では、会議支援装置10の制御部11が会議支援プログラムを実行することにより、上述した会議支援処理を実現しているが、ハードウェア回路を用いて実現することもできる。会議支援プログラムは、磁気ディスク、光学ディスク、フラッシュメモリーなどのコンピューターで読取可能な記憶媒体に格納して会議支援装置となり得る機器(例えばパーソナルコンピューター)に提供することができる。または、会議支援プログラムは、インターネットなどの通信回線を介して、ダウンロードにより提供することもできる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 会議支援システム
10 会議支援装置(電子ホワイトボード)
11 制御部
11A ユーザー操作解析部
11B 画面情報記録部
11C 分岐情報記録部
11D タイムライン作成部
11E 個別作業領域記録部(個別作業領域管理部)
11F オブジェクト予測部
11G オブジェクト操作抑制部
11H 表示制御部
12 操作部
13 表示部
14 記憶部
141 オブジェクト情報テーブル
142 画面遷移情報テーブル
143 タイムライン記憶部
144 個別作業領域テーブル
15 通信部
16 接近動作検出部
17 操作表示部
20、20A、20B 端末装置

Claims (18)

  1. オブジェクトを表示する表示部と前記オブジェクトを操作する操作部とを有し共同作業領域上で作業を行う複数の端末装置が情報通信可能に接続されてなる会議支援システムに用いられる会議支援装置であって、
    前記複数の端末装置のそれぞれの表示領域となる個別作業領域を管理する個別作業領域管理部と、
    前記操作部を通じて行われる操作を解析するユーザー操作解析部と、
    それぞれの前記個別作業領域におけるオブジェクト操作を反映した画面をそれぞれの前記表示部に表示させる画面表示制御部と、
    前記ユーザー操作解析部の解析結果に基づいて、前記オブジェクト操作の対象となる操作対象オブジェクトを予測するオブジェクト予測部と、
    前記複数の端末装置のうち、前記オブジェクト予測部により予測された予測オブジェクトを前記個別作業領域に含んでいる特定の端末装置における当該予測オブジェクトの操作を抑制するオブジェクト操作抑制部と、を備えることを特徴とする会議支援装置。
  2. 前記操作部は、タッチ操作及び囲み操作を受付可能であり、
    前記オブジェクト予測部は、前記タッチ操作又は前記囲み操作によって選択されうるオブジェクトを前記操作対象オブジェクトとして予測することを特徴とする請求項1に記載の会議支援装置。
  3. 前記表示部及び前記操作部は、タッチパネル付きのフラットパネルディスプレイで構成され、
    前記ユーザー操作解析部は、前記フラットパネルディスプレイに対する接触体の接近動作に基づいて、タッチ操作が行われるか否かを判定し、
    前記オブジェクト予測部は、前記ユーザー操作解析部の解析結果に基づいて、前記タッチ操作により選択されうる前記操作対象オブジェクトを予測することを特徴とする請求項2に記載の会議支援装置。
  4. 前記表示部及び前記操作部は、タッチパネル付きのフラットパネルディスプレイで構成され、
    前記ユーザー操作解析部は、前記フラットパネルディスプレイにおける接触体のスライド動作に基づいて、囲み操作が行われるか否かを判定し、
    前記オブジェクト予測部は、前記ユーザー操作解析部の解析結果に基づいて、前記囲み操作により選択されうる前記操作対象オブジェクトを予測することを特徴とする請求項2又は3に記載の会議支援装置。
  5. 前記オブジェクト操作抑制部は、前記特定の端末装置に対して、当該特定の端末装置の前記個別作業領域に前記予測オブジェクトが含まれていることを示す通知を行うことを特徴とする請求項1から4のいずれか一項に記載の会議支援装置。
  6. 前記オブジェクト操作抑制部は、前記特定の端末装置における前記予測オブジェクトの操作を制限することを特徴とする請求項1から5のいずれか一項に記載の会議支援装置。
  7. 前記オブジェクト操作抑制部は、前記予測オブジェクトの座標を変更する操作を制限することを特徴とする請求項6に記載の会議支援装置。
  8. 前記オブジェクト操作抑制部は、前記予測オブジェクトの内容を編集する操作を許可することを特徴とする請求項6又は7に記載の会議支援装置。
  9. 請求項1から8のいずれか一項に記載の会議支援装置と、
    前記表示部又は前記操作部としての機能を有し、前記会議支援装置に情報通信可能に接続される端末装置と、を備えることを特徴とする会議支援システム。
  10. オブジェクトを表示する表示部と前記オブジェクトを操作する操作部とを有し共同作業領域上で作業を行う複数の端末装置が情報通信可能に接続されてなる会議支援システムに用いられる会議支援装置のコンピューターに、
    前記複数の端末装置のそれぞれの表示領域となる個別作業領域を管理し、
    前記操作部を通じて行われる操作を解析し、
    それぞれの前記個別作業領域におけるオブジェクト操作を反映した画面をそれぞれの前記表示部に表示させ、
    解析結果に基づいて、前記オブジェクト操作の対象となる操作対象オブジェクトを予測し、
    前記複数の端末装置のうち、予測された予測オブジェクトを前記個別作業領域に含んでいる特定の端末装置における当該予測オブジェクトの操作を抑制する処理を実行させることを特徴とする会議支援プログラム。
  11. 前記操作部は、タッチ操作及び囲み操作を受付可能であり、
    前記タッチ操作又は前記囲み操作によって選択されうるオブジェクトを前記操作対象オブジェクトとして予測する処理を前記コンピューターに実行させることを特徴とする請求項10に記載の会議支援プログラム。
  12. 前記表示部及び前記操作部は、タッチパネル付きのフラットパネルディスプレイで構成され、
    前記フラットパネルディスプレイに対する接触体の接近動作に基づいて、タッチ操作が行われるか否かを判定し、
    前記判定の結果に基づいて、前記タッチ操作により選択されうる前記操作対象オブジェクトを予測する処理を前記コンピューターに実行させることを特徴とする請求項11に記載の会議支援プログラム。
  13. 前記表示部及び前記操作部は、タッチパネル付きのフラットパネルディスプレイで構成され、
    前記フラットパネルディスプレイにおける接触体のスライド動作に基づいて、囲み操作が行われるか否かを判定し、
    前記判定の結果に基づいて、前記囲み操作により選択されうる前記操作対象オブジェクトを予測する処理を前記コンピューターに実行させることを特徴とする請求項11又は12に記載の会議支援プログラム。
  14. 前記特定の端末装置に対して、当該特定の端末装置の前記個別作業領域に前記予測オブジェクトが含まれていることを示す通知を行う処理を前記コンピューターに実行させることを特徴とする請求項10から13のいずれか一項に記載の会議支援プログラム。
  15. 前記特定の端末装置における前記予測オブジェクトの操作を制限する処理を前記コンピューターに実行させることを特徴とする請求項10から14のいずれか一項に記載の会議支援プログラム。
  16. 前記予測オブジェクトの座標を変更する操作を制限する処理を前記コンピューターに実行させることを特徴とする請求項15に記載の会議支援プログラム。
  17. 前記予測オブジェクトの内容を編集する操作を許可する処理を前記コンピューターに実行させることを特徴とする請求項15又は16に記載の会議支援プログラム。
  18. オブジェクトを表示する表示部と前記オブジェクトを操作する操作部とを有し共同作業領域上で作業を行う複数の端末装置が情報通信可能に接続されてなる会議支援システムにおける会議支援方法であって、
    前記複数の端末装置のそれぞれの表示領域となる個別作業領域を管理し、
    前記操作部を通じて行われる操作を解析し、
    それぞれの前記個別作業領域におけるオブジェクト操作を反映した画面をそれぞれの前記表示部に表示させ、
    解析結果に基づいて、前記オブジェクト操作の対象となる操作対象オブジェクトを予測し、
    前記複数の端末装置のうち、予測された予測オブジェクトを前記個別作業領域に含んでいる特定の端末装置における当該予測オブジェクトの操作を抑制することを特徴とする会議支援方法。
JP2015049734A 2015-03-12 2015-03-12 会議支援装置、会議支援システム、会議支援プログラム、及び会議支援方法 Pending JP2016170613A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015049734A JP2016170613A (ja) 2015-03-12 2015-03-12 会議支援装置、会議支援システム、会議支援プログラム、及び会議支援方法
US15/065,596 US20160266734A1 (en) 2015-03-12 2016-03-09 Conference support apparatus, conference support system, and computer-readable recording medium storing conference support program
EP16160029.1A EP3068073A1 (en) 2015-03-12 2016-03-11 Conference support apparatus, conference support system, conference support program, and conference support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015049734A JP2016170613A (ja) 2015-03-12 2015-03-12 会議支援装置、会議支援システム、会議支援プログラム、及び会議支援方法

Publications (1)

Publication Number Publication Date
JP2016170613A true JP2016170613A (ja) 2016-09-23

Family

ID=55527876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015049734A Pending JP2016170613A (ja) 2015-03-12 2015-03-12 会議支援装置、会議支援システム、会議支援プログラム、及び会議支援方法

Country Status (3)

Country Link
US (1) US20160266734A1 (ja)
EP (1) EP3068073A1 (ja)
JP (1) JP2016170613A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020250288A1 (ja) * 2019-06-10 2020-12-17
JP2021022041A (ja) * 2019-07-25 2021-02-18 株式会社リコー 通信端末、通信システム、表示制御方法およびプログラム
JP2021056652A (ja) * 2019-09-27 2021-04-08 富士フイルム株式会社 投影装置、投影方法及びプログラム
WO2021157379A1 (ja) * 2020-02-07 2021-08-12 ソニーグループ株式会社 情報処理装置、情報処理方法、並びにプログラム
US12120158B2 (en) 2019-03-13 2024-10-15 Ricoh Company, Ltd. Communication management system, communication system, communication management device, image processing method, and non-transitory computer-readable medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3907590A3 (en) * 2014-06-24 2022-02-09 Sony Group Corporation Information processing device, information processing method, and computer program
US10642478B2 (en) * 2017-04-10 2020-05-05 Microsoft Technology Licensing Llc Editable whiteboard timeline

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163760A (ja) * 2004-12-07 2006-06-22 Canon Inc 描画システム
JP2010267214A (ja) * 2009-05-18 2010-11-25 Konica Minolta Holdings Inc 情報処理装置、方法およびプログラム
JP2011257923A (ja) * 2010-06-08 2011-12-22 Sony Corp 表示制御装置、表示制御方法、表示制御プログラム並びにこの表示制御プログラムが記録された記録媒体
JP2014071461A (ja) * 2012-09-27 2014-04-21 Ntt Docomo Inc ユーザインタフェース装置、ユーザインタフェース方法及びプログラム
JP2014115711A (ja) * 2012-12-06 2014-06-26 Konica Minolta Inc オブジェクト操作装置及びオブジェクト操作制御プログラム
US20140219580A1 (en) * 2013-02-01 2014-08-07 Cyberlink Corp. Systems and Methods for Performing Object Selection

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003339033A (ja) 2002-05-17 2003-11-28 Pioneer Electronic Corp ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム
US9722807B2 (en) * 2008-01-18 2017-08-01 Shutterfly, Inc. Systems and methods for webpage creation and updating
JP5235144B2 (ja) 2009-01-27 2013-07-10 株式会社日本総合研究所 会議支援装置、会議支援方法及びコンピュータプログラム
JP5962085B2 (ja) * 2012-03-15 2016-08-03 ソニー株式会社 表示制御装置、その制御方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163760A (ja) * 2004-12-07 2006-06-22 Canon Inc 描画システム
JP2010267214A (ja) * 2009-05-18 2010-11-25 Konica Minolta Holdings Inc 情報処理装置、方法およびプログラム
JP2011257923A (ja) * 2010-06-08 2011-12-22 Sony Corp 表示制御装置、表示制御方法、表示制御プログラム並びにこの表示制御プログラムが記録された記録媒体
JP2014071461A (ja) * 2012-09-27 2014-04-21 Ntt Docomo Inc ユーザインタフェース装置、ユーザインタフェース方法及びプログラム
JP2014115711A (ja) * 2012-12-06 2014-06-26 Konica Minolta Inc オブジェクト操作装置及びオブジェクト操作制御プログラム
US20140219580A1 (en) * 2013-02-01 2014-08-07 Cyberlink Corp. Systems and Methods for Performing Object Selection

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12120158B2 (en) 2019-03-13 2024-10-15 Ricoh Company, Ltd. Communication management system, communication system, communication management device, image processing method, and non-transitory computer-readable medium
JPWO2020250288A1 (ja) * 2019-06-10 2020-12-17
JP7314997B2 (ja) 2019-06-10 2023-07-26 日本電信電話株式会社 タイムライン表示装置、タイムライン表示方法およびタイムライン表示プログラム
JP2021022041A (ja) * 2019-07-25 2021-02-18 株式会社リコー 通信端末、通信システム、表示制御方法およびプログラム
JP2021056652A (ja) * 2019-09-27 2021-04-08 富士フイルム株式会社 投影装置、投影方法及びプログラム
JP7149915B2 (ja) 2019-09-27 2022-10-07 富士フイルム株式会社 投影装置、投影方法及びプログラム
WO2021157379A1 (ja) * 2020-02-07 2021-08-12 ソニーグループ株式会社 情報処理装置、情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
US20160266734A1 (en) 2016-09-15
EP3068073A1 (en) 2016-09-14

Similar Documents

Publication Publication Date Title
US11169705B2 (en) Configuration of application execution spaces and sub-spaces for sharing data on a mobile touch screen device
JP2016170613A (ja) 会議支援装置、会議支援システム、会議支援プログラム、及び会議支援方法
CN104133581B (zh) 物理对象检测和触摸屏交互
CN105302784B (zh) 复制/剪切和粘贴数据的方法和系统
CN112181225A (zh) 桌面元素调整方法、装置和电子设备
US20130174069A1 (en) Method and apparatus for managing icon in portable terminal
US11604580B2 (en) Configuration of application execution spaces and sub-spaces for sharing data on a mobile touch screen device
US9098236B2 (en) Electronic device, screen control method, and storage medium storing screen control program
CN104246678A (zh) 用于对文档中的内容对象进行共享的设备、方法和图形用户界面
JP5930363B2 (ja) 携帯情報機器およびコンテンツ表示方法
JP2009277177A (ja) 画像レイアウト装置、記録媒体および画像レイアウト方法
CN104756060A (zh) 基于手势的光标控制
US20140189594A1 (en) Electronic device and display method
JP2011128962A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6145550B2 (ja) オブジェクト処理方法、プログラムを記録する記録媒体及び情報処理装置
KR20150021722A (ko) 스크롤 실행의 화면 표시 방법, 장치 및 기록매체
KR20170132776A (ko) 텍스트 선택 제어들에 대한 개선
JP6350260B2 (ja) 会議支援装置、会議支援システム、会議支援方法、及び会議支援プログラム
JP2014238700A (ja) 情報処理装置、表示制御方法、及びコンピュータプログラム
JP2019139332A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2014071755A (ja) 編集装置、編集装置の制御方法
JP2015225126A (ja) 情報処理装置、方法、及びプログラム
JP6179353B2 (ja) ファイル管理装置及びプログラム
JP2016115191A (ja) 会議支援装置、会議支援システム、会議支援方法、及び会議支援プログラム
JP2017027190A (ja) オブジェクト操作制御プログラム及びオブジェクト操作制御方法並びにオブジェクト操作システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190521

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190708