JP6192899B2

JP6192899B2 - COMMUNICATION SYSTEM, COMMUNICATION TERMINAL, AND COMMUNICATION METHOD

Info

Publication number: JP6192899B2
Application number: JP2012118859A
Authority: JP
Inventors: 横山　隆; 隆横山
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2012-05-24
Filing date: 2012-05-24
Publication date: 2017-09-06
Anticipated expiration: 2032-05-24
Also published as: JP2013247463A

Description

本発明は、通信システム、通信端末、及び通信方法に関する。 The present invention relates to a communication system, a communication terminal, and a communication method.

従来の電話網や携帯電話網による通信を用いたコミュニケーション手段では、主に音声情報を送受信することにより意思疎通を図っていた。また近年の携帯電話においては、カメラを備えることで、テレビ電話を行い、音声情報だけでなく映像情報も送受信することでコミュニケーションの多様化を図るものがあった（例えば特許文献１）。なおテレビ電話とは、電話機、カメラ、受像機が一体となった装置で、通常の電話における音声だけでなく、受像機によりテレビと同じように相手の画像（以下、相手画像という。）を映し出し、相手の顔を見ながら通話するシステムをいう。基本原理は、映像系についてはテレビジョンと同じ原理であり、カメラにより自分を映し、画信号に分解して伝送する。画信号は受像機で受信され、ディスプレー上に相手を映し出す。音声系については、通常の電話と同じ原理である。伝送コストを下げるために、デジタル技術によって映像信号と音声信号の帯域を大幅に圧縮する方式が使われる。その結果、通常の電話１回線相当（６４キロビット／秒）の帯域があればほぼ実用的な通信品質が得られる。インターネットや携帯電話によるテレビ電話も、６４キロビット／秒で伝送されているものが多い。 In the communication means using the communication by the conventional telephone network and the mobile phone network, communication is mainly achieved by transmitting and receiving voice information. In recent cellular phones, a camera is provided to make a videophone call and to transmit and receive not only audio information but also video information, thereby diversifying communication (for example, Patent Document 1). Note that a videophone is a device in which a telephone, a camera, and a receiver are integrated. In addition to the voice in a normal telephone, the other party's image (hereinafter referred to as the other party's image) is projected by the receiver in the same manner as a television. , A system for making a call while looking at the other person's face. The basic principle of the video system is the same as that of television. The camera itself is imaged by a camera, and is decomposed into image signals and transmitted. The image signal is received by the receiver, and the other party is displayed on the display. The voice system is the same principle as a normal telephone. In order to reduce the transmission cost, a method of greatly compressing the band of the video signal and the audio signal by digital technology is used. As a result, if there is a bandwidth equivalent to one ordinary telephone line (64 kilobits / second), almost practical communication quality can be obtained. Many videophones using the Internet or mobile phones are transmitted at 64 kilobits / second.

特開２００９−２９０９０２号公報JP 2009-290902 A

しかしながら、従来のコミュニケーション手段では、コミュニケーションに用いられる情報が音声情報及び映像情報の２種類の情報に限られており、コミュニケーションの円滑化が十分に図られているとはいえなかった。 However, in the conventional communication means, information used for communication is limited to two types of information, that is, audio information and video information, and it cannot be said that smooth communication is sufficiently achieved.

従って、上記のような問題点に鑑みてなされた本発明の目的は、音声情報や映像情報以外の情報により、コミュニケーションをより一層円滑化することができる通信システム、通信端末、及び通信方法を提供することにある。 Accordingly, an object of the present invention made in view of the above problems is to provide a communication system, a communication terminal, and a communication method capable of further facilitating communication with information other than audio information and video information. There is to do.

上記課題を解決するために本発明に係る通信システムは、
テレビ電話により通信可能な２つの通信端末を備える通信システムであって、
前記２つの通信端末のうち一方の端末は、接触に関するデータを送信する送信モードにして、相手画像のうち、顔画像に対応する位置又は顔以外の部位（頭、首、肩等）の画像に対応する位置における接触を検知した場合、当該接触に関するデータを送信し、
前記２つの通信端末のうち他方の端末は、接触に関するデータを受信する受信モードにして、前記相手画像を表示すると共に、受信した前記接触に関するデータに基づく出力制御をすることを特徴とする。 In order to solve the above problems, a communication system according to the present invention provides:
A communication system comprising two communication terminals capable of communicating by video phone,
One terminal of the two communication terminals is set to a transmission mode for transmitting data related to contact, and the image corresponding to the face image or the part other than the face (head, neck, shoulder, etc.) in the partner image is displayed. When contact is detected at the corresponding position, data related to the contact is transmitted,
The other terminal of the two communication terminals is set to a reception mode for receiving data related to contact, displays the partner image, and performs output control based on the received data related to the contact.

また、本発明に係る通信システムは、
前記出力制御が、前記接触に関するデータに基づく前記接触に対応する軌跡の表示制御であることを特徴とする。 Moreover, the communication system according to the present invention includes:
The output control is a display control of a locus corresponding to the contact based on the data related to the contact.

また、本発明に係る通信システムは、
前記出力制御は、前記接触に関するデータに基づく触感呈示制御であることを特徴とする。 Moreover, the communication system according to the present invention includes:
The output control is tactile sensation presentation control based on data related to the contact.

また、本発明に係る通信端末は、
他通信端末とテレビ電話による通信をする通信部と、
相手画像を表示する表示部と、
接触を検出する触感センサと、
接触に関するデータを送信する送信モードにして、前記触感センサが前記相手画像のうち、顔画像に対応する位置又は顔以外の部位（頭、首、肩等）の画像に対応する位置における接触を検知した場合、当該接触に関するデータを前記通信部により前記他通信端末に送信する制御部と、
を有することを特徴とする。 The communication terminal according to the present invention is
A communication unit that communicates with other communication terminals via videophone,
A display unit for displaying the partner image;
A tactile sensor for detecting contact;
The touch sensor detects the contact at the position corresponding to the face image or the position corresponding to the image of the part other than the face (head, neck, shoulder, etc.) in the counterpart image in the transmission mode for transmitting data related to the contact. A control unit that transmits data related to the contact to the other communication terminal by the communication unit;
It is characterized by having.

また、本発明に係る通信端末は、
表示部と、
他通信端末とテレビ電話による通信をする通信部と、
接触に関するデータを受信する受信モードにして、
前記通信部により他通信端末から接触に関するデータを送信する送信モードによって送られた、相手画像のうち、顔画像に対応する位置又は顔以外の部位（頭、首、肩等）の画像に対応する位置における接触に係るデータを受信すると、前記表示部に前記相手画像を表示すると共に、受信した前記接触に関するデータに基づき出力制御をする制御部と、
を有することを特徴とする。 The communication terminal according to the present invention is
A display unit;
A communication unit that communicates with other communication terminals via videophone,
Set the reception mode to receive data related to contact,
Corresponds to the position corresponding to the face image or the image of the part other than the face (head, neck, shoulder, etc.) among the partner images sent in the transmission mode in which the communication unit transmits the data related to the contact from the other communication terminal. When receiving data relating to contact at a position, the control unit displays the partner image on the display unit and performs output control based on the received data on the contact;
It is characterized by having.

また、本発明に係る通信方法は、
テレビ電話により通信可能な２つの通信端末を備える通信方法であって、
前記２つの通信端末のうち一方の端末が、接触に関するデータを送信する送信モードにして、相手画像のうち、顔画像に対応する位置又は顔以外の部位（頭、首、肩等）の画像に対応する位置における接触を検知した場合、当該接触に係るデータを通信するステップと、
前記２つの通信端末のうち他方の端末が、接触に関するデータを受信する受信モードにして、前記相手画像を表示すると共に、受信した前記接触に関するデータに基づく出力制御をするステップと、
を含むことを特徴とする。 Further, the communication method according to the present invention includes:
A communication method comprising two communication terminals capable of communicating via a video phone,
One of the two communication terminals is set to a transmission mode in which data related to contact is transmitted, and a position corresponding to the face image or an image of a part other than the face (head, neck, shoulder, etc.) in the partner image. When detecting contact at a corresponding position, communicating data related to the contact;
The other terminal of the two communication terminals is in a reception mode for receiving data related to contact, displays the partner image, and performs output control based on the received data related to the contact;
It is characterized by including.

また、本発明に係る通信方法は、
通信端末が、他通信端末とテレビ電話による通信をするステップと、
前記通信端末が、相手画像を表示する表示ステップと、
前記通信端末が、前記相手画像のうち、顔画像に対応する位置又は顔以外の部位（頭、首、肩等）の画像に対応する位置における接触を検出するステップと、
前記通信端末が、接触に関するデータを送信する送信モードにして、前記相手画像のうち、顔画像に対応する位置又は顔以外の部位（頭、首、肩等）の画像に対応する位置における接触を検知した場合、当該接触に関するデータを他通信端末に送信するステップと、
を含むことを特徴とする。 Further, the communication method according to the present invention includes:
A communication terminal communicating with another communication terminal via a videophone;
A display step in which the communication terminal displays a partner image;
The communication terminal detecting contact at a position corresponding to an image of a position corresponding to a face image or a part other than the face (head, neck, shoulder, etc.) of the counterpart image;
The communication terminal is in a transmission mode for transmitting data related to contact, and in the partner image, contact at a position corresponding to a face image or a position corresponding to an image of a part other than the face (head, neck, shoulder, etc.) If detected, transmitting data related to the contact to another communication terminal;
It is characterized by including.

また、本発明に係る通信方法は、
通信端末が、他通信端末とテレビ電話による通信をする通信ステップと、
接触に関するデータを受信する受信モードにして、
前記通信端末が、他通信端末から接触に関するデータを送信する送信モードによって送られた、相手画像のうち、顔画像に対応する位置又は顔以外の部位（頭、首、肩等）の画像に対応する位置における接触に関するデータを受信すると、前記相手画像を表示すると共に、受信した前記接触に関するデータに基づき出力制御をする制御ステップと、を含むことを特徴とする。 Further, the communication method according to the present invention includes:
A communication step in which a communication terminal communicates with another communication terminal by a videophone;
Set the reception mode to receive data related to contact,
Corresponding to the image corresponding to the face image or the part other than the face (head, neck, shoulder, etc.) among the partner images sent by the communication terminal in the transmission mode for transmitting the contact data from the other communication terminal A control step of displaying the partner image when receiving data related to contact at a position to be performed, and performing output control based on the received data related to the contact.

本発明における通信システム、通信端末、及び通信方法によれば、音声情報や映像情報以外の情報により、コミュニケーションをより一層円滑化することができる。 According to the communication system, communication terminal, and communication method of the present invention, communication can be further facilitated by information other than audio information and video information.

本発明の一実施形態に係る通信システムの概要図である。1 is a schematic diagram of a communication system according to an embodiment of the present invention. 本発明の一実施形態に係る通信システムにおける通信端末１のブロック図である。It is a block diagram of the communication terminal in the communication system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る通信システムにおける通信端末２のブロック図である。It is a block diagram of the communication terminal 2 in the communication system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る通信システムにおけるテレビ電話中のモード切り替えの概要図である。It is a schematic diagram of mode switching during a videophone call in the communication system according to an embodiment of the present invention. 本発明の一実施形態に係る通信システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the communication system which concerns on one Embodiment of this invention.

以下、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below.

（実施の形態）
図１は本発明の一実施形態に係る通信システムのブロック図である。本発明の実施の一実施形態に係る通信システムは、通信端末１と、通信端末２とを備え、それぞれネットワーク３を介して通信する。 (Embodiment)
FIG. 1 is a block diagram of a communication system according to an embodiment of the present invention. A communication system according to an embodiment of the present invention includes a communication terminal 1 and a communication terminal 2, and communicates with each other via a network 3.

図２は、通信端末１のブロック図である。本発明の一実施形態に係る通信端末１は、通信部１１０と、触感センサ１２０と、表示部１３０と、触感呈示部１４０と、制御部１５０とを備える。 FIG. 2 is a block diagram of the communication terminal 1. The communication terminal 1 according to an embodiment of the present invention includes a communication unit 110, a tactile sensor 120, a display unit 130, a tactile sensation providing unit 140, and a control unit 150.

通信部１１０は、ネットワーク３を介して通信端末２とテレビ電話による通信をする。 The communication unit 110 performs videophone communication with the communication terminal 2 via the network 3.

触感センサ１２０は、通常は表示部１３０の前面側に配置して、表示部１３０に表示したオブジェクトに対する操作者の指やスタイラスペン等（以下、単に「接触物」と総称する）による接触を、対応する触感センサ１２０の接触面において検出する。この触感センサ１２０は、例えば抵抗膜方式、静電容量方式、光学式等の方式のもので構成されたタッチセンサを用いることができる。触感センサ１２０は、好適には接触面における押圧を検出する。この場合触感センサ１２０は、例えば押圧を検出するために押圧に応じて物理的または電気的な特性（歪み、抵抗、電圧等）が変化する歪みゲージセンサや圧電素子等の素子等を含んで構成する。触感センサ１２０が、例えば、圧電素子等を用いて構成された場合、触感センサ１２０の圧電素子は、タッチ面に対する押圧に係る荷重（力）の大きさ（または、荷重（力）の大きさが変化する速さ（加速度））に応じて、電気的な特性である電圧の大きさ（電圧値（以下、電圧データと称する））が変化する。 The tactile sensor 120 is usually arranged on the front side of the display unit 130, and contact with an object displayed on the display unit 130 by an operator's finger, a stylus pen or the like (hereinafter simply referred to as “contact object”) is performed. It detects on the contact surface of the corresponding tactile sensor 120. As the tactile sensor 120, for example, a touch sensor configured by a resistive film type, a capacitance type, an optical type, or the like can be used. The tactile sensor 120 preferably detects pressure on the contact surface. In this case, the tactile sensor 120 includes, for example, an element such as a strain gauge sensor or a piezoelectric element in which physical or electrical characteristics (strain, resistance, voltage, etc.) change according to the press in order to detect the press. To do. When the tactile sensor 120 is configured using, for example, a piezoelectric element or the like, the piezoelectric element of the tactile sensor 120 has a load (force) magnitude (or a load (force) magnitude) related to pressing against the touch surface. The magnitude of the voltage (voltage value (hereinafter referred to as voltage data)), which is an electrical characteristic, changes in accordance with the changing speed (acceleration).

表示部１３０は、例えばアイコン、画像等のようなオブジェクトを表示する。このオブジェクトは、触感センサ１２０において接触すべき領域を操作者に示唆する画像である。また表示部１３０は、テレビ電話中に相手画像を表示する。表示部１３０は、例えば、液晶表示パネル（ＬＣＤ）や有機ＥＬ表示パネル等を用いて構成する。 The display unit 130 displays objects such as icons and images. This object is an image that suggests to the operator a region to be touched in the tactile sensor 120. The display unit 130 displays the partner image during a videophone call. The display unit 130 is configured using, for example, a liquid crystal display panel (LCD), an organic EL display panel, or the like.

触感呈示部１４０は、例えば圧電振動子等を用いて構成し、触感センサ１２０を振動させる。この触感呈示部１４０は、所定の振動パターンによる振動を発生させることにより、触感センサ１２０に接触している接触物に対して触感を呈示する。本実施の形態において、触感呈示部１４０は、制御部１５０から供給される駆動信号に基づいて振動を発生する。 The tactile sensation providing unit 140 is configured using, for example, a piezoelectric vibrator and vibrates the tactile sensor 120. The tactile sensation providing unit 140 presents a tactile sensation to a contact object in contact with the tactile sensor 120 by generating a vibration according to a predetermined vibration pattern. In the present embodiment, tactile sensation providing unit 140 generates vibration based on a drive signal supplied from control unit 150.

制御部１５０は、通信端末１を構成する各機能部を制御することにより、通信端末１の全体を制御および管理する。制御部１５０は、触感センサ１２０が接触の検知、又は／及び電圧データを制御部１５０に通知することにより、または、制御部１５０が、触感センサ１２０の接触の検知、又は／及び圧電素子に係る電圧データを検出することにより、接触の検知、又は／及び当該電圧データを取得する。つまり、制御部１５０は、触感センサ１２０のタッチ面に対する接触又は／及び押圧に基づくデータ（以下、接触に関するデータという。）を触感センサ１２０から取得する。 The control unit 150 controls and manages the entire communication terminal 1 by controlling each functional unit constituting the communication terminal 1. The control unit 150 detects the contact of the tactile sensor 120 or / and notifies the control unit 150 of voltage data, or the control unit 150 detects the contact of the tactile sensor 120 or / and relates to the piezoelectric element. By detecting the voltage data, contact detection or / and the voltage data are acquired. That is, the control unit 150 acquires from the tactile sensor 120 data (hereinafter referred to as “contact data”) based on contact or / and pressure on the touch surface of the tactile sensor 120.

また制御部１５０は、相手画像に対応する位置における接触を検知した場合、通信部１１０により通話中の通信端末２に対して、ネットワーク３を介して触感センサ１２０から取得した接触に関するデータを、通信部１１０により送信する。 When the control unit 150 detects a contact at a position corresponding to the partner image, the control unit 150 communicates data related to the contact acquired from the tactile sensor 120 via the network 3 to the communication terminal 2 that is communicating by the communication unit 110. Transmitted by the unit 110.

制御部１５０は、好適には、相手画像のうち、顔画像に対応する位置における接触を検知した場合、通信部１１０により通話中の通信端末２に対して、ネットワーク３を介して触感センサ１２０から取得した接触に関するデータを、通信部１１０により送信する。なお相手画像に対応する位置における接触はこれに限定されず、顔以外の部位（頭、首、肩等）の画像に対応する位置であってもよい。 The control unit 150 preferably detects, from the tactile sensor 120 via the network 3, the communication unit 2 that is in a call by the communication unit 110 when detecting contact at a position corresponding to the face image in the partner image. Data regarding the acquired contact is transmitted by the communication unit 110. The contact at the position corresponding to the partner image is not limited to this, and may be a position corresponding to an image of a part other than the face (head, neck, shoulder, etc.).

制御部１５０は、好適には、接触に関するデータを送信する際に、相手画像に係るデータも送信する。相手画像に係るデータとは、相手画像データそのもの、又は相手画像データに係るタイムスタンプのデータである。タイムスタンプのデータとは、映像データ中における所定画像の時刻を示すデータである。 The control unit 150 preferably transmits data related to the partner image when transmitting data related to contact. The data related to the partner image is the partner image data itself or time stamp data related to the partner image data. The time stamp data is data indicating the time of a predetermined image in the video data.

さらに制御部１５０は、ネットワーク３を介して、通信端末２の触感センサ２２０が取得した、通信端末２における接触に関するデータを、通信部１１０により受信する。通信部１１０により接触に関するデータを受信した場合、制御部１５０は、表示部１３０に、相手画像を表示させ、かつ、当該接触に関するデータに基づき出力制御をする。なお出力制御とは具体的には、表示出力、音声出力、触感呈示出力等である。 Furthermore, the control unit 150 receives, via the network 3, the communication unit 110 receives data related to the contact at the communication terminal 2 acquired by the tactile sensor 220 of the communication terminal 2. When data related to contact is received by the communication unit 110, the control unit 150 causes the display unit 130 to display the partner image and controls output based on the data related to the contact. The output control specifically includes display output, audio output, tactile sensation output, and the like.

好適には制御部１５０は、該出力制御として、表示部１３０に接触に関するデータに対応する軌跡を表示する。当該軌跡を表示する場合は、制御部１５０は、接触に関するデータとともに受信した相手画像に係るデータに基づき、表示部１３０に接触に関するデータに対応する相手画像（すなわち自己の画像）を表示する。すなわち制御部１５０は、タイムスタンプのデータ等に基づき、表示部１３０に、接触を検出したタイミングの相手画像と対応させて軌跡を表示させる。 Preferably, the control unit 150 displays a locus corresponding to the data related to the contact on the display unit 130 as the output control. When displaying the locus, the control unit 150 displays the partner image (that is, the self image) corresponding to the data regarding the contact on the display unit 130 based on the data regarding the partner image received together with the data regarding the contact. That is, based on the time stamp data, the control unit 150 causes the display unit 130 to display a trajectory in association with the partner image at the timing when contact is detected.

また好適には制御部１５０は、該出力制御として触感呈示部１４０に駆動信号を供給する。触感呈示部１４０は、制御部１５０から供給される駆動信号に基づいて振動を発生し、触感を呈示する。なお出力情報として触感を呈示しない場合、通信端末１は、触感呈示部１４０を備えなくてもよい。 Preferably, the control unit 150 supplies a drive signal to the tactile sensation providing unit 140 as the output control. The tactile sensation providing unit 140 generates vibration based on the drive signal supplied from the control unit 150 and presents a tactile sensation. In the case where no tactile sensation is presented as output information, the communication terminal 1 may not include the tactile sensation providing unit 140.

また制御部１５０は、好適には接触に関するデータを送信中である場合、通信端末２からの接触に関するデータの受信を停止する。以下、制御部１５０が接触に関するデータを送信する場合で通信端末２からの接触に関するデータの受信を停止する状態を、「フェイスタッチ送信モード」という。 The control unit 150 preferably stops receiving data related to contact from the communication terminal 2 when data related to contact is being transmitted. Hereinafter, a state in which the control unit 150 transmits data related to contact and stops receiving data related to contact from the communication terminal 2 is referred to as a “face touch transmission mode”.

また制御部１５０は、好適には接触に関するデータを受信中である場合、通信端末２への接触に関するデータの送信を停止する。以下、制御部１５０が接触に関するデータを受信する場合で通信端末２への接触に関するデータの送信を停止する状態を、「フェイスタッチ受信モード」という。また、接触に関するデータを送受信しない状態（すなわちテレビ電話による通常の通話状態）を、「通常モード」という。 Moreover, the control part 150 stops the transmission of the data regarding the contact to the communication terminal 2, when the data regarding the contact are being received suitably. Hereinafter, a state in which the control unit 150 receives data related to contact and stops transmission of data related to contact to the communication terminal 2 is referred to as “face touch reception mode”. Further, a state in which data related to contact is not transmitted / received (that is, a normal call state by a videophone) is referred to as “normal mode”.

制御部１５０は、フェイスタッチ送信モード、フェイスタッチ受信モード、及び通常モードの切り替えを行う。具体的には制御部１５０は、触感センサ１２０への所定の操作や、無操作の時間が所定時間経過したことにより、制御部１５０が各々のモードを切り替えるように構成する。あるいは制御部１５０は、通信端末２から受信したモード切り替えの通知により、これらのモードを切り替える。表示部１３０には、フェイスタッチ送信モード、フェイスタッチ受信モード、及び通常モードの切り替えを操作者に促すために、フェイスタッチ送信モード、フェイスタッチ受信モード、及び通常モードの切り替え用のアイコン等のオブジェクトを表示する。制御部１５０は、当該オブジェクトへの操作及び画面への所定の操作が検出されると、通信端末１を所定のモードに切り替える。また制御部１５０は、通信端末２にモード切り替えを通知する。 The control unit 150 switches between the face touch transmission mode, the face touch reception mode, and the normal mode. Specifically, the control unit 150 is configured such that the control unit 150 switches between the modes when a predetermined operation on the tactile sensor 120 or a non-operation time has elapsed for a predetermined time. Or the control part 150 switches these modes by the notification of the mode switching received from the communication terminal 2. FIG. The display unit 130 includes objects such as icons for switching between the face touch transmission mode, the face touch reception mode, and the normal mode in order to prompt the operator to switch between the face touch transmission mode, the face touch reception mode, and the normal mode. Is displayed. When an operation on the object and a predetermined operation on the screen are detected, the control unit 150 switches the communication terminal 1 to a predetermined mode. Further, the control unit 150 notifies the communication terminal 2 of mode switching.

なお制御部１５０におけるこれらのモードの切り替え方法は一例であり、これに限定されない。例えば通信端末１に設けられたボタン等の操作部（不図示）の操作により、制御部１５０がこれらのモードを切り替えるように構成してもよい。 Note that the mode switching method in the control unit 150 is an example, and the present invention is not limited to this. For example, you may comprise so that the control part 150 may switch these modes by operation of operation parts (not shown), such as a button provided in the communication terminal 1. FIG.

図３は、通信端末２のブロック図である。本発明の一実施形態に係る通信端末２は、通信部２１０と、触感センサ２２０と、表示部２３０と、触感呈示部２４０と、制御部２５０とを備える。通信部２１０と、触感センサ２２０と、表示部２３０と、触感呈示部２４０と、制御部２５０とは、各々通信部１１０と、触感センサ１２０と、表示部１３０と、触感呈示部１４０と、制御部１５０とに対応し、動作は同一であるため説明は省略する。 FIG. 3 is a block diagram of the communication terminal 2. The communication terminal 2 according to an embodiment of the present invention includes a communication unit 210, a tactile sensor 220, a display unit 230, a tactile sensation providing unit 240, and a control unit 250. The communication unit 210, the tactile sensor 220, the display unit 230, the tactile sensation providing unit 240, and the control unit 250 are respectively the communication unit 110, the tactile sensor 120, the display unit 130, the tactile sensation providing unit 140, and the control. Corresponding to the unit 150 and the operation is the same, the description is omitted.

図４に、本発明の一実施形態に係る通信システムにおけるテレビ電話中のモード切り替えに係る概要図を示す。図４に示す例では、制御部１５０は、触感センサ１２０に対する、擦るような一定時間触れる操作（以下、スワイプ操作という。）を検知することにより、通信端末１を通常モードからフェイスタッチ送信モードに切り替える。また、制御部１５０は、触感センサ１２０の所定位置における接触により、通信端末１のモードをフェイスタッチ送信モード又はフェイスタッチ受信モードに切り替える。また、制御部１５０は、触感センサ１２０への一定時間の無操作により、通信端末１をフェイスタッチ送信モード又はフェイスタッチ受信モードから、通常モードへの切り替えを行う。制御部２５０も同様に触感センサ２２０へのスワイプ操作、接触、及び一定時間の無操作により、通信端末２のモード切り替えを行う。 FIG. 4 is a schematic diagram relating to mode switching during a videophone call in the communication system according to an embodiment of the present invention. In the example illustrated in FIG. 4, the control unit 150 detects the operation of touching the tactile sensor 120 for a certain period of time (hereinafter referred to as a swipe operation) to change the communication terminal 1 from the normal mode to the face touch transmission mode. Switch. Further, the control unit 150 switches the mode of the communication terminal 1 to the face touch transmission mode or the face touch reception mode by touching the tactile sensor 120 at a predetermined position. In addition, the control unit 150 switches the communication terminal 1 from the face touch transmission mode or the face touch reception mode to the normal mode without any operation on the tactile sensor 120 for a certain period of time. Similarly, the control unit 250 switches the mode of the communication terminal 2 by performing a swipe operation on the tactile sensor 220, contact, and no operation for a certain period of time.

図４（ａ）は、通常モードで通信している場合の通信端末１と通信端末２の状態を示す。図４では、通信端末１及び通信端末２とはカメラ（不図示）を有し、テレビ電話により通信している。そして通信端末１の表示部１３０は通信端末２の操作者の画像、すなわち相手画像と、自己の画像（以下、自己画像という。）とを表示している。表示部１３０は、相手画像を、自己の画像よりも大きく表示する。 FIG. 4A shows the state of the communication terminal 1 and the communication terminal 2 when communicating in the normal mode. In FIG. 4, the communication terminal 1 and the communication terminal 2 have a camera (not shown) and communicate by a video phone. The display unit 130 of the communication terminal 1 displays an image of the operator of the communication terminal 2, that is, a partner image and a self image (hereinafter referred to as a self image). The display unit 130 displays the partner image larger than the self image.

通常モードにおいて、通信端末１の触感センサ１２０が操作者の操作によるスワイプ操作を検知した場合、制御部１５０は、通信端末１を通常モードからフェイスタッチ送信モードに切り替える。また制御部１５０は、通信端末２に当該モード切り替えを通知する。通信端末２の制御部２５０は、当該通知に基づき通信端末２を通常モードからフェイスタッチ受信モードに切り替える。このとき制御部２５０は、表示部２３０に通信端末２の操作者の自己画像を相手画像よりも大きく表示させる。 In the normal mode, when the tactile sensor 120 of the communication terminal 1 detects a swipe operation by the operation of the operator, the control unit 150 switches the communication terminal 1 from the normal mode to the face touch transmission mode. In addition, the control unit 150 notifies the communication terminal 2 of the mode switching. The control unit 250 of the communication terminal 2 switches the communication terminal 2 from the normal mode to the face touch reception mode based on the notification. At this time, the control unit 250 causes the display unit 230 to display the self image of the operator of the communication terminal 2 larger than the partner image.

この状態において、通信端末１の触感センサ１２０が操作者による相手画像に対応する位置における接触を検知した場合、通信端末１の制御部１５０は、触感センサ１２０から接触に関するデータを取得し、該接触に関するデータを、通信端末２に送信する（図４（ｂ））。 In this state, when the tactile sensor 120 of the communication terminal 1 detects a contact at a position corresponding to the partner image by the operator, the control unit 150 of the communication terminal 1 acquires data related to the contact from the tactile sensor 120, and Is transmitted to the communication terminal 2 (FIG. 4B).

そして通信端末２の制御部２５０は、表示部２３０に、通信端末１にとっての相手画像、すなわち自己画像を表示させると共に、受信した接触に関するデータに基づき出力制御する。このように表示部２３０に、自己画像を表示させると共に、受信した接触に関するデータに基づき、出力制御をするため、通信端末２の操作者は、通信端末１の操作者が自己画像に接触したことが容易に認知できる。 Then, the control unit 250 of the communication terminal 2 causes the display unit 230 to display a partner image for the communication terminal 1, that is, a self-image, and performs output control based on the received contact data. In this way, the display unit 230 displays the self-image and performs output control based on the received contact data, so that the operator of the communication terminal 2 has touched the self-image. Can be easily recognized.

好適には制御部２５０は、触感呈示部２４０に駆動信号を供給する。触感呈示部２４０は、制御部２５０から供給される駆動信号に基づいて振動を発生し、触感を呈示する。そして通信端末２の操作者は、通信端末２に触れることにより、通信端末１から受信した触感を知覚することができる。 Preferably, the control unit 250 supplies a drive signal to the tactile sensation providing unit 240. The tactile sensation providing unit 240 generates vibration based on the drive signal supplied from the control unit 250 and presents a tactile sensation. The operator of the communication terminal 2 can perceive the tactile sensation received from the communication terminal 1 by touching the communication terminal 2.

また好適には、通信端末２の制御部２５０は、接触に関するデータに基づき、表示部２３０に触感の軌跡を表示する。例えば通信端末１において触感センサ１２０が操作者による相手画像の頭をなでるように触れる操作を検知した場合、通信端末２の表示部２３０は、当該操作に対応する軌跡を表示する（図４（ｂ））。通信端末２の操作者は、当該軌跡により、通信端末１の操作者により自己の頭がなでられたと認知することができる。 Preferably, the control unit 250 of the communication terminal 2 displays a tactile sensation locus on the display unit 230 based on the data related to contact. For example, when the tactile sensor 120 in the communication terminal 1 detects an operation of the operator touching the head of the partner image, the display unit 230 of the communication terminal 2 displays a locus corresponding to the operation (FIG. 4B). )). The operator of the communication terminal 2 can recognize from the trajectory that his / her head has been stroked by the operator of the communication terminal 1.

図４（ｂ）において、通信端末１又は通信端末２の操作者により、触感センサ１２０又は触感センサ２２０が所定位置における接触を検知した場合、フェイスタッチ送信モード及びフェイスタッチ受信モードの切り替えが行われる。 In FIG. 4B, when the tactile sensor 120 or the tactile sensor 220 detects contact at a predetermined position by the operator of the communication terminal 1 or the communication terminal 2, switching between the face touch transmission mode and the face touch reception mode is performed. .

図４（ｂ）においては、通信端末１の表示部１３０の左上部分、すなわち自己画像の位置において触感センサ１２０が接触を検知した場合、通信端末１の制御部１５０は、通信端末１の状態をフェイスタッチ受信モードに切り替える。制御部１５０はモードを切り替える場合に通信端末２にモード切り替えを通知する。通信端末２の制御部２５０は、当該通知に基づき、通信端末２をフェイスタッチ受信モードからフェイスタッチ送信モードに切り替える。このとき制御部１５０は、表示部１３０に、通信端末１の操作者の自己画像を、相手画像よりも大きく表示させる。 In FIG. 4B, when the tactile sensor 120 detects contact at the upper left portion of the display unit 130 of the communication terminal 1, that is, the position of the self-image, the control unit 150 of the communication terminal 1 changes the state of the communication terminal 1. Switch to face touch reception mode. The control unit 150 notifies the communication terminal 2 of mode switching when switching modes. Based on the notification, the control unit 250 of the communication terminal 2 switches the communication terminal 2 from the face touch reception mode to the face touch transmission mode. At this time, the control unit 150 causes the display unit 130 to display the self image of the operator of the communication terminal 1 larger than the partner image.

または図４（ｂ）において、通信端末２の表示部２３０の左上部分、すなわち相手画像の位置において触感センサ２２０が接触を検知した場合、通信端末２の制御部２５０は、通信端末２をフェイスタッチ受信モードからフェイスタッチ送信モードに切り替える。制御部２５０はモードを切り替える場合に通信端末１にモード切り替えを通知する。通信端末１の制御部１５０は、当該通知に基づき通信端末１を、フェイスタッチ送信モードからフェイスタッチ受信モードに切り替える。このとき制御部１５０は、表示部１３０に、通信端末１の操作者の自己画像を、相手画像よりも大きく表示させる。 4B, when the tactile sensor 220 detects contact at the upper left portion of the display unit 230 of the communication terminal 2, that is, the position of the partner image, the control unit 250 of the communication terminal 2 touches the communication terminal 2 face-to-face. Switch from reception mode to face touch transmission mode. The control unit 250 notifies the communication terminal 1 of mode switching when switching modes. The control unit 150 of the communication terminal 1 switches the communication terminal 1 from the face touch transmission mode to the face touch reception mode based on the notification. At this time, the control unit 150 causes the display unit 130 to display the self image of the operator of the communication terminal 1 larger than the partner image.

通信端末２の制御部２５０が、通信端末２をフェイスタッチ受信モードからフェイスタッチ送信モードに切り替えた場合において、触感センサ２２０が操作者による相手画像に対応する位置における接触を検知した場合、制御部２５０は、通信端末２の触感センサ２２０から接触に関するデータを取得し、該接触に関するデータを、通信端末１に送信する（図４（ｃ））。 When the control unit 250 of the communication terminal 2 switches the communication terminal 2 from the face touch reception mode to the face touch transmission mode, when the tactile sensor 220 detects contact at a position corresponding to the partner image by the operator, the control unit 250 acquires data related to contact from the tactile sensor 220 of the communication terminal 2 and transmits the data related to contact to the communication terminal 1 (FIG. 4C).

そして通信端末１の制御部１５０は、表示部１３０に、通信端末２にとっての相手画像、すなわち自己画像を表示させると共に、受信した接触に関するデータに基づき出力制御する。このように表示部１３０に、自己画像を表示させると共に、受信した接触に関するデータに基づき、出力制御をするため、通信端末１の操作者は、通信端末２の操作者が自己画像に接触したことが容易に認知できる。 Then, the control unit 150 of the communication terminal 1 causes the display unit 130 to display a partner image for the communication terminal 2, that is, a self-image, and performs output control based on the received contact data. As described above, since the self-image is displayed on the display unit 130 and the output control is performed based on the received contact data, the operator of the communication terminal 1 has made contact with the self-image. Can be easily recognized.

好適には制御部１５０は、触感呈示部１４０に駆動信号を供給する。触感呈示部１４０は、制御部１５０から供給される駆動信号に基づいて振動を発生し、触感を呈示する。このようにすることで通信端末１の操作者は、通信端末１に触れることにより、通信端末２から受信した触感を知覚することができる。 Preferably, the control unit 150 supplies a drive signal to the tactile sensation providing unit 140. The tactile sensation providing unit 140 generates vibration based on the drive signal supplied from the control unit 150 and presents a tactile sensation. In this way, the operator of the communication terminal 1 can perceive the tactile sensation received from the communication terminal 2 by touching the communication terminal 1.

また好適には制御部１５０は、接触に関するデータに基づき、表示部１３０に触感の軌跡を表示する。例えば通信端末２において触感センサ２２０が操作者による相手画像の頭をなでるように触れる操作を検知した場合、通信端末１の表示部１３０は、当該操作に対応する軌跡を表示する（図４（ｃ））。通信端末１の操作者は、当該軌跡により、通信端末２の操作者により自己の頭がなでられたと認知することができる。 Preferably, the control unit 150 displays a tactile sensation trajectory on the display unit 130 based on the data related to contact. For example, when the tactile sensor 220 in the communication terminal 2 detects an operation by the operator touching the head of the partner image, the display unit 130 of the communication terminal 1 displays a locus corresponding to the operation (FIG. 4C )). The operator of the communication terminal 1 can recognize that his / her head has been stroked by the operator of the communication terminal 2 based on the trajectory.

そして、一定時間、通信端末１の触感センサ１２０及び通信端末２の触感センサ２２０が接触を検知しない場合、通信端末１の制御部１５０及び通信端末２の制御部２５０は、各々通信端末１及び通信端末２のモードを、通常モードに切り替える（図４（ｄ））。 When the tactile sensor 120 of the communication terminal 1 and the tactile sensor 220 of the communication terminal 2 do not detect contact for a certain period of time, the control unit 150 of the communication terminal 1 and the control unit 250 of the communication terminal 2 respectively communicate with the communication terminal 1 and the communication. The mode of the terminal 2 is switched to the normal mode (FIG. 4 (d)).

なお図４では、通信端末１及び通信端末２の操作者により相手画像の頭をなでるような操作がされる例を示したがこれに限られない。例えば通信端末１及び通信端末２の操作者により相手画像のおでこをつっつく操作や、相手画像の肩を叩くような操作をしてもよい。この場合、制御部１５０又は制御部２５０は、当該操作に対応する出力制御をする。例えば相手画像のおでこを突っつく操作や、相手画像の肩を叩く操作を検知した場合、制御部１５０又は制御部２５０は、音を出力してもよい。 Although FIG. 4 shows an example in which the operator of the communication terminal 1 and the communication terminal 2 performs an operation of stroking the head of the partner image, the present invention is not limited to this. For example, the operator of the communication terminal 1 and the communication terminal 2 may perform an operation of sticking the forehead of the partner image or an operation of hitting the shoulder of the partner image. In this case, the control unit 150 or the control unit 250 performs output control corresponding to the operation. For example, when detecting an operation of poking the forehead of the partner image or an operation of hitting the shoulder of the partner image, the control unit 150 or the control unit 250 may output a sound.

次に、本発明に係る通信システムについて、図５に示すフローチャートによりその動作を説明する。なお図５に示すフローチャートにおいては、予め通信端末１と通信端末２とがテレビ電話による通信をしているものとする。 Next, the operation of the communication system according to the present invention will be described with reference to the flowchart shown in FIG. In the flowchart shown in FIG. 5, it is assumed that the communication terminal 1 and the communication terminal 2 communicate with each other by videophone in advance.

はじめに通信端末１の制御部１５０は、触感センサ１２０が操作者によるスワイプ操作を検知したか否かにより、フェイスタッチ送信モードへの切り替えを判定する（ステップＳ１）。フェイスタッチ送信モードへの切り替えをする旨の判定をした場合、ステップＳ２に進む。フェイスタッチ送信モードへの切り替えをしない旨の判定をした場合、ステップＳ１を繰り返し行う。 First, the control unit 150 of the communication terminal 1 determines to switch to the face touch transmission mode depending on whether or not the tactile sensor 120 has detected a swipe operation by the operator (step S1). If it is determined to switch to the face touch transmission mode, the process proceeds to step S2. If it is determined not to switch to the face touch transmission mode, step S1 is repeated.

続いて制御部１５０は、モード切り替えの通知を、ネットワーク３を介して通信部１１０により通信端末２に送信する（ステップＳ２）。そして制御部１５０は、通信端末１を、通常モードからフェイスタッチ送信モードに切り替える（ステップＳ３）。また通信端末２の制御部２５０は、該モード切り替えの通知を受信すると、通信端末２を通常モードからフェイスタッチ受信モードに切り替える（ステップＳ４）。このとき制御部２５０は、表示部２３０に自己画像を相手画像よりも大きく表示させる。 Subsequently, the control unit 150 transmits a mode switching notification to the communication terminal 2 by the communication unit 110 via the network 3 (step S2). Then, the control unit 150 switches the communication terminal 1 from the normal mode to the face touch transmission mode (step S3). When receiving the mode switching notification, the control unit 250 of the communication terminal 2 switches the communication terminal 2 from the normal mode to the face touch reception mode (step S4). At this time, the control unit 250 causes the display unit 230 to display the self image larger than the counterpart image.

続いて通信端末１の制御部１５０は、触感センサ１２０が接触物による相手画像に対応する位置における接触を検知したか否かを判定する（ステップＳ５）。接触物による相手画像に対応する位置における接触を検知した場合、制御部１５０は、触感センサ１２０から接触に関するデータを取得し、接触に関するデータを、ネットワーク３を介して通信部１１０により通信端末２に送信する（ステップＳ６）。通信端末２の通信部２１０が、当該接触に関するデータを受信すると（ステップＳ７）、通信端末２の制御部２５０は、表示部２３０に、通信端末１にとっての相手画像、すなわち自己画像を表示させると共に、当該接触に関するデータに基づき出力制御をする（ステップＳ８）。好適には制御部２５０は、触感呈示部２４０に駆動信号を供給する。触感呈示部２４０は、制御部２５０から供給される駆動信号に基づいて振動を発生し、触感を呈示する。また好適には制御部２５０は、接触に関するデータに基づき、表示部２３０に触感の軌跡を表示する。ステップＳ５において接触物による相手画像に対応する位置における接触を検知しない場合、ステップＳ６〜ステップＳ８をスキップし、ステップＳ９に進む。 Subsequently, the control unit 150 of the communication terminal 1 determines whether or not the tactile sensor 120 detects contact at a position corresponding to the partner image by the contact object (step S5). When the contact at the position corresponding to the partner image by the contact object is detected, the control unit 150 acquires the data related to the contact from the tactile sensor 120 and transmits the data related to the contact to the communication terminal 2 by the communication unit 110 via the network 3. Transmit (step S6). When the communication unit 210 of the communication terminal 2 receives the data related to the contact (step S7), the control unit 250 of the communication terminal 2 causes the display unit 230 to display a partner image for the communication terminal 1, that is, a self image. Then, output control is performed based on the data relating to the contact (step S8). Preferably, the control unit 250 supplies a drive signal to the tactile sensation providing unit 240. The tactile sensation providing unit 240 generates vibration based on the drive signal supplied from the control unit 250 and presents a tactile sensation. Preferably, the control unit 250 displays a tactile sensation locus on the display unit 230 based on the data related to contact. If contact at the position corresponding to the partner image by the contact object is not detected in step S5, step S6 to step S8 are skipped and the process proceeds to step S9.

続いて通信端末２の制御部２５０は、触感センサ２２０が、操作者の操作による所定位置における接触を検知したか否かにより、フェイスタッチ送信モードへの切り替えを判定する（ステップＳ９）。触感センサ２２０が、操作者の操作による所定位置における接触を検知した場合、制御部２５０は、モード切り替えの通知を、ネットワーク３を介して通信部２１０により通信端末１に送信する（ステップＳ１０）。一方ステップＳ９において操作者の操作による所定位置における接触を検知しなかった場合、ステップＳ１１に進む。 Subsequently, the control unit 250 of the communication terminal 2 determines to switch to the face touch transmission mode depending on whether or not the tactile sensor 220 has detected a contact at a predetermined position by the operation of the operator (step S9). When the tactile sensor 220 detects contact at a predetermined position by the operator's operation, the control unit 250 transmits a mode switching notification to the communication terminal 1 by the communication unit 210 via the network 3 (step S10). On the other hand, when the contact at the predetermined position by the operation of the operator is not detected in step S9, the process proceeds to step S11.

続いて通信端末１の制御部１５０は、触感センサ１２０が、操作者の操作による所定位置における接触を検知したか否かにより、又は、通信端末２からモード切り替えの通知を受信しているか否かにより、フェイスタッチ受信モードへの切り替えを判定する（ステップＳ１１）。 Subsequently, the control unit 150 of the communication terminal 1 determines whether or not the tactile sensor 120 has detected a contact at a predetermined position by the operation of the operator, or whether or not a notification of mode switching has been received from the communication terminal 2. Thus, switching to the face touch reception mode is determined (step S11).

ステップＳ１１において操作者の操作による所定位置における接触を検知せず、かつ、通信端末２からモード切り替えの通知を受信していない場合、制御部１５０は、触感センサ１２０への無操作が一定時間経過しているか否かを判定する（ステップＳ１２）。一定時間経過していない場合、ステップＳ５に戻る。一方、一定時間経過している場合、制御部１５０は、モード切り替えの通知を、ネットワーク３を介して通信部１１０により通信端末２に送信し、通信端末１を、フェイスタッチ送信モードから通常モードに切り替える。また、通信端末２の制御部２５０は、当該モード切り替えの通知により通信端末２を、フェイスタッチ受信モードから通常モードに切り替え（ステップＳ１３）、処理が終了する。 When the contact at the predetermined position due to the operation of the operator is not detected in step S11 and the notification of mode switching is not received from the communication terminal 2, the control unit 150 indicates that no operation has been performed on the tactile sensor 120 for a certain period of time. It is determined whether or not (step S12). If the fixed time has not elapsed, the process returns to step S5. On the other hand, when the predetermined time has elapsed, the control unit 150 transmits a mode switching notification to the communication terminal 2 by the communication unit 110 via the network 3, and changes the communication terminal 1 from the face touch transmission mode to the normal mode. Switch. Further, the control unit 250 of the communication terminal 2 switches the communication terminal 2 from the face touch reception mode to the normal mode by the notification of the mode switching (step S13), and the process ends.

ステップＳ１１において操作者の操作による所定位置における接触を検知し、または、通信端末２からモード切り替えの通知を受信した場合、制御部１５０は、モード切り替えの通知を、ネットワーク３を介して通信部１１０により通信端末２に送信する（ステップＳ１４）。そして制御部１５０は、通信端末１をフェイスタッチ送信モードからフェイスタッチ受信モードに切り替える（ステップＳ１５）。このとき制御部１５０は、表示部１３０に、自己画像を相手画像よりも大きく表示させる。一方通信端末２の制御部２５０は、通信端末２をフェイスタッチ受信モードからフェイスタッチ送信モードに切り替える（ステップＳ１６）。 When a contact at a predetermined position due to an operation of the operator is detected in step S11 or a mode switching notification is received from the communication terminal 2, the control unit 150 sends a mode switching notification via the network 3 to the communication unit 110. Is transmitted to the communication terminal 2 (step S14). Then, the control unit 150 switches the communication terminal 1 from the face touch transmission mode to the face touch reception mode (step S15). At this time, the control unit 150 causes the display unit 130 to display the self image larger than the counterpart image. On the other hand, the control unit 250 of the communication terminal 2 switches the communication terminal 2 from the face touch reception mode to the face touch transmission mode (step S16).

続いて通信端末２の制御部２５０は、触感センサ２２０が接触物による相手画像に対応する位置における接触を検知したか否かを判定する（ステップＳ１７）。接触物による相手画像に対応する位置における接触を検知した場合、制御部２５０は、触感センサ２２０から接触に関するデータを取得し、接触に関するデータを、ネットワーク３を介して通信部２１０により通信端末１に送信する（ステップＳ１８）。通信端末１の通信部１１０が、当該接触に関するデータを受信すると（ステップＳ１９）、通信端末１の制御部１５０は、表示部１３０に、通信端末２にとっての相手画像、すなわち自己画像を表示させると共に、当該接触に関するデータに基づき出力制御する（ステップＳ２０）。好適には制御部１５０は、触感呈示部１４０に駆動信号を供給する。触感呈示部１４０は、制御部１５０から供給される駆動信号に基づいて振動を発生し、触感を呈示する。また好適には制御部１５０は、接触に関するデータに基づき、表示部１３０に触感の軌跡を表示する。接触物による相手画像に対応する位置における接触を検知しない場合、ステップＳ１８〜ステップＳ２０をスキップし、ステップＳ２１に進む。 Subsequently, the control unit 250 of the communication terminal 2 determines whether or not the tactile sensor 220 detects contact at a position corresponding to the partner image by the contact object (step S17). When the contact at the position corresponding to the partner image by the contact object is detected, the control unit 250 acquires data related to the contact from the tactile sensor 220, and the data related to the contact is transmitted to the communication terminal 1 by the communication unit 210 via the network 3. Transmit (step S18). When the communication unit 110 of the communication terminal 1 receives the data related to the contact (step S19), the control unit 150 of the communication terminal 1 causes the display unit 130 to display a partner image for the communication terminal 2, that is, a self image. Then, output control is performed based on the data relating to the contact (step S20). Preferably, the control unit 150 supplies a drive signal to the tactile sensation providing unit 140. The tactile sensation providing unit 140 generates vibration based on the drive signal supplied from the control unit 150 and presents a tactile sensation. Preferably, the control unit 150 displays a tactile sensation trajectory on the display unit 130 based on the data related to contact. When the contact at the position corresponding to the partner image by the contact object is not detected, step S18 to step S20 are skipped and the process proceeds to step S21.

続いて通信端末１の制御部１５０は、触感センサ１２０が、操作者の操作による所定位置における接触を検知したか否かにより、フェイスタッチ送信モードへの切り替えを判定する（ステップＳ２１）。触感センサ１２０が、操作者の操作による所定位置における接触を検知した場合、制御部１５０は、モード切り替えの通知を、ネットワーク３を介して通信部１１０により通信端末２に送信する（ステップＳ２２）。一方ステップＳ２１において操作者の操作による所定位置における接触を検知しなかった場合、ステップＳ２３に進む。 Subsequently, the control unit 150 of the communication terminal 1 determines to switch to the face touch transmission mode depending on whether or not the tactile sensor 120 has detected a contact at a predetermined position by the operation of the operator (step S21). When the tactile sensor 120 detects contact at a predetermined position by the operator's operation, the control unit 150 transmits a mode switching notification to the communication terminal 2 by the communication unit 110 via the network 3 (step S22). On the other hand, when the contact at the predetermined position by the operation of the operator is not detected in step S21, the process proceeds to step S23.

続いて通信端末２の制御部２５０は、触感センサ２２０が、操作者の操作による所定位置における接触を検知したか否かにより、又は、通信端末１からモード切り替えの通知を受信しているか否かにより、フェイスタッチ受信モードへの切り替えを判定する（ステップＳ２３）。 Subsequently, the control unit 250 of the communication terminal 2 determines whether or not the tactile sensor 220 has detected a contact at a predetermined position by the operation of the operator, or has received a mode switching notification from the communication terminal 1. Thus, switching to the face touch reception mode is determined (step S23).

ステップＳ２３において操作者の操作による所定位置における接触を検知せず、かつ、通信端末１からモード切り替えの通知を受信していない場合、制御部２５０は、触感センサ２２０への無操作が一定時間経過しているか否かを判定する（ステップＳ２４）。一定時間経過していない場合、ステップＳ１７に戻る。一方、一定時間経過している場合、制御部２５０は、モード切り替えの通知を、ネットワーク３を介して通信部２１０により通信端末１に送信し、通信端末２を、フェイスタッチ送信モードから通常モードに切り替える。また、通信端末１の制御部１５０は、当該モード切り替えの通知に基づき通信端末１を、フェイスタッチ受信モードから通常モードに切り替え（ステップＳ２５）、処理が終了する。 In step S23, when the contact at the predetermined position by the operation of the operator is not detected and the notification of mode switching is not received from the communication terminal 1, the control unit 250 does not operate the tactile sensor 220 for a certain period of time. It is determined whether or not (step S24). If the predetermined time has not elapsed, the process returns to step S17. On the other hand, when the predetermined time has elapsed, the control unit 250 transmits a mode switching notification to the communication terminal 1 by the communication unit 210 via the network 3, and changes the communication terminal 2 from the face touch transmission mode to the normal mode. Switch. Further, the control unit 150 of the communication terminal 1 switches the communication terminal 1 from the face touch reception mode to the normal mode based on the mode switching notification (step S25), and the process ends.

ステップＳ２３において操作者の操作による所定位置における接触を検知し、または、通信端末１からモード切り替えの通知を受信した場合、制御部２５０は、モード切り替えの通知を、ネットワーク３を介して通信部２１０により通信端末１に送信する（ステップＳ２６）。そして制御部２５０は、通信端末２をフェイスタッチ送信モードからフェイスタッチ受信モードに切り替える（ステップＳ２７）。フェイスタッチ受信モード切り替え後の通信端末２の動作は、ステップＳ７以降の動作と同一である。一方通信端末１の制御部１５０は、通信端末１をフェイスタッチ受信モードからフェイスタッチ送信モードに切り替える（ステップＳ２８）。フェイスタッチ受信モード切り替え後の通信端末１の動作は、ステップＳ５以降の動作と同一である。 When a contact at a predetermined position due to an operation by the operator is detected in step S23 or a mode switching notification is received from the communication terminal 1, the control unit 250 sends a mode switching notification via the network 3 to the communication unit 210. Is transmitted to the communication terminal 1 (step S26). Then, the control unit 250 switches the communication terminal 2 from the face touch transmission mode to the face touch reception mode (step S27). The operation of the communication terminal 2 after switching the face touch reception mode is the same as the operation after step S7. On the other hand, the control unit 150 of the communication terminal 1 switches the communication terminal 1 from the face touch reception mode to the face touch transmission mode (step S28). The operation of the communication terminal 1 after the face touch reception mode switching is the same as the operation after step S5.

このように本発明によれば、ネットワーク３を介して通信端末１及び通信端末２の接触に関するデータを通信し、通信端末１及び通信端末２は、それぞれ他通信端末にとっての相手画像、すなわち自己画像を表示すると共に、通信端末２及び通信端末１の接触に関するデータに基づき出力制御をするため、音声情報や映像情報以外の情報である自己画像に対する接触に関する情報を伝達することにより、コミュニケーションをより一層円滑化することができる。 As described above, according to the present invention, data related to contact between the communication terminal 1 and the communication terminal 2 is communicated via the network 3, and the communication terminal 1 and the communication terminal 2 each have a partner image for another communication terminal, that is, a self-image. Is displayed, and output control is performed on the basis of data relating to contact between the communication terminal 2 and the communication terminal 1, so that information relating to contact with the self-image, which is information other than audio information and video information, is transmitted, thereby further enhancing communication. It can be smoothed.

また本発明によれば、出力制御として、接触に関するデータに基づき接触に対応する軌跡を表示するように制御するため、接触に関する情報をより円滑に伝達することができる。例えば通信端末１の操作者により相手画像の頭部をなでる操作がされた場合、通信端末２の操作者は、接触に対応する軌跡の表示により自己の頭がなでられたと容易に認知することができ、コミュニケーションをより一層円滑にすることができる。 Moreover, according to this invention, since it controls to display the locus | trajectory corresponding to a contact based on the data regarding a contact as output control, the information regarding a contact can be transmitted more smoothly. For example, when the operator of the communication terminal 1 performs an operation of stroking the head of the partner image, the operator of the communication terminal 2 can easily recognize that his / her head has been stroked by displaying a locus corresponding to the contact. And communication can be made even smoother.

また本発明によれば、出力制御として、接触に関するデータに基づき接触に対応する触感を呈示するように制御するため、接触に関する情報をより円滑に伝達することができる。例えば通信端末１の操作者が相手画像に接触した場合、通信端末２の操作者は、接触に対応する触感を呈示することで、自己画像に接触があったことを容易に認知することができ、コミュニケーションをより一層円滑にすることができる。 Moreover, according to this invention, since it controls so that the tactile sensation corresponding to a contact is exhibited based on the data regarding a contact as output control, the information regarding a contact can be transmitted more smoothly. For example, when the operator of the communication terminal 1 touches the partner image, the operator of the communication terminal 2 can easily recognize that the self image has touched by presenting a tactile sensation corresponding to the touch. , Communication can be made smoother.

また本発明によれば、通信端末１の制御部１５０が、接触に関するデータを送信中である場合、通信端末２からの接触に関するデータの受信を停止するため、通信端末１から通信端末２に送信する接触に関するデータに、意図しないノイズが混入することなく所望の接触に関するデータを通信端末２に送信することができる。 Further, according to the present invention, when the control unit 150 of the communication terminal 1 is transmitting data related to contact, the communication terminal 1 transmits to the communication terminal 2 in order to stop receiving data related to contact from the communication terminal 2. The data relating to the desired contact can be transmitted to the communication terminal 2 without unintended noise being mixed into the data relating to the contact.

また本発明によれば通信端末１の制御部１５０が、接触に関するデータを受信中である場合、通信端末２への接触に関するデータの送信を停止するため、通信端末１が通信端末２から受信する接触に関するデータに、意図しないノイズが混入することなく所望の接触に関するデータを通信端末２から受信することができる。 According to the present invention, when the control unit 150 of the communication terminal 1 is receiving data related to contact, the communication terminal 1 receives from the communication terminal 2 in order to stop transmission of data related to contact to the communication terminal 2. Data regarding the desired contact can be received from the communication terminal 2 without unintended noise being mixed into the data regarding the contact.

当該ノイズに関して、以下具体的に説明する。通信端末１が接触に関するデータを通信端末２から受信中に、仮に通信端末１が接触に関するデータを通信端末２に送信できるとする。そうすると、通信端末１の操作者が受信した触感を感じようとして画面に触れたときに、当該接触が通信端末１における触感の入力となり、意図しない接触に関するデータが通信端末１から通信端末２に伝わってしまうという問題が発生する。 The noise will be specifically described below. Assume that the communication terminal 1 can transmit data related to contact to the communication terminal 2 while the communication terminal 1 is receiving data related to contact from the communication terminal 2. Then, when the operator of the communication terminal 1 touches the screen in order to feel the tactile sensation received, the touch becomes an input of the tactile sensation in the communication terminal 1, and data regarding unintended contact is transmitted from the communication terminal 1 to the communication terminal 2. The problem of end up occurs.

また、通信端末２から受信した接触に関するデータにより、通信端末１の触感呈示部１４０が振動するが、当該振動が、通信端末１における触感の入力となり、意図しない接触に関するデータが通信端末１から通信端末２に伝わってしまうという問題が発生する。特に、携帯電話のようなデジタル通信機器である場合、信号がデジタル化されて圧縮されているので、復号するための時間がかかる。このためタイムラグがありエコーがかかる虞もある。さらに、触感センサ１２０と触感呈示部１４０は近接した位置に配置されるため、互いに影響を受ける。そのため音声と比較してハウリングやエコー現象の影響を強く受ける。 Further, the tactile sensation providing unit 140 of the communication terminal 1 vibrates due to the contact data received from the communication terminal 2, but the vibration becomes an input of the tactile sensation in the communication terminal 1, and unintended contact data is communicated from the communication terminal 1. The problem of being transmitted to the terminal 2 occurs. In particular, in the case of a digital communication device such as a mobile phone, since the signal is digitized and compressed, it takes time to decode. For this reason, there is a risk of echo due to a time lag. Furthermore, since the tactile sensor 120 and the tactile sensation providing unit 140 are arranged in close proximity, they are influenced by each other. Therefore, it is strongly influenced by howling and echo phenomenon compared to voice.

さらに、音声は人によって声の質が異なっているため（話し方、音の高低(ピッチ、振動数)・母音・子音の組み合わせ、フォルマント（時間と共に周波数のピークがずれていく性質）等、情報量が多いため同時に通話しても他者と自分の音声の違いを認識することが可能である。これに対して触感は通信端末１又は通信端末２の振動のみで伝えるため、情報量は音声に比べ少なく、そのためノイズの影響を強く受けてしまう。 In addition, the amount of information of speech is different depending on the person's voice quality (speaking method, pitch of sound (pitch, frequency), combination of vowels and consonants, formant (property of frequency peak shifting with time), etc.) It is possible to recognize the difference between one's own voice and another person even if talking at the same time, whereas the tactile sensation is conveyed only by vibration of the communication terminal 1 or the communication terminal 2. Compared to this, it is less affected by noise.

このように触感を通信端末１及び通信端末２とが同時に送信又は受信すると、どの振動が受信した触感なのか認識することが困難になる。また上記のような触感の性質から、ハウリングやエコーが発生した場合に、触感とノイズとを区別して認識することが一層困難となる。 As described above, when the communication terminal 1 and the communication terminal 2 transmit or receive the tactile sensation at the same time, it becomes difficult to recognize which vibration is the received tactile sensation. In addition, due to the tactile sensation as described above, it becomes more difficult to distinguish between tactile sensation and noise when howling or echo occurs.

そこで本発明の構成によると、通信端末１及び通信端末２とが同時に触感を送信又は受信することなく、通信端末１が接触に関するデータを送信中である場合、通信端末２からの接触に関するデータの受信を停止する。また、通信端末１が接触に関するデータを受信中である場合、通信端末２への接触に関するデータの送信を停止する。そのため、上述のようなハウリングやエコー現象の問題を防止することができる。 Therefore, according to the configuration of the present invention, when the communication terminal 1 is transmitting data related to contact without the communication terminal 1 and the communication terminal 2 transmitting or receiving the tactile sensation at the same time, Stop receiving. When the communication terminal 1 is receiving data related to contact, the transmission of data related to contact to the communication terminal 2 is stopped. Therefore, the above-described problem of howling and echo phenomenon can be prevented.

なお、ステップＳ８において、通信端末２の制御部２５０は、好適には接触に関するデータに基づき触感呈示部２４０に駆動信号を供給するとしたが、この際の駆動信号は、通信端末１における触感を通信端末２において忠実に再現するものに限られない。例えば制御部２５０は、受信した接触に関するデータを加工した駆動信号を触感呈示部２４０に供給してもよい。具体的には制御部２５０は、受信した接触に関するデータにおける振幅を増大し、当該増大した振幅で触感呈示部２４０を駆動させるような駆動信号を供給してもよい。 In step S8, the control unit 250 of the communication terminal 2 preferably supplies a drive signal to the tactile sensation providing unit 240 based on the data related to contact, but the drive signal at this time communicates the tactile sensation in the communication terminal 1. It is not limited to what is faithfully reproduced in the terminal 2. For example, the control unit 250 may supply the tactile sensation providing unit 240 with a drive signal obtained by processing the received contact data. Specifically, the control unit 250 may supply a drive signal that increases the amplitude in the received data relating to contact and drives the tactile sensation providing unit 240 with the increased amplitude.

同様に、ステップＳ２０において、通信端末１の制御部１５０は、好適には接触に関するデータに基づき触感呈示部１４０に駆動信号を供給するとしたが、この際の駆動信号は、通信端末２における触感を通信端末１において忠実に再現するものに限られない。例えば制御部１５０は、受信した接触に関するデータを加工した駆動信号を触感呈示部１４０に供給してもよい。具体的には制御部１５０は、受信した接触に関するデータにおける振幅を増大し、当該増大した振幅で触感呈示部１４０を駆動させるような駆動信号を供給してもよい。 Similarly, in step S20, the control unit 150 of the communication terminal 1 preferably supplies a drive signal to the tactile sensation providing unit 140 based on the data related to contact. It is not limited to those faithfully reproduced in the communication terminal 1. For example, the control unit 150 may supply the tactile sensation providing unit 140 with a drive signal obtained by processing the received contact data. Specifically, the control unit 150 may supply a drive signal that increases the amplitude in the received data relating to contact and drives the tactile sensation providing unit 140 with the increased amplitude.

なお、本実施の形態においては、通信端末１及び通信端末２は、ネットワーク３を介して通信をする例を示したがこれに限られない。例えば通信端末１及び通信端末２は、ネットワーク３を介さない、すなわちＲＦＩＤ、赤外線通信（ＩｒＤＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）（ＩＥＥＥ８０２．１５．４）、ＩＥＥＥ８０２．１１等の近距離無線通信でもテレビ電話、接触に関するデータ及び触感に関するデータを送信するようにしてもよい。 In the present embodiment, the communication terminal 1 and the communication terminal 2 have shown an example in which communication is performed via the network 3, but the present invention is not limited to this. For example, the communication terminal 1 and the communication terminal 2 do not pass through the network 3, that is, near the RFID, infrared communication (IrDA), Bluetooth (registered trademark), Zigbee (registered trademark) (IEEE 802.15.4), IEEE 802.11, and the like. You may make it transmit the video telephone, the data regarding a contact, and the data regarding a tactile sensation also by distance wireless communication.

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。 Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and corrections based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, the functions included in each means, each step, etc. can be rearranged so that there is no logical contradiction, and a plurality of means, steps, etc. can be combined or divided into one. .

１通信端末
２通信端末
３ネットワーク
１１０通信部
１２０触感センサ
１３０表示部
１４０触感呈示部
１５０制御部
２１０通信部
２２０触感センサ
２３０表示部
２４０触感呈示部
２５０制御部 DESCRIPTION OF SYMBOLS 1 Communication terminal 2 Communication terminal 3 Network 110 Communication part 120 Tactile sensor 130 Display part 140 Tactile sense presentation part 150 Control part 210 Communication part 220 Tactile sensor 230 Display part 240 Tactile sense presentation part 250 Control part

Claims

A communication system comprising two communication terminals capable of communicating by video phone,
One terminal of the two communication terminals is set to a transmission mode for transmitting data related to contact, and the image corresponding to the face image or the part other than the face (head, neck, shoulder, etc.) in the partner image is displayed. When contact is detected at the corresponding position, data related to the contact is transmitted,
The other terminal of the two communication terminals is set to a reception mode for receiving contact data, displays the partner image, and performs output control based on the received contact data. .

The communication system according to claim 1, wherein the output control is display control of a locus corresponding to the contact based on the data related to the contact.

The communication system according to claim 1, wherein the output control is tactile sensation presentation control based on data related to the contact.

A communication unit that communicates with other communication terminals via videophone,
A display unit for displaying the partner image;
A tactile sensor for detecting contact;
The touch sensor detects the contact at the position corresponding to the face image or the position corresponding to the image of the part other than the face (head, neck, shoulder, etc.) in the counterpart image in the transmission mode for transmitting data related to the contact. A control unit that transmits data related to the contact to the other communication terminal by the communication unit;
A communication terminal.

A display unit;
A communication unit that communicates with other communication terminals via videophone,
Set the reception mode to receive data related to contact,
Corresponds to the position corresponding to the face image or the image of the part other than the face (head, neck, shoulder, etc.) among the partner images sent in the transmission mode in which the communication unit transmits the data related to the contact from the other communication terminal. When receiving data relating to contact at a position, the control unit displays the partner image on the display unit and performs output control based on the received data on the contact;
A communication terminal.

A communication method comprising two communication terminals capable of communicating via a video phone,
One of the two communication terminals is set to a transmission mode in which data related to contact is transmitted, and a position corresponding to the face image or an image of a part other than the face (head, neck, shoulder, etc.) in the partner image. A step of transmitting data related to the contact when detecting a contact at a corresponding position;
The other terminal of the two communication terminals is in a reception mode for receiving data related to contact, displays the partner image, and performs output control based on the received data related to the contact;
Including a communication method.

A communication terminal communicating with another communication terminal via a videophone;
A display step in which the communication terminal displays a partner image;
The communication terminal detecting contact at a position corresponding to an image of a position corresponding to a face image or a part other than the face (head, neck, shoulder, etc.) of the counterpart image;
The communication terminal is in a transmission mode for transmitting data related to contact, and in the partner image, contact at a position corresponding to a face image or a position corresponding to an image of a part other than the face (head, neck, shoulder, etc.) If detected, transmitting data related to the contact to another communication terminal;
Including a communication method.

A communication step in which a communication terminal communicates with another communication terminal by a videophone;
Set the reception mode to receive data related to contact,
Corresponding to the image corresponding to the face image or the part other than the face (head, neck, shoulder, etc.) among the partner images sent by the communication terminal in the transmission mode for transmitting the contact data from the other communication terminal A control step of displaying the partner image and controlling the output based on the received data relating to the contact when receiving data relating to the contact at the position to be performed;
Including a communication method.