JP2021061011A - Method for generating captured image for display windows, and device of the same - Google Patents
Method for generating captured image for display windows, and device of the same Download PDFInfo
- Publication number
- JP2021061011A JP2021061011A JP2020205850A JP2020205850A JP2021061011A JP 2021061011 A JP2021061011 A JP 2021061011A JP 2020205850 A JP2020205850 A JP 2020205850A JP 2020205850 A JP2020205850 A JP 2020205850A JP 2021061011 A JP2021061011 A JP 2021061011A
- Authority
- JP
- Japan
- Prior art keywords
- display window
- image
- captured image
- area
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04804—Transparency, e.g. transparent or translucent windows
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
Abstract
Description
本発明は、画面上に表示されたディスプレイウィンドー間においてキャプチャイメージを生成する方法及びそのデバイスに係り、さらに詳細には、受信されたユーザ入力に基づいて、複数個のディスプレイウィンドー間でキャプチャイメージを生成して移動させる方法及びそのデバイスに関する。 The present invention relates to a method and a device thereof for generating a captured image between display windows displayed on a screen, and more specifically, capturing between a plurality of display windows based on received user input. It relates to a method of generating and moving an image and its device.
複数個のアプリケーションを同時に実行すう端末機器において、マルチウィンドー体制(multi window framework)を介して、アプリケーション間の相互作用が可能である。また、マルチウィンドー体制の場合、同一のアプリケーションを同時に複数個のウィンドーを介して実行することもできる。 In a terminal device that executes a plurality of applications at the same time, it is possible to interact between the applications via a multi-window framework. Further, in the case of a multi-window system, the same application can be executed through a plurality of windows at the same time.
既存の端末器機環境では、複数個のアプリケーションを同時に実行しても、それぞれのアプリケーションが全体画面で実行されるために、同時に複数個のアプリケーションを実行して操作するのが容易ではない。 In the existing terminal environment, even if a plurality of applications are executed at the same time, each application is executed on the entire screen, so that it is not easy to execute and operate the plurality of applications at the same time.
本発明は、マルチウィンドー体制を介して、同時に実行される複数個のアプリケーション間でデータを移動させ、アプリケーション間の相互作用を活性化させるところに課題がある。 The present invention has a problem in moving data between a plurality of applications executed at the same time via a multi-window system and activating the interaction between the applications.
前記技術的課題を解決するための画面上に表示されたディスプレイウィンドーに対するキャプチャイメージを生成する方法は、画面上に表示された複数個のディスプレイウィンドーにおいて、キャプチャの対象になる第1ディスプレイウィンドーを決める段階と、ユーザ入力に基づいて、決定された第1ディスプレイウィンドーに表示されたデータをキャプチャする段階と、キャプチャによって生成されたキャプチャイメージを、第1ディスプレイウィンドーのサイズで、第1ディスプレイウィンドーにオーバーラップして表示する段階と、を含む。 A method of generating a captured image for a display window displayed on the screen for solving the above technical problem is a method of generating a captured image for a plurality of display windows displayed on the screen, in a first display window to be captured. The stage of deciding the door, the stage of capturing the data displayed in the determined first display window based on the user input, and the capture image generated by the capture are displayed in the size of the first display window. 1 Includes a stage of overlapping and displaying on the display window.
前記技術的課題を解決するための一実施形態によれば、表示する段階は、第1ディスプレイウィンドーが複数個である場合、キャプチャイメージを複数個の第1ディスプレイウィンドーそれぞれにオーバーラップして表示する段階を含むことを特徴とする。 According to one embodiment for solving the technical problem, in the display stage, when there are a plurality of first display windows, the captured image is overlapped with each of the plurality of first display windows. It is characterized by including a display stage.
前記技術的課題を解決するための一実施形態によれば、表示する段階は、第1ディスプレイウィンドーが全体画面モード・ディスプレイウィンドーである場合、キャプチャイメージを、第1ディスプレイウィンドーの一部領域に表示する段階を含むことを特徴とする。 According to one embodiment for solving the technical problem, when the first display window is a full screen mode display window, the capture image is displayed as a part of the first display window. It is characterized by including a stage of displaying in an area.
前記技術的課題を解決するための一実施形態によれば、イメージキャプチャ方法は、表示されたキャプチャイメージの一部または全部を、第2ディスプレイウィンドーに挿入する段階をさらに含むことを特徴とする。 According to one embodiment for solving the technical problem, the image capture method further includes a step of inserting a part or all of the displayed captured image into the second display window. ..
前記技術的課題を解決するための一実施形態によれば、キャプチャイメージの一部または全部を挿入する段階は、キャプチャイメージを既設定時間以上タッチし、タッチを第2ディスプレイウィンドーに向けてドラッグするユーザ入力に基づいて、キャプチャイメージの一部または全部を、第2ディスプレイウィンドーに挿入することを特徴とする。 According to one embodiment for solving the technical problem, at the stage of inserting a part or all of the captured image, the captured image is touched for a set time or more, and the touch is dragged toward the second display window. It is characterized in that a part or all of the captured image is inserted into the second display window based on the user input.
前記技術的課題を解決するための一実施形態によれば、表示されたキャプチャイメージの所定領域を決定する段階と、決定された領域のイメージを切り取る段階をさらに含み、キャプチャイメージの一部または全部を、第2ディスプレイウィンドーに挿入する段階は、切り取られたイメージを、第2ディスプレイウィンドーに挿入することを特徴とする。 According to one embodiment for solving the technical problem, a step of determining a predetermined area of the displayed captured image and a step of cutting out the image of the determined area are further included, and a part or all of the captured image is included. Is inserted into the second display window, characterized in that the clipped image is inserted into the second display window.
前記技術的課題を解決するための一実施形態によれば、所定領域を決定する段階は、表示されたキャプチャイメージ上に、ユーザによって選択された領域を表示する段階と、表示された領域を修正する段階と、を含み、修正された領域のキャプチャイメージが、第2ディスプレイウィンドーに挿入されることを特徴とする。 According to one embodiment for solving the technical problem, the step of determining a predetermined area is the step of displaying the area selected by the user on the displayed capture image and the step of modifying the displayed area. It is characterized in that the captured image of the modified area including the step of performing is inserted into the second display window.
前記技術的課題を解決するための一実施形態によれば、表示された領域を修正する段階は、ユーザが表示された領域をタッチし、タッチされた時点から、既設定時間以内にタッチをドラッグすることによって、表示された領域をキャプチャイメージ内の他の領域に移動させることを特徴とする。 According to one embodiment for solving the technical problem, the step of modifying the displayed area is to touch the displayed area by the user and drag the touch within a preset time from the touched time. By doing so, the displayed area is moved to another area in the captured image.
前記技術的課題を解決するための一実施形態によれば、表示された領域を修正する段階は、ユーザが、表示された領域をピンチング(pinching)またはアンピンチング(unpinching)することによって、表示された領域のサイズを変更することを特徴とする。 According to one embodiment for solving the technical problem, the step of modifying the displayed area is displayed by the user pinching or unpinching the displayed area. It is characterized by changing the size of the area.
前記技術的課題を解決するための一実施形態によれば、ユーザによって選択された領域は、キャプチャイメージ上に閉曲線を描くユーザのタッチ入力に基づいて選択されたことを特徴とする。 According to one embodiment for solving the technical problem, the area selected by the user is selected based on the touch input of the user who draws a closed curve on the captured image.
前記技術的課題を解決するための一実施形態によれば、所定領域を決定する段階は、所定領域に対するユーザのタッチが、既設定時間以上維持されることによって、所定領域を、切り取りイメージとして決定することを特徴とする。 According to one embodiment for solving the technical problem, at the stage of determining a predetermined area, the predetermined area is determined as a cut image by maintaining the user's touch on the predetermined area for a set time or longer. It is characterized by doing.
前記技術的課題を解決するための一実施形態によれば、切り取られたイメージは、決定された領域のイメージより小サイズに決定されたイメージ上にオーバーラップされて表示されることを特徴とする。 According to one embodiment for solving the technical problem, the clipped image is displayed so as to be overlapped on the determined image to be smaller in size than the image of the determined area. ..
前記技術的課題を解決するための一実施形態によれば、第1ディスプレイウィンドーを決定する段階は、画面上の所定のボタンがタッチされることによって、表示された複数個のディスプレイウィンドーのうち活性化されたウィンドーを、第1ディスプレイウィンドーとして決定することを特徴とする。 According to the embodiment for solving the technical problem, the step of determining the first display window is that the plurality of display windows displayed by touching a predetermined button on the screen are displayed. The activated window is determined as the first display window.
前記技術的課題を解決するための一実施形態によれば、第1ディスプレイウィンドーを決定する段階は、画面上の所定のボタンがタッチされることによって、表示された複数個のディスプレイウィンドーのうち活性化されたウィンドーを除いたウィンドーを、第1ディスプレイウィンドーとして決定することを特徴とする。 According to the embodiment for solving the technical problem, the step of determining the first display window is that the plurality of display windows displayed by touching a predetermined button on the screen are displayed. The window excluding the activated window is determined as the first display window.
前記技術的課題を解決するための一実施形態によれば、第2ディスプレイウィンドーに挿入する段階は、第2ディスプレイウィンドーに対応するアプリケーションが、第2ディスプレイウィンドーに表示された画面内にイメージを挿入する機能を提供すれば、キャプチャイメージを、第2ディスプレイウィンドーに挿入することを特徴とする。 According to the embodiment for solving the technical problem, the stage of inserting into the second display window is such that the application corresponding to the second display window is displayed in the screen displayed in the second display window. If the function of inserting an image is provided, the captured image is inserted into the second display window.
前記技術的課題を解決するための一実施形態によれば、キャプチャイメージは、第1ディスプレイウィンドーのサイズで、第1ディスプレイウィンドーの位置と同一位置にオーバーラップされて表示されることを特徴とする。 According to one embodiment for solving the technical problem, the captured image is displayed in the size of the first display window and overlapped with the position of the first display window. And.
前記技術的課題を解決するためのキャプチャイメージ生成デバイスは、デバイスへのユーザ入力を受信するユーザ入力部と、画面上に表示された複数個のディスプレイウィンドーのうちキャプチャの対象になる第1ディスプレイウィンドーを決定し、ユーザ入力に基づいて、決定された第1ディスプレイウィンドーに表示されたデータをキャプチャするキャプチャ部と、キャプチャによって生成されたキャプチャイメージを、第1ディスプレイウィンドーのサイズで、第1ディスプレイウィンドーにオーバーラップして表示するディスプレイ部と、を含む。 The capture image generation device for solving the technical problem includes a user input unit that receives user input to the device and a first display that is a target of capture among a plurality of display windows displayed on the screen. The capture unit that determines the window and captures the data displayed in the determined first display window based on the user input, and the captured image generated by the capture are displayed in the size of the first display window. Includes a display unit that overlaps and displays on the first display window.
前記技術的課題を解決するためのキャプチャイメージ生成方法を、コンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。 Provided is a computer-readable recording medium in which a program for executing a captured image generation method for solving the above technical problems is recorded on a computer.
本発明によれば、マルチウィンドー体制で複数個のアプリケーション間に、イメージまたはテキストなどデータを移動させることができる。移動されるデータを介して、ユーザは複数個のアプリケーション間の直観的な相互作用を期待することができる。 According to the present invention, data such as an image or text can be moved between a plurality of applications in a multi-window system. Through the data being moved, users can expect intuitive interactions between multiple applications.
明細書全体で、画面に表示されたデータを「キャプチャ」するとするとき、それは、表示される「イメージまたはテキスト」を獲得する場合だけではなく、「表示されるイメージまたはテキストに係わる情報」を獲得する場合も含む。例えば、表示されるイメージまたはテキストをキャプチャする場合、イメージまたはテキストに係わるURI(uniform resource identifier)情報、インテント(intent)情報などを共に獲得することができる。また、ある部分がある構成要素を「含む」とするとき、それは、特別に反対になる記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含むことができるということを意味する。 When you "capture" the data displayed on the screen throughout the statement, it is not only when you get the "image or text" that is displayed, but also when you get the "information about the image or text that is displayed". Including the case of doing. For example, when capturing a displayed image or text, it is possible to acquire both URI (uniform resource identifier) information and intent information related to the image or text. Also, when a component is referred to as "contains" a component, it means that it may further include other components rather than excluding other components, unless otherwise stated to be the opposite. Means.
以下では、図面を参照しつつ、本発明の実施形態について詳しく説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の一実施形態による、画面上にオーバーラップされて表示される複数個のディスプレイウィンドーを図示した図面である。
図1に図示されたように、本発明の一実施形態による画面上には、複数個のディスプレイウィンドー10,20,30,40がオーバーラップされて表示される。ピンナップ(pin-up)・ディスプレイウィンドー10は、画面の最上位に表示されるように設定されたウィンドーであり、画面上に、他のディスプレイウィンドーと共に表示される場合、いつも画面の最上位に表示される。また、ピンナップ・ディスプレイウィンドー10の既設定領域には、別途のアイコン5が共に表示されてもよい。例えば、ピンナップ・ディスプレイウィンドー10には、ピン模様のアイコン5が、ピンナップ・ディスプレイウィンドー10に刺さったように表示されてもよい。
FIG. 1 is a drawing illustrating a plurality of display windows that are overlapped and displayed on a screen according to an embodiment of the present invention.
As illustrated in FIG. 1, a plurality of
全体画面モード・ディスプレイウィンドー20は、画面の全体に表示されるように設定されたウィンドーであり、画面のサイズと同一サイズで画面に表示される。
The full screen
部分画面モード・ディスプレイウィンドー30は、画面の一部に表示されるように設定されたウィンドーであり、画面サイズより小サイズのウィンドーを支援するアプリケーションに適する。また、部分画面モード・ディスプレイウィンドー30は、、例えば、チャット、メモなどを提供するアプリケーションと共に、重複してウィンドーをディスプレイできるアプリケーションに適する。
The partial screen
また、フリーサイズモード・ディスプレイウィンドー40は、画面の一部に表示されてユーザ入力によって、サイズが自由に調節されるウィンドーである。また、ディスプレイウィンドー10,20,30,40は、互いにオーバーラップされて表示されてもよく、アプリケーションの種類によって、ディスプレイウィンドー10,20,30,40において、所定のウィンドーが表示されてもよい。
Further, the one-size-fits-all
図2は、本発明の一実施形態によるディスプレイウィンドー間で、キャプチャイメージを移動させるデバイス100の構成を図示したブロック図である。一実施形態によるデバイス100は、ユーザ入力受信部110、キャプチャ部120、ディスプレイ部130、制御部140及びメモリ150を含む。
FIG. 2 is a block diagram illustrating a configuration of a
以下では、デバイス100が、デバイス100に含まれた構成を利用し、複数個のディスプレイウィンドー間で、キャプチャイメージを移動させる過程について説明する。
In the following, the process of moving the captured image between the plurality of display windows by the
ユーザ入力受信部110は、デバイス100へのユーザ入力を受信する。ユーザは、デバイス100の画面で、所定の位置をタッチすることができ、ユーザ入力受信部110は、ユーザのタッチによるユーザ入力を受信することができる。ユーザ入力受信部110は、キーボード、マウス、スタイラス(stylus)などのような入力ツールを介するユーザ入力を受信することもできる。
The user
ユーザ入力受信部110は、デバイス100上のディスプレイウィンドーに表示されるデータをキャプチャするための入力を受信することができる。一実施形態によれば、ユーザ入力受信部110は、データをキャプチャするための入力として、ディスプレイウィンドーに表示される既設定のボタンを選択する入力を受信することができる。
The user
ユーザ入力受信部110は、、キャプチャによって生成されたキャプチャイメージの一部を選択する入力も受信することができる。例えば、ユーザ入力受信部110は、キャプチャイメージ上に、閉曲線を描くために、タッチ及びドラッグする入力をキャプチャイメージのうち一部領域を選択する入力として受信することができる。以上では、ユーザ入力受信部110が、ディスプレイウィンドーの画面をキャプチャし、キャプチャされたイメージの一部を選択するユーザ入力を受信すると説明したが、それに制限されるものではない。ユーザ入力受信部110は、ディスプレイウィンドーの画面一部領域をすぐにキャプチャするためのユーザ入力を受信することもできる。例えば、ユーザ入力部110は、キャプチャイメージの所定地点をタッチする入力を受信することができ、タッチされた地点から所定範囲内の領域が、キャプチャされもする。
The user
他の例を挙げれば、ユーザ入力受信部110は、テキストを選択する入力を受信することもできる。ユーザ入力受信部110が受信するテキスト選択入力は、一部テキストをドラッグする入力である。ただし、ユーザ入力受信部110が受信するデータを選択する入力は、前述の実施形態に制限されるものではない。例えば、画面上の2以上の位置を選択することにより、所定領域を選択する入力を受信するように、ユーザ入力受信部110は、多種のユーザ入力を受信することができる。
To give another example, the user
また、ユーザ入力受信部110は、キャプチャされたデータを移動させるための入力を受信することができる。ユーザ入力受信部110は、、キャプチャされたデータを選択して移動させる入力を受信するにおいて、タッチ(touch)、ドラッグ・アンド・ドロップ(drag and drop)、ロングタップ(long tap)またはホールド(hold)など、さまざまな種類の動作を介して、ユーザ入力を受信することができる。また、ユーザ入力受信部110は、キャプチャされたデータのうち一部を選択する入力と共に、選択された一部のデータを移動させる入力も受信することができる。データは、例えば、イメージ、テキスト及び動画を含んでもよいが、それに制限されるものではない。
In addition, the user
また、ユーザ入力受信部110は、データのキャプチャを終了するユーザ入力も受信することができる。キャプチャされたデータを、第2ディスプレイウィンドーにそれ以上移動する必要がない場合、ユーザ入力受信部110は、ユーザからキャプチャを終了するユーザ入力を受信することができる。
The user
キャプチャ部120は、、第1ディスプレイウィンドーに表示されたデータをキャプチャする。第1ディスプレイウィンドーに表示されたデータは、静止画像、動画またはテキストなど多種のデータになる。ただし、キャプチャ部120がキャプチャするデータは、かようなイメージまたはテキストに限定されるものではなく、ディスプレイウィンドーに表示されるいかなるものでもその対象になる。
The
キャプチャ部120は、ユーザ入力受信部110が受信したユーザ入力に基づいて、第1ディスプレイウィンドーに表示されるデータをキャプチャすることができる。前述のように、ユーザ入力受信部110が第1ディスプレイウィンドーに表示される既設定のボタンを選択する入力を受信する場合、キャプチャ部120は、表示されるデータをキャプチャすることができる。
The
具体的には、キャプチャ部120は、デバイス100の画面に表示された複数のディスプレイウィンドーのうち、キャプチャ対象になる第1ディスプレイウィンドーを決定することができる。キャプチャ部120は、デバイス100の画面上の所定のボタンがタッチされることによって、デバイス100の画面に表示された複数個のディスプレイウィンドーのうち活性化されたウィンドーを、第1ディスプレイウィンドーとして決定することができる。
Specifically, the
また、キャプチャ部120は、デバイス100の画面上の所定のボタンがタッチされることによって、デバイス100の画面に表示された複数個のディスプレイウィンドーのうち活性化されたウィンドーを除いたウィンドーを、第1ディスプレイウィンドーとして決定することもできる。また、デバイス100の画面上に、3個以上のディスプレイウィンドーが表示された場合に、2以上のディスプレイウィンドーをそれぞれ第1ディスプレイウィンドーとして決定することもできる。
Further, the
また、キャプチャ部120は、第1ディスプレイウィンドーに表示されたデータをキャプチャし、キャプチャによって生成されたキャプチャイメージの一部または全部を、切り取りイメージとして決定することができる。キャプチャ部120は、ユーザ入力に基づいて、キャプチャイメージ上の所定領域を決定し、決定されたイメージを切り取ることができる。例えば、キャプチャ部120は、キャプチャイメージ上に閉曲線を描くユーザ入力に基づいて、閉曲線に含まれた領域を、切り取りイメージとして決定することができる。また、キャプチャ部120は、ユーザによってタッチされた所定地点から既設定範囲内の領域を、切り取りイメージとして決定することができる。
In addition, the
また、キャプチャイメージ内の所定領域は、ユーザによって選択されて修正されてもよく、キャプチャ部120は、修正された領域のイメージを、切り取りイメージとして決定することができる。ユーザによって選択された領域をユーザがタッチし、タッチされた時点から、既設定時間以内にタッチをドラッグすることによって、タッチされた領域がキャプチャイメージ内の他の領域に移動される。
Further, the predetermined area in the captured image may be selected and modified by the user, and the
また、キャプチャ部120は、移動された領域のイメージを切り取ることができる。また、ユーザによって選択された領域を、ユーザがピンチング(pinching)またはアンピンチング(unpinching)することによって、選択された領域のサイズが変更されてもよく、キャプチャ部120は、サイズが変更された領域のイメージを切り取ることができる。また、キャプチャ部120は、ユーザによって選択及び修正された領域に対するタッチ入力が、既設定時間以上維持されれば、選択及び修正された領域を、切り取りイメージとして決定することができる。
In addition, the
キャプチャ部120は、第1ディスプレイウィンドーに表示されるデータをイメージまたはテキストとしてキャプチャすることができる。また、キャプチャ部120は、キャプチャされたデータのうち一部領域を選択することができる。前述のようにに、ユーザ入力受信部110が、キャプチャされた画面イメージの一部領域を選択する入力を受信した場合、キャプチャ部120は、受信されたユーザ入力に基づいて、キャプチャされたイメージの一部領域を選択することができる。
The
また、ユーザ入力受信部110が一部テキストを選択する入力を受信した場合、キャプチャ部120は、受信されたユーザ入力に基づいて、キャプチャされたテキストの一部テキストを選択することもできる。キャプチャ部120がキャプチャするテキストは、表示されるデータのうち、文字データ、URI(uniform resource identifier)データまたはインテント(intent)データなどが含まれてもよい。
Further, when the user
また、キャプチャ部120は、第1ディスプレイウィンドーに表示されるデータが動画である場合、ユーザ入力に基づいて表示される動画のURIデータまたはインテントデータをキャプチャすることもできる。例えば、キャプチャ部120は、第1ディスプレイウィンドーに表示される動画のインターネットアドレス及び/または動画についての情報をキャプチャすることができる。一方、キャプチャ部120によってキャプチャされる情報は、動画題目、内容、登場人物に係わる情報を含んでもよい。キャプチャされた動画の題目は、第2ディスプレイウィンドーにテキストの形態に挿入され、キャプチャされた動画のインターネットアドレスが、第2ディスプレイウィンドーにリンク形態で挿入されもする。
Further, when the data displayed in the first display window is a moving image, the
ディスプレイ部130は、キャプチャ部120によってキャプチャされたデータを、第2ディスプレイウィンドーに挿入して表示する。キャプチャされたデータは、キャプチャイメージであってもよい。ディスプレイ部130は、ユーザ入力受信部110が受信したユーザ入力に基づいて、キャプチャ部120がキャプチャしたデータを、第2ディスプレイウィンドーに挿入して表示することができる。
The
例えば、ユーザ入力受信部110が、第1ディスプレイウィンドーの所定領域をタッチすることによってキャプチャされたデータを選択し、ドラッグ・アンド・ドロップを介して選択されたデータを、第2ディスプレイウィンドーに移動させる入力を受信した場合、ディスプレイ部130は、キャプチャされたデータを、第2ディスプレイウィンドーに挿入して表示することができる。また、ユーザ入力受信部110が、キャプチャされたデータのうち一部を移動させる入力を受信する場合、ディスプレイ部130は、キャプチャされたデータのうち一部の領域または一部テキストを、第2ディスプレイウィンドーに挿入して表示することができる。
For example, the
具体的には、ディスプレイ部130は、キャプチャ部120によって生成されたキャプチャイメージを、第1ディスプレイウィンドーにオーバーラップして表示し、表示されたキャプチャイメージの一部または全部を、第2ディスプレイウィンドーに挿入して表示することができる。その場合、キャプチャイメージは、第1ディスプレイウィンドーと同一サイズで、第1ディスプレイウィンドーの位置と同一位置にオーバーラップされて表示されてもよい。しかし、それに制限されるものではない。
Specifically, the
また、ディスプレイ部130は、キャプチャ部120によって決定されたキャプチャイメージの一部を、第2ディスプレイウィンドーに挿入して表示することができる。具体的には、ディスプレイ部130は、キャプチャイメージに対するユーザ入力に基づいて、ユーザが選択した領域をキャプチャイメージ上に表示することができる。また、ユーザが、表示された領域を移動したり、あるいは表示された領域のサイズを変更することによって、ディスプレイ部130は、表示された領域を移動または変更して表示することができる。
Further, the
また、キャプチャイメージの一部領域が選択され、既設定時間以上、選択された領域がタッチされることによって、キャプチャ部120は、タッチされた領域のイメージを切り取ることができ、ディスプレイ部130は、切り取られたイメージを、タッチされた領域のイメージより小さく縮小し、前記タッチされた領域上にオーバーラップして表示することができる。また、切り取られたイメージに対するタッチが、第2ディスプレイウィンドーに向けてドラッグされれば、ディスプレイ部130は、切り取られたイメージを、第2ディスプレイウィンドーに移動させることもできる。
Further, when a part of the captured image is selected and the selected area is touched for the set time or longer, the
また、ディスプレイ部130は、第2ディスプレイウィンドーに対応するアプリケーションが、前記第2ディスプレイウィンドーに表示された画面内にイメージを挿入する機能を提供すれば、キャプチャイメージの全部または一部を、第2ディスプレイウィンドーに挿入することができる。
Further, if the application corresponding to the second display window provides a function of inserting an image into the screen displayed in the second display window, the
また、ディスプレイ部130は、キャプチャイメージを既設定時間以上タッチし、タッチを前記第2ディスプレイウィンドーに向けてドラッグするユーザ入力に基づいて、キャプチャイメージの一部または全部を、第2ディスプレイウィンドーに挿入して表示することもできる。
Further, the
一実施形態によれば、ディスプレイ部130は、ユーザ入力受信部110がドラッグ・アンド・ドロップ動作を受信する場合において、第2ディスプレイウィンドーで、ドロップ動作が終わる位置にデータを挿入して表示することができる。それについては、図4で詳細に説明する。また、ディスプレイ部130は、ドロップ動作の終わる位置が、第2ディスプレイウィンドーに含まれた所定のフィールドである場合、キャプチャされたデータを、ドロップ動作が終わった位置のフィールドに挿入して表示することもできる。
According to one embodiment, when the user
また、ディスプレイ部130は、第2ディスプレイウィンドーで、キャプチャされたデータ(例えば、イメージまたはテキスト)が表示される領域のサイズに基づいて、挿入されるデータの画面上のサイズを調節することもできる。すなわち、第2ディスプレイウィンドーの画面サイズが、キャプチャされたデータの画面サイズより小さい場合、ディスプレイ部130は、キャプチャされたデータの画面上のサイズを縮小し、第2ディスプレイウィンドーに挿入させることができる。または、第2ディスプレイウィンドー自体の画面上のサイズとは関係なく、データが挿入されて表示される領域の画面上のサイズが小さい場合(例えば、カレンダーが表示されるディスプレイウィンドーで、各日付に該当する領域の場合)、ディスプレイ部130は、当該領域のサイズに合わせて挿入させ、表示するデータの画面上のサイズを縮小させることもできる。
The
また、例えば、ディスプレイ部130は、第2ディスプレイウィンドーに、キャプチャされたイメージまたはテキストを挿入して表示することができる。また、ディスプレイ部130は、キャプチャされたデータ(例えば、イメージ、テキスト)と共に、キャプチャされたデータに対応するリンク情報を共に第2ディスプレイウィンドーに挿入することもできる。
Further, for example, the
また、ディスプレイ部130は、キャプチャされたデータを、キャプチャされていない領域と区分して表示することができる。すなわち、ディスプレイ部130は、データがキャプチャされた後、ユーザ入力受信部110がキャプチャを終了するユーザ入力を受信するまで、表示されるデータのうち、キャプチャされた領域と、キャプチャされていない領域とを区分して表示することができる。例えば、第1ディスプレイウィンドーに表示されるデータのうち、キャプチャされていない領域を、キャプチャされた領域より暗く表示したり、あるいは、キャプチャされていない領域の色相、彩度、明度のうち少なくとも一つを変更して表示することができる。
In addition, the
また、ディスプレイ部130は、キャプチャ部120でキャプチャしたデータが、動画についての情報である場合、キャプチャされた動画情報を、第2ディスプレイウィンドーに挿入することができる。すなわち、第2ディスプレイウィンドーで、メモ帳アプリケーションが実行される場合、ディスプレイ部130は、動画の題目を、第2ディスプレイウィンドーに、テキスト形態で挿入して表示することができる。また、ディスプレイ部130は、動画のインターネットアドレスをリンクする形態で、挿入して表示することもできる。また、第2ディスプレイウィンドーで、ウェブブラウザ・アプリケーションが実行される場合、ディスプレイ部130は、第2ディスプレイウィンドーのウェブブラウザ・アプリケーションに、当該インターネットアドレスをすぐ連結させ、キャプチャされた動画、が第2ディスプレイウィンドーで実行されるように、キャプチャされた動画情報を挿入して表示することもできる。
Further, when the data captured by the
制御部140は、デバイス100の全体の動作を制御し、デバイス100に表示される複数個のディスプレイウィンドー間で、データを移動させることができるように、ユーザ入力受信部110、キャプチャ部120、ディスプレイ部130及びメモリ150を制御する。
The
メモリ150は、デバイス100に表示される複数個のディスプレイウィンドー間で、データを移動させるための各種情報を保存する。例えば、メモリ150は、ユーザ入力受信部110が受信したユーザ入力、キャプチャ部120がキャプチャしたイメージまたはテキストデータ、及びディスプレイ部130が挿入させて表示するデータなどを保存することができる。また、メモリ150は、ユーザ入力受信部110、キャプチャ部120、ディスプレイ部130及び制御部140の間で送受信される情報も保存することができる。
The
以下では、デバイス100が含む構成を利用し、複数個のディスプレイウィンドー間でデータを移動させる方法について、図3で説明する。
図3は、本発明の一実施形態によるデータ移動方法を図示したフローチャートである。図3に図示されたフローチャートは、図2に図示されたユーザ入力受信部110、キャプチャ部120、ディスプレイ部130、制御部140及びメモリ150で、時系列的に処理される段階で構成される。従って、以下で省略された内容であるとしても、図2で図示された構成について、以上で記述された内容は、図3に図示されたフローチャートにも適用されるということが分かる。
Hereinafter, a method of moving data between a plurality of display windows by using the configuration included in the
FIG. 3 is a flowchart illustrating a data movement method according to an embodiment of the present invention. The flowchart illustrated in FIG. 3 is configured by the user
段階310で、デバイス100は、キャプチャ対象になる第1ディスプレイウィンドーを決定する。第1ディスプレイウィンドーは、デバイス100の画面に表示される複数個のディスプレイウィンドーのうち、いずれか1つのウィンドーになる。一実施形態によれば、第1ディスプレイウィンドーは、複数個のウィンドーのうち、ユーザの選択によって、現在活性化されたいずれか1つのディスプレイウィンドーになり、一実施形態によれば、複数個のディスプレイウィンドーになってもよい。
At
例えば、デバイス100は、複数個のディスプレイウィンドーが表示された場合、ユーザは、動画を再生するいずれか1つのディスプレイウィンドーを、第1ディスプレイウィンドーとして決定することができる。このとき、デバイス100は、動画が再生されるいずれか1つのディスプレイウィンドー(すなわち、活性化されたディスプレイウィンドー)の任意の領域をタッチする外部入力信号によって、当該ディスプレイウィンドーを、第1ディスプレイウィンドーとして決定することができる。または、デバイス100は、活性化されたディスプレイウィンドーを除いたディスプレイウィンドーや、画面上に表示された複数個のディスプレイウィンドーを、いずれも第1ディスプレイウィンドーとして決定することもできる。
For example, when the
段階320で、デバイス100は、第1ディスプレイウィンドーに表示されたデータをキャプチャする。デバイス100は、画面上に表示されたキャプチャボタン(ディスプレイウィンドーをキャプチャする機能がマッチされたボタン)に該当する領域をタッチする入力に基づいて、第1ディスプレイウィンドーに表示されたデータをキャプチャすることができる。データをキャプチャするためのユーザ入力は、キャプチャボタン領域をタッチする入力だけではなく、キャプチャボタン領域を、一定時間以上タッチするロングタップ(long tap)入力になってもよい。
At
段階320で、デバイス100は、第1ディスプレイウィンドーに表示されるデータにおいて、上端または下端の状態バー(status bar)に該当する領域を除いた領域に該当するデータを、キャプチャすることができる。すなわち、デバイス100は、ディスプレイウィンドーで実行されるアプリケーションに該当する領域のみを、キャプチャすることができる。勿論、デバイス100は、ディスプレイウィンドー全体領域をキャプチャすることもできる。
In
段階330で、デバイス100は、キャプチャイメージを画面に表示する。キャプチャイメージとは、第1ディスプレイウィンドーに表示されたデータのうち、段階320でキャプチャされた映像または静止画像を意味することができる。
段階330で、キャプチャイメージは、第1ディスプレイウィンドーと同一サイズで画面に表示されてもよい。すなわち、第1ディスプレイウィンドーに表示されるデータをキャプチャしたキャプチャイメージは、第1ディスプレイウィンドーと同一サイズになり、それによって、第1ディスプレイウィンドーのようなサイズに表示されてもよい。
At
At
一方、前述の一実施形態によれば、第1ディスプレイウィンドーで、上端及び/または下端の状態バーを除いた領域がキャプチャされる場合、キャプチャイメージは、第1ディスプレイウィンドーより小サイズになる。このように、キャプチャイメージは、第1ディスプレイウィンドーより小サイズに表示されもする。 On the other hand, according to the above-described embodiment, when the area excluding the upper end and / or lower end state bars is captured in the first display window, the captured image is smaller in size than the first display window. .. In this way, the captured image is also displayed in a smaller size than the first display window.
また、キャプチャイメージが表示される位置と係わって、デバイス100は、キャプチャイメージを、第1ディスプレイウィンドー上にオーバーラップして表示することができる。すなわち、デバイス100は、第1ディスプレイウィンドーのようなサイズのキャプチャイメージを、第1ディスプレイウィンドーに上書きして表示することができる。第1ディスプレイウィンドーで動画が再生される場合、キャプチャイメージは、動画がキャプチャされた時点に該当する静止画像になり、かような静止画像は、動画にオーバーラップされて表示される(第1ディスプレイウィンドーでは、動画が続けて再生されることとは別途に)。
In addition, the
一方、他の実施形態によれば、段階330でキャプチャイメージは、第1ディスプレイウィンドーに完全にオーバーラップされるのではなく、第1ディスプレイウィンドーで実行されるアプリケーション(例えば、動画再生アプリケーション)を隠さないように、第1ディスプレイウィンドーの所定領域に表示されもする。すなわち、第1ディスプレイウィンドーで再生された動画について、第1ディスプレイウィンドーより小サイズのキャプチャイメージが生成された場合、キャプチャイメージは、第1ディスプレイウィンドーで再生される動画を隠さないように、第1ディスプレイウィンドーの下端または上端に表示されてもよい。それによって、ユーザは、第1ディスプレイウィンドーで実行された動画とは別個に、キャプチャイメージを確認することができる。
On the other hand, according to another embodiment, the captured image at
他の実施形態によれば、デバイス100は、別途のディスプレイウィンドーを追加して生成し、キャプチャイメージを新たなディスプレイウィンドーに表示することもできる。このとき、新たなディスプレイウィンドーは、デバイス100の画面上の既定領域に表示されてもよい。
According to another embodiment, the
一方、一実施形態によれば、キャプチャされる第1ディスプレイウィンドーが複数個である場合、段階330で、デバイス100は、それぞれの第1ディスプレイウィンドーでキャプチャされた複数個のキャプチャイメージを、それぞれの第1ディスプレイウィンドーにオーバーラップして表示することもできる。他の実施形態によれば、キャプチャされる第1ディスプレイウィンドーのサイズが、画面のサイズと同一の全体画面モード・ディスプレイウィンドーがキャプチャされる場合、デバイス100は、キャプチャイメージを、第1ディスプレイウィンドーの一部領域に、第1ディスプレイウィンドーより小サイズにディスプレイすることができる。
On the other hand, according to one embodiment, when there are a plurality of first display windows to be captured, in
図3で説明した段階310ないし段階330によれば、デバイス100は、ディスプレイウィンドーでキャプチャされたイメージを便利に管理することができる。すなわち、キャプチャ対象になったディスプレイウィンドーに、キャプチャイメージがオーバーラップ(または、オーバレイ(overlay))されて表示されることによって、ユーザは、別途のディスプレイウィンドーを介して、キャプチャイメージを編集する必要がなくなる。また、キャプチャイメージが、キャプチャ対象になったディスプレイウィンドーと同一サイズで同一の位置に表示され、ユーザインターフェース側面で、キャプチャされた対象を効率的に識別することができる。
According to
図4は、本発明の一実施形態によって、キャプチャされたイメージを移動させる実施形態について説明するフローチャートである。 FIG. 4 is a flowchart illustrating an embodiment in which the captured image is moved according to the embodiment of the present invention.
段階341で、デバイス100は、キャプチャイメージを画面に表示する。すなわち、図3で説明した段階330が遂行される。デバイス100は、キャプチャイメージをキャプチャ対象になった第1ディスプレイウィンドーと同一サイズで、第1ディスプレイウィンドーにオーバーラップして表示することができる。
At
段階342で、デバイス100は、キャプチャイメージのうち、第2ディスプレイウィンドーに移動させるための所定領域を選択する。すなわち、デバイス100は、外部入力信号によって、キャプチャイメージのうち第2ディスプレイウィンドーに挿入するための所定領域を決定することができる。
In
例えば、デバイス100は、閉曲線を描く外部入力信号によって、切り取る所定領域を決定することができ、他の例を挙げれば、デバイス100は、既定サイズ及び形状に該当する正方形を選択する外部入力信号によって、切り取る所定領域を決定することもできる。既定サイズ及び形状は、多様な形態になり、正方形だけではなく、円形、楕円形などさまざまな形態になる。
For example, the
一方、デバイス100は、決定された所定領域を、キャプチャイメージの他の領域と視覚的に区別されるように表示することができる。すなわち、デバイス100は、所定領域の色相、彩度及び明度のうち少なくとも一つを変更し、他の領域と区別されるように表示することができる。もちろん、デバイス100は、所定領域については、視覚的効果を適用せずに、所定領域以外の領域について、視覚的効果を適用して表示することもできる。例えば、デバイス100は、決定された所定領域は、そのまま表示し、それ以外の領域をいずれも黒い色で表現し、挿入される所定領域が目立つように表示することができる。
On the other hand, the
段階343で、デバイス100は、段階342で選択された領域を修正する。すなわち、デバイス100は、ユーザ入力によって選択された領域のサイズ及び/または位置を修正することができる。選択された領域のサイズは、ピンチング(pinching)またはアンピンチング(unpinching)入力によって修正され、デバイス100は、閉曲線を描く新たな入力によって選択された領域を新たに決定することもできる。いずれか1つの形態の図形を選択するユーザ入力によっても、選択された領域が修正されてもよい。
At
例えば、段階342で、ユーザが閉曲線を描く入力を介して所定領域を決定した場合、所定領域がユーザが所望する位置から外れることがある。それによって、ユーザは、所定領域の形態はそのまま維持し、位置を変更して第2ディスプレイウィンドーに挿入するためのキャプチャイメージの一部領域を決定することができる。このとき、所定領域の位置を変更するためのユーザ入力は、所定領域をタッチし、タッチされた時点から、既設定時間以内にタッチ入力をドラッグする入力になってもよい。
For example, in
段階344で、デバイス100は、段階342及び段階343で決定された所定領域を、第2ディスプレイウィンドーに挿入するために、第2ディスプレイウィンドーに移動させる。具体的に説明すれば、段階344で、デバイス100は、所定領域に対するタッチ入力が既設定時間以上維持されれば、所定領域を挿入するための切り取りイメージとして決定し、移動させることができる。すなわち、前述の内容のように、デバイス100が、所定領域を画面上に表示し、位置移動やサイズ調節など所定領域を修正すれば、ユーザは、所定領域を第2ディスプレイウィンドーに移動させるために、既設定時間以上タッチすることができる。デバイス100は、かようなユーザ入力によって、所定領域を挿入するイメージとして確定することができる。
At
一実施形態によれば、デバイス100は、挿入するイメージを決定するユーザ入力が受信されれば、所定領域より小サイズのイメージを、所定領域にオーバーラップして表示することができる。すなわち、既設定時間以上のタッチ入力によって、切り取りイメージが決定されれば、デバイス100は、切り取りイメージをユーザが容易に確認するように、所定領域より小サイズにオーバーラップして表示することができる。一方、デバイス100は、切り取りイメージのサイズを所定領域より大きいサイズにオーバーラップすることもできる。
According to one embodiment, the
また、デバイス100は、切り取りイメージの画面上位置を所定領域とは異なる位置に表示することができる。すなわち、正方形状の所定領域を例として挙げれば、デバイス100は、所定領域の中心になる位置と、切り取りイメージの中心になる位置とを既定範囲以内で異なるようにして表示することができる。具体的には、図10で詳細に説明する。それによって、切り取りイメージのサイズと位置が所定領域とは異なるように表現され、ユーザは、切り取りイメージを視覚的に容易に確認することができる。
Further, the
前述の内容によって、所定領域が画面上に表示されれば、デバイス100は、所定領域を第2ディスプレイウィンドーに移動させる。移動される所定領域は、、デバイス100がユーザ入力によって切り取ったイメージになってもよい。デバイス100は、所定領域を既設定時間以上タッチし、タッチ入力を第2ディスプレイウィンドーに向けてドラッグするユーザ入力に基づいて、所定領域を第2ディスプレイウィンドーに移動させることができる。
If the predetermined area is displayed on the screen according to the above contents, the
前述のように、デバイス100は、第1ディスプレイウィンドーでキャプチャされたキャプチャイメージの一部(所定領域)を移動させることができ、第1ディスプレイウィンドーでキャプチャされたイメージ全部を移動させることもできる。
As described above, the
段階345で、デバイス100は、所定領域を第2ディスプレイウィンドーに挿入して表示する。すなわち、ユーザ入力によって、所定領域が第2ディスプレイウィンドーに移動され、ドラッグ入力が終われば(ユーザが指を画面から離せば)、ドラッグ入力が終わる第2ディスプレイウィンドーの位置に所定領域を挿入することができる。
At
一方、デバイス100は、第2ディスプレイウィンドーに対応するアプリケーションが、イメージを挿入する機能を提供する場合、キャプチャイメージを、第2ディスプレイウィンドーに挿入することができる。すなわち、第2ディスプレイウィンドーに対応するアプリケーションが、イメージの挿入とは無関係のアプリケーションである場合、キャプチャイメージが挿入される必要はないので、デバイス100は、キャプチャイメージが挿入される機能のサポートいかんを確認し、キャプチャイメージを挿入することができる。
On the other hand, the
図5は、本発明の一実施形態によって、キャプチャされたイメージを移動させる実施形態について説明するフローチャートである。図4で説明した段階345で、デバイス100は、第2ディスプレイウィンドーに移動された所定領域を、第2ディスプレイウィンドーに挿入させて表示する。
FIG. 5 is a flowchart illustrating an embodiment in which the captured image is moved according to the embodiment of the present invention. At
次に、段階361で、デバイス100は、第2ディスプレイウィンドーに実行中のアプリケーションが、キャプチャイメージの挿入を支援するか否かが決定される。デバイス100が、キャプチャイメージの挿入を支援する場合、段階362に進み、支援しない場合、段階363に進む。
Next, in
段階362で、第2ディスプレイウィンドーと対応するアプリケーションが、メモ帳アプリケーションのように、キャプチャイメージの挿入が支援される場合、デバイス100は、段階350で移動させた所定領域を、第2ディスプレイウィンドーに挿入する。
In
一方、段階363で、デバイス100は、キャプチャイメージの挿入が支援されるものではないならば、所定領域を第2ディスプレイウィンドーに移動させても、それを挿入せずに無視する。
On the other hand, in
それによって、デバイス100は、キャプチャイメージが挿入されるディスプレイウィンドーと対応するアプリケーションの種類によって、キャプチャイメージを挿入するか否かを決定することができ、必要以上にイメージが挿入される場合を防止することができるようになる。
Thereby, the
図6A及び図6Bは、本発明の一実施形態によって、キャプチャされたイメージをオーバーラップして表示する過程を図示した図面である。図6Aの画面60上には、3個のディスプレイウィンドー61,62,63が表示され、デバイス100は、画面60の下端に表示されるバー(bar)に、データをキャプチャするためのキャプチャボタン65を表示する。
6A and 6B are drawings illustrating a process of overlapping and displaying captured images according to an embodiment of the present invention. Three
また、それぞれのディスプレイウィンドー61,62,63は、ディスプレイウィンドーを移動させるたり、あるいはディスプレイウィンドーに対して、最大化、最小化、クローズなど既定作業を遂行するためのステータスバー(statusbar)を含む。図6には、第1ディスプレイウィンドー63についてのみステータスバー64の識別番号が図示されている。一方、ステータスバー64が、暗く(暗い色相で)表現されているのは、画面60の右側に表示された第1ディスプレイウィンドー63が現在活性化されたディスプレイウィンドーであるということを示す。しかし、活性化されたウィンドーを表現する方法は、それに制限されるものではなく、ディスプレイウィンドーの下端に表示されるなど、多様な方法を介して示される。
In addition, each of the
図6Bは、図6Aで、ユーザがキャプチャボタン65をタッチしたり、あるいはロングタップ(long tap)する入力によって、第1ディスプレイウィンドー63がキャプチャされて表示される過程を図示している。すなわち、活性化された第1ディスプレイウィンドー63が、ユーザ入力によってキャプチャされれば、第1ディスプレイウィンドー63のキャプチャイメージ631が、第1ディスプレイウィンドー63にオーバーラップされて表示される。一実施形態によれば、キャプチャイメージ631は、第1ディスプレイウィンドー63と同一サイズで、同一の位置に表示されてもよい。
FIG. 6B illustrates the process by which the
図7A及び図7Bは、本発明の一実施形態によって、キャプチャされたイメージをオーバーラップして表示する過程を図示した図面である。図6A及び図6Bと同様に、図7Aの画面60上には、3個のディスプレイウィンドー61,62,63が表示され、デバイス100は、画面60の下端に表示されるバー(bar)にデータをキャプチャするためのキャプチャボタン65を表示する。ステータスバー64は、暗く表示され、図6A及び図6Bで説明したように画面60の右側に表示された第1ディスプレイウィンドー63が現在活性化されたディスプレイウィンドーであるということを意味する。
7A and 7B are drawings illustrating a process of overlapping and displaying captured images according to an embodiment of the present invention. Similar to FIGS. 6A and 6B, three
ユーザから、キャプチャボタン65をタッチする入力(または、ロングタップ入力や他の既定入力)が受信されれば、デバイス100は、図7Bに図示された画面を表示することができる。すなわち、図6A及び図6Bで説明した内容とは異なり、デバイス100は、活性化された第1ディスプレイウィンドー63だけでなく、画面60上に表示された複数個のディスプレイウィンドー61,62,63をいずれもキャプチャすることもできる。
When the user receives an input for touching the capture button 65 (or a long tap input or other default input), the
それぞれのキャプチャイメージ611,621,631は、キャプチャ対象になったそれぞれの第1ディスプレイウィンドー61,62,63にオーバーラップされて表示される。すなわち、最初の第1ディスプレイウィンドー63に係わるキャプチャイメージ631は、最初の第1ディスプレイウィンドー63に、2番目の第1ディスプレイウィンドー61に係わるキャプチャイメージ611は、2番目の第1ディスプレイウィンドー61にそれぞれオーバーラップされて表示される。
Each of the captured
図8A及び図8Bは、本発明の一実施形態によって、キャプチャされたイメージをオーバーラップして表示する過程を図示した図面である。図8Aに図示された画面60には、画面60のサイズと同一サイズの全体画面モード・ディスプレイウィンドー66が表示されている。
8A and 8B are drawings illustrating a process of overlapping and displaying captured images according to an embodiment of the present invention. The
ユーザがデータをキャプチャするために、キャプチャボタン65をタッチすれば、デバイス100は、キャプチャイメージを全体画面モードである第1ディスプレイウィンドー66にオーバーラップして表示する。このとき、デバイス100は、図6A及び図6B、並びに図7A及び図7Bで説明した内容とは異なり、キャプチャイメージを、第1ディスプレイウィンドー66のサイズより小さく表示することができる。
When the user touches the
すなわち、図8Bに図示された内容のように、キャプチャイメージ661は、第1ディスプレイウィンドー66より小サイズに、第1ディスプレイウィンドー66の一部領域に表示されてもよい。一方、一実施形態によれば、キャプチャイメージ661は、別途のディスプレイウィンドーにオーバーラップされて表示されたことを示すステータスバー67がキャプチャイメージ661と共に表示されてもよい。
That is, as shown in FIG. 8B, the captured
図9Aないし図9Cは、本発明の一実施形態に係わって、キャプチャする領域を決定する過程を図示した図面である。図9Aで、画面90の左側には、キャプチャイメージ91が表示され、画面90の右側には、キャプチャイメージ91が挿入される第2ディスプレイウィンドー92が表示される。第2ディスプレイウィンドーには、キャプチャイメージが挿入されるメモアプリケーションが実行されてもよい。
9A to 9C are drawings illustrating a process of determining a region to be captured according to an embodiment of the present invention. In FIG. 9A, the
図9Aに図示された内容について説明すれば、キャプチャイメージ91の上端に、ステータスバーが表示され、デバイス100は、挿入する領域を決定するためのさまざまな機能に対応するボタンをステータスバーに表示する。図9Aには、挿入する領域を閉曲線で選択するための閉曲線ボタン93、及び挿入する領域を既定図形によって選択するための図形ボタン94が図示されている。一方、ステータスバーには、かようなボタン以外にも、多様なボタンがさらに表示されてもよく、図14で詳細に説明する。
To explain the contents illustrated in FIG. 9A, a status bar is displayed at the upper end of the
図9Bは、図9Aで、ユーザが閉曲線ボタン93を利用して、切り取り領域931を決定する過程を図示している。例えば、デバイス100は、ユーザが図形ボタン94が含まれたステータスバーの閉曲線ボタン93をタッチする、キャプチャイメージ91上に対するドラッグ入力を受信することができる。次に、デバイス100は、受信されたドラッグ入力によって、切り取り領域931を決定する。
FIG. 9B illustrates the process in which the user uses the
図9Cは、図9Aで、ユーザが図形ボタン94を利用して切り取り領域941を決定すれば、キャプチャイメージ91上に、既定サイズの正方形状の切り取り領域941を表示する。一方、デバイス100は、切り取り領域941のサイズを調節する入力を受信するボタンを表示することもできる。図9Cで、デバイス100は、正方形の切り取り領域941の上下左右の枠に小さい四角形を表示し、切り取り領域941のサイズが調節される可能性があることを示す。
9C shows a square-shaped cut-out
一方、図9B及び図9Cで説明した内容とは異なり、図9Aで、ユーザが何の動作も取らないまま一定時間が経過したり、あるいはデバイス100の戻しキー(back key)または取り消りキー(cancel key)をタッチすれば、デバイス100は、キャプチャイメージ91の表示を終了することができる。すなわち、デバイス100は、ユーザがキャプチャイメージ91を切り取ったり、あるいは移動させたりしない場合、キャプチャイメージ91の表示を終了し、キャプチャ以前の画面を続けて表示することができる。また、デバイス100は、キャプチャイメージ91の表示の終了と共に、第2ディスプレイウィンドー92の表示も終了することができる。
On the other hand, unlike the contents described in FIGS. 9B and 9C, in FIG. 9A, a certain period of time elapses without the user taking any action, or the back key or cancel key of the
図10は、キャプチャイメージを移動させる本発明の一実施形態を図示した図面である。
デバイス100は、画面801に表示されたキャプチャボタン830をタッチするユーザ入力によって、第1ディスプレイウィンドーに表示されるデータをキャプチャする。次に、デバイス100は、キャプチャイメージ上に、閉曲線を描くドラッグ入力に基づいて、第2ディスプレイウィンドーに挿入するための領域802を決定する。図8A及び図8Bに図示されたように、デバイス100は、挿入するための領域802以外の領域を暗く(暗い色相で)表示し、挿入するための領域802が明らかに区別されるように表示することもできる。もちろん、デバイス100は、挿入するための領域802以外の領域が完全に区分されるように黒い色で表示することもできる。
FIG. 10 is a drawing illustrating an embodiment of the present invention in which a captured image is moved.
The
挿入するための領域802を既設定時間以上タッチする入力が受信されれば、デバイス100は、第2ディスプレイウィンドーに移動させて挿入するために、切り取り領域803を表示することができる。前記図3で説明したように、デバイス100は、切り取り領域803のサイズを挿入するための領域802より小さく表示することができる。それによって、ユーザは、切り取り領域803を容易に確認することができる。
When an input for touching the
また、デバイス100は、図8A及び図8Bに図示されたように、切り取り領域803の位置を挿入するための領域802と正確にオーバーラップされるのではなく、2つの領域の中心の位置が互いに異なるように位置するように表示することができる。言い替えれば、デバイス100は、切り取りイメージ803をユーザが容易に見つけることができるように、その位置を変更して表示することができる。
Also, as shown in FIGS. 8A and 8B, the
図11A及び図11Bは、キャプチャイメージで、挿入する領域を修正する一実施形態を図示した図面である。 11A and 11B are captured images showing an embodiment of modifying an area to be inserted.
図11Aで、ユーザは、画面900上に表示されたキャプチャイメージに対して、閉曲線を描くタッチ入力を介して、挿入するための領域901を決定する。次に、デバイス100は、ユーザから挿入するための領域901の位置を修正するために、挿入するための領域901を既設定時間以内にタッチして移動させる入力を受信する。
In FIG. 11A, the user determines an
図11Bで、デバイス100は、位置が変更された挿入するための領域902を表示する。すなわち、デバイス100は、図11Aに図示されたユーザ入力によって、挿入するための領域901の位置を変更させて表示する。それによって、ユーザは、キャプチャイメージから挿入しようとする領域の位置を正確に特定することができる。
In FIG. 11B,
図12A及び図12Bは、キャプチャイメージを、第2ディスプレイウィンドーに移動させる本発明の他の実施形態を図示した図面である。 12A and 12B are drawings illustrating another embodiment of the invention in which the captured image is moved to a second display window.
図12Aで、第1ディスプレイウィンドーにオーバーラップされて表示されたキャプチャイメージ410、及び第2ディスプレイウィンドー420が図示される。キャプチャイメージ410及び第2ディスプレイウィンドー420は、上端部分にさまざまな機能及び動作を制御するボタンが表示されるステータスバーを表示することができる。
In FIG. 12A, the captured
左側に表示されたキャプチャイメージ410は、ユーザ入力受信部110が、ユーザからキャプチャボタン430を選択する入力を受信することによって、キャプチャ部120が、第1ディスプレイウィンドーのデータをキャプチャし、第1ディスプレイウィンドーにオーバーラップして表示されてもよい。
In the
次に、ユーザ入力受信部110は、ユーザからキャプチャイメージ410の一部領域415を選択し、第2ディスプレイウィンドー420が表示された領域に移動させる入力を受信することができる。
Next, the user
図12Bで、受信されたユーザ入力に基づいて、ディスプレイ部130が一部領域415を、第2ディスプレイウィンドー420に挿入して表示する過程が図示される。一実施形態によれば、図12Bで、ディスプレイ部130は、第2ディスプレイウィンドー420のディスプレイ環境を考慮し、キャプチャイメージ410の一部領域415を、キャプチャされたイメージ410上のサイズより小さく挿入して表示することができる。
FIG. 12B illustrates a process in which the
ユーザ入力受信部110が、ユーザからキャプチャボタン430を選択する入力を受信し、キャプチャ部120が第1ディスプレイウィンドーのデータをキャプチャすることによって、画面の左側にディスプレイされたキャプチャイメージ410は、第1ディスプレイウィンドーにオーバーラップされて表示される。
The user
他の実施形態によれば、ディスプレイ部130は、ユーザ入力受信部110が受信したドラッグ・アンド・ドロップ入力に基づいて、ドロップ動作が終了する位置に、キャプチャイメージ410の一部領域415を挿入して表示することもできる(425)。
According to another embodiment, the
一方、図12A及び図12Bでは、キャプチャイメージを、いずれも第2ディスプレイウィンドーに挿入する実施形態を図示しているが、図13A及び図13Bでは、キャプチャイメージの一部を挿入する実施形態について説明する。 On the other hand, FIGS. 12A and 12B show an embodiment in which the captured image is inserted into the second display window, but FIGS. 13A and 13B show an embodiment in which a part of the captured image is inserted. explain.
図13A及び図13Bは、本発明の一実施形態によって、第1ディスプレイウィンドーにオーバーラップされて表示されたキャプチャイメージ510で、一部領域515を第2ディスプレイウィンドー520に移動させる過程を図示した図面である。
13A and 13B illustrate the process of moving a
図13Aで、ユーザ入力受信部110は、キャプチャ部120がキャプチャしたキャプチャイメージ510において、閉曲線を描くユーザ入力を受信することができる。次に、キャプチャ部120は、受信されたユーザ入力に基づいて、キャプチャイメージ510のうち一部領域515を選択することができる。前述のように、一部領域515を選択するユーザ入力は、一部領域515の枠に沿って閉曲線を描くドラッグ入力になってもよい。次に、ユーザ入力受信部110は、選択された一部領域515を、第2ディスプレイウィンドー520に移動させる入力を受信することができる。
In FIG. 13A, the user
ユーザ入力受信部110が、ユーザからキャプチャボタン530を選択する入力を受信し、キャプチャ部120が、第1ディスプレイウィンドーのデータをキャプチャすることによって、画面の左側にディスプレイされたキャプチャイメージ510は、第1ディスプレイウィンドーにオーバーラップされて表示される。
The
図13Bで、ディスプレイ部130は、一部領域515を移動させるユーザ入力に基づいて、選択された一部領域515に係わるイメージを、第2ディスプレイウィンドー520に挿入して表示する(525)。それによって、第2ディスプレイウィンドー520では、キャプチャイメージ510の一部領域525を表示することができる。
In FIG. 13B, the
第1ディスプレイウィンドーで再生されるコンテンツが動画である場合、キャプチャ部120は、動画の一部領域についての人物情報をキャプチャすることもできる。すなわち、キャプチャ部120は、選択された一部領域515に示される人物についてのテキスト情報(人物の名前または人的事項など)をキャプチャすることができる。また、選択された一部領域515に示される人物が芸能人である場合、キャプチャ部120は、芸能人のホームページ・アドレスについてのURIデータをキャプチャすることもできる。
When the content reproduced in the first display window is a moving image, the
次に、ディスプレイ部130は、受信されたユーザ入力に基づいて、キャプチャされた動画の情報を、第2ディスプレイウィンドー520に表示することができる。すなわち、ディスプレイ部130は、選択された一部領域515に示される人物の人的事項を、第2ディスプレイウィンドー520にテキストの形態で入力することができる。また、ディスプレイ部130は、選択された一部領域515に示される芸能人のホームページ・アドレスを、第2ディスプレイウィンドー520にすぐリンクさせて表示することもできる。また、動画のインターネットアドレスを、URIデータとしてキャプチャした場合、ディスプレイ部130は、第2ディスプレイウィンドー520ですぐ動画が実行されるように、URIデータ及びインテントデータを挿入して表示することもできる。
Next, the
図14は、挿入されたキャプチャイメージを修正する編集ツールを表示する実施形態を図示した図面である。図14の画面1400右側には、第1ディスプレイウィンドーでキャプチャされたキャプチャイメージ1401が表示される。前記図6A及び図6Bで説明したように、キャプチャイメージ1401は、第1ディスプレイウィンドーにオーバーラップされて表示されるので、図14に明示的に図示されないが、デバイス100は、キャプチャイメージ1401の下端に、第1ディスプレイウィンドーを続けて表示することができる。また、図14の画面1400左側には、キャプチャイメージ1401が挿入される第2ディスプレイウィンドー1402が表示される。
FIG. 14 is a drawing illustrating an embodiment of displaying an editing tool that modifies an inserted captured image. On the right side of the
キャプチャイメージ1401の上端には、キャプチャイメージ1401で、第2ディスプレイウィンドー1402に挿入するために切り取り領域1407を選択するさまざまな機能が表示される。前記図9Aないし図9Cで説明した閉曲線ボタン1403及び図形ボタン1404以外にも、デバイス100は、キャプチャイメージ1401を取り消し、画面上に第1ディスプレイウィンドーを表示するための取り消しボタン1405、及びキャプチャイメージ1401全部を保存するための完了ボタン1406を表示することができる。
At the top of the captured
前記図10、並びに図12A及び図12Bで説明したように、デバイス100は、図形ボタン1404をタッチするユーザ入力を介して、切り取り領域1407を決定し、ユーザからドラッグアンドドラブ入力が受信されれば、切り取り領域1407を、第2ディスプレイウィンドー1402に挿入することができる。図14には、挿入されたイメージ1408が、第2ディスプレイウィンドー1402に表示されている。
As described with reference to FIG. 10 and FIGS. 12A and 12B, the
一方、図14の第2ディスプレイウィンドー1402には、イメージを挿入する機能を支援するメモ・アプリケーションが図示される。キャプチャイメージ1401から切り取り領域1407が挿入されれば、デバイス100は、第2ディスプレイウィンドーで、既定位置に挿入されたイメージ1408を修正するための編集ツール1409を表示することができる。
On the other hand, the
編集ツール1409は、コピー(copy)、切り取り(cut)、削除(delete object)、及び挿入されたイメージ1408を多様な方向に移動させるさまざまな機能を提供し、ユーザは、編集ツール1409を利用して、挿入されたイメージ1408を修正したり、あるいは編集することができる。
The editing tool 1409 provides various functions for copying, cutting, deleting an object, and moving the inserted
また、図14には、第2ディスプレイウィンドー1402に挿入されたイメージ1408とは別途に、多様な機能を提供するツール1410も表示される。すなわち、デバイス100は、ツール1410に表示された数式検索、字形入力、デリートの機能を介して、挿入されたイメージ1408を編集したり、あるいは整えることができる。
In addition to the
図15は、第1ディスプレイウィンドー610に表示されたテキストを、第2ディスプレイウィンドー620に移動させる本発明の他の実施形態を図示した図面である。
図15で、第1ディスプレイウィンドー610には、メモ帳アプリケーションが実行され、第2ディスプレイウィンドー620には、カレンダー・アプリケーションが実行されている。ユーザは、忘年会について記録しておいたメモを、カレンダー・アプリケーションでも共有することを所望することがある。
FIG. 15 is a drawing illustrating another embodiment of the present invention in which the text displayed in the
In FIG. 15, a memo pad application is executed in the
まず、ユーザ入力受信部110は、ユーザから忘年会スケジュールの題目615をキャプチャするユーザ入力を受信することができる。それによって、キャプチャ部120は、忘年会スケジュールの題目615をキャプチャすることができる。第2ディスプレイウィンドー520で実行されるカレンダー・アプリケーションで、データを移動させるものであるので、キャプチャ部120は、忘年会スケジュールの題目615をテキストにキャプチャすることが望ましい。
First, the user
ユーザ入力受信部110は、キャプチャされた忘年会スケジュールの題目615を、第2ディスプレイウィンドー620に移動させるユーザ入力をユーザから受信することができる。次に、ディスプレイ部130は、受信されたユーザ入力に基づいて、キャプチャされた忘年会スケジュールの題目615を、第2ディスプレイウィンドー620に挿入して表示することができる。
The user
一実施形態によれば、受信されたユーザ入力であるドラッグ・アンド・ドロップ動作が、第2ディスプレイウィンドー620の12月2日フィールド625で終了する場合、ディスプレイ部130は、キャプチャされた忘年会スケジュールの題目615を、第2ディスプレイウィンドー620の12月2日フィールド625に挿入させて表示することができる。
According to one embodiment, if the received user-input drag-and-drop operation ends in the
他の実施形態によれば、忘年会スケジュールの題目615をキャプチャして移動させる場合、制御部140は、忘年会スケジュールに係わる詳細事項についても、自動的に第2ディスプレイウィンドー620に挿入させることができる。それによって、ユーザは、12月2日フィールド625を選択する入力を介して、忘年会スケジュールに係わる詳細事項を確認することができる。
According to another embodiment, when the
また、忘年会スケジュールの題目615に対応するリンク情報が存在する場合に、制御部140は、第2ディスプレイウィンドー620に挿入された題目615に、リンク情報をマッチングさせることができる。
Further, when the link information corresponding to the
図16は、第1ディスプレイウィンドー710に表示されたテキストを、第2ディスプレイウィンドー720に移動させる本発明の他の実施形態を図示した図面である。第1ディスプレイウィンドー710には、メモ帳アプリケーションが実行され、第2ディスプレイウィンドー720には、電子メールアプリケーションが実行されている。
FIG. 16 is a drawing illustrating another embodiment of the present invention in which the text displayed in the
本実施形態によれば、ユーザは、メモ帳アプリケーションに表示された複数個のメモにおいて、ボランティアスケジュールについてのメモ715を電子メールで伝送することを所望する。ユーザ入力受信部110は、ユーザからボランティアスケジュールについてのメモ715を選択するユーザ入力を受信することができる。前述のように、ユーザ入力受信部110は、四角形領域の枠に沿ってドラッグする入力、または2以上の頂点を選択して四角形の領域を決定する入力など、さまざまな形態のユーザ入力を受信することができる。
According to the present embodiment, the user desires to transmit the
キャプチャ部120は、ユーザ入力によって、ボランティアスケジュールについてのメモ715をキャプチャすることができる。本実施形態にと係わって、ユーザは、キャプチャされたデータを電子メールで伝送することを所望するので、キャプチャ部120は、ボランティアスケジュールについてのメモ715をイメージにキャプチャすることもでき、テキストにキャプチャすることもできる。
The
次に、ユーザ入力受信部110がキャプチャされたデータを、第2ディスプレイウィンドー720に移動させる入力を受信すれば、ディスプレイ部130は、キャプチャされたデータを、第2ディスプレイウィンドー720に挿入して表示することができる。この過程で、ユーザ入力のうちドロップ動作が第2ディスプレイウィンドー720の内容フィールド725で終了する場合、ディスプレイ部130は、ボランティアスケジュールについてのメモ715を、内容フィールド725に挿入して表示することができる。
Next, when the user
図17は、第1ディスプレイウィンドー810に表示されたファイルを、第2ディスプレイウィンドー820に移動させる本発明の他の実施形態を図示した図面である。
本実施形態にと係わって、第1ディスプレイウィンドー810には、フォルダ探索アプリケーションが実行され、第2ディスプレイウィンドー820には、電子メールアプリケーションが実行される。ユーザは、デバイス100で、写真0033(例えば、jpegのような形式のファイル)ファイル815を電子メールに添付して伝送することを所望する。
FIG. 17 is a drawing illustrating another embodiment of the present invention in which a file displayed in the
In connection with this embodiment, a folder search application is executed in the
ユーザ入力受信部110は、写真0033.jpgファイル815を選択する入力をユーザから受信することができる。ユーザ入力受信部110は、ファイルに該当する画面の領域を、既設定の時間以上の時間で、押すホールド動作及びドラッグ・アンド・ドロップ動作を複合的に受信することができる。
The user
キャプチャ部120は、ユーザ入力に基づいて、写真0033.jpgファイル815をキャプチャすることができる。本実施形態に係わって、ユーザは、写真0033.jpgファイル815自体を、電子メールに添付することを所望したり、あるいは、写真0033.jpgファイル815に該当する画面のイメージや単純な文字(plaintext)をキャプチャすることを所望したりしない。それによって、キャプチャ部120は、写真0033.jpgファイル815に該当するURIデータをキャプチャすることができる。一実施形態によれば、ユーザ入力受信部110が受信するホールド入力に基づいて、キャプチャ部120は、URIデータをキャプチャすることができる。また、ユーザ入力受信部110が、ドラッグ・アンド・ドロップ動作を受信する場合、キャプチャ部120は、ドロップ動作が終了することによって、写真0033.jpgファイル815を添付するインテントデータをキャプチャすることができる。
The
ディスプレイ部130は、受信されたユーザ入力に基づいて、キャプチャされたURIデータ及びインテントデータを、第2ディスプレイウィンドー820に挿入して表示することができる。すなわち、第2ディスプレイウィンドー820の添付フィールドで、ドロップ動作が終了することによって、写真0033.jpgファイル815についてのURIデータ及びインテントデータを、第2ディスプレイウィンドー820に挿入する。次に、ディスプレイ部130は、第2ディスプレイウィンドー820で、写真0033.jpgファイル825が添付されるように表示することができる。
The
図18は、第1ディスプレイウィンドー920に表示されたテキストを、複数のディスプレイウィンドーに移動させる本発明の他の実施形態を図示した図面である。
FIG. 18 is a drawing illustrating another embodiment of the present invention in which the text displayed in the
本実施形態に係わって、第1ディスプレイウィンドー920には、ウェブブラウザ・アプリケーションが実行され、第2ディスプレイウィンドー910,930には、メモ帳アプリケーションが実行される。ユーザは、ウェブブラウザ・アプリケーションに表示されるニュースの内容のうち一部をメモ帳に記録することを所望する。
In connection with this embodiment, a web browser application is executed in the
まず、第1ディスプレイウィンドー920と、最初の第2ディスプレイウィンドー910との動作過程について説明する。ユーザ入力受信部110は、第1ディスプレイウィンドー920に表示されるニュースの内容925をキャプチャする入力を受信することができる。それによって、キャプチャ部120は、ニュースの内容925を、イメージ及びテキストのうちいずれか一つにキャプチャすることができる。図13A及び図13Bでは、テキストでキャプチャする場合について図示されている。
First, the operation process of the
キャプチャ部120は、ニュースの内容925において、時間、場所及び/またはウェブサイトの情報に係わるURIデータ及びインテントデータをキャプチャすることができる。次に、ユーザ入力受信部110が、キャプチャされたデータを移動させる入力を受信することによって、ディスプレイ部130は、最初の第2ディスプレイウィンドー910にキャプチャされたデータを挿入して表示(915)することができる。
The
次に、第1ディスプレイウィンドー920と2番目の第2ディスプレイウィンドー930との動作過程について説明する。ユーザ入力受信部110は、第1ディスプレイウィンドー920に表示されるニュースの題目927をキャプチャする入力を受信することができる。それによって、キャプチャ部120は、ニュースの題目927を、イメージ及びテキストのうちいずれか一つでキャプチャすることができ、図13A及び図13Bでは、テキストにキャプチャする場合について図示されている。
Next, the operation process of the
キャプチャ部120は、ニュースの題目927についての文字データ、URIデータ、及びインテントデータをキャプチャすることができる。次に、ユーザ入力受信部110がキャプチャされたデータを移動させる入力を受信することによって、ディスプレイ部130は、2番目の第2ディスプレイウィンドー930にキャプチャされたデータを挿入して表示(935)することができる。
The
それによって、ユーザ入力受信部110が、2番目の第2ディスプレイウィンドー930に表示されたニュースの題目935を選択する入力をユーザから受信すれば、デバイス100は、挿入されたURIデータ及びインテントデータを介して、ユーザに、当該ニュースの内容を提供することができる。
As a result, if the
一方、前述の方法は、コンピュータで実行されるプログラムで作成可能であり、コンピュータ判読可能な媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されてもよい。また、前述の方法で使われたデータの構造は、コンピュータ判読可能媒体に多くの手段を介して記録される。本発明の多様な方法を遂行するための実行可能なコンピュータコードを含む保存デバイスについて説明するために使われるプログラム保存デバイスは、搬送波(carrier waves)や信号のように一時的な対象も含むものであると理解されてはならない。前記コンピュータ判読可能媒体は、マグネチック記録媒体(例えば、ROM(read-only memory)、フロッピー(登録商標)ディスク、ハードディスクなど)、光学的判読媒体(例えば、CD(compact disc)−ROM、DVD(digital versatile disc)など)のような記録媒体を含む。 On the other hand, the above-mentioned method can be created by a program executed by a computer, and may be embodied by a general-purpose digital computer that operates the program by using a computer-readable medium. Also, the structure of the data used in the aforementioned method is recorded on a computer-readable medium via many means. Program storage devices used to describe storage devices that contain executable computer code to carry out the various methods of the invention include temporary objects such as carrier waves and signals. Must not be understood. The computer-readable medium is a magnetic recording medium (for example, ROM (read-only memory), floppy (registered trademark) disk, hard disk, etc.), an optically readable medium (for example, CD (compact disc) -ROM, DVD (for example). Includes recording media such as digital versatile disc)).
本発明の実施形態と係わる技術分野で当業者であるならば、前記記載の本質的な特性からはずれない範囲で変形された形態で具現されるものであるということを理解することができるであろう。従って、開示された方法は、限定的な観点ではなく、説明的観点から考慮されなければならない。本発明の範囲は、発明の詳細な説明ではなく、特許請求の範囲に示され、それと同等な範囲内にあるすべての差異は、本発明の範囲に含まれるものであると解釈されなければならない。 Those skilled in the art in the technical field related to the embodiment of the present invention can understand that it is embodied in a modified form within a range not deviating from the essential characteristics described above. Let's do it. Therefore, the disclosed method must be considered from a descriptive point of view, not from a limiting point of view. The scope of the invention is set forth in the claims, not the detailed description of the invention, and all differences within the equivalent scope must be construed to be included in the scope of the invention. ..
本発明のディスプレイウィンドーに係わるキャプチャイメージ生成方法及びその装置は、例えば、ディスプレイ関連の技術分野に効果的に適用可能である。 The captured image generation method and the apparatus thereof according to the display window of the present invention can be effectively applied to, for example, a display-related technical field.
5 アイコン
10,20,30,40,61,62,63 ディスプレイウィンドー
60 画面
611,621,631,661 キャプチャイメージ
64,67 ステータスバー
65 キャプチャボタン
66 第1ディスプレイウィンドー
100 デバイス
110 ユーザ入力受信部
120 キャプチャ部
130 ディスプレイ部
140 制御部
150 メモリ
5
Claims (13)
第1ディスプレイウィンドーにイメージをキャプチャするために第1のタッチ入力を受信する段階であって、前記イメージをキャプチャすることは、キャプチャされる前記イメージの領域を決定することを含む、段階と、
前記第1ディスプレイウィンドー上の前記イメージの領域以外の領域とは異なる、前記キャプチャされるイメージの領域を、前記第1ディスプレイウィンドー上にディスプレイする段階と、
前記第1ディスプレイウィンドー上の前記イメージの少なくとも一部にオーバーラップされた前記イメージに対応するキャプチャされたイメージをディスプレイする段階と、
ドラッグタッチ入力に基づいて、前記キャプチャされたイメージを第2ディスプレイウィンドーに提供する段階と、
前記キャプチャされたイメージに対して行われた前記ドラッグタッチ入力の完了に応答して、前記第2ディスプレイウィンドーに挿入された前記キャプチャされたイメージをディスプレイする段階と、を含み、
前記第2ディスプレイウィンドーに挿入された前記キャプチャされたイメージは、前記キャプチャされたイメージが挿入される前記第2ディスプレイウィンドーの所定の領域のサイズに基づいて調整されたサイズに表示され、前記第2ディスプレイウィンドーに挿入された前記キャプチャされたイメージのサイズは、前記第2ディスプレイウィンドーのサイズに比例しないように調整される、方法。 A method of generating a captured image in an electronic device,
A step of receiving a first touch input to capture an image in a first display window, wherein capturing the image involves determining an area of the image to be captured.
A step of displaying the captured image area on the first display window, which is different from the area other than the image area on the first display window.
A step of displaying a captured image corresponding to the image that overlaps at least a part of the image on the first display window.
At the stage of providing the captured image to the second display window based on the drag touch input,
A step of displaying the captured image inserted in the second display window in response to the completion of the drag touch input made to the captured image.
The captured image inserted into the second display window is displayed in a size adjusted based on the size of a predetermined area of the second display window into which the captured image is inserted. A method in which the size of the captured image inserted into the second display window is adjusted so that it is not proportional to the size of the second display window.
前記イメージの前記領域以外の領域に適用される色相、彩度、および明度のうち少なくとも1つとは異なる色相、異なる彩度、および異なる明度のうち少なくとも1つで、前記イメージの前記領域を表示することにより、前記イメージの領域以外の領域とは異なる前記イメージの領域を、前記第1ディスプレイウィンドーにディスプレイする段階を含むことを特徴とする請求項1に記載の方法。 The step of displaying the area of the image different from the area other than the area of the image on the first display window is
Display the region of the image with a hue, different saturation, and at least one of the different brightness that is different from at least one of the hue, saturation, and lightness applied to the region other than the region of the image. The method according to claim 1, wherein the image region different from the region other than the image region is displayed in the first display window.
第1ディスプレイウィンドーにイメージをキャプチャするために第1のタッチ入力を受信する段階であって、前記イメージをキャプチャすることは、キャプチャされる前記イメージの領域を決定することを含む、段階と、
前記第1ディスプレイウィンドー上の前記イメージの領域以外の領域とは異なる、前記キャプチャされるイメージの領域を、前記第1ディスプレイウィンドー上にディスプレイする段階と、
前記第1ディスプレイウィンドー上の前記イメージの少なくとも一部にオーバーラップされた前記イメージに対応するキャプチャされたイメージをディスプレイする段階と、
ドラッグタッチ入力に基づいて、前記キャプチャされたイメージを、第2ディスプレイウィンドーに対応するアプリケーションに提供する段階と、
前記キャプチャされたイメージに対して行われた前記ドラッグタッチ入力の完了に応答して、前記アプリケーションに挿入された前記キャプチャされたイメージをディスプレイする段階と、を含み、
前記アプリケーションに挿入された前記キャプチャされたイメージは、前記キャプチャされたイメージが挿入される前記アプリケーションの領域のサイズに基づいて調整されたサイズに表示され、前記アプリケーションに挿入された前記キャプチャされたイメージのサイズは、前記アプリケーションに対応する前記第2ディスプレイウィンドーのサイズに比例しないように調整される、方法。 A method of generating a captured image in an electronic device,
A step of receiving a first touch input to capture an image in a first display window, wherein capturing the image involves determining an area of the image to be captured.
A step of displaying the captured image area on the first display window, which is different from the area other than the image area on the first display window.
A step of displaying a captured image corresponding to the image that overlaps at least a part of the image on the first display window.
At the stage of providing the captured image to the application corresponding to the second display window based on the drag touch input, and
Including a step of displaying the captured image inserted into the application in response to the completion of the drag touch input made to the captured image.
The captured image inserted into the application is displayed in a size adjusted based on the size of the area of the application into which the captured image is inserted, and the captured image inserted into the application. The size of the method is adjusted so that it is not proportional to the size of the second display window corresponding to the application.
ディスプレイと、
制御部と、を備え、
前記制御部は、
第1ディスプレイウィンドーにイメージをキャプチャするための第1のタッチ入力を受信するように制御し、ここで、前記イメージをキャプチャすることは、キャプチャされる前記イメージの領域を決定することを含み、
前記第1ディスプレイウィンドー上の前記イメージの領域以外の領域とは異なる、前記キャプチャされるイメージの領域を、前記第1ディスプレイウィンドー上にディスプレイするように制御し、
前記第1ディスプレイウィンドー上の前記イメージの少なくとも一部にオーバーラップされた前記イメージに対応するキャプチャされたイメージをディスプレイするように制御し、
ドラッグタッチ入力に基づいて、前記キャプチャされたイメージを、第2ディスプレイウィンドーに提供するように制御し、
前記キャプチャされたイメージに対して行われた前記ドラッグタッチ入力の完了に応答して、前記第2ディスプレイウィンドーに挿入された前記キャプチャされたイメージをディスプレイするように制御し、
前記第2ディスプレイウィンドーに挿入された前記キャプチャされたイメージは、前記キャプチャされたイメージが挿入される前記第2ディスプレイウィンドーの所定の領域のサイズに基づいて調整されたサイズに表示され、前記第2ディスプレイウィンドーに挿入された前記キャプチャされたイメージのサイズは、前記第2ディスプレイウィンドーのサイズに比例しないように調整される、ことを特徴とする装置。 A device that produces captured images
With the display
With a control unit
The control unit
The first display window is controlled to receive a first touch input for capturing an image, wherein capturing the image comprises determining an area of the image to be captured.
The area of the captured image, which is different from the area other than the area of the image on the first display window, is controlled to be displayed on the first display window.
Controlled to display a captured image corresponding to the image overlapping at least a portion of the image on the first display window.
Based on the drag-touch input, the captured image is controlled to be provided to the second display window.
Controlled to display the captured image inserted in the second display window in response to the completion of the drag touch input made to the captured image.
The captured image inserted into the second display window is displayed in a size adjusted based on the size of a predetermined area of the second display window into which the captured image is inserted. A device characterized in that the size of the captured image inserted into the second display window is adjusted so as not to be proportional to the size of the second display window.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20120019180 | 2012-02-24 | ||
KR10-2012-0019180 | 2012-02-24 | ||
KR10-2012-0084193 | 2012-07-31 | ||
KR1020120084193A KR102304700B1 (en) | 2012-02-24 | 2012-07-31 | Method and device for generating capture image for display windows |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018227188A Division JP2019071073A (en) | 2012-02-24 | 2018-12-04 | Method for generating captured image for display windows, and device of the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021061011A true JP2021061011A (en) | 2021-04-15 |
JP7101747B2 JP7101747B2 (en) | 2022-07-15 |
Family
ID=49449935
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017190206A Active JP6449405B2 (en) | 2012-02-24 | 2017-09-29 | Method and apparatus for generating capture image for display window |
JP2018227188A Pending JP2019071073A (en) | 2012-02-24 | 2018-12-04 | Method for generating captured image for display windows, and device of the same |
JP2020205850A Active JP7101747B2 (en) | 2012-02-24 | 2020-12-11 | Capture image generation method for display window and its device |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017190206A Active JP6449405B2 (en) | 2012-02-24 | 2017-09-29 | Method and apparatus for generating capture image for display window |
JP2018227188A Pending JP2019071073A (en) | 2012-02-24 | 2018-12-04 | Method for generating captured image for display windows, and device of the same |
Country Status (3)
Country | Link |
---|---|
JP (3) | JP6449405B2 (en) |
KR (2) | KR102304700B1 (en) |
AU (2) | AU2013222990A1 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104461474A (en) * | 2013-09-12 | 2015-03-25 | 北京三星通信技术研究有限公司 | Mobile terminal and screen-shooting method and device therefor |
KR102117048B1 (en) * | 2013-09-17 | 2020-05-29 | 삼성전자주식회사 | Method and device for executing a plurality of applications |
CN104252296B (en) * | 2014-08-28 | 2018-12-18 | 广州三星通信技术研究有限公司 | The method and apparatus of picture are applied in electric terminal |
KR102142569B1 (en) * | 2016-11-01 | 2020-08-07 | 주식회사 케이티 | Media play device and method for capturing screen |
CN106603772B (en) * | 2017-01-26 | 2019-12-27 | Oppo广东移动通信有限公司 | Electronic device and image acquisition method |
JP7123487B2 (en) | 2018-11-22 | 2022-08-23 | 矢崎総業株式会社 | Terminal work device |
KR20210123009A (en) * | 2020-04-02 | 2021-10-13 | 삼성전자주식회사 | Electronic device and method for controlling and operating of screen capture |
KR102515734B1 (en) * | 2020-04-09 | 2023-03-30 | 테크하임주식회사 | Web Browser Control Method and Web Browser Terminal Therefore |
KR20220017065A (en) * | 2020-08-04 | 2022-02-11 | 삼성전자주식회사 | Method for providing of capture function and electronic device therefor |
KR20220107860A (en) * | 2021-01-26 | 2022-08-02 | 삼성전자주식회사 | Electronic device performing screen captures and method thereof |
WO2023063713A1 (en) * | 2021-10-12 | 2023-04-20 | 삼성전자 주식회사 | Electronic device including flexible display and operating method of electronic device |
CN114840298B (en) * | 2022-07-04 | 2023-04-18 | 荣耀终端有限公司 | Suspended window opening method and electronic equipment |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09311944A (en) * | 1996-05-21 | 1997-12-02 | Canon Inc | Image editing device and its method and document editing system |
US20070294630A1 (en) * | 2006-06-15 | 2007-12-20 | Microsoft Corporation | Snipping tool |
KR100852652B1 (en) * | 2008-01-22 | 2008-08-18 | 주식회사 아이오셀 | Information processing terminal and system for providing information processing terminal user interface using host resource and method thereof |
KR20100030387A (en) * | 2008-09-10 | 2010-03-18 | 엘지전자 주식회사 | Controlling a mobile terminal with at least two display area |
US20120010995A1 (en) * | 2008-10-23 | 2012-01-12 | Savnor Technologies | Web content capturing, packaging, distribution |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3363120B2 (en) * | 1999-08-30 | 2003-01-08 | ファンクルシステム株式会社 | Content collection / pasting method and apparatus, and computer-readable recording medium recording program for content collection / pasting |
JP2001147759A (en) * | 1999-11-24 | 2001-05-29 | Casio Comput Co Ltd | Information editing device and storage medium storing information edition processing program |
US20040119762A1 (en) * | 2002-12-24 | 2004-06-24 | Fuji Xerox Co., Ltd. | Systems and methods for freeform pasting |
US20040257346A1 (en) * | 2003-06-20 | 2004-12-23 | Microsoft Corporation | Content selection and handling |
US20050052427A1 (en) * | 2003-09-10 | 2005-03-10 | Wu Michael Chi Hung | Hand gesture interaction with touch surface |
JP2006053872A (en) * | 2004-08-16 | 2006-02-23 | Fuji Photo Film Co Ltd | Image transfer method |
JP2006155278A (en) * | 2004-11-30 | 2006-06-15 | Canon Software Inc | Information processor, information processing method, program and recording medium |
JP2008250700A (en) * | 2007-03-30 | 2008-10-16 | Canon Inc | Information processor, window reproduction method and program |
JP5071324B2 (en) * | 2008-09-26 | 2012-11-14 | 株式会社デンソーウェーブ | Portable terminal device and data copy method |
US20100153168A1 (en) * | 2008-12-15 | 2010-06-17 | Jeffrey York | System and method for carrying out an inspection or maintenance operation with compliance tracking using a handheld device |
JP2010218527A (en) * | 2009-02-20 | 2010-09-30 | Sharp Corp | Interface device, method for controlling interface device, control program, and computer readable recording medium with the control program recorded |
JP5033827B2 (en) * | 2009-03-16 | 2012-09-26 | 京セラドキュメントソリューションズ株式会社 | Image operation display apparatus and image forming apparatus |
JP2010266835A (en) * | 2009-04-15 | 2010-11-25 | Fujifilm Corp | Autofocus system |
JP2010278510A (en) * | 2009-05-26 | 2010-12-09 | Elmo Co Ltd | Document presentation device |
KR20110019942A (en) * | 2009-08-21 | 2011-03-02 | 주식회사 엔피커 | Webpage editing and storing sysyem |
JP5617255B2 (en) * | 2010-01-25 | 2014-11-05 | 富士通株式会社 | Information display apparatus, program, and method |
JP5246178B2 (en) * | 2010-02-16 | 2013-07-24 | 富士通モバイルコミュニケーションズ株式会社 | Electronics |
-
2012
- 2012-07-31 KR KR1020120084193A patent/KR102304700B1/en active IP Right Grant
-
2013
- 2013-02-21 AU AU2013222990A patent/AU2013222990A1/en not_active Abandoned
-
2017
- 2017-09-29 JP JP2017190206A patent/JP6449405B2/en active Active
-
2018
- 2018-06-06 AU AU2018204001A patent/AU2018204001B2/en not_active Ceased
- 2018-12-04 JP JP2018227188A patent/JP2019071073A/en active Pending
-
2019
- 2019-10-30 KR KR1020190136740A patent/KR20190126267A/en not_active IP Right Cessation
-
2020
- 2020-12-11 JP JP2020205850A patent/JP7101747B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09311944A (en) * | 1996-05-21 | 1997-12-02 | Canon Inc | Image editing device and its method and document editing system |
US20070294630A1 (en) * | 2006-06-15 | 2007-12-20 | Microsoft Corporation | Snipping tool |
KR100852652B1 (en) * | 2008-01-22 | 2008-08-18 | 주식회사 아이오셀 | Information processing terminal and system for providing information processing terminal user interface using host resource and method thereof |
KR20100030387A (en) * | 2008-09-10 | 2010-03-18 | 엘지전자 주식회사 | Controlling a mobile terminal with at least two display area |
US20120010995A1 (en) * | 2008-10-23 | 2012-01-12 | Savnor Technologies | Web content capturing, packaging, distribution |
Also Published As
Publication number | Publication date |
---|---|
KR102304700B1 (en) | 2021-09-28 |
KR20190126267A (en) | 2019-11-11 |
KR20130097622A (en) | 2013-09-03 |
JP2018041471A (en) | 2018-03-15 |
JP6449405B2 (en) | 2019-01-09 |
JP2019071073A (en) | 2019-05-09 |
AU2013222990A1 (en) | 2014-07-24 |
AU2018204001B2 (en) | 2019-06-20 |
JP7101747B2 (en) | 2022-07-15 |
AU2018204001A1 (en) | 2018-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7101747B2 (en) | Capture image generation method for display window and its device | |
JP6223690B2 (en) | Method and apparatus for generating capture image for display window | |
TWI609317B (en) | Smart whiteboard interactions | |
US11770600B2 (en) | Wide angle video conference | |
US20200027484A1 (en) | Systems and methods for reviewing video content | |
WO2014010497A1 (en) | Display control device, display control method, program, and communication system | |
US10728197B2 (en) | Unscripted digital media message generation | |
US20100324709A1 (en) | E-book reader with voice annotation | |
US10691408B2 (en) | Digital media message generation | |
US20230143275A1 (en) | Software clipboard | |
WO2014010496A1 (en) | Display control device, display control method, program, and communication system | |
JP2014021511A (en) | Display control unit, display control method, program, and communication system | |
WO2015012977A1 (en) | Direct presentations from content collections | |
US9973459B2 (en) | Digital media message generation | |
US20240064395A1 (en) | Wide angle video conference | |
JP2017134469A (en) | Image display device, image display method, and program | |
JP2007179083A (en) | Conference system, control method therefor and program | |
JP2016505923A (en) | Providing annotation-based annotation of content in electronic readers | |
KR20130048926A (en) | Method for scrap of digital magazine edited in layers and apparatus therof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7101747 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |