[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2021061011A - Method for generating captured image for display windows, and device of the same - Google Patents

Method for generating captured image for display windows, and device of the same Download PDF

Info

Publication number
JP2021061011A
JP2021061011A JP2020205850A JP2020205850A JP2021061011A JP 2021061011 A JP2021061011 A JP 2021061011A JP 2020205850 A JP2020205850 A JP 2020205850A JP 2020205850 A JP2020205850 A JP 2020205850A JP 2021061011 A JP2021061011 A JP 2021061011A
Authority
JP
Japan
Prior art keywords
display window
image
captured image
area
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020205850A
Other languages
Japanese (ja)
Other versions
JP7101747B2 (en
Inventor
銀英 金
Eun-Young Kim
銀英 金
剛兌 金
Kang-Tae Kim
剛兌 金
鐵柱 金
Chul-Joo Kim
鐵柱 金
廣源 宣
Kwang-Won Sun
廣源 宣
在烈 李
Zairetsu Lee
在烈 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2021061011A publication Critical patent/JP2021061011A/en
Application granted granted Critical
Publication of JP7101747B2 publication Critical patent/JP7101747B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)

Abstract

To provide a method for generating a captured image for display windows, and a device for the same.SOLUTION: A method and a device for generating a captured image comprises the steps of: determining a first display window to be captured from among a plurality of display windows displayed on a screen; capturing data displayed on the determined first display window on the basis of user input; and displaying, by using size of the first display window, both a captured image, which is generated by capture, and the first display window such that they overlap.SELECTED DRAWING: Figure 3

Description

本発明は、画面上に表示されたディスプレイウィンドー間においてキャプチャイメージを生成する方法及びそのデバイスに係り、さらに詳細には、受信されたユーザ入力に基づいて、複数個のディスプレイウィンドー間でキャプチャイメージを生成して移動させる方法及びそのデバイスに関する。 The present invention relates to a method and a device thereof for generating a captured image between display windows displayed on a screen, and more specifically, capturing between a plurality of display windows based on received user input. It relates to a method of generating and moving an image and its device.

複数個のアプリケーションを同時に実行すう端末機器において、マルチウィンドー体制(multi window framework)を介して、アプリケーション間の相互作用が可能である。また、マルチウィンドー体制の場合、同一のアプリケーションを同時に複数個のウィンドーを介して実行することもできる。 In a terminal device that executes a plurality of applications at the same time, it is possible to interact between the applications via a multi-window framework. Further, in the case of a multi-window system, the same application can be executed through a plurality of windows at the same time.

既存の端末器機環境では、複数個のアプリケーションを同時に実行しても、それぞれのアプリケーションが全体画面で実行されるために、同時に複数個のアプリケーションを実行して操作するのが容易ではない。 In the existing terminal environment, even if a plurality of applications are executed at the same time, each application is executed on the entire screen, so that it is not easy to execute and operate the plurality of applications at the same time.

特開2001−147759号公報Japanese Unexamined Patent Publication No. 2001-147759 特開2001−142827号公報Japanese Unexamined Patent Publication No. 2001-142827 特開2010−081300号公報Japanese Unexamined Patent Publication No. 2010-081300

橋本情報戦略企画,5 デスクトップ画面を「Snipping Tool」でキャプチャする,ひと目でわかるWindows7操作&設定テクニック厳選200! ,日経BPソフトプレス 瀬川 弘司,2009年10月26日,初版,第174-177頁Hashimoto Information Strategy Planning, 5 Capture the desktop screen with "Snipping Tool", Windows 7 operation & setting technique carefully selected 200 at a glance! , Nikkei BP Soft Press Koji Segawa, October 26, 2009, First Edition, pp. 174-177

本発明は、マルチウィンドー体制を介して、同時に実行される複数個のアプリケーション間でデータを移動させ、アプリケーション間の相互作用を活性化させるところに課題がある。 The present invention has a problem in moving data between a plurality of applications executed at the same time via a multi-window system and activating the interaction between the applications.

前記技術的課題を解決するための画面上に表示されたディスプレイウィンドーに対するキャプチャイメージを生成する方法は、画面上に表示された複数個のディスプレイウィンドーにおいて、キャプチャの対象になる第1ディスプレイウィンドーを決める段階と、ユーザ入力に基づいて、決定された第1ディスプレイウィンドーに表示されたデータをキャプチャする段階と、キャプチャによって生成されたキャプチャイメージを、第1ディスプレイウィンドーのサイズで、第1ディスプレイウィンドーにオーバーラップして表示する段階と、を含む。 A method of generating a captured image for a display window displayed on the screen for solving the above technical problem is a method of generating a captured image for a plurality of display windows displayed on the screen, in a first display window to be captured. The stage of deciding the door, the stage of capturing the data displayed in the determined first display window based on the user input, and the capture image generated by the capture are displayed in the size of the first display window. 1 Includes a stage of overlapping and displaying on the display window.

前記技術的課題を解決するための一実施形態によれば、表示する段階は、第1ディスプレイウィンドーが複数個である場合、キャプチャイメージを複数個の第1ディスプレイウィンドーそれぞれにオーバーラップして表示する段階を含むことを特徴とする。 According to one embodiment for solving the technical problem, in the display stage, when there are a plurality of first display windows, the captured image is overlapped with each of the plurality of first display windows. It is characterized by including a display stage.

前記技術的課題を解決するための一実施形態によれば、表示する段階は、第1ディスプレイウィンドーが全体画面モード・ディスプレイウィンドーである場合、キャプチャイメージを、第1ディスプレイウィンドーの一部領域に表示する段階を含むことを特徴とする。 According to one embodiment for solving the technical problem, when the first display window is a full screen mode display window, the capture image is displayed as a part of the first display window. It is characterized by including a stage of displaying in an area.

前記技術的課題を解決するための一実施形態によれば、イメージキャプチャ方法は、表示されたキャプチャイメージの一部または全部を、第2ディスプレイウィンドーに挿入する段階をさらに含むことを特徴とする。 According to one embodiment for solving the technical problem, the image capture method further includes a step of inserting a part or all of the displayed captured image into the second display window. ..

前記技術的課題を解決するための一実施形態によれば、キャプチャイメージの一部または全部を挿入する段階は、キャプチャイメージを既設定時間以上タッチし、タッチを第2ディスプレイウィンドーに向けてドラッグするユーザ入力に基づいて、キャプチャイメージの一部または全部を、第2ディスプレイウィンドーに挿入することを特徴とする。 According to one embodiment for solving the technical problem, at the stage of inserting a part or all of the captured image, the captured image is touched for a set time or more, and the touch is dragged toward the second display window. It is characterized in that a part or all of the captured image is inserted into the second display window based on the user input.

前記技術的課題を解決するための一実施形態によれば、表示されたキャプチャイメージの所定領域を決定する段階と、決定された領域のイメージを切り取る段階をさらに含み、キャプチャイメージの一部または全部を、第2ディスプレイウィンドーに挿入する段階は、切り取られたイメージを、第2ディスプレイウィンドーに挿入することを特徴とする。 According to one embodiment for solving the technical problem, a step of determining a predetermined area of the displayed captured image and a step of cutting out the image of the determined area are further included, and a part or all of the captured image is included. Is inserted into the second display window, characterized in that the clipped image is inserted into the second display window.

前記技術的課題を解決するための一実施形態によれば、所定領域を決定する段階は、表示されたキャプチャイメージ上に、ユーザによって選択された領域を表示する段階と、表示された領域を修正する段階と、を含み、修正された領域のキャプチャイメージが、第2ディスプレイウィンドーに挿入されることを特徴とする。 According to one embodiment for solving the technical problem, the step of determining a predetermined area is the step of displaying the area selected by the user on the displayed capture image and the step of modifying the displayed area. It is characterized in that the captured image of the modified area including the step of performing is inserted into the second display window.

前記技術的課題を解決するための一実施形態によれば、表示された領域を修正する段階は、ユーザが表示された領域をタッチし、タッチされた時点から、既設定時間以内にタッチをドラッグすることによって、表示された領域をキャプチャイメージ内の他の領域に移動させることを特徴とする。 According to one embodiment for solving the technical problem, the step of modifying the displayed area is to touch the displayed area by the user and drag the touch within a preset time from the touched time. By doing so, the displayed area is moved to another area in the captured image.

前記技術的課題を解決するための一実施形態によれば、表示された領域を修正する段階は、ユーザが、表示された領域をピンチング(pinching)またはアンピンチング(unpinching)することによって、表示された領域のサイズを変更することを特徴とする。 According to one embodiment for solving the technical problem, the step of modifying the displayed area is displayed by the user pinching or unpinching the displayed area. It is characterized by changing the size of the area.

前記技術的課題を解決するための一実施形態によれば、ユーザによって選択された領域は、キャプチャイメージ上に閉曲線を描くユーザのタッチ入力に基づいて選択されたことを特徴とする。 According to one embodiment for solving the technical problem, the area selected by the user is selected based on the touch input of the user who draws a closed curve on the captured image.

前記技術的課題を解決するための一実施形態によれば、所定領域を決定する段階は、所定領域に対するユーザのタッチが、既設定時間以上維持されることによって、所定領域を、切り取りイメージとして決定することを特徴とする。 According to one embodiment for solving the technical problem, at the stage of determining a predetermined area, the predetermined area is determined as a cut image by maintaining the user's touch on the predetermined area for a set time or longer. It is characterized by doing.

前記技術的課題を解決するための一実施形態によれば、切り取られたイメージは、決定された領域のイメージより小サイズに決定されたイメージ上にオーバーラップされて表示されることを特徴とする。 According to one embodiment for solving the technical problem, the clipped image is displayed so as to be overlapped on the determined image to be smaller in size than the image of the determined area. ..

前記技術的課題を解決するための一実施形態によれば、第1ディスプレイウィンドーを決定する段階は、画面上の所定のボタンがタッチされることによって、表示された複数個のディスプレイウィンドーのうち活性化されたウィンドーを、第1ディスプレイウィンドーとして決定することを特徴とする。 According to the embodiment for solving the technical problem, the step of determining the first display window is that the plurality of display windows displayed by touching a predetermined button on the screen are displayed. The activated window is determined as the first display window.

前記技術的課題を解決するための一実施形態によれば、第1ディスプレイウィンドーを決定する段階は、画面上の所定のボタンがタッチされることによって、表示された複数個のディスプレイウィンドーのうち活性化されたウィンドーを除いたウィンドーを、第1ディスプレイウィンドーとして決定することを特徴とする。 According to the embodiment for solving the technical problem, the step of determining the first display window is that the plurality of display windows displayed by touching a predetermined button on the screen are displayed. The window excluding the activated window is determined as the first display window.

前記技術的課題を解決するための一実施形態によれば、第2ディスプレイウィンドーに挿入する段階は、第2ディスプレイウィンドーに対応するアプリケーションが、第2ディスプレイウィンドーに表示された画面内にイメージを挿入する機能を提供すれば、キャプチャイメージを、第2ディスプレイウィンドーに挿入することを特徴とする。 According to the embodiment for solving the technical problem, the stage of inserting into the second display window is such that the application corresponding to the second display window is displayed in the screen displayed in the second display window. If the function of inserting an image is provided, the captured image is inserted into the second display window.

前記技術的課題を解決するための一実施形態によれば、キャプチャイメージは、第1ディスプレイウィンドーのサイズで、第1ディスプレイウィンドーの位置と同一位置にオーバーラップされて表示されることを特徴とする。 According to one embodiment for solving the technical problem, the captured image is displayed in the size of the first display window and overlapped with the position of the first display window. And.

前記技術的課題を解決するためのキャプチャイメージ生成デバイスは、デバイスへのユーザ入力を受信するユーザ入力部と、画面上に表示された複数個のディスプレイウィンドーのうちキャプチャの対象になる第1ディスプレイウィンドーを決定し、ユーザ入力に基づいて、決定された第1ディスプレイウィンドーに表示されたデータをキャプチャするキャプチャ部と、キャプチャによって生成されたキャプチャイメージを、第1ディスプレイウィンドーのサイズで、第1ディスプレイウィンドーにオーバーラップして表示するディスプレイ部と、を含む。 The capture image generation device for solving the technical problem includes a user input unit that receives user input to the device and a first display that is a target of capture among a plurality of display windows displayed on the screen. The capture unit that determines the window and captures the data displayed in the determined first display window based on the user input, and the captured image generated by the capture are displayed in the size of the first display window. Includes a display unit that overlaps and displays on the first display window.

前記技術的課題を解決するためのキャプチャイメージ生成方法を、コンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。 Provided is a computer-readable recording medium in which a program for executing a captured image generation method for solving the above technical problems is recorded on a computer.

本発明によれば、マルチウィンドー体制で複数個のアプリケーション間に、イメージまたはテキストなどデータを移動させることができる。移動されるデータを介して、ユーザは複数個のアプリケーション間の直観的な相互作用を期待することができる。 According to the present invention, data such as an image or text can be moved between a plurality of applications in a multi-window system. Through the data being moved, users can expect intuitive interactions between multiple applications.

本発明の一実施形態による、画面上にオーバーラップされて表示される複数個のディスプレイウィンドーを図示した図面である。It is a drawing which illustrated the plurality of display windows which are overlapped and displayed on the screen by one Embodiment of this invention. 本発明の一実施形態によるディスプレイウィンドーに対してキャプチャイメージを生成するデバイスの構成を図示したブロック図である。It is a block diagram which illustrated the structure of the device which generates the capture image for the display window by one Embodiment of this invention. 本発明の一実施形態によるキャプチャイメージ生成方法を図示したフローチャートである。It is a flowchart which illustrated the capture image generation method by one Embodiment of this invention. 本発明の一実施形態によって、キャプチャされたイメージを移動させる実施例について説明するフローチャートである。It is a flowchart explaining an example which moves a captured image by one Embodiment of this invention. 本発明の一実施形態によって、キャプチャされたイメージを移動させる実施例について説明するフローチャートである。It is a flowchart explaining an example which moves a captured image by one Embodiment of this invention. 本発明の一実施形態によって、キャプチャされたイメージをオーバーラップして表示する過程を図示した図面である。It is a drawing which illustrated the process of overlapping and displaying the captured image by one Embodiment of this invention. 本発明の一実施形態によって、キャプチャされたイメージをオーバーラップして表示する過程を図示した図面である。It is a drawing which illustrated the process of overlapping and displaying the captured image by one Embodiment of this invention. 本発明の一実施形態によって、キャプチャされたイメージをオーバーラップして表示する過程を図示した図面である。It is a drawing which illustrated the process of overlapping and displaying the captured image by one Embodiment of this invention. 本発明の一実施形態によって、キャプチャされたイメージをオーバーラップして表示する過程を図示した図面である。It is a drawing which illustrated the process of overlapping and displaying the captured image by one Embodiment of this invention. 本発明の一実施形態によって、キャプチャされたイメージをオーバーラップして表示する過程を図示した図面である。It is a drawing which illustrated the process of overlapping and displaying the captured image by one Embodiment of this invention. 本発明の一実施形態によって、キャプチャされたイメージをオーバーラップして表示する過程を図示した図面である。It is a drawing which illustrated the process of overlapping and displaying the captured image by one Embodiment of this invention. 本発明の一実施形態に係わって、キャプチャする領域を決定する過程を図示した図面である。It is a drawing which illustrated the process of determining the area to capture in relation to one Embodiment of this invention. 本発明の一実施形態に係わって、キャプチャする領域を決定する過程を図示した図面である。It is a drawing which illustrated the process of determining the area to capture in relation to one Embodiment of this invention. 本発明の一実施形態に係わって、キャプチャする領域を決定する過程を図示した図面である。It is a drawing which illustrated the process of determining the area to capture in relation to one Embodiment of this invention. キャプチャイメージを移動させる本発明の一実施形態を図示した図面である。It is a drawing which illustrated one Embodiment of this invention which moves a capture image. キャプチャイメージで、挿入する領域を修正する一実施形態を図示した図面である。It is a drawing which illustrated one Embodiment which modifies the area to be inserted in the capture image. キャプチャイメージで、挿入する領域を修正する一実施形態を図示した図面である。It is a drawing which illustrated one Embodiment which modifies the area to be inserted in the capture image. キャプチャイメージを、第2ディスプレイウィンドーに移動させる本発明の他の実施形態を図示した図面である。It is a drawing which illustrated the other embodiment of this invention which moves a captured image to a 2nd display window. キャプチャイメージを、第2ディスプレイウィンドーに移動させる本発明の他の実施形態を図示した図面である。It is a drawing which illustrated the other embodiment of this invention which moves a captured image to a 2nd display window. キャプチャイメージを、第2ディスプレイウィンドーに移動させる本発明のさらに他の実施形態を図示した図面である。It is a drawing which illustrates still another embodiment of this invention which moves a capture image to a 2nd display window. キャプチャイメージを、第2ディスプレイウィンドーに移動させる本発明のさらに他の実施形態を図示した図面である。It is a drawing which illustrates still another embodiment of this invention which moves a capture image to a 2nd display window. 挿入されたキャプチャイメージを修正する編集ツールを表示する実施形態を図示した図面である。It is a drawing which illustrates the embodiment which displays the editing tool which modifies the inserted capture image. 第1ディスプレイウィンドーに表示されたデータを、第2ディスプレイウィンドーに移動させる本発明のさらに他の実施形態を図示した図面である。It is a drawing which illustrates still another embodiment of this invention which moves the data displayed in the 1st display window to the 2nd display window. 第1ディスプレイウィンドーに表示されたデータを、第2ディスプレイウィンドーに移動させる本発明のさらに他の実施形態を図示した図面である。It is a drawing which illustrates still another embodiment of this invention which moves the data displayed in the 1st display window to the 2nd display window. 第1ディスプレイウィンドーに表示されたデータを、第2ディスプレイウィンドーに移動させる本発明のさらに他の実施形態を図示した図面である。It is a drawing which illustrates still another embodiment of this invention which moves the data displayed in the 1st display window to the 2nd display window. 第1ディスプレイウィンドーに表示されたデータを、第2ディスプレイウィンドーに移動させる本発明のさらに他の実施形態を図示した図面である。It is a drawing which illustrates still another embodiment of this invention which moves the data displayed in the 1st display window to the 2nd display window.

明細書全体で、画面に表示されたデータを「キャプチャ」するとするとき、それは、表示される「イメージまたはテキスト」を獲得する場合だけではなく、「表示されるイメージまたはテキストに係わる情報」を獲得する場合も含む。例えば、表示されるイメージまたはテキストをキャプチャする場合、イメージまたはテキストに係わるURI(uniform resource identifier)情報、インテント(intent)情報などを共に獲得することができる。また、ある部分がある構成要素を「含む」とするとき、それは、特別に反対になる記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含むことができるということを意味する。 When you "capture" the data displayed on the screen throughout the statement, it is not only when you get the "image or text" that is displayed, but also when you get the "information about the image or text that is displayed". Including the case of doing. For example, when capturing a displayed image or text, it is possible to acquire both URI (uniform resource identifier) information and intent information related to the image or text. Also, when a component is referred to as "contains" a component, it means that it may further include other components rather than excluding other components, unless otherwise stated to be the opposite. Means.

以下では、図面を参照しつつ、本発明の実施形態について詳しく説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本発明の一実施形態による、画面上にオーバーラップされて表示される複数個のディスプレイウィンドーを図示した図面である。
図1に図示されたように、本発明の一実施形態による画面上には、複数個のディスプレイウィンドー10,20,30,40がオーバーラップされて表示される。ピンナップ(pin-up)・ディスプレイウィンドー10は、画面の最上位に表示されるように設定されたウィンドーであり、画面上に、他のディスプレイウィンドーと共に表示される場合、いつも画面の最上位に表示される。また、ピンナップ・ディスプレイウィンドー10の既設定領域には、別途のアイコン5が共に表示されてもよい。例えば、ピンナップ・ディスプレイウィンドー10には、ピン模様のアイコン5が、ピンナップ・ディスプレイウィンドー10に刺さったように表示されてもよい。
FIG. 1 is a drawing illustrating a plurality of display windows that are overlapped and displayed on a screen according to an embodiment of the present invention.
As illustrated in FIG. 1, a plurality of display windows 10, 20, 30, and 40 are overlapped and displayed on the screen according to the embodiment of the present invention. The pin-up display window 10 is a window that is set to be displayed at the top of the screen, and is always at the top of the screen when displayed on the screen along with other display windows. Is displayed on. Further, a separate icon 5 may be displayed together in the set area of the pinup display window 10. For example, the pin-up display window 10 may display a pin-patterned icon 5 as if it were stuck in the pin-up display window 10.

全体画面モード・ディスプレイウィンドー20は、画面の全体に表示されるように設定されたウィンドーであり、画面のサイズと同一サイズで画面に表示される。 The full screen mode display window 20 is a window set to be displayed on the entire screen, and is displayed on the screen in the same size as the screen size.

部分画面モード・ディスプレイウィンドー30は、画面の一部に表示されるように設定されたウィンドーであり、画面サイズより小サイズのウィンドーを支援するアプリケーションに適する。また、部分画面モード・ディスプレイウィンドー30は、、例えば、チャット、メモなどを提供するアプリケーションと共に、重複してウィンドーをディスプレイできるアプリケーションに適する。 The partial screen mode display window 30 is a window set to be displayed on a part of the screen, and is suitable for an application that supports a window having a size smaller than the screen size. Further, the partial screen mode display window 30 is suitable for an application capable of displaying windows in duplicate together with an application for providing, for example, chat, memo, and the like.

また、フリーサイズモード・ディスプレイウィンドー40は、画面の一部に表示されてユーザ入力によって、サイズが自由に調節されるウィンドーである。また、ディスプレイウィンドー10,20,30,40は、互いにオーバーラップされて表示されてもよく、アプリケーションの種類によって、ディスプレイウィンドー10,20,30,40において、所定のウィンドーが表示されてもよい。 Further, the one-size-fits-all mode display window 40 is a window that is displayed on a part of the screen and whose size can be freely adjusted by user input. Further, the display windows 10, 20, 30, and 40 may be displayed so as to overlap each other, and depending on the type of application, even if a predetermined window is displayed in the display windows 10, 20, 30, and 40. Good.

図2は、本発明の一実施形態によるディスプレイウィンドー間で、キャプチャイメージを移動させるデバイス100の構成を図示したブロック図である。一実施形態によるデバイス100は、ユーザ入力受信部110、キャプチャ部120、ディスプレイ部130、制御部140及びメモリ150を含む。 FIG. 2 is a block diagram illustrating a configuration of a device 100 for moving a captured image between display windows according to an embodiment of the present invention. The device 100 according to one embodiment includes a user input receiving unit 110, a capturing unit 120, a display unit 130, a control unit 140, and a memory 150.

以下では、デバイス100が、デバイス100に含まれた構成を利用し、複数個のディスプレイウィンドー間で、キャプチャイメージを移動させる過程について説明する。 In the following, the process of moving the captured image between the plurality of display windows by the device 100 using the configuration included in the device 100 will be described.

ユーザ入力受信部110は、デバイス100へのユーザ入力を受信する。ユーザは、デバイス100の画面で、所定の位置をタッチすることができ、ユーザ入力受信部110は、ユーザのタッチによるユーザ入力を受信することができる。ユーザ入力受信部110は、キーボード、マウス、スタイラス(stylus)などのような入力ツールを介するユーザ入力を受信することもできる。 The user input receiving unit 110 receives the user input to the device 100. The user can touch a predetermined position on the screen of the device 100, and the user input receiving unit 110 can receive the user input by the user's touch. The user input receiver 110 can also receive user input via an input tool such as a keyboard, mouse, stylus, or the like.

ユーザ入力受信部110は、デバイス100上のディスプレイウィンドーに表示されるデータをキャプチャするための入力を受信することができる。一実施形態によれば、ユーザ入力受信部110は、データをキャプチャするための入力として、ディスプレイウィンドーに表示される既設定のボタンを選択する入力を受信することができる。 The user input receiving unit 110 can receive the input for capturing the data displayed in the display window on the device 100. According to one embodiment, the user input receiving unit 110 can receive an input for selecting a preset button displayed in the display window as an input for capturing data.

ユーザ入力受信部110は、、キャプチャによって生成されたキャプチャイメージの一部を選択する入力も受信することができる。例えば、ユーザ入力受信部110は、キャプチャイメージ上に、閉曲線を描くために、タッチ及びドラッグする入力をキャプチャイメージのうち一部領域を選択する入力として受信することができる。以上では、ユーザ入力受信部110が、ディスプレイウィンドーの画面をキャプチャし、キャプチャされたイメージの一部を選択するユーザ入力を受信すると説明したが、それに制限されるものではない。ユーザ入力受信部110は、ディスプレイウィンドーの画面一部領域をすぐにキャプチャするためのユーザ入力を受信することもできる。例えば、ユーザ入力部110は、キャプチャイメージの所定地点をタッチする入力を受信することができ、タッチされた地点から所定範囲内の領域が、キャプチャされもする。 The user input receiving unit 110 can also receive an input for selecting a part of the captured image generated by the capture. For example, the user input receiving unit 110 can receive a touch and drag input as an input for selecting a part of the captured image in order to draw a closed curve on the captured image. In the above, it has been described that the user input receiving unit 110 captures the screen of the display window and receives the user input for selecting a part of the captured image, but the present invention is not limited thereto. The user input receiving unit 110 can also receive the user input for immediately capturing a part of the screen area of the display window. For example, the user input unit 110 can receive an input that touches a predetermined point of the captured image, and an area within a predetermined range from the touched point is also captured.

他の例を挙げれば、ユーザ入力受信部110は、テキストを選択する入力を受信することもできる。ユーザ入力受信部110が受信するテキスト選択入力は、一部テキストをドラッグする入力である。ただし、ユーザ入力受信部110が受信するデータを選択する入力は、前述の実施形態に制限されるものではない。例えば、画面上の2以上の位置を選択することにより、所定領域を選択する入力を受信するように、ユーザ入力受信部110は、多種のユーザ入力を受信することができる。 To give another example, the user input receiving unit 110 can also receive an input for selecting a text. The text selection input received by the user input receiving unit 110 is an input for dragging a part of the text. However, the input for selecting the data to be received by the user input receiving unit 110 is not limited to the above-described embodiment. For example, the user input receiving unit 110 can receive various types of user inputs, just as it receives inputs for selecting a predetermined area by selecting two or more positions on the screen.

また、ユーザ入力受信部110は、キャプチャされたデータを移動させるための入力を受信することができる。ユーザ入力受信部110は、、キャプチャされたデータを選択して移動させる入力を受信するにおいて、タッチ(touch)、ドラッグ・アンド・ドロップ(drag and drop)、ロングタップ(long tap)またはホールド(hold)など、さまざまな種類の動作を介して、ユーザ入力を受信することができる。また、ユーザ入力受信部110は、キャプチャされたデータのうち一部を選択する入力と共に、選択された一部のデータを移動させる入力も受信することができる。データは、例えば、イメージ、テキスト及び動画を含んでもよいが、それに制限されるものではない。 In addition, the user input receiving unit 110 can receive an input for moving the captured data. The user input receiver 110 receives a touch, a drag and drop, a long tap, or a hold in receiving an input that selects and moves the captured data. ), Etc., can receive user input via various types of actions. In addition, the user input receiving unit 110 can receive an input for selecting a part of the captured data as well as an input for moving a part of the selected data. The data may include, but is not limited to, images, texts and moving images, for example.

また、ユーザ入力受信部110は、データのキャプチャを終了するユーザ入力も受信することができる。キャプチャされたデータを、第2ディスプレイウィンドーにそれ以上移動する必要がない場合、ユーザ入力受信部110は、ユーザからキャプチャを終了するユーザ入力を受信することができる。 The user input receiving unit 110 can also receive the user input that ends the data capture. When it is not necessary to move the captured data to the second display window any more, the user input receiving unit 110 can receive the user input from the user to end the capture.

キャプチャ部120は、、第1ディスプレイウィンドーに表示されたデータをキャプチャする。第1ディスプレイウィンドーに表示されたデータは、静止画像、動画またはテキストなど多種のデータになる。ただし、キャプチャ部120がキャプチャするデータは、かようなイメージまたはテキストに限定されるものではなく、ディスプレイウィンドーに表示されるいかなるものでもその対象になる。 The capture unit 120 captures the data displayed in the first display window. The data displayed in the first display window may be various types of data such as still images, moving images, or texts. However, the data captured by the capture unit 120 is not limited to such an image or text, and anything displayed in the display window is the target.

キャプチャ部120は、ユーザ入力受信部110が受信したユーザ入力に基づいて、第1ディスプレイウィンドーに表示されるデータをキャプチャすることができる。前述のように、ユーザ入力受信部110が第1ディスプレイウィンドーに表示される既設定のボタンを選択する入力を受信する場合、キャプチャ部120は、表示されるデータをキャプチャすることができる。 The capture unit 120 can capture the data displayed in the first display window based on the user input received by the user input reception unit 110. As described above, when the user input receiving unit 110 receives the input for selecting the preset button displayed in the first display window, the capturing unit 120 can capture the displayed data.

具体的には、キャプチャ部120は、デバイス100の画面に表示された複数のディスプレイウィンドーのうち、キャプチャ対象になる第1ディスプレイウィンドーを決定することができる。キャプチャ部120は、デバイス100の画面上の所定のボタンがタッチされることによって、デバイス100の画面に表示された複数個のディスプレイウィンドーのうち活性化されたウィンドーを、第1ディスプレイウィンドーとして決定することができる。 Specifically, the capture unit 120 can determine the first display window to be captured from among the plurality of display windows displayed on the screen of the device 100. The capture unit 120 uses the activated window among the plurality of display windows displayed on the screen of the device 100 as the first display window by touching a predetermined button on the screen of the device 100. Can be decided.

また、キャプチャ部120は、デバイス100の画面上の所定のボタンがタッチされることによって、デバイス100の画面に表示された複数個のディスプレイウィンドーのうち活性化されたウィンドーを除いたウィンドーを、第1ディスプレイウィンドーとして決定することもできる。また、デバイス100の画面上に、3個以上のディスプレイウィンドーが表示された場合に、2以上のディスプレイウィンドーをそれぞれ第1ディスプレイウィンドーとして決定することもできる。 Further, the capture unit 120 selects a window excluding the activated window from the plurality of display windows displayed on the screen of the device 100 by touching a predetermined button on the screen of the device 100. It can also be determined as the first display window. Further, when three or more display windows are displayed on the screen of the device 100, two or more display windows can be determined as the first display window, respectively.

また、キャプチャ部120は、第1ディスプレイウィンドーに表示されたデータをキャプチャし、キャプチャによって生成されたキャプチャイメージの一部または全部を、切り取りイメージとして決定することができる。キャプチャ部120は、ユーザ入力に基づいて、キャプチャイメージ上の所定領域を決定し、決定されたイメージを切り取ることができる。例えば、キャプチャ部120は、キャプチャイメージ上に閉曲線を描くユーザ入力に基づいて、閉曲線に含まれた領域を、切り取りイメージとして決定することができる。また、キャプチャ部120は、ユーザによってタッチされた所定地点から既設定範囲内の領域を、切り取りイメージとして決定することができる。 In addition, the capture unit 120 can capture the data displayed in the first display window and determine a part or all of the captured image generated by the capture as a cropped image. The capture unit 120 can determine a predetermined area on the captured image based on the user input and cut out the determined image. For example, the capture unit 120 can determine a region included in the closed curve as a cut image based on a user input that draws a closed curve on the captured image. In addition, the capture unit 120 can determine a region within the preset range from the predetermined point touched by the user as a cut-out image.

また、キャプチャイメージ内の所定領域は、ユーザによって選択されて修正されてもよく、キャプチャ部120は、修正された領域のイメージを、切り取りイメージとして決定することができる。ユーザによって選択された領域をユーザがタッチし、タッチされた時点から、既設定時間以内にタッチをドラッグすることによって、タッチされた領域がキャプチャイメージ内の他の領域に移動される。 Further, the predetermined area in the captured image may be selected and modified by the user, and the capture unit 120 can determine the image of the modified area as a cutout image. The touched area is moved to another area in the captured image by the user touching the area selected by the user and dragging the touch within the preset time from the time of touching.

また、キャプチャ部120は、移動された領域のイメージを切り取ることができる。また、ユーザによって選択された領域を、ユーザがピンチング(pinching)またはアンピンチング(unpinching)することによって、選択された領域のサイズが変更されてもよく、キャプチャ部120は、サイズが変更された領域のイメージを切り取ることができる。また、キャプチャ部120は、ユーザによって選択及び修正された領域に対するタッチ入力が、既設定時間以上維持されれば、選択及び修正された領域を、切り取りイメージとして決定することができる。 In addition, the capture unit 120 can cut out an image of the moved area. Further, the size of the selected area may be changed by the user pinching or unpinching the area selected by the user, and the capture unit 120 may change the size of the area. You can cut out the image of. Further, the capture unit 120 can determine the selected and modified area as a cut image if the touch input for the area selected and modified by the user is maintained for the preset time or longer.

キャプチャ部120は、第1ディスプレイウィンドーに表示されるデータをイメージまたはテキストとしてキャプチャすることができる。また、キャプチャ部120は、キャプチャされたデータのうち一部領域を選択することができる。前述のようにに、ユーザ入力受信部110が、キャプチャされた画面イメージの一部領域を選択する入力を受信した場合、キャプチャ部120は、受信されたユーザ入力に基づいて、キャプチャされたイメージの一部領域を選択することができる。 The capture unit 120 can capture the data displayed in the first display window as an image or text. In addition, the capture unit 120 can select a part of the captured data. As described above, when the user input receiving unit 110 receives the input for selecting a part of the captured screen image, the capturing unit 120 receives the captured image based on the received user input. Some areas can be selected.

また、ユーザ入力受信部110が一部テキストを選択する入力を受信した場合、キャプチャ部120は、受信されたユーザ入力に基づいて、キャプチャされたテキストの一部テキストを選択することもできる。キャプチャ部120がキャプチャするテキストは、表示されるデータのうち、文字データ、URI(uniform resource identifier)データまたはインテント(intent)データなどが含まれてもよい。 Further, when the user input receiving unit 110 receives an input for selecting a part of the text, the capture unit 120 can also select a part of the captured text based on the received user input. The text captured by the capture unit 120 may include character data, URI (uniform resource identifier) data, intent data, and the like among the displayed data.

また、キャプチャ部120は、第1ディスプレイウィンドーに表示されるデータが動画である場合、ユーザ入力に基づいて表示される動画のURIデータまたはインテントデータをキャプチャすることもできる。例えば、キャプチャ部120は、第1ディスプレイウィンドーに表示される動画のインターネットアドレス及び/または動画についての情報をキャプチャすることができる。一方、キャプチャ部120によってキャプチャされる情報は、動画題目、内容、登場人物に係わる情報を含んでもよい。キャプチャされた動画の題目は、第2ディスプレイウィンドーにテキストの形態に挿入され、キャプチャされた動画のインターネットアドレスが、第2ディスプレイウィンドーにリンク形態で挿入されもする。 Further, when the data displayed in the first display window is a moving image, the capture unit 120 can also capture the URI data or the intent data of the moving image displayed based on the user input. For example, the capture unit 120 can capture information about the Internet address and / or the moving image of the moving image displayed in the first display window. On the other hand, the information captured by the capture unit 120 may include information related to a moving image title, content, and characters. The title of the captured video is inserted in the second display window in the form of text, and the internet address of the captured video is also inserted in the second display window in the form of a link.

ディスプレイ部130は、キャプチャ部120によってキャプチャされたデータを、第2ディスプレイウィンドーに挿入して表示する。キャプチャされたデータは、キャプチャイメージであってもよい。ディスプレイ部130は、ユーザ入力受信部110が受信したユーザ入力に基づいて、キャプチャ部120がキャプチャしたデータを、第2ディスプレイウィンドーに挿入して表示することができる。 The display unit 130 inserts the data captured by the capture unit 120 into the second display window and displays it. The captured data may be a captured image. The display unit 130 can insert the data captured by the capture unit 120 into the second display window and display it based on the user input received by the user input reception unit 110.

例えば、ユーザ入力受信部110が、第1ディスプレイウィンドーの所定領域をタッチすることによってキャプチャされたデータを選択し、ドラッグ・アンド・ドロップを介して選択されたデータを、第2ディスプレイウィンドーに移動させる入力を受信した場合、ディスプレイ部130は、キャプチャされたデータを、第2ディスプレイウィンドーに挿入して表示することができる。また、ユーザ入力受信部110が、キャプチャされたデータのうち一部を移動させる入力を受信する場合、ディスプレイ部130は、キャプチャされたデータのうち一部の領域または一部テキストを、第2ディスプレイウィンドーに挿入して表示することができる。 For example, the user input receiver 110 selects the data captured by touching a predetermined area of the first display window, and the data selected via drag and drop is transferred to the second display window. When the input to be moved is received, the display unit 130 can insert the captured data into the second display window and display it. Further, when the user input receiving unit 110 receives an input for moving a part of the captured data, the display unit 130 displays a part of the captured data or a part of the text on the second display. It can be inserted into the window and displayed.

具体的には、ディスプレイ部130は、キャプチャ部120によって生成されたキャプチャイメージを、第1ディスプレイウィンドーにオーバーラップして表示し、表示されたキャプチャイメージの一部または全部を、第2ディスプレイウィンドーに挿入して表示することができる。その場合、キャプチャイメージは、第1ディスプレイウィンドーと同一サイズで、第1ディスプレイウィンドーの位置と同一位置にオーバーラップされて表示されてもよい。しかし、それに制限されるものではない。 Specifically, the display unit 130 displays the captured image generated by the capture unit 120 in an overlapping manner on the first display window, and displays a part or all of the displayed captured image on the second display window. It can be inserted into the dough and displayed. In that case, the captured image may be displayed in the same size as the first display window and overlapped with the position of the first display window. However, it is not limited to that.

また、ディスプレイ部130は、キャプチャ部120によって決定されたキャプチャイメージの一部を、第2ディスプレイウィンドーに挿入して表示することができる。具体的には、ディスプレイ部130は、キャプチャイメージに対するユーザ入力に基づいて、ユーザが選択した領域をキャプチャイメージ上に表示することができる。また、ユーザが、表示された領域を移動したり、あるいは表示された領域のサイズを変更することによって、ディスプレイ部130は、表示された領域を移動または変更して表示することができる。 Further, the display unit 130 can insert a part of the captured image determined by the capture unit 120 into the second display window and display it. Specifically, the display unit 130 can display the area selected by the user on the captured image based on the user input to the captured image. In addition, the display unit 130 can move or change the displayed area to display by moving the displayed area or changing the size of the displayed area.

また、キャプチャイメージの一部領域が選択され、既設定時間以上、選択された領域がタッチされることによって、キャプチャ部120は、タッチされた領域のイメージを切り取ることができ、ディスプレイ部130は、切り取られたイメージを、タッチされた領域のイメージより小さく縮小し、前記タッチされた領域上にオーバーラップして表示することができる。また、切り取られたイメージに対するタッチが、第2ディスプレイウィンドーに向けてドラッグされれば、ディスプレイ部130は、切り取られたイメージを、第2ディスプレイウィンドーに移動させることもできる。 Further, when a part of the captured image is selected and the selected area is touched for the set time or longer, the capture unit 120 can cut out the image of the touched area, and the display unit 130 can cut the image of the touched area. The cropped image can be reduced to a smaller size than the image of the touched area and displayed overlapping on the touched area. Further, if the touch on the cut image is dragged toward the second display window, the display unit 130 can also move the cut image to the second display window.

また、ディスプレイ部130は、第2ディスプレイウィンドーに対応するアプリケーションが、前記第2ディスプレイウィンドーに表示された画面内にイメージを挿入する機能を提供すれば、キャプチャイメージの全部または一部を、第2ディスプレイウィンドーに挿入することができる。 Further, if the application corresponding to the second display window provides a function of inserting an image into the screen displayed in the second display window, the display unit 130 can display all or a part of the captured image. It can be inserted into the second display window.

また、ディスプレイ部130は、キャプチャイメージを既設定時間以上タッチし、タッチを前記第2ディスプレイウィンドーに向けてドラッグするユーザ入力に基づいて、キャプチャイメージの一部または全部を、第2ディスプレイウィンドーに挿入して表示することもできる。 Further, the display unit 130 touches the captured image for a set time or longer, and based on the user input of dragging the touch toward the second display window, a part or all of the captured image is displayed on the second display window. It can also be inserted and displayed in.

一実施形態によれば、ディスプレイ部130は、ユーザ入力受信部110がドラッグ・アンド・ドロップ動作を受信する場合において、第2ディスプレイウィンドーで、ドロップ動作が終わる位置にデータを挿入して表示することができる。それについては、図4で詳細に説明する。また、ディスプレイ部130は、ドロップ動作の終わる位置が、第2ディスプレイウィンドーに含まれた所定のフィールドである場合、キャプチャされたデータを、ドロップ動作が終わった位置のフィールドに挿入して表示することもできる。 According to one embodiment, when the user input receiving unit 110 receives the drag-and-drop operation, the display unit 130 inserts and displays data at a position where the drop operation ends in the second display window. be able to. This will be described in detail with reference to FIG. Further, when the position where the drop operation ends is a predetermined field included in the second display window, the display unit 130 inserts the captured data into the field at the position where the drop operation ends and displays the captured data. You can also do it.

また、ディスプレイ部130は、第2ディスプレイウィンドーで、キャプチャされたデータ(例えば、イメージまたはテキスト)が表示される領域のサイズに基づいて、挿入されるデータの画面上のサイズを調節することもできる。すなわち、第2ディスプレイウィンドーの画面サイズが、キャプチャされたデータの画面サイズより小さい場合、ディスプレイ部130は、キャプチャされたデータの画面上のサイズを縮小し、第2ディスプレイウィンドーに挿入させることができる。または、第2ディスプレイウィンドー自体の画面上のサイズとは関係なく、データが挿入されて表示される領域の画面上のサイズが小さい場合(例えば、カレンダーが表示されるディスプレイウィンドーで、各日付に該当する領域の場合)、ディスプレイ部130は、当該領域のサイズに合わせて挿入させ、表示するデータの画面上のサイズを縮小させることもできる。 The display unit 130 can also adjust the size of the inserted data on the screen based on the size of the area in which the captured data (for example, an image or text) is displayed in the second display window. it can. That is, when the screen size of the second display window is smaller than the screen size of the captured data, the display unit 130 reduces the size of the captured data on the screen and inserts it into the second display window. Can be done. Or, if the screen size of the area where data is inserted and displayed is small, regardless of the screen size of the second display window itself (for example, in the display window where the calendar is displayed, each date. The display unit 130 can be inserted according to the size of the area to reduce the size of the data to be displayed on the screen.

また、例えば、ディスプレイ部130は、第2ディスプレイウィンドーに、キャプチャされたイメージまたはテキストを挿入して表示することができる。また、ディスプレイ部130は、キャプチャされたデータ(例えば、イメージ、テキスト)と共に、キャプチャされたデータに対応するリンク情報を共に第2ディスプレイウィンドーに挿入することもできる。 Further, for example, the display unit 130 can insert and display the captured image or text in the second display window. In addition, the display unit 130 can also insert the captured data (for example, an image, text) and the link information corresponding to the captured data into the second display window.

また、ディスプレイ部130は、キャプチャされたデータを、キャプチャされていない領域と区分して表示することができる。すなわち、ディスプレイ部130は、データがキャプチャされた後、ユーザ入力受信部110がキャプチャを終了するユーザ入力を受信するまで、表示されるデータのうち、キャプチャされた領域と、キャプチャされていない領域とを区分して表示することができる。例えば、第1ディスプレイウィンドーに表示されるデータのうち、キャプチャされていない領域を、キャプチャされた領域より暗く表示したり、あるいは、キャプチャされていない領域の色相、彩度、明度のうち少なくとも一つを変更して表示することができる。 In addition, the display unit 130 can display the captured data separately from the uncaptured area. That is, after the data is captured, the display unit 130 includes a captured area and an uncaptured area of the displayed data until the user input receiving unit 110 receives the user input that ends the capture. Can be displayed separately. For example, of the data displayed in the first display window, the uncaptured area may be displayed darker than the captured area, or at least one of the hue, saturation, and lightness of the uncaptured area. Can be changed and displayed.

また、ディスプレイ部130は、キャプチャ部120でキャプチャしたデータが、動画についての情報である場合、キャプチャされた動画情報を、第2ディスプレイウィンドーに挿入することができる。すなわち、第2ディスプレイウィンドーで、メモ帳アプリケーションが実行される場合、ディスプレイ部130は、動画の題目を、第2ディスプレイウィンドーに、テキスト形態で挿入して表示することができる。また、ディスプレイ部130は、動画のインターネットアドレスをリンクする形態で、挿入して表示することもできる。また、第2ディスプレイウィンドーで、ウェブブラウザ・アプリケーションが実行される場合、ディスプレイ部130は、第2ディスプレイウィンドーのウェブブラウザ・アプリケーションに、当該インターネットアドレスをすぐ連結させ、キャプチャされた動画、が第2ディスプレイウィンドーで実行されるように、キャプチャされた動画情報を挿入して表示することもできる。 Further, when the data captured by the capture unit 120 is information about a moving image, the display unit 130 can insert the captured moving image information into the second display window. That is, when the memo pad application is executed in the second display window, the display unit 130 can insert and display the title of the moving image in the second display window in the form of text. In addition, the display unit 130 can be inserted and displayed in the form of linking the Internet address of the moving image. Further, when the web browser application is executed in the second display window, the display unit 130 immediately connects the Internet address to the web browser application in the second display window, and the captured video is displayed. It is also possible to insert and display the captured video information as it is executed in the second display window.

制御部140は、デバイス100の全体の動作を制御し、デバイス100に表示される複数個のディスプレイウィンドー間で、データを移動させることができるように、ユーザ入力受信部110、キャプチャ部120、ディスプレイ部130及びメモリ150を制御する。 The control unit 140 controls the overall operation of the device 100, and the user input reception unit 110, the capture unit 120, and the like so that data can be moved between the plurality of display windows displayed on the device 100. It controls the display unit 130 and the memory 150.

メモリ150は、デバイス100に表示される複数個のディスプレイウィンドー間で、データを移動させるための各種情報を保存する。例えば、メモリ150は、ユーザ入力受信部110が受信したユーザ入力、キャプチャ部120がキャプチャしたイメージまたはテキストデータ、及びディスプレイ部130が挿入させて表示するデータなどを保存することができる。また、メモリ150は、ユーザ入力受信部110、キャプチャ部120、ディスプレイ部130及び制御部140の間で送受信される情報も保存することができる。 The memory 150 stores various information for moving data between a plurality of display windows displayed on the device 100. For example, the memory 150 can store the user input received by the user input receiving unit 110, the image or text data captured by the capturing unit 120, the data inserted and displayed by the display unit 130, and the like. The memory 150 can also store information transmitted and received between the user input reception unit 110, the capture unit 120, the display unit 130, and the control unit 140.

以下では、デバイス100が含む構成を利用し、複数個のディスプレイウィンドー間でデータを移動させる方法について、図3で説明する。
図3は、本発明の一実施形態によるデータ移動方法を図示したフローチャートである。図3に図示されたフローチャートは、図2に図示されたユーザ入力受信部110、キャプチャ部120、ディスプレイ部130、制御部140及びメモリ150で、時系列的に処理される段階で構成される。従って、以下で省略された内容であるとしても、図2で図示された構成について、以上で記述された内容は、図3に図示されたフローチャートにも適用されるということが分かる。
Hereinafter, a method of moving data between a plurality of display windows by using the configuration included in the device 100 will be described with reference to FIG.
FIG. 3 is a flowchart illustrating a data movement method according to an embodiment of the present invention. The flowchart illustrated in FIG. 3 is configured by the user input receiving unit 110, the capture unit 120, the display unit 130, the control unit 140, and the memory 150 shown in FIG. 2 at a stage of being processed in time series. Therefore, even if the contents are omitted below, it can be seen that the contents described above with respect to the configuration shown in FIG. 2 are also applied to the flowchart shown in FIG.

段階310で、デバイス100は、キャプチャ対象になる第1ディスプレイウィンドーを決定する。第1ディスプレイウィンドーは、デバイス100の画面に表示される複数個のディスプレイウィンドーのうち、いずれか1つのウィンドーになる。一実施形態によれば、第1ディスプレイウィンドーは、複数個のウィンドーのうち、ユーザの選択によって、現在活性化されたいずれか1つのディスプレイウィンドーになり、一実施形態によれば、複数個のディスプレイウィンドーになってもよい。 At step 310, the device 100 determines the first display window to be captured. The first display window is any one of a plurality of display windows displayed on the screen of the device 100. According to one embodiment, the first display window becomes any one of the currently activated display windows at the user's choice among the plurality of windows, and according to one embodiment, a plurality of them. It may be the display window of.

例えば、デバイス100は、複数個のディスプレイウィンドーが表示された場合、ユーザは、動画を再生するいずれか1つのディスプレイウィンドーを、第1ディスプレイウィンドーとして決定することができる。このとき、デバイス100は、動画が再生されるいずれか1つのディスプレイウィンドー(すなわち、活性化されたディスプレイウィンドー)の任意の領域をタッチする外部入力信号によって、当該ディスプレイウィンドーを、第1ディスプレイウィンドーとして決定することができる。または、デバイス100は、活性化されたディスプレイウィンドーを除いたディスプレイウィンドーや、画面上に表示された複数個のディスプレイウィンドーを、いずれも第1ディスプレイウィンドーとして決定することもできる。 For example, when the device 100 displays a plurality of display windows, the user can determine any one display window for playing the moving image as the first display window. At this time, the device 100 first sets the display window by an external input signal that touches an arbitrary area of any one display window (that is, the activated display window) in which the moving image is played. It can be determined as a display window. Alternatively, the device 100 can determine the display window excluding the activated display window and the plurality of display windows displayed on the screen as the first display window.

段階320で、デバイス100は、第1ディスプレイウィンドーに表示されたデータをキャプチャする。デバイス100は、画面上に表示されたキャプチャボタン(ディスプレイウィンドーをキャプチャする機能がマッチされたボタン)に該当する領域をタッチする入力に基づいて、第1ディスプレイウィンドーに表示されたデータをキャプチャすることができる。データをキャプチャするためのユーザ入力は、キャプチャボタン領域をタッチする入力だけではなく、キャプチャボタン領域を、一定時間以上タッチするロングタップ(long tap)入力になってもよい。 At step 320, device 100 captures the data displayed in the first display window. The device 100 captures the data displayed in the first display window based on the input of touching the area corresponding to the capture button (the button matched with the function to capture the display window) displayed on the screen. can do. The user input for capturing data may be not only an input for touching the capture button area but also a long tap input for touching the capture button area for a certain period of time or longer.

段階320で、デバイス100は、第1ディスプレイウィンドーに表示されるデータにおいて、上端または下端の状態バー(status bar)に該当する領域を除いた領域に該当するデータを、キャプチャすることができる。すなわち、デバイス100は、ディスプレイウィンドーで実行されるアプリケーションに該当する領域のみを、キャプチャすることができる。勿論、デバイス100は、ディスプレイウィンドー全体領域をキャプチャすることもできる。 In step 320, the device 100 can capture the data displayed in the first display window in the area excluding the area corresponding to the status bar at the upper end or the lower end. That is, the device 100 can capture only the area corresponding to the application executed in the display window. Of course, the device 100 can also capture the entire display window area.

段階330で、デバイス100は、キャプチャイメージを画面に表示する。キャプチャイメージとは、第1ディスプレイウィンドーに表示されたデータのうち、段階320でキャプチャされた映像または静止画像を意味することができる。
段階330で、キャプチャイメージは、第1ディスプレイウィンドーと同一サイズで画面に表示されてもよい。すなわち、第1ディスプレイウィンドーに表示されるデータをキャプチャしたキャプチャイメージは、第1ディスプレイウィンドーと同一サイズになり、それによって、第1ディスプレイウィンドーのようなサイズに表示されてもよい。
At step 330, the device 100 displays the captured image on the screen. The captured image can mean a video or a still image captured in step 320 among the data displayed in the first display window.
At step 330, the captured image may be displayed on the screen in the same size as the first display window. That is, the captured image that captures the data displayed in the first display window may have the same size as the first display window, and thereby may be displayed in a size similar to that of the first display window.

一方、前述の一実施形態によれば、第1ディスプレイウィンドーで、上端及び/または下端の状態バーを除いた領域がキャプチャされる場合、キャプチャイメージは、第1ディスプレイウィンドーより小サイズになる。このように、キャプチャイメージは、第1ディスプレイウィンドーより小サイズに表示されもする。 On the other hand, according to the above-described embodiment, when the area excluding the upper end and / or lower end state bars is captured in the first display window, the captured image is smaller in size than the first display window. .. In this way, the captured image is also displayed in a smaller size than the first display window.

また、キャプチャイメージが表示される位置と係わって、デバイス100は、キャプチャイメージを、第1ディスプレイウィンドー上にオーバーラップして表示することができる。すなわち、デバイス100は、第1ディスプレイウィンドーのようなサイズのキャプチャイメージを、第1ディスプレイウィンドーに上書きして表示することができる。第1ディスプレイウィンドーで動画が再生される場合、キャプチャイメージは、動画がキャプチャされた時点に該当する静止画像になり、かような静止画像は、動画にオーバーラップされて表示される(第1ディスプレイウィンドーでは、動画が続けて再生されることとは別途に)。 In addition, the device 100 can display the captured image in an overlapping manner on the first display window in relation to the position where the captured image is displayed. That is, the device 100 can overwrite the first display window with a captured image having a size similar to that of the first display window and display it. When the moving image is played back in the first display window, the captured image becomes the still image corresponding to the time when the moving image is captured, and such a still image is displayed overlapping with the moving image (first display window). In the display window, apart from the continuous playback of the video).

一方、他の実施形態によれば、段階330でキャプチャイメージは、第1ディスプレイウィンドーに完全にオーバーラップされるのではなく、第1ディスプレイウィンドーで実行されるアプリケーション(例えば、動画再生アプリケーション)を隠さないように、第1ディスプレイウィンドーの所定領域に表示されもする。すなわち、第1ディスプレイウィンドーで再生された動画について、第1ディスプレイウィンドーより小サイズのキャプチャイメージが生成された場合、キャプチャイメージは、第1ディスプレイウィンドーで再生される動画を隠さないように、第1ディスプレイウィンドーの下端または上端に表示されてもよい。それによって、ユーザは、第1ディスプレイウィンドーで実行された動画とは別個に、キャプチャイメージを確認することができる。 On the other hand, according to another embodiment, the captured image at step 330 does not completely overlap the first display window, but is executed in the first display window (eg, a video playback application). Is also displayed in a predetermined area of the first display window so as not to hide. That is, when a captured image smaller than the first display window is generated for the moving image played in the first display window, the captured image does not hide the moving image played in the first display window. , May be displayed at the bottom or top of the first display window. Thereby, the user can see the captured image separately from the moving image executed in the first display window.

他の実施形態によれば、デバイス100は、別途のディスプレイウィンドーを追加して生成し、キャプチャイメージを新たなディスプレイウィンドーに表示することもできる。このとき、新たなディスプレイウィンドーは、デバイス100の画面上の既定領域に表示されてもよい。 According to another embodiment, the device 100 may additionally generate a separate display window and display the captured image in the new display window. At this time, the new display window may be displayed in a default area on the screen of the device 100.

一方、一実施形態によれば、キャプチャされる第1ディスプレイウィンドーが複数個である場合、段階330で、デバイス100は、それぞれの第1ディスプレイウィンドーでキャプチャされた複数個のキャプチャイメージを、それぞれの第1ディスプレイウィンドーにオーバーラップして表示することもできる。他の実施形態によれば、キャプチャされる第1ディスプレイウィンドーのサイズが、画面のサイズと同一の全体画面モード・ディスプレイウィンドーがキャプチャされる場合、デバイス100は、キャプチャイメージを、第1ディスプレイウィンドーの一部領域に、第1ディスプレイウィンドーより小サイズにディスプレイすることができる。 On the other hand, according to one embodiment, when there are a plurality of first display windows to be captured, in step 330, the device 100 captures a plurality of captured images captured in each of the first display windows. It is also possible to overlap and display each first display window. According to another embodiment, if a full screen mode display window is captured in which the size of the captured first display window is the same as the size of the screen, the device 100 captures the captured image on the first display. It can be displayed in a part of the window in a smaller size than the first display window.

図3で説明した段階310ないし段階330によれば、デバイス100は、ディスプレイウィンドーでキャプチャされたイメージを便利に管理することができる。すなわち、キャプチャ対象になったディスプレイウィンドーに、キャプチャイメージがオーバーラップ(または、オーバレイ(overlay))されて表示されることによって、ユーザは、別途のディスプレイウィンドーを介して、キャプチャイメージを編集する必要がなくなる。また、キャプチャイメージが、キャプチャ対象になったディスプレイウィンドーと同一サイズで同一の位置に表示され、ユーザインターフェース側面で、キャプチャされた対象を効率的に識別することができる。 According to steps 310 to 330 described with reference to FIG. 3, the device 100 can conveniently manage the images captured in the display window. That is, the captured image is displayed in an overlapping (or overlay) on the display window to be captured, so that the user edits the captured image through a separate display window. No need. In addition, the captured image is displayed in the same size and at the same position as the display window to be captured, and the captured target can be efficiently identified on the side of the user interface.

図4は、本発明の一実施形態によって、キャプチャされたイメージを移動させる実施形態について説明するフローチャートである。 FIG. 4 is a flowchart illustrating an embodiment in which the captured image is moved according to the embodiment of the present invention.

段階341で、デバイス100は、キャプチャイメージを画面に表示する。すなわち、図3で説明した段階330が遂行される。デバイス100は、キャプチャイメージをキャプチャ対象になった第1ディスプレイウィンドーと同一サイズで、第1ディスプレイウィンドーにオーバーラップして表示することができる。 At step 341, the device 100 displays the captured image on the screen. That is, step 330 described in FIG. 3 is performed. The device 100 can display the captured image in the same size as the first display window to be captured and overlap the first display window.

段階342で、デバイス100は、キャプチャイメージのうち、第2ディスプレイウィンドーに移動させるための所定領域を選択する。すなわち、デバイス100は、外部入力信号によって、キャプチャイメージのうち第2ディスプレイウィンドーに挿入するための所定領域を決定することができる。 In step 342, the device 100 selects a predetermined area of the captured image to be moved to the second display window. That is, the device 100 can determine a predetermined area of the captured image to be inserted into the second display window by the external input signal.

例えば、デバイス100は、閉曲線を描く外部入力信号によって、切り取る所定領域を決定することができ、他の例を挙げれば、デバイス100は、既定サイズ及び形状に該当する正方形を選択する外部入力信号によって、切り取る所定領域を決定することもできる。既定サイズ及び形状は、多様な形態になり、正方形だけではなく、円形、楕円形などさまざまな形態になる。 For example, the device 100 can determine a predetermined area to be cut by an external input signal that draws a closed curve, and to give another example, the device 100 uses an external input signal that selects a square corresponding to a predetermined size and shape. , It is also possible to determine a predetermined area to be cut. The default size and shape come in a variety of forms, not only square, but also circular, oval, and so on.

一方、デバイス100は、決定された所定領域を、キャプチャイメージの他の領域と視覚的に区別されるように表示することができる。すなわち、デバイス100は、所定領域の色相、彩度及び明度のうち少なくとも一つを変更し、他の領域と区別されるように表示することができる。もちろん、デバイス100は、所定領域については、視覚的効果を適用せずに、所定領域以外の領域について、視覚的効果を適用して表示することもできる。例えば、デバイス100は、決定された所定領域は、そのまま表示し、それ以外の領域をいずれも黒い色で表現し、挿入される所定領域が目立つように表示することができる。 On the other hand, the device 100 can display the determined predetermined area so as to be visually distinguished from other areas of the captured image. That is, the device 100 can change at least one of the hue, saturation, and lightness of a predetermined area and display it so as to be distinguished from the other areas. Of course, the device 100 can also apply the visual effect to the area other than the predetermined area and display it without applying the visual effect to the predetermined area. For example, the device 100 can display the determined predetermined area as it is, express all the other areas in black color, and display the predetermined area to be inserted so as to be conspicuous.

段階343で、デバイス100は、段階342で選択された領域を修正する。すなわち、デバイス100は、ユーザ入力によって選択された領域のサイズ及び/または位置を修正することができる。選択された領域のサイズは、ピンチング(pinching)またはアンピンチング(unpinching)入力によって修正され、デバイス100は、閉曲線を描く新たな入力によって選択された領域を新たに決定することもできる。いずれか1つの形態の図形を選択するユーザ入力によっても、選択された領域が修正されてもよい。 At step 343, device 100 modifies the area selected at step 342. That is, the device 100 can modify the size and / or position of the area selected by user input. The size of the selected region is modified by a pinching or unpinching input, and the device 100 can also newly determine the region selected by a new input that draws a closed curve. The selected area may also be modified by user input to select any one form of the figure.

例えば、段階342で、ユーザが閉曲線を描く入力を介して所定領域を決定した場合、所定領域がユーザが所望する位置から外れることがある。それによって、ユーザは、所定領域の形態はそのまま維持し、位置を変更して第2ディスプレイウィンドーに挿入するためのキャプチャイメージの一部領域を決定することができる。このとき、所定領域の位置を変更するためのユーザ入力は、所定領域をタッチし、タッチされた時点から、既設定時間以内にタッチ入力をドラッグする入力になってもよい。 For example, in step 342, when the user determines a predetermined area through an input that draws a closed curve, the predetermined area may deviate from the position desired by the user. Thereby, the user can maintain the shape of the predetermined area as it is, change the position, and determine a part area of the captured image to be inserted into the second display window. At this time, the user input for changing the position of the predetermined area may be the input of touching the predetermined area and dragging the touch input within the preset time from the touched time.

段階344で、デバイス100は、段階342及び段階343で決定された所定領域を、第2ディスプレイウィンドーに挿入するために、第2ディスプレイウィンドーに移動させる。具体的に説明すれば、段階344で、デバイス100は、所定領域に対するタッチ入力が既設定時間以上維持されれば、所定領域を挿入するための切り取りイメージとして決定し、移動させることができる。すなわち、前述の内容のように、デバイス100が、所定領域を画面上に表示し、位置移動やサイズ調節など所定領域を修正すれば、ユーザは、所定領域を第2ディスプレイウィンドーに移動させるために、既設定時間以上タッチすることができる。デバイス100は、かようなユーザ入力によって、所定領域を挿入するイメージとして確定することができる。 At step 344, the device 100 moves the predetermined areas determined in steps 342 and 343 into the second display window for insertion into the second display window. Specifically, in step 344, if the touch input for the predetermined area is maintained for the preset time or longer, the device 100 can be determined and moved as a cut image for inserting the predetermined area. That is, as described above, if the device 100 displays a predetermined area on the screen and corrects the predetermined area such as position movement and size adjustment, the user moves the predetermined area to the second display window. Can be touched for more than the set time. The device 100 can be determined as an image into which a predetermined area is inserted by such user input.

一実施形態によれば、デバイス100は、挿入するイメージを決定するユーザ入力が受信されれば、所定領域より小サイズのイメージを、所定領域にオーバーラップして表示することができる。すなわち、既設定時間以上のタッチ入力によって、切り取りイメージが決定されれば、デバイス100は、切り取りイメージをユーザが容易に確認するように、所定領域より小サイズにオーバーラップして表示することができる。一方、デバイス100は、切り取りイメージのサイズを所定領域より大きいサイズにオーバーラップすることもできる。 According to one embodiment, the device 100 can display an image having a size smaller than a predetermined area so as to overlap the predetermined area when the user input for determining the image to be inserted is received. That is, if the cut-out image is determined by the touch input for the set time or longer, the device 100 can display the cut-out image in a smaller size than the predetermined area so that the user can easily check the cut-out image. .. On the other hand, the device 100 can also overlap the size of the cropped image to a size larger than the predetermined area.

また、デバイス100は、切り取りイメージの画面上位置を所定領域とは異なる位置に表示することができる。すなわち、正方形状の所定領域を例として挙げれば、デバイス100は、所定領域の中心になる位置と、切り取りイメージの中心になる位置とを既定範囲以内で異なるようにして表示することができる。具体的には、図10で詳細に説明する。それによって、切り取りイメージのサイズと位置が所定領域とは異なるように表現され、ユーザは、切り取りイメージを視覚的に容易に確認することができる。 Further, the device 100 can display the position on the screen of the cut-out image at a position different from the predetermined area. That is, taking a square-shaped predetermined region as an example, the device 100 can display the position at the center of the predetermined region and the position at the center of the cropped image differently within a predetermined range. Specifically, it will be described in detail with reference to FIG. Thereby, the size and position of the cropped image are expressed so as to be different from the predetermined area, and the user can easily visually confirm the cropped image.

前述の内容によって、所定領域が画面上に表示されれば、デバイス100は、所定領域を第2ディスプレイウィンドーに移動させる。移動される所定領域は、、デバイス100がユーザ入力によって切り取ったイメージになってもよい。デバイス100は、所定領域を既設定時間以上タッチし、タッチ入力を第2ディスプレイウィンドーに向けてドラッグするユーザ入力に基づいて、所定領域を第2ディスプレイウィンドーに移動させることができる。 If the predetermined area is displayed on the screen according to the above contents, the device 100 moves the predetermined area to the second display window. The predetermined area to be moved may be an image cut out by the device 100 by user input. The device 100 can move the predetermined area to the second display window based on the user input of touching the predetermined area for a set time or longer and dragging the touch input toward the second display window.

前述のように、デバイス100は、第1ディスプレイウィンドーでキャプチャされたキャプチャイメージの一部(所定領域)を移動させることができ、第1ディスプレイウィンドーでキャプチャされたイメージ全部を移動させることもできる。 As described above, the device 100 can move a part (predetermined area) of the captured image captured in the first display window, and can also move the entire image captured in the first display window. it can.

段階345で、デバイス100は、所定領域を第2ディスプレイウィンドーに挿入して表示する。すなわち、ユーザ入力によって、所定領域が第2ディスプレイウィンドーに移動され、ドラッグ入力が終われば(ユーザが指を画面から離せば)、ドラッグ入力が終わる第2ディスプレイウィンドーの位置に所定領域を挿入することができる。 At step 345, the device 100 inserts and displays a predetermined area in the second display window. That is, the predetermined area is moved to the second display window by the user input, and when the drag input is completed (when the user releases the finger from the screen), the predetermined area is inserted at the position of the second display window where the drag input ends. can do.

一方、デバイス100は、第2ディスプレイウィンドーに対応するアプリケーションが、イメージを挿入する機能を提供する場合、キャプチャイメージを、第2ディスプレイウィンドーに挿入することができる。すなわち、第2ディスプレイウィンドーに対応するアプリケーションが、イメージの挿入とは無関係のアプリケーションである場合、キャプチャイメージが挿入される必要はないので、デバイス100は、キャプチャイメージが挿入される機能のサポートいかんを確認し、キャプチャイメージを挿入することができる。 On the other hand, the device 100 can insert the captured image into the second display window when the application corresponding to the second display window provides the function of inserting the image. That is, if the application corresponding to the second display window is an application unrelated to the insertion of the image, the captured image does not need to be inserted, so that the device 100 supports the function of inserting the captured image. You can check and insert the captured image.

図5は、本発明の一実施形態によって、キャプチャされたイメージを移動させる実施形態について説明するフローチャートである。図4で説明した段階345で、デバイス100は、第2ディスプレイウィンドーに移動された所定領域を、第2ディスプレイウィンドーに挿入させて表示する。 FIG. 5 is a flowchart illustrating an embodiment in which the captured image is moved according to the embodiment of the present invention. At step 345 described with reference to FIG. 4, the device 100 inserts a predetermined area moved to the second display window into the second display window and displays it.

次に、段階361で、デバイス100は、第2ディスプレイウィンドーに実行中のアプリケーションが、キャプチャイメージの挿入を支援するか否かが決定される。デバイス100が、キャプチャイメージの挿入を支援する場合、段階362に進み、支援しない場合、段階363に進む。 Next, in step 361, the device 100 determines whether the application running in the second display window assists in inserting the captured image. If the device 100 assists in inserting the captured image, it proceeds to step 362, and if it does not assist, it proceeds to step 363.

段階362で、第2ディスプレイウィンドーと対応するアプリケーションが、メモ帳アプリケーションのように、キャプチャイメージの挿入が支援される場合、デバイス100は、段階350で移動させた所定領域を、第2ディスプレイウィンドーに挿入する。 In step 362, if the application corresponding to the second display window assists in inserting the captured image, such as the Notepad application, the device 100 transfers the predetermined area moved in step 350 to the second display window. Insert into the dough.

一方、段階363で、デバイス100は、キャプチャイメージの挿入が支援されるものではないならば、所定領域を第2ディスプレイウィンドーに移動させても、それを挿入せずに無視する。 On the other hand, in step 363, if the insertion of the captured image is not supported, the device 100 moves the predetermined area to the second display window without inserting it and ignores it.

それによって、デバイス100は、キャプチャイメージが挿入されるディスプレイウィンドーと対応するアプリケーションの種類によって、キャプチャイメージを挿入するか否かを決定することができ、必要以上にイメージが挿入される場合を防止することができるようになる。 Thereby, the device 100 can decide whether or not to insert the captured image depending on the display window into which the captured image is inserted and the type of the corresponding application, and prevent the image from being inserted more than necessary. You will be able to.

図6A及び図6Bは、本発明の一実施形態によって、キャプチャされたイメージをオーバーラップして表示する過程を図示した図面である。図6Aの画面60上には、3個のディスプレイウィンドー61,62,63が表示され、デバイス100は、画面60の下端に表示されるバー(bar)に、データをキャプチャするためのキャプチャボタン65を表示する。 6A and 6B are drawings illustrating a process of overlapping and displaying captured images according to an embodiment of the present invention. Three display windows 61, 62, 63 are displayed on the screen 60 of FIG. 6A, and the device 100 has a capture button for capturing data on a bar displayed at the lower end of the screen 60. 65 is displayed.

また、それぞれのディスプレイウィンドー61,62,63は、ディスプレイウィンドーを移動させるたり、あるいはディスプレイウィンドーに対して、最大化、最小化、クローズなど既定作業を遂行するためのステータスバー(statusbar)を含む。図6には、第1ディスプレイウィンドー63についてのみステータスバー64の識別番号が図示されている。一方、ステータスバー64が、暗く(暗い色相で)表現されているのは、画面60の右側に表示された第1ディスプレイウィンドー63が現在活性化されたディスプレイウィンドーであるということを示す。しかし、活性化されたウィンドーを表現する方法は、それに制限されるものではなく、ディスプレイウィンドーの下端に表示されるなど、多様な方法を介して示される。 In addition, each of the display windows 61, 62, and 63 is a status bar for moving the display window or performing default work such as maximizing, minimizing, and closing the display window. including. FIG. 6 shows the identification number of the status bar 64 only for the first display window 63. On the other hand, the dark (dark hue) representation of the status bar 64 indicates that the first display window 63 displayed on the right side of the screen 60 is the currently activated display window. However, the method of expressing the activated window is not limited to it, and is shown through various methods such as being displayed at the lower end of the display window.

図6Bは、図6Aで、ユーザがキャプチャボタン65をタッチしたり、あるいはロングタップ(long tap)する入力によって、第1ディスプレイウィンドー63がキャプチャされて表示される過程を図示している。すなわち、活性化された第1ディスプレイウィンドー63が、ユーザ入力によってキャプチャされれば、第1ディスプレイウィンドー63のキャプチャイメージ631が、第1ディスプレイウィンドー63にオーバーラップされて表示される。一実施形態によれば、キャプチャイメージ631は、第1ディスプレイウィンドー63と同一サイズで、同一の位置に表示されてもよい。 FIG. 6B illustrates the process by which the first display window 63 is captured and displayed by the user touching the capture button 65 or by long tapping the input in FIG. 6A. That is, if the activated first display window 63 is captured by the user input, the captured image 631 of the first display window 63 is displayed overlapping with the first display window 63. According to one embodiment, the captured image 631 may be displayed in the same size and in the same position as the first display window 63.

図7A及び図7Bは、本発明の一実施形態によって、キャプチャされたイメージをオーバーラップして表示する過程を図示した図面である。図6A及び図6Bと同様に、図7Aの画面60上には、3個のディスプレイウィンドー61,62,63が表示され、デバイス100は、画面60の下端に表示されるバー(bar)にデータをキャプチャするためのキャプチャボタン65を表示する。ステータスバー64は、暗く表示され、図6A及び図6Bで説明したように画面60の右側に表示された第1ディスプレイウィンドー63が現在活性化されたディスプレイウィンドーであるということを意味する。 7A and 7B are drawings illustrating a process of overlapping and displaying captured images according to an embodiment of the present invention. Similar to FIGS. 6A and 6B, three display windows 61, 62, 63 are displayed on the screen 60 of FIG. 7A, and the device 100 is displayed on a bar displayed at the lower end of the screen 60. A capture button 65 for capturing data is displayed. The status bar 64 is darkened, meaning that the first display window 63 displayed on the right side of the screen 60 as described in FIGS. 6A and 6B is the currently activated display window.

ユーザから、キャプチャボタン65をタッチする入力(または、ロングタップ入力や他の既定入力)が受信されれば、デバイス100は、図7Bに図示された画面を表示することができる。すなわち、図6A及び図6Bで説明した内容とは異なり、デバイス100は、活性化された第1ディスプレイウィンドー63だけでなく、画面60上に表示された複数個のディスプレイウィンドー61,62,63をいずれもキャプチャすることもできる。 When the user receives an input for touching the capture button 65 (or a long tap input or other default input), the device 100 can display the screen illustrated in FIG. 7B. That is, unlike the contents described with reference to FIGS. 6A and 6B, the device 100 includes not only the activated first display window 63 but also a plurality of display windows 61, 62 displayed on the screen 60. Any of the 63 can also be captured.

それぞれのキャプチャイメージ611,621,631は、キャプチャ対象になったそれぞれの第1ディスプレイウィンドー61,62,63にオーバーラップされて表示される。すなわち、最初の第1ディスプレイウィンドー63に係わるキャプチャイメージ631は、最初の第1ディスプレイウィンドー63に、2番目の第1ディスプレイウィンドー61に係わるキャプチャイメージ611は、2番目の第1ディスプレイウィンドー61にそれぞれオーバーラップされて表示される。 Each of the captured images 611, 621, 631 is displayed so as to overlap with the respective first display windows 61, 62, 63 to be captured. That is, the captured image 631 related to the first first display window 63 is the first display window 63, and the captured image 611 related to the second first display window 61 is the second first display window. It is displayed so as to overlap with each other on the do 61.

図8A及び図8Bは、本発明の一実施形態によって、キャプチャされたイメージをオーバーラップして表示する過程を図示した図面である。図8Aに図示された画面60には、画面60のサイズと同一サイズの全体画面モード・ディスプレイウィンドー66が表示されている。 8A and 8B are drawings illustrating a process of overlapping and displaying captured images according to an embodiment of the present invention. The screen 60 illustrated in FIG. 8A displays an overall screen mode display window 66 having the same size as the screen 60.

ユーザがデータをキャプチャするために、キャプチャボタン65をタッチすれば、デバイス100は、キャプチャイメージを全体画面モードである第1ディスプレイウィンドー66にオーバーラップして表示する。このとき、デバイス100は、図6A及び図6B、並びに図7A及び図7Bで説明した内容とは異なり、キャプチャイメージを、第1ディスプレイウィンドー66のサイズより小さく表示することができる。 When the user touches the capture button 65 to capture the data, the device 100 displays the captured image in an overlapping manner on the first display window 66, which is the full screen mode. At this time, the device 100 can display the captured image smaller than the size of the first display window 66, unlike the contents described in FIGS. 6A and 6B, and 7A and 7B.

すなわち、図8Bに図示された内容のように、キャプチャイメージ661は、第1ディスプレイウィンドー66より小サイズに、第1ディスプレイウィンドー66の一部領域に表示されてもよい。一方、一実施形態によれば、キャプチャイメージ661は、別途のディスプレイウィンドーにオーバーラップされて表示されたことを示すステータスバー67がキャプチャイメージ661と共に表示されてもよい。 That is, as shown in FIG. 8B, the captured image 661 may be displayed in a smaller size than the first display window 66 in a part area of the first display window 66. On the other hand, according to one embodiment, the captured image 661 may be displayed together with the captured image 661 with a status bar 67 indicating that the captured image 661 is overlapped and displayed in a separate display window.

図9Aないし図9Cは、本発明の一実施形態に係わって、キャプチャする領域を決定する過程を図示した図面である。図9Aで、画面90の左側には、キャプチャイメージ91が表示され、画面90の右側には、キャプチャイメージ91が挿入される第2ディスプレイウィンドー92が表示される。第2ディスプレイウィンドーには、キャプチャイメージが挿入されるメモアプリケーションが実行されてもよい。 9A to 9C are drawings illustrating a process of determining a region to be captured according to an embodiment of the present invention. In FIG. 9A, the capture image 91 is displayed on the left side of the screen 90, and the second display window 92 into which the capture image 91 is inserted is displayed on the right side of the screen 90. A memo application into which the captured image is inserted may be executed in the second display window.

図9Aに図示された内容について説明すれば、キャプチャイメージ91の上端に、ステータスバーが表示され、デバイス100は、挿入する領域を決定するためのさまざまな機能に対応するボタンをステータスバーに表示する。図9Aには、挿入する領域を閉曲線で選択するための閉曲線ボタン93、及び挿入する領域を既定図形によって選択するための図形ボタン94が図示されている。一方、ステータスバーには、かようなボタン以外にも、多様なボタンがさらに表示されてもよく、図14で詳細に説明する。 To explain the contents illustrated in FIG. 9A, a status bar is displayed at the upper end of the capture image 91, and the device 100 displays buttons corresponding to various functions for determining the area to be inserted in the status bar. .. FIG. 9A shows a closed curve button 93 for selecting an area to be inserted with a closed curve, and a graphic button 94 for selecting an area to be inserted with a default graphic. On the other hand, in addition to such buttons, various buttons may be further displayed on the status bar, which will be described in detail with reference to FIG.

図9Bは、図9Aで、ユーザが閉曲線ボタン93を利用して、切り取り領域931を決定する過程を図示している。例えば、デバイス100は、ユーザが図形ボタン94が含まれたステータスバーの閉曲線ボタン93をタッチする、キャプチャイメージ91上に対するドラッグ入力を受信することができる。次に、デバイス100は、受信されたドラッグ入力によって、切り取り領域931を決定する。 FIG. 9B illustrates the process in which the user uses the closed curve button 93 to determine the cut region 931 in FIG. 9A. For example, the device 100 can receive a drag input on the captured image 91 where the user touches the closed curve button 93 on the status bar that includes the graphic button 94. Next, the device 100 determines the cut area 931 by the received drag input.

図9Cは、図9Aで、ユーザが図形ボタン94を利用して切り取り領域941を決定すれば、キャプチャイメージ91上に、既定サイズの正方形状の切り取り領域941を表示する。一方、デバイス100は、切り取り領域941のサイズを調節する入力を受信するボタンを表示することもできる。図9Cで、デバイス100は、正方形の切り取り領域941の上下左右の枠に小さい四角形を表示し、切り取り領域941のサイズが調節される可能性があることを示す。 9C shows a square-shaped cut-out area 941 having a default size on the capture image 91 when the user determines the cut-out area 941 by using the graphic button 94 in FIG. 9A. On the other hand, the device 100 can also display a button for receiving an input for adjusting the size of the cut area 941. In FIG. 9C, device 100 displays small squares in the top, bottom, left, and right frames of the square cut area 941 to show that the size of the cut area 941 may be adjusted.

一方、図9B及び図9Cで説明した内容とは異なり、図9Aで、ユーザが何の動作も取らないまま一定時間が経過したり、あるいはデバイス100の戻しキー(back key)または取り消りキー(cancel key)をタッチすれば、デバイス100は、キャプチャイメージ91の表示を終了することができる。すなわち、デバイス100は、ユーザがキャプチャイメージ91を切り取ったり、あるいは移動させたりしない場合、キャプチャイメージ91の表示を終了し、キャプチャ以前の画面を続けて表示することができる。また、デバイス100は、キャプチャイメージ91の表示の終了と共に、第2ディスプレイウィンドー92の表示も終了することができる。 On the other hand, unlike the contents described in FIGS. 9B and 9C, in FIG. 9A, a certain period of time elapses without the user taking any action, or the back key or cancel key of the device 100. By touching (cancel key), the device 100 can end the display of the captured image 91. That is, when the user does not cut or move the captured image 91, the device 100 can end the display of the captured image 91 and continue to display the screen before the capture. Further, the device 100 can end the display of the second display window 92 at the same time as the display of the captured image 91 ends.

図10は、キャプチャイメージを移動させる本発明の一実施形態を図示した図面である。
デバイス100は、画面801に表示されたキャプチャボタン830をタッチするユーザ入力によって、第1ディスプレイウィンドーに表示されるデータをキャプチャする。次に、デバイス100は、キャプチャイメージ上に、閉曲線を描くドラッグ入力に基づいて、第2ディスプレイウィンドーに挿入するための領域802を決定する。図8A及び図8Bに図示されたように、デバイス100は、挿入するための領域802以外の領域を暗く(暗い色相で)表示し、挿入するための領域802が明らかに区別されるように表示することもできる。もちろん、デバイス100は、挿入するための領域802以外の領域が完全に区分されるように黒い色で表示することもできる。
FIG. 10 is a drawing illustrating an embodiment of the present invention in which a captured image is moved.
The device 100 captures the data displayed in the first display window by the user input by touching the capture button 830 displayed on the screen 801. The device 100 then determines an area 802 to be inserted into the second display window on the captured image based on a drag input that draws a closed curve. As illustrated in FIGS. 8A and 8B, the device 100 displays areas other than the area 802 for insertion dark (in dark hues) so that the area 802 for insertion is clearly distinguishable. You can also do it. Of course, the device 100 can also be displayed in black so that the area other than the area 802 for insertion is completely divided.

挿入するための領域802を既設定時間以上タッチする入力が受信されれば、デバイス100は、第2ディスプレイウィンドーに移動させて挿入するために、切り取り領域803を表示することができる。前記図3で説明したように、デバイス100は、切り取り領域803のサイズを挿入するための領域802より小さく表示することができる。それによって、ユーザは、切り取り領域803を容易に確認することができる。 When an input for touching the area 802 for insertion is received for a set time or longer, the device 100 can display the cut area 803 for moving to the second display window and inserting the area 802. As described with reference to FIG. 3, the device 100 can be displayed smaller than the area 802 for inserting the size of the cut area 803. Thereby, the user can easily confirm the cut area 803.

また、デバイス100は、図8A及び図8Bに図示されたように、切り取り領域803の位置を挿入するための領域802と正確にオーバーラップされるのではなく、2つの領域の中心の位置が互いに異なるように位置するように表示することができる。言い替えれば、デバイス100は、切り取りイメージ803をユーザが容易に見つけることができるように、その位置を変更して表示することができる。 Also, as shown in FIGS. 8A and 8B, the device 100 does not exactly overlap the region 802 for inserting the position of the cut region 803, but the positions of the centers of the two regions are relative to each other. It can be displayed so that it is located differently. In other words, the device 100 can reposition and display the cropped image 803 so that the user can easily find it.

図11A及び図11Bは、キャプチャイメージで、挿入する領域を修正する一実施形態を図示した図面である。 11A and 11B are captured images showing an embodiment of modifying an area to be inserted.

図11Aで、ユーザは、画面900上に表示されたキャプチャイメージに対して、閉曲線を描くタッチ入力を介して、挿入するための領域901を決定する。次に、デバイス100は、ユーザから挿入するための領域901の位置を修正するために、挿入するための領域901を既設定時間以内にタッチして移動させる入力を受信する。 In FIG. 11A, the user determines an area 901 to insert into the captured image displayed on the screen 900 via a touch input that draws a closed curve. Next, the device 100 receives an input from the user to touch and move the insertion area 901 within the preset time in order to correct the position of the insertion area 901.

図11Bで、デバイス100は、位置が変更された挿入するための領域902を表示する。すなわち、デバイス100は、図11Aに図示されたユーザ入力によって、挿入するための領域901の位置を変更させて表示する。それによって、ユーザは、キャプチャイメージから挿入しようとする領域の位置を正確に特定することができる。 In FIG. 11B, device 100 displays a repositioned insertion area 902. That is, the device 100 changes the position of the area 901 for insertion and displays it by the user input shown in FIG. 11A. This allows the user to pinpoint the location of the area to be inserted from the captured image.

図12A及び図12Bは、キャプチャイメージを、第2ディスプレイウィンドーに移動させる本発明の他の実施形態を図示した図面である。 12A and 12B are drawings illustrating another embodiment of the invention in which the captured image is moved to a second display window.

図12Aで、第1ディスプレイウィンドーにオーバーラップされて表示されたキャプチャイメージ410、及び第2ディスプレイウィンドー420が図示される。キャプチャイメージ410及び第2ディスプレイウィンドー420は、上端部分にさまざまな機能及び動作を制御するボタンが表示されるステータスバーを表示することができる。 In FIG. 12A, the captured image 410 and the second display window 420 displayed so as to overlap the first display window are illustrated. The captured image 410 and the second display window 420 can display a status bar at the upper end portion where buttons for controlling various functions and operations are displayed.

左側に表示されたキャプチャイメージ410は、ユーザ入力受信部110が、ユーザからキャプチャボタン430を選択する入力を受信することによって、キャプチャ部120が、第1ディスプレイウィンドーのデータをキャプチャし、第1ディスプレイウィンドーにオーバーラップして表示されてもよい。 In the capture image 410 displayed on the left side, the user input receiving unit 110 receives an input for selecting the capture button 430 from the user, so that the capture unit 120 captures the data in the first display window, and the first display window is displayed. It may be displayed overlapping in the display window.

次に、ユーザ入力受信部110は、ユーザからキャプチャイメージ410の一部領域415を選択し、第2ディスプレイウィンドー420が表示された領域に移動させる入力を受信することができる。 Next, the user input receiving unit 110 can receive an input that selects a part area 415 of the captured image 410 from the user and moves the second display window 420 to the displayed area.

図12Bで、受信されたユーザ入力に基づいて、ディスプレイ部130が一部領域415を、第2ディスプレイウィンドー420に挿入して表示する過程が図示される。一実施形態によれば、図12Bで、ディスプレイ部130は、第2ディスプレイウィンドー420のディスプレイ環境を考慮し、キャプチャイメージ410の一部領域415を、キャプチャされたイメージ410上のサイズより小さく挿入して表示することができる。 FIG. 12B illustrates a process in which the display unit 130 inserts a partial area 415 into the second display window 420 and displays it based on the received user input. According to one embodiment, in FIG. 12B, the display unit 130 inserts a partial area 415 of the captured image 410 smaller than the size on the captured image 410 in consideration of the display environment of the second display window 420. Can be displayed.

ユーザ入力受信部110が、ユーザからキャプチャボタン430を選択する入力を受信し、キャプチャ部120が第1ディスプレイウィンドーのデータをキャプチャすることによって、画面の左側にディスプレイされたキャプチャイメージ410は、第1ディスプレイウィンドーにオーバーラップされて表示される。 The user input receiving unit 110 receives an input for selecting the capture button 430 from the user, and the capture unit 120 captures the data in the first display window, so that the captured image 410 displayed on the left side of the screen is the first. 1 Display is overlapped with the display window.

他の実施形態によれば、ディスプレイ部130は、ユーザ入力受信部110が受信したドラッグ・アンド・ドロップ入力に基づいて、ドロップ動作が終了する位置に、キャプチャイメージ410の一部領域415を挿入して表示することもできる(425)。 According to another embodiment, the display unit 130 inserts a partial area 415 of the capture image 410 at a position where the drop operation ends based on the drag-and-drop input received by the user input reception unit 110. It can also be displayed (425).

一方、図12A及び図12Bでは、キャプチャイメージを、いずれも第2ディスプレイウィンドーに挿入する実施形態を図示しているが、図13A及び図13Bでは、キャプチャイメージの一部を挿入する実施形態について説明する。 On the other hand, FIGS. 12A and 12B show an embodiment in which the captured image is inserted into the second display window, but FIGS. 13A and 13B show an embodiment in which a part of the captured image is inserted. explain.

図13A及び図13Bは、本発明の一実施形態によって、第1ディスプレイウィンドーにオーバーラップされて表示されたキャプチャイメージ510で、一部領域515を第2ディスプレイウィンドー520に移動させる過程を図示した図面である。 13A and 13B illustrate the process of moving a partial area 515 to the second display window 520 in the captured image 510 displayed overlapping the first display window according to one embodiment of the present invention. It is a drawing.

図13Aで、ユーザ入力受信部110は、キャプチャ部120がキャプチャしたキャプチャイメージ510において、閉曲線を描くユーザ入力を受信することができる。次に、キャプチャ部120は、受信されたユーザ入力に基づいて、キャプチャイメージ510のうち一部領域515を選択することができる。前述のように、一部領域515を選択するユーザ入力は、一部領域515の枠に沿って閉曲線を描くドラッグ入力になってもよい。次に、ユーザ入力受信部110は、選択された一部領域515を、第2ディスプレイウィンドー520に移動させる入力を受信することができる。 In FIG. 13A, the user input receiving unit 110 can receive the user input that draws a closed curve in the captured image 510 captured by the capturing unit 120. Next, the capture unit 120 can select a partial area 515 of the capture image 510 based on the received user input. As described above, the user input for selecting the partial area 515 may be a drag input that draws a closed curve along the frame of the partial area 515. Next, the user input receiving unit 110 can receive an input for moving the selected partial area 515 to the second display window 520.

ユーザ入力受信部110が、ユーザからキャプチャボタン530を選択する入力を受信し、キャプチャ部120が、第1ディスプレイウィンドーのデータをキャプチャすることによって、画面の左側にディスプレイされたキャプチャイメージ510は、第1ディスプレイウィンドーにオーバーラップされて表示される。 The capture image 510 displayed on the left side of the screen is displayed by the user input receiving unit 110 receiving an input for selecting the capture button 530 from the user and the capture unit 120 capturing the data in the first display window. It is displayed so as to overlap with the first display window.

図13Bで、ディスプレイ部130は、一部領域515を移動させるユーザ入力に基づいて、選択された一部領域515に係わるイメージを、第2ディスプレイウィンドー520に挿入して表示する(525)。それによって、第2ディスプレイウィンドー520では、キャプチャイメージ510の一部領域525を表示することができる。 In FIG. 13B, the display unit 130 inserts and displays an image related to the selected partial area 515 into the second display window 520 based on the user input for moving the partial area 515 (525). Thereby, the second display window 520 can display a partial area 525 of the captured image 510.

第1ディスプレイウィンドーで再生されるコンテンツが動画である場合、キャプチャ部120は、動画の一部領域についての人物情報をキャプチャすることもできる。すなわち、キャプチャ部120は、選択された一部領域515に示される人物についてのテキスト情報(人物の名前または人的事項など)をキャプチャすることができる。また、選択された一部領域515に示される人物が芸能人である場合、キャプチャ部120は、芸能人のホームページ・アドレスについてのURIデータをキャプチャすることもできる。 When the content reproduced in the first display window is a moving image, the capture unit 120 can also capture the person information about a part of the moving image. That is, the capture unit 120 can capture text information (person's name, personal matter, etc.) about the person shown in the selected partial area 515. Further, when the person shown in the selected partial area 515 is a celebrity, the capture unit 120 can also capture the URI data about the homepage address of the celebrity.

次に、ディスプレイ部130は、受信されたユーザ入力に基づいて、キャプチャされた動画の情報を、第2ディスプレイウィンドー520に表示することができる。すなわち、ディスプレイ部130は、選択された一部領域515に示される人物の人的事項を、第2ディスプレイウィンドー520にテキストの形態で入力することができる。また、ディスプレイ部130は、選択された一部領域515に示される芸能人のホームページ・アドレスを、第2ディスプレイウィンドー520にすぐリンクさせて表示することもできる。また、動画のインターネットアドレスを、URIデータとしてキャプチャした場合、ディスプレイ部130は、第2ディスプレイウィンドー520ですぐ動画が実行されるように、URIデータ及びインテントデータを挿入して表示することもできる。 Next, the display unit 130 can display the captured moving image information on the second display window 520 based on the received user input. That is, the display unit 130 can input the human matters of the person shown in the selected partial area 515 into the second display window 520 in the form of text. In addition, the display unit 130 can display the homepage address of the entertainer shown in the selected partial area 515 by immediately linking it to the second display window 520. Further, when the Internet address of the moving image is captured as URI data, the display unit 130 may insert and display the URI data and the intent data so that the moving image is immediately executed in the second display window 520. it can.

図14は、挿入されたキャプチャイメージを修正する編集ツールを表示する実施形態を図示した図面である。図14の画面1400右側には、第1ディスプレイウィンドーでキャプチャされたキャプチャイメージ1401が表示される。前記図6A及び図6Bで説明したように、キャプチャイメージ1401は、第1ディスプレイウィンドーにオーバーラップされて表示されるので、図14に明示的に図示されないが、デバイス100は、キャプチャイメージ1401の下端に、第1ディスプレイウィンドーを続けて表示することができる。また、図14の画面1400左側には、キャプチャイメージ1401が挿入される第2ディスプレイウィンドー1402が表示される。 FIG. 14 is a drawing illustrating an embodiment of displaying an editing tool that modifies an inserted captured image. On the right side of the screen 1400 in FIG. 14, the captured image 1401 captured in the first display window is displayed. As described with reference to FIGS. 6A and 6B, the captured image 1401 is displayed so as to overlap the first display window, and therefore is not explicitly shown in FIG. 14, but the device 100 is the captured image 1401. The first display window can be continuously displayed at the lower end. Further, on the left side of the screen 1400 in FIG. 14, a second display window 1402 into which the captured image 1401 is inserted is displayed.

キャプチャイメージ1401の上端には、キャプチャイメージ1401で、第2ディスプレイウィンドー1402に挿入するために切り取り領域1407を選択するさまざまな機能が表示される。前記図9Aないし図9Cで説明した閉曲線ボタン1403及び図形ボタン1404以外にも、デバイス100は、キャプチャイメージ1401を取り消し、画面上に第1ディスプレイウィンドーを表示するための取り消しボタン1405、及びキャプチャイメージ1401全部を保存するための完了ボタン1406を表示することができる。 At the top of the captured image 1401, the captured image 1401 displays various functions for selecting a crop area 1407 for insertion into the second display window 1402. In addition to the closed curve button 1403 and the graphic button 1404 described with reference to FIGS. 9A to 9C, the device 100 cancels the captured image 1401, the cancel button 1405 for displaying the first display window on the screen, and the captured image. A complete button 1406 for saving the entire 1401 can be displayed.

前記図10、並びに図12A及び図12Bで説明したように、デバイス100は、図形ボタン1404をタッチするユーザ入力を介して、切り取り領域1407を決定し、ユーザからドラッグアンドドラブ入力が受信されれば、切り取り領域1407を、第2ディスプレイウィンドー1402に挿入することができる。図14には、挿入されたイメージ1408が、第2ディスプレイウィンドー1402に表示されている。 As described with reference to FIG. 10 and FIGS. 12A and 12B, the device 100 determines the cut area 1407 via the user input touching the graphic button 1404, and if the drag and drive input is received from the user. , The cut area 1407 can be inserted into the second display window 1402. In FIG. 14, the inserted image 1408 is displayed in the second display window 1402.

一方、図14の第2ディスプレイウィンドー1402には、イメージを挿入する機能を支援するメモ・アプリケーションが図示される。キャプチャイメージ1401から切り取り領域1407が挿入されれば、デバイス100は、第2ディスプレイウィンドーで、既定位置に挿入されたイメージ1408を修正するための編集ツール1409を表示することができる。 On the other hand, the second display window 1402 of FIG. 14 illustrates a memo application that supports the function of inserting an image. If the cut area 1407 is inserted from the captured image 1401, the device 100 can display an editing tool 1409 for modifying the image 1408 inserted in the default position in the second display window.

編集ツール1409は、コピー(copy)、切り取り(cut)、削除(delete object)、及び挿入されたイメージ1408を多様な方向に移動させるさまざまな機能を提供し、ユーザは、編集ツール1409を利用して、挿入されたイメージ1408を修正したり、あるいは編集することができる。 The editing tool 1409 provides various functions for copying, cutting, deleting an object, and moving the inserted image 1408 in various directions, and the user can use the editing tool 1409. The inserted image 1408 can be modified or edited.

また、図14には、第2ディスプレイウィンドー1402に挿入されたイメージ1408とは別途に、多様な機能を提供するツール1410も表示される。すなわち、デバイス100は、ツール1410に表示された数式検索、字形入力、デリートの機能を介して、挿入されたイメージ1408を編集したり、あるいは整えることができる。 In addition to the image 1408 inserted in the second display window 1402, FIG. 14 also displays a tool 1410 that provides various functions. That is, the device 100 can edit or arrange the inserted image 1408 through the mathematical expression search, glyph input, and delete functions displayed on the tool 1410.

図15は、第1ディスプレイウィンドー610に表示されたテキストを、第2ディスプレイウィンドー620に移動させる本発明の他の実施形態を図示した図面である。
図15で、第1ディスプレイウィンドー610には、メモ帳アプリケーションが実行され、第2ディスプレイウィンドー620には、カレンダー・アプリケーションが実行されている。ユーザは、忘年会について記録しておいたメモを、カレンダー・アプリケーションでも共有することを所望することがある。
FIG. 15 is a drawing illustrating another embodiment of the present invention in which the text displayed in the first display window 610 is moved to the second display window 620.
In FIG. 15, a memo pad application is executed in the first display window 610, and a calendar application is executed in the second display window 620. The user may wish to share the notes recorded about the year-end party with the calendar application as well.

まず、ユーザ入力受信部110は、ユーザから忘年会スケジュールの題目615をキャプチャするユーザ入力を受信することができる。それによって、キャプチャ部120は、忘年会スケジュールの題目615をキャプチャすることができる。第2ディスプレイウィンドー520で実行されるカレンダー・アプリケーションで、データを移動させるものであるので、キャプチャ部120は、忘年会スケジュールの題目615をテキストにキャプチャすることが望ましい。 First, the user input receiving unit 110 can receive the user input that captures the title 615 of the year-end party schedule from the user. Thereby, the capture unit 120 can capture the title 615 of the year-end party schedule. Since the calendar application executed by the second display window 520 moves data, it is desirable that the capture unit 120 captures the title 615 of the year-end party schedule in text.

ユーザ入力受信部110は、キャプチャされた忘年会スケジュールの題目615を、第2ディスプレイウィンドー620に移動させるユーザ入力をユーザから受信することができる。次に、ディスプレイ部130は、受信されたユーザ入力に基づいて、キャプチャされた忘年会スケジュールの題目615を、第2ディスプレイウィンドー620に挿入して表示することができる。 The user input receiving unit 110 can receive user input from the user to move the captured year-end party schedule title 615 to the second display window 620. Next, the display unit 130 can insert the captured year-end party schedule title 615 into the second display window 620 and display it based on the received user input.

一実施形態によれば、受信されたユーザ入力であるドラッグ・アンド・ドロップ動作が、第2ディスプレイウィンドー620の12月2日フィールド625で終了する場合、ディスプレイ部130は、キャプチャされた忘年会スケジュールの題目615を、第2ディスプレイウィンドー620の12月2日フィールド625に挿入させて表示することができる。 According to one embodiment, if the received user-input drag-and-drop operation ends in the second display window 620, December 2, field 625, the display unit 130 displays the captured year-end party schedule. The title 615 can be inserted and displayed in the December 2nd field 625 of the second display window 620.

他の実施形態によれば、忘年会スケジュールの題目615をキャプチャして移動させる場合、制御部140は、忘年会スケジュールに係わる詳細事項についても、自動的に第2ディスプレイウィンドー620に挿入させることができる。それによって、ユーザは、12月2日フィールド625を選択する入力を介して、忘年会スケジュールに係わる詳細事項を確認することができる。 According to another embodiment, when the title 615 of the year-end party schedule is captured and moved, the control unit 140 can automatically insert the details related to the year-end party schedule into the second display window 620. .. Thereby, the user can confirm the details related to the year-end party schedule through the input for selecting the December 2nd field 625.

また、忘年会スケジュールの題目615に対応するリンク情報が存在する場合に、制御部140は、第2ディスプレイウィンドー620に挿入された題目615に、リンク情報をマッチングさせることができる。 Further, when the link information corresponding to the title 615 of the year-end party schedule exists, the control unit 140 can match the link information with the title 615 inserted in the second display window 620.

図16は、第1ディスプレイウィンドー710に表示されたテキストを、第2ディスプレイウィンドー720に移動させる本発明の他の実施形態を図示した図面である。第1ディスプレイウィンドー710には、メモ帳アプリケーションが実行され、第2ディスプレイウィンドー720には、電子メールアプリケーションが実行されている。 FIG. 16 is a drawing illustrating another embodiment of the present invention in which the text displayed in the first display window 710 is moved to the second display window 720. A memo pad application is executed in the first display window 710, and an e-mail application is executed in the second display window 720.

本実施形態によれば、ユーザは、メモ帳アプリケーションに表示された複数個のメモにおいて、ボランティアスケジュールについてのメモ715を電子メールで伝送することを所望する。ユーザ入力受信部110は、ユーザからボランティアスケジュールについてのメモ715を選択するユーザ入力を受信することができる。前述のように、ユーザ入力受信部110は、四角形領域の枠に沿ってドラッグする入力、または2以上の頂点を選択して四角形の領域を決定する入力など、さまざまな形態のユーザ入力を受信することができる。 According to the present embodiment, the user desires to transmit the memo 715 about the volunteer schedule by e-mail in the plurality of memos displayed on the memo pad application. The user input receiving unit 110 can receive the user input for selecting the memo 715 about the volunteer schedule from the user. As described above, the user input receiving unit 110 receives various forms of user input, such as an input dragged along the frame of the rectangular area or an input for selecting two or more vertices to determine the rectangular area. be able to.

キャプチャ部120は、ユーザ入力によって、ボランティアスケジュールについてのメモ715をキャプチャすることができる。本実施形態にと係わって、ユーザは、キャプチャされたデータを電子メールで伝送することを所望するので、キャプチャ部120は、ボランティアスケジュールについてのメモ715をイメージにキャプチャすることもでき、テキストにキャプチャすることもできる。 The capture unit 120 can capture the memo 715 about the volunteer schedule by user input. In connection with the present embodiment, the user desires to transmit the captured data by e-mail, so that the capture unit 120 can also capture the memo 715 about the volunteer schedule as an image and capture it in text. You can also do it.

次に、ユーザ入力受信部110がキャプチャされたデータを、第2ディスプレイウィンドー720に移動させる入力を受信すれば、ディスプレイ部130は、キャプチャされたデータを、第2ディスプレイウィンドー720に挿入して表示することができる。この過程で、ユーザ入力のうちドロップ動作が第2ディスプレイウィンドー720の内容フィールド725で終了する場合、ディスプレイ部130は、ボランティアスケジュールについてのメモ715を、内容フィールド725に挿入して表示することができる。 Next, when the user input receiving unit 110 receives the input for moving the captured data to the second display window 720, the display unit 130 inserts the captured data into the second display window 720. Can be displayed. In this process, when the drop operation of the user input ends in the content field 725 of the second display window 720, the display unit 130 may insert the memo 715 about the volunteer schedule into the content field 725 and display it. it can.

図17は、第1ディスプレイウィンドー810に表示されたファイルを、第2ディスプレイウィンドー820に移動させる本発明の他の実施形態を図示した図面である。
本実施形態にと係わって、第1ディスプレイウィンドー810には、フォルダ探索アプリケーションが実行され、第2ディスプレイウィンドー820には、電子メールアプリケーションが実行される。ユーザは、デバイス100で、写真0033(例えば、jpegのような形式のファイル)ファイル815を電子メールに添付して伝送することを所望する。
FIG. 17 is a drawing illustrating another embodiment of the present invention in which a file displayed in the first display window 810 is moved to the second display window 820.
In connection with this embodiment, a folder search application is executed in the first display window 810, and an e-mail application is executed in the second display window 820. The user wants the device 100 to transmit the photo 0033 (eg, a file in a format such as jpeg) file 815 attached to an e-mail.

ユーザ入力受信部110は、写真0033.jpgファイル815を選択する入力をユーザから受信することができる。ユーザ入力受信部110は、ファイルに該当する画面の領域を、既設定の時間以上の時間で、押すホールド動作及びドラッグ・アンド・ドロップ動作を複合的に受信することができる。 The user input receiving unit 110 is shown in Photo 0033. You can receive input from the user to select the jpg file 815. The user input receiving unit 110 can receive the hold operation and the drag-and-drop operation in a complex manner by pressing the screen area corresponding to the file for a time equal to or longer than the preset time.

キャプチャ部120は、ユーザ入力に基づいて、写真0033.jpgファイル815をキャプチャすることができる。本実施形態に係わって、ユーザは、写真0033.jpgファイル815自体を、電子メールに添付することを所望したり、あるいは、写真0033.jpgファイル815に該当する画面のイメージや単純な文字(plaintext)をキャプチャすることを所望したりしない。それによって、キャプチャ部120は、写真0033.jpgファイル815に該当するURIデータをキャプチャすることができる。一実施形態によれば、ユーザ入力受信部110が受信するホールド入力に基づいて、キャプチャ部120は、URIデータをキャプチャすることができる。また、ユーザ入力受信部110が、ドラッグ・アンド・ドロップ動作を受信する場合、キャプチャ部120は、ドロップ動作が終了することによって、写真0033.jpgファイル815を添付するインテントデータをキャプチャすることができる。 The capture unit 120 is based on the user input, and the photograph 0033. You can capture the jpg file 815. In connection with this embodiment, the user can see in Photo 0033. You may wish to attach the jpg file 815 itself to an email, or photograph 0033. You do not want to capture the screen image or plain text that corresponds to the jpg file 815. As a result, the capture unit 120 has the photograph 0033. The URI data corresponding to the jpg file 815 can be captured. According to one embodiment, the capture unit 120 can capture the URI data based on the hold input received by the user input reception unit 110. Further, when the user input receiving unit 110 receives the drag-and-drop operation, the capture unit 120 completes the drop operation, and the photograph 0033. You can capture the intent data that attaches the jpg file 815.

ディスプレイ部130は、受信されたユーザ入力に基づいて、キャプチャされたURIデータ及びインテントデータを、第2ディスプレイウィンドー820に挿入して表示することができる。すなわち、第2ディスプレイウィンドー820の添付フィールドで、ドロップ動作が終了することによって、写真0033.jpgファイル815についてのURIデータ及びインテントデータを、第2ディスプレイウィンドー820に挿入する。次に、ディスプレイ部130は、第2ディスプレイウィンドー820で、写真0033.jpgファイル825が添付されるように表示することができる。 The display unit 130 can insert the captured URI data and the intent data into the second display window 820 and display the captured URI data and the intent data based on the received user input. That is, when the drop operation is completed in the attached field of the second display window 820, the photograph 0033. The URI data and intent data for the jpg file 815 are inserted into the second display window 820. Next, the display unit 130 is a second display window 820, and the photograph 0033. The jpg file 825 can be displayed as attached.

図18は、第1ディスプレイウィンドー920に表示されたテキストを、複数のディスプレイウィンドーに移動させる本発明の他の実施形態を図示した図面である。 FIG. 18 is a drawing illustrating another embodiment of the present invention in which the text displayed in the first display window 920 is moved to a plurality of display windows.

本実施形態に係わって、第1ディスプレイウィンドー920には、ウェブブラウザ・アプリケーションが実行され、第2ディスプレイウィンドー910,930には、メモ帳アプリケーションが実行される。ユーザは、ウェブブラウザ・アプリケーションに表示されるニュースの内容のうち一部をメモ帳に記録することを所望する。 In connection with this embodiment, a web browser application is executed in the first display window 920, and a memo pad application is executed in the second display windows 910 and 930. The user wants to record a portion of the news content displayed in the web browser application in Notepad.

まず、第1ディスプレイウィンドー920と、最初の第2ディスプレイウィンドー910との動作過程について説明する。ユーザ入力受信部110は、第1ディスプレイウィンドー920に表示されるニュースの内容925をキャプチャする入力を受信することができる。それによって、キャプチャ部120は、ニュースの内容925を、イメージ及びテキストのうちいずれか一つにキャプチャすることができる。図13A及び図13Bでは、テキストでキャプチャする場合について図示されている。 First, the operation process of the first display window 920 and the first second display window 910 will be described. The user input receiving unit 110 can receive an input that captures the news content 925 displayed on the first display window 920. Thereby, the capture unit 120 can capture the content 925 of the news in any one of the image and the text. 13A and 13B show the case of text capture.

キャプチャ部120は、ニュースの内容925において、時間、場所及び/またはウェブサイトの情報に係わるURIデータ及びインテントデータをキャプチャすることができる。次に、ユーザ入力受信部110が、キャプチャされたデータを移動させる入力を受信することによって、ディスプレイ部130は、最初の第2ディスプレイウィンドー910にキャプチャされたデータを挿入して表示(915)することができる。 The capture unit 120 can capture URI data and intent data related to time, place and / or website information in the news content 925. Next, when the user input receiving unit 110 receives the input for moving the captured data, the display unit 130 inserts and displays the captured data in the first second display window 910 (915). can do.

次に、第1ディスプレイウィンドー920と2番目の第2ディスプレイウィンドー930との動作過程について説明する。ユーザ入力受信部110は、第1ディスプレイウィンドー920に表示されるニュースの題目927をキャプチャする入力を受信することができる。それによって、キャプチャ部120は、ニュースの題目927を、イメージ及びテキストのうちいずれか一つでキャプチャすることができ、図13A及び図13Bでは、テキストにキャプチャする場合について図示されている。 Next, the operation process of the first display window 920 and the second second display window 930 will be described. The user input receiving unit 110 can receive the input that captures the news subject 927 displayed on the first display window 920. Thereby, the capture unit 120 can capture the title 927 of the news with any one of the image and the text, and FIGS. 13A and 13B show the case of capturing the text.

キャプチャ部120は、ニュースの題目927についての文字データ、URIデータ、及びインテントデータをキャプチャすることができる。次に、ユーザ入力受信部110がキャプチャされたデータを移動させる入力を受信することによって、ディスプレイ部130は、2番目の第2ディスプレイウィンドー930にキャプチャされたデータを挿入して表示(935)することができる。 The capture unit 120 can capture character data, URI data, and intent data for the news subject 927. Next, when the user input receiving unit 110 receives the input for moving the captured data, the display unit 130 inserts and displays the captured data in the second second display window 930 (935). can do.

それによって、ユーザ入力受信部110が、2番目の第2ディスプレイウィンドー930に表示されたニュースの題目935を選択する入力をユーザから受信すれば、デバイス100は、挿入されたURIデータ及びインテントデータを介して、ユーザに、当該ニュースの内容を提供することができる。 As a result, if the user input receiver 110 receives an input from the user to select the news subject 935 displayed in the second second display window 930, the device 100 receives the inserted URI data and the intent. The content of the news can be provided to the user via the data.

一方、前述の方法は、コンピュータで実行されるプログラムで作成可能であり、コンピュータ判読可能な媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されてもよい。また、前述の方法で使われたデータの構造は、コンピュータ判読可能媒体に多くの手段を介して記録される。本発明の多様な方法を遂行するための実行可能なコンピュータコードを含む保存デバイスについて説明するために使われるプログラム保存デバイスは、搬送波(carrier waves)や信号のように一時的な対象も含むものであると理解されてはならない。前記コンピュータ判読可能媒体は、マグネチック記録媒体(例えば、ROM(read-only memory)、フロッピー(登録商標)ディスク、ハードディスクなど)、光学的判読媒体(例えば、CD(compact disc)−ROM、DVD(digital versatile disc)など)のような記録媒体を含む。 On the other hand, the above-mentioned method can be created by a program executed by a computer, and may be embodied by a general-purpose digital computer that operates the program by using a computer-readable medium. Also, the structure of the data used in the aforementioned method is recorded on a computer-readable medium via many means. Program storage devices used to describe storage devices that contain executable computer code to carry out the various methods of the invention include temporary objects such as carrier waves and signals. Must not be understood. The computer-readable medium is a magnetic recording medium (for example, ROM (read-only memory), floppy (registered trademark) disk, hard disk, etc.), an optically readable medium (for example, CD (compact disc) -ROM, DVD (for example). Includes recording media such as digital versatile disc)).

本発明の実施形態と係わる技術分野で当業者であるならば、前記記載の本質的な特性からはずれない範囲で変形された形態で具現されるものであるということを理解することができるであろう。従って、開示された方法は、限定的な観点ではなく、説明的観点から考慮されなければならない。本発明の範囲は、発明の詳細な説明ではなく、特許請求の範囲に示され、それと同等な範囲内にあるすべての差異は、本発明の範囲に含まれるものであると解釈されなければならない。 Those skilled in the art in the technical field related to the embodiment of the present invention can understand that it is embodied in a modified form within a range not deviating from the essential characteristics described above. Let's do it. Therefore, the disclosed method must be considered from a descriptive point of view, not from a limiting point of view. The scope of the invention is set forth in the claims, not the detailed description of the invention, and all differences within the equivalent scope must be construed to be included in the scope of the invention. ..

本発明のディスプレイウィンドーに係わるキャプチャイメージ生成方法及びその装置は、例えば、ディスプレイ関連の技術分野に効果的に適用可能である。 The captured image generation method and the apparatus thereof according to the display window of the present invention can be effectively applied to, for example, a display-related technical field.

5 アイコン
10,20,30,40,61,62,63 ディスプレイウィンドー
60 画面
611,621,631,661 キャプチャイメージ
64,67 ステータスバー
65 キャプチャボタン
66 第1ディスプレイウィンドー
100 デバイス
110 ユーザ入力受信部
120 キャプチャ部
130 ディスプレイ部
140 制御部
150 メモリ
5 Icon 10, 20, 30, 40, 61, 62, 63 Display window 60 Screen 611, 621, 631, 661 Capture image 64, 67 Status bar 65 Capture button 66 First display window 100 Device 110 User input receiver 120 Capture unit 130 Display unit 140 Control unit 150 Memory

Claims (13)

電子デバイスにおけるキャプチャされたイメージを生成する方法であって、
第1ディスプレイウィンドーにイメージをキャプチャするために第1のタッチ入力を受信する段階であって、前記イメージをキャプチャすることは、キャプチャされる前記イメージの領域を決定することを含む、段階と、
前記第1ディスプレイウィンドー上の前記イメージの領域以外の領域とは異なる、前記キャプチャされるイメージの領域を、前記第1ディスプレイウィンドー上にディスプレイする段階と、
前記第1ディスプレイウィンドー上の前記イメージの少なくとも一部にオーバーラップされた前記イメージに対応するキャプチャされたイメージをディスプレイする段階と、
ドラッグタッチ入力に基づいて、前記キャプチャされたイメージを第2ディスプレイウィンドーに提供する段階と、
前記キャプチャされたイメージに対して行われた前記ドラッグタッチ入力の完了に応答して、前記第2ディスプレイウィンドーに挿入された前記キャプチャされたイメージをディスプレイする段階と、を含み、
前記第2ディスプレイウィンドーに挿入された前記キャプチャされたイメージは、前記キャプチャされたイメージが挿入される前記第2ディスプレイウィンドーの所定の領域のサイズに基づいて調整されたサイズに表示され、前記第2ディスプレイウィンドーに挿入された前記キャプチャされたイメージのサイズは、前記第2ディスプレイウィンドーのサイズに比例しないように調整される、方法。
A method of generating a captured image in an electronic device,
A step of receiving a first touch input to capture an image in a first display window, wherein capturing the image involves determining an area of the image to be captured.
A step of displaying the captured image area on the first display window, which is different from the area other than the image area on the first display window.
A step of displaying a captured image corresponding to the image that overlaps at least a part of the image on the first display window.
At the stage of providing the captured image to the second display window based on the drag touch input,
A step of displaying the captured image inserted in the second display window in response to the completion of the drag touch input made to the captured image.
The captured image inserted into the second display window is displayed in a size adjusted based on the size of a predetermined area of the second display window into which the captured image is inserted. A method in which the size of the captured image inserted into the second display window is adjusted so that it is not proportional to the size of the second display window.
前記第1ディスプレイウィンドーは、フォーカスされたディスプレイウィンドーであることを特徴とする請求項1に記載の方法。 The method according to claim 1, wherein the first display window is a focused display window. 前記イメージをキャプチャするための前記第1のタッチ入力を受信する段階は、前記キャプチャされるイメージに対して所定の時間だけ行われるタッチ入力である前記第1のタッチ入力に基づいて、前記キャプチャされたイメージを決定することを含むことを特徴とする請求項1に記載の方法。 The step of receiving the first touch input for capturing the image is based on the first touch input, which is a touch input performed on the captured image for a predetermined time. The method according to claim 1, wherein the image is determined. 前記第1のタッチ入力は、前記キャプチャされるイメージ上に閉曲線を描くことを含むことを特徴とする請求項1に記載の方法。 The method of claim 1, wherein the first touch input comprises drawing a closed curve on the captured image. 前記キャプチャされたイメージは、前記イメージの領域のサイズより小さなサイズに縮小されたイメージであることを特徴とする請求項1に記載の方法。 The method according to claim 1, wherein the captured image is an image reduced in size smaller than the size of the region of the image. 前記第1ディスプレイウィンドー上の前記イメージの領域以外の領域とは異なる前記イメージの領域をディスプレイする段階は、
前記イメージの前記領域以外の領域に適用される色相、彩度、および明度のうち少なくとも1つとは異なる色相、異なる彩度、および異なる明度のうち少なくとも1つで、前記イメージの前記領域を表示することにより、前記イメージの領域以外の領域とは異なる前記イメージの領域を、前記第1ディスプレイウィンドーにディスプレイする段階を含むことを特徴とする請求項1に記載の方法。
The step of displaying the area of the image different from the area other than the area of the image on the first display window is
Display the region of the image with a hue, different saturation, and at least one of the different brightness that is different from at least one of the hue, saturation, and lightness applied to the region other than the region of the image. The method according to claim 1, wherein the image region different from the region other than the image region is displayed in the first display window.
電子デバイスにおけるキャプチャされたイメージを生成する方法であって、
第1ディスプレイウィンドーにイメージをキャプチャするために第1のタッチ入力を受信する段階であって、前記イメージをキャプチャすることは、キャプチャされる前記イメージの領域を決定することを含む、段階と、
前記第1ディスプレイウィンドー上の前記イメージの領域以外の領域とは異なる、前記キャプチャされるイメージの領域を、前記第1ディスプレイウィンドー上にディスプレイする段階と、
前記第1ディスプレイウィンドー上の前記イメージの少なくとも一部にオーバーラップされた前記イメージに対応するキャプチャされたイメージをディスプレイする段階と、
ドラッグタッチ入力に基づいて、前記キャプチャされたイメージを、第2ディスプレイウィンドーに対応するアプリケーションに提供する段階と、
前記キャプチャされたイメージに対して行われた前記ドラッグタッチ入力の完了に応答して、前記アプリケーションに挿入された前記キャプチャされたイメージをディスプレイする段階と、を含み、
前記アプリケーションに挿入された前記キャプチャされたイメージは、前記キャプチャされたイメージが挿入される前記アプリケーションの領域のサイズに基づいて調整されたサイズに表示され、前記アプリケーションに挿入された前記キャプチャされたイメージのサイズは、前記アプリケーションに対応する前記第2ディスプレイウィンドーのサイズに比例しないように調整される、方法。
A method of generating a captured image in an electronic device,
A step of receiving a first touch input to capture an image in a first display window, wherein capturing the image involves determining an area of the image to be captured.
A step of displaying the captured image area on the first display window, which is different from the area other than the image area on the first display window.
A step of displaying a captured image corresponding to the image that overlaps at least a part of the image on the first display window.
At the stage of providing the captured image to the application corresponding to the second display window based on the drag touch input, and
Including a step of displaying the captured image inserted into the application in response to the completion of the drag touch input made to the captured image.
The captured image inserted into the application is displayed in a size adjusted based on the size of the area of the application into which the captured image is inserted, and the captured image inserted into the application. The size of the method is adjusted so that it is not proportional to the size of the second display window corresponding to the application.
キャプチャされたイメージを生成する装置であって、
ディスプレイと、
制御部と、を備え、
前記制御部は、
第1ディスプレイウィンドーにイメージをキャプチャするための第1のタッチ入力を受信するように制御し、ここで、前記イメージをキャプチャすることは、キャプチャされる前記イメージの領域を決定することを含み、
前記第1ディスプレイウィンドー上の前記イメージの領域以外の領域とは異なる、前記キャプチャされるイメージの領域を、前記第1ディスプレイウィンドー上にディスプレイするように制御し、
前記第1ディスプレイウィンドー上の前記イメージの少なくとも一部にオーバーラップされた前記イメージに対応するキャプチャされたイメージをディスプレイするように制御し、
ドラッグタッチ入力に基づいて、前記キャプチャされたイメージを、第2ディスプレイウィンドーに提供するように制御し、
前記キャプチャされたイメージに対して行われた前記ドラッグタッチ入力の完了に応答して、前記第2ディスプレイウィンドーに挿入された前記キャプチャされたイメージをディスプレイするように制御し、
前記第2ディスプレイウィンドーに挿入された前記キャプチャされたイメージは、前記キャプチャされたイメージが挿入される前記第2ディスプレイウィンドーの所定の領域のサイズに基づいて調整されたサイズに表示され、前記第2ディスプレイウィンドーに挿入された前記キャプチャされたイメージのサイズは、前記第2ディスプレイウィンドーのサイズに比例しないように調整される、ことを特徴とする装置。
A device that produces captured images
With the display
With a control unit
The control unit
The first display window is controlled to receive a first touch input for capturing an image, wherein capturing the image comprises determining an area of the image to be captured.
The area of the captured image, which is different from the area other than the area of the image on the first display window, is controlled to be displayed on the first display window.
Controlled to display a captured image corresponding to the image overlapping at least a portion of the image on the first display window.
Based on the drag-touch input, the captured image is controlled to be provided to the second display window.
Controlled to display the captured image inserted in the second display window in response to the completion of the drag touch input made to the captured image.
The captured image inserted into the second display window is displayed in a size adjusted based on the size of a predetermined area of the second display window into which the captured image is inserted. A device characterized in that the size of the captured image inserted into the second display window is adjusted so as not to be proportional to the size of the second display window.
前記第1ディスプレイウィンドーは、フォーカスされたディスプレイウィンドーであることを特徴とする請求項8に記載の装置。 The device according to claim 8, wherein the first display window is a focused display window. 前記イメージをキャプチャするための前記第1のタッチ入力の受信は、前記キャプチャされるイメージに対して所定の時間だけ行われるタッチ入力である前記第1のタッチ入力に基づいて、前記キャプチャされたイメージを決定することを含むことを特徴とする請求項8に記載の装置。 The reception of the first touch input for capturing the image is based on the first touch input, which is a touch input performed on the captured image for a predetermined time, and the captured image. 8. The apparatus of claim 8, wherein the apparatus comprises determining. 前記第1のタッチ入力は、前記キャプチャされるイメージ上に閉曲線を描くことを含むことを特徴とする請求項8に記載の装置。 The device of claim 8, wherein the first touch input comprises drawing a closed curve on the captured image. 前記キャプチャされたイメージは、前記イメージの領域のサイズより小さなサイズに縮小されたイメージであることを特徴とする請求項8に記載の装置。 The apparatus according to claim 8, wherein the captured image is an image reduced in size smaller than the size of the region of the image. 請求項1の方法を実行するためのプログラムを記録した非一時的なコンピュータ判読可能な記録媒体。 A non-temporary computer-readable recording medium on which a program for executing the method of claim 1 is recorded.
JP2020205850A 2012-02-24 2020-12-11 Capture image generation method for display window and its device Active JP7101747B2 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20120019180 2012-02-24
KR10-2012-0019180 2012-02-24
KR10-2012-0084193 2012-07-31
KR1020120084193A KR102304700B1 (en) 2012-02-24 2012-07-31 Method and device for generating capture image for display windows

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018227188A Division JP2019071073A (en) 2012-02-24 2018-12-04 Method for generating captured image for display windows, and device of the same

Publications (2)

Publication Number Publication Date
JP2021061011A true JP2021061011A (en) 2021-04-15
JP7101747B2 JP7101747B2 (en) 2022-07-15

Family

ID=49449935

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017190206A Active JP6449405B2 (en) 2012-02-24 2017-09-29 Method and apparatus for generating capture image for display window
JP2018227188A Pending JP2019071073A (en) 2012-02-24 2018-12-04 Method for generating captured image for display windows, and device of the same
JP2020205850A Active JP7101747B2 (en) 2012-02-24 2020-12-11 Capture image generation method for display window and its device

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2017190206A Active JP6449405B2 (en) 2012-02-24 2017-09-29 Method and apparatus for generating capture image for display window
JP2018227188A Pending JP2019071073A (en) 2012-02-24 2018-12-04 Method for generating captured image for display windows, and device of the same

Country Status (3)

Country Link
JP (3) JP6449405B2 (en)
KR (2) KR102304700B1 (en)
AU (2) AU2013222990A1 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461474A (en) * 2013-09-12 2015-03-25 北京三星通信技术研究有限公司 Mobile terminal and screen-shooting method and device therefor
KR102117048B1 (en) * 2013-09-17 2020-05-29 삼성전자주식회사 Method and device for executing a plurality of applications
CN104252296B (en) * 2014-08-28 2018-12-18 广州三星通信技术研究有限公司 The method and apparatus of picture are applied in electric terminal
KR102142569B1 (en) * 2016-11-01 2020-08-07 주식회사 케이티 Media play device and method for capturing screen
CN106603772B (en) * 2017-01-26 2019-12-27 Oppo广东移动通信有限公司 Electronic device and image acquisition method
JP7123487B2 (en) 2018-11-22 2022-08-23 矢崎総業株式会社 Terminal work device
KR20210123009A (en) * 2020-04-02 2021-10-13 삼성전자주식회사 Electronic device and method for controlling and operating of screen capture
KR102515734B1 (en) * 2020-04-09 2023-03-30 테크하임주식회사 Web Browser Control Method and Web Browser Terminal Therefore
KR20220017065A (en) * 2020-08-04 2022-02-11 삼성전자주식회사 Method for providing of capture function and electronic device therefor
KR20220107860A (en) * 2021-01-26 2022-08-02 삼성전자주식회사 Electronic device performing screen captures and method thereof
WO2023063713A1 (en) * 2021-10-12 2023-04-20 삼성전자 주식회사 Electronic device including flexible display and operating method of electronic device
CN114840298B (en) * 2022-07-04 2023-04-18 荣耀终端有限公司 Suspended window opening method and electronic equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09311944A (en) * 1996-05-21 1997-12-02 Canon Inc Image editing device and its method and document editing system
US20070294630A1 (en) * 2006-06-15 2007-12-20 Microsoft Corporation Snipping tool
KR100852652B1 (en) * 2008-01-22 2008-08-18 주식회사 아이오셀 Information processing terminal and system for providing information processing terminal user interface using host resource and method thereof
KR20100030387A (en) * 2008-09-10 2010-03-18 엘지전자 주식회사 Controlling a mobile terminal with at least two display area
US20120010995A1 (en) * 2008-10-23 2012-01-12 Savnor Technologies Web content capturing, packaging, distribution

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3363120B2 (en) * 1999-08-30 2003-01-08 ファンクルシステム株式会社 Content collection / pasting method and apparatus, and computer-readable recording medium recording program for content collection / pasting
JP2001147759A (en) * 1999-11-24 2001-05-29 Casio Comput Co Ltd Information editing device and storage medium storing information edition processing program
US20040119762A1 (en) * 2002-12-24 2004-06-24 Fuji Xerox Co., Ltd. Systems and methods for freeform pasting
US20040257346A1 (en) * 2003-06-20 2004-12-23 Microsoft Corporation Content selection and handling
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
JP2006053872A (en) * 2004-08-16 2006-02-23 Fuji Photo Film Co Ltd Image transfer method
JP2006155278A (en) * 2004-11-30 2006-06-15 Canon Software Inc Information processor, information processing method, program and recording medium
JP2008250700A (en) * 2007-03-30 2008-10-16 Canon Inc Information processor, window reproduction method and program
JP5071324B2 (en) * 2008-09-26 2012-11-14 株式会社デンソーウェーブ Portable terminal device and data copy method
US20100153168A1 (en) * 2008-12-15 2010-06-17 Jeffrey York System and method for carrying out an inspection or maintenance operation with compliance tracking using a handheld device
JP2010218527A (en) * 2009-02-20 2010-09-30 Sharp Corp Interface device, method for controlling interface device, control program, and computer readable recording medium with the control program recorded
JP5033827B2 (en) * 2009-03-16 2012-09-26 京セラドキュメントソリューションズ株式会社 Image operation display apparatus and image forming apparatus
JP2010266835A (en) * 2009-04-15 2010-11-25 Fujifilm Corp Autofocus system
JP2010278510A (en) * 2009-05-26 2010-12-09 Elmo Co Ltd Document presentation device
KR20110019942A (en) * 2009-08-21 2011-03-02 주식회사 엔피커 Webpage editing and storing sysyem
JP5617255B2 (en) * 2010-01-25 2014-11-05 富士通株式会社 Information display apparatus, program, and method
JP5246178B2 (en) * 2010-02-16 2013-07-24 富士通モバイルコミュニケーションズ株式会社 Electronics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09311944A (en) * 1996-05-21 1997-12-02 Canon Inc Image editing device and its method and document editing system
US20070294630A1 (en) * 2006-06-15 2007-12-20 Microsoft Corporation Snipping tool
KR100852652B1 (en) * 2008-01-22 2008-08-18 주식회사 아이오셀 Information processing terminal and system for providing information processing terminal user interface using host resource and method thereof
KR20100030387A (en) * 2008-09-10 2010-03-18 엘지전자 주식회사 Controlling a mobile terminal with at least two display area
US20120010995A1 (en) * 2008-10-23 2012-01-12 Savnor Technologies Web content capturing, packaging, distribution

Also Published As

Publication number Publication date
KR102304700B1 (en) 2021-09-28
KR20190126267A (en) 2019-11-11
KR20130097622A (en) 2013-09-03
JP2018041471A (en) 2018-03-15
JP6449405B2 (en) 2019-01-09
JP2019071073A (en) 2019-05-09
AU2013222990A1 (en) 2014-07-24
AU2018204001B2 (en) 2019-06-20
JP7101747B2 (en) 2022-07-15
AU2018204001A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
JP7101747B2 (en) Capture image generation method for display window and its device
JP6223690B2 (en) Method and apparatus for generating capture image for display window
TWI609317B (en) Smart whiteboard interactions
US11770600B2 (en) Wide angle video conference
US20200027484A1 (en) Systems and methods for reviewing video content
WO2014010497A1 (en) Display control device, display control method, program, and communication system
US10728197B2 (en) Unscripted digital media message generation
US20100324709A1 (en) E-book reader with voice annotation
US10691408B2 (en) Digital media message generation
US20230143275A1 (en) Software clipboard
WO2014010496A1 (en) Display control device, display control method, program, and communication system
JP2014021511A (en) Display control unit, display control method, program, and communication system
WO2015012977A1 (en) Direct presentations from content collections
US9973459B2 (en) Digital media message generation
US20240064395A1 (en) Wide angle video conference
JP2017134469A (en) Image display device, image display method, and program
JP2007179083A (en) Conference system, control method therefor and program
JP2016505923A (en) Providing annotation-based annotation of content in electronic readers
KR20130048926A (en) Method for scrap of digital magazine edited in layers and apparatus therof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220705

R150 Certificate of patent or registration of utility model

Ref document number: 7101747

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150