[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2020095906A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2020095906A1
WO2020095906A1 PCT/JP2019/043318 JP2019043318W WO2020095906A1 WO 2020095906 A1 WO2020095906 A1 WO 2020095906A1 JP 2019043318 W JP2019043318 W JP 2019043318W WO 2020095906 A1 WO2020095906 A1 WO 2020095906A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display area
displayed
moving image
image sequence
Prior art date
Application number
PCT/JP2019/043318
Other languages
English (en)
French (fr)
Inventor
岡田 充弘
晶光 安田
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to US17/287,631 priority Critical patent/US12141427B2/en
Priority to JP2020556084A priority patent/JP7134247B2/ja
Publication of WO2020095906A1 publication Critical patent/WO2020095906A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program for displaying a moving image by superimposing it on another image.
  • the user may desire to reproduce another part of the moving image being reproduced.
  • the user interface in such a case has not been fully studied yet.
  • the present invention has been made in consideration of the above circumstances, and one of the objects thereof is suitable when a user changes a reproduction position of a moving image when the moving image is displayed by being superimposed on another image.
  • An information processing apparatus, an information processing method, and a program capable of providing various interfaces are provided.
  • the information processing apparatus while displaying an image, a moving image display control unit that displays a moving image of interest different from the image in a predetermined area in a display area in which the image is displayed, and a user.
  • the image column display control unit for displaying the image column formed by extracting a plurality of frame images from the attention moving image side by side in the display area, the image column display control unit, It is characterized in that the image sequence is displayed at a position determined in the display region according to the predetermined region.
  • An information processing method includes a moving image display step of displaying a moving image of interest different from the image in a predetermined area within a display area in which the image is displayed, while the image is being displayed,
  • a moving image display step of displaying a moving image of interest different from the image in a predetermined area within a display area in which the image is displayed, while the image is being displayed.
  • an image sequence displaying a sequence of images obtained by extracting a plurality of frame images from the moving image of interest is displayed side by side in the display area, and in the image sequence displaying step, the image sequence is displayed. Is displayed at a position determined according to the predetermined area in the display area.
  • the program according to the present invention includes a moving image display step of displaying a moving image of interest different from the image in a predetermined area in the display area in which the image is displayed, and a user instruction.
  • the display step is a program for displaying the image sequence at a position determined according to the predetermined area in the display area.
  • This program may be provided by being stored in a computer-readable non-transitory information storage medium.
  • FIG. 1 is a configuration block diagram showing a configuration of an information processing device 1 according to an embodiment of the present invention.
  • the information processing apparatus 1 is, for example, a portable game machine, a home-use game machine, a personal computer, a smartphone, a video player, or the like, and as shown in the figure, a control unit 11, a storage unit 12, and an interface unit 13. And are included.
  • the information processing device 1 is also connected to the display device 14 and the operation device 15.
  • the control unit 11 includes at least one processor such as a CPU, and executes programs stored in the storage unit 12 to execute various types of information processing. Note that a specific example of the processing executed by the control unit 11 in this embodiment will be described later.
  • the storage unit 12 includes at least one memory device such as a RAM, and stores a program executed by the control unit 11 and data processed by the program.
  • the interface unit 13 is an interface for data communication with the display device 14 and the operation device 15.
  • the information processing device 1 is connected to each of the display device 14 and the operation device 15 by wire or wirelessly via the interface unit 13.
  • the interface unit 13 includes a multimedia interface such as HDMI (High-Definition Multimedia Interface) in order to transmit the video data supplied by the information processing device 1 to the display device 14.
  • a data communication interface such as a USB (Universal Serial Bus) is included in order to receive a signal indicating the content of the operation performed by the user on the operation device 15.
  • the display device 14 is a liquid crystal display, an organic EL display, or the like, and displays an image according to the video signal supplied from the information processing device 1 on the screen.
  • the operation device 15 is, for example, a keyboard, a mouse, a controller of a home-use game machine, or the like, and receives an operation input from a user. It should be noted that the display device 14 and the operation device 15 may both be built in the housing of the information processing device 1 or may be separate devices connected to the information processing device 1 by wire or wirelessly.
  • the operation device 15 may be a push button or a touch panel arranged on the surface of the housing of the information processing device 1.
  • the operation device 15 is a controller for home-use game machines, and a touch pad 15a that outputs information on a position touched by a user's finger and various operations are provided on the housing surface of the operation device 15. It is assumed that a button 15b for inputting is arranged.
  • the touchpad 15a may be capable of accepting a push-in operation for the entire touchpad 15a.
  • the information processing device 1 is functionally configured to include an entire image display control unit 21, a moving image display control unit 22, and an image sequence display control unit 23. These functions are realized by the control unit 11 operating according to a program stored in the storage unit 12. This program may be provided to the information processing device 1 via a communication network such as the Internet, or may be provided by being stored in a computer-readable information storage medium such as an optical disc.
  • the whole image display control unit 21 controls to display the whole image on the screen of the display device 14.
  • the entire image may be, for example, a game image that the user is playing, or may be a moving image different from the attention moving image described later. Also, other types of images may be used.
  • the whole image display control unit 21 is realized by the game program.
  • the whole image display control unit 21 may be realized by a video player program or the like.
  • the area in the screen where the entire image is displayed will be referred to as a main display area M below.
  • the main display area M may be the entire area within the screen that can be displayed by the display device 14, or a partial area thereof.
  • the moving image display control unit 22 controls to display the moving image of interest at a position overlapping with the entire image and reproduce it while the entire image is displayed in the main display area M.
  • region where a moving image of interest is displayed is described with the sub-display area S.
  • the sub display area S is a rectangular area smaller than the main display area M, and the entire sub display area S is included in the main display area M.
  • the moving image display control unit 22 displays the moving image of interest in such a size that the entire image fits within the sub display area S.
  • the entire image of the portion overlapping the sub-display area S is hidden by the moving image of interest and is not displayed. Therefore, it is desirable that the size of the sub display area S is sufficiently smaller than that of the main display area M.
  • At least each side of the sub display area S is assumed to be half or less of each side of the corresponding main display area M.
  • the moving image of interest may be a moving image read from an external storage medium such as an optical disk or a hard disk drive and reproduced, or may be a moving image distributed via a communication network such as the Internet. It may also be a broadcast program distributed via radio waves or the like.
  • the moving image display control unit 22 arranges the sub display area S at a position overlapping with the main display area M and reproduces the moving image of interest inside the sub display area S, so that the user can browse the entire image displayed in a large size. , At the same time, the moving image of interest can also be viewed.
  • the moving image of interest may be a related moving image related to the content displayed as the whole image.
  • the moving image of interest may be a moving image related to the moving image being reproduced as the entire image.
  • the moving image display control unit 22 is related to the moving image currently being reproduced at the timing instructed by the user, the timing at which the reproduction of the moving image currently being reproduced in the main display region M is approaching, or the like.
  • the moving image is displayed in the sub-display area S as the moving image of interest.
  • the related moving image may be selected from the candidate moving images based on, for example, the degree of similarity of the title of each moving image, tag information set in each moving image, and the like.
  • the candidate moving image may be a moving image stored in an external storage medium connected to the information processing device 1 or may be a moving image published via a communication network such as the Internet.
  • the moving image display control unit 22 determines that the moving image candidate is released as a moving image related to the game.
  • the related moving image may be selected from the above.
  • FIG. 3 shows an arrangement example of the sub display area S.
  • the sub-display area S is arranged at a position on the lower right side of the main display area M, and the moving image of interest is reproduced therein.
  • the position of the sub display area S in the main display area M may be a predetermined position or a position designated by the user.
  • the user can arrange the sub-display area S at a position where the user can easily see the whole image, depending on the content of the whole image displayed in the main display area M and the like.
  • the user may change the display position of the moving image of interest while displaying the moving image of interest, for example, by operating the direction instruction key provided on the operation device 15. Further, the position of the sub display area S may be designated in advance before the display of the moving image of interest is started.
  • the moving image display control unit 22 may display a plurality of moving images of interest in the main display area M at the same time.
  • FIG. 4 is a diagram showing an arrangement example of the sub-display area S in this case.
  • the entire image is displayed in the entire main display area M
  • the sub display area S1 is arranged at a position near the upper right of the main display area M
  • the sub display area S2 is arranged at a position near the lower right.
  • the attention moving image 1 is reproduced in the sub display area S1
  • the attention moving image 2 different from the attention moving image 1 is reproduced in the sub display area S2.
  • the user can browse the entire images while viewing the moving images 1 and 2 of interest at the same time.
  • three or more sub-display areas S may be arranged in the main display area M and three or more attention moving images may be displayed at the same time.
  • the moving image display control unit 22 selects a plurality of such related moving images, and at the same time. It may be displayed.
  • the image sequence display control unit 23 controls to display an image sequence including a plurality of frame images extracted from the moving image of interest in the main display area M. For example, the image sequence display control unit 23 extracts a plurality of frame images that are sequentially displayed at predetermined time intervals when reproducing the moving image of interest, and converts the frame images into thumbnail images of a display size. Then, in accordance with a user's instruction, an image sequence of thumbnail images thus extracted (hereinafter referred to as a thumbnail image sequence) is displayed side by side in the main display area M. At this time, the display size of each thumbnail image may be substantially the same as or smaller than the display size of the moving image of interest. By displaying such a thumbnail image sequence, the user can overview the contents of the moving image of interest in chronological order. Below, the area in the main display area M in which the thumbnail image sequence is displayed is referred to as a thumbnail display area T.
  • the image string display control unit 23 is supposed to display the thumbnail image string according to the instruction input by the user to the operation device 15.
  • the thumbnail image sequence may be displayed while the moving image of interest is being reproduced in the sub-display area S, or may be displayed while the reproduction of the moving image of interest is stopped. It should be noted that when the display of the thumbnail image sequence is instructed during the reproduction of the moving image of interest, the reproduction of the moving image of interest is interrupted. When displaying the thumbnail image sequence in a state where the reproduction of the moving image of interest is interrupted, the image sequence display control unit 23 centers on the reproduction position at the time of the interruption, and arranges the frame images displayed before and after the thumbnail image. Display the image sequence.
  • the image sequence display control unit 23 displays the thumbnail image sequence in which the frame images extracted in order from the head of the focused moving image are arranged. It shall be.
  • the image string display control unit 23 determines the position of the thumbnail display area T in the main display area M according to the position of the sub display area S. As with the moving image of interest, displaying the thumbnail image sequence at a fixed position in the main display area M may make it difficult to browse the entire image. Therefore, the image sequence display control unit 23 determines the display position of the thumbnail image sequence in accordance with the position of the sub-display area S, so that the thumbnail image sequence can be easily grasped by the user and does not disturb the browsing of the entire image. Can be displayed.
  • FIG. 5 is a display example in this case, and shows a display example in the case where an instruction to display the thumbnail image sequence is given in the state where the target moving image is displayed in the sub-display area S illustrated in FIG.
  • the thumbnail image sequence is composed of a plurality of thumbnail images arranged side by side in the horizontal direction.
  • the thumbnail display area T in this example is arranged so as to be adjacent to and below the sub display area S arranged in the lower right part of the main display area M. That is, the thumbnail image sequence is arranged adjacent to a position closer to the outer periphery of the main display area M than the sub display area S.
  • the thumbnail image sequence As described above, by arranging the thumbnail image sequence at a position closer to the outer periphery of the main display region M than the sub display region S, it is possible to prevent the thumbnail image sequence from hiding near the center of the entire image.
  • the frame images forming the thumbnail image sequence are arranged side by side in the horizontal direction here, they may be arranged side by side in the vertical direction. Even in that case, by arranging the thumbnail image sequence at a position close to the outer periphery of the main display area M, it is possible to prevent the display of the thumbnail image sequence from obstructing the browsing of the entire image.
  • the width of the thumbnail display area T along the direction in which the thumbnail images are arranged may be a predetermined size, or may match the width of the entire main display area M. It may be wide. At least the thumbnail display area T needs to be wider than the width of the sub display area S in the same direction. Further, the horizontal position of the thumbnail display area T is assumed to be a position that at least overlaps the sub display area S.
  • the thumbnail image corresponding to the interrupted reproduction position is arranged at a predetermined reference position in the thumbnail display area T.
  • This reference position may be the center position in the direction in which the thumbnail images are arranged. Further, it may be a position adjacent to the sub display area S. In the example of FIG. 5, a frame image F surrounding the thumbnail image displayed at the reference position is displayed. In this way, the thumbnail image at the reference position is displayed in a manner distinguishable from other thumbnail images.
  • the reference position is the center position of the thumbnail display area T, thumbnail images corresponding to a time point earlier than the thumbnail image at the reference position and thumbnail images corresponding to a future time point are displayed in the same number in the thumbnail display area T. be able to.
  • the user may perform an operation of selecting any of the thumbnail images. Specifically, since the thumbnail images are arrayed in the horizontal direction here, the user performs an operation to instruct the left direction or the right direction along the array direction.
  • the image row display control unit 23 scrolls the thumbnail images being displayed in the thumbnail display area T and sequentially switches the thumbnail images displayed at the reference position. It should be noted that, along with this scrolling, thumbnail images that have not been displayed in the thumbnail display area T until then are sequentially displayed. As a result, the thumbnail image corresponding to the frame image displayed in the middle of the entire moving image of interest can be displayed in the thumbnail display area T from the reproduction start time to the reproduction end time. The user performs an operation input for instructing the completion of selection while the target thumbnail image is displayed at the reference position.
  • the image sequence display control unit 23 terminates the display of the thumbnail image sequence, and the moving image display control unit 22 causes the moving image display control unit 22 to display the playback position corresponding to the thumbnail image selected by the user (that is, the thumbnail image).
  • the reproduction of the moving image of interest is restarted from the timing (when the frame image corresponding to the image is displayed).
  • the user can rewind or advance the reproduction position of the moving image of interest to reproduce the moving image of interest from the desired reproduction position.
  • the moving image of interest may be displayed as the entire image in the main display area M according to the operation content of the user. In this way, the user can display the moving image of interest, which has been displayed in the sub-display area S up to that point, in the main display area M in a larger size and start the reproduction from the position designated by the user. it can.
  • the timeline bar TL is displayed in the thumbnail display area T along with the thumbnail image row.
  • the timeline bar TL corresponds to the entire reproduction time of the moving image of interest, and the reproduction position corresponding to the thumbnail image row currently displayed in the thumbnail display area T is highlighted. This allows the user to know which time zone of the entire reproduction time of the moving image of interest the thumbnail image sequence displayed in the thumbnail display area T corresponds to.
  • FIG. 6 shows an example in which a thumbnail image sequence is displayed so as to be adjacent to the sub display area S in the state where a plurality of sub display areas S are arranged as illustrated in FIG.
  • a plurality of sub-display areas S are arranged side by side in the vertical direction.
  • the image sequence display control unit 23 may select the target moving image for which the thumbnail image sequence is displayed according to the user's instruction in the vertical direction.
  • the image sequence display control unit 23 is displayed on the upper side.
  • a thumbnail image sequence including frame images extracted from the noted moving image 1 is displayed.
  • the thumbnail image sequence is displayed at a position adjacent to the upper side of the sub display area S1.
  • the display position of the thumbnail image sequence in this case is a position on the outer peripheral side when viewed from the sub display area S1, and also a position opposite to the sub display area S2 when viewed from the sub display area S1.
  • the thumbnail image sequence By displaying the thumbnail image sequence at such a position, compared to the case where the thumbnail image sequence is displayed in the lower side of the sub display area S1 (that is, the sub display area S2 side), the thumbnail image sequence has a plurality of attention points. It is possible to make it easier to understand which attention moving image corresponds to the moving image.
  • the image sequence display control unit 23 displays the thumbnail image sequence including the frame image extracted from the attention moving image 2 displayed on the lower side.
  • the display position of the thumbnail image sequence in this case may be a position adjacent to the lower side of the sub display area S2, as in the example of FIG.
  • the user may use the touch pad 15a to select, from among the plurality of moving images of interest, the moving image of interest for which the thumbnail image sequence is displayed. Specifically, the user performs an operation of touching a position in the touch pad 15a corresponding to the position where the target moving image of the selection target is displayed in the main display region M, so that the user can move the plurality of target moving images.
  • the attention moving image 1 can be selected by touching the area on the upper right side of the detection range of the touch pad 15a
  • the attention moving image 2 can be selected by touching the area on the lower right side. .. In this way, the user can intuitively select the moving image of interest.
  • the thumbnail image sequence is scrolled according to the direction. May be.
  • the selection of the thumbnail image displayed at the reference position may be accepted by an operation such as pressing the entire touchpad 15a. According to such control, the operation of displaying the thumbnail image sequence and the operation of selecting the thumbnail image in the thumbnail image sequence can be accepted only by the touch pad 15a. Therefore, when the operation for the entire image displayed in the main display area M is accepted from the button 15b, the conflict between the operation for the entire image and the operation for the moving image of interest can be avoided.
  • FIG. 7 shows a display example in this case.
  • the thumbnail display area T is arranged at a position overlapping the selected moving image 1 of interest. This makes it clear that the currently displayed thumbnail image sequence corresponds to the moving image of interest 1.
  • the sub-display area S1 in which the moving image of interest 1 was displayed is hidden by the thumbnail display area T, and the moving image of interest 1 itself is not displayed.
  • the thumbnail display area T is arranged such that the reference position is the center position of the thumbnail display area T and also overlaps the sub display area S1.
  • the thumbnail display area T is arranged so as to be bilaterally symmetric with respect to the sub display area S1.
  • the image sequence display control unit 23 may display a plurality of thumbnail image sequences extracted from one moving image of interest side by side.
  • FIG. 8 shows a display example in this case.
  • the thumbnail display area T that overlaps the sub display area S1
  • two thumbnail image rows are displayed in two rows vertically.
  • the two thumbnail image sequences are composed of frame images extracted from the same moving image of interest at different time intervals.
  • the upper thumbnail image sequence is composed of frame images displayed at 5-minute intervals when the moving image of interest is reproduced
  • the lower thumbnail image sequence is composed of frame images displayed at 1-minute intervals.
  • the thumbnail images displayed vertically side by side at the reference position are scrolled so that they correspond to substantially the same reproduction position. Therefore, the thumbnail image sequence with the shorter time interval scrolls at a relatively high speed, and the thumbnail image sequence with the longer time interval scrolls at a relatively slow speed. By doing so, the details of the moving image of interest can be confirmed by the thumbnail image sequence with a short time interval, if necessary, so that the contents of the thumbnail image sequence can be easily confirmed even when the thumbnail image sequence is scrolled at high speed. ..
  • the image sequence display control unit 23 may always display such two types of thumbnail image sequences at the same time, or only when an operation satisfying a predetermined condition is performed, such as when a high-speed scroll is instructed. It may be displayed, and only one type of thumbnail image sequence may be displayed until a predetermined condition is satisfied.
  • the thumbnail display area when the thumbnail image sequence is displayed in the thumbnail display area T that overlaps the sub display area S, the thumbnail display area is set so that the position where the sub display area S was displayed until then becomes the reference position.
  • the placement position of T is determined.
  • the invention is not limited to this, and the image row display control unit 23 may move the reference position from the position where the sub display area S was displayed.
  • the thumbnail images are arranged in the left-right direction (horizontal direction) in the thumbnail display area T in time series.
  • the arrangement direction of the thumbnail image sequence is not limited to this, and may be any direction.
  • FIG. 9 is a diagram showing a modified example of display control of such a thumbnail image sequence.
  • the display of the thumbnail image sequence is instructed while the sub-display area S illustrated in FIG. 3 is being displayed.
  • the thumbnail images are arranged side by side in the vertical direction (vertical direction).
  • the thumbnail display area T is arranged from the upper end of the main display area M to the lower end thereof along the entire area in the vertical direction.
  • the reference position is not set at the position where the sub display area S was displayed, but is set at substantially the center of the thumbnail display area T (that is, substantially the center of the main display area M).
  • the frame position image F is displayed as illustrated in the drawing, and the frame image arranged at the reference position is displayed in a manner distinguishable from the others, so that the reference position is changed from the sub display area S. Even if it is moved, the user can be informed of the reference position.
  • thumbnail image strings may be displayed side by side in the thumbnail display area T in the first example.
  • scrolling or selection of thumbnail images may be performed by the same operation as in the first example.
  • a thumbnail image sequence for receiving an instruction to change the reproduction position is displayed.
  • a position determined according to the sub-display area S it is possible to display the thumbnail image sequence in a manner that does not hinder viewing of the entire image.
  • the embodiment of the present invention is not limited to the above description.
  • the arrangement positions of the sub display area S and the thumbnail display area T and the contents of the operation by the user in the above description are merely examples, and may be other than these.
  • the arrangement position of the thumbnail display area T is a position adjacent to or overlapping with the sub display area S, but the arrangement position is not limited to this, and may be a position separated within a predetermined distance range. Good.
  • the arrangement position of the thumbnail display area T may be selected from a plurality of predetermined candidate positions.
  • the image sequence display control unit 23 selects the position of the thumbnail display area T from the plurality of candidate positions according to the position at which the moving image of interest corresponding to the thumbnail image sequence to be displayed is displayed. .. Accordingly, the thumbnail image sequence can be displayed at a position that corresponds to the moving image of interest and that does not hinder viewing of the entire image.
  • 1 information processing device 11 control unit, 12 storage unit, 13 interface unit, 14 display device, 15 operation device, 21 whole image display control unit, 22 moving image display control unit, 23 image sequence display control unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

画像を表示中に、当該画像が表示されている表示領域内の所定領域に、当該画像とは別の注目動画像を表示させ、ユーザーの指示に応じて、当該注目動画像から複数のフレーム画像を抽出してなる画像列を、当該表示領域内に並べて表示させる情報処理装置であって、当該画像列を、当該表示領域内における当該所定領域に応じて決まる位置に表示させる情報処理装置である。

Description

情報処理装置
 本発明は、動画像を他の画像に重ねて表示させる情報処理装置、情報処理方法、及びプログラムに関する。
 画面内に何らかの画像(以下、全体画像という)を表示させてその画像を閲覧しながら、同時に別の動画像も閲覧したい場合がある。限られた表示領域を用いてこのような同時閲覧を可能にするため、別の動画像を、全体画像が表示されている領域の一部を占める小さな領域内に表示させる情報処理装置がある。このような情報処理装置によれば、全体画像の一部は動画像によって隠れてしまうものの、全体画像を広い範囲に表示させながら同時に動画像を表示させることができる。
 上記従来例の技術において、ユーザーは再生中の動画像の別の箇所を再生させることを希望する場合がある。このような場合のユーザーインタフェースについては、まだ十分に検討されていない。
 本発明は上記実情を考慮してなされたものであって、その目的の一つは、動画像を他の画像に重ねて表示させる場合において、動画像の再生位置をユーザーが変更する際の好適なインタフェースを提供することのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。
 本発明に係る情報処理装置は、画像を表示中に、当該画像が表示されている表示領域内の所定領域に、当該画像とは別の注目動画像を表示させる動画像表示制御部と、ユーザーの指示に応じて、前記注目動画像から複数のフレーム画像を抽出してなる画像列を、前記表示領域内に並べて表示させる画像列表示制御部と、を含み、前記画像列表示制御部は、前記画像列を、前記表示領域内における前記所定領域に応じて決まる位置に表示させることを特徴とする。
 本発明に係る情報処理方法は、画像を表示中に、当該画像が表示されている表示領域内の所定領域に、当該画像とは別の注目動画像を表示させる動画像表示ステップと、ユーザーの指示に応じて、前記注目動画像から複数のフレーム画像を抽出してなる画像列を、前記表示領域内に並べて表示させる画像列表示ステップと、を含み、前記画像列表示ステップでは、前記画像列を、前記表示領域内における前記所定領域に応じて決まる位置に表示させることを特徴とする。
 本発明に係るプログラムは、画像を表示中に、当該画像が表示されている表示領域内の所定領域に、当該画像とは別の注目動画像を表示させる動画像表示ステップと、ユーザーの指示に応じて、前記注目動画像から複数のフレーム画像を抽出してなる画像列を、前記表示領域内に並べて表示させる画像列表示ステップと、をコンピュータに実行させるためのプログラムであって、前記画像列表示ステップでは、前記画像列を、前記表示領域内における前記所定領域に応じて決まる位置に表示させるプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る情報処理装置の構成を示す構成ブロック図である。 本発明の実施の形態に係る情報処理装置の機能を示す機能ブロック図である。 注目動画像の表示例を示す図である。 複数の注目動画像の表示例を示す図である。 副表示領域に隣接する領域内にサムネイル画像列を表示する例を示す図である。 副表示領域に隣接する領域内にサムネイル画像列を表示する別の例を示す図である。 副表示領域と重なる領域内にサムネイル画像列を表示する例を示す図である。 一つの注目動画像に対して複数のサムネイル画像列を表示する例を示す図である。 副表示領域と重なる領域内にサムネイル画像列を表示する別の例を示す図である。
 以下、本発明の実施形態について、図面に基づき詳細に説明する。
 図1は、本発明の一実施形態に係る情報処理装置1の構成を示す構成ブロック図である。情報処理装置1は、例えば携帯型ゲーム機や家庭用ゲーム機、パーソナルコンピュータ、スマートフォン、ビデオプレーヤー等であって、同図に示されるように、制御部11と、記憶部12と、インタフェース部13と、を含んで構成されている。また、情報処理装置1は表示装置14及び操作デバイス15と接続されている。
 制御部11は、CPU等のプロセッサを少なくとも一つ含み、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部11が実行する処理の具体例については、後述する。記憶部12は、RAM等のメモリデバイスを少なくとも一つ含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
 インタフェース部13は、表示装置14、及び操作デバイス15との間のデータ通信のためのインタフェースである。情報処理装置1は、インタフェース部13を介して有線又は無線のいずれかで表示装置14、及び操作デバイス15のそれぞれと接続される。具体的にインタフェース部13は、情報処理装置1が供給する映像データを表示装置14に送信するために、HDMI(登録商標)(High-Definition Multimedia Interface)等のマルチメディアインタフェースを含むこととする。また、操作デバイス15に対してユーザーが行った操作内容を示す信号を受信するために、USB(Universal Serial Bus)等のデータ通信インタフェースを含んでいる。
 表示装置14は、液晶ディスプレイや有機ELディスプレイ等であって、情報処理装置1から供給される映像信号に応じた画像を画面上に表示する。操作デバイス15は、例えばキーボードやマウス、家庭用ゲーム機のコントローラなどであって、ユーザーからの操作入力を受け付ける。なお、表示装置14、及び操作デバイス15は、いずれも情報処理装置1の筐体内に内蔵されてもよいし、情報処理装置1と有線又は無線により接続される別個の装置であってもよい。操作デバイス15は、情報処理装置1の筐体表面に配置された押しボタンやタッチパネルであってもよい。以下では具体例として、操作デバイス15は家庭用ゲーム機向けのコントローラであり、操作デバイス15の筐体表面には、ユーザーの指が接触した位置の情報を出力するタッチパッド15aと、各種の操作入力を行うためのボタン15bと、が配置されているものとする。なお、タッチパッド15aは、その全体に対する押し込み操作を受付可能であってもよい。
 以下、情報処理装置1が実現する機能について、図2を用いて説明する。図2に示すように、情報処理装置1は、機能的に、全体画像表示制御部21と、動画像表示制御部22と、画像列表示制御部23と、を含んで構成されている。これらの機能は、制御部11が記憶部12に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置1に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
 全体画像表示制御部21は、表示装置14の画面内に全体画像を表示させる制御を行う。ここで全体画像は、例えばユーザーがプレイ中のゲーム画像であってもよいし、後述する注目動画像とは別の動画像であってもよい。また、その他の種類の画像であってもよい。全体画像がゲーム画像の場合、全体画像表示制御部21はゲームプログラムによって実現されることになる。また、全体画像が映画等の動画像である場合、全体画像表示制御部21はビデオプレーヤープログラム等によって実現されてよい。全体画像が表示される画面内の領域を、以下では主表示領域Mという。主表示領域Mは、表示装置14が表示可能な画面内の領域全体であってもよいし、その一部の領域であってもよい。
 動画像表示制御部22は、全体画像が主表示領域Mに表示されている状態において、注目動画像を全体画像と重なる位置に表示させ、再生する制御を行う。以下では、注目動画像が表示される領域を、副表示領域Sと表記する。副表示領域Sは、主表示領域Mよりも小さな矩形の領域であって、その全体が主表示領域M内に含まれている。動画像表示制御部22は、この副表示領域S内に全体が収まるようなサイズで注目動画像を表示する。ここで、副表示領域Sと重なる部分の全体画像は、注目動画像に隠れて表示されないことになる。そのため、副表示領域Sの大きさは、主表示領域Mと比較して十分小さいことが望ましい。少なくとも副表示領域Sの各辺は、対応する主表示領域Mの各辺の半分以下であるものとする。
 注目動画像は、光ディスクやハードディスクドライブ等の外部記憶媒体から読み出されて再生される動画像であってもよいし、インターネット等の通信ネットワークを介して配信される動画像であってもよい。また、電波等を介して配信される放送番組などであってもよい。動画像表示制御部22が主表示領域Mと重なる位置に副表示領域Sを配置し、その内部で注目動画像を再生することにより、ユーザーは、大きなサイズで表示される全体画像を閲覧しながら、同時に注目動画像も閲覧することができる。
 注目動画像は、全体画像として表示されている内容に関連する関連動画像であってもよい。例えば全体画像として何らかの動画像が主表示領域Mに表示され、再生されている場合、注目動画像は、全体画像として再生中の動画像に関連する動画像であってよい。具体的に動画像表示制御部22は、ユーザーが指示したタイミングや、主表示領域M内で現在再生中の動画像の再生終了が近づいたタイミングなどで、現在再生中の動画像に関連する関連動画像を、注目動画像として副表示領域Sに表示する。ここで関連動画像は、例えば各動画像のタイトルの類似度や、各動画像に設定されたタグ情報などによって候補動画像の中から選出されてよい。候補動画像は、情報処理装置1に接続された外部記憶媒体に格納されている動画像であってもよいし、インターネット等の通信ネットワークを介して公開されている動画像であってもよい。また、全体画像表示制御部21がゲームプログラムを実行し、全体画像としてゲーム画面が表示されている場合、動画像表示制御部22は、当該ゲームに関連する動画像として公開されている候補動画像の中から、関連動画像を選出してもよい。
 図3は、副表示領域Sの配置例を示している。この図の例では、主表示領域Mの右下寄りの位置に副表示領域Sが配置されており、その内部で注目動画像が再生される。主表示領域M内における副表示領域Sの位置は、予め定められた位置であってもよいが、ユーザーによって指定された位置であってもよい。この場合、ユーザーは、主表示領域Mに表示されている全体画像の内容などに応じて、全体画像の閲覧の邪魔になりにくく、自身が見やすい位置に副表示領域Sを配置することができる。ユーザーは、操作デバイス15に設けられた方向指示キーを操作するなどして、注目動画像の表示中にその表示位置を変化させることとしてもよい。また、注目動画像の表示を開始する前に、予め副表示領域Sの位置を指定してもよい。
 動画像表示制御部22は、同時期に複数の注目動画像を主表示領域M内に表示させてもよい。図4は、この場合の副表示領域Sの配置例を示す図である。この図の例では、主表示領域M全体に全体画像が表示されており、主表示領域Mの右上寄りの位置に副表示領域S1が、右下寄りの位置に副表示領域S2が、それぞれ配置されている。そして、副表示領域S1内では注目動画像1が、副表示領域S2内では注目動画像1とは別の注目動画像2が、それぞれ再生される。これによりユーザーは、全体画像を閲覧しながら、同時に注目動画像1及び2が再生される様子を閲覧できる。なお、主表示領域M内には3個以上の副表示領域Sが配置され、3個以上の注目動画像が同時期に表示されてもよい。特に前述したように主表示領域Mに表示中の内容に関連する関連動画像を注目動画像とする場合、動画像表示制御部22は、このような関連動画像を複数選出し、同時期に表示してもよい。
 画像列表示制御部23は、注目動画像から抽出した複数のフレーム画像を含んで構成される画像列を、主表示領域M内に表示させる制御を行う。例えば画像列表示制御部23は、注目動画像を再生する際に所定の時間間隔などで順に表示される複数のフレーム画像を抽出し、表示用サイズのサムネイル画像に変換する。そして、ユーザーの指示に応じて、このようにして抽出されたサムネイル画像からなる画像列(以下、サムネイル画像列という)を、主表示領域M内に並べて表示する。このとき各サムネイル画像の表示サイズは、注目動画像の表示サイズと略同サイズか、これより小さなサイズであってよい。このようなサムネイル画像列を表示することにより、ユーザーは注目動画像の内容を時系列に沿って概観することができる。以下では、サムネイル画像列が表示される主表示領域M内の領域を、サムネイル表示領域Tと表記する。
 本実施形態において画像列表示制御部23は、ユーザーが操作デバイス15に対して入力した指示に応じて、サムネイル画像列を表示するものとする。サムネイル画像列は、注目動画像が副表示領域S内で再生されている間に表示されてもよいし、注目動画像の再生が停止している状態で表示されてもよい。なお、注目動画像の再生中にサムネイル画像列の表示が指示された場合、注目動画像の再生は中断されるものとする。注目動画像の再生が中断された状態においてサムネイル画像列を表示する場合、画像列表示制御部23は、中断された時点の再生位置を中心として、その前後に表示されるフレーム画像が並んだサムネイル画像列を表示する。これによりユーザーは、サムネイル画像列を閲覧することで、これまでに再生された注目動画像の内容や、これから再生される注目動画像の内容を確認できる。また、注目動画像の再生が開始していない状態でサムネイル画像列を表示する場合、画像列表示制御部23は、注目動画像の先頭から順に抽出されたフレーム画像が並んだサムネイル画像列を表示するものとする。
 本実施形態において画像列表示制御部23は、主表示領域M内におけるサムネイル表示領域Tの位置を、副表示領域Sの位置に応じて決定する。注目動画像と同様に、サムネイル画像列についても、主表示領域M内の固定された位置に表示すると、全体画像を閲覧しにくくなってしまう場合がある。そこで画像列表示制御部23は、副表示領域Sの位置に応じてサムネイル画像列の表示位置を決定することで、ユーザーが把握しやすく、かつ全体画像の閲覧を邪魔しにくい態様でサムネイル画像列を表示することができる。
 以下、サムネイル画像列の表示制御の具体例について、説明する。
 第1の例として、副表示領域Sに隣接するサムネイル表示領域Tにサムネイル画像列を表示する例について、説明する。図5はこの場合の表示例であって、図3で例示した副表示領域Sに注目動画像が表示されている状態でサムネイル画像列の表示が指示された場合の表示例を示している。この図の例では、サムネイル画像列は横方向に並んで配置された複数のサムネイル画像によって構成されている。そして、この例におけるサムネイル表示領域Tは、主表示領域M内の右下寄りに配置された副表示領域Sに対して、その下方に隣接するように配置されている。すなわち、サムネイル画像列は、副表示領域Sよりさらに主表示領域Mの外周寄りの位置に隣接して配置される。このように、副表示領域Sよりも主表示領域Mの外周に近い位置にサムネイル画像列を配置することにより、全体画像の中央近傍をサムネイル画像列が隠さないようにすることができる。なお、ここではサムネイル画像列を構成する各フレーム画像を横方向に並べて配置することとしたが、縦方向に並べて配置してもよい。その場合も、主表示領域Mの外周に近い位置にサムネイル画像列を配置することにより、サムネイル画像列の表示が全体画像の閲覧を妨げにくくすることができる。
 なお、サムネイル画像が配列される方向(図5では横方向)に沿ったサムネイル表示領域Tの幅は、予め定められた大きさであってもよいし、主表示領域M全体の幅に一致する幅であってもよい。少なくともサムネイル表示領域Tは、副表示領域Sの同じ方向の幅を超える幅である必要がある。また、サムネイル表示領域Tの横方向の位置は、少なくとも副表示領域Sと重なるような位置であるものとする。
 注目動画像の再生が中断された状態でサムネイル画像列の表示が開始された場合、中断された再生位置に対応するサムネイル画像が、サムネイル表示領域T内の所定の基準位置に配置される。この基準位置は、サムネイル画像が配列される方向の中心位置であってよい。また、副表示領域Sに隣接する位置であってもよい。図5の例では、基準位置に表示されるサムネイル画像に対して、その周囲を囲む枠線画像Fが表示されている。このように、基準位置のサムネイル画像は、他のサムネイル画像と識別可能な態様で表示される。基準位置をサムネイル表示領域Tの中心位置とすると、基準位置のサムネイル画像よりも過去の時点に対応するサムネイル画像、及び未来の時点に対応するサムネイル画像を同じ数だけサムネイル表示領域T内に表示することができる。
 さらに、サムネイル画像列の表示中に、ユーザーはその中のいずれかのサムネイル画像を選択する操作を行ってもよい。具体的に、ここではサムネイル画像が横方向に沿って配列されているので、この配列方向に沿ってユーザーは左方向、又は右方向を指示する操作を行う。これに応じて画像列表示制御部23は、サムネイル表示領域T内に表示中のサムネイル画像をスクロールさせ、基準位置に表示されるサムネイル画像を順に切り替える。なお、このスクロールに伴って、それまでサムネイル表示領域T内に表示されていなかったサムネイル画像が順次表示されることになる。これにより、注目動画像の再生開始時点から再生終了時点までの全体にわたって、その途中で表示されるフレーム画像に対応するサムネイル画像をサムネイル表示領域T内に表示させることができる。ユーザーは、目的とするサムネイル画像が基準位置に表示された状態で、選択完了を指示する操作入力を行う。
 サムネイル画像の選択完了をユーザーが指示すると、画像列表示制御部23はサムネイル画像列の表示を終了し、動画像表示制御部22はユーザーが選択したサムネイル画像に対応する再生位置(すなわち、当該サムネイル画像に対応するフレーム画像が表示されるタイミング)から注目動画像の再生を再開する。これにより、ユーザーは注目動画像の再生位置を巻き戻ししたり先送りしたりして、所望の再生位置から注目動画像を再生することができる。なお、ユーザーの操作内容に応じて、副表示領域S内で注目動画像の再生を開始する代わりに、主表示領域Mに全体画像として注目動画像を表示させることとしてもよい。こうすれば、ユーザーはそれまで副表示領域Sに表示されていた注目動画像を、より大きなサイズで主表示領域M内に表示させ、かつ、自身が指定した位置からその再生を開始させることができる。
 また、図5の例では、サムネイル表示領域T内にサムネイル画像列と並んでタイムラインバーTLが表示されている。タイムラインバーTLは、注目動画像の全体の再生時間に対応し、そのうち、現在サムネイル表示領域T内に表示されているサムネイル画像列に対応する再生位置が強調表示されている。これによりユーザーは、サムネイル表示領域T内に表示されているサムネイル画像列が注目動画像の全体の再生時間のうちどの時間帯に対応するのかを把握できる。
 図6は、図4で例示したように複数の副表示領域Sが配置されている状態において、サムネイル画像列を副表示領域Sに隣接するように表示する場合の例を示している。図4の例では、複数の副表示領域Sが縦方向に沿って並んで配置されている。この場合に画像列表示制御部23は、ユーザーからの上下方向の指示に応じてサムネイル画像列を表示する対象となる注目動画像を選択してもよい。
 具体例として、サムネイル画像列を表示する機能を呼び出す操作に続けて、ユーザーが上方向を指示する操作を操作デバイス15に対して入力した場合、画像列表示制御部23は、上側に表示されている注目動画像1から抽出されたフレーム画像を含むサムネイル画像列を表示する。このとき、図6に示すように、サムネイル画像列を副表示領域S1の上側に隣接する位置に表示する。この場合のサムネイル画像列の表示位置は、副表示領域S1から見て外周側の位置であり、また、副表示領域S1から見て副表示領域S2と反対側の位置でもある。このような位置にサムネイル画像列を表示することで、サムネイル画像列を副表示領域S1の下側(すなわち、副表示領域S2側)に表示する場合と比較して、サムネイル画像列が複数の注目動画像のうちどの注目動画像に対応しているか、分かり易くすることができる。逆に、下方向を指示する操作が入力された場合、画像列表示制御部23は、下側に表示されている注目動画像2から抽出されたフレーム画像を含むサムネイル画像列を表示する。この場合のサムネイル画像列の表示位置は、図5の例と同様、副表示領域S2の下側に隣接する位置であってよい。
 また、ユーザーは、複数の注目動画像のうち、サムネイル画像列を表示する対象となる注目動画像を選択するために、タッチパッド15aを使用することとしてもよい。具体的には、主表示領域M内において選択対象の注目動画像が表示されている位置と対応する、タッチパッド15a内の位置をタッチする操作を行うことで、ユーザーは、複数の注目動画像のうちのいずれかを選択できる。図6の例では、タッチパッド15aの検出範囲のうち右上側の領域内をタッチすることで注目動画像1を、右下側の領域内をタッチすることで注目動画像2を、それぞれ選択できる。こうすれば、ユーザーは直感的に注目動画像を選択することができる。なお、選択された注目動画像に対応するサムネイル画像列が表示された状態で、ユーザーがタッチパッド15aを用いて左右方向のスライド操作を行った場合、その方向に応じてサムネイル画像列をスクロールさせてもよい。さらに、タッチパッド15a全体を押し込む操作などによって、基準位置に表示されているサムネイル画像の選択を受け付けてもよい。このような制御によれば、サムネイル画像列を表示させる操作、及びサムネイル画像列内のサムネイル画像を選択する操作をタッチパッド15aだけで受け付けることができる。そのため、主表示領域M内に表示されている全体画像に対する操作をボタン15bから受け付ける場合、全体画像に対する操作と注目動画像に対する操作の競合を避けることができる。
 次に、サムネイル画像列の表示制御の第2の例として、副表示領域Sと重なるサムネイル表示領域T内にサムネイル画像列を表示する例について、説明する。図7は、この場合の表示例を示している。この図においては、図4で例示した状態から、図6と同様に上側の注目動画像1を選択する操作が行われたものとしている。図7に示すように、この第2の例では、選択された注目動画像1に重なる位置に、サムネイル表示領域Tが配置される。これにより、現在表示されているサムネイル画像列が注目動画像1に対応していることが明確となる。このとき、注目動画像1が表示されていた副表示領域S1はサムネイル表示領域Tに隠され、注目動画像1自体は表示されなくなる。
 この図の例では、基準位置がサムネイル表示領域Tの中心位置で、かつ副表示領域S1と重なる位置になるようにサムネイル表示領域Tが配置されている。換言すると、サムネイル表示領域Tが、副表示領域S1を中心に左右対称の大きさとなるよう配置されている。これにより、それまで注目動画像が表示されていた副表示領域S1の位置がそのまま基準位置になるので、ユーザーは視線を大きく動かさずそのままサムネイル画像列を確認することができる。
 さらに、画像列表示制御部23は、一つの注目動画像から抽出された複数のサムネイル画像列を並べて表示してもよい。図8は、この場合の表示例を示している。この図の例では、副表示領域S1と重なるサムネイル表示領域T内に、上下2段に並べて2個のサムネイル画像列が表示される。この2個のサムネイル画像列は、同じ注目動画像から互いに異なる時間間隔で抽出されたフレーム画像によって構成されている。一例として、上段のサムネイル画像列は注目動画像再生時に5分間隔で表示されるフレーム画像によって構成され、下段のサムネイル画像列は1分間隔で表示されるフレーム画像によって構成されるものとする。ユーザーからスクロールの指示が受け付けられた場合、画像列表示制御部23は、2個のサムネイル画像列を互いに連動するようにスクロールさせる。すなわち、基準位置において上下に並んで表示されるサムネイル画像が、略同じ再生位置に対応するように両者をスクロールさせる。そのため、時間間隔が短い方のサムネイル画像列は比較的速いスピードでスクロールし、時間間隔が長い方のサムネイル画像列は比較的遅いスピードでスクロールする。こうすれば、必要に応じて時間間隔が短いサムネイル画像列によって注目動画像の詳細を確認できるので、サムネイル画像列を高速でスクロールさせるときにもサムネイル画像列の内容を確認しやすくすることができる。なお、画像列表示制御部23は、このような2種のサムネイル画像列を常に同時に表示してもよいし、高速のスクロールが指示された場合など、所定条件を満たす操作が行われた場合だけ表示することとし、所定条件を満たすまでは1種のサムネイル画像列だけを表示することとしてもよい。
 図7の例では、サムネイル画像列を副表示領域Sと重なるサムネイル表示領域T内に表示する場合に、それまで副表示領域Sが表示されていた位置が基準位置になるように、サムネイル表示領域Tの配置位置を決定している。しかしながらこれに限らず、画像列表示制御部23は、基準位置を副表示領域Sが表示されていた位置から移動させてもよい。また、これまでの説明では、どの例においても、サムネイル画像はサムネイル表示領域T内において時系列に沿って左右方向(水平方向)に並んで配置されることとした。しかしながらこれに限らず、サムネイル画像列の配列方向は任意の方向であってよい。
 図9は、このようなサムネイル画像列の表示制御の変形例を示す図である。この図の例では、図3に例示した副表示領域Sが表示されていた状態においてサムネイル画像列の表示が指示されたものと想定している。この例では、これまでの例と異なり、サムネイル画像は上下方向(垂直方向)に並んで配列されている。
 この例では、サムネイル表示領域Tは、主表示領域Mの上端から下端まで、上下方向に沿って領域全体にまたがって配置されている。さらに、基準位置は副表示領域Sが表示されていた位置ではなく、サムネイル表示領域Tの略中央(すなわち、主表示領域Mの略中央)に設定されている。このように基準位置を副表示領域Sの位置から移動させることで、サムネイル画像列の配列方向に沿ったサムネイル表示領域Tの長さを長くしながら、基準位置をサムネイル表示領域Tの中心に配置することができる。これにより、元々表示されていた注目動画像のサイズと比較してサムネイル画像を縮小させることなく、比較的多くのサムネイル画像を一度に表示させることができる。なお、図中に例示されるように枠線画像Fを表示するなどして、基準位置に配置されるフレーム画像を他と識別可能な態様で表示することで、基準位置を副表示領域Sから移動させても、ユーザーにどこが基準位置かを知らせることができる。
 なお、以上説明した例における特徴事項は、互いに組み合わせて適用されてもよい。例えば第1の例におけるサムネイル表示領域T内に、2種以上のサムネイル画像列を並べて表示することとしてもよい。また、第2の例におけるサムネイル画像列に対しても、第1の例と同様の操作によってスクロールやサムネイル画像の選択を行うこととしてよい。
 以上説明した本実施形態に係る情報処理装置1によれば、全体画像に重ねて注目動画像を副表示領域Sに表示させる場合に、その再生位置を変更する指示を受け付けるためのサムネイル画像列を、副表示領域Sに応じて決まる位置に表示することで、全体画像の閲覧を妨げにくい態様でサムネイル画像列を表示させることができる。
 なお、本発明の実施の形態は、以上説明したものに限られない。以上の説明における副表示領域Sやサムネイル表示領域Tの配置位置や、ユーザーによる操作の内容は、例示に過ぎず、これ以外のものであってもよい。例えば、以上の説明ではサムネイル表示領域Tの配置位置は副表示領域Sに隣接する位置又は重なる位置であることとしたが、これに限らず、所定の距離範囲内で離隔した位置などであってもよい。また、サムネイル表示領域Tの配置位置は、予め定められた複数の候補位置の中から選択されることとしてもよい。この場合、画像列表示制御部23は、表示しようとするサムネイル画像列に対応する注目動画像が表示されている位置に応じて、複数の候補位置の中からサムネイル表示領域Tの位置を選択する。これにより、注目動画像と対応し、かつ全体画像の閲覧を妨げにくい位置にサムネイル画像列を表示することができる。
 1 情報処理装置、11 制御部、12 記憶部、13 インタフェース部、14 表示装置、15 操作デバイス、21 全体画像表示制御部、22 動画像表示制御部、23 画像列表示制御部。

Claims (8)

  1.  画像を表示中に、当該画像が表示されている表示領域内の所定領域に、当該画像とは別の注目動画像を表示させる動画像表示制御部と、
     ユーザーの指示に応じて、前記注目動画像から複数のフレーム画像を抽出してなる画像列を、前記表示領域内に並べて表示させる画像列表示制御部と、
     を含み、
     前記画像列表示制御部は、前記画像列を、前記表示領域内における前記所定領域に応じて決まる位置に表示させる
     ことを特徴とする情報処理装置。
  2.  請求項1に記載の情報処理装置において、
     前記画像列表示制御部は、前記画像列を、前記所定領域と重なる領域内に表示させる
     ことを特徴とする情報処理装置。
  3.  請求項1に記載の情報処理装置において、
     前記画像列表示制御部は、前記画像列を、前記所定領域に隣接する領域内に表示させる
     ことを特徴とする情報処理装置。
  4.  請求項3に記載の情報処理装置において、
     前記画像列表示制御部は、前記画像列を、前記所定領域から見て前記表示領域の外周側に隣接する領域内に表示させる
     ことを特徴とする情報処理装置。
  5.  請求項1から4のいずれか一項に記載の情報処理装置において、
     前記動画像表示制御部は、互いに異なる複数の注目動画像のそれぞれを、前記表示領域内の互いに離れた所定領域に同時期に表示させ、
     前記画像列表示制御部は、前記複数の注目動画像のそれぞれに対応する画像列を、当該注目動画像が表示される所定領域に応じて決まる位置に表示させる
     ことを特徴とする情報処理装置。
  6.  請求項1から5のいずれか一項に記載の情報処理装置において、
     前記画像列表示制御部は、一つの注目動画像から複数のフレーム画像を抽出して得られる2種の画像列を、前記所定領域に応じて決まる位置に並べて表示させる
     ことを特徴とする情報処理装置。
  7.  画像を表示中に、当該画像が表示されている表示領域内の所定領域に、当該画像とは別の注目動画像を表示させる動画像表示ステップと、
     ユーザーの指示に応じて、前記注目動画像から複数のフレーム画像を抽出してなる画像列を、前記表示領域内に並べて表示させる画像列表示ステップと、
     を含み、
     前記画像列表示ステップでは、前記画像列を、前記表示領域内における前記所定領域に応じて決まる位置に表示させる
     ことを特徴とする情報処理方法。
  8.  画像を表示中に、当該画像が表示されている表示領域内の所定領域に、当該画像とは別の注目動画像を表示させる動画像表示ステップと、
     ユーザーの指示に応じて、前記注目動画像から複数のフレーム画像を抽出してなる画像列を、前記表示領域内に並べて表示させる画像列表示ステップと、
     をコンピュータに実行させるためのプログラムであって、
     前記画像列表示ステップでは、前記画像列を、前記表示領域内における前記所定領域に応じて決まる位置に表示させる
     プログラム。
PCT/JP2019/043318 2018-11-09 2019-11-05 情報処理装置 WO2020095906A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/287,631 US12141427B2 (en) 2018-11-09 2019-11-05 Information processing device
JP2020556084A JP7134247B2 (ja) 2018-11-09 2019-11-05 情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-211509 2018-11-09
JP2018211509 2018-11-09

Publications (1)

Publication Number Publication Date
WO2020095906A1 true WO2020095906A1 (ja) 2020-05-14

Family

ID=70610708

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/043318 WO2020095906A1 (ja) 2018-11-09 2019-11-05 情報処理装置

Country Status (3)

Country Link
US (1) US12141427B2 (ja)
JP (1) JP7134247B2 (ja)
WO (1) WO2020095906A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008263457A (ja) * 2007-04-12 2008-10-30 Sony Corp 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム
JP2010092246A (ja) * 2008-10-07 2010-04-22 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
JP2012054829A (ja) * 2010-09-02 2012-03-15 Sharp Corp 映像提示装置、映像提示方法、映像提示プログラム、記憶媒体
JP2014096786A (ja) * 2012-10-12 2014-05-22 Sharp Corp 録画再生装置、および、録画再生方法
US20150346984A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Video frame loupe
JP2016220186A (ja) * 2015-05-22 2016-12-22 カシオ計算機株式会社 表示装置、表示方法及びプログラム
JP2018511843A (ja) * 2015-05-20 2018-04-26 テンセント・テクノロジー・(シェンジェン)・カンパニ 同じ画面上にコンテンツを表示するための方法及びデバイス並びに端末デバイス

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956848B2 (en) * 2007-09-04 2011-06-07 Apple Inc. Video chapter access and license renewal
US8811499B2 (en) * 2008-04-10 2014-08-19 Imagine Communications Corp. Video multiviewer system permitting scrolling of multiple video windows and related methods
US20100281371A1 (en) * 2009-04-30 2010-11-04 Peter Warner Navigation Tool for Video Presentations
US9454303B2 (en) * 2012-05-16 2016-09-27 Google Inc. Gesture touch inputs for controlling video on a touchscreen
US9632685B2 (en) * 2012-05-31 2017-04-25 Eric Qing Li Method of navigating through a media program displayed on a portable electronic device in a magnified time scale
TWI486794B (zh) * 2012-07-27 2015-06-01 Wistron Corp 影片預覽方法及系統及其電腦程式產品
US9736526B2 (en) * 2013-04-10 2017-08-15 Autodesk, Inc. Real-time scrubbing of videos using a two-dimensional grid of thumbnail images
US9542407B2 (en) * 2013-09-30 2017-01-10 Blackberry Limited Method and apparatus for media searching using a graphical user interface
US9830061B1 (en) * 2014-04-09 2017-11-28 Google Inc. Methods, systems, and media for providing media guidance with contextual controls
US10431259B2 (en) * 2014-04-23 2019-10-01 Sony Corporation Systems and methods for reviewing video content
US10489658B2 (en) * 2015-02-03 2019-11-26 Sony Interactive Entertainment Inc. Video processing device
CN106802759A (zh) * 2016-12-21 2017-06-06 华为技术有限公司 视频播放的方法及终端设备
US10225602B1 (en) * 2016-12-30 2019-03-05 Jamdeo Canada Ltd. System and method for digital television operation and control-contextual interface

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008263457A (ja) * 2007-04-12 2008-10-30 Sony Corp 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム
JP2010092246A (ja) * 2008-10-07 2010-04-22 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
JP2012054829A (ja) * 2010-09-02 2012-03-15 Sharp Corp 映像提示装置、映像提示方法、映像提示プログラム、記憶媒体
JP2014096786A (ja) * 2012-10-12 2014-05-22 Sharp Corp 録画再生装置、および、録画再生方法
US20150346984A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Video frame loupe
JP2018511843A (ja) * 2015-05-20 2018-04-26 テンセント・テクノロジー・(シェンジェン)・カンパニ 同じ画面上にコンテンツを表示するための方法及びデバイス並びに端末デバイス
JP2016220186A (ja) * 2015-05-22 2016-12-22 カシオ計算機株式会社 表示装置、表示方法及びプログラム

Also Published As

Publication number Publication date
US12141427B2 (en) 2024-11-12
JP7134247B2 (ja) 2022-09-09
JPWO2020095906A1 (ja) 2021-09-02
US20210349622A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
US10845986B2 (en) Remote control device and method of controlling other devices using the same
JP5942978B2 (ja) 情報処理装置、情報処理方法およびプログラム
US7844916B2 (en) Multimedia reproducing apparatus and menu screen display method
KR100830739B1 (ko) 멀티미디어 재생 장치, 재생 방법, 및 컴퓨터프로그램을 저장한 기록 매체
US8760418B2 (en) Display control apparatus, display control method and display control program
KR101122476B1 (ko) 복합 장치 및 복합 장치의 원격 제어 장치부의 조작 버튼기능 할당 변경 방법
JP2010015442A (ja) 情報提供装置、情報提供方法、およびプログラム
JP2012231249A (ja) 表示制御装置、表示制御方法、およびプログラム
US20120169773A1 (en) Display control apparatus, display control method, and program
TW201523420A (zh) 資訊處理裝置、資訊處理方法及電腦程式
KR100654448B1 (ko) 컨텐츠 검색을 위한 사용자 인터페이스 제공 방법 및 장치
JP2010147705A (ja) テレビシステム
WO2016125339A1 (ja) 動画像処理装置
JP6069927B2 (ja) コンテンツ表示装置、コンテンツ表示方法およびプログラム
WO2020095906A1 (ja) 情報処理装置
JP2007096840A (ja) 情報閲覧装置
JP4770368B2 (ja) 電子機器、電子機器の制御方法及びプログラム
JP7358712B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6719276B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6777697B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2007096724A (ja) 動画再生装置及び動画再生方法
JP2003084882A (ja) 情報処理装置および方法、並びにプログラム
JP5327090B2 (ja) コンテンツ再生装置、コンテンツ再生装置の制御方法およびコンテンツ再生プログラム
JP2023087307A (ja) プログラム、情報処理方法、及び携帯型端末
TW201310325A (zh) 實現使用者介面的方法與相關電子裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19882456

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020556084

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19882456

Country of ref document: EP

Kind code of ref document: A1