[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2011135704A1 - 動画出力装置、動画出力方法、および動画出力プログラム - Google Patents

動画出力装置、動画出力方法、および動画出力プログラム Download PDF

Info

Publication number
WO2011135704A1
WO2011135704A1 PCT/JP2010/057616 JP2010057616W WO2011135704A1 WO 2011135704 A1 WO2011135704 A1 WO 2011135704A1 JP 2010057616 W JP2010057616 W JP 2010057616W WO 2011135704 A1 WO2011135704 A1 WO 2011135704A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
output
image data
image
time interval
Prior art date
Application number
PCT/JP2010/057616
Other languages
English (en)
French (fr)
Inventor
敏郎 大櫃
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2010/057616 priority Critical patent/WO2011135704A1/ja
Priority to JP2012512597A priority patent/JP5598540B2/ja
Priority to CN201080066424.8A priority patent/CN102884788B/zh
Publication of WO2011135704A1 publication Critical patent/WO2011135704A1/ja
Priority to US13/653,821 priority patent/US9319695B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Definitions

  • the present disclosure relates to a moving image output apparatus, a moving image output method, and a moving image output program that output a moving image based on moving image data.
  • PC personal computers
  • Notebook PC a CPU (Central Processing Unit) responsible for program execution is, for example, 1.6 GHz.
  • the CPU speed of 1.6 GHz is a speed that is difficult to say in recent years. This is because if the high-quality moving image content for distribution on the Internet is reproduced, the reproduction process may not catch up with the moving image display.
  • Patent Document 1 A technique related to special reproduction such as slow, still, frame advance, etc. for an MPEG stream has been proposed (for example, see Patent Document 1).
  • Patent Document 2 A technique related to mutual communication of video images between workstations having different frame cycle specifications has also been proposed (see, for example, Patent Document 2).
  • Patent Documents 3 to 15 Furthermore, a technique for reducing the load of reproduction processing and dealing with moving image reproduction on a low-priced notebook PC as described above has been proposed (see Patent Documents 3 to 15).
  • Patent Documents 1 and 2 described above are techniques for changing the frame cycle specification and the like, and solve the fear that the reproduction process cannot catch up with the moving image display as described above. is not.
  • the purpose of this case is to output moving images with original image quality even if the moving image data has a display speed that exceeds the processing speed of the processing device.
  • the moving image output device that achieves the above object includes a moving image acquisition unit, an image generation unit, an image output unit, and an interval designation unit.
  • the moving image acquisition unit acquires moving image data representing a moving image which is a set of a plurality of temporally continuous images.
  • the image generation unit generates image data representing each image in the moving image by processing the moving image data acquired by the moving image acquisition unit.
  • the image generation unit generates image data representing each image in the moving image by processing the moving image data acquired by the moving image acquisition unit.
  • the image output unit sequentially outputs each image data generated by the image generation unit at a specified time interval.
  • the interval designating unit designates a first time interval corresponding to the moving image display speed for the image output unit.
  • the interval designating unit temporarily sets the first time interval for the image output unit for image data that cannot be generated in time for the sequential output at the first time interval in the image output unit. A longer second time interval is specified.
  • the moving image output method that achieves the above object includes a moving image acquisition process, an image generation process, and an image output process.
  • the moving image acquisition process is a process of acquiring moving image data representing a moving image, which is a set of a plurality of temporally continuous images.
  • the image generation process is a process of generating each image data representing each image in the moving image by processing the moving image data acquired in the moving image acquiring process.
  • the image output process is a process of sequentially outputting each image data generated in the image generation process at a first time interval. However, this image output process is temporarily performed at a second time interval that is longer than the first time interval for image data that cannot be generated in time for the sequential output at the first time interval. It is a process of outputting.
  • a moving image output program that achieves the above object is executed in an arithmetic processing device that executes the program.
  • the arithmetic processing device includes the moving image acquisition unit, the image generation unit, the image output unit, and the interval designation unit. Is a program that operates as a moving image output apparatus.
  • FIG. 1 It is a block diagram of the moving image output device of 1st Embodiment of this case. It is an external appearance perspective view which shows an example of notebook PC by which 2nd Embodiment of this case is constructed
  • FIG. 1 is a configuration diagram of the video output device of the first embodiment of the present case.
  • the moving image output apparatus 1 includes an arithmetic processing device that executes a program and a moving image output program that is executed in the arithmetic processing device.
  • FIG. 1 shows functions realized in the arithmetic processing unit by executing the moving image output program in the arithmetic processing unit.
  • the moving image output apparatus 1 includes a moving image acquisition unit 2, an image generation unit 3, an image generation unit 4, an image display unit 5, and an interval designation unit 6.
  • the moving image acquisition unit 2 acquires moving image data representing a moving image that is a set of a plurality of temporally continuous images.
  • the moving image data is acquired via a communication line such as the Internet or by installation from a portable storage medium such as a DVD (Digital Video Disk).
  • the image generation unit 3 generates image data representing each image in the moving image by processing the moving image data acquired by the moving image acquisition unit 2.
  • the image output unit 4 sequentially outputs each image data generated by the image generation unit 3 at designated time intervals.
  • the image display unit 5 displays a moving image by sequentially displaying each image represented by each image data based on each image data sequentially output by the image output unit 4.
  • the interval designating unit 6 designates the first time interval corresponding to the moving image display speed to the image output unit 4.
  • the interval designating unit 6 temporarily stores the image data that cannot be generated by the image generating unit in time for the sequential output at the first time interval in the image output unit 4 to the image output unit 4. Specify a second time interval that is longer than one time interval.
  • the functions sequentially executed by the units 2 to 6 of the moving image output apparatus 1 shown in FIG. 1 can be regarded as a moving image output method that is sequentially executed.
  • illustration and description of the moving image output method corresponding to the first embodiment are omitted.
  • FIG. 2 is an external perspective view showing an example of a notebook PC in which the second embodiment of the present case is constructed.
  • the notebook PC 10 shown in FIG. 2 has a main unit 20 and a display unit 30.
  • the main unit 20 includes a CPU, a hard disk drive (hereinafter abbreviated as “HDD”), and the like, and a keyboard 21 and a touch pad 22 that is a kind of pointing device.
  • the display unit 30 is connected to the main unit 10 via a hinge 40 so that the display unit 30 can be opened and closed with respect to the main unit 20. Further, the display unit 30 includes a display screen 31 on the front surface when the display unit 30 is in the open state.
  • FIG. 3 is a block diagram showing an outline of the hardware configuration of the notebook PC whose appearance is shown in FIG.
  • the CPU 51, the memory 52, the nonvolatile memory 53, the keyboard 21 also shown in FIG. 2, the GPU 541, and the display unit 54 including the display screen 31 also shown in FIG. 2 are shown. Also shown here are a communication interface 55, an HDD 56, a touch pad 22 also shown in FIG. 2, and an audio output unit 57 including an audio interface 571 and a speaker 572. These elements 21, 22, 51 to 57 are connected to each other via a bus 50.
  • the communication interface 55 is connected to the Internet and performs communication via the Internet.
  • moving image content compliant with MPEG4 in particular is received.
  • the moving image content includes moving image data representing a moving image that is a set of a plurality of temporally continuous images, and audio data. That is, the communication interface 55 corresponds to an example of a moving image acquisition unit that acquires moving image data.
  • the HDD 56 is a large-capacity storage device, and stores various programs including a moving image output program as one embodiment of the present invention, moving image content input via the Internet, and the like.
  • the touch pad 22 is a type of pointing device that moves a cursor on a display screen 31 (see FIG. 2) included in the display unit 54 and clicks an arbitrary icon or the like on the display screen 31.
  • the audio output unit 57 receives audio data, converts the audio data into an analog audio signal at the audio interface 571, and outputs the audio through the speaker 572.
  • the CPU 51 is a central processing unit that executes a program.
  • a CPU having an operation speed of 1.6 GHz that is relatively slow is employed.
  • the memory 52 is a memory in which a program read from the HDD 56 is expanded for execution by the CPU 51.
  • the memory 52 is also used as a temporary storage location for data when the program is executed by the CPU 51.
  • the nonvolatile memory 53 stores a BIOS (Basic Input Output System), which is a program that is executed when power is supplied to the notebook PC 10.
  • BIOS Basic Input Output System
  • the display unit 54 receives display data and displays an image corresponding to the data on the display screen 31 (see FIG. 2).
  • intermediate moving image data in which moving image data in the moving image content is partially processed by the CPU 51 is received as display data.
  • the GPU 541 generates a series of image data representing each series of images included in the moving image from the display data.
  • the GPU 541 sequentially outputs the generated series of image data toward the display screen 31 so that the display screen 31 displays a moving image. That is, in the second embodiment, the CPU 51 and the GPU 541 perform a role as an example of an image generation unit that generates image data by processing moving image data.
  • the GPU 541 also serves as an example of an image output unit that sequentially outputs image data.
  • the display screen 31 corresponds to an example of an image display unit that displays a moving image by sequentially displaying each image represented by each image data based on each image data sequentially output by the image output unit.
  • a moving image output apparatus including such an image display unit functions as a moving image display apparatus.
  • moving picture content in the MPEG4 format via the Internet is received by the communication interface 55.
  • the moving image content is temporarily stored in the HDD 56. Thereafter, a series of image data is generated from the moving picture data in the moving picture content, and a moving picture based on the series of image data is displayed on the display screen 31 (see FIG. 2).
  • audio data in the moving image content is transmitted to the audio output unit 57, and audio synchronized with the display of the moving image on the display screen 31 is output from the speaker 572.
  • FIG. 4 is a diagram showing the flow of the moving image playback process in the notebook PC shown in FIGS.
  • the CPU 51 When the CPU 51 receives the input moving image data, the CPU 51 performs a decoding process 51a.
  • This input moving image data is encoded data.
  • moving image data in the YCbCr format is generated by a decoding process called an entropy decoding process.
  • Y data represents the luminance of the moving image.
  • the CbCr data in the YCbCr format moving image data is called color difference data, and is data representing the color of the moving image.
  • the moving image data generated by the decoding process 51a is written in the memory 52 shown in FIG.
  • the CPU 51 executes inverse quantization / inverse DCT processing 51b to generate moving image data for display.
  • the inverse quantization process and the inverse DCT process itself are general processes as MPEG data reproduction processes, and detailed description thereof is omitted here.
  • the moving image data generated by the inverse quantization / inverse DCT process 51b in the CPU 51 is sent to the GPU 541, and the GPU 541 performs the motion compensation / prediction process 541a and the deblocking process 541b.
  • These motion compensation / prediction processing 541a and deblocking processing 541b are general data processing in MPEG.
  • each piece of image data representing each of a series of images included in the moving image is generated.
  • Each image data generated in this way is sequentially written to the output buffer 541c.
  • the images represented by the image data sequentially written in the output buffer 541c are sequentially displayed as video outputs on the display screen 31.
  • a moving image is displayed on the display screen 31. That is, the output buffer 541c of the GPU 541 corresponds to an example of an image output unit that sequentially outputs image data.
  • the display speed in this moving image display is defined by the number of frames (images) displayed per second. Since this display speed is originally designated in the input moving image data to the CPU 51, the CPU 51 designates the output interval of the image data in the output buffer 541c of the GPU 541 by executing the interval designation processing 51c. For example, when the display of 30 frames per second is specified in the input moving image data, image output at 33 ms intervals is specified in the output buffer 541c. That is, the CPU 51 serves as an example of an interval designating unit that designates a time interval corresponding to the moving image display speed for the image output unit by the interval designating process 51c.
  • the motion compensation / prediction process 541a described above includes an intra-screen prediction process and an inter-frame prediction process.
  • the intra-screen prediction process is one of nine types of prediction modes from mode 0 to mode 8. It is executed by any prediction mode.
  • the prediction mode to be executed is described in the meta information in the moving image data decoded by the decoding process 51a. Further, since this prediction mode is designated for each image data to be generated, the prediction mode is frequently changed during the reproduction of one moving image. If the prediction mode is different, as will be described in detail later, the processing time is also different because the load on the GPU 541 in the intra-screen prediction process is different.
  • the timing at which the image data is written to the output buffer 541c is determined depending on the type of prediction mode executed for the generation of the image data. Therefore, the CPU 51 confirms whether or not the generation processing speed of each image data is in time for the display speed described above in the interval designation processing 51c, as will be described later. For image data whose generation processing speed does not meet the display speed, an output interval longer than the output interval corresponding to the display speed is temporarily specified in the output buffer 541c in the interval specification processing 51c. As a result, even image data with a large load of generation processing is generated in time for data output from the output buffer 541c.
  • FIG. 5 is a diagram showing a first part of a flowchart of the playback application.
  • FIG. 6 is a diagram showing a second part of the flowchart of the reproduction application.
  • the processing is connected from step S109 in FIG. 5 to “1A” in FIG. Further, the processing is connected from step S203 in FIG. 6 to “2A” in FIG.
  • the method according to the flowcharts shown in FIGS. 5 and 6 corresponds to a specific embodiment of the moving image output method.
  • FIG. 7 is a diagram showing an example of a menu screen displayed on the display screen 31 (see FIG. 2) when the playback application shown in FIGS. 5 and 6 is activated.
  • FIG. 8 is a diagram showing an example of a display screen when “Video A” is selected on the menu screen shown in FIG.
  • step S101 When the playback application is started, first, device information such as BIOS information stored in the non-volatile memory 53 (see FIG. 3) of the PC (here, the notebook PC 10 shown in FIGS. 2 and 3) responsible for playing back the moving image. Is read out. Then, the device information is compared with a reference set in advance in the reproduction application, and it is determined whether or not the notebook PC 10 is a so-called low-priced PC with a low moving image processing capability (step S101).
  • step S101 If it is determined in step S101 that the PC is not a low-priced PC, the moving image processing capability of the PC responsible for moving image reproduction is sufficiently high, so that a normal decoding process is executed in step S119.
  • This normal decoding process is a process that does not simply perform the decoding process but also generates image data for displaying a moving image. That is, this normal decoding process is a normal moving image reproduction process in which the confirmation of the generation processing speed based on the above-described prediction mode is not performed.
  • step S101 If it is determined in step S101 that the PC is a low-priced PC, the PC that is responsible for moving image reproduction has a low moving image processing capability, and thus measures to prevent frame dropping and freezing at the time of moving image reproduction are required. .
  • the PC that is responsible for moving image reproduction has a low moving image processing capability, and thus measures to prevent frame dropping and freezing at the time of moving image reproduction are required. .
  • step S101 If it is determined in step S101 that the PC is a low-priced PC, a menu screen as shown in FIG. 7, for example, showing a list of moving image contents downloaded from the Internet and stored in the HDD 56 is displayed. (Step S102). If, for example, “Video A” is selected on this menu screen, the screen shown in FIG. 8 is displayed (step S103). When “Go to main menu” is selected on the screen shown in FIG. 8, the process is interrupted (step S104; Yes), and then the menu screen shown in FIG. 7 is restored. On the other hand, when “play” is selected on the screen shown in FIG. 8, the moving image content is input from the HDD 56 to the memory 52 (step S105; Yes), and the playback of the video A is started. Note that the processing in steps S102 to S105 described above includes exactly the same processing in the above-described normal decoding processing.
  • a program called a timing engine is read from the HDD 56 and developed in the memory 52 (step S106).
  • This timing engine is a program that bears the processing portion (particularly, the interval designation processing 51c) executed by the CPU 51 in the moving image reproduction processing described with reference to FIG.
  • entropy decoding that is, decoding processing 51a shown in FIG. 4
  • the meta information described above is read from the decoded moving image data, and the prediction mode described in the meta information is confirmed (step S108).
  • the display speed described above is also read from the decoded moving image data, and the output interval of the image data corresponding to the display speed is calculated as a specified value and stored in the memory 52.
  • the moving image data to be subject to entropy decoding is a so-called GOP (Group of Pictures).
  • GOP Group of Pictures
  • a picture layer, a slice layer, a macroblock layer, and a block layer are sequentially derived from the GOP layer by entropy decoding.
  • the picture layer is a layer in which a series of images included in the GOP are divided into one by one.
  • the slice layer is a layer in which one image is divided into several stages.
  • the macroblock layer is a layer obtained by dividing the slice layer into several pieces.
  • Each macroblock included in the macroblock layer is a processing target of the in-plane prediction process.
  • the block layer is a processing unit for inverse quantization / inverse DCT processing.
  • the prediction mode of the in-plane prediction process is common to one image, but is described in the meta information associated with the macroblock layer. In step S108, the prediction mode is acquired from the meta information associated with the macroblock layer in this way.
  • the explanation of the playback application is temporarily interrupted, and the prediction mode and the prediction in the screen by the prediction mode will be described. Then, after the description of the prediction mode and the like, the description will return to the description of the playback application.
  • FIGS. 9 to 17 are diagrams for explaining modes 0 to 8 of the prediction mode, respectively.
  • pixels surrounded by a thick frame represent known pixels whose values have been obtained by entropy decoding or performed intra prediction, and pixels surrounded by a thin frame This represents a predicted pixel whose value is calculated in the in-screen prediction process using the value of the pixel surrounded by a thick frame.
  • a macroblock to be predicted in intra prediction has 4 ⁇ 4 16 pixels in any prediction mode.
  • Mode 0 shown in FIG. 9 is a prediction mode in which the value of a predicted pixel is predicted by copying the value of a known pixel. Specifically, the value of the pixel A is copied to the pixels b, c, and d in the vertical direction of the image.
  • the mode 1 shown in FIG. 10 is also a mode in which the value of the predicted pixel is predicted by copying the value of the known pixel as in the mode 0. It has become.
  • Mode 3 shown in FIG. 12 is a prediction mode in which the prediction pixels arranged in the diagonally lower left direction have the same value.
  • Mode 4 shown in FIG. 13 is a prediction mode in which the prediction pixels arranged in the diagonally lower right direction have the same value.
  • Mode 5 shown in FIG. 14 is a prediction mode in which the prediction pixels arranged in the lower right direction shifted by one pixel to the right as the two pixels move downward have the same value.
  • the predicted pixel value is calculated by the following equations.
  • Mode 6 shown in FIG. 15 is a prediction mode in which the prediction pixels arranged in the horizontal direction shifted downward by one pixel have the same value as the pixel advances to the right by two pixels.
  • the predicted pixel value is calculated by the following equations.
  • Mode 7 shown in FIG. 16 is a prediction mode in which the prediction pixels arranged in the lower left direction shifted by one pixel to the right as the two pixels move downward have the same value.
  • a mode 8 shown in FIG. 17 is a prediction mode in which the prediction pixels arranged in the upper horizontal direction shifted by one pixel as the two pixels move rightward have the same value.
  • mode 2 is the highest processing load required for the calculation.
  • the processing load is high in mode 5 and mode 7, and the processing load decreases in order of mode 6 and mode 8.
  • Mode 3 and mode 4 have a lower processing load, and mode 0 and mode 1 have the lowest processing load.
  • a processing time corresponding to such a processing load is obtained in advance, and the processing time is stored in association with the reproduction application. And processing time shall also be confirmed by confirming prediction mode.
  • step S108 shown in FIG. 5 such a prediction mode is confirmed from the meta information.
  • step S109 it is determined whether or not the confirmed prediction mode is a prediction mode that requires a processing time above the above-mentioned specified value of the output interval of image data.
  • output of image data from the output buffer 541c is performed so that frame dropping or freezing does not occur during moving image playback.
  • the interval (display interval) is changed from the specified value (step S110).
  • the changed new output interval is an output interval corresponding to the processing time required for the prediction mode.
  • the changed new output interval (display interval) is notified to the GPU (step S111).
  • a delay time in which the output of the image data is delayed with respect to the output interval of the specified value is calculated and recorded as delay data in the memory 52 (see FIG. 3).
  • the moving image data includes mode information representing a processing mode corresponding to each image in the process of generating image data.
  • the image generation unit generates image data in the processing mode indicated by the mode information included in the moving image data acquired by the moving image acquisition unit.
  • the interval designating unit generates the first time interval for each image data based on the mode information included in the moving image data acquired by the moving image acquiring unit. It is determined whether or not it is in time for the sequential output at.
  • steps S108 to S111 described above corresponds to an example of processing in the interval designation unit in this applied form. Further, the processing in steps S112 to S114 described below corresponds to an example of processing in the image generation unit in this applied form.
  • step S112 inverse quantization / inverse DCT processing is performed on the moving image data on which entropy decoding has been performed in step S107 (step S112).
  • the moving image data after the inverse quantization / inverse DCT processing is sent to the GPU 541 (see FIG. 4).
  • intra prediction, weighted prediction (step S113), and deblocking processing (step S114) corresponding to the motion compensation / prediction processing 541a described above are executed.
  • the intra prediction here is executed in the prediction mode confirmed in step S108.
  • the GPU 541 sets the output time of the image data (that is, the display time of the image) for the output buffer based on the notified display interval (step S116).
  • the output time (display time) set at this time is the output time (display time) changed from the specified value as necessary so that no frames are dropped or frozen during the reproduction of the moving image.
  • step S116 the process waits until the time reaches the set display time (step S117).
  • the image data of the frame is output from the output buffer (step S118). Due to the change of the output interval (display interval) in step S110 described above, the writing of the image data in step S115 is performed at a timing having a margin with respect to the output interval. For this reason, in step S117, it becomes the standby for the margin.
  • the process returns to step S107 described above, and the process of the moving image data proceeds to generate the image data of the next frame.
  • step S109 If it is determined in step S109 described above that the prediction mode requires processing time above the specified value, frame dropping or freezing during playback of a moving image is avoided by the processing described above. However, the output timing is slightly delayed from the original output timing of the image data. Therefore, in this embodiment, a device for recovering the delay in output timing is taken. Hereinafter, the flow of processing including the device will be described.
  • step S109 If it is determined in step S109 that the prediction mode is a prediction mode that requires a processing time equal to or less than the specified value (that is, generation of image data is in time for output at the specified value), the process proceeds to step S201 in FIG. Proceed to In step S201, the memory 52 is referred to and it is confirmed whether or not the delay data described above is recorded. If the delay data is recorded, it means that the output timing of the image data is delayed from the original, and therefore the output interval (display interval) of the image data is reduced from the specified value in step S202. At this time, if the processing time required to generate image data in the current prediction mode is sufficiently shorter than the specified value, the output interval is reduced from the specified value by the amount of delay indicated by the delay data. However, when there is not enough processing time to recover the delay indicated by the delay data at a time, the new output interval is an output interval corresponding to the processing time. Then, the delay data is rewritten as much as the delay is recovered by changing the output interval.
  • step S203 the changed new output interval (display interval) is notified to the GPU.
  • step S201 determines whether there is no delay data, the output interval has not been changed, and in this step S203, the output interval of the specified value is notified to the GPU.
  • step S203 proceeds from step S203 to step S112 in FIG. 5, whereby image data is generated in steps S112 to S114, and the image data is written in the output buffer in step S115.
  • step S116 the image data is output at the output interval of the specified value or at an output interval shorter than the specified value. As a result, the delay in the output timing of the image data is recovered, so that the moving image is displayed at the original display speed when viewed in a certain time width.
  • the image data output unit has a shorter time than the first time interval. 3 time intervals are designated. The designation of the third time interval is continued until the output of the image data delayed by the designation of the second time interval is recovered.
  • the video display realized as a result of the processing by the playback application described above will be described below. It is assumed that the display speed specified in the moving image data is 30 frames per second.
  • FIG. 18 is a diagram showing a moving image display when the generation of image data is in time for the output of the image data at the specified value.
  • FIG. 18 shows eight images F1 to F8 as images (frames) included in the moving image. It is also shown that the image data of each image is output from the output buffer 541c (see FIG. 4) at an output interval of 33 ms. As a result, the moving image display at a display speed of 30 frames per second is realized on the display screen 31 shown in FIG. Such moving image display shown in FIG. 18 is realized when the PC has a sufficient moving image processing capability or when the prediction mode is a prediction mode with a low processing load.
  • FIG. 19 is a diagram showing a comparative example.
  • FIG. 19 also shows eight images F1 to F8 as images (frames) included in the moving image.
  • the image data is normally output from the output buffer 541c at an output interval of 33 ms until the image F5, but the image data of the next image F6 is generated at an output interval of 33 ms. It was shown that it was not in time. Thus, if the generation of the image data is not in time for the output interval, the output buffer 541c cannot perform a normal output operation, so that a problem such as frame dropping or freezing occurs as a moving image display.
  • FIG. 20 is a diagram showing a moving image display when image data generation is performed in a prediction mode with a high processing load in the present embodiment.
  • FIG. 20 also shows eight images F1 to F8 as images (frames) included in the moving image. Also in this example, it is shown that the image data of the image of F6 is not in time for the output interval of the specified value of 33 ms for generating the image data. However, in the present embodiment, the output interval of the image data is temporarily changed to a longer output interval that can generate the image data in time. In the example shown here, the generation time required for generating the image data of the image F6 is 54 ms, which is 20 ms delayed from the specified value of 33 ms. The output buffer 541c temporarily designates an output interval of 54 ms that matches the generation time.
  • the image data of the image F6 is also normally output from the output buffer 541c, so that the moving image display continues normally.
  • the output interval is shortened within a range in which there is room for generating image data. .
  • the delay recovery of a total of 20 ms is achieved by the generation of two image data. After the delay is thus recovered, the output interval returns to 33 ms.
  • the short delay as shown here is a delay that does not cause much problem for moving image display, so it may be left as it is. However, for example, there may be a slight deviation from the audio and the viewer may notice it, or the viewer may notice that the delay has accumulated multiple times. It is desirable to keep it.
  • the moving image output device and the moving image output method in this case are, for example, slow play and search play. It is also applicable to playback at a speed changed from the designated display speed.
  • moving image data for display may be recorded on a portable recording medium such as a DVD or a Blu-ray disc, or may be output to the outside and displayed on another image display device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　処理装置の処理速度を上回る表示速度の動画データであっても本来の画質での動画出力を図る。時間的に連続した複数の画像の集合である動画を表した動画データを取得し、その取得された動画データに処理を施すことで、動画中の各画像を表した各画像データを生成し、その生成された各画像データを第１の時間間隔で順次に出力するが、その第１の時間間隔での順次出力には生成が間に合わない画像データについては一時的に、その第１の時間間隔よりも長い第２の時間間隔で出力する。

Description

動画出力装置、動画出力方法、および動画出力プログラム
　本件開示は、動画データに基づいて動画を出力する動画出力装置、動画出力方法、および動画出力プログラムに関する。
　近年、パーソナルコンピュータ（以下、「ＰＣ」と略記する）の低価格指向が強まり、ＰＣの価格を抑えるためにそのＰＣに使用される部品も価格が抑えられ、それに応じてＰＣの性能も抑えられている。低価格帯のノート型パーソナルコンピュータ（以下、「ノートＰＣ」と略記する）にあっては、プログラムの実行を担うＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）は、例えば１．６ＧＨｚのものが採用される。この１．６ＧＨｚというＣＰＵの速度は、近年では高速とは言い難い速度である。なぜならば、インターネット上にある配信用の高画質の動画コンテンツを再生しようとすると再生処理が動画表示に追いつかない恐れがあるからである。そのように再生処理が動画表示に追いつかないと、コマ落ちで表示されたり、映像が出力されずにフリーズするという不具合が生じる。このような配信用の高画質の動画コンテンツとしては、例えば所謂ＭＰＥＧ４と称されるタイプのコンテンツに属するＨ．２６４／ＡＶＣという方式のコンテンツなどが存在する。
　なお、ＭＰＥＧストリームに対する、スロー、スチル、コマ送りなどといった特殊再生に関する技術が提案されている（例えば特許文献１参照）。また、フレーム周期仕様の異なるワークステーション間におけるビデオ画像の相互通信に関する技術も提案されている（例えば特許文献２参照）。
　更に、再生処理の負荷を減らして上記のような低価格帯のノートＰＣでの動画再生に対処する技術も提案されている（特許文献３～１５参照）。
特開２００７－１９５０６４号公報 特開平０５－２１６８００号公報 特開２００６-１０１３２１号公報 特開２００６-１０１３２２号公報 特開２００６-１０１３２３号公報 特開２００６-１０１４０２号公報 特開２００６-１０１４０３号公報 特開２００６-１０１４０４号公報 特開２００６-１０１４０５号公報 特開２００６-１０１４０６号公報 特開２００６-２５４２３１号公報 特開２００７-１７４１９６号公報 特開２００７-２０８４７６号公報 特開２００７-２３５４４７号公報 特開２００９-１８２８９１号公報
　しかし、上述した特許文献１，２に開示の技術は、フレーム周期仕様などを変更することを目的とした技術であって、上述したように再生処理が動画表示に追いつかないという恐れを解決するものではない。
　また、上述した特許文献３～１５に開示の技術は、いずれも、本来の復号処理の一部を省略・簡略・低減することで高負荷に対応しているため、これらの技術では本来のフォーマットの機能が十分に活かされず、結果としては画質劣化となる。
　なお、ここでの説明は、動画の再生処理をＣＰＵが担う場合を例としたが、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を併用する場合であっても同様の事情が生じる。
　上記事情に鑑み、本件は、処理装置の処理速度を上回る表示速度の動画データであっても本来の画質での動画出力を図ることを目的とする。
　上記目的を達成する動画出力装置は、動画取得部と、画像生成部と、画像出力部と、間隔指定部とを備えている。
　上記動画取得部は、時間的に連続した複数の画像の集合である動画を表した動画データを取得するものである。
　上記画像生成部は、上記動画取得部で取得された動画データに処理を施すことで、上記動画中の各画像を表した各画像データを生成するものである。
　上記画像生成部は、上記動画取得部で取得された動画データに処理を施すことで、上記動画中の各画像を表した各画像データを生成するものである。
　上記画像出力部は、上記画像生成部で生成された各画像データを、指定された時間間隔で順次に出力するものである。
　上記間隔指定部は、上記画像出力部に対して上記動画の表示速度に応じた第１の時間間隔を指定するものである。また、この間隔指定部は、画像出力部における第１の時間間隔での順次出力には画像生成部における生成が間に合わない画像データについては画像出力部に対して一時的に、第１の時間間隔よりも長い第２の時間間隔を指定する。
　上記目的を達成する動画出力方法は、動画取得過程と、画像生成過程と、画像出力過程とを有する。
　上記動画取得過程は、時間的に連続した複数の画像の集合である動画を表した動画データを取得する過程である。
　上記画像生成過程は、上記動画取得過程で取得された動画データに処理を施すことで、上記動画中の各画像を表した各画像データを生成する過程である。
　上記画像出力過程は、上記画像生成過程で生成された各画像データを第１の時間間隔で順次に出力する過程である。但し、この画像出力過程は、第１の時間間隔での順次出力には上記画像生成過程における生成が間に合わない画像データについては一時的に、第１の時間間隔よりも長い第２の時間間隔で出力する過程である。
　上記目的を達成する動画出力プログラムは、プログラムを実行する演算処理装置内で実行され、その演算処理装置を、上記動画取得部と、上記画像生成部と、上記画像出力部と、上記間隔指定部とを備えた動画出力装置として動作させるプログラムである。
　本件開示によれば、処理装置の処理速度を上回る表示速度の動画データであっても本来の画質での動画出力が実行できる。
本件の第１実施形態の動画出力装置の構成図である。 本件の第２実施形態が構築されるノートＰＣの一例を示す外観斜視図である。 図２に外観を示すノートＰＣのハードウェア構成の概要を示すブロック図である。 図２，図３に示すノートＰＣ内での動画再生処理の流れを示した図である。 再生アプリケーションのフローチャートの第１部分を示す図である。 再生アプリケーションのフローチャートの第２部分を示す図である。 図５，図６に示す再生アプリケーション起動時に表示画面上に表示されるメニュー画面の一例を示した図である。 図７に示すメニュー画面上で「映像Ａ」が選択されたときの表示画面例を示す図である。 予測モードのモード０を説明する図である。 予測モードのモード１を説明する図である。 予測モードのモード２を説明する図である。 予測モードのモード３を説明する図である。 予測モードのモード４を説明する図である。 予測モードのモード５を説明する図である。 予測モードのモード６を説明する図である。 予測モードのモード７を説明する図である。 予測モードのモード８を説明する図である。 規定値での画像データの出力に画像データの生成が間に合う場合の動画表示を示す図である。 比較例を示す図である。 本実施形態で処理負荷の高い予測モードでの画像データ生成が行われた場合の動画表示を示す図である。
　動画出力装置、動画出力方法、および動画出力プログラムに対する具体的な実施形態を、以下図面を参照して説明する。
　図１は、本件の第１実施形態の動画出力装置の構成図である。
　この動画出力装置１は、プログラムを実行する演算処理装置と、その演算処理装置内で実行される動画出力プログラムとを有する。この図１は、動画出力プログラムが演算処理装置内で実行されることにより演算処理装置内に実現する機能を表わしている。この動画出力装置１は、動画取得部２と、画像生成部３と、画像生成部４と、画像表示部５と、間隔指定部６とを有する。
　動画取得部２は、時間的に連続した複数の画像の集合である動画を表した動画データを取得する。この動画データの取得は、例えばインターネット等の通信回線を経由して、あるいは、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｉｄｅｏ　Ｄｉｓｋ）等の可搬型記憶媒体からのインストールにより行なわれる。
　画像生成部３は、動画取得部２で取得された動画データに処理を施すことで、動画中の各画像を表した各画像データを生成する。
　画像出力部４は、画像生成部３で生成された各画像データを、指定された時間間隔で順次に出力する。
　画像表示部５は、画像出力部４で順次に出力された各画像データに基づいて、各画像データが表す各画像を順次に表示することで動画を表示する。
　間隔指定部６は、画像出力部４に対して動画の表示速度に応じた第１の時間間隔を指定する。また、この間隔指定部６は、画像出力部４における第１の時間間隔での順次出力には画像生成部での生成が間に合わない画像データについては画像出力部４に対して一時的に、第１の時間間隔よりも長い第２の時間間隔を指定する。
　上記の第１実施形態は、図１に示す動画出力装置１の各部２～６で順次実行される機能を、順次実行する動画出力方法として捉えることもできる。ここでは、重複説明となるため、この第１実施形態に対応する動画出力方法の図示および説明は省略する。
　次に、より具体的な第２実施形態について説明する。
　図２は、本件の第２実施形態が構築されるノートＰＣの一例を示す外観斜視図である。
　この図２に示すノートＰＣ１０は、本体ユニット２０と表示ユニット３０とを有する。本体ユニット２０は、内部にＣＰＵやハードディスクドライブ（以下、「ＨＤＤ」と略記する）等を備えるとともに、上面にキーボード２１や、ポインティングデバイスの一種であるタッチパッド２２等を備えている。また、表示ユニット３０は、蝶番４０を介して本体ユニット１０に連結されていることで本体ユニット２０に対し開閉自在となっている。また、この表示ユニット３０は、開状態にあるときの前面に表示画面３１を備えている。
　図３は、図２に外観を示すノートＰＣのハードウェア構成の概要を示すブロック図である。
　ここには、ＣＰＵ５１、メモリ５２、不揮発メモリ５３、図２にも示すキーボード２１、並びに、ＧＰＵ５４１および図２にも示す表示画面３１を含んだ表示部５４が示されている。またここには、通信インタフェース５５、ＨＤＤ５６、図２にも示すタッチパッド２２、並びに、オーディオインタフェース５７１およびスピーカ５７２を含んだ音声出力部５７も示されている。これらの各要素２１，２２，５１～５７は、バス５０を介して互いに接続されている。
　通信インタフェース５５は、インターネットに接続されインターネットを介する通信を行なう。ここでは特にＭＰＥＧ４に準拠した動画コンテンツを受信する。この動画コンテンツには、時間的に連続した複数の画像の集合である動画を表した動画データ、および音声データが含まれている。つまり、通信インタフェース５５は、動画データを取得する動画取得部の一例に相当する。ＨＤＤ５６は、大容量記憶装置であって、ここには本件の一実施形態としての動画出力プログラムを含む各種プログラムや、インターネットを経由して入力されてきた動画コンテンツなどが記憶されている。タッチパッド２２は、表示部５４に含まれた表示画面３１（図２参照）上のカーソルを移動させて表示画面３１上の任意のアイコン等をクリックするポインティングデバイスの一種である。音声出力部５７は、音声データを受け取りオーディオインタフェース５７１でアナログの音声信号に変換してスピーカ５７２で音声を出力する。
　また、ＣＰＵ５１は、プログラムを実行する中央演算処理装置である。本実施形態で用いられるノートＰＣ１０では、比較的動作速度の遅い、動作速度１．６ＧＨｚのＣＰＵが採用されている。メモリ５２は、ＨＤＤ５６から読み出されたプログラムがＣＰＵ５１での実行のために展開されるメモリである。またこのメモリ５２は、プログラムがＣＰＵ５１で実行されたときのデータの一時的な格納場所としても利用される。不揮発メモリ５３には、このノートＰＣ１０に電力が投入された初期に実行されるプログラムであるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）が記憶されている。また、キーボード２１は、オペレータによる各種情報や指示の入力用のツールである。
　表示部５４は、表示用データを受け取って表示画面３１（図２参照）上にそのデータに応じた画像を表示するものである。ここでは特に、動画コンテンツ中の動画データがＣＰＵ５１にて一部処理された中間的な動画データを表示用データとして受け取る。そしてＧＰＵ５４１でその表示用データから、動画に含まれる一連の画像それぞれを表した一連の画像データが生成される。ＧＰＵ５４１が、その生成した一連の画像データを表示画面３１に向けて順次に出力することによって表示画面３１は動画を表示することとなる。つまり、この第２実施形態では、動画データに処理を施すことで画像データを生成する画像生成部の一例としての役割が、ＣＰＵ５１とＧＰＵ５４１とで分担して実行されることになる。また、ＧＰＵ５４１は、画像データを順次に出力する画像出力部の一例としての役割も担っている。また、表示画面３１は、画像出力部で順次に出力された各画像データに基づいて、各画像データが表す各画像を順次に表示することで動画を表示する画像表示部の一例に相当する。このような画像表示部を備えた動画出力装置は、動画表示装置として機能することとなる。
　以下説明する例では、インターネットを経由してきたＭＰＥＧ４フォーマットの動画コンテンツが通信インタフェース５５で受信される。通信インタフェース５５で動画コンテンツが受信されるとその動画コンテンツはＨＤＤ５６に一時保管される。その後、その動画コンテンツ中の動画データから一連の画像データが生成されてその一連の画像データに基づく動画が表示画面３１（図２参照）上に表示される。
　また、その動画コンテンツ中の音声データは音声出力部５７に送信され、表示画面３１上への動画の表示と同期した音声がスピーカ５７２から出力される。
　図４は、図２，図３に示すノートＰＣ内での動画再生処理の流れを示した図である。
　ＣＰＵ５１は、入力動画データを受け取ると復号化処理５１ａを行なう。この入力動画データは、符号化された形式のデータである。そして、この復号化処理５１ａではエントルピー復号化処理と呼ばれる復号化処理によりＹＣｂＣｒフォーマットの動画データが生成される。この復号化処理５１ａにより生成された動画データのうちのＹデータは動画の輝度を表わしている。またＹＣｂＣｒフォーマットの動画データのうちのＣｂＣｒデータは、色差データと呼ばれ、動画の色を表わすデータである。復号化処理５１ａにより生成された動画データは図３に示すメモリ５２に書き込まれる。すると次に、ＣＰＵ５１では逆量子化・逆ＤＣＴ処理５１ｂが実行されて表示用の動画データが生成される。逆量子化処理および逆ＤＣＴ処理自体は，ＭＰＥＧ形式のデータ再生処理として一般的な処理であり、ここでの詳細説明は省略する。
　ＣＰＵ５１での逆量子化・逆ＤＣＴ処理５１ｂにより生成された動画データは、ＧＰＵ５４１に送られ、ＧＰＵ５４１にて、動き補償・予測処理５４１ａおよびデブロッキング処理５４１ｂが行なわれる。これら動き補償・予測処理５４１ａおよびデブロッキング処理５４１ｂは、ＭＰＥＧでの一般的なデータ処理である。そして、これら動き補償・予測処理５４１ａおよびデブロッキング処理５４１ｂの結果、動画に含まれる一連の画像それぞれを表した各画像データが生成される。そのように生成された各画像データは出力バッファ５４１ｃに順次に書き出される。この出力バッファ５４１ｃに順次に書き出された画像データが表した画像は、順次に映像出力となって表示画面３１上に表示される。その結果、表示画面３１上には動画が表示されることとなる。つまりＧＰＵ５４１の出力バッファ５４１ｃが、画像データを順次に出力する画像出力部の一例に相当する。
　この動画表示における表示速度は、１秒間当たりに表示されるフレーム（画像）数で定義されている。この表示速度は、ＣＰＵ５１への入力動画データ中に元々指定されているので、ＣＰＵ５１は、間隔指定処理５１ｃを実行することでＧＰＵ５４１の出力バッファ５４１ｃに、画像データの出力間隔を指定する。例えば、入力動画データ中では１秒間当たりに３０フレームの表示が指定されている場合には、出力バッファ５４１ｃには、３３ｍｓ間隔での画像出力が指定される。つまりＣＰＵ５１は、画像出力部に対して動画の表示速度に応じた時間間隔を指定する間隔指定部の一例としての機能を、この間隔指定処理５１ｃによって担っている。
　ところで、上述した動き補償・予測処理５４１ａ中には、画面内予測処理とフレーム間予測処理が含まれていて、この画面内予測処理はモード０からモード８までの９タイプの予測モードのうちのいずれかの予測モードによって実行される。実行されるべき予測モードは、復号化処理５１ａで復号化された動画データ中のメタ情報に記載されている。また、この予測モードは、生成される画像データ毎に指定されるものであるので、１つの動画を再生している最中にもたびたび予測モードが変更されることとなる。そして、予測モードが異なると、後で詳述するように、画面内予測処理におけるＧＰＵ５４１の負荷が異なるので処理時間も異なる。結局、画像データが出力バッファ５４１ｃに書き出されるタイミングは、その画像データの生成のために実行される予測モードのタイプに依存して決まることになる。そこで、ＣＰＵ５１は間隔指定処理５１ｃで、後述するように、各画像データの生成処理速度が上述した表示速度に間に合うか否かを確認している。そして、生成処理速度が表示速度に間に合わない画像データについては、間隔指定処理５１ｃで一時的に、表示速度に相当する出力間隔よりも長い出力間隔を出力バッファ５４１ｃに指定する。これにより、生成処理の負荷が大きい画像データであっても、出力バッファ５４１ｃからのデータ出力に間に合うように生成されることになる。
　図２，図３に示すノートＰＣ１０のユーザが動画コンテンツの再生を希望する場合には、ユーザは、ＨＤＤ５６に記憶されている再生アプリケーションを起動する。この再生アプリケーションについて以下説明する。
　図５は、再生アプリケーションのフローチャートの第１部分を示す図である。また、図６は、再生アプリケーションのフローチャートの第２部分を示す図である。図５のステップＳ１０９から図６の「１Ａ」へと処理が繋がっている。また、図６のステップＳ２０３から図５の「２Ａ」へも処理が繋がっている。これら図５，６に示すフローチャートに従う方法が、動画出力方法の具体的な一実施形態に相当する。
　また、図７は、図５，図６に示す再生アプリケーション起動時に表示画面３１（図２参照）上に表示されるメニュー画面の一例を示した図である。さらに、図８は、図７に示すメニュー画面上で「映像Ａ」が選択されたときの表示画面例を示す図である。
　再生アプリケーションが起動されると、先ず、この動画再生を担うＰＣ（ここでは、図２，図３に示すノートＰＣ１０）の不揮発メモリ５３（図３参照）に記憶されているＢＩＯＳ情報等の機器情報が読み出される。そして、予め再生アプリケーションに設定されている基準にその機器情報が照らし合わされて、そのノートＰＣ１０について、動画処理の能力が低いいわゆる低価格ＰＣであるか否かが判定される（ステップＳ１０１）。
　このステップＳ１０１における判定で、低価格ＰＣではないと判定された場合には、動画再生を担うＰＣの動画処理の能力が十分に高いので、ステップＳ１１９で通常の復号化処理が実行される。この通常の復号化処理とは、単に復号化処理を行うのではなくて、動画を表示するための画像データの生成までを担った処理である。つまりこの通常の復号化処理は、上述した予測モードに基づいた生成処理速度の確認などが行われない通常の動画再生の処理である。
　上記ステップＳ１０１における判定で、低価格ＰＣであると判定された場合には、動画再生を担うＰＣの動画処理の能力が低いので、動画再生時のコマ落ちやフリーズを防止する処置が必要となる。なお、本来は、低価格ＰＣの中にも処理能力の異なる複数バージョンが存在することも多いが、以下では説明の便宜上、低価格ＰＣと判定されるのは１バージョンのみであるものとする。
　ステップＳ１０１における判定で、低価格ＰＣであると判定された場合には、インターネット上からダウンロードされてＨＤＤ５６に格納されている動画コンテンツ一覧を表わす、例えば図７に示すようなメニュー画面が表示される（ステップＳ１０２）。このメニュー画面上で例えば「映像Ａ」が選択されると図８に示す画面が表示される（ステップＳ１０３）。この図８に示す画面上で［メインメニューへ」が選択されると処理が中断され（ステップＳ１０４；Ｙｅｓ）、その後図７に示すメニュー画面に戻る。一方、この図８に示す画面上で「再生する」が選択されると、動画コンテンツがＨＤＤ５６からメモリ５２に入力されることで（ステップＳ１０５；Ｙｅｓ）映像Ａの再生が開始される。なお、以上説明したステップＳ１０２～Ｓ１０５の処理については、上述した通常の復号化処理にも全く同様の処理が含まれているものとする。
　動画コンテンツがメモリ５２に入力されると、タイミングエンジンと称されるプログラムがＨＤＤ５６から読み出されてメモリ５２に展開される（ステップＳ１０６）。このタイミングエンジンは、図４で説明した動画再生処理のうちＣＰＵ５１で実行される処理部分（特に間隔指定処理５１ｃ）を担うプログラムである。タイミングエンジンがメモリ５２に展開されて実行されると、エントロピー復号化（即ち図４に示す復号化処理５１ａ）が動画データに施される（ステップＳ１０７）。そして、復号化された動画データから上述したメタ情報が読み出され、そのメタ情報に記載されている予測モードが確認される（ステップＳ１０８）。また、この復号化された動画データからは、上述した表示速度も読み出され、その表示速度に相当する画像データの出力間隔が規定値として算出されてメモリ５２に記憶される。
　エントロピー復号化の対象となる動画データはいわゆるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅ）となっている。エントロピー復号化によってこのＧＯＰのレイヤから順に、ピクチャレイア、スライスレイヤ、マクロブロックレイヤ、ブロックレイヤが導出される。ピクチャレイアは、ＧＯＰに含まれている一連の画像が１枚１枚に分けられたレイヤである。スライスレイヤは、１枚の画像が数段に分割されたレイヤである。そしてマクロブロックレイヤは、スライスレイヤが数個に分割されたレイヤである。このマクロブロックレイヤに含まれている各マクロブロックが面内予測処理の処理対象である。また、ブロックレイヤは、逆量子化・逆ＤＣＴ処理の処理単位である。面内予測処理の予測モードは１枚の画像について共通であるが、マクロブロックレイヤに対応付けられたメタ情報に記載されている。ステップＳ１０８では、このようにマクロブロックレイヤに対応付けられたメタ情報から予測モードが取得されることとなる。
　ここで再生アプリケーションの説明を一旦中断して予測モードと、その予測モードによる画面内予測について説明を行う。そして、予測モード等の説明後に再生アプリケーションの説明に戻ることとする。
　図９～図１７は、それぞれ、予測モードのモード０～モード８を説明する図である。
　図９～図１７の各図において、太枠で囲まれた画素はエントロピー復号化や実行済みの画面内予測で値が得られている既知画素を表し、細枠で囲まれた画素は、その太枠で囲まれた画素の値が用いられた画面内予測処理で値が算出される予測画素を表している。以下の説明では、画面内予測で予測対象となるマクロブロックは、どの予測モードにおいても４×４の１６画素を有するものとする。
　図９に示すモード０は既知画素の値をコピーすることで予測画素の値を予測する予測モードである。具体的には、画素Ａの値が画像の縦方向に画素ｂ，ｃ，ｄへとコピーされることになる。
　図１０に示すモード１の場合もモード０と同様に既知画素の値をコピーすることで予測画素の値を予測するモードであるが、コピーの方向は、図９に示すように画像の横方向となっている。
　図１１に示すモード２は、全ての予測画素が同一値となる予測モードである。即ち、ｊ＝ｋ＝ｍ＝ｎ＝ｏ＝ｐ＝ｑ＝ｒ＝ｓ＝ｔ＝ｕ＝ｖ＝ｗ＝ｘ＝ｙ＝ｚである。そして、その予測画素の値は、（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ＋Ｇ＋Ｈ＋４）／８、（Ａ＋Ｂ＋Ｃ＋Ｄ＋２）／４、（Ｅ＋Ｆ＋Ｇ＋Ｈ＋２）／４、あるいは１２８となる。これらの予測値のいずれが画素値として用いられるかは、ここでは説明を省略する処理によって決まることになる。
　図１２に示すモード３は、左下方向の対角に並んだ予測画素が同一の値となる予測モードである。具体的には、以下に示す各式によって予測画素の値が算出される。
ｊ＝（Ａ＋２＊Ｂ＋Ｃ＋２）／４
ｋ＝ｏ＝（Ｂ＋２＊Ｃ＋Ｄ＋２）／４
ｍ＝ｐ＝ｓ＝（Ｃ＋２＊Ｄ＋Ｅ＋２）／４
ｎ＝ｑ＝ｔ＝ｗ＝（Ｄ＋２＊Ｅ＋Ｆ＋２）／４
ｒ＝ｕ＝ｘ＝（Ｅ＋２＊Ｆ＋Ｇ＋２）／４
ｖ＝ｙ＝（Ｆ＋２＊Ｇ＋Ｈ＋２）／４
ｚ＝（Ｇ＋２＊Ｈ＋２）／４
　図１３に示すモード４は、右下方向の対角に並んだ予測画素が同一の値となる予測モードである。具体的には、以下に示す各式によって予測画素の値が算出される。
ｎ＝（Ｈ＋２＊Ｇ＋Ｆ＋２）／４
ｍ＝ｒ＝（Ｇ＋２＊Ｆ＋Ｅ＋２）／４
ｋ＝ｑ＝ｖ＝（Ｆ＋２＊Ｅ＋Ｘ＋２）／４
ｊ＝ｐ＝ｗ＝ｚ＝（Ｅ＋２＊Ｘ＋Ａ＋２）／４
ｏ＝ｔ＝ｙ＝（Ｘ＋２＊Ａ＋Ｂ＋２）／４
ｓ＝ｘ＝（Ａ＋２＊Ｂ＋Ｃ＋２）／４
ｗ＝（Ｂ＋２＊Ｃ＋Ｄ＋２）／４
　図１４に示すモード５は、下に２画素進むにつれて右に１画素ずれる右下方向に並んだ予測画素が同一の値となる予測モードである。具体的には、以下に示す各式によって予測画素の値が算出される。
ｊ＝ｑ＝（Ａ＋Ｂ＋１）／２
ｏ＝ｕ＝（Ｂ＋Ｃ＋１）／２
ｓ＝ｙ＝（Ｃ＋Ｄ＋１）／２
ｗ＝（Ｄ＋Ｅ＋１）／２
ｋ＝ｒ＝（Ｆ＋２＊Ａ＋Ｂ＋２）／４
ｐ＝ｖ＝（Ａ＋２＊Ｂ＋Ｃ＋２）／４
ｔ＝ｚ＝（Ｂ＋２＊Ｃ＋Ｄ＋２）／４
ｘ＝（Ｃ＋２＊Ｄ＋Ｅ＋２）／４
ｍ＝（Ａ＋２＊Ｆ＋Ｇ＋２）／４
ｎ＝（Ｆ＋２＊Ｇ＋Ｈ＋２）／４
　図１５に示すモード６は、右に２画素進むにつれて下に１画素ずれる下横方向に並んだ予測画素が同一の値となる予測モードである。具体的には、以下に示す各式によって予測画素の値が算出される。
ｊ＝ｔ＝（Ａ＋Ｅ＋１）／２
ｏ＝ｘ＝（Ｅ＋２＊Ａ＋Ｂ＋２）／４
ｓ＝（Ａ＋２＊Ｂ＋Ｃ＋２）／４
ｗ＝（Ｂ＋２＊Ｃ＋Ｄ＋２）／４
ｋ＝ｕ＝（Ｅ＋Ｆ＋１）／２
ｐ＝ｙ＝（Ａ＋２＊Ｅ＋Ｆ＋２）／４
ｍ＝ｖ＝（Ｆ＋Ｇ＋１）／２
ｑ＝ｚ＝（Ｅ＋２＊Ｆ＋Ｇ＋２）／４
ｎ＝（Ｇ＋Ｈ＋１）／２，ｒ＝（Ｈ＋２＊Ｇ＋Ｆ＋２）／４
　図１６に示すモード７は、下に２画素進むにつれて右に１画素ずれる左下方向に並んだ予測画素が同一の値となる予測モードである。具体的には、以下に示す各式によって予測画素の値が算出される。
ｊ＝（Ｂ＋Ｃ＋１）／２
ｍ＝ｏ＝（Ｃ＋Ｄ＋１）／２
ｑ＝ｓ＝（Ｄ＋Ｅ＋１）／２
ｕ＝ｗ＝（Ｅ＋Ｆ＋１）／２
ｙ＝（Ｆ＋Ｇ＋１）／２
ｋ＝（Ｂ＋２＊Ｃ＋Ｄ＋２）／４
ｎ＝ｐ＝（Ｃ＋２＊Ｄ＋Ｅ＋２）／４
ｒ＝ｔ＝（Ｄ＋２＊Ｅ＋Ｆ＋２）／４
ｖ＝ｘ＝（Ｅ＋２＊Ｆ＋Ｇ＋２）／４
ｚ＝（Ｆ＋２＊Ｇ＋Ｈ＋２）／４
　図１７に示すモード８は、右に２画素進むにつれて上に１画素ずれる上横方向に並んだ予測画素が同一の値となる予測モードである。具体的には、以下に示す各式によって予測画素の値が算出される。
ｊ＝（Ａ＋Ｅ＋１）／２
ｏ＝（Ａ＋２＊Ｅ＋Ｆ＋２）／４
ｋ＝ｓ＝（Ｅ＋Ｆ＋１）／２
ｐ＝ｗ＝（Ｅ＋２＊Ｆ＋Ｇ＋２）／４
ｍ＝ｔ＝（Ｆ＋Ｇ＋１）／２
ｑ＝ｘ＝（Ｆ＋３＊Ｇ＋２）／４
ｎ＝ｒ＝ｖ＝ｙ＝ｚ＝Ｇ
　各予測モードでは、以上説明したように予測画素の値が算出されるので、算出に要する処理負荷としてはモード２が最も高いことになる。次に、モード５およびモード７で処理負荷が高く、モード６、モード８と順に処理負荷が下がる。モード３およびモード４は更に処理負荷が低く、モード０およびモード１では処理負荷が最も低い。以下の説明では、このような処理負荷に対応した処理時間が予め求められていて、その処理時間は再生アプリケーションに付属して記憶されているものとする。そして、予測モードが確認されることで処理時間も確認されるものとする。
　図５に示すステップＳ１０８では、このような予測モードがメタ情報から確認される。そして、ステップＳ１０９では、その確認された予測モードが、画像データの出力間隔の上述した規定値より上の処理時間を要する予測モードであるか否かが判定される。
　規定値より上の処理時間を要する予測モードであると判定された場合には、動画の再生中にコマ落ちやフリーズが生じないように、出力バッファ５４１ｃ（図４参照）からの画像データの出力間隔（表示間隔）が規定値から変更される（ステップＳ１１０）。この変更された新たな出力間隔は、予測モードに要する処理時間に相当する出力間隔である。そして、その変更された新たな出力間隔（表示間隔）がＧＰＵに通知される（ステップＳ１１１）。このとき、規定値の出力間隔に対して画像データの出力が遅延する遅延時間が算出されて遅延データとしてメモリ５２（図３参照）に記録される。
　ステップＳ１０８、Ｓ１０９における判定は、動画データが画像毎に有する予測モードに基づいて行われるため、画像データの生成に先立って迅速かつ正確な判定が実現できる。その結果、ステップＳ１１０、Ｓ１１１では、画像データの規定値での出力間隔に至る前に、必要に応じて出力間隔を変更することができる。このことは、動画出力装置において以下のような応用形態が好適であることを意味している。この応用形態では、上記動画データが、画像データを生成する処理における、各画像に応じた処理モードを表したモード情報を含んでいる。そしてこの応用形態では、上記画像生成部が、上記動画取得部で取得された動画データに含まれているモード情報が表している処理モードで画像データを生成する。さらにこの応用形態では、上記間隔指定部が、上記動画取得部で取得された動画データに含まれているモード情報に基づいて、画像データ毎に、上記画像生成部における生成が第１の時間間隔での順次出力に間に合うか否かを判定する。
　上述したステップＳ１０８～Ｓ１１１の処理が、この応用形態における間隔指定部での処理の一例に相当する。また、以下説明するステップＳ１１２～Ｓ１１４の処理が、この応用形態における画像生成部での処理の一例に相当する。
　その後、上記ステップＳ１０７でエントロピー復号化が施された動画データについて逆量子化・逆ＤＣＴ処理が実行される（ステップＳ１１２）。この逆量子化・逆ＤＣＴ処理実施後の動画データは、今度はＧＰＵ５４１（図４参照）に送られる。このＧＰＵ５４１では、上述した動き補償・予測処理５４１ａに対応した、画面内予測、重み付き予測（ステップＳ１１３）、デブロッキング処理（ステップＳ１１４）が実行される。ここでの画面内予測は、上記ステップＳ１０８で確認された予測モードによって実行される。これらの処理によって、動画表示用の画像データが生成され、その生成された画像データが出力バッファに書き込まれる(ステップＳ１１５）。そして、ＧＰＵ５４１では、通知されている表示間隔に基づいて、出力バッファに対し、画像データの出力時刻（即ち画像の表示時刻）が設定される（ステップＳ１１６）。このとき設定される出力時刻（表示時刻）は、動画の再生中にコマ落ちやフリーズが生じないように必要に応じて規定値から変更された出力時刻（表示時刻）である。
　ステップＳ１１６の後は、時刻がその設定された表示時刻に達するまで待機状態となり（ステップＳ１１７）、表示時刻に達すると出力バッファから当該フレームの画像データが出力される（ステップＳ１１８）。上述したステップＳ１１０における出力間隔（表示間隔）の変更によって、ステップＳ１１５での画像データの書き込みは、出力間隔に対して余裕を持ったタイミングでの書き込みとなっている。このため、ステップＳ１１７ではその余裕分の待機となる。画像データの出力後は処理が上述したステップＳ１０７に戻って、次のフレームの画像データ生成のために動画データの処理が進む。
　上述したステップＳ１０９で規定値より上の処理時間を要する予測モードであると判定された場合には、以上説明した処理によって、動画の再生中のコマ落ちやフリーズが回避されることとなる。但し、本来の画像データの出力タイミングよりもやや遅れた出力タイミングになっている。そこで、本実施形態では、出力タイミングの遅れを取り戻す工夫が施されている。以下、その工夫を含んだ処理の流れについて説明する。
　ステップＳ１０９で、予測モードが、規定値以下の処理時間を要する（即ち規定値での出力に画像データの生成が間に合う）予測モードであると判定された場合には、処理が図６のステップＳ２０１へと進む。ステップＳ２０１では、メモリ５２が参照されて、上述した遅延データが記録されているか否かが確認される。遅延データが記録されている場合には、画像データの出力タイミングが本来よりも遅延していることを意味するので、ステップＳ２０２で、画像データの出力間隔（表示間隔）が規定値から減らされる。このとき、現在の予測モードで画像データの生成に要する処理時間が規定値よりも十分に短い場合には、遅延データが示す遅れの分だけ出力間隔が規定値から減らされる。しかし、遅延データが示す遅れを一度に取り戻せるほどは処理時間に余裕がない場合には、新たな出力間隔は、その処理時間に相当する出力間隔となる。そして、このような出力間隔の変更で遅れが取り戻された分だけ遅延データも書き換えられる。
　その後、ステップＳ２０３で、変更された新たな出力間隔（表示間隔）がＧＰＵに通知される。但し、上記ステップＳ２０１で遅延データ無しと判定された場合には、出力間隔は変更されていないので、このステップＳ２０３では規定値の出力間隔がＧＰＵに通知されることとなる。その後、ステップＳ２０３から図５のステップＳ１１２に処理が進むことによって、ステップＳ１１２～Ｓ１１４では画像データが生成され、ステップＳ１１５ではその画像データが出力バッファに書き込まれる。そして、ステップＳ１１６では、規定値の出力間隔あるいは規定値よりも短い出力間隔で画像データが出力されることとなる。この結果、画像データの出力タイミングの遅れが取り戻されるので、ある程度の時間幅で見れば、動画は本来の表示速度で表示されることとなる。
　このことは、動画出力装置の応用形態として、以下のような応用形態が好適であることを意味する。この応用形態では、上記間隔指定部が、上記第２の時間間隔を一時的に指定した後に出力される画像データについては、上記画像出力部に対して、上記第１の時間間隔よりも短い第３の時間間隔を指定するものとなっている。そして、この第３の時間間隔の指定は、その第２の時間間隔の指定により画像データの出力が遅延した分を回復するまで続けられる。
　以上説明した再生アプリケーションによる処理の結果として実現される動画表示について以下説明する。なお、動画データ中で指定されている表示速度は１秒間に３０フレームであるものとする。
　図１８は、規定値での画像データの出力に画像データの生成が間に合う場合の動画表示を示す図である。
　図１８には、動画に含まれた画像（フレーム）としてＦ１～Ｆ８の８つの画像が示されている。そして、各画像の画像データが、３３ｍｓという出力間隔で出力バッファ５４１ｃ（図４参照）から出力されていることも示されている。この結果、図３に示す表示画面３１では１秒間に３０フレームという表示速度での動画表示が実現されている。図１８に示したこのような動画表示は、ＰＣが十分な動画処理能力を有しているか、あるいは予測モードが処理負荷の低い予測モードである場合に実現される。
　ここで比較例として、従来の低価格ＰＣにおいて、処理負荷の高い予測モードでの画像データ生成が行われた場合に発生する現象について説明する。
　図１９は、比較例を示す図である。
　図１９にも、動画に含まれた画像（フレーム）としてＦ１～Ｆ８の８つの画像が示されている。そして、この例では、Ｆ５という画像までは３３ｍｓという出力間隔で画像データが正常に出力バッファ５４１ｃから出力されているが、次のＦ６という画像の画像データは、画像データの生成が３３ｍｓの出力間隔に間に合わなかったことが示されている。このように画像データの生成が出力間隔に間に合わないと、出力バッファ５４１ｃは正常な出力動作を行うことができないため、動画表示としては、コマ落ちやフリーズといった不具合が生じることとなる。
　図２０は、本実施形態で処理負荷の高い予測モードでの画像データ生成が行われた場合の動画表示を示す図である。
　図２０にも、動画に含まれた画像（フレーム）としてＦ１～Ｆ８の８つの画像が示されている。そして、この例でも、Ｆ６という画像の画像データは、画像データの生成が３３ｍｓという規定値の出力間隔には間に合わないことが示されている。しかし、本実施形態では、画像データの出力間隔が一時的に、画像データの生成が間に合うような長めの出力間隔に変更される。ここに示す例では、Ｆ６という画像の画像データの生成に要する生成時間は、規定値の３３ｍｓに対して２０ｍｓ遅延した５４ｍｓとなっている。そして、出力バッファ５４１ｃにはその生成時間に合わせた５４ｍｓという出力間隔が一時的に指定されている。この結果、Ｆ６という画像の画像データも正常に出力バッファ５４１ｃから出力されるので動画表示は正常に続くこととなる。但し、２０ｍｓの遅延が生じるので、本実施形態では、その遅延を生じたＦ６という画像の後に続くＦ７，Ｆ８という画像では、画像データの生成に余裕がある範囲で、出力間隔が短縮されている。ここに示す例では、１つの画像データの生成が、３３ｍｓに対して１０ｍｓの余裕があるので、２つの画像データの生成で合計２０ｍｓの遅延回復が図られている。このように遅延が回復された後は、３３ｍｓの出力間隔に戻ることとなる。なお、このような画像の遅延および回復は、人間の目では判別できない程度のものであるため、動画表示としては正常な動画表示となる。また、ここで示したような短時間の遅延は動画表示としては余り問題にならない程度の遅延であるので放置しておいても構わない場合が多い。しかし、例えば音声との微妙なズレが生じて視聴者が気づく場合もあるし、複数回の遅延が累積してしまって視聴者が気づく場合もあるので、本実施形態のように回復を図っておくことが望ましい。
　以上で実施形態の説明を終了する。
　なお、上記説明では、動画データ中に指定された表示速度での動画表示が行われる例が示されているが、本件の動画出力装置や動画出力方法は、例えばスロー再生やサーチ再生のように、指定された表示速度から変更された速度による再生にも適用可能である。
　また、上記説明では、画像データの生成が出力に間に合うか否かの判定が、予測モードに基づいて画像データの生成に判定される例が示されている。しかし、本件の動画出力装置や動画出力方法では、画像データの生成に並行して判定が行われてもよく、判定のための情報として、実際に生成に要している速度などを用いてもよい。
　また、上記説明では、長めの出力時間間隔を指定して生じた遅延をその後に回復する処理が組み込まれている例が示されているが、本件の動画出力装置や動画出力方法では、遅延が致命的でない場合などには回復処理を省略してもよい。
　また、上記説明では、再生された表示用の動画データに基づく動画を表示画面３１上に表示する場合を例にして説明したが、この表示用の動画データを再生した装置自体で表示する必要はない。例えば、表示用の動画データをＤＶＤやブルーレイディスク等の可搬型記録媒体に記録して、あるいは、そのまま外部に出力して、他の画像表示装置で表示してもよい。
　１　　動画出力装置
　２　　動画取得部
　３　　画像生成部
　４　　画像出力部
　５　　画像表示部
　６　　間隔指定部
　１０　　ノートＰＣ
　２０　　本体ユニット
　２１　　キーボード
　２２　　タッチパッド
　３０　　表示ユニット
　３１　　表示画面
　５１　　ＣＰＵ
　５１ａ　　復号化処理
　５１ｂ　　逆量子化・逆ＤＣＴ処理
　５１ｃ　　間隔指定処理
　５２　　メモリ
　５３　　不揮発メモリ
　５４　　表示部
　５５　　通信インタフェース
　５６　　ＨＤＤ
　５７　　音声出力部
　５４１　　ＧＰＵ
　５４１ａ　　動き補償・予測処理
　５４１ｂ　　デブロッキング処理
　５４１ｃ　　出力バッファ
　５７１　　オーディオインタフェース
　５７２　　スピーカ

Claims (11)

  1. 　時間的に連続した複数の画像の集合である動画を表した動画データを取得する動画取得部と、
    　前記動画取得部で取得された動画データに処理を施すことで、前記動画中の各画像を表した各画像データを生成する画像生成部と、
    　前記画像生成部で生成された各画像データを、指定された時間間隔で順次に出力する画像出力部と、
    　前記画像出力部に対して前記動画の表示速度に応じた第１の時間間隔を指定し、該画像出力部における該第１の時間間隔での順次出力には該画像生成部における生成が間に合わない画像データについては該画像出力部に対して一時的に、該第１の時間間隔よりも長い第２の時間間隔を指定する間隔指定部とを備えたことを特徴とする動画出力装置。
  2. 　前記画像出力部で順次に出力された各画像データに基づいて、各画像データが表す各画像を順次に表示することで前記動画を表示する画像表示部を備えたことを特徴とする請求項１記載の動画出力装置。
  3. 　前記動画データが、画像データを生成する処理における、各画像に応じた処理モードを表したモード情報を含んだものであり、
    　前記画像生成部が、前記動画取得部で取得された動画データに含まれているモード情報が表している処理モードで画像データを生成するものであり、
    　前記間隔指定部が、前記動画取得部で取得された動画データに含まれているモード情報に基づいて、画像データ毎に、前記画像生成部における生成が第１の時間間隔での順次出力に間に合うか否かを判定するものであることを特徴とする請求項１または２記載の動画出力装置。
  4. 　前記間隔指定部が、前記第２の時間間隔を一時的に指定した後に出力される画像データについては、該第２の時間間隔の指定により画像データの出力が遅延した分を回復するまで、前記画像出力部に対して、前記第１の時間間隔よりも短い第３の時間間隔を指定するものであることを特徴とする請求項１から３のいずれか１項記載の動画出力装置。
  5. 　時間的に連続した複数の画像の集合である動画を表した動画データを取得する動画取得過程と、
    　前記動画取得過程で取得された動画データに処理を施すことで、前記動画中の各画像を表した各画像データを生成する画像生成過程と、
    　前記画像生成過程で生成された各画像データを第１の時間間隔で順次に出力するが、該第１の時間間隔での順次出力には前記画像生成過程における生成が間に合わない画像データについては一時的に、該第１の時間間隔よりも長い第２の時間間隔で出力する画像出力過程とを有することを特徴とする動画出力方法。
  6. 　前記画像出力過程で順次に出力された各画像データに基づいて、各画像データが表す各画像を順次に表示することで前記動画を表示する画像表示過程を有することを特徴とする請求項５記載の動画出力方法。
  7. 　前記動画データが、画像データを生成する処理における、各画像に応じた処理モードを表したモード情報を含んだものであり、
    　前記画像生成過程が、前記動画取得過程で取得された動画データに含まれているモード情報が表している処理モードで画像データを生成するものであり、
    　前記画像出力過程が、前記画像データの出力に先だって、前記動画取得過程で取得された動画データに含まれているモード情報に基づいて、画像データ毎に、前記画像生成過程における生成が第１の時間間隔での順次出力に間に合うか否かを判定する過程であることを特徴とする請求項５または６記載の動画出力方法。
  8. 　前記画像出力過程が、前記第２の時間間隔を一時的に指定した後に出力する画像データについては、該第２の時間間隔の指定により画像データの出力が遅延した分を回復するまで、前記第１の時間間隔よりも短い第３の時間間隔で出力する過程であることを特徴とする請求項５から７のいずれか１項記載の動画出力方法。
  9. 　プログラムを実行する演算処理装置内で実行され、該演算処理装置を、
    　時間的に連続した複数の画像の集合である動画を表した動画データを取得する動画取得部と、
    　前記動画取得部で取得された動画データに処理を施すことで、前記動画中の各画像を表した各画像データを生成する画像生成部と、
    　前記画像生成部で生成された各画像データを、指定された時間間隔で順次に出力する画像出力部と、
    　前記画像出力部に対して前記動画の表示速度に応じた第１の時間間隔を指定し、該画像出力部における該第１の時間間隔での順次出力には該画像生成部における生成が間に合わない画像データについては該画像出力部に対して一時的に、該第１の時間間隔よりも長い第２の時間間隔を指定する間隔指定部とを備えた動画出力装置として動作させることを特徴とする動画出力プログラム。
  10. 　前記動画データが、画像データを生成する処理における、各画像に応じた処理モードを表したモード情報を含んだものであり、
    　前記画像生成部が、前記動画取得部で取得された動画データに含まれているモード情報が表している処理モードで画像データを生成するものであり、
    　前記間隔指定部が、前記動画取得部で取得された動画データに含まれているモード情報に基づいて、画像データ毎に、前記画像生成部における生成が第１の時間間隔での順次出力に間に合うか否かを判定するものであることを特徴とする請求項９記載の動画出力プログラム。
  11. 　前記間隔指定部が、前記第２の時間間隔を一時的に指定した後に出力される画像データについては、該第２の時間間隔の指定により画像データの出力が遅延した分を回復するまで、前記画像出力部に対して、前記第１の時間間隔よりも短い第３の時間間隔を指定するものであることを特徴とする請求項９または１０記載の動画出力プログラム。
PCT/JP2010/057616 2010-04-28 2010-04-28 動画出力装置、動画出力方法、および動画出力プログラム WO2011135704A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2010/057616 WO2011135704A1 (ja) 2010-04-28 2010-04-28 動画出力装置、動画出力方法、および動画出力プログラム
JP2012512597A JP5598540B2 (ja) 2010-04-28 2010-04-28 動画出力装置、動画出力方法、および動画出力プログラム
CN201080066424.8A CN102884788B (zh) 2010-04-28 2010-04-28 动态图像输出装置、动态图像输出方法以及动态图像输出程序
US13/653,821 US9319695B2 (en) 2010-04-28 2012-10-17 Moving image output apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/057616 WO2011135704A1 (ja) 2010-04-28 2010-04-28 動画出力装置、動画出力方法、および動画出力プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/653,821 Continuation US9319695B2 (en) 2010-04-28 2012-10-17 Moving image output apparatus and method

Publications (1)

Publication Number Publication Date
WO2011135704A1 true WO2011135704A1 (ja) 2011-11-03

Family

ID=44861045

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/057616 WO2011135704A1 (ja) 2010-04-28 2010-04-28 動画出力装置、動画出力方法、および動画出力プログラム

Country Status (4)

Country Link
US (1) US9319695B2 (ja)
JP (1) JP5598540B2 (ja)
CN (1) CN102884788B (ja)
WO (1) WO2011135704A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015186147A (ja) * 2014-03-25 2015-10-22 セイコーエプソン株式会社 撮像装置、画像処理装置、表示制御装置、及び撮像表示装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105278896B (zh) * 2014-06-26 2019-12-10 腾讯科技（深圳）有限公司 一种图像显示方法、装置及终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07327214A (ja) * 1994-06-01 1995-12-12 Canon Inc 動画像表示方法及び装置
JP2001045491A (ja) * 1999-08-03 2001-02-16 Hitachi Ltd 符号化画像の復号・表示装置
JP2002159011A (ja) * 2000-11-20 2002-05-31 Sharp Corp 画像復号装置
JP2003153261A (ja) * 2001-11-16 2003-05-23 Sony Corp 動画像再生装置および方法、記録媒体、並びにプログラム
JP2006211485A (ja) * 2005-01-31 2006-08-10 Casio Comput Co Ltd 動画再生装置、及び動画再生方法
JP2007184871A (ja) * 2006-01-10 2007-07-19 Toshiba Corp 動画像復号装置及び動画像復号方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05216800A (ja) 1992-02-04 1993-08-27 Mitsubishi Electric Corp ネットワーク通信方式
JP3877947B2 (ja) * 2000-09-29 2007-02-07 パイオニア株式会社 符号化データの転送制御方法及び蓄積再生システム
JP2003061052A (ja) * 2001-08-09 2003-02-28 Canon Inc 画像再生装置及び画像再生方法
EP2357814B1 (en) * 2004-08-17 2012-05-09 Panasonic Corporation Image encoding device and method
CN101010952A (zh) * 2004-09-01 2007-08-01 松下电器产业株式会社 图像再生方法以及图像再生装置
JP2006101405A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
JP2006101406A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
JP4282582B2 (ja) 2004-09-30 2009-06-24 株式会社東芝 情報処理装置および同装置で用いられるプログラム
JP2006101321A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
JP2006101404A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
EP1646243B1 (en) 2004-09-30 2009-06-24 Kabushiki Kaisha Toshiba Information processing apparatus and program for use in the same
JP2006101322A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
JP2006101402A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
JP2006101323A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
JP2006254231A (ja) 2005-03-11 2006-09-21 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
JP4322851B2 (ja) * 2005-08-19 2009-09-02 Ｎｅｃディスプレイソリューションズ株式会社 動画配信システムおよび動画配信サーバー
JP2007074037A (ja) * 2005-09-02 2007-03-22 Sony Corp 情報再生装置、および情報再生方法、並びにコンピュータ・プログラム
JP2007174196A (ja) 2005-12-21 2007-07-05 Toshiba Corp 情報処理装置、制御方法およびプログラム
JP2007195064A (ja) 2006-01-20 2007-08-02 Canon Inc 画像情報伝送装置、画像情報伝送方法、プログラム及び記憶媒体
JP4825524B2 (ja) 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置および動画像復号方法
JP4649347B2 (ja) 2006-02-28 2011-03-09 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
JP5115150B2 (ja) * 2007-11-02 2013-01-09 ソニー株式会社 情報提示装置及び情報提示方法
JP2009182891A (ja) 2008-01-31 2009-08-13 Toshiba Corp 情報処理装置およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07327214A (ja) * 1994-06-01 1995-12-12 Canon Inc 動画像表示方法及び装置
JP2001045491A (ja) * 1999-08-03 2001-02-16 Hitachi Ltd 符号化画像の復号・表示装置
JP2002159011A (ja) * 2000-11-20 2002-05-31 Sharp Corp 画像復号装置
JP2003153261A (ja) * 2001-11-16 2003-05-23 Sony Corp 動画像再生装置および方法、記録媒体、並びにプログラム
JP2006211485A (ja) * 2005-01-31 2006-08-10 Casio Comput Co Ltd 動画再生装置、及び動画再生方法
JP2007184871A (ja) * 2006-01-10 2007-07-19 Toshiba Corp 動画像復号装置及び動画像復号方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015186147A (ja) * 2014-03-25 2015-10-22 セイコーエプソン株式会社 撮像装置、画像処理装置、表示制御装置、及び撮像表示装置

Also Published As

Publication number Publication date
CN102884788B (zh) 2016-06-08
JP5598540B2 (ja) 2014-10-01
JPWO2011135704A1 (ja) 2013-07-18
US20130038802A1 (en) 2013-02-14
US9319695B2 (en) 2016-04-19
CN102884788A (zh) 2013-01-16

Similar Documents

Publication Publication Date Title
US8817873B2 (en) Image coding/recording apparatus and image coding/recording method
TWI477143B (zh) 視頻攝像機、視頻處理系統及其方法
JP5921469B2 (ja) 情報処理装置、クラウドプラットフォーム、情報処理方法およびそのプログラム
US20100166081A1 (en) Video stream processing apparatus and control method, program and recording medium for the same
US9055272B2 (en) Moving image reproduction apparatus, information processing apparatus, and moving image reproduction method
CN111182308B (zh) 视频解码方法、装置、计算机设备及存储介质
US8787466B2 (en) Video playback device, computer readable medium and video playback method
JP5598540B2 (ja) 動画出力装置、動画出力方法、および動画出力プログラム
JP2007295392A (ja) 情報処理装置、復号処理方法、およびプログラム
JP2006254230A (ja) 情報処理装置およびプログラム
JP2006254320A (ja) 情報処理装置および同装置で用いられるプログラム
JP5617270B2 (ja) 動画再生装置、動画処理方法、および動画処理プログラム
JP2006101406A (ja) 情報処理装置および同装置で用いられるプログラム
JP4891894B2 (ja) メニューを生成する方法及び装置
JP2008090611A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2008225241A (ja) 映像信号処理装置、映像信号処理方法及び映像信号処理プログラム
JP2011171862A (ja) 再生装置、再生方法、およびプログラム
US20120147968A1 (en) Moving Picture Decoding Device and Moving Picture Decoding Method
JP5153192B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5355176B2 (ja) 動画保存装置及びその制御方法
KR100849154B1 (ko) 영상들 간의 경계선을 용이하게 추가하는 영상 재생 장치및 방법
JP2015037223A (ja) 画像処理装置及びその制御方法
JP2003244703A (ja) 画像処理システム，画像形成装置，画像処理プログラム
JP2008060638A (ja) 映像情報圧縮方法および映像情報圧縮プログラム
JP2006157824A (ja) 画像再生装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080066424.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10850720

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012512597

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10850720

Country of ref document: EP

Kind code of ref document: A1