WO2015198552A1 - コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法 - Google Patents
コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法 Download PDFInfo
- Publication number
- WO2015198552A1 WO2015198552A1 PCT/JP2015/002972 JP2015002972W WO2015198552A1 WO 2015198552 A1 WO2015198552 A1 WO 2015198552A1 JP 2015002972 W JP2015002972 W JP 2015002972W WO 2015198552 A1 WO2015198552 A1 WO 2015198552A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- hdr
- luminance
- video
- display
- metadata
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
Definitions
- the present disclosure relates to a content data generation method for generating content data, a video stream transmission method for transmitting a video stream, and a video display method raw method for displaying video based on the video stream.
- Patent Document 1 An image signal processing apparatus for improving the displayable luminance level has been disclosed (see, for example, Patent Document 1).
- a content data generation method is a content data generation method for generating content data, and is commonly used for a video signal and a plurality of images included in a continuous reproduction unit of the video signal.
- a video stream transmission method is a video stream transmission method for transmitting a video stream, and is common to a video signal and a plurality of images included in a continuous reproduction unit of the video signal.
- a transmission step is a video stream transmission method for transmitting a video stream, and is common to a video signal and a plurality of images included in a continuous reproduction unit of the video signal.
- a video display method is a video display method for displaying video based on a video stream, the video stream corresponding to a video signal and a plurality of video streams included in a continuous reproduction unit of the video signal.
- the present disclosure can provide a content data generation method, a video stream transmission method, or a video display method that can realize further improvement.
- FIG. 1 is a diagram for explaining the evolution of video technology.
- FIG. 2 is a diagram for explaining the relationship between the master, the distribution method, and the display device when HDR is introduced.
- FIG. 3 is an explanatory diagram of a method for determining the code value of the luminance signal stored in the content and the process of restoring the luminance value from the code value during reproduction.
- FIG. 4 is a diagram showing the types of BDs.
- FIG. 5 is a diagram for explaining a combination of disks storing HDR streams of different versions.
- FIG. 6 is a schematic diagram showing the contents of processing performed by a new Blu-ray (registered trademark, hereinafter the same) device corresponding to various BDs and various display devices.
- FIG. 1 is a diagram for explaining the evolution of video technology.
- FIG. 2 is a diagram for explaining the relationship between the master, the distribution method, and the display device when HDR is introduced.
- FIG. 3 is an explanatory diagram of a method for determining the code value of
- FIG. 7 is a diagram showing the relationship between a new Blu-ray device that plays back each HDR-compatible BD and various display devices.
- FIG. 8 is a diagram for explaining processing when hierarchical coding is performed on SDR and HDR.
- FIG. 9 is a diagram showing a detailed configuration of the graphic stream.
- FIG. 10 is a diagram illustrating a storage example of static HDR metadata.
- FIG. 11 is a diagram illustrating an example of storing dynamic HDR metadata.
- FIG. 12 is a flowchart of a method for transmitting static HDR metadata.
- FIG. 13 is a flowchart of an HDR metadata processing method.
- FIG. 14 is a diagram for explaining the reproduction operation of the dual disc.
- FIG. 15 is a flowchart showing the dual disk playback operation.
- FIG. 16 is a diagram illustrating the types of BDs in more detail.
- FIG. 17 is a first diagram showing the data capacity recorded on the BD.
- FIG. 18 is a second diagram showing the data capacity recorded on the BD.
- FIG. 19 is a diagram illustrating an example of a combination of a video stream and a graphic stream recorded on each of a BD and a dual stream disc.
- FIG. 20 is a diagram illustrating another example of a combination of a video stream and a graphic stream recorded on each of a BD and a dual stream disc.
- FIG. 21 is a diagram showing still another example of a combination of a video stream and a graphic stream recorded on each of a BD disc and a dual stream disc.
- FIG. 17 is a first diagram showing the data capacity recorded on the BD.
- FIG. 18 is a second diagram showing the data capacity recorded on the BD.
- FIG. 19 is a diagram illustrating an example of a combination of a video stream and a graphic stream recorded
- FIG. 22A is a diagram illustrating an example of a display process in which HDR display is performed by converting an HDR signal in HDRTV.
- FIG. 22B is a diagram illustrating an example of display processing for performing HDR display using an HDR-compatible playback device and SDRTV.
- FIG. 22C is a diagram illustrating an example of display processing for performing HDR display on the HDR-compatible playback device and SDRTV connected to each other via the standard interface.
- FIG. 23 is a diagram for explaining a conversion process from HDR to pseudo-HDR.
- FIG. 24A is a diagram illustrating an example of an EOTF (Electro-Optical Transfer Function) corresponding to each of HDR and SDR.
- FIG. 24B is a diagram illustrating an example of inverse EOTF corresponding to each of HDR and SDR.
- FIG. 25 is a block diagram illustrating configurations of the conversion device and the display device according to the embodiment.
- FIG. 26 is a flowchart illustrating a conversion method and a display method performed by the conversion device and the display device according to the embodiment.
- FIG. 27A is a diagram for describing the first luminance conversion.
- FIG. 27B is a diagram for describing another example of the first luminance conversion.
- FIG. 28 is a diagram for describing the second luminance conversion.
- FIG. 29 is a diagram for describing the third luminance conversion.
- FIG. 30 is a flowchart showing detailed display setting processing.
- a content data generation method is a content data generation method for generating content data, and is commonly used for a video signal and a plurality of images included in a continuous reproduction unit of the video signal.
- the content data generation method can generate content data appropriately including the first metadata that is commonly used in units of continuous reproduction.
- the luminance value in the video signal is encoded as a code value
- the information regarding the luminance range is an EOTF (Electro-Optical Transfer Function) that associates a plurality of luminance values with a plurality of code values. It may be information for specifying.
- EOTF Electro-Optical Transfer Function
- the first metadata may further include information indicating a luminance value corresponding to white in the video signal.
- the content data is generated as a video stream encoded by HEVC (High Efficiency Video Coding), and the information for specifying the EOTF is included in the SPS (Sequence) included in the video stream. It may be stored in Parameter Set).
- HEVC High Efficiency Video Coding
- SPS Sequence
- the continuous playback unit may be a playlist unit, and in the generation step, the first metadata may be stored in association with each playlist.
- the content data generation method can generate content data suitable for package media, for example.
- the video signal may be generated as a video stream, and the first metadata may be stored in a manifest file referenced prior to acquisition of the video stream.
- the content data generation method can generate content data suitable for OTT, for example.
- the content data may be generated as a video stream
- the first metadata may be stored as an identifier indicating the attribute of the video stream independently of the video stream.
- the content data generation method can generate content data suitable for broadcasting, for example.
- the continuous reproduction unit may be a title unit
- the first metadata may be stored as management information indicating a title attribute
- second metadata that is information that is commonly used for a plurality of images included in a unit smaller than the continuous reproduction unit and that is information on a luminance range of the video signal is further added. It may be generated.
- the content data generation method can generate content data including second metadata for a unit smaller than the continuous reproduction unit in addition to the first metadata.
- the first metadata may have a plurality of versions, and may include a basic unit commonly used in the plurality of versions, and an extension unit different in the plurality of versions.
- a video stream transmission method is a video stream transmission method for transmitting a video stream, and is common to a video signal and a plurality of images included in a continuous reproduction unit of the video signal.
- a transmission step is a video stream transmission method for transmitting a video stream, and is common to a video signal and a plurality of images included in a continuous reproduction unit of the video signal.
- the video stream transmission method can appropriately transmit content data including the first metadata that is commonly used in continuous playback units.
- the video stream and the first metadata may be transmitted in accordance with a communication protocol of HDMI (High-Definition Multimedia Interface / registered trademark, hereinafter the same).
- HDMI High-Definition Multimedia Interface / registered trademark, hereinafter the same.
- the continuous reproduction unit is a playlist unit
- the first metadata corresponding to the playlist is acquired before the transmission of the video signal constituting the playlist is acquired, and the acquired
- the first metadata may be transmitted as the HDMI control information.
- the continuous reproduction unit is a title unit
- the first metadata corresponding to the title is acquired before the transmission of the video signal constituting the title is started, and the acquired first meta data is acquired.
- Data may be transmitted as the HDMI control information.
- a data structure of a container for storing the first metadata is defined.
- the first metadata included in the content data is copied to a payload of the container, and the container May be transmitted.
- the first metadata may be transmitted as initialization information at the time of initialization in the HDMI.
- a video display method is a video display method for displaying video based on a video stream, the video stream corresponding to a video signal and a plurality of video streams included in a continuous reproduction unit of the video signal.
- the video display method can appropriately display the video using the first metadata commonly used in the continuous playback unit.
- the video display method further acquires, from the video stream, second metadata that is information that is commonly used for a unit smaller than the continuous playback unit and that is information related to a luminance range of the video signal.
- the display method determined based on the first metadata may be updated to a display method determined based on the second metadata.
- the video display method can display video appropriately using the first metadata and the second metadata for a unit smaller than the continuous playback unit.
- the display method may be determined in the display step based on a predetermined value or setting.
- the video display method can display video appropriately even when the first metadata cannot be acquired.
- the luminance value in the video signal is encoded as a code value
- the information regarding the luminance range is an EOTF (Electro-Optical Transfer Function) that associates a plurality of luminance values with a plurality of code values.
- the video is generated by converting the code value indicated by the video signal into a luminance value using the EOTF specified by the first metadata. Also good.
- HDR metadata [11. Static HDR metadata transmission method] and [12. HDR metadata processing method].
- each of the embodiments described below shows a specific example of the present disclosure.
- constituent elements that are not described in the independent claims indicating the highest concept are described as optional constituent elements.
- An HDR (High Dynamic Range) signal which is an image signal having a luminance range higher than that of a conventional image signal, is transmitted via a package medium such as a Blu-ray disc storing the HDR signal, broadcast, or a distribution medium such as OTT (Over The Top). Delivered on.
- OTT means a Web site provided on the Internet, content or service such as video or audio, or a provider that provides them.
- the distributed HDR signal is decoded by a Blu-ray device or the like.
- the decoded HDR signal is sent to an HDR compatible display device (TV, projector, tablet, smartphone, etc.), and an HDR video is reproduced by the HDR compatible display device.
- FIG. 1 is a diagram for explaining the evolution of video technology.
- SD Standard Definition
- HD high definition 1920 x 1080 pixels
- the dynamic range is the maximum brightness to express bright light such as specular reflection light that cannot be expressed by the current TV signal with more realistic brightness while maintaining the dark gradation in the conventional video.
- HDR High Dynamic Range
- SDR Standard Dynamic Range
- the maximum luminance value was 100 nits, whereas in HDR the maximum is 1000 nits or more. It is assumed that the luminance value is enlarged. Standardization of HDR is underway in SMPTE (Society of Motion Picture & Television Engineers) and ITU-R (International Telecommunications Union Radiocommunications Sector).
- HDR high definition video recorder
- package media Blu-ray Disc, etc.
- Internet distribution etc., like HD and UHD.
- the luminance of the video is composed of luminance values in the HDR luminance range, and a luminance signal obtained by quantizing the luminance value of the video is referred to as an HDR signal.
- the luminance of the video is composed of luminance values in the luminance range of SDR, and a luminance signal obtained by quantizing the luminance value of the video is called an SDR signal.
- FIG. 2 is a diagram showing a relationship between a flow for producing a master for home entertainment of SDR and HDR, a distribution medium, and a display device.
- the HDR concept has been proposed and its effectiveness at the HDR concept level has been confirmed.
- the first implementation method of HDR is proposed.
- a large amount of HDR content was created using this method, and the first implementation method was not verified. For this reason, when the production of HDR content becomes full-scale in the future, the current HDR master method may change.
- FIG. 3 is an explanatory diagram of a method for determining the code value of the luminance signal stored in the content and the process of restoring the luminance value from the code value during reproduction.
- the luminance signal indicating the luminance in this example is an HDR signal corresponding to HDR.
- the image after grading is quantized by the inverse EOTF of HDR, and the code value corresponding to the luminance value of the image is determined. Image coding or the like is performed based on this code value, and a video stream is generated. At the time of reproduction, the decoding result of the stream is converted into a linear signal by inverse quantization based on HDR EOTF, and the luminance value for each pixel is restored.
- quantization using the inverse EOTF of HDR is referred to as “inverse HDR EOTF conversion”.
- Inverse quantization using HDR EOTF is referred to as “HDR EOTF conversion”.
- quantization using inverse SDR EOTF is referred to as “inverse SDR EOTF conversion”.
- Inverse quantization using SDR EOTF is referred to as “SDR EOTF conversion”.
- the HDR master method is realized by a combination of EOTF, metadata, and HDR signal. Therefore, more efficient EOTF and metadata may be developed, and it may be time to adopt the HDR method using such EOTF and metadata.
- This disclosure aims to promote the spread of HDR by reducing the risk that a customer who bought an HDR-compatible device re-buys a new device even when the HDR transmission format is changed in this way.
- FIG. 4 is a diagram showing the types of BDs.
- a BD on which a video signal having a resolution of the first resolution and a luminance range of the first luminance range is recorded as a 2K_SDR-compatible BD.
- a video signal whose resolution is the first resolution and whose luminance range is the first luminance range is stored as a stream on the BD. This stream is described as a 2K_SDR stream.
- the 2K_SDR compatible BD is a conventional BD.
- a BD on which a video signal having a resolution of the second resolution and a luminance range of the first luminance range is recorded as a 4K_SDR compatible BD.
- a video signal whose resolution is the second resolution and whose luminance range is the first luminance range is stored as a stream on the BD. This stream is described as a 4K_SDR stream.
- a BD on which a video signal having a resolution of the first resolution and a luminance range of the second luminance range is recorded as a 2K_HDR compatible BD.
- a video signal whose resolution is the first resolution and whose luminance range is the second luminance range is stored as a stream on the BD. This stream is described as a 2K_HDR stream.
- a BD on which a video signal having a resolution of the second resolution and a luminance range of the second luminance range is recorded as a 4K_HDR compatible BD.
- a video signal whose resolution is the second resolution and whose luminance range is the second luminance range is stored as a stream on the BD. This stream is described as a 4K_HDR stream.
- the first resolution is, for example, a so-called 2K resolution (1920 ⁇ 1080, 2048 ⁇ 1080), but may be any resolution including such a resolution.
- the first resolution may be simply described as 2K.
- the second resolution is a so-called 4K resolution (3840 ⁇ 2160, 4096 ⁇ 2160), but may be an arbitrary resolution including such a resolution.
- the second resolution is a resolution having more pixels than the first resolution.
- the first luminance range is, for example, the SDR (luminance range with a peak luminance of 100 nit) described so far.
- the second luminance range is, for example, the HDR described so far (luminance range in which the peak luminance exceeds 100 nits).
- the second luminance range includes the entire first luminance range, and the peak luminance of the second luminance range is larger than the peak luminance of the first luminance range.
- FIG. 5 is a diagram for explaining a combination of disks storing HDR streams of different versions. As shown in FIG. 5, when a plurality of versions exist in the HDR stream, each HDR stream is assigned a version identifier indicating the version of the HDR stream.
- the Blu-ray device is suitable for the display device in which the BD inserted into the Blu-ray device is connected to the Blu-ray device. It is necessary to perform processing so that it is displayed on the screen.
- This processing includes, for example, conversion of the luminance range from HDR to SDR, up-conversion of resolution from 2K to 4K, and down-conversion from resolution of 4K to 2K.
- the Blu-ray device supports three sets of HDMI / HDCP standards (HDMI1.4 / HDCP1.4, HDMI2.0 / HDCP2.1, HDMI2.1 / HDCP2.2) and The version of the HDMI / HDCP standard to be used is selected according to the type.
- FIG. 6 is a schematic diagram showing processing contents performed by the Blu-ray device corresponding to various BDs and various display devices.
- the Blu-ray device 300 selects the HDMI version and the HDCP version according to the type of the display device connected to the Blu-ray device (playback device). . Also, the Blu-ray device 300 decodes the acquired video signal, encrypts the decoded video signal using the selected version of HDCP, and displays the selected video signal using the selected version of HDMI. Output to.
- the Blu-ray device 300 acquires the type of the display device from the display device through an HDMI cable that connects the Blu-ray device 300 and the display device. Further, the type of display device may be included in the display characteristic information described in the first embodiment. In addition, the user may manually set display characteristic information in the Blu-ray device 300. Although not shown, the Blu-ray device 300 may include a first acquisition unit that acquires the type of the display device.
- the type of the display device is specifically one of 2K_SDR compatible TV, 4K_SDR compatible TV, 2K_HDR compatible TV, and 4K_HDR compatible TV. That is, the type of the display device is the first type indicating the display device corresponding to the first luminance range, the resolution is the second resolution, and the first resolution is the first resolution. The second type indicating the display device corresponding to the luminance range, the resolution is the first resolution, the third type indicating the display device corresponding to the second luminance range, and the resolution is the second resolution. And it is one of the 4th types which shows the display apparatus corresponding to the said 2nd luminance range.
- the Blu-ray device 300 when a 2K_SDR compatible TV is connected to the Blu-ray device 300, the Blu-ray device 300 outputs a video signal using HDMI 1.4 and HDCP 1.4. That is, the Blu-ray device 300 encrypts the decoded video signal using HDCP1.4 and outputs the encrypted video signal to the 2K_SDR compatible TV using a communication protocol corresponding to HDMI1.4.
- the communication protocol corresponding to HDMI 2.0 is, in other words, a communication protocol defined in HDMI 2.0.
- the inserted BD is a 4K_SDR-compatible BD
- resolution down-conversion is necessary
- 2K_HDR-compatible BD conversion from HDR to SDR is necessary.
- both resolution down-conversion and HDR to SDR conversion are required.
- the Blu-ray device 300 acquires the peak luminance of the display device connected to the Blu-ray device 300.
- the Blu-ray device 300 displays the video signal as After converting to the luminance range having the acquired peak luminance, it is further converted to the first luminance range.
- the Blu-ray device 300 encrypts the converted video signal using HDCP1.4, and outputs the encrypted video signal to the 2K_SDR-compatible TV using a communication protocol compatible with HDMI1.4.
- the Blu-ray device 300 when a 4K_SDR compatible TV is connected to the Blu-ray device 300, the Blu-ray device 300 outputs a video signal using HDMI 2.0 and HDCP 2.2. That is, the Blu-ray device 300 encrypts the decoded video signal using HDCP 2.2, and outputs the encrypted video signal to the 4K_SDR compatible TV using a communication protocol compatible with HDMI 2.0.
- the inserted BD is a 2K_SDR compatible BD
- resolution up-conversion is required
- the inserted BD is a 4K_HDR compatible BD
- conversion from HDR to SDR is necessary and the inserted BD is inserted.
- both resolution up-conversion and conversion from HDR to SDR are necessary.
- the Blu-ray device 300 acquires the peak luminance of the display device connected to the Blu-ray device 300.
- the Blu-ray device 300 acquires a video signal when the acquired display device type is the first type (4K_SDR compatible TV) and the acquired peak luminance is larger than the peak luminance in the first luminance range. After conversion into the luminance range having the peak luminance, the luminance is further converted into the first luminance range. Then, the Blu-ray device 300 encrypts the converted video signal using HDCP 2.2 and outputs the encrypted video signal to the 4K_SDR compatible TV using a communication protocol compatible with HDMI 2.0.
- the Blu-ray device 300 when a 2K_HDR compatible TV is connected to the Blu-ray device 300, the Blu-ray device 300 outputs a video signal using HDMI 2.1 and HDCP 2.2. That is, the Blu-ray device 300 encrypts the decoded video signal using HDCP 2.2 and outputs the encrypted video signal to the 2K_HDR compatible TV using a communication protocol compatible with HDMI 2.1.
- the inserted BD is a 4K_SDR compatible BD and a 4K_HDR compatible BD, resolution down conversion is required.
- the Blu-ray device 300 when a 4K_HDR compatible TV is connected to the Blu-ray device 300, the Blu-ray device outputs a video signal using HDMI 2.1 and HDCP 2.2. That is, the Blu-ray device 300 encrypts the decoded video signal using HDCP 2.2 and outputs the encrypted video signal to the 4K_HDR compatible TV using a communication protocol compatible with HDMI 2.1.
- the inserted BD is a 2K_SDR-compatible BD and a 2K_HDR-compatible BD, resolution up-conversion is required in both cases.
- FIG. 7 is a diagram showing the relationship between a new Blu-ray device 300 that plays back each HDR-compatible BD and various display devices (TV).
- the new Blu-ray device 300 It is necessary for the new Blu-ray device 300 to appropriately select a display device that can be used in accordance with the connected display device and the type of disc to be played.
- the Blu-ray device 300 is connected to a 2K_SDR compatible TV or a 4K_SDR compatible TV, and converts an HDR signal into an SDR signal when processing an HDR1 (HDR (R1)) stream. Also, the Blu-ray device 300 is connected to a 2K_SDR compatible TV or a 4K_SDR compatible TV, and displays that it cannot be played back when processing HDR2 (HDR (R2)).
- the Blu-ray device 300 is connected to a 4K_HDR compatible TV.
- the Blu-ray device 300 upconverts the 2K_HDR stream to a 4K_HDR stream and outputs the obtained 4K_HDR stream to the 4K_HDR compatible TV.
- the 4K_HDR compatible TV is connected to the Blu-ray device 300, and when the 4K_HDR stream is processed, the 4K_HDR stream is directly output to the 4K_HDR compatible TV.
- the Blu-ray device 300 displays that it cannot be played, and at the same time displays a message for prompting the firmware update of the 4K_HDR compatible TV.
- the Blu-ray device 300 is connected to a 4K_HDR2-compatible TV, and when a 2K stream (2K_HDR1 or 2K_HDR2) is processed, the 2K stream is upconverted to a 4K stream (4K_HDR1 or 2K_HDR2). The 4K stream is output to a 4K_HDR2-compatible TV. Also, the Blu-ray device 300 is connected to a 4K_HDR2-compatible TV corresponding to the HDR2 stream, and when processing a 4K stream (4K_HDR1 or 4K_HDR2), the 4K stream is directly output to the 4K_HDR2-compatible TV.
- the 4K_HDR-compatible TV corresponds to the HDR1 stream (can be processed) and does not correspond to the HDR2 stream.
- the 4K_HDR2-compatible TV corresponds to the HDR1 stream and the HDR2 stream.
- the Blu-ray device 300 identifies the 4K_HDR2-compatible TV and the 4K_HDR-compatible TV, and determines whether or not to connect using the version number of the HDR stream of the HDR content.
- the internal processing of the 4K_HDR compatible TV for changing the HDR EOTF is the addition of LUT and dynamic switching. Therefore, even when the HDR2 specification is not finalized, it is possible to ship by mounting a process in preparation for future EOTF addition.
- the 4K_HDR compatible TV that can support the change of the HDR EOTF has the HDR compatible number that can be seen from the HDMI side changed in advance. Accordingly, the Blu-ray device 300 can determine whether to display a screen that prompts the user to update. Further, the 4K_HDR compatible TV has a function capable of responding to changes in EOTF by firmware update.
- Hierarchical coding requires a higher data rate than single layer coding to achieve SDR and HDR compatibility.
- SDR and HDR single-layer encoded streams can be stored on a single large-capacity disk.
- IP streaming the user can select an SDR or HDR single layer encoded stream based on whether the user's TV set is HDR compliant.
- Video and graphics composition processing In content such as Blu-ray (registered trademark), video signals and graphics signals such as captions and menus are multiplexed as independent data. At the time of reproduction, each is decoded individually, and the decoded result is synthesized and displayed. Specifically, subtitles and menu planes are superimposed on the video plane.
- graphics signals such as subtitles and menus may be SDR.
- HPL ⁇ DPL conversion of the video signal the following two conversions (a) and (b) are possible.
- the graphics peak luminance is 100 nits.
- the DPL is high luminance such as 1000 nits
- the graphics luminance remains 100 nits.
- the luminance of graphics is lowered with respect to the video after the HPL ⁇ DPL conversion.
- adverse effects such as darkening of subtitles superimposed on video are assumed. Therefore, the luminance of graphics may be converted according to the value of DPL.
- the luminance of the caption may be preliminarily defined as what percentage of the DPL value is set, and may be converted based on the set value. Graphics other than subtitles such as menus can be processed similarly.
- FIG. 9 is a diagram showing details of a graphic stream in a combination of a video stream and a graphic stream in the HDR BD of each version of FIG.
- the SDR graphic stream and the HDR graphic stream have the same basic specifications of the graphic stream.
- the color space of Java registered trademark, the same applies hereinafter
- EOTF EOTF
- HDR metadata As parameters indicating characteristics at the time of mastering in HDR content, there are static HDR metadata that is fixed for each title or each playlist and dynamic HDR metadata that is variable for each scene.
- the title and the playlist are information indicating video signals that are continuously reproduced.
- video signals that are continuously played back are referred to as continuous playback units.
- static HDR metadata includes at least one of EOTF function (curve) type, 18% Gray value, Diffuse White value, Knee point, and Clip point.
- the EOTF is information that associates a plurality of luminance values with a plurality of code values, and is information for changing the luminance range of the video signal. Since the other information is attribute information regarding the luminance of the video signal, the static HDR metadata is information regarding the luminance range of the video signal and can be said to be information for specifying the luminance range of the video signal.
- the 18% Gray value and the Diffuse White value indicate the luminance value (nit) in a video with a predetermined reference brightness, in other words, the reference brightness in the video. More specifically, the 18% Gray value indicates a luminance value (nit) after mastering of an object having a brightness of 18 nits before mastering.
- the Diffuse White value indicates a luminance value (nit) corresponding to white.
- Knee point and Clip point are parameters of the EOTF function and indicate the point at which the characteristics of EOTF change. Specifically, Knee point differs from the one-to-one increment in the luminance value (output luminance) mapped to the EOTF as the luminance of the video signal with respect to the original luminance value (input luminance) at the time of shooting. Indicates the change point to be a value. For example, Knee point is information for specifying a point that deviates from a linear change in FIG. 27A described later.
- Clip point indicates the point at which clipping starts in the EOTF function.
- clip refers to converting an input luminance value greater than a certain value into the same output luminance value. For example, Clip point indicates a point where the output luminance value does not change in FIG. 27B described later.
- EOTF functions are, for example, HDR EOTF and SDR EOTF shown in FIG. 24A.
- the content data generation method is a content data generation method for generating content data, in which a video signal and a plurality of images (continuous playback units are included in the continuous playback unit of the video signal)
- the information regarding the luminance range of the video signal is information for converting the luminance range of the video signal.
- the static HDR metadata includes information for specifying an EOTF that associates a plurality of luminance values with a plurality of code values.
- the luminance value in the video signal is encoded as a code value.
- the static HDR metadata further includes information indicating a luminance value in a video signal having a predetermined reference brightness, or information indicating a point at which a characteristic in EOTF changes.
- the static HDR metadata includes information (Diffuse White value) indicating a luminance value corresponding to white in the video signal.
- dynamic HDR metadata (second metadata) that is information that is commonly used for a unit smaller than the continuous reproduction unit and that is information on the luminance range of the video signal is further generated.
- the information regarding the luminance range of the video signal is information for converting the luminance range of the video signal.
- the dynamic HDR metadata is a parameter indicating a mastering characteristic that is different for each scene.
- the mastering characteristic indicates the relationship between the original luminance (before mastering) and the luminance after mastering.
- the parameter indicating the mastering characteristic is the same information as the static HDR metadata described above, in other words, is at least one piece of information included in the static HDR metadata.
- FIG. 10 is a diagram showing a storage example of static HDR metadata.
- static HDR metadata is stored in a playlist in a package medium such as a Blu-ray disc.
- Static HDR metadata is stored as one piece of metadata for each stream referenced from the playlist.
- static HDR metadata is fixed for each playlist. That is, the static HDR metadata is stored in association with each playlist.
- static HDR metadata may be stored in a manifest file that is referred to prior to stream acquisition. That is, the content data generation method according to the present embodiment may generate a video signal as a video stream, and store static HDR metadata in a manifest file that is referenced prior to acquisition of the video stream.
- static HDR metadata may be stored in a descriptor indicating the attribute of a stream. That is, the content data generation method according to the present embodiment may generate content data as a video stream, and store static HDR metadata as an identifier indicating the attribute of the video stream independently of the video stream.
- static HDR metadata can be stored as a descriptor (descriptor) in MPEG2-TS.
- the static HDR metadata when the static HDR metadata is fixed for each title, the static HDR metadata may be stored as management information indicating title attributes.
- FIG. 11 is a diagram illustrating an example of storing dynamic HDR metadata in a video stream.
- MPEG-4 AVC or HEVC High Efficiency Video Coding
- information related to stream reproduction control is stored using a data structure called SEI (Supplemental Enhancement Information).
- SEI Supplemental Enhancement Information
- dynamic HDR metadata is stored in SEI.
- the head of the scene is a head access unit (AU) of a random access unit such as GOP (Group Of Pictures). Therefore, the dynamic HDR metadata may be stored in the head access unit in the decoding order in the random access unit.
- the head access unit of the random access unit is an IDR picture or a non-IDR I picture to which SPS (Sequence Parameter Set) is added. Therefore, the receiving-side apparatus can acquire dynamic HDR metadata by detecting a NAL (Network Abstraction Layer) unit that constitutes a first access unit in a random access unit.
- NAL Network Abstraction Layer
- SEI that stores dynamic HDR metadata.
- the type of the EOTF function may be stored as stream attribute information in the SPS. That is, in the content data generation method according to the present embodiment, content data may be generated as a video stream encoded by HEVC, and information for specifying EOTF may be stored in an SPS included in the video stream.
- FIG. 12 is a diagram illustrating a method of transmitting static HDR metadata.
- a playback device such as a BD player (Blu-ray device) or a recorder transmits an HDR signal to a display device through a transmission protocol such as HDMI. It is a flowchart which shows an operation example.
- the playback device acquires the static HDR metadata from the content management information at the start of playback of the title or playlist.
- Static HDR metadata is stored and transmitted as HDMI control information.
- the playback device acquires static HDR metadata corresponding to the title or playlist prior to the start of transmission of the video signal constituting the title or playlist, and controls the acquired static HDR metadata according to HDMI. It transmits as information (S402). More generally, the playback device may transmit static HDR metadata as initialization information when performing an HDMI initialization process between the playback device and the display device.
- the playback device transmits a video stream corresponding to the static HDR metadata (S403). Note that the transmitted static HDR metadata is valid for this video stream.
- the video stream transmission method is a video stream transmission method for transmitting a video stream (video stream), and is common to a video signal and a plurality of images included in a continuous reproduction unit.
- the video stream and static HDR metadata are transmitted according to the HDMI communication protocol.
- dynamic HDR metadata is transmitted as part of the video stream.
- the playback apparatus may transmit the dynamic HDR metadata as an HDMI control signal at a timing when the dynamic HDR metadata becomes valid.
- the playback device transmits the static HDR metadata and the dynamic HDR metadata so that they can be distinguished from each other by providing an identifier or the like.
- only the data structure of the container for storing the dynamic HDR metadata may be defined so that the contents of the SEI can be copied as it is as the payload data of the container.
- the reproduction device can be changed even if the syntax of the static HDR metadata is changed. It can be handled without changing the implementation. That is, the container data structure for storing the static HDR metadata is defined. In the transmission step, the static HDR metadata included in the content data is copied to the payload of the container, and the container is transmitted. May be.
- FIG. 13 is a flowchart illustrating an example of a method for processing HDR metadata when an HDR signal is displayed on a display device.
- the display device acquires static HDR metadata from the HDMI control information (S411), and determines a display method of the HDR signal based on the acquired static HDR metadata (S412).
- the display device determines an HDR signal display method based on a value predetermined in the application standard or a default setting of the display device. . That is, in the video display method according to the present embodiment, when static HDR metadata cannot be acquired, the video display method corresponding to the video signal is determined based on a predetermined value or setting.
- the display device updates the HDR signal display method based on the dynamic HDR metadata (S414). That is, in the video display method according to the present embodiment, when static HDR metadata is acquired, the display method is determined based on the acquired static HDR metadata, the video is displayed, and dynamic HDR metadata is acquired. In such a case, the display method determined based on the static HDR metadata is updated to the display method determined based on the dynamic HDR metadata, and the video is displayed. Alternatively, the display method may be determined based on both static HDR metadata and dynamic HDR metadata.
- the display device may operate based only on static HDR metadata. Even when the display device supports the acquisition of dynamic HDR metadata, the display device displays the HDR signal in synchronization with the display time (PTS: Presentation Time Stamp) of the access unit storing the metadata. The method may not be updated. In this case, the display device may update the display method from the access unit displayed after the earliest time at which the display method can be updated after obtaining the metadata.
- PTS Presentation Time Stamp
- each of the static HDR metadata and the dynamic HDR metadata may include a plurality of versions, and may include a basic unit that is used in common by a plurality of versions and an extension unit that is different for each version. By doing so, backward compatibility in the display device can be ensured based on the HDR metadata of the basic part.
- the video display method according to the present embodiment is a video display method for displaying video based on the video stream, and the video stream corresponding to the video signal and the static HDR metadata (first metadata). And a display step of determining and displaying a video display method corresponding to the video signal based on the static HDR metadata.
- the luminance value in the video signal is encoded as a code value
- the static HDR metadata includes information for specifying an EOTF that associates a plurality of luminance values with a plurality of code values, and is displayed.
- a video is generated by converting a code value indicated by the video signal into a luminance value using EOTF specified by the static HDR metadata.
- FIG. 14 is a diagram for explaining multiplexed data stored in a dual disk.
- the HDR signal and the SDR signal are stored as different multiplexed streams.
- data of a plurality of media such as video, audio, subtitles, and graphics is stored as one multiplexed stream by an MPEG-2 TS-based multiplexing method called M2TS.
- M2TS MPEG-2 TS-based multiplexing method
- These multiplexed streams are referred to from reproduction control metadata such as a playlist, and are reproduced by the player analyzing the metadata at the time of reproduction, or individual languages stored in the multiplexed stream. Select the data.
- playlists for HDR and SDR are individually stored, and each playlist refers to an HDR signal or an SDR signal. Further, identification information indicating that both the HDR signal and the SDR signal are stored may be separately indicated.
- HDR and SDR signals are multiplexed to satisfy a buffer model such as T-STD (System Target Decoder) defined in MPEG-2 TS.
- T-STD System Target Decoder
- Data such as audio, subtitles, or graphics needs to be stored for each multiplexed stream, and the amount of data increases compared to the case of multiplexing to one.
- the increase in the amount of data can reduce the amount of video data by using a video encoding method with a high compression rate.
- the compression ratio can be improved by 1.6 to 2 times.
- the dual disk is stored in a combination of 2K HDR and SDR, such as a combination of 4K SDR and 2K HDR, or 2K, or a combination of 2K and 4K. It is also possible to allow only combinations that fit within the capacity of the optical disk by prohibiting storing two.
- FIG. 15 is a flowchart showing the dual disk playback operation.
- the playback apparatus determines whether the playback target optical disk is a dual disk (S301). If it is determined that the disk is a dual disk (Yes in S301), it is determined whether the output TV is HDRTV or SDRTV (S302). If it is determined that it is HDRTV (Yes in S302), the process proceeds to step S303, and if it is determined that it is SDRTV (No in S302), the process proceeds to step S304. In step S303, an HDR video signal is acquired from the multiplexed stream including the HDR signal in the dual disc, decoded, and output to HDRTV.
- step S304 an SDR video signal is acquired from the multiplexed stream including the SDR signal in the dual disc, decoded, and output to SDRTV. If it is determined in step S301 that the playback target is not a dual disc (No in S301), whether or not playback is possible is determined by a predetermined method, and a playback method is determined based on the determination result (S305).
- FIG. 16 is a diagram illustrating the types of BDs in more detail.
- a dual stream disc corresponding to a plurality of video representations with one BD can be considered.
- the dual stream disc is a BD on which a plurality of video signals for reproducing the same content and having a plurality of video signals different in at least one of resolution and luminance range are recorded.
- the dual stream disc shown in FIG. 16C is a BD on which a 4K_SDR stream and a 2K_SDR stream are recorded.
- the dual stream disc shown in (f) of FIG. 16 is a BD in which a 2K_HDR stream and a 2K_SDR stream are recorded.
- the dual stream disc shown in (g) of FIG. 16 is a BD in which a 4K_HDR stream and a 4K_SDR stream are recorded.
- the dual stream disc shown in (h) of FIG. 16 is a BD in which a 4K_HDR stream and a 2K_SDR stream are recorded.
- the dual stream disc shown in FIG. 16C is not indispensable because the Blu-ray device can perform down conversion (hereinafter also referred to as down conversion) with a resolution of 4K to 2K.
- FIG. 17 shows an example in which a 2K resolution stream (2K_SDR stream and 2K_HDR stream) is compressed using MPEG-4 AVC.
- the bit rates of Movie length, lossless Audio, and Compressed Audio are as follows.
- the BD records audio streams (Lossless Audio and Compressed Audio) for the number of languages.
- the above dual stream disks can be realized in terms of capacity.
- FIG. 18 illustrates a case where streams with a resolution of 2K (2K_SDR stream and 2K_HDR stream) are compressed using HEVC.
- the bit rates of Movie length, lossless audio, and compressed audio are as follows.
- the above dual stream disks can be realized in terms of capacity.
- the disk capacity required for a dual stream disc on which both a 4K_HDR stream compressed using HEVC and a 2K_SDR stream compressed using HEVC are based on (a) + ( ⁇ ). 88.9 GB, 67.5 GB based on (b) + ( ⁇ ), 61.3 GB based on (b) + ( ⁇ ), and (c) + ( ⁇ ) Based on this, it is 57.3 GB. Therefore, such a dual stream disk can be realized by a disk having a capacity of 100 GB or a disk having a capacity of 66 GB.
- FIG. 19 is a diagram showing an example of a combination of a video stream and a graphic stream recorded on each disc for each BD including a dual stream disc.
- FIG. 19 shows that the graphic stream is recorded at a resolution of 2K regardless of the resolution of the corresponding video stream in consideration of the production of the content (BD).
- the graphic stream can be shared between the 2K_SDR stream and the 4K_SDR stream. However, the graphic stream is recorded in a luminance range that matches the luminance range of the corresponding video stream.
- the video stream is HDR
- an HDR graphics stream is recorded.
- the video stream is SDR
- an SDR graphics stream is recorded. Conversion of the graphic stream from SDR to HDR is performed at the time of content creation.
- FIG. 20 is a diagram showing another example of a combination of a video stream and a graphic stream recorded on each disc for each BD including a dual stream disc.
- the graphic stream is recorded with a resolution of 2K and a luminance range of SDR regardless of the resolution and luminance range of the corresponding video stream in consideration of content production.
- the 2K_SDR stream, 4K_SDR stream, 2K_HDR stream, and 4K_HDR stream can all share a graphic stream.
- conversion of the resolution of the graphic stream from 2K to 4K and conversion of the luminance range of the graphic stream from SDR to HDR are both executed by the Blu-ray device.
- FIG. 21 is a diagram showing still another example of a combination of a video stream and a graphic stream recorded on each disc for each BD including a dual stream disc.
- FIG. 21 shows that the resolution and luminance range of the graphic stream are recorded in accordance with the resolution and luminance range of the corresponding video stream when producing the content so that the conversion of the graphic stream is not necessary in the Blu-ray device.
- a Blu-ray device that plays back a 4K compatible BD or HDR compatible BD needs to support four TVs: a 2K_SDR compatible TV, a 2K_HDR compatible TV, a 4K_SDR compatible TV, and a 4K_HDR compatible TV.
- the Blu-ray device needs to support three sets of HDMI / HDCP standards (HDMI 1.4 / HDCP 1.4, HDMI 2.0 / HDCP 2.1, HDMI 2.1 / HDCP 2.2).
- each BD (content) and connection It is necessary to select an appropriate process and HDMI / HDCP for each display device (TV). Furthermore, when a graphic is combined with a video, it is necessary to change processing depending on the type of BD and the type of display device (TV) connected thereto.
- the graphic stream is restricted and the types of combinations of the video stream and the graphic stream are reduced.
- the HDR video when HDR video is displayed in SDRTV, the HDR video is converted to SDR video of 100 nit or less by using the peak brightness of SDRTV to be displayed exceeds 100 nit (usually 200 nit or more). Instead, it realizes a “HDR ⁇ pseudo HDR conversion process” that can be converted to maintain a certain level of gradation in a region exceeding 100 nits, converted into pseudo HDR video close to the original HDR, and displayed on SDRTV.
- the conversion method of “HDR ⁇ pseudo HDR conversion processing” may be switched depending on the display characteristics (maximum luminance, input / output characteristics, and display mode) of SDRTV.
- the display characteristic information can be acquired by (1) automatic acquisition through HDMI or a network, (2) generation by allowing the user to input information such as manufacturer name and product number, and (3) manufacturer name and product number. It is conceivable to obtain information from the cloud using this information.
- the display characteristic information acquisition timing of the conversion device 100 includes (1) acquisition immediately before pseudo-HDR conversion, and (2) when connecting to the display device 200 (such as SDRTV) for the first time (when connection is established). ) Can be considered.
- the conversion method may be switched according to the luminance information (CAL, CPL) of the HDR video.
- the method of acquiring the luminance information of the HDR video of the conversion device 100 (1) acquiring as meta information attached to the HDR video, (2) acquiring by causing the user to input content title information, And (3) It is conceivable to acquire from the cloud or the like using input information that has been instructed by the user.
- the details of the conversion method are as follows: (1) Conversion so as not to exceed DPL; (2) Conversion so that CPL becomes DPL; (3) CAL and its surrounding luminance are not changed; 4) Conversion using natural logarithm, (5) Clip processing by DPL.
- display settings such as the SDRTV display mode and display parameters can be transmitted to the display device 200 and switched. For example, the user is prompted to perform display settings. A message may be displayed on the screen.
- FIG. 22A is a diagram illustrating an example of a display process in which HDR display is performed by converting an HDR signal in HDRTV.
- the maximum value of the HDR luminance range (peak luminance (HPL (HDR Peak Luminance): example 1500 nit)) is displayed as it is, even if the display device is HDRTV. May not be possible.
- the linear signal after inverse quantization using HDR EOTF is adjusted to the maximum value of the luminance range of the display device (peak luminance (DPL (Display Peak Iluminance): example 750 nit)).
- DPL Display Peak Iluminance
- FIG. 22B is a diagram illustrating an example of display processing for performing HDR display using an HDR-compatible playback device and SDRTV.
- the maximum value of the luminance range of SDRTV to be displayed exceeds 100 nits.
- 22B is the maximum value of the HDRRT EOTF conversion and SDRTV luminance range performed in the HDRTV in the “HDR ⁇ pseudo HDR conversion process” in the HDR compatible playback device (Blu-ray device) in FIG. 22B. If the signal obtained by performing “luminance conversion” using DPL (eg 300 nit) and “luminance conversion” can be directly input to the “display device” of SDRTV, the same effect as HDRTV can be achieved even if SDRTV is used. Can be realized.
- FIG. 22C is a diagram showing an example of display processing for performing HDR display using an HDR-compatible playback device and SDRTV connected to each other via a standard interface.
- a signal input via an input interface passes through “SDR EOTF conversion”, “brightness conversion for each mode”, and “display device” in order, and an image that matches the maximum luminance range of the display device. Is displayed. For this reason, a signal (pseudo HDR signal) that can cancel the “SDR EOTF conversion” and “brightness conversion for each mode” that passes immediately after the input interface in SDRTV in the HDR-compatible Blu-ray device.
- an input interface such as HDMI
- a normal SDRTV has an input signal of 100 nits, but has an ability to express an image of 200 nits or more according to the viewing environment (dark room: cinema mode, bright room: dynamic mode, etc.). However, since the upper limit of the luminance of the input signal to SDRTV was determined to be 100 nits, it was not possible to directly use this capability.
- HDR video in SDRTV When displaying HDR video in SDRTV, using the fact that the peak brightness of SDRTV to be displayed exceeds 100 nits (usually 200 nits or more), the HDR video is not converted to SDR video of 100 nits or less, but luminance exceeding 100 nits. “HDR ⁇ pseudo HDR conversion processing” is performed so as to maintain the gradation of the range to some extent. For this reason, it can be displayed on SDRTV as a pseudo HDR video close to the original HDR.
- An HDR signal transmitted by broadcasting, package media such as Blu-ray, and Internet distribution such as OTT is converted into a pseudo HDR signal by performing HDR-pseudo HDR conversion processing. As a result, it is possible to display the HDR signal as a pseudo HDR video with the existing SDRTV.
- FIG. 24A is a diagram showing an example of EOTF (Electro-Optical Transfer Function) corresponding to each of HDR and SDR.
- EOTF Electro-Optical Transfer Function
- EOTF is generally called a gamma curve, indicates the correspondence between code values and luminance values, and converts code values into luminance values. That is, EOTF is relationship information indicating a correspondence relationship between a plurality of code values and luminance values.
- FIG. 24B is a diagram illustrating an example of reverse EOTF corresponding to each of HDR and SDR.
- Inverse EOTF indicates the correspondence between the luminance value and the code value.
- the luminance value is quantized and converted into a code value. That is, inverse EOTF is relationship information indicating a correspondence relationship between a luminance value and a plurality of code values. For example, when the luminance value of a video corresponding to HDR is expressed by a 10-bit gradation code value, the luminance values in the HDR luminance range up to 10,000 nits are quantized and 1024 from 0 to 1023 Mapped to the integer value of.
- an EOTF corresponding to HDR hereinafter referred to as “an HDR EOTF”
- an EOTF corresponding to SDR hereinafter referred to as an “SDR EOTF”.
- SDR EOTF an EOTF corresponding to SDR
- inverse EOTF of SDR an inverse EOTF corresponding to SDR
- the value (peak luminance) is 10,000 nits. That is, the HDR luminance range includes the entire SDR luminance range, and the HDR peak luminance is larger than the SDR peak luminance.
- the HDR luminance range is a luminance range obtained by expanding the maximum value from 100 nit, which is the maximum value of the SDR luminance range, to 10,000 nit.
- HDR EOTF and HDR inverse EOTF are, for example, SMPTE 2084 standardized by the American Film and Television Engineers Association (SMPTE).
- the luminance range from 0 nit to 100 nit which is the peak luminance described in FIGS. 24A and 24B may be described as the first luminance range.
- the luminance range described in FIGS. 24A and 24B from 0 nit to 10,000 nit which is the peak luminance may be described as the second luminance range.
- FIG. 25 is a block diagram illustrating configurations of the conversion device and the display device according to the embodiment.
- FIG. 26 is a flowchart illustrating a conversion method and a display method performed by the conversion device and the display device according to the embodiment.
- the conversion apparatus 100 includes an HDR EOTF converter 101, a luminance converter 102, an inverse luminance converter 103, and an inverse SDR EOTF converter 104.
- the display device 200 includes a display setting unit 201, an SDR EOTF conversion unit 202, a luminance conversion unit 203, and a display unit 204.
- a conversion method performed by the conversion apparatus 100 will be described with reference to FIG.
- the conversion method includes steps S101 to S104 described below.
- the HDR EOTF conversion unit 101 of the conversion apparatus 100 acquires an HDR video that has been subjected to reverse HDR EOTF conversion.
- the HDR EOTF conversion unit 101 of the conversion device 100 performs HDR EOTF conversion on the HDR signal of the acquired HDR video (S101).
- the HDR EOTF converter 101 converts the acquired HDR signal into a linear signal indicating a luminance value.
- HDR EOTF is, for example, SMPTE 2084.
- the luminance conversion unit 102 of the conversion device 100 performs first luminance conversion that converts the linear signal converted by the HDR EOTF conversion unit 101 using display characteristic information and content luminance information (S102). .
- a luminance value corresponding to the HDR luminance range (hereinafter referred to as “HDR luminance value”) is changed to a luminance value corresponding to the display luminance range (hereinafter referred to as “display luminance value”). Convert. Details will be described later.
- the HDR EOTF converter 101 functions as an acquisition unit that acquires the HDR signal as the first luminance signal indicating the code value obtained by quantizing the luminance value of the video.
- the HDR EOTF conversion unit 101 and the luminance conversion unit 102 determine the code value indicated by the HDR signal acquired by the acquisition unit based on the luminance range of the display (display device 200). It functions as a conversion unit that converts to a display luminance value corresponding to the luminance range of the display that is a maximum value (DPL) that is smaller than the value (HPL) and larger than 100 nits.
- DPL maximum value
- the HDR EOTF conversion unit 101 uses the acquired HDR signal and the HDR EOTF in step S101 to determine the HDR code value as the first code value indicated by the acquired HDR signal.
- An HDR luminance value associated with the HDR code value in the HDR EOTF is determined.
- the HDR signal is obtained by quantizing the luminance value of the video (content) using the HDR inverse EOTF that associates the luminance value in the HDR luminance range with a plurality of HDR code values.
- the code value of HDR is shown.
- step S102 the luminance conversion unit 102 determines a display luminance value corresponding to the luminance range of the display, which is associated with the HDR luminance value in advance in the HDR luminance value determined in step S101.
- the first luminance conversion is performed to convert the HDR luminance value corresponding to the luminance range of the display into the display luminance value corresponding to the luminance range of the display.
- the conversion apparatus 100 includes content luminance information including at least one of a maximum luminance value (CPL: Content Peak luminance) and an average luminance value (CAL: Content Average luminance) of video (content) before step S102. Is acquired as information relating to the HDR signal.
- CPL first maximum luminance value
- CAL is an average luminance value that is an average of luminance values for a plurality of images constituting an HDR video, for example.
- the conversion device 100 acquires the display characteristic information of the display device 200 from the display device 200 before step S102.
- the display characteristic information refers to the maximum value (DPL) of luminance that can be displayed on the display device 200, the display mode of the display device 200 (see later), the input / output characteristics (EOTF corresponding to the display device), and the like. This is information indicating display characteristics.
- the conversion apparatus 100 may transmit recommended display setting information (referred to below-mentioned, hereinafter also referred to as “setting information”) to the display apparatus 200.
- recommended display setting information referred to below-mentioned, hereinafter also referred to as “setting information”.
- the reverse luminance conversion unit 103 of the conversion device 100 performs reverse luminance conversion according to the display mode of the display device 200. Accordingly, the inverse luminance conversion unit 103 performs the second luminance conversion for converting the luminance value corresponding to the luminance range of the display into the luminance value corresponding to the luminance range (0 to 100 [nit]) of the SDR (S103). . Details will be described later. That is, the inverse luminance conversion unit 103 uses the display luminance value obtained in step S102 as the third luminance value corresponding to the luminance range of SDR, which is associated with the display luminance value in advance and has a maximum value of 100 nits.
- SDR luminance value Luminance value corresponding to SDR
- the luminance value of SDR is determined, and the display luminance value corresponding to the luminance range of the display is changed to the luminance value of SDR corresponding to the luminance range of SDR.
- a second luminance conversion for conversion is performed.
- the inverse SDR EOTF converter 104 of the conversion device 100 performs pseudo SDR EOTF conversion to generate a pseudo HDR video (S104). That is, the inverse SDR EOTF conversion unit 104 performs the inverse dynamic EOTF (Electro-Optical) of SDR (Standard Dynamic Range), which is the third relational information that associates the luminance value in the HDR luminance range with a plurality of third code values.
- the determined SDR brightness value is quantized using Transfer Function), the third code value obtained by the quantization is determined, and the SDR brightness value corresponding to the SDR brightness range is indicated as the third code value.
- a pseudo HDR signal is generated by converting the SDR signal as the third luminance signal.
- the third code value is a code value corresponding to SDR, and is hereinafter referred to as “SDR code value”. That is, the SDR signal is obtained by quantizing the luminance value of the video using the SDR inverse EOTF that associates the luminance value in the luminance range of the SDR and a plurality of SDR code values. Expressed as a code value. Then, conversion device 100 outputs the pseudo HDR signal (SDR signal) generated in step S104 to display device 200.
- SDR code value a code value corresponding to SDR
- the conversion apparatus 100 generates the SDR luminance value corresponding to the pseudo HDR by performing the first luminance conversion and the second luminance conversion on the HDR luminance value obtained by dequantizing the HDR signal. Then, the SDR luminance value is quantized using the SDR EOTF to generate an SDR signal corresponding to the pseudo HDR.
- the SDR luminance value is a numerical value in the luminance range of 0 to 100 nits corresponding to the SDR.
- the HDR EOTF and the SDR are converted to the HDR luminance value. This is a numerical value different from the luminance value in the luminance range of 0 to 100 nit corresponding to the SDR obtained by performing luminance conversion using the EOTF.
- the display method includes steps S105 to S108 described below.
- the display setting unit 201 of the display device 200 sets the display setting of the display device 200 using the setting information acquired from the conversion device 100 (S105).
- the display device 200 is an SDRTV.
- the setting information is information indicating display settings recommended for the display device, and information indicating how to perform pseudo-HDR video EOTF and display at which setting a beautiful video can be displayed (that is, Information for switching the display setting of the display device 200 to the optimal display setting).
- the setting information includes, for example, a gamma curve characteristic at the time of output in the display device, a display mode such as a living mode (normal mode) and a dynamic mode, a numerical value of backlight (brightness), and the like.
- a message that prompts the user to change the display setting of the display device 200 by a manual operation may be displayed on the display device 200 (hereinafter also referred to as “SDR display”). Details will be described later.
- the display device 200 acquires an SDR signal (pseudo HDR signal) and setting information indicating display settings recommended for the display device 200 in displaying a video before step S105.
- the display device 200 may acquire the SDR signal (pseudo HDR signal) before step S106, or after step S105.
- the SDR EOTF converter 202 of the display device 200 performs SDR EOTF conversion on the acquired pseudo-HDR signal (S106). That is, the SDR EOTF converter 202 performs inverse quantization on the SDR signal (pseudo HDR signal) using the SDR EOTF. Accordingly, the SDR EOTF converter 202 converts the SDR code value indicated by the SDR signal into an SDR luminance value.
- the luminance conversion unit 203 of the display device 200 performs luminance conversion according to the display mode set in the display device 200. Thereby, the luminance conversion unit 203 converts the SDR luminance value corresponding to the SDR luminance range (0 to 100 [nit]) into the display luminance value corresponding to the display luminance range (0 to DPL [nit]). The third luminance conversion is performed (S107). Details will be described later.
- the display device 200 uses the setting information acquired in step S105 to obtain the third code value indicated by the acquired SDR signal (pseudo HDR signal) in step S106 and step S107. 0 to DPL [nit]).
- step S106 in the conversion from the SDR signal (pseudo HDR signal) to the display luminance value, in step S106, using the EOTF that associates the luminance value in the luminance range of the SDR with a plurality of third code values. Then, for the SDR code value indicated by the acquired SDR signal, the SDR luminance value related to the SDR code value by the SDR EOTF is determined.
- step S107 the display brightness value corresponding to the brightness range of the display, which is related in advance to the determined brightness value of the SDR, is determined, and the SDR value corresponding to the SDR brightness range is determined.
- a third luminance conversion is performed for converting the luminance value into a display luminance value corresponding to the luminance range of the display.
- the display unit 204 of the display device 200 displays the pseudo HDR video on the display device 200 based on the converted display luminance value (S108).
- FIG. 27A is a diagram for describing an example of the first luminance conversion.
- the luminance conversion unit 102 of the conversion device 100 performs first luminance conversion that converts the linear signal (HDR luminance value) obtained in step S101 using display characteristic information and content luminance information of the HDR video. .
- the HDR luminance value input luminance value
- the display luminance value output luminance value
- the DPL is determined using the maximum brightness and display mode of the SDR display, which is display characteristic information.
- the display mode is, for example, mode information such as a theater mode that is displayed dark on the SDR display and a dynamic mode that is displayed brightly.
- DPL second maximum luminance value
- DPL is the maximum luminance value that can be displayed in the display mode in which the SDR display is currently set. That is, in the first luminance conversion, DPL as the second maximum luminance value is determined using display characteristic information that is information indicating display characteristics of the SDR display.
- the first luminance conversion CAL and CPL in the content luminance information are used, luminance values below the CAL are the same before and after the conversion, and the luminance value is changed only for luminance values near the CPL.
- the first luminance conversion when the HDR luminance value is CAL or less, the HDR luminance value is not converted, and the HDR luminance value is determined as the display luminance value.
- the DPL as the second maximum luminance value is determined as the display luminance value.
- the peak luminance (CPL) of the HDR video in the luminance information is used, and when the HDR luminance value is CPL, DPL is determined as the display luminance value.
- the linear signal (HDR luminance value) obtained in step S101 may be converted so as to be clipped to a value not exceeding DPL.
- the processing in the conversion device 100 can be simplified, and the device can be reduced, the power consumption can be reduced, and the processing speed can be increased.
- FIG. 27B is a diagram for describing another example of the first luminance conversion.
- FIG. 28 is a diagram for describing the second luminance conversion.
- the inverse luminance conversion unit 103 of the conversion device 100 performs inverse luminance conversion corresponding to the display mode on the display luminance value in the display luminance range (0 to DPL [nit]) converted by the first luminance conversion in step S102. Apply.
- the reverse luminance conversion when the luminance conversion processing (step S107) according to the display mode by the SDR display is performed, the display luminance value of the display luminance range (0 to DPL [nit]) after the processing of step S102 is acquired. This is a process for making it possible. That is, the second luminance conversion is an inverse luminance conversion of the third luminance conversion.
- the second luminance conversion converts the display luminance value (input luminance value) in the luminance range of the display into the SDR luminance value (output luminance value) in the SDR luminance range.
- the conversion formula is switched depending on the display mode of the SDR display. For example, when the display mode of the SDR display is the normal mode, the luminance is converted to a directly proportional value that is directly proportional to the display luminance value.
- the second luminance conversion when the display mode of the SDR display is a dynamic mode in which a high luminance pixel is brighter and a low luminance pixel is darker than in the normal mode, the inverse function is used to obtain the low luminance pixel.
- the luminance value of the SDR is converted to a value higher than the direct proportional value directly proportional to the display luminance value, and the luminance value of the SDR of the high luminance pixel is converted to a value lower than the direct proportional value directly proportional to the display luminance value. That is, in the second luminance conversion, the display luminance value determined in step S102 is related to the display luminance value using luminance relationship information corresponding to the display characteristic information that is information indicating the display characteristic of the SDR display. The brightness value is determined as the brightness value of the SDR, and the brightness conversion process is switched according to the display characteristic information.
- the luminance-related information according to the display characteristic information is, for example, a display luminance value (input luminance value) determined for each display parameter (display mode) of the SDR display as shown in FIG. This is information relating brightness values (output brightness values).
- FIG. 29 is a diagram for describing the third luminance conversion.
- the luminance conversion unit 203 of the display device 200 converts the SDR luminance value in the SDR luminance range (0 to 100 [nit]) into (0 to DPL [nit]) according to the display mode set in step S105. .
- This processing is performed so as to be an inverse function of inverse luminance conversion for each mode in S103.
- the conversion formula is switched depending on the display mode of the SDR display. For example, when the display mode of the SDR display is the normal mode (that is, when the set display parameter is a parameter corresponding to the normal mode), the display luminance value is converted into a direct proportional value that is directly proportional to the luminance value of the SDR. .
- the display mode of the SDR display is the dynamic mode in which the high luminance pixel is brighter and the low luminance pixel is darker than the normal mode, the display luminance value of the low luminance pixel is SDR.
- the luminance value of the display luminance value of the high luminance pixel is converted to a value that is higher than the directly proportional value that is directly proportional to the luminance value of the SDR, to a value lower than the directly proportional value that is directly proportional to the luminance value. That is, in the third luminance conversion, for the luminance value of the SDR determined in step S106, luminance related in advance to the luminance value of the SDR using luminance relationship information corresponding to the display parameter indicating the display setting of the SDR display. The value is determined as the display luminance value, and the luminance conversion processing is switched according to the display parameter.
- the luminance-related information corresponding to the display parameter is, for example, as shown in FIG. 29, the SDR luminance value (input luminance value) determined for each display parameter (display mode) of the SDR display, and the display luminance. This is information that relates values (output luminance values).
- FIG. 30 is a flowchart showing detailed display setting processing.
- the display setting unit 201 of the SDR display performs the following steps S201 to S208 in step S105.
- the display setting unit 201 uses the setting information to determine whether the EOTF set for the SDR display (EOF for SDR display) matches the EOTF assumed when the pseudo HDR video (SDR signal) is generated. Determine (S201).
- the display setting unit 201 determines that the EOTF set in the SDR display is different from the EOTF indicated by the setting information (EOTF matching the pseudo HDR video) (Yes in S201), the display setting unit 201 sets the EOTF for the SDR display in the system. It is determined whether switching is possible on the side (S202).
- the display setting unit 201 determines that switching is possible, the setting information is used to switch the SDR display EOTF to an appropriate EOTF (S203).
- step S105 in the display setting setting (S105), the EOTF set in the SDR display is set to the recommended EOTF corresponding to the acquired setting information. Accordingly, in step S106 performed after step S105, the luminance value of SDR can be determined using the recommended EOTF.
- a message prompting the user to change the EOTF manually is displayed on the screen (S204). For example, a message “Please set the display gamma to 2.4” is displayed on the screen. That is, if the EOTF set for the SDR display cannot be switched in the display setting setting (S105), the display setting unit 201 switches the EOTF set for the SDR display (EOF for SDR display) to the recommended EOTF. A message for prompting the user to do so is displayed on the SDR display.
- the pseudo-HDR image (SDR signal) is displayed on the SDR display, but it is determined whether or not the display parameters of the SDR display match the setting information using the setting information before display (S205).
- the display setting unit 201 determines whether the display parameter of the SDR display can be switched (S206). .
- the display setting unit 201 determines that the display parameter of the SDR display can be switched (Yes in S206)
- the display setting unit 201 switches the display parameter of the SDR display according to the setting information (S207).
- step S105 in the display setting setting (S105), the display parameter set in the SDR display is set to the recommended display parameter corresponding to the acquired setting information.
- a message prompting the user to manually change the display parameters set in the SDR display is displayed on the screen (S208). For example, a message “Please set the display mode to dynamic mode and maximize the backlight” is displayed on the screen. That is, in the setting (S105), when the display parameter set in the SDR display cannot be switched, a message for prompting the user to switch the display parameter set in the SDR display to the recommended display parameter is displayed. To display.
- HDR video is, for example, Blu-ray Disc, DVD, Internet video distribution site, broadcast, video in HDD.
- the conversion device 100 may exist inside a disk player, a disk recorder, a set top box, a television, a personal computer, or a smartphone.
- the conversion device 100 may exist inside a server device in the Internet.
- the display device 200 (SDR display unit) is, for example, a television, a personal computer, or a smartphone.
- the display characteristic information acquired by the conversion device 100 may be acquired from the display device 200 via an HDMI cable or a LAN cable using HDMI or another communication protocol.
- the display characteristic information acquired by the conversion apparatus 100 may acquire display characteristic information included in the model information of the display apparatus 200 via the Internet.
- the user may perform a manual operation to set display characteristic information in the conversion device 100.
- the display characteristic information of the conversion device 100 may be acquired immediately before the pseudo HDR video generation (steps S101 to S104), or may be at the time of initial setting of the device or at the time of display connection.
- the display characteristic information may be acquired immediately before the conversion to the display luminance value, or may be performed at the timing when the conversion device 100 is first connected to the display device 200 with the HDMI cable.
- HDR video CPL or CAL there may be one HDR video CPL or CAL per content, or there may be one for each scene. That is, in the conversion method, the luminance information corresponding to each of the plurality of scenes of the video, and for each scene, the first maximum luminance value that is the maximum value among the luminance values for the plurality of images constituting the scene. And luminance information (CPL, CAL) including at least one of average luminance values that are averages of luminance values for a plurality of images constituting the scene, and in the first luminance conversion, for each of the plurality of scenes, The display brightness value may be determined according to the brightness information corresponding to the scene.
- CPL and CAL may be included in the same medium (Blu-ray Disc, DVD, etc.) as the HDR video, or acquired from a different location from the HDR video, such as acquired by the conversion device 100 from the Internet. May be. That is, luminance information including at least one of CPL and CAL may be acquired as video meta information or may be acquired via a network.
- a fixed value may be used without using CPL, CAL, and display peak luminance (DPL). Further, the fixed value may be changed from the outside.
- CPL, CAL, and DPL may be switched in several types. For example, DPL may be set to only three types of 200 nit, 400 nit, and 800 nit, and the value closest to the display characteristic information is used. You may make it do.
- the HDR EOTF may not be SMPTE 2084, but other types of HDR EOTF may be used.
- the maximum luminance (HPL) of the HDR video may not be 10,000 nits, for example, 4,000 nits or 1,000 nits.
- the bit width of the code value may be 16, 14, 12, 10, 8 bits, for example.
- inverse SDR EOTF conversion is determined from the display characteristic information, a fixed conversion function (which can be changed from the outside) may be used. Inverse SDR EOTF conversion is performed in, for example, Rec. ITU-R BT. A function defined in 1886 may be used. Also, the types of inverse SDR EOTF conversion may be limited to several types, and the one closest to the input / output characteristics of the display device 200 may be selected and used.
- the display mode may be a fixed mode and may not be included in the display characteristic information.
- the conversion device 100 may not transmit the setting information, and the display device 200 may have a fixed display setting or may not change the display setting.
- the display setting unit 201 is not necessary.
- the setting information may be flag information indicating whether or not the image is a pseudo HDR video.
- the setting information may be changed to a setting that displays the brightest image. That is, in the display setting setting (S105), when the acquired setting information indicates that the signal indicates a pseudo-HDR image converted using DPL, the brightness setting of the display device 200 is set to display the brightest. You may switch to.
- L indicates a luminance value normalized to 0 to 1
- S1, S2, a, b, and M are values set based on CAL, CPL, and DPL.
- V is a luminance value after conversion normalized to 0 to 1.
- CAL + is not converted to 50 nit, and conversion is performed for 350 nit or more, each value is, for example, It becomes a value like this.
- the conversion formula By converting HDR video using information such as content peak brightness and content average brightness of the HDR video, the conversion formula can be changed according to the content, and conversion can be performed so as to keep the HDR gradation as much as possible. It becomes. In addition, adverse effects such as being too dark and too bright can be suppressed. Specifically, the gradation is kept as much as possible by mapping the content peak luminance of the HDR video to the display peak luminance. In addition, the overall brightness is prevented from changing by not changing the pixel values below the average luminance.
- the conversion formula can be changed according to the display environment of the SDR display, and there is a sense of HDR according to the performance of the SDR display.
- Video can be displayed with the same gradation and brightness as the original HDR video.
- the display peak brightness is determined according to the maximum brightness of the SDR display and the display mode, and the HDR video is converted so as not to exceed the peak brightness value.
- the display is performed with almost no gradation reduction, and the brightness that cannot be displayed is reduced to the displayable brightness.
- the display can be displayed in a form close to the original HDR video without reducing the gradation of displayable brightness.
- the overall brightness is maintained by converting to a pseudo HDR video with a peak luminance of 1,000 nits, and the luminance value changes depending on the display mode of the display. For this reason, the luminance conversion formula is changed according to the display mode of the display. If the pseudo-HDR image allows a luminance larger than the peak luminance of the display, the high luminance may be replaced with the peak luminance on the display side, and in that case, it is darker than the original HDR video. Become.
- the performance relating to the gradation of the display is not used at the maximum.
- the pseudo HDR video can be better displayed by switching the display setting using the setting information. For example, when the brightness is set to dark, high brightness display cannot be performed, so that the HDR feeling is impaired. In that case, by changing the display setting or displaying a message prompting the user to change the display setting, the display performance can be maximized and a high gradation video can be displayed.
- each component may be configured by dedicated hardware such as a circuit, or may be realized by executing a software program suitable for each component.
- Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
- the present disclosure can be applied to a content data generation device, a video stream transmission device such as a Blu-ray device, or a video display device such as a television.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本開示の一態様に係るコンテンツデータ生成方法は、コンテンツデータを生成するコンテンツデータ生成方法であって、映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータを生成する第1生成ステップと、前記連続再生単位と前記第1メタデータとを関連付けることにより前記コンテンツデータを生成する第2生成ステップを含む。これにより、更なる改善を実現することができるコンテンツデータ生成方法、映像ストリーム伝送方法、又は映像表示方法を提供する。
Description
本開示は、コンテンツデータを生成するコンテンツデータ生成方法、映像ストリームを伝送する映像ストリーム伝送方法、及び、映像ストリームに基づき映像を表示する映像表示方法生方法に関する。
従来、表示可能な輝度レベルを改善するための画像信号処理装置が開示されている(例えば特許文献1参照)。
本開示の一態様に係るコンテンツデータ生成方法は、コンテンツデータを生成するコンテンツデータ生成方法であって、映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータを生成する第1生成ステップと、前記連続再生単位と前記第1メタデータとを関連付けることにより前記コンテンツデータを生成する第2生成ステップを含む。
また、本開示の一態様に係る映像ストリーム伝送方法は、映像ストリームを伝送する映像ストリーム伝送方法であって、映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータとを含むコンテンツデータを取得する取得ステップと、前記映像信号に対応する前記映像ストリームと、前記第1メタデータとを伝送する伝送ステップとを含む。
また、本開示の一態様に係る映像表示方法は、映像ストリームに基づき映像を表示する映像表示方法であって、映像信号に対応する前記映像ストリームと、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータとを取得する第1取得ステップと、前記第1メタデータに基づき、前記映像信号に対応する映像の表示方法を決定して表示する表示ステップとを含む。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
本開示は、更なる改善を実現することができるコンテンツデータ生成方法、映像ストリーム伝送方法、又は映像表示方法を提供できる。
本開示の一態様に係るコンテンツデータ生成方法は、コンテンツデータを生成するコンテンツデータ生成方法であって、映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータを生成する第1生成ステップと、前記連続再生単位と前記第1メタデータとを関連付けることにより前記コンテンツデータを生成する第2生成ステップを含む。
これによれば、当該コンテンツデータ生成方法は、連続再生単位で共通に用いられる第1メタデータを適正に含むコンテンツデータを生成できる。
例えば、前記映像信号における輝度値は、コード値として符号化されており、前記輝度範囲に関する前記情報は、複数の輝度値と複数のコード値とを関係付けたEOTF(Electro-Optical Transfer Function)を特定するための情報であってもよい。
例えば、前記第1メタデータは、さらに、前記映像信号における白色に相当する輝度値を示す情報を含んでもよい。
例えば、前記第1生成ステップでは、前記コンテンツデータをHEVC(High Efficiency Video Coding)により符号化した映像ストリームとして生成し、前記EOTFを特定するための前記情報を、前記映像ストリームに含まれるSPS(Sequence Parameter Set)に格納してもよい。
例えば、前記連続再生単位は、プレイリスト単位であり、前記生成ステップでは、前記第1メタデータを、各プレイリストに対応付けて格納してもよい。
これによれば、当該コンテンツデータ生成方法は、例えば、パッケージメディアに適したコンテンツデータを生成できる。
例えば、前記第1生成ステップでは、前記映像信号を映像ストリームとして生成し、前記第1メタデータを、前記映像ストリームの取得に先立って参照されるマニフェストファイルに格納してもよい。
これによれば、当該コンテンツデータ生成方法は、例えば、OTTに適したコンテンツデータを生成できる。
例えば、前記第1生成ステップでは、前記コンテンツデータを映像ストリームとして生成し、前記第1メタデータを前記映像ストリームの属性を示す識別子として前記映像ストリームとは独立に格納してもよい。
これによれば、当該コンテンツデータ生成方法は、例えば、放送に適したコンテンツデータを生成できる。
例えば、前記連続再生単位は、タイトル単位であり、前記第1生成ステップでは、前記第1メタデータを、タイトルの属性を示す管理情報として格納してもよい。
例えば、前記第1生成ステップでは、前記連続再生単位より細かい単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報である第2メタデータをさらに生成してもよい。
これによれば、当該コンテンツデータ生成方法は、第1メタデータに加え、連続再生単位より細かい単位に対する第2メタデータを含むコンテンツデータを生成できる。
例えば、前記第1メタデータは、複数のバージョンを有し、前記複数のバーションで共通に用いられる基本部と、前記複数のバージョンで異なる拡張部とを含んでもよい。
これによれば、基本部に基づいて、表示装置における後方互換性を確保できる。
また、本開示の一態様に係る映像ストリーム伝送方法は、映像ストリームを伝送する映像ストリーム伝送方法であって、映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータとを含むコンテンツデータを取得する取得ステップと、前記映像信号に対応する前記映像ストリームと、前記第1メタデータとを伝送する伝送ステップとを含む。
これによれば、当該映像ストリーム伝送方法は、連続再生単位で共通に用いられる第1メタデータを含むコンテンツデータを適切に伝送できる。
例えば、前記伝送ステップでは、HDMI(High-Definition Multimedia Interface/登録商標、以下同様)の通信プロトコルに従い、前記映像ストリームと前記第1メタデータとを伝送してもよい。
例えば、前記連続再生単位はプレイリスト単位であり、前記伝送ステップでは、プレイリストを構成する映像信号の伝送開始に先立って、当該プレイリストに対応する前記第1メタデータを取得し、取得した前記第1メタデータを前記HDMIの制御情報として伝送してもよい。
例えば、前記連続再生単位はタイトル単位であり、前記伝送ステップでは、タイトルを構成する映像信号の伝送開始に先立って、当該タイトルに対応する前記第1メタデータを取得し、取得した前記第1メタデータを前記HDMIの制御情報として伝送してもよい。
例えば、前記第1メタデータを格納するためのコンテナのデータ構造が規定されており、前記伝送ステップでは、前記コンテンツデータに含まれる前記第1メタデータを、前記コンテナのペイロードにコピーし、当該コンテナを伝送してもよい。
これによれば、メタデータのシンタックスが更新された場合でも再生装置を変更せずに対応できる。
例えば、前記伝送ステップでは、前記HDMIにおける初期化時に、初期化情報として前記第1メタデータを伝送してもよい。
また、本開示の一態様に係る映像表示方法は、映像ストリームに基づき映像を表示する映像表示方法であって、映像信号に対応する前記映像ストリームと、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータとを取得する第1取得ステップと、前記第1メタデータに基づき、前記映像信号に対応する映像の表示方法を決定して表示する表示ステップとを含む。
これによれば、当該映像表示方法は、連続再生単位で共通に用いられる第1メタデータを用いて適切に映像を表示できる。
例えば、前記映像表示方法は、さらに、前記映像ストリームから、前記連続再生単位より細かい単位に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報である第2メタデータを取得する第2取得ステップを含み、前記表示ステップでは、前記第1メタデータに基づき決定された表示方法を、前記第2メタデータに基づき決定された表示方法に更新してもよい。
これによれば、当該映像表示方法は、第1メタデータと、連続再生単位より細かい単位に対する第2メタデータと用いて適切に映像を表示できる。
例えば、前記第1取得ステップで前記第1メタデータを取得できない場合、前記表示ステップでは、予め定められた値または設定に基づき、前記表示方法を決定してもよい。
これによれば、当該映像表示方法は、第1メタデータが取得できない場合でも適切に映像を表示できる。
例えば、前記映像信号における輝度値は、コード値として符号化されており、前記輝度範囲に関する前記情報は、複数の輝度値と複数のコード値とを関係付けたEOTF(Electro-Optical Transfer Function)を特定するための情報を含み、前記表示ステップでは、前記第1メタデータで特定される前記EOTFを用いて、前記映像信号で示されるコード値を輝度値に変換することで前記映像を生成してもよい。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
また、上記特徴に関しては、主に、[10.HDRメタデータ]、[11.静的HDRメタデータの伝送方法]及び[12.HDRメタデータの処理方法]において説明する。
また、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素。構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
[1.背景]
従来の画像信号より輝度範囲が高い画像信号であるHDR(High Dynamic Range)信号は、HDR信号を格納したBlu-rayディスク等のパッケージメディア、放送、又はOTT(Over The Top)等の配信媒体経由で配信される。ここで、OTTとは、インターネット上で提供されるWebサイト、動画或いは音声などのコンテンツ或いはサービス、又はそれらを提供する事業者を意味する。配信されたHDR信号は、Blu-ray機器等により復号される。また、復号されたHDR信号は、HDR対応表示装置(TV、プロジェクタ、タブレット、又はスマートフォン等)に送られ、HDR対応表示装置によりHDR映像が再生される。
[1.背景]
従来の画像信号より輝度範囲が高い画像信号であるHDR(High Dynamic Range)信号は、HDR信号を格納したBlu-rayディスク等のパッケージメディア、放送、又はOTT(Over The Top)等の配信媒体経由で配信される。ここで、OTTとは、インターネット上で提供されるWebサイト、動画或いは音声などのコンテンツ或いはサービス、又はそれらを提供する事業者を意味する。配信されたHDR信号は、Blu-ray機器等により復号される。また、復号されたHDR信号は、HDR対応表示装置(TV、プロジェクタ、タブレット、又はスマートフォン等)に送られ、HDR対応表示装置によりHDR映像が再生される。
ここで、HDR信号のHDR方式には、将来的に新たな別の方式が設けられ、これに伴い、HDR信号に、メタデータまたはEOTF(後述)を最適化するための新たな別の情報を格納する必要が生じうる。
本開示では、将来的に新たなHDR方式が設けられ、新たな方式のHDR信号が配信媒体に提供された場合においても、配信媒体用の復号装置(例えばBlu-ray機器)を変える必要がなく、かつ、新たな方式のHDR信号を矛盾なく生成でき、かつ、新たな方式のHDR信号をHDR対応表示装置に転送できるシステムを実現する。
まず、映像技術の変遷について、図1を用いて説明する。図1は、映像技術の進化について説明するための図である。
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition(SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
近年、映像の更なる高画質化を目指して、Ultra High Definition(UHD)の3840×1920画素、あるいは、4Kの4096×1920画素の、所謂4K映像の導入が開始された。
そして、4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
その中でも、ダイナミックレンジについては、従来の映像における暗部階調を維持しつつ、現行のTV信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度範囲に対応させた方式として、HDR(High Dynamic Range)が注目されている。具体的には、これまでのTV信号が対応している輝度範囲の方式は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度値が100nitであったのに対して、HDRでは1000nit以上まで最大輝度値を拡大することが想定されている。HDRは、SMPTE(Society of Motion Picture & Television Engineers)やITU-R(International Telecommunications Union Radiocommunications Sector)などにおいて、標準化が進行中である。
HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu-ray Disc等)、インターネット配信などで使われることが想定されている。
なお、以下では、HDRに対応した映像において、当該映像の輝度は、HDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をHDR信号と呼ぶ。SDRに対応した映像において、当該映像の輝度は、SDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をSDR信号と呼ぶ。
[2.HDR導入時のマスター、配信方式、および表示装置の関係]
図2は、SDRとHDRのホームエンターテイメント用マスターを制作するフローと、配信媒体及び表示装置の関係を示す図である。
図2は、SDRとHDRのホームエンターテイメント用マスターを制作するフローと、配信媒体及び表示装置の関係を示す図である。
HDRのコンセプトは提案されており、HDRのコンセプトレベルでの有効性は確認されている。また、HDRの最初の実施方法が提案されている。ただし、この方法を使ってHDRコンテンツが大量に作られ、最初の実施方法の実証が行われたわけではない。このため、今後HDRコンテンツの制作が本格化した場合、現状のHDRのマスター方式が変わる可能性がある。
[3.EOTFの使い方]
図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。
図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。
本例における輝度を示す輝度信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRの逆EOTFにより量子化され、当該画像の輝度値に対応するコード値が決定する。このコード値に基づいて画像符号化などが行われ、ビデオのストリームが生成される。再生時には、ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することによりリニアな信号に変換され、画素毎の輝度値が復元される。以下、HDRの逆EOTFを用いた量子化を「逆HDRのEOTF変換」という。HDRのEOTFを用いた逆量子化を「HDRのEOTF変換」という。同様に、SDRの逆EOTFを用いた量子化を「逆SDRのEOTF変換」という。SDRのEOTFを用いた逆量子化を「SDRのEOTF変換」という。
このように、HDRマスターの方式は、EOTF及びメタデータとHDR信号との組み合わせにより実現されている。よって、より効率的なEOTF及びメタデータが開発され、そのようなEOTF及びメタデータを用いたHDR方式を採用すべき時が来る可能性がある。
但し、この新たな方式がどのようなものになるかは、現時点では解らないが、EOTFが変更される可能性とメタデータが追加される可能性とは想像できる。この場合、HDR信号自体も変わる。
本開示は、このようにHDRの伝送フォーマットが変更された場合でも、HDR対応機器を買ったお客様が新たな機器を買いなおすリスクを下げることで、HDRの普及を図ることを目指している。
[4.ディスクの種類]
上述のように、表示装置が高解像度化及び高輝度範囲化されることで、表示装置の仕様に合わせた複数種別のBlu-ray Disc(以下、BDと記載する)を提供する。図4は、BDの種類を示す図である。図4に示されるように、以下では、解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、2K_SDR対応BDと記載する。解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_SDRストリームと記載する。2K_SDR対応BDは、従来のBDはである。
上述のように、表示装置が高解像度化及び高輝度範囲化されることで、表示装置の仕様に合わせた複数種別のBlu-ray Disc(以下、BDと記載する)を提供する。図4は、BDの種類を示す図である。図4に示されるように、以下では、解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、2K_SDR対応BDと記載する。解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_SDRストリームと記載する。2K_SDR対応BDは、従来のBDはである。
また、解像度が第2解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、4K_SDR対応BDと記載する。解像度が第2解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、4K_SDRストリームと記載する。
同様に、解像度が第1解像度であり、輝度範囲が第2輝度範囲である映像信号が記録されたBDは、2K_HDR対応BDと記載する。解像度が第1解像度であり、輝度範囲が第2輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_HDRストリームと記載する。
また、解像度が第2解像度であり、輝度範囲が第2輝度範囲である映像信号が記録されたBDは、4K_HDR対応BDと記載する。解像度が第2解像度であり、輝度範囲が第2輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、4K_HDRストリームと記載する。
なお、第1解像度は、例えば、所謂2K(1920x1080、2048x1080)の解像度であるが、このような解像度を含む任意の解像度であってよい。以下では、第1解像度を単に2Kと記載する場合がある。
また、第2解像度は、所謂4K(3840x2160、4096x2160)の解像度であるが、このような解像度を含む任意の解像度であってよい。第2解像度は、第1解像度より画素数が多い解像度である。
なお、第1輝度範囲は、例えば、これまで説明したSDR(ピーク輝度が100nitの輝度範囲)である。第2輝度範囲は、例えば、これまで説明したHDR(ピーク輝度が100nitを超える輝度範囲)である。第2輝度範囲は、第1輝度範囲を全て含み、第2輝度範囲のピーク輝度は、第1輝度範囲のピーク輝度よりも大きい。
図5は、バージョンの異なるHDRストリームを格納したディスクの組み合わせを説明するための図である。図5に示すように、HDRストリームに複数のバージョンが存在する場合には、各HDRストリームには、当該HDRストリームのバージョンを示すバージョン識別子が付与される。
[5.Blu-ray機器の処理1]
上述のように、各種BDと、これらに対応した表示装置が混在すると、Blu-ray機器は、当該Blu-ray機器に挿入されたBDが、当該Blu-ray機器に接続された表示装置において適切に表示されるように処理を行う必要がある。ここでの処理には、例えば、輝度範囲のHDRからSDRへの変換、解像度の2Kから4Kへのアップコンバート、及び、解像度の4Kから2Kへのダウンコンバートなどが含まれる。
上述のように、各種BDと、これらに対応した表示装置が混在すると、Blu-ray機器は、当該Blu-ray機器に挿入されたBDが、当該Blu-ray機器に接続された表示装置において適切に表示されるように処理を行う必要がある。ここでの処理には、例えば、輝度範囲のHDRからSDRへの変換、解像度の2Kから4Kへのアップコンバート、及び、解像度の4Kから2Kへのダウンコンバートなどが含まれる。
そして、上記のような処理が可能な新型のBlu-ray機器は、表示装置に映像信号を送るときには、HDMI規格及びHDCP規格を適切に選択する必要がある。具体的には、Blu-ray機器は、3組のHDMI/HDCP規格(HDMI1.4/HDCP1.4、HDMI2.0/HDCP2.1、HDMI2.1/HDCP2.2)をサポートし、表示装置の種別に応じて、使用するHDMI/HDCP規格のバージョンを選択する。
図6は、各種BDと、各種表示装置とに対応してBlu-ray機器が行う処理内容を示す模式図である。
図6に示されるように、Blu-ray機器300は、当該Blu-ray機器(再生装置)に接続された表示装置の種別に応じて、HDMIのバージョン、及び、HDCPのバージョンのそれぞれを選択する。また、Blu-ray機器300は、取得された映像信号をデコードし、デコードされた映像信号を、選択されたバージョンのHDCPを用いて暗号化し、かつ、選択されたバージョンのHDMIを用いて表示装置に出力する。
なお、Blu-ray機器300は、例えば、Blu-ray機器300と表示装置とを接続するHDMIケーブルを通じて表示装置の種別を当該表示装置から取得する。また、表示装置の種別は、実施の形態1で説明したディスプレイ特性情報に含まれてもよい。また、ユーザがマニュアル操作でディスプレイ特性情報を、Blu-ray機器300に設定してもよい。なお、図示されないが、Blu-ray機器300は、表示装置の種別を取得する第一取得部を備えてもよい。
また、表示装置の種別は、具体的には、2K_SDR対応TV、4K_SDR対応TV、2K_HDR対応TV、及び、4K_HDR対応TVのうちの一つである。つまり、表示装置の種別は、解像度が上記第1解像度であり、かつ、上記第1輝度範囲に対応した表示装置を示す第1種別と、解像度が上記第2解像度であり、かつ、上記第1輝度範囲に対応した表示装置を示す第2種別と、解像度が上記第1解像度であり、かつ、上記第2輝度範囲に対応した表示装置を示す第3種別と、解像度が上記第2解像度であり、かつ、上記第2輝度範囲に対応した表示装置を示す第4種別の中の一つである。
例えば、Blu-ray機器300に、2K_SDR対応TVが接続されているときには、Blu-ray機器300は、HDMI1.4とHDCP1.4とを使用して映像信号を出力する。つまり、Blu-ray機器300は、デコードされた映像信号を、HDCP1.4を用いて暗号化し、かつ、HDMI1.4に対応する通信プロトコルを用いて2K_SDR対応TVに出力する。なお、HDMI2.0に対応する通信プロトコルとは、言い換えれば、HDMI2.0において規定される通信プロトコルである。
このとき、挿入されたBDが4K_SDR対応BDである場合は、解像度のダウンコンバートが必要であり、挿入されたBDが2K_HDR対応BDである場合は、HDRからSDRへの変換が必要であり、挿入された4K_HDR対応BDである場合は、解像度のダウンコンバートとHDRからSDRへの変換の両方が必要である。
なお、Blu-ray機器300に、2K_SDR対応TVが接続されているときには、実施の形態1で説明した疑似HDR変換が行われてもよい。
例えば、Blu-ray機器300は、Blu-ray機器300に接続された表示装置のピーク輝度を取得する。Blu-ray機器300は、取得された表示装置の種別が第1種別(2K_SDR対応TV)であり、かつ、取得されたピーク輝度が第1輝度範囲のピーク輝度よりも大きい場合、映像信号を、取得されたピーク輝度を有する輝度範囲に変換した後、さらに第1輝度範囲に変換する。そして、Blu-ray機器300は、変換された映像信号を、HDCP1.4を用いて暗号化し、かつ、HDMI1.4に対応する通信プロトコルを用いて2K_SDR対応TVに出力する。
また、Blu-ray機器300に、4K_SDR対応TVが接続されているときには、Blu-ray機器300は、HDMI2.0とHDCP2.2とを使用して映像信号を出力する。つまり、Blu-ray機器300は、デコードされた映像信号を、HDCP2.2を用いて暗号化し、かつ、HDMI2.0に対応する通信プロトコルを用いて4K_SDR対応TVに出力する。
このとき、挿入されたBDが2K_SDR対応BDの場合は、解像度のアップコンバートが必要であり、挿入されたBDが4K_HDR対応BDの場合は、HDRからSDRへの変換が必要であり、挿入されたBDが2K_HDR対応BDの場合は、解像度のアップコンバートとHDRからSDRへの変換の両方が必要である。
なお、Blu-ray機器300に、4K_SDR対応TVが接続されているときには、実施の形態1で説明した疑似HDR変換が行われてもよい。
例えば、Blu-ray機器300は、Blu-ray機器300に接続された表示装置のピーク輝度を取得する。Blu-ray機器300は、取得された表示装置の種別が第種別(4K_SDR対応TV)であり、かつ、取得されたピーク輝度が第1輝度範囲のピーク輝度よりも大きい場合、映像信号を、取得されたピーク輝度を有する輝度範囲に変換した後、さらに第1輝度範囲に変換する。そして、Blu-ray機器300は、変換された映像信号を、HDCP2.2を用いて暗号化し、かつ、HDMI2.0に対応する通信プロトコルを用いて4K_SDR対応TVに出力する。
また、Blu-ray機器300に、2K_HDR対応TVが接続されているときには、Blu-ray機器300は、HDMI2.1とHDCP2.2とを使用して映像信号を出力する。つまり、Blu-ray機器300は、デコードされた映像信号を、HDCP2.2を用いて暗号化し、かつ、HDMI2.1に対応する通信プロトコルを用いて2K_HDR対応TVに出力する。
このとき、挿入されたBDが4K_SDR対応BDである場合、及び、4K_HDR対応BDの場合は、いずれも解像度のダウンコンバートが必要である。
また、Blu-ray機器300に、4K_HDR対応TVが接続されているときには、Blu-ray機器は、HDMI2.1とHDCP2.2とを使用して映像信号を出力する。つまり、Blu-ray機器300は、デコードされた映像信号を、HDCP2.2を用いて暗号化し、かつ、HDMI2.1に対応する通信プロトコルを用いて4K_HDR対応TVに出力する。
このとき、挿入されたBDが2K_SDR対応BDである場合、及び、2K_HDR対応BDである場合は、いずれも解像度のアップコンバートが必要となる。
[6.Blu-ray機器の処理2]
図7は、各HDR対応BDの再生を行う新型のBlu-ray機器300と各種表示装置(TV)との関係を示す図である。
図7は、各HDR対応BDの再生を行う新型のBlu-ray機器300と各種表示装置(TV)との関係を示す図である。
新型のBlu-ray機器300は、接続されている表示装置及び再生するディスクの種別に応じて、使用することのできる表示装置を適切に選択する必要がある。
(1)Blu-ray機器300は、2K_SDR対応TV又は4K_SDR対応TVが接続されており、HDR1(HDR(R1))ストリームを処理する場合は、HDR信号をSDR信号に変換する。また、Blu-ray機器300は、2K_SDR対応TV又は4K_SDR対応TVが接続されており、HDR2(HDR(R2)を処理する場合は、再生できないことを表示する。
(2)Blu-ray機器300は、4K_HDR対応TVが接続されており、2K_HDRストリームを処理する場合は、2K_HDRストリームを4K_HDRストリームにアップコンバードし、得られた4K_HDRストリームを4K_HDR対応TVに出力する。また、Blu-ray機器300は、4K_HDR対応TVが接続されており、4K_HDRストリームを処理する場合、当該4K_HDRストリームをそのまま4K_HDR対応TVに出力する。
また、Blu-ray機器300は、HDR2を処理する場合は、再生できないことを表示すると同時に、4K_HDR対応TVのファームウエアアップデートを促すメッセージを表示する。
(3)Blu-ray機器300は、4K_HDR2対応TVが接続されており、2Kストリーム(2K_HDR1又は2K_HDR2)を処理する場合は、2Kストリームを4Kストリーム(4K_HDR1又は2K_HDR2)にアップコンバードし、得られた4Kストリームを4K_HDR2対応TVに出力する。また、Blu-ray機器300は、HDR2ストリームに対応した4K_HDR2対応TVが接続されており、4Kストリーム(4K_HDR1又は4K_HDR2)を処理する場合は、当該4Kストリームをそのまま4K_HDR2対応TVに出力する。
なお、4K_HDR対応TVは、HDR1ストリームに対応しており(処理可能であり)、HDR2ストリームに対応していない。4K_HDR2対応TVは、HDR1ストリーム及びHDR2ストリームに対応している。
このように、Blu-ray機器300は、4K_HDR2対応TVと4K_HDR対応TVとを識別し、HDRコンテンツのHDRストリームのバージョン番号を用いて接続の可否を決定する。
また、HDRのEOTFの変更を行なうための、4K_HDR対応TVの内部処理は、LUTの追加及び動的切り替え程度である。よって、HDR2の仕様が確定していない場合でも、将来のEOTF追加に備えた処理を実装して出荷することは可能である。
また、HDRのEOTFの変更に対応可能な4K_HDR対応TVは、HDMI側から見えるHDR対応番号が予め変更される。これにより、Blu-ray機器300は、アップデートをユーザに促す画面を表示するかどうかを判断できる。また、4K_HDR対応TVは、EOTFの変更をファームウエアアップデートで対応可能できる機能を有する。
[7.階層符号化]
階層符号化(layered coding)は、単層符号化(single layer coding)より、SDR及びHDRの互換性を実現するためにより多いデータ転送速度が必要である。
階層符号化(layered coding)は、単層符号化(single layer coding)より、SDR及びHDRの互換性を実現するためにより多いデータ転送速度が必要である。
Blu-rayの場合、SDR及びHDRの単層符号化ストリームを、大容量の1つの単一のディスクに格納できる。IPストリーミングの場合、ユーザは、ユーザのTVセットがHDR対応であるかどうかに基づき、SDR又はHDRの単層符号化ストリームを選択できる。
これにより、SDR TVとHDR TVにおける再生互換性を単純にできるとともに、より高い品質のサービスを提供できる。
また、図8に示すように、単層符号化が用いられる場合には、表示装置に応じてHDR及びSDRの一方のみのストリームが表示装置伝達又は配信される。階層符号化が用いられる場合には、HDR及びSDRの両方の信号として復号可能な階層符号化されたストリームが伝達又は配信される。これにより、この場合に対応した特別なデコーダが必要となる。
[8.ビデオとグラフィックスの合成処理]
Blu-ray(登録商標)などのコンテンツにおいては、ビデオ信号と字幕やメニューなどのグラフィックス信号は独立のデータとして多重化される。再生時には、それぞれを個別に復号し、復号結果を合成して表示する。具体的には、ビデオのプレーンの上に、字幕やメニューのプレーンが重畳される。
Blu-ray(登録商標)などのコンテンツにおいては、ビデオ信号と字幕やメニューなどのグラフィックス信号は独立のデータとして多重化される。再生時には、それぞれを個別に復号し、復号結果を合成して表示する。具体的には、ビデオのプレーンの上に、字幕やメニューのプレーンが重畳される。
ここで、ビデオ信号がHDRであっても、字幕やメニューなどのグラフィックス信号はSDRとなることがある。ビデオ信号のHPL→DPL変換においては、下記の(a)および(b)の2通りの変換が可能である。
(a)グラフィックスの合成後にHPL→DPL変換を実施する場合
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。
2. EOTF変換後のグラフィックスをビデオと合成する。
3. 合成結果に対して、HPL→DPL変換を実施する。
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。
2. EOTF変換後のグラフィックスをビデオと合成する。
3. 合成結果に対して、HPL→DPL変換を実施する。
(b)グラフィックスの合成前にHPL→DPL変換を実施する場合
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。
2. ビデオに対してHPL→DPL変換を実施する。
3. EOTF変換後のグラフィックスとDPL変換後のビデオとを合成する。
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。
2. ビデオに対してHPL→DPL変換を実施する。
3. EOTF変換後のグラフィックスとDPL変換後のビデオとを合成する。
なお、(b)の場合1と2の順番は入れ替わってもよい。
(a)および(b)のいずれの方式においても、グラフィックスのピーク輝度は100nitとなるが、例えば、DPLが1000nitのような高輝度である場合には、グラフィックスの輝度が100nitのままでは、HPL→DPL変換後のビデオに対して、グラフィックスの輝度が低下することがある。特に、ビデオに重畳される字幕が暗くなるなどの弊害が想定される。従って、グラフィックスについても、DPLの値に応じて、輝度を変換してもよい。例えば、字幕の輝度については、DPL値の何%の値に設定するなどを予め規定し、設定値に基づいて変換してもよい。メニューなどの字幕以外のグラフィックスについても同様に処理することができる。
[9.グラフィックストリームの詳細]
図9は、図6各バージョンのHDRのBDにおけるビデオストリームとグラフィックストリームとの組み合わせにおけるグラフィックストリームの詳細を示す図である。
図9は、図6各バージョンのHDRのBDにおけるビデオストリームとグラフィックストリームとの組み合わせにおけるグラフィックストリームの詳細を示す図である。
HDRストリームのバージョンに合わせて、グラフィックのバージョンを変えることにより、Blu-ray機器の内部処理は変えないでバージョンアップしたストリームへの対応(ビデオ及びグラフィック双方)が可能になる。
SDRのグラフィックストリームとHDRのグラフィックストリームとは、グラフィックストリームの基本スペックは同一であるが、HDRのグラフィックストリームにおいては、Java(登録商標、以下同様)の色空間(4K用のBT 2020)、EOTF(HDR用のEOTF)等の制約がある。このため、Java描画コマンド(Java drawing)をそのまま使うことができない。
[10.HDRメタデータ]
HDRコンテンツにおけるマスタリング時の特性を示すパラメータとしては、タイトル毎又はプレイリスト毎に固定である静的HDRメタデータと、シーン毎に可変である動的HDRメタデータとが存在する。ここで、タイトル及びプレイリストは、連続して再生される映像信号を示す情報である。以降、連続して再生される映像信号を連続再生単位と呼ぶ。
HDRコンテンツにおけるマスタリング時の特性を示すパラメータとしては、タイトル毎又はプレイリスト毎に固定である静的HDRメタデータと、シーン毎に可変である動的HDRメタデータとが存在する。ここで、タイトル及びプレイリストは、連続して再生される映像信号を示す情報である。以降、連続して再生される映像信号を連続再生単位と呼ぶ。
例えば、静的HDRメタデータは、EOTF関数(カーブ)の種類、18%Gray値、Diffuse White値、Knee point、及びClip pointの少なくとも一つを含む。EOTFは、複数の輝度値と複数のコード値とを関係付けた情報であり、映像信号の輝度範囲を変更するための情報である。その他の情報は、映像信号の輝度に関する属性情報であることから、静的HDRメタデータは、映像信号の輝度範囲に関する情報であり、映像信号の輝度範囲を特定するための情報と言える。
具体的には、18%Gray値及びDiffuse White値は、予め定められた基準となる明るさの映像における輝度値(nit)を示し、言い換えると、映像における基準の明るさを示す。より具体的には、18%Gray値は、マスタリング前において18nitの明るさの物体のマスタリング後の輝度値(nit)を示す。Diffuse White値は、白色に相当する輝度値(nit)を示す。
また、Knee point及びClip pointは、EOTF関数のパラメータであり、EOTFにおける特性が変化する点を示す。具体的には、Knee pointは、撮影時のオリジナルの輝度値(入力輝度)の増分に対する、映像信号の輝度としてEOTFにマッピングされる輝度値(出力輝度)の増分を、1対1とは異なる値とする変化点を示す。例えば、Knee pointは、後述する図27Aにおいて、線形変化からはずれる点を特定するための情報である。また、Clip pointは、EOTF関数においてクリップが開始される点を示す。ここでクリップとは、ある値以上の入力輝度値を同一の出力輝度値に変換することである。例えば、Clip pointは、後述する図27Bにおいて、出力輝度値が変化しなくなる点を示す。
また、EOTF関数(カーブ)の種類とは、例えば、図24Aに示すHDRのEOTF及びSDRのEOTFである。
このように、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータを生成するコンテンツデータ生成方法であって、映像信号と、映像信号の連続再生単位に含まれる複数の画像(連続再生単位を構成する映像信号)に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報を含む静的HDRメタデータ(第1メタデータ)とを生成する第1生成ステップと、連続再生単位と静的HDRメタデータとを関連付けることによりコンテンツデータを生成する第2生成ステップを含む。例えば、映像信号の輝度範囲に関する情報とは、映像信号の輝度範囲を変換するための情報である。
また、静的HDRメタデータは、複数の輝度値と複数のコード値とを関係付けたEOTFを特定するための情報を含む。また、映像信号における輝度値は、コード値として符号化される。
また、静的HDRメタデータは、さらに、予め定められた基準となる明るさの映像信号における輝度値を示す情報、又は、EOTFにおける特性が変化する点を示す情報を含む。例えば、静的HDRメタデータは、映像信号における白色に相当する輝度値を示す情報(Diffuse White値)を含む。
また、第1生成ステップでは、連続再生単位より細かい単位に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報である動的HDRメタデータ(第2メタデータ)をさらに生成する。例えば、映像信号の輝度範囲に関する情報とは、映像信号の輝度範囲を変換するための情報である。
動的HDRメタデータは、シーン毎に異なるマスタリング特性を示すパラメータなどである。ここでマスタリング特性とは、オリジナル(マスタリング前)の輝度と、マスタリング後の輝度との関係を示す。例えば、マスタリング特性を示すパラメータとは、上記した静的HDRメタデータと同様の情報であり、言い換えると、静的HDRメタデータに含まれる情報の少なくとも一つである。
図10は、静的HDRメタデータの格納例を示す図である。本例は、Blu-rayディスクなどのパッケージメディアにおいて、静的HDRメタデータをプレイリストに格納する例である。
プレイリストから参照されるストリーム毎のメタデータの1つとして、静的HDRメタデータが格納される。この場合、静的HDRメタデータはプレイリスト単位で固定である。つまり、静的HDRメタデータは、各プレイリストに対応付けて格納される。
また、OTTでは、ストリームの取得に先立って参照されるマニフェストファイルに静的HDRメタデータが格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、映像信号を映像ストリームとして生成し、静的HDRメタデータを、映像ストリームの取得に先立って参照されるマニフェストファイルに格納してもよい。
また、放送では、ストリームの属性を示す記述子に静的HDRメタデータが格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータを映像ストリームとして生成し、静的HDRメタデータを、映像ストリームの属性を示す識別子として当該映像ストリームとは独立に格納してもよい。例えば、静的HDRメタデータを、MPEG2-TSにおける記述子(デスクリプタ)として格納できる。
また、タイトル毎に静的HDRメタデータが固定である場合には、静的HDRメタデータは、タイトルの属性を示す管理情報として格納されてもよい。
図11は、動的HDRメタデータの、ビデオストリーム内への格納例を示す図である。MPEG-4 AVC又はHEVC(High Efficiency Video Coding)では、SEI(Supplemental Enhancement Information)と呼ばれるデータ構造を用いて、ストリームの再生制御に関わる情報を格納する。よって、例えば、SEIに動的HDRメタデータが格納される。
動的HDRメタデータは、シーン毎に更新されることが想定される。シーンの先頭は、GOP(Group Of Pictures)などのランダムアクセス単位の先頭のアクセスユニット(AU)である。従って、動的HDRメタデータは、ランダムアクセス単位における復号順で先頭のアクセスユニットに格納することにしてもよい。ランダムアクセス単位の先頭アクセスユニットは、IDRピクチャ、又は、SPS(Sequence Parameter Set)が付加されたnon-IDR Iピクチャなどとなる。よって、受信側の装置は、ランダムアクセス単位の先頭アクセスユニットを構成するNAL(Network Abstraction Layer)ユニットを検出することにより、動的HDRメタデータを取得できる。あるいは、動的HDRメタデータを格納するSEIに対して、固有のタイプが付与されてもよい。
なお、EOTF関数の種類について、SPSにおけるストリームの属性情報などとして格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータをHEVCにより符号化した映像ストリームとして生成し、EOTFを特定するための情報を、映像ストリームに含まれるSPSに格納してもよい。
[11.静的HDRメタデータの伝送方法]
図12は、静的HDRメタデータの伝送方法を示す図であり、BDプレーヤ(Blu-ray機器)又はレコーダなどの再生装置においてHDMIなどの伝送プロトコルを通じて、表示装置にHDR信号を伝送する際の動作例を示すフローチャートである。
図12は、静的HDRメタデータの伝送方法を示す図であり、BDプレーヤ(Blu-ray機器)又はレコーダなどの再生装置においてHDMIなどの伝送プロトコルを通じて、表示装置にHDR信号を伝送する際の動作例を示すフローチャートである。
静的HDRメタデータは、タイトル単位又はプレイリスト単位で固定であることを先に述べた。従って、再生装置は、静的HDRメタデータの設定が必要な場合(S401でYes)、タイトル又はプレイリストの再生開始時において、静的HDRメタデータをコンテンツの管理情報から取得して、取得した静的HDRメタデータをHDMIの制御情報として格納して伝送する。つまり、再生装置は、タイトル又はプレイリストを構成する映像信号の伝送開始に先立って、当該タイトル又はプレイリストに対応する静的HDRメタデータを取得し、取得した静的HDRメタデータをHDMIの制御情報として伝送する(S402)。より一般的には、再生装置は、当該再生装置と表示装置との間のHDMIの初期化処理を行う際に、初期化情報として静的HDRメタデータを伝送してもよい。
その後、再生装置は、静的HDRメタデータに対応するビデオストリームを伝送する(S403)。なお、このビデオストリームに対しては、伝送済みの静的HDRメタデータが有効となる。
このように、本実施の形態に係る映像ストリーム伝送方法は、映像ストリーム(ビデオストリーム)を伝送する映像ストリーム伝送方法であって、映像信号と、連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報を含む静的HDRメタデータ(第1メタデータ)とを含むコンテンツデータを取得する取得ステップと、映像信号に対応する映像ストリームと、静的HDRメタデータとを伝送する伝送ステップとを含む。
例えば、伝送ステップでは、HDMIの通信プロトコルに従い、映像ストリームと静的HDRメタデータとを伝送する。
また、動的HDRメタデータは、ビデオストリームの一部として伝送される。
なお、再生装置は、動的HDRメタデータを、当該動的HDRメタデータが有効となるタイミングにおいてHDMIの制御信号として伝送してもよい。このとき、再生装置は、静的HDRメタデータと動的HDRメタデータとに識別子などを設けて互いに識別できるようにして伝送する。
また、制御信号においては、動的HDRメタデータを格納するためのコンテナのデータ構造のみ規定しておき、コンテナのペイロードデータとしてSEIの内容をそのままコピーできるようにしてもよい。これにより、SEIに含まれる動的HDRメタデータのシンタックスが更新されてもBDプレーヤ等の再生装置の実装を変更せずに対応できる。
静的HDRメタデータについても同様に、コンテンツの管理情報における静的HDRメタデータをコピーして伝送できるようにしておけば、静的HDRメタデータのシンタックスの変更に対しても、再生装置の実装を変更せずに対応可能である。つまり、静的HDRメタデータを格納するためのコンテナのデータ構造が規定されており、伝送ステップでは、コンテンツデータに含まれる静的HDRメタデータを、コンテナのペイロードにコピーし、当該コンテナを伝送してもよい。
[12.HDRメタデータの処理方法]
図13は、表示装置においてHDR信号を表示する際のHDRメタデータの処理方法の例を示すフローチャートである。まず、表示装置は、HDMIの制御情報から静的HDRメタデータを取得し(S411)、取得した静的HDRメタデータに基づき、HDR信号の表示方法を決定する(S412)。
図13は、表示装置においてHDR信号を表示する際のHDRメタデータの処理方法の例を示すフローチャートである。まず、表示装置は、HDMIの制御情報から静的HDRメタデータを取得し(S411)、取得した静的HDRメタデータに基づき、HDR信号の表示方法を決定する(S412)。
なお、制御情報に静的HDRメタデータが含まれない場合には、表示装置は、アプリケーション規格において予め定められた値、又は、表示装置のデフォルト設定に基づいて、HDR信号の表示方法を決定する。つまり、本実施の形態に係る映像表示方法は、静的HDRメタデータを取得できない場合、予め定められた値又は設定に基づき、映像信号に対応する映像の表示方法を決定する。
また、表示装置は、ビデオストリーム内のSEIなどにおいて動的HDRメタデータを検出した場合(S413でYes)、動的HDRメタデータに基づいてHDR信号の表示方法を更新する(S414)。つまり、本実施の形態に係る映像表示方法は、静的HDRメタデータを取得した場合、取得した静的HDRメタデータに基づき表示方法を決定して映像を表示し、動的HDRメタデータを取得した場合、静的HDRメタデータに基づき決定した表示方法を、動的HDRメタデータに基づき決定した表示方法に更新して映像を表示する。あるいは、静的HDRメタデータと動的HDRメタデータとの両方に基づいて表示方法を決定してもよい。
なお、表示装置が、動的HDRメタデータの取得に対応していない場合には、表示装置は、静的HDRメタデータのみに基づいて動作してもよい。また、表示装置が動的HDRメタデータの取得に対応している場合でも、表示装置が、メタデータが格納されたアクセスユニットの表示時刻(PTS:Presentation Time Stamp)に同期してHDR信号の表示方法を更新できないことがある。この場合には、表示装置は、メタデータを取得後、表示方法を更新可能な最も早い時刻以降に表示されるアクセスユニットから、表示方法を更新してもよい。
なお、HDRメタデータにバージョン情報などを付与することで、パラメータの更新及び追加に対応できる。これにより、表示装置は、HDRメタデータのバージョン情報に基づいて、当該メタデータが解釈可能であるかを判定できる。あるいは、HDRメタデータは、基本部と拡張部とから構成され、パラメータの更新又は追加は拡張部の変更により対応し、基本部は更新しないことにしてもよい。つまり、静的HDRメタデータ及び動的HDRメタデータの各々は、複数のバージョンを有し、複数のバーションで共通に用いられる基本部と、バージョン毎に異なる拡張部とを含んでもよい。こうすることで、基本部のHDRメタデータに基づいて、表示装置における後方互換性を確保できる。
このように、本実施の形態に係る映像表示方法は、映像ストリームに基づき映像を表示する映像表示方法であって、映像信号に対応する映像ストリームと、静的HDRメタデータ(第1メタデータ)とを取得する取得ステップと、静的HDRメタデータに基づき、映像信号に対応する映像の表示方法を決定して表示する表示ステップとを含む。
また、映像信号における輝度値は、コード値として符号化されており、静的HDRメタデータは、複数の輝度値と複数のコード値とを関係付けたEOTFを特定するための情報を含み、表示ステップでは、静的HDRメタデータで特定されるEOTFを用いて、映像信号で示されるコード値を輝度値に変換することで映像を生成する。
[13.デュアルディスクの再生動作1]
以上では、HDR信号のみが格納されたHDRディスクの再生動作について説明した。
以上では、HDR信号のみが格納されたHDRディスクの再生動作について説明した。
次に、HDR信号とSDR信号との両方が格納されたデュアルディスクに格納される多重化データについて図14を用いて説明する。図14は、デュアルディスクに格納される多重化データについて説明するための図である。
デュアルディスクでは、図14に示すように、HDR信号とSDR信号とがそれぞれ異なる多重化ストリームとして格納される。例えば、Blu-rayなどの光ディスクにおいては、M2TSと呼ばれるMPEG-2 TSベースの多重化方式により、ビデオやオーディオ、字幕、グラフィックスなど複数メディアのデータが1本の多重化ストリームとして格納される。これらの多重化ストリームは、プレイリストなどの再生制御用のメタデータから参照され、再生時にはプレーヤがメタデータを解析することで再生する多重化ストリーム、あるいは、多重化ストリームに格納される個別の言語のデータを選択する。本例では、HDR用とSDR用とのプレイリストを個別に格納し、それぞれのプレイリストがHDR信号、あるいは、SDR信号を参照するケースを示す。また、HDR信号とSDR信号の両方が格納されていることを示す識別情報などを別途示しても良い。
同一の多重化ストリームにHDR信号とSDR信号との両方を多重化することも可能であるが、MPEG-2 TSにおいて規定されるT-STD(System Target Decoder)などのバッファモデルを満たすように多重化する必要があり、特に、予め定められたデータの読み出しレートの範囲内で、ビットレートの高いビデオを2本多重化するのは困難である。このため、多重化ストリームを分離することが望ましい。
オーディオ、字幕、あるいはグラフィックスなどのデータは、それぞれの多重化ストリームに対して格納する必要があり、1本に多重化する場合に比べてデータ量が増加する。ただし、データ量の増加は、圧縮率の高いビデオ符号化方式を用いてビデオのデータ量を削減することができる。例えば、従来のBlu-rayにおいて使用していたMPEG-4 AVCを、HEVC(High Efficiency Video Coding)に変えることで、1.6~2倍の圧縮率向上が見込まれる。また、デュアルディスクに格納するのは、2KのHDRとSDRとの組み合わせ、4KのSDRと2KのHDRとの組み合わせなど、2Kを2本、あるいは、2Kと4Kとの組合せとするなど、4Kを2本格納することは禁止することにより、光ディスクの容量に収まる組合せのみを許容してもよい。
[14.デュアルディスクの再生動作2]
図15は、デュアルディスクの再生動作を示すフローチャートである。
図15は、デュアルディスクの再生動作を示すフローチャートである。
まず、再生装置は、再生対象の光ディスクがデュアルディスクであるかどうかを判定する(S301)。そして、デュアルディスクであると判定した場合(S301でYes)、出力先のTVがHDRTVかSDRTVであるかを判定する(S302)。HDRTVであると判定した場合(S302でYes)にはステップS303に進み、SDRTVであると判定した場合(S302でNo)にはステップS304に進む。ステップS303では、デュアルディスク内のHDR信号を含む多重化ストリームからHDRのビデオ信号を取得して、復号し、HDRTVに対して出力する。ステップS304では、デュアルディスク内のSDR信号を含む多重化ストリームからSDRのビデオ信号を取得して、復号し、SDRTVに対して出力する。なお、ステップS301において再生対象がデュアルディスクでないと判定された場合(S301でNo)には、所定の方法により再生可否の判定を行い、判定結果に基づいて再生方法を決定する(S305)。
[15.ディスクの種類の詳細]
図16は、BDの種類をさらに詳細に示す図である。
図16は、BDの種類をさらに詳細に示す図である。
図16の(c)、(f)、(g)、及び(h)に示されるように、1枚のBDで複数の映像表現に対応したデュアルストリームディスクが考えられる。デュアルストリームディスクは、同一のコンテンツを再生するための複数の映像信号であって、解像度及び輝度範囲の少なくとも一方が異なる複数の映像信号が記録されたBDである。
具体的には、図16の(c)に示されるデュアルストリームディスクは、4K_SDRストリームと、2K_SDRストリームとが記録されたBDである。図16の(f)に示されるデュアルストリームディスクは、2K_HDRストリームと、2K_SDRストリームとが記録されたBDである。
図16の(g)に示されるデュアルストリームディスクは、4K_HDRストリームと、4K_SDRストリームとが記録されたBDである。図16の(h)に示されるデュアルストリームディスクは、4K_HDRストリームと、2K_SDRストリームとが記録されたBDである。
なお、図16の(c)に示されるデュアルストリームディスクは、Blu-ray機器が4Kから2Kの解像度のダウンコンバージョン(以下、ダウンコンバートとも記載する)を行うことが可能であるため、必須でない。
[16.ディスク容量1]
ここで、以上説明したような各BDについて、図17及び図18を用いて補足する。図17及び図18は、BDに記録されるデータ容量を示す図である。
ここで、以上説明したような各BDについて、図17及び図18を用いて補足する。図17及び図18は、BDに記録されるデータ容量を示す図である。
図17及び図18は、各BDとデュアルストリームディスクで実際に使われるストリームのデータ容量を例示する。
図17は、解像度が2Kのストリーム(2K_SDRストリーム及び2K_HDRストリーム)が、MPEG-4 AVCを用いて圧縮されている場合を例示している。Movie length、lossless Audio、Compressed Audioのビットレートは、下記のようになる。なお、BDは、language個数分の音声ストリーム(Lossless AudioおよびCompressed Audio)を記録する。
Movie length: 150min (14 -18 mbps)
Lossless Audio: 0 -2 language (4.5mbps)
Compressed Audio: 3 -5 language (1.5mbps)
この場合、必要なディスク容量の最大値(A)、中間値(B)、及び最小値(C)は、以下のようになる。
Lossless Audio: 0 -2 language (4.5mbps)
Compressed Audio: 3 -5 language (1.5mbps)
この場合、必要なディスク容量の最大値(A)、中間値(B)、及び最小値(C)は、以下のようになる。
(A)(18+4.5*2+1.5*5)mbps*(150*60)s/8 = 38.8 GB
(B)(16+4.5*1+1.5*3)mbps*(150*60)s/8 = 28.1 GB
(C)(14+4.5*0+1.5*3)mbps*(150*60)s/8 = 20.8 GB
また、解像度が4Kのストリーム(4K_SDRストリーム及び4K_HDRストリーム)が、HEVCを用いて圧縮されている場合を例示している。Movie length、lossless Audio、Compressed Audioのビットレートは、下記のようになる。
(B)(16+4.5*1+1.5*3)mbps*(150*60)s/8 = 28.1 GB
(C)(14+4.5*0+1.5*3)mbps*(150*60)s/8 = 20.8 GB
また、解像度が4Kのストリーム(4K_SDRストリーム及び4K_HDRストリーム)が、HEVCを用いて圧縮されている場合を例示している。Movie length、lossless Audio、Compressed Audioのビットレートは、下記のようになる。
Movie length: 150min (35 -40mbps)
Lossless Audio: 0 -2 language (4.5mbps)
Compressed Audio: 3 -6 language (1.5mbps)
この場合、必要なディスク容量の最大値(a)、中間値(b)、及び最小値(c)は、以下のようになる。
Lossless Audio: 0 -2 language (4.5mbps)
Compressed Audio: 3 -6 language (1.5mbps)
この場合、必要なディスク容量の最大値(a)、中間値(b)、及び最小値(c)は、以下のようになる。
(a)(40+4.5*2+1.5*5)mbps*(150*60)s/8 = 63.6 GB
(b)(37+4.5*0+1.5*4)mbps*(150*60)s/8 = 48.4 GB
(c)(35+4.5*0+1.5*3)mbps*(150*60)s/8 = 44.4 GB
ここで、MPEG-4 AVCを用いて圧縮された2K_HDRストリームと、MPEG-4 AVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(A)+(A)、(B)+(B)、及び、(C)+(C)により求められる。具体的には、最大値77.6GB、中間値56.2GB、及び、最小値41.6GBとなる。
(b)(37+4.5*0+1.5*4)mbps*(150*60)s/8 = 48.4 GB
(c)(35+4.5*0+1.5*3)mbps*(150*60)s/8 = 44.4 GB
ここで、MPEG-4 AVCを用いて圧縮された2K_HDRストリームと、MPEG-4 AVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(A)+(A)、(B)+(B)、及び、(C)+(C)により求められる。具体的には、最大値77.6GB、中間値56.2GB、及び、最小値41.6GBとなる。
従来の50GBに加えて、66GB、100GBのディスクを対象としているため、上記のようなデュアルストリームディスクも容量の面においては実現可能である。
なお、HEVCを用いて圧縮された4K_HDRストリームと、HEVCを用いて圧縮された2K_HDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(b)+(b)に基づけば96.8GBであり、上記(c)+(c)に基づけば88.8GBである。このため、このようなデュアルストリームディスクは、100GBの容量のディスクにより実現可能である。
同様に、HEVCを用いて圧縮された4K_HDRストリームと、MPEG-4 AVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(a)+(B)に基づけば91.7GBであり、上記(c)+(C)に基づけば65.2GBである。このため、このようなデュアルストリームディスクは、100GBの容量のディスクまたは66GBの容量のディスクにより実現可能である。
[17.ディスク容量2]
さらに、図18を用いて別の例について説明する。図18は、解像度が2Kのストリーム(2K_SDRストリーム及び2K_HDRストリーム)が、HEVCを用いて圧縮されている場合を例示している。Movie length、lossless Audio、Compressed Audioのビットレートは、下記のようになる。
さらに、図18を用いて別の例について説明する。図18は、解像度が2Kのストリーム(2K_SDRストリーム及び2K_HDRストリーム)が、HEVCを用いて圧縮されている場合を例示している。Movie length、lossless Audio、Compressed Audioのビットレートは、下記のようになる。
Movie length: 150min (7 - 9 mbps)
Lossless Audio: 0 - 2 language (4.5mbps)
Compressed Audio: 3 - 5 language (1.5mbps)
この場合、必要なディスク容量の最大値(A)、中間値(B)、及び最小値(C)は、以下のようになる。
Lossless Audio: 0 - 2 language (4.5mbps)
Compressed Audio: 3 - 5 language (1.5mbps)
この場合、必要なディスク容量の最大値(A)、中間値(B)、及び最小値(C)は、以下のようになる。
(α)(9+4.5*2+1.5*5)mbps*(150*60)s/8 = 25.3 GB
(β)(8+4.5*1+1.5*3)mbps*(150*60)s/8 = 19.1 GB
(γ)(7+4.5*0+1.5*3)mbps*(150*60)s/8 = 12.9 GB
ここで、HEVCを用いて圧縮された2K_HDRストリームと、HEVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(α)+(α)、(β)+(β)、及び、(γ)+(γ)により求められる。具体的には、最大値50.6GB、typ値38.2GB、及び、最小値25.8GBとなる。
(β)(8+4.5*1+1.5*3)mbps*(150*60)s/8 = 19.1 GB
(γ)(7+4.5*0+1.5*3)mbps*(150*60)s/8 = 12.9 GB
ここで、HEVCを用いて圧縮された2K_HDRストリームと、HEVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(α)+(α)、(β)+(β)、及び、(γ)+(γ)により求められる。具体的には、最大値50.6GB、typ値38.2GB、及び、最小値25.8GBとなる。
従来の50GBに加えて、66GB、100GBのディスクを対象としているため、上記のようなデュアルストリームディスクも容量の面においては実現可能である。
同様に、HEVCを用いて圧縮された4K_HDRストリームと、HEVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(a)+(α)に基づけば88.9GBであり、上記(b)+(β)に基づけば67.5GBであり、上記(b)+(γ)に基づけば61.3GBであり、上記(c)+(γ)に基づけば57.3GBである。このため、このようなデュアルストリームディスクは、100GBの容量のディスクまたは66GBの容量のディスクにより実現可能である。
[18.ディスクの種類の詳細1]
BDには、より詳細にはビデオストリームと、グラフィックストリーム(実施の形態1のグラフィックスのストリーム)とが記録される。ここで、図19は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。
BDには、より詳細にはビデオストリームと、グラフィックストリーム(実施の形態1のグラフィックスのストリーム)とが記録される。ここで、図19は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。
図19は、コンテンツ(BD)の制作の手間を考慮して、グラフィックストリームは、対応するビデオストリームの解像度によらず、解像度が2Kで記録する。2K_SDRストリームと4K_SDRストリームとで、グラフィックストリームを共有することができる。ただし、グラフィックストリームは、対応するビデオストリームの輝度範囲に合わせた輝度範囲で記録する。ビデオストリームがHDRの場合は、HDRのグラフィックスストリームを記録する。ビデオストリームがSDRの場合は、SDRのグラフィックスストリームを記録する。グラフィックストリームのSDRからHDRへの変換は、コンテンツの制作時に行う。
[19.ディスクの種類の詳細2]
図20は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの別の例を示す図である。
図20は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの別の例を示す図である。
図20では、コンテンツの制作の手間を考慮して、グラフィックストリームは、対応するビデオストリームの解像度及び輝度範囲によらず、解像度が2K、かつ、輝度範囲がSDRで記録する。2K_SDRストリーム、4K_SDRストリーム、2K_HDRストリーム、及び、4K_HDRストリーム全てで、グラフィックストリームを共有することができる。この場合は、グラフィックストリームの解像度の2Kから4Kへの変換、及び、グラフィックストリームの輝度範囲のSDRからHDRへの変換は、いずれもBlu-ray機器で実行される。
[20.ディスクの種類の詳細3]
図21は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせのさらに別の例を示す図である。
図21は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせのさらに別の例を示す図である。
図21は、Blu-ray機器においてグラフィックストリームの変換が不要となるように、コンテンツの制作時に、グラフィックストリームの解像度及び輝度範囲は、対応するビデオストリームの解像度及び輝度範囲に合わされて記録する。
[21.まとめ]
4K対応BDまたはHDR対応BDを再生するBlu-ray機器は、2K_SDR対応TV、2K_HDR対応TV、4K_SDR対応TV、及び、4K_HDR対応TVの4つのTVに対応する必要がある。具体的には、Blu-ray機器は、3組のHDMI/HDCP規格(HDMI1.4/HDCP1.4、HDMI2.0/HDCP2.1、HDMI2.1/HDCP2.2)をサポートする必要がある。
4K対応BDまたはHDR対応BDを再生するBlu-ray機器は、2K_SDR対応TV、2K_HDR対応TV、4K_SDR対応TV、及び、4K_HDR対応TVの4つのTVに対応する必要がある。具体的には、Blu-ray機器は、3組のHDMI/HDCP規格(HDMI1.4/HDCP1.4、HDMI2.0/HDCP2.1、HDMI2.1/HDCP2.2)をサポートする必要がある。
さらに、Blu-ray機器は、4種類のBlu-rayディスク(2K_SDR対応BD、2K_HDR対応BD、4K_SDR対応BD、及び、4K_HDR対応BD)の再生を行う場合、そのBD(コンテンツ)毎、及び、接続されている表示装置(TV)毎に、適切な処理とHDMI/HDCPとを選択する必要がある。さらに、ビデオにグラフィックを合成する場合も、BDの種類と接続されている表示装置(TV)の種類により、処理を変える必要がある。
このため、Blu-ray機器の内部処理が非常に複雑になる。上記実施の形態3においては、Blu-ray機器内部処理を比較的簡単にするための各種手法を提供した。
[1]HDR非対応のTVにHDR信号を表示する場合は、HDRからSDRへの変換が必要になる。これに対し、上記実施の形態3では、この変換をBlu-ray機器においてオプション化するために、デュアルストリームディスク(Dual Streams Disc)というBDの構成を提案した。
[2]また、上記実施の形態3では、グラフィックストリームに制限を加え、ビデオストリームとグラフィックストリームとの組み合わせの種類を減らした。
[3]上記実施の形態3では、デュアルストリームディスクと、グラフィックストリームの制限とにより、Blu-ray機器内での複雑な処理の組み合わせ数を大幅に減らしている。
[4]上記実施の形態3では、疑似HDR変換を導入した場合でも、デュアルストリームディスクの処理に対して矛盾が生じない、内部処理及びHDMI処理を提示した。
本開示の変換方法では、HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える領域の階調をある程度保つよう変換し、元のHDRに近い疑似HDR映像に変換してSDRTVに表示させることができる「HDR→疑似HDR変換処理」を実現する。
また、変換方法では、SDRTVのディスプレイ特性(最高輝度、入出力特性、および表示モード)によって「HDR→疑似HDR変換処理」の変換方法を切り替えてもよい。
ディスプレイ特性情報の取得方法としては、(1)HDMIやネットワークを通して自動取得すること、(2)ユーザにメーカー名、品番等の情報入力させることで生成すること、および(3)メーカー名や品番等の情報を使ってクラウド等から取得することが考えられる。
また、変換装置100のディスプレイ特性情報の取得タイミングとしては、(1)疑似HDR変換する直前に取得すること、および(2)表示装置200(SDRTV等)と初めて接続する時(接続が確立した時)に取得することが考えられる。
また、変換方法では、HDR映像の輝度情報(CAL、CPL)によって変換方法を切り替えてもよい。
例えば、変換装置100のHDR映像の輝度情報の取得方法としては、(1)HDR映像に付随したメタ情報として取得すること、(2)ユーザにコンテンツのタイトル情報を入力させることで取得すること、および(3)ユーザに有力させた入力情報を使ってクラウド等から取得すること等が考えられる。
また、変換方法の詳細としては、(1)DPLを超えないように変換し、(2)CPLがDPLになるように変換し、(3)CALおよびその周辺以下の輝度は変更せず、(4)自然対数を用いて変換し、(5)DPLでクリップ処理をする。
また、変換方法では、疑似HDRの効果を高めるために、SDRTVの表示モード、表示パラメータなどの表示設定を、表示装置200に送信して切り替えることも可能であり、例えば、ユーザに表示設定を促すメッセージを画面に表示してもよい。
[22.疑似HDRの必要性1]
次に、疑似HDRの必要性について図22A~図22Cを用いて説明する。
次に、疑似HDRの必要性について図22A~図22Cを用いて説明する。
図22Aは、HDRTV内で、HDR信号を変換してHDR表示を行う表示処理の一例を示す図である。
図22Aに示すように、HDR映像を表示する場合、表示装置がHDRTVであっても、HDRの輝度範囲の最大値(ピーク輝度(HPL(HDR Peak Luminance):例1500nit))をそのまま表示することができない場合がある。この場合、HDRのEOTFを用いた逆量子化を行った後のリニアな信号を、その表示装置の輝度範囲の最大値(ピーク輝度(DPL(Display Peak Iuminance):例750nit))に合わせるための輝度変換を行う。そして、輝度変換を行うことで得られた映像信号を表示装置に入力することで、その表示装置の限界である最大値の輝度範囲に合わせたHDR映像を表示することができる。
図22Bは、HDR対応の再生装置とSDRTVとを用いて、HDR表示を行う表示処理の一例を示す図である。
図22Bに示すように、HDR映像を表示する場合、表示装置がSDRTVであれば、表示するSDRTVの輝度範囲の最大値(ピーク輝度(DPL:例300nit))が100nitを超えることを利用して、図22BのHDR対応の再生装置(Blu-ray機器)内の「HDR→疑似HDR変換処理」で、HDRTV内で行っている、「HDRのEOTF変換」とSDRTVの輝度範囲の最大値であるDPL(例:300nit)を使った「輝度変換」を行い、「輝度変換」を行うことで得られた信号をSDRTVの「表示装置」に直接入力できれば、SDRTVを使っても、HDRTVと同じ効果を実現することができる。
しかしながら、SDRTVには、このような信号を、外部から直接入力するための手段が無いため、実現できない。
図22Cは、標準インターフェースを介して互いに接続したHDR対応の再生装置とSDRTVと用いて、HDR表示を行う表示処理の一例を示す図である。
図22Cに示すように、通常、SDRTVが備える入力インターフェース(HDMI等)を使って、図22Bの効果を得られるような信号をSDRTVに入力する必要がある。SDRTVでは、入力インターフェースを介して入力した信号は、「SDRのEOTF変換」と「モード毎の輝度変換」と「表示装置」を順に通過し、その表示装置の最大値の輝度範囲に合わせた映像を表示する。このため、HDR対応のBlu-ray機器内で、SDRTVで入力インターフェースの直後に通過する、「SDRのEOTF変換」と「モード毎の輝度変換」とをキャンセルできるような信号(疑似HDR信号)を生成する。つまり、HDR対応のBlu-ray機器内で、「HDRのEOTF変換」とSDRTVのピーク輝度(DPL)を使った「輝度変換」との直後に、「モード毎の逆輝度変換」と「逆SDRのEOTF変換」とを行うことで、「輝度変換」直後の信号を「表示装置」に入力した場合(図22Cの破線矢印)と同じ効果を疑似的実現する。
[23.疑似HDRの必要性2]
通常のSDRTVは入力信号が100nitであるが、視聴環境(暗い室:シネマモード、明るい部屋:ダイナミックモード等)に合わせて200nit以上の映像表現が可能な能力を持つ。しかし、SDRTVへの入力信号の輝度上限が100nitに決められていたため、その能力を直接つかうことはできなかった。
通常のSDRTVは入力信号が100nitであるが、視聴環境(暗い室:シネマモード、明るい部屋:ダイナミックモード等)に合わせて200nit以上の映像表現が可能な能力を持つ。しかし、SDRTVへの入力信号の輝度上限が100nitに決められていたため、その能力を直接つかうことはできなかった。
HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える輝度範囲の階調をある程度保つように、「HDR→疑似HDR変換処理」を行っている。このため、元のHDRに近い疑似HDR映像としてSDRTVに表示させることができる。
この「HDR→疑似HDR変換処理」技術をBlu-rayに応用した場合は、図23に示すように、HDRディスクにはHDR信号のみを格納し、Blu-ray機器にSDRTVを接続した場合、Blu-ray機器が、「HDR→疑似HDR変換処理」を行い、HDR信号を疑似HDR信号に変換してSDRTVに送る。これにより、SDRTVは、受信した疑似HDR信号から輝度値に変換することで、疑似的なHDR効果を持った映像を表示させることができる。このように、HDR対応TVが無い場合でも、HDR対応のBDとHDR対応のBlu-ray機器を用意すれば、SDRTVであっても、SDR映像よりも高画質な疑似HDR映像を表示させることができる。
従って、HDR映像を見るためにはHDR対応TVが必要と考えられていたが、HDR的な効果を実感できる疑似HDR映像を、既存のSDRTVで見ることができる。これにより、HDR対応Blu-rayの普及が期待できる。
[24.効果等]
放送、Blu-ray等のパッケージメディア、OTT等のインターネット配信により送られてきたHDR信号を、HDR-疑似HDR変換処理を行うことで、疑似HDR信号に変換する。これにより、HDR信号を疑似HDR映像として既存のSDRTVで表示することが可能となる。
放送、Blu-ray等のパッケージメディア、OTT等のインターネット配信により送られてきたHDR信号を、HDR-疑似HDR変換処理を行うことで、疑似HDR信号に変換する。これにより、HDR信号を疑似HDR映像として既存のSDRTVで表示することが可能となる。
[25.EOTFについて]
ここで、EOTFについて、図24Aおよび図24Bを用いて説明する。
ここで、EOTFについて、図24Aおよび図24Bを用いて説明する。
図24Aは、HDRおよびSDRのそれぞれに対応したEOTF(Electro-Optical Transfer Function)の例について示す図である。
EOTFは、一般的にガンマカーブと呼ばれるものであり、コード値と輝度値との対応を示し、コード値を輝度値に変換するものである。つまり、EOTFは、複数のコード値と輝度値との対応関係を示す関係情報である。
また、図24Bは、HDRおよびSDRのそれぞれに対応した逆EOTFの例について示す図である。
逆EOTFは、輝度値とコード値との対応を示し、EOTFとは逆に輝度値を量子化してコード値に変換するものである。つまり、逆EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、HDRに対応した映像の輝度値を10ビットの階調のコード値で表現する場合、10,000nitまでのHDRの輝度範囲における輝度値は、量子化されて、0~1023までの1024個の整数値にマッピングされる。つまり、逆EOTFに基づいて量子化することで、10,000nitまでの輝度範囲の輝度値(HDRに対応した映像の輝度値)を、10ビットのコード値であるHDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。)またはHDRに対応した逆EOTF(以下、「HDRの逆EOTF」という。)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)またはSDRに対応した逆EOTF(以下、「SDRの逆EOTF」という。)よりも高い輝度値を表現することが可能であり、例えば、図24Aおよび図24Bにおいては、輝度の最大値(ピーク輝度)は、10,000nitである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である100nitから、10,000nitまで、最大値を拡大した輝度範囲である。
例えば、HDRのEOTFおよびHDRの逆EOTFは、一例として、米国映画テレビ技術者協会(SMPTE)で規格化されたSMPTE 2084がある。
なお、以降の明細書中において、図24A及び図24Bに記載されている0nitからピーク輝度である100nitまでの輝度範囲は、第1輝度範囲と記載される場合がある。同様に、図24A及び図24Bに記載されている、0nitからピーク輝度である10,000nitまでの輝度範囲は、第2輝度範囲と記載される場合がある。
[26.変換装置および表示装置]
図25は、実施の形態の変換装置および表示装置の構成を示すブロック図である。図26は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。
図25は、実施の形態の変換装置および表示装置の構成を示すブロック図である。図26は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。
図25に示すように、変換装置100は、HDRのEOTF変換部101、輝度変換部102、逆輝度変換部103、および逆SDRのEOTF変換部104を備える。また、表示装置200は、表示設定部201、SDRのEOTF変換部202、輝度変換部203、および表示部204を備える。
変換装置100および表示装置200の各構成要素についての詳細な説明は、変換方法および表示方法の説明において行う。
[27.変換方法および表示方法]
変換装置100が行う変換方法について、図26を用いて説明する。なお、変換方法は、以下で説明するステップS101~ステップS104を含む。
変換装置100が行う変換方法について、図26を用いて説明する。なお、変換方法は、以下で説明するステップS101~ステップS104を含む。
まず、変換装置100のHDRのEOTF変換部101は、逆HDRのEOTF変換が行われたHDR映像を取得する。変換装置100のHDRのEOTF変換部101は、取得したHDR映像のHDR信号に対して、HDRのEOTF変換を実施する(S101)。これにより、HDRのEOTF変換部101は、取得したHDR信号を、輝度値を示すリニアな信号に変換する。HDRのEOTFは、例えばSMPTE 2084がある。
次に、変換装置100の輝度変換部102は、HDRのEOTF変換部101により変換されたリニアな信号を、ディスプレイ特性情報とコンテンツ輝度情報とを用いて変換する第1輝度変換を行う(S102)。第1輝度変換において、HDRの輝度範囲に対応した輝度値(以下、「HDRの輝度値」という。)を、ディスプレイの輝度範囲に対応した輝度値(以下、「ディスプレイ輝度値」という。)に変換する。詳細は後述する。
上記のことから、HDRのEOTF変換部101は、映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号としてのHDR信号を取得する取得部として機能する。また、HDRのEOTF変換部101および輝度変換部102は、取得部により取得されたHDR信号が示すコード値を、ディスプレイ(表示装置200)の輝度範囲に基づいて決定する、HDRの輝度範囲の最大値(HPL)よりも小さく、かつ、100nitよりも大きい最大値(DPL)であるディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する変換部として機能する。
より具体的には、HDRのEOTF変換部101は、ステップS101において、取得したHDR信号と、HDRのEOTFとを用いて、取得したHDR信号が示す第1コード値としてのHDRのコード値について、HDRのコード値にHDRのEOTFにおいて関係付けられたHDRの輝度値を決定する。なお、HDR信号は、HDRの輝度範囲における輝度値と、複数のHDRのコード値とを関係付けたHDRの逆EOTFを用いて、映像(コンテンツ)の輝度値が量子化されることで得られたHDRのコード値を示す。
また、輝度変換部102は、ステップS102において、ステップS101で決定したHDRの輝度値について、当該HDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、HDRの輝度範囲に対応するHDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第1輝度変換を行う。
また、変換装置100は、ステップS102の前に、映像(コンテンツ)の輝度の最大値(CPL:Content Peak luminance)および映像の平均輝度値(CAL:Content Average luminance)の少なくとも一方を含むコンテンツ輝度情報をHDR信号に関する情報として取得している。CPL(第1最大輝度値)は、例えば、HDR映像を構成する複数の画像に対する輝度値のうちの最大値である。また、CALは、例えば、HDR映像を構成する複数の画像に対する輝度値の平均である平均輝度値である。
また、変換装置100は、ステップS102の前に、表示装置200から表示装置200のディスプレイ特性情報を取得している。なお、ディスプレイ特性情報とは、表示装置200が表示できる輝度の最大値(DPL)、表示装置200の表示モード(後述参照)、入出力特性(表示装置が対応するEOTF)などの表示装置200の表示特性を示す情報である。
また、変換装置100は、推奨表示設定情報(後述参照、以下、「設定情報」ともいう。)を表示装置200に送信してもよい。
次に、変換装置100の逆輝度変換部103は、表示装置200の表示モードに応じた逆輝度変換を行う。これにより、逆輝度変換部103は、ディスプレイの輝度範囲に対応した輝度値を、SDRの輝度範囲(0~100〔nit〕)に対応する輝度値に変換する第2輝度変換を行う(S103)。詳細は後述する。つまり、逆輝度変換部103は、ステップS102で得られたディスプレイ輝度値について、当該ディスプレイ輝度値に予め関係付けられた、100nitを最大値とするSDRの輝度範囲に対応する第3輝度値としてのSDRに対応した輝度値(以下、「SDRの輝度値」という。)SDRの輝度値を決定し、ディスプレイの輝度範囲に対応するディスプレイ輝度値を、SDRの輝度範囲に対応するSDRの輝度値へ変換する第2輝度変換を行う。
そして、変換装置100の逆SDRのEOTF変換部104は、逆SDRのEOTF変換を行うことで、疑似HDR映像を生成する(S104)。つまり、逆SDRのEOTF変換部104は、HDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けた第3関係情報であるSDR(Standard Dynamic Range)の逆EOTF(Electro-Optical Transfer Function)を用いて、決定したSDRの輝度値を量子化し、量子化により得られた第3コード値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、第3コード値を示す第3輝度信号としてのSDR信号へ変換することで、疑似HDR信号を生成する。なお、第3コード値は、SDRに対応したコード値であり、以下では、「SDRのコード値」という。つまり、SDR信号は、SDRの輝度範囲における輝度値と、複数のSDRのコード値とを関係付けたSDRの逆EOTFを用いて、映像の輝度値が量子化されることで得られたSDRのコード値で表される。そして、変換装置100は、ステップS104で生成した疑似HDR信号(SDR信号)を表示装置200へ出力する。
変換装置100は、HDR信号を逆量子化することで得られたHDRの輝度値に対して、第1輝度変換および第2輝度変換を行うことで、疑似HDRに対応したSDRの輝度値を生成し、SDRの輝度値をSDRのEOTFを用いて量子化することで、疑似HDRに対応したSDR信号を生成する。なお、SDRの輝度値は、SDRに対応した0~100nitの輝度範囲内の数値であるが、ディスプレイの輝度範囲に基づく変換を行っているため、HDRの輝度値に対してHDRのEOTFおよびSDRのEOTFを用いた輝度変換を行うことで得られたSDRに対応した0~100nitの輝度範囲内の輝度値とは異なる数値である。
次に、表示装置200が行う表示方法について、図26を用いて説明する。なお、表示方法は、以下で説明するステップS105~ステップS108を含む。
まず、表示装置200の表示設定部201は、変換装置100から取得した設定情報を用いて、表示装置200の表示設定を設定する(S105)。ここで、表示装置200は、SDRTVである。設定情報は、表示装置に対して推奨する表示設定を示す情報であり、疑似HDR映像をどのようにEOTFし、どの設定で表示すれば美しい映像を表示することができるかを示す情報(つまり、表示装置200の表示設定を最適な表示設定に切り替えるための情報)である。設定情報は、例えば、表示装置における出力時のガンマカーブ特性や、リビングモード(ノーマルモード)やダイナミックモード等の表示モード、バックライト(明るさ)の数値などを含む。また、ユーザに、表示装置200の表示設定をマニュアル操作で変更することを促すようなメッセージを、表示装置200(以下、「SDRディスプレイ」ともいう)に表示してもよい。詳細は後述する。
なお、表示装置200は、ステップS105の前に、SDR信号(疑似HDR信号)と、映像の表示にあたって表示装置200に対して推奨する表示設定を示す設定情報とを取得する。
また、表示装置200は、SDR信号(疑似HDR信号)の取得を、ステップS106の前に行えばよく、ステップS105の後に行ってもよい。
次に、表示装置200のSDRのEOTF変換部202は、取得した疑似HDR信号に対し、SDRのEOTF変換を行う(S106)。つまり、SDRのEOTF変換部202は、SDR信号(疑似HDR信号)を、SDRのEOTFを用いて逆量子化を行う。これにより、SDRのEOTF変換部202は、SDR信号が示すSDRのコード値を、SDRの輝度値に変換する。
そして、表示装置200の輝度変換部203は、表示装置200に設定された表示モードに応じた輝度変換を行う。これにより、輝度変換部203は、SDRの輝度範囲(0~100〔nit〕)に対応したSDRの輝度値を、ディスプレイの輝度範囲(0~DPL〔nit〕)に対応したディスプレイ輝度値に変換する第3輝度変換を行う(S107)。詳細は後述する。
上記のことから、表示装置200は、ステップS106およびステップS107において、取得したSDR信号(疑似HDR信号)が示す第3コード値を、ステップS105で取得した設定情報を用いて、ディスプレイの輝度範囲(0~DPL〔nit〕)に対応するディスプレイ輝度値へ変換する。
より具体的には、SDR信号(疑似HDR信号)からディスプレイ輝度値への変換では、ステップS106において、SDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けたEOTFを用いて、取得したSDR信号が示すSDRのコード値について、SDRのコード値にSDRのEOTFで関係付けられたSDRの輝度値を決定する。
そして、ディスプレイ輝度値への変換では、ステップS107において、決定したSDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第3輝度変換を行う。
最後に、表示装置200の表示部204は、変換したディスプレイ輝度値に基づいて、疑似HDR映像を表示装置200に表示する(S108)。
[28.第1輝度変換]
次に、ステップS102の第1輝度変換(HPL→DPL)の詳細について、図27Aを用いて説明する。図27Aは、第1輝度変換の一例について説明するための図である。
次に、ステップS102の第1輝度変換(HPL→DPL)の詳細について、図27Aを用いて説明する。図27Aは、第1輝度変換の一例について説明するための図である。
変換装置100の輝度変換部102は、ステップS101で得られたリニアな信号(HDRの輝度値)を、ディスプレイ特性情報と、HDR映像のコンテンツ輝度情報とを用いて変換する第1輝度変換を行う。第1輝度変換は、HDRの輝度値(入力輝度値)を、ディスプレイピーク輝度(DPL)を超えないディスプレイ輝度値(出力輝度値)に変換する。DPLは、ディスプレイ特性情報であるSDRディスプレイの最大輝度および表示モードを用いて決定する。表示モードは、例えば、SDRディスプレイに暗めに表示するシアターモードや、明るめに表示するダイナミックモード等のモード情報である。表示モードが、例えば、SDRディスプレイの最大輝度が1,500nitであり、かつ、表示モードが最大輝度の50%の明るさにするモードである場合、DPLは、750nitとなる。ここで、DPL(第2最大輝度値)とは、SDRディスプレイが現在設定されている表示モードにおいて表示できる輝度の最大値である。つまり、第1輝度変換では、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報を用いて、第2最大輝度値としてのDPLを決定する。
また、第1輝度変換では、コンテンツ輝度情報のうちのCALとCPLとを用い、CAL付近以下の輝度値は、変換の前後で同一とし、CPL付近以上の輝度値に対してのみ輝度値を変更する。つまり、図27Aに示すように、第1輝度変換では、当該HDRの輝度値がCAL以下の場合、当該HDRの輝度値を変換せず、当該HDRの輝度値を、ディスプレイ輝度値として決定し、当該HDRの輝度値がCPL以上の場合、第2最大輝度値としてのDPLを、ディスプレイ輝度値として決定する。
また、第1輝度変換では、輝度情報のうちのHDR映像のピーク輝度(CPL)を用い、HDRの輝度値がCPLの場合、DPLを、ディスプレイ輝度値として決定する。
なお、第1輝度変換では、図27Bのように、ステップS101で得られたリニアな信号(HDRの輝度値)を、DPLを超えない値にクリップするように変換してもよい。このような輝度変換を行うことで、変換装置100での処理を簡素化することができ、装置の縮小化、低電力化、処理の高速化が図れる。なお、図27Bは、第1輝度変換の他の一例について説明するための図である。
[29-1.第2輝度変換]
次に、ステップS103の第2輝度変換(DPL→100〔nit〕)の詳細について、図28を用いて説明する。図28は、第2輝度変換について説明するための図である。
次に、ステップS103の第2輝度変換(DPL→100〔nit〕)の詳細について、図28を用いて説明する。図28は、第2輝度変換について説明するための図である。
変換装置100の逆輝度変換部103は、ステップS102の第1輝度変換で変換されたディスプレイの輝度範囲(0~DPL〔nit〕)のディスプレイ輝度値に対し、表示モードに応じた逆輝度変換を施す。逆輝度変換は、SDRディスプレイによる表示モードに応じた輝度変換処理(ステップS107)が行われた場合に、ステップS102処理後のディスプレイの輝度範囲(0~DPL〔nit〕)のディスプレイ輝度値を取得できるようにするための処理である。つまり、第2輝度変換は、第3輝度変換の逆輝度変換である。
上記の処理により、第2輝度変換は、ディスプレイの輝度範囲のディスプレイ輝度値(入力輝度値)を、SDRの輝度範囲のSDRの輝度値(出力輝度値)に変換する。
第2輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合、ディスプレイ輝度値に正比例する正比例値に輝度変換する。また、第2輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、その逆関数を用いることで、低輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より高い値に、高輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より低い値に輝度変換する。つまり、第2輝度変換では、ステップS102において決定したディスプレイ輝度値について、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報に応じた輝度関係情報を用いて、当該ディスプレイ輝度値に関係付けられた輝度値をSDRの輝度値として決定し、ディスプレイ特性情報に応じて輝度変換処理を切り替える。ここで、ディスプレイ特性情報に応じた輝度関係情報とは、例えば図28に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、ディスプレイ輝度値(入力輝度値)と、SDRの輝度値(出力輝度値)とを関係付けた情報である。
[29-2.第3輝度変換]
次に、ステップS107の第3輝度変換(100→DPL〔nit〕)の詳細について、図29を用いて説明する。図29は、第3輝度変換について説明するための図である。
次に、ステップS107の第3輝度変換(100→DPL〔nit〕)の詳細について、図29を用いて説明する。図29は、第3輝度変換について説明するための図である。
表示装置200の輝度変換部203は、SDRの輝度範囲(0~100〔nit〕)のSDRの輝度値をステップS105で設定された表示モードに応じて(0~DPL〔nit〕)に変換する。本処理はS103のモード毎の逆輝度変換の逆関数となるように処理する。
第3輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合(つまり、設定された表示パラメータがノーマルモードに対応したパラメータである場合)、ディスプレイ輝度値は、SDRの輝度値に正比例する正比例値に輝度変換する。また、第3輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、低輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より低い値に、高輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より高い値に輝度変換する。つまり、第3輝度変換では、ステップS106において決定したSDRの輝度値について、SDRディスプレイの表示設定を示す表示パラメータに応じた輝度関係情報を用いて、当該SDRの輝度値に予め関係付けられた輝度値をディスプレイ輝度値として決定し、表示パラメータに応じて輝度変換処理を切り替える。ここで、表示パラメータに応じた輝度関係情報とは、例えば図29に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、SDRの輝度値(入力輝度値)と、ディスプレイ輝度値(出力輝度値)とを関係付けた情報である。
[30.表示設定]
次に、ステップS105の表示設定の詳細について、図30を用いて説明する。図30は、表示設定の詳細な処理を示すフローチャートである。
次に、ステップS105の表示設定の詳細について、図30を用いて説明する。図30は、表示設定の詳細な処理を示すフローチャートである。
SDRディスプレイの表示設定部201は、ステップS105において、下記のステップS201~ステップS208の処理を行う。
まず、表示設定部201は、設定情報を用いて、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)が、疑似HDR映像(SDR信号)の生成時に想定したEOTFと整合しているかどうかを判定する(S201)。
表示設定部201は、SDRディスプレイに設定されているEOTFが、設定情報が示すEOTF(疑似HDR映像に整合するEOTF)と異なっていると判定した場合(S201でYes)、SDRディスプレイ用EOTFをシステム側で切り替え可能かを判定する(S202)。
表示設定部201は、切り替え可能であると判定した場合、設定情報を用いて、SDRディスプレイ用EOTFを適切なEOTFに切り替える(S203)。
ステップS201~ステップS203から、表示設定の設定(S105)では、SDRディスプレイに設定されているEOTFを、取得した設定情報に応じた推奨EOTFに設定する。また、これにより、ステップS105の後に行われるステップS106では、推奨EOTFを用いて、SDRの輝度値を決定することができる。
システム側で切り替え可能でないと判定した場合(S202でNo)、EOTFをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S204)。例えば、「表示ガンマを2.4に設定して下さい」というメッセージを画面に表示する。つまり、表示設定部201は、表示設定の設定(S105)において、SDRディスプレイに設定されているEOTFを切り替えできない場合、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)を、推奨EOTFに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
次に、SDRディスプレイでは、疑似HDR映像(SDR信号)を表示するが、表示の前に設定情報を用いてSDRディスプレイの表示パラメータが設定情報に合っているかを判定する(S205)。
表示設定部201は、SDRディスプレイに設定されている表示パラメータが、設定情報とは異なっていると判定した場合(S205でYes)、SDRディスプレイの表示パラメータを、切り替え可能かを判定する(S206)。
表示設定部201は、SDRディスプレイの表示パラメータを切り替え可能であると判定した場合(S206でYes)、設定情報に合わせて、SDRディスプレイの表示パラメータを切り替える(S207)。
ステップS204~ステップS207から、表示設定の設定(S105)では、SDRディスプレイに設定されている表示パラメータを、取得した設定情報に応じた推奨表示パラメータに設定する。
システム側で切り替え可能でないと判定した場合(S206でNo)、SDRディスプレイに設定されている表示パラメータをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S208)。例えば、「表示モードをダイナミックモードにし、バックライトを最大にして下さい」というメッセージを画面に表示する。つまり、設定(S105)では、SDRディスプレイに設定されている表示パラメータを切り替えできない場合、SDRディスプレイに設定されている表示パラメータを、推奨表示パラメータに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
[31.変形例1]
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態1にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態1にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下では、他の実施の形態を例示する。
HDR映像は、例えばBlu-ray Disc、DVD、インターネットの動画配信サイト、放送、HDD内の映像である。
変換装置100(HDR→疑似HDR変換処理部)は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パソコン、スマートフォンの内部に存在していてもよい。変換装置100は、インターネット内のサーバ装置の内部に存在していてもよい。
表示装置200(SDR表示部)は、例えばテレビ、パソコン、スマートフォンである。
変換装置100が取得するディスプレイ特性情報は、表示装置200からHDMIや他の通信プロトコルを用いてHDMIケーブルやLANケーブルを介して取得してもよい。変換装置100が取得するディスプレイ特性情報は、インターネットを介して表示装置200の機種情報等に含まれるディスプレイ特性情報を取得してもよい。また、ユーザがマニュアル操作を行い、ディスプレイ特性情報を、変換装置100に設定してもよい。また、変換装置100のディスプレイ特性情報の取得は、疑似HDR映像生成(ステップS101~S104)時の直前でもよいし、機器の初期設定時やディスプレイ接続時のタイミングでもよい。例えば、ディスプレイ特性情報の取得は、ディスプレイ輝度値への変換の直前に行ってもよいし、変換装置100がHDMIケーブルで最初に表示装置200に接続したタイミングで行ってもよい。
また、HDR映像のCPLやCALは、コンテンツ1つに対して1つでもよいし、シーン毎に存在していてもよい。つまり、変換方法では、映像の複数のシーンのそれぞれに対応した輝度情報であって、当該シーン毎に、当該シーンを構成する複数の画像に対する輝度値のうちの最大値である第1最大輝度値と、当該シーンを構成する複数の画像に対する輝度値の平均である平均輝度値との少なくとも一方を含む輝度情報(CPL、CAL)を取得し、第1輝度変換では、複数のシーンのそれぞれについて、当該シーンに対応した輝度情報に応じてディスプレイ輝度値を決定してもよい。
また、CPLおよびCALは、HDR映像と同じ媒体(Blu-ray Disc、DVD等)に同梱していてもよいし、変換装置100がインターネットから取得する等、HDR映像とは別の場所から取得してもよい。つまり、CPLおよびCALの少なくとも一方を含む輝度情報を映像のメタ情報として取得してもよいし、ネットワーク経由で取得してもよい。
また、変換装置100の第1輝度変換(HPL→DPL)において、CPL、CAL、およびディスプレイピーク輝度(DPL)は使用せずに、固定値を用いてもよい。また、その固定値を外部から変更可能にしてもよい。また、CPL、CAL、およびDPLは、数種類で切り替えるようにしてもよく、例えば、DPLは200nit、400nit、800nitの3種類のみとするようにしてもよいし、ディスプレイ特性情報に最も近い値を使用するようにしてもよい。
また、HDRのEOTFはSMPTE 2084でなくてもよく、他の種類のHDRのEOTFを用いてもよい。また、HDR映像の最大輝度(HPL)は10,000nitでなくてもよく、例えば4,000nitや1,000nitでもよい。
また、コード値のビット幅は、例えば16,14,12,10,8bitでもよい。
また、逆SDRのEOTF変換は、ディスプレイ特性情報から決定するが、(外部からも変更可能な)固定の変換関数を用いてもよい。逆SDRのEOTF変換は、例えばRec. ITU-R BT.1886で規定されている関数を用いてもよい。また、逆SDRのEOTF変換の種類を数種類に絞り、表示装置200の入出力特性に最も近いものを選択して使用するようにしてもよい。
また、表示モードは、固定のモードを使うようにしてもよく、ディスプレイ特性情報の中に含めなくてもよい。
また、変換装置100は、設定情報を送信しなくてもよく、表示装置200では固定の表示設定としてもよいし、表示設定を変更しなくてもよい。この場合、表示設定部201は不要となる。また、設定情報は、疑似HDR映像かどうかのフラグ情報でもよく、例えば、疑似HDR映像である場合は最も明るく表示する設定に変更するようにしてもよい。つまり、表示設定の設定(S105)では、取得した設定情報が、DPLを用いて変換された疑似HDR映像を示す信号であることを示す場合、表示装置200の明るさ設定を最も明るく表示する設定に切り替えてもよい。
[32.変形例2]
また、変換装置100の第1輝度変換(HPL→DPL)は例えば次の算式で変換する。
また、変換装置100の第1輝度変換(HPL→DPL)は例えば次の算式で変換する。
ここで、Lは、0~1に正規化された輝度値を示し、S1、S2、a、b、MはCAL、CPL、およびDPLに基づいて設定する値である。lnは自然対数である。Vは0~1に正規化された変換後の輝度値である。図27Aの例のように、CALを300nitとし、CPLを2,000nitとし、DPLを750nitとし、CAL + 50nitまでは変換しないとし、350nit以上に対して変換する場合、それぞれの値は例えば次のような値となる。
S1 = 350/10000
S2 = 2000/10000
M = 750/10000
a = 0.023
b = S1 - a*ln(S1) = 0.112105
つまり、第1輝度変換では、SDRの輝度値が、平均輝度値(CAL)と第1最大輝度値(CPL)との間である場合、自然対数を用いて、当該HDRの輝度値に対応するディスプレイ輝度値を決定する。
S2 = 2000/10000
M = 750/10000
a = 0.023
b = S1 - a*ln(S1) = 0.112105
つまり、第1輝度変換では、SDRの輝度値が、平均輝度値(CAL)と第1最大輝度値(CPL)との間である場合、自然対数を用いて、当該HDRの輝度値に対応するディスプレイ輝度値を決定する。
[33.効果等]
HDR映像のコンテンツピーク輝度やコンテンツ平均輝度等の情報を用いてHDR映像を変換することにより、コンテンツに応じて変換式を変えることができ、HDRの階調をなるべく保つように変換することが可能となる。また、暗すぎる、明るすぎるといった悪影響を抑制することができる。具体的には、HDR映像のコンテンツピーク輝度をディスプレイピーク輝度にマッピングすることにより、階調をなるべく保つようにしている。また、平均輝度付近以下の画素値を変えないことにより、全体的な明るさが変わらないようにしている。
HDR映像のコンテンツピーク輝度やコンテンツ平均輝度等の情報を用いてHDR映像を変換することにより、コンテンツに応じて変換式を変えることができ、HDRの階調をなるべく保つように変換することが可能となる。また、暗すぎる、明るすぎるといった悪影響を抑制することができる。具体的には、HDR映像のコンテンツピーク輝度をディスプレイピーク輝度にマッピングすることにより、階調をなるべく保つようにしている。また、平均輝度付近以下の画素値を変えないことにより、全体的な明るさが変わらないようにしている。
また、SDRディスプレイのピーク輝度値および表示モードを用いてHDR映像を変換することにより、SDRディスプレイの表示環境に応じて変換式を変えることができ、SDRディスプレイの性能に合わせて、HDR感のある映像(疑似HDR映像)を、元のHDR映像と同様の階調や明るさで表示することができる。具体的には、SDRディスプレイの最大輝度および表示モードによってディスプレイピーク輝度を決定し、そのピーク輝度値を超えないようにHDR映像を変換することにより、SDRディスプレイで表示可能な明るさまではHDR映像の階調をほとんど減らさずに表示し、表示不可能な明るさは表示可能な明るさまで輝度値を下げている。
以上により、表示不可能な明るさ情報を削減し、表示可能な明るさの階調を落とさず、元のHDR映像に近い形で表示することが可能となる。例えば、ピーク輝度1,000nitのディスプレイ用には、ピーク輝度1,000nitに抑えた疑似HDR映像に変換することにより、全体的な明るさを維持し、ディスプレイの表示モードによって輝度値は変わる。このため、ディスプレイの表示モードに応じて、輝度の変換式を変更するようにしている。もし、ディスプレイのピーク輝度よりも大きな輝度を疑似HDR映像で許容すると、その大きな輝度をディスプレイ側でのピーク輝度に置き換えて表示する場合があり、その場合は元のHDR映像よりも全体的に暗くなる。逆にディスプレイのピーク輝度よりも小さな輝度を最大輝度として変換すると、その小さな輝度をディスプレイ側でのピーク輝度に置き換え、元のHDR映像よりも全体的に明るくなる。しかもディスプレイ側のピーク輝度よりも小さいためにディスプレイの階調に関する性能を最大限使っていないことになる。
また、ディスプレイ側では、設定情報を用いて表示設定を切り替えることにより、疑似HDR映像をよりよく表示することが可能となる。例えば、明るさを暗く設定している場合には高輝度表示ができないため、HDR感が損なわれる。その場合には表示設定を変更するもしくは、変更してもらうよう促すメッセージを表示することにより、ディスプレイの性能を最大限引出し、高階調な映像を表示できるようにする。
(全体のまとめ)
以上、本開示の一つまたは複数の態様に係る再生方法および再生装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
以上、本開示の一つまたは複数の態様に係る再生方法および再生装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記各実施の形態において、各構成要素は、回路などの専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
本開示は、コンテンツデータ生成装置、Blu-ray機器等の映像ストリーム伝送装置、又はテレビ等の映像表示装置に適用できる。
100 変換装置
101 EOTF変換部
102 輝度変換部
103 逆輝度変換部
104 逆SDRのEOTF変換部
200 表示装置
201 表示設定部
202 SDRのEOTF変換部
203 輝度変換部
204 表示部
300 Blu-ray機器
101 EOTF変換部
102 輝度変換部
103 逆輝度変換部
104 逆SDRのEOTF変換部
200 表示装置
201 表示設定部
202 SDRのEOTF変換部
203 輝度変換部
204 表示部
300 Blu-ray機器
Claims (20)
- コンテンツデータを生成するコンテンツデータ生成方法であって、
映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータを生成する第1生成ステップと、
前記連続再生単位と前記第1メタデータとを関連付けることにより前記コンテンツデータを生成する第2生成ステップを含む
コンテンツデータ生成方法。 - 前記映像信号における輝度値は、コード値として符号化されており、
前記輝度範囲に関する前記情報は、複数の輝度値と複数のコード値とを関係付けたEOTF(Electro-Optical Transfer Function)を特定するための情報である
請求項1記載のコンテンツデータ生成方法。 - 前記第1メタデータは、さらに、前記映像信号における白色に相当する輝度値を示す情報を含む
請求項2記載のコンテンツデータ生成方法。 - 前記第1生成ステップでは、
前記コンテンツデータをHEVC(High Efficiency Video Coding)により符号化した映像ストリームとして生成し、
前記EOTFを特定するための前記情報を、前記映像ストリームに含まれるSPS(Sequence Parameter Set)に格納する
請求項2又は3記載のコンテンツデータ生成方法。 - 前記連続再生単位は、プレイリスト単位であり、
前記生成ステップでは、前記第1メタデータを、各プレイリストに対応付けて格納する
請求項1~3のいずれか1項に記載のコンテンツデータ生成方法。 - 前記第1生成ステップでは、
前記映像信号を映像ストリームとして生成し、
前記第1メタデータを、前記映像ストリームの取得に先立って参照されるマニフェストファイルに格納する
請求項1~3のいずれか1項に記載のコンテンツデータ生成方法。 - 前記第1生成ステップでは、
前記コンテンツデータを映像ストリームとして生成し、
前記第1メタデータを前記映像ストリームの属性を示す識別子として前記映像ストリームとは独立に格納する
請求項1~3のいずれか1項に記載のコンテンツデータ生成方法。 - 前記連続再生単位は、タイトル単位であり、
前記第1生成ステップでは、前記第1メタデータを、タイトルの属性を示す管理情報として格納する
請求項1~3のいずれか1項に記載のコンテンツデータ生成方法。 - 前記第1生成ステップでは、前記連続再生単位より細かい単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報である第2メタデータをさらに生成する
請求項1~8のいずれか1項に記載のコンテンツデータ生成方法。 - 前記第1メタデータは、複数のバージョンを有し、前記複数のバーションで共通に用いられる基本部と、前記複数のバージョンで異なる拡張部とを含む
請求項1~9のいずれか1項に記載のコンテンツデータ生成方法。 - 映像ストリームを伝送する映像ストリーム伝送方法であって、
映像信号と、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータとを含むコンテンツデータを取得する取得ステップと、
前記映像信号に対応する前記映像ストリームと、前記第1メタデータとを伝送する伝送ステップとを含む
映像ストリーム伝送方法。 - 前記伝送ステップでは、HDMI(High-Definition Multimedia Interface)の通信プロトコルに従い、前記映像ストリームと前記第1メタデータとを伝送する
請求項11記載の映像ストリーム伝送方法。 - 前記連続再生単位はプレイリスト単位であり、
前記伝送ステップでは、プレイリストを構成する映像信号の伝送開始に先立って、当該プレイリストに対応する前記第1メタデータを取得し、取得した前記第1メタデータを前記HDMIの制御情報として伝送する
請求項12記載の映像ストリーム伝送方法。 - 前記連続再生単位はタイトル単位であり、
前記伝送ステップでは、タイトルを構成する映像信号の伝送開始に先立って、当該タイトルに対応する前記第1メタデータを取得し、取得した前記第1メタデータを前記HDMIの制御情報として伝送する
請求項12記載の映像ストリーム伝送方法。 - 前記第1メタデータを格納するためのコンテナのデータ構造が規定されており、
前記伝送ステップでは、前記コンテンツデータに含まれる前記第1メタデータを、前記コンテナのペイロードにコピーし、当該コンテナを伝送する
請求項11記載の映像ストリーム伝送方法。 - 前記伝送ステップでは、前記HDMIにおける初期化時に、初期化情報として前記第1メタデータを伝送する
請求項12記載の映像ストリーム伝送方法。 - 映像ストリームに基づき映像を表示する映像表示方法であって、
映像信号に対応する前記映像ストリームと、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報を含む第1メタデータとを取得する第1取得ステップと、
前記第1メタデータに基づき、前記映像信号に対応する映像の表示方法を決定して表示する表示ステップとを含む
映像表示方法。 - 前記映像表示方法は、さらに、前記映像ストリームから、前記連続再生単位より細かい単位に対して共通に用いられる情報であって、前記映像信号の輝度範囲に関する情報である第2メタデータを取得する第2取得ステップを含み、
前記表示ステップでは、
前記第1メタデータに基づき決定された表示方法を、前記第2メタデータに基づき決定された表示方法に更新する
請求項17記載の映像表示方法。 - 前記第1取得ステップで前記第1メタデータを取得できない場合、前記表示ステップでは、予め定められた値または設定に基づき、前記表示方法を決定する
請求項17記載の映像表示方法。 - 前記映像信号における輝度値は、コード値として符号化されており、
前記輝度範囲に関する前記情報は、複数の輝度値と複数のコード値とを関係付けたEOTF(Electro-Optical Transfer Function)を特定するための情報を含み、
前記表示ステップでは、前記第1メタデータで特定される前記EOTFを用いて、前記映像信号で示されるコード値を輝度値に変換することで前記映像を生成する
請求項17記載の映像表示方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462016825P | 2014-06-25 | 2014-06-25 | |
US62/016,825 | 2014-06-25 | ||
JP2015104893A JP2017139511A (ja) | 2014-06-25 | 2015-05-22 | コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法 |
JP2015-104893 | 2015-05-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015198552A1 true WO2015198552A1 (ja) | 2015-12-30 |
Family
ID=54937663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/002972 WO2015198552A1 (ja) | 2014-06-25 | 2015-06-15 | コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2015198552A1 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016173477A (ja) * | 2015-03-17 | 2016-09-29 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
JP2016195379A (ja) * | 2016-01-05 | 2016-11-17 | ソニー株式会社 | ビデオシステム、ビデオ処理方法、プログラム、カメラシステムおよびビデオコンバーター |
WO2017051808A1 (ja) * | 2015-09-25 | 2017-03-30 | 日立マクセル株式会社 | 放送受信装置 |
WO2017145722A1 (ja) * | 2016-02-26 | 2017-08-31 | ソニー株式会社 | 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム |
JP2018033164A (ja) * | 2017-10-25 | 2018-03-01 | ソニー株式会社 | カメラシステム、ビデオ処理方法およびプログラム |
CN109691122A (zh) * | 2016-09-12 | 2019-04-26 | 麦克赛尔株式会社 | 广播接收装置 |
WO2019087775A1 (ja) * | 2017-10-31 | 2019-05-09 | ソニー株式会社 | 再生装置、再生方法、プログラム、および記録媒体 |
JP2019204098A (ja) * | 2019-07-01 | 2019-11-28 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
US10708647B2 (en) | 2015-09-25 | 2020-07-07 | Maxell, Ltd. | Broadcast receiving apparatus |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012172460A1 (en) * | 2011-06-14 | 2012-12-20 | Koninklijke Philips Electronics N.V. | Graphics processing for high dynamic range video |
WO2013046095A1 (en) * | 2011-09-27 | 2013-04-04 | Koninklijke Philips Electronics N.V. | Apparatus and method for dynamic range transforming of images |
-
2015
- 2015-06-15 WO PCT/JP2015/002972 patent/WO2015198552A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012172460A1 (en) * | 2011-06-14 | 2012-12-20 | Koninklijke Philips Electronics N.V. | Graphics processing for high dynamic range video |
WO2013046095A1 (en) * | 2011-09-27 | 2013-04-04 | Koninklijke Philips Electronics N.V. | Apparatus and method for dynamic range transforming of images |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10565913B2 (en) | 2015-03-17 | 2020-02-18 | Canon Kabushiki Kaisha | Image display apparatus and control method thereof |
JP2016173477A (ja) * | 2015-03-17 | 2016-09-29 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
WO2017051808A1 (ja) * | 2015-09-25 | 2017-03-30 | 日立マクセル株式会社 | 放送受信装置 |
US11895353B2 (en) | 2015-09-25 | 2024-02-06 | Maxell, Ltd. | Broadcast receiving apparatus |
US11445239B2 (en) | 2015-09-25 | 2022-09-13 | Maxell, Ltd. | Broadcast receiving apparatus |
US11102541B2 (en) | 2015-09-25 | 2021-08-24 | Maxell, Ltd. | Broadcast receiving apparatus |
US10708647B2 (en) | 2015-09-25 | 2020-07-07 | Maxell, Ltd. | Broadcast receiving apparatus |
JP2016195379A (ja) * | 2016-01-05 | 2016-11-17 | ソニー株式会社 | ビデオシステム、ビデオ処理方法、プログラム、カメラシステムおよびビデオコンバーター |
US10855930B2 (en) | 2016-01-05 | 2020-12-01 | Sony Corporation | Video system, video processing method, program, camera system, and video converter |
JP6992740B2 (ja) | 2016-02-26 | 2022-01-13 | ソニーグループ株式会社 | 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム |
JPWO2017145722A1 (ja) * | 2016-02-26 | 2018-12-13 | ソニー株式会社 | 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム |
WO2017145722A1 (ja) * | 2016-02-26 | 2017-08-31 | ソニー株式会社 | 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム |
CN108701471A (zh) * | 2016-02-26 | 2018-10-23 | 索尼公司 | 信息处理装置、显示装置、信息记录介质、信息处理方法、以及程序 |
CN109691122B (zh) * | 2016-09-12 | 2022-08-09 | 麦克赛尔株式会社 | 广播接收装置 |
CN109691122A (zh) * | 2016-09-12 | 2019-04-26 | 麦克赛尔株式会社 | 广播接收装置 |
JP2018033164A (ja) * | 2017-10-25 | 2018-03-01 | ソニー株式会社 | カメラシステム、ビデオ処理方法およびプログラム |
JPWO2019087775A1 (ja) * | 2017-10-31 | 2020-11-19 | ソニー株式会社 | 再生装置、再生方法、プログラム、および記録媒体 |
WO2019087775A1 (ja) * | 2017-10-31 | 2019-05-09 | ソニー株式会社 | 再生装置、再生方法、プログラム、および記録媒体 |
US11153548B2 (en) | 2017-10-31 | 2021-10-19 | Sony Corporation | Reproduction apparatus, reproduction method, program, and recording medium |
KR20200077513A (ko) * | 2017-10-31 | 2020-06-30 | 소니 주식회사 | 재생 장치, 재생 방법, 프로그램, 및 기록 매체 |
CN111345034B (zh) * | 2017-10-31 | 2022-08-26 | 索尼公司 | 再现设备、再现方法、程序及记录介质 |
JP7251480B2 (ja) | 2017-10-31 | 2023-04-04 | ソニーグループ株式会社 | 再生装置、再生方法、プログラム |
KR102558213B1 (ko) | 2017-10-31 | 2023-07-24 | 소니그룹주식회사 | 재생 장치, 재생 방법, 프로그램, 및 기록 매체 |
CN111345034A (zh) * | 2017-10-31 | 2020-06-26 | 索尼公司 | 再现设备、再现方法、程序及记录介质 |
JP2019204098A (ja) * | 2019-07-01 | 2019-11-28 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6671022B2 (ja) | 表示装置、表示方法及びコンピュータプログラム | |
JP6566320B2 (ja) | データ出力装置及びデータ出力方法 | |
JP6573238B2 (ja) | 表示装置、変換装置、表示方法、および、コンピュータプログラム | |
JP6497522B2 (ja) | 再生方法および再生装置 | |
JP2017184253A (ja) | 表示装置、変換装置、表示方法及びコンピュータプログラム | |
WO2015198552A1 (ja) | コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法 | |
JP6928885B2 (ja) | 表示装置、表示方法及びコンピュータプログラム | |
JP6731627B2 (ja) | 再生装置で実行される方法、及び再生装置 | |
JP2017139511A (ja) | コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法 | |
JP7170236B2 (ja) | 再生装置 | |
JP6643669B2 (ja) | 表示装置および表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15811646 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
NENP | Non-entry into the national phase |
Ref country code: JP |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15811646 Country of ref document: EP Kind code of ref document: A1 |