[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2013042311A1 - 立体映像処理装置及び立体映像処理方法 - Google Patents

立体映像処理装置及び立体映像処理方法 Download PDF

Info

Publication number
WO2013042311A1
WO2013042311A1 PCT/JP2012/005253 JP2012005253W WO2013042311A1 WO 2013042311 A1 WO2013042311 A1 WO 2013042311A1 JP 2012005253 W JP2012005253 W JP 2012005253W WO 2013042311 A1 WO2013042311 A1 WO 2013042311A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
region
stereoscopic video
unit
video
Prior art date
Application number
PCT/JP2012/005253
Other languages
English (en)
French (fr)
Inventor
孝好 古山
津田　賢治郎
純幸 沖本
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2012555627A priority Critical patent/JP5281720B1/ja
Publication of WO2013042311A1 publication Critical patent/WO2013042311A1/ja
Priority to US13/889,900 priority patent/US9313477B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Definitions

  • the present disclosure relates to a stereoscopic video processing apparatus and a stereoscopic video processing method for displaying a stereoscopic video.
  • a 3D display device that can independently project left and right images having binocular parallax to the left and right eyes of a viewer is known.
  • the 3D display device realizes stereoscopic vision by shifting the display position on the 3D display device in the horizontal direction between the left-eye image displayed for the left eye and the right-eye image displayed for the right eye.
  • this deviation hereinafter referred to as the amount of parallax
  • the 3D display device when generating a stereoscopic image, the 3D display device generates a left-eye image and a right-eye image so that the amount of parallax falls within a predetermined range.
  • Patent Literature 1 discloses a method for allowing normal stereoscopic vision to be continued by changing an enlargement magnification according to an amount of parallax in an enlarged display region.
  • This disclosure provides an apparatus for enlarging and displaying a region including a position to be enlarged and displayed in a stereoscopic manner without changing the enlargement magnification.
  • a stereoscopic video processing apparatus is a stereoscopic video processing apparatus that performs processing for enlarging and displaying a part of stereoscopic video displayed on a display screen at a predetermined magnification on the display screen.
  • a video acquisition unit that acquires a video for viewing, a position acquisition unit that acquires a position of a first region that is a partial region in the video for stereoscopic viewing, and a parallax amount of the video for stereoscopic viewing
  • a parallax acquisition unit that acquires a stereoscopic video for each processing unit divided by a predetermined number of pixels, and a part of the stereoscopic video based on the size of the display screen and the predetermined magnification
  • a determining unit that determines a size of a certain enlarged display region on the display screen, and a plurality of second regions in the stereoscopic video image, each including the first region, and the determining unit
  • the plurality of the second having a determined size; Of range, and a region selection unit parallax amount of each the said processing units included in the second region to select the second region is within a predetermined range as the enlargement area.
  • the stereoscopic image processing apparatus can enlarge and display an image area that the viewer desires to enlarge as a stereoscopic image in which the enlargement magnification is maintained and the parallax is within a predetermined range.
  • FIG. 1 is a block diagram illustrating a configuration of the digital camera according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a detailed configuration of the controller according to the first embodiment.
  • FIG. 3 is a schematic diagram illustrating a method for specifying an enlarged display area of the digital camera according to the first embodiment.
  • FIG. 4 is a diagram for explaining the image size of the enlarged display area.
  • FIG. 5 is a diagram for explaining an enlargement candidate area.
  • FIG. 6 is a flowchart of the enlarged display operation of the controller according to the first embodiment.
  • FIG. 7 is a diagram for explaining a method of selecting an enlarged display area by the area selection unit.
  • FIG. 8 is a diagram illustrating a liquid crystal monitor on which an enlarged display image is displayed.
  • FIG. 8 is a diagram illustrating a liquid crystal monitor on which an enlarged display image is displayed.
  • FIG. 9 is a block diagram illustrating a detailed configuration of the controller according to the second embodiment.
  • FIG. 10 is a flowchart of the enlarged display operation of the controller according to the second embodiment.
  • FIG. 11 is a schematic diagram of an enlargement candidate region for explaining the calculation order of evaluation values.
  • FIG. 12 is a flowchart illustrating another example of the enlarged display operation of the controller according to the second embodiment.
  • FIG. 13 is a diagram illustrating an application example of the stereoscopic video processing apparatus.
  • FIG. 14 is a diagram illustrating another application example of the stereoscopic video processing apparatus.
  • FIG. 1 is a block diagram showing the configuration of the digital camera according to the first embodiment.
  • the digital camera 100 includes an optical system 101, a CCD image sensor 102, a video processing unit 103, a memory 104, a controller 105, a card slot 106, a memory card 107, an operation member 108, a zoom lever 109, a liquid crystal monitor 110, and an internal memory 111. Prepare.
  • the optical system 101 forms a subject image at the first viewpoint corresponding to one of the left-eye image and the right-eye image constituting the stereoscopic video.
  • the optical system 101 forms a subject image at a second viewpoint different from the first viewpoint corresponding to the other of the left eye image and the right eye image.
  • the optical system 101 has two optical systems, a first optical system and a second optical system.
  • the optical system 101 may be a single optical system, and may be configured to form subject images at different viewpoints when the user moves the shooting position. In other words, the optical system 101 may be anything as long as it can form two different subject images used for stereoscopic video.
  • the optical system 101 includes a zoom lens (not shown), an OIS (Optical Image Stabilizer) (not shown), and a focus lens (not shown).
  • the CCD image sensor 102 captures a subject image formed by the optical system 101 and generates a video signal.
  • the CCD image sensor 102 When a subject image at the first viewpoint is input from the optical system 101, the CCD image sensor 102 generates a first viewpoint signal that is a video signal corresponding to the subject image at the first viewpoint.
  • the CCD image sensor 102 When the subject image at the second viewpoint is input from the optical system 101, the CCD image sensor 102 generates a second viewpoint signal that is a video signal corresponding to the subject image at the second viewpoint.
  • the first viewpoint signal and the second viewpoint signal are collectively described as a stereoscopic video signal or simply a video signal.
  • the CCD image sensor 102 performs various operations such as exposure, transfer, and electronic shutter.
  • the video processing unit 103 performs various processes on the video signal generated by the CCD image sensor 102 to generate image data to be displayed on the liquid crystal monitor 110. In addition, the video processing unit 103 generates a video signal to be re-stored in the memory card 107 with respect to the video signal generated by the CCD image sensor 102. For example, the video processing unit 103 performs various video processing such as gamma correction, white balance correction, and flaw correction on the video signal generated by the CCD image sensor 102, and generates a video signal to be stored in the memory card 107 again. Generate.
  • the video processing unit 103 compares the processing units corresponding to both the images with respect to the first viewpoint signal and the second viewpoint signal acquired by the optical system 101 and the CCD image sensor 102, thereby processing each image processing unit. The amount of parallax is obtained. Subsequently, the video processing unit 103 calculates a parallax histogram based on the appearance frequency of each parallax amount. Furthermore, the video processing unit 103 determines a shooting parameter for obtaining a predetermined stereoscopic effect by comparing the calculated histogram with a preset histogram pattern.
  • the processing unit in the video processing unit 103 is a pixel unit when a stereoscopic video is divided into 4 ⁇ 4 pixel units.
  • the processing unit may be a unit of an arbitrary number of pixels such as an 8 ⁇ 8 pixel unit or a 16 ⁇ 16 pixel unit.
  • the parallax amount may be any value as long as it is a value indicating the shift in the horizontal direction of the corresponding processing units of both images.
  • the parallax amount of the processing unit obtained by the video processing unit 103 is any one of an average value, a median value, or a plurality of parallax amounts of the plurality of parallax amounts when there are a plurality of parallax amounts in the processing unit. It is calculated by selecting.
  • the video processing unit 103 uses block matching processing when detecting the amount of parallax.
  • the block matching process is a process of searching the second viewpoint signal for a block similar to, for example, a 4 ⁇ 4 pixel block in the first viewpoint signal.
  • the video processing unit 103 can be realized by a DSP (Digital Signal Processor), a microcomputer, or the like.
  • the amount of parallax is an amount having a sign. For example, when the video image is displayed so as to have a depth behind the display screen of the liquid crystal monitor 110 when viewed from the user, a negative parallax amount is set, and the video image is closer to the front side than the display screen of the liquid crystal monitor 110. When displayed so as to pop out, the amount of parallax is a plus sign.
  • the memory 104 functions as a work memory for the video processing unit 103 and the controller 105.
  • a video signal processed by the video processing unit 103 or image data input from the CCD image sensor 102 before being processed by the video processing unit 103 is temporarily stored.
  • the memory 104 temporarily stores shooting conditions of the optical system 101 and the CCD image sensor 102 at the time of shooting.
  • the shooting condition means subject distance, field angle information, ISO sensitivity, shutter speed, EV value, F value, distance between lenses, shooting time, OIS shift amount, and the like.
  • the memory 104 can be realized by, for example, a DRAM (Dynamic Random Access Memory) or a ferroelectric memory.
  • controller 105 stereo image processing device
  • the controller 105 is a control means for controlling the entire digital camera 100.
  • the controller 105 can be realized by a semiconductor element or the like.
  • the controller 105 may be configured only by hardware, or may be realized by combining hardware and software.
  • the controller 105 can also be realized by a microcomputer or the like.
  • FIG. 2 is a block diagram showing a detailed configuration of the controller 105 according to the first embodiment.
  • the controller 105 includes a video acquisition unit 201, a parallax acquisition unit 202, a determination unit 203, a region selection unit 204, and a position acquisition unit 205.
  • the video acquisition unit 201 acquires a video signal (stereoscopic video) stored in the memory 104.
  • the parallax acquisition unit 202 acquires the parallax amount for each processing unit of the stereoscopic video obtained by the video processing unit 103.
  • the determination unit 203 Based on the size of the display screen of the liquid crystal monitor 110 and the zoom magnification (predetermined magnification) input by the user from the zoom lever, the determination unit 203 is on the display screen of the enlarged display area that is part of the stereoscopic video. Determine the size at. Specifically, for example, the determination unit determines the size obtained by dividing the size of each side of the display screen of the liquid crystal monitor 110 by a predetermined magnification as the size of the enlarged display area.
  • the position acquisition unit 205 inputs the position of the first area (hereinafter also referred to as an enlarged display instruction position), which is the area that the user wants to enlarge and display in the stereoscopic video, which is input by the user via the operation member 108. get.
  • the area selection unit 204 selects a part of the stereoscopic video as an enlarged display area, and outputs the enlarged video to the liquid crystal monitor 110. Details of the method for selecting the enlarged display area will be described later.
  • a memory card 107 can be attached to and detached from the card slot 106.
  • the card slot 106 is mechanically and electrically connected to the memory card 107.
  • the memory card 107 is a recording medium that includes a flash memory, a ferroelectric memory, and the like and can store data.
  • the operation member 108 is a member that receives an operation input from the user to the digital camera 100.
  • the operation member 108 includes a cross button and a determination button.
  • the cross button is a member for the user to operate an instruction cursor for designating a position on the image displayed on the liquid crystal monitor 110.
  • the determination button is a member for the user to determine the instruction position indicated by the instruction cursor operated with the cross button.
  • the zoom lever 109 is a member that receives an instruction to change the zoom magnification in the optical system 101 from the user.
  • the liquid crystal monitor 110 is a display device capable of 2D display or 3D display of the first viewpoint signal and the second viewpoint signal on the display screen.
  • the first viewpoint signal and the second viewpoint signal are a video signal generated by the CCD image sensor 102 or a video signal read from the memory card 107.
  • the liquid crystal monitor 110 can display various setting information of the digital camera 100.
  • the liquid crystal monitor 110 can display EV values, F values, shutter speeds, ISO sensitivity, and the like, which are shooting conditions at the time of shooting.
  • the liquid crystal monitor 110 selects and displays either the first viewpoint signal or the second viewpoint signal when displaying the video signal in 2D. Further, the liquid crystal monitor 110 may divide the first viewpoint signal and the second viewpoint signal into screens and display them on the left and right or top and bottom. Further, the liquid crystal monitor 110 may alternately display the first viewpoint signal and the second viewpoint signal for each line. That is, the liquid crystal monitor 110 has a function of displaying a 2D video based on the first viewpoint signal and the second viewpoint signal when the video signal is displayed in 2D.
  • the LCD monitor 110 may display the first viewpoint signal and the second viewpoint signal in a frame sequential manner, or overlay the first viewpoint signal and the second viewpoint signal. It may be displayed.
  • the internal memory 111 stores a control program for controlling the entire digital camera 100 and the like.
  • the internal memory 111 is realized by a flash memory or a ferroelectric low memory.
  • FIG. 3 is a diagram illustrating a specific configuration of the digital camera 100.
  • the digital camera 100 includes a zoom lever 109, an operation member 108, and a liquid crystal monitor 110 on the back surface. That is, the user can take a picture while confirming the video displayed on the liquid crystal monitor 110.
  • the user designates the enlarged display instruction position 300 displayed on the liquid crystal monitor 110 using the operation member 108 provided in the digital camera 100. Specifically, the user operates the operation member 108 and moves the instruction cursor 302. The user moves the pointing cursor 302 to the position of the first area 303 which is an area to be enlarged and then presses the determination button on the operation member 108. The position of the instruction cursor 302 at the time when the pressing operation is performed becomes an enlarged display instruction position 300.
  • the enlarged display instruction position 300 may be designated by a touch operation when the liquid crystal monitor 110 of the digital camera 100 includes a touch sensor. In this case, the position on the display screen touched by the user is the enlarged display instruction position 300.
  • FIG. 4 is a diagram for explaining the image size of the enlarged display area.
  • the enlargement candidate area is an area in which the first area 303 is always included in the selected area when an arbitrary area of the image size 301 is selected in the enlargement candidate area.
  • the first area is an area having a size of x5 pixels ⁇ y5 pixels as shown in FIG.
  • FIG. 5 is a diagram for explaining an expansion candidate area.
  • the area selection unit 204 sets the enlargement candidate area 310.
  • the enlargement candidate area 310 is a search area in which the area selection unit 204 searches for a second area that can be an enlarged display area.
  • the area selection unit 204 selects the second area that is an arbitrary area of the image size 301 in the enlargement candidate area, the first area 303 is always included in the second area. It becomes.
  • the second area is an area in the stereoscopic video image, includes the first area 303, and has a size determined by the determination unit 203 in the stereoscopic video image.
  • the region selection unit 204 (x1-x2 / 2, y1-y2 / 2), (x1 + x2 / 2, y1-y2 / 2), (x1 + x2 / 2, y1 + y2 / 2), (x1-x2 / A rectangular area having apex of 2, y1 + y2 / 2) is set as the enlargement candidate area 310.
  • FIG. 6 is a flowchart of the enlarged display operation of the controller 105.
  • the position acquisition unit 205 acquires the enlarged display instruction position 300 (S101 in FIG. 6).
  • the enlarged display instruction position 300 is designated by the user's operation already described.
  • the area selection unit 204 determines an enlargement candidate area 310 based on the image size 301 and the size of the first area 303 (S102 in FIG. 6).
  • the parallax acquisition unit 202 acquires the parallax amounts of all the processing units in the expansion candidate area 310 (S103 in FIG. 6).
  • the area selection unit 204 enlarges and displays the second area in which the parallax amounts of all the processing units included in the second area fall within a predetermined range among the second areas that can be selected in the enlargement candidate area 310.
  • the area is selected (S104 in FIG. 6).
  • FIG. 7 is a diagram for explaining a method of selecting an enlarged display area of the area selection unit 204.
  • the expansion candidate region there are a plurality of second regions that can be selected by the region selection unit 204.
  • the area selection unit 204 can select the second areas 304a to 304e.
  • the area selection unit 204 is an area where the user can appropriately stereoscopically view the second area, that is, an enlarged display. Select as region. In the example of FIG. 7, the area selection unit 204 selects the second area 304 e as the enlarged display area 305.
  • the predetermined range may be set so that the user can appropriately view the enlarged video.
  • the predetermined range may be set so that the parallax amount of the enlarged image falls between the upper limit value and the lower limit value of the parallax amount determined by the biological safety guidelines.
  • the area selection unit 204 and the video processing unit 103 generate an enlarged display video that is an image obtained by enlarging the enlarged display area, and display (output) the enlarged display video on the liquid crystal monitor 110 as shown in FIG. (S105 in FIG. 6).
  • the stereoscopic video processing apparatus is applied to the controller 105 of the digital camera 100.
  • the controller 105 includes a video acquisition unit 201, a parallax acquisition unit 202, a determination unit 203, a region selection unit 204, and a position acquisition unit 205.
  • an area that the user wants to enlarge and display in the stereoscopic video is defined as a first area.
  • the region selection unit 204 is a region including the first region in the stereoscopic video, and the disparity included in the second region among the plurality of second regions determined by the determination unit 203.
  • a specific second area whose amount is within a predetermined range is selected as an enlarged display area.
  • the area selection unit 204 enlarges and displays an enlarged display area including an area that the user wants to enlarge and display among stereoscopic images while maintaining a predetermined magnification, and the user can appropriately and safely display the enlarged display video. It is possible to make an image that can be stereoscopically viewed.
  • the region selection unit 204 may select the second region having the smallest variance of the parallax amount of the processing unit included in the second region as the enlarged display region 305.
  • the area selection unit 204 has the smallest difference between the average value of the parallax amount of the processing unit included in the first area 303 and the average value of the parallax amount of the processing unit included in the second area.
  • Such a second area may be selected as the enlarged display area 305.
  • the area selection unit 204 selects the second area having the parallax amount close to the parallax amount included in the first area 303 that the user desires to enlarge and display as the enlarged display area. Therefore, since the amount of parallax between the first area 303 and the surrounding area is close, the user can naturally and effectively stereoscopically view the enlarged display image.
  • the area selection unit 204 may select the second area whose position on the display screen is closest to the position of the first area 303 as the enlarged display area 305.
  • the distance from the position of the first area 303 to the second area is obtained by the Euclidean distance from the enlarged display instruction position 300 to the processing unit corresponding to the center position of the second area, for example.
  • the distance from the position of the first area 303 to the second area may be obtained by a chessboard distance or a city block distance.
  • the area selection unit 204 displays the first area 303 desired to be enlarged and displayed near the center in the enlarged display video, so that the user can more easily view the first area 303.
  • step S103 the amount of parallax acquired by the parallax acquisition unit 202 may be acquired from a parallax map generated in real time by the video processing unit 103 based on the video acquired from the CCD image sensor 102.
  • step S103 the amount of parallax acquired by the parallax acquisition unit 202 may be acquired from the meta information of the stereoscopic video stored in the memory card 107.
  • the amount of parallax acquired by the parallax acquisition unit 202 may not be the amount of parallax for each processing unit. Whether the maximum parallax of the second area (the parallax of the part where the user perceives the video farthest and the parallax of the part where the user perceives the furthest side) of the second area is the parallax amount within a predetermined range Any mode can be used as long as it can be determined.
  • the aspect ratio of the enlarged display area 305 is the same as the aspect ratio of the video before enlargement.
  • FIG. 9 is a block diagram illustrating a detailed configuration of the controller 105 according to the second embodiment.
  • the controller 105 further includes an evaluation value calculation unit 206 in addition to the components described in the first embodiment.
  • Evaluation value calculation unit 206 calculates evaluation value C for each processing unit.
  • the evaluation value C is a first evaluation value that represents an absolute value of a relative parallax amount relative to the parallax amount of the processing unit corresponding to the enlarged display instruction position 300, and a distance from the enlarged display instruction position 300 of the processing unit. It is expressed as the sum of the second evaluation value to be expressed. Specifically, as will be described later, the evaluation value C decreases as the processing unit has a smaller difference in parallax amount from the processing unit corresponding to the enlarged display instruction position 300. In addition, the evaluation value C decreases as the processing unit has a smaller distance from the enlarged display instruction position 300.
  • FIG. 10 is a flowchart of the enlarged display operation of the controller 105 according to the second embodiment.
  • the position acquisition unit 205 acquires the enlarged display instruction position 300 (S201 in FIG. 10).
  • the parallax acquisition unit 202 acquires the amount of parallax at the enlarged display instruction position 300 (S202 in FIG. 10). Specifically, the parallax amount of a processing unit (hereinafter also referred to as a first processing unit) corresponding to the enlarged display instruction position 300 is acquired.
  • a processing unit hereinafter also referred to as a first processing unit
  • the area selection unit 204 determines an enlargement candidate area 310 based on the image size 301 and the size of the first area 303 (S203 in FIG. 10).
  • the vertical length (the length in the x-axis direction in FIG. 4) ZH and the horizontal length ZW (the length in the y-axis direction in FIG. 4) of the enlargement candidate region 310 are, for example, Using the vertical length H, the horizontal length W, and a predetermined magnification M, the following expression (1) is obtained.
  • the center position of the enlargement candidate area 310 is the enlargement display instruction position 300.
  • the evaluation value calculation unit 206 performs the operations in steps S204 to S206 for all the processing units in the expansion candidate area 310, and calculates the evaluation value for each processing unit.
  • the evaluation value C calculated by the evaluation value calculation unit 206 is given by, for example, the following expression (2).
  • ⁇ and ⁇ are arbitrary constants.
  • D is a relative parallax amount based on the parallax amount of the first processing unit, and is obtained by (parallax amount of processing unit) ⁇ (parallax amount of enlarged display instruction position). That is, ⁇ ⁇
  • the distance F is the distance from the enlarged display instruction position 300 to the processing unit. That is, ⁇ ⁇ F (second evaluation value) is smaller as the processing unit is smaller in distance F.
  • the distance F is, for example, a Euclidean distance on the image, but may be a chessboard distance on the image or a city block distance on the image.
  • the evaluation value calculation unit 206 first acquires the parallax amount D of each processing unit via the parallax acquisition unit 202 (S204 in FIG. 10), and the video acquired by the video acquisition unit 201 of the distance F of each processing unit. Obtained from the signal (S205 in FIG. 10).
  • the evaluation value calculation unit 206 calculates the evaluation value C of each processing unit from the acquired parallax amount D and distance F based on the equation (2) (S206 in FIG. 10).
  • the area selection unit 204 selects the second area having the smallest sum of the evaluation values C of all the processing units included in the second area from among the second areas that can be selected in the enlargement candidate area 310. It selects as 305 (S207 of FIG. 10).
  • the enlarged display area 305 selected by the area selection unit 204 is given by the following expression (3), for example.
  • the area selection unit 204 selects the second area where the sum of the evaluation values C is the smallest as the enlarged display area 305. That is, the second area including a larger number of processing units with a larger amount of parallax D is less likely to be selected as the enlarged display area 305. Further, the second area located farther from the enlarged display instruction position 300 is less likely to be selected as the enlarged display area.
  • the area selection unit 204 and the video processing unit 103 generate an enlarged display video that is an enlarged image of the enlarged display area based on the enlarged display area 305, and display (output) the enlarged display video on the liquid crystal monitor 110. (S208 in FIG. 10).
  • a processing unit having a parallax amount D larger than a predetermined value can be hidden (for example, the processing unit is a black image).
  • step S206 the evaluation value C calculated by the evaluation value calculation unit 206 is given by, for example, the following expression (4).
  • ⁇ , ⁇ , and T are arbitrary constants.
  • the evaluation value C is a large value regardless of the distance F.
  • the region selecting unit 204 can ensure that the parallax distribution when enlarged is displayed within a desired range. it can.
  • the enlarged display area 305 selected by the area selection unit 204 in step S207 is given by the following equation (5), for example.
  • S is an arbitrary constant.
  • the evaluation value calculation unit 206 gives the label “1” indicating that the processing unit is not displayed. If the evaluation value C of the processing unit is less than the predetermined threshold S, the label of the processing unit is “0” set in advance.
  • the predetermined threshold is a preset threshold, but may be configured to be changed by the user.
  • the digital camera 100 that can set display or non-display of a processing unit having a large amount of parallax D in accordance with the ability of the user to view stereoscopically.
  • the evaluation value calculation unit 206 does not need to obtain the evaluation values C of all the processing units included in the expansion candidate area 310.
  • FIG. 11 is a schematic diagram of the expansion candidate area 310 for explaining the calculation order of the evaluation value C.
  • FIG. 12 is a flowchart showing another example of the enlarged display operation of the controller 105 according to the second embodiment.
  • the enlarged display operation described with reference to FIGS. 11 and 12 is an example of the operation in which the evaluation value calculation unit 206 uses the above formulas (4) and (5) for calculation of the evaluation values.
  • the evaluation value calculation unit 206 calculates the evaluation value C by expanding the search range for each processing unit toward the periphery centering on the first processing unit 300a that is a processing unit corresponding to the designated enlarged display instruction position 300. I do.
  • the processing unit positioned immediately below the first processing unit 300a.
  • the evaluation value C is calculated in order counterclockwise from 300b.
  • the evaluation value C is calculated in order counterclockwise from the processing unit 300c.
  • the numbers “0” or “1” attached to each processing unit in FIG. 11 indicate whether the processing unit is a processing unit to be displayed or a processing unit to be hidden. Means the label shown.
  • step S209 the evaluation values in step S209, steps S204 to S206, step S210, and step S211 in FIG. 12 are calculated for each processing unit.
  • the evaluation value calculation unit 206 determines whether or not the processing unit is connected from the enlarged display instruction position 300 (first processing unit 300a) (FIG. 12). S209).
  • “concatenated” means that the first processing unit 300a is defined by one or a plurality of processing units (processing units described as 0 in FIG. 11) whose evaluation value C is less than a predetermined threshold S. It means that it is connected.
  • the first processing unit 300a can be reached by following an adjacent processing unit whose evaluation value C is less than the predetermined threshold S (there is a processing unit path up to the first processing unit). ), It can be said that the processing unit is connected to the first processing unit.
  • adjacent processing units means only processing units that are adjacent in the vertical and horizontal directions with respect to a certain processing unit, but “adjacent processing units” Processing units adjacent in the angular direction may be included.
  • the evaluation value C is calculated (S204 to S206 in FIG. 12), and the evaluation value C of the processing unit is a predetermined threshold value S. It is determined whether or not this is the case (S210 in FIG. 12).
  • the processing unit is given a label “1” indicating that the processing unit is not displayed.
  • the processing unit 300c is a processing unit to which the label “1” is assigned.
  • the processing unit 300c is a processing unit to which the label “1” is assigned.
  • the label of the processing unit is “0” set in advance. For example, in FIG. 11, the label of the processing unit 300b is “0”.
  • the calculation of the evaluation value C (S204 to S206, S210 to S211 in FIG. 12) is not performed for the processing units (No in S209 in FIG. 12) that are not linked to the first processing unit 300a.
  • the processing units 300d to 300h are processing units for which the evaluation value C is not calculated.
  • the region selection unit 204 has the highest sum of the evaluation values C of all the processing units included in the second region among the second regions that can be selected in the region where the evaluation value in the enlargement candidate region 310 is calculated.
  • the small second area is selected as the enlarged display area 305 (S207 in FIG. 12).
  • the area selection unit 204 and the video processing unit 103 generate an enlarged display video that is an enlarged image of the enlarged display area 305, and display (output) the enlarged display video on the liquid crystal monitor 110 (S208 in FIG. 12). ).
  • the controller 105 (stereoscopic image processing apparatus) further includes the evaluation value calculation unit 206, and the region selection unit 204 is based on the evaluation value C calculated by the evaluation value calculation unit 206. Select the enlarged display area.
  • the evaluation value C includes a first evaluation value ⁇ ⁇
  • the area selection unit 204 can select the enlarged display area 305 in consideration of both the parallax amount D and the distance F.
  • evaluation value C is not limited to that described in the second embodiment.
  • ⁇ in Formula (2) and Formula (4) may be 0. Even when ⁇ is 0, the area selection unit 204 can enlarge and display the enlarged display area at a predetermined magnification as an image that can be stereoscopically viewed by the user appropriately and safely.
  • the parallax amount D is used as the parallax amount D.
  • the parallax amount D may be an absolute parallax amount.
  • the evaluation value calculation unit 206 calculates the evaluation value of each processing unit connected to the first processing unit 300a by a processing unit whose evaluation value C is less than the predetermined threshold value S.
  • the calculation process of the evaluation value C can be omitted for an area that cannot be a candidate for the enlarged display area, and the evaluation value calculation cost and the evaluation value calculation load can be reduced.
  • Embodiments 1 and 2 have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed. In addition, it is possible to combine the components described in the first and second embodiments to form a new embodiment.
  • Embodiments 1 and 2 have described examples in which the stereoscopic video processing device of the present disclosure is applied to a digital camera as illustrated in FIG. However, the stereoscopic image processing apparatus can also be applied to a digital video camera as shown in FIG.
  • the stereoscopic video processing apparatus of the present disclosure can be applied to the television 700 illustrated in FIG.
  • the stereoscopic video processing apparatus performs an enlarged video display process on the video acquired from the television broadcast or the Blu-Ray player 710 and the set-top box 720 shown in FIG.
  • the stereoscopic video processing apparatus of the present disclosure can also be applied to the Blu-Ray player 710.
  • the stereoscopic video processing device performs an enlarged video display process on the video obtained from any recording medium such as an inserted Blu-Ray disc, DVD (Digital Versatile Disc), HDD (Hard Disc Drive), or the like. Can do.
  • the stereoscopic video processing device of the present disclosure can be applied to the set-top box 720.
  • the stereoscopic video processing apparatus can perform video enlarged display processing on video acquired from cable television broadcasting or the like.
  • each of the above devices can be realized by a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like.
  • a computer program is stored in the RAM or the hard disk unit.
  • Each device achieves its functions by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • a part or all of the components constituting each of the above devices may be configured by one system LSI (Large Scale Integration).
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
  • a computer program is stored in the ROM.
  • the system LSI achieves its functions by the microprocessor loading a computer program from the ROM to the RAM and performing operations such as operations in accordance with the loaded computer program.
  • Part or all of the constituent elements constituting each of the above devices may be configured from an IC card or a single module that can be attached to and detached from each device.
  • the IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its functions by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present disclosure may be realized by the method described above. Further, these methods may be realized by a computer program realized by a computer, or may be realized by a digital signal consisting of a computer program.
  • the present disclosure also discloses a computer program or a recording medium capable of reading a digital signal such as a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray Disc), You may implement
  • a computer program or a digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the present disclosure is a computer system including a microprocessor and a memory.
  • the memory stores a computer program, and the microprocessor may operate according to the computer program.
  • program or digital signal may be recorded on a recording medium and transferred, or the program or digital signal may be transferred via a network or the like, and may be implemented by another independent computer system.
  • the stereoscopic video processing apparatus and the stereoscopic video processing method according to the present disclosure can enlarge and display a stereoscopic video at a predetermined magnification so that a user can safely view the stereoscopic video, a digital camera that displays the stereoscopic video, a display, and the like Useful as.
  • DESCRIPTION OF SYMBOLS 100 Digital camera 101 Optical system 102 CCD image sensor 103 Image processing part 104 Memory 105 Controller 106 Card slot 107 Memory card 108 Operation member 109 Zoom lever 110 Liquid crystal monitor 111 Internal memory 201 Image acquisition part 202 Parallax acquisition part 203 Determination part 204 Area selection Unit 205 Position acquisition unit 206 Evaluation value calculation unit 300 Enlarged display instruction position 300a First processing unit 300b to 300h Processing unit 301 Image size 302 Pointed cursor 303 First area 304a to 304e Second area 305 Enlarged display area 310 Enlarged candidate area 700 TV 710 Blu-Ray Player 720 Set Top Box

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

　立体視用の映像を取得する映像取得部（２０１）と、立体視用の映像内の一部の領域である第１領域の位置を取得する位置取得部（２０５）と、立体視用の映像の視差量を前記立体視用の映像を所定の画素数ごとに区分した処理単位ごとに取得する視差取得部（２０２）と、表示画面の大きさ及び所定の倍率に基づいて、立体視用の映像の一部である拡大表示領域の表示画面上における大きさを決定する決定部（２０３）と、立体視用の映像内の複数の第２領域であって、それぞれが第１領域を含み、かつ決定部（２０３）によって決定された大きさの前記複数の前記第２領域に含まれる処理単位それぞれの視差量が所定の範囲内である第２領域を拡大表示領域として選択する領域選択部（２０４）とを備える。

Description

立体映像処理装置及び立体映像処理方法
　本開示は、立体視用の映像を表示するための立体映像処理装置及び立体映像処理方法に関するものである。
　両眼視差を有する左右の映像を独立して視聴者の左右の目に投影できる３Ｄ表示装置が知られている。
　３Ｄ表示装置は、左目用に表示する左目映像と、右目用に表示する右目映像とにおいて、３Ｄ表示装置上の表示位置を水平方向にずらすことにより、立体視を実現する。このずれ（以下、視差量と称す）が適正範囲を超える場合、視聴者は、立体視を正常に行うことができない。したがって、３Ｄ表示装置は、立体視用の映像を生成する場合、この視差量が所定の範囲内に収まるように左目映像及び右目映像を生成する。
　ここで、立体視用の映像のうちの一部の映像（以下、部分映像とも記載する。）を拡大して表示する場合、部分映像の視差が拡大し、拡大後は正常な立体視が不可能になる場合がある。特許文献１は、このような問題を回避するために、拡大表示領域内の視差量に応じて、拡大倍率を変化させることで正常な立体視を継続可能にする方法を開示する。
特許第４４４２１９０号公報
　本開示は、拡大表示させたい位置を含む領域を、拡大倍率を変化させることなく立体視可能に拡大表示する装置を提供する。
　本開示における立体映像処理装置は、表示画面に表示された立体視用の映像の一部を前記表示画面に所定の倍率で拡大表示するための処理を行う立体映像処理装置であって、前記立体視用の映像を取得する映像取得部と、前記立体視用の映像内の一部の領域である第１領域の位置を取得する位置取得部と、前記立体視用の映像の視差量を前記立体視用の映像を所定の画素数ごとに区分した処理単位ごとに取得する視差取得部と、前記表示画面の大きさ及び前記所定の倍率に基づいて、前記立体視用の映像の一部である拡大表示領域の前記表示画面上における大きさを決定する決定部と、前記立体視用の映像内の複数の第２領域であって、それぞれが前記第１領域を含み、かつ前記決定部によって決定された大きさである前記複数の前記第２領域のうち、当該第２領域に含まれる前記処理単位それぞれの視差量が所定の範囲内である前記第２領域を前記拡大表示領域として選択する領域選択部とを備える。
　本開示における立体映像処理装置は、視聴者が拡大表示を希望する映像領域を、拡大倍率が維持され、なおかつ視差が所定の範囲内である立体映像として拡大表示できる。
図１は、実施の形態１に係るデジタルカメラの構成を示すブロック図である。 図２は、実施の形態１に係るコントローラの詳細な構成を示すブロック図である。 図３は、実施の形態１に係るデジタルカメラの拡大表示領域の指定方法を示す模式図である。 図４は、拡大表示領域の画像サイズを説明するための図である。 図５は、拡大候補領域を説明するための図である。 図６は、実施の形態１に係るコントローラの拡大表示動作のフローチャートである。 図７は、領域選択部の拡大表示領域の選択方法を説明するための図である。 図８は、拡大表示映像が表示された液晶モニタを表す図である。 図９は、実施の形態２に係るコントローラの詳細な構成を示すブロック図である。 図１０は、実施の形態２に係るコントローラの拡大表示動作のフローチャートである。 図１１は、評価値の算出順序を説明するための拡大候補領域の模式図である。 図１２は、実施の形態２に係るコントローラの拡大表示動作の他の例を示すフローチャートである。 図１３は、立体映像処理装置の適用例を示す図である。 図１４は、立体映像処理装置の別の適用例を示す図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　以下、図１～図８を用いて、実施の形態１を説明する。以下の実施の形態では、デジタルカメラを例として説明する。
　［１－１．構成］
　まずは、実施の形態１に係るデジタルカメラの構成に関して説明する。
　図１は、実施の形態１に係るデジタルカメラの構成を示すブロック図である。
　デジタルカメラ１００は、光学系１０１、ＣＣＤイメージセンサ１０２、映像処理部１０３、メモリ１０４、コントローラ１０５、カードスロット１０６、メモリカード１０７、操作部材１０８、ズームレバー１０９、液晶モニタ１１０、及び内部メモリ１１１を備える。
　光学系１０１は、立体視用の映像を構成する左目画像及び右目画像の一方に対応する、第１視点における被写体像を形成する。また、光学系１０１は、上記左目画像及び右目画像の他方に対応する、第１視点とは異なる第２視点における被写体像を形成する。具体的には、光学系１０１は、第１の光学系及び第２の光学系の２つの光学系を有する。
　なお、光学系１０１は、１つの光学系であって、ユーザが撮影位置を移動することにより異なる視点の被写体像を形成する構成でもよい。つまり、光学系１０１は、立体視用の映像に用いられる異なる２つの被写体像を形成できるものであればどのようなものでもよい。なお、光学系１０１には、ズームレンズ（図示せず）、ＯＩＳ（Ｏｐｔｉｃａｌ　Ｉｍａｇｅ　Ｓｔａｂｉｌｉｚｅｒ）（図示せず）、及びフォーカスレンズ（図示せず）が含まれる。
　ＣＣＤイメージセンサ１０２は、光学系１０１で形成された被写体像を撮影して、映像信号を生成する。ＣＣＤイメージセンサ１０２は、光学系１０１から第１視点における被写体像が入力された場合、第１視点における被写体像に対応する映像信号である第１視点信号を生成する。また、ＣＣＤイメージセンサ１０２は、光学系１０１から第２視点における被写体像が入力された場合、第２視点における被写体像に対応する映像信号である第２視点信号を生成する。
　なお、以下の実施の形態では、第１視点信号及び第２視点信号を合わせて立体視用の映像信号、または単に映像信号と記載する。ＣＣＤイメージセンサ１０２は、露光、転送、電子シャッタなどの各種動作を行う。
　映像処理部１０３は、ＣＣＤイメージセンサ１０２で生成された映像信号に対して各種の処理を施し、液晶モニタ１１０に表示するための画像データを生成する。また、映像処理部１０３は、ＣＣＤイメージセンサ１０２で生成された映像信号に対して、メモリカード１０７に再格納するための映像信号を生成する。例えば、映像処理部１０３は、ＣＣＤイメージセンサ１０２で生成された映像信号に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像処理を行い、メモリカード１０７に再格納するための映像信号を生成する。
　また、映像処理部１０３は、光学系１０１及びＣＣＤイメージセンサ１０２で取得された第１視点信号及び第２視点信号に対して、両画像の対応する処理単位を比較することによって画像の処理単位ごとの視差量を求める。続いて、映像処理部１０３は、各視差量の出現頻度による視差ヒストグラムを算出する。さらに、映像処理部１０３は、算出したヒストグラムと、予め設定されたヒストグラムパタンとの比較を行うことによって所定の立体感を得るための撮影パラメータを決定する。
　ここで、本実施の形態では、映像処理部１０３における処理単位は、立体視用の映像を４×４画素単位に区分した場合の各画素単位である。なお、上記処理単位は、８×８画素単位、１６×１６画素単位など、任意の画素数の単位であってもよい。また、視差量は、両画像の対応する処理単位の左右方向のずれを示す値であれば、どのようなものでもよい。
　映像処理部１０３が求める処理単位の視差量は、処理単位中に複数の視差量が存在する場合は、複数の視差量の平均値、中央値、または複数の視差量のうちのいずれか一つを選択することで求められる。
　また、映像処理部１０３は、視差量を検出する際、ブロックマッチング処理を用いる。ブロックマッチング処理は、第１視点信号における例えば４×４画素のブロックと類似するブロックを第２視点信号から探しだす処理である。映像処理部１０３は、ＤＳＰ（Ｄｉｓｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）やマイコンなどで実現可能である。
　なお、視差量は、符号を有する量である。例えば、ユーザから見て映像が液晶モニタ１１０の表示画面よりも奥側へ奥行を持つように表示される場合をマイナスの視差量とした場合、映像が液晶モニタ１１０の表示画面よりも手前側へ飛び出すように表示される場合はプラスの符号の視差量である。
　メモリ１０４は、映像処理部１０３及びコントローラ１０５のワークメモリとして機能する。メモリ１０４には、例えば、映像処理部１０３で処理された映像信号若しくは、映像処理部１０３で処理される前のＣＣＤイメージセンサ１０２から入力される画像データが一時的に蓄積される。また、メモリ１０４には、撮影時における光学系１０１、ＣＣＤイメージセンサ１０２の撮影条件が一時的に蓄積される。ここで、撮影条件とは、被写体距離、画角情報、ＩＳＯ感度、シャッタースピード、ＥＶ値、Ｆ値、レンズ間距離、撮影時刻、ＯＩＳシフト量等を意味する。メモリ１０４は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、または強誘電体メモリなどで実現できる。
　次に、コントローラ１０５（立体映像処理装置）について説明する。
　コントローラ１０５は、デジタルカメラ１００全体を制御する制御手段である。コントローラ１０５は、半導体素子などで実現可能である。コントローラ１０５は、ハードウェアのみで構成されてもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現されてもよい。コントローラ１０５は、マイコンなどでも実現できる。
　図２は、実施の形態１に係るコントローラ１０５の詳細な構成を示すブロック図である。
　コントローラ１０５は、映像取得部２０１と、視差取得部２０２と、決定部２０３と、領域選択部２０４と、位置取得部２０５とを備える。
　映像取得部２０１は、メモリ１０４に格納された映像信号（立体視用の映像）を取得する。
　視差取得部２０２は、映像処理部１０３が求めた立体視用の映像の処理単位ごとの視差量を取得する。
　決定部２０３は、液晶モニタ１１０の表示画面の大きさ及びユーザがズームレバーから入力したズーム倍率（所定の倍率）に基づいて、立体視用の映像の一部である拡大表示領域の表示画面上における大きさを決定する。具体的には、例えば、決定部は、液晶モニタ１１０の表示画面の各辺の大きさを所定の倍率で除した大きさを拡大表示領域の大きさとして決定する。
　位置取得部２０５は、ユーザが操作部材１０８を介して入力する、立体視用の映像内のユーザが拡大表示したい領域である第１領域の位置（以下、拡大表示指示位置とも記述する。）を取得する。
　領域選択部２０４は、立体視用の映像の一部を拡大表示領域として選択し、拡大処理を行った映像を液晶モニタ１１０に出力する。拡大表示領域の選択方法の詳細については、後述する。
　カードスロット１０６には、メモリカード１０７が着脱可能である。カードスロット１０６は、機械的及び電気的にメモリカード１０７と接続される。
　メモリカード１０７は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能な記録媒体である。
　操作部材１０８は、ユーザのデジタルカメラ１００への操作入力を受け付ける部材であり、例えば、操作部材１０８は、十字ボタン及び決定ボタンを備える。十字ボタンは、液晶モニタ１１０に表示される画像上の位置を指定するための指示カーソルをユーザが操作するため部材である。決定ボタンは、十字ボタンで操作された指示カーソルが示す指示位置をユーザが決定するための部材である。
　ズームレバー１０９は、ユーザからの光学系１０１におけるズーム倍率の変更指示を受け付ける部材である。
　液晶モニタ１１０は、第１視点信号及び第２視点信号を表示画面に２Ｄ表示、若しくは３Ｄ表示可能な表示デバイスである。ここで、上記の第１視点信号及び第２視点信号は、ＣＣＤイメージセンサ１０２で生成された映像信号またはメモリカード１０７から読み出した映像信号である。
　また、液晶モニタ１１０は、デジタルカメラ１００の各種の設定情報を表示可能である。例えば、液晶モニタ１１０は、撮影時における撮影条件である、ＥＶ値、Ｆ値、シャッタースピード、ＩＳＯ感度等を表示可能である。
　液晶モニタ１１０は、映像信号を２Ｄ表示する場合、第１視点信号及び第２視点信号のいずれか一方を選択して表示する。また、液晶モニタ１１０は、第１視点信号と、第２視点信号と、を画面分割して左右もしくは上下に表示してもよい。さらに、液晶モニタ１１０は、第１視点信号と、第２視点信号とをライン毎に交互に表示してもよい。つまり、液晶モニタ１１０は、映像信号を２Ｄ表示する場合、第１視点信号と第２視点信号とに基づく２Ｄ映像を表示する機能を有する。
　液晶モニタ１１０は、映像信号を３Ｄ表示する場合、第１視点信号と、第２視点信号とをフレームシーケンシャルに表示してもよいし、第１視点信号と、第２視点信号とをオーバーレイして表示してもよい。
　内部メモリ１１１には、デジタルカメラ１００全体を制御するための制御プログラム等が格納される。内部メモリ１１１は、フラッシュメモリや強誘電低メモリなどで実現される。
　［１－２．動作］
　以下、デジタルカメラ１００における映像信号の拡大表示動作について説明を行う。
　図３は、デジタルカメラ１００の具体的構成を示す図である。
　デジタルカメラ１００は、背面部にズームレバー１０９、操作部材１０８、及び液晶モニタ１１０を備える。つまり、ユーザは、液晶モニタ１１０に表示される映像を確認しながら撮影することができる構成となっている。
　［１－２－１．拡大表示指示位置の指定動作］
　まず、図３を参照しながら拡大表示指示位置の指定動作について説明する。
　ユーザは、デジタルカメラ１００に具備されている操作部材１０８を用いて、液晶モニタ１１０に表示される拡大表示指示位置３００を指定する。具体的には、使用者は操作部材１０８を操作し、指示カーソル３０２を移動させる。ユーザは、拡大表示させたい領域である第１領域３０３の位置に指示カーソル３０２を移動させた後、操作部材１０８における決定ボタンを押下する。押下操作された時点における指示カーソル３０２の位置が拡大表示指示位置３００となる。
　なお、拡大表示指示位置３００は、デジタルカメラ１００の液晶モニタ１１０がタッチセンサを具備している場合、タッチ操作によって指定されてもよい。この場合、ユーザによってタッチ操作された表示画面上の位置が拡大表示指示位置３００となる。
　［１－２－２．拡大候補領域の設定動作］
　次に、拡大表示領域の候補となる領域が含まれる拡大候補領域について説明する。
　まず、拡大表示領域の画像サイズについて説明する。
　図４は、拡大表示領域の画像サイズを説明するための図である。
　拡大表示領域の画像サイズ３０１（ｘ３ピクセル×ｙ３ピクセル）は、決定部２０３が表示画面の大きさ及びズーム倍率（所定の倍率）に基づいて決定する。図４に示されるように、表示画面の大きさがｘ４ピクセル×ｙ４ピクセルであり、ズーム倍率がＭであるとした場合、拡大表示領域の画像サイズ３０１は、ｘ３＝ｘ４／Ｍピクセル、ｙ３＝ｙ４／Ｍピクセルとなる。
　拡大候補領域は、当該拡大候補領域内において画像サイズ３０１の大きさの任意の領域を選択した場合に、選択した領域に必ず第１領域３０３が含まれるような領域である。第１領域は、図４で示されるように大きさがｘ５ピクセル×ｙ５ピクセルの領域である。
　図５は、拡大候補領域を説明するための図である。
　操作部材１０８を介して、拡大表示指示位置３００が指示された場合、領域選択部２０４は、拡大候補領域３１０を設定する。拡大候補領域３１０は、領域選択部２０４が拡大表示領域となり得る第２領域を探索する探索領域である。上述のように、領域選択部２０４が拡大候補領域内において画像サイズ３０１の大きさの任意の領域である第２領域を選択した場合、第２領域には、必ず第１領域３０３が含まれることとなる。言い換えれば、第２領域は、立体視用の映像内の領域であって、第１領域３０３が含まれ、なおかつ立体視用の映像内の決定部２０３によって決定された大きさの領域である。
　ここで、拡大候補領域３１０は、上述の画像サイズ３０１と第１領域３０３の大きさとに基づいて決定される。具体的には、図５に示されるように拡大候補領域３１０の大きさがｘ２ピクセル×ｙ２ピクセルである場合、ｘ２＝２×ｘ３－ｘ５ピクセル、ｙ２＝２×ｙ３－ｙ５ピクセルである。
　図５に示されるように、拡大表示指示位置３００として座標（ｘ１ピクセル、ｙ１ピクセル）が指定され、拡大候補領域３１０の大きさがｘ２ピクセル×ｙ２ピクセルに決定されたとする。このとき、領域選択部２０４は、（ｘ１－ｘ２／２、ｙ１－ｙ２／２）、（ｘ１＋ｘ２／２、ｙ１－ｙ２／２）、（ｘ１＋ｘ２／２、ｙ１＋ｙ２／２）、（ｘ１－ｘ２／２、ｙ１＋ｙ２／２）を頂点とする四角形の領域を拡大候補領域３１０として設定する。
　［１－２－３．拡大表示の動作フロー］
　以下、コントローラ１０５の拡大表示動作について図面を参照しながら説明する。
　図６は、コントローラ１０５の拡大表示動作のフローチャートである。
　まず、位置取得部２０５は、拡大表示指示位置３００を取得する（図６のＳ１０１）。拡大表示指示位置３００は、既に説明したユーザの操作によって指定される。
　続いて、領域選択部２０４は、画像サイズ３０１と第１領域３０３の大きさとに基づいて、拡大候補領域３１０を決定する（図６のＳ１０２）。
　次に、視差取得部２０２は、拡大候補領域３１０内の全処理単位それぞれの視差量を取得する（図６のＳ１０３）。
　次に、領域選択部２０４は、拡大候補領域３１０内において選択可能な第２領域のうち、第２領域に含まれる全ての処理単位の視差量が所定の範囲内に収まる第２領域を拡大表示領域として選択する（図６のＳ１０４）。
　図７は、領域選択部２０４の拡大表示領域の選択方法を説明するための図である。
　拡大候補領域内において、領域選択部２０４が選択可能な第２領域は、複数存在する。
　例えば、図７では、領域選択部２０４は、第２領域３０４ａ～３０４ｅなどを選択することができる。
　ここで、領域選択部２０４は、第２領域に含まれる全ての処理単位の視差量が所定の範囲内であれば、当該第２領域を拡大後にユーザが適切に立体視できる領域、すなわち拡大表示領域として選択する。図７の例では、領域選択部２０４は、第２領域３０４ｅを拡大表示領域３０５として選択する。
　なお、上記所定の範囲は、ユーザが拡大された映像を適切に立体視できるように設定されればよい。例えば、拡大後の映像の視差量が、生体安全ガイドラインで定められた視差量の上限値と下限値との間に収まるように所定の範囲を設定してもよい。
　最後に、領域選択部２０４、及び映像処理部１０３は、拡大表示領域を拡大した映像である拡大表示映像を生成し、図８に示されるように、液晶モニタ１１０に拡大表示映像を表示（出力）する（図６のＳ１０５）。
　［１－３．効果等］
　以上のように、実施の形態１において、立体映像処理装置は、デジタルカメラ１００のコントローラ１０５に適用される。コントローラ１０５は、映像取得部２０１と、視差取得部２０２と、決定部２０３と、領域選択部２０４と、位置取得部２０５とを備える。ここで、立体視用の映像内のうち、ユーザが拡大表示したい領域を第１領域とする。この場合、領域選択部２０４は、立体視用の映像内のうち第１領域が含まれる領域であって、決定部２０３によって決定された複数の第２領域のうち、第２領域に含まれる視差量が所定の範囲内である特定の第２領域を拡大表示領域として選択する。
　これにより、領域選択部２０４は、立体視用の映像のうちユーザが拡大表示したい領域を含んだ拡大表示領域を所定の倍率を維持して拡大表示し、なおかつ拡大表示映像をユーザが適切かつ安全に立体視可能な映像とすることができる。
　なお、本実施の形態において、領域選択部２０４は、第２領域に含まれる処理単位の視差量の分散が最も小さい第２領域を拡大表示領域３０５として選択してもよい。
　これにより、ユーザは、より安全な拡大表示映像を視聴することができる。
　また、本実施の形態において、領域選択部２０４は、第１領域３０３に含まれる処理単位の視差量の平均値と第２領域に含まれる処理単位の視差量の平均値との差が最も小さくなるような第２領域を拡大表示領域３０５として選択してもよい。
　これにより、領域選択部２０４は、ユーザが拡大表示を希望する第１領域３０３に含まれる視差量に近い視差量を有する第２領域を拡大表示領域として選択する。したがって、第１領域３０３と、その周辺領域との視差量が近いため、ユーザは、拡大表示映像を自然にかつ効果的に立体視することが可能である。
　また、本実施の形態において、領域選択部２０４は、表示画面上における位置が第１領域３０３の位置から最も近い第２領域を拡大表示領域３０５として選択してもよい。ここで、第１領域３０３の位置から第２領域までの距離は、例えば、拡大表示指示位置３００から第２領域の中心位置に対応する処理単位までのユークリッド距離によって求められる。第１領域３０３の位置から第２領域までの距離は、チェス盤距離、または街区画距離で求められてもよい。
　これにより、領域選択部２０４は、拡大表示を希望する第１領域３０３が拡大表示映像内の中央付近に表示されるため、ユーザは、第１領域３０３をより視聴しやすくなる。
　なお、上記ステップＳ１０３において、視差取得部２０２が取得する視差量は、ＣＣＤイメージセンサ１０２から取得された映像に基づいて映像処理部１０３がリアルタイムに生成する視差マップから取得されてもよい。
　また、上記ステップＳ１０３において、視差取得部２０２が取得する視差量は、メモリカード１０７に保存された立体映像のメタ情報から取得されてもよい。
　なお、上記ステップＳ１０３において、視差取得部２０２が取得する視差量は、処理単位ごとの視差量でなくてもよい。領域選択部２０４が第２領域の最大の視差（ユーザが映像を最も奥側に知覚する部分の視差及びユーザが最も手前側に知覚する部分の視差）が所定の範囲内の視差量であるかを判断できる態様であればよい。
　なお、本実施の形態では、拡大表示領域３０５のアスペクト比は、拡大前の映像のアスペクト比と同じである。
　これにより、拡大表示を行った際にユーザに違和感を与えない自然な拡大表示をすることができる。
　（実施の形態２）
　以下、図９～図１２を用いて実施の形態２について説明する。実施の形態２では、領域選択部が評価値を用いて拡大表示領域を選択する例について説明する。
　［２－１．構成］
　実施の形態２に係るデジタルカメラの全体の構成は、図１及び図３を用いて説明した構成と同様である。
　図９は、実施の形態２に係るコントローラ１０５の詳細な構成を示すブロック図である。
　コントローラ１０５は、実施の形態１で説明した構成要素に加えて、さらに、評価値算出部２０６を備える。
　評価値算出部２０６は、処理単位ごとに評価値Ｃを算出する。評価値Ｃは、拡大表示指示位置３００に対応する処理単位の視差量を基準とした相対的な視差量の絶対値を表す第１評価値と、処理単位の拡大表示指示位置３００からの距離を表す第２評価値との和で表される。具体的には、後述するように、拡大表示指示位置３００に対応する処理単位との視差量の差が小さい処理単位ほど、評価値Ｃは、小さくなる。また、拡大表示指示位置３００からの距離が小さい処理単位ほど、評価値Ｃは、小さくなる。
　［２－２．動作］
　以下、実施の形態２に係るコントローラ１０５の映像信号の拡大表示動作について説明する。
　図１０は、実施の形態２に係るコントローラ１０５の拡大表示動作のフローチャートである。
　まず、位置取得部２０５は、拡大表示指示位置３００を取得する（図１０のＳ２０１）。
　次に、視差取得部２０２は、拡大表示指示位置３００における視差量を取得する（図１０のＳ２０２）。具体的には、拡大表示指示位置３００に対応する処理単位（以下、第１処理単位とも記載する。）の視差量を取得する。
　続いて、領域選択部２０４は、画像サイズ３０１と第１領域３０３の大きさとに基づいて、拡大候補領域３１０を決定する（図１０のＳ２０３）。
　ここで、拡大候補領域３１０の縦の長さ（図４のｘ軸方向の長さ）ＺＨ、及び横の長さＺＷ（図４のｙ軸方向の長さ）は、例えば、液晶モニタ１１０の縦の長さＨ及び横の長さＷと、所定の倍率Ｍを用いて、次の式（１）のように表される。
Figure JPOXMLDOC01-appb-M000001
　式（１）より、拡大候補領域３１０の中心位置は、拡大表示指示位置３００となる。
　次に、評価値算出部２０６は、拡大候補領域３１０内の全処理単位について、ステップＳ２０４～ステップＳ２０６の動作を行い、それぞれ処理単位の評価値を算出する。
　評価値算出部２０６が算出する評価値Ｃは、例えば以下の式（２）で与えられる。ここで、α及びβは、任意の定数である。
Figure JPOXMLDOC01-appb-M000002
　ここで、Ｄは、第１処理単位の視差量を基準とした相対的な視差量であり、（処理単位の視差量）－（拡大表示指示位置の視差量）で求められる。すなわち、α・｜Ｄ｜（第１評価値）は、視差量Ｄの大きさが小さい処理単位ほど小さい値となる。
　また、Ｆは、拡大表示指示位置３００から処理単位までの距離である。すなわち、β・Ｆ（第２評価値）は、距離Ｆの大きさが小さい処理単位ほど小さい値となる。距離Ｆは、例えば、画像上のユークリッド距離でもあるが、画像上のチェス盤距離、または画像上の街区画距離でもよい。
　つまり、評価値算出部２０６は、まず、各処理単位の視差量Ｄを視差取得部２０２を介して取得し（図１０のＳ２０４）、各処理単位の距離Ｆを映像取得部２０１が取得した映像信号から取得する（図１０のＳ２０５）。評価値算出部２０６は、取得した視差量Ｄ及び距離Ｆから各処理単位の評価値Ｃを式（２）に基づいて算出する（図１０のＳ２０６）。
　次に、領域選択部２０４は、拡大候補領域３１０内において選択可能な第２領域のうち、第２領域に含まれる全ての処理単位の評価値Ｃの和が最も小さい第２領域を拡大表示領域３０５として選択する（図１０のＳ２０７）。領域選択部２０４が選択する拡大表示領域３０５は、例えば、以下の式（３）で与えられる。
Figure JPOXMLDOC01-appb-M000003
　ここで、領域選択部２０４は、評価値Ｃの和が最も小さくなる第２領域を拡大表示領域３０５として選択する。つまり、視差量Ｄが大きい処理単位を多く含む第２領域ほど、拡大表示領域３０５として選択されにくい。また、拡大表示指示位置３００から遠くに位置する第２領域ほど拡大表示領域として選択されにくい。
　最後に、領域選択部２０４、及び映像処理部１０３は、拡大表示領域３０５に基づいて、拡大表示領域を拡大した映像である拡大表示映像を生成し、液晶モニタ１１０に拡大表示映像を表示（出力）する（図１０のＳ２０８）。
　なお、視差量Ｄが所定の値よりも大きい処理単位については、当該処理単位について非表示とする（例えば、当該処理単位を黒画とする）ことも可能である。
　また、ステップＳ２０６において、評価値算出部２０６が算出する評価値Ｃは、例えば、以下の式（４）で与えられる。ここで、α、β、及びＴは、任意の定数である。
Figure JPOXMLDOC01-appb-M000004
　つまり、拡大表示指示位置３００と処理単位との視差量の差の絶対値が所定の閾値以上の場合、評価値Ｃは、距離Ｆに依らず大きな値となる。拡大表示指示位置３００から遠くに位置する第２領域ほど拡大表示領域に選択されにくくなるだけでなく、領域選択部２０４は、拡大表示した際の視差分布を確実に所望の範囲内に収めることができる。
　また、この場合、ステップＳ２０７において、領域選択部２０４が選択する拡大表示領域３０５は、例えば、以下の式（５）で与えられる。ここで、Ｓは、任意の定数である。
Figure JPOXMLDOC01-appb-M000005
　つまり、評価値算出部２０６は、処理単位の評価値Ｃが所定の閾値Ｓ以上の場合に、当該処理単位を非表示とすることを示すラベル「１」を付与する。なお、処理単位の評価値Ｃが所定の閾値Ｓ未満の場合は、当該処理単位のラベルは、予め設定された「０」である。上記所定の閾値は、予め設定された閾値であるが、使用者によって変更できる構成であってもよい。
　このようにすることで、使用者の立体視する際の能力に合わせて視差量Ｄの大きい処理単位の表示または非表示を設定可能なデジタルカメラ１００を実現することができる。
　また、上記のように、評価値算出部２０６は、拡大候補領域３１０に含まれる全ての処理単位それぞれの評価値Ｃを求める必要はない。
　以下、実施の形態２に係るコントローラ１０５の映像信号の拡大表示動作の他の動作フローについて、評価値の算出動作を中心に図面を参照しながら説明する。
　図１１は、評価値Ｃの算出順序を説明するための拡大候補領域３１０の模式図である。
　図１２は、実施の形態２に係るコントローラ１０５の拡大表示動作の他の例を示すフローチャートである。
　なお、図１１及び図１２を用いて説明する拡大表示動作は、評価値算出部２０６は、評価値の算出に上記式（４）及び式（５）を用いる動作の一例である。
　評価値算出部２０６は、指定された拡大表示指示位置３００に対応する処理単位である第１処理単位３００ａを中心に、周囲に向かって１処理単位ごとに探索範囲を広げて評価値Ｃの算出を行う。
　具体的には、まず、図１１に示されるように、第１処理単位３００ａに対する画像上のチェス盤距離が１である８個の処理単位について、第１処理単位３００ａの真下に位置する処理単位３００ｂから反時計回りに順番に評価値Ｃを算出する。
　続いて、第１処理単位３００ａに対する画像上のチェス盤距離が２である１６個の処理単位について、処理単位３００ｃから反時計回りに順番に評価値Ｃを算出する。なお、図１１の各処理単位に付されている「０」または「１」の数字は、上述の当該処理単位が表示される処理単位であるか、非表示とされる処理単位であるかを示すラベルを意味する。
　以上説明したような順番で、各処理単位について図１２のステップＳ２０９、ステップＳ２０４～Ｓ２０６、ステップＳ２１０、及びステップＳ２１１の評価値の算出が行われる。
　図１２に示されるように、各処理単位について、評価値算出部２０６は、当該処理単位が拡大表示指示位置３００（第１処理単位３００ａ）から連結されているか否かを判断する（図１２のＳ２０９）。ここで、「連結されている」とは、評価値Ｃが所定の閾値Ｓ未満である１または複数の処理単位（図１１において、０と記載されている処理単位）によって第１処理単位３００ａと連結されていることを意味する。
　言い換えれば、ある処理単位から、評価値Ｃが所定の閾値Ｓ未満である隣接する処理単位をたどって第１処理単位３００ａまで到達可能である（第１処理単位までの処理単位のパスが存在する）場合、当該処理単位は、第１処理単位と連結されているといえる。なお、本実施の形態では、「隣接する処理単位」とは、ある処理単位に対して、上下左右方向に隣接している処理単位のみを意味するが、「隣接する処理単位」には、対角方向に隣接する処理単位が含まれてもよい。
　第１処理単位３００ａに連結された処理単位（図１２のＳ２０９でＹｅｓ）については、評価値Ｃの算出（図１２のＳ２０４～Ｓ２０６）が行われ、処理単位の評価値Ｃが所定の閾値Ｓ以上であるか否かが判定される（図１２のＳ２１０）。処理単位の評価値Ｃが所定の閾値Ｓ以上である場合（図１２のＳ２１０でＹｅｓ）、当該処理単位には、当該処理単位を非表示とすることを示すラベル「１」が付与される。例えば、図１１では、処理単位３００ｃがラベル「１」を付与された処理単位である。
　処理単位の評価値Ｃが所定の閾値Ｓ以上である場合（図１２のＳ２１０でＹｅｓ）、当該処理単位には、当該処理単位を非表示とすることを示すラベル「１」が付与される（図１２のＳ２１１）。例えば、図１１では、処理単位３００ｃがラベル「１」を付与された処理単位である。
　処理単位の評価値Ｃが所定の閾値Ｓ未満である場合（図１２のＳ２１０でＮｏ）、当該処理単位のラベルは、予め設定された「０」となる。例えば、図１１では、処理単位３００ｂのラベルは、「０」である。
　一方、第１処理単位３００ａに連結されていない処理単位（図１２のＳ２０９でＮｏ）については、評価値Ｃの算出（図１２のＳ２０４～Ｓ２０６、Ｓ２１０～Ｓ２１１）は、行われない。例えば、図１１では、処理単位３００ｄ～３００ｈは、評価値Ｃが算出されない処理単位である。
　次に、領域選択部２０４は、拡大候補領域３１０内の評価値が算出された領域において選択可能な第２領域のうち、第２領域に含まれる全ての処理単位の評価値Ｃの和が最も小さい第２領域を拡大表示領域３０５として選択する（図１２のＳ２０７）。
　最後に、領域選択部２０４、及び映像処理部１０３は、拡大表示領域３０５を拡大した映像である拡大表示映像を生成し、液晶モニタ１１０に拡大表示映像を表示（出力）する（図１２のＳ２０８）。
　［２－３．効果等］
　以上のように、実施の形態２においてコントローラ１０５（立体映像処理装置）は、さらに、評価値算出部２０６を備え、評価値算出部２０６が算出する評価値Ｃに基づいて、領域選択部２０４は、拡大表示領域を選択する。
　評価値Ｃは、第１処理単位３００ａの視差量を基準とした相対的な視差量Ｄの絶対値が小さいほど小さい値となる第１評価値α・｜Ｄ｜と、第１処理単位３００ａからの距離Ｆが近い処理単位ほど小さい値となる第２評価値β・Ｆとの和である。
　これにより、領域選択部２０４は、視差量Ｄと距離Ｆとの両方を考慮して、拡大表示領域３０５を選択することができる。
　なお、評価値Ｃは、実施の形態２で説明したものに限定されるものではない。例えば、式（２）及び式（４）においてβは０であってもよい。βが０の場合であっても、領域選択部２０４は、拡大表示領域をユーザが適切かつ安全に立体視可能な映像として所定の倍率によって拡大表示することができる。
　また、実施の形態２では、視差量Ｄとして、第１処理単位の視差量を基準とした相対的な視差量を用いたが、視差量Ｄは、絶対的な視差量であってもよい。
　また、実施の形態２の評価値算出部２０６は、評価値Ｃが所定の閾値Ｓ未満である処理単位によって第１処理単位３００ａと連結された処理単位それぞれの評価値を算出する。
　これにより、拡大表示領域の候補となり得ない領域については評価値Ｃの算出処理を省略し、評価値の算出コスト及び評価値算出の負荷を軽減することができる。
　（他の実施形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１～２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１～２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下、他の実施の形態をまとめて説明する。
　実施の形態１～２では、本開示の立体映像処理装置を図１３の（ａ）に示されるようなデジタルカメラに適用する例について説明した。しかしながら、立体映像処理装置は、例えば、図１３の（ｂ）に示されるようなデジタルビデオカメラにも適用可能である。
　また、例えば、本開示の立体映像処理装置は、図１４に示されるテレビ７００にも適用可能である。この場合、テレビ放送や、図１４に示されるＢｌｕ－Ｒａｙプレーヤ７１０、及びセットトップボックス７２０から取得される映像について、立体映像処理装置は、映像の拡大表示処理を行う。
　また、本開示の立体映像処理装置は、Ｂｌｕ－Ｒａｙプレーヤ７１０に適用することも可能である。この場合、挿入されたＢｌｕ－Ｒａｙディスクや、ＤＶＤ（Ｄｉｓｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等のあらゆる記録媒体から取得した映像について、立体映像処理装置は、映像の拡大表示処理を行うことができる。
　さらに、本開示の立体映像処理装置は、セットトップボックス７２０にも適用可能である。この場合、ケーブルテレビ放送等から取得した映像について、立体映像処理装置は、映像の拡大表示処理を行うことができる。
　また、以下のような場合も本開示に含まれる。
　（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
　（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。
　（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。
　（４）本開示は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。
　また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。
　また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
　また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。
　また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
　したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示に係る立体映像処理装置及び立体映像処理方法は、立体映像をユーザが安全に視聴可能なように所定の倍率で拡大表示することが可能であり、立体映像を表示するデジタルカメラ、ディスプレイなどとして有用である。
　１００　デジタルカメラ
　１０１　光学系
　１０２　ＣＣＤイメージセンサ
　１０３　映像処理部
　１０４　メモリ
　１０５　コントローラ
　１０６　カードスロット
　１０７　メモリカード
　１０８　操作部材
　１０９　ズームレバー
　１１０　液晶モニタ
　１１１　内部メモリ
　２０１　映像取得部
　２０２　視差取得部
　２０３　決定部
　２０４　領域選択部
　２０５　位置取得部
　２０６　評価値算出部
　３００　拡大表示指示位置
　３００ａ　第１処理単位
　３００ｂ～３００ｈ　処理単位
　３０１　画像サイズ
　３０２　指示カーソル
　３０３　第１領域
　３０４ａ～３０４ｅ　第２領域
　３０５　拡大表示領域
　３１０　拡大候補領域
　７００　テレビ
　７１０　Ｂｌｕ－Ｒａｙプレーヤ
　７２０　セットトップボックス

Claims (9)

  1. 　表示画面に表示された立体視用の映像の一部を前記表示画面に所定の倍率で拡大表示するための処理を行う立体映像処理装置であって、
    　前記立体視用の映像を取得する映像取得部と、
    　前記立体視用の映像内の一部の領域である第１領域の位置を取得する位置取得部と、
    　前記立体視用の映像の視差量を前記立体視用の映像を所定の画素数ごとに区分した処理単位ごとに取得する視差取得部と、
    　前記表示画面の大きさ及び前記所定の倍率に基づいて、前記立体視用の映像の一部である拡大表示領域の前記表示画面上における大きさを決定する決定部と、
    　前記立体視用の映像内の複数の第２領域であって、それぞれが前記第１領域を含み、かつ前記決定部によって決定された大きさである前記複数の前記第２領域のうち、当該第２領域に含まれる前記処理単位それぞれの視差量が所定の範囲内である前記第２領域を前記拡大表示領域として選択する領域選択部とを備える
    　立体映像処理装置。
  2. 　前記領域選択部は、前記複数の前記第２領域のうち、当該第２領域に含まれる前記処理単位それぞれの視差量の分散が最も小さい前記第２領域を前記拡大表示領域として選択する
    　請求項１に記載の立体映像処理装置。
  3. 　前記領域選択部は、前記第１領域に含まれる前記処理単位それぞれの視差量の平均値と前記第２領域に含まれる前記処理単位それぞれの視差量の平均値との差が最も小さくなるような前記第２領域を前記拡大表示領域として選択する
    　請求項１または２に記載の立体映像処理装置。
  4. 　前記領域選択部は、前記複数の前記第２領域のうち、前記表示画面上における位置が前記第１領域の位置から最も近い前記第２領域を前記拡大表示領域として選択する
    　請求項１～３のいずれか１項に記載の立体映像処理装置。
  5. 　前記立体映像処理装置は、さらに、前記処理単位それぞれの評価値を算出する評価値算出部を備え、
    　前記評価値は、前記処理単位の前記視差量の絶対値が小さいほど小さい値となる第１評価値と、前記処理単位の前記表示画面上における位置が前記第１領域の位置から近いほど小さい値となる第２評価値との和であり、
    　前記領域選択部は、前記第２領域に含まれる前記処理単位の前記評価値の和が最も小さい前記第２領域を前記拡大表示領域として選択する
    　請求項１に記載の立体映像処理装置。
  6. 　前記視差取得部は、前記処理単位のそれぞれについて、前記第１領域の位置に対応する前記処理単位である第１処理単位の視差量との差分である相対視差量を取得し、
    　前記評価値は、前記処理単位の前記相対視差量の絶対値が小さいほど小さい値となる第１評価値と、前記第２評価値との和である
    　請求項５に記載の立体映像処理装置。
  7. 　前記評価値算出部は、前記評価値が所定の閾値未満である処理単位によって前記第１処理単位と連結された前記処理単位それぞれの前記評価値を算出する
    　請求項５または６に記載の立体映像処理装置。
  8. 　前記領域選択部は、前記立体視用の映像と同じアスペクト比の前記第２領域を前記拡大表示領域として選択する
    　請求項１～７のいずれか１項に記載の立体映像処理装置。
  9. 　表示画面に表示された立体視用の映像の一部を前記表示画面に所定の倍率で拡大表示するための立体映像処理方法であって、
    　立体視用の映像を取得する映像取得ステップと、
    　前記立体視用の映像内の一部の領域である第１領域の位置を取得する位置取得ステップと、
    　前記立体視用の映像の視差量を前記立体視用の映像を所定の画素数ごとに区分した処理単位ごとに取得する視差取得ステップと、
    　前記表示画面の大きさ及び前記所定の倍率に基づいて、前記立体視用の映像の一部である拡大表示領域の前記表示画面上における大きさを決定する決定ステップと、
    　前記立体視用の映像内の複数の第２領域であって、それぞれが前記第１領域を含み、かつ前記決定ステップにおいて決定された大きさの領域である前記複数の前記第２領域のうち、当該第２領域に含まれる前記処理単位それぞれの視差量が所定の範囲内である前記第２領域を前記拡大表示領域として選択する領域選択ステップとを含む
    　立体映像処理方法。
PCT/JP2012/005253 2011-09-20 2012-08-22 立体映像処理装置及び立体映像処理方法 WO2013042311A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012555627A JP5281720B1 (ja) 2011-09-20 2012-08-22 立体映像処理装置及び立体映像処理方法
US13/889,900 US9313477B2 (en) 2011-09-20 2013-05-08 Three-dimensional video processing apparatus and three-dimensional video processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011204088 2011-09-20
JP2011-204088 2011-09-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/889,900 Continuation US9313477B2 (en) 2011-09-20 2013-05-08 Three-dimensional video processing apparatus and three-dimensional video processing method

Publications (1)

Publication Number Publication Date
WO2013042311A1 true WO2013042311A1 (ja) 2013-03-28

Family

ID=47914105

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/005253 WO2013042311A1 (ja) 2011-09-20 2012-08-22 立体映像処理装置及び立体映像処理方法

Country Status (3)

Country Link
US (1) US9313477B2 (ja)
JP (1) JP5281720B1 (ja)
WO (1) WO2013042311A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538081B1 (en) 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317429A (ja) * 1995-05-23 1996-11-29 Matsushita Electric Ind Co Ltd 立体電子ズーム装置及び立体画質制御装置
JP2004349736A (ja) * 2003-05-08 2004-12-09 Sharp Corp 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2005073013A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
JP2005130313A (ja) * 2003-10-24 2005-05-19 Sony Corp 立体視画像処理装置
JP2011029700A (ja) * 2009-07-21 2011-02-10 Fujifilm Corp 画像再生装置及び方法
JP2011176699A (ja) * 2010-02-25 2011-09-08 Casio Computer Co Ltd 撮像装置、表示方法、および、プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336165A (ja) * 1995-06-09 1996-12-17 Canon Inc 複眼撮像装置
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
JP2001142166A (ja) 1999-09-15 2001-05-25 Sharp Corp ３ｄカメラ
CN101841728B (zh) * 2003-04-17 2012-08-08 夏普株式会社 三维图像处理装置
JP4254478B2 (ja) 2003-10-24 2009-04-15 ソニー株式会社 立体視画像処理装置
JP4442190B2 (ja) 2003-10-24 2010-03-31 ソニー株式会社 立体視画像処理装置
JP5355208B2 (ja) * 2009-05-01 2013-11-27 富士フイルム株式会社 ３次元表示装置及びデジタルズーム補正方法
JP4995854B2 (ja) 2009-03-11 2012-08-08 富士フイルム株式会社 撮像装置、画像補正方法および画像補正プログラム
JP2011029905A (ja) 2009-07-24 2011-02-10 Fujifilm Corp 撮像装置、方法およびプログラム
US9294751B2 (en) * 2009-09-09 2016-03-22 Mattel, Inc. Method and system for disparity adjustment during stereoscopic zoom
JP5898842B2 (ja) * 2010-01-14 2016-04-06 任天堂株式会社 携帯型情報処理装置、携帯型ゲーム装置
JP2011147067A (ja) * 2010-01-18 2011-07-28 Sony Corp 画像処理装置及び方法、並びにプログラム
WO2011121837A1 (ja) * 2010-03-29 2011-10-06 富士フイルム株式会社 立体撮像装置、画像再生装置及び編集ソフトウエア
US8970672B2 (en) * 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
JP5425305B2 (ja) * 2010-05-31 2014-02-26 富士フイルム株式会社 立体画像制御装置ならびにその動作制御方法およびその動作制御プログラム
JP5186715B2 (ja) * 2010-06-14 2013-04-24 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法、および、表示制御システム
CN102959968B (zh) * 2010-06-30 2016-05-04 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
JP5724230B2 (ja) * 2010-07-07 2015-05-27 ソニー株式会社 表示制御装置、表示制御方法、プログラム
JP5704854B2 (ja) * 2010-07-26 2015-04-22 オリンパスイメージング株式会社 表示装置
JP5059922B2 (ja) * 2010-09-15 2012-10-31 シャープ株式会社 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
US8896667B2 (en) * 2010-10-25 2014-11-25 Aptina Imaging Corporation Stereoscopic imaging systems with convergence control for reducing conflicts between accomodation and convergence
KR101727899B1 (ko) * 2010-11-26 2017-04-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9532027B2 (en) * 2011-05-27 2016-12-27 Warner Bros. Entertainment Inc. Methods for controlling scene, camera and viewing parameters for altering perception of 3D imagery
US20130009949A1 (en) * 2011-07-05 2013-01-10 Texas Instruments Incorporated Method, system and computer program product for re-convergence of a stereoscopic image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08317429A (ja) * 1995-05-23 1996-11-29 Matsushita Electric Ind Co Ltd 立体電子ズーム装置及び立体画質制御装置
JP2004349736A (ja) * 2003-05-08 2004-12-09 Sharp Corp 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2005073013A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
JP2005130313A (ja) * 2003-10-24 2005-05-19 Sony Corp 立体視画像処理装置
JP2011029700A (ja) * 2009-07-21 2011-02-10 Fujifilm Corp 画像再生装置及び方法
JP2011176699A (ja) * 2010-02-25 2011-09-08 Casio Computer Co Ltd 撮像装置、表示方法、および、プログラム

Also Published As

Publication number Publication date
JP5281720B1 (ja) 2013-09-04
US20130242065A1 (en) 2013-09-19
JPWO2013042311A1 (ja) 2015-03-26
US9313477B2 (en) 2016-04-12

Similar Documents

Publication Publication Date Title
CA2917196C (en) Display control apparatus and computer-readable recording medium
JP4212987B2 (ja) 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
CN106604018B (zh) 3d显示设备及其控制方法
US9210407B2 (en) Image processing apparatus and method, and program
US9779539B2 (en) Image processing apparatus and image processing method
JP2011035592A (ja) 表示制御プログラムおよび情報処理システム
EP2696588B1 (en) Three-dimensional image output device and method of outputting three-dimensional image
US9495795B2 (en) Image recording device, three-dimensional image reproducing device, image recording method, and three-dimensional image reproducing method
US20130071013A1 (en) Video processing device, video processing method, program
TW201225640A (en) Apparatus and method for displaying stereoscopic images
JP2012053165A (ja) 情報処理装置、プログラムおよび情報処理方法
JP5950701B2 (ja) 画像表示システム、パズルゲームシステム、画像表示方法、パズルゲーム方法、画像表示装置、パズルゲーム装置、画像表示プログラム、および、パズルゲームプログラム
JP5281720B1 (ja) 立体映像処理装置及び立体映像処理方法
WO2012120880A1 (ja) 立体画像出力装置及び立体画像出力方法
JP5765418B2 (ja) 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム
JP6008322B2 (ja) 視差画像生成装置、視差画像生成方法、プログラムおよび集積回路
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
JP6443505B2 (ja) プログラム、表示制御装置及び表示制御方法
US20240121373A1 (en) Image display method and 3d display system
JP2013030848A (ja) 画像処理装置および画像処理方法
JP2020098944A (ja) 映像生成装置、映像生成方法および映像生成プログラム
CN117635684A (zh) 立体格式图像检测方法与使用该方法的电子装置
JP2013219579A (ja) 情報処理装置、３次元画像の補正方法およびプログラム
JP2012239142A (ja) 立体視画像表示装置、立体視画像表示方法、および立体視画像表示プログラム
JP2014207563A (ja) 三次元画像表示装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2012555627

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12833577

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12833577

Country of ref document: EP

Kind code of ref document: A1