[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2015072166A1 - 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体 - Google Patents

撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2015072166A1
WO2015072166A1 PCT/JP2014/064134 JP2014064134W WO2015072166A1 WO 2015072166 A1 WO2015072166 A1 WO 2015072166A1 JP 2014064134 W JP2014064134 W JP 2014064134W WO 2015072166 A1 WO2015072166 A1 WO 2015072166A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
face
image data
imaging
unit
Prior art date
Application number
PCT/JP2014/064134
Other languages
English (en)
French (fr)
Inventor
貴文 熊野
Original Assignee
オリンパスイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスイメージング株式会社 filed Critical オリンパスイメージング株式会社
Priority to JP2015525680A priority Critical patent/JP5886479B2/ja
Priority to CN201480062598.5A priority patent/CN106464793B/zh
Publication of WO2015072166A1 publication Critical patent/WO2015072166A1/ja
Priority to US14/748,283 priority patent/US9628700B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/287—Systems for automatic generation of focusing signals including a sight line detecting device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Definitions

  • the present invention relates to an imaging apparatus, an imaging assist method, and a recording medium on which an imaging assist program is recorded.
  • the imaging apparatus proposed in Patent Document 1 acquires at least a part of an image displayed on the live view display unit as a sample image, evaluates the composition of the acquired sample image, and is given high evaluation.
  • the sample image having the composition shown is superimposed on the image displayed on the live view display unit.
  • Patent Document 1 does not consider presenting a composition in consideration of an object in the direction of movement of the subject.
  • the present invention has been made in view of the above circumstances, and an imaging apparatus, an imaging assist method, and a recording medium on which an imaging assist program is recorded that can present a composition in consideration of the movement of a subject during video recording and an object of interest
  • the purpose is to provide.
  • an imaging apparatus includes an imaging unit that acquires image data by imaging, a face detection unit that detects a facial part that is a main subject in the image data, An object detection unit for detecting an object for determining a direction in which the face is considered to be noticed in the image data, and the face part from the object detected by the object detection unit. Is determined by the different subject determination unit that determines the presence or absence of another subject that exists in the direction considered to be focused in the image data, and the different subject determination unit determines that the other subject exists. Sets a trimming range so that the face and the other subject are arranged in the screen, and if it is determined that the other subject does not exist, the face is included in the image data. If you pay attention A trimming position setting unit for setting the trimming range so that the face portion is arranged in the screen so as to have a space in an extension direction of the obtained direction, and trimming the image data according to the set trimming range An image processing unit.
  • an imaging assist method includes obtaining image data by imaging by an imaging unit, and detecting a face part that is a main subject in the image data. Detecting a target for determining a direction in which the face is considered to be focused in the image data, and detecting the target from the detected target in the image data. Determining whether or not another subject exists in a direction considered to be present, and when it is determined that the other subject exists, the face and the other subject are arranged on the screen. When the trimming range is set so that the other subject does not exist, the face portion has a space extending in the direction considered to be noticed in the image data. Said Part is provided and setting the trimming range to be disposed within the screen, and performing trimming with respect to the image data according to the set trimming range.
  • a recording medium on which an imaging assist program according to the third aspect of the present invention is recorded acquires image data by imaging by an imaging unit, and a facial part that is a main subject in the image data , Detecting a target for determining a direction in which the face is considered to be noticed in the image data, and detecting the target from the detected target.
  • the trimming range is set so as to be arranged in the screen, and it is determined that the other subject does not exist, the extension direction of the direction in which the face is considered to be noticed in the image data And setting the trimming range such that the face portion is positioned within the screen so as to have a space, the executing and performing trimming with respect to the image data to the computer according to the set trimming range.
  • an imaging apparatus and an imaging assist method capable of presenting a composition in consideration of the movement of a subject during video shooting and an object of interest.
  • FIG. 1 is a block diagram illustrating a configuration as an example of an imaging apparatus according to each embodiment of the present invention.
  • FIG. 2 is a flowchart showing a process during a shooting operation of the imaging apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a first example of composition setting by the cutout position setting unit.
  • FIG. 4a is a first flowchart illustrating the process in step S108 in FIG.
  • FIG. 4B is a second diagram of the flowchart for explaining the process of step S108 of FIG.
  • FIG. 5 is a diagram illustrating a second example of composition setting by the cutout position setting unit.
  • FIG. 6 is a flowchart for explaining the process of step S109 of FIG. FIG.
  • FIG. 7 is a diagram for explaining processing for detecting an object from the pointing direction.
  • FIG. 8 is a diagram illustrating a third example of composition setting by the cutout position setting unit.
  • FIG. 9A is a first diagram for explaining an example of an image obtained by the imaging optical system used in the second embodiment of the present invention.
  • FIG. 9B is a second diagram for explaining an example of an image obtained by the imaging optical system used in the second embodiment of the present invention.
  • FIG. 10 is a flowchart showing a process during a shooting operation of the imaging apparatus according to the second embodiment of the present invention.
  • FIG. 11 is a diagram showing the execution timing of trimming 1, trimming 2, and trimming 3.
  • FIG. 12A is a first diagram for explaining the trimming 1.
  • FIG. 12B is a second diagram for explaining the trimming 1.
  • FIG. 13A is a first diagram for explaining the trimming 2.
  • FIG. 13B is a second diagram for explaining the trimming 2.
  • FIG. 13C is a third diagram for explaining the trimming 2.
  • FIG. 1 is a block diagram illustrating a configuration as an example of an imaging apparatus according to each embodiment of the present invention.
  • the imaging apparatus 100 illustrated in FIG. 1 can be applied to various mobile terminal devices such as a digital camera, a mobile phone with a camera function, and a smartphone.
  • An imaging apparatus 100 illustrated in FIG. 1 includes an imaging optical system 102, an imaging unit 104, a display unit 106, a touch panel 108, a recording unit 110, a voice acquisition unit 112, an attitude detection unit 114, and an operation unit 116.
  • the communication unit 118 and the control unit 120 are included.
  • the imaging optical system 102 has an aperture, a lens, and the like, and is an optical system for causing a light beam from a subject (not shown) to enter the imaging unit 104.
  • the imaging optical system 102 may include a focus lens, or may be configured as a zoom lens.
  • the imaging unit 104 images a subject and obtains image data related to the subject.
  • the imaging unit 104 includes an imaging element, an imaging processing circuit, and an A / D conversion circuit.
  • the imaging device converts the light received through the imaging optical system 102 into an electrical signal (image signal) corresponding to the amount of light.
  • the imaging processing circuit performs various analog processing such as gain adjustment on the image signal obtained by the imaging device.
  • the A / D conversion circuit converts the image signal analog-processed by the imaging processing circuit into image data as a digital signal.
  • the display unit 106 is, for example, a liquid crystal display or an organic EL display, and displays various images such as an image based on the image data acquired by the imaging unit 104.
  • the touch panel 108 is formed on the display screen of the display unit 106 and detects contact of a user's finger or the like on the display screen of the display unit 106. Information on the contact position detected by the touch panel 108 is input to the control unit 120. The control unit 120 performs control according to the contact position detected by the touch panel 108.
  • the recording unit 110 is a flash memory, for example, and is a recording medium for recording various data. For example, an image file obtained as a result of the photographing operation is recorded in the recording unit 110.
  • the recording unit 110 records a program used for controlling the imaging device 100. Further, the recording unit 110 has a recording area for the subject database (DB) and a recording area for the audio database (DB).
  • the subject DB is a database in which data for identifying a subject in the image data is recorded.
  • the data for identifying the subject is data of the face of the subject or data of the finger of the subject.
  • the voice DB is a database in which data for identifying voice input via the voice acquisition unit 112 is recorded.
  • the data for identifying the voice is voice data for each user.
  • the voice acquisition unit 112 acquires voice data based on the voice input from the user.
  • the voice acquisition unit 112 includes a microphone (microphone), a voice processing circuit, and an A / D conversion circuit.
  • the microphone captures audio input from the user as an electrical signal (audio signal).
  • the audio processing circuit performs various analog processes such as gain adjustment on the audio signal obtained by the microphone.
  • the A / D conversion circuit converts the audio signal analog-processed by the audio processing circuit into audio data as a digital signal.
  • the posture detection unit 114 detects the posture of the subject according to the data for identifying the subject recorded in the subject DB. Then, when the subject identified in the image data has a specific posture, the posture detection unit 114 notifies the control unit 120 to that effect.
  • the operation unit 116 is an operation member for the user to operate the imaging apparatus 100.
  • the operation unit 116 includes a power switch, a release button, and the like as operation members.
  • the power switch is an operation member for giving an instruction to turn on / off the power of the imaging apparatus 100.
  • the release button is an operation member for giving an instruction to start photographing.
  • the communication unit 118 is, for example, a wireless interface, and mediates data communication between the imaging apparatus 100 and an external device during wireless communication such as 3G communication.
  • the control unit 120 comprehensively controls the operation of the imaging apparatus 100.
  • the control unit 120 includes a face detection unit 1201, an object detection unit 1202, a motion detection unit 1203, a voice recognition unit 1204, another subject determination unit 1205, a cutout position setting unit 1206, and an image processing unit 1207.
  • the face detection unit 1201 detects the face part of the subject as the main subject in the image data using the information in the subject DB of the recording unit 110.
  • the object detection unit 1202 uses the information in the subject DB of the recording unit 110 to specify a direction in which the subject in the image data is considered to be focused, such as a facial organ such as the subject's eyes and a finger part. Detect objects.
  • the motion detection unit 1203 detects the motion (movement speed) of a subject (for example, a face) per unit time from, for example, image data of a plurality of frames.
  • the voice recognition unit 1204 recognizes the content of the voice data acquired by the voice acquisition unit 112 using the information of the voice DB of the recording unit 110.
  • the separate subject determination unit 1205 uses the results of the face detection unit 1201, the object detection unit 1202, the motion detection unit 1203, and the voice recognition unit 1204 in the direction in which the subject is considered to be focused in the image data. The presence / absence of an existing subject is determined.
  • the cutout position setting unit 1206 cuts out image data acquired by the imaging unit 104 according to the results of the face detection unit 1201, the object detection unit 1202, the motion detection unit 1203, the voice recognition unit 1204, and the separate subject determination unit 1205. Set the position.
  • the image processing unit 1207 performs various image processing on the image data acquired by the imaging unit 104. This image processing includes image processing necessary for displaying or recording image data, such as white balance correction, gradation correction, and color correction. In the present embodiment, the image processing includes image data cutout (trimming) processing and cutout image data enlargement processing.
  • FIG. 2 is a flowchart illustrating processing during a shooting operation of the imaging apparatus 100 according to the first embodiment.
  • the processing in FIG. 2 is mainly controlled by the control unit 120.
  • FIG. 2 illustrates the operation at the time of moving image shooting, but the technique of the present embodiment can be applied even at the time of still image shooting.
  • the control unit 120 starts the live view display (step S101).
  • the control unit 120 causes the imaging unit 104 to operate continuously.
  • the control unit 120 performs image processing for display by the image processing unit 1207 on the image data obtained by the continuous operation of the imaging unit 104.
  • the control unit 120 displays a through image on the display unit 106 based on the image data subjected to the image processing. With this through image, the user can confirm the composition using the image displayed on the display unit 106.
  • the control unit 120 After starting the through image display, the control unit 120 causes the face detection unit 1201 to detect a face part in the image data obtained by the imaging unit 104. In addition, the control unit 120 causes the object detection unit 1202 to detect each facial organ of the face in the image data obtained by the imaging unit 104 (step S102). For example, the face portion in the image data is detected by matching the image data obtained by the imaging unit 104 with the image data of the face pattern stored in the subject DB. Similarly, the facial organ is detected by a known method such as pattern matching. Here, in the present embodiment, at least eyes are detected as the facial organs.
  • control unit 120 causes the object detection unit 1202 to detect the fingertip portion in the image data obtained by the imaging unit 104 (step S103).
  • the fingertip part in the image data is also detected, for example, by matching the image data obtained by the imaging unit 104 with the image data of the face pattern stored in the subject DB.
  • the different subject determination unit 1205 of the control unit 120 determines whether the line-of-sight direction has been detected (step S104).
  • the line-of-sight direction can be determined by detecting movement of the pupil, for example. That is, when movement of the pupil center is detected in the image data, the movement direction of the pupil center can be set as the line-of-sight direction.
  • the cut-out position setting unit 1206 determines the trimming range so that the main subject is arranged at the center of the screen. . Thereafter, the image processing unit 1207 performs trimming of the image data according to the determined trimming range (step S105).
  • the main subject is, for example, the subject at the center of the screen, the closest subject, a person, or the like. If the main subject cannot be arranged at the center of the screen because the angle of view is narrow, the angle of view may be increased by shortening the focal length of the imaging optical system 102.
  • the composition is set based on the main subject. Note that trimming may not be performed when the main subject cannot be arranged at the center of the screen.
  • the separate subject determination unit 1205 determines whether the pointing direction has been detected (step S106). If it is determined in step S106 that the pointing direction has not been detected, the separate subject determination unit 1205 determines whether or not a plurality of face portions have been detected from the image data (step S107). When it is determined in step S107 that a plurality of face portions are not detected from the image data, the cutout position setting unit 1206 has a space on the same direction side as the line-of-sight direction as shown in FIG. The trimming range is determined so that the face portion of the subject is arranged at the golden division point on the side opposite to the viewing direction.
  • the image processing unit 1207 performs trimming of the image data according to the determined trimming range (step S108).
  • the golden division point is an intersection of a diagonal drawn in the screen and a perpendicular drawn from a vertex different from the vertex included in the diagonal (four points P1, P2, P3, and P4 in FIG. 3). ).
  • the details of the processing in step S108 will be described with reference to FIGS. 4a and 4b.
  • the line-of-sight direction is defined as follows.
  • the line-of-sight direction in the present embodiment is expressed as an angle formed with respect to the screen upward direction, for example.
  • the counterclockwise direction is the positive direction of the line-of-sight direction.
  • the cut-out position setting unit 1206 determines whether or not the line-of-sight direction is the upper right direction (step S201).
  • the upper right direction is assumed to be in the range of 0 ° to 74 °, for example.
  • the cutout position setting unit 1206 may be the face (other than the face) of the main subject at the golden division point (P3 in FIG. 3) at the lower left of the screen.
  • the trimming range is set so as to be arranged (step S202). Thereafter, the cut-out position setting unit 1206 sets a final trimming range so that the whole body of the subject fits within the screen (step S203).
  • the gaze direction being the upper right direction means that the main subject is paying attention to the upper right direction of the screen. Therefore, by setting the composition so that the main subject is arranged at the lower left of the screen and has a space in the upper right direction of the screen, it is possible to shoot a moving image with emphasis on the direction of interest of the main subject.
  • the cut-out position setting unit 1206 determines whether or not the line-of-sight direction is the right direction (step S204).
  • the right direction is assumed to be in the range of 75 ° to 104 °, for example.
  • the cut-out position setting unit 1206 sets the trimming range so that the face of the main subject is arranged at the golden division point (P2 in FIG. 3) at the upper left of the screen. Setting is made (step S205). After that, the cutout position setting unit 1206 sets a final trimming range so that the whole body of the main subject is within the screen (step S206).
  • That the line-of-sight direction is the right direction means that the main subject is paying attention to the right direction of the screen. Therefore, the composition is set so that the main subject is placed on the left side of the screen (if the face portion is placed at the golden division point in the upper left, the subject is placed on the left side of the screen as a whole) and a space is left in the right direction of the screen. As a result, it is possible to shoot a movie that emphasizes the direction in which the main subject is paying attention.
  • the cut-out position setting unit 1206 determines whether the line-of-sight direction is the lower right direction (step S207).
  • the lower right direction is assumed to be in the range of 105 ° to 179 °, for example.
  • the cutout position setting unit 1206 causes the trimming range so that the face of the main subject is arranged at the golden division point (P2 in FIG. 3) at the upper left of the screen. Is set (step S208).
  • the cutout position setting unit 1206 sets a final trimming range so that the whole body size of the main subject is about 1/3 of the size in the vertical direction of the screen (step S209). That the line-of-sight direction is the lower right direction means that the main subject is paying attention to the lower right direction of the screen. Therefore, by setting the composition so that the main subject is arranged at the upper left of the screen and has a space in the lower right direction of the screen, it is possible to shoot a moving image with emphasis on the direction of interest of the main subject.
  • the final composition is set so that the size of the subject is about 1/3 with respect to the size in the vertical direction of the screen. This creates a space in the lower right direction of the screen.
  • the 1/3 size is an example.
  • the cutout position setting unit 1206 determines whether the line-of-sight direction is the lower left direction (step S210).
  • the lower left direction is assumed to be in the range of 180 ° to 254 °, for example.
  • the cutout position setting unit 1206 sets the trimming range so that the face of the main subject is arranged at the golden division point (P1 in FIG. 3) at the upper right of the screen. Set (step S211).
  • the cutout position setting unit 1206 sets a final trimming range so that the size of the whole body of the subject is about 1/3 of the size in the vertical direction of the screen (step S212). That the line-of-sight direction is the lower left direction means that the main subject is paying attention to the lower left direction of the screen. Therefore, by setting the composition so that the main subject is arranged in the upper right of the screen and a space is provided in the lower left direction of the screen, it is possible to shoot a moving image with emphasis on the direction of interest of the main subject.
  • the cut-out position setting unit 1206 determines whether or not the line-of-sight direction is the left direction (step S213).
  • the left direction is assumed to be in the range of 255 ° to 284 °, for example.
  • the cut-out position setting unit 1206 determines the main subject at the golden division point on the opposite side to the line-of-sight direction, for example, the golden division point on the upper right of the screen (P1 in FIG. 3).
  • the trimming range is set so that the face portion is arranged (step S214).
  • the cutout position setting unit 1206 sets a final trimming range so that the whole body of the main subject is within the screen (step S215). That the line-of-sight direction is the left direction means that the main subject is paying attention to the left direction of the screen. Therefore, by setting the composition so that the main subject is arranged on the right side of the screen and a space is provided in the left direction of the screen, it is possible to shoot a moving image with emphasis on the direction of interest of the main subject.
  • step S213 When it is determined in step S213 that the line-of-sight direction is not the left direction, that is, when it is determined that the line-of-sight direction is the upper left direction (for example, a range of 285 ° to 359 °), the cutout position setting unit 1206
  • the trimming range is set so that the face of the main subject is arranged at the division point (P4 in FIG. 3) (step S216).
  • the cutout position setting unit 1206 sets a final trimming range so that the whole body of the main subject is within the screen (step S217).
  • the line-of-sight direction being the upper left direction means that the main subject is paying attention to the upper left direction of the screen. Therefore, by setting the composition so that the main subject is arranged at the lower right of the screen and has a space in the upper left direction of the screen, it is possible to shoot a moving image with emphasis on the direction of interest of the main subject.
  • the image processing unit 1207 performs trimming of the image data according to the determined trimming range (step S218). Thereafter, the control unit 120 ends the processes of FIGS. 4a and 4b.
  • trimming is performed so that the main subject is arranged at a screen position opposite to the line-of-sight direction in order to provide a space on the side of the line-of-sight direction of the main subject. Thereby, it is possible to shoot a moving image with emphasis on the direction in which the main subject is paying attention.
  • step S107 When it is determined in step S107 that a plurality of face parts are detected, the cutout position setting unit 1206 of the control unit 120 places each of the plurality of face parts near the golden division point as shown in FIG. The trimming range is determined as described. Then, the image processing unit 1207 performs image data trimming in accordance with the determined trimming range (step S109).
  • step S109 the details of the process of step S109 will be described with reference to FIG.
  • the cutout position setting unit 1206 compares the distance between each face part position (for example, the coordinates of the face center) and each golden division point (step S301). Subsequently, the cutout position setting unit 1206 determines a trimming range so that the distance between each face part position and the golden division point is the shortest (step S302). For example, in FIG. 5, the trimming range is determined so that the face of the subject S1 is arranged at the golden division point P3 and the face of the subject S2 is arranged at the golden division point P1.
  • a plurality of face portions may be arranged so as to be close to one golden division point. However, in this embodiment, a trimming range in which a plurality of face portions are arranged so as to be close to one golden division point is not adopted as a final trimming range.
  • the image processing unit 1207 performs trimming of the image data according to the determined trimming range (step S303). Thereafter, the control unit 120 ends the process of FIG. In such trimming in step S109, it is possible to shoot a moving image in which the face of another person who is considered to be focused on by the main subject is emphasized.
  • the trimming in step S109 is always performed when a plurality of faces are detected, there is a possibility that a person's face that is completely irrelevant may be included in the composition. Therefore, as a modification, if there are a plurality of faces that are not registered even if there are a plurality of human faces, the trimming in step S109 is not performed if the line-of-sight directions are not directions that face each other. It may be.
  • the different subject determination unit 1205 of the control unit 120 detects an object that is considered to be focused by the main subject from the pointing direction (step S110).
  • the object S3 is detected.
  • the object S3 is detected by a known method such as feature amount matching or contour extraction.
  • both the eye position and the fingertip position have three-dimensional information. Information on the depth z is obtained as subject distance information.
  • the object S3 may be detected using only two-dimensional information detected from the image data.
  • the object on the extension line between the eyes and the fingertip is an object pointed by the main subject. That is, it is considered that the main subject is paying attention to this object.
  • the separate subject determination unit 1205 determines whether or not the object has actually been detected (step S111). If it is determined in step S111 that the object has actually been detected, the separate subject determination unit 1205 shifts the processing to step S109.
  • the trimming range is determined so that each of the plurality of face portions is arranged near the golden division point.
  • the face portion of the main subject and the object detected in step S110 are arranged near the golden division point.
  • the trimming range is determined.
  • the specific process is the same as in FIG. In such trimming in step S109, it is possible to shoot a moving image that emphasizes an object that is considered to be focused by the main subject.
  • step S111 When it is determined in step S111 that the object has not been detected, the cutout position setting unit 1206 has a space in the pointing direction and the trimming range so that the face of the main subject is arranged at the golden division point. To decide. Thereafter, the image processing unit 1207 performs trimming of the image data according to the determined trimming range (step S112).
  • the process of step S111 is performed in the same manner as step S108 except that the pointing direction is used instead of the line-of-sight direction.
  • the control unit 120 determines whether or not the user has instructed to start moving image shooting (step S113).
  • the start of moving image shooting is, for example, a pressing operation of a release button.
  • the control unit 120 executes moving image shooting (step S114). That is, the control unit 120 performs image processing on the image data obtained by operating the imaging unit 104 in the image processing unit 1207 to generate moving image data, and the moving image file generated from the generated moving image data is stored in the recording unit 110. Record.
  • the control unit 120 determines whether or not the user has instructed the end of the moving image shooting (step S115).
  • the end of moving image shooting is, for example, a pressing operation of the release button again. If it is determined in step S115 that the end of moving image shooting has not been instructed, the control unit 120 returns the process to step S114 and continues moving image shooting. Note that, in moving image shooting in a state where a moving image file is recorded, the control unit 120 appends moving image data obtained by shooting to the recorded moving image file. When it is determined in step S115 that the end of moving image shooting has been instructed, the control unit 120 ends the process of FIG.
  • the composition according to the gaze direction and the pointing direction of the subject by setting the composition according to the gaze direction and the pointing direction of the subject, the direction in which the subject is interested, that is, the direction in which the subject is considered interested, It is possible to shoot a movie with the subject emphasized.
  • FIG. 2 shows an example in which the trimming range is not changed during moving image shooting.
  • various trimmings described with reference to FIG. 2 may be performed even during moving image shooting.
  • the subject is arranged at the golden section when setting the composition, but this is also an example.
  • the subject may be arranged at the third division point.
  • the golden division point and the third division point indicate specific positions in the screen.
  • the subject does not have to be placed at the exact golden division point or the third equal division point.
  • the basic configuration of the imaging apparatus 100 according to the second embodiment is the imaging apparatus 100 illustrated in FIG.
  • the imaging optical system 102 is an optical system capable of photographing with a wide angle of view, such as a fisheye lens.
  • the imaging optical system 102 having such an optical system with an ultra-wide angle of view, it is possible to capture moving images that cannot be captured with a normal imaging optical system.
  • the user can change the imaging apparatus so that the optical axis of the imaging optical system 102 of the imaging apparatus 100 of the second embodiment is perpendicular to the ground, that is, the lens faces the sky.
  • FIG. 10 is a flowchart showing a process during a shooting operation of the imaging apparatus 100 according to the second embodiment.
  • the processing in FIG. 10 is also mainly controlled by the control unit 120.
  • the control unit 120 determines whether or not the operation mode in the moving image shooting mode is set to the own moving image mode (step S401).
  • the imaging apparatus 100 according to the present embodiment has at least a normal moving image mode and a self moving image mode as operation modes of the moving image shooting mode.
  • the normal moving image mode the user holds the imaging device 100 so that the optical axis of the imaging optical system 102 of the imaging device 100 of the second embodiment is parallel to the ground, that is, the lens faces the direction of the subject. In this mode, shooting is performed.
  • the user places the imaging device 100 so that the optical axis of the imaging optical system 102 of the imaging device 100 of the second embodiment is perpendicular to the ground, that is, the lens faces the sky. In this mode, shooting is performed in a state where The operation mode of the moving image shooting mode is set by the user.
  • step S401 When it is determined in step S401 that the operation mode is not set to the own moving image mode, the control unit 120 performs the operation in the normal moving image mode.
  • the operation in the normal moving image mode is, for example, the operation shown in FIG.
  • the control unit 120 causes the control unit 120 to start displaying a through image (step S402). Subsequently, the control unit 120 causes the face detection unit 1201 to detect a face part in the image data obtained by the imaging unit 104 (step S403). Then, the cutout position setting unit 1206 of the control unit 120 determines whether a face portion is detected in the image data, that is, whether the user has entered the screen (step S404). In step S404, it may be determined whether a face of a specific person has been detected. If it is determined in step S404 that no face has been detected, the control unit 120 returns the process to step S401.
  • the cutout position setting unit 1206 uses the motion detection unit 1203 to detect the moving speed of the subject (face) in the horizontal direction of the screen (step S405).
  • the moving speed is a moving amount (pixel) in the horizontal direction on the image data per unit time (for example, one frame).
  • the moving speed in the horizontal direction of the screen is detected because it is assumed that the subject is moving in parallel with the ground.
  • the moving speed in the vertical direction of the screen may also be detected.
  • the cutout position setting unit 1206 determines whether or not the moving speed is higher than a predetermined speed (step S406). If it is determined in step S406 that the moving speed is slower than a predetermined speed, the cutout position setting unit 1206 determines whether or not the subject is present near the center of the screen (step S407). The determinations in steps S406 and S407 are performed to determine the start or end of trimming 2. As will be described in detail later, the trimming 2 is performed when the moving speed of the subject is high and the subject is present near the center of the screen, and is determined so that the subject is centered. The trimming is performed according to the trimmed range.
  • the cutout position setting unit 1206 determines whether trimming 2 is currently being performed (step S408).
  • the cut-out position setting unit 1206 has a space on the same direction side as the moving direction of the subject, and the face of the subject is opposite to the moving direction of the subject.
  • the trimming range is determined so as to be arranged at the golden division point on the direction side.
  • the image processing unit 1207 executes a process of trimming image data according to the determined trimming range as trimming 1 (step S409).
  • trimming is performed in a state in which the trimming range once determined is maintained until trimming 2 is executed.
  • the processes shown in FIGS. 4a and 4b are used.
  • the trimming range may be determined in consideration of the line-of-sight direction and the pointing direction.
  • the trimming 1 process is performed when the moving speed of the subject is low and the subject does not reach the center of the screen (period of trimming 1 in FIG. 11).
  • the composition is set so that there is a space on the moving direction side of the subject, thereby emphasizing how the moving subject passes through the landscape as shown in FIGS. 12A and 12B. Can be taken.
  • FIG. 12B is a composition that is later in time than FIG. 12A.
  • step S406 When it is determined in step S406 that the moving speed is faster than a predetermined speed, or when it is determined in step S407 that the subject exists near the center of the screen, the cut-out position setting unit 1206 focuses on the subject (face).
  • a predetermined range is determined as a trimming range.
  • the image processing unit 1207 executes a process of trimming image data according to the determined trimming range as trimming 2 (step S410). For example, when the subject is moving so as to cross the imaging device 100 obliquely, the distance between the imaging device 100 and the subject is short when the subject is present near the center of the screen (the range of trimming 2 in FIG. 11). Become. At this time, the moving speed on the image data detected in step S405 is increased. In such a case, as shown in FIGS. 13A, 13B, and 13C, by sequentially setting the trimming range so as to follow the subject, a moving image in which the moving subject is correctly captured at the center is captured. Is done.
  • step S408 When it is determined in step S408 that the trimming 2 is currently being executed, the cutout position setting unit 1206 determines whether or not the subject is placed at the golden division point (step S411). The determination in step S411 is performed to determine the start or end of trimming 3. As will be described in detail later, trimming 3 is performed for switching from trimming 2 to trimming, and is performed by sequentially changing the trimming range so that the subject is naturally positioned at the golden division point. Trimming.
  • the cutout position setting unit 1206 determines the trimming range so as to be shifted by a predetermined amount along the moving direction of the subject. Thereafter, the image processing unit 1207 executes a process of trimming the image data according to the determined trimming range as trimming 3 (step S412).
  • the shift amount of the trimming range in a unit time for example, one frame
  • the shift amount x of the trimming range shown in FIG. 14 is set to a value larger than the moving speed of the subject.
  • step S411 When it is determined in step S411 that the subject is located at the golden division point, the cutout position setting unit 1206 shifts the process to step S409 and executes the trimming 1 process.
  • trimming 2 By switching from trimming 2 to trimming 1, a moving image in which a subject disappearing in the landscape is emphasized is shot.
  • the control unit 120 executes moving image shooting (step S413). Thereafter, the control unit 120 returns the process to step S403.
  • the moving image shooting is triggered by the start of face detection (the subject has entered the screen), and the end of face detection (the subject has gone out of the screen). ) Is used as a trigger to end the video shooting.
  • the voice recognition result input from the voice acquisition unit 112 is used as a trigger for starting and ending moving image shooting
  • the posture detection result detected by the posture detection unit 114 is used as a trigger for starting and ending moving image shooting. Or you may. That is, in response to the input of specific sound or the detection of the posture, moving image shooting may be started or ended.
  • the present invention has been described above based on the embodiments, but the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the present invention.
  • the technique of the present embodiment can be applied to security applications, surveillance cameras, in-vehicle cameras, and the like.
  • cameras including nursing robots
  • this embodiment can be applied to such a behavior prediction technique.
  • the image data is cut out by trimming, it is possible to reduce the communication load when it is necessary to transmit the image data.
  • each process according to the above-described embodiment can be stored as a program that can be executed by the control unit 120 that is a computer.
  • it can be stored and distributed in a storage medium of an external storage device such as a memory card (ROM card, RAM card, etc.), magnetic disk (hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, etc. .
  • the control unit 120 reads the program stored in the storage medium of the external storage device, and the operation is controlled by the read program, so that the above-described processing can be executed.
  • the above-described embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained.
  • the configuration can also be extracted as an invention.
  • imaging device 102 imaging optical system, 104 imaging unit, 106 display unit, 108 touch panel, 110 recording unit, 112 voice acquisition unit, 114 attitude detection unit, 116 operation unit, 118 communication unit, 120 control unit, 1201 face detection unit 1202 Object detection unit, 1203 Motion detection unit, 1204 Voice recognition unit, 1205 Separate subject determination unit, 1206 Cutout position setting unit, 1207 Image processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

　撮像装置(100)は、撮像部(104)と、顔検出部(1201)と、対象物検出部(1202)と、別被写体判定部(1205)と、切り出し位置設定部(1206)と、画像処理部(1207)とを含む。撮像部(104)は、撮像により画像データを取得する。顔検出部(1201)は、顔部を検出する。対象物検出部(1202)は、前記顔部が注目していると考えられる方向を判定するための対象物を検出する。別被写体判定部(1205)は、前記顔部が注目していると考えられる方向に存在する別の被写体の有無を判定する。切り出し位置設定部(1206)は、別の被写体が存在すると判定された場合には、前記顔部と前記別の被写体とが画面内に配置されるようにトリミング範囲を設定し、別の被写体が存在しないと判定された場合には、前記顔部が前記画像データ内で注目していると考えられる方向の延長方向に空間を有するように前記顔部が画面内に配置されるように前記トリミング範囲を設定する。画像処理部(1207)は、前記設定されたトリミング範囲に従って前記画像データに対するトリミングを実行する。

Description

撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体
　本発明は、撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体に関する。
　近年、撮影時の構図の設定をアシストする機能を有する撮像装置に関する提案がなされている。例えば、特許文献１において提案されている撮像装置は、ライブビュー表示部に表示されている画像の少なくとも一部をサンプル画像として取得し、取得したサンプル画像の構図を評価し、高い評価が与えられた構図を持つサンプル画像を、ライブビュー表示部に表示されている画像に重ねて提示するようにしている。
特開２０１１－１３５５２７号公報
　特に、動画の撮影時においては被写体の動きや興味の対象も考慮して構図が設定されることが望ましい。例えば、被写体の動きの方向に特定の対象物が存在している場合、被写体の位置だけでなく対象物の位置をも考慮して構図を設定するようなアシストがされると、ユーザは、より魅力のある動画を簡単に撮影することが可能となる。しかしながら、特許文献１は、被写体の動きの方向にある対象物をも考慮して構図を提示することについて考慮していない。
　本発明は、前記の事情に鑑みてなされたもので、動画撮影中の被写体の動きや興味の対象をも考慮して構図を提示できる撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体を提供することを目的とする。
　前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像により画像データを取得する撮像部と、前記画像データにおける主要被写体となる顔部を検出する顔検出部と、前記顔部が前記画像データ内で注目していると考えられる方向を判定するための対象物を検出する対象物検出部と、前記対象物検出部で検出された前記対象物から、前記顔部が前記画像データ内で前記注目していると考えられる方向に存在する別の被写体の有無を判定する別被写体判定部と、前記別被写体判定部によって前記別の被写体が存在すると判定された場合には、前記顔部と前記別の被写体とが画面内に配置されるようにトリミング範囲を設定し、前記別の被写体が存在しないと判定された場合には、前記顔部が前記画像データ内で注目していると考えられる方向の延長方向に空間を有するように前記顔部が画面内に配置されるように前記トリミング範囲を設定する切り出し位置設定部と、前記設定されたトリミング範囲に従って前記画像データに対するトリミングを実行する画像処理部とを具備する。
　前記の目的を達成するために、本発明の第２の態様の撮像アシスト方法は、撮像部による撮像により画像データを取得することと、前記画像データにおける主要被写体となる顔部を検出することと、前記顔部が前記画像データ内で注目していると考えられる方向を判定するための対象物を検出することと、検出された前記対象物から、前記顔部が前記画像データ内で前記注目していると考えられる方向に存在する別の被写体の有無を判定することと、前記別の被写体が存在すると判定された場合には、前記顔部と前記別の被写体とが画面内に配置されるようにトリミング範囲を設定し、前記別の被写体が存在しないと判定された場合には、前記顔部が前記画像データ内で注目していると考えられる方向の延長方向に空間を有するように前記顔部が画面内に配置されるように前記トリミング範囲を設定することと、前記設定されたトリミング範囲に従って前記画像データに対するトリミングを実行することとを具備する。
　前記の目的を達成するために、本発明の第３の態様の撮像アシストプログラムを記録した記録媒体は、撮像部による撮像により画像データを取得することと、前記画像データにおける主要被写体となる顔部を検出することと、前記顔部が前記画像データ内で注目していると考えられる方向を判定するための対象物を検出することと、検出された前記対象物から、前記顔部が前記画像データ内で前記注目していると考えられる方向に存在する別の被写体の有無を判定することと、前記別の被写体が存在すると判定された場合には、前記顔部と前記別の被写体とが画面内に配置されるようにトリミング範囲を設定し、前記別の被写体が存在しないと判定された場合には、前記顔部が前記画像データ内で注目していると考えられる方向の延長方向に空間を有するように前記顔部が画面内に配置されるように前記トリミング範囲を設定することと、前記設定されたトリミング範囲に従って前記画像データに対するトリミングを実行することとをコンピュータに実行させる。
　本発明によれば、動画撮影中の被写体の動きや興味の対象も考慮して構図を提示できる撮像装置及び撮像アシスト方法を提供することができる。
図１は、本発明の各実施形態に係る撮像装置の一例としての構成を示すブロック図である。 図２は、本発明の第１の実施形態に係る撮像装置の撮影動作時の処理を示すフローチャートである。 図３は、切り出し位置設定部による構図設定の第１の例を示す図である。 図４ａは、図２のステップＳ１０８の処理を説明するためのフローチャートの第１図である。 図４ｂは、図２のステップＳ１０８の処理を説明するためのフローチャートの第２図である。 図５は、切り出し位置設定部による構図設定の第２の例を示す図である。 図６は、図２のステップＳ１０９の処理を説明するためのフローチャートである。 図７は、指差し方向から対象物を検出する処理を説明するための図である。 図８は、切り出し位置設定部による構図設定の第３の例を示す図である。 図９Ａは、本発明の第２の実施形態で用いられる撮像光学系によって得られる画像の例を説明するための第１の図である。 図９Ｂは、本発明の第２の実施形態で用いられる撮像光学系によって得られる画像の例を説明するための第２の図である。 図１０は、本発明の第２の実施形態に係る撮像装置の撮影動作時の処理を示すフローチャートである。 図１１は、トリミング１、トリミング２、トリミング３の実行タイミングを示した図である。 図１２Ａは、トリミング１について説明するための第１の図である。 図１２Ｂは、トリミング１について説明するための第２の図である。 図１３Ａは、トリミング２について説明するための第１の図である。 図１３Ｂは、トリミング２について説明するための第２の図である。 図１３Ｃは、トリミング２について説明するための第３の図である。 図１４は、トリミング３について説明するための図である。
　以下、図面を参照して本発明の実施形態を説明する。　
　［第１の実施形態］
　まず、本発明の第１の実施形態について説明する。図１は、本発明の各実施形態に係る撮像装置の一例としての構成を示すブロック図である。図１に示す撮像装置１００は、例えばデジタルカメラ、カメラ機能付き携帯電話機、スマートフォンといった各種の携帯端末機器に対して適用され得る。図１に示す撮像装置１００は、撮像光学系１０２と、撮像部１０４と、表示部１０６と、タッチパネル１０８と、記録部１１０と、音声取得部１１２と、姿勢検出部１１４と、操作部１１６と、通信部１１８と、制御部１２０とを有している。
　撮像光学系１０２は、絞りやレンズ等を有し、図示しない被写体からの光束を撮像部１０４に入射させるための光学系である。撮像光学系１０２は、フォーカスレンズを含んでいてもよく、また、ズームレンズとして構成されていても良い。
　撮像部１０４は、被写体を撮像し、被写体に係る画像データを取得する。この撮像部１０４は、撮像素子と、撮像処理回路と、Ａ／Ｄ変換回路とを有している。撮像素子は、撮像光学系１０２を介して受光した光を、その光量に応じた電気信号（画像信号）に変換する。撮像処理回路は、撮像素子で得られた画像信号に対してゲイン調整等の種々のアナログ処理を施す。Ａ／Ｄ変換回路は、撮像処理回路でアナログ処理された画像信号をデジタル信号としての画像データに変換する。
　表示部１０６は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、撮像部１０４で取得された画像データに基づく画像等の各種の画像を表示する。タッチパネル１０８は、表示部１０６の表示画面の上に形成されており、表示部１０６の表示画面におけるユーザの指等の接触を検出する。タッチパネル１０８によって検出された接触位置の情報は、制御部１２０に入力される。制御部１２０は、タッチパネル１０８によって検出された接触位置に応じた制御を行う。
　記録部１１０は、例えばフラッシュメモリであり、各種のデータを記録するための記録媒体である。記録部１１０には、例えば撮影動作の結果として得られる画像ファイルが記録される。また、記録部１１０には、撮像装置１００の制御に用いられるプログラムが記録される。さらに、記録部１１０には、被写体データベース（ＤＢ）のための記録領域及び音声データベース（ＤＢ）のための記録領域が形成されている。被写体ＤＢは、画像データ内の被写体を識別するためのデータが記録されたデータベースである。ここで、被写体を識別するためのデータとは、被写体の顔部のデータや被写体の指部のデータである。また、音声ＤＢは、音声取得部１１２を介して入力される音声を識別するためのデータが記録されたデータベースである。ここで、音声を識別するためのデータとは、ユーザ毎の音声データである。
　音声取得部１１２は、ユーザから入力された音声に基づく音声データを取得する。音声取得部１１２は、マイクロフォン（マイク）と、音声処理回路と、Ａ／Ｄ変換回路とを有している。マイクは、ユーザから入力される音声を電気信号（音声信号）として取り込む。音声処理回路は、マイクで得られた音声信号に対してゲイン調整等の種々のアナログ処理を施す。Ａ／Ｄ変換回路は、音声処理回路でアナログ処理された音声信号をデジタル信号としての音声データに変換する。
　姿勢検出部１１４は、被写体ＤＢに記録された被写体を識別するためのデータに従って被写体の姿勢を検出する。そして、姿勢検出部１１４は、画像データ内で識別された被写体が特定の姿勢をとっているときには、その旨を制御部１２０に通知する。
　操作部１１６は、ユーザが撮像装置１００の操作をするための操作部材である。操作部１１６は、電源スイッチ、レリーズボタン等を操作部材として有している。電源スイッチは、撮像装置１００の電源のオン／オフの指示を与えるための操作部材である。レリーズボタンは、撮影開始の指示を与えるための操作部材である。
　通信部１１８は、例えば無線インターフェースであり、３Ｇ通信等の無線通信の際の撮像装置１００と外部機器との間のデータ通信を仲介する。
　制御部１２０は、撮像装置１００の動作を統括的に制御する。制御部１２０は、顔検出部１２０１と、対象物検出部１２０２と、動き検出部１２０３と、音声認識部１２０４と、別被写体判定部１２０５と、切り出し位置設定部１２０６と、画像処理部１２０７とを有している。顔検出部１２０１は、記録部１１０の被写体ＤＢの情報を用いて、画像データにおける主要被写体としての被写体の顔部を検出する。対象物検出部１２０２は、記録部１１０の被写体ＤＢの情報を用いて被写体の目等の顔の器官及び指部といった、画像データにおける被写体が注目していると考えられる方向を特定するための対象物を検出する。動き検出部１２０３は、例えば複数フレームの画像データから単位時間当たりの被写体（例えば顔部）の動き（移動速度）を検出する。音声認識部１２０４は、記録部１１０の音声ＤＢの情報を用いて、音声取得部１１２で取得された音声データの内容を認識する。別被写体判定部１２０５は、顔検出部１２０１、対象物検出部１２０２、動き検出部１２０３、音声認識部１２０４のそれぞれの結果を用いて、被写体が画像データ内で注目していると考えられる方向に存在する被写体の有無を判定する。切り出し位置設定部１２０６は、顔検出部１２０１、対象物検出部１２０２、動き検出部１２０３、音声認識部１２０４、別被写体判定部１２０５のそれぞれの結果に従って、撮像部１０４で取得された画像データにおける切り出し位置を設定する。画像処理部１２０７は、撮像部１０４で取得された画像データに対して種々の画像処理を施す。この画像処理は、ホワイトバランス補正、階調補正、色補正といった、画像データを表示又は記録可能とするために必要な画像処理を含む。また、本実施形態においては、画像処理は、画像データの切り出し（トリミング）処理及び切り出した画像データの拡大処理も含む。
　次に、第１の実施形態に係る撮像装置１００の動作を説明する。本実施形態においては、ユーザが所望の被写体を指差しした場合に、その指差し方向に存在する被写体が画面内の特定の位置に配置されるように撮影時の構図が自動的に設定される。以下、このような構図設定の処理を含む撮像装置１００の撮影動作時の処理を説明する。図２は、第１の実施形態に係る撮像装置１００の撮影動作時の処理を示すフローチャートである。図２の処理は、主に制御部１２０によって制御される。また、図２は、動画撮影時の動作が例示されているが、静止画撮影時であっても本実施形態の技術は適用され得る。
　例えば、撮像装置１００の電源がオンされ、撮影モードが動画撮影モードに設定されたときに図２の処理が開始される。このとき、制御部１２０は、スルー画表示を開始させる（ステップＳ１０１）。スルー画表示において、制御部１２０は、撮像部１０４を連続動作させる。そして、制御部１２０は、撮像部１０４の連続動作によって得られる画像データに対し、画像処理部１２０７により表示用の画像処理を施す。その後、制御部１２０は、画像処理された画像データに基づいて表示部１０６にスルー画を表示させる。このスルー画により、ユーザは表示部１０６に表示された画像によって構図の確認等を行うことができる。
　スルー画表示の開始後、制御部１２０は、顔検出部１２０１により、撮像部１０４によって得られた画像データにおける顔部を検出する。また、制御部１２０は、対象物検出部１２０２により、撮像部１０４によって得られた画像データにおける顔部の各顔器官を検出する（ステップＳ１０２）。画像データ中の顔部は、例えば撮像部１０４によって得られた画像データと被写体ＤＢに記憶されている顔パターンの画像データとのマッチングをとることによって検出される。また、顔器官も同様にパターンマッチング等の周知の手法で検出される。ここで、本実施形態においては、顔器官の検出として、少なくとも目部の検出が行われる。
　続いて、制御部１２０は、対象物検出部１２０２により、撮像部１０４によって得られた画像データにおける指先部を検出する（ステップＳ１０３）。画像データ中の指先部も、例えば撮像部１０４によって得られた画像データと被写体ＤＢに記憶されている顔パターンの画像データとのマッチングをとることによって検出される。
　続いて、制御部１２０の別被写体判定部１２０５は、視線方向を検出できたか否かを判定する（ステップＳ１０４）。視線方向は、例えば瞳孔の移動を検出することで判定することができる。すなわち、画像データにおいて瞳孔中心の移動が検出された場合、その瞳孔中心の移動方向を視線方向とすることができる。
　ステップＳ１０４において視線方向が検出できない（顔部が検出できなかった場合も含む）と判定された場合に、切り出し位置設定部１２０６は、主要被写体が画面中心に配置されるようにトリミング範囲を決定する。その後、画像処理部１２０７は、決定したトリミング範囲に従って画像データのトリミングを行う（ステップＳ１０５）。ここで、主要被写体は、例えば画面中央の被写体、最至近の被写体、人物等である。また、画角が狭い等の理由で主要被写体を画面中心に配置できない場合には、撮像光学系１０２の焦点距離を短くして画角を広げるようにしてもよい。このように、視線方向が検出できなかった場合には、主要被写体を基準に構図が設定される。なお、主要被写体が画面中心に配置できない場合にはトリミングを行わないようにしてもよい。
　ステップＳ１０４において視線方向が検出できたと判定した場合に、別被写体判定部１２０５は、指差し方向を検出できたか否かを判定する（ステップＳ１０６）。ステップＳ１０６において指差し方向を検出できていないと判定した場合に、別被写体判定部１２０５は、画像データから複数の顔部が検出されたか否かを判定する（ステップＳ１０７）。ステップＳ１０７において画像データから複数の顔部が検出されていないと判定された場合に、切り出し位置設定部１２０６は、図３に示すように、視線方向と同方向側に空間があり、かつ、主要被写体の顔部が視線方向と逆方向側の黄金分割点に配置されるようにトリミング範囲を決定する。その後、画像処理部１２０７は、決定したトリミング範囲に従って画像データのトリミングを行う（ステップＳ１０８）。ここで、黄金分割点とは、画面内に引かれた対角線と、対角線に含まれる頂点とは別の頂点から引かれた垂線との交点（図３のＰ１、Ｐ２、Ｐ３、Ｐ４の４点）である。以下、図４ａ及び図４ｂを参照してステップＳ１０８の処理の詳細を説明する。ここで、図４ａ及び図４ｂの処理を説明するに当たり、視線方向を次のように定義する。本実施形態における視線方向は、例えば、画面上方向に対してなす角度として表される。なお、反時計方向が視線方向の正方向である。
　図４ａ及び図４ｂにおいて、切り出し位置設定部１２０６は、視線方向が右上方向であるか否かを判定する（ステップＳ２０１）。ここで、右上方向は、例えば０°から７４°の範囲であるとする。ステップＳ２０１において視線方向が右上方向であると判定した場合に、切り出し位置設定部１２０６は、画面左下の黄金分割点（図３のＰ３）に主要被写体の顔部（顔部以外であってもよい）が配置されるようにトリミング範囲を設定する（ステップＳ２０２）。その後、切り出し位置設定部１２０６は、被写体の全身が画面内に収まるように最終的なトリミング範囲を設定する（ステップＳ２０３）。視線方向が右上方向であるということは、主要被写体が画面右上方向に注目していることを意味している。したがって、主要被写体を画面左下に配置して画面右上方向に空間を持たせるように構図を設定することにより、主要被写体の注目している方向をも強調した動画撮影が可能である。
　ステップＳ２０１において視線方向が右上方向でないと判定した場合に、切り出し位置設定部１２０６は、視線方向が右方向であるか否かを判定する（ステップＳ２０４）。ここで、右方向は、例えば７５°から１０４°の範囲であるとする。ステップＳ２０４において視線方向が右方向であると判定した場合に、切り出し位置設定部１２０６は、画面左上の黄金分割点（図３のＰ２）に主要被写体の顔部が配置されるようにトリミング範囲を設定する（ステップＳ２０５）。その後、切り出し位置設定部１２０６は、主要被写体の全身が画面内に収まるように最終的なトリミング範囲を設定する（ステップＳ２０６）。視線方向が右方向であるということは、主要被写体が画面右方向に注目していることを意味している。したがって、主要被写体を画面左に配置（顔部を左上の黄金分割点に配置すれば被写体の全体としては画面左側に配置される）して画面右方向に空間を持たせるように構図を設定することにより、主要被写体の注目している方向をも強調した動画撮影が可能である。
　ステップＳ２０４において視線方向が右方向でないと判定した場合に、切り出し位置設定部１２０６は、視線方向が右下方向であるか否かを判定する（ステップＳ２０７）。ここで、右下方向は、例えば１０５°から１７９°の範囲であるとする。ステップＳ２０７において視線方向が右下方向であると判定した場合に、切り出し位置設定部１２０６は、画面左上の黄金分割点（図３のＰ２）に主要被写体の顔部が配置されるようにトリミング範囲を設定する（ステップＳ２０８）。その後、切り出し位置設定部１２０６は、主要被写体の全身のサイズが画面縦方向のサイズに対して１/３程度になるように最終的なトリミング範囲を設定する（ステップＳ２０９）。視線方向が右下方向であるということは、主要被写体が画面右下方向に注目していることを意味している。したがって、主要被写体を画面左上に配置して画面右下方向に空間を持たせるように構図を設定することにより、主要被写体の注目している方向をも強調した動画撮影が可能である。ここで、ステップＳ２０６において述べたように、顔部を左上の黄金分割点に配置すれば主要被写体の全体としては画面左側に配置される。したがって、ステップＳ２０９では、画面縦方向のサイズに対して被写体のサイズが１/３程度となるように最終的な構図が設定される。これにより、画面右下方向に空間ができる。１/３のサイズは一例である。
　ステップＳ２０７において視線方向が右下方向でないと判定した場合に、切り出し位置設定部１２０６は、視線方向が左下方向であるか否かを判定する（ステップＳ２１０）。ここで、左下方向は、例えば１８０°から２５４°の範囲であるとする。ステップＳ２１０において視線方向が左下方向であると判定した場合に、切り出し位置設定部１２０６は、画面右上の黄金分割点（図３のＰ１）に主要被写体の顔部が配置されるようにトリミング範囲を設定する（ステップＳ２１１）。その後、切り出し位置設定部１２０６は、被写体の全身のサイズが画面縦方向のサイズに対して１/３程度になるように最終的なトリミング範囲を設定する（ステップＳ２１２）。視線方向が左下方向であるということは、主要被写体が画面左下方向に注目していることを意味している。したがって、主要被写体を画面右上に配置して画面左下方向に空間を持たせるように構図を設定することにより、主要被写体の注目している方向をも強調した動画撮影が可能である。
　ステップＳ２１０において視線方向が左下方向でないと判定した場合に、切り出し位置設定部１２０６は、視線方向が左方向であるか否かを判定する（ステップＳ２１３）。ここで、左方向は、例えば２５５°から２８４°の範囲であるとする。ステップＳ２１３において視線方向が左方向であると判定した場合に、切り出し位置設定部１２０６は、視線方向と逆方向側の黄金分割点、例えば画面右上の黄金分割点（図３のＰ１）に主要被写体の顔部が配置されるようにトリミング範囲を設定する（ステップＳ２１４）。その後、切り出し位置設定部１２０６は、主要被写体の全身が画面内に収まるように最終的なトリミング範囲を設定する（ステップＳ２１５）。視線方向が左方向であるということは、主要被写体が画面左方向に注目していることを意味している。したがって、主要被写体を画面右に配置して画面左方向に空間を持たせるように構図を設定することにより、主要被写体の注目している方向をも強調した動画撮影が可能である。
　ステップＳ２１３において視線方向が左方向でないと判定した場合、すなわち視線方向が左上方向（例えば２８５°から３５９°の範囲）であると判定した場合に、切り出し位置設定部１２０６は、画面右下の黄金分割点（図３のＰ４）に主要被写体の顔部が配置されるようにトリミング範囲を設定する（ステップＳ２１６）。その後、切り出し位置設定部１２０６は、主要被写体の全身が画面内に収まるように最終的なトリミング範囲を設定する（ステップＳ２１７）。視線方向が左上方向であるということは、主要被写体が画面左上方向に注目していることを意味している。したがって、主要被写体を画面右下に配置して画面左上方向に空間を持たせるように構図を設定することにより、主要被写体の注目している方向をも強調した動画撮影が可能である。
　トリミング範囲が決定された後、画像処理部１２０７は、決定されたトリミング範囲に従って画像データのトリミングを実行する（ステップＳ２１８）。その後、制御部１２０は、図４ａ及び図４ｂの処理を終了させる。このようなステップＳ１０８のトリミングでは、主要被写体の視線方向の側に空間を持たせるために、視線方向と逆方向の画面位置に主要被写体が配置されるようにトリミングが実行される。これにより、主要被写体の注目している方向をも強調した動画撮影が可能である。
　ここで再び図２の説明に戻る。ステップＳ１０７において複数の顔部が検出されていると判定された場合、制御部１２０の切り出し位置設定部１２０６は、図５に示すように、複数の顔部のそれぞれが黄金分割点の近くに配置されるようにトリミング範囲を決定する。そして、画像処理部１２０７は、決定されたトリミング範囲に従って画像データのトリミングを行う（ステップＳ１０９）。以下、図６を参照してステップＳ１０９の処理の詳細を説明する。
　図６において、切り出し位置設定部１２０６は、それぞれの顔部の位置（例えば顔中心の座標とする）とそれぞれの黄金分割点との距離を比較する（ステップＳ３０１）。続いて、切り出し位置設定部１２０６は、それぞれの顔部の位置と黄金分割点との距離が最も短くなるようにトリミング範囲を決定する（ステップＳ３０２）。例えば、図５では、被写体Ｓ１の顔部が黄金分割点Ｐ３に配置され、被写体Ｓ２の顔部が黄金分割点Ｐ１に配置されるようにトリミング範囲が決定される。ここで、トリミング範囲の決め方によっては１つの黄金分割点に近接するように複数の顔部が配置されることがあり得る。しかしながら、本実施形態ではこのような１つの黄金分割点に近接するように複数の顔部が配置されるトリミング範囲については最終的なトリミング範囲としては採用しないこととする。
　トリミング範囲が決定された後、画像処理部１２０７は、決定されたトリミング範囲に従って画像データのトリミングを実行する（ステップＳ３０３）。その後、制御部１２０は、図６の処理を終了させる。このようなステップＳ１０９のトリミングでは、主要被写体が注目していると考えられる他の人の顔部を強調した動画撮影が可能である。ここで、複数の顔が検出された場合に常にステップＳ１０９のトリミングが行われると、全く関係のない人物の顔も構図内に含められてしまう可能性がある。したがって、変形例として、人物の顔が複数であっても登録されてない顔が含まれている場合、視線方向がお互いに向き合うような方向でない場合には、ステップＳ１０９のトリミングが行われないようにしてもよい。
　ここで再び図２の説明に戻る。ステップＳ１０６において指差し方向を検出できたと判定した場合に、制御部１２０の別被写体判定部１２０５は、指差し方向から主要被写体が注目していると考えられる対象物を検出する（ステップＳ１１０）。この処理においては、図７に示すように、画像データ中の目の位置（ｘ１，ｙ１，ｙ２）と指先の位置（ｘ２，ｙ２，ｚ２）とを結ぶ直線（図示一点鎖線）上に存在する対象物Ｓ３が検出される。対象物Ｓ３は、特徴量マッチングや輪郭抽出等の周知の手法で検出される。なお、図７では、目の位置と指先の位置とがともに３次元の情報を有している。奥行ｚの情報は、被写体距離情報として得られる。被写体距離情報が取得できない場合には、画像データから検出される２次元の情報だけで対象物Ｓ３が検出されてよい。目と指先の延長線上の対象物は、主要被写体が指差ししている対象物である。すなわち、主要被写体は、この対象物に注目していると考えられる。
　対象物の検出後、別被写体判定部１２０５は、実際に対象物を検出できたか否かを判定する（ステップＳ１１１）。ステップＳ１１１において実際に対象物を検出できたと判定した場合に、別被写体判定部１２０５は、処理をステップＳ１０９に移行させる。なお、前述したステップＳ１０９の処理では、複数の顔部のそれぞれが黄金分割点の近くに配置されるようにトリミング範囲が決定される。これに対し、ステップＳ１１１からステップＳ１０９に分岐した場合には、図８に示すように、主要被写体の顔部とステップＳ１１０で検出された対象物とのそれぞれが黄金分割点の近くに配置されるようにトリミング範囲が決定される。具体的な処理は、図６と同様である。このようなステップＳ１０９のトリミングでは、主要被写体が注目していると考えられる対象物を強調した動画撮影が可能である。
　ステップＳ１１１において対象物が検出できなかったと判定された場合に、切り出し位置設定部１２０６は、指差し方向に空間があり、かつ、主要被写体の顔部が黄金分割点に配置されるようにトリミング範囲を決定する。その後、画像処理部１２０７は、決定したトリミング範囲に従って画像データのトリミングを行う（ステップＳ１１２）。ステップＳ１１１の処理は、視線方向の代わりに指差し方向を用いる以外はステップＳ１０８と同様に行われる。
　トリミングの実行後、制御部１２０は、ユーザによって動画撮影の開始が指示されたか否かを判定する（ステップＳ１１３）。動画撮影の開始は、例えばレリーズボタンの押し操作である。ステップＳ１１３において動画撮影の開始が指示されたと判定した場合に、制御部１２０は、動画撮影を実行する（ステップＳ１１４）。すなわち、制御部１２０は、撮像部１０４を動作させて得られる画像データを画像処理部１２０７において画像処理して動画像データを生成し、生成した動画像データから生成した動画ファイルを記録部１１０に記録する。
　動画撮影の実行後、制御部１２０は、ユーザによって動画撮影の終了が指示されたか否かを判定する（ステップＳ１１５）。動画撮影の終了は、例えばレリーズボタンの再度の押し操作である。ステップＳ１１５において動画撮影の終了が指示されていないと判定した場合に、制御部１２０は、処理をステップＳ１１４に戻して動画撮影を継続する。なお、動画ファイルが記録されている状態の動画撮影において、制御部１２０は、記録した動画像ファイルに撮影により得られた動画像データを追記していく。ステップＳ１１５において動画撮影の終了が指示されたと判定した場合に、制御部１２０は、図２の処理を終了させる。
　以上説明したように本実施形態によれば被写体の視線方向や指差し方向に応じて構図を設定することにより、被写体が注目している方向、すなわち被写体が興味を持っていると考えられる方向や被写体を強調した動画撮影が可能である。
　ここで、図２は、動画撮影中にはトリミング範囲が変更されない例が示されている。しかしながら、動画撮影中においても図２で説明した各種のトリミングが実行されてよい。また、構図を設定する際に被写体が黄金分割点に配置されるようにしているが、これも一例である。例えば、被写体が３等分割点に配置されるようにしてもよい。さらに、黄金分割点や３等分割点は画面内の特定の位置を示すものである。しかしながら、被写体は、厳密な黄金分割点や３等分割点に配置されていなくともよい。
　［第２の実施形態］
　次に、本発明の第２の実施形態について説明する。第２の実施形態の撮像装置１００の基本的な構成は、図１に示す撮像装置１００である。ただし、第２の実施形態においては、撮像光学系１０２が魚眼レンズ等の超広画角の撮影が可能な光学系であることが望ましい。このような超広画角の光学系を備えた撮像光学系１０２では、通常の撮像光学系では撮影できないような動画撮影をすることが可能である。例えば、図９Ａに示すように、ユーザは、第２の実施形態の撮像装置１００の撮像光学系１０２の光軸が地面と垂直になるように、すなわちレンズが空の方向を向くように撮像装置１００を置いた後、撮像装置１００を横切るように移動したとする。第２の実施形態における撮像装置１００で撮影が行われると、図９Ｂに示すような撮像光学系１０２の光軸周りの環状の画像データが得られる。したがって、ユーザの移動に合わせて撮像装置１００を動かさなくとも、ユーザ自身が移動していく様子が動画像として記録される。さらに、本実施形態では、ユーザの動きに応じて、トリミング範囲を設定することにより、ユーザの動きを強調した動画像データが得られるようにする。
　図１０は、第２の実施形態に係る撮像装置１００の撮影動作時の処理を示すフローチャートである。図１０の処理も、主に制御部１２０によって制御される。
　例えば、撮像装置１００の電源がオンされ、撮影モードが動画撮影モードに設定されたときに図１０の処理が開始される。このとき、制御部１２０は、動画撮影モードにおける動作モードが自分動画モードに設定されているか否かを判定する（ステップＳ４０１）。本実施形態における撮像装置１００は、動画撮影モードの動作モードとして通常動画モードと自分動画モードとを少なくとも有している。通常動画モードは、ユーザが第２の実施形態の撮像装置１００の撮像光学系１０２の光軸が地面と平行になるように、すなわちレンズが被写体の方向を向くように撮像装置１００を保持した状態で撮影が行われるモードである。この通常動画モードでは、トリミング範囲の設定により、図９Ｂで示したような環状の画像データではなく、通常の矩形の画像データを得ることが可能である。一方、自分動画モードは、ユーザが第２の実施形態の撮像装置１００の撮像光学系１０２の光軸が地面と垂直になるように、すなわちレンズが空の方向を向くように撮像装置１００を置いた状態で撮影が行われるモードである。なお、動画撮影モードの動作モードはユーザによって設定される。
　ステップＳ４０１において動作モードが自分動画モードに設定されていないと判定した場合に、制御部１２０は、通常動画モードの動作を行う。通常動画モードの動作は、例えば図２で示される動作である。ステップＳ４０１において動作モードが自分動画モードに設定されていると判定した場合に、制御部１２０は、制御部１２０は、スルー画表示を開始させる（ステップＳ４０２）。続いて、制御部１２０は、顔検出部１２０１により、撮像部１０４によって得られた画像データにおける顔部を検出する（ステップＳ４０３）。そして、制御部１２０の切り出し位置設定部１２０６は、画像データにおいて顔部が検出されたか否か、すなわちユーザが画面内に入ってきたか否かを判定する（ステップＳ４０４）。なお、ステップＳ４０４においては特定の人物の顔が検出されたか否かが判定されてもよい。ステップＳ４０４において顔部が検出されていないと判定した場合に、制御部１２０は処理をステップＳ４０１に戻す。
　ステップＳ４０４において顔部が検出されたと判定した場合に、切り出し位置設定部１２０６は、動き検出部１２０３により、被写体（顔部）の画面水平方向の移動速度を検出する（ステップＳ４０５）。移動速度は、単位時間（例えば１フレーム）当たりの画像データ上での水平方向の移動量（pixel）である。なお、ステップＳ４０５では画面水平方向の移動速度が検出されるが、これは被写体が地面に対して平行に移動していることを想定しているためである。被写体が人物でない場合等、被写体が地面に対して平行に移動しない場合も考慮する場合には、画面垂直方向の移動速度も検出されてよい。移動速度の検出後、切り出し位置設定部１２０６は、移動速度が予め定めた速度より高速であるか否かを判定する（ステップＳ４０６）。ステップＳ４０６において移動速度が予め定めた速度より遅いと判定した場合に、切り出し位置設定部１２０６は、被写体が画面中央付近に存在しているか否かを判定する（ステップＳ４０７）。ステップＳ４０６及びＳ４０７の判定は、トリミング２の開始又は終了を判定するために行われる。後で詳しく説明するが、トリミング２は、被写体の移動速度が速い場合で、かつ、被写体が画面中央付近に存在している間に実行されるトリミングであって、被写体が中心になるように決定されたトリミング範囲に従って行われるトリミングである。
　ステップＳ４０７において被写体が画面中央付近に存在していないと判定した場合に、切り出し位置設定部１２０６は、現在がトリミング２の実行中であるか否かを判定する（ステップＳ４０８）。ステップＳ４０８において現在がトリミング２の実行中でないと判定した場合に、切り出し位置設定部１２０６は、被写体の移動方向と同方向側に空間があり、かつ、被写体の顔部が被写体の移動方向と逆方向側の黄金分割点に配置されるようにトリミング範囲を決定する。その後、画像処理部１２０７は、決定したトリミング範囲に従って画像データのトリミングをする処理をトリミング１として実行する（ステップＳ４０９）。ここで、トリミング１の処理においては、トリミングが一度決定された後は、トリミング２の実行までは一度決定されたトリミング範囲が維持された状態でトリミングが行われる。なお、トリミング１の具体的な処理としては、図４ａ及び図４ｂで示した処理が用いられる。すなわち、被写体の移動方向が画面右方向の場合は視線方向が右方向の場合の処理が適用され、被写体の移動方向が画面左方向の場合は視線方向が左方向の場合の処理が適用される。この他、視線方向及び指差し方向をも考慮してトリミング範囲が決定されてよい。このようなトリミング１の処理は、図１１に示すように、被写体の移動速度が遅く、かつ、被写体が画面中央に達していないとき（図１１のトリミング１の期間）に行われる。このような場合には、被写体の移動方向の側に空間があるように構図を設定することにより、図１２Ａ及び図１２Ｂで示すような、移動する被写体が風景の中を通り過ぎていく様子を強調した動画像を撮影可能である。なお、図１２Ｂは、図１２Ａに対して時間的に後の構図である。
　ステップＳ４０６において移動速度が予め定めた速度より速いと判定した場合又はステップＳ４０７において被写体が画面中央付近に存在していると判定した場合に、切り出し位置設定部１２０６は、被写体（顔部）を中心として予め定められた範囲をトリミング範囲として決定する。その後、画像処理部１２０７は、決定したトリミング範囲に従って画像データのトリミングをする処理をトリミング２として実行する（ステップＳ４１０）。例えば、被写体が撮像装置１００を斜めに横切るように移動している場合、被写体が画面中央付近（図１１のトリミング２の範囲）に存在しているときに撮像装置１００と被写体との距離が近くなる。このとき、ステップＳ４０５で検出される画像データ上での移動速度が速くなる。このような場合には、図１３Ａ、図１３Ｂ、図１３Ｃに示すように、被写体に追従するようにトリミング範囲を順次設定していくことにより、移動する被写体を正しく中心に捉えた動画像が撮影される。
　ステップＳ４０８において現在がトリミング２の実行中であると判定した場合に、切り出し位置設定部１２０６は、被写体が黄金分割点に配置されているか否かを判定する（ステップＳ４１１）。ステップＳ４１１の判定は、トリミング３の開始又は終了を判定するために行われる。後で詳しく説明するが、トリミング３は、トリミング２からトリミングへの切り替えのために実行されるトリミングであって、被写体が自然に黄金分割点に配置されるようにトリミング範囲を順次変えて行われるトリミングである。
　ステップＳ４１１において被写体が黄金分割点に配置されていないと判定した場合に、切り出し位置設定部１２０６は、被写体の移動方向に沿って所定量だけずらすようにトリミング範囲を決定する。その後、画像処理部１２０７は、決定したトリミング範囲に従って画像データをトリミングする処理をトリミング３として実行する（ステップＳ４１２）。単位時間（例えば１フレーム）におけるトリミング範囲のずらし量をｘとすると、図１４に示すトリミング範囲のずらし量ｘは、被写体の移動速度よりも大きな値とする。ずらし量ｘを被写体の移動速度よりも大きな値とすることにより、画面内における被写体の位置は、移動方向とは逆側の黄金分割点のほうに移動する。そして、最終的には、トリミング１と同様にして被写体が黄金分割点に配置される。このように、トリミング２からトリミング１への切り替わりの間にトリミング範囲が順次変更される期間を設けることにより、トリミング２からトリミング１への切り替えがスムーズに行われる。なお、トリミング１からトリミング２への切り替わりの間にもトリミング範囲が順次変更される期間が設けられてよい。
　ステップＳ４１１において被写体が黄金分割点に配置されたと判定した場合に、切り出し位置設定部１２０６は、処理をステップＳ４０９に移行させてトリミング１の処理を実行する。トリミング２からトリミング１への切り替えにより、風景の中に消えていく被写体を強調した動画像が撮影される。
　トリミングの実行後、制御部１２０は、動画撮影を実行する（ステップＳ４１３）。その後、制御部１２０は、処理をステップＳ４０３に戻す。このように、図１０の例においては、顔の検出開始（被写体が画面内に入ってきたこと）をトリガとして動画撮影が開始され、顔の検出終了（被写体が画面外に出て行ったこと）をトリガとして動画撮影が終了される。これに対し、音声取得部１１２から入力された音声の認識結果を動画撮影の開始及び終了のトリガとしたり、姿勢検出部１１４で検出された姿勢の検出結果を動画撮影の開始及び終了のトリガとしたりしてもよい。すなわち、特定の音声が入力された又は姿勢が検出されたことを受けて、動画撮影を開始又は終了させてよい。
　以上説明したように本実施形態においては被写体の動きに応じてトリミング範囲を設定することにより、被写体の動きを強調した動画を強調した動画撮影が可能である。
　以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本実施形態では被写体の興味を考慮した撮影ができるので、セキュリティ用途、監視カメラ、車載カメラ等にも本実施形態の技術が適用され得る。近年では、高齢者やペットの見守りようのカメラ（介護ロボットも含む）も普及している。このようなカメラでは、その瞬間の行動のみならず、被写体の行動の予測もできたほうがよく、本実施形態ではこのような行動の予測技術にも応用され得る。さらに、トリミングによって画像データを切り出すようにしているので、画像データの送信が必要な場合の通信負荷を低減することができる。
　また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
　また、上述した実施形態による各処理は、コンピュータである制御部１２０に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部１２０は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
　さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
　１００　撮像装置、１０２　撮像光学系、１０４　撮像部、１０６　表示部、１０８　タッチパネル、１１０　記録部、１１２　音声取得部、１１４　姿勢検出部、１１６　操作部、１１８　通信部、１２０　制御部、１２０１　顔検出部　１２０２　対象物検出部、１２０３　動き検出部、１２０４　音声認識部、１２０５　別被写体判定部　１２０６　切り出し位置設定部、１２０７　画像処理部

Claims (8)

  1. 　撮像により画像データを取得する撮像部と、
    　前記画像データにおける主要被写体となる顔部を検出する顔検出部と、
    　前記顔部が前記画像データ内で注目していると考えられる方向を判定するための対象物を検出する対象物検出部と、
    　前記対象物検出部で検出された前記対象物から、前記顔部が前記画像データ内で前記注目していると考えられる方向に存在する別の被写体の有無を判定する別被写体判定部と、
    　前記別被写体判定部によって前記別の被写体が存在すると判定された場合には、前記顔部と前記別の被写体とが画面内に配置されるようにトリミング範囲を設定し、前記別の被写体が存在しないと判定された場合には、前記顔部が前記画像データ内で注目していると考えられる方向の延長方向に空間を有するように前記顔部が画面内に配置されるように前記トリミング範囲を設定する切り出し位置設定部と、
    　前記設定されたトリミング範囲に従って前記画像データに対するトリミングを実行する画像処理部と、
    　を具備する撮像装置。
  2. 　前記対象物検出部は、前記対象物として前記顔部から目部を検出し、
    　前記切り出し位置設定部は、前記目部から視線方向を検出し、該視線方向に基づいて前記トリミング範囲を設定する請求項１に記載の撮像装置。
  3. 　前記切り出し位置設定部は、前記顔部と前記別の被写体とが黄金分割点に配置されるように前記トリミング範囲を設定する請求項１に記載の撮像装置。
  4. 　前記対象物検出部は、前記顔部を有する被写体の指部を検出し、
    　前記切り出し位置設定部は、前記指部から前記顔部を有する被写体の指差し方向を検出し、該指差し方向に基づいて前記トリミング範囲を設定する請求項１に記載の撮像装置。
  5. 　前記顔部を有する被写体の動きを検出する動き検出部をさらに具備し、
    　前記切り出し位置設定部は、前記動きに基づいて前記トリミング範囲を設定する請求項１に記載の撮像装置。
  6. 　前記切り出し位置設定部は、さらに、前記動きの速さに基づいて前記トリミング範囲を設定する請求項５に記載の撮像装置。
  7. 　撮像部による撮像により画像データを取得することと、
    　前記画像データにおける主要被写体となる顔部を検出することと、
    　前記顔部が前記画像データ内で注目していると考えられる方向を判定するための対象物を検出することと、
    　検出された前記対象物から、前記顔部が前記画像データ内で前記注目していると考えられる方向に存在する別の被写体の有無を判定することと、
    　前記別の被写体が存在すると判定された場合には、前記顔部と前記別の被写体とが画面内に配置されるようにトリミング範囲を設定し、前記別の被写体が存在しないと判定された場合には、前記顔部が前記画像データ内で注目していると考えられる方向の延長方向に空間を有するように前記顔部が画面内に配置されるように前記トリミング範囲を設定することと、
    　前記設定されたトリミング範囲に従って前記画像データに対するトリミングを実行することと、
    　を具備する撮像アシスト方法。
  8. 　撮像部による撮像により画像データを取得することと、
    　前記画像データにおける主要被写体となる顔部を検出することと、
    　前記顔部が前記画像データ内で注目していると考えられる方向を判定するための対象物を検出することと、
    　検出された前記対象物から、前記顔部が前記画像データ内で前記注目していると考えられる方向に存在する別の被写体の有無を判定することと、
    　前記別の被写体が存在すると判定された場合には、前記顔部と前記別の被写体とが画面内に配置されるようにトリミング範囲を設定し、前記別の被写体が存在しないと判定された場合には、前記顔部が前記画像データ内で注目していると考えられる方向の延長方向に空間を有するように前記顔部が画面内に配置されるように前記トリミング範囲を設定することと、
    　前記設定されたトリミング範囲に従って前記画像データに対するトリミングを実行することと、
    　をコンピュータに実行させるための撮像アシストプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2014/064134 2013-11-18 2014-05-28 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体 WO2015072166A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015525680A JP5886479B2 (ja) 2013-11-18 2014-05-28 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体
CN201480062598.5A CN106464793B (zh) 2013-11-18 2014-05-28 摄像装置和摄像辅助方法
US14/748,283 US9628700B2 (en) 2013-11-18 2015-06-24 Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013238329 2013-11-18
JP2013-238329 2013-11-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/748,283 Continuation US9628700B2 (en) 2013-11-18 2015-06-24 Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program

Publications (1)

Publication Number Publication Date
WO2015072166A1 true WO2015072166A1 (ja) 2015-05-21

Family

ID=53057114

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/064134 WO2015072166A1 (ja) 2013-11-18 2014-05-28 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体

Country Status (4)

Country Link
US (1) US9628700B2 (ja)
JP (2) JP5886479B2 (ja)
CN (1) CN106464793B (ja)
WO (1) WO2015072166A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120191A (zh) * 2015-07-31 2015-12-02 小米科技有限责任公司 视频录制方法和装置
JP2021522564A (ja) * 2018-04-17 2021-08-30 トヨタ リサーチ インスティテュート，インコーポレイティド 非制約環境において人間の視線及びジェスチャを検出するシステムと方法
WO2023281874A1 (ja) * 2021-07-05 2023-01-12 キヤノン株式会社 電子機器
WO2024204009A1 (ja) * 2023-03-29 2024-10-03 富士フイルム株式会社 画像処理装置、撮像装置、及び画像処理装置の作動方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207287A1 (ja) * 2017-05-10 2018-11-15 三菱電機株式会社 撮影補助装置および撮影補助方法
JP2019009574A (ja) * 2017-06-23 2019-01-17 キヤノン株式会社 画像処理装置
WO2019157256A1 (en) * 2018-02-08 2019-08-15 Tsouri Gill R Opportunistic plethysmography using video cameras
CN113395479B (zh) * 2021-06-16 2022-06-24 随锐科技集团股份有限公司 视频会议画面处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229322A (ja) * 2005-02-15 2006-08-31 Matsushita Electric Ind Co Ltd 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
JP2007158680A (ja) * 2005-12-05 2007-06-21 Victor Co Of Japan Ltd 追尾撮像装置およびこれを利用した追尾撮像システム
JP2009218807A (ja) * 2008-03-10 2009-09-24 Sanyo Electric Co Ltd 撮像装置及び画像再生装置
JP2010103972A (ja) * 2008-09-25 2010-05-06 Sanyo Electric Co Ltd 画像処理装置及び電子機器
JP2011087257A (ja) * 2009-10-19 2011-04-28 Panasonic Corp 半導体集積回路及び撮像装置
JP2012217132A (ja) * 2011-03-31 2012-11-08 Sony Corp 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614323A (ja) * 1992-06-29 1994-01-21 Sanyo Electric Co Ltd 被写体追尾画像処理装置
JP2001223935A (ja) * 2000-02-10 2001-08-17 Olympus Optical Co Ltd 電子カメラ
JP4366023B2 (ja) * 2001-03-16 2009-11-18 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
JP4149213B2 (ja) * 2002-07-12 2008-09-10 本田技研工業株式会社 指示位置検出装置及び自律ロボット
JP4781844B2 (ja) * 2005-03-01 2011-09-28 富士フイルム株式会社 画像出力装置、画像出力方法、および画像出力プログラム
JP2006254107A (ja) * 2005-03-10 2006-09-21 Olympus Imaging Corp 画像評価装置、画像評価プログラム、画像評価プログラムを記録する記録媒体、画像評価方法
JP4687451B2 (ja) * 2005-12-27 2011-05-25 カシオ計算機株式会社 撮像装置、及びスルー画像表示方法
US20100074557A1 (en) * 2008-09-25 2010-03-25 Sanyo Electric Co., Ltd. Image Processing Device And Electronic Appliance
JP5231285B2 (ja) * 2009-02-23 2013-07-10 オリンパスイメージング株式会社 撮像装置
JP2011135527A (ja) 2009-12-25 2011-07-07 Nikon Corp デジタルカメラ
CN102918828B (zh) * 2010-05-31 2015-11-25 株式会社Pfu 上置型扫描仪装置及图像处理方法
JP2012205037A (ja) * 2011-03-25 2012-10-22 Olympus Imaging Corp 画像処理装置および画像処理方法
JP2013153375A (ja) * 2012-01-26 2013-08-08 Sony Corp 画像処理装置、画像処理方法および記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229322A (ja) * 2005-02-15 2006-08-31 Matsushita Electric Ind Co Ltd 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
JP2007158680A (ja) * 2005-12-05 2007-06-21 Victor Co Of Japan Ltd 追尾撮像装置およびこれを利用した追尾撮像システム
JP2009218807A (ja) * 2008-03-10 2009-09-24 Sanyo Electric Co Ltd 撮像装置及び画像再生装置
JP2010103972A (ja) * 2008-09-25 2010-05-06 Sanyo Electric Co Ltd 画像処理装置及び電子機器
JP2011087257A (ja) * 2009-10-19 2011-04-28 Panasonic Corp 半導体集積回路及び撮像装置
JP2012217132A (ja) * 2011-03-31 2012-11-08 Sony Corp 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120191A (zh) * 2015-07-31 2015-12-02 小米科技有限责任公司 视频录制方法和装置
JP2021522564A (ja) * 2018-04-17 2021-08-30 トヨタ リサーチ インスティテュート，インコーポレイティド 非制約環境において人間の視線及びジェスチャを検出するシステムと方法
WO2023281874A1 (ja) * 2021-07-05 2023-01-12 キヤノン株式会社 電子機器
WO2024204009A1 (ja) * 2023-03-29 2024-10-03 富士フイルム株式会社 画像処理装置、撮像装置、及び画像処理装置の作動方法

Also Published As

Publication number Publication date
JP5886479B2 (ja) 2016-03-16
JPWO2015072166A1 (ja) 2017-03-16
JP2016158241A (ja) 2016-09-01
CN106464793A (zh) 2017-02-22
US9628700B2 (en) 2017-04-18
JP6091669B2 (ja) 2017-03-08
CN106464793B (zh) 2019-08-02
US20150296132A1 (en) 2015-10-15

Similar Documents

Publication Publication Date Title
JP6091669B2 (ja) 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体
US11860511B2 (en) Image pickup device and method of tracking subject thereof
US9927948B2 (en) Image display apparatus and image display method
JP5867424B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5967473B2 (ja) 撮像装置及び撮像システム
KR102018887B1 (ko) 신체 부위 검출을 이용한 이미지 프리뷰
US9094597B2 (en) Imaging apparatus and imaging system
JP5991514B2 (ja) 撮像装置及び撮像システム
KR102407190B1 (ko) 영상 촬영 장치 및 그 동작 방법
US10063773B2 (en) Photographing apparatus, photographing method and computer-readable storage medium storing photographing program of photographing apparatus
KR102655625B1 (ko) 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
JP5477777B2 (ja) 画像取得装置
JP2018152787A (ja) 撮像装置、外部装置、撮像システム、撮像方法、操作方法およびプログラム
JPWO2015098110A1 (ja) 撮像装置、撮像システムおよび撮像方法
WO2017018043A1 (ja) 電子機器、電子機器の動作方法及び制御プログラム
JP2009171428A (ja) デジタルカメラ装置および電子ズームの制御方法およびプログラム
JP2019186791A (ja) 撮像装置、撮像装置の制御方法、および制御プログラム
JP2008288797A (ja) 撮像装置
JP2012124767A (ja) 撮像機器
CN104427226B (zh) 图像采集方法和电子设备
CN104125387A (zh) 摄影导引方法与电子装置
JP2008098755A (ja) 撮像装置および方法
JPWO2020129620A1 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP2015019215A (ja) 撮像装置及び撮像方法
JP6450879B2 (ja) 記録装置、記録方法及び記録プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015525680

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14861852

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14861852

Country of ref document: EP

Kind code of ref document: A1