[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021256709A1 - 전자 장치 및 전자 장치의 동작 방법 - Google Patents

전자 장치 및 전자 장치의 동작 방법 Download PDF

Info

Publication number
WO2021256709A1
WO2021256709A1 PCT/KR2021/006216 KR2021006216W WO2021256709A1 WO 2021256709 A1 WO2021256709 A1 WO 2021256709A1 KR 2021006216 W KR2021006216 W KR 2021006216W WO 2021256709 A1 WO2021256709 A1 WO 2021256709A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
frames
electronic device
pixel
speed
Prior art date
Application number
PCT/KR2021/006216
Other languages
English (en)
French (fr)
Inventor
김승훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021256709A1 publication Critical patent/WO2021256709A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Definitions

  • a hyper-lapse (or time-lapse) video is an image in which at least one frame generated by shooting an external object for a relatively long time is played back for a relatively short time, or It may mean a set of images, or a result captured using a hyper-lapse (or time-lapse) technique may be called a hyper-lapse image (or time-lapse image).
  • Hyperlapse video requires less storage space as it can display external objects in a relatively short period of time compared to general videos that are played back at the same speed as the speed at which the external object was recorded.
  • Devices provide the ability to generate hyper-lapse images.
  • Various embodiments disclosed in this document are intended to provide an electronic device and an operating method of the electronic device capable of preventing saturation in a result when generating a hyper-lapse image using field exposure.
  • Various embodiments disclosed in this document are intended to provide an electronic device capable of generating a hyper-lapse image having different effects according to a method of synthesizing frames obtained by photographing an external object and an operating method of the electronic device.
  • An electronic device may include a camera, a memory, and a processor operatively connected to the camera and the memory.
  • the processor acquires a plurality of successive first frames by photographing an external object at a first speed through the camera, and at least one of the plurality of first frames At least one second frame is generated by synthesizing parts in a predetermined number unit in the order in which they are acquired, and the at least one second frame representing the movement of the external object is reproduced at a second speed different from the first speed Instruction for generating a hyper-lapse video can be stored.
  • the electronic device may include a camera, a memory, and a processor operatively connected to the camera and the memory.
  • the processor acquires a plurality of successive first frames by the camera capturing an external object at a first speed, and among the plurality of first frames, at least Time for generating a plurality of second frames by synthesizing one frame in a unit of a predetermined number so as to be common, and allowing the plurality of second frames representing the movement of the external object to be reproduced at a second speed different from the first speed Instructions for generating a lapse image may be stored.
  • the method of operating an electronic device includes an operation of acquiring a plurality of successive first frames by photographing an external object at a first speed through a camera, the plurality of first frames an operation of generating at least one second frame by synthesizing at least a portion of the plurality of frames in a unit of a predetermined number in the order in which they are acquired, and a second speed at which the at least one second frame representing the movement of the external object is different from the first speed It may include an operation of generating a hyper-lapse image to be played back.
  • various hyper-lapse images may be generated according to a method of synthesizing frames obtained by photographing an external object.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • FIG. 2 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • 3A is a diagram for describing an example in which an electronic device generates at least one second frame by synthesizing a plurality of first frames, according to various embodiments of the present disclosure
  • 3B is a diagram for describing an example in which an electronic device generates at least one second frame by synthesizing a plurality of first frames, according to various embodiments of the present disclosure
  • 3C is a diagram for describing an example in which an electronic device generates at least one second frame by synthesizing a plurality of first frames, according to various embodiments of the present disclosure
  • FIG. 4 is a diagram for explaining a method of synthesizing at least two first frames in an electronic device in a first mode, a second mode, or a third mode, according to various embodiments of the present disclosure
  • 5 is a diagram for exemplarily showing weights indicating a blend ratio of an average frame and a maximum frame.
  • FIG. 6 is a flowchart illustrating an operation in which an electronic device generates a hyper-lapse image in a first mode, according to various embodiments of the present disclosure
  • FIG. 7 is a flowchart illustrating an operation in which an electronic device generates a hyper-lapse image in a second mode, according to various embodiments of the present disclosure
  • FIG. 8 is a flowchart illustrating an operation in which an electronic device generates a hyper-lapse image in a third mode, according to various embodiments of the present disclosure
  • FIG. 9 is a flowchart illustrating an operation in which an electronic device generates a hyper-lapse image based on mode information, according to various embodiments of the present disclosure
  • FIG. 10 is a flowchart illustrating an operation in which an electronic device generates at least one second frame by synthesizing a plurality of first frames in a first mode, according to various embodiments of the present disclosure
  • FIG. 11 is a flowchart illustrating an operation in which an electronic device generates at least one second frame by synthesizing a plurality of first frames in a second mode, according to various embodiments of the present disclosure
  • FIG. 12 is a flowchart illustrating an operation in which an electronic device generates at least one second frame by synthesizing a plurality of first frames in a third mode, according to various embodiments of the present disclosure
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199
  • the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178
  • may be omitted or one or more other components may be added to the electronic device 101 .
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120 . It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 is the main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123
  • the auxiliary processor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the co-processor 123 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 180 or the communication module 190. have.
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176 ).
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used in a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 , or an external electronic device (eg, a sound output module 155 ) connected directly or wirelessly with the electronic device 101 . A sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output module 155
  • a sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • GNSS global navigation satellite system
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a telecommunication network
  • the wireless communication module 192 uses the subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 includes various technologies for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less).
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or a part of operations executed in the electronic device 101 may be executed in one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 200 (eg, the electronic device 101 of FIG. 1 ) includes a camera 210 (eg, the camera module 180 of FIG. 1 ) and a memory 220 (eg, FIG. 1 ). of the memory 130 ) and a processor 230 (eg, the processor 120 of FIG. 1 ).
  • the camera 210 may generate a hyper-lapse image by photographing an external object.
  • time-lapse may be used interchangeably with or equivalent to hyper-lapse.
  • the camera 210 may generate a plurality of frames including the external object by photographing the external object. According to an embodiment, the camera 210 may generate a plurality of first frames by photographing an external object at a predetermined speed based on mode information. According to an embodiment, the electronic device 200 may receive mode information from the user. According to an embodiment, the electronic device 200 may generate mode information based on a result of performing an internal operation of the processor 230 and use the generated mode information to synthesize a plurality of first frames. .
  • the mode information may include at least one of first mode information, second mode information, and third mode information.
  • the mode information includes the first mode information
  • the camera 210 acquires a plurality of first frames
  • the processor 230 synthesizes the plurality of first frames into a first mode. You can create hyper-lapse images.
  • the mode information includes the second mode information
  • the camera 210 acquires a plurality of first frames
  • the processor 230 synthesizes the plurality of first frames into a second mode (mode) to create a hyper-lapse image.
  • mode information includes the third mode information
  • the camera 210 obtains a plurality of first frames
  • the processor 230 synthesizes the plurality of first frames into a third mode (mode). to create a hyper-lapse image.
  • the camera 210 may include at least a part of the camera module 180 illustrated in FIG. 1 .
  • the memory 220 may store at least one program, application, data, or instructions executed by the processor 230 . According to an embodiment, the memory 220 may include at least a portion of the memory 130 illustrated in FIG. 1 .
  • the processor 230 may generate at least one second frame by synthesizing a plurality of first frames based on the mode information, and may generate a hyper-lapse image including the at least one second frame. have.
  • the processor 230 may generate a hyper-lapse image reproduced at a second speed different from a first speed at which a plurality of first frames are generated.
  • saturation may occur due to excessively received light.
  • the processor 230 may set the exposure time of the camera 210 to be longer than an appropriate exposure time in order to indicate the trajectory of the external object that has moved for a long time including the light emitting element.
  • the hyper-lapse image representing the light trajectory corresponding to the movement trajectory of the external object may be saturated.
  • the processor 230 may set the exposure time of the camera 210 to about 1.5 seconds in order to indicate the movement trajectory of the external object including the light emitting element. .
  • saturation may occur in the hyper-lapse image generated using the plurality of first frames acquired through the camera 210 .
  • the processor 230 may prevent saturation that may occur in the hyper-lapse image.
  • the processor 230 may generate at least one second frame by synthesizing a plurality of first frames based on a predetermined blend (or blending) ratio.
  • saturation of the hyper-lapse image including at least one second frame generated by the processor 230 may be prevented.
  • the processor 230 according to an embodiment may generate the second frame by synthesizing three first frames corresponding to an individual exposure time of 0.5 seconds (sec) based on the blend ratio.
  • the second frame generated by the processor 230 corresponds to a total exposure time of 1.5 seconds (sec), but is generated by synthesizing the first frames having an exposure time of 0.5 seconds (sec). Therefore, saturation can be prevented.
  • the processor 230 since the processor 230 according to an embodiment synthesizes the first frames based on the blend ratio, it is possible to generate a high-quality hyper-lapse image with significantly reduced saturation.
  • the processor 230 may generate a high-speed hyper-lapse image or a high-quality hyper-lapse image with reduced saturation that can effectively represent a trajectory of an external object according to a frame synthesis method.
  • the processor 230 may generate at least one second frame by synthesizing the plurality of first frames generated by the camera 210 in the first mode.
  • the processor 230 may generate at least one second frame by synthesizing a plurality of first frames in units of a predetermined number in the order in which they are generated.
  • the processor 230 may determine the number of a plurality of first frames to be synthesized based on the brightness of a photographing environment (or a photographing scene), and according to the determined number of the plurality of first frames
  • At least one second frame may be generated by synthesizing the frames in the order in which they are acquired.
  • the processor 230 may control the exposure time of one first frame (eg, the first time T1 of FIGS. 3A to 3C ) to be relatively short. .
  • the processor 230 controls the exposure time (eg, the first time T1 of FIGS. 3A to 3C ) of one first frame to be relatively long.
  • the processor 230 sets the number of first frames synthesized to generate one second frame to a relatively large value.
  • the processor 230 compares the number of first frames synthesized to generate one second frame relative to each other. can be set to a small value.
  • the electronic device may change the exposure time of the first frame while capturing an external object.
  • the electronic device may change the number of synthesizing the plurality of first frames in response to the changed exposure time. For example, it is assumed that the surrounding environment becomes bright or dark while the electronic device captures an external object in a dark environment.
  • the electronic device may change the exposure time of the first frame and change the first speed to correspond to the changed exposure time of the first frame. Accordingly, the electronic device may change the number of the plurality of first frames to be synthesized in response to the changed first speed in order to keep the second speed, which is the reproduction speed of the hyper-lapse image, constant.
  • the electronic device may change a predetermined number of units to the changed number, and may generate a second frame by synthesizing a plurality of first frames in an acquired order by the changed predetermined number of units.
  • the electronic device may prevent the generated hyper-lapse image from being saturated by varying the exposure time or the first speed of the first frame.
  • the electronic device 200 may receive an exposure effect for a hyper-lapse image from a user.
  • the user may input information (eg, 1 second) on the exposure effect into the electronic device 200 .
  • the processor 230 may determine the exposure time of one first frame. For example, in a relatively bright photographing environment, the processor 230 may determine the exposure time of one first frame to be 0.2 seconds. Accordingly, the processor 230 may generate one second frame having an exposure effect of 1 second desired by the user by synthesizing the five first frames.
  • the processor 230 may determine the exposure time of one first frame to be 0.5 seconds. Accordingly, the processor 230 may generate one second frame having an exposure effect of 1 second desired by the user by synthesizing the two first frames. According to an embodiment, the processor 230 may generate a hyper-lapse image including the generated at least one second frame.
  • the hyper-lapse image generated based on the first mode may represent an external object that moves at a relatively faster speed than when the external object is photographed.
  • the external object included in the hyper-lapse image generated based on the first mode may move at a relatively faster speed than the actual movement of the external object during photographing.
  • the hyper-lapse image generated to have an exposure effect of 1 second may represent the motion of the original external object at 30x speed.
  • the processor 230 may generate at least one second frame by synthesizing the plurality of first frames generated by the camera 210 in the second mode.
  • the processor 230 may generate at least two second frames by synthesizing in units of a predetermined number so that at least one overlaps among the plurality of first frames.
  • the processor 230 determines the number of a plurality of first frames to be synthesized based on the brightness of a shooting environment (or a shooting scene), and according to the determined number, at least one first frame is generated.
  • At least two second frames may be generated by synthesizing a plurality of first frames to overlap.
  • the processor 230 may control the exposure time of one first frame (eg, the first time T1 of FIGS. 3A to 3C ) to be relatively short. .
  • the processor 230 controls the exposure time (eg, the first time T1 of FIGS. 3A to 3C ) of one first frame to be relatively long.
  • the processor 230 sets the number of first frames synthesized to generate one second frame to a relatively large value.
  • the processor 230 compares the number of first frames synthesized to generate one second frame relative to each other. can be set to a small value.
  • the electronic device may change the exposure time of the first frame while capturing an external object.
  • the electronic device may change the number of synthesizing the plurality of first frames in response to the changed exposure time of the first frame. For example, it is assumed that the surrounding environment becomes bright or dark while the electronic device captures an external object in a dark environment.
  • the electronic device may change the exposure time of the first frame and change the first speed to correspond to the changed exposure time of the first frame. Accordingly, the electronic device may change the number of the plurality of first frames to be synthesized in response to the changed first speed in order to keep the second speed, which is the reproduction speed of the hyper-lapse image, constant.
  • the electronic device changes a predetermined number of units to the changed number, and generates a second frame by synthesizing a plurality of first frames in the changed predetermined number of units so that at least one first frame overlaps. can do.
  • the electronic device may prevent the generated hyper-lapse image from being saturated by varying the exposure time and the first speed of the first frame.
  • the electronic device 200 may receive an exposure effect for a hyper-lapse image from a user.
  • the user may input information (eg, 1 second) on the exposure effect into the electronic device 200 .
  • the processor 230 may determine the exposure time of one first frame. For example, in a relatively bright photographing environment, the processor 230 may determine the exposure time of one first frame to be 0.2 seconds. Accordingly, the processor 230 may generate one second frame having an exposure effect of 1 second desired by the user by synthesizing the five first frames.
  • the processor 230 for generating the hyper-lapse image in the second mode may obtain ten first frames such that at least one first frame overlaps, and synthesize five of them to generate two consecutive second frames. have. For example, in a relatively dark photographing environment, the processor 230 may determine the exposure time of one first frame to be 0.5 seconds. Accordingly, the processor 230 may generate one second frame having an exposure effect of 1 second desired by the user by synthesizing the two first frames.
  • the processor 230 for generating the hyper-lapse image of the second mode may obtain four first frames such that at least one first frame overlaps, and synthesize two of them to generate two consecutive second frames. have. According to an embodiment, assuming that the second speed corresponding to the playback speed of the hyper-lapse image is 30 fps, the hyper-lapse image generated to have an exposure effect of 1 second may represent the motion of the original external object at 30x speed.
  • the processor 230 may generate a hyper-lapse image including the generated at least one second frame. Since at least one frame among the plurality of first frames overlaps in the hyper-lapse image generated based on the second mode, the movement (or trajectory according to the movement) of the external object may be effectively represented.
  • the hyper-lapse image generated in the second mode may represent a smooth image with fewer inter-frame breaks than the hyper-lapse image generated in the first mode.
  • the processor 230 may generate at least one second frame by synthesizing the plurality of first frames generated by the camera 210 in the third mode.
  • the processor 230 may generate at least one second frame including a frame that is first generated among the plurality of first frames and a frame that is cumulatively synthesized in the order in which the plurality of first frames are generated.
  • the processor 230 may generate a hyper-lapse image including the generated at least one second frame.
  • the hyper-lapse image generated based on the third mode includes at least one second frame generated by accumulating a plurality of first frames obtained by photographing the external object, the movement of the external object (or the movement of the external object) trajectory) can be effectively represented.
  • the hyper-lapse image generated in the third mode may represent a smooth image with fewer inter-frame breaks than the hyper-lapse image generated in the first mode or the second mode.
  • the electronic device 200 generates a hyper-lapse image in which the speed of the external object is increased according to a method of synthesizing a plurality of first frames acquired at a first speed by photographing the external object or , or a hyper-lapse image that can effectively represent a moving trajectory of an external object can be generated.
  • the electronic device 200 generates a hyper-lapse image by using all of the acquired first frames instead of using a sampling method using some of the first frames acquired through the camera 210 . Therefore, the completed hyper-lapse video can provide the user with a smooth video feeling without interruption.
  • the electronic device 200 may generate at least one second frame having an effect corresponding to a relatively long exposure time by synthesizing first frames having a relatively short exposure time.
  • the hyper-lapse image including the second frame effectively expresses the movement trajectory of an external object and at the same time prevents saturation by light, so that it can have high quality.
  • 3A is a diagram for describing an example in which an electronic device generates at least one second frame by synthesizing a plurality of first frames, according to various embodiments of the present disclosure;
  • the electronic device eg, the electronic device 101 of FIG. 1 or the electronic device 200 of FIG. 2 ) synthesizes a plurality of first frames acquired at a first speed in a first mode, and at least One second frame may be generated.
  • the electronic device captures an external object through a camera (eg, the camera module 180 of FIG. 1 or the camera 210 of FIG. 2 ) to obtain a plurality of first frames 301 , 302 , 303 , 304, 305, 306, 307, 308, ...) may be obtained at the first rate.
  • FIG. 3A exemplarily illustrates a plurality of first frames 301 , 302 , 303 , 304 , 305 , 306 , 307 , 308 , ... .
  • the plurality of first frames 301 , 302 , 303 , 304 , 305 , 306 , 307 , 308 , . , 305, 306, 307, 308, ...) are not construed as being limited to those shown in FIG. 3A .
  • the plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ...) is a 301 frame 301, a 302 frame 302, a 303 frame ( 303 ), 304 frame 304 , 305 frame 305 , 306 frame 306 , 307 frame 307 and 308 frame 308 .
  • each of the plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ... may represent an external object photographed through a camera.
  • each of the plurality of first frames 301 , 302 , 303 , 304 , 305 , 306 , 307 , 308 , ... may include a still image obtained by continuously photographing an external object.
  • an external object that changes with time may be represented.
  • the electronic device receives light from the outside for a predetermined period of time through a camera, and uses the received light to display the plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308 , ...) can be created.
  • the electronic device according to an embodiment receives light reflected from an external object for a first time T1, and uses a sensor (eg, an image sensor) included in a camera to receive data based on the received light can create
  • the electronic device according to an embodiment may read data generated during the first time T1 during the second time T2 and reset a sensor included in the camera.
  • the electronic device according to an embodiment may further perform an operation of removing noise generated in data generated during the first time period T1 during the second time period T2.
  • each of the plurality of first frames includes a result of photographing an external object at a predetermined time during the first time T1
  • the hyper-lapse image generated by synthesizing the plurality of first frames is A change in the external object may be expressed during the first time T1 of .
  • the position of the external object appearing in each of the plurality of first frames may vary. Accordingly, when the hyper-lapse image is generated using the plurality of first frames, a change in the position of the external object may be expressed in the hyper-lapse image.
  • the electronic device synthesizes the plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ... in the first mode to synthesize at least one second frame 351, 352, 353, ...) can be created.
  • FIG. 3A exemplarily shows at least one second frame 351 , 352 , 353 , ... .
  • the at least one second frame 351 , 352 , 353 , ... may include a 351 frame 351 , a 352 frame 352 , and a 353 frame 353 .
  • At least one second frame (351, 352, 353, ...) shown in FIG. 3A is only an example, so the number of at least one second frame (351, 352, 353, ...) is the same as that shown in FIG. 3A limited and not construed.
  • the hyper-lapse image may include at least one second frame 351 , 352 , 353 , ... .
  • the electronic device may generate a hyper-lapse image such that the first frame is reproduced at a second speed different from the obtained first speed.
  • the hyper-lapse video is played at a rate of 30 frames per second (30 fps (frame per sec)
  • the playback time of each second frame included in the hyper-lapse video is 1/30 second (sec)
  • the third time T3 illustrated in FIG. 3A may correspond to a time at which one second frame is reproduced in the hyper-lapse image.
  • the third time T3 may correspond to 1/30 second (sec).
  • the electronic device synthesizes a plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ... in a first mode to synthesize at least one second frame 351, 352, 353, ...) can be created.
  • the electronic device may generate the second frame in the first mode in which the first frames are synthesized in units of a predetermined number.
  • the electronic device may generate at least one second frame by synthesizing three first frames for example.
  • the electronic device may generate the 351 frame 351 by synthesizing the 301 frame 301 , the 302 frame 302 , and the 303 frame 303 in the order obtained through the camera.
  • the electronic device may generate the 352 frame 352 by synthesizing the 304 frames 304 , 305 frames 305 , and 306 frames 306 in the order obtained through the camera.
  • the electronic device may generate the second frame after the 353 frame 353 .
  • a specific frame synthesis method will be described with reference to FIGS. 4 and 5 to be described later.
  • the hyper-lapse image generated in the first mode may provide a user with a sense of speed.
  • the hyper-lapse image generated in the first mode may represent an external object moving at double speed according to Equation 1 below.
  • the speed of the hyper-lapse image generated in the first mode may be determined by Equation 1 above.
  • N may be a positive integer greater than or equal to 1
  • N may correspond to the number of a plurality of first frames synthesized to generate one second frame.
  • the sum of the first time T1 and the second time T2 may correspond to a time required to acquire one first frame.
  • a reciprocal of a first rate eg, a rate at which the first frame is acquired
  • p is a value corresponding to the playback speed of the hyper-lapse image generated in the first mode, and may correspond to the second speed described above. For example, assuming N is 3, T1+T2 is 0.5, and p is 30, a speed of the hyper-lapse image generated in the first mode may correspond to a speed of 45 times.
  • the hyper-lapse image according to an embodiment may be expressed as if the external object is moving at a speed 45 times faster than the original moving speed, and the user may feel a sense of speed.
  • the electronic device may acquire a plurality of first frames by photographing an external object at a first speed.
  • the first speed is 1 fps
  • the sum of the first time T1 and the second time T2 of one first frame may correspond to 1 second.
  • the electronic device may generate a second frame by synthesizing the first frames in units of three, and may generate a hyper-lapse image in which the second frames are reproduced at a second speed.
  • the third time T3 during which one second frame is reproduced may correspond to 1/30 second (33 milliseconds (msec)).
  • the hyper-lapse image according to the first mode divides the first frames corresponding to 3 seconds by 1/30 second (sec). ), the user can feel as if the external object is moving at 90 times the original speed. Accordingly, the hyper-lapse image according to the first mode may provide a fast sense of speed to the user.
  • 3B is a diagram for describing an example in which an electronic device generates at least one second frame by synthesizing a plurality of first frames, according to various embodiments of the present disclosure
  • the electronic device may include a camera (eg, the camera module 180 of FIG. 1 or the camera 210 of FIG. 2 ). )), a plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ...) may be acquired at a first rate.
  • the electronic device synthesizes the acquired plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ... in the second mode to obtain at least one second frame 351, 352, 353, 354, 355...) can be created.
  • the plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ...) is a 301 frame 301, a 302 frame 302, a 303 frame ( 303 ), 304 frame 304 , 305 frame 305 , 306 frame 306 , 307 frame 307 and 308 frame 308 .
  • at least one second frame 351 , 352 , 353 , 354 , 355 is a 351 frame 351 , 352 frame 352 , 353 frame 353 , 354 frame ( 354 and 355 frames 355 may be included.
  • the plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ... shown in FIG. 3B is the plurality of first frames 301, 302, 303, 304 shown in FIG. 3A. , 305, 306, 307, 308, .
  • differences from those described with reference to FIG. 3A will be mainly described.
  • the electronic device acquires a plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ...) at a first speed through a camera, and obtains the plurality of first frames
  • One frame (301, 302, 303, 304, 305, 306, 307, 308, ...) is synthesized in the second mode to generate at least one second frame (351, 352, 353, 354, 355).
  • the electronic device may generate a hyper-lapse image including at least one generated second frame 351 , 352 , 353 , 354 , 355 ... and reproduced at a second speed.
  • the electronic device may select a plurality of first frames such that at least one first frame overlaps (or overlaps). have.
  • the electronic device may generate at least one second frame by synthesizing the first frames so that at least one first frame overlaps. For example, when the electronic device generates one second frame by synthesizing three first frames, the electronic device generates 301 frames 301 , 302 frames 302 and 303 frames 303 in the order obtained through the camera. may be synthesized to generate 351 frames 351 . Next, the electronic device may generate the 352 frame 352 by synthesizing the 302 frame 302 , the 303 frame 303 , and the 304 frame 304 in the order obtained through the camera.
  • the electronic device may generate the 353 frame 353 by synthesizing the 303 frame 303 , the 304 frame 304 , and the 305 frame 305 in the order obtained through the camera.
  • the electronic device may generate the 354 frame 354 by synthesizing the 304 frames 304 , 305 frames 305 , and 306 frames 306 in the order obtained through the camera.
  • the electronic device may generate the second frame after the 355 frame 355 .
  • a specific frame synthesis method will be described with reference to FIGS. 4 and 5 to be described later.
  • one second frame is generated by synthesizing three first frames, and among them, two first frames are illustrated to overlap, but this is only an example, and one second frame is generated In order to do this, the number of first frames synthesized and the number of overlapping first frames are not interpreted as being limited to that illustrated in FIG. 3B .
  • two or more first frames may be synthesized to generate one second frame, and at least one first frame may be overlapped to generate second frames.
  • the second mode may include a synthesis method in which at least one of a plurality of first frames synthesized to generate different second frames is common.
  • 351 frames 351 and 352 frames 352 generated by synthesizing a plurality of first frames in the second mode may be generated by synthesizing 302 frames 302 and 303 frames 303 in common.
  • the 352 frame 352 and the 353 frame 353 may be generated by synthesizing the 303 frame 303 and the 304 frame 304 in common.
  • the hyper-lapse image according to the second mode is displayed to the user according to the first mode. It can provide a smoother video feeling with less stuttering than hyper-lapse video.
  • the hyper-lapse image generated in the second mode may more effectively represent the movement trajectory of the external object than the hyper-lapse image according to the first mode.
  • 3C is a diagram for describing an example in which an electronic device generates at least one second frame by synthesizing a plurality of first frames, according to various embodiments of the present disclosure
  • the electronic device may include a camera (eg, the camera module 180 of FIG. 1 or the camera 210 of FIG. 2 ). )), a plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ...) may be acquired at a first rate.
  • the electronic device synthesizes the obtained plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ... in the third mode to obtain at least one second frame 351, 352, 353, 354, 355, 356, 356, 358).
  • the plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ...) is a 301 frame 301, a 302 frame 302, a 303 frame ( 303 ), 304 frame 304 , 305 frame 305 , 306 frame 306 , 307 frame 307 and 308 frame 308 .
  • a plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ... and at least one second frame 351, 352, 353, 354, 355, 356, 356, 358 ...) is only an example, so it is not limited to what is shown and is not interpreted.
  • the plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ... shown in FIG. 3C is the plurality of first frames 301, 302, shown in FIGS. 3A and 3B. 303, 304, 305, 306, 307, 308, .
  • FIGS. 3A and 3B differences from those described with reference to FIGS. 3A and 3B will be mainly described.
  • the electronic device acquires a plurality of first frames 301, 302, 303, 304, 305, 306, 307, 308, ... at a first speed through a camera, and obtains the acquired first frame At least one second frame 351, 352, 353, 354, 355, 356, 356, 358... ) can be created.
  • the electronic device may include the generated at least one second frame 351, 352, 353, 354, 355, 356, 356, 358 ... and generate a hyper-lapse image reproduced at a second speed.
  • the electronic device may cumulatively synthesize a plurality of first frames that are synthesized to generate different second frames according to an acquired order. For example, the electronic device controls the number of first frames to be synthesized to be different in order to generate different second frames, respectively, and cumulatively synthesizes different numbers of first frames in the order in which they are acquired to form at least one second frame. You can create 2 frames.
  • the electronic device may generate at least one second frame by synthesizing a different number of first frames.
  • the electronic device may generate the 312 frame 312 by synthesizing the 301 frame 301 and the 302 frame 302 in an order obtained from among the plurality of first frames.
  • the electronic device may generate the 313 frame 313 by synthesizing the 301 frame 301 , the 302 frame 302 , and the 303 frame 303 in an order obtained from among the plurality of first frames.
  • the electronic device may generate the 313 frame 313 by synthesizing the previously generated 312 frames 312 and 303 frames 303 .
  • the electronic device generates the 314 frame 314 by synthesizing the 301 frame 301 , the 302 frame 302 , the 303 frame 303 , and the 304 frame 304 in the order obtained from among the plurality of first frames. can do.
  • the electronic device may generate the 314 frame 314 by synthesizing the previously generated 313 frame 313 and the 304 frame 304 .
  • At least one second frame 351 , 352 , 353 , 354 , 355 , 356 , 357 , 358 ... generated as a result of synthesizing a plurality of first frames is illustrated.
  • the time at which each frame is reproduced corresponds to the third time T3 and 351 frames 351 , 352 frames 352 , 353 frames 353 , 354 frames 354 . and a hyper-lapse image including 355 frames 355 may be generated.
  • the 351 frame 351 may correspond to either the 311 frame 311 or the 301 frame 301 .
  • the electronic device plays the 301 frame 301 acquired through the camera during the sum of the first time T1 and the second time T2 in the hyper-lapse image for a third time T3. can be controlled For example, it is assumed that the electronic device acquires each of the plurality of first frames for 1 second (sec), and that the reproduction speed of the hyper-lapse image generated by the electronic device is 30 fps. In this case, the electronic device may control the 301 frames 301 acquired for 1 second (sec) to be reproduced for 1/30 second (sec) corresponding to the speed at which the hyper-lapse image is reproduced.
  • frame 352 352 may correspond to frame 312 .
  • the electronic device according to an embodiment may generate the 312 frame 312 by synthesizing the 301 frame 301 and the 302 frame 302 in the order obtained by the camera.
  • the electronic device according to an embodiment may generate the 312 frame 312 by synthesizing the previously generated 311 frame 311 and the 302 frame 302 .
  • the electronic device acquires each of the plurality of first frames for 1 second (sec), and that the reproduction speed of the hyper-lapse image generated by the electronic device is 30 fps.
  • the electronic device may control the 301 frames 301 and 302 frames 302 acquired for 2 seconds (sec) to be played back for 1/30 second (sec) corresponding to the playback speed of the hyper-lapse image. have.
  • 353 frame 353 may correspond to 313 frame 313 .
  • the electronic device according to an embodiment may generate 313 frames 313 by synthesizing the 301 frames 301 , 302 frames 302 , and 303 frames 303 in the order obtained by the camera.
  • the electronic device according to an embodiment may generate 313 frame 313 by synthesizing previously generated 312 frames 312 and 303 frames 303 .
  • the electronic device according to an embodiment acquires the 301 frames ( 301), 302 frames 302 and 303 frames 303 may be controlled to be played back for 1/30 second corresponding to the playback speed of the hyper-lapse video.
  • each of the at least one second frame included in the hyper-lapse image generated in the third mode may include a 301 frame 301 that is the first acquired first frame in common. Accordingly, the hyper-lapse image generated in the third mode may represent all the movement trajectories of the external object.
  • the electronic device may receive the maximum number of first frames synthesized in one second frame from the user.
  • the electronic device may control the exposure time of one first frame to be short in order to prevent the hyper-lapse image from being saturated with excessive light.
  • the electronic device may generate one second frame by synthesizing a plurality of first frames acquired during a short exposure time.
  • the electronic device may change the exposure time of the first frame while capturing an external object in order to prevent the hyper-lapse image from being saturated with excessive light. For example, when the surrounding environment becomes bright while the electronic device is capturing an external object in a dark environment, the electronic device changes the exposure time of the first frame from a large value to a small value, and corresponds to the changed exposure time to a first The first rate, which is the frame acquisition rate, may be changed. According to an embodiment, even when the first speed is changed while capturing an external object, the electronic device may change the number of first frames to be synthesized in order to keep the second speed, which is the reproduction speed of the hyper-lapse image, constant. have.
  • the number of synthesizing the plurality of first frames may be relatively small.
  • the number of synthesizing the plurality of first frames may be relatively large.
  • the electronic device according to an embodiment may be configured to generate a second frame that is synthesized to respectively generate two or more second frames included in the same hyper-lapse image according to an exposure time of the first frame or a photographing environment (eg, ambient illumination). The number of frames can be controlled.
  • the electronic device may generate a hyper-lapse image by combining two or more modes among the first mode, the second mode, and the third mode.
  • the electronic device may generate a plurality of second frames by synthesizing a plurality of first frames obtained by photographing an external object through a camera in a first mode.
  • the electronic device may generate at least one third frame by synthesizing the plurality of second frames in the first mode.
  • the electronic device may generate a hyper-lapse image including at least one third frame.
  • the electronic device may generate a plurality of second frames by synthesizing a plurality of first frames obtained by photographing an external object through a camera in a first mode.
  • the electronic device may generate at least one third frame by synthesizing the plurality of second frames in the second mode, and may generate a hyper-lapse image including the generated at least one third frame.
  • the electronic device may generate a plurality of second frames by synthesizing a plurality of first frames obtained by photographing an external object through a camera in a first mode.
  • the electronic device may generate at least one third frame by synthesizing the plurality of second frames in the third mode, and may generate a hyper-lapse image including the generated at least one third frame.
  • FIG. 4 is a diagram for explaining a method of synthesizing at least two first frames in an electronic device in a first mode, a second mode, or a third mode, according to various embodiments of the present disclosure
  • first frames 401 and 402 sequentially acquired by the electronic device through the camera are shown in a state where the position of the camera is fixed.
  • the first frames 401 and 402 may include an A frame 401 and a B frame 402 .
  • the A frame 401 and the B frame 402 may be the 301 frame 301 and the 302 frame 302 described with reference to FIGS. 3A to 3C , respectively.
  • the frame A 401 of FIG. 4 may be a frame acquired by the electronic device at a first time through a camera according to an embodiment.
  • the B frame 402 of FIG. 4 indicates that the electronic device displays a first time (eg, a first time T1 in FIGS. 3A to 3C ) and a second time (eg, a second time in FIGS. 3A to 3C ) from a first time point. It may be a frame acquired after time T2) has elapsed.
  • the electronic device may acquire the first frames 401 and 402 in which the position of the external object is changed based on the frame photographed at the same position.
  • a frame acquired through a camera may include at least one pixel.
  • Each pixel may have a pixel value (or pixel value) indicating the color or contrast of the pixel.
  • the pixel value may include an RGB value indicating at least one of a unique brightness or color of each pixel.
  • pixel values for pixels included in a frame expressed in color include an R (red) value ranging from 0 to 255, a G (green) value ranging from 0 to 255, and a range from 0 to 255. It can be expressed as a combination of B (blue) values with .
  • the first point 410 of the A frame 401 may include four pixels.
  • the first point 410 may include a first pixel, a second pixel, a third pixel, and a fourth pixel.
  • the first pixel may have pixel values corresponding to R(159), G(184), and B(244).
  • the second pixel may have pixel values corresponding to R 161 , G 186 , and B 246 .
  • the third pixel may have pixel values corresponding to R(175), G(205), and B(251).
  • the fourth pixel may have pixel values corresponding to R(183), G(211), and B(255).
  • the first point 410 of the B frame 402 may be a point corresponding to the same position as the first point 410 of the A frame 401 .
  • first coordinates eg, coordinates corresponding to the x-axis
  • second coordinates eg, coordinates corresponding to the y-axis perpendicular to the x-axis
  • the A frame The first point 410 of the 401 and the first point 410 of the B frame 402 may have the same coordinates.
  • the first point 410 of the B frame 402 may include a first pixel, a second pixel, a third pixel, and a fourth pixel.
  • Each pixel value may be different from the pixel value of the A frame 401 because the position of the external object is changed during the first time T1 and the second time T2 .
  • the first pixel may have pixel values corresponding to R(100), G(175), and B(169).
  • the second pixel may have pixel values corresponding to R(120), G(50), and B(84).
  • the third pixel may have pixel values corresponding to R(58), G(121), and B(76).
  • the fourth pixel may have pixel values corresponding to R(25), G(175), and B(152).
  • the electronic device sequentially acquires first frames 401 and 402 , and uses the acquired first frames 401 and 402 to obtain an average frame and a max frame ) can be created.
  • the electronic device may obtain an average value by calculating pixel values corresponding to pixels at the same location.
  • the electronic device may generate an average frame 403 including a plurality of pixels having the acquired average value as a pixel value.
  • the average frame 403 may include pixels having an average pixel value as a pixel value.
  • the average pixel value is obtained by averaging pixel values of pixels (eg, the first pixel) located at the same point (eg, the first point 410 ) of the A frame 401 and the B frame 402 . can correspond to values.
  • the first pixel included in the first point 410 of the average frame 403 is R, which is a result of calculating the average value of the first pixel of the A frame 401 and the first pixel of the B frame 402 . It may have a pixel value corresponding to (129 or 130), G (179 or 180), and B (206 or 207). The second pixel, the third pixel, and the fourth pixel may also have corresponding pixel values in a similar manner.
  • the electronic device compares pixel values corresponding to pixels at the same position, and generates a maximum frame 404 including a plurality of pixels having a largest maximum value among them.
  • the maximum frame 404 may be composed of pixels having the maximum pixel value as the pixel value.
  • the maximum pixel value may be the greater of pixel values of pixels (eg, first pixel) located at the same point (eg, first point 410) of frame A 401 and frame B 402 .
  • the first pixel included in the first point 410 of the maximum frame 404 is a result of calculating the maximum value of the first pixel of the A frame 401 and the first pixel of the B frame 402 . It may have pixel values corresponding to R(159), G(184), and B(244).
  • the second pixel, the third pixel, and the fourth pixel may have corresponding pixel values in a similar manner.
  • the electronic device may obtain an average value by calculating pixel values corresponding to pixels at the same position in the three first frames, and may generate an average frame having the average value as a pixel value. Also, the electronic device may compare pixel values corresponding to pixels at the same position in the three first frames, and generate a maximum frame having a largest value among them as a pixel value.
  • the electronic device may blend (or blend) the average frame and the maximum frame according to a predetermined weight.
  • the trajectory of the bright light may not be expressed relatively well.
  • the trajectory of the bright light may be well expressed, but the trajectory of the dark external object may not be well expressed. Since the electronic device according to an embodiment generates a hyper-lapse image by using a result of blending the average frame and the maximum frame according to a predetermined weight, it is possible to effectively express both a trajectory of a bright light and a trajectory of a dark external object. .
  • a weight according to an embodiment will be exemplarily described with reference to FIG. 5 to be described later.
  • the pixel values described with reference to FIG. 4 are only examples for convenience of description, and various embodiments of the present document are not limited to the embodiments according to the aforementioned pixel values.
  • 5 is a diagram for exemplarily showing weights indicating a blend ratio of an average frame and a maximum frame.
  • the electronic device uses the pixel value of the maximum frame described with reference to FIG. 4 , and based on the diagram (any one of 501, 502, 503, 511, or 512) illustrated in FIG. 5 , the maximum frame It is possible to determine a weight corresponding to the ratio of blending the average frame with the average frame.
  • the first graph 510 of FIG. 5 is an S-shaped sigmoid representing a first diagram 501 , a second diagram 502 , and a third diagram 503 for determining weights.
  • ) is a function graph.
  • the x-axis represents a pixel value
  • the y-axis represents a weight.
  • the first diagram 501 may be a graph according to Equation 2 below.
  • the second diagram 502 may be a graph according to Equation 3 below.
  • the third diagram 503 may be a graph according to Equation 4 below.
  • Variable a in Equations 2 to 4 may correspond to the maximum value described with reference to FIG. 4 .
  • the variable a may correspond to a maximum value obtained by comparing pixel values corresponding to pixels at the same position in the plurality of first frames by the electronic device according to an embodiment.
  • the second graph 520 and the third graph 530 of FIG. 5 are graphs illustrating a fourth diagram 511 and a fifth diagram 512 for determining a weight.
  • an x-axis indicates a pixel value
  • a y-axis indicates a weight.
  • the fourth diagram 511 may be a graph according to Equation 5 below.
  • the weight when the weight calculated by Equation 5 exceeds 1, the weight may be determined to be 1. In another embodiment, when the weight calculated by Equation 5 is less than 0, the weight may be determined to be 0.
  • b in Equation 5 may correspond to a pixel value.
  • the fifth diagram 512 may be a graph according to Equation 6 below.
  • the weight when the weight calculated by Equation 6 exceeds 1, the weight may be determined to be 1. In another embodiment, when the weight calculated by Equation 6 is less than 0, the weight may be determined to be 0.
  • b in Equation 6 may correspond to a pixel value.
  • the pixel value may be determined according to various equations having an S-shaped characteristic.
  • the electronic device may obtain the pixel value C of the second frame as a result of blending and synthesizing the average frame and the maximum frame according to Equation 7 below using the above-described weight.
  • the pixel value C of the second frame includes a weight calculated by Equations 2 to 6 described above, weight(r,c), and a pixel value max(r,c) of the maximum frame. )) and the pixel value of the average frame (average(r,c)) may be determined by Equation (7).
  • the pixel value max(r,c) of the maximum frame may correspond to a pixel value corresponding to a pixel at a position determined by the row value (r) and the column value (c) among the pixels of the maximum frame.
  • the pixel value of the average frame (average(r,c)) may correspond to a pixel value corresponding to a pixel at a position determined by the row value (r) and the column value (c) among the pixels of the average frame. have.
  • the electronic device (eg, the electronic device 101 of FIG. 1 , the electronic device 200 of FIG. 2 ) according to an embodiment of the present disclosure includes a camera (eg, the camera module 180 of FIG. 1 or the camera of FIG. 2 ) 210), a memory (eg, memory 130 of FIG. 1 or memory 220 of FIG. 2) and a processor operatively coupled with the camera and the memory (eg, processor 120 of FIG. 1 or FIG. 2) of the processor 230).
  • a camera eg, the camera module 180 of FIG. 1 or the camera of FIG. 2
  • a memory eg, memory 130 of FIG. 1 or memory 220 of FIG. 2
  • a processor operatively coupled with the camera and the memory (eg, processor 120 of FIG. 1 or FIG. 2) of the processor 230).
  • the processor when the memory is executed, acquires a plurality of successive first frames by photographing an external object at a first speed through the camera, and at least one of the plurality of first frames At least one second frame is generated by synthesizing parts in a predetermined number unit in the order in which they are acquired, and the at least one second frame representing the movement of the external object is reproduced at a second speed different from the first speed Instruction for generating a hyper-lapse video can be stored.
  • the processor calculates a pixel value corresponding to at least one pixel included in each of the predetermined number of frames among the plurality of first frames to have an average pixel value.
  • An average frame including at least one pixel and a maximum frame including at least one pixel having a maximum pixel value may be generated, and the second frame may be generated by synthesizing the average frame and the maximum frame.
  • a pixel value corresponding to at least one pixel included in each of the predetermined number of frames may include an RGB value indicating at least one of a brightness level or a color.
  • the instructions include, by the processor, an RGB value representing an average value of RGB values corresponding to at least one pixel included in each of the predetermined number of frames as the average pixel value.
  • the average frame including one pixel may be generated.
  • the instructions include, by the processor, an RGB value representing a maximum value among RGB values corresponding to at least one pixel included in each of the predetermined number of frames as the maximum pixel value.
  • the maximum frame including one pixel may be generated.
  • the instructions include, by the processor, a weight value for the average frame and the maximum frame based on a pixel value corresponding to the at least one pixel, and the average frame and the average frame according to the weight.
  • the maximum frame may be synthesized.
  • the first speed may be smaller than the second speed.
  • the instructions may cause the processor to vary the first speed based on a brightness level of an external environment.
  • the electronic device (eg, the electronic device 101 of FIG. 1 , the electronic device 200 of FIG. 2 ) according to an embodiment of the present disclosure includes a camera (eg, the camera module 180 of FIG. 1 or the camera of FIG. 2 ) 210), a memory (eg, memory 130 of FIG. 1 or memory 220 of FIG. 2) and a processor operatively coupled with the camera and the memory (eg, processor 120 of FIG. 1 or FIG. 2) of the processor 230).
  • a camera eg, the camera module 180 of FIG. 1 or the camera of FIG. 2
  • a memory eg, memory 130 of FIG. 1 or memory 220 of FIG. 2
  • a processor operatively coupled with the camera and the memory (eg, processor 120 of FIG. 1 or FIG. 2) of the processor 230).
  • the processor acquires a plurality of successive first frames by the camera capturing an external object at a first speed, and among the plurality of first frames, at least Time for generating a plurality of second frames by synthesizing one frame in a unit of a predetermined number so as to be common, and allowing the plurality of second frames representing the movement of the external object to be reproduced at a second speed different from the first speed Instructions for generating a lapse image may be stored.
  • the processor calculates a pixel value corresponding to at least one pixel included in each of the predetermined number of frames among the plurality of first frames to have an average pixel value. generating an average frame including at least one pixel and a maximum frame including at least one pixel having a maximum pixel value, respectively, and synthesizing the average frame and the maximum frame to generate the plurality of second frames have.
  • a pixel value corresponding to at least one pixel included in each of the predetermined number of frames may include an RGB value indicating a brightness level.
  • the instructions cause the processor to obtain an average value of pixel values corresponding to at least one pixel included in each of the predetermined number of frames, and use the average value as the average value of the at least one pixel. generate the average frame having a pixel value corresponding to The maximum frame having a pixel value corresponding to one pixel may be generated.
  • the instructions may cause the processor to determine weights for the average frame and the maximum frame, and combine the average frame and the maximum frame according to the weights.
  • the first speed may be smaller than the second speed.
  • the instructions may cause the processor to vary the first speed based on a brightness level of an external environment.
  • FIG. 6 is a flowchart illustrating an operation in which an electronic device generates a hyper-lapse image in a first mode, according to various embodiments of the present disclosure
  • the electronic device receives a camera (eg, the camera module 180 of FIG. 1 or the electronic device 200 of FIG. 2 ).
  • a plurality of successive first frames may be acquired by photographing an external object at a first speed through the camera 210 .
  • the electronic device may acquire a plurality of first frames by photographing an external object through the camera at a rate of one frame per second.
  • the electronic device may generate at least one second frame by synthesizing at least some of the plurality of first frames acquired in operation 610 into a unit of a predetermined number in the acquired order. have.
  • the electronic device may generate at least one second frame by synthesizing the plurality of first frames in the order in which they are acquired.
  • the electronic device may generate at least one second frame by synthesizing a plurality of non-overlapping first frames in units of three.
  • the electronic device according to an embodiment may generate two second frames by synthesizing six first frames acquired for 6 seconds into three units.
  • the electronic device may generate a hyper-lapse image in which at least one second frame representing the movement of an external object is reproduced at a second speed different from the first speed.
  • the electronic device may generate a hyper-lapse image including at least one second frame generated in operation 620 .
  • the electronic device may control the hyper-lapse image to be reproduced at a second speed different from the first speed (eg, 1 frame per second) at which the plurality of first frames are acquired in operation 610 .
  • the electronic device may control the hyper-lapse image to be reproduced at a rate of 30 frames per second.
  • the electronic device may generate a hyper-lapse image including two second frames, and the generated hyper-lapse image may be reproduced at a rate of 30 frames per second. Accordingly, the playback time of the hyper-lapse image including the two second frames may correspond to 1/15 second.
  • the hyper-lapse image generated by the electronic device according to an embodiment may indicate a change (eg, a change in position) of an external object for 6 seconds for 1/15 second.
  • the hyper-lapse image of the first mode generated by the electronic device may provide a user with a sense of high speed.
  • FIG. 7 is a flowchart illustrating an operation in which an electronic device generates a hyper-lapse image in a second mode, according to various embodiments of the present disclosure
  • the electronic device receives a camera (eg, the camera module 180 of FIG. 1 or the electronic device 200 of FIG. 2 ).
  • a plurality of successive first frames may be acquired by photographing an external object at a first speed through the camera 210 .
  • the electronic device may acquire a plurality of first frames by photographing an external object through the camera at a rate of one frame per second.
  • the electronic device may generate at least two second frames by synthesizing in units of a predetermined number so that at least one frame among the plurality of first frames acquired in operation 710 is common.
  • the electronic device may select three of the plurality of first frames according to an acquired order, and may generate at least one second frame by synthesizing the three selected first frames.
  • the electronic device records at least one frame from among the three selected first frames (eg, the most recently acquired first frame among the three selected first frames) and two first frames acquired in the following order.
  • the following second frame can be generated by synthesizing.
  • the electronic device may generate a hyper-lapse image in which at least one second frame representing the movement of an external object is reproduced at a second speed different from the first speed.
  • the electronic device may generate a hyper-lapse image including at least one second frame generated in operation 720 .
  • the electronic device may generate a hyper-lapse image to be reproduced at a second speed different from the first speed (eg, 1 frame per second) at which the plurality of first frames are acquired in operation 710 .
  • the electronic device may generate a hyper-lapse image to be reproduced at a rate of 30 frames per second.
  • the hyper-lapse image generated by the electronic device in the second mode includes a vehicle moving with a light turned on, the user may effectively recognize a movement trajectory of the vehicle displayed in the hyper-lapse image.
  • FIG. 8 is a flowchart illustrating an operation in which an electronic device generates a hyper-lapse image in a third mode, according to various embodiments of the present disclosure
  • the electronic device receives a camera (eg, the camera module 180 of FIG. 1 or the electronic device 200 of FIG. 2 ).
  • a plurality of successive first frames may be acquired by photographing an external object at a first speed through the camera 210 .
  • the electronic device may acquire a plurality of first frames by photographing an external object through the camera at a rate of one frame per second.
  • the electronic device may sequentially acquire a plurality of first frames including frames 1-1, 1-2, 1-3, and 1-4 by photographing an external object. have.
  • the electronic device acquires the first frame among the plurality of first frames acquired in operation 810 and a frame that is cumulatively synthesized in the order in which the plurality of first frames are acquired.
  • At least one second frame including
  • the electronic device accumulates a plurality of first frames in different numbers and synthesizes a plurality of second frames including the 2-1 frame, the 2-2 frame, and the 2-3 frame. can create
  • the electronic device may generate a 2-1 frame by synthesizing a 1-1 frame and a 1-2 frame.
  • the electronic device may generate a 2-2 frame by synthesizing the 1-1 frame, the 1-2 frame, and the 1-3 frame.
  • the electronic device may generate a 2-3 th frame by synthesizing a 1-1 frame, a 1-2 frame, a 1-3 frame, and a 1-4 frame.
  • the hyper-lapse image including the at least one second frame is the image of the moving external object.
  • the trajectory can be expressed effectively.
  • the electronic device may generate a hyper-lapse image in which at least one second frame representing the movement of an external object is reproduced at a second speed different from the first speed.
  • the electronic device includes a 1-1 frame, a 2-1 frame, a 2-2 frame, and a 2-3 frame, and a hyper reproduced at a second speed different from the first speed in operation 810 .
  • the first rate includes a rate of 1 frame per second
  • the second rate may include a rate of 30 frames per second.
  • the hyper-lapse image generated by the electronic device in the third mode when the hyper-lapse image generated by the electronic device in the third mode includes a vehicle moving with a light turned on, the user may effectively recognize a movement trajectory of the vehicle displayed in the hyper-lapse image.
  • the hyper-lapse image generated by the electronic device in the third mode may effectively represent an irregular movement trajectory.
  • a hyper-lapse image generated in the third mode in which a plurality of first frames are cumulatively synthesized can effectively represent the trajectory of an external object that moves irregularly with a light source (eg, vehicle light) included.
  • the hyper-lapse image generated in the third mode may effectively represent the trajectory of an external object having a small degree of movement.
  • FIG. 9 is a flowchart illustrating an operation in which an electronic device generates a hyper-lapse image based on mode information, according to various embodiments of the present disclosure;
  • the operations illustrated in FIG. 9 may include at least some of the operations of FIGS. 6 to 8 .
  • the electronic device receives a camera (eg, the camera module 180 of FIG. 1 or the electronic device 200 of FIG. 2 ).
  • the maximum exposure time of the camera 210) may be set.
  • the maximum exposure time may be set to a value included in the interval of 0.2 seconds to 1.5 seconds, but is not limited to the value of the interval.
  • the electronic device may receive step information from the user.
  • the electronic device may display a UI for receiving step information from the user through the display.
  • the step information may correspond to the number of first frames synthesized to generate one second frame or a speed at which a completed hyper-lapse image is reproduced.
  • operation 902 is an optional operation, and when operation 902 is omitted, the electronic device may designate a preset value as a value corresponding to the step information.
  • the electronic device may receive mode information from the user.
  • the electronic device may display a UI for receiving mode information from the user through the display.
  • the mode information may include at least one of first mode information, second mode information, and third mode information.
  • the electronic device may determine a first speed corresponding to the number of first frames to be acquired per unit second.
  • the electronic device may determine the number of first frames to be acquired per unit second based on at least one of the step information received in operation 902 or the brightness of the surrounding environment within a range not exceeding the maximum exposure time. For example, in a place where the surrounding environment is bright, the electronic device according to an embodiment may set the exposure time of the camera to be relatively short, and as a result, the number of first frames to be acquired per unit second may have a large value. .
  • the electronic device in a dark place, may set the exposure time of the camera to be relatively long, and as a result, the number of first frames to be acquired per second may have a small value. .
  • the electronic device according to an embodiment may vary the number of first frames to be acquired per second while photographing an external object by changing the exposure time of the camera when the illuminance of the surrounding environment changes.
  • the electronic device may receive a record start input from the user. After receiving a record start input from the user, the electronic device may acquire a plurality of first frames by photographing an external object through a camera.
  • the electronic device may determine mode information received from the user. For example, when the mode information includes the first mode information, the electronic device may perform operation 907 . For example, when the mode information includes the second mode information, the electronic device may perform operation 908 . For example, when the mode information includes the third mode information, the electronic device may perform operation 909 .
  • the electronic device may generate at least one second frame by synthesizing the first frames according to the first mode. For example, the electronic device determines the number (N) of the first frames to be synthesized based on any one of the step information received in operation 902 or the step information corresponding to a preset value and an exposure time according to a shooting environment, , by synthesizing the plurality of first frames to generate at least one second frame. Details of operation 907 will be described with reference to FIG. 10 to be described later.
  • the electronic device may determine whether a record end input is received from the user. For example, if the electronic device does not receive the record end input, the electronic device may re-perform operation 907 . For example, upon receiving the record end input, the electronic device may perform operation 910 .
  • the electronic device may generate at least one second frame by synthesizing the first frames according to the second mode. For example, the electronic device determines the number (N) of the first frames to be synthesized based on any one of the step information received in operation 902 or the step information corresponding to a preset value and an exposure time according to a shooting environment, , by synthesizing the plurality of first frames to generate at least one second frame.
  • N the number of the first frames to be synthesized based on any one of the step information received in operation 902 or the step information corresponding to a preset value and an exposure time according to a shooting environment.
  • the electronic device may determine whether a record end input is received from the user. For example, if the electronic device does not receive the record end input, the electronic device may perform operation 908 again. For example, upon receiving the record end input, the electronic device may perform operation 910 .
  • the electronic device may generate at least one second frame by synthesizing the first frames according to the third mode. Details of operation 909 will be described with reference to FIG. 12 to be described later.
  • the electronic device may determine whether a record end input is received from the user. For example, if the electronic device does not receive the record end input, the electronic device may re-perform operation 909 . For example, upon receiving a record end input, the electronic device may perform operation 910 .
  • the electronic device may use the generated at least one second frame to generate a hyper-lapse image including at least one second frame and reproduced at a second speed.
  • the second speed may have a different value from the first speed.
  • the second rate may include a rate of 30 frames per second.
  • the electronic device may generate a hyper-lapse image including a second frame including one first frame.
  • the hyper-lapse image generated in the first mode may represent an external object moving faster than the original speed, a user who recognizes the hyper-lapse image generated in the first mode may feel a sense of high speed.
  • the hyper-lapse image generated in the second mode may provide the user with a slower sense of speed than the first mode, but may effectively represent the trajectory of the external object.
  • the hyper-lapse image generated in the second mode among a plurality of first frames synthesized to respectively generate successive second frames, at least one first frame overlaps, so the trajectory of the moving external object can be expressed effectively.
  • the hyper-lapse image generated in the third mode may provide the user with a slower sense of speed than the first mode, but may most effectively represent the trajectory of the external object among the first to third modes.
  • operation 907 of FIG. 9 may include at least some of the operations of FIG. 10 .
  • the electronic device receives a camera (eg, the camera module 180 of FIG. 1 or the electronic device 200 of FIG. 2 ).
  • the first frame may be acquired at a first speed through the camera 210 .
  • the first speed may correspond to the number of first frames acquired by the camera of the electronic device per unit second.
  • the number of first frames acquired per second may be a positive integer of 1 or more.
  • the electronic device may store the acquired first frame in a memory (eg, the memory 130 of FIG. 1 or the memory 220 of FIG. 2 ).
  • a memory eg, the memory 130 of FIG. 1 or the memory 220 of FIG. 2 .
  • the electronic device may determine whether the number of stored first frames is equal to the number N of first frames used to generate one second frame. When the acquired number of first frames is not the same as the number (N) of first frames used to generate one second frame, the electronic device may perform operation 1010 again. When the obtained number of first frames is equal to the number (N) of first frames used to generate one second frame, the electronic device may perform operation 1040 .
  • the electronic device may generate a maximum frame and an average frame for each of the N first frames stored in the memory and store the generated frames in the memory.
  • the electronic device may determine a weight for the maximum frame and the average frame.
  • the weight may correspond to a ratio for blending the maximum frame and the average frame.
  • the electronic device may synthesize the N first frames according to the determined weight to generate at least one second frame and store it in the memory. For example, the electronic device may blend the maximum frame and the average frame with respect to the first frame according to the determined weight, and may generate one second frame by synthesizing the blended result.
  • the electronic device may delete the N first frames stored in the memory. For example, in order to store N first frames to be acquired in the following order, the electronic device may delete an area of a memory in which first frames synthesized in an already generated second frame are stored. For example, the electronic device may delete all information about the first frames stored in the memory.
  • operation 908 of FIG. 9 may include at least some of the operations of FIG. 11 .
  • FIG. 11 The operations shown in FIG. 11 are the same as or substantially the same as the operations shown in FIG. 10 except for operation 1170, and thus overlapping descriptions will be omitted, and operation 1170 will be described below.
  • the electronic device (eg, the electronic device 101 of FIG. 1 or the electronic device 200 of FIG. 2 ) is configured with a memory (eg, the memory 130 of FIG. 1 or the memory of FIG. 2 ) At least a portion of the N first frames stored in 220 ) may be deleted. For example, in order to store the first frame to be acquired in the next order, the electronic device may delete at least a part of the memory area in which the first frames synthesized into the already generated second frame are stored. According to an embodiment, the electronic device may generate different second frames by selecting at least one first frame to overlap and synthesizing the plurality of first frames.
  • the electronic device does not delete all of the first frames already stored in the memory, but deletes a partial region of the memory in which at least one first frame is stored, and then deletes the next acquired first frame from the deleted region of the memory.
  • at least one first frame left without being deleted by the electronic device may be commonly synthesized to generate different second frames.
  • operation 909 of FIG. 9 may include at least some of the operations of FIG. 12 .
  • the electronic device sets the acquired first frame to different values according to the weight determined in operation 1250 .
  • At least one second frame may be generated by cumulatively synthesizing the number of frames.
  • the electronic device may cumulatively synthesize the first frames in units of different numbers in the order in which they are acquired.
  • the number (N) of the first frames used to generate one second frame is 4, and the electronic device sequentially displays the 1-1 frame, the 1-2 frame, the 1-3 frame, and the first frame. It is assumed that -4 frames are acquired.
  • the electronic device may synthesize the 1-1 frame and the 1-2 th frame according to weights in the obtained order. Next, the electronic device may synthesize frames 1-1, 1-2, and 1-3. Next, the electronic device may synthesize frames 1-1, 1-2, 1-3, and 1-4.
  • the electronic device according to an embodiment may generate at least one second frame including frames generated as a result of synthesizing a different number of first frames. According to an embodiment, since the electronic device generates at least one second frame by accumulatively synthesizing a plurality of first frames, the generated at least one second frame may effectively represent a trajectory of a moving external object. . For example, a hyper-lapse image generated by the electronic device in the third mode may effectively represent an irregular movement trajectory.
  • a method of operating an electronic device includes a camera (eg, the camera module 180 of FIG. 1 or FIG. 1 ). 2) by photographing an external object at a first speed to obtain a plurality of successive first frames, in units of a predetermined number in the order of obtaining at least some of the plurality of first frames generating at least one second frame by synthesizing and generating a hyper-lapse image in which the at least one second frame representing the movement of the external object is reproduced at a second speed different from the first speed can do.
  • the generating of the at least one second frame may include performing pixel values corresponding to at least one pixel included in each of the predetermined number of frames among the plurality of first frames. obtaining an average pixel value representing an average value; generating an average frame including at least one pixel having the average pixel value; The method may include obtaining a maximum pixel value representing a maximum value among pixel values corresponding to at least one pixel and generating a maximum frame including at least one pixel having the maximum pixel value.
  • the generating of the at least one second frame may include generating the at least one second frame by synthesizing the average frame and the maximum frame according to a predetermined weight. .
  • the generating of the at least one second frame may include generating the at least one second frame by synthesizing the average frame and the maximum frame according to a predetermined weight. .
  • the first speed may be smaller than the second speed.
  • the operation of acquiring the plurality of first frames may include the operation of varying the first speed based on a brightness level of an external environment.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first, second, or first or second may be used simply to distinguish the element from other elements in question, and may refer to elements in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, the program 140) including
  • a processor eg, processor 120
  • a device eg, electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided as included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play StoreTM) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly between smartphones (eg: smartphones) and online.
  • a part of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 문서에 개시되는 일 실시예에 따른 전자 장치는, 카메라, 메모리 및 상기 카메라 및 상기 메모리와 작동적으로 연결된 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 상기 메모리는, 실행 시, 상기 프로세서가, 상기 카메라를 통하여 제1 속도로 외부 오브젝트를 촬영하여 연속하는 복수의 제1 프레임들을 획득하고, 상기 복수의 제1 프레임들 중 적어도 일부를 획득한 순서대로 미리 정해진 개수 단위로 합성하여 적어도 하나의 제2 프레임을 생성하고, 상기 외부 오브젝트의 움직임을 나타내는 상기 적어도 하나의 제2 프레임이 상기 제1 속도와 다른 제2 속도로 재생되도록 하는 하이퍼 랩스 영상을 생성하도록 하는 인스트럭션들을 저장할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시예가 가능하다.

Description

전자 장치 및 전자 장치의 동작 방법
본 문서에서 개시되는 다양한 실시 예들은, 전자 장치 및 그 동작 방법과 관련된다.
하이퍼 랩스(hyper-lapse)(또는 타임 랩스(time-lapse) 영상은 상대적으로 긴 시간 동안 외부 오브젝트를 촬영하여 생성한 적어도 하나의 프레임(frame)을, 상대적으로 짧은 시간 동안 재생되도록 처리한 영상 또는 이미지 집합을 의미할 수 있다. 또는 하이퍼 랩스(또는 타임 랩스) 기법을 이용하여 촬영된 결과물을 하이퍼 랩스 영상(또는 타임 랩스 영상)으로 명명할 수 있다.
하이퍼 랩스 영상은 외부 오브젝트를 촬영한 속도와 동일한 속도로 재생되는 일반적인 동영상에 비해서, 상대적으로 짧은 시간 동안에 외부 오브젝트를 표시할 수 있으므로, 보다 적은 저장 공간을 필요로 하며, 스마트폰과 같은 다수의 전자 장치들은 하이퍼 랩스 영상을 생성하는 기능을 제공하고 있다.
본 문서에 개시되는 다양한 실시 예들은, 장 노출을 이용한 하이퍼 랩스 영상을 생성할 때 결과물에 포화가 발생하는 것을 방지할 수 있는 전자 장치 및 전자 장치의 동작 방법을 제공하고자 한다.
본 문서에 개시되는 다양한 실시 예들은, 외부 오브젝트를 촬영하여 획득한 프레임들을 합성하는 방식에 따라서 상이한 효과를 갖는 하이퍼 랩스 영상을 생성할 수 있는 전자 장치 및 전자 장치의 동작 방법을 제공하고자 한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라, 메모리 및 상기 카메라 및 상기 메모리와 작동적으로 연결된 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 상기 메모리는, 실행 시, 상기 프로세서가, 상기 카메라를 통하여 제1 속도로 외부 오브젝트를 촬영하여 연속하는 복수의 제1 프레임들을 획득하고, 상기 복수의 제1 프레임들 중 적어도 일부를 획득한 순서대로 미리 정해진 개수 단위로 합성하여 적어도 하나의 제2 프레임을 생성하고, 상기 외부 오브젝트의 움직임을 나타내는 상기 적어도 하나의 제2 프레임이 상기 제1 속도와 다른 제2 속도로 재생되도록 하는 하이퍼 랩스 영상을 생성하도록 하는 인스트럭션들을 저장할 수 있다.
또한 본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라, 메모리 및 상기 카메라 및 상기 메모리와 작동적으로 연결된 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 상기 메모리는, 실행 시, 상기 프로세서가, 상기 카메라가 제1 속도로 외부 오브젝트를 촬영하여 연속하는 복수의 제1 프레임들을 획득하고, 상기 복수의 제1 프레임들 중에서, 적어도 하나의 프레임이 공통되도록 미리 정해진 개수 단위로 합성하여 복수의 제2 프레임들을 생성하고, 상기 외부 오브젝트의 움직임을 나타내는 상기 복수의 제2 프레임들이 상기 제1 속도와 다른 제2 속도로 재생되도록 하는 타임 랩스 영상을 생성하도록 하는 인스트럭션들을 저장할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 전자 장치의 동작 방법은, 카메라를 통하여 제1 속도로 외부 오브젝트를 촬영하여 연속하는 복수의 제1 프레임들을 획득하는 동작, 상기 복수의 제1 프레임들 중 적어도 일부를 획득한 순서대로 미리 정해진 개수 단위로 합성하여 적어도 하나의 제2 프레임을 생성하는 동작 및 상기 외부 오브젝트의 움직임을 나타내는 상기 적어도 하나의 제2 프레임이 상기 제1 속도와 다른 제2 속도로 재생되도록 하는 하이퍼 랩스 영상을 생성하는 동작을 포함할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 장 노출을 이용한 하이퍼 랩스 영상을 생성할 때 결과물에 포화가 발생하는 것을 방지할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 외부 오브젝트를 촬영하여 획득한 프레임들을 합성하는 방식에 따라서 다양한 하이퍼 랩스 영상을 생성할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 어두운 환경에서 촬영된 외부 오브젝트의 움직임 궤적을 효과적으로 표현하는 하이퍼 랩스 영상을 생성할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 2는 다양한 실시 예에 따른, 전자 장치의 블록도이다.
도 3a는 다양한 실시 예에 따른, 전자 장치가 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하는 일 예시를 설명하기 위한 도면이다.
도 3b는 다양한 실시 예에 따른, 전자 장치가 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하는 일 예시를 설명하기 위한 도면이다.
도 3c는 다양한 실시 예에 따른, 전자 장치가 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하는 일 예시를 설명하기 위한 도면이다.
도 4는 다양한 실시 예에 따른, 전자 장치가 제1 모드, 제2 모드 또는 제3 모드로 적어도 2개의 제1 프레임들을 합성하는 방법을 예시적으로 설명하기 위한 도면이다.
도 5는 평균 프레임과 최대 프레임의 블렌드 비율을 나타내는 가중치를 예시적으로 나타내기 위한 도면이다.
도 6은 다양한 실시 예에 따른, 전자 장치가 제1 모드로 하이퍼 랩스 영상을 생성하는 동작을 설명하기 위한 흐름도이다.
도 7은 다양한 실시 예에 따른, 전자 장치가 제2 모드로 하이퍼 랩스 영상을 생성하는 동작을 설명하기 위한 흐름도이다.
도 8은 다양한 실시 예에 따른, 전자 장치가 제3 모드로 하이퍼 랩스 영상을 생성하는 동작을 설명하기 위한 흐름도이다.
도 9는 다양한 실시 예에 따른, 전자 장치가 모드 정보에 기반하여 하이퍼 랩스 영상을 생성하는 동작을 설명하기 위한 흐름도이다.
도 10은 다양한 실시 예에 따른, 전자 장치가 제1 모드로 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하는 동작을 설명하기 위한 흐름도이다.
도 11은 다양한 실시 예에 따른, 전자 장치가 제2 모드로 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하는 동작을 설명하기 위한 흐름도이다.
도 12는 다양한 실시 예에 따른, 전자 장치가 제3 모드로 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하는 동작을 설명하기 위한 흐름도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 다양한 실시 예에 따른, 전자 장치의 블록도이다.
일 실시예에 따르면, 전자 장치(200)(예: 도 1의 전자 장치(101))는 카메라(210)(예: 도 1의 카메라 모듈(180)), 메모리(220)(예: 도 1의 메모리(130)) 및 프로세서(230)(예: 도 1의 프로세서(120))를 포함할 수 있다.
일 실시 예에 따르면, 카메라(210)는 외부 오브젝트를 촬영하여 하이퍼 랩스(hyper-lapse) 영상을 생성할 수 있다. 다양한 실시 예에서, 타임 랩스(time-lapse)가 하이퍼 랩스와 동일하거나 상응하는 의미로 사용될 수 있다.
일 실시 예에 따르면, 카메라(210)는 외부 오브젝트를 촬영하여 외부 오브젝트를 포함하는 복수의 프레임들을 생성할 수 있다. 일 실시 예에 따르면, 카메라(210)는 모드(mode) 정보에 기반하여 외부 오브젝트를 미리 정해진 속도로 촬영하여 복수의 제1 프레임들을 생성할 수 있다. 일 실시 예에 따르면, 전자 장치(200)는 사용자로부터 모드 정보를 수신할 수 있다. 일 실시 예에 따르면, 전자 장치(200)는 프로세서(230)의 내부 연산 동작을 수행한 결과에 기초하여 모드 정보를 생성하고, 생성한 모드 정보를 복수의 제1 프레임들을 합성하기 위해서 사용할 수 있다.
예를 들어, 모드 정보는 제1 모드 정보, 제2 모드 정보 또는 제3 모드 정보 중에 적어도 하나를 포함할 수 있다. 예를 들어, 모드 정보가 제1 모드 정보를 포함하는 경우, 카메라(210)는 복수의 제1 프레임들을 획득하고, 프로세서(230)은 복수의 제1 프레임들을 제1 모드(mode)로 합성하여 하이퍼 랩스 영상을 생성할 수 있다. 다른 예를 들어, 모드 정보가 제2 모드 정보를 포함하는 경우, 카메라(210)는 복수의 제1 프레임들을 획득하고, 프로세서(230)은 복수의 제1 프레임들을 제2 모드(mode)로 합성하여 하이퍼 랩스 영상을 생성할 수 있다. 다른 예를 들어, 모드 정보가 제3 모드 정보를 포함하는 경우, 카메라(210)는 복수의 제1 프레임들을 획득하고, 프로세서(230)은 복수의 제1 프레임들을 제3 모드(mode)로 합성하여 하이퍼 랩스 영상을 생성할 수 있다.
일 실시 예에 따르면, 카메라(210)는 도 1에 도시된 카메라 모듈(180)의 적어도 일부를 포함할 수 있다.
일 실시 예에 따르면, 메모리(220)는 적어도 하나의 프로그램, 어플리케이션, 데이터 또는 프로세서(230)에 의해서 실행되는 인스트럭션들(instructions)을 저장할 수 있다. 일 실시 예에 따르면, 메모리(220)는 도 1에 도시된 메모리(130)의 적어도 일부를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 모드 정보를 기초로 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하고, 적어도 하나의 제2 프레임을 포함하는 하이퍼 랩스 영상을 생성할 수 있다. 예를 들어, 프로세서(230)는 복수의 제1 프레임들이 생성되는 제1 속도와 상이한 제2 속도로 재생되는 하이퍼 랩스 영상을 생성할 수 있다.
비교 예에 따르면, 카메라(210)를 이용하여 장 노출(long exposure) 시간 동안 획득한 제1 프레임들을 합성하지 않고 생성된 하이퍼 랩스 영상에는, 과도하게 수신한 빛으로 인하여 포화(saturation)가 발생할 수 있다. 예를 들어, 프로세서(230)는, 발광 소자를 포함하는 긴 시간 동안에 움직인 외부 오브젝트의 궤적을 나타내기 위해서, 카메라(210)의 노출 시간을 적절한 노출 시간보다 긴 시간으로 설정할 수 있다. 이 경우, 외부 오브젝트의 움직임 궤적에 대응하는 빛의 궤적을 나타내는 하이퍼 랩스 영상은 포화(saturation)될 수 있다. 예를 들어, 적절한 노출 시간을 0.02 초(sec)로 가정하면, 발광 소자를 포함하는 외부 오브젝트의 움직임 궤적을 나타내기 위해서 프로세서(230)는 카메라(210)의 노출 시간을 약 1.5초로 설정할 수 있다. 이 경우, 상기 카메라(210)를 통해서 획득한 복수의 제1 프레임들을 이용하여 생성된 하이퍼 랩스 영상에는 포화(saturation)가 발생할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 하이퍼 랩스 영상에 발생할 수 있는 포화를 방지할 수 있다. 일 실시 예에 따르면, 프로세서(230)는, 미리 결정된 블렌드(blend)(또는 블렌딩) 비율에 기초하여 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 일 실시 예에 따르면, 프로세서(230)가 생성한 적어도 하나의 제2 프레임을 포함하는 하이퍼 랩스 영상은 포화가 방지될 수 있다. 예를 들어, 일 실시 예에 따른 프로세서(230)가 개별 노출 시간이 0.5 초(sec)에 대응하는 제1 프레임 3개를 블렌드 비율에 기초하여 합성함으로써 제2 프레임을 생성할 수 있다. 이 경우, 일 실시 예에 따른 프로세서(230)가 생성한 제2 프레임은, 총 노출 시간은 1.5 초(sec)에 대응하지만, 0.5 초(sec)씩 노출 시간을 갖는 제1 프레임들을 합성하여 생성되므로 포화가 방지될 수 있다. 또한, 일 실시 예에 따른 프로세서(230)는 제1 프레임들을 블렌드 비율에 기초하여 합성하므로, 포화가 현저히 감소된 양질의 하이퍼 랩스 영상을 생성할 수 있다.
일 실시 예에 따른 프로세서(230)는, 프레임의 합성 방식에 따라서, 고속의 하이퍼 랩스 영상 또는 외부 오브젝트의 궤적을 효과적으로 표현할 수 있는, 포화가 감소된 고품질의 하이퍼 랩스 영상을 생성할 수 있다.
일 실시 예에 따르면, 프로세서(230)는 카메라(210)가 생성한 복수의 제1 프레임들을 제1 모드로 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 예를 들어, 프로세서(230)는 복수의 제1 프레임들을, 생성된 순서대로 미리 정해진 개수 단위로 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 예를 들어, 프로세서(230)는 촬영하는 환경(또는, 촬영 장면(scene))의 밝기에 기초하여, 합성되는 복수의 제1 프레임들의 개수를 결정하고, 결정된 개수의 따라서, 복수의 제1 프레임들을 획득한 순서대로 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 일 실시 예에 따르면, 상대적으로 밝은 촬영 환경에서, 프로세서(230)는 하나의 제1 프레임의 노출 시간(예: 도 3a 내지 도 3c의 제1 시간(T1))을 상대적으로 짧게 제어할 수 있다. 한편, 일 실시 예에 따르면, 상대적으로 어두운 촬영 환경에서, 프로세서(230)는 하나의 제1 프레임의 노출 시간((예: 도 3a 내지 도 3c의 제1 시간(T1))을 상대적으로 길게 제어할 수 있다. 일 실시 예에 따르면, 프로세서(230)는 하나의 제1 프레임의 노출 시간이 짧은 경우, 하나의 제2 프레임을 생성하기 위해 합성되는 복수의 제1 프레임들의 개수를 상대적으로 큰 값으로 설정할 수 있다. 일 실시 예에 따르면, 프로세서(230)는 하나의 제1 프레임의 노출 시간이 상대적으로 긴 경우, 하나의 제2 프레임을 생성하기 위해 합성되는 복수의 제1 프레임들의 개수를 상대적으로 작은 값으로 설정할 수 있다.
일 실시 예에 따른 전자 장치는, 외부 오브젝트를 촬영하는 도중에, 제1 프레임의 노출 시간을 변경할 수 있다. 전자 장치는 변경된 노출 시간에 대응하여, 복수의 제1 프레임들을 합성하는 개수를 변경할 수 있다. 예를 들어, 전자 장치가 어두운 환경에서 외부 오브젝트를 촬영하는 도중에 주변 환경이 밝아지거나 어두워지는 것을 가정한다. 일 실시 예에 따르면, 전자 장치는 제1 프레임의 노출 시간을 변경하고, 변경된 제1 프레임의 노출 시간에 대응하도록 제1 속도를 변경할 수 있다. 이에 따라서, 전자 장치는 하이퍼 랩스 영상의 재생 속도인 제2 속도를 일정하게 유지하기 위해서, 변경된 제1 속도에 대응하여 합성하는 복수의 제1 프레임들의 개수를 변경할 수 있다. 일 실시 예에 따른 전자 장치는, 미리 정해진 개수 단위를 상기 변경된 개수로 변경하고, 상기 변경된 미리 정해진 개수 단위로 복수의 제1 프레임들을 획득한 순서대로 합성하여 제2 프레임을 생성할 수 있다. 일 실시 예에 따른 전자 장치는, 제1 프레임의 노출 시간 또는 제1 속도를 가변함으로써, 생성된 하이퍼 랩스 영상이 포화 되는 것을 방지할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 사용자로부터 하이퍼 랩스 영상에 대한 노출 효과를 입력 받을 수 있다. 예를 들어, 1초의 노출 효과를 갖는 하이퍼 랩스 영상을 생성하기 위해서, 사용자는 전자 장치(200)에 노출 효과에 대한 정보(예: 1 초)를 입력할 수 있다. 입력 받은 노출 효과에 대한 정보 및 촬영하는 환경(또는, 촬영 장면(scene))의 밝기에 기초하여, 프로세서(230)는 하나의 제1 프레임의 노출 시간을 결정할 수 있다. 예를 들어, 상대적으로 밝은 촬영 환경인 경우, 프로세서(230)는 하나의 제1 프레임의 노출 시간을 0.2초로 결정할 수 있다. 이에 따라서 프로세서(230)는 5개의 제1 프레임들을 합성하여 사용자가 원하는 1초의 노출 효과를 갖는 하나의 제2 프레임을 생성할 수 있다. 예를 들어, 상대적으로 어두운 촬영 환경인 경우, 프로세서(230)는 하나의 제1 프레임의 노출 시간을 0.5초로 결정할 수 있다. 이에 따라서 프로세서(230)는 2개의 제1 프레임들을 합성하여 사용자가 원하는 1초의 노출 효과를 갖는 하나의 제2 프레임을 생성할 수 있다. 일 실시 예에 따르면, 프로세서(230)는 생성한 적어도 하나의 제2 프레임을 포함하는 하이퍼 랩스 영상을 생성할 수 있다. 제1 모드에 기초하여 생성된 하이퍼 랩스 영상은, 외부 오브젝트를 촬영할 때보다 상대적으로 빠른 속도로 움직이는 외부 오브젝트를 나타낼 수 있다. 예를 들어, 제1 모드에 기초하여 생성된 하이퍼 랩스 영상에 포함된 외부 오브젝트는 촬영 시의 실제의 외부 오브젝트의 움직임보다 상대적으로 빠른 속도로 움직일 수 있다. 일 실시 예에 따르면, 하이퍼 랩스 영상의 재생 속도에 대응하는 제2 속도를 30 fps로 가정하면, 1초의 노출 효과를 갖도록 생성된 하이퍼 랩스 영상은 원래 외부 오브젝트의 움직임을 30 배속으로 나타낼 수 있다.
일 실시 예에 따르면, 프로세서(230)는 카메라(210)가 생성한 복수의 제1 프레임들을 제2 모드로 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 예를 들어, 프로세서(230)는 복수의 제1 프레임들 중에서, 적어도 하나가 중복되도록 미리 정해진 개수 단위로 합성하여 적어도 두 개의 제2 프레임들을 생성할 수 있다. 예를 들어, 프로세서(230)는 촬영 환경(또는, 촬영 장면(scene))의 밝기에 기초하여, 합성되는 복수의 제1 프레임들의 개수를 결정하고, 결정된 개수에 따라서 적어도 하나의 제1 프레임이 중복되도록 복수의 제1 프레임들을 합성하여 적어도 두 개의 제2 프레임들을 생성할 수 있다. 일 실시 예에 따르면, 상대적으로 밝은 촬영 환경에서, 프로세서(230)는 하나의 제1 프레임의 노출 시간(예: 도 3a 내지 도 3c의 제1 시간(T1))을 상대적으로 짧게 제어할 수 있다. 한편, 일 실시 예에 따르면, 상대적으로 어두운 촬영 환경에서, 프로세서(230)는 하나의 제1 프레임의 노출 시간((예: 도 3a 내지 도 3c의 제1 시간(T1))을 상대적으로 길게 제어할 수 있다. 일 실시 예에 따르면, 프로세서(230)는 하나의 제1 프레임의 노출 시간이 짧은 경우, 하나의 제2 프레임을 생성하기 위해 합성되는 복수의 제1 프레임들의 개수를 상대적으로 큰 값으로 설정할 수 있다. 일 실시 예에 따르면, 프로세서(230)는 하나의 제1 프레임의 노출 시간이 상대적으로 긴 경우, 하나의 제2 프레임을 생성하기 위해 합성되는 복수의 제1 프레임들의 개수를 상대적으로 작은 값으로 설정할 수 있다.
일 실시 예에 따른 전자 장치는, 외부 오브젝트를 촬영하는 도중에, 제1 프레임의 노출 시간을 변경할 수 있다. 전자 장치는 변경된 제1 프레임의 노출 시간에 대응하여, 복수의 제1 프레임들을 합성하는 개수를 변경할 수 있다. 예를 들어, 전자 장치가 어두운 환경에서 외부 오브젝트를 촬영하는 도중에 주변 환경이 밝아지거나 어두워지는 것을 가정한다. 일 실시 예에 따르면, 전자 장치는 제1 프레임의 노출 시간을 변경하고, 변경된 제1 프레임의 노출 시간에 대응하도록 제1 속도를 변경할 수 있다. 이에 따라서, 전자 장치는 하이퍼 랩스 영상의 재생 속도인 제2 속도를 일정하게 유지하기 위해서, 변경된 제1 속도에 대응하여 합성하는 복수의 제1 프레임들의 개수를 변경할 수 있다. 일 실시 예에 따른 전자 장치는, 미리 정해진 개수 단위를 상기 변경된 개수로 변경하고, 적어도 하나의 제1 프레임이 중복되도록 상기 변경된 미리 정해진 개수 단위로 복수의 제1 프레임들을 합성하여 제2 프레임을 생성할 수 있다. 일 실시 예에 따른 전자 장치는, 제1 프레임의 노출 시간 및 제1 속도를 가변함으로써, 생성된 하이퍼 랩스 영상이 포화 되는 것을 방지할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 사용자로부터 하이퍼 랩스 영상에 대한 노출 효과를 입력 받을 수 있다. 예를 들어, 1초의 노출 효과를 갖는 하이퍼 랩스 영상을 생성하기 위해서, 사용자는 전자 장치(200)에 노출 효과에 대한 정보(예: 1 초)를 입력할 수 있다. 입력 받은 노출 효과에 대한 정보 및 촬영하는 환경(또는, 촬영 장면(scene))의 밝기에 기초하여, 프로세서(230)는 하나의 제1 프레임의 노출 시간을 결정할 수 있다. 예를 들어, 상대적으로 밝은 촬영 환경인 경우, 프로세서(230)는 하나의 제1 프레임의 노출 시간을 0.2초로 결정할 수 있다. 이에 따라서 프로세서(230)는 5개의 제1 프레임들을 합성하여 사용자가 원하는 1초의 노출 효과를 갖는 하나의 제2 프레임을 생성할 수 있다. 제2 모드로 하이퍼 랩스 영상을 생성하는 프로세서(230)는 적어도 하나의 제1 프레임이 중복되도록 10개의 제1 프레임들을 획득하고, 그 중에서 5개씩 합성하여 연속하는 두개의 제2 프레임들을 생성할 수 있다. 예를 들어, 상대적으로 어두운 촬영 환경인 경우, 프로세서(230)는 하나의 제1 프레임의 노출 시간을 0.5초로 결정할 수 있다. 이에 따라서 프로세서(230)는 2개의 제1 프레임들을 합성하여 사용자가 원하는 1초의 노출 효과를 갖는 하나의 제2 프레임을 생성할 수 있다. 제2 모드의 하이퍼 랩스 영상을 생성하는 프로세서(230)는 적어도 하나의 제1 프레임이 중복되도록 4개의 제1 프레임들을 획득하고, 그 중에서 2개씩 합성하여 연속하는 2개의 제2 프레임들을 생성할 수 있다. 일 실시 예에 따르면, 하이퍼 랩스 영상의 재생 속도에 대응하는 제2 속도를 30 fps로 가정하면, 1초의 노출 효과를 갖도록 생성된 하이퍼 랩스 영상은 원래 외부 오브젝트의 움직임을 30 배속으로 나타낼 수 있다.
일 실시 예에 따르면, 프로세서(230)는 생성한 적어도 하나의 제2 프레임을 포함하는 하이퍼 랩스 영상을 생성할 수 있다. 제2 모드에 기초하여 생성된 하이퍼 랩스 영상은, 복수의 제1 프레임들 중에서 적어도 하나의 프레임이 중복되므로, 외부 오브젝트의 움직임(또는 움직임에 따른 궤적)을 효과적으로 나타낼 수 있다. 예를 들어, 제2 모드로 생성된 하이퍼 랩스 영상은 제1 모드로 생성된 하이퍼 랩스 영상보다 프레임 간의 끊김이 적은 부드러운 영상을 나타낼 수 있다.
일 실시 예에 따르면, 프로세서(230)는 카메라(210)가 생성한 복수의 제1 프레임들을 제3 모드로 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 예를 들어, 프로세서(230)는 복수의 제1 프레임들 중에서 가장 먼저 생성된 프레임 및 복수의 제1 프레임들이 생성된 순서대로 누적적으로 합성한 프레임을 포함하는 적어도 하나의 제2 프레임을 생성할 수 있다. 일 실시 예에 따르면, 프로세서(230)는 생성한 적어도 하나의 제2 프레임을 포함하는 하이퍼 랩스 영상을 생성할 수 있다. 예를 들어, 제3 모드에 기초하여 생성된 하이퍼 랩스 영상은, 외부 오브젝트를 촬영한 복수의 제1 프레임들을 누적하여 생성되는 적어도 하나의 제2 프레임을 포함하므로, 외부 오브젝트의 움직임(또는 움직임에 따른 궤적)을 효과적으로 나타낼 수 있다. 예를 들어, 제3 모드로 생성된 하이퍼 랩스 영상은, 제1 모드 또는 제2 모드로 생성된 하이퍼 랩스 영상보다 프레임 간의 끊김이 적은 부드러운 영상을 나타낼 수 있다.
일 실시 예에 따르면, 전자 장치(200)는, 외부 오브젝트를 촬영하여 제1 속도로 획득한 복수의 제1 프레임들을 합성하는 방식에 따라서, 외부 오브젝트가 움직이는 속도가 증가된 하이퍼 랩스 영상을 생성하거나, 또는 외부 오브젝트가 움직이는 궤적을 효과적으로 나타낼 수 있는 하이퍼 랩스 영상을 생성할 수 있다. 일 실시 예에 따르면, 전자 장치(200)는 카메라(210)를 통해서 획득한 제1 프레임들 중 일부 프레임을 이용하는 샘플링(sampling) 방식이 아니라 획득한 제1 프레임들을 모두 사용하여 하이퍼 랩스 영상을 생성하므로, 완성된 하이퍼 랩스 영상은 끊김이 없는 매끄러운 영상감을 사용자에게 제공할 수 있다. 또한, 일 실시 예에 따른 전자 장치(200)는 상대적으로 짧은 노출 시간을 갖는 제1 프레임들을 합성하여 상대적으로 긴 노출 시간에 대응하는 효과를 갖는 적어도 하나의 제2 프레임을 생성할 수 있다. 상기 제2 프레임을 포함하는 하이퍼 랩스 영상은 외부 오브젝트의 움직임 궤적을 효과적으로 표현함과 동시에, 빛에 의한 포화가 방지되어 양질의 품질을 가질 수 있다.
도 3a는 다양한 실시 예에 따른, 전자 장치가 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하는 일 예시를 설명하기 위한 도면이다. 일 실시 예에 따르면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는 제1 속도로 획득된 복수의 제1 프레임들을 제1 모드로 합성하여, 적어도 하나의 제2 프레임을 생성할 수 있다.
일 실시 예에 따르면, 전자 장치는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 카메라(210))를 통해서 외부 오브젝트를 촬영하여 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 제1 속도로 획득할 수 있다. 예를 들어, 도 3a는 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 예시적으로 도시한다. 도 3a에 도시된 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)은 예시에 불과하므로, 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)의 개수는 도 3a에 도시된 것에 제한되어 해석되지 않는다.
예를 들어 도 3a를 참조하면, 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)은 301 프레임(301), 302 프레임(302), 303 프레임(303), 304 프레임(304), 305 프레임(305), 306 프레임(306), 307 프레임(307) 및 308 프레임(308)을 포함할 수 있다. 일 실시 예에 따르면, 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …) 각각은 카메라를 통해서 촬영된 외부 오브젝트를 표현할 수 있다. 예를 들어, 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …) 각각은, 외부 오브젝트를 연속적으로 촬영하여 얻어지는 정지 화면을 포함할 수 있다. 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 연속적으로 재생하는 경우, 시간의 흐름에 따라서 변화하는 외부 오브젝트가 표현될 수 있다.
일 실시 예에 따르면, 전자 장치는 카메라를 통하여 일정한 시간 동안 외부로부터 빛을 수신하고, 수신한 빛을 이용하여 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 생성할 수 있다. 예를 들어, 일 실시 예에 따른 전자 장치는, 제1 시간(T1) 동안에 외부 오브젝트로부터 반사되는 빛을 수신하고, 카메라에 포함된 센서(예: 이미지 센서)를 이용하여 수신한 빛에 기반한 데이터를 생성할 수 있다. 다음으로 일 실시 예에 따른 전자 장치는, 제2 시간(T2) 동안에, 제1 시간(T1) 동안에 생성한 데이터를 읽고, 카메라에 포함된 센서를 리셋(reset)할 수 있다. 일 실시 예에 따른 전자 장치는, 제2 시간(T2) 동안에, 제1 시간(T1) 동안에 생성한 데이터에 발생한 노이즈(noise)를 제거하는 동작을 더 수행할 수 있다.
일 실시 예에 따르면, 복수의 제1 프레임들 각각은, 제1 시간(T1) 동안에 정해진 시간마다 외부 오브젝트를 촬영한 결과를 포함하므로, 복수의 제1 프레임들을 합성하여 생성되는 하이퍼 랩스 영상은 복수의 제1 시간(T1) 동안에 외부 오브젝트의 변화를 표현할 수 있다. 예를 들어, 외부 오브젝트가 움직이는 피사체인 경우, 복수의 제1 프레임들 각각에 나타나는 외부 오브젝트의 위치가 달라질 수 있다. 따라서, 복수의 제1 프레임들을 이용하여 하이퍼 랩스 영상을 생성하는 경우, 외부 오브젝트의 위치 변화가 하이퍼 랩스 영상에 표현될 수 있다.
일 실시 예에 따르면, 전자 장치는 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 제1 모드로 합성하여 적어도 하나의 제2 프레임(351, 352, 353, …)을 생성할 수 있다. 예를 들어, 도 3a는 적어도 하나의 제2 프레임(351, 352, 353, …)을 예시적으로 도시한다. 예를 들어, 적어도 하나의 제2 프레임(351, 352, 353, …)은 351 프레임(351), 352 프레임(352) 및 353 프레임(353)을 포함할 수 있다. 도 3a에 도시된 적어도 하나의 제2 프레임(351, 352, 353, …)은 예시에 불과하므로, 적어도 하나의 제2 프레임(351, 352, 353, …)의 개수는 도 3a에 도시된 것에 제한되어 해석되지 않는다.
일 실시 예에 따르면, 하이퍼 랩스 영상은 적어도 하나의 제2 프레임(351, 352, 353, …)을 포함할 수 있다.
일 실시 예에 따른 전자 장치는, 제1 프레임이 획득된 제1 속도와 다른 제2 속도로 재생되도록 하이퍼 랩스 영상을 생성할 수 있다. 예를 들어, 하이퍼 랩스 영상이 초당 30프레임(30 fps(frame per sec))의 속도로 재생되는 경우에, 하이퍼 랩스 영상에 포함되는 제2 프레임 각각이 재생되는 시간은 1/30 초(sec)에 대응할 수 있다. 도 3a에 도시된 제3 시간(T3)은 하나의 제2 프레임이 하이퍼 랩스 영상에서 재생되는 시간에 대응할 수 있다. 위의 예시에서는, 제3 시간(T3)은 1/30 초(sec)에 해당할 수 있다.
일 실시 예에 따른 전자 장치는, 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 제1 모드로 합성하여 적어도 하나의 제2 프레임(351, 352, 353, …)을 생성할 수 있다. 예를 들어, 전자 장치는 미리 정해진 개수 단위로 제1 프레임들을 합성하는 제1 모드로 제2 프레임을 생성할 수 있다.
도 3a를 참조하면, 전자 장치는 예시적으로 3개씩 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 예를 들어, 전자 장치는 카메라를 통해 획득한 순서대로 301 프레임(301), 302 프레임(302) 및 303 프레임(303)을 합성하여 351 프레임(351)을 생성할 수 있다. 다음으로, 전자 장치는 카메라를 통해 획득한 순서대로 304 프레임(304), 305 프레임(305) 및 306 프레임(306)을 합성하여 352 프레임(352)을 생성할 수 있다. 동일한 방식으로, 전자 장치는 353 프레임(353) 이후의 제2 프레임을 생성할 수 있다. 구체적인 프레임 합성 방식은 후술하는 도 4 및 도 5를 참조하여 설명될 것이다.
일 실시 예에 따르면, 제1 모드로 생성된 하이퍼 랩스 영상은, 사용자에게 빠른 속도감을 제공할 수 있다. 예를 들어, 제1 모드로 생성된 하이퍼 랩스 영상은 다음의 수학식 1에 따른 배속으로 움직이는 외부 오브젝트를 표현할 수 있다.
Figure PCTKR2021006216-appb-M000001
예를 들어, 상기 수학식 1에 의해서 제1 모드로 생성된 하이퍼 랩스 영상의 배속(speed)이 결정될 수 있다. 예를 들어, 상기 수학식 1을 참조하면, N은 1이상의 양의 정수일 수 있고, N은 하나의 제2 프레임을 생성하기 위해서 합성되는 복수의 제1 프레임들의 개수에 대응할 수 있다. 제1 시간(T1) 및 제2 시간(T2)를 합한 값은 하나의 제1 프레임을 획득하는 데 소요되는 시간에 대응할 수 있다. 예를 들어, 제1 속도(예: 제1 프레임이 획득된 속도)의 역수(reciprocal)는 제1 시간(T1) 및 제2 시간(T2)를 합한 값에 대응할 수 있다. 제1 시간(T1) 및 제2 시간(T2)에 대해서 앞서 설명되었으므로 중복되는 설명은 생략한다. p는 제1 모드로 생성된 하이퍼 랩스 영상의 재생 속도에 대응하는 값으로써, 앞서 설명한 제2 속도에 대응할 수 있다. 예를 들어, N을 3으로 가정하고, T1+T2를 0.5로 가정하고, p를 30으로 가정하면, 제1 모드로 생성된 하이퍼 랩스 영상의 배속(speed)는 45 배속에 대응할 수 있다. 일 실시 예에 따른 하이퍼 랩스 영상은, 외부 오브젝트가 원래 움직이는 속도와 비교할 때, 45배 더 빠른 속도로 움직이는 것처럼 표현할 수 있고, 사용자는 빠른 속도감을 느낄 수 있다.
일 실시 예에 따르면, 전자 장치는 외부 오브젝트를 제1 속도로 촬영하여 복수의 제1 프레임들을 획득할 수 있다. 제1 속도를 1 fps로 예를 들면, 하나의 제1 프레임이 갖는 제1 시간(T1) 및 제2 시간(T2)의 합은 1 초에 대응할 수 있다. 일 실시 예에 따른 전자 장치는, 3개 단위로 제1 프레임들을 합성하여 제2 프레임을 생성하고, 제2 프레임들이 제2 속도로 재생되는 하이퍼 랩스 영상을 생성할 수 있다. 제2 속도를 30 fps로 예를 들면, 하나의 제2 프레임이 재생되는 제3 시간(T3)은 1/30 초(33 밀리 초(msec))에 대응할 수 있다. 예시적으로, 전자 장치가 3개의 제1 프레임들을 이용하여 하나의 제2 프레임을 생성하는 경우, 제1 모드에 따른 하이퍼 랩스 영상은, 3초에 대응하는 제1 프레임들을 1/30 초(sec) 동안에 재생하므로, 사용자는 외부 오브젝트가 원래의 속도에 대비하여 90 배속으로 움직이는 것처럼 느낄 수 있다. 따라서, 제1 모드에 따른 하이퍼 랩스 영상은 사용자에게 빠른 속도감을 제공할 수 있다.
도 3b는 다양한 실시 예에 따른, 전자 장치가 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하는 일 예시를 설명하기 위한 도면이다.
일 실시 예에 따르면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는, 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 카메라(210))를 통해서 제1 속도로 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 획득할 수 있다. 전자 장치는 획득한 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 제2 모드로 합성하여 적어도 하나의 제2 프레임(351, 352, 353, 354, 355…)을 생성할 수 있다.
예를 들어 도 3b를 참조하면, 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)은 301 프레임(301), 302 프레임(302), 303 프레임(303), 304 프레임(304), 305 프레임(305), 306 프레임(306), 307 프레임(307) 및 308 프레임(308)을 포함할 수 있다. 예를 들어, 도 3b를 참조하면, 적어도 하나의 제2 프레임(351, 352, 353, 354, 355…)은 351 프레임(351), 352 프레임(352), 353 프레임(353), 354 프레임(354) 및 355 프레임(355)을 포함할 수 있다. 도 3b에 도시된 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …) 및 적어도 하나의 제2 프레임(351, 352, 353, 354, 355…)의 개수는 예시에 불과하므로 도시된 것에 제한되어 해석되지 않는다.
도 3b에 도시된 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)은 도 3a에 도시된 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)과 동일한 구성에 해당하므로, 중복되는 설명은 생략한다. 이하에서는, 도 3a를 참조하여 설명된 내용과 구별되는 차이점을 위주로 설명한다.
일 실시 예에 따르면, 전자 장치는 카메라를 통해 제1 속도로 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 획득하고, 획득한 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …) 을 제2 모드로 합성하여 적어도 하나의 제2 프레임(351, 352, 353, 354, 355…)을 생성할 수 있다. 일 실시 예에 따르면 전자 장치는, 생성한 적어도 하나의 제2 프레임(351, 352, 353, 354, 355…)을 포함하고, 제2 속도로 재생되는 하이퍼 랩스 영상을 생성할 수 있다. 일 실시 예에 따르면, 전자 장치는 서로 다른 제2 프레임을 생성하기 위해서 합성되는 복수의 제1 프레임들을 선택할 때, 적어도 하나의 제1 프레임이 중복(또는 중첩)되도록 복수의 제1 프레임들을 선택할 수 있다.
도 3b를 참조하면, 전자 장치는 적어도 하나의 제1 프레임이 중복되도록 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 전자 장치가 3개의 제1 프레임들을 합성하여 하나의 제2 프레임을 생성하는 것을 예로 들면, 전자 장치는 카메라를 통해 획득한 순서대로 301 프레임(301), 302 프레임(302) 및 303 프레임(303)을 합성하여 351 프레임(351)을 생성할 수 있다. 다음으로, 전자 장치는 카메라를 통해 획득한 순서대로 302 프레임(302), 303 프레임(303) 및 304 프레임(304)을 합성하여 352 프레임(352)을 생성할 수 있다. 다음으로, 전자 장치는 카메라를 통해 획득한 순서대로 303 프레임(303), 304 프레임(304) 및 305 프레임(305)을 합성하여 353 프레임(353)을 생성할 수 있다. 다음으로, 전자 장치는 카메라를 통해 획득한 순서대로 304 프레임(304), 305 프레임(305) 및 306 프레임(306)을 합성하여 354 프레임(354)을 생성할 수 있다. 동일한 방식으로, 전자 장치는 355 프레임(355) 이후의 제2 프레임을 생성할 수 있다. 구체적인 프레임 합성 방식은 후술하는 도 4 및 도 5를 참조하여 설명될 것이다.
도 3b를 참조하면, 3개의 제1 프레임들을 합성하여 하나의 제2 프레임이 생성되고, 그 중에서 2개의 제1 프레임들이 중복되도록 도시되어 있으나, 이는 예시에 불과할 뿐, 하나의 제2 프레임을 생성하기 위해 합성되는 제1 프레임들의 개수 및 중복되는 제1 프레임의 개수는 도 3b에 도시된 것에 제한되어 해석되지 않는다. 어떤 예에서, 2개 이상의 제1 프레임들이 합성되어 하나의 제2 프레임이 생성될 수 있고, 적어도 하나의 제1 프레임이 중복되어 제2 프레임들이 생성될 수 있다.
일 실시 예에 따르면, 제2 모드는, 서로 다른 제2 프레임을 생성하기 위해서 합성되는 복수의 제1 프레임들 중에서 적어도 하나가 공통되는 합성 방식을 포함할 수 있다. 예를 들어, 제2 모드로 복수의 제1 프레임들을 합성하여 생성된 351 프레임(351) 및 352 프레임(352)은, 공통적으로 302 프레임(302) 및 303 프레임(303)을 합성하여 생성될 수 있다. 예를 들어, 352 프레임(352) 및 353 프레임(353)은, 공통적으로 303 프레임(303) 및 304 프레임(304)을 합성하여 생성될 수 있다. 일 실시 예에 따르면, 서로 다른 제2 프레임을 생성하기 위해서 합성되는 복수의 제1 프레임들 중에서 적어도 하나의 제1 프레임이 공통되므로, 제2 모드에 따른 하이퍼 랩스 영상은 사용자에게 제1 모드에 따른 하이퍼 랩스 영상보다 끊김이 적은 부드러운 영상감을 제공할 수 있다. 예를 들어, 제2 모드로 생성된 하이퍼 랩스 영상은 제1 모드에 따른 하이퍼 랩스 영상보다 외부 오브젝트의 움직임 궤적을 효과적으로 표현할 수 있다.
도 3c는 다양한 실시 예에 따른, 전자 장치가 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하는 일 예시를 설명하기 위한 도면이다.
일 실시 예에 따르면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는, 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 카메라(210))를 통해서 제1 속도로 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 획득할 수 있다. 전자 장치는 획득한 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 제3 모드로 합성하여 적어도 하나의 제2 프레임(351, 352, 353, 354, 355, 356, 356, 358…)을 생성할 수 있다.
예를 들어 도 3c를 참조하면, 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)은 301 프레임(301), 302 프레임(302), 303 프레임(303), 304 프레임(304), 305 프레임(305), 306 프레임(306), 307 프레임(307) 및 308 프레임(308)을 포함할 수 있다. 예를 들어, 도 3c를 참조하면, 적어도 하나의 제2 프레임(351, 352, 353, 354, 355, 356, 356, 358 …)은 351 프레임(351), 352 프레임(352), 353 프레임(353), 354 프레임(354), 355 프레임(355), 356 프레임(356), 357 프레임(357) 및 358 프레임(358)을 포함할 수 있다. 도 3b에 도시된 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …) 및 적어도 하나의 제2 프레임(351, 352, 353, 354, 355, 356, 356, 358 …)의 개수는 예시에 불과하므로 도시된 것에 제한되어 해석되지 않는다.
도 3c에 도시된 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)은 도 3a 및 도 3b에 도시된 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)과 동일한 구성에 해당하므로, 중복되는 설명은 생략한다. 이하에서는, 도 3a 및 도 3b를 참조하여 설명된 내용과 구별되는 차이점을 위주로 설명한다.
일 실시 예에 따르면, 전자 장치는 카메라를 통해 제1 속도로 복수의 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 획득하고, 획득한 제1 프레임들(301, 302, 303, 304, 305, 306, 307, 308, …)을 제3 모드로 합성하여 적어도 하나의 제2 프레임(351, 352, 353, 354, 355, 356, 356, 358 …)을 생성할 수 있다. 전자 장치는 생성한 적어도 하나의 제2 프레임(351, 352, 353, 354, 355, 356, 356, 358 …)을 포함하고, 제2 속도로 재생되는 하이퍼 랩스 영상을 생성할 수 있다.
일 실시 예에 따르면, 전자 장치는 서로 다른 제2 프레임들을 생성하기 위해서 합성되는 복수의 제1 프레임들을, 획득한 순서에 따라서 누적적으로 합성할 수 있다. 예를 들어, 전자 장치는 서로 다른 제2 프레임들이 각각 생성되기 위해서 합성되는 제1 프레임들의 개수가 상이하도록 제어하고, 상이한 개수의 제1 프레임들을 획득한 순서대로 누적적으로 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다.
도 3c를 참조하면, 전자 장치는 상이한 개수의 제1 프레임들을 합성하여, 적어도 하나의 제2 프레임을 생성할 수 있다.
예를 들어, 전자 장치는 복수의 제1 프레임들 중에서 획득한 순서대로 301 프레임(301) 및 302 프레임(302)을 합성하여 312 프레임(312)을 생성할 수 있다.
다음으로, 전자 장치는 복수의 제1 프레임들 중에서 획득한 순서대로 301 프레임(301), 302 프레임(302) 및 303 프레임(303)을 합성하여 313 프레임(313)을 생성할 수 있다. 일 실시 예에서, 전자 장치는 이전에 생성한 312 프레임(312)과 303 프레임(303)을 합성하여 313 프레임(313)을 생성할 수도 있다.
다음으로, 전자 장치는 복수의 제1 프레임들 중에서 획득한 순서대로 301 프레임(301), 302 프레임(302), 303 프레임(303) 및 304 프레임(304)을 합성하여 314 프레임(314)을 생성할 수 있다. 일 실시 예에서, 전자 장치는 이전에 생성한 313 프레임(313)과 304 프레임(304)을 합성하여 314 프레임(314)을 생성할 수도 있다.
도 3c를 참조하면, 복수의 제1 프레임들을 합성한 결과로 생성된 적어도 하나의 제2 프레임(351, 352, 353, 354, 355, 356, 357, 358 …)이 도시된다. 일 실시 예에 따르면, 전자 장치는, 각각의 프레임이 재생되는 시간이 제3 시간(T3)에 대응하고 351 프레임(351), 352 프레임(352), 353 프레임(353), 354 프레임(354) 및 355 프레임(355)을 포함하는 하이퍼 랩스 영상을 생성할 수 있다.
예를 들어, 351 프레임(351)은 311 프레임(311) 또는 301 프레임(301) 중 어느 하나에 대응할 수 있다. 일 실시 예에 따른 전자 장치는, 제1 시간(T1) 및 제2 시간(T2)을 합한 시간 동안에 카메라를 통하여 획득한 301 프레임(301)을 하이퍼 랩스 영상에서 제3 시간(T3) 동안 재생되도록 제어할 수 있다. 예를 들어, 전자 장치가 복수의 제1 프레임들을 각각 1초(sec) 동안 획득하고, 전자 장치가 생성한 하이퍼 랩스 영상의 재생 속도가 30 fps인 것을 가정한다. 이 때, 전자 장치는, 1초(sec) 동안에 획득한 301 프레임(301)을 하이퍼 랩스 영상이 재생되는 속도에 대응하는 1/30 초(sec) 동안 재생되도록 제어할 수 있다.
예를 들어, 352 프레임(352)은 312 프레임(312)에 대응할 수 있다. 일 실시 예에 따른 전자 장치는 카메라에 의해서 획득된 순서대로 301 프레임(301) 및 302 프레임(302)을 합성하여 312 프레임(312)을 생성할 수 있다. 일 실시 예에 따른 전자 장치는, 이전에 생성한 311 프레임(311)와 302 프레임(302)을 합성하여 312 프레임(312)을 생성할 수도 있다. 예를 들어, 전자 장치가 복수의 제1 프레임들을 각각 1초(sec) 동안 획득하고, 전자 장치가 생성한 하이퍼 랩스 영상의 재생 속도가 30 fps인 것을 가정한다. 이 때, 전자 장치는, 2초(sec) 동안에 획득한 301 프레임(301) 및 302 프레임(302)을 하이퍼 랩스 영상이 재생되는 속도에 대응하는 1/30 초(sec) 동안 재생되도록 제어할 수 있다.
예를 들어, 353 프레임(353)은 313 프레임(313)에 대응할 수 있다. 일 실시 예에 따른 전자 장치는 카메라에 의해서 획득된 순서대로 301 프레임(301), 302 프레임(302) 및 303 프레임(303)을 합성하여 313 프레임(313)을 생성할 수 있다. 일 실시 예에 따른 전자 장치는, 이전에 생성한 312 프레임(312)와 303 프레임(303)을 합성하여 313 프레임(313)을 생성할 수도 있다. 예를 들어, 전자 장치가 3초 동안에 301 프레임(301), 302 프레임(302) 및 303 프레임(303)을 획득한 것을 가정하면, 일 실시 예에 따른 전자 장치는 3초 동안에 획득한 301 프레임(301), 302 프레임(302) 및 303 프레임(303)을 하이퍼 랩스 영상이 재생되는 속도에 대응하는 1/30 초 동안 재생되도록 제어할 수 있다. 전술한 방식과 동일 또는 유사한 방식으로 354 프레임(354), 355 프레임(355), 356 프레임(356), 357 프레임(357) 및 358 프레임(358)이 생성될 수 있다. 제3 모드에 따른 프레임 합성 방식은, 제1 모드 또는 제2 모드로 생성된 하이퍼 랩스 영상보다 외부 오브젝트의 움직임 궤적을 효과적으로 표현할 수 있다. 예를 들어, 제3 모드로 생성된 하이퍼 랩스 영상에 포함되는 적어도 하나의 제2 프레임 각각은, 가장 먼저 획득한 제1 프레임인 301 프레임(301)을 공통적으로 포함할 수 있다. 따라서, 제3 모드로 생성된 하이퍼 랩스 영상은 외부 오브젝트가 움직인 궤적을 전부 표현할 수 있다. 어떤 실시 예에 따른 전자 장치는, 하나의 제2 프레임에 합성되는 제1 프레임의 최대 개수를 사용자로부터 입력 받을 수 있다.
일 실시 예에 따른 전자 장치는, 하이퍼 랩스 영상이 과도한 빛으로 포화되는 것을 방지하기 위해, 하나의 제1 프레임의 노출 시간을 짧게 제어할 수 있다. 전자 장치는, 짧은 노출 시간 동안 획득한 복수의 제1 프레임들을 합성하여 하나의 제2 프레임을 생성할 수 있다.
일 실시 예에 따른 전자 장치는, 하이퍼 랩스 영상이 과도한 빛으로 포화되는 것을 방지하기 위해, 외부 오브젝트를 촬영하는 도중에, 제1 프레임의 노출 시간을 변경할 수 있다. 예를 들어, 전자 장치가 어두운 환경에서 외부 오브젝트를 촬영하는 도중에 주변 환경이 밝아지는 경우, 전자 장치는 제1 프레임의 노출 시간을 큰 값에서 작은 값으로 변경하고, 변경된 노출 시간에 대응하여 제1 프레임의 획득 속도인 제1 속도를 변경할 수 있다. 일 실시 예에 따르면, 외부 오브젝트를 촬영하는 도중에 제1 속도가 변경된 경우에도, 하이퍼 랩스 영상의 재생 속도인 제2 속도를 일정하게 유지하기 위해서, 전자 장치는 제1 프레임이 합성되는 개수를 변경할 수 있다. 예를 들어, 전자 장치가 노출 시간이 긴 복수의 제1 프레임들을 획득한 경우, 상기 복수의 제1 프레임들을 합성하는 개수는 상대적으로 작을 수 있다. 예를 들어, 전자 장치가 노출 시간이 짧은 복수의 제1 프레임들을 획득한 경우, 상기 복수의 제1 프레임들을 합성하는 개수는 상대적으로 커질 수 있다. 일 실시 예에 따른 전자 장치는, 제1 프레임의 노출 시간 또는 촬영하는 환경(예: 주변 환경의 조도)에 따라, 동일한 하이퍼 랩스 영상에 포함되는 둘 이상의 제2 프레임들을 각각 생성하기 위해 합성되는 제1 프레임의 개수를 제어할 수 있다.
일 실시 예에 따르면, 전자 장치는 제1 모드, 제2 모드 또는 제3 모드 중에서 둘 이상의 모드를 조합하여 하이퍼 랩스 영상을 생성할 수 있다.
예를 들어, 전자 장치는 카메라를 통해서 외부 오브젝트를 촬영하여 획득한 복수의 제1 프레임들을 제1 모드로 합성하여 복수의 제2 프레임들을 생성할 수 있다. 다음으로, 전자 장치는 복수의 제2 프레임들을 제1 모드로 합성하여 적어도 하나의 제3 프레임을 생성할 수 있다. 이 후에, 전자 장치는 적어도 하나의 제3 프레임을 포함하는 하이퍼 랩스 영상을 생성할 수 있다.
예를 들어, 전자 장치는 카메라를 통해서 외부 오브젝트를 촬영하여 획득한 복수의 제1 프레임들을 제1 모드로 합성하여 복수의 제2 프레임들을 생성할 수 있다. 다음으로, 전자 장치는 복수의 제2 프레임들을 제2 모드로 합성하여 적어도 하나의 제3 프레임을 생성하고, 생성된 적어도 하나의 제3 프레임을 포함하는 하이퍼 랩스 영상을 생성할 수 있다.
예를 들어, 전자 장치는 카메라를 통해서 외부 오브젝트를 촬영하여 획득한 복수의 제1 프레임들을 제1 모드로 합성하여 복수의 제2 프레임들을 생성할 수 있다. 다음으로, 전자 장치는 복수의 제2 프레임들을 제3 모드로 합성하여 적어도 하나의 제3 프레임을 생성하고, 생성된 적어도 하나의 제3 프레임을 포함하는 하이퍼 랩스 영상을 생성할 수 있다.
도 4는 다양한 실시 예에 따른, 전자 장치가 제1 모드, 제2 모드 또는 제3 모드로 적어도 2개의 제1 프레임들을 합성하는 방법을 예시적으로 설명하기 위한 도면이다.
도 4를 참조하면, 카메라의 위치가 고정된 상태에서, 전자 장치가 카메라를 통해서 순차적으로 획득한 제1 프레임들(401, 402)을 도시한다. 제1 프레임들(401, 402)는 A 프레임(401) 및 B 프레임(402)을 포함할 수 있다. 예를 들어, A 프레임(401) 및 B 프레임(402)은 각각, 도 3a 내지 도 3c를 참조하여 설명한 301 프레임(301) 및 302 프레임(302)일 수 있다.
일 실시 예에 따르면, 도 4의 A 프레임(401)은 일 실시 예에 따른 전자 장치가 제1 시점에 카메라를 통하여 획득한 프레임일 수 있다. 도 4의 B 프레임(402)은 전자 장치가 제1 시점으로부터 제1 시간(예: 도 3a 내지 도 3c의 제1 시간(T1)) 및 제2 시간(예: 도 3a 내지 도 3c의 제2 시간(T2))이 경과한 뒤에 획득한 프레임일 수 있다.
일 실시 예에 따르면, 제1 시간 및 제2 시간이 경과하는 동안, 외부 오브젝트의 적어도 일부가 움직일 수 있다. 따라서, 일 실시 예에 따른 전자 장치는 동일한 위치에서 촬영된 프레임을 기준으로, 외부 오브젝트의 위치가 변화된 제1 프레임들(401, 402)을 획득할 수 있다.
카메라를 통해서 획득한 프레임은 적어도 하나의 픽셀(pixel)을 포함할 수 있다. 각각의 픽셀은, 픽셀의 색이나 명암을 나타내는 픽셀값(pixel value)(또는 화소값)을 가질 수 있다. 예를 들어, 픽셀값은 각각의 픽셀이 갖는 고유한 밝기 또는 색 중에서 적어도 하나를 나타내는 RGB 값을 포함할 수 있다. 예를 들어, 컬러로 표현되는 프레임에 포함된 픽셀에 대한 픽셀값은, 0에서 255의 범위를 갖는 R(red) 값, 0에서 255의 범위를 갖는 G(green) 값 및 0에서 255의 범위를 갖는 B(blue) 값의 조합으로 표현될 수 있다.
일 실시 예에 따르면, A 프레임(401)의 제1 지점(410)은 4개의 픽셀들을 포함할 수 있다. 예를 들어 제1 지점(410)은 제1 픽셀, 제2 픽셀, 제3 픽셀 및 제4 픽셀을 포함할 수 있다. 제1 픽셀은 R(159), G(184), B(244)에 대응하는 픽셀값을 가질 수 있다. 제2 픽셀은 R(161), G(186), B(246)에 대응하는 픽셀값을 가질 수 있다. 제3 픽셀은 R(175), G(205), B(251)에 대응하는 픽셀값을 가질 수 있다. 제4 픽셀은 R(183), G(211), B(255)에 대응하는 픽셀값을 가질 수 있다.
일 실시 예에 따르면, B 프레임(402)의 제1 지점(410)은, A 프레임(401)의 제1 지점(410)과 동일한 위치에 대응하는 지점일 수 있다. 예를 들어, 제1 지점(410)을 제1 좌표(예: x축에 대응하는 좌표) 및 제2 좌표(예: x축에 수직인 y축에 대응하는 좌표)로 표시하면, A 프레임(401)의 제1 지점(410) 및 B 프레임(402)의 제1 지점(410)은 동일한 좌표를 가질 수 있다.
B 프레임(402)의 제1 지점(410)은 제1 픽셀, 제2 픽셀, 제3 픽셀 및 제4 픽셀을 포함할 수 있다. 각각의 픽셀값은, 제1 시간(T1) 및 제2 시간(T2) 동안에 외부 오브젝트의 위치가 변동되었으므로 A 프레임(401)의 픽셀값과 다를 수 있다. 예를 들어, 제1 픽셀은 R(100), G(175), B(169)에 대응하는 픽셀값을 가질 수 있다. 제2 픽셀은 R(120), G(50), B(84)에 대응하는 픽셀값을 가질 수 있다. 제3 픽셀은 R(58), G(121), B(76)에 대응하는 픽셀값을 가질 수 있다. 제4 픽셀은 R(25), G(175), B(152)에 대응하는 픽셀값을 가질 수 있다.
일 실시 예에 따르면, 전자 장치는 순차적으로 제1 프레임들(401, 402)을 획득하고, 획득한 제1 프레임들(401, 402)을 이용하여 평균 프레임(average frame) 및 최대 프레임(max frame)을 생성할 수 있다.
예를 들어, 전자 장치는 동일한 위치의 픽셀에 대응하는 픽셀값을 연산하여 평균값(average value)을 획득할 수 있다. 전자 장치는 획득한 평균값을 픽셀값으로 갖는 복수의 픽셀들을 포함하는 평균 프레임(403)을 생성할 수 있다. 일 실시 예에서, 평균 프레임(403)은 평균 픽셀값을 픽셀값으로 갖는 픽셀들로 구성될 수 있다. 예를 들어, 평균 픽셀값은, A 프레임(401) 및 B 프레임(402)의 동일한 지점(예: 제1 지점(410))에 위치하는 픽셀(예: 제1 픽셀)의 픽셀값들을 평균한 값에 대응할 수 있다. 예를 들어, 평균 프레임(403)의 제1 지점(410)에 포함된 제1 픽셀은 A 프레임(401)의 제1 픽셀 및 B 프레임(402)의 제1 픽셀의 평균값을 연산한 결과인 R(129 또는 130), G(179 또는 180), B(206 또는 207)에 대응하는 픽셀값을 가질 수 있다. 제2 픽셀, 제3 픽셀 및 제4 픽셀도 유사한 방식으로 대응하는 픽셀값을 가질 수 있다.
예를 들어, 전자 장치는 동일한 위치의 픽셀에 대응하는 픽셀값을 비교하고, 그 중 크기가 큰 최대값(max value)을 픽셀값으로 갖는 복수의 픽셀들을 포함하는 최대 프레임(404)을 생성할 수 있다. 일 실시 예에서, 최대 프레임(404)은 최대 픽셀값을 픽셀값으로 갖는 픽셀들로 구성될 수 있다. 예를 들어, 최대 픽셀값은, A 프레임(401) 및 B 프레임(402)의 동일한 지점(예: 제1 지점(410))에 위치하는 픽셀(예: 제1 픽셀)의 픽셀값들 중 큰 값에 대응할 수 있다. 예를 들어, 최대 프레임(404)의 제1 지점(410)에 포함된 제1 픽셀은 A 프레임(401)의 제1 픽셀 및 B 프레임(402)의 제1 픽셀의 최대값을 연산한 결과인 R(159), G(184), B(244)에 대응하는 픽셀값을 가질 수 있다. 제2 픽셀, 제3 픽셀 및 제4 픽셀도 유사한 방식으로 대응하는 픽셀값을 가질 수 있다.
도 4를 참조하면, 2개의 제1 프레임들(401, 402)을 이용하여 평균 프레임 및 최대 프레임을 생성하는 것으로 도시되었으나, 연산에 제1 프레임들의 개수는 도시된 것에 제한되지 않는다. 예를 들어, 일 실시 예에 따른 전자 장치는, 3개의 제1 프레임들의 동일한 위치의 픽셀에 대응하는 픽셀값을 연산하여 평균값을 획득하고, 평균값을 픽셀값으로 갖는 평균 프레임을 생성할 수 있다. 또한, 전자 장치는, 3개의 제1 프레임들의 동일한 위치의 픽셀에 대응하는 픽셀값을 비교하여 그 중 크기가 큰 최대값을 픽셀값으로 갖는 최대 프레임을 생성할 수 있다.
일 실시 예에 따르면, 전자 장치는 평균 프레임 및 최대 프레임을 미리 결정된 가중치(weight)에 따라서 블렌드(blend)(또는 블렌딩(blending))할 수 있다. 평균 프레임만을 이용하여 생성된 하이퍼 랩스 영상은, 밝은 빛이 움직이는 궤적이 상대적으로 잘 표현되지 않을 수 있다. 최대 프레임만을 이용하여 생성된 하이퍼 랩스 영상은, 밝은 빛이 움직이는 궤적은 잘 표현되나, 어두운 외부 오브젝트가 움직이는 궤적은 잘 표현되지 않을 수 있다. 일 실시 예에 따른 전자 장치는 미리 결정된 가중치에 따라서 평균 프레임 및 최대 프레임을 블렌드한 결과를 이용하여 하이퍼 랩스 영상을 생성하므로, 밝은 빛이 움직이는 궤적 및 어두운 외부 오브젝트가 움직이는 궤적을 모두 효과적으로 표현할 수 있다. 일 실시 예에 따른 가중치(weight)는 후술하는 도 5를 참조하여 예시적으로 설명될 것이다. 도 4를 참조하여 설명된 픽셀값들은 설명의 편의를 위한 일 예시일 뿐이며, 본 문서의 다양한 실시 예들은 전술한 픽셀값에 따른 실시예로 한정되지 않는다.
도 5는 평균 프레임과 최대 프레임의 블렌드 비율을 나타내는 가중치를 예시적으로 나타내기 위한 도면이다.
일 실시 예에 따르면, 전자 장치는 도 4를 참조하여 설명된 최대 프레임의 픽셀값을 이용하여, 도 5에 도시된 선도(501, 502, 503, 511 또는 512 중의 어느 하나)에 기반하여 최대 프레임과 평균 프레임을 블렌드하는 비율에 대응하는 가중치(weight)를 결정할 수 있다.
예를 들어, 도 5의 제1 그래프(510)는 가중치를 결정하기 위한 제1 선도(501), 제2 선도(502) 및 제3 선도(503)를 나타내는 S자 모양의 시그모이드(sigmoid) 함수 그래프이다. 도 5의 제1 그래프(510)의 x 축은 픽셀값을 나타내고, y 축은 가중치를 나타낸다.
예를 들어, 제1 선도(501)는, 다음과 같은 수학식 2에 따른 그래프일 수 있다.
Figure PCTKR2021006216-appb-M000002
다른 예를 들어, 제2 선도(502)는, 다음과 같은 수학식 3에 따른 그래프일 수 있다.
Figure PCTKR2021006216-appb-M000003
다른 예를 들어, 제3 선도(503)는, 다음과 같은 수학식 4에 따른 그래프일 수 있다.
Figure PCTKR2021006216-appb-M000004
수학식 2 내지 수학식 4에서 변수 a는, 도 4를 참조하여 설명된 최대값에 대응할 수 있다. 예를 들어, 변수 a는, 일 실시 예에 따른 전자 장치가 복수의 제1 프레임들의 동일한 위치의 픽셀에 대응하는 픽셀값을 비교하여 획득한 최대값에 대응할 수 있다.
예를 들어, 도 5의 제2 그래프(520) 및 제3 그래프(530)는 가중치를 결정하기 위한 제4 선도(511) 및 제5 선도(512)를 나타내는 그래프이다. 도 5의 제2 그래프(520) 및 제3 그래프(530)의 x 축은 픽셀값을 나타내고, y 축은 가중치를 나타낸다.
예를 들어, 제4 선도(511)는, 다음과 같은 수학식 5에 따른 그래프일 수 있다. 일 실시예에서, 수학식 5에 의하여 연산된 가중치가 1을 초과하는 경우 가중치는 1로 결정될 수 있다. 다른 실시예에서, 수학식 5에 의하여 연산된 가중치가 0 미만인 경우 가중치는 0으로 결정될 수 있다. 수학식 5의 b는 픽셀값에 대응할 수 있다.
Figure PCTKR2021006216-appb-M000005
예를 들어, 제5 선도(512)는, 다음과 같은 수학식 6에 따른 그래프일 수 있다. 일 실시예에서, 수학식 6에 의하여 연산된 가중치가 1을 초과하는 경우 가중치는 1로 결정될 수 있다. 다른 실시예에서, 수학식 6에 의하여 연산된 가중치가 0 미만인 경우 가중치는 0으로 결정될 수 있다. 수학식 6의 b는 픽셀값에 대응할 수 있다.
Figure PCTKR2021006216-appb-M000006
도 5의 제1 그래프 내지 제3 그래프(510, 520, 530)에 도시된 가중치를 결정하기 위한 선도들은 예시일 뿐이므로, 다양한 실시 예에 따르면, 가중치는 도 제1 그래프 내지 제3 그래프(510, 520, 530)와 유사하게 픽셀 값에 대하여 S자 형태의 특성을 갖는 다양한 수식에 따라서 결정될 수 있다.
일 실시 예에 따르면, 전자 장치는 전술한 가중치를 이용하여, 아래의 수학식 7에 따라서 평균 프레임과 최대 프레임을 블렌드하여 합성한 결과로 제2 프레임의 픽셀값(C)을 획득할 수 있다. 일 실시예에서, 제2 프레임의 픽셀값(C)은, 전술한 수학식 2 내지 수학식 6에 의해서 연산된 가중치(weight(r,c)), 최대 프레임의 픽셀값(max(r,c)) 및 평균 프레임의 픽셀값(average(r,c))을 이용하여 수학식 7에 의해서 결정될 수 있다. 예를 들어, 최대 프레임의 픽셀값(max(r,c))은, 최대 프레임의 픽셀들 중 로우값(r) 및 컬럼값(c)으로 결정되는 위치의 픽셀에 대응하는 픽셀값에 대응할 수 있다. 예를 들어, 평균 프레임의 픽셀값(average(r,c))은, 평균 프레임의 픽셀들 중 로우값(r) 및 컬럼값(c)으로 결정되는 위치의 픽셀에 대응하는 픽셀값에 대응할 수 있다.
Figure PCTKR2021006216-appb-M000007
본 개시의 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))는, 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 카메라(210)), 메모리(예: 도 1의 메모리(130) 또는 도 2의 메모리(220)) 및 상기 카메라 및 상기 메모리와 작동적으로 연결된 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(230))를 포함할 수 있다. 일 실시 예에 따르면, 상기 메모리는, 실행 시, 상기 프로세서가, 상기 카메라를 통하여 제1 속도로 외부 오브젝트를 촬영하여 연속하는 복수의 제1 프레임들을 획득하고, 상기 복수의 제1 프레임들 중 적어도 일부를 획득한 순서대로 미리 정해진 개수 단위로 합성하여 적어도 하나의 제2 프레임을 생성하고, 상기 외부 오브젝트의 움직임을 나타내는 상기 적어도 하나의 제2 프레임이 상기 제1 속도와 다른 제2 속도로 재생되도록 하는 하이퍼 랩스 영상을 생성하도록 하는 인스트럭션들을 저장할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 복수의 제1 프레임들 중 상기 미리 정해진 개수의 프레임들 각각에 포함된 적어도 하나의 픽셀에 대응하는 픽셀값을 연산하여 평균 픽셀값을 갖는 적어도 하나의 픽셀을 포함하는 평균 프레임 및 최대 픽셀값을 갖는 적어도 하나의 픽셀을 포함하는 최대 프레임을 생성하고, 상기 평균 프레임 및 상기 최대 프레임을 합성하여 상기 제2 프레임을 생성하도록 할 수 있다.
일 실시 예에 따르면, 상기 미리 정해진 개수의 프레임들 각각에 포함되는 적어도 하나의 픽셀에 대응하는 픽셀값은, 밝기 정도 또는 색 중에서 적어도 하나를 나타내는 RGB 값을 포함할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 미리 정해진 개수의 프레임들 각각에 포함되는 적어도 하나의 픽셀에 대응하는 RGB 값들에 대한 평균값을 나타내는 RGB 값을 상기 평균 픽셀값으로 갖는 상기 적어도 하나의 픽셀을 포함하는 상기 평균 프레임을 생성하도록 할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 미리 정해진 개수의 프레임들 각각에 포함되는 적어도 하나의 픽셀에 대응하는 RGB 값들 중에서 최대값을 나타내는 RGB 값을 상기 최대 픽셀값으로 갖는 상기 적어도 하나의 픽셀을 포함하는 상기 최대 프레임을 생성하도록 할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 적어도 하나의 픽셀에 대응하는 픽셀값에 기초하여, 상기 평균 프레임 및 상기 최대 프레임에 대한 가중치를 결정하고, 상기 가중치에 따라서 상기 평균 프레임 및 상기 최대 프레임을 합성하도록 할 수 있다.
일 실시 예에 따르면, 상기 제1 속도는 상기 제2 속도보다 더 작을 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 외부 환경의 밝기 정도에 기초하여, 상기 제1 속도를 가변하도록 할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))는, 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 카메라(210)), 메모리(예: 도 1의 메모리(130) 또는 도 2의 메모리(220)) 및 상기 카메라 및 상기 메모리와 작동적으로 연결된 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(230))를 포함할 수 있다. 일 실시 예에 따르면, 상기 메모리는, 실행 시, 상기 프로세서가, 상기 카메라가 제1 속도로 외부 오브젝트를 촬영하여 연속하는 복수의 제1 프레임들을 획득하고, 상기 복수의 제1 프레임들 중에서, 적어도 하나의 프레임이 공통되도록 미리 정해진 개수 단위로 합성하여 복수의 제2 프레임들을 생성하고, 상기 외부 오브젝트의 움직임을 나타내는 상기 복수의 제2 프레임들이 상기 제1 속도와 다른 제2 속도로 재생되도록 하는 타임 랩스 영상을 생성하도록 하는 인스트럭션들을 저장할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 복수의 제1 프레임들 중 상기 미리 정해진 개수의 프레임들 각각에 포함된 적어도 하나의 픽셀에 대응하는 픽셀값을 연산하여 평균 픽셀값을 갖는 적어도 하나의 픽셀을 포함하는 평균 프레임 및 최대 픽셀값을 갖는 적어도 하나의 픽셀을 포함하는 최대 프레임을 각각 생성하고, 상기 평균 프레임 및 상기 최대 프레임을 합성하여 상기 복수의 제2 프레임들을 생성하도록 할 수 있다.
일 실시 예에 따르면, 상기 미리 정해진 개수의 프레임들 각각에 포함된 적어도 하나의 픽셀에 대응하는 픽셀값은, 밝기 정도를 나타내는 RGB 값을 포함할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 미리 정해진 개수의 프레임들 각각에 포함된 적어도 하나의 픽셀에 대응하는 픽셀값에 대해서 평균값을 획득하도록 하고, 상기 평균값을 상기 적어도 하나의 픽셀에 대응하는 픽셀값으로 갖는 상기 평균 프레임을 생성하도록 하고, 상기 미리 정해진 개수의 프레임들 각각에 포함된 적어도 하나의 픽셀에 대응하는 픽셀값들 중에서 최대값을 획득하도록 하고, 상기 최대값을 상기 적어도 하나의 픽셀에 대응하는 픽셀값으로 갖는 상기 최대 프레임을 생성하도록 할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 평균 프레임 및 상기 최대 프레임에 대한 가중치를 결정하고, 상기 가중치에 따라서 상기 평균 프레임 및 상기 최대 프레임을 합성하도록 할 수 있다.
일 실시 예에 따르면, 상기 제1 속도는 상기 제2 속도보다 더 작을 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 외부 환경의 밝기 정도에 기초하여, 상기 제1 속도를 가변하도록 할 수 있다.
도 6은 다양한 실시 예에 따른, 전자 장치가 제1 모드로 하이퍼 랩스 영상을 생성하는 동작을 설명하기 위한 흐름도이다.
일 실시 예에 따르면, 610 동작에서, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 카메라(210))를 통하여 제1 속도로 외부 오브젝트를 촬영하여 연속하는 복수의 제1 프레임들을 획득할 수 있다. 예를 들어, 전자 장치는 카메라를 통하여 초당 1 프레임의 속도로 외부 오브젝트를 촬영하여, 복수의 제1 프레임들을 획득할 수 있다.
일 실시 예에 따르면, 620 동작에서, 전자 장치는 610 동작에서 획득한 복수의 제1 프레임들 중 적어도 일부를, 획득한 순서대로 미리 정해진 개수 단위로 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 예를 들어, 전자 장치는 복수의 제1 프레임들을 획득한 순서대로 3개를 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 예를 들어, 전자 장치는 중복되지 않는 복수의 제1 프레임들을 3개 단위로 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 예를 들어, 일 실시 예에 따른 전자 장치는, 6초 동안 획득한 6개의 제1 프레임들을 3개 단위로 합성하여, 2개의 제2 프레임을 생성할 수 있다.
일 실시 예에 따르면, 630 동작에서, 전자 장치는 외부 오브젝트의 움직임을 나타내는 적어도 하나의 제2 프레임이 제1 속도와 다른 제2 속도로 재생되도록 하는 하이퍼 랩스 영상을 생성할 수 있다. 예를 들어, 전자 장치는, 620 동작에서 생성한 적어도 하나의 제2 프레임을 포함하는 하이퍼 랩스 영상을 생성할 수 있다. 이 때, 전자 장치는, 610 동작에서 복수의 제1 프레임들을 획득한 제1 속도(예: 초당 1 프레임) 와는 다른 제2 속도로 하이퍼 랩스 영상이 재생되도록 제어할 수 있다. 예를 들어, 전자 장치는 하이퍼 랩스 영상이 초당 30 프레임의 속도로 재생되도록 제어할 수 있다. 일 실시 예에 따른 전자 장치는 2개의 제2 프레임을 포함하는 하이퍼 랩스 영상을 생성할 수 있고, 생성된 하이퍼 랩스 영상은 초당 30 프레임의 속도로 재생될 수 있다. 따라서, 2개의 제2 프레임을 포함하는 하이퍼 랩스 영상이 재생되는 시간은 1/15초에 대응할 수 있다. 일 실시 예에 따른 전자 장치가 생성한 하이퍼 랩스 영상은, 6초 동안의 외부 오브젝트의 변화(예: 위치의 변화)를 1/15초 동안 나타낼 수 있다. 일 실시 예에 따른 전자 장치가 생성한 제1 모드의 하이퍼 랩스 영상은 사용자에게 빠른 속도감을 제공할 수 있다.
도 7은 다양한 실시 예에 따른, 전자 장치가 제2 모드로 하이퍼 랩스 영상을 생성하는 동작을 설명하기 위한 흐름도이다.
일 실시 예에 따르면, 710 동작에서, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 카메라(210))를 통하여 제1 속도로 외부 오브젝트를 촬영하여 연속하는 복수의 제1 프레임들을 획득할 수 있다. 예를 들어, 전자 장치는 카메라를 통하여 초당 1 프레임의 속도로 외부 오브젝트를 촬영하여, 복수의 제1 프레임들을 획득할 수 있다.
일 실시 예에 따르면, 720 동작에서, 전자 장치는 710 동작에서 획득한 복수의 제1 프레임들 중 적어도 하나의 프레임이 공통 되도록 미리 정해진 개수 단위로 합성하여 적어도 두 개의 제2 프레임들을 생성할 수 있다. 예를 들어, 전자 장치는, 복수의 제1 프레임들 중 획득된 순서에 따라서 3개를 선택하고, 선택한 3개의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 다음으로, 전자 장치는 선택한 3개의 제1 프레임들 중에서 적어도 하나의 프레임(예: 선택한 3개의 제1 프레임들 중 가장 최근에 획득한 제1 프레임) 및 다음 순서로 획득한 2개의 제1 프레임들을 합성하여 다음의 제2 프레임을 생성할 수 있다.
일 실시 예에 따르면, 730 동작에서, 전자 장치는 외부 오브젝트의 움직임을 나타내는 적어도 하나의 제2 프레임이 제1 속도와 다른 제2 속도로 재생되도록 하는 하이퍼 랩스 영상을 생성할 수 있다. 예를 들어, 전자 장치는 720 동작에서 생성한 적어도 하나의 제2 프레임을 포함하는 하이퍼 랩스 영상을 생성할 수 있다. 이 때, 전자 장치는 710 동작에서 복수의 제1 프레임들을 획득한 제1 속도(예: 초당 1 프레임) 와는 다른 제2 속도로 재생될 하이퍼 랩스 영상을 생성할 수 있다. 예를 들어, 전자 장치는 초당 30 프레임의 속도로 재생될 하이퍼 랩스 영상을 생성할 수 있다. 일 실시 예에 따르면, 전자 장치가 제2 모드로 생성한 하이퍼 랩스 영상이 라이트를 켠 채로 움직이는 차량을 포함하는 경우, 사용자는 하이퍼 랩스 영상에 표시되는 차량의 이동 궤적을 효과적으로 인식할 수 있다.
도 8은 다양한 실시 예에 따른, 전자 장치가 제3 모드로 하이퍼 랩스 영상을 생성하는 동작을 설명하기 위한 흐름도이다.
일 실시 예에 따르면, 810 동작에서, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 카메라(210))를 통하여 제1 속도로 외부 오브젝트를 촬영하여 연속하는 복수의 제1 프레임들을 획득할 수 있다. 예를 들어, 전자 장치는 카메라를 통하여 초당 1 프레임의 속도로 외부 오브젝트를 촬영하여, 복수의 제1 프레임들을 획득할 수 있다. 예를 들어, 전자 장치는 외부 오브젝트를 촬영하여 순차적으로, 제1-1 프레임, 제1-2 프레임, 제1-3 프레임 및 제1-4 프레임을 포함하는 복수의 제1 프레임들을 획득할 수 있다.
일 실시 예에 따르면, 820 동작에서, 전자 장치는 810 동작에서 획득한 복수의 제1 프레임들 중 가장 처음 획득한 제1 프레임 및, 복수의 제1 프레임들을 획득한 순서대로 누적적으로 합성한 프레임을 포함하는 적어도 하나의 제2 프레임들을 생성할 수 있다.
일 실시 예에 따르면 전자 장치는 복수의 제1 프레임들을 서로 다른 개수로 누적적으로 합성하여, 제2-1 프레임, 제2-2 프레임 및 제2-3 프레임을 포함하는 복수의 제2 프레임들을 생성할 수 있다.
예를 들어, 전자 장치는, 제1-1 프레임 및 제1-2 프레임을 합성하여 제2-1 프레임을 생성할 수 있다. 다음으로, 전자 장치는, 제1-1 프레임, 제1-2 프레임 및 제1-3 프레임을 합성하여 제2-2 프레임을 생성할 수 있다. 다음으로, 전자 장치는, 제1-1 프레임, 제1-2 프레임, 제1-3 프레임 및 제1-4 프레임을 합성하여 제2-3 프레임을 생성할 수 있다.
일 실시 예에 따르면, 전자 장치는, 복수의 제1 프레임들을 누적적으로 합성한 결과로 적어도 하나의 제2 프레임들을 생성하므로, 적어도 하나의 제2 프레임들을 포함하는 하이퍼 랩스 영상은 움직이는 외부 오브젝트의 궤적을 효과적으로 표현할 수 있다.
일 실시 예에 따르면, 830 동작에서, 전자 장치는 외부 오브젝트의 움직임을 나타내는 적어도 하나의 제2 프레임들이, 제1 속도와 다른 제2 속도로 재생되도록 하는 하이퍼 랩스 영상을 생성할 수 있다. 예를 들어, 전자 장치는, 제1-1 프레임, 제2-1 프레임, 제2-2 프레임 및 제2-3 프레임을 포함하고, 810 동작의 제1 속도와 다른 제2 속도로 재생되는 하이퍼 랩스 영상을 생성할 수 있다. 예를 들어, 제1 속도가 초당 1 프레임의 속도를 포함하는 것을 가정하면, 제2 속도는 초당 30 프레임의 속도를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치가 제3 모드로 생성한 하이퍼 랩스 영상이 라이트를 켠 채로 움직이는 차량을 포함하는 경우, 사용자는 하이퍼 랩스 영상에 표시되는 차량의 이동 궤적을 효과적으로 인식할 수 있다. 일 실시 예에 따르면, 전자 장치가 제3 모드로 생성한 하이퍼 랩스 영상은 불규칙한 움직임 궤적을 효과적으로 표현할 수 있다. 예를 들어, 복수의 제1 프레임들을 누적적으로 합성하는 제3 모드로 생성된 하이퍼 랩스 영상은, 광원(예: 차량의 라이트)을 포함한 상태로 불규칙하게 움직이는 외부 오브젝트의 궤적을 효과적으로 나타낼 수 있다. 예를 들어, 제1 모드 또는 제2 모드 중 어느 하나의 모드로 생성된 하이퍼 랩스 영상과 비교하여, 제3 모드로 생성된 하이퍼 랩스 영상은 움직이는 정도가 작은 외부 오브젝트의 궤적을 효과적으로 나타낼 수 있다.
도 9는 다양한 실시 예에 따른, 전자 장치가 모드 정보에 기반하여 하이퍼 랩스 영상을 생성하는 동작을 설명하기 위한 흐름도이다. 예를 들어, 도 9에 도시된 동작들은 도 6 내지 도 8의 동작들 중 적어도 일부를 포함할 수 있다.
일 실시 예에 따르면, 901 동작에서, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 카메라(210))의 최대 노출 시간을 설정할 수 있다. 예를 들어, 최대 노출 시간은 0.2초 내지 1.5초의 구간에 포함되는 값으로 설정될 수 있으나, 상기 구간의 값에 제한되지 않는다.
일 실시 예에 따르면, 902 동작에서, 전자 장치는 사용자로부터 스텝 정보를 수신할 수 있다. 어떤 예에서, 전자 장치는 사용자로부터 스텝 정보를 수신하기 위한 UI를 디스플레이를 통해서 표시할 수 있다. 예를 들어, 스텝 정보는 하나의 제2 프레임을 생성하기 위해서 합성되는 제1 프레임의 개수 또는 완성된 하이퍼 랩스 영상이 재생 되는 속도에 대응할 수 있다. 일 실시 예에 따르면, 902 동작은 선택적(optional)인 동작으로, 902 동작이 생략되는 경우, 전자 장치는 기 설정된 값을 상기 스텝 정보에 대응하는 값으로 지정할 수 있다.
일 실시 예에 따르면, 903 동작에서, 전자 장치는 사용자로부터 모드 정보를 수신할 수 있다. 어떤 예에서 전자 장치는 사용자로부터 모드 정보를 수신하기 위한 UI를 디스플레이를 통해서 표시할 수 있다. 예를 들어, 모드 정보는 제1 모드 정보, 제2 모드 정보 또는 제3 모드 정보 중에서 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 904 동작에서, 전자 장치는 단위 초당 획득할 제1 프레임의 개수에 대응하는 제1 속도를 결정할 수 있다. 이 경우, 전자 장치는, 최대 노출 시간을 초과하지 않는 범위에서 902 동작에서 수신한 스텝 정보 또는 주변 환경의 밝기 중 적어도 하나를 기초로 하여, 단위 초당 획득할 제1 프레임의 개수를 결정할 수 있다. 예를 들어, 주변 환경이 밝은 장소에서, 일 실시 예에 따른 전자 장치는, 카메라의 노출 시간을 상대적으로 짧게 설정할 수 있고, 그 결과 단위 초당 획득할 제1 프레임의 개수는 큰 값을 가질 수 있다. 다른 예에서, 주변 환경이 어두운 장소에서, 일 실시 예에 따른 전자 장치는, 카메라의 노출 시간을 상대적으로 길게 설정할 수 있고, 그 결과 단위 초당 획득할 제1 프레임의 개수는 작은 값을 가질 수 있다. 일 실시 예에 따른 전자 장치는, 주변 환경의 조도가 변하는 경우, 카메라의 노출 시간을 가변하여 외부 오브젝트를 촬영하는 동안에 단위 초당 획득할 제1 프레임의 개수를 가변할 수 있다.
일 실시 예에 따르면, 905 동작에서, 전자 장치는 사용자로부터 레코드(record) 시작 입력을 수신할 수 있다. 전자 장치는 사용자로부터 레코드 시작 입력을 수신한 후, 카메라를 통해서 외부 오브젝트를 촬영하여 복수의 제1 프레임들을 획득할 수 있다.
일 실시 예에 따르면, 906 동작에서, 전자 장치는 사용자로부터 수신한 모드 정보를 판단할 수 있다. 예를 들어, 모드 정보가 제1 모드 정보를 포함하는 경우, 전자 장치는 907 동작을 수행할 수 있다. 예를 들어, 모드 정보가 제2 모드 정보를 포함하는 경우, 전자 장치는 908 동작을 수행할 수 있다. 예를 들어, 모드 정보가 제3 모드 정보를 포함하는 경우, 전자 장치는 909 동작을 수행할 수 있다.
일 실시 예에 따르면, 907 동작에서, 전자 장치는 제1 모드에 따라서 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 예를 들어, 전자 장치는 902 동작에서 수신한 스텝 정보 또는 기 설정된 값에 대응하는 스텝 정보 중 어느 하나와 촬영 환경에 따른 노출 시간에 기초하여, 합성될 제1 프레임들의 개수(N)를 결정하고, 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 907 동작의 상세한 내용은 후술하는 도 10을 참조하여 설명한다.
일 실시 예에 따르면, 912 동작에서, 전자 장치는 사용자로부터 레코드(record) 종료 입력을 수신하였는지 여부를 판단할 수 있다. 예를 들어, 전자 장치가 레코드 종료 입력을 수신하지 않으면, 전자 장치는 907 동작을 재 수행할 수 있다. 예를 들어, 레코드 종료 입력을 수신하면, 전자 장치는 910 동작을 수행할 수 있다.
일 실시 예에 따르면, 908 동작에서, 전자 장치는 제2 모드에 따라서 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 예를 들어, 전자 장치는 902 동작에서 수신한 스텝 정보 또는 기 설정된 값에 대응하는 스텝 정보 중 어느 하나와 촬영 환경에 따른 노출 시간에 기초하여, 합성될 제1 프레임들의 개수(N)를 결정하고, 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 908 동작의 상세한 내용은 후술하는 도 11을 참조하여 설명한다.
일 실시 예에 따르면, 922 동작에서, 전자 장치는 사용자로부터 레코드(record) 종료 입력을 수신하였는지 여부를 판단할 수 있다. 예를 들어, 전자 장치가 레코드 종료 입력을 수신하지 않으면, 전자 장치는 908 동작을 재 수행할 수 있다. 예를 들어, 레코드 종료 입력을 수신하면, 전자 장치는 910 동작을 수행할 수 있다.
일 실시 예에 따르면, 909 동작에서, 전자 장치는 제3 모드에 따라서 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 909 동작의 상세한 내용은 후술하는 도 12를 참조하여 설명한다.
일 실시 예에 따르면, 932 동작에서, 전자 장치는 사용자로부터 레코드(record) 종료 입력을 수신하였는지 여부를 판단할 수 있다. 예를 들어, 전자 장치가 레코드 종료 입력을 수신하지 않으면, 전자 장치는 909 동작을 재 수행할 수 있다. 예를 들어, 레코드 종료 입력을 수신하면, 전자 장치는 910 동작을 수행할 수 있다
일 실시 예에 따르면, 910 동작에서, 전자 장치는, 생성된 적어도 하나의 제2 프레임을 이용하여, 적어도 하나의 제2 프레임을 포함하고, 제2 속도로 재생되는 하이퍼 랩스 영상을 생성할 수 있다. 예를 들어, 제2 속도는, 제1 속도와는 상이한 값을 가질 수 있다. 예를 들어, 제2 속도는 초당 30 프레임의 속도를 포함할 수 있다. 일 실시 예에 따르면, 931 동작 또는 922 동작 또는 932 동작의 레코드 종료 입력을 수신하는 시점에 따라서, 전자 장치는 하나의 제1 프레임을 포함하는 제2 프레임을 포함한 하이퍼 랩스 영상을 생성할 수 있다.
일 실시 예에 따르면, 제1 모드로 생성된 하이퍼 랩스 영상은 원래의 속도보다 빠르게 움직이는 외부 오브젝트를 나타낼 수 있으므로, 제1 모드로 생성된 하이퍼 랩스 영상을 인식하는 사용자는 빠른 속도감을 느낄 수 있다.
일 실시 예에 따르면, 제2 모드로 생성된 하이퍼 랩스 영상은, 사용자에게 제1 모드보다는 느린 속도감을 제공할 수 있지만, 외부 오브젝트의 궤적을 효과적으로 나타낼 수 있다. 예를 들어, 제2 모드로 생성된 하이퍼 랩스 영상은, 연속하는 제2 프레임들을 각각 생성하기 위해 합성되는 복수의 제1 프레임들 중에서, 적어도 하나의 제1 프레임이 중복되므로, 움직이는 외부 오브젝트의 궤적을 효과적으로 표현할 수 있다.
일 실시 예에 따르면, 제3 모드로 생성된 하이퍼 랩스 영상은, 사용자에게 제1 모드보다는 느린 속도감을 제공할 수 있지만, 제1 모드 내지 제3 모드 중에서 외부 오브젝트의 궤적을 가장 효과적으로 나타낼 수 있다.
도 10은 다양한 실시 예에 따른, 전자 장치가 제1 모드로 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하는 동작을 설명하기 위한 흐름도이다. 예를 들어, 도 9의 907 동작은, 도 10의 동작들 중 적어도 일부를 포함할 수 있다.
일 실시 예에 따르면, 1010 동작에서, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 카메라(210))를 통해서 제1 속도로 제1 프레임을 획득할 수 있다. 예를 들어, 제1 속도는, 전자 장치의 카메라가 단위 초당 획득하는 제1 프레임의 개수에 대응할 수 있다. 예를 들어, 단위 초당 획득하는 제1 프레임의 개수는 1 이상의 양의 정수일 수 있다.
일 실시 예에 따르면, 1020 동작에서, 전자 장치는 획득한 제1 프레임을 메모리(예: 도 1의 메모리(130) 또는 도 2의 메모리(220))에 저장할 수 있다.
일 실시 예에 따르면 1030 동작에서, 전자 장치는 저장된 제1 프레임의 개수가 하나의 제2 프레임 생성에 사용되는 제1 프레임의 개수(N)와 동일한지 여부를 판단할 수 있다. 획득한 제1 프레임의 개수가 하나의 제2 프레임 생성에 사용되는 제1 프레임의 개수(N)와 동일하지 않은 경우, 전자 장치는 1010 동작부터 다시 수행할 수 있다. 획득한 제1 프레임의 개수가 하나의 제2 프레임 생성에 사용되는 제1 프레임의 개수(N)와 동일한 경우, 전자 장치는 1040 동작을 수행할 수 있다.
일 실시 예에 따르면, 1040 동작에서, 전자 장치는 메모리에 저장된 N개의 제1 프레임들 각각에 대해서 최대 프레임 및 평균 프레임을 생성하여 메모리에 저장할 수 있다.
일 실시 예에 따르면, 1050 동작에서, 전자 장치는 최대 프레임 및 평균 프레임에 대한 가중치(weight)를 결정할 수 있다. 가중치는 최대 프레임 및 평균 프레임을 블렌드(blend)하기 위한 비율에 대응할 수 있다.
일 실시 예에 따르면, 1060 동작에서, 전자 장치는 결정된 가중치에 따라서 N개의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하여 메모리에 저장할 수 있다. 예를 들어, 전자 장치는 결정된 가중치에 따라서 제1 프레임에 대한 최대 프레임 및 평균 프레임을 블렌드할 수 있고, 블렌드한 결과를 합성하여 하나의 제2 프레임을 생성할 수 있다.
일 실시 예에 따르면, 1070 동작에서, 전자 장치는 메모리에 저장된 N개의 제1 프레임들을 삭제할 수 있다. 예를 들어, 전자 장치는 다음 순서로 획득할 N개의 제1 프레임들을 저장하기 위해서, 이미 생성된 제2 프레임에 합성된 제1 프레임들이 저장된 메모리의 영역을 삭제할 수 있다. 예를 들어, 전자 장치는 메모리에 저장되어 있는 제1 프레임들에 관한 정보를 전부 삭제할 수 있다.
도 11은 다양한 실시 예에 따른, 전자 장치가 제2 모드로 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하는 동작을 설명하기 위한 흐름도이다. 예를 들어, 도 9의 908 동작은, 도 11의 동작들 중 적어도 일부를 포함할 수 있다.
도 11에 도시된 동작들은, 1170 동작을 제외하고는, 도 10에 도시된 동작들과 동일 또는 실질적으로 동일하므로, 중복되는 설명은 생략하고, 이하에서는 1170 동작을 설명한다.
일 실시 예에 따르면, 1170 동작에서, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는 메모리(예: 도 1의 메모리(130) 또는 도 2의 메모리(220))에 저장된 N개의 제1 프레임의 적어도 일부를 삭제할 수 있다. 예를 들어, 전자 장치는 다음 순서로 획득할 제1 프레임을 저장하기 위해서, 이미 생성된 제2 프레임에 합성된 제1 프레임들이 저장된 메모리의 영역을 적어도 일부 삭제할 수 있다. 일 실시 예에 따르면, 전자 장치는 적어도 하나의 제1 프레임이 중복되도록 선택하여 복수의 제1 프레임들을 합성함으로써, 서로 다른 제2 프레임들을 생성할 수 있다. 따라서, 전자 장치는 이미 메모리에 저장되어 있는 제1 프레임들을 전부 삭제하지 않고, 적어도 하나의 제1 프레임이 저장된 메모리의 일부 영역을 삭제한 뒤, 다음으로 획득한 제1 프레임을 삭제된 메모리의 영역에 저장할 수 있다. 이 경우, 전자 장치가 삭제하지 않고 남겨둔 적어도 하나의 제1 프레임은, 서로 다른 제2 프레임을 생성하기 위해서 공통적으로 합성될 수 있다.
도 12는 다양한 실시 예에 따른, 전자 장치가 제3 모드로 복수의 제1 프레임들을 합성하여 적어도 하나의 제2 프레임을 생성하는 동작을 설명하기 위한 흐름도이다. 예를 들어, 도 9의 909 동작은, 도 12의 동작들 중 적어도 일부를 포함할 수 있다.
도 12에 도시된 동작들은, 1260 동작을 제외하고는, 도 10에 도시된 동작들과 동일 또는 실질적으로 동일하므로, 중복되는 설명은 생략하고, 이하에서는 1260 동작을 설명한다.
일 실시 예에 따르면, 1260 동작에서, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는 1250 동작에서 결정된 가중치에 따라서, 획득한 제1 프레임을 서로 다른 개수 단위로 누적적으로 합성하여 적어도 하나의 제2 프레임을 생성할 수 있다. 예를 들어, 전자 장치는 제1 프레임을 획득한 순서대로 서로 다른 개수 단위로 누적적으로 합성할 수 있다. 예를 들어, 하나의 제2 프레임 생성에 사용되는 제1 프레임의 개수 (N)가 4이고, 전자 장치가 순서대로 제1-1 프레임, 제1-2 프레임, 제1-3 프레임 및 제1-4 프레임을 획득하는 것을 가정한다. 일 실시 예에 따른 전자 장치는, 획득된 순서대로 가중치에 따라서 제1-1 프레임 및 제1-2 프레임을 합성할 수 있다. 다음으로, 전자 장치는 제1-1 프레임, 제1-2 프레임 및 제1-3 프레임을 합성할 수 있다. 다음으로, 전자 장치는 제1-1 프레임, 제1-2 프레임, 제1-3 프레임 및 제1-4 프레임을 합성할 수 있다. 일 실시 예에 따른 전자 장치는, 서로 다른 개수의 제1 프레임들을 합성한 결과 생성된 프레임들을 포함하는 적어도 하나의 제2 프레임을 생성할 수 있다. 일 실시 예에 따르면, 전자 장치는, 복수의 제1 프레임들을 누적적으로 합성하여 적어도 하나의 제2 프레임들을 생성하므로, 생성된 적어도 하나의 제2 프레임들은 움직이는 외부 오브젝트의 궤적을 효과적으로 표현할 수 있다. 예를 들어, 전자 장치가 제3 모드로 생성한 하이퍼 랩스 영상은 불규칙한 움직임 궤적을 효과적으로 표현할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(200))의 동작 방법은, 카메라(예: 도 1의 카메라 모듈(180) 또는 도 2의 카메라(210))를 통하여 제1 속도로 외부 오브젝트를 촬영하여 연속하는 복수의 제1 프레임들을 획득하는 동작, 상기 복수의 제1 프레임들 중 적어도 일부를 획득한 순서대로 미리 정해진 개수 단위로 합성하여 적어도 하나의 제2 프레임을 생성하는 동작 및 상기 외부 오브젝트의 움직임을 나타내는 상기 적어도 하나의 제2 프레임이 상기 제1 속도와 다른 제2 속도로 재생되도록 하는 하이퍼 랩스 영상을 생성하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제2 프레임을 생성하는 동작은, 상기 복수의 제1 프레임들 중 상기 미리 정해진 개수의 프레임들 각각에 포함된 적어도 하나의 픽셀에 대응하는 픽셀값들에 대한 평균값을 나타내는 평균 픽셀값을 획득하는 동작, 상기 평균 픽셀값을 갖는 적어도 하나의 픽셀을 포함하는 평균 프레임을 생성하는 동작, 상기 복수의 제1 프레임들 중 상기 미리 정해진 개수의 프레임들 각각에 포함된 적어도 하나의 픽셀에 대응하는 픽셀값들 중에서 최대값을 나타내는 최대 픽셀값을 획득하는 동작 및 상기 최대 픽셀값을 갖는 적어도 하나의 픽셀을 포함하는 최대 프레임을 생성하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제2 프레임을 생성하는 동작은, 미리 정해진 가중치에 따라 상기 평균 프레임과 상기 최대 프레임을 합성하여 상기 적어도 하나의 제2 프레임을 생성하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 제2 프레임을 생성하는 동작은, 미리 정해진 가중치에 따라 상기 평균 프레임과 상기 최대 프레임을 합성하여 상기 적어도 하나의 제2 프레임을 생성하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 제1 속도는 상기 제2 속도보다 작을 수 있다.
일 실시 예에 따르면, 상기 복수의 제1 프레임들을 획득하는 동작은, 외부 환경의 밝기 정도에 기초하여, 상기 제1 속도를 가변하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    카메라;
    메모리; 및
    상기 카메라, 및 상기 메모리와 작동적으로(operatively) 연결되는 프로세서를 포함하고,
    상기 메모리는, 실행 시, 상기 프로세서가,
    상기 카메라를 통하여 제1 속도로 외부 오브젝트를 촬영하여 연속하는 복수의 제1 프레임들을 획득하고,
    상기 복수의 제1 프레임들 중 적어도 일부를 획득한 순서대로 미리 정해진 개수 단위로 합성하여 적어도 하나의 제2 프레임을 생성하고,
    상기 외부 오브젝트의 움직임을 나타내는 상기 적어도 하나의 제2 프레임이 상기 제1 속도와 다른 제2 속도로 재생되도록 하는 하이퍼 랩스 영상을 생성하도록 하는 인스트럭션들(instructions)을 저장하는, 전자 장치.
  2. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 복수의 제1 프레임들 중 상기 미리 정해진 개수의 프레임들 각각에 포함된 적어도 하나의 픽셀에 대응하는 픽셀값을 연산하여 평균 픽셀값을 갖는 적어도 하나의 픽셀을 포함하는 평균 프레임 및 최대 픽셀값을 갖는 적어도 하나의 픽셀을 포함하는 최대 프레임을 생성하고,
    상기 평균 프레임 및 상기 최대 프레임을 합성하여 상기 제2 프레임을 생성하도록 하는, 전자 장치.
  3. 제2항에 있어서,
    상기 미리 정해진 개수의 프레임들 각각에 포함되는 적어도 하나의 픽셀에 대응하는 픽셀값은,
    밝기 정도 또는 색 중에서 적어도 하나를 나타내는 RGB 값을 포함하는, 전자 장치.
  4. 제3항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 미리 정해진 개수의 프레임들 각각에 포함되는 적어도 하나의 픽셀에 대응하는 RGB 값들에 대한 평균값을 나타내는 RGB 값을 상기 평균 픽셀값으로 갖는 상기 적어도 하나의 픽셀을 포함하는 상기 평균 프레임을 생성하도록 하는, 전자 장치.
  5. 제3항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 미리 정해진 개수의 프레임들 각각에 포함되는 적어도 하나의 픽셀에 대응하는 RGB 값들 중에서 최대값을 나타내는 RGB 값을 상기 최대 픽셀값으로 갖는 상기 적어도 하나의 픽셀을 포함하는 상기 최대 프레임을 생성하도록 하는, 전자 장치.
  6. 제2항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 적어도 하나의 픽셀에 대응하는 픽셀값에 기초하여, 상기 평균 프레임 및 상기 최대 프레임에 대한 가중치를 결정하고, 상기 가중치에 따라서 상기 평균 프레임 및 상기 최대 프레임을 합성하도록 하는, 전자 장치.
  7. 제1항에 있어서,
    상기 제1 속도는 상기 제2 속도보다 더 작은, 전자 장치.
  8. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    외부 환경의 밝기 정도에 기초하여, 상기 제1 속도를 가변하도록 하는, 전자 장치.
  9. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    외부 환경의 밝기 정도에 기초하여, 상기 미리 정해진 개수 단위를 변경하도록 하는, 전자 장치.
  10. 제1항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 복수의 제1 프레임들 중 적어도 하나의 프레임이 공통되도록 상기 미리 정해진 개수 단위로 합성하여 상기 적어도 하나의 제2 프레임을 생성하도록 하는, 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    카메라를 통하여 제1 속도로 외부 오브젝트를 촬영하여 연속하는 복수의 제1 프레임들을 획득하는 동작;
    상기 복수의 제1 프레임들 중 적어도 일부를 획득한 순서대로 미리 정해진 개수 단위로 합성하여 적어도 하나의 제2 프레임을 생성하는 동작; 및
    상기 외부 오브젝트의 움직임을 나타내는 상기 적어도 하나의 제2 프레임이 상기 제1 속도와 다른 제2 속도로 재생되도록 하는 하이퍼 랩스 영상을 생성하는 동작을 포함하는, 전자 장치의 동작 방법.
  12. 제11항에 있어서, 상기 적어도 하나의 제2 프레임을 생성하는 동작은,
    상기 복수의 제1 프레임들 중 상기 미리 정해진 개수의 프레임들 각각에 포함된 적어도 하나의 픽셀에 대응하는 픽셀값들에 대한 평균값을 나타내는 평균 픽셀값을 획득하는 동작;
    상기 평균 픽셀값을 갖는 적어도 하나의 픽셀을 포함하는 평균 프레임을 생성하는 동작;
    상기 복수의 제1 프레임들 중 상기 미리 정해진 개수의 프레임들 각각에 포함된 적어도 하나의 픽셀에 대응하는 픽셀값들 중에서 최대값을 나타내는 최대 픽셀값을 획득하는 동작; 및
    상기 최대 픽셀값을 갖는 적어도 하나의 픽셀을 포함하는 최대 프레임을 생성하는 동작을 포함하는, 전자 장치의 동작 방법.
  13. 제12항에 있어서, 상기 적어도 하나의 제2 프레임을 생성하는 동작은,
    미리 정해진 가중치에 따라 상기 평균 프레임과 상기 최대 프레임을 합성하여 상기 적어도 하나의 제2 프레임을 생성하는 동작을 포함하는, 전자 장치의 동작 방법.
  14. 제11항에 있어서,
    상기 제1 속도는 상기 제2 속도보다 작은, 전자 장치의 동작 방법.
  15. 제11항에 있어서, 상기 복수의 제1 프레임들을 획득하는 동작은,
    외부 환경의 밝기 정도에 기초하여, 상기 제1 속도를 가변하는 동작을 포함하는, 전자 장치의 동작 방법.
PCT/KR2021/006216 2020-06-17 2021-05-18 전자 장치 및 전자 장치의 동작 방법 WO2021256709A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200073523A KR20210155961A (ko) 2020-06-17 2020-06-17 전자 장치 및 전자 장치의 동작 방법
KR10-2020-0073523 2020-06-17

Publications (1)

Publication Number Publication Date
WO2021256709A1 true WO2021256709A1 (ko) 2021-12-23

Family

ID=79176286

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/006216 WO2021256709A1 (ko) 2020-06-17 2021-05-18 전자 장치 및 전자 장치의 동작 방법

Country Status (2)

Country Link
KR (1) KR20210155961A (ko)
WO (1) WO2021256709A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240233397A1 (en) * 2022-03-21 2024-07-11 Verkada Inc. People and vehicle analytics on the edge

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024053835A1 (ko) * 2022-09-08 2024-03-14 삼성전자주식회사 프레임들의 합성에 기반하여 이미지를 획득하기 위한 전자 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150090999A (ko) * 2014-01-30 2015-08-07 가시오게산키 가부시키가이샤 타임 랩스 동영상을 생성하는 화상 처리 장치, 화상 처리 방법 및 기록 매체
US20160094801A1 (en) * 2014-09-30 2016-03-31 Apple Inc. Time-Lapse Video Capture With Optimal Image Stabilization
KR20170074538A (ko) * 2015-12-22 2017-06-30 삼성전자주식회사 타임랩스 영상을 생성하는 장치 및 방법
US20170359548A1 (en) * 2015-05-08 2017-12-14 Microsoft Technology Licensing, Llc Real-time hyper-lapse video creation via frame selection
US20190306589A1 (en) * 2017-12-19 2019-10-03 Oath Inc. Method and system for generating a time-lapse video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150090999A (ko) * 2014-01-30 2015-08-07 가시오게산키 가부시키가이샤 타임 랩스 동영상을 생성하는 화상 처리 장치, 화상 처리 방법 및 기록 매체
US20160094801A1 (en) * 2014-09-30 2016-03-31 Apple Inc. Time-Lapse Video Capture With Optimal Image Stabilization
US20170359548A1 (en) * 2015-05-08 2017-12-14 Microsoft Technology Licensing, Llc Real-time hyper-lapse video creation via frame selection
KR20170074538A (ko) * 2015-12-22 2017-06-30 삼성전자주식회사 타임랩스 영상을 생성하는 장치 및 방법
US20190306589A1 (en) * 2017-12-19 2019-10-03 Oath Inc. Method and system for generating a time-lapse video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240233397A1 (en) * 2022-03-21 2024-07-11 Verkada Inc. People and vehicle analytics on the edge

Also Published As

Publication number Publication date
KR20210155961A (ko) 2021-12-24

Similar Documents

Publication Publication Date Title
WO2021086040A1 (en) Method for providing preview and electronic device for displaying preview
WO2022010122A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
WO2022114801A1 (ko) 복수의 카메라를 포함하는 전자 장치 및 그 전자 장치의 제어 방법
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2022154387A1 (ko) 전자 장치 및 그의 동작 방법
WO2021230485A1 (ko) 영상을 제공하는 방법 및 장치
WO2021256709A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022177166A1 (ko) 화면 재생률을 제어하는 방법 및 이를 지원하는 전자 장치
WO2023085679A1 (ko) 전자 장치 및 편집 영상을 자동으로 생성하는 방법
WO2022215910A1 (ko) 화면 공유 방법 및 그 전자 장치
WO2023018201A1 (ko) 이미지 안정화를 수행하는 전자 장치 및 그의 동작 방법
WO2022139238A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2022149812A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2022154166A1 (ko) 콘텐츠 생성 기능을 제공하기 위한 방법 및 이를 지원하는 전자 장치
WO2024090803A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2022145673A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2024085642A1 (ko) 디스플레이를 포함하는 전자 장치 및 이의 동작 방법
WO2022203211A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2024053824A1 (ko) 이미지를 제공하는 전자 장치 및 그의 동작 방법
WO2024034856A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2023146290A1 (ko) 화면 표시를 제어하는 전자 장치 및 전자 장치의 동작 방법
WO2023033396A1 (ko) 연속된 촬영 입력을 처리하는 전자 장치 및 그의 동작 방법
WO2023038252A1 (ko) 동영상을 촬영하는 전자 장치 및 그 동작 방법
WO2023017981A1 (ko) 언더 디스플레이 카메라를 포함하는 전자 장치 및 그 동작 방법
WO2023136532A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21824781

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21824781

Country of ref document: EP

Kind code of ref document: A1