[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2021118032A1 - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
WO2021118032A1
WO2021118032A1 PCT/KR2020/013764 KR2020013764W WO2021118032A1 WO 2021118032 A1 WO2021118032 A1 WO 2021118032A1 KR 2020013764 W KR2020013764 W KR 2020013764W WO 2021118032 A1 WO2021118032 A1 WO 2021118032A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
image
processor
audio content
visual content
Prior art date
Application number
PCT/KR2020/013764
Other languages
English (en)
French (fr)
Inventor
장정록
바이잘아난트
박진솔
최윤주
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Publication of WO2021118032A1 publication Critical patent/WO2021118032A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Definitions

  • the present invention relates to an electronic device capable of reproducing audio content transmitted from an external device and a method for controlling the same.
  • Mirroring is a type of file synchronization and is a technique for providing the same information to multiple devices.
  • a typical example of mirroring is screen mirroring, in which a screen manipulated by an electronic device such as a mobile phone is directly output through a TV or the like.
  • This technology can also be applied to audio content, for example, a sound source file played on a mobile phone, etc. can be output through a speaker, and this is called sound mirroring.
  • At least one interface unit (interface circuitry); display unit; and receiving audio content from an external device through the interface unit, obtaining visual content based on the characteristics of the received audio content, playing the audio content, and according to the reproduction of the audio content, the obtained visual content It may include a processor for displaying an image on the display unit.
  • the processor may identify a characteristic of the audio content based on sound source information of the audio content.
  • the processor may identify a characteristic of the audio content based on frequency information of audio data decoded from the audio content.
  • the processor may acquire the visual content based on the state information of the electronic device.
  • the processor may output an audio signal reproduced from the audio content through a plurality of speakers, and obtain state information of the electronic device based on an arrangement state of the plurality of speakers.
  • the processor may acquire the visual content based on at least one of a surrounding environment, a place, a time, and weather of the electronic device.
  • the processor may acquire the visual content based on a user input.
  • the processor may display a GUI including information of the available visual content on the display unit, and receive the user input using the GUI.
  • the processor may display a GUI capable of generating or editing the visual content on the display unit, and receive the user input using the GUI.
  • the processor may acquire the visual content based on the user's preference or usage history.
  • the processor receives the request for playing the audio content, identifies whether a second image is being displayed on the display unit based on the reception of the request, and when it is identified that the second image is not being displayed, the acquisition If the image of the visual content is displayed on the display unit and it is identified that the second image is being displayed, the acquired image of the visual content may not be displayed.
  • the processor may stop displaying the second image according to a user input and display the obtained image of the visual content.
  • a method of controlling an electronic device comprising: receiving audio content from an external device through an interface unit; obtaining visual content based on the characteristics of the received audio content; reproducing the audio content; and displaying the obtained image of the visual content on a display unit according to the reproduction of the audio content.
  • the acquiring of the visual content may include acquiring the visual content based on state information of the electronic device.
  • the acquiring of the visual content may include: displaying a GUI including information on the available visual content on the display unit; receiving a user input using the GUI; and obtaining the visual content based on the received user input.
  • a method of controlling an electronic device includes: displaying a GUI capable of creating or editing the visual content on the display unit; and receiving the user input using the GUI.
  • the acquiring of the visual content may include acquiring the visual content based on a user's preference or usage history.
  • a method of controlling an electronic device includes: receiving a request to reproduce the audio content; identifying whether a second image is being displayed on the display unit based on the reception of the request; if it is identified that the second image is not being displayed, displaying the obtained image of the visual content on the display unit; If it is identified that the second image is being displayed, not displaying the image of the obtained visual content.
  • the method may further include stopping the display of the second image according to a user input and displaying the obtained image of the visual content.
  • a computer readable code comprising: a computer program storing a computer program including a code for performing a control method of an electronic device, the method comprising: receiving audio content from an external device through an interface unit; obtaining visual content based on the characteristics of the received audio content; reproducing the audio content; and displaying the obtained image of the visual content on a display unit according to the reproduction of the audio content.
  • FIG. 1 is a block diagram illustrating an entire system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an operation flowchart of an electronic device according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an operation flowchart of an electronic device according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an operation state according to state information of an electronic device according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an operation flowchart of an electronic device according to an embodiment of the present invention.
  • GUI 7 is a diagram illustrating a graphic user interface (GUI) provided to an electronic device according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an operation of an electronic device according to a user input according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an operation flowchart of an electronic device according to an embodiment of the present invention.
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software or a combination of hardware and software, and is integrated into at least one module. and can be implemented.
  • at least one of the plurality of elements refers to all of the plurality of elements as well as each one or a combination thereof excluding the rest of the plurality of elements.
  • FIG. 1 is a block diagram illustrating an entire system according to an embodiment of the present invention.
  • the electronic devices 100 and 110 may be implemented as a display device capable of displaying an image.
  • the electronic devices 100 and 110 may include a TV, a computer, a smart phone, a tablet, a portable media player, a wearable device, a video wall, an electronic picture frame, and the like.
  • the electronic devices 100 and 110 include a sound bar without a display, an AI assistant device (AI speaker, etc.), a Bluetooth speaker, an image processing device such as a set-top box, household appliances such as a refrigerator, a washing machine, and a computer body. It can be implemented by various types of devices such as the same information processing device.
  • the electronic devices 100 and 110 and the external device 120 are illustrated in FIG. 1 .
  • the external device 120 may be connected to the electronic devices 100 and 110 to provide audio content.
  • the type of the external device 120 is not limited.
  • the external device 120 is a mobile device including a smart pad (smart pad), such as a smart phone (smart phone) or tablet (tablet), set-top box (set-top box, STB), Blu-ray (Blu-ray) or DVD (digital versatile disc), such as an optical disk reproducing apparatus, a desktop (desktop) or a computer (PC) including a laptop (laptop) and the like are included.
  • the electronic device 100 may receive content provided in the form of a file according to real-time streaming through wired or wireless network communication from the external device 120 , and the type of communication is not limited in this case.
  • the electronic device 100 may provide visual content related to the audio content together.
  • the provided visual content may be a visual effect or a moving picture as shown in FIG. 1 , and in addition to this, an image, lyrics, etc. may be provided in various ways. A method of acquiring the visual content will be described later.
  • the user when audio content is transmitted from the external device 120 to the electronic device 100 and played back, compared to a case where only audio content is played (electronic device 110), the user It can enrich the appreciation of audio content.
  • FIG. 2 is a block diagram illustrating the configuration of an electronic device according to an embodiment of the present invention.
  • the electronic device 100 may include an interface unit 210 .
  • the interface unit 210 may include a wired interface unit 211 .
  • the wired interface unit 211 includes a connector or port to which an antenna capable of receiving a broadcast signal according to a broadcasting standard such as terrestrial/satellite broadcasting can be connected, or a cable capable of receiving a broadcast signal according to the cable broadcasting standard can be connected. do.
  • the electronic device 100 may have a built-in antenna capable of receiving a broadcast signal.
  • the wired interface unit 211 is configured according to video and/or audio transmission standards, such as HDMI port, DisplayPort, DVI port, Thunderbolt, composite video, component video, super video, SCART, etc.
  • the wired interface unit 211 may include a connector or port according to a universal data transmission standard such as a USB port.
  • the wired interface unit 211 may include a connector or a port to which an optical cable can be connected according to an optical transmission standard.
  • the wired interface unit 211 is connected to an external microphone or an external audio device having a microphone, and may include a connector or a port capable of receiving or inputting an audio signal from the audio device.
  • the wired interface unit 211 is connected to an audio device such as a headset, earphone, or external speaker, and may include a connector or port capable of transmitting or outputting an audio signal to the audio device.
  • the wired interface unit 211 may include a connector or port according to a network transmission standard such as Ethernet.
  • the wired interface unit 211 may be implemented as a LAN card connected to a router or a gateway by wire.
  • the wired interface unit 211 is wired through the connector or port in a 1:1 or 1:N (N is a natural number) method such as an external device such as a set-top box, an optical media playback device, or an external display device, speaker, server, etc. By being connected, a video/audio signal is received from the corresponding external device or a video/audio signal is transmitted to the corresponding external device.
  • the wired interface unit 211 may include a connector or a port for separately transmitting video/audio signals.
  • the wired interface unit 211 is embedded in the electronic device 100 , but may be implemented in the form of a dongle or a module to be detachably attached to the connector of the electronic device 100 .
  • the interface unit 210 may include a wireless interface unit 212 .
  • the wireless interface unit 212 may be implemented in various ways corresponding to the implementation form of the electronic device 100 .
  • the wireless interface unit 212 is a communication method RF (radio frequency), Zigbee (Zigbee), Bluetooth (bluetooth), Wi-Fi (Wi-Fi), UWB (Ultra WideBand) and NFC (Near Field Communication), etc.
  • Wireless communication can be used.
  • the wireless interface unit 212 may be implemented as a wireless communication module that performs wireless communication with an AP according to a Wi-Fi method, or a wireless communication module that performs one-to-one direct wireless communication such as Bluetooth.
  • the wireless interface unit 212 may transmit/receive data packets to/from the server by wirelessly communicating with the server on the network.
  • the wireless interface unit 212 may include an IR transmitter and/or an IR receiver capable of transmitting and/or receiving an IR (Infrared) signal according to an infrared communication standard.
  • the wireless interface unit 212 may receive or input a remote control signal from a remote control or other external device through an IR transmitter and/or an IR receiver, or transmit or output a remote control signal to another external device.
  • the electronic device 100 may transmit/receive a remote control signal to and from the remote control or other external device through the wireless interface unit 212 of another method such as Wi-Fi or Bluetooth.
  • the electronic device 100 may further include a tuner for tuning the received broadcast signal for each channel.
  • the electronic device 100 may include a display unit 220 .
  • the display unit 220 includes a display panel capable of displaying an image on the screen.
  • the display panel is provided with a light-receiving structure such as a liquid crystal type or a self-luminous structure such as an OLED type.
  • the display unit 220 may further include additional components according to the structure of the display panel. For example, if the display panel is a liquid crystal type, the display unit 220 includes a liquid crystal display panel and a backlight unit for supplying light. and a panel driving substrate for driving the liquid crystal of the liquid crystal display panel.
  • the electronic device 100 may include a user input unit 230 .
  • the user input unit 230 includes various types of input interface related circuits provided to perform user input.
  • the user input unit 230 may be configured in various forms depending on the type of the electronic device 100 , for example, a mechanical or electronic button unit of the electronic device 100 , a remote controller separated from the electronic device 100 , and an electronic device.
  • the electronic device 100 may include a storage unit 240 .
  • the storage unit 240 stores digitized data.
  • the storage unit 240 has a non-volatile property that can preserve data regardless of whether or not power is provided, and data to be processed by the processor 270 is loaded, and data is stored when power is not provided. It includes memory of volatile properties that cannot. Storage includes flash-memory, hard-disc drive (HDD), solid-state drive (SSD), read-only memory (ROM), etc., and memory includes buffer and random access memory (RAM). etc.
  • the electronic device 100 may include a microphone 250 .
  • the microphone 250 collects sounds of the external environment including the user's voice.
  • the microphone 250 transmits the collected sound signal to the processor 270 .
  • the electronic device 100 may include a microphone 250 for collecting user voices or may receive a voice signal from an external device such as a remote controller having a microphone or a smart phone through the interface unit 210 .
  • a remote controller application may be installed in an external device to control the electronic device 100 or perform functions such as voice recognition. In the case of an external device installed with such an application, a user's voice can be received, and the external device can transmit/receive and control data using the electronic device 100 and Wi-Fi/BT or infrared rays, etc.
  • a plurality of interface units 210 that can be implemented may exist in the electronic device 100 .
  • the electronic device 100 may include a speaker 260 .
  • the speaker 260 outputs audio data processed by the processor 270 as sound.
  • the speaker 260 may include a unit speaker provided to correspond to audio data of one audio channel, and may include a plurality of unit speakers to respectively correspond to audio data of a plurality of audio channels.
  • the speaker 260 may be provided separately from the electronic device 100 . In this case, the electronic device 100 may transmit audio data to the speaker 260 through the interface unit 210 .
  • the electronic device 100 may include a processor 270 .
  • the processor 270 includes one or more hardware processors implemented with a CPU, a chipset, a buffer, a circuit, etc. mounted on a printed circuit board, and may be implemented as a system on chip (SOC) depending on a design method.
  • SOC system on chip
  • the processor 270 includes modules corresponding to various processes such as a demultiplexer, a decoder, a scaler, an audio digital signal processor (DSP), and an amplifier.
  • DSP audio digital signal processor
  • some or all of these modules may be implemented as SOC.
  • a module related to image processing such as a demultiplexer, a decoder, and a scaler may be implemented as an image processing SOC
  • an audio DSP may be implemented as a chipset separate from the SOC.
  • the processor 270 may convert the voice signal into voice data.
  • the voice data may be text data obtained through a speech-to-text (STT) process for converting a voice signal into text data.
  • STT speech-to-text
  • the processor 270 identifies a command indicated by the voice data, and performs an operation according to the identified command.
  • the voice data processing process and the command identification and execution process may all be executed in the electronic device 100 .
  • at least a part of the process is performed by at least one server communicatively connected to the electronic device 100 through a network. can be performed.
  • the processor 270 may call at least one command among commands of software stored in a storage medium readable by a machine such as the electronic device 100 and execute it. This enables a device such as the electronic device 100 to be operated to perform at least one function according to the called at least one command.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term refers to a case in which data is semi-permanently stored in a storage medium and a case in which data is temporarily stored. It does not distinguish between cases where
  • the processor 270 performs at least a part of data analysis, processing, and result information generation for obtaining visual content based on the characteristics of the audio content received from the external device through the interface unit 210 based on a rule or artificial intelligence.
  • a rule or artificial intelligence As an (Artificial Intelligence) algorithm, it may be performed using at least one of machine learning, a neural network, and a deep learning algorithm.
  • the processor 270 may perform the functions of the learning unit and the recognition unit together.
  • the learning unit may perform a function of generating a learned neural network
  • the recognition unit may perform a function of recognizing (or inferring, predicting, estimating, and judging) data using the learned neural network.
  • the learning unit may generate or update the neural network.
  • the learning unit may acquire learning data to generate a neural network.
  • the learning unit may acquire the learning data from the storage unit 240 or the outside.
  • the learning data may be data used for learning of the neural network, and the neural network may be trained by using the data obtained by performing the above-described operation as learning data.
  • the learning unit may perform a preprocessing operation on the acquired training data before training the neural network using the training data, or may select data to be used for learning from among a plurality of training data. For example, the learning unit may process the learning data into a preset format, filter it, or add/remove noise to process the learning data into a form suitable for learning.
  • the learner may generate a neural network set to perform the above-described operation by using the preprocessed learning data.
  • the learned neural network network may be composed of a plurality of neural network networks (or layers). Nodes of the plurality of neural networks have weights, and the plurality of neural networks may be connected to each other so that an output value of one neural network is used as an input value of another neural network.
  • Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN) and It can include models such as Deep Q-Networks.
  • the recognizer may acquire target data to perform the above-described operation.
  • the target data may be obtained from the storage unit 240 or the outside.
  • the target data may be data to be recognized by the neural network.
  • the recognizer may perform preprocessing on the acquired target data before applying the target data to the learned neural network, or select data to be used for recognition from among a plurality of target data.
  • the recognition unit may process the target data into a preset format, filter, or add/remove noise to process the target data into a form suitable for recognition.
  • the recognizer may obtain an output value output from the neural network by applying the preprocessed target data to the neural network.
  • the recognition unit may obtain a probability value or a reliability value together with the output value.
  • control method of the electronic device 100 may be provided by being included in a computer program product.
  • the computer program product may include instructions in software executed by processor 270 , as described above.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg, CD-ROM), or via an application store (eg, Play StoreTM) or between two user devices (eg, smartphones). It can be distributed directly, online (eg, downloaded or uploaded). In the case of online distribution, at least a part of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • the electronic device 100 receives the audio content from the external device 120 through the interface unit 210 (S310).
  • the external device 120 is connected to the electronic device 100 through the interface unit 210 , and as described above, the interface unit 210 is a wired interface unit 211 such as a connector or port and a wireless interface unit such as wireless communication. (212).
  • the interface unit 210 is a wired interface unit 211 such as a connector or port and a wireless interface unit such as wireless communication. (212).
  • it includes mirroring in which the audio of the external device 120 is output to the electronic device 100 as it is.
  • the audio content received from the external device 120 may be output to not only the electronic device 100 but also other external devices connected to the electronic device 100 , for example, a Bluetooth speaker, a sound bar, etc. It is not limited.
  • the processor 270 acquires the visual content based on the characteristics of the received audio content (S320).
  • the characteristics of the audio content include sound source information of the audio content, frequency information of audio data decoded from the audio content, and the like.
  • the visual content may be acquired based on various information such as state information of the electronic device, user information such as user preference and usage history, the surrounding environment of the electronic device, location, time, or weather, but is not limited thereto.
  • the processor 270 may acquire visual content related to the audio content based on the above-described information of the audio content through the storage unit 240 , the server, a user input, or the like.
  • the processor 270 reproduces the audio content, and displays an image of the visual content obtained according to the reproduction of the audio content on the display unit 220 (S330).
  • the display unit 220 displays an image based on the visual content received from the electronic device 100 or received or stored by itself.
  • the processor 270 drives the display unit 220 on which an image is displayed.
  • the processor 270 is a T-con board, ie, a driving board, on which a timing controller for processing image data and generating a timing control signal is provided in order to drive the display unit 220 .
  • the processor 270 performs various preset image/audio processing on the content signal.
  • the processor 270 outputs an image signal generated or combined by performing this process to the display unit 220 , so that an image corresponding to the image signal is displayed on the display unit 220 .
  • the image signal processed by the processor 270 may be derived from data provided from the electronic device 100 or data stored in the nonvolatile internal storage unit 240 such as a flash memory or a hard disk. Also, the image signal processed by the processor 270 may correspond to visual content received by the electronic device 100 from an external image source.
  • the processor 270 includes a video decoder that decodes an image signal to correspond to the image format of the electronic device 100 and a scaler that adjusts the image signal to match the output standard of the display 120 . .
  • the video decoder according to the embodiment of the present invention can be implemented as a decoder according to various compression standards, such as a Moving Picture Experts Group (MPEG) decoder or a High Efficiency Video Codec (HEVC) decoder.
  • MPEG Moving Picture Experts Group
  • HEVC High Efficiency Video Codec
  • the type of visual content processed by the processor 270 is not limited.
  • the visual content processed by the processor 270 may further include a picture such as a JPEG file, a still image such as a background screen, and a graphic user interface (GUI), as well as a moving picture such as a video.
  • GUI graphic user interface
  • the type of process performed by the processor 270 is not limited, and the processor 270 converts, for example, an interlace broadcast signal to a progressive method, de-interlacing, detail enhancement.
  • At least one of various processes such as detail enhancement, frame refresh rate conversion, and line scanning may be further performed.
  • the image of the visual content may be displayed not only when the electronic device 100 has a display, but also through an external device having another display connected to the electronic device 100 .
  • the present invention is to further enrich the use of services by providing visual content related thereto or based on user preference when playing audio content, so that the image of the visual content is displayed on the display according to the playback of the audio content. Accordingly, the user's satisfaction in using the audio content can be increased by providing the visual content to the user who wants to use the audio content.
  • FIG. 4 is a diagram illustrating an operation flowchart of an electronic device according to an embodiment of the present invention.
  • the processor 270 may acquire PCM data using a decoder.
  • the PCM data is RAW data obtained by decoding the received audio content, and frequency information 430 of the audio data can be known through the decoded PCM data.
  • the processor 270 may extract spectrum data by performing a fast Fourier transform (FFT) process, which is a type of digital signal processing, on a frame-by-frame basis of PCM data.
  • FFT fast Fourier transform
  • the processor 270 may use the frequency information 430 of the audio content 420 from the extracted spectrum data to acquire a bit, a tempo, and an emotion of the audio content 420 .
  • FFT fast Fourier transform
  • the processor 270 provides the sound source information 440 for the audio content 420, for example, information such as a genre, singer name, title, album, etc. in the form of metadata or additional data together with the signal of the audio content 420. As it exists, it can be extracted from the audio content signal by demultiplexing. For example, if the audio content is in the form of an MP3 file, it can be acquired through an ID3 Tag. ID3 Tag means a format used as a standard to add the above information to an MP3 file. However, when additional information other than ID3 Tag information is required, the processor 270 may request additional information through the server 450 .
  • ID3 Tag means a format used as a standard to add the above information to an MP3 file.
  • the processor 270 may request additional information through the server 450 .
  • the processor 270 may acquire the visual content 410 based on the device state information 460 , the surrounding environment 470 , the user information 480 , and the like.
  • the device status information 460 includes, for example, when the electronic device is a TV, the current TV sound level, sound output mode, device connection status, connected device type, and the like.
  • the surrounding environment 470 for example, time, weather, season such as Christmas, noise, etc. exist.
  • the processor 270 may acquire information about the surrounding environment 470 in various ways, such as sensing through a sensor or acquiring through a server.
  • user information 480 the user's age, gender, current state or user input, user's preference, use history, etc. are included through the user's account.
  • the processor 270 may acquire visual content based on user information input to the electronic device 100 or acquired through a server. As a result, the processor 270 outputs the audio signal of the audio content 420 received from the external device 120 through the speaker 490 , and the image of the acquired visual content 410 is displayed on the display unit 500 . can be displayed
  • Acquiring the visual content according to an embodiment of the present invention may be determined based on the specific information described above, but is not limited thereto, and may be determined by comprehensively considering various pieces of information. Accordingly, according to the present invention, when audio content is provided, visual content provided with the audio content can be obtained based on various information, thereby increasing user satisfaction. In addition, since the user's setting is not excessively required, the function of providing visual content can be conveniently used.
  • FIG. 5 is a diagram illustrating an operation state according to state information of an electronic device according to an embodiment of the present invention.
  • visual content is obtained based on state information of an electronic device, in particular, an arrangement state of a speaker.
  • the electronic device 100 includes a plurality of speakers, for example, a sound bar 510 on the front of the electronic device 100 and speakers 520 and 530 on both sides of the electronic device 100 .
  • the audio signal reproduced from the audio content in FIG. 5 is output only from the sound bar 510 .
  • the processor 270 may acquire the visual content representing the visual effect in the direction of the speaker from which the audio signal is output, and may display the image of the acquired visual content on the display 220 .
  • a user can feel a three-dimensional effect when playing audio content through an image of the displayed visual content.
  • one embodiment of the present invention is merely an example, and is not limited thereto.
  • the processor 270 may identify information such as the surrounding environment, place, time, and weather of the electronic device (S610).
  • the electronic device 100 may separately include a sensor to detect information, and the processor 270 detects the surrounding environment through the sensor or provides information about the surrounding environment through the server or external devices connected to the electronic device 100 .
  • information can be identified.
  • the processor 270 may identify whether the lighting state of a place is bright or dark through a sensor, or whether it is sunny or rainy today through a server or the like.
  • the processor 270 may acquire a visual content including a visual effect, an image, an image, etc.
  • the processor 270 may display the image of the visual content obtained according to the reproduction of the audio content on the display (S630).
  • GUI 7 is a diagram illustrating a graphic user interface (GUI) provided to an electronic device according to an embodiment of the present invention.
  • the processor 270 may display a GUI including information of the available visual content on the display unit, and receive a user input using the displayed GUI. For example, as shown in FIG. 7 , a reduced icon 710 of three different images, an additional image icon 720 , and the phrase “Please select an image suitable for a sound source” are displayed on the display. The user may select an icon that he thinks is suitable for the currently playing audio content, and if there is no image he likes or if he wants to select a new image, he may select the additional image icon 720 .
  • the processor 270 may additionally display a new image or display a GUI for creating or editing visual content on the display.
  • a user input using the GUI may be received.
  • the processor 270 provides information of the visual content to the user, and the user selects it, thereby acquiring information on the user's preference or usage history.
  • the processor 270 may acquire visual content based on the acquired information.
  • the processor 260 recognizes the user's preference, and as the accumulated information increases, the user's preferred image can be provided, so that the user's desired visual content is ultimately related to the audio content. can provide
  • FIG. 8 is a diagram illustrating an operation of an electronic device according to a user input according to an embodiment of the present invention.
  • the processor 270 may acquire visual content based on a user input.
  • a user may directly input visual content displayed when audio content is reproduced using an external device.
  • the visual content may be a picture or a picture or video transmitted from an external device through an interface unit according to a user input, but is not limited thereto.
  • the audio content may be transmitted from an external device to which the user inputs visual content, or may be transmitted from another external device, but is not limited thereto.
  • the user input unit of the electronic device 100 may be used to directly input the visual content to the electronic device 100 on which it is displayed.
  • the processor 270 may receive the user input and display it on the display as it is, or may display a part of the user input modified as shown in FIG. 8 . According to an embodiment of the present invention, the user can directly draw the desired visual content or obtain the visual content through a user input that transmits a picture, image, etc. desired by the user, thereby satisfying user preference.
  • the processor 270 may receive a request to reproduce the audio content (S910). In addition, based on the reception of the request, it may be identified whether the second image is being displayed on the display (S920).
  • the second image may mean an image of content different from the visual content.
  • the visual content may be the visual content obtained by the processor 270 based on the above-described various information. If the processor 270 identifies that the second image is being displayed (Yes in S920), the processor 270 may maintain the display of the second image without displaying the image of the visual content (S930).
  • the processor 270 If the processor 270 identifies that the second image is not being displayed (No in S920), and receives a user input requesting display of the visual content (Yes in S940), the processor 270 generates the second image may stop the display, and display the image of the visual content on the display (S950). However, even if the processor 270 does not receive the user input, it may immediately stop displaying the second image and display the image of the visual content on the display (S950).
  • the processor 270 stops displaying the second image according to the user input, and An image may be displayed (S950).
  • the display of the other image is maintained, but the displayed image can be changed based on a user input for user convenience. raises the

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 일 실시예에 따른 전자장치에 있어서, 적어도 하나의 인터페이스부(interface circuitry); 디스플레이부; 및 상기 인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하고, 상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하고, 상기 오디오컨텐트를 재생하고, 상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하는 프로세서를 포함할 수 있다.

Description

전자장치 및 그 제어방법
본 발명은 외부장치로터 전송된 오디오컨텐트를 재생할 수 있는 전자장치 및 그 제어방법에 관한 것이다.
미러링(mirroring)이란 파일 동기화의 일종으로서 동일한 정보를 여러 장치에서 제공하기 위한 기술이다. 미러링은, 예컨대, 휴대폰 등과 같은 전자장치에서 조작하는 화면을 그대로 TV 등을 통해 출력하는 스크린 미러링(screen mirroring)이 대표적이다. 이 기술은 오디오컨텐트에도 적용할 수 있는데, 예컨대, 휴대폰 등에서 재생되는 음원 파일을 스피커 등을 통해 출력할 수 있고, 이를 사운드 미러링(sound mirroring)이라고 한다.
본 발명의 목적은, 외부장치로부터 전송된 오디오컨텐트를 재생할 때 사용자의 경험 등 사용자의 편의를 보다 향상시킬 수 있는 전자장치 및 그 제어방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 전자장치에 있어서, 적어도 하나의 인터페이스부(interface circuitry); 디스플레이부; 및 상기 인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하고, 상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하고, 상기 오디오컨텐트를 재생하고, 상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 오디오컨텐트의 음원정보에 기초하여 상기 오디오컨텐트의 특성을 식별할 수 있다.
상기 프로세서는, 상기 오디오컨텐트로부터 디코딩된 오디오데이터의 주파수정보에 기초하여 상기 오디오컨텐트의 특성을 식별할 수 있다.
상기 프로세서는, 상기 전자장치의 상태 정보에 기초하여 상기 비주얼컨텐트를 획득할 수 있다.
상기 프로세서는, 상기 오디오컨텐트를 재생한 오디오신호를 복수의 스피커를 통해 출력하고, 상기 복수의 스피커의 배치 상태에 기초하여 상기 전자장치의 상태 정보를 획득할 수 있다.
상기 프로세서는, 상기 전자장치의 주변 환경, 장소, 시간 또는 날씨 중 적어도 하나에 기초하여 상기 비주얼컨텐트를 획득할 수 있다.
상기 프로세서는, 사용자입력에 기초하여 상기 비주얼컨텐트를 획득할 수 있다.
상기 프로세서는, 제공 가능한 상기 비주얼컨텐트의 정보를 포함하는 GUI를 상기 디스플레이부에 표시하고, 상기 GUI를 이용한 상기 사용자입력을 수신할 수 있다.
상기 프로세서는, 상기 비주얼컨텐트를 생성 또는 편집할 수 있는 GUI를 상기 디스플레이부에 표시하고, 상기 GUI를 이용한 상기 사용자입력을 수신할 수 있다.
상기 프로세서는, 사용자의 선호 또는 사용이력에 기초하여 상기 비주얼컨텐트를 획득할 수 있다.
상기 프로세서는, 상기 오디오컨텐트의 재생 요청을 수신하고, 상기 요청 수신에 기초하여 상기 디스플레이부에 제2영상이 표시 중인지 여부를 식별하고, 상기 제2영상이 표시되고 있지 않은 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하고, 상기 제2영상이 표시되고 있는 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 표시하지 않을 수 있다.
상기 프로세서는, 상기 제2영상이 표시되고 있는 것으로 식별되면, 사용자입력에 따라 상기 제2영상의 표시를 중지하고, 상기 획득된 비주얼컨텐트의 영상을 표시할 수 있다.
본 발명의 일 실시예에 따른 전자장치의 제어방법에 있어서, 인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하는 단계; 상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하는 단계; 상기 오디오컨텐트를 재생하는 단계; 및 상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 디스플레이부에 표시하는 단계를 포함할 수 있다.
상기 비주얼컨텐트를 획득하는 단계는, 상기 전자장치의 상태 정보에 기초하여 상기 비주얼컨텐트를 획득하는 단계를 포함할 수 있다.
상기 비주얼컨텐트를 획득하는 단계는, 제공 가능한 상기 비주얼컨텐트의 정보를 포함하는 GUI를 상기 디스플레이부에 표시하는 단계; 상기 GUI를 이용한 사용자입력을 수신하는 단계; 및 상기 수신한 사용자입력에 기초하여 상기 비주얼컨텐트를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 전자장치의 제어방법은 상기 비주얼컨텐트를 생성 또는 편집할 수 있는 GUI를 상기 디스플레이부에 표시하는 단계; 및 상기 GUI를 이용한 상기 사용자입력을 수신하는 단계를 더 포함할 수 있다.
상기 비주얼컨텐트를 획득하는 단계는, 사용자의 선호 또는 사용이력에 기초하여 상기 비주얼컨텐트를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 전자장치의 제어방법은 상기 오디오컨텐트의 재생 요청을 수신하는 단계; 상기 요청 수신에 기초하여 상기 디스플레이부에 제2영상이 표시 중인지 여부를 식별하는 단계; 상기 제2영상이 표시되고 있지 않은 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하는 단계; 상기 제2영상이 표시되고 있는 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 표시하지 않는 단계를 포함할 수 있다.
상기 제2영상이 표시되고 있는 것으로 식별되면, 사용자입력에 따라 상기 제2영상의 표시를 중지하고, 상기 획득된 비주얼컨텐트의 영상을 표시하는 단계를 더 포함할 수 있다.
컴퓨터가 읽을 수 있는 코드로서, 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 전자장치의 제어방법은, 인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하는 단계; 상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하는 단계; 상기 오디오컨텐트를 재생하는 단계; 및 상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 디스플레이부에 표시하는 단계를 포함할 수 있다.
제공되는 오디오컨텐트와 관련된 비주얼컨텐트를 함께 제공함으로써, 사용자의 이용만족도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 의한 전체 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 의한 전자장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 전자장치의 상태정보에 따른 동작 모습을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 전자장치에 제공되는 GUI(Graphic User Interface)를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 사용자입력에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 본 발명의 일 실시예에 의한 전체 시스템을 도시한 블록도이다.
도 1에 도시된 바와 같이, 전자장치(100, 110)는 영상을 표시할 수 있는 디스플레이장치로 구현될 수 있다. 일 예로, 전자장치(100, 110)는 TV, 컴퓨터, 스마트 폰, 태블릿, 휴대용 미디어 플레이어, 웨어러블 디바이스, 비디오 월, 전자액자 등을 포함할 수 있다. 또한, 전자장치(100, 110)는 디스플레이를 구비하지 않는 사운드바, AI어시스턴스기기(AI스피커 등), 블루투스 스피커, 셋탑박스 등의 영상처리장치, 냉장고, 세탁기 등의 생활가전, 컴퓨터본체와 같은 정보처리장치 등 다양한 종류의 장치로 구현될 수 있다.
본 발명의 일 실시예에 따르면, 도 1에는 전자장치(100, 110)와 외부장치(120)가 도시되어 있다. 외부장치(120)는 전자장치(100, 110)와 연결되어 오디오컨텐트를 제공할 수 있으며, 이 때 외부장치(120)의 종류는 한정되지 않는다. 예컨대, 외부장치(120)는 스마트폰(smart phone)이나 태블릿(tablet)과 같은 스마트패드(smart pad)를 포함하는 모바일 장치(mobile device), 셋탑박스(set-top box, STB), 블루레이(Blu-ray) 또는 DVD(digital versatile disc)와 같은 광디스크 재생장치, 테스크탑(desktop) 또는 랩탑(laptop)을 포함하는 컴퓨터(PC) 등을 포함한다. 전자장치(100)는 외부장치(120)로부터 유선 또는 무선 네트워크 통신에 의해 실시간 스트리밍에 따른 파일 형태로 제공되는 컨텐트를 제공받을 수 있으며, 이 때 통신의 종류는 한정되지 않는다.
도 1에서 도시된 바와 같이, 본 발명에서 전자장치(100)는 오디오컨텐트를 재생하는 경우, 오디오컨텐트와 관련된 비주얼컨텐트를 함께 제공할 수 있다. 이 때, 제공되는 비주얼컨텐트는 도 1에 도시된 바와 같이 비주얼 효과나 동영상 등이 될 수 있으며, 이 외에도 이미지, 가사 등 다양하게 제공될 수 있다. 비주얼컨텐트를 획득하는 방법에 대해서는 후술한다.
본 발명의 일 실시예에 따르면, 외부장치(120)에서 전자장치(100)로 오디오컨텐트를 전송하여 이를 재생하는 경우, 단순히 오디오컨텐트만 재생하는 경우(전자장치(110))와 비교하여, 사용자에게 오디오컨텐트 감상을 풍부하게 해줄 수 있다.
도 2는 본 발명의 일 실시예에 의한 전자장치의 구성을 도시한 블록도이다.
도 2에 도시된 바와 같이, 전자장치(100)는 인터페이스부(210)를 포함할 수 있다. 인터페이스부(210)는 유선 인터페이스부(211)를 포함할 수 있다. 유선 인터페이스부(211)는 지상파/위성방송 등 방송규격에 따른 방송신호를 수신할 수 있는 안테나가 연결되거나, 케이블 방송 규격에 따른 방송신호를 수신할 수 있는 케이블이 연결될 수 있는 커넥터 또는 포트를 포함한다. 다른 예로서, 전자장치(100)는 방송신호를 수신할 수 있는 안테나를 내장할 수도 있다. 유선 인터페이스부(211)는 HDMI 포트, DisplayPort, DVI 포트, 썬더볼트, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART 등과 같이, 비디오 및/또는 오디오 전송규격에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(211)는 USB 포트 등과 같은 범용 데이터 전송규격에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(211)는 광 전송규격에 따라 광게이블이 연결될 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(211)는 외부 마이크 또는 마이크를 구비한 외부 오디오기기가 연결되며, 오디오기기로부터 오디오 신호를 수신 또는 입력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(211)는 헤드셋, 이어폰, 외부 스피커 등과 같은 오디오기기가 연결되며, 오디오기기로 오디오 신호를 전송 또는 출력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(211)는 이더넷 등과 같은 네트워크 전송규격에 따른 커넥터 또는 포트를 포함할 수 있다. 예컨대, 유선 인터페이스부(211)는 라우터 또는 게이트웨이에 유선 접속된 랜카드 등으로 구현될 수 있다.
유선 인터페이스부(211)는 상기 커넥터 또는 포트를 통해 셋탑박스, 광학미디어 재생장치와 같은 외부기기, 또는 외부 디스플레이장치나, 스피커, 서버 등과 1:1 또는 1:N(N은 자연수) 방식으로 유선 접속됨으로써, 해당 외부기기로부터 비디오/오디오 신호를 수신하거나 또는 해당 외부기기에 비디오/오디오 신호를 송신한다. 유선 인터페이스부(211)는, 비디오/오디오 신호를 각각 별개로 전송하는 커넥터 또는 포트를 포함할 수도 있다.
그리고, 본 실시예에 따르면 유선 인터페이스부(211)는 전자장치(100)에 내장되나, 동글(dongle) 또는 모듈(module) 형태로 구현되어 전자장치(100)의 커넥터에 착탈될 수도 있다.
인터페이스부(210)는 무선 인터페이스부(212)를 포함할 수 있다. 무선 인터페이스부(212)는 전자장치(100)의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 무선 인터페이스부(212)는 통신방식으로 RF(radio frequency), 지그비(Zigbee), 블루투스(bluetooth), 와이파이(Wi-Fi), UWB(Ultra WideBand) 및 NFC(Near Field Communication) 등 무선통신을 사용할 수 있다. 무선 인터페이스부(212)는 와이파이(Wi-Fi) 방식에 따라서 AP와 무선통신을 수행하는 무선통신모듈이나, 블루투스 등과 같은 1대 1 다이렉트 무선통신을 수행하는 무선통신모듈 등으로 구현될 수 있다. 무선 인터페이스부(212)는 네트워크 상의 서버와 무선 통신함으로써, 서버와의 사이에 데이터 패킷을 송수신할 수 있다. 무선 인터페이스부(212)는 적외선 통신규격에 따라 IR(Infrared) 신호를 송신 및/또는 수신할 수 있는 IR송신부 및/또는 IR수신부를 포함할 수 있다. 무선 인터페이스부(212)는 IR송신부 및/또는 IR수신부를 통해 리모컨 또는 다른 외부기기로부터 리모컨신호를 수신 또는 입력하거나, 다른 외부기기로 리모컨신호를 전송 또는 출력할 수 있다. 다른 예로서, 전자장치(100)는 와이파이(Wi-Fi), 블루투스(bluetooth) 등 다른 방식의 무선 인터페이스부(212)를 통해 리모컨 또는 다른 외부기기와 리모컨신호를 송수신할 수 있다.
전자장치(100)는 인터페이스부(210)를 통해 수신하는 비디오/오디오신호가 방송신호인 경우, 수신된 방송신호를 채널 별로 튜닝하는 튜너(tuner)를 더 포함할 수 있다.
전자장치(100)는 디스플레이부(220)를 포함할 수 있다. 디스플레이부(220)는 화면 상에 영상을 표시할 수 있는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 방식과 같은 수광 구조 또는 OLED 방식과 같은 자발광 구조로 마련된다. 디스플레이부(220)는 디스플레이 패널의 구조에 따라서 부가적인 구성을 추가로 포함할 수 있는데, 예를 들면 디스플레이 패널이 액정 방식이라면, 디스플레이부(220)는 액정 디스플레이 패널과, 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널의 액정을 구동시키는 패널구동기판을 포함한다.
전자장치(100)는 사용자입력부(230)를 포함할 수 있다. 사용자입력부(230)는 사용자의 입력을 수행하기 위해 마련된 다양한 종류의 입력 인터페이스 관련 회로를 포함한다. 사용자입력부(230)는 전자장치(100)의 종류에 따라서 여러 가지 형태의 구성이 가능하며, 예컨대, 전자장치(100)의 기계적 또는 전자적 버튼부, 전자장치(100)와 분리된 리모트 컨트롤러, 전자장치(100)와 연결된 외부기기에서의 입력부, 터치패드, 디스플레이부(220)에 설치된 터치스크린 등이 있다.
전자장치(100)는 저장부(240)를 포함할 수 있다. 저장부(240)는 디지털화된 데이터를 저장한다. 저장부(240)는 전원의 제공 유무와 무관하게 데이터를 보존할 수 있는 비휘발성 속성의 스토리지(storage)와, 프로세서(270)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성의 메모리(memory)를 포함한다. 스토리지에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있으며, 메모리에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.
전자장치(100)는 마이크로폰(250)을 포함할 수 있다. 마이크로폰(250)은 사용자 음성을 비롯한 외부 환경의 소리를 수집한다. 마이크로폰(250)은 수집된 소리의 신호를 프로세서(270)에 전달한다. 전자장치(100)는 사용자 음성을 수집하는 마이크로폰(250)을 구비하거나, 또는 인터페이스부(210)를 통해 마이크로폰을 가진 리모트 컨트롤러, 스마트폰 등의 외부장치로부터 음성신호를 수신할 수 있다. 외부장치에 리모트 컨트롤러 어플리케이션을 설치하여 전자장치(100)를 제어하거나 음성 인식 등의 기능을 수행할 수도 있다. 이와 같은 어플리케이션이 설치된 외부장치의 경우, 사용자 음성을 수신할 수 있으며, 외부장치는 전자장치(100)와 Wi-Fi/BT 또는 적외선 등을 이용하여 데이터 송수신 및 제어가 가능한 바, 상기 통신 방식을 구현할 수 있는 복수의 인터페이스부(210)가 전자장치(100) 내에 존재할 수 있다.
전자장치(100)는 스피커(260)를 포함할 수 있다. 스피커(260)는 프로세서(270)에 의해 처리되는 오디오 데이터를 소리로 출력한다. 스피커(260)는 어느 한 오디오 채널의 오디오 데이터에 대응하게 마련된 단위 스피커를 포함하며, 복수 오디오 채널의 오디오 데이터에 각기 대응하도록 복수의 단위 스피커를 포함할 수 있다. 다른 실시예로서, 스피커(260)는 전자장치(100)와 분리되어 마련될 수 있으며, 이 경우 전자장치(100)는 오디오 데이터를 인터페이스부(210)를 통하여 스피커(260)로 전달할 수 있다.
전자장치(100)는 프로세서(270)를 포함할 수 있다. 프로세서(270)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 프로세서(270)는 전자장치(100)가 디스플레이장치로 구현되는 경우에 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.
프로세서(270)는 마이크로폰(250) 등에 의해 사용자 음성에 대한 음성신호를 획득하면, 음성신호를 음성데이터로 변환할 수 있다. 이 때, 음성데이터는 음성신호를 텍스트 데이터로 변환하는 STT(Speech-to-Text) 처리 과정을 통해 얻어진 텍스트 데이터일 수 있다. 프로세서(270)는 음성데이터가 나타내는 커맨드를 식별하고, 식별된 커맨드에 따라서 동작을 수행한다. 음성데이터 처리 과정과, 커맨드 식별 및 수행 과정은, 전자장치(100)에서 모두 실행될 수도 있다. 그러나, 이 경우에 전자장치(100)에 필요한 시스템 부하 및 소요 저장용량이 상대적으로 커지게 되므로, 적어도 일부의 과정은 네트워크를 통해 전자장치(100)와 통신 가능하게 접속되는 적어도 하나의 서버에 의해 수행될 수 있다.
본 발명에 따른 프로세서(270)는 전자장치(100)와 같은 기기(Machine)가 읽을 수 있는 저장 매체(Storage Medium)에 저장된 소프트웨어의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 전자장치(100)와 같은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(Non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(예컨대, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
한편, 프로세서(270)는 인터페이스부(210)을 통해 외부장치로부터 수신한 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.
일 예로, 프로세서(270)는 학습부 및 인식부의 기능을 함께 수행할 수 있다. 학습부는 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 일 예로, 학습부는 학습 데이터를 저장부(240) 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 상기한 동작을 수행한 데이터를 학습데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 일 예로, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습부는 전처리된 학습 데이터를 이용하여 상기한 동작을 수행하도록 설정된 신경망 네트워크를 생성할 수 있다.
학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.
한편 인식부는 상기한 동작을 수행하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는 저장부(240) 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 일 예로, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 인식부는 출력값과 함께, 확률값 또는 신뢰도값을 획득할 수 있다.
일 예로, 본 발명에 따른 전자장치(100)의 제어방법은 컴퓨터 프로그램 제품 (Computer Program Product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은, 앞서 설명한, 프로세서(270)에 의해 실행되는 소프트웨어의 명령어들을 포함할 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예컨대, CD-ROM)의 형태로 배포되거나, 또는 어플리케이션 스토어(예컨대, 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예컨대, 스마트폰들) 간에 직접, 온라인으로 배포(예컨대, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다. 본 발명의 일 실시예에 따르면, 전자장치(100)는 인터페이스부(210)를 통해 외부장치(120)로부터 오디오컨텐트를 수신한다(S310). 외부장치(120)는 전자장치(100)와 인터페이스부(210)를 통해 연결되고, 상술한 바와 같이, 인터페이스부(210)는 커넥터 또는 포트 등 유선 인터페이스부(211)와 무선통신 등 무선 인터페이스부(212)를 모두 포함한다. 또한, 외부장치(120)의 오디오를 그대로 전자장치(100)에 출력하는 미러링도 포함한다. 이 때, 외부장치(120)로부터 수신한 오디오컨텐트는 전자장치(100)뿐만 아니라, 전자장치(100)와 연결된 다른 외부기기, 예컨대, 블루투스 스피커, 사운드바 등으로 출력할 수 있으며, 어느 하나에 한정된 것은 아니다.
프로세서(270)는 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득한다(S320). 오디오컨텐트의 특성이란, 오디오컨텐트의 음원정보, 오디오컨텐트로부터 디코딩된 오디오데이터의 주파수정보 등이 있다. 그 외에도 전자장치의 상태 정보, 사용자의 선호, 사용이력 등 사용자정보, 전자장치의 주변 환경, 장소, 시간 또는 날씨 등 다양한 정보에 기초하여 비주얼컨텐트를 획득할 수 있으며, 어느 하나에 한정된 것은 아니다. 프로세서(270)는 오디오컨텐트의 상술한 정보들에 기초하여 오디오컨텐트와 관련된 비주얼컨텐트를 저장부(240)나 서버, 사용자입력 등을 통해 획득할 수 있다.
프로세서(270)는 오디오컨텐트를 재생하고, 오디오컨텐트의 재생에 따라 획득된 비주얼컨텐트의 영상을 디스플레이부(220)에 표시한다(S330). 디스플레이부(220)는 전자장치(100)로부터 수신되거나, 자체적으로 수신 또는 저장한 비주얼컨텐트에 기초한 영상을 표시한다. 프로세서(270)는 영상이 표시되는 디스플레이부(220)를 구동한다. 일 실시예에서 프로세서(270)는 디스플레이부(220)를 구동하기 위해, 영상데이터를 처리하고 타이밍 제어신호를 생성하는 타이밍 컨트롤러(timing controller)가 마련되는 티콘(T-con) 보드 즉, 구동보드로 구현될 수 있다. 프로세서(270)는 컨텐트의 신호에 대해 기 설정된 다양한 영상/음성 처리를 수행한다. 프로세서(270)는 이러한 프로세스를 수행하여 생성 또는 결합한 영상신호를 디스플레이부(220)로 출력함으로써, 디스플레이부(220)에 영상신호에 대응하는 영상이 표시되게 한다. 프로세서(270)가 처리하는 영상신호는 전자장치(100)로부터 제공받은 데이터나, 혹은 플래시메모리, 하드디스크 등과 같은 비휘발성의 내부 저장부(240)에 저장된 데이터로부터 기인한 것일 수 있다. 또한, 프로세서(270)가 처리하는 영상신호는, 전자장치(100)가 외부의 영상소스로부터 수신한 비주얼컨텐트에 대응할 수 있다. 프로세서(270)는 영상신호를 전자장치(100)의 영상 포맷에 대응하도록 디코드하는 비디오 디코더(decoder)와, 영상신호를 디스플레이(120)의 출력규격에 맞도록 조절하는 스케일러(scaler)를 포함한다. 본 발명 실시예에 따른 비디오 디코더는 MPEG(Moving Picture Experts Group) 디코더 또는 HEVC(High Efficiency Video Codec) 디코더 등 다양한 압축 표준에 따른 디코더로서 구현 가능하다. 또한, 본 발명에서 프로세서(270)가 처리하는 비주얼컨텐트의 종류는 한정되지 않는다. 예를 들어, 프로세서(270)가 처리하는 비주얼컨텐트는 비디오와 같은 동영상뿐 아니라, JPEG 파일과 같은 사진, 배경화면 등의 정지화상, GUI(graphic user interface) 등을 더 포함할 수 있다. 프로세서(270)가 수행하는 프로세스의 종류는 한정되지 않는바, 프로세서(270)는 예를 들면 인터레이스(interlace) 방식의 방송신호를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환, 라인 스캐닝(line scanning)과 같은 다양한 프로세스 중 적어도 하나를 더 수행할 수 있다. 이 때 전자장치(100)가 디스플레이를 구비한 경우만이 아니라, 전자장치(100)와 연결된 다른 디스플레이를 구비한 외부기기 등을 통해 비주얼컨텐트의 영상을 표시할 수도 있다.
본 발명은 오디오컨텐트 재생 시, 그와 연관되거나 사용자 선호도에 기초한 비주얼컨텐트를 함께 제공하여, 서비스 이용을 더욱 풍부하게 하는 것이므로 오디오컨텐트 재생에 따라 비주얼컨텐트의 영상을 디스플레이에 표시한다. 따라서, 오디오컨텐트를 이용하려는 사용자에게 비주얼컨텐트를 함께 제공함으로써 사용자의 이용만족도를 높일 수 있다.
도 4는 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다. 본 실시예에서는, 도 3에서 설명한 오디오컨텐트의 특성 및 그 외 정보에 대하여 자세하게 설명한다. 도 4에서는 비주얼컨텐트(410)를 획득하는 다양한 방법에 대해서 도시하고 있다. 외부장치(120)로부터 오디오컨텐트(420)를 수신하면, 프로세서(270)는 디코더를 이용하여 PCM 데이터를 획득할 수 있다. PCM 데이터란, 수신한 오디오컨텐트를 디코딩하여 얻는 RAW 데이터로서, 디코딩된 PCM 데이터를 통해 오디오데이터의 주파수정보(430)를 알 수 있다. 보다 상세하게는, 프로세서(270)는 PCM 데이터를 프레임 단위로 디지털 신호 처리의 일종인 FFT(fast Fourier Transform) 과정을 거쳐서 스펙트럼 데이터(Spectrum Data)를 추출할 수 있다. 프로세서(270)는 추출한 스펙트럼 데이터로부터 오디오컨텐트(420)의 주파수 정보(430)를 이용하여 오디오컨텐트(420)의 비트, 템포 나아가 감성(emotion)을 습득할 수 있다.
또한 프로세서(270)는 오디오컨텐트(420)에 대한 음원정보(440), 예컨대, 장르, 가수 이름, 타이틀, 앨범 등과 같은 정보는 오디오컨텐트(420)의 신호와 함께 메타데이터 또는 부가데이터의 형태로 존재하는 바, 디멀티플렉싱에 의해 오디오컨텐트 신호로부터 추출할 수 있다. 예컨대, 오디오컨텐트가 MP3 파일 형태인 경우 ID3 Tag를 통해 획득할 수 있다. ID3 Tag란 MP3 파일에 상기 정보를 추가하기 위해서 표준으로 사용되고 있는 형식을 의미한다. 다만, ID3 Tag 정보 외 추가 정보가 필요한 경우, 프로세서(270)는 서버(450)를 통해 추가 정보를 요청할 수 있다.
프로세서(270)는 그 외에도 장치상태정보(460), 주변환경(470), 사용자정보(480) 등에 기초하여 비주얼컨텐트(410)를 획득할 수 있다. 장치상태정보(460)는, 예컨대, 전자장치가 TV인 경우, 현재 TV의 소리 크기, 소리 출력 모드, 장치 연결 상태, 연결된 장치 유형 등이 존재한다. 주변환경(470)의 경우, 예컨대, 시간, 날씨, 크리스마스 등 시즌, 소음 등이 존재한다. 프로세서(270)는 주변환경(470)에 대한 정보를 센서를 통해 감지하거나 서버를 통해 획득하는 등 다양하게 획득할 수 있다. 사용자정보(480)의 경우 사용자의 계정을 통한 사용자 연령대, 성별, 현재 상태나 사용자입력, 사용자의 선호, 사용이력 등을 포함한다. 프로세서(270)는 전자장치(100)에 입력되거나 서버를 통해 획득한 사용자의 정보에 기초하여 비주얼컨텐트를 획득할 수 있다. 결과적으로, 프로세서(270)는 외부장치(120)로부터 전송 받은 오디오컨텐트(420)의 오디오신호는 스피커(490)를 통해 출력하고, 획득된 비주얼컨텐트(410)의 영상은 디스플레이부(500)에 표시할 수 있다.
본 발명의 일 실시예에 따른 비주얼컨텐트를 획득하는 것은 상술한 특정 정보에 기초하여 결정될 수 있으나, 이에 한정되는 것은 아니고, 여러 가지 정보를 종합적으로 고려하여 결정될 수도 있다. 따라서, 본 발명은 오디오컨텐트가 제공되는 경우, 이와 함께 제공되는 비주얼컨텐트를 다양한 정보에 기초하여 획득할 수 있으므로, 사용자 만족도를 높일 수 있다. 또한, 사용자의 설정을 과도하게 요구하지 않으므로, 편리하게 비주얼컨텐트 제공 기능을 이용할 수 있다.
도 5는 본 발명의 일 실시예에 따른 전자장치의 상태정보에 따른 동작 모습을 도시한 도면이다. 본 발명의 일 실시예에서는 전자장치의 상태정보, 특히 스피커의 배치 상태에 기초하여 비주얼컨텐트를 획득하는 것을 도시한다. 도 5에서는 도시된 바와 같이, 전자장치(100)는 복수의 스피커, 예컨대, 전자장치(100)의 전면에는 사운드바(510), 양 옆에는 스피커(520, 530)가 존재한다. 이 때, 도 5에서 오디오컨텐트를 재생한 오디오신호가 사운드바(510)에서만 출력된다고 가정해본다. 프로세서(270)는 전자장치(100)의 상태정보를 통해 세 개의 스피커(510, 520, 530)와 모두 연결되어 있으나, 현재 오디오컨텐트를 재생한 오디오신호가 사운드바(510)에서만 출력되고 있다는 것을 파악할 수 있다. 따라서, 프로세서(270)는 오디오신호가 출력되고 있는 스피커의 방향으로 비주얼효과를 나타내는 비주얼컨텐트를 획득할 수 있고, 획득한 비주얼컨텐트의 영상을 디스플레이부(220)에 표시할 수 있다. 사용자는 표시된 비주얼컨텐트의 영상을 통해 오디오컨텐트를 재생하는 경우 입체적효과를 느낄 수 있다. 다만, 본 발명의 일 실시예는 하나의 예시에 불과하며, 이에 한정되는 것은 아니다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다. 본 발명의 일 실시예에 따르면, 프로세서(270)는 전자장치의 주변 환경, 장소, 시간, 날씨 등의 정보를 식별할 수 있다(S610). 전자장치(100)는 정보를 감지하기 위해 센서를 따로 구비할 수 있고, 프로세서(270)는 센서를 통해 주변환경을 감지하거나, 서버나 전자장치(100)와 연결된 외부장치들을 통해 주변 환경에 대한 정보를 식별할 수 있다. 예컨대, 프로세서(270)는 센서를 통해 장소의 조명상태가 밝은지, 어두운지 식별하거나, 서버 등을 통해 오늘의 날씨가 맑은지 비가 오는지 식별할 수 있다. 프로세서(270)는 식별한 정보에 기초하여 오디오컨텐트에 적절한 비주얼효과나 영상, 이미지 등을 포함하는 비주얼컨텐트를 획득할 수 있다(S620). 예컨대, 프로세서(270)가 현재 시즌이 크리스마스 시즌이고, 재생되는 오디오컨텐트의 장르가 캐롤이라고 식별하면, 크리스마스와 관련된 비주얼컨텐트를 획득할 수 있다. 그리고 프로세서(270)는 오디오컨텐트의 재생에 따라 획득된 비주얼컨텐트의 영상을 디스플레이에 표시할 수 있다(S630).
본 발명의 일 실시예에 따르면, 사용자는 특별한 설정 없이도 오디오컨텐트를 재생함으로써 그와 관련된 비주얼컨텐트를 함께 감상할 수 있으므로, 사용자 편의가 증가된다.
도 7은 본 발명의 일 실시예에 따른 전자장치에 제공되는 GUI(Graphic User Interface)를 도시한 도면이다. 본 발명의 일 실시예에 따르면, 프로세서(270)는 제공 가능한 비주얼컨텐트의 정보를 포함하는 GUI를 디스플레이부에 표시하고, 표시된 GUI를 이용한 사용자입력을 수신할 수 있다. 예컨대, 도 7에 도시된 바와 같이 디스플레이에 세 개의 서로 다른 영상의 축소된 아이콘(710), 추가영상 아이콘(720), 및 "음원에 어울리는 영상을 선택해 주세요."라는 문구가 표시되어 있다. 사용자는 현재 재생되고 있는 오디오컨텐트에 어울린다고 생각하는 아이콘을 선택할 수 있고, 만약 마음에 드는 영상이 없거나 새로운 영상을 선택하고 싶으면 추가영상 아이콘(720)을 선택할 수 있다. 사용자의 추가영상 아이콘(720)을 선택하는 입력을 수신하면, 프로세서(270)는 새로운 영상을 추가로 표시하거나, 비주얼컨텐트를 생성 또는 편집할 수 있는 GUI를 디스플레이에 표시할 수 있다. 이 경우, GUI를 이용한 사용자입력을 수신할 수 있다. 프로세서(270)는, 비주얼컨텐트의 정보를 사용자에게 제공하고, 사용자는 이를 선택함으로써, 사용자의 선호 또는 사용이력에 대한 정보를 습득할 수 있다. 프로세서(270)는 습득한 정보에 기초하여 비주얼컨텐트를 획득할 수 있다. 본 발명의 일 실시예에 따르면, 프로세서(260)가 사용자의 선호도를 인지하여, 축적되는 정보가 많아질수록 사용자가 선호하는 영상을 제공할 수 있어 궁극적으로 오디오컨텐트와 관련되면서 사용자가 원하는 비주얼컨텐트를 제공할 수 있다.
도 8은 본 발명의 일 실시예에 따른 사용자입력에 따른 전자장치의 동작 모습을 도시한 도면이다. 프로세서(270)는, 사용자입력에 기초하여 비주얼컨텐트를 획득할 수 있다. 도 8에 도시된 바와 같이, 사용자는 외부기기를 이용하여, 오디오컨텐트가 재생될 때 표시되는 비주얼컨텐트를 직접 입력할 수 있다. 이 때, 비주얼컨텐트는 그림이 될 수도 있으며, 사용자입력에 따른 인터페이스부를 통해 외부기기로부터 전송받은 사진이나 영상 등이 될 수 있으며 어느 하나에 한정되는 것은 아니다. 그리고, 오디오컨텐트는 사용자가 비주얼컨텐트를 입력하는 외부기기로부터 전송된 것일 수도 있고, 또 다른 외부기기로부터 전송될 수 있으며 어느 하나에 한정되는 것은 아니다. 또한, 전자장치(100)의 사용자입력부를 이용하여 비주얼컨텐트가 표시되는 전자장치(100)에 직접 입력할 수 있다. 프로세서(270)는 사용자입력을 수신하여 그대로 디스플레이에 표시할 수 있고, 도 8과 같이 사용자입력을 일부 변형하여 표시할 수도 있다. 본 발명의 일 실시예에 따르면, 사용자는 자신이 원하는 비주얼컨텐트를 직접 그리거나, 사용자가 원하는 그림, 영상 등을 전송하는 사용자입력을 통해 비주얼컨텐트를 획득할 수 있으므로 사용자 선호도를 충족시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다. 본 발명의 일 실시예에 따르면 프로세서(270)는, 오디오컨텐트의 재생 요청을 수신할 수 있다(S910). 그리고 요청 수신에 기초하여 디스플레이에 제2영상이 표시 중인지 여부를 식별할 수 있다(S920). 여기서 제2영상이란, 비주얼컨텐트와는 다른 컨텐트의 영상을 의미할 수 있다. 이 때, 비주얼컨텐트는 프로세서(270)가 상술한 다양한 정보에 의해 획득한 비주얼컨텐트일 수 있다. 만약, 프로세서(270)가 제2영상이 표시되고 있는 것으로 식별하면(S920의 Yes), 프로세서(270)는 비주얼컨텐트의 영상을 표시하지 않고, 제2영상 표시를 유지할 수 있다(S930). 만약, 프로세서(270)는 제2영상이 표시되고 있지 않은 것으로 식별하면(S920의 No), 비주얼컨텐트의 표시를 요청하는 사용자 입력을 수신하면 (S940의 Yes), 프로세서(270)는 제2영상의 표시를 중지하고, 비주얼컨텐트의 영상을 디스플레이에 표시할 수 있다(S950). 다만, 프로세서(270)는 사용자입력을 수신하지 않더라도 곧바로 제2영상의 표시를 중지하고, 비주얼컨텐트의 영상을 디스플레이에 표시할 수 있다(S950).
제2영상 표시를 유지하고 있는 중, 비주얼컨텐트의 표시를 요청하는 사용자입력을 수신하게 되면(S940의 Yes), 프로세서(270)는 사용자입력에 따라 제2영상의 표시를 중지하고, 비주얼컨텐트의 영상을 표시할 수 있다(S950).
본 발명의 일 실시예에 따르면, 오디오컨텐트가 재생하려고 할 때, 디스플레이에 이미 다른 영상이 표시되어 있는 경우, 다른 영상의 표시를 유지하지만 사용자입력에 기초하여 표시되고 있는 영상을 바꿀 수 있어 사용자 편의성을 높여준다.

Claims (15)

  1. 전자장치에 있어서,
    적어도 하나의 인터페이스부(interface circuitry);
    디스플레이부; 및
    상기 인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하고,
    상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하고,
    상기 오디오컨텐트를 재생하고,
    상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하는
    프로세서를 포함하는 전자장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 오디오컨텐트의 음원정보에 기초하여 상기 오디오컨텐트의 특성을 식별하는 전자장치.
  3. 제1항 또는 제2항에 있어서,
    상기 프로세서는, 상기 오디오컨텐트로부터 디코딩된 오디오데이터의 주파수정보에 기초하여 상기 오디오컨텐트의 특성을 식별하는 전자장치.
  4. 제1항에 있어서,
    상기 프로세서는, 상기 전자장치의 상태 정보에 기초하여 상기 비주얼컨텐트를 획득하는 전자장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 오디오컨텐트를 재생한 오디오신호를 복수의 스피커를 통해 출력하고,
    상기 복수의 스피커의 배치 상태에 기초하여 상기 전자장치의 상태 정보를 획득하는 전자장치.
  6. 제1항 또는 제2항에 있어서,
    상기 프로세서는, 상기 전자장치의 주변 환경, 장소, 시간 또는 날씨 중 적어도 하나에 기초하여 상기 비주얼컨텐트를 획득하는 전자장치.
  7. 제1항에 있어서,
    상기 프로세서는, 사용자입력에 기초하여 상기 비주얼컨텐트를 획득하는 전자장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    제공 가능한 상기 비주얼컨텐트의 정보를 포함하는 GUI를 상기 디스플레이부에 표시하고
    상기 GUI를 이용한 상기 사용자입력을 수신하는 전자장치.
  9. 제7항에 있어서,
    상기 프로세서는,
    상기 비주얼컨텐트를 생성 또는 편집할 수 있는 GUI를 상기 디스플레이부에 표시하고
    상기 GUI를 이용한 상기 사용자입력을 수신하는 전자장치.
  10. 제1항 또는 제2항에 있어서,
    상기 프로세서는, 사용자의 선호 또는 사용이력에 기초하여 상기 비주얼컨텐트를 획득하는 전자장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 오디오컨텐트의 재생 요청을 수신하고,
    상기 요청 수신에 기초하여 상기 디스플레이부에 제2영상이 표시 중인지 여부를 식별하고,
    상기 제2영상이 표시되고 있지 않은 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하고,
    상기 제2영상이 표시되고 있는 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 표시하지 않는 전자장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 제2영상이 표시되고 있는 것으로 식별되면, 사용자입력에 따라 상기 제2영상의 표시를 중지하고, 상기 획득된 비주얼컨텐트의 영상을 표시하는 전자장치.
  13. 전자장치의 제어방법에 있어서,
    인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하는 단계;
    상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하는 단계;
    상기 오디오컨텐트를 재생하는 단계; 및
    상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 디스플레이부에 표시하는 단계를 포함하는 전자장치의 제어방법.
  14. 제13항에 있어서,
    상기 오디오컨텐트의 재생 요청을 수신하는 단계;
    상기 요청 수신에 기초하여 상기 디스플레이부에 제2영상이 표시 중인지 여부를 식별하는 단계;
    상기 제2영상이 표시되고 있지 않은 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하는 단계;
    상기 제2영상이 표시되고 있는 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 표시하지 않는 단계를 포함하는 전자장치의 제어방법.
  15. 컴퓨터가 읽을 수 있는 코드로서, 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 전자장치의 제어방법은,
    인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하는 단계;
    상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하는 단계;
    상기 오디오컨텐트를 재생하는 단계; 및
    상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 디스플레이부에 표시하는 단계를 포함하는 것을 특징으로 하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체.
PCT/KR2020/013764 2019-12-10 2020-10-08 전자장치 및 그 제어방법 WO2021118032A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190163991A KR20210073305A (ko) 2019-12-10 2019-12-10 전자장치 및 그 제어방법
KR10-2019-0163991 2019-12-10

Publications (1)

Publication Number Publication Date
WO2021118032A1 true WO2021118032A1 (ko) 2021-06-17

Family

ID=76330488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013764 WO2021118032A1 (ko) 2019-12-10 2020-10-08 전자장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR20210073305A (ko)
WO (1) WO2021118032A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140334381A1 (en) * 2013-05-08 2014-11-13 Qualcomm Incorporated Video streaming in a wireless communication system
KR20150079388A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 컨텐트를 제공하는 디스플레이 장치를 제어하는 방법 및 그 디스플레이 장치
KR20160129566A (ko) * 2015-04-30 2016-11-09 주식회사 리트빅 헤드 유닛 제어장치
KR20170095690A (ko) * 2016-02-15 2017-08-23 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20190055946A (ko) * 2017-11-16 2019-05-24 삼성전자주식회사 Av 출력 분석장치, 방법 및 컴퓨터 판독 가능 기록 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140334381A1 (en) * 2013-05-08 2014-11-13 Qualcomm Incorporated Video streaming in a wireless communication system
KR20150079388A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 컨텐트를 제공하는 디스플레이 장치를 제어하는 방법 및 그 디스플레이 장치
KR20160129566A (ko) * 2015-04-30 2016-11-09 주식회사 리트빅 헤드 유닛 제어장치
KR20170095690A (ko) * 2016-02-15 2017-08-23 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20190055946A (ko) * 2017-11-16 2019-05-24 삼성전자주식회사 Av 출력 분석장치, 방법 및 컴퓨터 판독 가능 기록 매체

Also Published As

Publication number Publication date
KR20210073305A (ko) 2021-06-18

Similar Documents

Publication Publication Date Title
US10586536B2 (en) Display device and operating method therefor
US8588576B2 (en) Content reproduction device, television receiver, content reproduction method, content reproduction program, and recording medium
WO2019135523A1 (ko) 전자장치, 그 제어방법 및 컴퓨터프로그램제품
KR102545837B1 (ko) 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템
US11227620B2 (en) Information processing apparatus and information processing method
CN1973536A (zh) 视频－音频同步
US20220093105A1 (en) Artificial intelligence apparatus and method for recognizing plurality of wake-up words
WO2021091145A1 (en) Electronic apparatus and method thereof
CN113039807A (zh) 图像和音频处理装置及其操作方法
WO2021118032A1 (ko) 전자장치 및 그 제어방법
KR20150004051A (ko) 리모트 컨트롤러 및 멀티미디어 디바이스의 제어 방법
WO2021167230A1 (ko) 전자장치 및 그 제어방법
WO2019107796A1 (ko) 서버 및 그 제어방법
US20220101853A1 (en) Electronic apparatus and method of controlling the same
WO2021256760A1 (ko) 이동 가능한 전자장치 및 그 제어방법
US11688397B2 (en) Electronic apparatus and method of controlling the same
WO2021091063A1 (ko) 전자장치 및 그 제어방법
WO2021112391A1 (ko) 전자장치 및 그 제어방법
JP7332473B2 (ja) サーバー及びその制御方法
US8212924B2 (en) System and method for processing multimedia data using an audio-video link
US11457106B2 (en) Electronic apparatus and control method thereof
WO2018151540A1 (en) Electronic apparatus for playing substitutional advertisement and method for controlling method thereof
KR20210107480A (ko) 전자장치 및 그 제어방법
WO2021107371A1 (ko) 전자장치 및 그 제어방법
WO2021137474A1 (ko) 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20899071

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20899071

Country of ref document: EP

Kind code of ref document: A1