KR102049499B1 - 라이브 스트리밍 영상 생성 방법 및 장치, 라이브 서비스 제공 방법 및 장치, 및 라이브 스트리밍 시스템 - Google Patents
라이브 스트리밍 영상 생성 방법 및 장치, 라이브 서비스 제공 방법 및 장치, 및 라이브 스트리밍 시스템 Download PDFInfo
- Publication number
- KR102049499B1 KR102049499B1 KR1020180015578A KR20180015578A KR102049499B1 KR 102049499 B1 KR102049499 B1 KR 102049499B1 KR 1020180015578 A KR1020180015578 A KR 1020180015578A KR 20180015578 A KR20180015578 A KR 20180015578A KR 102049499 B1 KR102049499 B1 KR 102049499B1
- Authority
- KR
- South Korea
- Prior art keywords
- sticker
- client terminal
- effect
- streaming
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000000694 effects Effects 0.000 claims abstract description 218
- 238000004891 communication Methods 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 description 78
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 240000007711 Peperomia pellucida Species 0.000 description 1
- 241000030366 Scorpidinae Species 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 235000011850 desserts Nutrition 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
본 발명의 일 양태는 클라이언트 단말에서의 라이브(Live) 스트리밍 영상 생성 방법을 개시하고 있다. 상기 방법은 스트리밍 영상을 생성하기 위한 플랫폼 정보를 획득하는 단계, 상기 플랫폼 정보를 기반으로 제 1 스트리밍 영상을 생성하는 단계, 상기 제 1 스트리밍 영상을 디스플레이하는 단계, 사용자 입력에 의해, 상기 디스플레이되는 제 1 스트리밍 영상의 적어도 일부를 장식하기 위한 스티커(sticker) 및 이펙트(effect) 중 적어도 하나를 선택하는 단계 및 상기 제 1 스트리밍 영상에 상기 선택된 스티커 및 이펙트 중 적어도 하나를 실시간으로 적용하여 제 2 스트리밍(streaming) 영상을 생성하는 단계를 포함한다.
Description
본 발명은 카메라를 통해 촬영되는 사진 또는 화면에 부가되는 스티커를 기반으로 하는 영상 처리 및 서비스 제공 방법에 대한 것이다.
최근에는, 방송망을 통한 TV 방송 및 케이블 방송뿐만 아니라 인터넷을 통한 방송이 활성화되어 시청자는 IP(Internet Protocol) 망을 통해 다양한 컨텐츠의 방송을 경험할 수 있게 되었다. 특히, 재미있는 컨텐츠를 다루는 방송 쟈키(BJ: Broadcast Jackey)의 방송의 경우에는 다수의 시청자들이 시청하고 있어 광고 효과 등에 활용가치가 있음에도 불구하고, 일반 개인방송에서 이러한 부분까지 모두 고려하기는 어려워 기술적으로 잘 활용하지 못하는 문제점이 있다. 또한, 방송국에서 활용가능한 다양한 방송용 특수효과를 일반 개인 방송에서 모두 활용하기는 어려운 문제점이 있다.
본 발명의 일 양태에 따른 목적은 라이브 방송 서비스의 방송쟈키가 다양한 형태의 실시간 애니메이션 스티커 및 이펙트(effect)를 활용하여 훨씬 풍부한 리치 미디어 방송을 진행할 수 있도록 하는 라이브 스트리밍 영상 생성 방법 및 장치, 라이브 서비스 제공 방법 및 장치, 및 라이브 스트리밍 시스템을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 클라이언트 단말에서의 라이브(Live) 스트리밍 영상 생성 방법은 스트리밍 영상을 생성하기 위한 플랫폼 정보를 획득하는 단계, 상기 플랫폼 정보를 기반으로 제 1 스트리밍 영상을 생성하는 단계, 상기 제 1 스트리밍 영상을 디스플레이하는 단계, 사용자 입력에 의해, 상기 디스플레이되는 제 1 스트리밍 영상의 적어도 일부를 장식하기 위한 스티커(sticker) 및 이펙트(effect) 중 적어도 하나를 선택하는 단계 및 상기 제 1 스트리밍 영상에 상기 선택된 스티커 및 이펙트 중 적어도 하나를 실시간으로 적용하여 제 2 스트리밍(streaming) 영상을 생성하는 단계를 포함할 수 있다.
상기 제 1 스트리밍 영상을 생성하는 단계는 카메라를 통해 피사체를 촬영하는 단계 및 상기 촬영된 피사체를 기반으로 제 1 스트리밍 영상을 생성하는 단계를 포함할 수 있다.
상기 스티커 및 이펙트 중 적어도 하나는 상기 피사체를 장식하기 위한 스티커 및 이펙트 중 적어도 하나를 포함할 수 있다.
상기 제 2 스트리밍 영상을 생성하는 단계는 상기 피사체를 실시간으로 트랙킹(tracking)하여 트랙킹 정보를 획득하는 단계 및 상기 획득된 트랙킹 정보를 기반으로 상기 피사체에 상기 선택된 스티커 및 이펙트 중 적어도 하나를 적용하여 상기 제 2 스트리밍 영상을 생성하는 단계를 포함할 수 있다.
상기 트랙킹 정보는 상기 피사체의 적어도 하나의 특징점과 연관된 정보를 포함하고, 상기 트랙킹 정보에 포함된 상기 적어도 하나의 특징점을 매개로 상기 선택된 스티커 및 이펙트 중 적어도 하나가 상기 피사체에 적용될 수 있다.
상기 적어도 하나의 특징점과 연관된 정보는 상기 적어도 하나의 특징점의 움직임 정보를 포함하고, 상기 적어도 하나의 특징점의 움직임 정보를 기반으로 상기 피사체의 움직임에 대응하여 상기 선택된 스티커 및 이펙트 중 적어도 하나를 상기 피사체에 적용할 수 있다.
상기 적어도 하나의 특징점의 움직임 정보를 기반으로 상기 움직임 정보에 대응되는 스티커 및 이펙트 중 적어도 하나가 선택될 수 있다.
상기 라이브 스트리밍 영상 생성 방법은 상기 생성된 제 2 스트리밍 영상을 상기 라이브 방송과 연관된 서비스를 제공하는 라이브 방송 서버(server)로 전송하는 단계를 더 포함하되, 상기 라이브 방송 서버로 전송되는 제 2 스트리밍 영상은 상기 라이브 방송을 시청하는 시청자의 클라이언트 단말로 전송될 수 있다.
상기 라이브 방송 서버로 전송되는 제 2 스트리밍 영상은 복수의 시청자의 클라이언트 단말로 실시간으로 동시에 전송될 수 있다.
상기 플랫폼 정보는 라이브 방송과 연관된 서비스를 제공하는 라이브 방송 서버로부터 획득된 라이브 방송과 연관된 방송 플랫폼(platform) 정보를 포함하되, 상기 획득된 방송 플랫폼 정보는 상기 스티커 및 상기 이펙트 중 적어도 하나에 대한 정보를 포함할 수 있다.
상기 스티커는 상기 제 1 스트리밍 영상 내의 일부를 가리기 위해 사용자 입력에 따라 상기 제 1 스트리밍 영상 내의 위치정보를 임의로 설정한 스티커를 포함할 수 있다.
상기 스티커는 움직이는 스티커를 포함할 수 있다.
상기 이펙트는 오디오(audio), 자막, 텍스트, 도형, 3D 콘텐츠(content), 비디오(video) 중 적어도 하나를 포함할 수 있다.
상기 이펙트는 사용자 입력에 의해 상기 제 1 스트리밍 영상에 기 적용된 스티커의 적어도 일부를 사라지게 하는 효과를 포함할 수 있다.
상기 스티커 및 상기 이펙트 중 적어도 하나는 광고와 연관된 스티커 및 이펙트 중 적어도 하나를 포함하되, 상기 광고와 연관된 스티커 및 이펙트가 사용자 입력에 의해 선택되는 경우, 상기 광고와 연관된 수입의 적어도 일부가 상기 클라이언트 단말과 연관된 계좌로 제공될 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 라이브(Live) 스트리밍 영상 생성 장치는 서버와 통신하는 통신부, 상기 통신부를 통해 상기 서버로부터 획득된, 스트리밍 영상을 생성하기 위한 플랫폼 정보를 기반으로 생성된 제 1 스트리밍(streaming) 영상을 디스플레이하는 디스플레이부 및 사용자 입력에 의해, 상기 디스플레이되는 제 1 스트리밍 영상의 적어도 일부를 장식하기 위한 스티커(sticker) 및 이펙트(effect) 중 적어도 하나를 선택하고, 상기 제 1 스트리밍 영상에 상기 선택된 스티커 및 이펙트 중 적어도 하나를 실시간으로 적용하여 제 2 스트리밍 영상을 생성하는 제어부를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 라이브 스트리밍 서비스를 제공하는 서버 장치에서의 라이브 스트리밍 서비스 제공 방법은 라이브 스트리밍과 연관된 플랫폼 정보를 제 1 클라이언트 단말로 제공하는 단계, 상기 제 1 클라이언트 단말로부터, 상기 플랫폼을 기반으로 하여 생성된 제 1 스트리밍 영상의 적어도 일부를 장식하기 위한 스티커 및 이펙트 중 적어도 하나를 실시간으로 적용한, 제 2 스트리밍 영상을 수신하는 단계 및 상기 제 1 클라이언트 단말로부터 획득한 제 2 스트리밍 영상을 제 2 클라이언트 단말로 제공하는 단계를 포함할 수 있다.
상기 플랫폼 정보는 스티커 및 이펙트 중 적어도 하나에 대한 정보를 포함할 수 있다.
상기 라이브 스트리밍 서비스는 상기 제 1 클라이언트 단말 기반의 라이브 방송 서비스를 포함하고, 상기 제 2 클라이언트 단말은 상기 제 1 클라이언트 단말이 개설한 방송국에 입장한 시청자와 연관된 단말일 수 있다.
상기 제 1 스트리밍 영상은 카메라에 의해 촬영되는 피사체를 기반으로 생성된 스트리밍 영상을 포함할 수 있다.
상기 플랫폼 정보는 상기 피사체를 실시간으로 트랙킹하여 트랙킹 정보를 획득하는 트랙킹 알고리즘에 대한 정보를 포함하고, 상기 제 2 스트리밍 영상은 상기 트랙킹 알고리즘을 이용하여 획득된 트랙킹 정보를 기반으로 상기 피사체에 상기 선택된 스티커 및 이펙트 중 적어도 하나를 적용하여 생성될 수 있다.
상기 스티커는 상기 제 1 스트리밍 영상 내의 일부를 가리기 위해 사용자 입력에 따라 상기 제 1 스트리밍 영상 내의 위치정보를 임의로 설정한 스티커를 포함할 수 있다.
상기 이펙트는 상기 제 2 클라이언트 단말에서의 사용자 입력에 의해 상기 디스플레이 영상에 기 적용된 스티커의 적어도 일부를 사라지게 하는 효과를 포함할 수 있다.
상기 스티커를 적용하기 위한 상기 제 1 클라이언트 단말에서의 사용자 입력 및 기 적용된 스티커 중 적어도 일부를 사라지게 하는 효과를 활성화시키기 위한 상기 제 2 클라이언트 단말에서의 사용자 입력 중 적어도 하나는 상기 제 1 클라이언트 단말과 연관된 사용자 계정 및 상기 제 2 클라이언트 단말과 연관된 사용자 계정 중 적어도 하나로부터 상기 서버 장치로의 비용 지불과 연관될 수 있다.
상기 스티커 및 이펙트 중 적어도 하나는 광고와 연관된 스티커 및 이펙트 중 적어도 하나를 포함할 수 있다.
상기 제 1 클라이언트 단말에서 상기 광고와 연관된 스티커 및 이펙트 중 적어도 하나를 적용하여 상기 스트리밍 영상을 생성한 때, 상기 제 2 클라이언트 단말과 연관된 사용자가 상기 스트리밍 영상에 적용된 광고와 연관된 스티커 및 이펙트 중 적어도 하나를 기반으로 상기 광고와 연관된 임의의 동작을 수행하는 것을 감지한 경우, 상기 스트리밍 영상에 적용된 광고와 연관된 스티커 및 이펙트 중 적어도 하나에 대응하는 광고 관련 정보를 확인하고, 상기 확인된 광고 관련 정보를 기반으로, 상기 제 1 클라이언트 단말 및 상기 제 1 클라이언트 단말 중 적어도 하나와 연관된 사용자에게 상기 광고와 연관된 수익 중 적어도 일부를 공유할 수 있다.
상기 광고와 연관된 수익의 공유는 상기 제 2 스트리밍 영상에 적용된 광고와 연관된 스티커 및 이펙트 중 적어도 하나의 적용횟수를 추정함에 따라 이루어질 수 있다.
상기 라이브 스트리밍 서비스 제공 방법은 상기 플랫폼 정보에 기반하여 제 1 클라이언트 단말에서 적용가능한 스티커 후보 및 이펙트 후보 중 적어도 하나를 포함하는 스티커/이펙트 선택 메뉴를 제공하는 단계를 더 포함할 수 있다.
상기 스티커/이펙트 선택 메뉴 내에 포함되는 스티커 후보 및 이펙트 후보 중 적어도 하나는 상기 제 1 클라이언트 단말과 연관된 사용자의 이력, 콘텐츠, 및 서비스 유형 중 적어도 하나를 고려하여 그에 대응되는 스티커 후보 및 이펙트 후보 중 적어도 하나로 구성될 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 라이브 스트리밍 서비스를 제공하는 장치는 제 1 클라이언트 단말 및 제 2 클라이언트 단말과 통신하는 통신부 및 상기 통신부를 통해, 제 1 클라이언트 단말로 제공하는 라이브 스트리밍 과 연관된 플랫폼 정보를 전송하고, 상기 제 1 클라이언트 단말로부터, 상기 플랫폼을 기반으로 하여 생성된 제 1 스트리밍 영상의 적어도 일부를 장식하기 위한 스티커 및 이펙트 중 적어도 하나를 적용한, 제 2 스트리밍 영상을 수신하여 상기 제 1 클라이언트 단말로부터 획득한 제 2 스트리밍 영상을 제 2 클라이언트 단말로 제공할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 양태에 따른 라이브 스트리밍 시스템은 스트리밍 영상을 생성하기 위한 플랫폼 정보를 기반으로 생성된 제 1 스트리밍 영상을 디스플레이하고, 사용자 입력에 의해, 상기 디스플레이되는 제 1 스트리밍 영상의 적어도 일부를 장식하기 위한 스티커(sticker) 및 이펙트(effect) 중 적어도 하나를 선택하여, 상기 제 1 스트리밍 영상에 상기 선택된 스티커 및 이펙트 중 적어도 하나를 실시간으로 적용하여 제 2 스트리밍(streaming) 영상을 생성하는 제 1 클라이언트 단말, 라이브 스트리밍과 연관된 플랫폼 정보를 제 1 클라이언트 단말로 제공하고, 상기 제 1 클라이언트 단말로부터, 상기 제 2 스트리밍 영상을 수신하여 제 2 클라이언트 단말로 제공하는 서버 장치 및 상기 제 2 스트리밍 영상을 수신하는 제 2 클라이언트 단말을 포함할 수 있다.
본 발명의 라이브 스트리밍 영상 생성 방법 및 장치, 라이브 스트리밍 서비스 제공 방법 및 장치, 및 라이브 스트리밍 시스템에 따르면, 라이브 방송을 통해 브랜드 제휴 스티커를 활용하여 부가적인 수익창출이 가능한 효과가 있다.
또한, 라이브 방송을 통해 광고 홍보하고자 하는 다양한 브랜드 및 광고주로부터의 광고 매출을 라이브 방송 제공자, BJ 및 스티커 제공자가 공유하여 효율적으로 매출을 분배하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 라이브 스트리밍 시스템을 개략적으로 나타낸 개념도,
도 2는 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 방법에 따라 스티커 및/또는 이펙트를 적용한 스트리밍 영상을 포함하는 방송 화면을 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 방법 및 라이브 스트리밍 서비스 제공 방법을 개략적으로 나타낸 흐름도,
도 4는 서버에서 클라이언트 단말로 제공되는 방송 플랫폼 정보를 구체적으로 설명하기 위한 개념도,
도 5는 트랙킹 정보를 기반으로 스트리밍 영상을 생성하는 방법을 구체적으로 나타낸 상세흐름도,
도 6은 광고와 연관된 스티커의 적용 및 적용된 스티커를 기반으로 한 광고수익을 공유하는 방법을 나타낸 흐름도,
도 7a 및 도 7b는 다양한 종류의 스티커 및 이펙트의 예시를 나타낸 개념도,
도 8은 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 장치를 나타낸 블록도,
도 9는 본 발명의 일 실시예에 따른 라이브 스트리밍 서비스 제공 장치를 나타낸 블륵도,
도 10은 본 발명의 다른 실시예에 따른 라이브 스트리밍 시스템을 나타낸 블록도,
도 11은 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 장치에서 사용자가 직접 저작한 스티커를 기반으로 스트리밍 영상을 생성하는 방법을 개략적으로 나타낸 흐름도,
도 12a는 사용자가 저작한 스티커를 구현하기 위한 실제 애플리케이션의 화면을 나타낸 도면,
도 12b는 도 12a의 화면에 표시된 스티커 디자인 요소와 피사체를 연관시키는 제 1 실시예를 나타낸 개념도,
도 12c는 도 12a의 화면에 표시된 스티커 디자인 요소와 피사체를 연관시키는 제 2 실시예를 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 방법에 따라 스티커 및/또는 이펙트를 적용한 스트리밍 영상을 포함하는 방송 화면을 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 방법 및 라이브 스트리밍 서비스 제공 방법을 개략적으로 나타낸 흐름도,
도 4는 서버에서 클라이언트 단말로 제공되는 방송 플랫폼 정보를 구체적으로 설명하기 위한 개념도,
도 5는 트랙킹 정보를 기반으로 스트리밍 영상을 생성하는 방법을 구체적으로 나타낸 상세흐름도,
도 6은 광고와 연관된 스티커의 적용 및 적용된 스티커를 기반으로 한 광고수익을 공유하는 방법을 나타낸 흐름도,
도 7a 및 도 7b는 다양한 종류의 스티커 및 이펙트의 예시를 나타낸 개념도,
도 8은 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 장치를 나타낸 블록도,
도 9는 본 발명의 일 실시예에 따른 라이브 스트리밍 서비스 제공 장치를 나타낸 블륵도,
도 10은 본 발명의 다른 실시예에 따른 라이브 스트리밍 시스템을 나타낸 블록도,
도 11은 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 장치에서 사용자가 직접 저작한 스티커를 기반으로 스트리밍 영상을 생성하는 방법을 개략적으로 나타낸 흐름도,
도 12a는 사용자가 저작한 스티커를 구현하기 위한 실제 애플리케이션의 화면을 나타낸 도면,
도 12b는 도 12a의 화면에 표시된 스티커 디자인 요소와 피사체를 연관시키는 제 1 실시예를 나타낸 개념도,
도 12c는 도 12a의 화면에 표시된 스티커 디자인 요소와 피사체를 연관시키는 제 2 실시예를 나타낸 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 명세서에 걸쳐서, 스티커/이펙트는 모두 디스플레이 영상을 장식하기 위한 디지털화된 형태의 정보를 의미하고, 스티커라는 용어만 사용되는 경우에, 이펙트도 함께 고려될 수 있음은 본 기술분야의 통상의 기술자에게 자명할 것이다.
라이브 스트리밍 영상 생성 장치는 클라이언트 단말 및 라이브 방송 스트리밍 영상 생성 장치로 불릴 수 있고, 라이브 스트리밍 서비스 제공 장치는 서버 장치 및 라이브 방송 서비스 제공 장치로 불릴 수 있다. 또한, 스티커/이펙트의 적용을 위한 스티커 후보 및 이펙트 후보를 포함하는 선택메뉴의 제공, 선택메뉴에서의 선택에 따른 스티커/이펙트의 적용 및 스티커/이펙트 적용에 기반한 스트리밍 영상의 생성은 클라이언트 단말에서 수행될 수도 있고, 서버 장치에서 수행될 수도 있다.
본 명세서의 실시예에 있어서, 스티커/이펙트가 방송 서비스에 사용되는 것을 기반으로 하고 있지만, 반드시 방송 서비스에만 사용되는 것은 아니다. 일반적인 통신방식에서도 적용가능하다. 그리고, 방송 서비스 또는 그 밖의 서비스에서, 상기 스티커/이펙트는 컴퓨터 그래픽으로 가상의 이미지를 삽입하는 가상광고 형태로도 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 라이브 스트리밍 시스템을 개략적으로 나타낸 개념도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 라이브 스트리밍 시스템은 제 1 클라이언트 단말(110), 서버 장치(120) 및 제 2 클라이언트 단말(130)을 포함할 수 있다.
도 1을 참조하면, 제 1 클라이언트 단말(110)은 앞서 설명한 IP 망 기반의 방송 시스템에서 스트리밍을 주도하는 방송쟈키의 단말이다. 즉, 서버 장치(120)로부터 플랫폼 정보를 수신하여 라이브 개인 방송을 실행하며, 라이브 개인 방송과 연관된 스트리밍 영상을 생성하여 서버 장치(120)로 전송한다. 상기 플랫폼 정보는 기본적으로 스트리밍 영상을 생성하는 기본정보가 포함되어 있을 수 있다. 플랫폼 정보는 방송 플랫폼 정보를 포함할 수 있다. 제 1 클라이언트 단말(110)은 방송쟈키(BJ) 단말로 불릴 수 있다. 제 1 클라이언트 단말(110)은 방송 플랫폼을 기반으로 개인방송을 위한 환경을 생성한다. 생성된 환경은 기본적으로, 비디오 기반의 방송 환경으로, 방송쟈키를 진행자로 하여 진행되는 형태를 포함할 수 있다. 즉, 사람 또는 동물, 자동차와 같은 움직이는 피사체가 존재할 수 있다. 다만, 반드시 이러한 형태로 국한되는 것은 아니다. 즉, 제 1 클라이언트 단말(110)은 단말(110)과 연동하는 카메라와 같은 촬영수단을 기반으로 정지되거나 또는 움직이는 피사체를 촬영하여 제 1 스트리밍 영상(기본 스트리밍 영상이라 불릴 수 있음)을 생성한다. 또는 특별한 촬영수단 없이 기존에 저장된 영상 및/또는 타 단말로부터 실시간 또는 비실시간으로 수신되는 영상을 기반으로 제 1 스트리밍 영상을 생성할 수 있다.
제 1 클라이언트 단말(110)은 방송 플랫폼 내에 존재하는 각종 방송 관련 제어 수단을 이용하여 방송쟈키의 방송콘텐츠를 더욱 풍부하게 만들 수 있다. 방송 콘텐츠를 풍부하게 하는 수단에는 스티커(sticker) 및/또는 이펙트(effect)가 포함될 수 있다. 스티커는 카메라에 의해 촬영되어 디스플레이 수단에 디스플레이되는 피사체, 피사체를 포함하는 디스플레이 영상, 및/또는 상기 플랫폼 정보를 기반으로 생성되는 제 1 스트리밍 영상의 적어도 일부를 장식하기 위한 디자인 및 디자인과 연관된 요소들을 포괄적으로 의미한다. 예컨대, 피사체에 덧씌어지는 털모자 모양, 왕관 모양, 안경 모양, 머리 띠 모양, 각종 도형, 애니메이션 도형 등의 디자인된 객체 들을 포함할 수 있다. 스티커는 영상 내의 특정 위치에 피사체와 연관하지 않고 이동하지 않는 채로 존재할 수 있으며, 또는 피사체와 연관하여, 피사체의 움직임에 따라 이동하는 형태로 존재할 수도 있다. 또한, 스티커는 애니메이션과 같이 움직이는 스티커 및 움직이지 않는 정지스티커를 포함할 수 있고, 3D로 구현되는 스티커도 포함할 수 있다. 스티커는 스티커/이펙트를 선택하였을 때, 계속 적용되어 있는 형태로 이용될 수 있고, 특정 감정을 표현하고 사라지는 형태로 이용될 수도 있다. 이펙트는 사운드 기반의 오디오 이펙트, 자막, 텍스트, 도형, 사운드(sound), 특정 애니메이션을 호출할 수 있는 기능적인 도형, 및 비디오(video) 중 적어도 하나를 포함할 수 있다. 스티커와 이펙트가 동시에 적용될 수 있고, 복수 개의 스티커와 이펙트가 적용될 수 있다.
제 1 클라이언트 단말(110)은 복수 개의 스티커 후보들 및/또는 이펙트 후보들 중 제 1 스트리밍 영상에 적용할 스티커 및/또는 이펙트를 선택한다. 여기서, 스티커 후보 및 이펙트 후보는 실제 적용되는 스티커/이펙트로 선택되기 전에 스티커 저장소(또는 인벤토리(inventory))에 저장되어 있는 취사 선택가능한 스티커/이펙트들을 의미할 수 있다. 스티커 후보 및 이펙트 후보는 스티커/이펙트 선택 메뉴 화면에 표시되고, 표시된 스티커 후보 및 이펙트 후보를 포함하는 스티커/이펙트 세트 중 적어도 하나를 선택하여 디스플레이 영상(제 1 스트리밍 영상) 중 적어도 일부에 적용할 수 있다. 적용된 스티커 및/또느 이펙트를 기반으로 제 2 스트리밍 영상이 생성된다. 생성된 제 2 스트리밍 영상을 서버 장치(120)로 제공된다. 제 1 클라이언트 단말(110)은 스티커/이펙트가 적용되지 않은 기본 스트리밍 영상(제 1 스트리밍 영상)과 스티커/이펙트가 적용된 제 2 스트리밍 영상을 함께 서버장치(120)로 전송할 수 있다.
서버 장치(120)는 라이브 방송 서비스를 주관하는 단말이다. 서버 장치(120)는 개인방송을 실행하는 제 1 클라이언트 단말(110)로부터 스트리밍 영상을 수신하여 불특정 다수의 제 2 클라이언트 단말들(130)로 방송한다. 이러한 방송 데이터의 전송뿐만 아니라 방송을 위한 기본 방송 플랫폼 정보도 서버 장치(120)가 관리할 수 있다. 방송은 애플리케이션 또는 기타 다른 소프트웨어 프로그램을 통해 실시될 수 있는데, 상기 방송 플랫폼 정보는 상기 애플리케이션 또는 소프트웨어 프로그램의 설치 및 관리정보를 포함한다. 서버 장치(120)는 특정 URL(Uniform Resource Locator)을 점유하고, 개인 방송을 실시하고자 하는 제 1 클라이언트 단말(110)로부터의 요청에 응답하여 점유하고 있는 URL 중 일부를 할당하여 해당 채널을 통해 방송국을 개설할 수 있도록 한다. 그리고, 개설된 방송국에 타 유저들(시청자들)의 입장이 가능하도록 하여 방송쟈키와 시청자간의 원할한 방송이 진행될 수 있도록 지원한다.
본 발명의 실시예에 따르면, 방송 플랫폼 정보는 스티커 및/또는 이펙트와 관련된 정보를 포함한다. 또한, 스티커 및/또는 이펙트와 연관된 광고수익에 대한 산출 및 산출된 광고수익의 분배와 관련된 정책 정보를 포함할 수 있다.
제 2 클라이언트 단말(130)은 서버 장치(120)에 접속하여, 서버 장치(120)가 관리하는 수많은 개인방송국(제 1 클라이언트 단말(110)이 개설한 방송국 포함)에 입장하여 방송을 즐기는 시청자들의 단말이다. 제 2 클라이언트 단말(130)은 상기 서버 장치(120)가 제공하는 URL 기반의 개인방송국에 입장하여 제 1 클라이언트 단말(110)이 제공하는 스트리밍 영상을 시청할 수 있다. 이때, 서버 장치(120)가 제공하는 채팅 창을 이용하여 다수의 시청자와 방송쟈키 간에 데이터를 주고받을 수 있다. 또한, 방송 중에 스트리밍 영상에 적용된 스티커 및/또는 이펙트를 기반으로 그로부터 파생되는 각종 광고 콘텐츠를 시청할 수 있고, 연관된 상품을 구매하는 등의 광고 관련 수익을 일으키는 역할을 수행하기도 한다.
본 발명의 실시예에 있어서, 제 1 클라이언트 단말(110) 및 제 2 클라이언트 단말(120) 중 적어도 하나는 이동국(MS), 사용자 장비(UE; User Equipment), 사용자 터미널(UT; User Terminal), 무선 터미널, 액세스 터미널(AT), 터미널, 고정 또는 이동 가입자 유닛(Subscriber Unit), 가입자 스테이션(SS; Subscriber Station), 셀룰러 전화, 무선 기기(wireless device), 무선 통신 디바이스, 무선송수신유닛(WTRU; Wireless Transmit/Receive Unit), 이동 노드, 모바일, 모바일국, 개인 휴대 정보 단말(personal digital assistant; PDA), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 소비자 전자기기(CE) 또는 다른 용어들로서 지칭될 수 있다. 단말의 다양한 실시예들은 셀룰러 전화기, 무선 통신 기능을 가지는 스마트 폰, 무선 통신 기능을 가지는 개인 휴대용 단말기(PDA), 무선 모뎀, 무선 통신 기능을 가지는 휴대용 컴퓨터, 무선 통신 기능을 가지는 디지털 카메라와 같은 촬영장치, 무선 통신 기능을 가지는 게이밍 장치, 무선 통신 기능을 가지는 음악저장 및 재생 가전제품, 무선 인터넷 접속 및 브라우징이 가능한 인터넷 가전제품뿐만 아니라 그러한 기능들의 조합들을 통합하고 있는 휴대형 유닛 또는 단말기들을 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 다른 실시예에 따르면, 제 1 클라이언트 단말(110)은 카메라를 통해 현재 촬영되는 피사체만이 소스(source) 영상이 되는 것이 아니라, 기존 스트리밍 중인 방송 또는 녹화된 동영상을 소스로 사용하여 스티커/이펙트를 적용할 수 있다. 예컨대, 타 단말에서 방송 중인 스트리밍 영상을 중계하는 경우에도 스티커를 적용할 수 있다.
또한, 제 2 클라이언트 단말(130)과 같이 시청자의 단말에서도 스티커/이펙트를 적용하여 또 다른 클라이언트 단말로 제공할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 방법에 따라 스티커 및/또는 이펙트를 적용한 스트리밍 영상을 포함하는 방송 화면을 나타낸 도면이다.
도 2를 참조하면, 제 1 클라이언트 단말을 통해 방송쟈키는 개인방송을 진행할 수 있다. 방송은 영상을 기반으로 수행될 수 있고, 모바일 기기나 PC와 같은 데스크 탑 기기에서 모두 실행될 수 있다. 방송 화면을 보면, 방송화면은 스트리밍 영상이 표시되는 부분, 채팅 창 부분 및 채팅 메시지를 작성하는 부분을 포함한다. 이때, 방송쟈키는 스트리밍 영상에 스티커 및/또는 이펙트를 적용할 수 있다.
도 2의 좌측 도면은 스티커 및/또는 이펙트 적용 전 화면이고, 도 2의 우측 도면은 스티커 및/또는 이펙트를 적용한 화면이다. 스티커 및/또는 이펙트를 적용하기 위해 스티커/이펙트 적용메뉴로 들어가면 스티커/이펙트 관련 메뉴(210)가 표시된다. 이때, 스티커 적용을 위한 선택 메뉴(210) 및 상기 선택 메뉴(210)로 들어가기 위한 아이콘은 시청자들의 화면과 별개로 제 1 클라이언트 단말 인터페이스에만 보이도록 할 수 있다. 여기에는, 서버 장치로부터 획득한 다양한 종류의 스티커/이펙트가 표시된다. 스티커/이펙트의 주변에는 숫자가 표시될 수 있다. 이는 해당 스티커/이펙트를 사용했을 때, 광고수익으로 얻을 수 있는 금액과 연관된다. 즉, "10"의 숫자가 표시된 특정 브랜드와 연관된 스티커를 사용하였을 때, 해당 브랜드로부터 10 포인트의 광고수익을 제 1 클라이언트 단말의 사용자(즉, 방송쟈키)가 획득할 수 있다. 이때, 10 포인트는 정해진 포인트-원화 환전기준에 따라 1 천원이 될 수도 있고, 10원, 100원 등의 가치로 환산될 수 있다. 본 발명의 실시예에 따르면, 해당 스티커/이펙트를 사용하기만 하면 광고수익 관련 포인트가 획득되도록 하는 정책이 있는가 하면, 스티커/이펙트 사용을 통해 라이브 방송 스트리밍 영상에 스티커/이펙트가 적용되고, 적용된 스티커/이펙트를 본 제 2 클라이언트 단말(시창자)에서 적용된 스티커/이펙트를 이용하여 2차적인 행위가 있을 때, 해당 포인트를 제 1 클라이언트 단말의 사용자가 획득하도록 하는 정책이 있을 수 있다. 이를 위해 제 2 클라이언트 단말에서의 2차적인 행위에 대한 모니터링이 수행될 수 있다.
도 2의 우측도면을 참조하면, 방송쟈키는 자신을 꾸미기 위해, 털모자 모양의 일반 스티커(220-1: 광고용 스티커와 차별화된 스티커)를 적용시킬 수 있다. 이때, 예를 들어, 디스플레이되는 영상(제 1 스트리밍 영상)의 하단부에 겨울을 나타내는 것처럼 눈과 눈사람을 포함하는 이펙트를 스티커(220-1)와 동시에 적용할 수 있다. 여기에, 특정 브랜드의 립스틱 스티커(220-2)를 선택 및 적용하여 화면의 특정 위치에 표시할 수 있다. 특정 브랜드의 립스틱 스티커(220-2)는 광고용 스티커로 화면 우측 상단에 원형(230)으로 관련 광고 콘텐츠 및/또는 관련 광고 링크가 표시되도록 트리거링할 수 있다. 해당 방송 시청자는 방송쟈키의 라이브 방송 스트리밍 영상에 표시된 광고용 스티커 또는 스티커와 연관된 광고콘텐츠 및/또는 링크를 보고, 주변을 클릭하여 광고와 연관된 상품을 안내하는 페이지로 이동할 수 있다. 이때, 시청자의 스티커에 대한 2차적인 동작을 서버 장치가 감지하여 각 행위에 대응되는 포인트를 방송쟈키에게 분배할 수 있다. 상기 2차적인 동작은 상품 구매, 상품 둘러보기, 상품 장바구니 담기 등의 행위 등의 웹을 통한 쇼핑행위로 구분될 수 있고, 구분된 행위는 각 행위에 매칭되는 포인트를 가질 수 있다. 그리고, 이러한 광고와 연관된 상품, 및 상품에 대한 시청자의 행위를 서버가 인지하여 그에 대한 보상을 방송쟈키가 공유할 수 있도록 한다. 상기 보상은 방송쟈키뿐만 아니라 해당 방송국에 입장한 시청자들에게 공유될 수도 있다.
본 발명의 실시예에 따르면, 서버장치를 통해 제공되는 스티커/이펙트 메뉴에 포함된 특정 스티커/이펙트는 복수 개의 스티커 요소를 포함할 수 있다. 즉, 하나의 스티커를 클릭하여 방송 스트리밍 영상에 적용할 시, 입술 모양이 화면 전반에 걸쳐 10개 이상 나타나도록 할 수 있다. 즉, 하나의 스티커가 복수 개의 스티커요소를 포함하되, 제 1 위치에 제 1 스티커 요소를 배치하고 제 2 위치에 제 2 스티커 요소를 배치하는 등 전체 화면에 걸쳐 스티커요소가 배치되는 스티커를 활용할 수 있다. 이러한 스티커/이펙트와 연관된 정보는 서버장치가 방송 플랫폼 정보에 포함시켜 보유하고 있을 수 있고, 방송 플랫폼 정보를 획득하여 방송을 진행하는 제 1 클라이언트 단말도 보유하고 있을 수 있다.
본 발명의 일 실시예에 따르면, 상기 방송 스트리밍 영상을 제 1 클라이언트 단말에서 생성한다. 경우에 따라, 스티커/이펙트의 적용과 관련하여서는, 서버장치에서 스티커/이펙트가 적용된 스트리밍 영상을 생성할 수도 있다. 즉, 피사체를 카메라로 촬영하여 생성하거나 기 저장된, 또는 타 단말로부터 수신되는 영상을 기반으로 생성된 기본 스트리밍 영상을 제 1 클라이언트 단말에서 생성한 후, 이를 서버 장치로 전송하고, 스티커/이펙트의 선택과 관련된 신호를 제 1 클라이언트 단말에서 서버 장치로 제공하면, 서버 장치가 상기 스티커/이펙트이 선택과 관련된 신호를 파싱하여 선택된 스티커/이펙트를 기본 스트리밍 영상에 적용하고, 적용된 스트리밍 영상을 다시 제 1 클라이언트 단말 및/또는 제 2 클라이언트 단말로 송출하는 형태로 방송이 진행될 수 있다.
본 발명의 다른 실시예에 따르면, 방송 플랫폼 정보에 포함되어 제 1 클라이언트 단말로 제공되는 스티커/이펙트 선택 메뉴에 포함된 스티커/이펙트 정보는 제 1 클라이언트 단말의 사용자(즉, 방송쟈키)의 식별정보(예컨대, 방송쟈키의 사용자 계정)에 따라 다르게 제공될 수 있다. 즉, 제 1 사용자가 음악과 관련된 개인방송을 추구하는 경우, 음악과 관련된 스티커/이펙트들이 다수 포함된 스티커/이펙트 세트가 선택 메뉴로 제공될 수 있다. 또는, 음식과 관련된 개인방송을 추구하는 경우, 각종 음식/후식 및 배당과 관련된 제휴사들과 연관된 스티커/이펙트 세트가 다수 포함된 메뉴가 제공될 수 있다. 즉, 사용자의 방송특성을 고려하여 스티커/이펙트 정보를 달리 생성할 수 있고, 이렇게 다르게 생성된 스티커/이펙트 정보가 방송 플랫폼 정보에 포함되어 제 1 클라이언트 단말로 제공될 수 있다. 또한, 제 1 클라이언트의 IP, 서비스 형태별로 서로 다른 스티커/이펙트 세트가 제공될 수도 있다. 이러한 개인 맞춤형 스티커/이펙트를 제공하기 위해, 사용자의 방송과 관련된 데이터 또는 스티커/이펙트 사용과 관련된 이력들은 서버 장치에 저장되고, 서버장치는 저장된 데이터들을 기반으로 다양한 통계 알고리즘을 통해 맞춤형 스티커/이펙트를 제 1 클라이언트 단말로 제공할 수 있다.
본 발명의 다른 실시예에 따르면, 방송 중 채팅창에 사용되는 텍스트, 및/또는 방송쟈키가 사용하는 멘트를 분석하여 분석된 텍스트 및/또는 멘트에 대응하는 스티커/이펙트를 선택하는 화면이 자동으로 표시되도록 하는 기능도 부가할 수 있다. 이는 특정 텍스트 및 멘트를 서버장치에 기 저장해 놓고, 저장된 텍스트 및 멘트가 인식되면 그에 대응되는 스티커/이펙트를 선택하기 위한 메뉴가 자동으로 팝업되도록 함으로써 달성될 수 있다.
도 3은 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 방법 및 라이브 스트리밍 서비스 제공 방법을 개략적으로 나타낸 흐름도이다.
도 3을 참조하면, 제 1 클라이언트 단말(310)은 라이브 방송 스트리밍 영상을 생성함에 있어서, 먼저, 서버장치(320)로부터 방송 플랫폼 정보를 획득한다(S310). 이때, 방송에 시청자로써 참여하는 제 2 클라이언트 단말(330)도 방송 플랫폼 정보를 서버 장치(320)로부터 함께 획득할 수 있다(S310). 방송 플랫폼 정보에는 방송을 위한 각종 정보들이 포함된다. 이는 도 4를 통해 보다 상세히 설명한다.
도 4는 서버에서 클라이언트 단말로 제공되는 플랫폼 정보를 구체적으로 설명하기 위한 개념도이다.
도 4를 참조하면, 플랫폼 정보는 서버(410)에서 클라이언트 단말(420)로 제공된다. 클라이언트 단말(420)은 제 1 클라이언트 및/또는 제 2 클라이언트를 포함할 수 있다. 플랫폼 정보는 스트리밍과 연관된 애플리케이션 또는 프로그램을 단말에 설치하기 위한 정보를 포함한다. 플랫폼 정보는 방송 플랫폼 정보를 포함할 수 있다. 방송 플랫폼 정보는 방송과 관련된 애플리케이션 또는 프로그램을 단말에 설치하기 위한 정보를 포함한다. 이에 따라 단말은 상기 정보를 기반으로 방송을 단말에서 실행할 수 있도록 하는 애플리케이션/프로그램이 설치한다.
플랫폼 정보는 트랙킹(tracking) 알고리즘을 포함한다. 트랙킹 알고리즘은 페이스(face) 트랙킹 알고리즘을 포함한다. 즉, 트랙킹 알고리즘은 움직이는 피사체의 움직임을 따라가기 위한 정보를 획득하는 알고리즘으로, 특정 스티커가 적용되는 특정 피사체(예컨대, 얼굴, 또는 얼굴 중에서도 입, 코 등등)의 적어도 하나의 특징점을 특정하고, 특정된 적어도 하나의 특징점의 움직임과 관련된 정보(예컨대, 좌표의 이동)를 획득하는 알고리즘을 포함한다. 이러한 트랙킹 알고리즘을 기반으로 움직이는 피사체의 이동을 감지하여, 감지된 이동거리에 대응하는 스티커의 이동거리를 산출하고, 산출된 이동거리만큼 스티커/이펙트를 이동시켜, 피사체의 움직임을 따라 스티커/이펙트도 움직이도록 할 수 있다. 다만, 스티커 각각의 성격에 따라 트랙킹이 필요한 경우도 있고 그렇지 않은 경우도 있기 때문에, 트랙킹 정보에 따른 스티커의 이동은 스티커의 성격에 대응하여 적용되는 것이 바람직하다.
플랫폼 정보는 각종 스티커/이펙트 정보를 포함한다. 이는 서버장치가 저장하고 있는 모든 스티커/이펙트 정보뿐만 아니라 사용자 및 서비스별로 맞춤형 스티커/이펙트 세트 정보도 포함한다. 이러한 스티커/이펙트 정보는 스티커/이펙트와 연관된 정보가 새로 생성됨에 따라 계속 업데이트된다. 또한, 사용자의 사용이력 등의 통계 분석이 이루어짐에 따라 계속 업데이트된다. 업데이트된 스티커/이펙트 정보를 포함하는 플랫폼 정보는 각 단말로 주기적으로 제공될 수 있다. 또한, 스티커/이펙트 정보에는 특정 텍스트, 또는 음성인식에 따른 특정 멘트의 감지에 따라 그에 대응되는 스티커/이펙트 선택 메뉴의 발동과 관련된 정보도 포함된다. 또한, 본 발명의 다른 실시예에 따르면, 방송 플랫폼 정보와 관련하여, 상기 스티커/이펙트 세트는 제 1 클라이언트 단말의 위치 정보를 기반으로 해당 위치와 연관되거나 또는 대응되는 광고 스티커/이펙트를 기반으로 구성될 수 있다. 즉, 특정위치의 방송쟈키는 서버에 기설정된 상기 특정위치에 대응되는 광고 스티커/이펙트 세트를 포함하는 방송 플랫폼 정보를 방송쟈키에 전송하여 스트리밍 영상에 위치기반의 스티커/이펙트가 적용될 수 있도록 할 수 있다.
또는, 본 발명의 또 다른 실시예에 따르면, 시청자, 즉, 제 2 클라이언트 단말의 위치를 기반으로, 특정 광고 스티커가 기설정된 위치에 적용될 수 있도록 할 수 있다. 상기 지역 기반 스티커는 제 2 클라이언트 단말에서 수신되는 방송 스트리밍 영상에 직접 적용될 수 있다. 또는, 제 2 클라이언트 단말에서 제 3 클라이언트 단말로 중계되는 스트리밍 영상에 적용될 수도 있다.
방송 플랫폼 정보는 방송을 진행하기 위한 각종 기능적인 정보를 포함한다. 여기에는, 채팅, 화면배치, 각 방송국의 시청자들의 관리 등과 같은 정보가 포함될 수 있다.
방송 플랫폼 정보는 링크 감지 기능 정보를 포함하는데, 이는 제 2 클라이언트 단말을 통해 시청자가 스티커/이펙트에 반응하여 그와 관련된 광고 상품, 광고 콘텐츠, 광고 링크를 이용하는 행위를 감지하는 기능과 관련된 정보를 나타낸다. 즉, 시청자의 2차적인 행위는 광고수익 배분에 중요한 요소로 이용될 수 있기에 이를 감지하는 알고리즘은 중요하게 활용될 수 있다.
방송 플랫폼 정보는 비용 공유와 관련된 정책 정보를 포함한다. 이는, 스티커/이펙트의 방송 내 사용과 관련한 정책과 관련된 정보를 나타내는데, 예컨대, 특정 스티커의 사용만으로 포인트를 획득할 수 있는지, 특정 스티커와 연관된 시청자의 행위가 있을 경우, 포인트를 획득할 수 있는지 등에 대한 세부적인 정책 정보가 포함될 수 있다.
위와 같은 스트리밍 및/또는 방송과 관련된 다양한 정보, 그리고, 스트리밍 및/또는 방송에서의 스티커/이펙트 사용과 관련된 정보들이 플랫폼 정보에 포함되어 클라이언트 단말(420)로 제공된다.
다시 도 3으로 돌아가서, 플랫폼 정보를 획득한 제 1 및 제 2 클라이언트 단말(310, 330)은 스트리밍 및/또는 방송 관련 애플리케이션/프로그램을 설치한다(S312). 그리고는 설치된 애플리케이션/프로그램을 실행한다.
먼저, 방송과 연관된 스트리밍의 실시예에 있어서, 제 1 클라이언트 단말(310)은 방송국을 개설하여 개인방송을 시작한다(S314). 이때, 방송 개설과 함께, 방송 개설을 알리는 방송 개설정보가 서버(320)로 전송된다. 방송 개설정보에는 제 1 클라이언트 단말(310)과 연관된 사용자 계정, 총 입장가능한 시청자 수, 어떤 컨텐츠를 기반으로 하는지에 대한 컨텐츠 형태 등의 정보가 포함될 수 있다. 방송 개설 정보는 방송국 입장을 하고자 하는 시청자들의 단말, 즉 제 2 클라이언트 단말(330)로 제공될 수 있다(S318). 이는 제 2 클라이언트 단말(330)의 요청에 응답하여 이루어질 수 있다. 현재 개설된 방송국의 정보를 요청하면 그에 대한 응답으로, 개설된 방송국들의 정보가 제공된다. 제 2 클라이언트 단말(330)은 제공된 개설 방송국들 중 자신이 선택한 방송국으로 입장할 수 있다(S330).
방송을 개설한 제 1 클라이언트 단말(310)은 단말과 연동되는 카메라 또는 단말에 포함된 카메라를 이용하여 피사체를 촬영할 수 있다(S320). 이때, 피사체는 사용자 자신뿐만 아니라 다른 어떤 것도 가능하다. 그리고는, 단말의 디스플레이 수단을 통해 촬영된 영상을 디스플레이할 수 있다(S322). 촬영된 피사체의 디스플레이 화면이 스트리밍되어 방송이 된다. 방송 도중에, 스티커 및/또는 이펙트를 적용하고 싶어지면, 사용자 인터페이스를 통해 스티커 및/또는 이펙트의 선택을 위한 메뉴창을 띄우는 아이콘을 클릭한다. 그러면, 방송 플랫폼 정보에 포함된 다양한 스티커/이펙트들이 화면에 표시된다. 이때, 사용자의 계정, 단말의 종류, 개설된 방송국의 컨텐츠 형태와 관련된 정보를 기반으로 그에 대응되는 스티커/이펙트 세트가 생성되어 맞춤형으로 제공될 수 있다. 제 1 클라이언트 단말(310)은 제공된 스티커/이펙트 세트에서 적어도 하나를 선택한다(S324). 선택된 스티커/이펙트는 움직이는 피사체를 포함하는 디스플레이 영상 내의 적어도 일부에 적용되어 스트리밍 영상으로 생성된다(S326). 이렇게 스티커/이펙트가 적용된 스트리밍 영상은 서버(320)로 전송되고(S328), 서버(320)는 해당 방송국에 입장한 모든 시청자 단말(330)로 스트리밍 영상을 제공한다(S334).
도 5는 트랙킹 정보를 기반으로 스트리밍 영상을 생성하는 방법을 구체적으로 나타낸 상세흐름도이다.
도 5를 참조하면, 제 1 클라이언트 단말이 스티커/이펙트를 선택 적용함에 있어서, 정지된 상태로 적용될 수도 있지만, 움직이는 피사체에 따라 움직이는 형태로 적용할 수도 있다. 이를 위해, 먼저, 제 1 클라이언트 단말에서 적용할 스티커/이펙트가 선택되면(S510), 제 1 클라이언트 단말은 방송 플랫폼 정보 내에 포함된 트랙킹 알고리즘을 실행하여 피사체의 움직임을 트랙킹한다(S520). 트랙킹을 위해서는, 먼저 트랙킹 대상이 확정되어야 하는데, 이는 각 개별 스티커가 적용되는 대상 부위를 기반으로 특정할 수 있다. 예컨대, 모자 모양의 스티커는 인체의 머리 부분에 적용되기 때문에, 페이스 트랙킹을 통해 사람의 얼굴 부분의 상단 머리 부분을 트랙킹 대상 피사체로 확정한다. 이와 같은 방식으로, 각 스티커의 적용부위와 관련된 트랙킹 대상 피사체가 확정되면, 확정된 대상 피사체의 특징점을 추출한다. 추출 특징점은 트랙킹 알고리즘에 미리 설정되어 있을 수 있다. 예컨대, 메쉬(mesh) 기반의 얼굴 트랙킹에서 상단 부위의 메쉬를 기반으로 하는 윤곽선의 미리 설정된 특정 위치의 포인트가 특징점으로 추출된다. 그리고는, 해당 특징점을 매개로 스티커/이펙트가 적용되며, 피사체의 이동은 특징점의 이동을 의미하므로, 특징점의 이동경로를 산출하여 트랙킹 정보를 획득한다(S530). 그리고는, 획득된 트랙킹 정보를 기반으로 대상 피사체의 특징점의 이동경로를 따라서, 선택된 스티커를 이동시키면서 적용하면, 피사체의 움직임을 따라 스티커/이펙트도 자연스럽게 움직이도록 할 수 있다(S540). 이와 같이 움직임을 트랙킹하면서 적용된 스티커를 기반으로 스트리밍 영상을 생성할 수 있다(S550).
도 6은 광고와 연관된 스티커의 적용 및 적용된 스티커를 기반으로 한 광고수익을 공유하는 방법을 나타낸 흐름도이다.
도 6을 참조하면, 제 1 클라이언트는 방송 스트리밍 영상에 적용할 스티커/이펙트를 선택하고(S610), 이를 적용할 수 있다(S620).
이때, 적용된 스티커/이펙트가 광고와 연관성이 있는지 확인할 수 있다(S630). 광고와 연관성이 있다는 것은, 해당 스티커는 특정 사업체(예컨대, 브랜드)에서 제휴를 맺고 생성한 스티커일 수 있음을 의미한다. 그렇기 때문에, 해당 스티커는 특정 사업체의 상품과 연관하여 그에 대한 정보를 포함할 수 있다. 즉, 스티커 클릭시 사업체의 상품, 사업체 사이트 등으로 연결되거나, 관련 광고 동영상이 재생되는 등의 연계동작이 일어날 수 있다.
광고와 연관성이 없다면, 스티커/이펙트의 적용으로 시청자들에게 재미를 주는 기능을 수행하는 것이므로, 이로써 스티커/이펙트 적용의 목적을 달성하는 것이 된다. 하지만, 광고와 연관성이 있다면, 광고효과에 따른 수익분배 부분을 추가적으로 고려할 수 있다. 광고와의 연관성은 각 스티커 개별 특징 정보를 파싱하여 확인할 수 있고, 경우에 따라 플래그(flag)를 부여하여 광고 기반 스티커/이펙트는 "1"로 그렇지 않는 스티커/이펙트는 "0"으로 표시할 수 있다.
적용된 스티커/이펙트가 광고와 연관성이 있다면, 광고의 수익분배와 관련된 정책정보를 파싱한다. 이때, 사용과 함께 수익이 배분되는 방식인 경우, 제 1 클라이언트 단말에서의 광고 기반 스티커의 사용만으로 방송쟈키는 일부의 수수료를 획득할 수 있다. 이때, 해당 방송국에 입장된 시청자가 많을수록 광고효과는 극대화되므로, 스티커 사용시점의 해당 방송국의 입장 시청자의 수를 고려하여 수수료를 책정할 수 있다. 예컨대, "10" 포인트의 스티커의 경우, 10명의 시청자가 있는 경우, 100 포인트로, 100명의 시청자가 있는 경우, 1000 포인트로 책정하여 방송쟈키에게 수수료로 제공할 수 있다.
다만, 위와 같이 사용과 동시에 수수료가 책정되지 않고 해당 방송국의 시청자의 2차 행위를 기반으로 수수료가 책정되는 경우, 적용된 스티커/이펙트와 연관된 시청자의 단말에서의 행위를 감지한다(S640). 이는 서버장치에서 이루어질 수 있다. 시청자의 단말에서 적용된 스티커를 클릭하여 광고 동영상을 재생한다던지, 스티커의 브랜드와 연결된 사이트 등을 통해 상품 구매, 상품 둘러보기, 장바구니 담기 등의 동작이 이루어지면, 후속동작의 형태에 따라 그에 대응하는 보상이 방송쟈키에게 이루어질 수 있다. 또는 클릭동작의 횟수를 고려하여 수수료가 책정될 수도 있다. 즉, 위와 같이 다양한 방식을 통해 책정된 광고수익 중 적어도 일부의 금액은 방송쟈키의 계정과 연결된 계좌로 할당된다(S650). 즉, 방송쟈키는 이러한 수수료의 할당을 인센티브(incentive)로 고려하여 적절한 시점에 최대한 많이 광고 기반 스티커를 사용하도록 하고, 이를 통해 광고와 연관된 사업체도 다양한 광고효과를 누릴 수 있도록 한다.
도 7a 및 도 7b는 다양한 종류의 스티커 및 이펙트의 예시를 나타낸 개념도이다.
도 7a을 참조하면, 스트리밍 영상에서 특정 부위를 가리는 스티커(710)를 활용할 수 있다. 예컨대, 화장을 통해 즐거움을 주는 방송쟈키의 방송의 경우, 화장된 얼굴부위를 가리는 스티커(710)를 제공할 수 있다. 이때, 제 1 클라이언트 단말은 스티커(710)를 직접 이동시키면서 가릴 위치를 결정할 수 있고, 제 1 클라이언트 단말을 통해 결정된 상기 스티커(710)의 좌표 정보는 서버로 전달될 수 있다. 이때, 스티커(710)를 적용하지 않은 기본 스트리밍 영상 정보도 서버로 함께 전달될 수 있다.
도 7b를 참조하면, 상기 특정위치를 가리는 스티커(710)는 기본적으로 가려진 스티커 영역을 지워내기 위함이다. 다만, 이때, 모든 시청자에게 스티커 영역이 지워지면 가리는 효과가 적기 때문에, 시청자의 비용정산에 따른 클릭에 따라 스티커(710)의 일정 영역이 사라지게 하는 형태로 스티커(710)를 활용할 수 있다. 즉, 특정 시청자가 3번의 비용결제를 수행하면, 원하는 부위를 클릭하여 스티커(710) 영역 중 일부를 지울 수 있다. 즉, 눈 부위 및 코 부위(720)를 3차례 클릭하여 3개의 지워진 영역(720)을 확보할 수 있다. 이는 서버장치에서 기본 스트리밍 영상도 보유하고 있기에, 해당 부분의 스티커 영역만 기본 스트리밍 영상으로 대체함으로써 이루어질 수 있다. 또는, 기본 스트리밍 영상에 스티커(710)를 서버장치에서 생성하여 피사체 위에 올려놓고, 올려진 스티커(710)의 일부 영역을 지워냄으로써 이루어질 수도 있다. 이때, 지워지는 영역의 크기 및 지워지는 영역에 대한 클릭비용은 방송쟈키 및/또는 서버에서 결정할 수 있다. 또한, 스티커로 가리는 부분에 대해 다른 사람의 얼굴로 변경하여 송출하는 형태의 스티커를 적용할 수 있다. 제 1 클라이언트 단말의 피사체의 얼굴 부분에 대해 얼굴변경 스티커를 적용하면, 변경하고자 하는 다른 사람의 얼굴을 선택하는 메뉴가 표시되고, 해당 메뉴를 통해, 제 1 클라이언트 단말의 사용자가 다른 사람의 사진 또는 영상을 선택할 수 있고, 선택된 사진 또는 영상에서 다른 사람의 얼굴 부분을 트랙킹하여 추출한다. 그리고는, 얼굴변경 스티커가 존재하는 위치의 얼굴부분을 삭제하고, 추출된 다른 사람의 얼굴을 변경할 수 있다. 또는, 다른사람 얼굴 형태의 스티커를 메뉴에서 미리 제공하여 해당 스티커의 얼굴로 직접 변경할 수도 있다.
이러한 기능을 기반으로, 각 시청자는 서로 다른 클릭 횟수를 통해 서로 다른 스트리밍 영상을 획득할 수 있다. 이를 통해 시청자의 비용지출을 유도할 수 있고, 지출된 비용이 방송쟈키에게 흘러들어가게 함으로써(서버장치에서 서비스 제공자가 일부 수수료를 획득하는 것은 가능), 방송쟈키가 방송을 더욱 재밌게 하기 위한 인센티브를 주는 효과를 부여할 수 있다.
도 8은 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 장치를 나타낸 블록도이다. 도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 장치는 통신부(810), 카메라(820), 디스플레이부(830), 제어부(840), 입력부(850) 및 메모리(860)를 포함할 수 있다.
도 8을 참조하면, 통신부(810)는 서버장치 및 다른 장치와의 통신을 수행하는 기능을 갖는다. 통신부(810)는 무선 또는 유선 통신을 위한 장비를 포함한다. 예컨대, 안테나 및/또는 통신 프로세서를 포함할 수 있다.
카메라(820)는 피사체를 촬영하는 장치로써, 카메라(820)를 통해 촬영된 영상을 제어부(840)에서 처리된다. 카메라(820)는 상기 라이브 방송 스트리밍 영상 생성 장치 내부에 존재해도 되고, HDMI(High-Definition Multimedia Interface)와 같은 인터페이스를 통해 외부에 연결된 장치여도 무방하다.
디스플레이부(830)는 제어부(830)를 통해 영상처리된 영상을 출력한다. 디스플레이부(830)는 모니터, 터치스크린 및 TV 수신기 등으로 구현될 수 있다.
제어부(840)는 방송 앱 실행부(842), 트랙킹 정보 생성부(844), 적용부(846) 및 스트리밍 영상 생성부(848)를 포함할 수 있다.
방송 앱 실행부(842)는 통신부(810)를 통해 수신된 플랫폼 정보를 기반으로 스트리밍과 연관된 애플리케이션/프로그램을 설치 및 실행한다. 방송 스트리밍의 경우, 방송 앱 실행부(842)는 방송 플랫폼 정보를 기반으로 방송 애플리케이션/프로그램을 설치하고, 입력부(850)를 통한 입력에 의해 방송 애플리케이션/프로그램을 실행한다. 이때, 로그인과 같은 프로그램 진입 동작이 수행될 수 있다.
트랙킹 정보 생성부(844)는 플랫폼 정보에 포함된 트랙킹 알고리즘에 따라 트랙킹 정보를 생성하여 적용부(846)로 제공한다.
적용부(846)는 스티커/이펙트를 적용하는 기능을 수행한다. 적용부(846)는 방송 애플리케이션/프로그램에 진입한 제 1 클라이언트 단말의 사용자의 계정, 제 1 클라이언트 단말의 IP, 및 방송 서비스 콘텐츠 및 형태 중 적어도 하나를 기반으로 적합한 스티커/이펙트 세트를 디스플레이부(830)를 통해 출력한다. 그리고는, 사용자의 선택과 연관된 입력을 입력부(850)를 통해 입력받아 선택된 스티커/이펙트를 대상 피사체 또는 디스플레이 화면(제 1 스트리밍 영상)의 일 영역에 적용한다. 이때, 트랙킹 정보를 기반으로 피사체의 움직임을 따라 스티커/이펙트가 적용될 수 있도록 한다.
스트리밍 영상 생성부(848)는 카메라(820)를 통해 촬영된 영상을 처리하여 기본 스트리밍 영상을 생성한다. 여기서는, 인코딩 및 디코딩이 수행될 수 있다. 그리고, 스티커/이펙트의 적용시 스티커/이펙트가 적용된 제 2 스트리밍 영상에 대한 처리도 수행될 수 있다.
입력부(850)는 키보드, 마우스, 터치 패드와 같이 사용자 입력을 처리하기 위한 인터페이스이다.
메모리(860)는 제어부(840)에서 수행되는 각 기능과 관련된 명령어(또는 지시어)들이 저장되어 있다. 메모리(860)는 방송 플랫폼 정보를 기반으로 하는 명령어들이 포함되어 있고, 통신부(810)를 통해 서버장치나 타 장치로부터 수신된 정보들이 저장될 수 있다.
도 9는 본 발명의 일 실시예에 따른 라이브 스트리밍 서비스 제공 장치를 나타낸 블륵도이다. 도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 라이브 스트리밍 서비스 제공 장치는 통신부(910), 제어부(920), 입력부(930) 및 메모리(940)를 포함할 수 있다.
통신부(910)는 제 1 클라이언트 단말 및 제 2 클라이언트 단말과의 통신을 책임지는 장치이다.
제어부(920)는 애플리케이션을 관리하는 제어하는 구성요소로써, 계정관리부(921), 방송 플랫폼 관리부(923), 스트리밍 영상 처리부(925), 적용여부 판단부(927) 및 광고 수익 처리부(929)를 포함할 수 있다.
계정 관리부(921)는 애플리케이션(예컨대, 방송 애플리케이션)에 로그인하는 계정과 관련된 정보를 관리한다. 각 계정의 개인정보뿐만 아니라 각 계정에서 수행했던 방송 관련 이력을 관리할 수 있다. 예컨대, 특정 사용자계정을 통해 개설된 방송국 개설 시간, 개설 포맷, 취급 콘텐츠, 서비스 유형 등의 정보, 타 사용자가 개설한 방송국에 입장과 관련된 정보, 및/또는 선택 및 적용했던 스티커/이펙트의 이력 등을 관리할 수 있다.
방송 플랫폼 관리부(923)는 도 4의 플랫폼 정보(방송 플랫폼 정보를 포함함)를 관리한다. 여기에는 주기적인 소프트웨어에 대한 업그레이드뿐만 아니라 사용자의 방송 관련 사용 이력에 따른 맞춤형 스티커/이펙트 세트의 생성도 포함된다.
스트리밍 영상 처리부(925)는 제 1 클라이언트 단말로부터 수신된 제 1 스트리밍 영상 및/또는 제 2 스트리밍 영상을 처리한다. 스트리밍 영상 처리부(925)는 제 1 클라이언트 단말로부터 스티커/이펙트 적용이 되지 않은 기본 스트리밍 정보(제 1 스트리밍 영상)와 스티커/이펙트가 적용된 스트리밍 영상(제 2 스트리밍 영상)을 함께 수신할 수 있고, 이를 독립적으로 처리할 수 있다. 예컨대, 기본 스트리밍 영상 정보를 수신한 상태에서, 특정 스티커의 적용 요청과 관련된 신호를 수신하여 수신된 신호를 파싱함으로서 요청된 스티커를 상기 기본 스트리밍 영상에 적용하여 스티커가 적용된 스트리밍 영상을 직접 생성할 수 있다.
또한, 제 2 클라이언트 단말에서의 스티커와 연관된 요청을 개별적으로 처리하여 서로 다른 단말에서 스티커의 영역과 관련하여 서로 다른 스트리밍 영상을 볼 수 있도록 영상처리를 수행한다.
적용 여부 판단부(927)는 스티커의 적용 여부뿐만 아니라, 광고용 스티커의 적용 여부를 판단한다. 광고용 스티커의 경우, 어떤 사업체(또는 브랜드)와 연관되어 있는지 판단한다.
광고 수익 처리부(929)는 스티커와 연관된 광고 수익을 배분한다. 특히, 광고용 스티커의 경우, 상기 광고용 스티커를 본 시청자들(해당 방송국에 입장되어 있는 시청자들)이 해당 브랜드와 링크되는 임의의 동작을 감지하여 광고 매출에 따른 수익을 방송쟈키, 라이브 방송 서비스 제공 서버(및/또는 스티커 제공 서버(도 10 참조))가 함께 공유할 수 있다. 이때, 광고 수익의 배분에는 광고용 스티커와 관련된 링크에 대한 CPC(Cost Per Click) 방식, PPC(Pay Per Click) 방식, CPT(Cost Per Time) 방식, CPM(Cost Per Mile) 방식, CPM(Cost-per-Millenium) 방식, CPI(Cost per Impression) 방식, CPCon(Cost Per Conversion) 방식 등이 활용될 수 있다.
입력부(930)는 방송 애플리케이션과 연관된 각종 사용자 설정을 변경하기 위한 사용자 입력을 처리하기 위한 인터페이스이다.
메모리(940)는 제어부(920)에서 수행되는 각 기능과 연관된 명령어들이 저장되어 있다. 예컨대, 계정과 연관된 사용자 이력 정보, 스티커의 사용 이력 정보, 스티커 자체 정보(광고용 스티커인지, 광고용 스티커의 경우 어떤 사업자 및 어떤 링크와 연관되어 있는지에 대한 정보 등), 광고 수익 배분과 연관된 정책 정보 등을 포함할 수 있다.
도 10은 본 발명의 다른 실시예에 따른 라이브 스트리밍 시스템을 나타낸 블록도이다. 도 10에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 라이브 스트리밍 시스템은 제 1 클라이언트 단말(1010), 서버(1020), 제 2 클라이언트 단말(1030), 스티커 제공 서버(1040) 및 광고주 서버(1050)를 포함할 수 있다.
도 10을 참조하면, 제 1 클라이언트 단말(1010), 서버(1020), 제 2 클라이언트 단말(1030)에서의 동작은 앞서 설명한 바와 유사하다.
스티커 제공 서버(1040)는 페이스 트래킹 개발키트(SDK: Software Development Kit)를 라이브 방송 서버(1020)로 제공하여, 라이브 방송 서비스의 웹 또는 앱 클라이언트(1010, 1030)에 적용할 수 있다. 그리고, 제 1 클라이언트 단말(1010)에서 방송쟈키가 사용하는 방송 서비스에 스티커 인벤토리를 오픈하여 이 중 적어도 하나를 선택사용할 수 있게 한다. 다양한 라이브 방송 서비스들을 위해, 스티커 제공 서버(1040)의 스티커 아카이브(archive)에 저장된 다양한 스티커가 동시에 제공될 수 있다.
스티커 제공 서버(1040)는 애드 네트워크(Ad network)처럼 광고주들이 희망하는 매체에 스티커를 제공하고 운영할 수 있다. 또한, 광고용 스티커(브랜드 제휴 스티커) 이외에도 방송에 사용되는 배경음원, 전문적인 이펙트, 자막 기능 및 중간광고 등의 컨텐츠를 서버(1030)로 실시간 제공할 수 있다. 서버(1030)는 이와 같이 제공되는 정보를 클라이언트 단말(1010, 1030)로 제공할 수 있다.
이러한 작용을 구현하기 위해, 스티커 제공 서버(1040)는 페이스 트랙킹 SDK 및 유저사용 트랙커를 라이브 방송 서버(1030)에게 제공하고, 라이브 방송 서버(1030)는 유저 사용 데이터 및 기능 프로모션과 관련된 정보를 스티커 제공 서버(1040)로 제공할 수 있다. 그리고는, 양자가 함께 광고 매출을 공유할 수 있다.
스티커는 앞서 설명한 바와 같이, 웹과 모바일 환경에서 모두 적용이 가능하고, 방송쟈키는 자신의 방송국에서 방송을 시청하고 있는 시청자에게 스티커가 적용된 화면을 보여주어 방송의 재미를 극대화시킬 수 있다. 특히, 브랜드 제휴 스티커를 활용하는 경우, 브랜드 제휴 스티커를 본 시청자들이 해당 브랜드와 링크되는 임의의 동작을 감지하여 광고 매출에 따른 수익을 방송쟈키, 라이브 방송 서비스 제공자(즉, 서버(1020)) 및 스티커 제공서버(1040)가 함께 공유할 수 있다. 이때, 광고 수익의 배분에는 브랜드 제휴 스티커와 관련된 링크에 대한 CPC(Cost Per Click) 방식, PPC(Pay Per Click) 방식, CPT(Cost Per Time) 방식, CPM(Cost Per Mile) 방식, CPM(Cost-per-Millenium) 방식, CPI(Cost per Impression) 방식, CPCon(Cost Per Conversion) 방식 등이 고려될 수 있다.
본 발명의 또 다른 실시예에 따르면, 광고수익의 배분시 서버장치는 제 1 클라이언트 단말을 통한 방송에 출연하고 있는 방송출연자와 관련된 계정 및/또는 방송 시청자들의 계정으로도 수익을 분배할 수 있다. 즉, 광고 스티커가 방송출연자에게 사용될 시 상기 스티커가 적용된 방송출연자의 정보를 획득하여 획득된 정보와 연관된 계좌로 광고수익 중 일부를 분배할 수 있다. 또한, 시청자가 스트리밍 영상의 광고 스티커를 시청하는 시점에서, 로그를 남기고 광고 수익 중 일부를 공유할 수도 있다.
도 11은 본 발명의 일 실시예에 따른 라이브 스트리밍 영상 생성 장치에서 사용자가 직접 저작한 스티커를 기반으로 스트리밍 영상을 생성하는 방법을 개략적으로 나타낸 흐름도이다.
도 11을 참조하면, 클라이언트 단말은 방송과 관련된 애플리케이션을 실행하여 카메라에 의해 촬영되는 피사체를 디스플레이한다(S1110). 그리고는, 스티커/이펙트 적용 메뉴를 시작하고 해당 메뉴에서, 스티커 저작 툴(tool)을 실행한다(S1120). 스티커 저작 툴은 방송 애플리케이션의 스티커/이펙트 적용 메뉴 중의 하나의 기능으로 제공될 수 있다. 사용자가 스티커 저작 툴을 선택하면, 단말은 디스플레이 화면에 스티커 저작을 위한 메뉴를 표시한다. 본 발명의 다른 실시예에 따르면, 촬영 중이 아니라 단말 내에 기 저장된 사진 또는 동영상을 이용하여 스티커를 저작할 수도 있다.
그리고는, 스티커 저작을 위한 모드를 선택한다(S1130). 여기서, 저작을 위한 모드는 제 1 모드 및 제 2 모드, 두 가지 모드를 포함할 수 있다.
제 1 모드는 얼굴과 같은 피사체를 인식하는 모드로써, 사용자가 입력하여 생성한 스티커 디자인 요소를 디스플레이되는 피사체 중 적어도 하나와 연관시키는 모드이다. 이때, 피사체의 윤곽이 스티커 디자인 요소와의 관계를 결정짓는 요소로써 고려될 수 있다. 피사체의 윤곽은 기 저장된 윤곽 템플릿을 이용하여 식별될 수 있다. 예컨대, 피사체가 얼굴인 경우, 얼굴 내의 눈, 코, 입과 같은 복수 개의 컴포넌트의 전반적인 배치 정보를 포함하는 윤곽 템플릿을 미리 저장하고 있다가, 디스플레이되는 화면에 디스플레이된 얼굴 및 얼굴 내의 컴포넌트들의 윤곽을 미리 저장된 윤곽 템플릿에 매칭시켜, 얼굴임을 먼저 인식하고, 인식된 얼굴의 윤곽정보를 식별하여 저장한다. 이때, 얼굴과 배경을 구분하기 위해 밝기, 움직임, 색상, 눈 위치 추정 등의 정보가 이용될 수 있다. 이때, 얼굴의 주요부분을 분석하여 미세한 오차는 버리고 큰 특징만 잡아 기 저장된 얼굴 템플릿과 비교하는 것이 효율적일 수 있다. 본 발명의 실시예에서, 윤곽 템플릿은 반드시 얼굴과 관련된 것만 있는 것이 아니라, 팔, 다리, 손 등과 같이 인체의 다른 부위에 관한 것도 있을 수 있다.
제 1 모드의 경우, 피사체와의 연관성을 갖기 때문에, 피사체의 움직임 및/또는 피사체의 크기 변화 등에 반응하여 사용자가 생성한 스티커 디자인 요소도 움직이고 크기가 변할 수 있다.
제 2 모드는 피사체와의 연관성을 고려하지 않고, 디스플레이되는 화면과의 연관성, 즉, 디스플레이 화면 내의 특정 위치에 표시되도록 디자인하는 모드이다. 제 2 모드의 경우, 스티커 디자인 요소는 피사체의 움직임에 영향을 받지 않고, 디스플레이 화면 내 정해진 위치에 고정된 크기로 표시될 수 있다. 경우에 따라 제 2 모드에서도, 사용자의 설정에 의해 크기 변화 등 움직이는 효과를 부여할 수도 있다.
모드 선택을 완료하면, 사용자는 사용자 인터페이스(예컨대, 터치 스크린, 키보드, 마우스 등)을 통해 스티커 디자인을 위한 사용자 입력을 입력받는다(S1140). 스티커 디자인을 위한 사용자 입력은 텍스트 입력이 있을 수 있고, 드로잉(drawing) 모드를 통한 입력이 있을 수 있다. 드로잉 모드는 두둘링(doodling) 모드라고 불릴 수 있다. 텍스트 입력은 자판을 이용한 타이핑을 통해 입력함으로써 스티커 디자인 요소가 생성될 수 있고, 드로잉 모드는 사용자가 선택한 선 또는 도형을 기반으로 마우스 또는 터치 스크린을 통해 입력함으로써 스티커 디자인 요소가 생성될 수 있다.
본 발명의 실시예에 따르면, 상기 텍스트와 드로잉 외에 도형 및 이미지를 불러올 수 있다. 도형은 정지 도형, 애니메이션(animation) 도형, 또는 3D 오브젝트(object)를 포함할 수 있고, 이미지는 카메라 또는 앨범에서 불러와서 스티커 디자인 요소로 사용될 수 있다. 도형은 실선, 삼각형, 사각형, 화살표, 꺽인 선, 반달모양, 구름, 하트, 수식 관련 도형, 순서도 관련 도형 등을 포함할 수 있다. 이러한 도형들은 미리 템플릿에 저장되어 있을 수 있다.
본 발명의 다른 실시예에 따르면, 사운드(sound), 특정 애니메이션을 호출할 수 있는 기능적인 도형 등 다른 이펙트(effect)들도 스티커 디자인 요소로 활용될 수 있다.
클라이언트 단말은 이렇게 입력된 스티커 디자인 요소를 사용자 저작 스티커로써 기억하기 위해 각 스티커 디자인 요소의 화면 내 좌표 정보를 식별한다(S1150). 좌표 정보는 디스플레이되는 화면에서 스티커 디자인 요소와 관련된 픽셀의 좌표를 식별함으로써 인식된다. 식별된 좌표정보는 사용자가 선택한 모드에 따라 디스플레이 화면 또는 피사체와의 연관성을 나타내는 관계정보로써 활용될 수 있다.
입력된 스티커 디자인 요소의 좌표를 식별하고 나면, 제 1 모드인지 제 2 모드인지 판단한다(S1160). 만약, 제 1 모드(피사체 인식 모드)인 경우, 피사체의 윤곽과 연관성을 갖도록 하고, 제 2 모드는 디스플레이 화면과 연관성을 갖도록 한다. 제 1 모드와 제 2 모드로의 전환은 스티커 저장 전에 언제든지 가능하고, 따라서, 모드 전환을 감지하면, 제 2 모드로 해석된 스티커 디자인 요소들이 모두 제 1 모드로 해석될 수 있다. 즉, 단계(S1165)를 통해 해석된 스티커 디자인 요소들이 단계(S1170) 내지 단계(S1190)을 거쳐 해석될 수 있고, 그 반대도 가능하다.
단계(S1160)에서 제 1 모드를 선택한 경우, 먼저, 윤곽 템플릿을 이용하여 피사체의 윤곽을 식별한다(S1170). 단말은 스티커 디자인 요소를 모두 포함하는 도형(예컨대, 사각형)을 이미지로 저장하고 저장된 이미지 내의 피사체를 인식하여 식별된 피사체의 윤곽을 식별한다. 이때, 피사체는 상기 이미지 내에 복수 개 있을 수 있다. 예컨대, 얼굴이 피사체가 될 수도 있고, 손, 팔 등과 같은 사람의 다른 부위가 피사체가 될 수도 있다. 클라이언트 단말은 기 저장된 피사체의 윤곽 템플릿을 기반으로 피사체를 인식하고, 해당 피사체의 윤곽을 식별한다. 이때, 윤곽과 관련된 픽셀의 좌표 정보를 확인할 수 있다.
그리고는, 단계(S1150)에서 식별한 스티커 디자인 요소의 좌표 정보를 기반으로 식별된 피사체의 윤곽과 스티커 디자인 요소를 관계짓는 관계정보를 생성한다(S1180). 본 발명의 실시예에 따르면, 상기 저장된 이미지에 포함된 피사체의 윤곽을 기반으로 피사체의 중심점을 찾는다. 그리고는 중심점으로부터 피사체의 윤곽까지의 거리를 기반으로, 피사체의 윤곽 또는 상기 중심점으로부터 스티커 디자인 요소까지의 거리를 고려하여 스티커 디자인 요소와 피사체의 관계를 파악할 수 있다. 그리고는 파악된 관계에 기반하여 관계정보를 생성할 수 있다.
다른 실시예에 따르면, 단계(S1180)에서, 기 저장된 윤곽 템플릿 상에서 상기 동기포인트와 대응되는 지점을 찾는다. 동기 포인트는 현재 디스플레이되는 실제 피사체의 윤곽, 스티커 디자인 요소 및 기 저장된 윤곽 템플릿을 동기화하기 위한 지점으로써, 피사체의 윤곽 상의 특정 지점으로 특정될 수 있다. 예컨대, 스티커 디자인 요소의 종단과의 연관관계를 갖는 피사체의 윤곽 상의 특정 지점이 동기 포인트가 된다. 또는, 스티커 디자인 요소의 시작점 및/또는 종점과 윤곽 상의 가장 가까운 지점이 동기 포인트가 될 수 있다. 경우에 따라, 스티커 디자인 요소와 윤곽이 만나는 지점이 동기포인트가 될 수 있다. 이와 같이 동기 포인트를 확정하는 알고리즘은 다양하게 존재할 수 있고, 이는 서버장치로부터 수신되는 방송 플랫폼 정보에 포함되어 수신할 수 있다. 실제 피사체의 윤곽 상의 동기포인트는 피사체와 매칭되는 윤곽 템플릿 상의 특정 지점에 대응되어 이를 기반으로 상기 윤곽 템플릿이 적용되는 타 피사체에 적절히 적용될 수 있다. 이렇게 생성되는 동기포인트는 관계정보로써 고려될 수 있다.
상기 관계 정보를 생성하면, 클라이언트 단말은 관계정보와 스티커 디자인 요소를 기반으로 사용자 저작 스티커를 로컬 영역에 저장한다(S290). 이때, 사용자는 저장 아이콘을 눌러 저장을 수행하도록 명령할 수 있다. 즉, 단계(S210) 내지 단계(S1180)까지의 과정을 통해 사용자 저작 스티커를 생성하는 것을 재미요소로 실시하다가 사용자가 스티커로 등록하고 싶을 정도로 선호하는 스티커가 생성되었다고 판단한 경우, 상기 저장 아이콘을 눌러 현재 실시되고 있는 스티커를 등록 및 저장할 수 있다. 즉, 스티커의 저장도 방송쟈키의 선호 여부에 의해 선택적으로 결정될 수 있다. 그리고는, 저장된 사용자 저작 스티커 정보 및 사용자 저작 스티커가 적용된 스트리밍 영상은 서버장치로 전송된다. 이를 수신한 서버장치는 시청자 클라이언트로 사용자 저작 스티커가 적용된 스트리밍 영상을 방송할 수 있다.
이때, 저장 및 전송되는 스티커 관련 정보는 관계정보, 피사체의 윤곽 및 각 스티커 디자인 요소 좌표 정보, 및 스티커 디자인 요소 자체 정보를 포함할 수 있다. 또는 관련된 윤곽 템플릿 정보가 더 저장될 수 있다. 이때, 관계정보는 동기 포인트 정보(예컨대, 피사체 상의 특정 지점 또는 그에 대응되는 윤곽 템플릿 상의 지점), 상기 동기 포인트와 스티커 디자인 요소와의 관계를 나타내는 정보(예컨대, 거리 정보 등)를 포함할 수 있다. 스티커 디자인 요소의 자체 정보는 스티커 디자인 요소의 타입(텍스트인지 드로잉인지), 드로잉인 경우 스티커 디자인 요소를 이루는 선의 색상, 두께, 형태 등의 정보 등을 포함할 수 있다.
만약, 단계(S1160)에서 제 2 모드를 선택한 경우, 제 2 모드로 들어가서, 스티커 디자인 요소의 좌표 정보를 기반으로 디스플레이 화면 내의 위치를 고려하여 사용자 저작 스티커를 생성 및 저장한다(S1165). 이때는, 피사체와 관련된 정보는 저장하지 않고, 디스플레이 화면과의 연관성을 위해 디스플레이 화면 내의 좌표 정보만이 저장될 수 있다.
미리 저장된 사진을 이용하는 경우는 관련 없지만, 촬영 중에 피사체는 계속 움직이고 크기도 변경될 수 있기 때문에, 피사체의 윤곽 및 스티커 디자인 요소의 픽셀 좌표를 식별하는 시점은 중요할 수 있다. 본 발명의 일 실시예에 따르면, 피사체의 윤곽 및 스티커 디자인 요소의 좌표를 식별하는 시점은 스티커 디자인 요소 생성을 위한 사용자 입력이 시작되는 순간 또는 사용자 입력이 완료되는 시점을 포함할 수 있다. 해당 시점에 맞춰 파사체 및 스티커 디자인 요소가 식별되고 상기 해당 시점 이후에 피사체의 변화에 대응하여 스티커 디자인 요소도 변화한다.
도 12a는 사용자가 저작한 스티커를 구현하기 위한 실제 애플리케이션의 화면을 나타낸 도면이다.
도 12a를 참조하면, 사용자 저작 스티커를 생성하는 툴은 방송 화면의 상단에 제 1 모드 및 제 2 모드를 선택하기 위한 아이콘(1202), 스티커 디자인 요소의 타입을 선택하는 아이콘(1204, 1206)을 표시한다. 아이콘(1202)을 누르면 제 1 모드로 동작하여 피사체의 윤곽과 연동하여 스티커가 움직이고, 아이콘(1202)을 누르지 않으면 피사체와의 연관 동작이 없기 때문에 피사체의 윤곽을 인식하지 않는다. 도 12a의 실시예는 제 1 모드를 선택한 상황을 가정한다.
또한, 아이콘(1204)을 선택하면, 텍스트 입력이 가능하고, 아이콘(1206)을 선택하면, 드로잉 모드로 사용자 입력이 가능하다. 도 12a의 실시예는 드로잉 모드를 선택한 상황을 가정한다.
드로잉 모드에서, 사용자는 화면 좌측의 드로잉을 위한 기본 선을 선택하는 메뉴(1220)를 통해 선의 두께 및 형태를 선택할 수 있다. 사용자는 드로잉하는 도중에 임의로 상기 메뉴(1220)를 이용하여 선의 두께 및 형태를 바꿀 수 있다. 예컨대, 선의 두께와 관련하여, 상단에 가장 두꺼운 선부터, 하단에 가장 얇은 선까지 다수 개의 두께를 선택하는 메뉴를 제공할 수 있다. 또한, 선의 형태를 선택하는 메뉴(펜 타입 또는 브러시 타입을 선택하는 메뉴)는 삼각형 모양의 선, 사각형 모양의 선, 원형의 선, 하트 모양의 선, 또는 두 가지 색상이 혼합된 선, 3차원 입체효과를 넣은 선, 그림자 효과를 넣은 선 등의 선택사항을 포함할 수 있다.
또한, 화면 하단에는 선의 색상을 선택하는 메뉴(1230)를 제공할 수 있다. 사용자는 제공되는 복수 개의 색상 중 하나를 선택하여 드로잉을 수행할 수 있다.
도 12a의 실시예에 있어서, 사용자는 얼굴을 포함하는 인체 상반신을 촬영하고 있고, 클라이언트 단말은 이를 디스플레이한다. 방송쟈키는 실시간으로 촬영되는 도중에 메뉴(1220)와 메뉴(1230)를 통해 선택한 선의 두께, 형태 및 색상으로 드로잉을 수행하여 복수 개의 스티커 디자인 요소(1210-1~1210-7)를 생성한다. 각 스티커 디자인 요소(1210-1~1210-7)를 위한 입력이 있을 때마다 메뉴(1220)와 메뉴(1230)를 통해 서로 다른 선을 이용할 수 있다. 전체적으로, 스티커 디자인 요소(1210-1, 1210-2)는 얼굴의 상단에 형성되어 토끼 귀 모양을 하고 있다. 스티커 디자인 요소(1210-3)는 하트 모양으로, 코 부근에 형성되어 있으며, 스티커 디자인 요소(1210-4~1210-7)는 코를 중심으로 발산되는 형태로 수염모양을 형성하고 있다.
클라이언트 단말이 이러한 스티커 디자인 요소들(1210-1~1210-7)을 인식하여 전체적인 사용자 저작 스티커로 저장하는 방법을 구체적으로 살펴보면, 클라이언트 단말은 각 스티커 디자인 요소(1210-4~1210-7)를 개별적으로 인식하여, 각 스티커 디자인 요소와 피사체를 연관시킨다. 즉, 스티커 디자인 요소(1210-4~1210-7)와 연관되는 피사체는 서로 다를 수 있다. 스티커 디자인 요소는 하나의 연결된 선으로 이루어진 도형, 한 번에 타이핑된 문자 단위로 인식될 수 있다.
도 12b는 도 12a의 화면에 표시된 스티커 디자인 요소와 피사체를 연관시키는 제 1 실시예를 나타낸 개념도이다.
도 12b를 참조하면, 사용자 입력에 의해 스티커 디자인 요소가 생성되면, 단말은 스티커 디자인 요소를 모두 포함하는 도형(1240)을 이미지 형태로 저장한다. 그리고는, 도형(1240) 내에 포함된 피사체를 식별한다. 도 12b의 실시예에서는 이미지 내의 피사체로 얼굴이 식별될 수 있다. 이때, 피사체는 피사체의 윤곽과 기 저장된 얼굴 템플릿을 매칭하여 얼굴로써 인식되고, 이를 기반으로 얼굴 윤곽 정보를 획득할 수 있다. 얼굴 윤곽이 획득되면, 얼굴 윤곽 정보를 기반으로 얼굴의 중심점(1242)의 좌표를 확보할 수 있다. 그리고는, 얼굴 중심점(1242)의 좌표와 얼굴의 윤곽과의 관계를 기반으로 피사체(얼굴)와 각 스티커 디자인 요소(1210-1~1210-7)와의 관계정보를 생성한다. 예컨대, 얼굴 중심점(1242)과 얼굴 윤곽까지의 거리와 상기 얼굴 중심점(1242)과 각 스티커 디자인 요소(1210-1~1210-7)와의 거리(d1, d2, d3, d4 포함)와의 관계를 관계정보로써 생성할 수 있다. 또는 얼굴 윤곽과 각 스티커 디자인 요소(1210-1~1210-7)까지의 거리가 관계정보로 고려될 수 있다. 각 스티커 디자인 요소(1210-1~1210-7)까지의 거리 계산시 각 스티커 디자인 요소(1210-1~1210-7)의 시작점 및 종점이 고려되는 것이 바람직할 수 있다.
이렇게 생성된 관계정보를 기반으로 얼굴 윤곽이 달라지면(예컨대, 얼굴의 형태가 변하거나 또는 얼굴의 크기가 변하는 경우), 중심점과 얼굴 윤곽까지의 거리도 달라지기 때문에 달라진 거리에 비례하게 각 스티커 디자인 요소(1210-1~1210-7)와의 거리도 변경될 수 있다.
도 12c는 도 12a의 화면에 표시된 스티커 디자인 요소와 피사체를 연관시키는 제 2 실시예를 나타낸 개념도이다.
도 12c를 참조하면, 스티커 디자인 요소(1210-1)는 시작점(1250-1)부터 입력이 시작되어 종점(1250-2)에서 입력이 종료된다. 클라이언트 단말은 시작점(1250-1) 및 종점(1250-2)을 인식하여 연관시킬 피사체를 식별할 수 있다. 본 실시예에서는 스티커 디자인 요소(1210-1)와 가장 가까우면서 매칭도가 높은 "얼굴"이 연관시킬 피사체로 선택된다. 이때, 피사체는 피사체의 윤곽과 기 저장된 얼굴 템플릿을 매칭하여 얼굴로써 인식되고, 이를 기반으로 얼굴 윤곽(1212) 정보를 획득하게 된다. 클라이언트 단말은 스티커 디자인 요소(1210-1)와 연관성을 갖는 피사체, 즉, 얼굴 윤곽(1212)과의 관계를 명확히 하기 위해, 동기포인트를 찾는다. 동기포인트는 얼굴 윤곽(1212) 상의 지점으로 시작점(1250-1) 및 종점(1250-2)과 특정 관계를 갖는 것이 바람직하다. 예컨대, 시작점(1250-1) 및 종점(1250-2)으로부터 가장 가까운 지점 등이 바람직할 수 있다. 또는 스티커 디자인 요소(1210-1)와 만나는 윤곽(1212) 상의 지점이 동기포인트가 될 수 있다. 동기 포인트와 관련된 정보는 피사체의 윤곽 상의 어느 지점인지를 지시하는 좌표정보를 포함하며, 동기 포인트 관련 정보도 사용자 저작 스티커 저장시, 단말에 저장되는 정보가 된다.
본 실시예에서는, 시작점(1250-1) 및 종점(1250-2)과 가장 가까운 얼굴 윤곽(1212) 상의 지점인 지점(1260-1) 및 지점(1260-2)이 동기포인트로 검출될 수 있다.
클라이언트 단말은 동기 포인트(1260-1, 1260-2)를 검출하고 나면, 얼굴 윤곽(1212)과 시작점(1250-1) 및 종점(1250-2)과의 거리 d1' 및 d2'를 계산하고, 이를 관계 정보로써 저장할 수 있다. 즉, 다른 얼굴에 적용되더라도, 동기 포인트를 기반으로 거리 d1' 및 d2'만큼 떨어진 위치에 스티커 디자인 요소가 생성되도록 하는 방식으로 저작된 스티커를 재현할 수 있다. 이때, 얼굴의 크기가 변하면 그 변경된 크기에 비례하여 거리 d1' 및 d2'도 축소 또는 확장하면 된다. 즉, 얼굴의 형태 또는 크기(scale)가 달라지더라도, 현재 얼굴의 동기 포인트의 좌표에 대응되는 좌표를 달라진 얼굴에서 찾아 스티커 디자인 요소를 적절하게 적용시킬 수 있다.
또한, 스티커 디자인 요소가 표시된 전체 픽셀의 좌표를 식별하여 그 형태를 인식 및 기억하고, 추후 피사체의 크기 및 형태(기울기 등) 변경에 대응하여 스티커 디자인 요소의 크기 및 형태도 적절히 리사이징(resizing)되도록 할 수 있다. 예컨대, 피사체의 크기가 달라지면, 동기 포인트의 좌표뿐만 아니라, 스티커 디자인 요소의 형태를 유지하면서 크기도 달라진 피사체의 크기에 대응되도록 변경될 수 있다.
다음으로, 스티커 디자인 요소(1210-3)의 경우, 얼굴 윤곽(1212)과의 관계도 고려할 수 있지만, 코 윤곽(1214)과의 관계도 고려대상이 된다. 따라서, 이 경우, 복수 개의 피사체의 윤곽(1212, 1214)에 대해 복수 개의 동기 포인트를 검출할 수 있고, 검출된 복수 개의 동기 포인트와의 관계정보를 생성하여 저장될 수 있다.
본 발명의 다른 실시예에 따르면, 얼굴의 전체 부분을 가리는 스티커 디자인 요소도 생성가능하다. 이 경우, 얼굴 윤곽(1212)과의 관계를 고려하여, 얼굴이 작게 디스플레이되면, 작아진 얼굴을 가릴 정도의 크기로 스티커 디자인 요소의 크기도 작아지고, 얼굴이 크게 디스플레이되면, 커진 얼굴을 가릴 수 있도록 스티커 디자인 요소의 크기도 커지게 된다. 이러한 스티커 디자인 요소의 크기, 형태 및 동기 포인트의 위치 변경은 실시간으로 촬영하고 있는 피사체의 크기 및 형태의 변경에 반응하여 자동으로 이루어질 수 있다.
도 12a 내지 도 12c에서 설명하고 있는 본 발명의 일 실시예에 따른 피사체와 스티커 디자인 요소의 관계정보 기반의 트랙킹 방법은 기저장된 스티커와 피사체와의 트랙킹에 적용가능하다. 또한, 위의 실시예에 따라 생성 및 저장된 사용자 저작 스티커와 관련된 정보는 스트리밍 영상과 함께 서버장치로 제공될 수 있다.
본 발명의 다른 실시예에 따르면, 라이브 방송 서비스 제공 방법에서, 서버는 스트리밍 영상에 적용되는 스티커에 대한 해쉬태그를 데이터베이스에 저장하고, 해당 영상을 공유하는 시점에 데이터베이스에 저장된 해쉬태그를 자동 적용함으로써, 광고용 스티커가 적용된 영상을 용이하게 검색할 수 있으며, 이를 통해 광고용 스티커의 사용 횟수 또는 노출 횟수를 추정할 수 있다. 물론, 본 발명의 일 실시예에 따른 스티커에는 해당 스티커에 대한 워터마크가 삽입되어 있을 수 있으며, 이렇게 삽입된 워터마크 코드를 이용하여 스티커의 사용 횟수를 추정할 수도 있다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (31)
- 클라이언트 단말에서의 라이브(Live) 스트리밍 영상 생성 방법에 있어서,
스트리밍 영상을 생성하기 위한 플랫폼(platform) 정보를 획득하는 단계, 상기 플랫폼 정보는 라이브 방송과 연관된 서비스를 제공하는 라이브 방송 서버로부터 획득된 라이브 방송과 연관된 방송 플랫폼 정보를 포함함;
상기 플랫폼 정보를 기반으로 제 1 스트리밍 영상을 생성하는 단계;
상기 제 1 스트리밍 영상을 디스플레이하는 단계;
사용자 입력에 의해, 상기 디스플레이되는 제 1 스트리밍 영상의 적어도 일부를 장식하기 위한 스티커(sticker) 및 이펙트(effect) 중 적어도 하나를 선택하는 단계; 및
상기 제 1 스트리밍 영상에 상기 선택된 스티커 및 이펙트 중 적어도 하나를 실시간으로 적용하여 제 2 스트리밍(streaming) 영상을 생성하는 단계를 포함하되,
상기 획득된 방송 플랫폼 정보는 광고와 연관된 스티커 및 이펙트 중 적어도 하나에 대한 정보, 및 상기 광고와 연관된 스티커 및 이펙트 중 적어도 하나의 사용에 따른 비용 공유 정책에 관한 정보를 포함하며,
상기 광고와 연관된 스티커 및 이펙트 중 적어도 하나가 사용자 입력에 의해 선택되는 경우, 상기 비용 공유 정책에 따라 광고에 따른 수입의 적어도 일부가 상기 클라이언트 단말과 연관된 계좌로 제공되는 라이브 스트리밍 영상 생성 방법. - 제 1 항에 있어서, 상기 제 1 스트리밍 영상을 생성하는 단계는
카메라를 통해 피사체를 촬영하는 단계; 및
상기 촬영된 피사체를 기반으로 제 1 스트리밍 영상을 생성하는 단계를 포함하는 라이브 스트리밍 영상 생성 방법. - 제 2 항에 있어서,
상기 스티커 및 이펙트 중 적어도 하나는 상기 피사체를 장식하기 위한 스티커 및 이펙트 중 적어도 하나를 포함하는 라이브 스트리밍 영상 생성 방법. - 제 2 항에 있어서,
상기 제 2 스트리밍 영상을 생성하는 단계는:
상기 피사체를 실시간으로 트랙킹(tracking)하여 트랙킹 정보를 획득하는 단계; 및
상기 획득된 트랙킹 정보를 기반으로 상기 피사체에 상기 선택된 스티커 및 이펙트 중 적어도 하나를 적용하여 상기 제 2 스트리밍 영상을 생성하는 단계를 포함하는 라이브 스트리밍 영상 생성 방법. - 제 4 항에 있어서,
상기 트랙킹 정보는 상기 피사체의 적어도 하나의 특징점과 연관된 정보를 포함하고,
상기 트랙킹 정보에 포함된 상기 적어도 하나의 특징점을 매개로 상기 선택된 스티커 및 이펙트 중 적어도 하나가 상기 피사체에 적용되는 라이브 스트리밍 영상 생성 방법. - 제 5 항에 있어서,
상기 적어도 하나의 특징점과 연관된 정보는 상기 적어도 하나의 특징점의 움직임 정보를 포함하고,
상기 적어도 하나의 특징점의 움직임 정보를 기반으로 상기 피사체의 움직임에 대응하여 상기 선택된 스티커 및 이펙트 중 적어도 하나를 상기 피사체에 적용하는 라이브 스트리밍 영상 생성 방법. - 제 4 항에 있어서,
상기 적어도 하나의 특징점의 움직임 정보를 기반으로 상기 움직임 정보에 대응되는 스티커 및 이펙트 중 적어도 하나가 선택되는 라이브 스트리밍 영상 생성 방법. - 제 1 항에 있어서,
상기 생성된 제 2 스트리밍 영상을 상기 라이브 방송 서버로 전송하는 단계를 더 포함하되,
상기 라이브 방송 서버로 전송되는 제 2 스트리밍 영상은 상기 라이브 방송을 시청하는 시청자의 클라이언트 단말로 전송되는 라이브 스트리밍 영상 생성 방법. - 제 8 항에 있어서,
상기 라이브 방송 서버로 전송되는 제 2 스트리밍 영상은 복수의 시청자의 클라이언트 단말로 실시간으로 동시에 전송되는 라이브 스트리밍 영상 생성 방법. - 삭제
- 제 1 항에 있어서,
상기 스티커는 상기 제 1 스트리밍 영상 내의 일부를 가리기 위해 사용자 입력에 따라 상기 제 1 스트리밍 영상 내의 위치정보를 임의로 설정한 스티커를 포함하는 라이브 스트리밍 영상 생성 방법. - 제 1 항에 있어서,
상기 스티커는 움직이는 스티커를 포함하는 라이브 스트리밍 영상 생성 방법. - 제 1 항에 있어서,
상기 이펙트는 오디오(audio), 자막, 텍스트, 도형, 3D 콘텐츠(content), 비디오(video) 중 적어도 하나를 포함하는 라이브 스트리밍 영상 생성 방법. - 제 1 항에 있어서,
상기 이펙트는 사용자 입력에 의해 상기 제 1 스트리밍 영상에 기 적용된 스티커의 적어도 일부를 사라지게 하는 효과를 포함하는 라이브 스트리밍 영상 생성 방법. - 삭제
- 라이브(Live) 스트리밍 영상 생성 장치에 있어서,
서버와 통신하는 통신부;
상기 통신부를 통해 상기 서버로부터 획득된, 스트리밍 영상을 생성하기 위한 플랫폼 정보를 기반으로 생성된 제 1 스트리밍(streaming) 영상을 디스플레이하는 디스플레이부, 상기 플랫폼 정보는 라이브 방송과 연관된 방송 플랫폼 정보를 포함함; 및
사용자 입력에 의해, 상기 디스플레이되는 제 1 스트리밍 영상의 적어도 일부를 장식하기 위한 스티커(sticker) 및 이펙트(effect) 중 적어도 하나를 선택하고, 상기 제 1 스트리밍 영상에 상기 선택된 스티커 및 이펙트 중 적어도 하나를 실시간으로 적용하여 제 2 스트리밍 영상을 생성하는 제어부를 포함하되,
상기 방송 플랫폼 정보는 광고와 연관된 스티커 및 이펙트 중 적어도 하나에 대한 정보, 및 상기 광고와 연관된 스티커 및 이펙트 중 적어도 하나의 사용에 따른 비용 공유 정책에 관한 정보를 포함하며,
상기 광고와 연관된 스티커 및 이펙트 중 적어도 하나가 사용자 입력에 의해 선택되는 경우, 상기 비용 공유 정책에 따라 광고에 따른 수입의 적어도 일부가 클라이언트 단말과 연관된 계좌로 제공되는 라이브 스트리밍 영상 생성 장치. - 라이브 스트리밍 서비스를 제공하는 서버 장치에서의 라이브 스트리밍 서비스 제공 방법에 있어서,
라이브 스트리밍과 연관된 플랫폼 정보를 제 1 클라이언트 단말로 제공하는 단계, 상기 플랫폼 정보는 라이브 방송과 연관된 방송 플랫폼 정보를 포함함;
상기 제 1 클라이언트 단말로부터, 상기 플랫폼을 기반으로 하여 생성된 제 1 스트리밍 영상의 적어도 일부를 장식하기 위한 스티커 및 이펙트 중 적어도 하나를 실시간으로 적용한, 제 2 스트리밍 영상을 수신하는 단계; 및
상기 제 1 클라이언트 단말로부터 획득한 제 2 스트리밍 영상을 제 2 클라이언트 단말로 제공하는 단계를 포함하되,
상기 방송 플랫폼 정보는 광고와 연관된 스티커 및 이펙트 중 적어도 하나에 대한 정보, 및 상기 광고와 연관된 스티커 및 이펙트 중 적어도 하나의 사용에 따른 비용 공유 정책에 관한 정보를 포함하며,
상기 제 1 클라이언트 단말에서 상기 광고와 연관된 스티커 및 이펙트 중 적어도 하나를 적용하여 상기 스트리밍 영상을 생성한 때, 상기 제 2 클라이언트 단말과 연관된 사용자가 상기 스트리밍 영상에 적용된 광고와 연관된 스티커 및 이펙트 중 적어도 하나를 기반으로 상기 광고와 연관된 임의의 동작을 수행하는 것을 감지한 경우,
상기 스트리밍 영상에 적용된 광고와 연관된 스티커 및 이펙트 중 적어도 하나에 대응하는 광고 관련 정보를 확인하고,
상기 확인된 광고 관련 정보를 기반으로, 상기 비용 공유 정책에 따라 상기 제 1 클라이언트 단말 및 상기 제 2 클라이언트 단말 중 적어도 하나와 연관된 사용자에게 상기 광고와 연관된 수익 중 적어도 일부를 공유하는 라이브 스트리밍 서비스 제공 방법. - 삭제
- 제 17 항에 있어서,
상기 라이브 스트리밍 서비스는 상기 제 1 클라이언트 단말 기반의 라이브 방송 서비스를 포함하고,
상기 제 2 클라이언트 단말은 상기 제 1 클라이언트 단말이 개설한 방송국에 입장한 시청자와 연관된 단말인 라이브 스트리밍 서비스 제공 방법. - 제 17 항에 있어서,
상기 제 1 스트리밍 영상은 카메라에 의해 촬영되는 피사체를 기반으로 생성된 스트리밍 영상을 포함하는 라이브 스트리밍 서비스 제공 방법. - 제 20 항에 있어서,
상기 플랫폼 정보는 상기 피사체를 실시간으로 트랙킹하여 트랙킹 정보를 획득하는 트랙킹 알고리즘에 대한 정보를 포함하고,
상기 제 2 스트리밍 영상은 상기 트랙킹 알고리즘을 이용하여 획득된 트랙킹 정보를 기반으로 상기 피사체에 상기 스티커 및 이펙트 중 적어도 하나를 적용하여 생성되는 라이브 스트리밍 서비스 제공 방법. - 제 17 항에 있어서,
상기 스티커는 상기 제 1 스트리밍 영상 내의 일부를 가리기 위해 사용자 입력에 따라 상기 제 1 스트리밍 영상 내의 위치정보를 임의로 설정한 스티커를 포함하는 라이브 스트리밍 서비스 제공 방법. - 제 17 항에 있어서,
상기 이펙트는 상기 제 2 클라이언트 단말에서의 사용자 입력에 의해 상기 제 1 스트리밍 영상에 기 적용된 스티커의 적어도 일부를 사라지게 하는 효과를 포함하는 라이브 스트리밍 서비스 제공 방법. - 제 22 항 또는 제 23 항에 있어서,
상기 스티커를 적용하기 위한 상기 제 1 클라이언트 단말에서의 사용자 입력 및 기 적용된 스티커 중 적어도 일부를 사라지게 하는 효과를 활성화시키기 위한 상기 제 2 클라이언트 단말에서의 사용자 입력 중 적어도 하나는 상기 제 1 클라이언트 단말과 연관된 사용자 계정 및 상기 제 2 클라이언트 단말과 연관된 사용자 계정 중 적어도 하나로부터 상기 서버 장치로의 비용 지불과 연관되는 라이브 스트리밍 서비스 제공 방법. - 삭제
- 삭제
- 제 17 항에 있어서,
상기 광고와 연관된 수익의 공유는 상기 제 2 스트리밍 영상에 적용된 광고와 연관된 스티커 및 이펙트 중 적어도 하나의 적용횟수를 추정함에 따라 이루어지는 라이브 스트리밍 서비스 제공 방법. - 제 17 항에 있어서,
상기 플랫폼 정보에 기반하여 제 1 클라이언트 단말에서 적용가능한 스티커 후보 및 이펙트 후보 중 적어도 하나를 포함하는 스티커/이펙트 선택 메뉴를 제공하는 단계를 더 포함하는 라이브 스트리밍 서비스 제공 방법. - 제 28 항에 있어서,
상기 스티커/이펙트 선택 메뉴 내에 포함되는 스티커 후보 및 이펙트 후보 중 적어도 하나는 상기 제 1 클라이언트 단말과 연관된 사용자의 이력, 콘텐츠, 및 서비스 유형 중 적어도 하나를 고려하여 그에 대응되는 스티커 후보 및 이펙트 후보 중 적어도 하나로 구성되는 라이브 스트리밍 서비스 제공 방법. - 라이브 스트리밍 서비스를 제공하는 장치에 있어서,
제 1 클라이언트 단말 및 제 2 클라이언트 단말과 통신하는 통신부; 및
상기 통신부를 통해, 제 1 클라이언트 단말로 제공하는 라이브 스트리밍 과 연관된 플랫폼 정보를 전송하고, 상기 제 1 클라이언트 단말로부터, 상기 플랫폼을 기반으로 하여 생성된 제 1 스트리밍 영상의 적어도 일부를 장식하기 위한 스티커 및 이펙트 중 적어도 하나를 적용한, 제 2 스트리밍 영상을 수신하여 상기 제 1 클라이언트 단말로부터 획득한 제 2 스트리밍 영상을 제 2 클라이언트 단말로 제공하는 제어부를 포함하되,
상기 플랫폼 정보는 라이브 방송과 연관된 방송 플랫폼 정보를 포함하고,
상기 방송 플랫폼 정보는 광고와 연관된 스티커 및 이펙트 중 적어도 하나에 대한 정보, 및 상기 광고와 연관된 스티커 및 이펙트 중 적어도 하나의 사용에 따른 비용 공유 정책에 관한 정보를 포함하며,
상기 제 1 클라이언트 단말에서 상기 광고와 연관된 스티커 및 이펙트 중 적어도 하나를 적용하여 상기 스트리밍 영상을 생성한 때, 상기 제 2 클라이언트 단말과 연관된 사용자가 상기 스트리밍 영상에 적용된 광고와 연관된 스티커 및 이펙트 중 적어도 하나를 기반으로 상기 광고와 연관된 임의의 동작을 수행하는 것을 감지한 경우,
상기 스트리밍 영상에 적용된 광고와 연관된 스티커 및 이펙트 중 적어도 하나에 대응하는 광고 관련 정보를 확인하고,
상기 확인된 광고 관련 정보를 기반으로, 상기 비용 공유 정책에 따라 상기 제 1 클라이언트 단말 및 상기 제 2 클라이언트 단말 중 적어도 하나와 연관된 사용자에게 상기 광고와 연관된 수익 중 적어도 일부를 공유하는 라이브 스트리밍 서비스를 제공하는 장치. - 라이브 스트리밍 시스템에 있어서,
스트리밍 영상을 생성하기 위한 플랫폼 정보를 기반으로 생성된 제 1 스트리밍 영상을 디스플레이하고, 사용자 입력에 의해, 상기 디스플레이되는 제 1 스트리밍 영상의 적어도 일부를 장식하기 위한 스티커(sticker) 및 이펙트(effect) 중 적어도 하나를 선택하여, 상기 제 1 스트리밍 영상에 상기 선택된 스티커 및 이펙트 중 적어도 하나를 실시간으로 적용하여 제 2 스트리밍(streaming) 영상을 생성하는 제 1 클라이언트 단말;
라이브 스트리밍과 연관된 플랫폼 정보를 제 1 클라이언트 단말로 제공하고, 상기 제 1 클라이언트 단말로부터, 상기 제 2 스트리밍 영상을 수신하여 제 2 클라이언트 단말로 제공하는 서버 장치; 및
상기 제 2 스트리밍 영상을 수신하는 제 2 클라이언트 단말을 포함하되,
상기 플랫폼 정보는 라이브 방송과 연관된 방송 플랫폼 정보를 포함하고,
상기 방송 플랫폼 정보는 광고와 연관된 스티커 및 이펙트 중 적어도 하나에 대한 정보, 및 상기 광고와 연관된 스티커 및 이펙트 중 적어도 하나의 사용에 따른 비용 공유 정책에 관한 정보를 포함하며,
상기 제 1 클라이언트 단말에서 상기 광고와 연관된 스티커 및 이펙트 중 적어도 하나를 적용하여 상기 스트리밍 영상을 생성한 때, 상기 제 2 클라이언트 단말과 연관된 사용자가 상기 스트리밍 영상에 적용된 광고와 연관된 스티커 및 이펙트 중 적어도 하나를 기반으로 상기 광고와 연관된 임의의 동작을 수행하는 것을 감지한 경우,
상기 스트리밍 영상에 적용된 광고와 연관된 스티커 및 이펙트 중 적어도 하나에 대응하는 광고 관련 정보를 확인하고,
상기 확인된 광고 관련 정보를 기반으로, 상기 비용 공유 정책에 따라 상기 제 1 클라이언트 단말 및 상기 제 2 클라이언트 단말 중 적어도 하나와 연관된 사용자에게 상기 광고와 연관된 수익 중 적어도 일부를 공유하는 라이브 스트리밍 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/893,705 US20180234708A1 (en) | 2017-02-10 | 2018-02-12 | Live streaming image generating method and apparatus, live streaming service providing method and apparatus, and live streaming system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170018551 | 2017-02-10 | ||
| KR20170018551 | 2017-02-10 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190111500A Division KR102053128B1 (ko) | 2017-02-10 | 2019-09-09 | 라이브 스트리밍 영상 생성 방법 및 장치, 라이브 서비스 제공 방법 및 장치, 및 라이브 스트리밍 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180092873A KR20180092873A (ko) | 2018-08-20 |
| KR102049499B1 true KR102049499B1 (ko) | 2020-01-08 |
Family
ID=63174549
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180015578A Active KR102049499B1 (ko) | 2017-02-10 | 2018-02-08 | 라이브 스트리밍 영상 생성 방법 및 장치, 라이브 서비스 제공 방법 및 장치, 및 라이브 스트리밍 시스템 |
| KR1020190111500A Active KR102053128B1 (ko) | 2017-02-10 | 2019-09-09 | 라이브 스트리밍 영상 생성 방법 및 장치, 라이브 서비스 제공 방법 및 장치, 및 라이브 스트리밍 시스템 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190111500A Active KR102053128B1 (ko) | 2017-02-10 | 2019-09-09 | 라이브 스트리밍 영상 생성 방법 및 장치, 라이브 서비스 제공 방법 및 장치, 및 라이브 스트리밍 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6550156B2 (ko) |
| KR (2) | KR102049499B1 (ko) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7280698B2 (ja) | 2019-01-11 | 2023-05-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| KR102657519B1 (ko) | 2019-02-08 | 2024-04-15 | 삼성전자주식회사 | 음성을 기반으로 그래픽 데이터를 제공하는 전자 장치 및 그의 동작 방법 |
| JP7266289B2 (ja) * | 2019-04-18 | 2023-04-28 | 株式会社GayaR | 情報提供装置、情報提供システム、情報提供方法及び情報提供プログラム |
| KR20200143076A (ko) * | 2019-06-14 | 2020-12-23 | 삼성전자주식회사 | 영상 스트리밍 방법 및 이를 지원하는 전자 장치 |
| CN113496533A (zh) | 2020-03-19 | 2021-10-12 | 北京字节跳动网络技术有限公司 | 贴纸处理方法及装置 |
| KR102459093B1 (ko) | 2020-06-30 | 2022-10-25 | 주식회사 넥슨코리아 | 게임제공장치 및 게임제공방법 |
| KR102316072B1 (ko) * | 2020-07-16 | 2021-10-21 | 정규용 | 인터넷방송서비스장치 및 그 장치의 구동방법 |
| KR102462297B1 (ko) * | 2020-12-30 | 2022-11-03 | 주식회사 지로드코리아 | 개인미디어 크리에이터를 위한 클라우드 기반 스튜디오 플랫폼 제공 시스템 |
| CN112788358B (zh) * | 2020-12-31 | 2022-02-18 | 腾讯科技（深圳）有限公司 | 游戏对局的视频直播方法、视频发送方法、装置及设备 |
| KR102348727B1 (ko) * | 2021-10-08 | 2022-01-07 | 주식회사 원네이션 | 상품 판매 모드를 지원하는 라이브 방송 플랫폼 제공 방법 및 장치 |
| CN114125485B (zh) * | 2021-11-30 | 2024-04-30 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及介质 |
| KR102479511B1 (ko) | 2022-01-12 | 2022-12-20 | 주식회사 투스라이프 | 스트리밍 영상을 통한 광고 제공 시스템 및 방법 |
| KR20240150918A (ko) | 2023-04-10 | 2024-10-17 | 박진표 | 라이브 스트리밍 플랫폼 |
| CN116471366A (zh) * | 2023-04-28 | 2023-07-21 | 北京字跳网络技术有限公司 | 一种特效生成方法、装置、计算机设备及存储介质 |
| KR102660135B1 (ko) * | 2023-07-07 | 2024-05-03 | 스테이지랩스 주식회사 | 라이브 스트리밍 서비스 제공 장치 및 방법 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010085150A (ko) * | 2000-02-29 | 2001-09-07 | 곽태영 | 카메라와 화면 캡쳐를 이용한 인터넷 분산 방송 시스템 |
| JP4671011B2 (ja) * | 2000-08-30 | 2011-04-13 | ソニー株式会社 | 効果付加装置、効果付加方法、効果付加プログラム及び効果付加プログラム格納媒体 |
| JP2003092706A (ja) * | 2001-09-18 | 2003-03-28 | Sony Corp | 効果付加装置、効果付加方法、及び効果付加プログラム |
| JP2003125368A (ja) * | 2001-10-17 | 2003-04-25 | Oki Electric Ind Co Ltd | ビデオメール装置 |
| JP2005136782A (ja) * | 2003-10-31 | 2005-05-26 | Toppan Printing Co Ltd | キャンペーン方法 |
| JP4347742B2 (ja) * | 2004-05-06 | 2009-10-21 | 日本電信電話株式会社 | 映像送信装置，映像通信システム，映像送信方法，映像通信方法および映像送信プログラム |
| WO2007103883A2 (en) * | 2006-03-07 | 2007-09-13 | Sony Computer Entertainment America Inc. | Dynamic replacement and insertion of cinematic stage props in program content |
| JP2008135923A (ja) * | 2006-11-28 | 2008-06-12 | Taiwan Mukojo Kagi Kofun Yugenkoshi | リアルタイムに相互作用する映像の制作方法、映像の制作装置、および映像の制作システム |
| KR101533065B1 (ko) * | 2008-12-01 | 2015-07-01 | 삼성전자주식회사 | 화상통화 중 애니메이션 효과 제공 방법 및 장치 |
| US9129640B2 (en) * | 2012-12-12 | 2015-09-08 | Crowdflik, Inc. | Collaborative digital video platform that enables synchronized capture, curation and editing of multiple user-generated videos |
| GB2520334B (en) * | 2013-11-18 | 2015-11-25 | Helen Bradley Lennon | A video broadcast system and a method of disseminating video content |
| US9462028B1 (en) * | 2015-03-30 | 2016-10-04 | Zap Systems Llc | System and method for simultaneous real time video streaming from multiple mobile devices or other sources through a server to recipient mobile devices or other video displays, enabled by sender or recipient requests, to create a wall or matrix of real time live videos, and to enable responses from those recipients |
| KR101672691B1 (ko) | 2015-07-23 | 2016-11-07 | 주식회사 시어스랩 | 소셜 네트워크 서비스 플랫폼에서 이모티콘 생성 방법 및 장치 |
| KR20160128900A (ko) * | 2016-01-04 | 2016-11-08 | 주식회사 시어스랩 | 움직이는 효과 기반의 움직이는 사진 생성 방법 및 장치 |
-
2018
- 2018-02-08 KR KR1020180015578A patent/KR102049499B1/ko active Active
- 2018-02-09 JP JP2018022315A patent/JP6550156B2/ja active Active
-
2019
- 2019-09-09 KR KR1020190111500A patent/KR102053128B1/ko active Active
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190106971A (ko) | 2019-09-18 |
| KR20180092873A (ko) | 2018-08-20 |
| JP2018129802A (ja) | 2018-08-16 |
| JP6550156B2 (ja) | 2019-07-24 |
| KR102053128B1 (ko) | 2019-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102053128B1 (ko) | 라이브 스트리밍 영상 생성 방법 및 장치, 라이브 서비스 제공 방법 및 장치, 및 라이브 스트리밍 시스템 | |
| US20180234708A1 (en) | Live streaming image generating method and apparatus, live streaming service providing method and apparatus, and live streaming system | |
| CN111698523B (zh) | 文字虚拟礼物的赠送方法、装置、设备及存储介质 | |
| US20160307240A1 (en) | System and method for interactive communications with animation, game dynamics, and integrated brand advertising | |
| US8963926B2 (en) | User customized animated video and method for making the same | |
| CN110868635B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| US10127724B2 (en) | System and method for providing augmented reality on mobile devices | |
| US9930311B2 (en) | System and method for annotating a video with advertising information | |
| US8928810B2 (en) | System for combining video data streams into a composite video data stream | |
| CN105677357B (zh) | 媒体信息处理方法及移动终端 | |
| CN103760968B (zh) | 数字标牌显示内容选择方法和装置 | |
| US10726443B2 (en) | Deep product placement | |
| KR20180022866A (ko) | 스펙테이팅 시스템과 게임 시스템들 통합 | |
| CN110401855A (zh) | 信息展示方法、装置、处理平台、计算设备及存储介质 | |
| US20220020053A1 (en) | Apparatus, systems and methods for acquiring commentary about a media content event | |
| US20140325540A1 (en) | Media synchronized advertising overlay | |
| CN114025188B (zh) | 直播广告展示方法、系统、装置、终端及可读存储介质 | |
| CN102231851A (zh) | 可扩展视频插入控制 | |
| CN112866577B (zh) | 图像的处理方法、装置、计算机可读介质及电子设备 | |
| CN113468374A (zh) | 目标展示方法、装置、电子设备及存储介质 | |
| EP4057631A1 (en) | Method and apparatus for live streaming, server, system and storage medium | |
| CN110677698B (zh) | 一种多媒体数据处理方法、装置以及相关设备 | |
| CN116600152A (zh) | 虚拟主播直播方法、装置、设备及存储介质 | |
| CN108076357B (zh) | 媒体内容推送方法、装置和系统 | |
| CN105744338A (zh) | 一种视频处理方法及其设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20180208 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190119 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20190827 |
|
| A107 | Divisional application of patent | ||
| PA0107 | Divisional application |
Comment text: Divisional Application of Patent Patent event date: 20190909 Patent event code: PA01071R01D |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20191121 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20191122 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20221117 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20231116 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20241121 Start annual number: 6 End annual number: 6 |